Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7801065B2 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents
[go: Go Back, main page]

JP7801065B2 - コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

コンピュータプログラム、情報処理方法及び情報処理装置

Info

Publication number
JP7801065B2
JP7801065B2 JP2023508956A JP2023508956A JP7801065B2 JP 7801065 B2 JP7801065 B2 JP 7801065B2 JP 2023508956 A JP2023508956 A JP 2023508956A JP 2023508956 A JP2023508956 A JP 2023508956A JP 7801065 B2 JP7801065 B2 JP 7801065B2
Authority
JP
Japan
Prior art keywords
stent
identified
medical image
diameter
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023508956A
Other languages
English (en)
Other versions
JPWO2022202303A1 (ja
Inventor
貴則 富永
雄紀 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terumo Corp
Original Assignee
Terumo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terumo Corp filed Critical Terumo Corp
Publication of JPWO2022202303A1 publication Critical patent/JPWO2022202303A1/ja
Priority to JP2025285277A priority Critical patent/JP2026062891A/ja
Application granted granted Critical
Publication of JP7801065B2 publication Critical patent/JP7801065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient; User input means
    • A61B5/742Details of notification to user or communication with user or patient; User input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。
カテーテルを用いた血管内超音波(IVUS:Intra Vascular Ultra Sound)法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査を行うことが行われている。一方で、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている(例えば特許文献1)。特許文献1に記載されている血管画像における特徴検出方法は、血管画像に含まれる管腔壁、ステント等を検出する。
特表2016-525893号公報
しかしながら、特許文献1の検出方法においては、血管画像に含まれるオブジェクトを検出した場合に当該オブジェクトに応じたステントに関する情報を提供する点については、考慮されていない。
本開示の目的は、カテーテルにより管腔器官をスキャンして得た医用画像に基づき、当該医用画像に含まれるオブジェクトに応じたステントに関する情報を提供するコンピュータプログラム等を提供することである。
本態様に係るコンピュータプログラムは、コンピュータに、管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定し、特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出し、導出した前記ステントに関する情報を出力する処理を実行させる。
本態様に係る情報処理方法は、コンピュータに、管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定し、特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出し、導出した前記ステントに関する情報を出力する処理を実行させる。
本態様に係る情報処理装置は、管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得する取得部と、取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定する特定部と、特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出する導出部と、導出した前記ステントに関する情報を出力する出力部とを備える。
本開示によれば、カテーテルにより管腔器官をスキャンして得た医用画像に基づき、当該医用画像に含まれるオブジェクトに応じたステントに関する情報を提供するコンピュータプログラム等を提供することができる。
画像診断装置の構成例を示す説明図である。 画像診断用カテーテルの概要を説明する説明図である。 センサ部を挿通させた血管の断面を示す説明図である。 断層画像を説明する説明図である。 画像処理装置の構成例を示すブロック図である。 学習モデルの一例を示す説明図である。 制御部による情報処理手順を示すフローチャートである。 ステント径の算出手順を示すフローチャートである。 平均内腔径等の情報の表示例を示す説明図である。 ステント径導出手法の選択画面等を例示する説明図である。 ステント長の算出手順を示すフローチャートである。 Landing Zone等情報の表示例を示す説明図である。 ステント長等の情報の表示例を示す説明図である。 実施形態2に係る画像診断装置等の構成例を示す説明図である。 ステント在庫DBの一例を説明する説明図である。 制御部による情報処理手順を示すフローチャートである。
以下、本開示の画像処理方法、画像処理装置及びプログラムについて、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
(実施形態1)
図1は、画像診断装置100の構成例を示す説明図である。本実施形態では、血管内超音波診断法(IVUS)及び光干渉断層診断法(OCT)の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、IVUSのみによって超音波断層画像を取得するモードと、OCTのみによって光干渉断層画像を取得するモードと、IVUS及びOCTによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、IVUS画像及びOCT画像という。また、IVUS画像及びOCT画像を総称して断層画像といい、医用画像に相当する。
本実施形態の画像診断装置100は、血管内検査装置101と、血管造影装置102と、画像処理装置3と、表示装置4と、入力装置5とを備える。血管内検査装置101は、画像診断用カテーテル1及びMDU(Motor Drive Unit)2を備える。画像診断用カテーテル1は、MDU2を介して画像処理装置3に接続されている。画像処理装置3には、表示装置4及び入力装置5が接続されている。表示装置4は、例えば液晶ディスプレイ又は有機ELディスプレイ等であり、入力装置5は、例えばキーボード、マウス、トラックボール又はマイク等である。表示装置4と入力装置5とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置5と画像処理装置3とは、一体に構成されていてもよい。更に入力装置5は、ジェスチャ入力又は視線入力等を受付けるセンサであってもよい。
血管造影装置102は画像処理装置3に接続されている。血管造影装置102は、患者の血管に造影剤を注入しながら、患者の生体外からX線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置102は、X線源及びX線センサを備え、X線源から照射されたX線をX線センサが受信することにより、患者のX線透視画像をイメージングする。なお、画像診断用カテーテル1にはX線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル1(マーカ)の位置が可視化される。血管造影装置102は、撮像して得られたアンギオ画像を画像処理装置3へ出力し、画像処理装置3を介して表示装置4に表示される。なお、表示装置4には、アンギオ画像と、画像診断用カテーテル1を用いて撮像された断層画像とが表示される。
図2は画像診断用カテーテル1の概要を説明する説明図である。なお、図2中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル1は、プローブ11と、プローブ11の端部に配置されたコネクタ部15とを有する。プローブ11は、コネクタ部15を介してMDU2に接続される。以下の説明では画像診断用カテーテル1のコネクタ部15から遠い側を先端側と記載し、コネクタ部15側を基端側と記載する。プローブ11は、カテーテルシース11aを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部14が設けられている。ガイドワイヤ挿通部14はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ11を患部まで導くのに使用される。カテーテルシース11aは、ガイドワイヤ挿通部14との接続部分からコネクタ部15との接続部分に亘って連続する管部を形成している。カテーテルシース11aの内部にはシャフト13が挿通されており、シャフト13の先端側にはセンサ部12が接続されている。
センサ部12は、ハウジング12dを有し、ハウジング12dの先端側は、カテーテルシース11aの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング12d内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部12a(以下ではIVUSセンサ12aという)と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部12b(以下ではOCTセンサ12bという)とが配置されている。図2に示す例では、プローブ11の先端側にIVUSセンサ12aが設けられており、基端側にOCTセンサ12bが設けられており、シャフト13の中心軸上(図2中の二点鎖線上)において軸方向に沿って距離xだけ離れて配置されている。画像診断用カテーテル1において、IVUSセンサ12a及びOCTセンサ12bは、シャフト13の軸方向に対して略90度となる方向(シャフト13の径方向)を超音波又は近赤外光の送受信方向として取り付けられている。なお、IVUSセンサ12a及びOCTセンサ12bは、カテーテルシース11aの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施形態では、例えば図2中の矢符で示すように、IVUSセンサ12aは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、OCTセンサ12bは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。
シャフト13には、IVUSセンサ12aに接続された電気信号ケーブル(図示せず)と、OCTセンサ12bに接続された光ファイバケーブル(図示せず)とが内挿されている。プローブ11は、先端側から血管内に挿入される。センサ部12及びシャフト13は、カテーテルシース11aの内部で進退可能であり、また、周方向に回転することができる。センサ部12及びシャフト13は、シャフト13の中心軸を回転軸として回転する。画像診断装置100では、センサ部12及びシャフト13によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像(IVUS画像)、又は、血管の内側から撮影された光干渉断層画像(OCT画像)によって血管内部の状態を測定する。
MDU2は、コネクタ部15によってプローブ11(画像診断用カテーテル1)が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル1の動作を制御する。例えばMDU2は、プローブ11に内挿されたセンサ部12及びシャフト13を一定の速度でMDU2側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部12は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ11に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。MDU2は、IVUSセンサ12aが受信した超音波の反射波データと、OCTセンサ12bが受信した反射光データとを画像処理装置3へ出力する。
画像処理装置3は、MDU2を介してIVUSセンサ12aが受信した超音波の反射波データである信号データセットと、OCTセンサ12bが受信した反射光データである信号データセットとを取得する。画像処理装置3は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮像した超音波断層画像(IVUS画像)を構築する。また、画像処理装置3は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像(OCT画像)を構築する。ここで、IVUSセンサ12a及びOCTセンサ12bが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。図3は、センサ部12を挿通させた血管の断面を示す説明図であり、図4は断層画像を説明する説明図である。
まず、図3を用いて、血管内におけるIVUSセンサ12a及びOCTセンサ12bの動作と、IVUSセンサ12a及びOCTセンサ12bによって取得される信号データセット(超音波ラインデータ及び光ラインデータ)について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮像が開始されると、イメージングコアが矢符で示す方向に、シャフト13の中心軸を回転中心として回転する。このとき、IVUSセンサ12aは、各回転角度において超音波の送信及び受信を行う。ライン1,2,…512は各回転角度における超音波の送受信方向を示している。本実施形態では、IVUSセンサ12aは、血管内において360度回動(1回転)する間に512回の超音波の送信及び受信を断続的に行う。IVUSセンサ12aは、1回の超音波の送受信により、送受信方向の1ラインのデータを取得するので、1回転の間に、回転中心から放射線状に延びる512本の超音波ラインデータを得ることができる。512本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図4Aに示すような2次元の超音波断層画像(IVUS画像)を生成することができる。
同様に、OCTセンサ12bも、各回転角度において測定光の送信及び受信を行う。OCTセンサ12bも血管内において360度回動する間に512回の測定光の送信及び受信を行うので、1回転の間に、回転中心から放射線状に延びる512本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図4Aに示すIVUS画像と同様の2次元の光干渉断層画像(OCT画像)を生成することができる。すなわち、画像処理装置3は、反射光と、例えば画像処理装置3内の光源からの光を分離することで得られた参照光とを干渉させることで生成される干渉光に基づいて光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光断層画像(OCT画像)を構築する。
このように512本のラインデータから生成される2次元の断層画像を1フレームのIVUS画像又はOCT画像という。なお、センサ部12は血管内を移動しながら走査するため、移動範囲内において1回転した各位置で1フレームのIVUS画像又はOCT画像が取得される。即ち、移動範囲においてプローブ11の先端側から基端側への各位置で1フレームのIVUS画像又はOCT画像が取得されるので、図4Bに示すように、移動範囲内で複数フレームのIVUS画像又はOCT画像が取得される。
画像診断用カテーテル1は、IVUSセンサ12aによって得られるIVUS画像又はOCTセンサ12bによって得られるOCT画像と、血管造影装置102によって得られるアンギオ画像との位置関係を確認するために、X線を透過しないマーカを有する。図2に示す例では、カテーテルシース11aの先端部、例えばガイドワイヤ挿通部14にマーカ14aが設けられており、センサ部12のシャフト13側にマーカ12cが設けられている。このように構成された画像診断用カテーテル1をX線で撮像すると、マーカ14a,12cが可視化されたアンギオ画像が得られる。マーカ14a,12cを設ける位置は一例であり、マーカ12cはセンサ部12ではなくシャフト13に設けてもよく、マーカ14aはカテーテルシース11aの先端部以外の箇所に設けてもよい。
図5は画像処理装置3の構成例を示すブロック図である。画像処理装置3はコンピュータ(情報処理装置)であり、制御部31、主記憶部32、入出力I/F33、補助記憶部34、読取部35を備える。
制御部31は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)等の演算処理装置を用いて構成されている。制御部31は、バスを介して画像処理装置3を構成するハードウェア各部と接続されている。
主記憶部32は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部31が演算処理を実行するために必要なデータを一時的に記憶する。
入出力I/F33は、血管内検査装置101及び血管造影装置102、表示装置4及び入力装置5が接続されるインタフェースである。制御部31は、入出力I/F33を介して、血管内検査装置101からIVUS画像及びOCT画像を取得し、血管造影装置102からアンギオ画像を取得する。また、制御部31は、入出力I/F33を介して、IVUS画像、OCT画像、又はアンギオ画像の医用画像信号を表示装置4へ出力することによって、表示装置4に医用画像を表示する。更に、制御部31は、入出力I/F33を介して、入力装置5に入力された情報を受付ける。
入出力I/F33には、例えば、4G、5G又はWiFi等の無線子機から成る通信部が接続され、画像処理装置3は、当該通信部を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信可能に接続されるものであってもよい。制御部31は、通信部及び外部ネットワークを介して、外部サーバにアクセスし、当該外部サーバに含まれるストレージ装置に保存(記憶)されている医療データ、論文情報等を参照し、情報提供に関する処理(支援情報を提供するための提供処理)を行うものであってもよい。又は、制御部31は、当該外部サーバと例えばプロセス間通信を行うことにより、本実施形態における処理を協働して行うものであってもよい。
補助記憶部34は、ハードディスク、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ等の記憶装置である。補助記憶部34は、制御部31が実行するコンピュータプログラムP(プログラム製品)、制御部31の処理に必要な各種データを記憶する。なお、補助記憶部34は画像処理装置3に接続された外部記憶装置であってもよい。コンピュータプログラムP(プログラム製品)は、画像処理装置3の製造段階において補助記憶部34に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置3が通信にて取得して補助記憶部34に記憶させてもよい。コンピュータプログラムP(プログラム製品)は、磁気ディスク、光ディスク、半導体メモリ等の記録媒体30に読み出し可能に記録された態様であってもよく、読取部35が記録媒体30から読み出して補助記憶部34に記憶させてもよい。
画像処理装置3は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置3は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置3が1台のコンピュータであるものとして説明する。本実施形態では、画像処理装置3に、2次元のアンギオ画像を撮像する血管造影装置102が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル1を撮像する装置であれば、血管造影装置102に限定されない。
本実施形態の画像処理装置3において、制御部31は、補助記憶部34に記憶されたコンピュータプログラムPを読み出して実行することにより、IVUSセンサ12aから受信した信号データセットに基づくIVUS画像、及びOCTセンサ12bから受信した信号データセットに基づくOCT画像を構築する処理を実行する。なお、IVUSセンサ12a及びOCTセンサ12bは、後述するように同じ撮像タイミングでの観察位置にズレが生じるので、制御部31は、IVUS画像及びOCT画像における観察位置のズレを補正する処理を実行する。よって、本実施形態の画像処理装置3は、観察位置を一致させたIVUS画像及びOCT画像を提供することにより、読影し易い画像を提供する。
本実施形態において、画像診断用カテーテルは、血管内超音波診断法(IVUS)及び光干渉断層診断法(OCT)の両方の機能を備えるデュアルタイプのカテーテルであるとしたが、これに限定されない。画像診断用カテーテルは、血管内超音波診断法(IVUS)、又は光干渉断層診断法(OCT)のいずれかの機能を備えるシングルタイプのカテーテルであってもよい。以降、本実施形態において、画像診断用カテーテルは血管内超音波診断法(IVUS)の機能を有し、当該IVUS機能により生成されたIVUS画像を基に説明する。ただし、本実施形態における説明において、医用画像はIVUS画像に限定されず、OCT画像を医用画像として用いて、本実施形態の処理を行うものであってもよい。
図6は、学習モデル341の一例を示す説明図である。学習モデル341は、例えば、物体検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うYOLO又はR-CNN等のニューラルネットワーク(セグメンテーションNN)である。学習モデル341は、入力されたIVUS画像群におけるIVUS画像それぞれに基づき、当該IVUS画像にステント又はプラーク等のオブジェクトが含まれているか否か(有無)、及びオブジェクトが含まれている場合(有の場合)、当該オブジェクトの種類(クラス)、IVUS画像における領域、及び推定精度(スコア)を出力する。
学習モデル341は、例えば深層学習による学習済みの畳み込みニューラルネットワーク(CNN:Convolutional neural network)によって構成される。学習モデル341は、例えば、IVUS画像等の医用画像が入力される入力層341aと、画像の特徴量(画像特徴量)を抽出する中間層341bと、医用画像に含まれるオブジェクトの位置及び種類を示す情報を出力する出力層341cとを有する。学習モデル341の入力層341aは、医用画像に含まれる各画素の画素値の入力を受付ける複数のニューロンを有し、入力された画素値を中間層341bに受け渡す。中間層341bは、入力層341aに入力された各画素の画素値を畳み込む畳み込み層と、畳み込み層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、医用画像の画素情報を圧縮しながら画像の特徴量を抽出する。中間層341bは、抽出した特徴量を出力層341cに受け渡す。出力層341cは、画像中に含まれるオブジェクトの画像領域の位置及び範囲並びに種類等を、例えばラベル画像として出力する一又は複数のニューロンを有する。ラベル画像は、例えばプラークの領域に対応する画素がクラス「1」、その他の画像に対応する画素がクラス「0」の画像である。学習モデル341は、CNNであるものとしたが、学習モデル341の構成はCNNに限るものではない。学習モデル341は、例えばCNN以外のニューラルネットワーク、U-net等のFCN(fully convolution network)、SegNet、SSD、SPPnet、SVM(Support Vector Machine)、ベイジアンネットワーク、又は、回帰木等の構成の学習済モデルであってよい。又は、学習モデル341は、中間層から出力された画像特徴量をSVM(support vector machine) に入力して物体認識を行うものであってもよい。
学習モデル341は、心外膜、側枝、静脈、ガイドワイヤ、ステント、ステント内に逸脱したプラーク、脂質性プラーク、繊維性プラーク、石灰化部、血管解離、血栓、血腫等のオブジェクトを含む医用画像と、各オブジェクトの位置(領域)及び種類を示すラベル(ラベル画像)とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。このように構成された学習モデル341によれば、IVUS画像等の医用画像を学習モデル341に入力することによって、当該医用画像に含まれるオブジェクトの位置及び種類を示す情報を得ることができる。医用画像にオブジェクトが含まれない場合、位置及び種類を示す情報は、学習モデル341から出力されない。従って、制御部31は、学習モデル341を用いることにより、当該学習モデル341に入力された医用画像に、オブジェクトが含まれているか否か(有無)、及び含まれている場合は当該オブジェクトの種類(クラス)、位置(医用画像における領域)、及び推定精度(スコア)を取得することができる。すなわち、このように学習された学習モデル341を用いることにより、本実施形態における図示のようにIVUS画像を学習モデル341に入力することによってプラークの領域を画素単位で示すラベル画像を取得することができる。
制御部31は、各IVUS画像等(フレーム画像)を学習モデル341に一枚ずつ入力して処理してもよいが、連続する複数のフレーム画像を同時に入力して、複数のフレーム画像からプラークの領域を同時に検出するものであってもよい。例えば制御部31は、学習モデル341を、3次元の入力データを取り扱う3D-CNN(例えば3D U-net)とする。そして制御部31は、2次元のフレーム画像の座標を2軸とし、各フレーム画像を取得した時間(生成時点)tを1軸とする3次元データとして取り扱う。制御部31は、所定の単位時間分の複数フレーム画像(例えば16フレーム)を一セットとして学習モデル341に入力し、複数のフレーム画像それぞれに対してプラークの領域にラベルを付した画像を同時に出力する。これにより、時系列で連続する前後のフレーム画像も考慮してプラークの領域を検出することができ、検出精度を向上させることができる。
制御部31は、学習モデル341から取得したこれら情報に基づき、IVUS画像に含まれるオブジェクトの種類及び領域に関するオブジェクト情報を導出する。又は、制御部31は、学習モデル341から取得した情報自体をオブジェクト情報として用いることにより、当該オブジェクト情報を導出するものであってもよい。
制御部31は、補助記憶部34に記憶されているコンピュータプログラムPを実行することにより、データ入力部、データ処理部、及びデータ出力部として機能する。データ入力部は、プルバック1回にて生成した全てのIVUS画像を取得する。データ入力部は、更に血管造影装置102からアンギオ画像(Angio)を取得するものであってもよい。データ入力部によって取得されたIVUS画像及びアンギオ画像は、表示装置4にて表示されるものであってもよい。
データ処理部は、セグメンテーション機能を有する学習モデル341を含み、当該学習モデル341を用いることにより、取得したIVUS画像それぞれに対し、内腔(Lumen)及び血管(Vessel)のセグメンテーションを行う。データ処理部は、当該内腔(Lumen)及び血管(Vessel)のセグメンテーションの結果に基づき、プラークの領域を特定し、プラークバーデン及び狭窄率を算出する。データ処理部は、更に当該セグメンテーションの結果を用いて、IVUS画像それぞれにて示される血管の断層画像における平均内腔径及び血管径を算出する。データ処理部は、これら算出したプラークバーデン、狭窄率、平均内腔径及び血管径に基づき、例えばプラークバーデンが最大値(平均内腔径が最小値)となる部位を含む箇所を病変部として特定し、当該病変部の遠位側及び近位側のそれぞれの領域において、参照部を特定する。データ処理部は、病変部からの離間距離が例えば10mm等の所定範囲内において、プラークバーデンが最小値(平均内腔径が最大値)となる部位を含む箇所を参照部として特定するものであってもよい。
データ処理部は、プルバックが行われた血管の軸方向における遠位側及び近位側の参照部の位置に基づき、ステントによってカバーされる部位(ステントカバー部)と特定する。データ処理部は、例えばMean mid-wall reference等、ステント径を算出するための複数の導出手法が実行可能であり、いずれかの導出手法を用いて、遠位側及び近位側の参照部の内腔径に基づきステントの径(ステント径)を算出する。データ処理部は、特定したステントによってカバーされる部位(ステントカバー部)に基づき、ステントの長さ(ステント長)を算出する。
データ出力部は、データ処理部によって算出された各種数値等の情報(出力データ)を表示装置4に出力し、これら情報(出力データ)を表示装置4に表示される。当該情報(出力データ)は、例えば、IVUS画像、プラークバーデン、平均内腔径、病変部、参照部、ステントカバー部、狭窄率、ステント径及びステント長を含み、更にこれら情報を算出するにあたっての算出された各種値(各種算出値)を含むものであってもよい。これら機能部に関する処理の詳細は、後述するフローチャート等にて説明する。
図7は、制御部31による情報処理手順を示すフローチャートである。画像処理装置3の制御部31は、医師等、画像診断用カテーテル1の操作者の操作に応じて入力装置5から出力される入力データ等に基づき、以下の処理を実行する。
制御部31は、IVUS画像を取得する(S11)。制御部31は、プルバックして得たIVUS画像群(1プルバック分となる複数のIVUS画像)の読み込みを行うことにより、これらIVUS画像からなる医用画像を取得する。
制御部31は、ステント径を算出する(S12)。図8は、ステント径の算出手順を示すフローチャートである。制御部31は、当該フローチャートの処理に基づき、ステント径を算出する。
制御部31は、プラークバーデンを算出する(S121)。制御部31は、例えば、学習モデル341を用いて、取得したIVUS画像から内腔(Lumen)と血管(Vessel)をセグメンテーションし、プラークバーデンを算出する。内腔(Lumen)と血管(Vessel)をセグメンテーションすることにより、これらの面積(断層図における断面積)を算出し、血管(Vessel)の面積にて、内腔(Lumen)以外の領域の面積を除算することにより、プラークバーデンを算出するものであってもよい。
制御部31は、プラークバーデンは、所定の閾値以上であるか否か判定する(S122)。制御部31は、プラークバーデンは、所定の閾値以上であるか否か判定することにより、プラークバーデンを当該閾値に基づき分類する。制御部31は、算出したプラークバーデンに対し、例えば、40%、50%、又は60%等の所定の閾値に基づき、取得した全てのIVUS画像を分類する。当該閾値は、複数の設定が可能となるように構成されているものであってもよい。
所定の閾値以上である場合(S122:YES)、制御部31は、閾値以上のフレーム(IVUS画像)をグループ化する(S123)。制御部31は、プラークバーデンが閾値以上のフレーム(IVUS画像)を病変部(Lesion)としてグループ化する。病変部が、離間して点在する場合はそれぞれをグループ化 (L1、L2、L3、・・)するものであってもよい。ただし、当該グループ間の間隔(離間距離)が0.1から3mm以下の場合は同じグループとするものであってもよい。
制御部31は、プラークバーデンの最大値を含むグループを病変部と特定する(S124)。制御部31は、プラークバーデンの最大値、すなわち内腔径が最小値となる部位を含むグループを病変部と特定する。
所定の閾値以上でない場合(S122:NO)、すなわち所定の閾値未満である場合、制御部31は、閾値未満のフレーム(IVUS画像)をグループ化する(S1221)。所定の閾値未満である場合、制御部31は、閾値未満のフレーム(IVUS画像)を参照部(Reference)としてグループ化する。参照部(Reference)となるプラークバーデンが、離間して点在する場合はそれぞれをグループ化(R1、R2、R3、・・)するものであってもよい。ただし、当該グループ間の間隔(離間距離)が0.1から3mm以下の場合は同じグループとするものであってもよい。
制御部31は、病変部に対して、遠位側及び近位側の各グループを参照部として特定する(S125)。制御部31は、例えば全てのIVUS画像に対し、プラークバーデンの閾値以上であるか否かであるかを判定結果に応じて分類した後、病変部に対して、遠位側及び近位側の各グループを参照部として特定する。制御部31は、グループ化した複数の参照部(Reference)の内、特定した病変部の遠位(Distal)側及び近位(Proximal)側に位置する各グループを、当該病変部と比較するための参照部として特定する。
制御部31は、遠位側及び近位側の参照部の血管径、内腔径及び面積を算出する(S126)。制御部31は、遠位(Distal)側及び近位(Proximal)側の参照部の血管径(EEM)、内腔径及び面積を算出する。この場合、参照部間の長さ、すなわち遠位(Distal)側参照部から、近位(Proximal)側参照部までの長さは、例えば、最大10mmとなるように設定されるものであってもよい。
図9は、平均内腔径等の情報の表示例を示す説明図である。当該表示例において、平均内腔径のグラフ図と、プラークバーデン(PB)のグラフ図とが、上下に並べて表示される。横軸は、血管の長さ(軸方向の長さ)を示している。プラークバーデン(PB)の閾値が50%である場合、当該閾値を超えた部位が病変部として特定される。当該病変部に対し、遠位側、及び近位側にて10mm以内となる部位における平均内腔径が最大となるそれぞれの個所を含む部位が、遠位参照部及び近位参照部として特定される。このような情報が表示することにより、操作者に対し参照部の特定に関する支援(補助)を行うことができる。本実施形態における図示のとおり、病変部は、例えばプラークバーデン(PB)が50%以上の部分であって、例えば3mm以上連続したグループとするものであってもよい。参照部は、当該病変部の前後10mmの内、平均内腔径が最大の部位を含む箇所とするものであってもよい。血管内に大きな側枝があり、血管径が大きく変化する場合は、病変部と側枝の間にて、参照部を特定するものであってもよい。当該参照部を特定するにあたり、図示に示す画像を表示装置4にて表示し、操作者による修正を受付けるものであってもよい。また、当該画像を表示装置4にて表示するにあたり、大きな側枝のある個所を提示するものであってもよい。
制御部31は、当該特定した遠位側の参照部又は近位側の参照部に対する修正を受付けるものであってもよい。制御部31は、例えば、上述した平均内腔径等の情報を表示する画面において、特定した病変部、遠位側の参照部、又は近位側の参照部に対し、血管の軸方向におけるこれら部位の位置、又は当該部位における血管径(EEM)又は内腔径に関し、画像診断用カテーテルの操作者(医師等)等の修正を受付けるものであってもよい。このように平均内腔径等の情報を表示する画面において、特定又は導出した情報の修正を受付ける修正受付部を設けることにより、医師等に対し、当該情報の提示及び修正を行うための操作機能を提供することができる。参照部に対する修正が行われた場合(修正後)、制御部31は、当該修正内容を反映して再計算し、平均内腔径等の情報を再表示し、ステントサイズの導出等の後述する処理を行う。
制御部31は、ステント径を導出するための複数の導出手法のうち、いずれかの導出手法の選択を行う(S127)。当該ステント径を導出するための複数の導出手法は、例えば、制御部31により実行されるプログラムにサブモジュール、サブルーチン又は関数ライブラリー等として含まれている。
図10は、ステント径導出手法の選択画面等を例示する説明図である。当該複数の導出手法は、例えば、公知の導出手法(ルール)であるEEL-to-EEL(lesion)、Smallest reference EEL、Mean mid-wall reference、Largest reference lumen、Mean reference lumenmm、及びSmallest reference lumenを含む。制御部31は、例えば本実施形態の図示のようなリスト等によるメニュー形式にて、これら複数の導出手法の名称(種類)を表示装置4に出力し、選択を受付けるための機能ボタン等(選択受付部)と共に表示装置4に表示されるものであってもよい。
制御部31は、例えばMean mid-wall reference等、選択された導出手法を用いて、特定した遠位側の参照部及び近位側の参照部の内腔径及び血管径に基づきステントの径を算出(導出)する(S128)。本実施形態において、選択された導出手法(ルール)を用いてステントの径を算出するとしたが、これに限定されない。制御部31は、特定された参照部の内腔径及び血管径に基づき、予め用意されている全ての導出手法それぞれによってステント径を算出し、導出手法と当該導出手法毎のステント径とを関連付けて出力し、例えばリスト等によるメニュー形式にて表示装置4に表示させるものであってもよい。これにより、各導出手法におけるステント径それぞれを医師等に提示し、いずれの導出手法を選択するかの判断支援に関する情報を効率的に提供することができる。
制御部31は、ステント径を算出する(S13)。図11は、ステント長の算出手順を示すフローチャートである。制御部31は、当該フローチャートの処理に基づき、ステント長を算出する。
制御部31は、プラークバーデンを算出する(S131)。制御部31は、プラークバーデンは、所定の閾値以上であるか否か判定する(S132)。所定の閾値以上である場合(S132:YES)、制御部31は、閾値以上のフレーム(IVUS画像)をグループ化する(S133)。制御部31は、プラークバーデンの最大値を含むグループを病変部と特定する(S134)。制御部31は、前述したS121からS124と同様にS131からS134までの処理を行う。制御部31は、S121からS124の処理結果をもって、S131からS134までの処理結果とするものであってもよい。すなわち、制御部31は、S121からS124の処理と、S131からS134の処理とを共通ルーチン化するものであってもよい。
所定の閾値以上でない場合(S132:NO)、すなわち所定の閾値未満である場合、制御部31は、閾値未満のフレーム(IVUS画像)をグループ化する(S1321)。所定の閾値未満である場合、制御部31は、閾値未満のフレーム(IVUS画像)を健常部(Healthy)としてグループ化する。健常部(Healthy)となるプラークバーデンが、離間して点在する場合はそれぞれをグループ化(H1、H2、H3、・・)するものであってもよい。ただし、当該グループ間の間隔(離間距離)が0.1から3mm以下の場合は同じグループとするものであってもよい。健常部(Healthy)と、S1221及びS125の処理にて特定した参照部(Reference)とは、同じ部位であってもよい。
制御部31は、特定した病変部に対し、遠位側及び近位側の健常部(各Hグループ)をLanding Zoneとして特定する(S135)。制御部31は、Landing Zone間の距離をカバー可能なステント長を算出する(S136)。
図12は、Landing Zone等情報の表示例を示す説明図である。当該表示例において、縦軸はプラークバーデン(PB)を示し、横軸は、ブルバックがされた血管の長さ(軸方向の長さ)を示している。プラークバーデン(PB)の閾値が50%である場合、当該閾値を超えた部位が病変部として特定される。当該病変部に対し、遠位側、及び近位側にて、例えば10mm以内となる部位における平均内腔径が最大となるそれぞれの個所が、遠位健常部、及び近位健常部として特定される。当該遠位健常部及び近位健常部に基づきLanding Zonが特定され、特定されたLanding Zonの距離に基づきステント長が算出される。
制御部31は、本実施形態における図示の画像を表示装置4にて表示し、特定した遠位側の健常部又は近位側の健常部に対する操作者による修正を受付けるものであってもよい。健常部に対する修正が行われた場合(修正後)、制御部31は、当該修正内容を反映して再計算し、情報を再表示し、ステント長の導出等の後述する処理を行う。制御部31は、ステント径の導出時と同様に予め用意された複数の導出手法(ルール)における選択を受付け、選択された導出手法(ルール)を用いてステント長を算出(導出)するものであってもよい。
制御部31は、ステントサイズ等の支援情報を出力する(S14)。制御部31は、算出したステントサイズ(ステント径及びステント長)を含む支援情報を表示装置4に出力し、当該支援情報を表示装置4に表示させる。支援情報は、ステントサイズ(ステント径及びステント長)に加え、更にIVUS画像(縦断層図、横断層図)、プラークバーデン、平均内腔径、病変部、参照部、ステントカバー部、及び狭窄率を含むものであってもよい。
図13は、ステント長等の情報の表示例(データ表示部)を示す説明図である。当該説明図は、支援情報を表示装置4に表示させる際の画面表示例である。当該表示例において、血管の軸方向の断層図となる横断層図と、血管の径方向の断層図となる縦断層図とが、上下に並べて表示される。すなわち、ステント留置に関する支援情報は、IVUS画像による複数の縦断層図(血管の径方向の断面積)と、これら縦断層図を連結し横断層図(血管の軸方向の断面積)を含む。横断層図において、遠位側参照部(Ref.Distal)及び近位側参照部(Ref.Proximal)が示され、これら参照部間に位置する病変部(MLA:minimum lumen area)が示される。このような情報が表示することにより、操作者に対しステント留置に関する支援(補助)を行うことができる。
制御部31は、算出されたステント長に関し、本実施形態における図示のとおり、例えばIVUS画像による横断層図において、当該ステントによってカバーされる部位(ステントカバー部:点線表示)を重畳させて出力する(表示させる)ものであってもよい。これにより、算出された長さのステントを挿入した際に、当該ステントによってカバーされる病変部(MLA)と、遠位側及び近位側の参照部(Ref.D、Ref.P)との位置関係を医師等に対し提供することができる。上述したステントサイズ(ステント径及びステント長)、プラークバーデン、平均内腔径及び狭窄率等の各種算出値は、例えば、IVUS画像(縦断層図、横断層図)上に重畳表示、又はアノテーション表示させるものであってもよい。
本実施形態における図示のように支援情報を表示装置4に表示させるあたり、制御部31は、複数候補のステントに関する情報を表示されるものであってもよい。また、制御部31は、当該複数候補のステントにおいて選択するためのコメントを表示するものであってもよい。制御部31は、これらステントの種類や拡張具合(低圧/高圧)等に関する情報を表示するものであってもよい。制御部31は、参照部を特定するにあたり、プラークバーデンが例えば50%未満となる部位がない場合であっても、好適なLanding Zoneを特定する処理を行うものであってもよい。この場合、当該Landing Zoneに対応する横断面が表示されるものであってもよい。制御部31は、プラークバーデンに応じて、ステントエッジの位置を判定する処理を行うものであってもよい。制御部31は、選択したステントの拡張後のサイズを表示させるものであってもよい。制御部31は、2つのステントを配置するシミュレートを行い、この場合に各ステントの配置エリアにおけるプラークバーデンの閾値を変えて表示するものであってもよい。
本実施形態によれば、画像処理装置3は、オブジェクトの種類として血管の外膜(Vessel)及び内腔(Lumen)を、学習モデル341を用いることにより特定(セグメンテーション)し、セグメンテーションされた血管の外膜(Vessel)及び内腔(Lumen)の領域に基づきプラークの面積比率(プラークバーデン)を算出する。画像処理装置3は、特定したプラークのプラークバーデンに基づき、血管に挿入され、当該プラークに対し施すためのステントに関する情報を導出する。当該ステントに関する情報は、例えば、ステントの径(ステント径)、長さ(ステント長)等を含むステントサイズであるため、医師等に対し有用な情報を効率的に提供することができる。このように学習モデル341を用いてIVUS画像をセグメンテーションして特定したプラークに基づき、ステントサイズ等の情報を導出することができ、画像診断用カテーテルの被検者又は操作者に依拠する差異(ばらつき)を緩和し、適切なステントに関する情報を医師等に提供することができる。
本実施形態によれば、画像処理装置3は、プルバック1回にて生成した全てのIVUS画像において、プラークバーデンが最大値となる部位を含む病変部を特定し、当該特定した病変部の遠位側及び近位側それぞれに位置する参照部それぞれを特定する。従って、血管の軸方向において、プラークバーデンが最大値となる病変部を含む範囲に対応するステントの径及び長さ(ステントサイズ)を効率的に導出することができる。ステントの径(ステント径)を導出する際に用いる参照部の長さの最大値を、例えば10mmとして制約した場合、ステントの径(ステント径)を導出する際に用いる参照部と、ステントの長さ(ステント長)を導出する際に用いる参照部とは、異なる部位であってもよい。この場合、特定した病変部に対し、ステント径を導出するための参照部とは別個に、遠位側及び近位側それぞれに位置する健常部を特定し、特定した健常部に基づきステントの長さ(ステント長)を導出するものであってもよい。
本実施形態によれば、画像処理装置3は、特定した病変部、遠位側の参照部、又は近位側の参照部に対し、例えば血管の軸方向におけるこれら部位の位置、又は当該部位における血管径(EEM)又は内腔径に関し、画像診断用カテーテルの操作者(医師等)の修正を受付ける。画像処理装置3は、このような修正を受付けた場合、修正された病変部、遠位側の参照部、又は近位側の参照部に基づきステントの径及び長さを導出する。このように医師等による修正が反映された病変部、遠位側の参照部、及び近位側の参照部に基づきステントの径及び長さ(ステントサイズ)を導出することにより、医師等に対し有用な情報を効率的に提供することができる。
本実施形態によれば、画像処理装置3の制御部31により実行されるプログラムは、遠位側及び近位側のいずれか又は双方の参照部における内腔径及び血管径に基づき、ステントの径(ステント径)を導出する複数の導出手法を行うモジュール又はサブルーチンを含む。画像処理装置3は、ステントの径を導出するにあたり、これら複数の導出手法を例えばリスト形式にて表示装置4に出力し、いずれかの導出手法の選択を受付けるための機能ボタン等による選択部と共に、表示装置4に表示される。これにより、医師等による操作に基づく導出手法の選択を受付け、当該選択された導出手法を用いてステント径を効率的に導出することができる。
(実施形態2)
図14は、実施形態2(在庫DB)に係る画像診断装置等の構成例を示す説明図である。画像診断装置は、無線又は有線にて、在庫DBサーバSと通信可能に接続されている。画像診断装置は、例えばUSBポート等の入出力I/F33に、4G、5G又はWiFi等の無線子機から成る通信部が接続され、当該通信部を介して、インターネット又はイントラネットに接続される在庫DBサーバSとデータ通信を行う。
在庫DBサーバSは、クラウドサーバ等の外部サーバとして構成されており、記憶装置S1を備える。在庫DBサーバSの記憶装置S1には、ステントの品種及び在庫に関するデータを保存するステント在庫DB(Data Base)が記憶されている。画像診断装置は、在庫DBサーバSと通信(アクセス)することにより、ステント在庫DBに保存されているデータを検索及び参照(取得)することができる。本実施形態において、ステントの品種及び在庫に関するデータを保存するステント在庫DBは、在庫DBサーバSの記憶装置S1に記憶されているとしたがこれに限定されず、当該ステント在庫DBは、画像診断装置の補助記憶部34に記憶されているものであってもよい。
図15は、ステント在庫DBの一例を説明する説明図である。ステント在庫DBは、管理項目(フィールド)として、例えば、ステント品種、ステント径、ステント長、及び在庫数を含む。
ステント品種の管理項目(フィールド)には、既存販売品種の品種名が格納される。ステント径の管理項目(フィールド)には、同じレコードに格納されている品種名のステントの径(ステント径)が格納される。ステント長の管理項目(フィールド)には、同じレコードに格納されている品種名のステントの長さ(ステント長)が格納される。在庫数の管理項目(フィールド)には、同じレコードに格納されている品種名のステントの現時点における在庫数が格納される。画像診断装置は、在庫DBサーバSにアクセスすることにより、所定のステントサイズ(ステント長及びステント径)に適合するステントの品種名を検索し、当該品種名のステントの在庫の有無を取得(確認)することができる。
図16は、制御部31による情報処理手順を示すフローチャートである。画像処理装置3の制御部31は、医師等、画像診断用カテーテル1の操作者の操作に応じて入力装置5から出力される入力データ等に基づき、以下の処理を実行する。
制御部31は、IVUS画像を取得する(S21)。制御部31は、ステント径を算出する(S22)。制御部31は、ステント長を算出する(S23)。制御部31は、実施形態1の処理S11からS13と同様に、S21からS23までの処理を行う。
制御部31は、ステント在庫DBを参照する(S24)。制御部31は、推奨ステント品種の選定を行う(S25)。制御部31は、在庫DBサーバSにアクセスすることにより、前処理にて算出したステントサイズ(ステント径及びステント長)に基づき、ステント在庫DBを検索し、当該ステントサイズに適合するステント品種(品種名)であって、現時点において在庫を有するステント品種(品種名)を、推奨ステント品種として選定する。制御部31は、推奨ステント品種を選定するにあたり、単一の推奨ステント品種を選定する場合に限定されず、複数の推奨ステント品種を選定するものであってもよい。
制御部31は、ステントサイズ等の支援情報(推奨ステント品種)を出力する(S26)。制御部31は、実施形態1と同様に支援情報を出力するにあたり、選定した推奨ステント品種に関する情報を含めて、当該支援情報を出力し、表示装置4に表示されるものであってもよい。
本実施形態によれば、画像処理装置3は、例えば、ステントの品種毎の在庫量を管理する在庫DBサーバS(外部サーバ)にアクセスし、ステントの各品種の在庫量を取得する。画像処理装置3は、導出したステントの径及び長さ(ステントサイズ)に適合するステントの品種であって、例えば現時点において在庫を有する品種のステントを、推奨サイズのステント(推奨ステント)として選定する。これにより、導出したステントの径及び長さ(ステントサイズ)に基づき、適切な品種のステントに関する情報を、医師等に効率的に提供することができる。
今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
1 画像診断用カテーテル
11 プローブ
11a カテーテルシース
12 センサ部
12a 超音波送受信部
12a IVUSセンサ
12b 光送受信部
12b OCTセンサ
12c マーカ
12d ハウジング
13 シャフト
14 ガイドワイヤ挿通部
14a マーカ
15 コネクタ部
2 MDU
3 画像処理装置(情報処理装置)
30 記録媒体
31 制御部
32 主記憶部
33 入出力I/F
34 補助記憶部
341 学習モデル
35 読取部
4 表示装置
5 入力装置
100 画像診断装置
101 血管内検査装置
102 血管造影装置
S 在庫DBサーバ(外部サーバ)
S1 記憶装置

Claims (8)

  1. コンピュータに、
    管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、
    取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定し、
    特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出し、
    導出した前記ステントに関する情報を出力し、
    前記医用画像を入力した場合に該医用画像に含まれるオブジェクトを推定する学習モデルに入力することによって、取得した前記医用画像に含まれる前記オブジェクトの種類及び領域を特定し、
    前記管腔器官は血管であり、
    特定した前記オブジェクトの種類は、前記血管の外膜と内腔との間に介在するプラークを含み、
    特定した前記プラークに基づき、前記血管に挿入する前記ステントに関する情報を導出し、
    特定した前記プラークにおいて、プラークバーデンが最大値の部位を含む病変部を特定し、
    前記病変部に対し遠位側及び近位側それぞれに位置し、プラークバーデンが閾値以下の部位を含む参照部を特定し、
    特定した前記遠位側の参照部及び前記近位側の参照部に基づき前記ステントの径及び長さを導出する
    処理を実行させるためのコンピュータプログラム。
  2. 定した前記遠位側の参照部又は前記近位側の参照部に対する修正を受付け、
    修正された前記遠位側の参照部又は前記近位側の参照部に基づき前記ステントの径及び長さを導出する
    請求項に記載のコンピュータプログラム。
  3. 前記ステントの径を導出するための複数の導出手法を用いて、特定した前記遠位側の参照部及び前記近位側の参照部に基づき前記ステントの径を導出し、前記導出手法と前記導出手法毎のステントの径を関連付けて出力する
    請求項1又は請求項2に記載のコンピュータプログラム。
  4. 前記ステントの径を導出するための複数の導出手法のうち、いずれかの導出手法の選択を受付け、
    選択を受付けた導出手法を用いて、特定した前記遠位側の参照部及び前記近位側の参照部に基づき前記ステントの径を導出する
    請求項1から請求項3のいずれか1項に記載のコンピュータプログラム。
  5. 前記ステントの径及び長さと、前記ステントの品種とが関連付けられた品種情報を記憶した記憶部を参照して、導出した前記ステントの径及び長さに対応する品種を選定する
    請求項1から請求項4のいずれか1項に記載のコンピュータプログラム。
  6. 前記記憶部は前記ステントの品種毎の在庫数を更に記憶しており、前記記憶部を参照して、導出した前記ステントの径及び長さに対応し、かつ在庫を有するステントの品種を選定する
    請求項5に記載のコンピュータプログラム。
  7. コンピュータに、
    管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得し、
    取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定し、
    特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出し、
    導出した前記ステントに関する情報を出力し、
    前記医用画像を入力した場合に該医用画像に含まれるオブジェクトを推定する学習モデルに入力することによって、取得した前記医用画像に含まれる前記オブジェクトの種類及び領域を特定し、
    前記管腔器官は血管であり、
    特定した前記オブジェクトの種類は、前記血管の外膜と内腔との間に介在するプラークを含み、
    特定した前記プラークに基づき、前記血管に挿入する前記ステントに関する情報を導出し、
    特定した前記プラークにおいて、プラークバーデンが最大値の部位を含む病変部を特定し、
    前記病変部に対し遠位側及び近位側それぞれに位置し、プラークバーデンが閾値以下の部位を含む参照部を特定し、
    特定した前記遠位側の参照部及び前記近位側の参照部に基づき前記ステントの径及び長さを導出する
    処理を実行させる情報処理方法。
  8. 管腔器官に挿入されたカテーテルにて検出した信号に基づき生成された医用画像を取得する取得部と、
    取得した前記医用画像に含まれるオブジェクトの種類及び領域を特定する特定部と、
    特定した前記オブジェクトの種類及び領域に基づき、前記管腔器官に挿入するステントに関する情報を導出する導出部と、
    導出した前記ステントに関する情報を出力する出力部とを備え、
    前記医用画像を入力した場合に該医用画像に含まれるオブジェクトを推定する学習モデルに入力することによって、取得した前記医用画像に含まれる前記オブジェクトの種類及び領域を特定し、
    前記管腔器官は血管であり、
    特定した前記オブジェクトの種類は、前記血管の外膜と内腔との間に介在するプラークを含み、
    特定した前記プラークに基づき、前記血管に挿入する前記ステントに関する情報を導出し、
    特定した前記プラークにおいて、プラークバーデンが最大値の部位を含む病変部を特定し、
    前記病変部に対し遠位側及び近位側それぞれに位置し、プラークバーデンが閾値以下の部位を含む参照部を特定し、
    特定した前記遠位側の参照部及び前記近位側の参照部に基づき前記ステントの径及び長さを導出する
    情報処理装置。
JP2023508956A 2021-03-25 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置 Active JP7801065B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025285277A JP2026062891A (ja) 2021-03-25 2025-12-29 コンピュータプログラム、情報処理方法及び情報処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021052012 2021-03-25
JP2021052012 2021-03-25
PCT/JP2022/010152 WO2022202303A1 (ja) 2021-03-25 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025285277A Division JP2026062891A (ja) 2021-03-25 2025-12-29 コンピュータプログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2022202303A1 JPWO2022202303A1 (ja) 2022-09-29
JP7801065B2 true JP7801065B2 (ja) 2026-01-16

Family

ID=83395605

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023508956A Active JP7801065B2 (ja) 2021-03-25 2022-03-09 コンピュータプログラム、情報処理方法及び情報処理装置
JP2025285277A Pending JP2026062891A (ja) 2021-03-25 2025-12-29 コンピュータプログラム、情報処理方法及び情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025285277A Pending JP2026062891A (ja) 2021-03-25 2025-12-29 コンピュータプログラム、情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US20240013385A1 (ja)
JP (2) JP7801065B2 (ja)
WO (1) WO2022202303A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4538970A3 (en) * 2020-03-30 2025-08-27 Terumo Kabushiki Kaisha Computer program and information processing device
US20250339034A1 (en) * 2022-01-10 2025-11-06 Gentuity, Llc Imaging system for calculating fluid dynamics
US20230270407A1 (en) * 2022-02-26 2023-08-31 Xenter, Inc. Medical devices, systems, and methods incorporating the same
WO2024071322A1 (ja) * 2022-09-30 2024-04-04 テルモ株式会社 情報処理方法、学習モデルの生成方法、コンピュータプログラム及び情報処理装置
CN121335671A (zh) * 2023-03-30 2026-01-13 波士顿科学国际有限公司 用于血管内斑块负荷指示的图形用户界面
WO2026037720A1 (en) * 2024-08-16 2026-02-19 Koninklijke Philips N.V. Intravascular imaging based automatic stent length determination and landing zone selection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017534394A (ja) 2014-11-14 2017-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 経皮的冠動脈インターベンション計画インタフェース、並びに関連するデバイス、システム、及び方法
JP2019088772A (ja) 2017-10-03 2019-06-13 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc ステント拡張の検出および表示
US20200000525A1 (en) 2018-06-28 2020-01-02 Koninklijke Philips N.V. Internal ultrasound assisted local therapeutic delivery
WO2020146905A1 (en) 2019-01-13 2020-07-16 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
JP2021041029A (ja) 2019-09-12 2021-03-18 テルモ株式会社 診断支援装置、診断支援システム、及び診断支援方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4445837A3 (en) * 2012-12-12 2024-12-25 Lightlab Imaging, Inc. Apparatus for automated determination of a lumen contour of a blood vessel
EP3563770A1 (en) * 2018-05-02 2019-11-06 Koninklijke Philips N.V. Intravascular navigation using data-driven orientation maps
WO2020084037A1 (en) * 2018-10-26 2020-04-30 Koninklijke Philips N.V. Speed determination for intraluminal ultrasound imaging and associated devices, systems, and methods
JP7568636B2 (ja) * 2019-03-17 2024-10-16 ライトラボ・イメージング・インコーポレーテッド 動脈の撮像・評価のシステム及び方法並びに関連するユーザインタフェースに基づくワークフロー
JP7221787B2 (ja) * 2019-05-10 2023-02-14 i-PRO株式会社 血管径測定システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017534394A (ja) 2014-11-14 2017-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 経皮的冠動脈インターベンション計画インタフェース、並びに関連するデバイス、システム、及び方法
JP2019088772A (ja) 2017-10-03 2019-06-13 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc ステント拡張の検出および表示
US20200000525A1 (en) 2018-06-28 2020-01-02 Koninklijke Philips N.V. Internal ultrasound assisted local therapeutic delivery
WO2020146905A1 (en) 2019-01-13 2020-07-16 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
JP2021041029A (ja) 2019-09-12 2021-03-18 テルモ株式会社 診断支援装置、診断支援システム、及び診断支援方法

Also Published As

Publication number Publication date
US20240013385A1 (en) 2024-01-11
JPWO2022202303A1 (ja) 2022-09-29
WO2022202303A1 (ja) 2022-09-29
JP2026062891A (ja) 2026-04-10

Similar Documents

Publication Publication Date Title
JP7801065B2 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US12229966B2 (en) Systems and methods for classification of arterial image regions and features thereof
US12518382B2 (en) Medical system, method for processing medical image, and medical image processing apparatus
WO2023189308A1 (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP7803928B2 (ja) プログラム、画像処理方法及び画像処理装置
JP7843748B2 (ja) プログラム、情報処理方法及び情報処理装置
US12283048B2 (en) Diagnosis support device, diagnosis support system, and diagnosis support method
JP7801064B2 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP7813276B2 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US20250248664A1 (en) Image diagnostic system and method
JP2024139509A (ja) プログラム、画像処理方法、画像処理装置及びモデル生成方法
JP2024142137A (ja) プログラム、画像処理方法及び画像処理装置
WO2024202465A1 (ja) プログラム、画像処理方法及び画像処理装置
JP2024140944A (ja) プログラム、画像処理方法、画像処理装置及びモデル生成方法
WO2024071121A1 (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
WO2026063494A1 (ja) 情報処理方法、プログラムおよび情報処理装置
WO2024238616A1 (en) System, method and computer-accessible medium for providing automated image path registration
JP2022149735A (ja) プログラム、画像処理方法、画像処理装置及びモデル生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251229

R150 Certificate of patent or registration of utility model

Ref document number: 7801065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150