Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7093075B2 - 医用画像処理装置、医用画像処理方法、およびプログラム - Google Patents
[go: Go Back, main page]

JP7093075B2 - 医用画像処理装置、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
JP7093075B2
JP7093075B2 JP2018075024A JP2018075024A JP7093075B2 JP 7093075 B2 JP7093075 B2 JP 7093075B2 JP 2018075024 A JP2018075024 A JP 2018075024A JP 2018075024 A JP2018075024 A JP 2018075024A JP 7093075 B2 JP7093075 B2 JP 7093075B2
Authority
JP
Japan
Prior art keywords
image
likelihood
unit
images
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018075024A
Other languages
English (en)
Other versions
JP2019180799A (ja
Inventor
隆介 平井
昭行 谷沢
慎一郎 森
慶子 岡屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL INSTITUTES FOR QUANTUM AND RADIOLOGICALSCIENCE AND TECHNOLOGY
Toshiba Energy Systems and Solutions Corp
Original Assignee
NATIONAL INSTITUTES FOR QUANTUM AND RADIOLOGICALSCIENCE AND TECHNOLOGY
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018075024A priority Critical patent/JP7093075B2/ja
Application filed by NATIONAL INSTITUTES FOR QUANTUM AND RADIOLOGICALSCIENCE AND TECHNOLOGY, Toshiba Energy Systems and Solutions Corp filed Critical NATIONAL INSTITUTES FOR QUANTUM AND RADIOLOGICALSCIENCE AND TECHNOLOGY
Priority to EP19784846.8A priority patent/EP3777686B1/en
Priority to US17/045,911 priority patent/US11830184B2/en
Priority to PCT/JP2019/009394 priority patent/WO2019198394A1/ja
Priority to KR1020207028777A priority patent/KR102469141B1/ko
Priority to RU2020132773A priority patent/RU2762146C1/ru
Priority to CN201980024585.1A priority patent/CN111954494B/zh
Priority to TW108107969A priority patent/TWI708214B/zh
Publication of JP2019180799A publication Critical patent/JP2019180799A/ja
Application granted granted Critical
Publication of JP7093075B2 publication Critical patent/JP7093075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065Beam adjustment
    • A61N5/1067Beam adjustment in real time, i.e. during treatment
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1051Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an active marker
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • A61N2005/1062Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source using virtual X-ray images, e.g. digitally reconstructed radiographs [DRR]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10124Digitally reconstructed radiograph [DRR]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radiation-Therapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、医用画像処理装置、医用画像処理方法、およびプログラムに関する。
従来、放射線を患者の腫瘍に対して照射して治療する放射線治療方法が開示されている。放射線は、腫瘍の位置に正確に照射される必要がある。患者の体内の正常な組織に放射線を照射してしまうと、その正常な組織にまで影響を与える場合があるからである。そのため、予めコンピュータ断層撮影(Computed Tomography:CT)撮影を行って患者の体内の腫瘍の位置を3次元的に把握して、正常組織への照射を少なくするように照射する方向や照射強度が計画される。放射線治療においては、その治療計画に従って放射線を照射するために、治療計画時と治療時とで装置に対する相対的な患者の位置(以下、単に患者の位置)を合わせることが必要になる。
患者体内の腫瘍や骨などの位置を治療計画時と合わせるために、治療直前に寝台に寝かせた状態の患者体内の透視画像と、治療計画時に撮影した3次元CT画像から仮想的に透視画像を再構成したデジタル再構成X線画像(Digitally Reconstructed Radiograph:DRR)との画像照合をして画像間の患者の位置のずれを求め、ずれに基づいて寝台を移動させることが行われる。患者位置のずれは、透視画像と最も類似するDRRが再構成されるCT画像の位置を探索することで求められる。この探索をコンピュータで自動化する方法は複数提案されている。しかし、最終的には、自動で探索した結果を利用者(医師など)が透視画像とDRR画像とを見比べることによって、患者の位置のずれが十分に小さいことが確認される。そして、利用者による確認が取れ次第、放射線の照射が行われる。
患者体内の腫瘍が、肺や肝臓などの呼吸や心拍の動きによって移動してしまう器官にある場合、照射中の腫瘍の位置を特定しなければならない。特定する方法として、照射中の患者の透視動画を連続撮影し、逐次透視画像内の腫瘍を追跡する方法や、腫瘍が透視画像で鮮明に写らない場合は、患者体内に留置されたマーカーを追跡することで、間接的に腫瘍の位置を特定する方法などがある。照射の手法には、腫瘍の位置に対して追尾して照射する追尾照射や、腫瘍が治療計画時の位置に来たときに照射する待ち伏せ照射がある。これらの照射方法は、患者の呼吸と照射が同期することから、呼吸同期照射方法と呼ばれている。
透視画像に写る腫瘍を追跡する方法として、予め腫瘍の画像パターンを取得しておき、治療時に撮影される透視画像内で類似する画像パターンの位置を探索して、腫瘍の位置を特定する方法がある。その方法では、腫瘍を含む画像と含まない画像を用意し、ニューラルネットワークによってそれらを識別する識別器が生成され、この識別器によって腫瘍の位置が追跡される。しかしながら、係る手法では、透視画像から例えばラスタスキャンの手法によって多数の局所画像を切り出し、それぞれを識別器によって腫瘍か腫瘍でないかを分類するため処理時間が長くなり、リアルタイム性が要求される腫瘍の位置の追跡に適用することが困難である場合があった。
米国特許第6819790号明細書
本発明が解決しようとする課題は、放射線治療において、患者の透視画像から患者のターゲット位置を、高速・高精度に推定することができる医用画像処理装置、医用画像処理方法、およびプログラムを提供することである。
実施形態の医用画像処理装置は、第1位置取得部と、第1変換部と、第1尤度画像生成部と、学習部とを持つ。第1位置取得部は、患者を撮影した複数時点の透視画像である複数の第1画像のそれぞれにおける前記患者のターゲット位置を、第1位置として取得する。第1変換部は、前記複数の第1画像における前記第1位置のそれぞれを、前記第1位置の時間的な動きが大きい第1方向に交差する第2方向に動きを拡大した第2位置に変換する。第1尤度画像生成部は、前記第2位置を基準として、前記第2位置に該当することの確からしさを示す尤度の分布を表す第1尤度画像を生成する。学習部は、前記複数の第1画像のそれぞれの一部または全部と前記第1尤度画像とを教師データとし、透視画像の一部または全部が与えられると前記第2位置に該当することの確からしさを示す尤度の分布を表す第2尤度画像を導出するモデルを出力する。
本発明によれば、放射線治療において治療中の患者の透視画像から、患者体内の腫瘍を自動追跡することができる医用画像処理装置、医用画像処理方法、およびプログラムを提供することができる。
第1の実施形態の医用画像処理装置100を含む治療システム1の構成図。 第1の実施形態の学習装置110のブロック図。 第1の実施形態の動体追跡装置120のブロック図。 第1の実施形態の医用画像処理装置100のブロック図。 第1変換部113によって透視画像TIを処理する様子の一例を示す図。 ターゲット位置TPの軌跡の一例を示す図。 医用画像処理装置100が生成する第1尤度画像の一例を示す図。 学習装置110の処理の流れの一例を示すフローチャート。 動体追跡装置120の処理の流れの一例を示すフローチャート。 第2の実施形態の動体追跡装置120Aのブロック図。 動体追跡装置120Aが生成する第2尤度画像の一例を示す図。 動体追跡装置120Aが生成する第2尤度画像の他の一例を示す図。 医用画像処理装置100Aが生成する人工画像パッチの一例を示す図。 動体追跡装置120Aの処理の流れの一例を示すフローチャート。 第3の実施形態の動体追跡装置120Bのブロック図。 動体追跡装置120Bの処理の流れの一例を示すフローチャート。
以下、実施形態の医用画像処理装置、医用画像処理方法、およびプログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、医用画像処理装置100を含む治療システム1の構成図である。治療システム1は、例えば、治療装置10と、医用画像処理装置100とを備える。
治療装置10は、例えば、寝台11と、放射線源12-1、12-2と、検出器13-1、13-2と、治療装置側制御部20とを備える。以下、符号におけるハイフンおよびこれに続く数字は、いずれの放射線源および検出器の組による透視用の放射線、或いは透視画像であるかを示すものとする。また、適宜、符号におけるハイフンおよびこれに続く数字を省略して説明を行う。
寝台11には、治療を受ける患者Pが固定される。放射線源12-1は、患者Pに対して放射線r-1を照射する。放射線源12-2は、放射線源12-1とは異なる角度から、患者Pに対して放射線r-2を照射する。放射線r-1およびr-2は、電磁波の一例であり、例えばX線である。
放射線r-1は検出器13-1によって検出され、放射線r-2は検出器13-2によって検出される。検出器13-1および13-2は、例えばフラット・パネル・ディテクタ(FPD;Flat Panel Detector)、イメージインテンシファイア、カラーイメージインテンシファイアなどである。検出器13-1は、放射線r-1のエネルギーを検出してデジタル変換し、透視画像TI-1として医用画像処理装置100に出力する。検出器13-2は、放射線r-2のエネルギーを検出してデジタル変換し、透視画像TI-2として医用画像処理装置100に出力する。図1では、2組の放射線源および検出器を示したが、治療装置10は、3組以上の放射線源および検出器を備えてもよい。
照射門14は、治療段階において、患者Pに対して治療ビームBを照射する。治療ビームBには、例えば、重粒子線、X線、γ線、電子線、陽子線、中性子線などが含まれる。図1では、1つの照射門14のみ示したが、治療装置10は複数の照射門を備えてもよい。
なお、透視画像TIは、照射門14による治療ビームBの照射を行う数日程度前に取得されてもよいし、治療ビームBの照射を行う直前に取得されてもよい。治療装置10の利用者(医者等)は、例えば、治療ビームBの照射を行う数日程度前に取得される透視画像を用いて、治療計画を立てる。治療計画とは、患者Pに照射する放射線のエネルギー、照射方向、照射範囲の形状などを計画することである。また、治療計画には、治療ビームBの照射を複数回行う場合、各回の治療ビームBの線量の配分の計画が含まれる。治療計画において医用画像処理装置100は、医師による治療ビームBの照射対象位置(ターゲット位置)の指定を受け付ける。
なお、医用画像処理装置100は、ターゲットに関する各種情報の導出と同時に、患者Pの体内のターゲット付近に留置されたマーカーの位置を導出してもよい。患者Pの体内に留置するマーカーは、例えば、金属製であり、透視画像TIにおいては視認性が高い。そのため、ターゲットの追跡が困難である場合には、マーカーを追跡する。
医用画像処理装置100は、例えば、腫瘍と正常領域との境界を指定する場合、腫瘍の位置および体積を指定する。この腫瘍の体積は、肉眼的腫瘍体積(Gross Tumor Volume:GTV)、臨床的標的体積(Clinical Target Volume:CTV)、内的標的体積(Internal Target Volume:ITV)、計画標的体積(Planning Target Volume:PTV)などと呼ばれている。GTVは、画像から肉眼で確認することができるターゲットの体積であり、放射線治療においては、十分な線量の治療ビームBを照射する必要がある体積である。CTVは、GTVと治療すべき潜在性のターゲットとを含む体積である。ITVは、予測される生理的な患者Pの動きなどによってCTVが移動することを考慮し、CTVに予め定めた余裕(マージン)を付加した体積である。PTVは、治療を行う際に行う患者Pの位置合わせにおける誤差を考慮して、ITVにマージンを付加した体積である。これらの体積には、下式(1)の関係が成り立っている。
Figure 0007093075000001
医用画像処理装置100は、治療計画において設定された実際の治療時に生じる可能性のある誤差を考慮した余裕(マージン)を加えて、治療ビームの照射野を決定する。実際の治療時に生じる可能性のある誤差とは、例えば、患者位置決めにおける患者位置のずれなどである。
図2は、第1の実施形態の学習装置110の構成を示すブロック図である。図2に示す学習装置110は、例えば、第1画像取得部111と、第1位置取得部112と、第1変換部113と、第1尤度画像生成部114と、学習部115と、パラメータ記憶部116とを備える。これらの構成要素(パラメータ記憶部116を除く)は、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
第1画像取得部111は、まず、治療システム1を構成する治療装置10に備えた撮影装置を再現する。より具体的には、図1に示したように、治療システム1を構成する治療装置10では、放射線源12と放射線検出器13との位置が固定されている。つまり、治療装置10では、放射線源12と放射線検出器13との組によって構成される撮影装置が撮影する方向が固定されている。このため、放射線源12と放射線検出器13とが設置された3次元空間内において所定の3次元座標を定義したとき、放射線源12と放射線検出器13との位置を、3軸の座標値で表すことができる。以下の説明においては、3軸の座標値の情報を、放射線源12と放射線検出器13との組によって構成される撮影装置のジオメトリ情報と称する。
第1画像取得部111は、患者Pに対して治療ビームBを照射する前に、第1画像を取得する。第1画像とは、例えば、治療計画時に撮影された3次元CT画像等の透視画像に基づいて作成(再現)したDRR画像である。具体的には、第1画像取得部111は、治療計画時に取得した透視画像から、治療時の透視画像TIを撮影する撮影装置のジオメトリ情報に従ってDRR画像を作成する。また、第1画像取得部111は、取得した第1画像を学習部115に出力する。なお、第1画像取得部111が取得する第1画像は、例えば、患者Pに対する過去の治療時など、学習時やそれよりも前に撮影されたX線透視画像等であってもよい。
第1画像取得部111は、例えば、マスク画像取得部111aと、局所領域設定部111bとを備える。マスク画像取得部111aは、透視画像TIに主被写体である腫瘍以外(例えば、治療器具や治療装置)の被写体が写り込んでいる場合にその領域を覆い隠すマスク画像を生成する。マスク画像取得部111aは、局所領域設定部111bに腫瘍以外の被写体を覆い隠したマスク画像を出力する。
局所領域設定部111bは、マスク画像取得部111aにより出力されたマスク画像の中から、腫瘍以外の被写体が写り込んでいる部分が小さい領域、すなわち、腫瘍が写り込む部分が相対的に大きい領域(例えば後述する窓領域WA(TP))を設定し、第1位置取得部112および学習部115に出力する。また、局所領域設定部111bは、マスク画像の中から、学習効果が高いと見込まれる領域(例えば後述する窓領域WA(k)を設定し、学習部115に出力する。局所領域設定部111bは、医師によって領域の指定を受け付けてもよいし、下記のように自動的に設定してもよい。後者の場合、局所領域設定部111bは、窓領域WA(k)に関しては、後述する学習部115における学習効果が高いと見込まれる第1画像およびマスク画像を設定して出力してもよい。学習効果が高いと見込まれる画像とは、例えば、輝度値の差分が大きい画像である。
第1位置取得部112は、第1画像取得部111により出力された第1画像におけるターゲット位置の情報を取得する。ターゲット位置の情報とは、患者Pの患部、すなわち治療ビームBを照射する対象の腫瘍等が存在する位置である。ターゲット位置の情報は、医用画像処理装置100の使用者(例えば医師)によって治療計画時等に特定された位置(例えば、DRR上で確認できる腫瘍の重心にジオメトリ情報を反映した位置)の情報である。第1位置取得部112は、第1画像およびターゲット位置の情報を第1変換部113に出力する。医用画像処理装置100の使用者(例えば医師)によって治療計画時等に特定された位置は「ターゲット位置」あるいは「第1位置」の一例である。
第1変換部113は、第1位置取得部112により出力されたターゲット位置の情報に基づいて、第1画像に所定の変換処理を行うことで変換パラメータCPおよび逆変換パラメータRCPを導出する。第1変換部113は、変換パラメータCPに基づいて導出した第1画像の画素位置に該当するターゲット位置を、第1尤度画像の画素位置へ対応づけして、第1尤度画像生成部114に出力する。また、第1変換部113は、逆変換パラメータRCPをパラメータ記憶部116に出力する。第1画像に行う所定の変換処理と、変換パラメータCPおよび逆変換パラメータRCPについては、後述する。
第1尤度画像生成部114は、第1変換部113により出力されたターゲット位置を基準として第1尤度画像を生成し、学習部115に出力する。第1尤度画像とは、例えば、第1画像内のターゲット位置の尤度(腫瘍が存在する位置であるという確からしさ)を輝度等で表現した画像のことである。
学習部115は、第1画像取得部111により出力された第1画像の一部または全部(より具体的には窓領域の画像)と、第1尤度画像生成部114により出力された第1尤度画像とに基づいて、第1画像の一部または全部と第1尤度画像との関係を回帰学習したモデルを表す尤度計算パラメータLPを導出する。学習部115は、尤度計算パラメータLPを、パラメータ記憶部116に出力する。呼吸位相が対応している第1画像の一部または全部と第1尤度画像とは、「教師データ」の一例である。
学習部115は、例えば、部分画像生成部115aを備える。部分画像生成部115aは、第1尤度画像の一部の領域である部分画像を生成する。
図3は、第1の実施形態の動体追跡装置120の構成を示すブロック図である。図3に示す動体追跡装置120は、例えば、第2画像取得部121と、第2尤度画像生成部122と、第1推定部123と、第2変換部124とを備える。これらの構成要素のうち一部または全部は、学習装置110と同様に、LSI等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置に格納されていてもよいし、着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
第2画像取得部121は、患者Pに対して治療ビームBを照射する直前や照射中に所定時間の間隔で撮影された透視画像TIである、第2画像を取得する。第2画像取得部121は、第2画像を第2尤度画像生成部122に出力する。
なお、第2画像取得部121は、ターゲット位置を、射影行列として求める。このため、第2画像取得部121では、それぞれの撮影装置に対応する射影行列をジオメトリ情報から予め求めておく。つまり、第2画像取得部121は、それぞれの撮影装置ごとに射影行列を求めておく。そして、第2画像取得部121は、2つの第1画像に撮影されたターゲット位置から、三角測量の原理を利用して、所定の3次元空間内にあるターゲット位置を表す3次元座標の座標値を計算する。これにより、第2画像取得部121は、所定の3次元空間内にあるターゲット位置が、患者Pの透視画像TI内のいずれの位置に撮影されているのかを計算する。
第2尤度画像生成部122は、第2画像取得部121により出力された第2画像に基づいて、第2尤度画像を生成する。第2尤度画像生成部122は、例えば、パラメータ記憶部116により出力された尤度計算パラメータLPに基づいて、第2画像に対応する第2尤度画像を生成する。第2尤度画像生成部122は、生成した第2尤度画像を、第1推定部123に出力する。
第1推定部123は、第2尤度画像生成部122により出力された第2尤度画像および第2画像に基づいて、第2画像上のターゲット位置を推定する。第1推定部123は、推定したターゲット位置を第2変換部124に出力する。
第2変換部124は、第1推定部123により出力された、推定したターゲット位置に基づいて、ターゲットの位置(すなわち、治療ビームBを照射する位置)を導出する。第2変換部124は、例えば、パラメータ記憶部116により出力された逆変換パラメータRCPを用いて、第1推定部123により出力された、推定したターゲット位置を変換することで、ターゲットの位置を導出する。第2変換部124の行う変換処理は、第1変換部113による変換処理と逆方向の変換を行う処理である。
図4は、第1の実施形態の医用画像処理装置100の構成を示すブロック図である。図4に示す医用画像処理装置100は、例えば、学習装置110と、動体追跡装置120とを備える。
以下、図5~図7を用いて、第1変換部113による第1画像の所定の変換処理と、変換パラメータCPおよび逆変換パラメータRCPの導出方法、およびこれらの利用方法について説明する。
図5は、第1画像取得部111が透視画像TIに対して行う画像解析の様子の一例を示す図である。図5の透視画像TIは、治療ビームBを照射するターゲット位置TPが胸腹部に存在することを示す。
第1画像取得部111は、複数時点の透視画像TIに対して図5に示す複数の窓領域WAを設定する。窓領域WAは、例えば、透視画像TIの特徴的な部分を抽出した位置の画像を含むよう設定される。透視画像TIの特徴的な部分とは、例えば、腫瘍、マーカー、横隔膜など明瞭に映る部分である。以下の説明では、画像領域にターゲット位置TPを含む窓領域であって、第1尤度画像と対応付けられる実線で示した窓領域を、窓領域WA(TP)、第1尤度画像と対応付けられない破線で示した窓領域を窓領域WA(k)(kは整数)と称する場合がある。なお、図5の例においては、kは1から5までの整数である。また、窓領域WAが第1画像に占める位置は、固定的である。
局所領域設定部111bは、修正ターゲット位置TP-1~TP-6の軌跡の全てを含むよう窓領域WA(TP)を設定する。また、局所領域設定部111bは、自動的に窓領域WAを設定する場合、TP-1~TP-6に対応する第1画像のそれぞれの輝度差が大きい局所領域を窓領域WA(k)と設定する。または、局所領域設定部111bは、オプティカルフローの軌跡が長い局所領域を窓領域WA(k)とするように設定してもよい。または、局所領域設定部111bは、画像のコーナー検出などで得られる特徴点を多く含む局所領域を窓領域WA(k)としてもよい。局所領域設定部111bは、例えば、患部が肺に位置する場合、透視画像TIに写るターゲットの画像パターンが鮮明なため、その位置を含む窓領域WA(k)を優先的に設定してもよい。また、患部が肝臓等の大きな臓器の内部にある場合、透視画像TIに写るターゲット位置が不鮮明である可能性がある。その場合、局所領域設定部111bは、横隔膜の境界など、鮮明に映る部分を窓領域WA(k)とする。
図6は、複数時点の窓領域WA(TP)内のターゲット位置TPの動きの特性の一例を示す図である。以下、符号におけるハイフンおよびこれに続く数字は、いずれのターゲット位置であるか(いずれの呼吸位相であるか)を示すものとする。また、符号におけるハイフンおよびこれに続く数字を省略して説明を行う場合がある。ターゲット位置TPは、例えば、患者Pの呼吸に応じて移動する。ターゲット位置TPは、例えば、図6に示すように、患者Pの呼吸に応じてターゲット位置TP-1~TP-6の順で移動する。したがって、ターゲット位置TPは、横隔膜が顕著に動く患者Pの頭尾方向には大きく移動する傾向がある。一方、ターゲット位置TPは、図6に示す頭尾方向と直交する左右方向(前後および左右を軸とする平面上の任意の方向)への移動は小さい。つまり、頭尾方向を透視画像TIの垂直方向に合わせて撮影している場合、ターゲット位置TPを透視画像TIに射影すると透過画像水平方向のターゲット位置TPの動きが小さくなる。すなわち、ターゲット位置TPに基づいて生成される第1尤度画像の水平方向の変化がわずかな差でしかないため、学習部115による学習が困難になることがある。そこで、第1変換部113は、学習部115による学習効率を高める変換パラメータCPを導出する。
以下、変換パラメータCPについて説明する。変換パラメータCPとは、第1画像のターゲット位置から第1尤度画像上でのターゲット位置を対応づけるために、次の線形変換y=Ax+bを定めるパラメータAおよびbである。ここで、x=(u,v)およびy=(u´,v´)は、それぞれ第1画像および第1尤度画像の画像座標を示す。また、Aは2x2の行列である。bはオフセットである。例えば、Aが単位行列の場合、第1画像の各画素位置が、第1尤度画像上の画素位置に対応する。または、第1画像の画像サイズが第1尤度画像よりも大きい場合には、第1変換部113は、第1画像内の部分領域の画素に第1尤度画像の各画素を対応づける。
別の例として、第1画像の小数画素が、第1尤度画像の整数精度の画素位置と対応してもよい。つまり、Aの対角成分がすべて1/2の対角行列であり、かつbが零ベクトルの場合は、第1画像の画素位置(x/2,y/2)の画素を、第1尤度画像の(x,y)に対応づける。
上記問題は、Aが単位行列の場合の同一スケールによって対応づけを行っているため、第1尤度画像上でのターゲット位置TPの位置の変化がわずかになってしまうことが原因である。そこで、第1画像の小数精度の画素位置を第1尤度画像の整数精度の画素位置と対応づけるようにAを調整する。これにより、第1尤度画像の水平方向の変化をつけることで、学習部115による学習の効果を高める。行列Aは、例えば、第1位置の第1画像上での動きの軌跡が楕円軌道の場合、第1尤度画像上ではその軌跡が正円形になるように調整する。このような行列Aは、「第1位置の時間的な動きに基づいて定まる変換行列」の1例である。逆変換パラメータRCPは、上記線形変換の逆変換パラメータである。具体的には行列Aの逆行列およびオフセットbのことである。
このように線形変換によって、第1画像上のターゲット位置を修正したものを、修正ターゲット位置TP#と呼ぶ。修正ターゲット位置TP#は、「第2位置」の一例である。また、図6に示す患者Pの頭尾方向は「第1方向」、左右方向は第1方向と交差する「第2方向」の一例である。
以下、第1尤度画像生成部114が第1尤度画像を生成する処理について説明する。図7は、第1尤度画像生成部114が生成する第1尤度画像の一例である。図7の示す輝度の高い部分(白い部分)が、ターゲット位置が存在する尤度が高いことを示す部分である。図7の第1尤度画像は、画像の右上部分の領域にターゲット位置が存在すると推測される。第1尤度画像生成部114は、例えば、第1変換部113により出力された第2位置に基づいて、第1尤度画像を生成する。第1尤度画像生成部114は、第2位置を示す座標が(u´,v´)である場合、尤度画像L(u,v)を下記の数式(2)によって導出する。
Figure 0007093075000002
数式(2)のσは、利用者によって設定される任意のパラメータである。σは、例えば、1画素あたりの解像度が高いほど、より大きい値を設定する。なお、第1尤度画像生成部114が生成する第1尤度画像の画像サイズは、任意に設定可能であるが、上述のようにターゲット位置の軌跡が第1尤度画像内に収まるよう設定すればよい。そのため、第1画像に比べて、第1尤度画像の画像サイズは小さくできる。
以下、学習部115が尤度計算パラメータLPを導出する処理について説明する。学習部115は、例えば、第1画像上の1つないしは複数の窓領域WA(k)から切り出された画像と第1尤度画像とを学習データとし、窓領域WA(k)の画像が入力されると第1尤度画像を導出するようなモデルを生成する。
学習部115は、例えば、第1画像上の1つないしは複数の窓領域WA(k)から切り出された画像を連結したベクトルxと第1尤度画像のベクトルyとの関係を示す数式が、下記の数式(3)である場合、関数fを求める。なお、学習部115は、第1画像の画素値を並べたベクトルをxとし、第1尤度画像の画素値を並べたベクトルをyとして関数fを導出する。
Figure 0007093075000003
学習部115は、第1尤度画像生成部114により出力された第1尤度画像のベクトルyを用いて、誤差Δ=y-f(x)が小さくなる関数fを導出する。学習部115は、ディープニューラルネットワークを用いて関数fを導出してもよいし、ニューラルネットワーク、畳み込みニューラルネットワーク、決定木等の他の機械学習手法を用いて関数fを導出してもよい。学習部115は、例えば、複数パターンの所定の数を用いて複数パターンの関数fを導出した場合、複数パターンの関数fのすべてを学習してもよい。
図8は、学習装置110の処理の流れの一例を示すフローチャートである。まず、第1画像取得部111は、複数時刻の第1画像を取得する(ステップS100)。次に、第1位置取得部112は、取得した複数時刻の第1画像に対応する第1位置を取得する(ステップS102)。次に、第1変換部113は、取得した複数時刻の第1位置の軌跡に基づいて、変換パラメータCPおよび逆変換パラメータRCPを導出して、パラメータ記憶部116に記憶させる(ステップS104)。次に、第1変換部113は、第1位置を変換パラメータCPに基づいて変換した第2位置を導出する(ステップS106)。次に、第1尤度画像生成部114は、第2位置を基準として第1尤度画像を作成する(ステップS108)。次に、学習部115は、第2画像および第1尤度画像を用いて、それらの間の関係を学習する(ステップS110)。次に、学習部115は、パラメータ記憶部116に尤度計算パラメータLPを記憶させる(ステップS112)。以上、本フローチャートの処理を終了する。
次に、動体追跡装置120の第2尤度画像生成部122が第2画像に対応する第2尤度画像を生成する処理について説明する。第2尤度画像生成部122は、第2画像取得部121により出力された第2画像と、パラメータ記憶部116から取得した尤度計算パラメータLPに基づいて、上述の数式(3)を用いて第2画像に対応する第2尤度画像を生成する。なお、第2尤度画像生成部122は、局所領域設定部111bで設定された窓領域WA(k)内と同位置にある第2画像の部分画像を上述の数式(3)の入力とする。ここで出力される第2尤度画像と第2画像との画素位置の対応付けは、第1尤度画像と第1画像の対応付けと同じである。
以下、第1推定部123による第2画像内の第2位置の推定方法について説明する。第1推定部123は、例えば、第2尤度画像生成部122により出力された第2尤度画像で尤度が最大となる画素位置を第2位置と推定する。第1推定部123は、第2尤度画像生成部122により出力された第2尤度画像の示す尤度を重みとして用いる、各画素位置の重み付け平均から画素位置を導出して第2位置としてもよい。その場合、第1推定部123は、治療計画時や、過去の治療において得られた腫瘍位置やその軌跡とのずれが大きいほど、重みを小さくするような重み付け平均を行ってもよい。なお、第1推定部123は、第2画像取得部121が最初に取得した第2画像からターゲット位置が取得できた場合には、そのターゲット位置に基づいて、次回以降取得する第2画像における第2位置を予測する。予測位置の候補を複数用意し、それらの位置に対応する第2尤度画像の尤度を重みとした重み付け平均した位置を第2位置としてもよい。予測位置の候補は、パーティクルフィルタなどの手法がある。
第1推定部123は、推定したターゲット位置が3次元座標である場合、予測した位置をそれぞれの画像(透視画像TI-1およびTI-2)に射影した位置の第2尤度画像から尤度を取得し、その積を当該推定したターゲット位置の尤度としてもよい。また、予測した位置が2次元座標である場合、エピポーラ拘束が成り立つ2つの画像上でのターゲット位置に対する尤度を導出してもよい。
以下、第2変換部124が、逆変換パラメータRCPを用いてターゲット位置を変換する処理について説明する。第2変換部124は、第1推定部123により出力された推定した第2尤度画像上のターゲット位置y=(u´,v´)とパラメータ記憶部116から取得した逆変換パラメータRCP(A-1,b)とによって、下記の式(4)で示す第2画像上のターゲット位置xへ変換する。
Figure 0007093075000004
つまり、第2変換部124は、x=A-1y-bを計算する。第2変換部124は、変換後のターゲット位置に対して、治療計画段階で作成した第2位置の軌跡のモデルを利用して補正した位置を出力してもよい。第2変換部124は、第1位置取得部112から取得した腫瘍の第1画像上での位置である(u,v)に基づいて、uおよびvの関係u=r(v)(rは、例えば関数)をモデル化する。モデルは、例えば、u=av+b(a、bは任意の値)のような数式で示すことができる線形回帰モデルである。第2変換部124は、導出したモデルを用いて、下記に示す数式(5)のように出力値を置換してもよい。
Figure 0007093075000005
なお、第2画像取得部121が取得する第2画像は、例えば、図1で示した治療装置10において、別方向から同時に撮影された2枚の画像(透視画像TI-1およびTI-2)である。すなわち、第2画像取得部121は、それぞれの画像に対応する第2位置を取得することができる。そこで、第2画像取得部121は、透視画像TI-1およびTI-2のそれぞれから、エピポーラ拘束が成り立つような3次元空間での第2位置を求めてもよい。エピポーラ拘束とは、二つの撮影装置の相対位置関係が既知であることに基づいた幾何制約のことであり、一の画像上に撮像された同一被写体の中心点が、別の画像上ではエピポーラ線上に拘束されるという制約のことを指す。ただし、それぞれの画像に対応する第2位置がエピポーラ拘束に従うとは限らないため、第2画像取得部121は、最小二乗法で3次元空間での第2位置を導出する。
図9は、動体追跡装置120の処理の流れの一例を示すフローチャートである。図9に示すフローチャートは、例えば、図8に示すフローチャートの処理の後に行われる。
まず、第2画像取得部121は、第2画像を取得する(ステップS200)。次に、第2尤度画像生成部122は、第2尤度画像を生成する(ステップS202)。次に、第1推定部123は、第2尤度画像に基づいて第2位置を導出する(ステップS204)。次に、第2変換部124は、第2位置を逆変換パラメータによって変換し、ターゲットの位置を導出する(ステップS206)。以上、本フローチャートの処理を終了する。
上述したように、第1の実施形態の医用画像処理装置100では、治療計画時に導出したターゲット位置を学習し、透視画像TIにおけるターゲット位置の導出時に用いる変換パラメータCPと逆変換パラメータRCP、および透視画像における尤度導出に用いる尤度計算パラメータLPを導出する学習装置110と、治療ビームB照射時に取得する透視画像TIと学習装置110の導出した各種パラメータを用いて、治療ビームB照射時に取得する透視画像TIにおける尤度を用いてターゲット位置の導出を行う動体追跡装置120とによって、放射線治療において、照射中の患者Pの透視画像TIからターゲットの位置を、高速・高精度に追跡することができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第2の実施形態の医用画像処理装置100Aについて説明する。以下の説明において、第1の実施形態で説明した内容と同様の機能を有する部分については、同様の名称および符号を付するものとし、その機能に関する具体的な説明は省略する。
図10は、動体追跡装置120Aの構成を示すブロック図である。図10の動体追跡装置120Aは、図3で示した第1実施形態の動体追跡装置120と比較して、信頼度導出部125、第2推定部126、決定部127および記憶部128を備える点が異なる。したがって、以下では信頼度導出部125、第2推定部126、決定部127および記憶部128を中心に説明する。
信頼度導出部125は、第2尤度画像生成部122により出力された第2尤度画像に基づいて、信頼度を導出する。信頼度とは、第2尤度画像生成部122より生成される第2尤度画像の信頼性を評価する度合のことである。信頼度導出部125は、導出した信頼度を、決定部127に出力する。
第2推定部126は、第2画像取得部121より出力された第2画像から、ターゲット位置を推定し、推定結果を決定部127に出力する。第2推定部126は、例えば、治療計画時等に取得した透視画像TIや、治療ビームB照射前に取得した第2画像のターゲット位置を含む画像領域をテンプレート画像として、第2画像に対してマッチング処理を行う、テンプレートマッチングである。第2推定部126は、例えば、テンプレート画像との合致度合(または相関度合)の高さを尤度とみなして、第1推定部123と同様にターゲット位置の2次元座標、または3次元座標を導出する。ここでの合致度合はたとえば正規化相互相関によって求める。第2推定部126は、記憶部128にテンプレートマッチングを行う際に用いるテンプレート画像を記憶させる。
決定部127は、第2変換部124より出力されたターゲット位置と、第2推定部126より出力された推定されたターゲット位置のどちらを治療ビームBのターゲット位置とするかを決定する。決定部127は、例えば、信頼度導出部125より出力された信頼度に基づいて決定する。決定部127は、例えば、信頼度があらかじめ設定された閾値以上である場合には、第2変換部124より出力されたターゲット位置を採用すると決定する。また、決定部127は、信頼度があらかじめ設定された閾値未満である場合には、第2推定部126より出力された推定されたターゲット位置を採用すると決定する。決定部127は、「第3推定部」の一例である。また、決定部127が採用すると決定したターゲット位置は「第3位置」の一例である。
以下、信頼度導出部125による信頼度の導出処理について説明する。信頼度導出部125は、例えば、学習部115が導出した関数fを用いて信頼度を算出する。信頼度導出部125は、第2画像が関数fを導出した際の第1画像と類似する透視画像TIである場合には、信頼度が高いと導出する。また、信頼度導出部125は、第2画像が関数fを導出した際の第1画像とは異なるパターンの透視画像TIである場合には、信頼性が低いと導出する。このようなケースは、第1画像撮影時と第2画像撮影時の患者Pの呼吸の深さの違い等で生じる場合がある。
図11および図12を用いて、信頼度導出部125によって導出された信頼度が高い場合と導出された信頼度の低い場合の尤度画像の違いについて説明する。図11は、第2の実施形態の動体追跡装置120Aが生成した第2尤度画像の一例である。信頼度導出部125は、図11に示すような輝度が最も高い領域と輝度が最も低い領域の輝度の差(明暗の差)の大きい尤度画像は、信頼度が高いと導出する。また、信頼度導出部125は、図11に示すように、輝度が最も高い領域の輪郭が比較的はっきりとしている場合や、輝度が一定値以上の領域が構成する形状が丸状である場合に信頼度が高いと導出する。図12は、第2の実施形態の動体追跡装置120Aが生成した第2尤度画像の他の一例である。信頼度導出部125は、図12に示すような輝度が最も高い領域と輝度が最も低い領域の輝度の差(明暗の差)が比較的小さい尤度画像は、信頼度が低いと導出する。また、信頼度導出部125は、図12に示すように、輝度が最も高い領域の輪郭が曖昧である場合や、輝度が一定値以上の領域が構成する形状が丸状でない場合に信頼度が低いと導出する。
第1尤度画像生成部114は、数式(2)を用いて、図13に示したような信頼度の高い尤度画像パッチを人工的に作成する。したがって、尤度算出部118で得られる学習画像も図11に近い画像になる可能性が高いが、図12のような信頼度が低い尤度画像が出力される可能性もある。そこで、信頼度導出部125は、例えば、第2尤度画像生成部122で出力された第2尤度画像と、人工的に作成した尤度画像パッチとの相関値を、信頼度として導出する。
信頼度導出部125は、例えば、第2尤度画像生成部122で出力された第2尤度画像内に、図13に示した第1尤度画像生成部114と同様の方法で生成した人工画像パッチを走査して、それぞれの位置の相関値を算出し、算出した相関値の最大値、または平均値を信頼度として導出する。信頼度導出部125は、人工画像パッチを走査する範囲を、第2尤度画像生成部122で出力された第2尤度画像内の尤度が最大となる位置を第2変換部124で変換した位置に限定してもよいし、その位置を含む周辺に限定してもよい。
決定部127は、例えば、信頼度が所定の値と比較して低い場合、治療システム1のディスプレイ等の出力装置にユーザーに警告メッセージを表示させる。または、決定部127は、治療ビームBを照射中であれば、治療システム1または放射線源12に対して照射を停止するための命令を出力してもよい。決定部127は、第2変換部124より出力されたターゲット位置と、信頼度導出部125より出力された信頼度と、第2推定部126から推定されたターゲット位置を取得し、それらを用いて決定したターゲット位置を出力する。決定部127は、例えば、下記の数式(6)または数式(7)に従ってターゲットの位置を決定する。ここで、αおよびαは信頼度、Zは第2変換部124が導出した位置1、Zは第2推定部126が導出した位置2、αは走査した人工画像パッチとの相関値を表す。
Figure 0007093075000006
図14は、医用画像処理装置100Aの動体追跡装置120Aの処理の流れの一例を示すフローチャートである。なお、図9で示した処理フローと共通するステップS200からステップS206についての説明は省略する。
信頼度導出部125は、ステップS202の処理の後、第2尤度画像に基づいて信頼度を導出する(ステップS208)。また、第2推定部126は、ステップS200の処理の後、第2画像に基づいて第2位置を推定する(ステップS210)。決定部127は、ステップS206、ステップS208およびステップS210の処理結果から、ターゲット位置を決定する(ステップS212)。以上、本フローチャートの処理を終了する。
上述したように、第2の実施形態の医用画像処理装置100Aは、第1の実施形態の医用画像処理装置100と同様の効果を奏する他、学習装置110にての第1画像には現れない透視画像のパターンが、第2画像の撮影時に現れた場合、動体追跡装置120Aの第2尤度画像生成部122の生成した第2尤度画像が所望の結果にならない場合であっても、第2尤度画像生成部122により出力される第2尤度画像の信頼度を導出し、その信頼度に基づいてターゲット位置を決定する、または中止するといった、ロバストネス(ロバスト安定性)を実現することができる。
(第3の実施形態)
以下、第3の実施形態について説明する。第3の実施形態の動体追跡装置120Bについて説明する。
図15は、第3の実施形態の動体追跡装置120Bの構成を示したブロック図である。以下では第2の実施形態の動体追跡装置120Aと、第3の実施形態の動体追跡装置120Bの差異を中心に説明する。
動体追跡装置120Bの第2推定部126は、第2画像取得部121より出力された第2画像と、信頼度導出部125より出力された信頼度に基づいて、第2画像内のターゲット位置を推定するとともに、第2推定部126においてターゲット位置を推定するために必要な推定パラメータを更新し、推定結果を決定部127に出力する。一般に、患者Pの体内は経時的な変化があるため、第2推定部126において使用するテンプレート画像は、最新の状態が反映された画像に更新されることが望ましい。そこで、動体追跡装置120Bは、信頼度導出部125が導出した信頼度が高い場合に対応付けられた部分画像を、テンプレート画像として記憶部128に記憶させる。
図16は、医用画像処理装置100Bの動体追跡装置120Bの処理の流れの一例を示すフローチャートである。なお、図9、および図14で示した処理フローと共通するステップについての説明は省略する。
ステップS212の処理の後、第2推定部126は、推定パラメータを導出して記憶する(ステップS214)。以上、本フローチャートの処理を終了する。
上述したように、第3の実施形態の医用画像処理装置100Bは、第2の実施形態の医用画像処理装置100Aと同様の効果を奏する他、信頼度の高いテンプレート画像に更新することで、患者Pの患部の最新の状態を反映してターゲット位置を決定することができる。
以上説明した少なくともひとつの実施形態によれば、治療計画時に導出したターゲット位置を学習し、透視画像TIにおけるターゲット位置の導出時に用いる変換パラメータCPと逆変換パラメータRCP、および透視画像における尤度導出に用いる尤度計算パラメータLPを導出する学習装置110と、治療ビームB照射時に取得する透視画像TIと学習装置110の導出した各種パラメータを用いて、治療ビームB照射時に取得する透視画像TIにおける尤度を用いてターゲット位置の導出を行う動体追跡装置120を持つことによって、放射線治療において、照射中の患者Pの透視画像TIからターゲットの位置を、高速かつ高精度に追跡することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…治療システム、10…治療装置、100、100A、100B…医用画像処理装置、110…学習装置、111…第1画像取得部、111a…マスク画像取得部、111b…局所領域設定部、112…第1位置取得部、113…第1変換部、114…第1尤度画像生成部、115…学習部、116…パラメータ記憶部、120、120A、120B…動体追跡装置、121…第2画像取得部、122…第2尤度画像生成部、123…第1推定部、124…第2変換部、125…信頼度導出部、126…第2推定部、127…決定部、128…記憶部

Claims (11)

  1. 患者を撮影した複数時点の透視画像である複数の第1画像のそれぞれにおけるターゲット位置を、第1位置として取得する第1位置取得部と、
    前記複数の第1画像における前記第1位置のそれぞれを、前記第1位置の時間的な動きが大きい第1方向に交差する第2方向に動きを拡大した第2位置に変換する第1変換部と、
    前記第2位置を基準として、前記第2位置に該当することの確からしさを示す尤度の分布を表す第1尤度画像を生成する第1尤度画像生成部と、
    前記複数の第1画像のそれぞれの一部または全部と前記第1尤度画像とを教師データとし、透視画像の一部または全部が与えられると前記第2位置に該当することの確からしさを示す尤度の分布を表す第2尤度画像を導出するモデルを出力する学習部と、
    を備える医用画像処理装置。
  2. 前記第1画像とは異なる時刻に撮影された前記透視画像である、第2画像を取得する第2画像取得部と、
    前記第2画像の一部または全部を前記モデルに入力することで、前記第2尤度画像を生成する第2尤度画像生成部と、
    前記第2尤度画像に基づいて前記第2画像における第2位置を推定する、第1推定部と、
    前記第1推定部によって推定された前記第2位置を、前記第1変換部が行う変換の逆方向に変換して前記第2画像における前記患者のターゲット位置として出力する第2変換部と、
    をさらに備える、請求項1に記載の医用画像処理装置。
  3. 前記第2尤度画像における尤度の分布に基づいて、前記第2位置の信頼度を導出する信頼度導出部をさらに備える、
    請求項2に記載の医用画像処理装置。
  4. 前記信頼度に基づいて、前記第2画像における前記第1位置または前記第2位置または第2位置を逆変換した位置と対応付けられた部分画像を抽出して記憶部に記憶させ、前記第2画像の一部と前記部分画像との合致度合いに基づいて前記第2画像における前記患者のターゲット位置を推定する第2推定部をさらに備える、
    請求項3に記載の医用画像処理装置。
  5. 前記第2変換部により出力された前記患者のターゲット位置と、前記第2推定部によって推定された前記患者のターゲット位置と、前記信頼度および前記合致度合いに基づいて、第3位置を推定する、第3推定部をさらに備える、
    請求項4に記載の医用画像処理装置。
  6. 前記第1変換部は、前記第1位置の時間的な動きに基づいて定まる変換行列を用いて、前記第1位置を前記第2位置に変換する、
    請求項1から5のいずれか一項に記載の医用画像処理装置。
  7. 前記第1画像の画素値に基づいて、1つ以上の前記第1画像の局所領域を設定する、局所領域設定部をさらに備え、
    前記局所領域のうち少なくとも一つには、前記第1尤度画像が対応付けられ、
    前記学習部は、前記第1尤度画像が対応付けられない前記局所領域の画像と、前記第1尤度画像が対応付けられた前記局所領域の画像とを教師データとして、前記第2尤度画像を回帰学習する、
    請求項2から5のいずれか一項に記載の医用画像処理装置。
  8. 前記局所領域設定部は、呼吸位相が異なる複数の第1画像における前記第1位置の軌跡を包含するように、前記第1尤度画像が対応付けられる前記局所領域を設定し、
    前記第1画像の輝度に基づいて、前記局所領域を設定する、
    請求項7に記載の医用画像処理装置。
  9. 前記第1画像内の前記透視画像の主被写体でない被写体が写り込む領域を示す、マスク画像を取得するマスク画像取得部、
    をさらに備え、
    前記局所領域設定部は、
    前記マスク画像が示す、前記被写体が写り込む領域が小さい局所領域を選択する、
    請求項7に記載の医用画像処理装置。
  10. コンピュータが、
    患者を撮影した複数時点の透視画像である複数の第1画像のそれぞれから第1位置を取得し、
    前記複数の第1画像から取得された複数の前記第1位置の分布を、前記第1位置の動きが大きい第1方向に交差する第2方向に拡大することで、前記複数の第1位置を複数の第2位置に変換し、
    前記複数の第2位置に基づいて、第1尤度画像を生成し、
    前記透視画像から前記第1尤度画像を回帰学習したモデルであって、前記透視画像が与えられると前記第1位置の尤度画像を導出するモデルを出力する、
    医用画像処理方法。
  11. コンピュータに、
    患者を撮影した複数時点の透視画像である複数の第1画像のそれぞれから第1位置を取得させ、
    前記複数の第1画像から取得された複数の前記第1位置の分布を、前記第1位置の動きが大きい第1方向に交差する第2方向に拡大させることで、前記複数の第1位置を複数の第2位置に変換させ、
    前記複数の第2位置に基づいて、第1尤度画像を生成させ、
    前記透視画像から前記第1尤度画像を回帰学習したモデルであって、前記透視画像が与えられると前記第1位置の尤度画像を導出するモデルを出力させる、
    プログラム。
JP2018075024A 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム Active JP7093075B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2018075024A JP7093075B2 (ja) 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム
US17/045,911 US11830184B2 (en) 2018-04-09 2019-03-08 Medical image processing device, medical image processing method, and storage medium
PCT/JP2019/009394 WO2019198394A1 (ja) 2018-04-09 2019-03-08 医用画像処理装置、医用画像処理方法、およびプログラム
KR1020207028777A KR102469141B1 (ko) 2018-04-09 2019-03-08 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 프로그램
EP19784846.8A EP3777686B1 (en) 2018-04-09 2019-03-08 Medical image processing device, medical image processing method, and program
RU2020132773A RU2762146C1 (ru) 2018-04-09 2019-03-08 Устройство для обработки медицинских изображений, способ обработки медицинских изображений и носитель данных
CN201980024585.1A CN111954494B (zh) 2018-04-09 2019-03-08 医用图像处理装置、医用图像处理方法及记录介质
TW108107969A TWI708214B (zh) 2018-04-09 2019-03-11 醫用畫像處理裝置、醫用畫像處理方法及程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018075024A JP7093075B2 (ja) 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019180799A JP2019180799A (ja) 2019-10-24
JP7093075B2 true JP7093075B2 (ja) 2022-06-29

Family

ID=68162919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075024A Active JP7093075B2 (ja) 2018-04-09 2018-04-09 医用画像処理装置、医用画像処理方法、およびプログラム

Country Status (8)

Country Link
US (1) US11830184B2 (ja)
EP (1) EP3777686B1 (ja)
JP (1) JP7093075B2 (ja)
KR (1) KR102469141B1 (ja)
CN (1) CN111954494B (ja)
RU (1) RU2762146C1 (ja)
TW (1) TWI708214B (ja)
WO (1) WO2019198394A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法
JP2023069702A (ja) * 2021-11-08 2023-05-18 株式会社日立製作所 位置決め装置、放射線治療装置及び位置決め方法
US12561873B2 (en) 2023-02-20 2026-02-24 Canon Medical Systems Corporation Image processing apparatus and method
TWI895904B (zh) * 2023-12-27 2025-09-01 國立成功大學 基於深度學習之臨床標靶體積自動分割系統及其方法
US20250269206A1 (en) * 2024-02-25 2025-08-28 Siemens Healthineers International Ag Target structure tracking for radiation therapy
JP2025147689A (ja) * 2024-03-25 2025-10-07 株式会社日立ハイテク プログラム、動体追尾装置、放射線治療システム、並びに動体の追跡方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011500263A (ja) 2007-10-26 2011-01-06 アキュレイ インコーポレイテッド 内部目標物の自動相関モデリング
US20170032538A1 (en) 2015-07-28 2017-02-02 Kineticor, Inc. Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP2017042247A (ja) 2015-08-25 2017-03-02 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP2018029852A (ja) 2016-08-25 2018-03-01 株式会社東芝 医用画像処理装置、治療システム、および医用画像処理プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
JP4169688B2 (ja) * 2003-12-02 2008-10-22 オリンパス株式会社 ヒューマンインタフェース装置
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US8379794B2 (en) * 2008-09-05 2013-02-19 The Board Of Trustees Of The Leland Stanford Junior University Method to estimate position, motion and trajectory of a target with a single x-ray imager
US9123156B2 (en) * 2010-10-14 2015-09-01 Hitachi Medical Corporation X-ray CT apparatus and image reconstruction method
EP2444934A1 (en) * 2010-10-19 2012-04-25 Koninklijke Philips Electronics N.V. Medical imaging system, computer-implemented method, and computer program product for identifying a treated region in a medical image
WO2012077287A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
US9710730B2 (en) * 2011-02-11 2017-07-18 Microsoft Technology Licensing, Llc Image registration
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CA2858688A1 (en) 2011-12-08 2013-06-13 Five3 Genomics, Llc Mdm2-containing double minute chromosomes and methods therefore
US20150142457A1 (en) * 2013-11-20 2015-05-21 Toshiba Medical Systems Corporation Apparatus for, and method of, data validation
JP6735583B2 (ja) * 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6699482B2 (ja) * 2016-09-21 2020-05-27 株式会社島津製作所 逐次近似画像再構成方法、逐次近似画像再構成プログラムおよび断層撮影装置
JP6310118B2 (ja) * 2017-04-24 2018-04-11 株式会社東芝 画像処理装置、治療システム及び画像処理方法
JP6349448B1 (ja) * 2017-08-23 2018-06-27 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP7078955B2 (ja) * 2018-07-26 2022-06-01 東芝エネルギーシステムズ株式会社 治療システム、キャリブレーション方法、およびプログラム
US10937173B2 (en) * 2018-11-15 2021-03-02 Qualcomm Incorporated Predicting subject body poses and subject movement intent using probabilistic generative models
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
JP7311109B2 (ja) * 2019-05-14 2023-07-19 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP7252847B2 (ja) * 2019-07-08 2023-04-05 株式会社日立製作所 動体追跡装置および放射線治療システム、ならびに動体追跡装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011500263A (ja) 2007-10-26 2011-01-06 アキュレイ インコーポレイテッド 内部目標物の自動相関モデリング
US20170032538A1 (en) 2015-07-28 2017-02-02 Kineticor, Inc. Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
JP2017042247A (ja) 2015-08-25 2017-03-02 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP2018029852A (ja) 2016-08-25 2018-03-01 株式会社東芝 医用画像処理装置、治療システム、および医用画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li Ruijiang et al.,A Bayesian approach to real-time 3D tumor localization via monoscopic x-ray imaging during treatment delivery,MEDICAL PHISICS,2011年06月28日,Vol.38, No.7,pp.4205-4214

Also Published As

Publication number Publication date
KR20200129142A (ko) 2020-11-17
EP3777686B1 (en) 2022-11-09
US20210035293A1 (en) 2021-02-04
TWI708214B (zh) 2020-10-21
CN111954494A (zh) 2020-11-17
EP3777686A4 (en) 2022-01-05
EP3777686A1 (en) 2021-02-17
US11830184B2 (en) 2023-11-28
RU2762146C1 (ru) 2021-12-16
KR102469141B1 (ko) 2022-11-22
TW201944352A (zh) 2019-11-16
JP2019180799A (ja) 2019-10-24
CN111954494B (zh) 2023-12-01
WO2019198394A1 (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
JP7093075B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
JP6964309B2 (ja) 放射線治療用追跡装置
US8597211B2 (en) Determination of indicator body parts and pre-indicator trajectories
US10143431B2 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
JP7513980B2 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
US20210042917A1 (en) Medical image processing device, treatment system, and storage medium
US12059579B2 (en) Medical image processing device, treatment system, and storage medium
US12364877B2 (en) Medical image processing device, storage medium, medical device, and treatment system
CN105641814A (zh) 用于处理医学图像的装置、方法和程序以及放射治疗装置
WO2024047915A1 (ja) 放射線治療システム、動き追跡装置、および動き追跡方法
US12605566B2 (en) Medical image processing device, medical image processing method, medical image processing program, and radiation therapy device
JP2017225487A (ja) 放射線治療支援システム、画像生成方法および画像生成プログラム
JP2021153952A (ja) 精度検証装置、放射線治療システム、精度検証方法及びコンピュータプログラム
US20250232447A1 (en) Irradiated position confirmation support device, irradiated position confirmation support method, and irradiated position confirmation support program
WO2024214366A1 (ja) 動き追跡装置、放射線治療システム、および動き追跡方法
CN120884307A (zh) 一种放射检查的智能协作机器人系统及其控制方法
WO2022107399A1 (ja) 位置決め装置、放射線治療システム、および位置決め方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7093075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250