Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7664909B2 - 拡散強調核磁気共鳴画像法 - Google Patents
[go: Go Back, main page]

JP7664909B2 - 拡散強調核磁気共鳴画像法 - Google Patents

拡散強調核磁気共鳴画像法 Download PDF

Info

Publication number
JP7664909B2
JP7664909B2 JP2022517469A JP2022517469A JP7664909B2 JP 7664909 B2 JP7664909 B2 JP 7664909B2 JP 2022517469 A JP2022517469 A JP 2022517469A JP 2022517469 A JP2022517469 A JP 2022517469A JP 7664909 B2 JP7664909 B2 JP 7664909B2
Authority
JP
Japan
Prior art keywords
image
value
images
given
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517469A
Other languages
English (en)
Other versions
JP2022548924A (ja
Inventor
マシュー・ブラックリッジ
コンスタンティノス・ゾーンパス-ペトリディス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Cancer Research Royal Cancer Hospital
Original Assignee
Institute of Cancer Research Royal Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Cancer Research Royal Cancer Hospital filed Critical Institute of Cancer Research Royal Cancer Hospital
Publication of JP2022548924A publication Critical patent/JP2022548924A/ja
Application granted granted Critical
Publication of JP7664909B2 publication Critical patent/JP7664909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/563Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
    • G01R33/56341Diffusion imaging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Vascular Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Power Engineering (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本開示は、拡散強調核磁気共鳴画像法の実行に関する。
全身拡散強調核磁気共鳴画像法(WBDWI)は、以下の病気のステージ及びレスポンスの評価のための魅力的且つ非侵襲的なツールである:悪性リンパ腫、前立腺からの転移性骨疾患[1]、[2]、及び、乳がん[3];WBDWIは、最近、骨髄腫関連の骨疾患の評価に関する病気の度合いを評価するためのNICEガイドラインに導入された[4]。この技術は、磁気の勾配の応用を通して組織内の水の拡散速度に対する核磁気共鳴画像法コントラストの感作を行うものであり、イメージ内の拡散強調の規模を調整するように操作することができる。この技術を使用して病気の組織と健康的な組織との間で生じるコントラストにより、骨格内の骨の病気の度合いをレビューするための感度のあるツールを、放射線従事者に提供することができる。イメージ内の拡散強調の度合いは、いわゆる「b値」の変更を通して随意に操作することができ、拡散強調勾配のタイミング及び強さを、1つの変数にカプセル化することができる(典型的には、臨床システムで、0~5000s/mm2の範囲)。2以上のb値で、同じ解剖学的な場所に関するイメージを獲得することによって、WBDWIは、水の「見かけの拡散係数」(ADC)のボクセルワイズでの定量をもたらし、これは、抗腫瘍治療に対する腫瘍の応答の潜在的な代理マーカーである。以前の解剖病理学的な研究で示していたのは、治療後のADCにおける上昇は、腫瘍の微小環境の破壊を示すことができ、そして、結果として、腫瘍の細胞性における減少を示すことができ、これは、腫瘍のネクローシスを示すことができる[5]-[7]。
最近のWBDWIの研究は、頭部から大腿中央までの一連の連続的なイメージングステーションを通しての軸平面において典型的得られ、ここで、各ステーションは、30~50のイメージングスライスからなる。このほか、(i)b値が3以上の方向において適用され、ADCの方向的に独立した測定を生じさせ、そして、(ii)こうした技術が、解剖学的な核磁気共鳴画像法と比較して、低いS/N比(SNR)を有するため、各拡散強調イメージが複数回得られる(平均値は、より高いSNRを伴うイメージをもたらす)。このことにより、スライスごとに30~50のイメージ獲得をもたらすことができ(3つのb値を用いたとき)、全体の獲得タイムとして20~30分必要となる。解剖学的なイメージングシーケンスと、患者のセットアップと、ポジショニングを加えることで、こうした作業は、おおよそ1時間もの時間を全研究として必要になる。このことは、WBDWIを、一般的な臨床のワークフローに採用するにあたって、悲惨なボトルネックをもたらす;これまで増えつつある患者の人口が、イメージングセンターへのキャパシティのプレッシャーを増やすことになり、そのことが、こうした長時間のイメージング研究を行うことをためらわせるものとなる。さらには、WBDWIが臨床学的に有用であることを示すための患者が典型的には虚弱で骨に痛みを有する症状を有しており、このことが、当該手法を患者が許容することを低下させる。WBDWIの獲得を加速させるスキームが、その後大いに求められている。
発明の概要
一般的な用語において、本開示は、ニューラルネットワークの使用を提供し、当該ネットワークは、核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングを行うためのものであり、前記ニューラルネットワークは前記得られたイメージからアウトプットイメージを生成するようにプログラムされる。驚くべきことに、この方法で使用されるニューラルネットワークは、サブサンプル化されたデータから、「臨床グレード」のイメージを提供することができ、潜在的には、獲得するにあたって、著しい量の時間を減らすことができる。
より具体的には、第1の側面において、本開示は、拡散強調核磁気共鳴画像法を実行する方法を提供し、前記方法は以下のステップを含む:
ニューラルネットワークを使用して、核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングを行うこと、前記ニューラルネットワークは前記得られたイメージからアウトプットイメージを生成するようにプログラムされる;
ここで、前記ニューラルネットワークは、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;、及び、
ここで、13以上(好ましくは5以上、より好ましくは3以上)のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージ(synthetic knife-edge image)に適用された場合、前記ニューラルネットワークは、以下の
参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)は前記フィルタイメージであり、
は、前記畳み込みパラメータであり、そして、σ2は、σ2=4となる平滑化のばらつきのセットである。
有利なことに、前記ニューラルネットワークは、シングル獲得DWIイメージのイメージ品質を改善するために使用することができる。したがって、前記得られたイメージは、核磁気共鳴画像法スキャナによって、所与のb値にて、尚且つ、当該b値に関する所与の向き(orientation)にて、信号平均化なしで得られてもよい。
前記ニューラルネットワークは、空間可変フィルタであってもよい。前記得られたイメージの特定の領域内の、前記ネットワークによって実行される平滑化の度合いは、イメージング領域全体内のその領域の位置に依存してもよい。特に、オブジェクトがヒト又は動物の検体であるコンテキストにおいて、このことは、特定の解剖学的な場所でネットワークが行う平滑化の度合いをチューニングする目的で、解剖学的な位置をネットワークが学習することを可能にする。
前記ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
前記方法は以下の予備的なステップを含んでもよい:前記核磁気共鳴画像法スキャナを用いて前記拡散強調イメージを得ること。
前記得られたイメージは、第1のb値及び前記オブジェクト内の所与の場所で得られてもよい。この場合において、前記方法は更に以下のステップを含んでもよい:前記アウトプットイメージを1以上の更なる拡散強調イメージと組み合わせること、ここで、前記更なる拡散強調イメージは、前記オブジェクト内の前記所与の場所で得られるが(例えば、各々の更なるイメージごとに、前記得るステップと使用するステップを繰り返すことによって)、ただし、前記オブジェクト内の所与の場所での水の見かけの拡散係数のイメージを生じさせるために各々異なるb値にて得られる。
前記オブジェクトは、ヒト又は動物の検体であってもよい。場合において、前記方法は更に以下のステップを含んでもよい:前記ヒト又は動物の検体における病気の度合い(がんの度合い)の評価するために、アウトプットイメージ又は当該イメージから生じたイメージを分析すること。
前記方法は典型的にはコンピュータで実施される。したがって、本開示の更なる側面は、以下を提供する:コンピュータプログラムであって、コードを備え、前記コードをコンピュータ上で実行したときに、上記第1の側面の方法を前記コンピュータに実行させる、コンピュータプログラム;コンピュータプログラムを記憶したコンピュータ可読媒体であって、前記コンピュータプログラムは、コードを備え、前記コードをコンピュータ上で実行したときに、上記第1の側面の方法を前記コンピュータに実行させる、コンピュータ可読媒体;並びに、上記第1の側面の方法を実行するためにプログラムされたコンピュータシステム。例えば、本開示の更なる側面は以下を提供する:拡散強調核磁気共鳴画像法を実行するためのイメージングシステムであって、以下を含むシステム:
オブジェクトの拡散強調イメージを得るための核磁気共鳴画像法スキャナ;及び
コンピュータシステムであって、前記得られたイメージを受信し、ニューラルネットワークを用いてプログラムされ、当該ニューラルネットワークは、前記得られたイメージのフィルタリングを行い、アウトプットイメージを前記得られたイメージから生成する;
ここで、前記ニューラルネットワークは、Yによって測定された要素Xによって、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;そして、
ここで、13以上(好ましくは5以上、より好ましくは3以上)のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージに適用された場合、前記ニューラルネットワークは、以下の
参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数(modulation transfer function)の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)は前記フィルタイメージであり、
は、前記畳み込みパラメータであり、そして、σ2は、σ2=4となる平滑化のばらつきセットである。
前記ネットワークは空間可変フィルタであってもよい。前記ネットワークは、畳み込みニューラルネットワークであってもよい。
別の側面において、本開示は、ニューラルネットワークをトレーニングする方法を提供し、当該ネットワークは、核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングによってアウトプットイメージを生成するようにプログラムされており、前記方法は以下を含む:
1以上の核磁気共鳴画像法スキャナによって得られた1以上のオブジェクトの拡散強調イメージのトレーニングセットを提供することであって、前記トレーニングセットの各イメージは、各々の核磁気共鳴画像法スキャナによって、前記身体の各々の場所で、各々のb値で、当該b値の各々の方向で、尚且つ、信号平均化なしで得られたものであり、ここで、各々の場所に関して、イメージは、異なるb値にて、且つ、各b値に関する異なる方向で提供され、そして、ここで、複数のイメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせにごとに提供される;
所与の場所、所与のb値、及び所与のb値の方向の各組み合わせにごとの前記トレーニングセットからの前記複数のイメージを組み合わせて、前記所与の場所及び前記所与のb値に関する各々の正解イメージ(ground truth image)を形成すること;並びに、
前記ニューラルネットワークをトレーニングしてコスト関数を最小化することであって、前記コスト関数は、同一の場所での同一のb値における、前記トレーニングセットの各イメージと前記対応する正解イメージとの間での、そのイメージとしての類似性を測定する。
したがって、こうした他の側面の方法は、上記第1の側面のネットワークをトレーニングするために用いることができる。
都合により、コスト関数は、平均絶対誤差を使用して類似性を測定することができる。ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。拡散強調イメージのトレーニングセットは、ヒト又は動物の検体のイメージであってもよい。
用語「コンピュータ可読媒体」は、データを記憶するための1以上のデバイスを表してもよく、以下を含むことができる:リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、マグネティックRAM、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び/又は、情報を記憶するための他の機械可読媒体。用語「コンピュータ可読媒体」は、限定されるものではないが、以下を含む:ポータブルの、若しくは、備え付けの、記憶デバイス、光学記憶デバイス、ワイヤレスチャンネル、並びに、指示(複数可)及び/又はデータを記憶、包含、又は、搭載することができる様々な他の媒体。
更には、実施形態は、以下によって実装されてもよい:ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又は、これらの任意の組み合わせ。ソフトウェア、ファームウェア、ミドルウェア、又は、マイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、コンピュータ可読媒体に記憶されてもよい。1以上のプロセッサは、必要なタスクを実行することができる。コードセグメントは、以下を表現してもよい:プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は、指示、データ構造、若しくは、プログラムステートメントの任意の組み合わせ。コードセグメントは、情報、データ、引数、パラメータ、又は、メモリコンテンツを渡したり、及び/又は、受け取ったりすることによって、別のコードセグメント又はハードウェア回路と連結されてもよい。情報、引数、パラメータ、データ等は、任意の適切な手段を通して、渡されたり、送られたり、又は、送信されてもよく、当該手段に含まれる物として、メモリ共有、メッセージ渡し、トークン渡し、ネットワーク伝送等が挙げられる。
本開示の実施形態については、添付の図面を参照しながら、例示的な意味で、以下説明する。
シングル獲得イメージxijからの「臨床的なスタンダード」イメージzの生成は、以下によって達成された:(i)異なる方向jにわたって幾何学的な平均をコンピューティングすること、及び、結果としてトレース強調イメージyiにわたっての算術平均をコンピューティングすること。こうした動作は、WBDWIを獲得した際に、ほとんどの臨床的なスキャナによって実行される処理を模している。臨床的なスキャナにおいては、平均されたイメージ(z)のみが保持され、一方で、すべての他のデータは、記憶要件を減らすために除去される。 ランダムな方向x1jでのシングル獲得からのインプットノイズイメージを処理してイメージzpredを予想するための、我々のU-NET様アーキテクチャを示す。平均絶対誤差(L)は、コスト関数として使用され、当該関数は、予想されたイメージの、獲得された臨床的なスタンダード/正解イメージzへの知覚的な近さを評価するものである。 トレーニングWBDWIコホートからの例示的な試験患者データセット。脱ノイズイメージフィルタ(De-Noising Image Filter、DNIF)フィルタを適用した後(中央列)、b=900s/mm2におけるイメージの質は、元々ノイズを有するシングル獲得イメージよりも改善されており(左列)、ここで、臨床的なスタンダード(右列)と均等のイメージの質となっている。同一のb値において、以下の両方で非常に鮮明である:軸イメージ(中央行)、及び、得られる冠状面の最大強度投影(上行)。さらには、ADCマップにおけるイメージの質も非常に改善しており(下行)、ここで、臨床的なスタンダードのADCマップと均等の質となっている。 トレーニングWBDWIコホートにおける3人の試験患者に関するセグメント化された骨疾患内でのADC分散のバイオリン図。正のADC値のみ含めた。MAE及びMAE/SSIMコスト関数それぞれでトレーニングした深層学習DNIFネットワークに関して、ADC値の範囲についての減少がある。我々は、この要因は、DNIF平滑化の後の生じたADCマップのSNRの改善にあると考えた。 軸b=900s/mm2であるイメージ及びADCマップの例であって、試験的なWBDWIコホートにおける患者のサイズの、臨床的なスタンダード、フィルタされていないシングル獲得(NSA=1)、及び、DNIFフィルタされたイメージ。DNIFフィルタを用いた場合、すべてのケースにおいて、NSA=1のフィルタされていないイメージと比べると、イメージ及びマップの質に関して明らかな改善が見られている。 軸b=900s/mm2であるイメージ及びADCマップの例であって、試験的なWBDWIコホートにおける患者のサイズの、臨床的なスタンダード、フィルタされていないシングル獲得(NSA=1)、及び、DNIFフィルタされたイメージ。DNIFフィルタを用いた場合、すべてのケースにおいて、NSA=1のフィルタされていないイメージと比べると、イメージ及びマップの質に関して明らかな改善が見られている。 肺のコホートのテストアームからの3人の患者の例示のデータセット。WBDWIイメージを用いて予めトレーニングされたDNIFを用いてフィルタしたものに関して、イメージの質に関する明らかな改善が見られたものの、MPMを有する患者において特異的に獲得されたデータを用いてフィルタを再トレーニングした場合、更なる改善が見られた。具体的には、こうした改善は、crisper疾患のコントラストに関して、以下の部分で観察された:高いb値イメージ(矢印A)、より鮮明な組織境界(矢印B)、及び、より正確なADC測定(矢印c)。 肺のコホートのテストアームからの3人の患者の例示のデータセット。WBDWIイメージを用いて予めトレーニングされたDNIFを用いてフィルタ物に関して、イメージの質に関する明らかな改善が見られたものの、MPMを有する患者において特異的に獲得されたデータを用いてフィルタを再トレーニングした場合、更なる改善が見られた。具体的には、こうした改善は、crisper疾患のコントラストに関して、以下の部分で観察された:高いb値イメージ(矢印A)、より鮮明な組織境界(矢印B)、及び、より正確なADC測定(矢印c)。 低質シングル平均イメージf(x;y)に対して動作する我々のAIフィルタ と、平滑化フィルタ
の例。
従来のガウシアン平滑化フィルタと、我々の深層学習ベースのイメージ平滑化フィルタの非線形的特性の比較。フィルタ処理の後、回復されるイメージh*と、元々のイメージhとの間で明らかな違いがあり、フィルタの非線形性を示している。 バイアス項kの値を変更することによって観察される非線形性の度合いの視覚的な表現。 DNIFフィルタリングの前にインプットイメージをシフトすることで、最終的なアウトプットピクセル強度をどのように変えることができるかについての比較。このことにより、我々の仮説が確かめられ、当該仮説は、この深層学習フィルタは、空間的に不変のガウシアン平滑化フィルタと比べると、空間的に可変であるということである。 元々のイメージをシフト(Shift)するピクセルの数を変化させることで、得られるフィルタイメージがいかに変わるかを視覚的に示す。 従来のガウシアン平滑化フィルタと比べての、我々の深層学習ベースのイメージ平滑化フィルタのローカル特性の比較。フィルタ処理の後、回復されるイメージh*と、元々のイメージhとの間で明らかな違いがあり、イメージの一部で起こる変化は、イメージの残りの部分を通してのピクセル強度に影響を及ぼし得ることを示す。 インプットイメージにおける除去されるピクセルのエリアを増大させることで、いったんDNIFフィルタを通過すると、イメージ内の他の領域での違いがどのように増大するかを視覚的に示す。 DNIFがエッジ保存性の平滑化フィルタであるという仮説を検証するため、我々の実験のセットアップについて示す。左から右へ:合成的なノイズのあるナイフエッジイメージfをDNIF及びガウシアンフィルタへ通過させ、平滑化イメージh及びgをそれぞれ生成している。これらのイメージから、エッジスプレッド関数(ESF)は、サイズ80×60ピクセル(フィルタイメージ上のダッシュ長方形で示す)の境界ボックス内のピクセルのカラム方向の平均として生じる。その後、線像強度分布(LSF)が、ESFの一次導関数として生じ、これは、中心差分式を用いて計算される。最後に、変調伝達関数(MTF)を、各フィルタごとにLSFの離散フーリエ変換を通してコンピューティングする(ゼロ周波数でMTF値へと正規化)。我々は、MTF曲線下の面積を、フィルタのパフォーマンスの測定として使用し、ここで、面積が大きいほど、フィルタのパフォーマンスが良いことを示す。MTF曲線から明らかなのは、DNIFフィルタ(上側の曲線)は、この観点から、ガウシアンフィルタ(下側の曲線)を上回っており、このことは、我々として、DNIFを用いて、より鮮明なエッジの解像ができることを結論づけるものである。 異なるS/N比(SNR)を有する合成ナイフエッジイメージを用いて生じたDNIF(実線)及びガウシアン(点線)平滑化フィルタに関して正規化された変調伝達関数(MTF)。フィルタのパフォーマンスに関する我々の測定は、正規化したMTF曲線の下の面積として導出する。これらの例から明らかなのは、当該基準を用いると、SNRの値が3又はそれ以上で、ガウシアンフィルタを、DNIFフィルタが上回る。
詳細な説明
以下では、我々は、人工知能(AI)の革新的な使用を探求した研究について説明するが、当該AIは、WBDWIにおけるスキャン時間を劇的に減少させ、したがって、これを、実現可能な臨床学的なアプローチにし、当該アプローチとしては、悪性リンパ腫、前立腺からの転移性骨疾患、及び、乳がんなどの病気の治療応答に関する、診断、ステージ、及び、評価などができる。要するに、こうしたアプローチは、かなりアンダーサンプリングされた拡散強調イメージ(例えば、シングルのb値方向で、複数の平均なし)から、完全にサンプリングされたWBDWIイメージを効果的に回復させ、5~10倍のオーダーで獲得時間をカットする。AIモデルをトレーニングするため、我々は、期待をよせるWBDWIイメージングプロトコルを使用し、これは、ほとんどの臨床的なスキャナで獲得してもよい。転移性前立腺がん及び骨髄腫関連の骨疾患を有する患者の第2の見込みコホートを通して、我々の技術を検証する。さらには、悪性胸膜中皮腫(MPM)を有する患者のコホートの遡及的分析を通して、より小さい視野にわたって得られた拡散強調イメージングの技術の実現可能性を示す[8]。我々の手法は、ほとんどのWBDWIポスト処理システムで簡単に実装可能なイメージ処理パイプラインを提供する。
材料と方法
患者集団
全ての研究は、ヘルシンキ宣言に従って行われ、そして、これらの患者のコホートに関する倫理的な承認を得た。
トレーニングWBDWIコホート
WBDWIを、17人の患者から得たが、これらの患者は、転移性前立腺がんが疑われており、骨格において、1.5T MR system(Siemens Aera, Erlangen, Germany)を用いて得た。アキシャル、スピンエコ、エコプラナーイメージング(SE-EPI)は、頭蓋底から大腿の中央まで、以下の条件を使用して得た:スライス厚さ5mm、反転時間(TI)180ms(脂肪シグナル抑制のため)、エコタイム(TE)79ms、繰り返し時間(TR)12.7s、視野(FoV)128×104ピクセル(256×208へと補間)、解像度1.68×1.68mm2(補間後)、ピクセル読み出し帯域(BW)1955Hz/ピクセル、及び、アクセラレーションファクタR=2でのGRAPPAパラレルイメージング。各軸位置におけるイメージを、以下のb値を用いて得た:50、600、及び900 s/mm2;各b値に関して、我々は、直交配向(bx,by,bx)∝(-1,0,0)、(0,1,0)、及び(0,0,1)をそれぞれ用いてイメージを得た。シングルイメージはb値/配向ペアそれぞれに関して得た(即ち、信号平均化は用いなかった)、そして、「トレース強調」イメージは、後処理におけるこれらのイメージの幾何学平均としてコンピューティングした(この処理の例示的な解説について図1を参照されたい)。これらの獲得を3回繰り返し、そして、3つの連続したトレース強調イメージの算術平均により、従来の臨床的なWBDWIイメージを「ゴールドスタンダード」として提供した(図1に示す)(シグナル平均の数、NSA=3)。全てのイメージ(個々に獲得したもの、及び、得られた最終的な平均イメージ)は更なる処理のために記録した。これらのデータは、トレーニング/検証コホートへと、14/3にそれぞれ分割した。
試験WBDWIコホート
WBDWIは、24人の患者のコホートにおいて先取する形で得られ、これらの患者は、転移性前立腺がん(N=19)、転移性乳がん(N=2)、及び、多発性骨髄腫(N=3)を患っており、同一のスキャナで、トレーニングコホートとして得た。各患者に関して、我々は、同一の研究内において2つのWBDWIプロトコルを用いてデータを得た(研究の間患者はカウチに維持した)。最初に、同一のプロトコルについては、トレーニングコホートとし、しかし、シングル平均(NSA=1)、そして、シングルb値方向(bx,by,bx)∝(0,0,1)のみを得た。第2に、我々は、従来の臨床的なWBDWIスキャンを以下のパラメータで実施した:スライス厚さ=5mm、TI=180ms、TE=64ms、TR=6.2s、FoV=134×108ピクセル(268×216へと補間)、解像度=1.6×1.6mm2(補間後)、BW=2330Hz/ピクセル、R=2(GRAPPA)、ここで、NSA=4;データは、b値50、600、及び、900s/mm2に関して、3つの直交拡散エンコーディング方向にわたって得て、トレース強調イメージを得た。我々は、両プロトコルにおける頭蓋底(前立腺がん)又は頭蓋頂(骨髄腫)のいずれかから、大腿中央部までの両プロトコルの視野をマッチさせることを試みた。後処理において、臨床的なプロトコルを再サンプル化して、より短いシングル獲得プロトコルを用いて獲得されたデータの視野及び解像度をマッチさせた。これらのプロトコルでのおおよその獲得時間は、シングル獲得プロトコルで約5分、臨床的なプロトコルで、約22~25分であった。
肺コホート
他の拡散強調イメージング(DWI)研究において、我々のアプローチが成功したことを示すため、我々は、悪性胸膜中皮腫(MPM)の存在について評価した患者のコホートからのデータを遡及的に評価した。このコホートは28人の患者からなり、標的薬剤に対するMPMの応答を評価するため、DWIを使用してスキャンされた;本研究において、ベースラインスキャンは、評価のためだけに使用された。イメージングは、全身トレーニングコホートに対する同様のプロトコルから構成され、1.5T scanner (Siemens Avanto, Erlangen, Germany)を使用した:イメージは、アキシャルに、SE-EPIを用いて獲得され、ここで、b値=100、500、及び、800s/mm2であり、3つの直交方向(bx,by,bx)∝(-1,0,0)、(0,1,0)、及び、(0,0,1)にわたって獲得された。各b値/方向ペアに関して、獲得を4回繰り返し、それぞれに関して、異なる方向及び繰り返しの幾何学的及び算術平均からの臨床グレードのスキャンを得た(図1に従って)。イメージは、胸部全体をカバーするため、2つのイメージングステーション(30スライス/ステーション)にわたって以下の条件で獲得された:SPAIR脂肪抑制、TE=92ms、TR=6s、FoV=128×92、解像度=3×3mm2、BW=1860Hz/ピクセル、及び、R=2(GRAPPA)。これらのデータは、トレーニング/検証コホートへと、20/8患者にそれぞれ分割された。
AIネットワークアーキテクチャ
我々の深層学習した脱ノイズイメージフィルタ(DNIF)は、畳み込みニューラルネットワークを含み、当該ネットワークは、U-Netアーキテクチャに基づく(図2に示すように)[9]。サイズ256×208ピクセルのイメージは、ネットワークへのインプットとして提供され(トレーニングWBDWIコホートデータの補間後のイメージサイズ)、そして、0-4095の範囲から、0-1の範囲へと正規化される。最後の層に関しては、線形アクティベーションを活用し、一方で、ReLUアクティベーション関数を、すべての先行する層で使用した。我々は、各隠れユニットに対して重みづけインシデント(weights incident)を課して、ノーム値が3以下になるようにした;He normal initializationを使用して、層の重みをランダムに初期化し[10]、そして、ネットワークを、Adam[11]を用いて、学習率=10-3で最適化した。
ネットワークをトレーニングするため、我々は、コスト関数を最小化し、ここで、当該関数は、ノイズのあるインプットイメージ(NSA=1)から生じるDNIFフィルタイメージ間の類似性を測定し、ここで、平均化した後のトレーニングの正解となる臨床的なイメージを用いる(NSA=9)。デフォルトの選択は、2つのイメージ間の平均二乗誤差(MSE)を最小化するためのものである。しかし、ヒトの観察者によって知覚されるイメージの質を評価するにあたって測量の周知の制限を理由として[12]、我々は、2つの異なるイメージ類似性の測量を使用し、イメージの質に関するヒトの知覚とより相関する、以下の測量を使用した:(i)平均絶対誤差(MAE)、及び、(ii)平均絶対誤差と、構造類似性(SSIM)インデックスの組み合わせ[13](式1)
mae/SSIM=a・Lmae+(1-a)・LSSIM(式1)
ここで、aは、関数に対する各エラー測定への寄与の重みである。異なる値をテストした後、我々は、経験的にaを0.7に設定した(我々が観察したところでは、aが小さく変化したとしても結果への有意な影響は起こらなかった)。
ネットワークは、トレーニングWBDWIコホートにおける最初の14人の患者からの59400個のWBDWIスライスについてトレーニングした(約14患者×3方向×3つの獲得×3つのb値×150個のスライス)、ここで、15のエポック数に関して、36のイメージのバッチサイズを使用した。ネットワークのパフォーマンスについては、3人の残りの患者からの15120個のイメージから構成される独立した検証セットで検証した。トレーニングしたネットワークは、続いて、試験WBDWIコホートにおいて獲得されたシングル獲得データに適用された。
肺コホートに関して、我々は、最初の20人の患者からの43200個のWBDWIスライスで、ネットワークを再トレーニングし(ネットワークの重みはランダムに初期化した)、そして、再トレーニングしたネットワークを、残りの8人の患者からの15120個のMRIスライスの独立したテストセットを用いてテストした。我々は、線形補間を用いて、イメージをリサイズし、その結果、インプットイメージサイズは256×208ピクセルとなり、その後、当該イメージは、モデルへ入力する前に、0-939の範囲から0-1の範囲へと正規化した。比較のため、我々は、トレーニングWBDWIコホートからトレーニングされたネットワークも、テスト肺患者の同じセットに対して適用した。
データ分析
トレーニングWBDWIコホート
専門の放射線従事者(10年超の経験)に、以下に関する当該コホート内の3人の試験患者からのイメージについて、盲目的にスコアをつけてもらい:(i)SNR、(ii)コントラスト対ノイズ比率(contrast-to-noise ratio、CNR)、(iii)腫瘍検出、(iv)イメージのアーチファクトの存在、及び、(v)全体のイメージの質、以下のリッカート尺度を用いた:1=poor~5=excellent。NSA=1、NSA=9、及び、DNIF方法それぞれから生じるb=900s/mm2での拡散強調イメージ及びADCマップを、こうした視覚評価に用いた。さらには、試験患者に関して、放射線従事者は、WBDWI研究で特定された転移性の病気に関するインハウスの半自動的なセグメンテーションツールを用いて、平均化されたデータに対して、骨の疾患の領域を大まかに特定した。これらの対象領域(ROI)は、以下から計算されるADCマップへコピーされた(i)シングル獲得イメージ(NSA=1)、(ii)平均後の「臨床的なスタンダード」イメージ(NSA=9)、及び、(iii)NSA=1データにネットワークを適用することで得られたDNIFフィルタイメージ。これらの領域内の骨の疾患の平均ADCを比較した。
試験WBDWI及び肺コホート
b=900s/mm2でのDNIFフィルタイメージの質を、試験WBDWIコホートにおけるすべての患者の臨床的なスタンダードと視覚的に比較した。ここで、b=50、600、及び、900s/mm2でのDNIFフィルタイメージを用いて計算して得られたADCマップとともに比較された。同様の視覚的な比較を、肺患者コホートからの8人の試験患者に関して行い、ここでは、b=800s/mm2でのDNIFフィルタされたものを、平均化された臨床的なスタンダードと、b=100、500、及び、800s/mm2でのイメージを用いて計算してADCマップとともに、比較した。
結果
AIネットワークアーキテクチャ
15のエポック数内で、ネットワークは平均絶対誤差を、0.87×10-3から0.53×10-3まで最小化し、そして、MAE/SSIMエラーを、0.39×10-2から0.11×10-2まで最小化した。両方のコスト関数では、同一のMAEソリューションを生じた(0.53×10-3)。興味深いことに、Lmae又はLmae/SSIMコスト関数のいずれかを用いることで、ネットワークは、平均二乗誤差を直接最小化することを試みるよりも、平均二乗誤差に関する優れたソリューションへと到達した(LmaeからのMSE:1.89×10-6 vs Lmae/SSIMからのMSE: 1.88×10-6 vs LMSE: 2.7×10-6)。専門家の放射線従事者による視覚的な検査による結論では、Lmseコスト関数でトレーニングしたネットワークは、エッジを良好に保存することなくイメージに対して過剰に平滑化を適用してしまっていた。この測量は更なる分析では使用しなかった。
ネットワークは、Tesla P100-PCIE-16GB GPUカードを用いて、WBDWIデータに対して8時間ものトレーニングを要した。コンピュータとしての効率性の観点から、トレーニングされたネットワークは、MacBook Pro (3.5 GHz, Intel Core i7 CPU)上で、シングルの低SNRイメージを処理するのに約1秒しか必要としない。
トレーニングWBDWIコホート
試験患者のうちの1人における視野全体に適用されたDNIFフィルタの例を図3に示す。明らかなこととして、DNIFフィルタは、インプットNSA=1イメージにおけるイメージングノイズの影響の減少を成功させることができる。こうしたノイズ減少は、得られた、且つ、計算されたADCマップにおけるイメージの質を優れたものにすることができる。DNIFフィルタイメージは、すべての3人の試験患者において、NSA=1及びNSA=9のイメージよりも放射線学的に優れており(全5つの基準にわたる平均のリッカート尺度は、それぞれ、3.73[3.6-4.0] vs 1.6[1.2-1.8]及び2.53[2.4-2.6])、したがって、イメージの質を改善する。
平均ADC値は、AI生成イメージからの骨疾患内で測定され、AI生成イメージは、平均疾患ADCから生成され、ADCは、NSA=9イメージから計算され、平均が2.4%であった[範囲:0.6-4.5](平均ADC測定に関する、以前に報告した再現性の制限内で)。セグメント化された領域内でのADC値のバイオリン図を図4に示すが、ここで、示すのは、計算されるADCマップにおけるSNRの減少の結果として、DNIFによる、計算されたADC測定の範囲を減少させる能力である。MAE、及び、MAE/SSIMのコスト関数のパフォーマンスにおいては違いがほとんど観察されないため、我々は、更なる評価のために、MAE派生ネットワークを使用することを選択し、この理由としては、コスト関数のシンプルさ、そして、パラメータ「a」の重みづけが、その定義(式1)において必要とされないという事実がある。
試験WBDWI及び肺コホート
DNIFフィルタの応用は、試験WBDWIコホート内の全ての22人の試験患者において成功であった。高いb値イメージに関するコントラスト対ノイズ比率の観点からのイメージの質、及び、得られるADCマップにおいての改善が、すべての患者に関して見られ、6人のランダムに選択された患者の結果を図5に示す。
図6は、肺コホートからの試験患者データセットのうち3つについての結果を比較するものであり、元々のトレーニングWBDWIコホートを用いてトレーニングされたネットワークと、新たな肺データを用いて再トレーニングされた別のネットワークとを用いてフィルタされたNSA=1イメージを示す。結果が示すこととして、WBDWIトレーニングネットワークは、MPMにおいて獲得されたDWイメージの平滑化においてなおも有用である可能性がある一方で、アーキテクチャは、病気特有のデータを用いた再トレーニングによって確かに改善させることができる。
ディスカッション
我々のWBDWI深層学習した脱ノイズイメージフィルタ(DNIF)のアーキテクチャは、著しくサブサンプル化したWBDWI獲得において、イメージの質を大幅に改善する。我々は、転移性前立腺がん又は骨髄腫関連の骨疾患のいずれかを患っている患者において予め獲得された且つ収集されたWBDWIイメージのデータセットに対して、我々のトレーニングアルゴリズムをテストし、そして、DNIFフィルタイメージを、同じイメージング研究の最中に獲得された「臨床的なスタンダード」WBDWIイメージと比較した。我々の結果が示唆すのは、DNIFは、サブサンプル化データから、「臨床グレード」のWBDWIイメージを提供することができるということであり、潜在的には、獲得するための時間の量を著しく減らすことができる(我々の先行研究では約25分から、約5分へ)。こうした時間節約は、スキャンするコストを減少させることができ、WBIを、スクリーニング研究、患者が時間を割くこと、及び/又は、不快感に関して、適切なものとすることができる。我々が提供した証拠では、DNIFフィルタイメージを用いて生成されるADC測定は、完全な形でサンプリングされたWBDWIデータを用いて作成される測定と均等な情報を提供するということであり、DNIFを用いて計算される骨疾患内の平均ADCの見積もりは、治療応答をモニタリングするにあたって十分に確かなものとなる可能性がある。DNIFネットワークを生成するために必要となるトレーニングデータを得るための我々のアプローチは、既存のMRハードウェアを用いた任意のイメージングセンターにおいて採用及び適用することができる。我々が示したこととして、我々が提案する手法は、DWIを用いて調査される他の病気のタイプ(例えば、悪性胸膜中皮腫)に採用することができ、これらは、身体全体の測定に関して使用されるものよりも小さい視野を典型的には使用する。さらには、我々が示したこととして、WBDWIトレーニングされたDNIFフィルタは、MPMにおいて獲得されるシングル獲得DWIイメージに関するイメージの質を改善するのに使用することができるが、トレーニングデータを問題になっている病気のために獲得すれば、こうした技術は改善する。より一般的には、任意のWBDWI研究からのデータを評価するのに十分に確実なフィルタを開発する目的で、他の機関、MRベンダー、及び、異なるプロトコルからのトレーニングデータを追加することによる利益を、ネットワークは享受するであろう。
個々のWBDWI獲得物を獲得するための、そして、後処理を通して臨床的なスタンダードのWBDWIスキャンを得るために我々が説明したプロトコルを使用した場合、我々の予想では、ネットワークは、異なるスキャナでの臨床的なプロトコルのためにトレーニングすることができる。こうしたアプローチは、「転移学習」のコンセプトを活用することができる:我々のDNIFネットワークからの重みづけを初期化として利用することによって、個々のサイトは、そのサイト特有の確かなネットワークをトレーニングするためにより多くのデータを獲得する必要がなくなる可能性がある。
DNIFニューラルネットワークのトレーニングは、インプットイメージを、極力「正解」に類似したものにすることを試みることに基づく。しかし、アルゴリズムによるイメージの類似性の正しい評価は、コンピュータのヴィジョン分野においては進行中の問題である。デフォルトの選択として、平均二乗誤差が、そのシンプルさ及びよく理解されているがゆえに、主に使用されているが、しかし、強力な仮定を含む多くの既知の制限に悩まされている;こうした測量は、ノイズがホワイト(ガウス分布)であり、ローカルのイメージ特性に依存しないということを仮定している[14]。さらには、こうした測量は、他の応用では有効かもしれないが、ヒトが知覚するイメージの質と相関しないイメージを生成する(非常に低い平均二乗誤差を有する2つのイメージが、ヒトの観察者にとっては全く異なって見えることがある)[12]。ヘルスケアドメインでは、こうしたことは、主要な問題を引き起こす可能性があり、理由として、放射線従事者は、得られたイメージに基づいて臨床的な決断をくださなければならないからである。本研究において、我々は、別のローカルな測量である、平均絶対誤差について調査し、そして、また、我々は、これを、ヒトの知覚により近い測量SSIMと組み合わせた。
MSE、MAE、及び、SSIM等の類似性の測量は、インプットイメージの乏しい視覚的な質及び低いSNRにかかわらず、当該インプットイメージは、「正解」イメージに数値的に近い。このことは、ネットワークにおいて、エラー測量を更に最小化するための多くの余地を残さない。しかし、たとえ、これらの測量が異なる収束特性を有するとしても、我々は、MAEを最小化することで、低いMSEを達成した。具体的には、MAEは、大きなエラーに対して過剰な罰を与えない。このことは、Zhaoらの知見にも合致しており、ここでは、彼らは、脱ノイズ化と脱モザイクを、イメージレストア問題において結合させることを試みている[14]。
任意の深層学習アルゴリズムの内部の作用を理解することは、困難なタスクとなり得る。しかし、もしも、こうした技術がヘルスケア部門内で採用され、そして、医療的な正規の承認のためのアプリケーションをサポートするためのものとなれば、どのようにして深層学習ネットワークが特定の結果にたどり着くかに関する証拠は有用である。付属資料では、我々は、どのようにして我々のDNIFフィルタが動作することができるのかについての証拠を提供している。また、我々は、少なくとも、DNIFフィルタが(i)非線形であること、(ii)空間的に可変であること、(iii)非ローカル性であること、及び、(iv)エッジ保存性を有することについての予備的な証拠も提供している。同時にこれらの特性を達成できる「ハンドクラフト」のフィルタを生成することは一般的に実際的ではないため、こうしたことは、深層学習アプローチの利点を示す。これらの結果から、我々の仮定では、DNIFフィルタは、視野内の相対的位置及び相対強度に基づいて視野内のピクセル間の複雑な関係を学習している。さらには、我々が考えるに(特に空間の可変が原因となって)、DNIFフィルタは、特定の解剖学的な場所においてそれが発揮する平滑化の度合いをチューニングするために、解剖学的な位置を学習している。
本発明は、上述した実施形態、及び様々な改変に限定されないこと、及び、本明細書に記載のコンセプトから逸脱することなく改良できることを理解されたい。相互に排他的な場合は除いて、いずれかの特徴は、別々に採用してもよく、又は、任意の他の特徴と組み合わせて採用してもよく、そして、本開示は、本明細書に記載の1以上の特徴の全てのコンビネーション又はサブコンビネーションまで拡張することができ、そして、これを包含する。
参考文献
本明細書で言及したすべての参考文献は、参照により本明細書に組み込まれる。
[1] D. M. Koh et al., “Whole-body diffusion-weighted mri: Tips, tricks, and pitfalls,” American Journal of Roentgenology, vol. 199, no. 2. pp. 252-262, 2012.
[2] M. Eiber et al., “Whole-body MRI including diffusion-weighted imaging (DWI) for patients with recurring prostate cancer: Technical feasibility and assessment of lesion conspicuity in DWI,” J. Magn. Reson. Imaging, vol. 33, no. 5, pp. 1160-1170, 2011.
[3] A. R. Padhani, D.-M. Koh, and D. J. Collins, “Whole-Body Diffusion-weighted MR Imaging in Cancer: Current Status and Research Directions,” Radiology, vol. 261, no. 3, pp. 700-718, 2011.
[4] S. L. Giles et al., “Whole-Body Diffusion-weighted MR Imaging for Assessment of Treatment Response in Myeloma,” Radiology, vol. 271, no. 3, pp. 785-794, 2014.
[5] D. A. Hamstra, K. C. Lee, B. A. Moffat, T. L. Chenevert, A. Rehemtulla, and B. D. Ross, “Diffusion Magnetic Resonance Imaging: An Imaging Treatment Response Biomarker to Chemoradiotherapy in a Mouse Model of Squamous Cell Cancer of the Head and Neck,” Transl. Oncol., vol. 1, no. 4, pp. 187-194, 2008.
[6] H. C. Thoeny and B. D. Ross, “Predicting and monitoring cancer treatment response with diffusion-weighted MRI,” Journal of Magnetic Resonance Imaging, vol. 32, no. 1. pp. 2-16, 2010.
[7] D. K. Hill et al., “Non-invasive prostate cancer characterization with diffusion-weighted MRI: Insight from in silico studies of a transgenic mouse model,” Front. Oncol., vol. 7, no. DEC, 2017.
[8] L. Cheng et al., “Response evaluation in mesothelioma: Beyond RECIST,” Lung Cancer, vol. 90, no. 3, 2015.
[9] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” Miccai, pp. 234-241, 2015.
[10] K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification,” in Proceedings of the IEEE International Conference on Computer Vision, 2015, vol. 2015 International Conference on Computer Vision, ICCV 2015, pp. 1026-1034.
[11] D. P. Kingma and J. L. Ba, “Adam: A method for stochastic gradient descent,” ICLR Int. Conf. Learn. Represent., pp. 1-15, 2015.
[12] L. Zhang, L. Zhang, X. Mou, and D. Zhang, “A comprehensive evaluation of full reference image quality assessment algorithms,” in Proceedings - International Conference on Image Processing, ICIP, 2012, pp. 1477-1480.
[13] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Trans. Image Process., vol. 13, no. 4, pp. 600-612, 2004.
[14] H. Zhao, O. Gallo, I. Frosio, and J. Kautz, “Loss Functions for Image Restoration With Neural Networks,” IEEE Trans. Comput. Imaging, vol. 3, no. 1, pp. 47-57, 2016.
[15] R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Metric,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2018, pp. 586-595.
[16] B. Zhu, J. Z. Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol. 555, no. 7697, pp. 487-492, 2018.
[17] B. Zhu, B. Bilgic, C. Liao, B. Rosen, and M. Rosen, “Deep learning MR reconstruction with automated transform by manifold approximation (AUTOMAP) in real-world acquisitions with imperfect training,” in Proc. Intl. Soc. Mag. Res. Med., 2018, p. 572.
付属資料
深層学習がどのようにしてDWIにおける空間平滑化の処理を洗練させるかについての理解
1.背景
本付属資料では、我々の深層学習した脱ノイズイメージフィルタ(DNIF,de-noising image filter)が、どのようにして、シングル平均DWI獲得における知覚イメージクオリティを改善させることができるかを我々は探索した。本研究において、DNIFフィルタがどのようにして効くのかについての知見を得るためトップダウンアプローチを我々は採用する:我々は、DNIFフィルタ(ここでは、オペレータ
を通してシンボル化)がどのようにして、ノイズのあるインプットDWIイメージf(x,y)を処理して、フィルタイメージh(x,y)を生成するかについての仮説をいくつか立てる。
我々はインシリコシミュレーション実験を行い、我々が述べた仮説に関する証拠を示し、従来のガウシアン平滑化フィルタ
と結果を比べる。従来のガウシアン平滑化フィルタでは、平滑化イメージg(x,y)を以下の式に従って生み出す:
ここで、
は、畳み込みパラメータであり、σ2は、平滑化のばらつきである(これらの実験を通してσ2=4となるよう設定されている)。ノイズのある骨盤のDWIイメージ(NSA=1、b=900s/mm2)に適用されたこれらの平滑化プロセスの例は図7に示す。
2.仮説
以下では、我々のDNIFフィルタがどのようにして、ノイズのあるDWIイメージの最適な平滑化を提供することができるのかについて我々がたてた仮説を説明する。各々の場合において、我々は我々の仮説を述べ、我々の仮説が画像処理の観点から何を表現しているのか、背景となる理論を説明し、そして、我々は、我々の仮説をどのようにして検証するかについての我々の実験的なセットアップについて説明する。我々は、我々の結果について示し、そして、それに従って、我々の結論を導き出す。
2.1 DNIFは非線形的なフィルタである
我々は、インプットイメージ強度に関して、DNIFフィルタの非線形性について以下のように定義する:
逆に、十分に立証されていることとして、
は、線形フィルタであり、以下のように示される:
我々は、この仮説についての証拠を示すが、これは、図7に示される見本からの新たなイメージを合成することによるものであり、f*(x,y)=f(x,y)+kとして示され、定数k=4を使用し、そして、元々のDNIF平滑及びガウシアン平滑イメージを回復させることを試みる:
留意されたい点として、スケーリング項aに関する値が、本分析において含まれていなかったが、これは、我々の深層学習フィルタは、イメージインプットがこうした項を冗長にする前に、イメージを正規化するからである。hとh*との間の差分マップ、及びgとg*との間の差分マップを図8に示す。明らかに、元々のガウシアン平滑イメージgは、g*から回復できている一方で、同じことが当てはまらないのが、DNIFフィルタのイメージhである。このことは、我々の想定である、DNIFの非線形性を確認するものである。
図9では、我々は、バイアス項kの大きさを変化させる効果も示している(k∈{1,2…9})。明らかな点として、kが増加するにつれ、深層学習が線形フィルタから生じる度合いが悪くなる。
2.2 DNIFは空間可変フィルタである
空間的に不変なイメージングフィルタ(例えば、ガウシアン平滑化フィルタ
)は、画像に対して同じ態様で動作し、これは、画像化オブジェクトの位置的なシフトがあるかどうかとは独立して動作する。我々が提案するのは、DNIFが空間的に不変で、その結果、画像の特定の領域内での平滑化の度合いは、イメージング領域全体内のその領域の位置に依存する。数学的には、このことは、以下の新たなイメージを最初に定義することによって、説明することができ、
*(x,y)=f(x-x0,y-y0
これは、ある量の分だけ(x0(左右方向)及びy0(上下方向))シフトしている。我々の提案として、DNIFがイメージf*に適用された場合、そして、結果として、
の場合には、この変換の逆方向は、元々のフィルタされるピクセルの強度は回復させない:
我々は、この仮説について、シフトされたイメージf*(x,y)を、元々のイメージf(x,y)から合成(同じ例については仮説2.1で示す)し、そして、新たにフィルタされたイメージh*(x,y)を生成することによって、検証する。我々は、フィルタイメージにおけるこのシフトに対して逆方向の変換を行い、元々のシフトされていない且つフィルタされていないイメージh(x,y)と、ピクセル強度を比較する。こうしたプロセスは、図10に示し、このケースでは、イメージは、両方向において、イメージ視野の半分だけシフトしており、ガウシアン平滑化フィルタ
に関する同様の分析と比較される。明らかに、
のアウトプット(視野のエッジ以外)においては、イメージ位置のシフトによる効果はほとんど見られない一方で、アウトプット
におけるピクセル強度は、シフトの結果変化している。このことから、DNIFが空間的に不変なフィルタではないという仮説が確認される。
シフトの規模がDNIFフィルタイメージに与えるインパクトを示すため、x0=y0∈{1,2,3,5,8,13,21,34,55}ピクセルについても同じ実験を我々は実施した。当該実験の結果を図11に示すが、ここで、明らかなのは、シフトの規模が上昇するにつれて、深層学習の偏差の度合いも大きくなる。
2.3 DNIFは非ローカルフィルタである
一般的な意味で、任意のイメージングフィルタ
に関する「ローカル性」の我々の定義は、以下のように定義することができる。
即ち、ある場所(x,y)でのイメージfで動作するイメージフィルタは、以下の要素のみに依存する:現在の場所の幾つかの小規模の付近領域(∂x,∂y)内のイメージ強度、ここで、当該付近領域は、完全なイメージ視野(x,y)の小さなサブセットである。従来のガウシアン平滑化フィルタに関して、付近領域(∂xg,∂yg)は、典型的には、非常に小さく、そして、平滑化のばらつきσ2(式2)を通してチューニングされる。逆にいえば、DNIFフィルタは、各ステップでイメージ視野が減少する一連の畳み込みのカーネルを通した全体のイメージ領域で動作するので、我々の予想として、こうしたフィルタの付近領域(∂xh,∂yh)は、従来のアプローチよりもかなり大きくなる(全体視野に依存しなければ):
我々は、こうした仮説に対する証拠を提供するが、これは、インプットイメージf*(x,y)を、標本イメージf(x,y)から合成的に生成することによって提供され、標本イメージに関しては、当該イメージの中心円領域内のピクセルがゼロに設定される(仮説2.1に関する同じ標本イメージを使用して)。我々は、この結果から、DNIFフィルタイメージh*(x,y)及びガウシアンフィルタイメージg*(x,y)を生成する。我々は、これらの結果と、変更されていないインプットイメージを用いて得られたフィルタイメージとの違いを比較する(図12に示すように)。明らかなこととして、イメージの中心部分におけるピクセル強度を変更することで、DNIFフィルタを用いたときの視野の強度エッジに対する著しい効果があり、しかしながら、ガウシアンフィルタに関してはこうした依存性は見出されず、このことは、
に関するローカル性についての我々の仮説を確認する。さらには、中心円の半径(視野の割合として定義される)を変更したときのDNIFに関して遭遇する変化の大きさをテストした。こうした試験の結果(図13)が示すところによれば、視野のエッジの値は、半径(Radius)が10%低くなると明らかに変化する。
2.4 DNIFは、エッジ保存フィルタである
我々は、DNIFフィルタでの成功の幾つかは、アウトプットフィルタイメージにおいてエッジを保存するその能力に要因があると考える。これらのエッジ保存の質を示すため、我々は、合成された「ナイフエッジ」を含むノイズのあるイメージを合成的に生成したが、ここで、イメージの左半分は均一なピクセル強度μを有し、右半分は、ゼロ埋めしている。ライズ分布ノイズ(ここで、スケールパラメータσ)をこのイメージに付加した。S/N比(SNR)はSNR=μ/σとなるようにμを調節することによって、これらの合成イメージにおいて変更することができ、一方で、我々は、定数として、σ=6:99をすべての実験で使用した(この値は、例として、シングルアベレージのDWIデータセットのバックグラウンドノイズから見積もった)。合成ナイフエッジイメージは、DNIFフィルタ及びガウシアンフィルタを通し、この目的は、各フィルタに関する、エッジスプレッド関数(ESF)、線像強度分布(LSF)、及び、変調伝達関数(MTF)の見積もりを得ることであり、本実験の完全な説明は図14にて示す。
MTFはイメージングシステムのパフォーマンスの特徴づけに関するよく知られた手法であり、そして、イメージングシステムが、空間長さスケール及び強度のコントラストのある範囲にわたって構造をどれだけ良好に分解することができるかに関する定量的な情報をもたらす。ここで、我々は、DNIFによって生成されるMTF曲線と、ガウシアンフィルタによって生成されるMTF曲線とを、異なるSNRの値にて(範囲として、SNR∈{2,3,5,8,13,21,34,55,89})比較する。各SNRに関して、ナイフエッジイメージをシミュレートし、そして、得られたMTFを100回測定し、これらの測定の平均をとり、そのSNRにおける最終的なMTFを提供した。より高度なエッジ保存パフォーマンスは、正規化したMTF曲線のもとでより高い面積を示したフィルタとして特定した。こうした実験の結果を図15に示すが、ここで、我々がSNR≧3で観察したときに、DNIFフィルタは著しく、従来の平滑化フィルタを上回るパフォーマンスとなる。したがって、我々の結論としては、DNIFは、ガウシアン平滑化フィルタを上回る、改善されたエッジ保存特性を示す。
3.結論
本付属資料を通して、我々は、我々のDNIFフィルタがどのようにして、低いSNRを有する拡散強調イメージを平滑化するために、最適な結果を生じさせることができるかについての我々の主要な仮説を詳述した。我々が留意している点として、現在のところ、どのようにして深層学習メソッドが、トレーニングプロセス中にチューニングされる何千ものパラメータが原因となって、インプットを特定の予測へと導くのかについての複雑さを、完全に理解するのは非実際的である。しかし、我々は、予備的な証拠を提供しており、少なくとも、DNIFフィルタは、(i)非線形的であること、(ii)空間的に可変であること、(iii)非ローカル性であること、そして、(iv)エッジ保存性であることの証拠を提供した。これらのことは、こうしたメソッドに関する真の力を示すものであり、というのは、これらの特性を同時に達成することのできる「ハンドクラフト」のフィルタを生成することは、実際的でなく、したがって、深層学習のメソッドは重要となる。実際、これらの結果から、我々の仮定では、DNIFフィルタは、視野内の位置及び相対強度に基づいて視野内のピクセル間の複雑な関係を学習している。さらには、我々が考えるに(特に空間の可変が原因となって)、DNIFフィルタは、特定の場所においてそれが発揮する平滑化の度合いをチューニングするために、解剖学的な位置を学習することができる。こうした特性が示すこととして、DNIFフィルタは、注意深く使用すべきであり、そして、潜在的には、トレーニングデータの初期のコホートが得られた特定の拡散強調シーケンスを用いて得られたイメージを処理するためだけに使用されるべきである。トレーニングプロセスを加速し、そして、他の拡散強調シーケンスに必要な新たなトレーニングデータの量を減らすため、我々のネットワークの転移学習も価値があるものとして証明される。
一側面において、本開示は以下の発明を包含する。
(発明1)
拡散強調核磁気共鳴画像法を実行する方法であって、以下のステップを含む、方法:
ニューラルネットワークを使用して、核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングを行うことであり、前記ニューラルネットワークは前記得られたイメージからアウトプットイメージを生成するようにプログラムされる、ステップ;
ここで、前記ニューラルネットワークは、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;及び
ここで、13以上のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージに適用された場合、前記ニューラルネットワークは、以下の
参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)は前記フィルタイメージであり、
は、前記畳み込みパラメータであり、そして、σ 2 は、σ 2 =4となる平滑化のばらつきのセットである。
(発明2)
発明1の方法であって、ここで、前記得られたイメージは、前記核磁気共鳴画像法スキャナによって、所与のb値にて、尚且つ、当該b値に関する所与の向きにて、信号平均化なしで得られる、方法。
(発明3)
発明1又は2の方法であって、ここで、前記ニューラルネットワークは空間可変フィルタである、方法。
(発明4)
発明1~3いずれか1つに記載の方法であって、ここで、前記ニューラルネットワークは畳み込みニューラルネットワークである、方法。
(発明5)
発明1~4いずれか1つに記載の方法であって、以下の予備的なステップを含む、方法:
前記核磁気共鳴画像法スキャナを用いて前記拡散強調イメージを得ること。
(発明6)
発明1~5いずれか1つに記載の方法であって、ここで、前記得られたイメージは、第1のb値及び前記オブジェクト内の所与の場所で得られ、そして、前記方法は更に以下のステップを含む、方法:
前記アウトプットイメージを1以上の更なる拡散強調イメージと組み合わせること、ここで、前記更なる拡散強調イメージは、前記オブジェクト内の前記所与の場所で得られるが、ただし、前記オブジェクト内の所与の場所での水の見かけの拡散係数のイメージを生じさせるために各々異なるb値にて得られる。
(発明7)
発明1~6いずれか1つに記載の方法であって、ここで、前記オブジェクトは、ヒト又は動物の検体である、方法。
(発明8)
発明7の方法であって、更に以下のステップを含む、方法:
前記ヒト又は動物の検体における病気の度合いの評価するために、前記アウトプットイメージ又は当該イメージから生じたイメージを分析すること。
(発明9)
拡散強調核磁気共鳴画像法を実行するためのイメージングシステムであって、以下を含むシステム:
オブジェクトの拡散強調イメージを得るための核磁気共鳴画像法スキャナ;及び
コンピュータシステムであって、前記得られたイメージを受信し、ニューラルネットワークを用いてプログラムされ、当該ニューラルネットワークは、前記得られたイメージのフィルタリングを行い、アウトプットイメージを前記得られたイメージから生成する、システム;
ここで、前記ニューラルネットワークは、Yによって測定された要素Xによって、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;そして、
ここで、13以上のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージに適用された場合、前記ニューラルネットワークは、以下の
参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)は前記フィルタイメージであり、
は、前記畳み込みパラメータであり、そして、σ 2 は、σ 2 =4となる平滑化のばらつきのセットである。
(発明10)
発明9の前記イメージングシステムのコンピュータシステム。
(発明11)
コンピュータプログラムであって、コードを備え、前記コードをコンピュータ上で実行したときに、発明1~4いずれか1つに記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
(発明12)
発明11のコンピュータプログラムを記憶したコンピュータ可読媒体。
(発明13)
核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングによってアウトプットイメージを生成するためにプログラムされるニューラルネットワークのトレーニング方法であって、前記方法は以下を含む:
1以上の核磁気共鳴画像法スキャナによって得られた1以上のオブジェクトの拡散強調イメージのトレーニングセットを提供することであって、前記トレーニングセットの各イメージは、各々の核磁気共鳴画像法スキャナによって、前記身体の各々の場所で、各々のb値で、当該b値の各々の方向で、尚且つ、信号平均化なしで得られたものであり、ここで、各々の場所に関して、イメージは、異なるb値にて、且つ、各b値に関する異なる方向で提供され、そして、ここで、複数のイメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせにごとに提供される;
所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとの前記トレーニングセットからの前記複数のイメージを組み合わせて、前記所与の場所及び前記所与のb値に関する各々の正解イメージを形成すること;及び
前記ニューラルネットワークをトレーニングしてコスト関数を最小化することであって、前記コスト関数は、同一の場所での同一のb値における、前記トレーニングセットの各イメージと前記対応する正解イメージとの間での、そのイメージとしての類似性を測定する。
(発明14)
発明13の方法であって、ここで、前記コスト関数は平均絶対誤差を用いて類似性を測定する、方法。
(発明15)
発明13又は14の方法であって、ここで、拡散強調イメージの前記トレーニングセットは、ヒト又は動物の検体のイメージである、方法。

Claims (14)

  1. 拡散強調核磁気共鳴画像法を実行する方法であって、以下のステップを含む、方法:
    畳み込みニューラルネットワークを提供するステップであって、前記畳み込みニューラルネットワークは、コスト関数を最小化するように事前に学習されており、前記コスト関数は、(A)1以上の核磁気共鳴画像法スキャナによって得られた1以上のオブジェクトの拡散強調イメージのトレーニングセットの各イメージと、(B)対応する正解イメージとの間の類似性を測定するコスト関数であり、その結果、前記ニューラルネットワークは、前記得られたイメージからのアウトプットイメージを生成するようにプログラムされる、ステップ;
    前記畳み込みニューラルネットワークを使用して、核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングを行うステップ;
    ここで、前記トレーニングセットの各イメージは、各々の核磁気共鳴画像法スキャナによって、身体の各々の場所で、各々のb値で、当該b値の各々の方向で、尚且つ、信号平均化なしで得られたものであり、ここで、各々の場所に関して、イメージは、異なるb値にて、且つ、各b値に関する異なる方向で提供され、そして、ここで、複数のイメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとに提供される;
    ここで、各々の対応する正解イメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとの前記トレーニングセットからの前記複数のイメージを組み合わせ、前記所与の場所及び前記所与のb値に関する各々の正解イメージを形成することによって、形成される;
    ここで、前記畳み込みニューラルネットワークは、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;及び
    ここで、13以上のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージに適用された場合、前記畳み込みニューラルネットワークは、以下の
    参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
    ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)はフィルタイメージであり、
    は、前記畳み込みパラメータであり、そして、σ2は、σ2=4となる平滑化のばらつきのセットである。
  2. 請求項1の方法であって、ここで、前記得られたイメージは、前記核磁気共鳴画像法スキャナによって、所与のb値にて、尚且つ、当該b値に関する所与の向きにて、信号平均化なしで得られる、方法。
  3. 請求項1又は2の方法であって、ここで、前記ニューラルネットワークは空間可変フィルタである、方法。
  4. 請求項1~3いずれか1項に記載の方法であって、以下の予備的なステップを含む、方法:
    前記核磁気共鳴画像法スキャナを用いて前記拡散強調イメージを得ること。
  5. 請求項1~4いずれか1項に記載の方法であって、ここで、前記得られたイメージは、第1のb値及び前記オブジェクト内の所与の場所で得られ、そして、前記方法は更に以下のステップを含む、方法:
    前記アウトプットイメージを1以上の更なる拡散強調イメージと組み合わせること、ここで、前記更なる拡散強調イメージは、前記オブジェクト内の前記所与の場所で得られるが、ただし、前記オブジェクト内の所与の場所での水の見かけの拡散係数のイメージを生じさせるために各々異なるb値にて得られる。
  6. 請求項1~5いずれか1項に記載の方法であって、ここで、前記オブジェクトは、ヒト又は動物の検体である、方法。
  7. 請求項6の方法であって、更に以下のステップを含む、方法:
    前記ヒト又は動物の検体における病気の度合いの評価するために、前記アウトプットイメージ又は当該イメージから生じたイメージを分析すること。
  8. 拡散強調核磁気共鳴画像法を実行するためのイメージングシステムであって、以下を含むシステム:
    オブジェクトの拡散強調イメージを得るための核磁気共鳴画像法スキャナ;及び
    コンピュータシステムであって、前記得られたイメージを受信し、畳み込みニューラルネットワークを用いてプログラムされ、当該畳み込みニューラルネットワークは、前記得られたイメージのフィルタリングを行い、アウトプットイメージを前記得られたイメージから生成する、システム;
    ここで、前記畳み込みニューラルネットワークは、コスト関数を最小化するように事前に学習されており、前記コスト関数は、(A)1以上の核磁気共鳴画像法スキャナによって得られた1以上のオブジェクトの拡散強調イメージのトレーニングセットの各イメージと、(B)対応する正解イメージとの間の類似性を測定するコスト関数である、
    ここで、前記トレーニングセットの各イメージは、各々の核磁気共鳴画像法スキャナによって、身体の各々の場所で、各々のb値で、当該b値の各々の方向で、尚且つ、信号平均化なしで得られたものであり、ここで、各々の場所に関して、イメージは、異なるb値にて、且つ、各b値に関する異なる方向で提供され、そして、ここで、複数のイメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとに提供される;
    ここで、各々の対応する正解イメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとの前記トレーニングセットからの前記複数のイメージを組み合わせ、前記所与の場所及び前記所与のb値に関する各々の正解イメージを形成することによって、形成される;
    ここで、前記畳み込みニューラルネットワークは、前記得られたイメージに対する前記アウトプットイメージのS/N比を改善する;そして、
    ここで、13以上のS/N比を与えるRicianノイズが付加された合成ナイフエッジイメージに適用された場合、前記畳み込みニューラルネットワークは、以下の
    参照ガウシアン平滑化フィルタに関する周波数に対する変調伝達関数の正規化値の対応する曲線の下での領域と比べて、そこで高い領域を有する、周波数に対する変調伝達関数の正規化値の曲線を形成し、
    ここで、f(x,y)は前記ノイズの合成ナイフエッジイメージであり、g(x,y)はフィルタイメージであり、
    は、前記畳み込みパラメータであり、そして、σ2は、σ2=4となる平滑化のばらつきのセットである。
  9. 請求項8の前記イメージングシステムのコンピュータシステム。
  10. コンピュータプログラムであって、コードを備え、前記コードをコンピュータ上で実行したときに、請求項1~3いずれか1項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
  11. 請求項10のコンピュータプログラムを記憶したコンピュータ可読媒体。
  12. 核磁気共鳴画像法スキャナによって得られたオブジェクトの拡散強調イメージのフィルタリングによってアウトプットイメージを生成するためにプログラムされる畳み込みニューラルネットワークのトレーニング方法であって、前記方法は以下を含む:
    1以上の核磁気共鳴画像法スキャナによって得られた1以上のオブジェクトの拡散強調イメージのトレーニングセットを提供することであって、前記トレーニングセットの各イメージは、各々の核磁気共鳴画像法スキャナによって、身体の各々の場所で、各々のb値で、当該b値の各々の方向で、尚且つ、信号平均化なしで得られたものであり、ここで、各々の場所に関して、イメージは、異なるb値にて、且つ、各b値に関する異なる方向で提供され、そして、ここで、複数のイメージは、所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとに提供される;
    所与の場所、所与のb値、及び所与のb値の方向の各組み合わせごとの前記トレーニングセットからの前記複数のイメージを組み合わせて、前記所与の場所及び前記所与のb値に関する各々の正解イメージを形成すること;及び
    前記畳み込みニューラルネットワークをトレーニングしてコスト関数を最小化することであって、前記コスト関数は、同一の場所での同一のb値における、前記トレーニングセットの各イメージと前記対応する正解イメージとの間での、そのイメージとしての類似性を測定する。
  13. 請求項12の方法であって、ここで、前記コスト関数は平均絶対誤差を用いて類似性を測定する、方法。
  14. 請求項12又は13の方法であって、ここで、拡散強調イメージの前記トレーニングセットは、ヒト又は動物の検体のイメージである、方法。
JP2022517469A 2019-09-18 2020-09-09 拡散強調核磁気共鳴画像法 Active JP7664909B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1913481.6 2019-09-18
GB201913481A GB201913481D0 (en) 2019-09-18 2019-09-18 Diffusion-weighted magnetic resonance imaging
PCT/EP2020/075233 WO2021052838A1 (en) 2019-09-18 2020-09-09 Diffusion-weighted magnetic resonance imaging

Publications (2)

Publication Number Publication Date
JP2022548924A JP2022548924A (ja) 2022-11-22
JP7664909B2 true JP7664909B2 (ja) 2025-04-18

Family

ID=68315262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517469A Active JP7664909B2 (ja) 2019-09-18 2020-09-09 拡散強調核磁気共鳴画像法

Country Status (6)

Country Link
US (1) US12189010B2 (ja)
EP (2) EP4031892A1 (ja)
JP (1) JP7664909B2 (ja)
KR (1) KR20220065765A (ja)
GB (3) GB201913481D0 (ja)
WO (1) WO2021052838A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
CN114359426B (zh) * 2021-12-16 2025-02-11 华东师范大学 一种应用于肿瘤评估的磁共振弥散多成分谱分析模型的构建方法
CN117148244A (zh) * 2022-05-24 2023-12-01 上海联影医疗科技股份有限公司 图像水脂分离方法、装置、设备和计算机可读存储介质
KR102699108B1 (ko) * 2022-11-17 2024-08-26 한국항공우주연구원 전자광학장비의 해상력 측정 장치, 방법 및 컴퓨터 프로그램
CN115861199B (zh) * 2022-11-22 2025-08-05 南京医科大学 一种基于编码器解码器结构的前列腺超高b值DWI图像生成方法
CN116109824A (zh) * 2023-02-10 2023-05-12 清华大学 基于扩散模型的医学影像及像素级标注生成方法及装置
CN116930241B (zh) * 2023-07-06 2025-05-16 浙江大学 一种优化分子交换磁共振测量采样轨迹的方法、分子交换磁共振测量方法及装置
WO2026073567A1 (en) 2024-10-04 2026-04-09 The Institute Of Cancer Research: Royal Cancer Hospital Diffusion-weighted magnetic resonance imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043462A1 (ja) 2005-10-12 2007-04-19 Tokyo Denki University 脳機能解析方法および脳機能解析プログラム
US20180293711A1 (en) 2017-04-06 2018-10-11 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
WO2018200493A1 (en) 2017-04-25 2018-11-01 The Board Of Trustees Of The Leland Stanford Junior University Dose reduction for medical imaging using deep convolutional neural networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184226A1 (en) * 2014-05-30 2015-12-03 The General Hospital Corporation Systems and methods for preserving phase information in diffusion-weighted magnetic resonance imaging
JP6533015B2 (ja) * 2015-12-09 2019-06-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 磁気共鳴拡散画像化のための方法及び装置
CN107633486B (zh) 2017-08-14 2021-04-02 成都大学 基于三维全卷积神经网络的结构磁共振图像去噪方法
US11874359B2 (en) 2019-03-27 2024-01-16 The General Hospital Corporation Fast diffusion tensor MRI using deep learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043462A1 (ja) 2005-10-12 2007-04-19 Tokyo Denki University 脳機能解析方法および脳機能解析プログラム
US20180293711A1 (en) 2017-04-06 2018-10-11 Disney Enterprises, Inc. Kernel-predicting convolutional neural networks for denoising
WO2018200493A1 (en) 2017-04-25 2018-11-01 The Board Of Trustees Of The Leland Stanford Junior University Dose reduction for medical imaging using deep convolutional neural networks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gaurav Garg, et al.,A survey of denoising techniques for multi-parametric prostate MRI,Multimedia Tools and Applications,2018年08月24日,78,12689-12722

Also Published As

Publication number Publication date
GB201913481D0 (en) 2019-10-30
GB2591671A (en) 2021-08-04
GB202014185D0 (en) 2020-10-21
GB2591671B (en) 2022-03-02
US12189010B2 (en) 2025-01-07
EP4031892A1 (en) 2022-07-27
GB2588513B (en) 2021-10-27
JP2022548924A (ja) 2022-11-22
GB202103933D0 (en) 2021-05-05
GB2588513A (en) 2021-04-28
EP4549985A2 (en) 2025-05-07
KR20220065765A (ko) 2022-05-20
US20220291317A1 (en) 2022-09-15
EP4549985A3 (en) 2025-08-20
WO2021052838A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7664909B2 (ja) 拡散強調核磁気共鳴画像法
Chen et al. Deep learning for image enhancement and correction in magnetic resonance imaging—state-of-the-art and challenges
Küstner et al. Retrospective correction of motion‐affected MR images using deep learning frameworks
Bustin et al. Five‐minute whole‐heart coronary MRA with sub‐millimeter isotropic resolution, 100% respiratory scan efficiency, and 3D‐PROST reconstruction
CN113344799A (zh) 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法
US7020314B1 (en) Black blood angiography method and apparatus
Armanious et al. Retrospective correction of rigid and non-rigid mr motion artifacts using gans
Zormpas-Petridis et al. Accelerating whole-body diffusion-weighted MRI with deep learning–based denoising image filters
Xu et al. STRESS: Super-resolution for dynamic fetal MRI using self-supervised learning
Roy et al. MR contrast synthesis for lesion segmentation
US20250306149A1 (en) Deep learning-based enhancement of multispectral magnetic resonance imaging
CN113012246A (zh) 产生合成图像数据和提供经训练的函数的方法及处理系统
Genc et al. DeepSWI: Using Deep Learning to Enhance Susceptibility Contrast on T2*‐Weighted MRI
US20150016701A1 (en) Pulse sequence-based intensity normalization and contrast synthesis for magnetic resonance imaging
Giraldo et al. Perceptual super-resolution in multiple sclerosis MRI
Sui et al. Unsupervised transformer learning for rapid and high-quality mri data acquisition
EP1176555A2 (en) Image processing method and apparatus, recording medium, and imaging apparatus
Moinian et al. An unsupervised deep learning-based image translation method for retrospective motion correction of high resolution kidney MRI
Mathen Analysis of MRI enhancement techniques for contrast improvement and denoising
Yousefi et al. A fully automated segmentation of radius bone based on active contour in wrist MRI data set
Ding Medical image quality assessment
US20250248616A1 (en) Ai powered whole body mri screening
Lyu Deep neural networks for mri applications
Ye et al. Simultaneous super-resolution and distortion correction for single-shot epi dwi using deep learning
Datta et al. A Novel Framework for Enhancement of Diagnostic Information in MRI using Deep Super-Resolution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250408

R150 Certificate of patent or registration of utility model

Ref document number: 7664909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150