JP7527554B2 - 厚い画像スライスから薄い画像スライスを生成するためのシステム及び方法 - Google Patents

Description

連邦政府による資金提供を受けた研究又は開発に関する記載

本発明は、国立衛生研究所（ＮＩＨ）により授与された助成金番号ＮＩＨ Ｒ０１ ＡＲ０６３６４３及びＲ０１ ＥＢ００２５２４の契約下で政府の支援を受けて行われた。政府は本発明において一定の権利を有する。

関連出願の相互参照

本願は、２０１８年３月１２日に出願された米国仮出願第６２／６４１，８３６号に基づく優先権を主張しており、目的に応じて、その全体が参照されることにより本明細書に援用される。

本明細書に記載される例は、概して、３次元画像からの画像スライスを処理することに関する。より具体的には、本明細書に記載される例は、３次元画像からの厚い画像スライスを処理して、３次元画像のための薄いスライスを生成することに関する。薄いスライスは、いくつかの例において、疾患の診断及び／または治療のために分析され、検分され、または他の方法で使用され得る。

磁気共鳴画像法（ＭＲＩ）、コンピュータ断層撮影法（ＣＴ）、陽電子放出断層撮影法（ＰＥＴ）、及び超音波法（ＵＳ）などの３次元（３Ｄ）画像診断法において、ボリュームは、有限の厚さ（例えば、０．５ｍｍ、１ｍｍ、０．５ｃｍ、１ｃｍ）を有する一連のイメージング平面（例えば、スライス）として画像化される。スライスは、ボリュームの３次元画像を生成するように結合され、当該３次元画像の各ボクセルは撮像されたボリュームの一部に対応する。３次元画像の解像度は、各ボクセルによって表されるボリュームの大きさに少なくとも部分的に基づいてもよい。ボクセルによって表されるボリュームが大きいほど、３次元画像の解像度は低くなる。３次元画像の解像度を向上させるための一つの技術は、ボリューム内でより多くのスライスを取得することである。すなわち、スライスの厚さを薄くして、各ボクセルが表すボリュームを小さくする。例えば、０．５ｍｍのスライスの連続として撮像されたボリュームは、１．０ｍｍのスライスの連続として撮像された場合に比べて、より高い解像度の３次元画像を生成することができる。

高解像度の画像は、低解像度の画像よりも多くの情報を観察者に提供し得る。例えば、臨床医は、低解像度の画像と比較して、高解像度の医療画像からより正確な診断を行い得る。しかしながら、いくつかの用途では、ボリュームのより薄いスライスを取得することは実行可能ではないことがあり得る。例えば、いくつかのイメージングシステムは、縮小することができない最小スライス厚さに制限されている場合がある。いくつかの用途では、より薄いスライスを取得することは、追加の撮像時間を必要とする場合がある。これは、例えば、患者がより長時間閉じ込められた空間に留まらなければならない場合、及び／またはスライスの取得中に息を止めなければならない場合など、患者の快適性を低下させる可能性がある。いくつかの画像診断法では、より薄いスライスを取得することは、患者の健康リスクを増大させ得る電離放射線へのさらなる曝露を要する場合がある。

したがって、撮像中に取得されるスライスの厚さを薄くすることなく、３次元画像の解像度を向上させることが求められている。

本明細書に記載される技術の例は、より厚い入力スライスから薄いスライスの３次元画像（例えば、ＭＲＩ、ｆＭＲＩ、ＰＥＴ、ＵＳ、及び／またはＣＴ）を生成するための深層学習システムを使用した超解像技術を提供してもよく。この方法を代替的な交差面補間法と比較してもよい。

本開示のいくつかの実施例に従って、高解像度の薄いスライス厚の画像と低解像度の厚いスライス厚の画像との間の残差ベースの変換を学習するように構成された３次元畳み込みニューラルネットワークを含む深層学習システムが説明される。いくつかの実施例では、ニューラルネットワークは、同じ中心位置における高解像度の薄いスライス厚の画像と低解像度の厚いスライス厚の画像との間の残差ベースの変換を学習するように訓練される。例として３次元筋骨格系ＭＲ画像が提供されるが、この方法は、任意の３次元画像、及び脳、肝臓、心臓血管系などを含む人体または動物体の任意の領域のイメージングに広く適用可能である。

本開示の原理による３次元畳み込みニューラルネットワークなどのニューラルネットワークは、低解像度の厚いスライスから高解像度の薄いスライスＭＲＩを解像し得る。当該ニューラルネットワークは、いくつかの用途において取得しなければならないスライス数を減らしながら、ＭＲＩ、ＣＴ、及び／または他の３次元画像診断法のための従来利用されている方法及び最先端の方法の何れよりも、優れた量的及び質的診断性能を達成し得る。

本開示の一実施例による厚いスライス画像から薄いスライス画像を生成する方法は、ニューラルネットワークにおいて第１の解像度を有する第１の画像を受信すること、ニューラルネットワークにおいて第１の画像に畳み込みを実行すること、ニューラルネットワークを用いて第１の画像に非線形活性化関数を実行すること、畳み込み及び非線形活性化関数を繰り返すこと、ニューラルネットワークを用いて別の畳み込みに基づいて残差を生成すること、ニューラルネットワークを用いて残差と第１の画像とを加算して第２の解像度を有する第２の画像を生成することを含み得る。ここで、第２の解像度は、第１の解像度よりも高い。

本開示の一実施例による厚いスライス画像から薄いスライス画像を生成するためのシステムは、ニューラルネットワークを実装するための命令を含む非一時的なコンピュータ可読媒体において、ニューラルネットワークは、畳み込みブロック及びランプ関数の非線形活性化ブロックを含むレベルを備え、レベルは、ニューラルネットワークによって受信された第１の解像度を有する第１の画像から残差を生成するように構成され、ニューラルネットワークは、第１の画像と残差を加算して、第２の解像度を有する第２の画像を生成するように構成され、第２の解像度は第１の解像度よりも高い、コンピュータ可読媒体と、ニューラルネットワークを実装するための命令を実行するように構成されたプロセッサと、を備え得る。

本開示の一実施例による低解像度画像から高解像度画像を生成するためのシステムは、関心のある特徴の第１の画像を第１の解像度で取得するように構成された画像取得ユニットと、深層学習システムを実行するように構成されたコンピューティングシステムにおいて、深層学習システムは、関心のある特徴の第１の画像を受信するように構成され、第１の画像に少なくとも部分的に基づいて、関心のある特徴の第２の画像を第２の解像度で生成するように構成されており、第２の解像度が第１の解像度よりも高い、コンピューティングシステムと、関心のある特徴の第２の画像を表示するように構成されたディスプレイと、を含み得る。

本明細書に記載される例に従って構成されたシステムのブロック図 本明細書に記載される例に従って構成されたニューラルネットワークの説明図 図２に示すニューラルネットワークの一部の説明図 図２及び図３に示すニューラルネットワークの一部の説明図 本明細書に記載される例に従ってニューラルネットワークを実装する例示的なワークフロー 本明細書に記載される例に従って、ダウンサンプリング係数を変化させた例示的なコロナル画像及び対応する２次元構造類似性マップを示す図 本開示の例示的な実施形態と他の解像度向上技術との比較を説明する図 明細書に記載される例による疑似的な正解画像及び結果として生成された画像のセット 本明細書に記載される例による外側半月板の体部における水平断裂の例示的な画像を示す図 本明細書に記載される例による外側膝蓋軟骨のグレード２Ａ軟骨軟化症の微細な症例の例示的な画像を示す図 本明細書に記載される実施例に従って構成されたシステムの説明図

特定の詳細は、記載される実施形態の十分な理解を提供するために以下に説明される。しかしながら、実施形態は、これらの特定の詳細なしに実施され得ることは、当業者には明らかであろう。 いくつかの実施形態では、記載される実施形態を不必要に不明瞭にすることを避けるために、周知の脳イメージング技術及びシステム、回路、制御信号、タイミングプロトコル、及び／またはソフトウェアの動作は詳細に示されていない。

磁気共鳴画像法（ＭＲＩ）、機能的磁気共鳴画像法（ｆＭＲＩ）、陽電子放出断層撮影法（ＰＥＴ）、コンピュータ断層撮影法（ＣＴ）などのモダリティでは、ハードウェアの制約があるため、適切なＳ／Ｎ比で高解像度の３次元医用画像を迅速に取得することは困難である。

ＭＲＩでは、臨床的な筋骨格系イメージングプロトコルは、典型的には、多くの場合同じコントラストで、様々なスキャン面においてスキャンされた２次元高速スピンエコー（ＦＳＥ）シーケンスを含む。このようなシーケンスは、優れた面内解像度（in-plane resolution）を提供するが、厚い断面厚さ（通例２．５～４ｍｍ）とスライス隙間を有するスライスのパーシャルボリューム効果のために、微細な病変を見逃す危険性が常にある。また、厚いスライスでの画像取得では、任意のスキャン平面に画像を再構成することができないため、例えば前十字靭帯や大腿骨軟骨の関節軟骨のような斜め方向の組織を調べることが困難である。

近年、薄切筋骨格系ＭＲＩのためにいくつかの方法が提案されており、３次元高速スピンエコー（ベンダー製品ＳＰＡＣＥ、ＣＵＢＥ、ＶＩＳＴＡを使用）が一般的な選択肢である。しかし、３次元ＦＳＥシーケンスは、典型的に、交差面解像度（thorough-plane resolution）のために面内解像度を妥協し、可変フリップ角法の使用にもかかわらず、かなりのエコートレインのボケ（blurring）が問題となる。その結果、薄切画像を取得するにもかかわらず、３次元ＦＳＥの全体的な診断品質は依然として限られている。３次元放射状シーケンス（3D radial sequence）は、等方性筋骨格系イメージングに使用されてきたが、おそらく異なるアーチファクトの出現のために、広く採用されるには至っていない。シーケンスベースのアプローチの他に、圧縮センシング（ＣＳ）やパラレルイメージングも薄切ＭＲＩを高速化するための有望な方法であるが、どちらも単独では理想的な方法ではない。ＣＳ ＭＲＩは、長い再構成時間に加えて、インコヒーレントサンプリングを生成するために１次元しか使用できないため、２次元ＦＳＥ臨床プロトコルでは一般的ではない。パラレルイメージングの高速化は、結局のところＳＮＲとｇ因子によって制限される。さらに、一般的な膝部コイル（固定（rigid）８チャンネルなど）の形状は、全方向の高速化には不向きである。

画像処理の活発な分野である単眼超解像は、薄切ＭＲＩを生成するために、ＳＮＲを損なうことなく、または追加のＭＲＩハードウェアまたはスキャン時間を必要とすることなく、ＭＲＩ空間分解能を高められる可能性がある。例えば、補間は、超解像の１つのナイーブな実装である。薄切イメージングのための実用的な取得の課題を考慮して、ＭＲＩベンダーは、それぞれＧＥヘルスケア及びシーメンスヘルシネスＭＲＩスキャナ用の「ＺＩＰ２」及び「インターポレート」のようなオプションを通じて、ゼロパディングフーリエ補間（ＦＩ）を使用したスライスの従来的な（retrospective）補間を提供している。同様に、ＯｓｉｒｉＸのような医用画像表示プラットフォームでは、画像操作やデータの多断面再構成の際に、トライリニア補間を使用する。ＦＩやトライリニア補間のような低次の線形補間法は、薄切イメージングを実現しようとする臨床及び研究手順で広く使用されるが、何れも診断品質の高い画像を生成することはできない。

補間の他に、ＭＲＩ超解像イメージングの別の主要な方法は、入力として単一の画像のみを必要として、画像のスパース性を利用することを伴う。現在の最先端のＭＲＩ単眼超解像アルゴリズムはスパースコーディング超解像（ＳｃＳＲ）に基づいており、当初は自然画像用に開発されたが、後に少数のＭＲＩ用途に適用されるようになった。この超解像法は、有望ではあるが、解像度の向上に限界があり、３次元データに対する実行速度が遅いため、医用画像処理においては普及していない。

本開示の原理によれば、深層学習システムは、２次元の自然画像で使用される超解像技術を３次元医用画像に適用するように構成され得る。いくつかの例では、深層学習システムは、人工知能システム、機械学習システム、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）、及び／または他の計算技術を使用して実装されてもよい。いくつかの例では、ソフトウェアベースの後処理ニューラルネットワークは、先に説明した３次元医用イメージングの限界を少なくとも部分的に克服し得る。いくつかの例では、ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。ニューラルネットワークは、いくつかの例では深層学習技術を利用してもよい。画像はニューラルネットワークの訓練及びデプロイに使用されるので、ニューラルネットワークは画像取得ハードウェアプラットフォームから独立している。

筋骨格ＭＲＩを記載する例を用いて、深層学習システムのアーキテクチャと、当該システムがどのように訓練され、実行されるかとを説明する。しかしながら、深層学習システムは、ＭＲＩ、ｆＭＲＩ、ＰＥＴ、及びＣＴを含む様々な３次元医用画像に広く適用することができる。適用領域は、筋骨格系の画像に限定されず、脳、肝臓、心臓血管系など任意の領域にわたる画像を含む。

記載される例は、全体のスキャン時間を短縮するように、薄いスライス画像を生成し、高い面内解像度を維持するために、ＭＲＩ超解像で深層学習を使用するためのシステムを含む。本明細書で使用されるように、「厚い」及び「薄い」は相対的な用語として使用される。すなわち、「厚い」と称されるスライスは、少なくとも１つの次元（例えば、高さ方向、方位角方向、横方向（elevational, azimuthal, lateral））において、対応する次元における「薄い」画像の寸法よりも大きい寸法を有する。スライスにより生成された画像の解像度は、画像中のボクセルによって表されるボリュームの大きさに基づき得る。ボクセルによって表されるボリュームの大きさが大きいほど、画像の解像度は低くなる。厚いスライスから生成された画像は、薄いスライスから生成された画像よりも、各ボクセルに関連付けられたより大きなボリュームを有し得る。提案される深層学習システム及び方法は、低解像度の入力から高解像度の特徴を解像することに役立つため、「DeepResolve」と称され得る。DeepResolveは、深層学習（例えば、機械学習）のための畳み込みニューラルネットワークを含み得る。具体的には、本明細書に記載される例は、同じ位置にあるが２～８倍のスライス厚さを有するスライスから高解像度の膝ＭＲ画像の薄いスライスを生成するために、一般に利用可能なデータセットを使用してニューラルネットワークを訓練する。深層学習システムは、必ずしも正解と同一の画像を生成するとは限らない。寧ろ、いくつかの用途では、深層学習システムは、一般的に使用される方法及び最先端の方法に比べて、低解像度画像を向上させて、正解（例えば、高解像度画像）とより類似した画像を生成することができる。このことは、いくつかの用途において、厚いスライスから取得された画像の診断価値を高める可能性がある。

図１は、本明細書に記載される例に従って構成されたシステムの概略図である。システム１００は、画像スライス（例えば、厚いスライス）１０２、訓練データセット１０４、コンピューティングシステム１０６、プロセッサ１０８、入力画像スライス１１０から薄いスライスを生成するための実行可能命令（本明細書では単に実行可能命令ともいう。）、メモリ１１２、ディスプレイ１１４、及びネットワークインタフェース１１６を含む。他の例では、追加の、より少ない、及び／または他の構成要素が使用されてもよい。いくつかの例では、システム１００の構成要素の一部または全部が、イメージングシステムに含まれていてもよい。例えば、コンピューティングシステム１０６は、イメージングシステムに含まれてもよい。例えば、イメージングシステムは、ＭＲＩ、ＣＴ、及び／または超音波イメージングシステムである。

画像スライス１０２及び／または訓練データセット１０４は、イメージングシステムによって提供されてもよい。いくつかの例では、画像スライス１０２及び／または訓練データセット１０４は、複数のイメージングシステムによって提供されてもよい。イメージングシステムは、同じモダリティであってもよいし、異なるモダリティであってもよい。画像スライス１０２及び／または訓練データセット１０４は、コンピューティングシステム１０６にアクセス可能なメモリに格納されてもよく、及び／または（例えば、有線通信または無線通信を使用して）コンピューティングシステム１０６に送信されてもよい。コンピューティングシステム１０６は、訓練データセット１０４に基づいて深層学習システムを生成するように構成され得る。深層学習システムは、画像スライス１０２から薄いスライス画像を生成するための１つ以上の関数を含み得る。関数は、訓練データセット１０４に基づいて生成及び／または最適化され得る。

訓練データセット１０４は、厚いスライス画像と対応する薄いスライス画像との間の差（例えば、残差）を求めるために深層学習システムを訓練してもよい。訓練後、深層学習システムは、関数を画像スライス１０２に適用することにより、入力画像スライス１０２から薄いスライス画像を生成し得る。関数は、薄いスライス（例えば、高解像度）画像を生成するために、画像スライス１０２を補完してもよい。いくつかの例では、深層学習システムは、入力画像スライス１０２と所望の高解像度画像（例えば、薄いスライス画像）との間の差分を計算し、その差分を入力画像スライス１０２に加算して高解像度画像を生成し得る。いくつかの例では、深層学習システムは、１つまたは複数のニューラルネットワークを含み得る。ニューラルネットワークの１つまたは複数は、いくつかの例では、畳み込みニューラルネットワークであり得る。ニューラルネットワークの１つまたは複数は、複数の層を含んでもよく、各層は、画像スライス１０２から薄いスライス画像を生成するための１つまたは複数の関数または関数の一部を含む。

コンピューティングシステム１０６は、訓練データセット１０４から生成された深層学習システムを用いて、画像スライス１０２から薄いスライス（例えば、より高い解像度）の画像を生成するように構成され得る。いくつかの例では、メモリ１１２には、厚いスライス１０２の入力に基づいて薄いスライスの画像を生成するように構成された深層学習システムのための実行可能な命令１１０がエンコードされてもよい。いくつかの例では、深層学習システムは、部分的にまたは全体的にハードウェア（例えば、ＡＳＩＣ、ＦＰＧＡ）に実装されてもよい。いくつかの例では、実行可能命令１１０は、深層学習システムの一部または全部を実装するためのハードウェアを設計するために使用され得るハードウェア記述言語（例えば、ＶＨＤＬ）の命令を含んでもよい。

本明細書に記載される例は、コンピューティングシステムを利用し得る。当該コンピューティングシステムは、一般に、薄いスライス画像を生成するための深層学習システムを実装するためのハードウェア及び／またはソフトウェアを含んでもよい。例えば、コンピューティングシステム１０６は、１つまたは複数のプロセッサ１０８を含み得る。プロセッサ１０８は、例えば、１つまたは複数の中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のプロセッサ回路を使用して実装されてもよい。いくつかの例では、プロセッサ１０８は、実行可能命令１１０の一部または全部を実行し得る。プロセッサ１０８は、メモリ１１２と通信し得る。メモリ１１２は、一般に、任意のコンピュータ可読媒体（例えば、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュ、ソリッドステートドライブなど）によって実装されてもよい。単一のメモリ１１２が示されているが、任意の数が使用可能であり、それらは単一のコンピューティングシステム１０６内のプロセッサ１０８と統合されてもよく、及び／または別のコンピューティングシステム内に配置されてプロセッサ１０８と通信してもよい。

いくつかの例では、システム１００は、ディスプレイ１１４を含み得る。ディスプレイ１１４は（例えば、有線及び／または無線接続を使用して）コンピューティングシステム１０６と通信し得る。或いは、ディスプレイ１１４は、コンピューティングシステム１０６と一体化されてもよい。ディスプレイ１１４は、コンピューティングシステム１０６によって生成された１つまたは複数の画像スライス１０２及び／または１つまたは複数の薄いスライスを表示し得る。任意の数または種類のディスプレイがあってもよく、１つまたは複数のＬＥＤ、ＬＣＤ、プラズマ、または他のディスプレイ装置を含む。

いくつかの例では、システム１００は、ネットワークインタフェース１１６を含み得る。ネットワークインタフェース１１６は、任意のネットワーク（例えば、ＬＡＮ、ＷＡＮ、インターネット）への通信インタフェースを提供してもよい。ネットワークインタフェース１１６は、有線及び／または無線インタフェース（例えば、Ｗｉ-Ｆｉ（登録商標）、ＢｌｕｅＴｏｏｔｈ、ＨＤＭＩ（登録商標）、ＵＳＢなど）を用いて実装されてもよい。ネットワークインタフェース１１６は、コンピューティングシステム１０６によって実装された深層学習システムによって生成された画像スライス１０２及び／または薄いスライス画像を含み得るデータを通信してもよい。

図２～４を参照して、例示的な深層学習システムについて説明する。訓練の間に、同一の視野及び行列サイズを有する、ｉ個の正解の高解像度の薄いスライス画像

と、薄いスライスの位置に補間された対応する低解像度の厚いスライス画像

とのセットが、学習セットとして提供され得る。深層学習システムは、１つ以上の関数を含み得る。例示的な実施形態では、深層学習システムは、正解画像と補間された低解像度画像との間の残差画像ｒ^ｉ

を計算する関数ｆ＝ｆ（Ｘ_ｉ）を含む。この関数は、以下の式（１）を（Ｌ２損失を用いて）最適化することで学習され得る。

本明細書に記載される実施例では、深層学習システムを最適化するためにＬ２損失関数が使用される。他の実施例では、Ｌ１ノルム、ｐＳＮＲ、ＳＳＩＭ、及び／または画像の差を測定する他の任意の指標などの追加の損失関数が使用されてもよい。他の例では、他の最適化関数が使用されてもよい。

深層学習システムは、いくつかの例では教師なし学習アルゴリズムであってもよい。式（１）の関数のような、訓練によって生成及び／または最適化される関数は、いくつかの例では複数の層を有し得る１つまたは複数のニューラルネットワークにおいて実行されてもよい。関数は、いくつかの例では、ニューラルネットワークの複数の層にわたって実装されてもよい。ニューラルネットワークの各層は、１つまたは複数のブロックを含んでもよい。各ブロックは、関数の少なくとも一部を実行し得る。いくつかの例では、ニューラルネットワークの各層は、同じブロックを含む（例えば、ブロックは各層で繰り返される）が、他の例では、ニューラルネットワークの層は、異なるブロックを含んでもよい。

例示的な実施形態では、深層学習システムは、畳み込みフィルタのカスケード（cascade）としてモデル化され得る。図２に示されるように、深層学習システム２００の各レベル（例えば、層）２０２は、畳み込みブロック２０４及びランプ関数の非線形活性化関数ブロック（ＲｅＬｕ）２０６を含み得る。これらの詳細については後述する。深層学習システム２００は、対応する高解像度（ＨＲ）画像２１２（例えば、薄いスライス画像）を生成するために、入力の低解像度（ＬＲ）画像２１０（例えば、厚いスライス画像）から残差（例えば、残差画像）２０８を計算し得る。２次元畳み込みが使用されてもよいが、深層学習システムは、超解像性能を向上させるように追加の空間情報を提供することが可能な３次元畳み込みを利用し得る。

深層学習システムが訓練された後、推定残差

を直接計算し、高解像度の超解像画像

(例えば、生成された薄いスライス画像)を、以下の式（２）を通して生成することができる。

深層学習システムの実施例は、対になった畳み込み２０４及びランプ関数（ＲｅＬＵ）非線形活性化関数ブロック２０６（例えば、活性化関数）を備える１９の層と、畳み込みブロック２０７を含む追加の層とを有するニューラルネットワークを含む。しかしながら、他の例では、他の層数が用いられてもよい。入力ＬＲ画像２１０は、第１の層を通過し、畳み込みブロック２０４及びＲｅＬｕブロック２０６によって処理され得る。その後、処理された入力画像は、次の層の畳み込みブロック２０４及びＲｅＬｕブロック２０６への入力として渡され得る。この処理は、入力ＬＲ画像２１０がニューラルネットワークの全層で処理され、残差２０８が出力されるまで繰り返される。

図３に示すように、深層学習システムの実施例のニューラルネットワークにおいて、最初の層及び最後の層のフィルタサイズは、３２×３２×３２×１のサイズ（dimension）を有し、他の全ての層は３２×３２×３２×６４のサイズを有する。ここで、最初の３つの数字はｘ、ｙ、ｚの空間的次元を表し、最後の数字はフィルタの数（フィルタチャネルの数とも称される。）を表す。最終層は、生成された残差が正の値及び負の値を含むことを保証するように、活性化関数を含まなくてもよい。しかしながら、他の例では、最終層に活性化関数が含まれてもよい。続けてこの例において、図４に示されるように、ニューラルネットワークの訓練中に、３次元データセットの各入力ＬＲ画像２１０は、等方性の３２×３２×３２ピクセルパッチ４０２に分割され、全ての訓練データセット画像からの全てのパッチが訓練プロセス中に使用される。利用段階では（例えば、訓練されたニューラルネットワークが薄いスライス画像を生成するために使用されるとき）、入力画像は必ずしもパッチに分割されなくてもよい。

いくつかの例では、深層学習システムの１つまたは複数の層は、１つまたは複数の特徴を識別するように訓練され得る。いくつかの例では、異なる層は、異なる特徴を識別し得る。特徴の認識は、各層のために生成される関数の最適化の一部として利用されてもよい。特徴は、いくつかの例では、特徴マップの形態であってもよい。前述したように、例示的な深層学習システムは、非線形活性化関数と対になった畳み込みフィルタのカスケードを使用して実装される。畳み込みブロック２０４において、入力画像（３２×３２×３２ピクセルパッチ）は、３×３×３のサイズ、１×１×１のストライドを有する複数（例えば６４）の３次元フィルタで畳み込まれてもよい。従って、最初のニューラルネットワーク層では、入力パッチは、３２×３２×３２×６４のサイズを有する特徴マップに変換された。それ以降の層は、サイズ３２×３２×３２の残差画像を生成するために次元削減（feature reduction）が実行された最終層を除き、同一のサイズが維持された。畳み込みは、ゼロパディングされた入力に対して実行され、出力は、入力及び出力サイズを同一に維持するように、元の入力のサイズに切り取られた。他の例では、他のフィルタの配置が用いられてもよい。例えば、異なるサイズの特徴マップ及び異なるサイズの入力パッチが使用されてもよい。他の次元削減、及び／またはパディング方法は、入力画像のサイズ及び出力画像の所望のサイズに少なくとも部分的に基づいて実行されてもよい。

引き続き例示的な実施形態では、ＲｅＬＵブロック２０６において、特徴マップ出力が入力の非線形表現であることを保証するために、Ｒ（ｘ）＝ｍａｘ（０，ｘ）の形式の非線形活性化関数が使用される。入力された低解像度パッチは、サイズ３２×３２×３２の残差画像を生成した最終層２０７を除いて、畳み込み及びＲｅＬＵペア２０２のカスケードを介して変換される。この例の最終（２０番目）畳み込み層は、残差画像が正の値及び負の値を含むことができることを保証するために、ＲｅＬＵ活性化を含まなかった。しかしながら、他の例では、最終層はＲｅＬＵ活性化ブロック２０６を含んでもよい。残差画像２０８は、近似高解像度画像を生成するために入力画像に加えられる。いくつかの例では、平均二乗誤差Ｌ２損失は、訓練を評価するために、元の高解像度画像と比較され得る。平均二乗誤差Ｌ２損失が許容できないほど高い場合、深層学習システムは、さらなる訓練を必要としてもよく、及び／または深層学習システムに、さらなる訓練に加えて、追加の層またはより少ない層を追加してもよい。

例示的な実施形態では、３×３×３の小さな畳み込みフィルタサイズが深層学習システムで使用される。これにより、高周波画像と畳み込みの細部（convolutional details）とを平均化することを回避し得る。より大きなサポートを有するフィルタは、ネットワークの訓練プロセス中に必須でない冗長性を導入して、いくつかのより小さなフィルタに効果的に分解することができる。その結果、小さな畳み込みカーネルは、高解像度特徴抽出を効率的に改善し、及び／または最大限に高め得る。いくつかの実施例では、プーリング層が利用されてもよいが、プーリング層は、高解像度の細部を平均化し得る。しかしながら、これは、メモリ最適化のためのいくつかの用途では望ましいかもしれない。いくつかの例では、パッチ入力サイズと畳み込み出力サイズを同等に維持するために、特徴マップの１つまたは複数は、畳み込みに先立ってゼロパディングされ、畳み込みに続いて元の入力サイズに切り取られてもよい。これにより、パッチのエッジにおける細部の忠実度を維持することが保証され得る。さらに、いくつかの例では、パッチは重なり合ってもよい。例えば、パッチサイズの５０％のパッチ重複が、深層学習システムの訓練段階で使用されてもよい。しかし、いくつかの例では、パッチのエッジで生じるネットワーク効果を緩和するために、テストデータを重複させずに大きなパッチに分割してもよい。

深層学習システムの例示的な実施形態は、深さ２０を有する。深さは、少なくとも部分的には、使用される畳み込みフィルタ及び画像パッチのサイズに基づいて選択され得る。例えば、第１の３×３×３の畳み込みの後、第２の層の各重みの受容野は３×３×３である。第２の３×３×３の畳み込みの後、次の重みのための総受容野は５×５×５であり、これは、Ｄを現在のネットワークの深さとして、（２Ｄ＋１）^３に一般化することができる。したがって、３２×３２×３２のパッチサイズの場合、１６層目の重みのための受容野は、画像パッチ全体で発生する特徴に対応する。追加のより深い層は、さらに高レベルの抽象化を提供し得る。超解像は本質的に不良設定問題であるため、追加の層を追加することにより様々な長さ尺度で空間的な手がかりを提供することは、深層学習システム及びハイパーパラメータ空間の高次元性を考慮すると、慎重な最適化を要するが、有用であり得る。深層学習システムの深さを増すことで、超解像の品質が向上する可能性がある。さらに、深層学習モデルはべき乗則の損失関係に従う場合があり、これは理想的な学習データサイズを決定するのに役立ち得る。

図１に戻り、図２～４を参照して説明した訓練は、訓練データセット１０４に基づいて、コンピューティングシステム１０６のプロセッサ１０８によって実行され得る。プロセッサ１０８は、図２～４を参照して説明した深層学習システムを実装するための実行可能命令１１０を生成してもよく、実行可能命令１１０をコンピューティングシステム１０６のメモリ１１２に格納し得る。その後、プロセッサ１０８は、記憶された実行可能命令１１０を実行して、深層学習システムを実行し得る。実行可能命令１１０が格納されると、実行可能命令１１０は、別のコンピューティングシステムに転送されてもよい。すなわち、一度深層学習システムが訓練されると、再訓練することなく、他のコンピューティングシステムに提供することができる。いくつかの例では、実行可能命令１１０は、深層学習システムの一部または全部を実装するためのハードウェア（例えば、ＡＳＩＣ）を生成するために使用されてもよく、深層学習システムを実行するために１つまたは複数のコンピューティングシステムに提供されてもよい。

本明細書に記載される深層学習システムの例示的な実施形態ための訓練、検証、及びテストデータは、Osteoarthritis Initiative（ＯＡＩ）から取得された。ＯＡＩからの合計１７６個の３次元サジタル二重エコー定常状態（ＤＥＳＳ）データセットが訓練に利用された。全ての画像は、Kellgren-Lawrence（ＫＬ）変形性関節症のグレードを解析するために、二重膝の体重負荷Ｘ線写真を使用した。

訓練のために、薄いスライス画像の訓練セットから厚いスライス画像がシミュレートされた。正解の高解像度のスライス厚とダウンサンプリングされた低解像度のスライス厚の比は、ダウンサンプリング係数（ＤＳＦ）と称される。高解像度スライス画像の厚いスライス表現は、薄いスライス画像のアンチエイリアスフィルタリングと、その後の左右方向におけるダウンサンプリングによって生成された。１次元有限インパルス応答、ローパス、１／ＤＳＦの正規化された通過帯域を有する４８次ハミング窓フィルタが、従来的なダウンサンプリングのために生成された。これにより、周囲のスライスからの磁化寄与を有するより厚いスライスが疑似的に取得された。例示的な実施形態の訓練データセットは、正解の高解像度画像とシミュレートされた低解像度画像とを含む。低解像度画像は、いくつかの実施例において、正解のスライス位置において、スライス方向（左右方向）に１次元トリキュービック補間（ＴＣＩ）を用いてアップスケーリングされてもよい。しかしながら、厚いスライス画像を得るための他の方法が使用されてもよい。例えば、同一ボリュームから取得した薄いスライス画像と厚いスライス画像とを含むデータセットを深層学習システムの訓練に用いてもよい。

他の例では、様々な解像度の他のデータセットが使用されてもよい。特定の特徴を処理するための訓練データセットは、その特徴を有する患者の以前の画像を含んでもよい。例えば、消化器イメージングにおいて、肝臓の、及び／または関心のある病変型を含む肝臓のボリューム画像が、肝臓の向上した解像度の画像を生成するように深層学習システムを訓練するために使用されてもよい。

いくつかの例では、訓練データは、深層学習システムを訓練する前に前処理されてもよい。訓練データを前処理することは、いくつかの応用において、訓練プロセスを改善し、より良い訓練された深層学習システムをもたらし得る。前処理は、均一なサイズを確保するためにデータをフォーマットすること、関連する解剖学的形態のみを含むように画像を切り取ること、強度値のスケーリングを均一にすること、及び／またはパッチに細分化することを含んでもよい。

したがって、本明細書に記載される深層学習システムは、高解像度画像（例えば、「正解画像」）と、それらの高解像度画像に基づいてシミュレートされた低解像度画像とを用いて訓練され得る。シミュレートされた低解像度画像は、高解像度画像のダウンサンプリングされたバージョンであってもよい。いくつかの例では、ダウンサンプリングされた後、シミュレートされた低解像度画像が高解像度画像（例えば、「正解画像」）と同じサイズまたは類似のサイズになるように、画像が補間されてもよい。このように、高解像度画像のセットと既知の関連性を有するシミュレートされた低解像度画像のセットが提供される。本明細書に記載される深層学習システムは、シミュレートされた低解像度画像のセット上で訓練され得る（例えば、深層学習システムの動作のための係数及び他のパラメータが選択され得る）。係数及び他のパラメータのセットは、一般に、シミュレートされた低解像度画像から「正解画像」の正確な出力を提供するように選択され得る。

図５は、本開示の実施例による例示的なワークフロー５００を示す。例示的な実施形態では、高解像度の正解（ａ）が、様々なダウンサンプリング係数（ＤＳＦ）において、より厚い断面厚さを有するスライス（ｂ）を疑似的に取得するために使用された。これらのスライスは、その後、正解のスライス位置にトリキュービック補間され（c）、深層学習システムの訓練は、高解像度の薄いスライス（e）を生成するために低解像度の厚いスライスに加算され得る残差関数（d）を同定した。推論の際には、学習した残差モデルを用いて、テスト入力に対して残差画像が作成される。その結果、低解像度の入力に残差を加えることで、超解像画像を出力することができる。言い換えれば、深層学習システムは、入力として厚いスライス画像を受け取り、出力として疑似的な薄いスライス画像を生成し得る。深層学習システムは、いくつかの用途において、診断目的のために十分な解像度を維持しながら、取得すべき画像スライスをより少なくすることを可能にし得る。このことは、いくつかの用途において、患者のイメージング時間を短縮することを可能にし、これにより、患者の快適性が改善され、及び／または電離放射線への曝露が低減され得る。

図６は、本開示の実施例に従って、ダウンサンプリング係数（ＤＳＦ）（ペインａ～ｆ）を変化させた例示的なコロナル（coronal）深層学習画像（ペインａ～ｆ）及び対応する２次元構造類似性（ＳＳＩＭ）マップ（ペインｇ～ｌ）を示す。深層学習画像及びＳＳＩＭマップは、正解スライス（例えば、実際に取得された薄いスライス画像）と比較され得る。より高いＤＳＦを有する画像は、過度に平滑化され得るが、ボケの方向性もより明確である。大腿骨骨髄では、脂肪抑制が不完全なピクセルは、上下方向よりも左右方向にぼやけて見える（点線矢印）。内側側副靭帯は左右方向に非常に薄いので、コロナル再構成における画像の忠実度を説明するための組織である可能性がある（実線矢印）。ＳＳＩＭマップは、６倍及び８倍のＤＳＦでは、ＭＣＬが高い診断品質で再現されないことを示す。ＤＳＦを変化させたコロナル画像及びそのＳＳＩＭマップは、ＤＳＦが大きくなるにつれて内側側副靭帯（ＭＣＬ）と前十字靭帯（ＡＣＬ）の細部がぼやけていることを示す（ＳＳＩＭマップ上の矢印）。また、不完全な脂肪抑制による残余の大腿骨骨髄の信号が過度に平滑化されたように見受けられ、これにより局所的なＳＳＩＭが減少していた。この例では、サジタル画像はＤＳＦの増加に伴うボケの影響が最も少なかったが、アキシャル及びコロナル再構成はＤＳＦの増加に伴ってより大きなボケを示した。

図７は、ＤＳＦが３倍の場合における深層学習システムの例示的な実施例と、ＴＣＩ法、ＦＩ法、及びＳｃＳＲ法を含む他の超解像法との比較、及び正解画像を示す。コロナル正解画像の例（ペインａ）と、同じスライス位置においてダウンサンプリング係数（ＤＳＦ）が３倍の場合に、それぞれ（ペインｂ）DeepResolve、（ペインｃ）フーリエ補間（ＦＩ）、(ペインｄ）トリキュービック補間（ＴＣＩ）、及び（ペインｅ）スパースコーディング超解像（ＳｃＳＲ）により解像度を向上させた画像とが示されている。深層学習システムで生成された残差マップ（ペインｆ）と、比較手法と正解画像との間の微妙な違いを強調するために５倍に拡大した差分画像（例えば、差分マップ）とが示されている（ペインｇ～ｊ）。また、解像度を向上させた画像に対応して、正解画像と比較した２次元構造類似性（ＳＳＩＭ）マップも示されている（ペインｋ～ｎ）。本開示の深層学習システムは、コロナル再構成において微細な特徴を維持し、定性的な視覚的品質及び定量的な構造的類似性尺度の観点で、元の正解画像に最も匹敵した。ＭＣＬ（実線矢印）、外側（lateral）脛骨プラトー上の小さな骨棘（破線矢印）、及び鋭い特徴を有する炎症（点線矢印）のような高解像度の特徴は、深層学習システム画像上で容易に可視化されたが、他の方法（ａ～ｅ）では、可視化が遥かに困難であった。このことは、差分マップ（ｇ～ｊ）及びピクセルごとの構造的類似性マップ（ｋ～ｎ）によってさらに示され、本開示の深層学習システムとは異なり、ＴＣＩ、ＦＩ、及びＳｃＳＲは全て、内側側副靭帯の周囲で低い類似性を有していた。

本明細書に記載される深層学習システムは、厚いスライスから微細な病変を診断する能力を提供し得る。例えば、信号強度が異なる３組の人工的な半月板損傷及び軟骨病変をシミュレートし、空間的にも信号強度的にも微細な病変が手動で作成された。

図８は、本開示の実施例による疑似的な正解画像及び結果として生成された画像を示す。正解画像（ペインａ）は、信号強度が異なる人工的な半月板損傷（実線矢印）及び軟骨病変（点線矢印）を含むように変更された（ペインｂ～ｄ）。シミュレートされた半月板断裂は、水平方向及び垂直方向に僅か２ピクセルの厚さであった。正解のシミュレーションを入力とした場合、３倍のＤＳＦにおいて、深層学習システム（ペインｅ～ｈ）が病変を適度に再現し、ＴＣＩ画像（ペインｉ～ｌ）よりもボケが少ないことが示された。本開示の深層学習システムは、正解に関して、一貫してＴＣＩよりも優れた類似性尺度（より高いＳＳＩＭ及びｐＳＮＲ、より低いＭＳＥ）を有していた。

図９の例示的な画像は、高強度のＤＥＳＳ信号で識別され得る外側半月板の体部（body）の水平断裂の例を示している。断裂（矢印）は、サジタル正解画像、DeepResolve画像、及びＴＣＩ画像（ペインａ～ｃ）においても比較的同様に見ることができる。しかし、大腿軟骨後節（posterior femoral cartilage）には、軟骨の厚さを過剰評価したようなボケがある。コロナル再構成もまた、同じ半月板断裂を示している（ペインｄ～ｆ）。コロナル画像の拡大断面（黄色の括弧）は、深層学習システムの画像が正解画像（ペインｇ～ｊ）よりも平滑化されて（smoothed）ノイズが少ないことを示す。ＴＣＩ画像を正解画像及び深層学習システム画像の両方と比較すると、ＴＣＩ画像にはかなり多くのボケが見られる。ＴＣＩ画像における炎症の境界（緑の矢印）は正解画像と同じ輪郭を持たず、中央の軟骨は滑らかな境界ではなく階段状のギザギザの外観（点線の矢印）を有する。

図１０の例示的な画像は、外側膝蓋軟骨のグレード２Ａの軟骨軟化症の微細な症例を、高強度ＤＥＳＳ信号で同定した例を示す。軟骨（矢印で図示）は、３つのサジタル画像全てにおいて類似しているように見える。しかし、アキシャル再構成は、ＴＣＩ画像（ペインａ～ｃ）と比較して、深層学習システム画像の忠実度がわずかに高いことを示している。外側大腿顆周辺のアキシャル画像の関節滲出液（点線矢印）は、ＴＣＩ画像では、正解画像及び深層システム画像と比較して、非常にギザギザした外観を呈している（ペインｄ～ｆ）。アキシャル再構成の拡大断面は、膝蓋軟骨の輪郭を示し、不均一な信号は、正解画像ほどではないが、ＴＣＩ画像よりも深層学習システム画像において良好に維持されている（ペインｇ～ｉ）。

３組の画像全てについて、側体（lateral body）の半月板断裂の例では、サジタルＴＣＩ画像が深層学習システム画像より多くのボケを示したが、コロナルＴＣＩの再構成は、本開示の深層学習システムよりも大幅にぼやけていた。深層学習システム画像の軟骨、半月板、及び関節炎などの微細な構造物の輪郭は、より正解画像に匹敵するように見受けられた。肉眼的な半月板断裂とは対照的に、グレード２Ａの外側膝蓋軟骨軟化症の非常に微細な所見（修正Ｎｏｙｅｓスケールによる）が、３つのサジタル画像セット全てにおいて同様に出現したが、アキシャル深層学習システムの再構成は、ＴＣＩよりも優れた画質を有していた。軟骨の微細な輪郭と軟骨の信号の不均一性は、正解画像では十分に描写されていたが、深層学習システムとＴＣＩ画像ではぼやけて見えた。しかしながら、本開示の深層学習システムは、ＴＣＩよりも高い画質を維持した。図８～１０に示すように、本開示の深層学習システムは、診断に利用できる可能性を有している。例えば、正常なＭＣＬは、通常、コロナル面において１ミリメートル未満の厚さを有し、深層学習システムは、２．１ｍｍのスライス厚さをシミュレートした取得において、微細なＭＣＬの細部を維持することができた。別の例では、本開示の深層学習システムによって生成された画像において、半月板断裂および微細な軟骨病変が視認される。いくつかの用途では、深層学習システムは、２～３ｍｍのスライス厚さのスライスを取得し、その後、多断面再構成のために、より薄いスライス（例えば、より高い解像度）に変換するために、臨床用に使用され得る。このような方法はまた、同時Ｔ２緩和時間測定、形態計測、及び半定量的放射線評価を可能にするＤＥＳＳの新しい実装にも特に有用であり得る。例えば、より厚いスライスは、定量的なＴ２測定のための高ＳＮＲを生成するために使用することができ、一方、より薄いスライスは、いくつかの用途において、正確な形態測定及び半定量的な全関節の評価のために使用することができる。数百のスライスを取得する両膝の画像化方法もまた、本開示の深層学習システムから利益を得ることができる。

図１１は、本明細書に記載される例に従って構成されたシステム１１００の説明図である。システム１１００は、画像取得ユニット１１０２、コンピューティングシステム１１０８、及びワークステーション１１１８を含み得る。いくつかの実施形態では、画像取得ユニット１１０２、コンピューティングシステム１１０８、及びワークステーション１１１８は、単一のユニットとして統合されてもよい。

いくつかの例では、画像取得ユニット１１０２は、磁気共鳴画像法（ＭＲＩ）イメージングシステムであり得る。いくつかの例では、画像取得ユニット１１０２は、コンピュータ断層撮影（ＣＴ）イメージングシステムであってもよい。いくつかの例では、画像取得ユニット１１０２は、超音波（ＵＳ）イメージングシステムであってもよい。いくつかの例では、画像取得ユニット１１０２は、有限の厚さの画像スライスを取得することができる別のイメージングモダリティであってもよい。画像取得ユニット１１０２は、被験者１１０４から１つまたは複数の画像スライス１１０６を取得し得る。被験者１１０４は、ヒトまたは動物の被験者であってもよい。画像スライス１１０６は、いくつかの例では、関心のある１つまたは複数の特徴を含んでもよい。関心のある特徴は、いくつかの例では解剖学的特徴であってもよい。図１１に示す例では、画像スライス１１０６は、膝関節を含む。画像スライス１１０６は、いくつかの例では、コンピューティングシステム１１０８に提供され得る。

いくつかの例では、コンピューティングシステム１１０８は、図１に示すコンピューティングシステム１０６によって実現され得る。コンピューティングシステム１１０８は、実行可能な命令を記憶することができる１つまたは複数のメモリ（図示せず）と、実行可能な命令を実行することができる１つまたは複数のプロセッサ（図示せず）とを含み得る。１つまたは複数のメモリは、画像取得ユニット１１０２によって提供された１つまたは複数の画像スライス１１０６を記憶するように構成され得る。コンピューティングシステム１１０８は、深層学習システム１１１０を実現するように構成され得る。深層学習システム１１１０は、画像スライス１１０６から高解像度（例えば、薄いスライス）画像１１１４を生成するように構成され得る。いくつかの例では、深層学習システム１１１０は、図２～４に示す深層学習システム２００によって実現され得る。高解像度画像１１１４は、ワークステーション１１１８に提供され得る。いくつかの例では、コンピューティングシステム１１０８は、ワークステーション１１１８に含まれてもよい。いくつかの例では、コンピューティングシステム１１０８は、ワークステーション１１１８から遠隔にあってもよく、ネットワークインタフェース（例えば、図１に示すネットワークインタフェース１１６）を介してワークステーション１１１８と通信し得る。

任意に、いくつかの例では、コンピューティングシステム１１０８は、第２の深層学習システム１１１２を実現するように構成され得る。第２の深層学習システム１１１２は、高解像度画像１１１４を受信し、診断情報１１１６を出力するように構成され得る。第２の深層学習システム１１１２は、１つまたは複数の病変（例えば、断裂した半月板）に関連する高解像度画像１１１４の解剖学的特徴を認識し、認識した病変に関連する診断情報１１１６を出力するように訓練され得る。しかし、他の実施例では、深層学習システム１１１２を実現するために、他の深層学習システムを使用してもよい。診断情報１１１６は、ワークステーション１１１８に提供されてもよい。

ワークステーション１１１８は、ディスプレイ１１２０及びユーザインタフェース１１２２を含み得る。ディスプレイ１１２０上で提供され得るデータの例は、ボックス１１２４に示されている。いくつかの例では、ディスプレイ１１２０は、被験者情報１１２６を提供してもよい。被験者情報は、名前、生年月日、識別番号、及び／または他の情報を含み得る。いくつかの例では、ディスプレイ１１２０は、画像スライス１１０６及び／または高解像度画像１１１４を同時に提供してもよい。いくつかの例では、ディスプレイ１１２０は、複数の画像スライス１１０６及び／または高解像度画像１１１４を同時に提供してもよい。いくつかの例では、ディスプレイ１１２０は、オプションのメニュー（例えば、画像の編集、画像の保存、画像からの測定値の取得）、表示された画像に関する情報（例えば、画像取得ユニット１１０２の設定、スライス１１０６、１１１４の解剖学的表示）、及び／または他の情報（例えば、診断情報１１１６、医師のメモ）などの様々な他の情報１１３０を提供してもよい。

ワークステーション１１１８は、ユーザインタフェース１１２２を含み得る。ユーザインタフェース１１２２は、任意のタイプのハード及び／またはソフトユーザ制御を含み得る。ハードユーザ制御の例としては、キーボード、トラックボール、マウス、及びスイッチが挙げられるが、これらに限定されない。ソフトユーザ制御の例としては、ソフトウェアで実装されたグラフィカルボタン、スライダ、及び／またはトグルを有するタッチスクリーンが挙げられるが、これらに限定されない。ユーザインタフェース１１２２は、ユーザ１１３２からのユーザ入力を受信するように構成され得る。例えば、ユーザ入力は、画像スライス１１０６がいつ取得されるか、及び／またはどのような条件（例えば、厚さ）で取得されるかを決定してもよい。別の例では、ユーザ入力は、どのような画像がディスプレイ１１２０に表示されるかを決定してもよい。

いくつかの用途では、本明細書に記載される深層学習システム１１１０のような深層学習システムは、画像取得ユニット１１０２のような画像取得ユニットが高解像度画像１１１４のような診断品質の画像を提供しながら、被験者１１０４のボリュームのスライス１１０６のような、より少ないスライスを取得することを可能にし得る。これにより、画像取得時間を短縮することで、画像取得ユニットの機能を改善することができる。いくつかの用途では、本明細書に記載される深層学習システムは、画像取得ユニットによって取得されるスライスの解像度を改善し得る。例えば、画像取得ユニット１１０２は、ボリュームの多数の薄い画像スライス１１０６を取得してもよい。深層学習システム１１１０は、さらに薄いスライス（例えば、より高い解像度の）画像１１１４をシミュレートすることにより、薄い画像スライス１１０６の解像度を向上させてもよい。

本明細書に記載される深層学習システムのユーザ、例えばユーザ１１３２は、高解像度画像１１１４などの深層学習システムの出力を使用して、被験者１１０４などの診断を行うことができる。例えば、医師は、高解像度画像１１１４において可視化された関心のある特徴（例えば、膝）に基づいて、外側膝蓋軟骨の軟骨軟化症及び／または病期（stage）変形性関節症を診断してもよい。ユーザ１１３２は、高解像度画像１１１４からの診断に基づいて、治療の決定をさらに行ってもよい。治療の選択肢の例としては、手術、理学療法、及び支持装具が挙げられるが、これらに限定されない。いくつかの例では、元の取得された画像スライス１１０６に基づいて、診断及び／または治療決定を行うことができない場合がある。

要約すると、本明細書に記載されるような深層学習システムは、元々はかなり厚いスライスから、高解像度の薄いスライスの特徴を解像し得る。換言すれば、深層学習システムは、各ボクセルが元々取得された画像のボクセルよりも小さいボリュームを表す画像を生成する。例示的な実施形態では筋骨格系ＭＲＩを使用したが、深層学習システムの他の例、及び画像の他のモダリティ（例えば、脳ＭＲＩまたはＣＴ）も使用してもよいことが理解されよう。さらに、深層学習システムは、３次元全ての解像度を向上させるために使用されてもよい。深層学習システムは、１つまたは複数のコンピュータシステム、例えば、１つまたは複数の処理装置（例えば、中央処理装置（ＣＰＵ）及び／または画像処理装置（ＧＰＵ）などのプロセッサ）と、本明細書に記載される深層学習技術及び／または訓練を実行するための実行可能命令をエンコードしたコンピュータ可読媒体（例えば、メモリ、ストレージ）とを有するシステム上で実現されてもよい。

上記から、特定の実施形態が説明の目的で本明細書に記載されているが、特許請求の範囲に記載される技術を維持しながら、様々な修正がなされ得ることが理解されるであろう。

Claims (24)

1. 厚いスライス画像から薄いスライス画像を生成する方法であって、
   ニューラルネットワークにおいて第１の解像度を有する第１の画像を受信すること、
   前記ニューラルネットワークを用いて前記第１の画像に畳み込みを実行すること、
   前記ニューラルネットワークを用いて前記第１の画像に非線形活性化関数を実行すること、
   前記畳み込み及び非線形活性化関数の実行を繰り返すこと、
   前記畳み込みに基づいて残差を生成すること、及び
   前記ニューラルネットワークを用いて前記残差と前記第１の画像とを加算して第２の解像度を有する第２の画像を生成すること、を含み、ここで、前記第２の解像度は、前記第１の解像度よりも高い
   方法。
2. 前記畳み込みの実行及び前記非線形活性化関数の実行は、前記ニューラルネットワークの複数の層において実行及び反復され、ここで、前記第１の画像が前記複数の層の第１の層の入力であり、前記複数の層の前記第１の層の出力が前記複数の層の第２の層の入力であり、前記複数の層の最後の層の出力が前記残差である
   請求項１に記載の方法。
3. 前記ニューラルネットワークを訓練データセット上で訓練することをさらに含み、ここで、前記訓練データセットは、複数の第１の画像及び複数の第２の画像を含む
   請求項１に記載の方法。
4. 前記ニューラルネットワークをテストデータセット上でテストすることをさらに含み、
   ここで、前記テストデータセットは、複数の第１の画像を含む
   請求項１に記載の方法。
5. 前記畳み込みを実行することは、３次元の畳み込みを実行することを含む
   請求項１に記載の方法。
6. 前記ニューラルネットワークを訓練することは、前記第１の画像を複数のピクセルパッチに分割することを含む
   請求項１に記載の方法。
7. 非線形活性化関数は、Ｒ（ｘ）＝ｍａｘ（０，ｘ）の形式を含む
   請求項１の方法。
8. 前記第１の画像をイメージングシステムから取得することをさらに含む
   請求項１に記載の方法。
9. 前記イメージングシステムは、磁気共鳴画像診断装置である
   請求項８に記載の方法。
10. 厚いスライス画像から薄いスライス画像を生成するためのシステムであって、
    ニューラルネットワークを実装するための命令を含む非一時的なコンピュータ可読媒体であって、前記ニューラルネットワークは、畳み込みブロック及びランプ関数の非線形活性化ブロックを含むレベルを備え、前記レベルは、前記ニューラルネットワークにより受信された第１の解像度を有する第１の画像から残差を生成するように構成され、前記ニューラルネットワークは、前記第１の画像と前記残差とを加算して、第２の解像度を有する第２の画像を生成するように構成されており、前記第２の解像度は前記第１の解像度よりも高い、コンピュータ可読媒体と、
    前記ニューラルネットワークを実装するための前記命令を実行するように構成されたプロセッサと
    を備えるシステム。
11. 前記第２の画像を表示するように構成されたディスプレイをさらに備える
    請求項１０に記載のシステム。
12. 前記畳み込みブロックは、前記第１の画像に、ランプ関数を用いた３次元の畳み込み及び閾値を適用する
    請求項１０に記載のシステム。
13. 前記ニューラルネットワークが複数のレベルを含み、前記複数のレベルのうちの第１のレベルの出力が、前記複数のレベルのうちの第２のレベルへの入力として提供される
    請求項１０に記載のシステム。
14. 前記複数のレベルのうちの最後のレベルは、前記ランプ関数の非線形活性化ブロックを含まない
    請求項１３に記載のシステム。
15. 前記複数のレベルのうちの最後のレベルは、前記複数のレベルのうちの他のレベルよりも小さいサイズを有する
    請求項１３に記載のシステム。
16. 前記ニューラルネットワークは、前記第１の画像を複数のピクセルパッチに分割する
    請求項１０に記載のシステム。
17. 前記複数のピクセルパッチが重複する
    請求項１６に記載のシステム。
18. 前記複数のピクセルパッチが５０％の重複を有する
    請求項１７に記載のシステム。
19. 前記畳み込みブロックはゼロパディング畳み込みを適用し、前記ゼロパディング畳み込みの出力は入力された画像の元のサイズに切り取られる
    請求項１０に記載のシステム。
20. 前記畳み込みブロックが複数の特徴マップを出力する
    請求項１０に記載のシステム。
21. 低解像度画像から高解像度画像を生成するシステムであって、
    関心のある特徴の第１の画像を第１の解像度において取得するように構成された画像取得ユニットと、
    深層学習システムを実行するように構成されたコンピューティングシステムであって、前記深層学習システムは、前記関心のある特徴の前記第１の画像を受信し、前記第１の画像に畳み込みを実行し、前記第１の画像に非線形活性化関数を実行し、前記畳み込み及び非線形活性化関数の実行を繰り返し、前記畳み込みに基づいて残差を生成し、前記残差と前記第１の画像とを加算して、前記関心のある特徴の第２の画像を第２の解像度で生成するように構成されており、前記第２の解像度は前記第１の解像度よりも高い、コンピューティングシステムと、
    前記関心のある特徴の前記第２の画像を表示するように構成されたディスプレイと
    を備えるシステム。
22. 前記画像取得ユニットは、磁気共鳴画像診断装置である
    請求項２１に記載のシステム。
23. 前記深層学習システムは、前記第１の画像を補完することにより、前記第２の画像を生成する、請求項２１に記載のシステム。
24. 前記コンピューティングシステムは、第２の深層学習システムを実行するように構成され、前記関心のある特徴の前記第２の画像が、前記第２の深層学習システムへの入力として提供される
    請求項２１に記載のシステム。

Images