JP7546089B2 - 医療用画像検出システム、トレーニング方法及び医療解析方法 - Google Patents

Description

本開示は、医療用画像検出システム及びトレーニング方法に関し、特に、医療用画像の全体像のグローバル予測及び医療用画像におけるローカル領域に関するローカル予測を生成する医療用画像検出システムに関する。

様々な医療用画像技術は、患者の疾患を診断するか又は健康診断を行う応用シーン、例えばＸ線イメージング、コンピュータ断層撮影及び核磁気共鳴イメージングなどに広く用いられ、上記医療用画像技術は、癌、骨折、内出血及び他の症状を診断する際に重要な情報を提供することができる。一般的に、経験豊富な医師又は専門家は、これらの医療用画像技術により撮影された結果画像を閲覧し、結果画像が正常であるか又は異常であるかを経験的に判断する必要がある。

様々な疾患の中で、肺癌は世界中の癌の関連死亡に属する多くの重要な原因の１つである。医療用画像で発見された肺結節は、一般的に良性の結節であるが、潜在的な肺癌の警告信号となる。胸部Ｘ線フィルムは、操作が簡単でコストが低いため、現在最も広く適用される胸部医療用画像撮影形態となる。イメージング形態自体の特性により、Ｘ線画像を用いた胸部検査の重要な問題の１つは、医療用画像の中の結節が放射線科医に認識されずに見逃された割合である。胸部Ｘ線フィルムは、患者の胸部の二次元投影であるため、結節が他の器官（例えば肋骨）又は異物により遮蔽される場合、結節が視覚的に認識しにくい。且つ、仕事量の増加に伴い、胸部放射線科医にとって結節の存在を正確に認識することは容易ではないため、胸部Ｘ線フィルムの画像解析過程における見落としを低減するための補助具を必要とする。

本開示の一態様は、ニューラルネットワークモデルを記憶するためのメモリと、前記メモリに結合され、ニューラルネットワークモデルを実行するためのプロセッサと、を備え、ニューラルネットワークモデルは、医療用画像からそれぞれ解像度を有する複数の中間テンソルを抽出するための特徴抽出ユニットと、特徴抽出ユニットと連動し、中間テンソルに基づいて複数の複合解像度特徴図を生成するための特徴ピラミッドネットワークと、前記複数の複合解像度特徴図に基づいて、前記医療用画像にターゲットオブジェクトが存在するか否かを示すためのグローバル予測を生成するための第１の出力ヘッドと、前記複数の複合解像度特徴図に基づいて、それぞれ前記複数の医療用画像のターゲットオブジェクトの予測位置を示すための複数のローカル予測を生成するための第２の出力ヘッドと、を含み、プロセッサは、前記医療用画像、前記グローバル予測及び前記複数のローカル予測に基づいて出力情報を生成するために使用される医療用画像検出システムを開示する。

本開示の他の態様は、医療用画像検出システムにより実行されるニューラルネットワークモデルをトレーニングすることに適用されるトレーニング方法であって、医療用画像及び前記医療用画像に関するトレーニング基本的事実を提供する工程と、前記医療用画像に対して第１の画像増幅を行って、第１の増幅医療用画像を生成する工程と、前記医療用画像に対して第２の画像増幅を行って、第２の増幅医療用画像を生成する工程と、前記第１の増幅医療用画像に基づいて前記ニューラルネットワークモデルの第１の出力ヘッドによりグローバル予測を生成する工程と、前記第２の増幅医療用画像に基づいて前記ニューラルネットワークモデルの第２の出力ヘッドにより複数のローカル予測を生成する工程と、前記グローバル予測を前記トレーニング基本的事実と比較することで、グローバル損失を計算する工程と、前記複数のローカル予測を前記トレーニング基本的事実と比較することで、ローカル損失を計算する工程と、前記グローバル損失及び前記ローカル損失に基づいて前記ニューラルネットワークモデルを逆伝送するように更新する工程と、を含むトレーニング方法を開示する。

本開示の他の態様は、ニューラルネットワークモデルを実行する医療用画像検出システムに適用される医療解析方法であって、医療用画像を取得する工程と、前記ニューラルネットワークモデルの特徴抽出ユニットを利用して、前記医療用画像からそれぞれ解像度を有する複数の中間テンソルを抽出する工程と、前記ニューラルネットワークモデルの特徴ピラミッドネットワークを利用して、前記複数の中間テンソルに基づいて複数の複合解像度特徴図を生成する工程と、前記ニューラルネットワークモデルの第１の出力ヘッドを利用して、前記複数の複合解像度特徴図に基づいて前記医療用画像にターゲットオブジェクトが存在するか否かを示すためのグローバル予測を生成する工程と、前記ニューラルネットワークモデルの第２の出力ヘッドを利用して、前記複数の複合解像度特徴図に基づいてそれぞれ前記医療用画像のターゲットオブジェクトの予測位置を示すための複数のローカル予測を生成する工程と、前記医療用画像、前記グローバル予測及び前記複数のローカル予測に基づいて出力情報を生成する工程と、を含む医療解析方法を開示する。

本開示の幾つかの実施例による医療用画像検出システムを示す概略図である。 本開示の幾つかの実施例によるニューラルネットワークモデルのアーキテクチャを示す概略図である。 本開示の幾つかの実施例による医療用画像に対応してニューラルネットワークモデルから生成されたグローバル予測と複数のローカル予測を示す概略図である。 本開示の幾つかの実施例による図１及び図２の医療用画像検出システム及びニューラルネットワークモデルにより実行される医療解析方法を示すフローチャートである。 本開示の幾つかの実施例による図２の特徴抽出ユニットの内部アーキテクチャを示す概略図である。 異なる標準畳み込み層のサンプリングウィンドウにおけるサンプリング点の分布状況を示す概略図である。 異なる標準畳み込み層のサンプリングウィンドウにおけるサンプリング点の分布状況を示す概略図である。 異なる標準畳み込み層のサンプリングウィンドウにおけるサンプリング点の分布状況を示す概略図である。 変形可能な畳み込み層のサンプリングウィンドウにおけるサンプリング点の分布状況を示す概略図である。 本開示の幾つかの実施例による図２の特徴ピラミッドネットワークの内部アーキテクチャを示す概略図である。 本開示の幾つかの実施例による図２の第１の出力ヘッドの内部アーキテクチャを示す概略図である。 本開示の幾つかの実施例による図２の第２の出力ヘッドの内部アーキテクチャを示す概略図である。 本開示の幾つかの実施例によるトレーニングフローにおける医療用画像検出システムを示す概略図である。 ニューラルネットワークモデルのトレーニング段階で増幅モデル及びトレーニングエージェントにより行われた操作を示す概略図である。 幾つかの実施例による図１０の医療用画像検出システムにより実行されるニューラルネットワークモデルをトレーニングすることに適用されるトレーニング方法を示すフローチャートである。

以下の開示内容は、本開示の異なる特性を実施するための多くの異なる実施例又は例を提供する。特定の例における素子と配置は、以下の議論で本開示を簡略化するために使用される。何れの例も、説明のためにのみ使用され、本開示またはその例の範囲や意味を制限するものではない。適切な場合には、図面同士及び対応する文字の説明には、同じまたは類似する素子を示すために同じ記号が使用される。

図１を参照すると、本開示の幾つかの実施例による医療用画像検出システム１００を示す概略図である。幾つかの実施例において、医療用画像検出システム１００は、医療用画像におけるターゲットオブジェクトの存在を検出又は予測するために用いられ、その検出結果は医療用画像の内容に基づいて患者に対して検査、評価又は診断を行うことに役立つ。

図１に示すように、医療用画像検出システム１００は、メモリ１２０、プロセッサ１４０、及びインターフェース装置１６０を備える。メモリ１２０は、プロセッサ１４０により実行されてもよく、コンピュータ実行可能なコマンドを記憶するために使用される。幾つかの実施例において、メモリ１２０は、動的メモリ、静的メモリ、ハードディスク、又はフラッシュメモリ等を含んでよい。インターフェース装置１６０は、入力データ（例えば医療用画像の入力、コマンド、音声制御コマンド又はキーボード入力等）及び／又は表示出力コンテンツを受信するために使用される。幾つかの実施例において、インターフェース装置１６０は、キーボード、ディスプレイ、タッチパネル、マイクロフォン、ネットワーク送受信機、ホーンなどを含んでよい。プロセッサ１４０は、データ又はパラメータがメモリ１２０に記憶されることができるニューラルネットワークモデル１８０を実行するために使用される。幾つかの実施例において、プロセッサ１４０は、中央プロセッサ、グラフィックプロセッサ、テンソルプロセッサ、特殊応用集積回路又は他の同等性がある処理回路を含んでよい。

図２を併せて参照すると、本開示の幾つかの実施例によるニューラルネットワークモデル１８０のアーキテクチャを示す概略図である。プロセッサ１４０により実行するニューラルネットワークモデル１８０は、医療用画像ＩＭＧｉを検出し、医療用画像に関するＩＭＧｉのグローバル予測ＧＰおよび複数のローカル予測ＬＰｓを生成するためのものである。幾つかの実施例において、グローバル予測ＧＰは、ターゲットオブジェクトが医療用画像に存在するか否かを示すために用いられる。各ローカル予測ＬＰｓのそれぞれは、医療用画像ＩＭＧｉにおけるターゲットオブジェクトの予測位置を示す。

幾つかの実施例において、医療用画像ＩＭＧｉは、患者の胸部、腹部又は頭部に関するＸ線画像、コンピュータ断層画像又は核磁気共鳴造影画像であってよい。ターゲットオブジェクトは、患者に付いていて且つ医療用画像ＩＭＧｉに現れている結節及び／又は腫瘍であってよい。説明の簡便上のため、後続の段落の検討では医療用画像ＩＭＧｉは患者の胸部に関するＸ線画像であると仮定し、ターゲットオブジェクトは結節であると仮定する。

上記組み合わせ（即ち胸部Ｘ線画像で結節を検出する）は、ニューラルネットワークモデル１８０の例示的な応用であるが、本開示はこれに限定されるものではない。

この例において、ニューラルネットワークモデル１８０により生成されたグローバル予測ＧＰは、医療用画像ＩＭＧｉに任意の結節があることに関するものであり、ニューラルネットワークモデル１８０により生成された複数のローカル予測ＬＰｓは、医療用画像ＩＭＧｉにおける各結節に関する予測位置である。図３を併せて参照すると、本開示の幾つかの実施例による医療用画像ＩＭＧｉに対応してニューラルネットワークモデル１８０から生成されたグローバル予測ＧＰと複数のローカル予測ＬＰｓを示す概略図である。図３に示すように、ニューラルネットワークモデル１８０により生成されたグローバル予測ＧＰは、医療用画像ＩＭＧｉに含まれた少なくとも１つの結節の存在の確率が高いことを示すための確率値ラベル、例えば８５％である。図２及び図３に示すように、この実施例におけるニューラルネットワークモデル１８０により生成された複数のローカル予測ＬＰｓは、医療用画像ＩＭＧｉに結節が存在する可能な五つの位置及び領域範囲を示すための五つのローカル予測ＬＰ１、ＬＰ２、ＬＰ３、ＬＰ４及びＬＰ５を含む。この例において、ローカル予測ＬＰ１は、医療用画像ＩＭＧｉにおける１つの予測結節の位置と大きさを示すためのローカル境界ボックスを含む。ローカル予測ＬＰ２は、医療用画像ＩＭＧｉにおける他の予測結節の位置と大きさを示すための他のローカル境界ボックスを含む。同様に、ローカル予測ＬＰ３、ＬＰ４及びＬＰ５は、他の三つのローカル境界ボックスを表示する。

本開示におけるニューラルネットワークモデル１８０は、デュアルヘッド・ネットワークアーキテクチャに基づく複合タスク肺結節検出アルゴリズムを提供し、グローバル予測ＧＰと複数のローカル予測ＬＰｓを同期的に生成する。図２に示すように、ニューラルネットワークモデル１８０は、特徴抽出ユニット１８２、特徴ピラミッドネットワーク１８４、第１の出力ヘッド１８６及び第２の出力ヘッド１８８を含む。図４を併せて参照すると、本開示の幾つかの実施例による図１及び図２の医療用画像検出システム１００及びニューラルネットワークモデル１８０により実行される医療解析方法２００を示すフローチャートである。

幾つかの実施例において、特徴抽出ユニット１８２、特徴ピラミッドネットワーク１８４、第１の出力ヘッド１８６及び第２の出力ヘッド１８８は、ニューラルネットワークモデル１８０におけるソフトウェア機能モジュールであってよく、それぞれソフトウェアプログラム又はコンピュータで実行可能なコマンドにより実現されてよい。特徴抽出ユニット１８２、特徴ピラミッドネットワークコマンド１８４、第１の出力ヘッド１８６及び第２の出力ヘッド１８８のソフトウェアアーキテクチャの詳細については後続段落で更に説明する。

図１、図２及び図４に示すように、ステップＳ２１０を実行して、医療用画像ＩＭＧｉをニューラルネットワークモデル１８０の特徴抽出ユニット１８２に提供する。幾つかの実施例において、医療用画像ＩＭＧｉは、患者の胸部の領域に撮影されたＸ線画像であってよい。患者が肺癌に罹患している場合、一又は複数の結節は医療用画像ＩＭＧｉに現れる。患者の肺部が健康である場合、医療用画像ＩＭＧｉにいかなる結節が現れない可能性がある。

図１、図２及び図４に示すように、ステップＳ２２０を実行して、ニューラルネットワークモデル１８０の特徴抽出ユニット１８２により医療用画像ＩＭＧｉから複数の中間テンソルＴｓを抽出する。図５を合わせて参照すると、それは本開示の幾つかの実施例による図２の特徴抽出ユニット１８２の内部アーキテクチャを示す概略図である。特徴抽出ユニット１８２は、医療用画像ＩＭＧｉに基づいて複数の中間テンソルＴｓを生成するための幾つかの畳み込み層を含む。図５の実施例において、特徴抽出ユニット１８２は、順に前後に結合された八つの畳み込み層ＣＬ１～ＣＬ８を含む。畳み込み層ＣＬ１は、異なるチャネルにおける幾つかの畳み込みコアを含んでよく、且つ畳み込み層ＣＬ１は医療用画像ＩＭＧｉに対して畳み込み演算をして中間テンソルＴ１を生成することに用いられてもよい。畳み込み層ＣＬ１により生成された中間テンソルＴ１は、畳み込み層ＣＬ２に伝送され、畳み込み層ＣＬ２は中間テンソルＴ１に対して畳み込み演算をして中間テンソルＴ２を生成することに用いられてもよい。同様に、畳み込み層ＣＬ３～ＣＬ８は、順に畳み込み演算を実行して、それぞれ中間テンソルＴ３～Ｔ８を生成することに用いられてもよい。

幾つかの実施例において、特徴抽出ユニット１８２は、これらの畳み込み層ＣＬ１～ＣＬ８の間又は前後に幾つかのプーリング層（図示せず）及び／又は励起層（図示せず）を更に含んでよい。畳み込み層ＣＬ１～ＣＬ８は、異なるサンプリング確率を含む可能性があり、及びプーリング層の作用により、中間テンソルＴ１～Ｔ８はそれぞれ互いに異なる解像度を有する。例えば、中間テンソルＴ５の空間解像度は、１２８×１２８であってよく、中間テンソルＴ６の空間解像度は６４×６４であってよく、中間テンソルＴ７の空間解像度は３２×３２であってよく、及び中間テンソルＴ８の空間解像度は１６×１６であってよい。これらの中間テンソルＴ５～Ｔ８の解像度は、畳み込み層ＣＬ５～ＣＬ８のそれぞれのサンプリング確率及び畳み込み層Ｒ３～ＣＬ８の間のプーリング層に影響され、本開示は特定の数字に限定されない。

この例において、中間テンソルＴ５は、中間テンソルＴ６の空間解像度６４×６４よりも、相対的に高い空間解像度１２８×１２８を有する。同様に、中間テンソルＴ７の空間解像度３２×３２よりも、中間テンソルＴ６は、相対的に高い空間解像度６４×６４を有する。一方、中間テンソルＴ７は、中間テンソルＴ８の空間解像度１６×１６よりも、相対的に高い空間解像度３２×３２を有する。中間テンソルＴ５の各ユニットは、より具体的且つローカルの特徴を表現する傾向があり、医療用画像ＩＭＧｉの相対的に小さい領域に対応する。中間テンソルＴ８の各ユニットは、より抽象的な特徴を表現する傾向があり、医療用画像ＩＭＧｉの相対的に大きい領域に対応する。

幾つかの実施例において、畳み込み層ＣＬ１～ＣＬ８のうちの一部は、標準畳み込み層と異なる変形可能な畳み込み層を採用してもよい。１つの標準畳み込み層上の複数のサンプリング点は、この標準畳み込み層のサンプリングウィンドウに均一に分布される。図６Ａ、図６Ｂ及び図６Ｃを併せて参照すると、標準畳み込み層ＳＣＬ１～ＳＣＬ３のサンプリングウィンドウＷ１～Ｗ３におけるサンプリング点の分布状況を示す概略図である。図６Ａに示すように、標準畳み込み層ＳＣＬ１のサンプリングウィンドウＷ１の各ユニットは、何れもサンプリング点ＳＡＭＰとして選択される。図６Ｂに示すように、サンプリング点ＳＡＭＰは、互いに１単位の間隔距離を有し、且つ標準畳み込み層ＳＣＬ２のサンプリングウィンドウＷ２に均一に分布される。図６Ｃに示すように、サンプリング点ＳＡＭＰは、互いに２単位の間隔距離を有し、且つ標準畳み込み層ＳＣＬ３のサンプリングウィンドウＷ３に均一に分布される。

図６Ｄを併せて参照すると、変形可能な畳み込み層ＤＣＬのサンプリングウィンドウＷ４におけるサンプリング点の分布状況を示す概略図である。図６Ｄに示すように、変形可能な畳み込み層ＤＣＬのサンプリング点ｄＳＡＭＰは、それぞれの元の位置からそれぞれ異なる変位ベクトルだけオフセットし、したがって、サンプリング点ｄＳＡＭＰは変形可能な畳み込み層ＤＣＬのサンプリングウィンドウＷ４に不均一に分布される。

標準畳み込み層（図６Ａ～図６Ｃに示す基準畳み込み層ＳＣＬ１～ＳＣＬ３のように）を採用すると、畳み込み層の受容場が一定である。一方、変形可能な畳み込み層は、関心領域（例えば結節）を検出する時に動的な受容場を提供することができる。実際の応用において、結節の形状と輪郭は実際の状況に応じて変化するため、変形可能な畳み込みを採用すれば、結節の画像特徴を探すことに役立つ。幾つかの実施例において、図６Ｄに示された変形可能な畳み込み層ＤＣＬを参照すると、特徴抽出ユニット１８２の全ての畳み込み層ＣＬ１～ＣＬ８のうちの最後の三つの層（即ち畳み込み層ＣＬ６～ＣＬ８）には、変形可能な畳み込み層を採用する。図６Ａ～図６Ｃに示す基準畳み込み層ＳＣＬ１～ＳＣＬ３を参照すると、他の畳み込み層ＣＬ１～ＣＬ５には、標準畳み込み層を採用する。

図１、図２及び図４に示すように、ステップＳ２３０を実行して、ニューラルネットワークモデル１８０の特徴ピラミッドネットワーク１８４により中間テンソルＴ５～Ｔ８に基づいて、複数の複合解像度特徴図ＭＦＭを生成する。特徴抽出ユニット１８２に連動する特徴ピラミッドネットワーク１８４は、特徴抽出ユニット１８２に結合される。図７を併せて参照すると、本開示の幾つかの実施例による図２の特徴ピラミッドネットワーク１８４の内部アーキテクチャを示す概略図である。

幾つかの実施例において、特徴ピラミッドネットワーク１８４は、特徴抽出ユニット１８２から中間テンソルＴ５～Ｔ８を受信し、且つ対応して複合解像度特徴図ＭＦＭを生成する。図７に示す実施例のように、特徴ピラミッドネットワーク１８４は、２つの隣接する中間テンソルＴ７とＴ８との間にある一組のアップサンプラー１８４ａ、１×１畳み込み層１８４ｂ及び加算器１８４ｃを含む。

幾つかの実施例において、特徴抽出ユニット１８２により生成された中間テンソルＴ８（空間解像度１６×１６を有する）は、そのうちの１つの複合解像度特徴図ＭＦＭ１としてコピーされることができる。この複合解像度特徴図ＭＦＭ１（中間テンソルＴ８に基づく）は、アップサンプラー１８４ａを経て３２×３２にアップサンプリングされる。中間テンソルＴ７（空間解像度３２×３２を有する）は、１×１畳み込み層１８４ｂの処理を経る。加算器１８４ｃは、１×１畳み込み処理された中間テンソルＴ７とアップサンプリングされた複合解像度特徴図ＭＦＭ１を合併し、空間解像度３２×３２を有する別の複合解像度特徴図ＭＦＭ２を形成する。この場合、複合解像度特徴図ＭＦＭ２は、中間テンソルＴ８からの特徴及び中間テンソルＴ７からの特徴を同時に持っている。換言すれば、複合解像度特徴図ＭＦＭ２は、異なる空間解像度（例えば３２×３２と１６×１６）を有する２つの中間テンソルＴ７とＴ８に基づいて生成される。

同様に、特徴ピラミッドネットワーク１８４は、２つの隣接する中間テンソルＴ６とＴ７との間の他の組のアップサンプラー１８４ｄと、１×１畳み込み層１８４ｅと、加算器１８４ｆと、を更に含む。この例において、複合解像度特徴図ＭＦＭ２は、アップサンプラー１８４ｄを経て６４×６４にアップサンプリングされる。中間テンソルＴ６（空間解像度６４×６４を有する）は、１×１畳み込み層１８４ｅの処理を経る。加算器１８４ｆは、１×１畳み込み処理された中間テンソルＴ６とアップサンプリングされた複合解像度特徴図ＭＦＭ２を合併し、空間解像度６４×６４を有する別の複合解像度特徴図ＭＦＭ３を形成する。この場合、複合解像度特徴図ＭＦＭ３は、三つの中間テンソルＴ６、Ｔ７及びＴ８からの特徴を同時に持っている。換言すれば、複合解像度特徴図ＭＦＭ３は、異なる空間解像度（例えば６４×６４、３２×３２と１６×１６）を有する三つの中間テンソルＴ６、Ｔ７及びＴ８に基づいて生成される。

同様に、特徴ピラミッドネットワーク１８４は、２つの隣接する中間テンソルＴ５とＴ６との間の他の組のアップサンプラー１８４ｇと、１×１畳み込み層１８４ｈと、加算器１８４ｉと、を更に含むことにより、複合解像度特徴図ＭＦＭ４を生成する。この場合に、複合解像度特徴図ＭＦＭ４は４つの組の中間テンソルＴ５、Ｔ６、Ｔ７及びＴ８からの特徴を同時に持っている。換言すれば、複合解像度特徴図ＭＦＭ４は、異なる空間解像度（例えば１２８×１２８、６４×６４、３２×３２と１６×１６）を有する四つの中間テンソルＴ５、Ｔ６、Ｔ７及びＴ８に基づいて生成される。

この場合、複合解像度特徴図ＭＦＭ２、ＭＦＭ３及びＭＦＭ４は、それぞれ異なる解像度を有する中間テンソルＴ５、Ｔ６、Ｔ７及びＴ８のうちの少なくとも２つの中間テンソルに基づいて生成される。複数の複合解像度特徴図ＭＦＭは、異なる解像度での複数の中間テンソルにおいて検出されたパターン特徴を持つため、複数の複合解像度特徴図ＭＦＭは異なるサイズ特性を有する様々な結節を探すことに役立つ。

上記図７に示す実施例において、特徴ピラミッドネットワーク１８４は、一例として、３つの組の回路が中間のテンソルＴ５～Ｔ８の間に配置されることで、４つの複合解像度特徴図ＭＦＭ１～ＭＦＭ４を生成する。本開示は、これに限定されるものではない。特徴ピラミッドネットワーク１８４は、幾つかの他の実施例において異なる数の層数を有することができる。

図２及び図４に示すように、幾つかの実施例において、複数の複合解像度特徴図ＭＦＭは、第１の出力ヘッド１８６と第２の出力ヘッド１８８に同時に伝送される。ステップＳ２４０を実行して、第１の出力ヘッド１８６により複合解像度特徴図ＭＦＭに基づいて、医療用画像ＩＭＧｉに何れの結節が存在するか否かを示すためのグローバル予測ＧＰを生成する。図８を併せて参照すると、本開示の幾つかの実施例による図２の第１の出力ヘッド１８６の内部アーキテクチャを示す概略図である。幾つかの実施例において、第１の出力ヘッド１８６は、畳み込み層１８６ａ及び１８６ｃと、整流線形ユニット１８６ｂ及び１８６ｄと、プーリング層１８６ｅと、線形層１８６ｆ及びＳｏｆｔｍａｘ層１８６ｇと、を含んでよい。

図８に示すように、複数の複合解像度特徴図ＭＦＭは、第１の出力ヘッド１８６に入力される。複数の複合解像度特徴図ＭＦＭは、畳み込み層１８６ａ、整流線形ユニット１８６ｂ、畳み込み層１８６ｃ及び整流線形ユニット１８６ｄを通過し、且つプーリング層１８６ｅにより最大のプール化を行って単一ベクトルを生成する。線形層１８６ｆ及びＳｏｆｔｍａｘ層１８６ｇは、この単一ベクトルに当てはめ且つこの画像走査に結節が存在する確率の大きさを示すための確率を得る。幾つかの実施例において、第１の出力ヘッド１８６により生成されたグローバル予測ＧＰは例えば図３に示す８５％のような確率ラベル形態で表示される。

図２及び図４に示すように、ステップＳ２４２を実行して、第２の出力ヘッド１８８により複合解像度特徴図ＭＦＭに基づいてローカル予測ＬＰｓを生成する。図９を併せて参照すると、本開示の幾つかの実施例による図２の第２の出力ヘッド１８８のその内部アーキテクチャを示す概略図である。図２及び図９に示すように、第２の出力ヘッド１８８は、領域生成ネットワーク１８８ａと、位置合せモジュール１８８ｂと、分類モジュール１８８ｃとを含む。領域生成ネットワーク１８８ａは複合解像度特徴図ＭＦＭに複数の関心領域位置を生成するために使用される。幾つかの実施例において、領域生成ネットワーク１８８ａは、複数の関心領域位置、例えば複合解像度特徴図ＭＦＭの上の関心領域位置ＲＯＩ１、ＲＯＩ２、ＲＯＩ３、ＲＯＩ４、ＲＯＩ５及びＲＯＩ６を提案することができる。位置合せモジュール１８８ｂは、関心領域位置ＲＯＩ１、ＲＯＩ２、ＲＯＩ３、ＲＯＩ４、ＲＯＩ５及びＲＯＩ６に基づいて複合解像度特徴図ＭＦＭから複数の提案領域ＰＲを抽出するために使用される。分類モジュール１８８ｃは、これらの提案領域ＰＲをそれぞれターゲットグループＴＡＲ又は非ターゲットグループＮＴＧに分類するために使用される。ターゲットグループＴＡＲに属すると分類された複数の提案領域ＰＲに基づいて第２の出力ヘッド１８８の複数のローカル予測ＬＰｓを生成する。複数のローカル予測ＬＰｓの各々（図３のＬＰ１～ＬＰ５参照）は、それぞれ医療用画像ＩＭＧｉにおける１つの結節予測位置に対応することに用いられる。

幾つかの実施例において、図３に示すように、プロセッサ１４０は、医療用画像ＩＭＧｉ、グローバル予測ＧＰ及びローカル予測ＬＰｓを１つの出力情報ＩＮＦＯとして統合することができる。この例において、出力情報ＩＮＦＯは、医療用画像ＩＭＧｉが結節を有する確率及び医療用画像ＩＭＧｉにおける結節の潜在的な位置を表現してよい。幾つかの実施例において、出力情報ＩＮＦＯは、インターフェース装置１６０に表示してよい。

図３に示すように、幾つかの実施例において、出力情報ＩＮＦＯは、グローバル予測ＧＰに対応する確率及び複数のローカル予測ＬＰｓに対応する潜在的な位置を結合した出力画像の形式である。幾つかの他の実施例において、出力情報ＩＮＦＯは、例えば文字記述、座標指示、描画、テーブル、音声指示又は上記形式の組み合わせのような他の形式を採用してよい。

使用者（例えば患者、医者、胸部放射線科医、介護者又は医学専門家）は、医療用画像ＩＭＧｉを医療用画像検出システム１００に入力し、その後にインターフェース装置１６０で、使用者が医療用画像ＩＭＧｉに反映された検査結果を迅速に了解することを助けることができる出力情報ＩＮＦＯを閲覧するか又は知ることができる。胸部放射線科医の作業負担が急速に増加している状況で、医療用画像検出システム１００及び医療解析方法２００は、補助ツールとして、胸部の放射検査過程において結節が存在するが発見されない状況を低減させる。

注意すべきことは、第１の出力ヘッド１８６と第２の出力ヘッド１８８が医療用画像ＩＭＧｉに対して適切な予測を生成することを確保するために、ニューラルネットワークモデル１８０は事前にトレーニングデータ（例えば過去の医療記録における既知の胸部Ｘ線画像及びその中の対応する結節ラベル）に基づいて対応するモデルトレーニングを行う必要がある。後続の段落ではニューラルネットワークモデル１８０のトレーニングフローについて説明する。

図１０を併せて参照すると、図１０は本開示の幾つかの実施例によるトレーニングフローにおける医療用画像検出システム３００を示す概略図である。図１０に示すように、医療用画像検出システム３００は、メモリ３２０と、ニューラルネットワークモデル３８０を実行するためのプロセッサ３４０と、インターフェース装置３６０と、を含む。図１０におけるメモリ３２０、プロセッサ３４０、インターフェース装置３６０及びニューラルネットワークモデル３８０は、前の実施例において図１～図９で検討したメモリ１２０、プロセッサ１４０、インターフェース装置１６０及びニューラルネットワークモデル１８０と類似している。注意すべきことは、ニューラルネットワークモデル３８０のトレーニングフローにおいて、プロセッサ３４０は更に増幅モデル３９０及びトレーニングエージェント３９２を実行する。

データ増幅は、トレーニングデータの多様性を増加させ且つそれによりモデルの汎用性を改善するための技術である。データ増幅技術により、数が限られたトレーニングデータをより多くのサンプル数に増幅することができる。本開示の幾つかの実施例は、それぞれ独立したデータ増幅ポリシーを複数の出力ヘッドに導入することで、複数の出力ヘッドのそれぞれが達成しようとする目標を十分に最適化するデュアルヘッド増幅技術を提供する。

図１１及び図１２を併せて参照すると、図１１は、ニューラルネットワークモデル３８０のトレーニング段階で増幅モデル３９０及びトレーニングエージェント３９２により行われた操作を示す概略図である。図１２は、幾つかの実施例による図１０の医療用画像検出システム３００により実行されるニューラルネットワークモデル３８０をトレーニングすることに適用されるトレーニング方法４００を示すフローチャートである。

図１１及び図１２に示すように、ステップＳ４１０を実行して、医療用画像ＩＭＧｔ及び医療用画像ＩＭＧｔに関するトレーニング基本的事実ＴＧを提供する。この例において、医療用画像ＩＭＧｔ及びトレーニング基本的事実ＴＧは、過去の医療記録から取得することができる。医療用画像ＩＭＧｔは、実際の胸部Ｘ線画像であってよく、医療用画像ＩＭＧｔのトレーニング基本的事実ＴＧ（例えば医療用画像ＩＭＧｔに結節が存在するか否かの医療診断及び発見された結節に関するラベルボックス）について、過去の医療記録から取得されてよい。この医療用画像ＩＭＧｔは、増幅モデル３９０に伝送される。

図１１及び図１２に示すように、ステップＳ４２０を実行し、増幅モデル３９０により医療用画像ＩＭＧｔに対して第１の画像増幅を行い、第１の増幅医療用画像ＩＭＧａ１を生成する。また、ステップＳ４２２を実行し、増幅モデル３９０により医療用画像ＩＭＧｔに対して第２の画像増幅を行い、第２の増幅医療用画像ＩＭＧａ２を生成する。

幾つかの実施例において、ステップＳ４２０における第１の画像増幅は、少なくとも一種の増幅操作を選択し、且つ選択された少なくとも１つの増幅操作を医療用画像ＩＭＧｔに当てはめさせて、第１の増幅医療用画像ＩＭＧａ１を生成する。幾つかの実施例において、この増幅操作は、例えば、ランダムノイズ挿入と、ランダム輝度調整と、ランダムコントラスト調整と、画像ランプと、画像反転と、画像回転と、を含む複数の候補増幅操作の中から選択される。例示的な説明として、画像ランプが選択され、且つ医療用画像ＩＭＧｔに当てはめされることで、図１１に示す第１の増幅医療用画像ＩＭＧａ１を生成したが、本開示はこれに限定されるものではなく、上記一つ又は複数の候補増幅操作は選択され且つステップＳ４２０で実行されて第１の増幅医療用画像ＩＭＧａ１を生成してよい。例えば、ランダムコントラスト調整と画像反転は、同時に選択されることで第１の増幅医療用画像（図示せず）を生成してよい。

一方、ステップＳ４２２における第２の画像増幅は、複数の候補増幅操作から少なくとも１つの増幅操作を選択し、選択された少なくとも１つの増幅操作を医療用画像ＩＭＧｔに当てはめさせて、第２の増幅医療用画像ＩＭＧａ２を生成する。例示的な説明として、ランダム輝度調整は選択され且つ医療用画像ＩＭＧｔに当てはめさせて図１１に示す第１の増幅医療用画像ＩＭＧａ２を生成したが、本開示はこれに限定されず、上記一つ又は複数の候補増幅操作は選択され且つステップＳ４２２で実行されることで第２の増幅医療用画像ＩＭＧａ２を生成してよい。

幾つかの実施例において、ステップＳ４２０における第１の画像増幅及びステップＳ４２２における第２の画像増幅はそれぞれ、それぞれ選択された異なる増幅操作に従って行ってよい。

幾つかの実施例において、増幅操作を選択する過程において、均一なサンプリング確率に応じて複数の候補増幅操作のうちの１つを選択する。換言すれば、例えばランダムノイズ挿入、ランダム輝度調整、ランダムコントラスト調整、画像ランプ、画像反転及び画像回転のような６種類の異なる候補増幅操作がある場合、各候補増幅操作が選択される機会が１／６となり、且つ１回の画像増幅では単一の候補増幅操作のみを採用する。

別の実施例において、増幅操作を選択する過程において、これらの候補増幅操作はそれぞれ二項式サンプリング確率に基づいて互いに独立して選択される。換言すれば、６種類の異なる候補増幅操作がある場合、６種類の候補増幅操作はそれぞれ自体が後に選択された独立したサンプリング確率を有し、且つ一回の画像増幅では１つ又は複数の候補増幅操作を採用する可能性がある。

幾つかの実施例において、ステップＳ４３０において、第１の増幅医療用画像ＩＭＧａ１及び第２の増幅医療用画像ＩＭＧａ２を共に入力バッチＢＣＨｉｎに組み合わせ、特徴抽出ユニット３８２及び特徴ピラミッドネットワーク３８４に入る。

特徴抽出ユニット３８２は、入力バッチＢＣＨｉｎにおける第１の増幅医療用画像ＩＭＧａ１及び第２の増幅医療用画像ＩＭＧａ２に対して複数の中間テンソルＴｓを抽出ために使用される。特徴ピラミッドネットワーク３８４は、特徴抽出ユニット３８２と連動する。図１２に示すように、ステップＳ４４０を実行し、特徴ピラミッドネットワーク３８４により複数の中間テンソルＴｓに基づいて、複数の第１の複合解像度特徴図ＭＦＭＧ（第１の増幅医療用画像ＩＭＧａ１に対応する）と、第２の複合解像度特徴図ＭＧＭＬ（第２の増幅医療用画像ＩＭＧａ２に対応する）と、を含む出力バッチＢＣＨｏｕｔを生成する。

図１１及び図１２に示すように、ステップＳ４５０を実行し、第１の出力ヘッド３８６により出力バッチＢＣＨｏｕｔにおける複数の第１の複合解像度特徴図ＭＦＭＧに基づいてグローバル予測ＧＰを生成する。また、ステップＳ４２を実行し、第２の出力ヘッド３８８により出力バッチＢＣＨｏｕｔにおける複数の第２の複合解像度特徴図ＭＧＭＬに応じて複数のローカル予測ＬＰｓを生成する。

図１１において、第１の出力ヘッド３８６と第２の出力ヘッド３８８によりグローバル予測ＧＰと複数のローカル予測ＬＰｓを生成する方法は、図２、図８及び図９の関連する前の実施例で検討された第１の出力ヘッド１８６と第２の出力ヘッド１８８によりグローバル予測ＧＰと複数のローカル予測ＬＰｓを生成する方法と類似するため、ここで重複しない。この実施例と従来の実施例との主な相違点は、第１の出力ヘッド３８６が第１の増幅医療用画像ＩＭＧａ１に対する複数の第１の複合解像度特徴図ＭＦＭＧに基づいてグローバル予測ＧＰを生成するのに対して、第２の出力ヘッド３８８が第２の増幅医療用画像ＩＭＧａ２に対する複数の第２の複合解像度特徴図ＭＧＭＬに基づいて複数のローカル予測ＬＰｓを生成することである。換言すれば、第１の出力ヘッド３８６と第２の出力ヘッド３８８は、異なる増幅操作に基づいてトレーニングを行う。

図１１及び図１２に示すように、グローバル予測ＧＰと複数のローカル予測ＬＰｓは、トレーニングエージェント３９２に伝送される。ステップ３６０を実行し、トレーニングエージェント３９２によりグローバル予測ＧＰとトレーニング基本的事実ＴＧを比較することでグローバル損失を計算する。

第１の出力ヘッド３８６の主要な目的は、本回の画像スキャン（即ち、医療用画像ＩＭＧｔ）に結節が存在するか否かを分類することである。幾つかの実施例において、グローバル損失Ｌ_{ｇｌｏｂａｌ}の計算には、重み付け交差エントロピーアルゴリズムを採用する。トレーニング基本的事実ＴＧが真（結節が存在する）である場合、グローバル予測ＧＰの確率ラベルが低いほどグローバル損失Ｌ_{ｇｌｏｂａｌ}が大きくなり、逆に、グローバル予測ＧＰの確率ラベルが高いほどグローバル損失Ｌ_{ｇｌｏｂａｌ}が小さくなる。一方、トレーニング基本的事実ＴＧが否（結節が存在しない）である場合、グローバル予測ＧＰの確率ラベルが高いほどグローバル損失Ｌ_{ｇｌｏｂａｌ}が大きくなり、逆に、グローバル予測ＧＰの確率ラベルが低いほどグローバル損失Ｌ_{ｇｌｏｂａｌ}が小さくなる。

また、ステップＳ４６２を実行し、トレーニングエージェント３９２により複数のローカル予測ＬＰｓとトレーニング基本的事実ＴＧを比較することでローカル損失を計算する。幾つかの実施例において、ローカル損失特徴Ｌ_{ｌｏｃａｌ}は、以下の方程式１により計算される。
Ｌ_{ｌｏｃａｌ} ＝ ｌ_ｏｂｊ ＋ ｌ_ｒｅｇ ＋ ｌ_ｃｌｓ ＋ ｌ_ｂｂｏｘ …（方程式１）

トレーニング段階では、第２の出力ヘッド３８８における領域生成ネットワーク（図２及び図９の第２の出力ヘッド１８８における領域生成ネットワーク１８８ａ参照）は、背景と前景の分類過程においてオブジェクト損失ｌ_ｏｂｊを引き起こし、且つ領域生成ネットワークによって提案された領域ボックスとトレーニング基本的事実における境界ボックスとの間に計算された間隔距離に基づいて、且つ間隔距離から回帰損失ｌ_ｒｅｇを得る。第２の出力ヘッド３８８における分類モジュール（図２及び図９の第２の出力ヘッド１８８における分類モジュール１８８ｃ参照）は、特徴分類を行う時に分類損失ｌ_ｃｌｓを生成し、そして更新されたローカル予測境界ボックスとトレーニング基本的事実における境界ボックスとの間に計算された離間距離に基づいて、且つ離間距離から境界ボックス損失ｌ_ｂｂｏｘを得る。幾つかの実施例において、トレーニングエージェント３９２は、平滑Ｌ１損失アルゴリズムに基づいて回帰損失ｌ_ｒｅｇ及び境界ボックス損失ｌ_ｂｂｏｘを計算してよく、トレーニングエージェント３９２は重み付け交差エントロピーアルゴリズムに基づいてオブジェクト損失ｌ_ｏｂｊ及び分類損失ｌ_ｃｌｓを計算してよい。

幾つかの実施例において、トレーニングエージェント３９２は、更にグローバル損失Ｌ_{ｌｏｃａｌ}とローカル損失Ｌ_{ｌｏｃａｌ}が重み付けされた後の合計により、計算された複合タスク損失Ｌ_{ｍｕｌｔｉ}に基づいて、例えば以下の方程式２で計算する。
Ｌ_{ｍｕｌｔｉ}＝λ１＊Ｌ_{ｇｌｏｂａｌ}＋λ２＊Ｌ_{ｌｏｃａｌ} …（方程式２）

方程式２では、λ１はグローバル損失の重みであり、λ２はローカル損失重みである。

図１１及び図１２に示すように、ステップＳ４７０を実行し、トレーニングエージェント３９２により逆伝送するようにグローバル損失Ｌ_{ｇｌｏｂａｌ}とローカル損失Ｌ_{ｌｏｃａｌ}（又は複合タスク損失Ｌ_{ｍｕｌｔｉ}）に基づいてニューラルネットワークモデル３８０を更新する。

典型的な画像分類又はオブジェクト検出タスクでは、各トレーニング画像に対して単一の増幅ポリシー（例えば１セットの予測設定されたランダム画像変換形態）を採用する。しかしながら、単一の増幅ポリシーを用いてデュアル出力ヘッドアーキテクチャをトレーニングすることは、そのうちの一方の出力ヘッドの表現が明らかに最適化されるが、同時に他方の出力ヘッドの表現が一般的であるのを引き起こしやすい。２つの出力ヘッドのそれぞれに対応するターゲット表現が十分な最適化を達成するために、本開示は図１１においてデュアルヘッド増幅アーキテクチャを提供する。増幅モデル３９０は、２つの出力ヘッドにそれぞれ二種類の増幅操作を行うために使用される。この場合、第１の出力ヘッド３８６と第２の出力ヘッド３８８をトレーニングするための異なる増幅操作は、それぞれ最適化することができ、これによって、それぞれグローバル損失Ｌ_{ｇｌｏｂａｌ}とローカル損失Ｌ_{ｌｏｃａｌ}を最小化させる（又は複合タスク損失Ｌ_{ｍｕｌｔｉ}を最小化させる）。

本開示の特定の実施例は、上記の実施例に関することを開示したが、これらの実施例は本開示を制限するためのものではない。各種の代替及び改良は当業者によって本開示の原理及び精神から乖離することなく本開示で実行されることができる。したがって、本開示の保護範囲は添付の特許出願範囲によって決定される。

本開示は幾つかの実施例に対して相当に詳細に説明したが、他の類似の実施形態を採用する可能性がある。したがって、添付の特許請求の精神及び範囲は上記開示された実施例の記述に限定されるべきではない。

当業者にとって、本開示の範囲又は精神から逸脱することなく、本開示の構造に対して様々な修正及び変更を行うことができる。上記実施例の内容に基づいて、本開示は、添付の特許請求の範囲内に落ちる様々な可能な修正及び変更を含む。

１００、３００ 医療用画像検出システム
１２０、３２０ メモリ
１４０、３４０ プロセッサ
１６０、３６０ インターフェース装置
１８０、３８０ ニューラルネットワークモデル
１８２、３８２ 特徴抽出ユニット
１８４、３８４ 特徴ピラミッドネットワーク
１８６、３８６ 第１の出力ヘッド
１８８、３８８ 第２の出力ヘッド
１８４ａ、１８４ｆ、１８４ｇ アップサンプラー
１８４ｂ、１８４ｅ、１８４ｈ １×１畳み込み層
１８４ｃ、１８４ｆ、１８４ｉ 加算器
１８６ａ、１８６ｃ 畳み込み層
１８６ｂ、１８６ｄ 整流線形ユニット
１８６ｅ プーリング層
１８６ｆ 線形層
１８６ｇ Ｓｏｆｔｍａｘ層
１８８ａ 領域生成ネットワーク
１８８ｂ 位置合せモジュール
１８８ｃ 分類モジュール
３９０ 増幅モデル
３９２ トレーニングエージェント
２００ 医療解析方法
Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２４２、Ｓ２５０ ステップ
４００ トレーニング方法
Ｓ４１０、Ｓ４２０、Ｓ４２２、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４５２ ステップ
Ｓ４６０、Ｓ４６２、Ｓ４７０ ステップ
ＩＭＧｉ、ＩＭＧｔ 医療用画像
Ｔｓ、Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７、Ｔ８ 中間テンソル
ＣＬ１、ＣＬ２、ＣＬ３、ＣＬ４、ＣＬ５、ＣＬ６ 畳み込み層
ＣＬ７、ＣＬ８ 畳み込み層
ＳＣＬ１、ＳＣＬ２、ＳＣＬ３ 標準畳み込み層
ＤＣＬ 変形可能な畳み込み層
Ｗ１、Ｗ２、Ｗ３、Ｗ４ サンプリングウィンドウ
ＳＡＭＰ、ｄＳＡＭＰ サンプリング点
ＭＦＭ 複合解像度特徴図
ＭＦＭ１、ＭＦＭ２、ＭＦＭ３、ＭＦＭ４ 複合解像度特徴図
ＧＰ グローバル予測
ＬＰｓ、ＬＰ１、ＬＰ２、ＬＰ３、ＬＰ４、ＬＰ５ ローカル予測
ＩＮＦＯ 入力情報
ＲＯＩ１、ＲＯＩ２、ＲＯＩ３ 関心領域位置
ＲＯＩ４、ＲＯＩ５、ＲＯＩ６ 関心領域位置
ＰＲ 提案領域
ＴＡＲ ターゲットグループ
ＮＴＧ 非ターゲットグループ
ＴＧ トレーニング基本的事実
ＩＭＧａ１ 第１の増幅医療用画像
ＩＭＧａ２ 第２の増幅医療用画像
ＭＦＭＧ 第１の複合解像度特徴図
ＭＧＭＬ 第２の複合解像度特徴図
ＢＣＨｉｎ 入力バッチ
ＢＣＨｏｕｔ 出力バッチ

Claims (11)

1. ニューラルネットワークモデルを記憶するためのメモリと、
   前記メモリに結合され、前記ニューラルネットワークモデルを実行するためのプロセッサと、
   を備え、
   前記ニューラルネットワークモデルは、
   医療用画像からそれぞれ解像度を有する複数の中間テンソルを抽出するための特徴抽出ユニットであって、前記特徴抽出ユニットは、異なる解像度を有する前記複数の中間テンソルを生成するための複数の畳み込み層を備え、前記特徴抽出ユニットの前記複数の畳み込み層は、複数の変形可能な畳み込み層を備え、前記複数の変形可能な畳み込み層の複数のサンプリング点が、前記複数の変形可能な畳み込み層の複数のサンプリングウィンドウに不均一に分布される、特徴抽出ユニットと、
   前記特徴抽出ユニットと連動し、前記複数の中間テンソルに基づいて複数の複合解像度特徴図を生成するための特徴ピラミッドネットワークと、
   前記複数の複合解像度特徴図に基づいて、前記医療用画像にターゲットオブジェクトが存在するか否かを示すためのグローバル予測を生成するための第１の出力ヘッドと、
   前記複数の複合解像度特徴図に基づいて、それぞれ前記医療用画像のターゲットオブジェクトの予測位置を示すための複数のローカル予測を生成するための第２の出力ヘッドと、を含み、
   前記プロセッサは、前記医療用画像、前記グローバル予測及び前記複数のローカル予測に基づいて出力情報を生成するために使用される医療用画像検出システム。
2. 前記複数の複合解像度特徴図のうちの少なくとも１つは前記特徴ピラミッドネットワークにより前記複数の中間テンソルのうちの少なくとも２つに基づいて生成され、前記複数の中間テンソルは、高い解析度を有する第１の中間テンソルと低い解析度を有する第２の中間テンソルとを含み、前記特徴ピラミッドネットワークは、前記第２の中間テンソルをアップサンプリングし且つ前記第１の中間テンソルと合わせて前記複数の複合解像度特徴図のうちの１つを生成するために使用される請求項１に記載の医療用画像検出システム。
3. 前記特徴抽出ユニットの前記複数の畳み込み層における最後の三層は、複数の変形可能な畳み込み層である請求項２に記載の医療用画像検出システム。
4. 前記第２の出力ヘッドは、
   前記複数の複合解像度特徴図に複数の関心領域位置を生成するための領域生成ネットワークと、
   前記複数の関心領域位置に基づいて前記複数の複合解像度特徴図から複数の提案領域を抽出するための位置合せモジュールと、
   前記複数の提案領域をそれぞれターゲットグループ又は非ターゲットグループに分類することで、前記ターゲットグループに属すると分類された前記複数の提案領域に基づいて前記複数のローカル予測を生成するための分類モジュールと、
   を含む請求項１に記載の医療用画像検出システム。
5. 前記第１の出力ヘッドは、複数の畳み込み層と、線形層と、前記グローバル予測を生成するための励起層と、を含む請求項１に記載の医療用画像検出システム。
6. 前記医療用画像は、胸部、腹部又は頭部に関するＸ線画像、コンピュータ断層画像又は核磁気共鳴造影画像を含み、前記ターゲットオブジェクトは結節又は腫瘍を含む請求項１に記載の医療用画像検出システム。
7. 医療用画像検出システムにより実行されるニューラルネットワークモデルをトレーニングすることに適用されるトレーニング方法であって、
   医療用画像及び前記医療用画像に関するトレーニング基本的事実を提供する工程と、
   前記医療用画像に対して第１の画像増幅を行って、第１の増幅医療用画像を生成する工程と、
   前記医療用画像に対して第２の画像増幅を行って、第２の増幅医療用画像を生成する工程と、
   前記第１の増幅医療用画像に基づいて前記ニューラルネットワークモデルの第１の出力ヘッドによりグローバル予測を生成する工程と、
   前記第２の増幅医療用画像に基づいて前記ニューラルネットワークモデルの第２の出力ヘッドにより複数のローカル予測を生成する工程と、
   前記グローバル予測を前記トレーニング基本的事実と比較することで、グローバル損失を計算する工程と、
   前記複数のローカル予測を前記トレーニング基本的事実と比較することで、ローカル損失を計算する工程と、
   前記グローバル損失及び前記ローカル損失に基づいて前記ニューラルネットワークモデルを逆伝送するように更新する工程と、
   を含み、
   前記ニューラルネットワークモデルは、前記第１の増幅医療用画像及び前記第２の増幅医療用画像から複数の中間テンソルを抽出するための特徴抽出ユニットを備え、前記特徴抽出ユニットは、異なる解像度を有する前記複数の中間テンソルを生成するための複数の畳み込み層を備え、前記特徴抽出ユニットの前記複数の畳み込み層は、複数の変形可能な畳み込み層を備え、前記複数の変形可能な畳み込み層の複数のサンプリング点は、前記複数の変形可能な畳み込み層の複数のサンプリングウィンドウに不均一に分布される、
   トレーニング方法。
8. 前記ニューラルネットワークモデルは、
   前記特徴抽出ユニットと連動し、前記複数の中間テンソルに基づいて複数の第１の複合解像度特徴図及び複数の第２の複合解像度特徴図を生成するための特徴ピラミッドネットワーク、
   を更に含む請求項７に記載のトレーニング方法。
9. 前記第１の画像増幅と前記第２の画像増幅はそれぞれ、
   複数の候補増幅操作から少なくとも１つの増幅操作を選択すること、及び
   選択された前記少なくとも１つの増幅操作を前記医療用画像に当てはめさせて、前記第１の増幅医療用画像又は前記第２の増幅医療用画像を生成することで行われる請求項７に記載のトレーニング方法。
10. 前記トレーニング方法は、前記第１の画像増幅と前記第２の画像増幅を行う時に、それぞれ異なる増幅操作を選択して当てはめさせる請求項９に記載のトレーニング方法。
11. ニューラルネットワークモデルを実行する医療用画像検出システムに適用される医療解析方法であって、
    医療用画像を取得する工程と、
    前記ニューラルネットワークモデルの特徴抽出ユニットを利用して、前記医療用画像からそれぞれ解像度を有する複数の中間テンソルを抽出する工程であって、前記特徴抽出ユニットは、異なる解像度を有する前記複数の中間テンソルを生成するための複数の畳み込み層を備え、前記特徴抽出ユニットの前記複数の畳み込み層は、複数の変形可能な畳み込み層を備え、前記複数の変形可能な畳み込み層の複数のサンプリング点が、前記複数の変形可能な畳み込み層の複数のサンプリングウィンドウに不均一に分布される、工程と、
    前記ニューラルネットワークモデルの特徴ピラミッドネットワークを利用して、前記複数の中間テンソルに基づいて複数の複合解像度特徴図を生成する工程と、
    前記ニューラルネットワークモデルの第１の出力ヘッドを利用して、前記複数の複合解像度特徴図に基づいて前記医療用画像にターゲットオブジェクトが存在するか否かを示すためのグローバル予測を生成する工程と、
    前記ニューラルネットワークモデルの第２の出力ヘッドを利用して、前記複数の複合解像度特徴図に基づいてそれぞれ前記医療用画像のターゲットオブジェクトの予測位置を示すための複数のローカル予測を生成する工程と、
    前記医療用画像、前記グローバル予測及び前記複数のローカル予測に基づいて出力情報を生成する工程と、
    を含む医療解析方法。

Images