JP7660566B2 - 三次元画像データを解析するためのシステム及び方法 - Google Patents

Description

＜関連出願の相互参照＞
本願は、米国仮特許出願第６２／９２６，０８８号（出願日：２０１９年１０月２５日）に係る優先権の利益を主張するものであり、当該米国仮特許出願の内容は全て、参照により本願の記載内容に含まれるものとする。

＜連邦政府の支援による研究に関する言明＞
なし。

三次元（３Ｄ）マンモグラフィとも呼ばれるデジタル乳房トモシンセシス（ＤＢＴ）は乳がんの検出において、従来のフルフィールド・デジタルマンモグラフィよりも優れた臨床性能を有することが示されている。フルフィールドマンモグラフィは、多くのビューについて乳房の全深さを表す二次元（２Ｄ）投影画像を生成することができる。それに対してＤＢＴは、乳房の薄いスライス（すなわち約１ｍｍの厚さのスライス）を表す２Ｄ画像を、１ビューあたり１０～１５０個以上生成することができる。

ＤＢＴはフルフィールドマンモグラフィよりも多くのデータを生成するので、人間の医師がＤＢＴ生成画像をふるいにかけ、悪性の腫瘍及び／又は病変の有無について診断を下すことが困難な場合がある。さらに、何を悪性の可能性のある領域とし、何をかかる領域としないかは、医師ごとにばらつきがあるため、同じ画像セットを用いても、患者が悪性の腫瘍及び／又は病変を有するか否かの判断が一致しないことがあり得る。

従って、３Ｄマンモグラフィデータをより効率的かつ正確に解析すると共に、３Ｄマンモグラフィデータを用いて悪性の腫瘍及び／又は病変を画一的に推定するシステム及び方法を実現することが望ましい。

本願開示は、３Ｄマンモグラフィデータを効率的かつ正確に解析すると共に、３Ｄマンモグラフィデータを用いて悪性の腫瘍及び／又は病変を画一的に評価するためのシステム及び方法を提供する。非限定的な一側面では、本願開示は患者の乳房組織の悪性可能性スコアを求めるための方法を提供する。本方法は、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を受け取るステップと、各二次元画像ごとに、訓練済みの第１のニューラルネットワークを含む第１のモデルに当該二次元画像を入力するステップと、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを第１のモデルから受け取るステップと、複数のインジケータと複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成するステップと、訓練済みの第２のニューラルネットワークを含む第２のモデルに合成二次元画像を入力するステップと、第２のモデルから悪性可能性スコアを受け取るステップと、悪性可能性スコアを含むレポートをメモリ又は表示部のうち少なくとも１つへ出力するステップと、を有する。

本方法では、インジケータは関連性スコアを含むことができ、前記生成するステップは、第１のインジケータと第２のインジケータとが重複することを判定するステップと、第１のインジケータの方が第２のインジケータより高い関連性スコアを有することを判定するステップと、第１のインジケータの方が高い関連性スコアを有すると判定された場合、第１のインジケータの少なくとも一部を合成二次元画像に含めるステップと、を有することができる。第１のインジケータは複数の二次元画像に含まれる第１の二次元画像に関連付けられることができ、また、第２のインジケータは複数の二次元画像に含まれる第２の二次元画像に関連付けられることができる。

本方法では、各インジケータは、強度値をそれぞれ有する画素のアレイと、関連性スコアと、を含むことができる。

前記生成するステップは、合成二次元画像に含まれる第１の画素が有する第１の強度値を、インジケータに含まれる第２の強度値に等しく設定するステップを含むことができる。

本方法では、前記生成するステップは、合成二次元画像に含まれる第１の画素が有する第１の強度値を、複数の二次元画像に含まれる第２の二次元画像に含まれる第２の強度値であってどのインジケータにも関連付けられていない第２の画素が有する第２の強度値に等しく設定するステップを有することができる。

本方法では、第２の二次元画像は少なくとも１つのインジケータに関連付けられることができる。

本方法では前記生成するステップは、複数のインジケータに含まれる第１のインジケータに関連付けられた第１のカバレッジ領域であって画素の第２のアレイを含む第１のカバレッジ領域を求めるステップと、複数のインジケータに含まれる第２のインジケータに関連付けられた第２のカバレッジ領域であって画素の第３のアレイを含む第２のカバレッジ領域を求めるステップと、第１のカバレッジ領域に含まれる第２の強度値と第２のカバレッジ領域に含まれる第３の強度値とに基づいて、合成二次元画像に含まれる第１の画素の第１の強度値を求めるステップと、を有することができる。第１のカバレッジ領域は、第１のインジケータに含まれない少なくとも１つの画素を含むと共に、第２のカバレッジ領域は、第２のインジケータに含まれない少なくとも１つの画素を含むことができる。第１の画素の第１の強度値を求めるステップは、第２の強度値に第１の重みを乗じたものと、第３の強度値に第２の重みを乗じたものと、の和に等しくなるように、第１の強度値を設定するステップを有することができる。

本方法では前記生成するステップは、第１のインジケータと第２のインジケータとが重複することを判定するステップと、第１のインジケータの方が第２のインジケータより高い関連性スコアを有することを判定するステップと、第１のインジケータの方が高い関連性スコアを有すると判定された場合、第２のインジケータのどの部分も合成二次元画像に含めないステップと、を有することができる。

三次元画像は、デジタル乳房トモシンセシスを用いて生成することができる。

本方法では、訓練済みの第１のニューラルネットワークは第１のサブネットワークを含むことができると共に、訓練済みの第２のニューラルネットワークは第２のサブネットワークを含むことができ、第１のサブネットワーク及び第２のサブネットワークの層及びフィルタの数は同数とすることができる。訓練済みの第２のニューラルネットワークは、初期の重み値として第１のニューラルネットワークの重み値のセットを用いて訓練されたものとすることができる。

本方法は、複数のインジケータから少なくとも１つのインジケータを取り出すステップと、複数のインジケータと複数の二次元画像のうち少なくとも１つとに基づいて第２の合成二次元画像を生成するステップと、をさらに有することができる。

本方法では、第１のモデルは、二次元のフルフィールド・デジタルマンモグラフィ画像に医師の注釈を付したものを含む画像データセットに基づいて訓練されることができる。本方法では、乳房組織の複数の二次元画像に含まれる各二次元画像は、三次元のデジタル乳房トモシンセシスボリュームに含まれるスライスとすることができる。

非限定的な他の一側面では、本願開示は、患者の乳房組織の合成二次元画像を生成するための方法を提供する。本方法は、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を受け取るステップと、各二次元画像ごとに、訓練済みのニューラルネットワークを含むモデルに当該二次元画像を入力するステップと、それぞれスコアを有する複数の関心領域であって、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数の関心領域を、モデルから受け取るステップと、ターゲットの関心領域が、複数の関心領域のうち当該ターゲットの関心領域の二次元位置と少なくとも部分的に重なるいずれかの関心領域の最高スコアを有することを判定するステップと、ただし二次元位置は、複数の各二次元画像によって共有されるものであり、ターゲットの関心領域と複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成するステップと、を有する。

本方法では、各関心領域は、それぞれ強度値を有する画素のアレイをさらに含むことができる。

本方法では前記生成するステップは、合成二次元画像に含まれる第１の画素が有する第１の強度値を、関心領域に含まれる第２の強度値に等しく設定するステップを含むことができる。

本方法では前記生成するステップは、合成二次元画像に含まれる第１の画素が有する第１の強度値を、複数の二次元画像に含まれる第２の二次元画像に含まれる第２の強度値であってどの関心領域にも関連付けられていない第２の画素が有する第２の強度値に等しく設定するステップを有することができる。

本方法では、前記生成するステップは、複数の関心領域に含まれる第１の関心領域に関連付けられた第１のカバレッジ領域であって画素の第２のアレイを含む第１のカバレッジ領域を求めるステップと、複数の関心領域に含まれる第２の関心領域に関連付けられた第２のカバレッジ領域であって画素の第３のアレイを含む第２のカバレッジ領域を求めるステップと、第１のカバレッジ領域に含まれる第２の強度値と第２のカバレッジ領域に含まれる第３の強度値とに基づいて、合成二次元画像に含まれる第１の画素の第１の強度値を求めるステップと、を有することができる。第１のカバレッジ領域は、第１の関心領域に含まれない少なくとも１つの画素を含むと共に、第２のカバレッジ領域は、第２の関心領域に含まれない少なくとも１つの画素を含むことができる。第１の画素の第１の強度値を求めるステップは、第２の強度値に第１の重みを乗じたものと、第３の強度値に第２の重みを乗じたものと、の和に等しくなるように、第１の強度値を設定するステップを有することができる。

本方法では、前記生成するステップは、第１の関心領域と第２の関心領域とが重複することを判定するステップと、第１の関心領域の方が第２の関心領域より高い関連性スコアを有することを判定するステップと、第１の関心領域の方が高い関連性スコアを有すると判定された場合、第２の関心領域のどの部分も合成二次元画像に含めないステップと、を有することができる。

本方法では、三次元画像は、デジタル乳房トモシンセシスを用いて生成されることができる。

本方法はさらに、前記複数の関心領域から少なくとも１つの関心領域を取り出すステップと、前記複数の関心領域と前記複数の二次元画像のうち少なくとも１つとに基づいて第２の合成二次元画像を生成するステップと、をさらに有することができる。

さらに他の非限定的な一側面では、本願開示は、患者の乳房組織の悪性可能性スコアを求めるためのシステムを提供する。本システムは、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を格納するように構成されたメモリと、メモリにアクセスするように構成されたプロセッサと、を備えており、プロセッサは、訓練済みの第１のニューラルネットワークを含む第１のモデルに各二次元画像を入力し、各二次元画像ごとに、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを第１のモデルから受け取り、複数のインジケータと複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成し、訓練済みの第２のニューラルネットワークを含む第２のモデルに合成二次元画像を入力し、第２のモデルを用いて悪性可能性スコアを求めるように構成されており、システムはさらに、悪性可能性スコアを含むレポートを表示するように構成された表示部を備えている。

上記方法では、モデルは、二次元のフルフィールド・デジタルマンモグラフィ画像に医師の注釈を付したものを含む画像データセットに基づいて訓練されることができる。上記方法では、乳房組織の複数の二次元画像に含まれる各二次元画像は、三次元のトモシンセシスボリュームに含まれるスライスとすることができる。

他の非限定的な一側面では、本願開示は、患者の乳房組織の合成二次元画像を生成するためのシステムを提供する。本システムは、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を格納するように構成されたメモリと、メモリにアクセスするように構成されたプロセッサと、を備えており、プロセッサは、訓練済みのニューラルネットワークを含むモデルに各二次元画像を入力し、各二次元画像ごとに、それぞれスコアを有する複数の関心領域であって、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数の関心領域を、モデルから受け取り、ターゲットの関心領域が、複数の関心領域のうち当該ターゲットの関心領域の二次元位置と少なくとも部分的に重なるいずれかの関心領域の最高スコアを有することを判定し、ただし二次元位置は、複数の各二次元画像によって共有されるものであり、ターゲットの関心領域と複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成する。

他の非限定的な一側面では、本願開示は、患者の乳房組織の悪性可能性スコアを求めるためのシステムを提供する。本システムは、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を格納するように構成されたメモリと、メモリにアクセスするように構成されたプロセッサと、を備えており、プロセッサは、訓練済みの第１のニューラルネットワークを含む第１のモデルに各二次元画像を入力し、各二次元画像ごとに、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを第１のモデルから受け取り、複数のインジケータと複数の二次元画像のうち少なくとも１つとに基づいて第１の合成二次元画像を生成し、第１の合成二次元画像と複数の二次元画像のうち少なくとも１つとに基づいて第２の合成二次元画像を生成し、第１の合成二次元画像と複数の二次元画像のうち少なくとも１つとに基づいて第３の合成二次元画像を生成し、訓練済みの第２のニューラルネットワークを含む第２のモデルに、第１の合成二次元画像と第２の合成二次元画像と第３の合成二次元画像とを入力し、第２のモデルを用いて悪性可能性スコアを求めるように構成されており、システムはさらに、悪性可能性スコアを含むレポートを表示するように構成された表示部を備えている。

さらに他の非限定的な一側面では、本願開示は、患者の乳房組織の合成二次元画像を生成するためのシステムを提供する。本システムは、乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像であってそれぞれスライス番号に関連付けられた複数の二次元画像を格納するように構成されたメモリと、メモリにアクセスするように構成されたプロセッサと、を備えており、プロセッサは、複数の二次元画像に含まれる第１の二次元画像と第２の二次元画像と第３の二次元画像とを、訓練済みのニューラルネットワークを含むモデルに入力し、ただし、第１の二次元画像に関連付けられたスライス番号と第２の二次元画像に関連付けられたスライス番号とは所定のオフセット値だけ異なっていると共に、第２の二次元画像に関連付けられたスライス番号と第３の二次元画像に関連付けられたスライス番号とは所定のオフセット値だけ異なっており、複数の二次元画像に含まれる各二次元画像ごとに、それぞれスコアを有する複数の関心領域であって、複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数の関心領域を、モデルから受け取り、ターゲットの関心領域が、複数の関心領域のうち当該ターゲットの関心領域の二次元位置と少なくとも部分的に重なるいずれかの関心領域の最高スコアを有することを判定し、ただし二次元位置は、複数の各二次元画像によって共有されるものであり、ターゲットの関心領域と複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成する。

一例のＸ線イメージングシステムを示すブロック図である。 三次元トモシンセシスデータの二次元スライスの関心領域を生成するためのモデルの一実施形態例を示すブロック図である。 トモシンセシスデータの二次元スライスにおいて関心領域を検出するために訓練されたモデルを用いて合成画像を作成する処理における工程の数例を示すフローチャートである。 一例の仮合成画像に関連付けられた関心領域を示す模式図である。 図４の一例の仮合成画像に関連付けられた関心領域及びカバレッジ領域を示す他の一概略図である。 悪性可能性スコアを生成するための一例の二次モデルを示す他のブロック図である。 乳房組織における腫瘍及び／又は病変の悪性を推定するために訓練されたモデルを用いて合成画像を作成する処理における工程の一例を示すフローチャートである。 図７の処理の視覚的データフローパスを示す画像の集合である。 ３Ｄトモシンセシスデータの第１の２Ｄスライスに基づいて３Ｄトモシンセシスデータの第２の２Ｄスライスの関心領域（ＲＯＩ）を生成するためのモデルの一実施形態例と、３Ｄトモシンセシスデータの当該第２の２Ｄスライスと、３Ｄトモシンセシスデータの第３の２Ｄスライスである。 図９のモデルを用いて合成画像を生成するための処理である。 悪性可能性スコアを生成するための他の一例の二次モデルである。 乳房組織における腫瘍及び／又は病変の悪性を推定するために訓練されたモデルを用いて３つの合成画像を作成し、当該合成画像に基づいて悪性可能性スコアを生成するための処理である。

本願では、１つ又は複数の合成された二次元（２Ｄ）画像を用いて三次元（３Ｄ）断層撮影データの関連性の高い領域を高効率かつ画一的に表示すると共に、機械学習技術を用いて１つ又は複数の合成された画像を用いて悪性を高効率かつ画一的に判断するためのシステム及び方法例を開示する。

下記に記載するシステム及び方法以外にも、乳房組織の３Ｄトモシンセシスデータの関連性の高い領域を解析し、並びに／又は腫瘍及び／若しくは病変の悪性を判断するための手法が存在し得るが、これらは全て欠点を有する。かかる手法の１つは、３Ｄマンモグラムに含まれる全てのスライスの関連性の高い領域に、人間の医師のラベルを設けることである。人間ベースの手法は、人間の医師が１つ１つの２Ｄスライスにラベルを付与するためにかなりの時間がかかるので、高コストかつ低速度になり得る。その上、人間ベースの手法は、人間の医師ごとに傾向や熟練レベルが異なるため、一貫性が無いことがあり得る。

他の一手法は、３Ｄ断層撮影データセットの全部（すなわち３Ｄ断層撮影データセットに含まれる全部のスライス）を受け取る機械学習モデルであって、乳房組織に存在する腫瘍及び／又は病変の悪性を示す悪性可能性スコアを出力する機械学習モデルを訓練することである。この手法は、そのデータのサイズと、データ処理システムのメモリ限界のため、実現不可能であり、また、オーバーフィッティングを起こしやすくなる可能性もある。

さらに他の一手法としては、２Ｄスライスのセットからスライスをランダムに選択し、又は２Ｄスライスのセットからデフォルトのスライス（具体的には、２５番目のスライス又は真ん中のスライス等）をサンプリング若しくは選択して、当該スライスに基づき悪性可能性スコアを出力するように機械学習モデルを訓練する手法もあり得る。この手法もまた、腫瘍及び／又は病変が存在する場合にスライスがこれを含まない可能性があるため、オーバーフィッティングを起こしやすくなることがある。

図１を参照すると、３Ｄデジタル乳房トモシンセシス（ＤＢＴ）システム等のＸ線イメージングシステム１００の一例が示されている。Ｘ線イメージングシステム１００は、アーム１０２の第１端１１０に結合されたＸ線源アセンブリ１０８を備えることができる。反対側の端部１１４付近には、Ｘ線検出アセンブリ１１２を結合することができる。Ｘ線源アセンブリ１０８は、アーム１０２に対して実質的に垂直に延在することができると共に、Ｘ線検出アセンブリ１１２に向けることができる。Ｘ線検出アセンブリ１１２はまた、Ｘ線源アセンブリ１０８によって生成されて乳房を通過しＸ線検出アセンブリ１１２に入射したＸ線を受け取るようにアーム１０２から延在している。Ｘ線源アセンブリ１０８とＸ線検出アセンブリ１１２との間には、乳房台プレート１１６及び乳房圧迫プレート１１８が配置される。Ｘ線源アセンブリ１０８は定置型又は可動型とすることができる。Ｘ線イメージングシステム１００は、３Ｄ ＤＢＴデータを含む再構成画像を生成することができる。３Ｄ ＤＢＴデータは複数の２Ｄスライスを含むことができる。一部の実施形態では、再構成画像は、約１ｍｍの厚さを有する複数の２Ｄスライスを含む３Ｄ断層撮影データを含むことができる。２Ｄスライスは、合成２Ｄ画像を作成するために使用することができ、これについては下記にて説明する。一部の実施形態では、Ｘ線イメージングシステム１００は、例えば２Ｄスライスのサブセットの最高強度投影等を表す中間の二次元「スラブ」を生成することができる。例えば、１０個のスライスから１つの最高強度投射スラブを生成することができ、また、１０～１００個のスライス等の複数のスライスから複数のスラブを生成することができる。再構成された画像はコンピュータ１２６への入力として利用することができ、コンピュータ１２６はこの再構成画像を大容量記憶装置１２８に記憶し、大容量記憶装置１２８はメモリを含むことができる。コンピュータ１２６は、再構成画像の生成を制御するために、Ｘ線イメージングシステム１００に指令を供給することもできる。

図２を参照すると、３Ｄトモシンセシスデータの二次元（２Ｄ）スライス２０４の関心領域（ＲＯＩ）を生成するためのモデル２００の一実施形態例が示されている。ＲＯＩはインジケータと称され得る。モデル２００は２Ｄスライス２０４を受け取り、任意の数のＲＯＩ、例えば、第１の領域２０８Ａ及び第１のスコア２０８Ｂを含む第１のＲＯＩと、第２の領域２１２Ａ及び第２のスコア２１２Ｂを含む第２のＲＯＩと、を受け取ることができる。各ＲＯＩは、当該ＲＯＩを生成する元となった２Ｄスライスを示すスライス番号に関連付けることができ、例えば、７５個の２Ｄスライスのセットのうち４番目のスライスのスライス番号等に関連付けることができる。スライス番号は、下記にて説明するように、合成画像を作成するためにＲＯＩを選択し及び／又は組み合わせる際に使用することができる。２Ｄスライス２０４の特徴に依存してゼロＲＯＩを出力することができ、例えば、悪性の可能性を十分に示唆する領域を当該２Ｄスライス２０４が有しないと判断される場合にはゼロＲＯＩを出力することができる。各ＲＯＩは、２Ｄスライス２０４の部分領域とすることができる領域を含むことができる。上述のように、各２Ｄスライスは画素のアレイの形式とすることができる。部分領域は、この画素アレイのサブセットとすることができる。一部の実施形態において、モデル２００は、２Ｄ画像内の物体を検出するように構成された１つ以上のニューラルネットワークを含むことができる。上記物体はＲＯＩとすることができる。

一部の実施形態では、モデル２００は、所定の形状に従うＲＯＩを出力することができる。例えば、方形のバウンディングボックスを用いて腫瘍又は病変の可能性のある候補を囲むことができる。可能性のある腫瘍又は病変の輪郭をより良く描出するため、不規則な形状（例えば画素の「ブロブ」等）を用いることも可能である。ＲＯＩの訓練データベースを作成する場合、人間の医師は、方形のバウンディングボックスを使用する方が他の形状のバウンディングボックスよりも直感的に感じることができる。物体を識別するためにセグメンテーションマスクベースの手法を用いるニューラルネットワークを用いて、不規則な形状の予測ＲＯＩを出力することも可能である。その後、２Ｄスライス２０４に含まれる画素の部分アレイを含む方形のＲＯＩを識別するようにモデル２００を訓練することができる。ＲＯＩの各画素は、１つ以上のカラー強度値（例えば白色強度値等）と、２Ｄスライス２０４における位置（例えば、２０００×１５００画素スライスにおける特定の（ｘ，ｙ）位置の画素）と、を有することができる。マンモグラフィイメージングシステムの中には、乳房組織のグレイスケール画像を生成するものがあるが、上記モデルはカラー２Ｄスライスと共に用いることが可能であることが明らかである。３Ｄトモシンセシスデータの各２Ｄスライスは同一サイズとすることができ、例えば２０００×１５００画素等とすることができる。

ＲＯＩは画素の部分アレイの他にさらに、関連性スコアを有することができ、この関連性スコアは、当該画素の部分アレイが悪性可能性スコアの決定にどの程度関連しているかを示すものである（これについては、下記にて図７を参照して説明する）。関連性スコアは、下記にて詳細に説明するように、１つ以上のＲＯＩを使用して合成２Ｄ画像を作成するために使用することができる。関連性スコアは、０～１等の数値範囲から選択することができる。訓練データセットに係るＲＯＩを識別する場合、人間の医師は、上記の数値範囲の中で各ＲＯＩに関連性スコアを割り当てることができる。これに代えて、人間の医師は０～１００等の異なるスケール（スコアが高いほど悪性の可能性が高いことを示す）を用いて関連性スコアを割り当てることができ、この関連性スコアはその後、モデル２００によって用いられる関連性スコア範囲に正規化されることができる。一部の実施形態では、人間の医師は、悪性の可能性のあるＲＯＩを識別するようにモデル２００をより良好に訓練するため、ＲＯＩを良性であると識別する作業を行うことができる。

一部の実施形態では、モデル２００は、畳み込みニューラルネットワーク等のニューラルネットワークを含むことができる。モデル２００を訓練するためには、フルフィールド・デジタルマンモグラフィ（ＦＦＤＭ）画像並びに／又は３Ｄトモシンセシス画像のセットからのスライス及び（例えば１人以上の医師により）事前識別されたＲＯＩにより構成される２Ｄデータを含む訓練データセットを用いて、モデルを訓練することができる。人間の医師は、与えられた２Ｄ画像を診察し、方形のボックス等の予め定められた形状を用いて、関心対象となり得るいずれかの領域の輪郭を把握することによりＲＯＩを識別し、腫瘍及び／又は病変の評価における自己の医学知識及び／又は経験に基づいて上記の予め定められた形状に関連性スコアを割り当てることができる。これに代えて、病変が悪性か否かを示す病理検査結果に基づいて関連性スコアを割り当てることもできる。複数のＦＦＤＭ画像から取得された２Ｄ画像又は３Ｄトモシンセシス画像のスライス（例えば複数の患者の画像等）におけるＲＯＩの識別（例えば注釈付与等）を１人以上の医師に行わせることにより、大きな訓練データベースを生成することができる。ＦＦＤＭ画像を使用する１つの利点は、現在、注釈付きの３Ｄトモシンセシス画像よりも、公衆に利用可能となっている注釈付きＦＦＤＭ画像の方が多いことである。さらに、２Ｄ画像への注釈付与は３Ｄトモシンセシス画像よりも容易であり、３Ｄトモシンセシス画像の場合、各３Ｄトモシンセシス画像に含まれる大量の個々のスライスに注釈を付与しなければならないことがある。モデル２００は訓練された後、入力２Ｄスライスを受け取って、推定された関連性スコアと当該入力２Ｄスライスの画素の部分アレイとをそれぞれ含む１つ又は複数のＲＯＩを出力することができる。

モデル２００は、畳み込み層等の多数の層を含むことができる。モデルのいくつかの実施形態２００は、層の数が異なっていたり、層の配列が異なっていたり、他の相違があったりすることが理解される。しかし、全ての実施形態において、モデル２００は入力２Ｄ入力スライスを受け取り、入力２Ｄ入力スライスに関連付けられた何らかの関心領域を出力することができる。モデル２００は、１つ以上のサブネットワークを含む一段の検出ネットワークとすることができる。

モデル２００は、第１のサブネットワーク２１６を含むことができる。第１のサブネットワーク２１６は、１つ以上の層２１８Ａ～Ｃを有するフィードフォワード残差ニューラルネットワーク（「ＲｅｓＮｅｔ」）とすることができる。単一のニューラルネットワークのバックボーンとして第１のサブネットワーク２１６を用いて当該単一のニューラルネットワークを有効に作成するため、第１のサブネットワークのトップに第２のサブネットワーク２２０を形成することができる。第２のサブネットワーク２２０は、第１の層２２２Ａと第２の層２２２Ｂと第３の層２２２Ｃとを含む複数の層を含むことができるが、使用する層数を変えることもでき（具体的には５層）、図中では簡単化のために３層が示されている。第１の層２２２Ａ、第２の層２２２Ｂ及び第３の層２２２Ｃの各層は、畳み込み層とすることができる。各層は多数の構成ブロック（不図示）から成ることができる。各構成ブロックは、３つのパラメータ層等の多数のパラメータ層を含むことができ、各パラメータ層は特定のフィルタサイズ（例えば３×３等）の多数のフィルタ（例えば２５６個等）を有する。第１の層２２２Ａ、第２の層２２２Ｂ及び第３の層２２２Ｃの各層は、１４４×１４４、７２×７２、３６×３６等の関連付けられた出力サイズを有することができる。出力サイズは、前処理条件及び／又はパラメータに基づき入力スライスごとに変わることができる。第２のサブネットワーク２２０の各層の間で出力サイズが減少するに従い、パラメータ層のフィルタ数を比例的に増加させることができる。すなわち、出力サイズが半減するとフィルタ数は２倍になる。第２のサブネットワークはまた、最終層（すなわち第３の層２２２Ｃ）に接続されたグローバル平均プーリング層と、グローバル平均プーリング層に接続された全結合層と、全結合層に接続された出力サイズ１×１（すなわち単一値）のソフトマックス層と、を含むことができる。

モデル２００は、第１の三次ネットワーク２２４Ａ、第２の第三次ネットワーク２２４Ｂ及び第３の三次ネットワーク２２４Ｃ等の複数の三次サブネットワークを含むことができる。各三次ネットワーク２２４Ａ～Ｃは、第２のサブネットワーク２２０の層に接続することができる。第１の三次ネットワーク２２４Ａは第１の層２２２Ａに接続することができ、第２の三次ネットワーク２２４Ｂは第２の層２２２Ｂに接続することができ、第３の三次ネットワーク２２４Ｃは第３の層２２２Ｃに接続することができる。各三次ネットワークは、異なるスケールレベルで腫瘍及び／又は病変を検出するため、第２のサブネットワーク２２０の層から特徴を受け取ることができる。

各三次ネットワークは、ボックス回帰サブネットワーク２２６を含むことができる。ボックス回帰サブネットワーク２２６は１つ以上の畳み込み層２２８Ａ～Ｂを含むことができ、各畳み込み層２２８Ａ～Ｂには正規化線形（ＲｅＬＵ）活性化部が後続し、ボックス回帰サブネットワーク２２６はまた最終畳み込み層２３０を含むことができ、これは、第２のサブネットワーク２２０の層のうち一層の一部に関連付けられたアンカーに対応する回帰座標を出力するものである（この回帰座標は、入力２Ｄスライス２０４の画素のアレイに対応する）。アンカーは、第２のサブネットワーク２２０の複数の層の予め決定された部分アレイとすることができる。回帰座標は、アンカーと、予測されたバウンディングボックスと、の間の予測されたオフセットを表すことができる。ＲＯＩに含まれる各バウンディングボックスごとに、回帰座標のセット（例えば４つの回帰座標等）と、これに対応するアンカーとを使用して、バウンディングボックスの座標を計算することができる。

各三次ネットワークは分類サブネットワーク２３２を含むことができる。分類サブネットワーク２３２は１つ以上の畳み込み層２３４Ａ～Ｂを含むことができ、各畳み込み層２３４Ａ～ＢにはＲｅＬＵ活性化部が後続し、分類サブネットワーク２３２はさらに最終畳み込み層２３８を含むことができ、最終畳み込み層２３８には、物体の有無（すなわち悪性の腫瘍及び／又は病変の有無）の予測を出力するシグモイド活性化部が後続する。分類サブネットワーク２３２を使用して、患者が２Ｄスライス２０４の複数の空間位置において悪性の腫瘍及び／又は病変を有するか否かの１つ以上の推定結果を得ることができる。より具体的には、各バウンディングボックスは、分類サブネットワークによって出力された推定スコアと関連付けることができる。一部の実施形態では、各推定スコアの値は０から１の範囲とすることができる。空間位置のうち１つは、第２のサブネットワーク２２０の一層すなわち第１の層２２２Ａの全部を含むことができる。このようにして分類サブネットワーク２３２は、患者が悪性の腫瘍及び／又は病変を有するか否かの推定結果を２Ｄスライスに基づいて出力することができる。最終畳み込み層２３８にはモデルでソフトマックス活性化部が後続することができ、これは、複数の種類の悪性領域、例えば複数の悪性レベル（例えば低リスク領域、ハイリスク領域等）等を分類するように訓練されたものである。

モデル２００は、様々なスケールにわたるデータを正規化し、バウンディングボックス座標を計算し、低スコアのバウンディングボックス予測をフィルタリングにより除外する出力層２５０を含むことができる。出力層２５０は、三次サブネットワーク２２４Ａ～Ｃの出力を受け取って１つ又は複数のＲＯＩを出力することができ、これらの各ＲＯＩはそれぞれ、２Ｄスライス２０４のアレイサイズにスケーリングされた画素のアレイと、関連付けられたスコアと、を有する。画素アレイは、回帰座標とアンカーとに基づいて計算されるバウンディングボックス（例えば方形のバウンディングボックス等）とすることができる。出力層２５０は、所定の閾値未満、例えば０．５未満の全てのスコアをフィルタリングにより除外することができる。一部の実施形態では、出力層２５０は、三次サブネットワーク２２４Ａ～Ｃから出力を受け取って、１つの悪性可能性スコアを出力することができる。一部の実施形態では、上記の１つの悪性可能性スコアとして、最高スコアのバウンディングボックスのスコアを選択することができる。

図１及び図３を参照すると、３Ｄトモシンセシスデータの２Ｄスライス内のＲＯＩを検出するように訓練されたモデルを使用して合成画像を作成するための処理３００が示されている。処理３００は、モデルから出力された最も関連するＲＯＩのうち１つ以上を選択し、この１つ以上のＲＯＩを用いて合成画像を作成するための１つ以上の工程を含むことができる。処理３００は、データ処理システムが有する１つ以上のメモリ上に指令として実装することができる。データ処理システムはさらに、上記の１つ以上のメモリと通信すると共に上記の指令を実行するように構成された１つ以上のプロセッサを備えることができる。上記の１つ以上のプロセッサは、多数の二次元スライスを含む３Ｄトモシンセシスデータを記憶したメモリにアクセスするように構成することができ、このメモリは、大容量記憶装置１２８に含まれるものとすることができる。

処理３００は３０４において、患者の乳房組織の３Ｄトモシンセシスデータを受け取ることができる。３Ｄトモシンセシスデータは、Ｘ線イメージングシステム１００等の３Ｄマンモグラフィイメージングシステムによって生成することができる。３Ｄトモシンセシスデータは、乳房組織の例えば１ｍｍ等の所定の厚さに相当する多数の２Ｄスライスを含むことができる。患者及び／又はイメージングシステムに依存して、３Ｄトモシンセシスデータは約１０～１５０個以上の２Ｄスライスを含むことができる。各２Ｄスライスは所定のサイズの画素アレイとすることができ、例えば２０００×１５００画素等とすることができる。その後、処理３００は３０８に進むことができる。

処理３００は３０８において、多数の各２Ｄスライスを訓練済みのモデルに入力することができ、このモデルは、２Ｄスライスに基づいてＲＯＩを検出できるものである。この訓練済みモデルは、上述したモデル２００とすることができる。一部の実施形態では、全部の２Ｄスライスを訓練済みモデルに入力することができる。一部の実施形態では、２Ｄスライスのサブセットを訓練済みモデルに入力することができ、例えば４つおきに２Ｄスライスを入力することができる。その後、処理３００は３１２に進むことができる。一部の実施形態では、訓練済みモデルは、医師によって注釈が付された二次元フルフィールド・デジタルマンモグラフィ画像を含む画像データセットに基づいて訓練されたものとすることができる。

処理３００は３１２において、モデルに入力された各２Ｄスライスごとに、モデルが出力した多数のＲＯＩを受け取ることができる。モデルは、ゼロＲＯＩ、１つのＲＯＩ、又は複数のＲＯＩを出力することができる。２Ｄスライス及び／又はモデルに依存して、大部分のスライスがＲＯＩを全く有しないことがあり得る。上述したように、ＲＯＩはスコアと、２Ｄスライスの画素の部分アレイとを有することができ、各画素は強度値と当該２Ｄスライスにおける位置とを有する。各ＲＯＩはスライス番号に関連付けることができ、このスライス番号から、３Ｄトモシンセシスデータのうちどの２Ｄスライスが当該ＲＯＩを生成する元となったかが分かる。その後、処理３００は３１６に進むことができる。

処理３００は３１６において、複数のＲＯＩから、所定の閾値を下回るスコアを有する全てのＲＯＩをフィルタリングにより除外することができる。閾値は、（より高いを選択することによって）より多くのＲＯＩを最終合成画像に含めるように若しくは（より低い閾値を選択することによって）最終合成画像に含めるＲＯＩがより少なくなるように、（より低い閾値を選択することによって）可能性のある誤った負の結果を低減するように、及び／又は、（より高い閾値を選択することによって）可能性のある誤った正の結果を低減するように、選択することができる。例えば、スコアが０～１の範囲内である場合、ユーザは０．５の閾値を選択することができる。その後、処理３００は複数のＲＯＩから、０．５を下回るスコアを有する全てのＲＯＩを除去することができる。その後、処理３００は３２０に進むことができる。

処理３００は３２０において、複数のＲＯＩが少なくとも１つのＲＯＩを含むか否かを判定することができる。その後、処理３００は３２４に進むことができる。

処理３００は３２４において、複数のＲＯＩが少なくとも１つのＲＯＩを含まないと判定した場合（３２４における「いいえ」）、３２８に進むことができる。あるいは、複数のＲＯＩが少なくとも１つのＲＯＩを含むと判定した場合、処理３００は３３２に進むことができる。

処理３００は３２８において、どのＲＯＩも使用せずに最終合成画像を生成することができる。一部の実施形態では、処理は、３Ｄトモシンセシスデータに含まれる２Ｄスライスのうち、最終合成画像として使用されるデフォルトスライスを選択することができる。デフォルトスライスはランダムに選択することができ、又は、２Ｄスライスのうち最初のスライス（例えば７５個の２Ｄスライスのうち最初のスライス等）を選択することができ、又は、２Ｄスライスのうち最後のスライス（例えば７５個の２Ｄスライスのうち７５番目のスライス等）、又は、２Ｄスライスのうち真ん中のスライス（例えば７５個の２Ｄスライスのうち３８番目のスライス等）を選択することができる。その後、デフォルトスライスの各画素を最終合成画像の画素として含めることができる。

一部の実施形態では、処理３００は、最終合成画像に含めるべき画素として、２Ｄスライス内の特定の画素位置（例えばアレイ内の（ｘ，ｙ）位置等）で最大の強度値を有する画素を選択することができる。換言すると、処理３００は、２Ｄスライスに基づいて最終的な合成図形を生成するために最大強度の投影（projection）を使用することができる。最終合成画像は、各２Ｄスライスと等しい寸法を有することができる。処理３００は各画素位置ごとにどの（１つ又は複数の）スライスが最大の強度値を有するかを判定することができ、また、当該画素位置における最大強度値を最終合成画像に用いることができる。このようにして、可能性のある病変に相当し得る最大強度の画素を最終合成画像に含めることができる。

一部の実施形態では、処理３００は、各画素位置ごと２つ以上の２Ｄスライスの２つ以上の強度値の平均をとることができる。これら２つ以上の２Ｄスライスの選択は、ｘ番目ごとの２Ｄスライス（具体的には３番目ごと又は５番目ごとのスライス）を選択することにより、又は、最初の２Ｄスライスと最後の２Ｄスライスとを選択することにより、又は、２Ｄスライスの他のサブセットを選択することにより、又は、２Ｄスライスに含まれる全てのスライスを選択することにより行うことができる。その後、各画素位置の強度値の平均をとって乳房組織の全体ビューを提供することができる。

処理３００は３３２において、仮合成画像の領域に、複数のＲＯＩに含まれる１つ又は複数のＲＯＩを配置する（populate）ことができる。仮合成画像は、最終合成画像と同一サイズのアレイであって各画素強度値をnull値に初期化したものとすることができる。処理３００はその後、１つ又は複数のＲＯＩを仮合成画像に追加することができる。ＲＯＩは、１つ又は複数の基準に基づいて追加することができる。一部の実施形態では、処理は、各画素位置ごとに最高スコアを有するＲＯＩを求めることができる。その後、当該画素位置における仮合成画像の強度値を、当該画素位置におけるＲＯＩの強度値に等しく設定することができる。特定の画素位置において複数のＲＯＩが同一スコアを有する場合には、画素数が最大であるＲＯＩ、及び／又は、当該画素位置を取り囲む画素数が最大であるＲＯＩ、及び／又は、当該画素位置における強度値が最大であるＲＯＩを、当該画素位置におけるＲＯＩとして選択することができる。一部の実施形態では、仮合成画像への配置は、ＩｏＵ（intersection-over-union）閾値に基づいて行うことができる。特定の画素において複数のＲＯＩが重なり合う場合、処理３００は最高スコアのＲＯＩを除く全てのＲＯＩを「抑圧」することができ、この抑圧は、より低いスコアのＲＯＩを仮合成画像への配置に用いないことにより行われる。仮合成画像に配置するために用いられるＲＯＩは複数のＲＯＩから除去することができ、また、下記にて説明するように、複数のＲＯＩに残ったどのＲＯＩも、追加の合成画像を作成するために用いることができる。これに代えて、仮画像に配置するために用いられた高スコアのＲＯＩは、当該仮画像では用いられなかった低スコアのどのＲＯＩとも当該高スコアのＲＯＩが重なり合わない追加の合成画像に配置することができる。例えば、スコアが０．８５及び０．７５のＲＯＩを、仮画像への配置に用いることができる。スコアが０．８５のＲＯＩは、スコアが０．６５のより低いスコア化ＲＯＩと重複することがあり（例えば、スコアが０．６５のＲＯＩと同じ画素位置の少なくとも１つを占める）、そして０．７５のＲＯＩは、スコアが０．６５のＲＯＩと重複しないことがある。次いで、スコアが０．７５のＲＯＩ及びスコアが０．６５のＲＯＩを用いて、追加の合成画像を生成することができる。また、仮合成画像の各画素を、当該特定の画素の与えられた強度値を追加するために使用されるＲＯＩのスライス番号に関連付けることができる。その後、処理３００は３３６に進むことができる。

処理３００は３３６において、仮合成画像のうち配置されなかった領域を埋めることができる。一部の実施形態では、処理３００はウォーターシェッド・バイ・フラッディング（watershed-by-flooding）アルゴリズムを用いて、配置されなかった領域を埋めることができる。ウォーターシェッド・バイ・フラッディング・アルゴリズムを実行するため、処理３００は、各ＲＯＩに関連付けられた２Ｄスライスに基づいて、配置されなかった領域への配置を行うことができる。処理３００は、特定のＲＯＩの画素によって初期化された各２Ｄスライスごとに、カバレッジ領域を生成することができる。例えば、１つのＲＯＩが座標（１０，１１）、（５０，１１）、（１０，４０）及び（５０，４０）に角を有する画素のアレイを有するとすると、処理はこの画素のアレイを２Ｄスライスのカバレッジ領域に含めることができる。その後処理３００は、仮合成画像の各画素がスライス番号に関連付けられるまで、ひいては拡張によって２Ｄスライスに関連付けられるまで、カバレッジ領域を繰り返し拡張することができる。各画素が２Ｄスライスに関連付けられた後、処理３００は各画素位置ごとに、仮合成画像の各画素の強度値を、関連付けられた２Ｄスライスの当該特定の画素位置における画素の強度値に等しく設定することができる。処理３００は、仮合成画像の全ての画素がスライス番号に関連付けられるまで、ひいては拡張によって２Ｄスライスに関連付けられるまで、各カバレッジ領域を繰り返し拡張することができる。一部の実施態様では、処理は各カバレッジ領域を上下左右に１画素拡張することができる。例えば、カバレッジ領域が座標（１０，１１）、（５０，１１）、（１０，４０）及び（５０，４０）に角を有する画素のアレイを有する場合、処理はこのアレイを、座標（９，１０）、（５１，１０）、（９，４１）、及び（５１，４１）に角を有するように拡張することができる。処理３００は、カバレッジ領域をさらに拡張させると他のカバレッジ領域に既に関連付けられた画素に拡張してしまう隣接カバレッジ領域、又は、仮合成画像が終了する隣接カバレッジ領域、との境界において、カバレッジ領域の拡張を停止することができる。処理３００によって複数のカバレッジ領域が同一の画素に拡張するような場合には、処理３００は、最高スコアのＲＯＩに関連付けられたカバレッジ領域を当該画素に拡張することができる。処理３００は上記のプロトコルに従い、仮合成画像の全ての画素が１つのカバレッジ領域に関連付けられ、ひいては拡張により１つの２Ｄスライスに関連付けられるまで、カバレッジ領域を繰り返し拡張することができる。

一部の実施形態では、処理３００は「傾きベース」技術を用いて、配置されなかった領域を埋めることができる。処理は、スライスからカバレッジ領域を所定の反復回数で繰り返し拡張し、その後、隣接スライスを用いて、中央のスライスに達するまで、配置されなかった領域への配置を継続することができる。一例として、処理３００は、スライス数４０のＤＢＴボリューム（つまり、スライス２０が中央のスライスとなる）のうちスライス５のＲＯＩを用いて、例えば１０回等の所定の反復回数で、配置されなかった領域に配置するためにＲＯＩを拡張することができる。１０回目の繰り返しの後、処理３００は６番目のスライスを用いて、配置されなかった領域への配置を継続することができる。このようにして、元のＲＯＩから１０画素の距離内に配置されている画素は５番目のスライスに含められるが、次の１０画素は６番目のスライスに含められる。処理３００は、中央のスライス番号（すなわち２０）に達するまで、配置されなかった領域に配置するために使用されるスライス番号の増加（又は、元のスライス番号が中央のスライスより大きい場合、例えば３６番目のスライスの場合には、スライス番号の減少）を継続することができ、中央のスライス番号に達すると、他の残りの拡張は全てスライス２０から開始する。この「傾きベース」手法により、２つのＲＯＩが接触した場合により滑らかな接合部を得ることができると共に、乳房のより「模範的な」ビューを提供することができる。さらに、処理３００は元のＲＯＩの空間位置を、中央のスライスを基準とする空間位置により良好に一致するように調整することもできる。例えば、中央のスライスより前及び後の時点のスライスは、中央のスライスより多くの画像を取り込む（take up）乳房境界を有することができ、その際、処理は最終合成画像におけるＲＯＩの位置を調整することができる。

一部の実施形態では、処理３００はデフォルトスライスに基づいて、仮合成画像のうち配置されなかった領域を埋めることができる。一部の実施形態では、処理は、仮合成スライスの配置されなかった領域を埋めるために使用するため、３Ｄトモシンセシスデータに含まれる２Ｄスライスのデフォルトスライスを選択することができる。デフォルトスライスはランダムに選択することができ、又は、２Ｄスライスのうち最初のスライス（例えば７５個の２Ｄスライスのうち最初のスライス等）を選択することができ、又は、２Ｄスライスのうち最後のスライス（例えば７５個の２Ｄスライスのうち７５番目のスライス等）、又は、２Ｄスライスのうち真ん中のスライス（例えば７５個の２Ｄスライスのうち３８番目のスライス等）を選択することができる。処理３００は、配置されなかった各画素をデフォルトスライスのスライス番号に関連付け、仮合成画像の当該配置されなかった各画素の強度値を、デフォルトスライスにおける各対応する画素位置の画素の強度値に等しくなるように設定することができる。一部の実施形態では、処理３００は、２Ｄスライス内の特定の画素位置（例えばアレイ内の（ｘ，ｙ）位置等）における最大強度値を有する画素を選択し、配置されなかった画素の強度値を当該最大強度値に等しくなるように設定することにより、当該配置されなかった画素の強度値を設定することができる。換言すると、処理３００は、２Ｄスライスに基づいて、配置されなかった画素の強度値を埋めるために最大強度の投影を用いることができる。処理３００は各画素位置ごとに、どの（１つ又は複数の）スライスが最大の強度値を有するかを判定し、仮合成画像の各画素を、最大強度値を有する２Ｄスライスのスライス番号に関連付け、配置されなかった画素の強度値を、全ての２Ｄスライスを通じて当該画素位置における最大の強度値に等しくなるように設定することができる。このようにして、可能性のある病変に相当し得る最大強度の画素を仮合成画像に含めることができる。

一部の実施形態では、全ての画素に強度値が配置された仮合成画像を処理３００が生成した後、処理３００は、仮合成画像の後処理を行う３４０に進むことができる。一部の実施形態では、処理３００は、最終合成画像を仮合成画像と等しくなるように設定して、３４４に進むことができる。

処理３００は３４０において、仮合成画像に対し後処理を行うことができる。一部の実施形態では、処理３００は、仮画像のカバレッジ領域間の境界効果が生じている場合にこれを低減するため、当該カバレッジ領域のエッジをブレンディング処理することができる。上述のように、仮画像の各画素は、スライス番号及び／又は２Ｄスライスに関連付けることができる。仮画像における２つのカバレッジ領域が互いに接する位置の近傍にある画素の領域では、処理３００は、各カバレッジ領域の特定の画素の画素位置における強度値に基づいて、上記の画素の強度値を設定することができる。処理３００は、仮合成画像のカバレッジ領域が接する位置の近傍の画素位置における強度値を、以下のように設定することができる：
ｉｖ_ｐ＝ｗ_１ｉｖ_ｊ＋ｗ_２ｉｖ_ｋ （１）
上記式中、ｉｖ_ｐは仮合成画像の特定の画素位置における強度値であり、ｗ_１及びｗ_２は第１及び第２の重みであり、両重みの和は１であり、ｉｖ_ｊは第１のカバレッジ領域の特定の画素位置における強度値であり、ｉｖ_ｋは第２のカバレッジ領域の特定の画素位置における強度値である。換言すると、ｉｖ_ｊ及びｉｖ_ｋは各対応する２Ｄスライスの特定の画素位置における強度値である。カバレッジ領域間の境界に位置する画素の場合、例えば各画素がｘ方向又はｙ方向に１ステップしか離れていない場合等については、第１の重みｗ_１及び第２の重みｗ_２をそれぞれ０．５に設定することができる。これは、「ホーム」のカバレッジ領域（すなわち、当該画素を含むカバレッジ領域）と、当該ホームのカバレッジ領域に接するカバレッジ領域とで、等しい強調を反映したものである。境界からさらに離れた位置にある画素、例えば、第１のカバレッジ領域内における境界から離れた２画素の距離に位置する画素等の場合、第１の重みｗ_１は０．８に等しく設定することができ、第２の重みｗ_２は０．２に等しく設定することができ、これは、画素のホームカバレッジ領域のより大きな強調を反映したものである。一部の実施形態では、処理３００は、例えば線形増加／減少関数等の数学的関数を用いて重みを設定することができる。例えば、境界上に位置する画素、境界から１画素離れた位置にある画素、及び、境界から２画素離れた位置にある画素については、処理３００は各画素の第１の重みをそれぞれ０．５，０．７５及び１．０に設定すると共に、各画素の第２の重みをそれぞれ０．５，０．２５及び０．０に設定することができる。重みの和が１である限り、境界から離れるに従って重みを対数関数的に増加／減少させ又は指数関数的に増加／減少させる等の他の数学的関数を用いて重みを設定することができる。処理３００は、隣接するカバレッジ領域間の境界の閾値距離以内に画素が位置する場合、例えば境界から３画素未満の距離にある場合にのみ、上記の数式（１）を用いて画素の強度値を求めるとすることができる。その際には、処理３００は数式（１）と、例えば線形増加／減少関数等の適用可能な数学的関数とを用いて、閾値距離内の全ての画素の強度値を求めることができる。閾値距離以内にない画素は、以前に割り当てられた強度値を維持することができる。カバレッジ領域のエッジがブレンディング処理された後、処理３００は、最終合成画像を（処理済みの）仮合成画像と等しくなるように設定することができる。その後、処理３００は３４４に進むことができる。

処理３００は３４４において、記憶及び／若しくは他の処理での使用のためにメモリへ最終合成画像を出力し、並びに／又は、人間の医師が観察するためにコンピュータモニタ等の表示部へ最終合成画像を出力することができる。例えば、処理３００は、医師が最終合成画像を観察し、当該最終合成画像に腫瘍及び／又は病変が存在する場合にはその情報を推測できる医療設備の表示部に、最終合成画像を出力することができる。他の一例として、追加の処理（下記にて説明する）が最終合成画像を使用して、乳房組織における腫瘍及び／又は病変の悪性の可能性を予測することができる。３Ｄトモシンセシスデータに含まれる全てのスライスの格納データと置換するために最終合成画像を使用することができ、これにより、１０～１５０個以上のスライスを格納する代わりに、最終合成画像の画素のアレイと、これに関連付けられた関心領域に関するデータとのみを格納すれば良くなるので、記憶空間を削減することができる。このようなメモリ要件の緩和により、病院が使用する情報技術システムに必要とされるサーバのサイズを削減することができる。その後、処理３００は３４８に進むことができる。

処理は３４８において、追加の合成２Ｄ画像を生成すべきか否かを判断することができる。処理３００は、複数のＲＯＩが少なくとも１つのＲＯＩを含むか否かを判断することができる。複数のＲＯＩが少なくとも１つのＲＯＩを含まない場合、処理３００は、それ以上合成画像を生成すべきでないと判断することができる。複数のＲＯＩが少なくとも１つのＲＯＩを含む場合、処理３００は、さらに合成画像を生成すべきであると判断することができる。その後、処理は３５２に進むことができる。

３５２において、それ以上合成画像を生成すべきでないと処理３００が判断した場合、処理３００は終了に進むことができる。処理３００が、さらに合成画像を生成すべきであると判断した場合、処理３００は３３２に進むことができる。

図３及び図４を参照すると、一例の仮合成画像に関連付けられたＲＯＩが示されている。仮合成画像のアレイ４０４上に、ＲＯＩが配置されているのが示されている。第１のＲＯＩ ４００Ａは、２Ｄスライスのセットのうち５番目の２Ｄスライスに関連付けることができる。第２のＲＯＩ ４００Ｂは、２Ｄスライスのセットのうち２番目の２Ｄスライスに関連付けることができる。第３のＲＯＩ ４００Ｃは、２Ｄスライスのセットのうち８番目の２Ｄスライスに関連付けることができる。第４のＲＯＩ ４００Ｄは、２Ｄスライスのセットのうち４番目の２Ｄスライスに関連付けることができる。アレイ４０４は、１つ又は複数の配置されていない画素４０８を含むことができる。図４は、工程３３２が実行された後の仮合成画像の状態を表すことができる。

図３及び４並びに図５を参照すると、図４の一例の仮合成画像に関連付けられたＲＯＩ及びカバレッジ領域が示されている。第１のＲＯＩ ４００Ａは、第１のカバレッジ領域５００Ａに関連付けることができる。第２のＲＯＩ ４００Ｂは、第２のカバレッジ領域５００Ｂに関連付けることができる。第３のＲＯＩ ４００Ｃは、第３のカバレッジ領域５００Ｃに関連付けることができる。第４のＲＯＩ ４００Ｄは、第４のカバレッジ領域５００Ｄに関連付けることができる。アレイ４０４の各画素は、カバレッジ領域５００Ａ～Ｄのいずれか１つに関連付けることができる。図５は、工程３３６が実行された後、特に、ウォーターシェッド・バイ・フラッディング・アルゴリズムが実行された後の仮画像の状態を表すことができる。

図３及び図６を参照すると、悪性可能性スコア６５４を生成するための一例の二次モデル６００が示されている。二次モデル６００は、上記のように処理３００を用いて生成できる入力合成画像６０４を受け取り、悪性可能性スコア６５４を出力することができる。この悪性可能スコア６５４は０～１の範囲とすることができる。一部の実施形態では、悪性可能性スコア６５４は、低リスク、中リスク又は高リスクのカテゴリといったリスクのカテゴリを示すことができる。一部の実施形態では、悪性可能性スコア６５４は数値範囲から選択することができ、例えば整数１～５から選択し、１が最も低いリスクレベルを示し、５が最も高いリスクレベルを示すことができる。

一部の実施形態では、二次モデル６００は、残留回帰ニューラルネットワーク等のニューラルネットワークを含むことができる。二次モデル６００を訓練するために、悪性又は非悪性とラベリングされた合成画像を含む訓練データセットを用いてモデルを訓練することができる。人間の医師が合成画像にラベリングすることができる。例えば、がんを有することが既知である患者に対応する合成画像には「１」のラベルを付与し、がんを有しないことが既知である患者に対応する合成画像には「０」のラベルを付与することができる。一部の実施形態では、合成画像は３００とすることができる。訓練後、二次モデル６００は入力合成画像を受け取って、乳房組織に悪性の腫瘍及び／又は病変が含まれているか否かを示す悪性可能性スコアを出力することができる。

二次モデル６００は、畳み込み層等の多数の層を含むことができる。二次モデル６００の一部の実施形態は、層の数が異なっていたり、層の配列が異なっていたり、他の相違があったりすることが理解される。しかし、全ての実施形態において、二次モデル６００は入力２Ｄ合成画像を受信して悪性可能性スコアを出力することができる。二次モデル６００は、１つ又は複数のサブネットワークを含む１段の検出ネットワークとすることができる。

図２及び図６を再度簡単に参照すると、二次モデル６００は一次サブネットワーク６１６及び二次サブネットワーク６２０を含むことができ、これらのサブネットワークは、上述したモデル２００の一次サブネットワーク２１６及び二次サブネットワーク２２０と同一とすることができる。一部の実施形態では、一次サブネットワーク６１６及び二次サブネットワーク６２０は、モデル２００が訓練された後の一次サブネットワーク２１６及び二次サブネットワーク２２０と同一とすることができる。換言すると、二次モデル６００は、訓練前にモデルの重みを用いて初期化することができる。

二次モデル６００が重要であるのは、上述のモデル２００は乳房組織の関心領域を検出することができるが、ＲＯＩが実際に悪性であるかどうかを正確に判断できないことがあるからである。二次モデル６００は、上述のモデル２００によって生成された合成画像を使用して、乳房組織の悪性をより正確に推定するために使用され得る。試験では本例のモデル６００は、イメージング機器製造業者のデフォルトの画像生成技術を用いて作成された合成画像に対する対照試験として、処理３００を用いて作成された合成画像を用いて１０００個の初見のマンモグラム（１００個のがん）について試験を行ったときの受信者動作特性（ＲＯＣ）に係る曲線下面積（ＡＵＣ）が０．０３増加したことが観察された。

モデル６００は、第１の三次ネットワーク６２４Ａ、第２の三次ネットワーク６２４Ｂ、及び第３の三次ネットワーク６２４Ｃ等の複数の三次サブネットワークを含むことができる。各三次ネットワーク６２４Ａ～Ｃは、第２のサブネットワーク６２０の層に接続することができる。第１の三次ネットワーク６２４Ａは第１の層６２２Ａに接続することができ、第２の三次ネットワーク６２４Ｂは第２の層６２２Ｂに接続することができ、第３の三次ネットワーク６２４Ｃは第３の層６２２Ｃに接続することができる。各三次ネットワークは、異なるスケールレベルで乳房組織の悪性を推定するため、第２のサブネットワーク６２０の層から特徴を受け取ることができる。

各三次ネットワークは、ボックス回帰サブネットワーク６２６を含むことができる。ボックス回帰サブネットワーク６２６は１つ以上の畳み込み層６２８Ａ～Ｂを含むことができ、各畳み込み層６２８Ａ～Ｂには正規化線形（ＲｅＬＵ）活性化部が後続し、ボックス回帰サブネットワーク６２６はまた最終畳み込み層６３０を含むことができ、これは、第２のサブネットワーク６２０の層のうち一層の一部に関連付けられたアンカーに対応する回帰座標を出力するものである（この回帰座標は、入力合成２Ｄスライス６０４の画素のアレイに対応する）。アンカーは、第２のサブネットワーク６２０の複数の層の予め決定された部分アレイとすることができる。回帰座標は、アンカーと、予測されたバウンディングボックスと、の間の予測されたオフセットを表すことができる。ＲＯＩに含まれる各バウンディングボックスごとに、回帰座標のセット（例えば４つの回帰座標等）と、これに対応するアンカーとを使用して、バウンディングボックスの座標を計算することができる。

各三次ネットワークは分類サブネットワーク６３２を含むことができる。分類サブネットワーク６３２は１つ以上の畳み込み層６３４Ａ～Ｂを含むことができ、各畳み込み層６３４Ａ～ＢにはＲｅＬＵ活性化部が後続し、分類サブネットワーク６３２はさらに最終畳み込み層６３８を含むことができ、最終畳み込み層６３８には、物体の有無（すなわち悪性の腫瘍及び／又は病変の有無）の予測を出力するシグモイド活性化部が後続する。分類サブネットワーク６３２を使用して、患者が合成２Ｄスライス６０４の複数の空間位置において悪性の腫瘍及び／又は病変を有するか否かの１つ以上の推定結果を得ることができる。より具体的には、各バウンディングボックスは、分類サブネットワーク６３２によって出力された推定スコアと関連付けることができる。バウンディングボックスは、上記にて述べたスライス番号と関連付けることもできる。一部の実施形態では、各推定スコアの値は０から１の範囲とすることができる。空間位置のうち１つは、第２のサブネットワーク６２０の一層すなわち第１の層６２２Ａの全部を含むことができる。このようにして分類サブネットワーク６３２は、患者が悪性の腫瘍及び／又は病変を有するか否かの推定結果を２Ｄスライスに基づいて出力することができる。最終畳み込み層６３８にはモデルでソフトマックス活性化部が後続することができ、これは、複数の種類の悪性領域、例えば複数の悪性レベル（例えば低リスク領域、ハイリスク領域等）等を分類するように訓練されたものである。

モデル６００は、様々なスケールにわたるデータを正規化し、バウンディングボックス座標を計算し、低スコアのバウンディングボックス予測をフィルタリングにより除外する出力層６５０を含むことができる。出力層６５０は、三次サブネットワーク６２４Ａ～Ｃの出力を受け取って１つ又は複数のＲＯＩを出力することができ、これらの各ＲＯＩはそれぞれ、２Ｄスライス６０４のアレイサイズにスケーリングされた画素のアレイと、関連付けられたスコアと、を有する。画素アレイは、回帰座標とアンカーとに基づいて計算されるバウンディングボックス（例えば方形のバウンディングボックス等）とすることができる。出力層６５０は、所定の閾値未満、例えば０．５未満の全てのスコアをフィルタリングにより除外することができる。フィルタリング後、出力層６５０は、他の残りのスコアに関連付けられた１つ又は複数のアンカーに基づいて各ＲＯＩの画素のアレイを決定することができる。出力層６５０はアンカーを出力ＲＯＩのアレイとして含める前に、当該アンカーのサイズを２Ｄスライス６０４のスケールに一致するように変更することができる。かかるサイズ変更は、アンカーが第２のサブネットワーク６２０のより小さい層に関連付けられている場合に必要となり得る。出力層６５０は、三次サブネットワーク６２４Ａ～Ｃから出力を受け取って悪性可能性スコア６５４を出力することができる。一部の実施形態では、悪性可能性スコア６５４として、最高スコアのバウンディングボックススコアを選択することができる。一部の実施形態ではモデル６００は、スコア６０８Ａと画素のアレイ６０８Ｂとをそれぞれ有する１つ又は複数のＲＯＩ６０８を出力することができる。画素アレイ２０８Ｂは、方形のバウンディングボックスとすることができる。１つ又は複数のＲＯＩ６０８は、合成画像６０４における悪性の可能性のある領域についての追加情報を医師に提供することができる。

図１，３及び６並びに図７を参照すると、乳房組織の腫瘍及び／又は病変の悪性を推定するために訓練されたモデルを用いて合成画像を作成し、当該合成画像に基づいて悪性可能性スコアを生成するための処理７００が示されている。処理７００は、データ処理システムが有する１つ以上のメモリ上に指令として実装することができる。データ処理システムはさらに、上記の１つ以上のメモリと通信すると共に上記の指令を実行するように構成された１つ以上のプロセッサを備えることができる。上記の１つ以上のプロセッサは、多数の二次元スライスを含む３Ｄトモシンセシスデータを記憶したメモリにアクセスするように構成することができ、このメモリは、大容量記憶装置１２８に含まれるものとすることができる。

処理７００は７０４において、患者の乳房組織の３Ｄトモシンセシスデータを受け取ることができる。３Ｄトモシンセシスデータは、Ｘ線イメージングシステム１００のような３Ｄマンモグラフィイメージングシステムによって生成することができる。３Ｄトモシンセシスデータは、乳房組織の例えば１ｍｍ等の所定の厚さに相当する多数の２Ｄスライスを含むことができる。患者及び／又はイメージングシステムに依存して、３Ｄトモシンセシスデータは約１０～１５０個以上の２Ｄスライスを含むことができる。各２Ｄスライスは、所定のサイズの画素アレイとすることができ、例えば２０００×１５００画素等とすることができる。その後、処理７００は７０８に進むことができる。

処理７００は７０８において、上記のステップ３０８～３５２のうち少なくとも１つを用いて１つ又は複数の合成画像（すなわちマンモグラム）を生成することができる。その後、処理７００は７１２に進むことができる。

処理７００は７１２において、悪性可能性スコアを求めるために、１つ又は複数の各合成画像を訓練済みモデルに入力することができる。この訓練済みモデルは、上述したモデル６００とすることができる。その後、処理７００は７１６に進むことができる。

処理７００は７１６において、訓練済みのモデルから悪性可能性スコアを受け取ることができる。一部の実施形態では悪性可能性スコアは、悪性のリスクが高いことを示す１と、悪性のリスクが最小である又は無いことを示す０とを含めた、０～１の範囲とすることができる。一部の実施形態では悪性は、腫瘍が悪性であるか又は悪性でないかを示す「はい」（すなわち１）又は「いいえ」（すなわち０）とすることができる。一部の実施形態では、悪性可能性スコアは、リスクのカテゴリ、例えば、低リスク、中リスク、又は高リスクのカテゴリを示すことができる。一部の実施形態では、悪性可能性スコアは数値範囲から選択することができ、例えば整数１～５から選択し、１が最も低いリスクレベルを示し、５が最も高いリスクレベルを示すことができる。一部の実施形態では、処理７００は、上記の関心領域６０８等の訓練済みモデルによって生成された１つ以上の関心領域を受け取ることもできる。その後、処理７００は７２０に進むことができる。

処理７００は７２０において、記憶及び／若しくは他の処理での使用のためにメモリへ悪性可能性スコアを出力し、並びに／又は、人間の医師が観察するためにコンピュータモニタ等の表示部へ悪性可能性スコアを出力することができる。例えば処理３００は、医師が悪性可能性スコアを見ることができ、場合によっては悪性可能性スコアに基づいて患者の診断を下すことができる医療設備の表示部に、悪性可能性スコアを出力することができる。悪性可能性スコアは、乳がん患者の将来の分析及び／又は研究のためにカルテのデータベースに記憶することができる。一部の実施形態では、処理７００は７１６において受け取った関心領域のうち１つ若しくは複数を、記憶及び／若しくは他の処理での使用のためにメモリへ出力し、並びに／又は、人間の医師が観察するためにコンピュータモニタ等の表示部へ出力することができる。処理７００は、悪性可能性スコア及び／又は１つ以上の関心領域をレポートとして出力することができる。その後、処理７００は終了することができる。

試験において、処理３００及び７００は、デンスブレスト（高濃度乳腺乳房）及びノンデンスブレストの両方において乳がんの存在を検出することが判明した。図２のモデル２００による第１のモデルは、注釈付きＦＦＤＭデータセットを用いて訓練されたものである。図６のモデル６００による第２のモデルは、注釈付き三次元乳房画像データセットを用いて訓練されたものである。第２のモデルを訓練するために、データセット内の三次元画像に含まれるスライスを使用して、図３の処理３００における処理を使用して合成画像を生成した。その後、合成画像に医師が注釈を付与し、訓練のために第２のモデルに入力した。各合成画像には、全画像レベルでがんを有する又は有しない旨の注釈を付すことができる。一部の実施形態では、注釈を付された三次元乳房画像データセットに関連付けられた注釈に基づいて、各合成画像に注釈を付すことができる。このようにして、合成画像に弱い注釈を付すことができる。その後、図７の処理７００の処理を用いて、追加の三次元乳房画像データセットを使用して、第１のモデル及び第２のモデルを試験した。第２のモデルはノンデンスブレスト（ＢＩＲＡＤＳ Ａ，Ｂ）において、８８．９％の特異性で９２％の感度で、受信者動作特性（ＲＯＣ）曲線の曲線下面積（ＡＵＣ）が０．９６でがんを識別することができた。特異度は、全国平均に基づいて選択された。さらに、第２のモデルはデンスブレスト（ＢＩＲＡＤＳ Ｃ，Ｄ）において、８８．９％の特異度で８５％の感度で、ＲＯＣ曲線のＡＵＣが０．９４でがんを識別することができた。全体的に、追加の三次元乳房画像データセットでの性能は、特異度８８．９％でＡＵＣが０．９５、感度が９１％であった。

図７及び図８を参照すると、処理７００の視覚的なデータフロー経路が示されている。一般に、処理７００は訓練済みモデルを使用して、３Ｄ ＤＢＴデータの各スライス８０４Ａ～ＥのＲＯＩ８０２Ａ～Ｅを決定する。次に、ＲＯＩ８０２Ａ、ＲＯＩ８０２Ｃ及びＲＯＩ ８０２Ｅを含むＲＯＩの一部を用いて、合成画像８０８を合成する。次に、合成画像８０８を第２の訓練済みモデル８１２に入力する。次に、第２の訓練済みモデル８１２は悪性可能性スコア８１６を出力する。

図９を参照すると、３Ｄトモシンセシスデータの第１の２Ｄスライス９０２と、３Ｄトモシンセシスデータの第２の２Ｄスライス９０３と、３Ｄトモシンセシスデータの第３の２Ｄスライス９０４とに基づき、３Ｄトモシンセシスデータの当該第２の２Ｄスライス９０３の関心領域（ＲＯＩ）を生成するためのモデル９００の一実施形態例が示されている。下記にて説明するように、第１の２Ｄスライス９０２、第２の２Ｄスライス９０３、及び第３の２Ｄスライス９０４の各スライスはモデル９００に入力されることができ、モデル９００は、第１の２Ｄスライス９０２と第２の２Ｄスライス９０３と第３の２Ｄスライス９０４とに基づいて、第２の２Ｄスライス９０３に対応するＲＯＩを求めることができる。モデル９００は、３つの２Ｄスライスを受け取るための３つの入力チャネルを有することができる。各２Ｄスライスと、各２Ｄスライスに関連付けられた全てのＲＯＩは、モデル９００によって解析されるデータの入力チャネルに関連付けることができる。例えば、第１の２Ｄスライス９０２は第１の入力チャネルに関連付けることができ、第２の２Ｄスライス９０３は第２の入力チャネルに関連付けることができ、第３の２Ｄスライス９０４は第３の入力チャネルに関連付けることができる。以下でさらに説明するように、第２の入力チャネルに関連する合成画像を、第２の入力チャネルに関連する１つ以上のＲＯＩを用いて生成することができる。

ＲＯＩはインジケータと称され得る。モデル９００は入力２Ｄスライス９０２，９０３，９０４を受け入れ、第２の２Ｄスライス９０３に係る任意の数のＲＯＩを出力することができる。各ＲＯＩは第２の入力２Ｄスライス９０３に関連付けることができる。例えば、モデルは、第２の２Ｄスライス９０３に関連付けられた第１のＲＯＩ ９５８を出力することができる。さらに、各ＲＯＩは、第２のチャネルに入力された２Ｄスライスを示すスライス番号に関連付けることができる。例えば、第２のスライス９０３は７５個の２Ｄスライスのセットのうち４番目のスライスとすることができ、第１のＲＯＩ ９５８はスライス番号４（例えば４番目のスライス等）に関連付けることができる。スライス番号は、下記にて説明するように、合成画像を作成するためにＲＯＩを選択し及び／又は組み合わせる際に使用することができる。上記のように、各ＲＯＩは領域とスコアとを有することができる。例えば、第１のＲＯＩ９５８は領域９５５及びスコア９５６を有することができる。

第１の２Ｄスライス９０２、第２の２Ｄスライス９０３及び第３の２Ｄ９０４に関連付けられた各スライス番号は、予め定められた値ｎだけ離れたものとすることができる。例えば、第２の２Ｄスライス９０３がスライス番号ｘ_２に関連付けられている場合、第１の２Ｄスライス９０２はスライス番号ｘ_１＝ｘ_２－ｎに関連付け、第２の２Ｄスライス９０４はスライス番号ｘ_３＝ｘ_２＋ｎに関連付けることができ、ここでｎは、１～５又はそれ以上の範囲とすることができる。一部の実施形態では、予め定められた値ｎは３とすることができる。スライス９０３を解析する際には、スライス９０２及び９０４は、スライス９０３によって表される乳房組織中に悪性の腫瘍及び／又は病変が存在するか否かを予測するのに役立ち得るボリュームコンテキストをモデル９００に提供することができる。

第１の２Ｄスライス９０２、第２の２Ｄスライス９０３及び第３の２Ｄスライス９０４の各スライスは、例えば２０００×１５００等の所定のサイズの画素のアレイの形式とすることができる。画素は１つの強度値（例えば白色強度値等）を有することができる。ＲＯＩの各画素は、１つの強度値（例えば白色強度値等）と、これに関連付けられた２Ｄスライスにおける位置（例えば、２０００×１５００画素スライスにおける特定の（ｘ，ｙ）位置の画素）と、を有することができる。

各ＲＯＩは画素の部分アレイの他にさらに、関連性スコアを有することができ、この関連性スコアは、当該画素の部分アレイが悪性可能性スコアの決定にどの程度関連しているかを示すものである（これについては、下記にて図１１を参照して説明する）。関連性スコアは、下記にて詳細に説明するように、１つ以上のＲＯＩを使用して合成２Ｄ画像を作成するために使用することができる。関連性スコアは、０～１等の数値範囲から選択することができる。訓練データセットに係るＲＯＩを識別する場合、人間の医師は、上記の数値範囲の中で各ＲＯＩに関連性スコアを割り当てることができる。これに代えて、人間の医師は０～１００等の異なるスケール（スコアが高いほど悪性の可能性が高いことを示す）を用いて関連性スコアを割り当てることができ、この関連性スコアはその後、モデル９００によって用いられる関連性スコア範囲に正規化されることができる。一部の実施形態では、人間の医師は、悪性の可能性のあるＲＯＩを識別するようにモデル９００をより良好に訓練するため、ＲＯＩを良性であると識別する作業を行うことができる。

一部の実施形態では、モデル９００は、畳み込みニューラルネットワーク等のニューラルネットワークを含むことができる。モデル９００を訓練するためには、３Ｄトモシンセシス画像のセットからのスライス及び（例えば１人以上の医師により）事前識別されたＲＯＩにより構成される訓練データセットを用いて、モデルを訓練することができる。３Ｄトモシンセシス画像に対するモデル９００の訓練を行う際には、それぞれＲＯＩを有する２Ｄフルフィールド・デジタルマンモグラフィ（ＦＦＤＭ）画像も含むことができ、その場合には、２Ｄ画像を３つの入力チャネル全てにわたって複製することができる。ＦＦＤＭ画像又はトモシンセシススライスのいずれかに対し、人間の医師は、与えられた２Ｄスライスを診察し、方形のボックス等の予め定められた形状を用いて、関心対象となり得るいずれかの領域の輪郭を把握することによりＲＯＩを識別し、腫瘍及び／又は病変の評価における自己の医学知識及び／又は経験に基づいて上記の予め定められた形状に関連性スコアを割り当てることができる。これに代えて、病変が悪性か否かを示す病理検査結果に基づいて関連性スコアを割り当てることもできる。複数のＦＦＤＭ画像から取得された２Ｄ画像又は３Ｄトモシンセシス画像のスライス（例えば複数の患者の画像等）におけるＲＯＩの識別を１人以上の医師に行わせることにより、大きな訓練データベースを生成することができる。モデル９００は、トモシンセシススライスの場合には３つのスライスを所定のオフセット値（例えばｎ＝１等）だけオフセットさせて順次入力し、又は特定のＦＦＤＭ画像を３つの入力チャネルに対して複製し、いずれの場合にも何らかの関連付けられたＲＯＩを含めることによって、訓練されることができる。モデル９００は訓練された後、３つの入力２Ｄスライスを受け取って、推定された関連性スコアと第２の２Ｄスライス９０３の画素の部分アレイとをそれぞれ含む１つ又は複数のＲＯＩを出力することができる。

モデル９００は、畳み込み層等の多数の層を含むことができる。モデル９００の層数又は層の配置が異なったり、その他相違点を有する実施形態も存在すると解される。しかし、全ての実施形態において、モデル９００は３つの２Ｄ入力スライスを受け取り、第２の２Ｄスライス９０３に関連付けられた何らかの関心領域を出力することができる。モデル９００は、１つ以上のサブネットワークを含む一段の検出ネットワークとすることができる。

モデル９００は、第１のサブネットワーク９１６を含むことができる。第１のサブネットワーク９１６は、１つ以上の層９１８Ａ～Ｃを有するフィードフォワード残差ニューラルネットワーク（「ＲｅｓＮｅｔ」）とすることができる。層９１８Ｃは、３つの入力２Ｄスライス９０２，９０３及び９０４を受け入れるように構成された入力層とすることができる。このようにしてモデル９００は、３つのスライス９０２、９０３、及び９０４全てのデータを使用して、例えば第１の２Ｄスライス９０２等の特定のスライスにおいてＲＯＩの可能性のあるものを検出することができる。単一のニューラルネットワークのバックボーンとして第１のサブネットワーク９１６を用いて当該単一のニューラルネットワークを有効に作成するため、第１のサブネットワークのトップに第２のサブネットワーク９２０を形成することができる。第２のサブネットワーク９２０は、第１の層９２２Ａと第２の層９２２Ｂと第３の層９２２Ｃとを含む複数の層を含むことができるが、使用する層数を変えることもでき（具体的には５層）、図中では簡単化のために３層が示されている。第１の層９２２Ａ、第２の層９２２Ｂ及び第３の層９２２Ｃの各層は、畳み込み層とすることができる。各層は多数の構成ブロック（不図示）から成ることができる。各構成ブロックは、３つのパラメータ層等の多数のパラメータ層を含むことができ、各パラメータ層は特定のフィルタサイズ（例えば３×３等）の多数のフィルタ（例えば２５６個等）を有する。第１の層９２２Ａ、第２の層９２２Ｂ及び第３の層９２２Ｃの各層は、１つの入力２Ｄスライスあたり１４４×１４４、７２×７２、３６×３６等の関連付けられた出力サイズを有することができる。出力サイズは、前処理条件及び／又はパラメータに基づき入力スライスごとに変わることができる。第２のサブネットワーク９２０の各層の間で出力サイズが減少するに従い、パラメータ層のフィルタ数を比例的に増加させることができる。すなわち、出力サイズが半減するとフィルタ数は２倍になる。第２のサブネットワークはまた、最終層（すなわち第３の層９２２Ｃ）に接続されたグローバル平均プーリング層と、グローバル平均プーリング層に接続された全結合層と、全結合層に接続された出力サイズ１×１（すなわち単一値）のソフトマックス層と、を含むことができる。

モデル９００は、第１の三次ネットワーク９２４Ａ、第２の三次ネットワーク９２４Ｂ及び第３の三次ネットワーク９２４Ｃ等の複数の三次サブネットワークを含むことができる。各三次ネットワーク９２４Ａ～Ｃは、第２のサブネットワーク９２０の層に接続することができる。第１の三次ネットワーク９２４Ａは第１の層９２２Ａに接続することができ、第２の三次ネットワーク９２４Ｂは第２の層９２２Ｂに接続することができ、第３の三次ネットワーク９２４Ｃは第３の層９２２Ｃに接続することができる。各三次ネットワークは、各入力２Ｄスライス９０２，９０３及び９０４において異なるスケールレベルで腫瘍及び／又は病変を検出するため、第２のサブネットワーク９２０の層から特徴を受け取ることができる。

各三次ネットワークは、ボックス回帰サブネットワーク９２６を含むことができる。ボックス回帰サブネットワーク９２６は１つ以上の畳み込み層９２８Ａ～Ｂを含むことができ、各畳み込み層９２８Ａ～Ｂには正規化線形（ＲｅＬＵ）活性化部が後続し、ボックス回帰サブネットワーク９２６はまた最終畳み込み層９３０を含むことができ、これは、第２のサブネットワーク９２０の層のうち一層の一部に関連付けられたアンカーに対応する回帰座標を出力するものである（この回帰座標は、第２の入力２Ｄスライス９０３の画素のアレイに対応する）。アンカーは、第２のサブネットワーク９２０の複数の層の予め決定された部分アレイとすることができる。回帰座標は、アンカーと、予測されたバウンディングボックスと、の間の予測されたオフセットを表すことができる。ＲＯＩに含まれる各バウンディングボックスごとに、回帰座標のセット（例えば４つの回帰座標等）と、これに対応するアンカーとを使用して、バウンディングボックスの座標を計算することができる。

各三次ネットワークは分類サブネットワーク９３２を含むことができる。分類サブネットワーク９３２は１つ以上の畳み込み層９３４Ａ～Ｂを含むことができ、各畳み込み層９３４Ａ～ＢにはＲｅＬＵ活性化部が後続し、分類サブネットワーク９３２はさらに最終畳み込み層９３８を含むことができ、最終畳み込み層９３８には、物体の有無（すなわち悪性の腫瘍及び／又は病変の有無）の予測を出力するシグモイド活性化部が後続する。分類サブネットワーク９３２を使用して、患者が第２の入力２Ｄスライス９０３の複数の空間位置において悪性の腫瘍及び／又は病変を有するか否かの１つ以上の推定結果を得ることができる。より具体的には、各バウンディングボックスは、分類サブネットワークによって出力された推定スコアと関連付けることができる。一部の実施形態では、各推定スコアの値は０から１の範囲とすることができる。最終畳み込み層９３８にはモデルでソフトマックス活性化部が後続することができ、これは、複数の種類の悪性領域、例えば複数の悪性レベル（例えば低リスク領域、ハイリスク領域等）等を分類するように訓練されたものである。

モデル９００は、様々なスケールにわたるデータを正規化し、バウンディングボックス座標を計算し、低スコアのバウンディングボックス予測をフィルタリングにより除外する出力層９５０を含むことができる。出力層９５０は、三次サブネットワーク９２４Ａ～Ｃの出力を受け取って１つ又は複数のＲＯＩを出力することができ、これらの各ＲＯＩはそれぞれ、入力２Ｄスライス９０３のアレイサイズにスケーリングされた画素のアレイと、関連付けられたスコアと、を有する。画素アレイは、回帰座標とアンカーとに基づいて計算されるバウンディングボックス（例えば方形のバウンディングボックス等）とすることができる。出力層９５０は、所定の閾値未満、例えば０．５未満の全てのスコアをフィルタリングにより除外することができる。一部の実施形態では、出力層９５０は、三次サブネットワーク２２４Ａ～Ｃから出力を受け取って、１つの悪性可能性スコアを出力することができる。一部の実施形態では、上記の１つの悪性可能性スコアとして、入力２Ｄ９０３のいずれかに関連付けられた最高スコアのバウンディングボックスのスコアを選択することができる。

図１，３，６，７及び９並びに図１０を参照すると、モデル９００を用いて合成画像を生成するための処理１０００が示されている。一般に、処理１０００は、モデル９００の第２の入力チャネルに関連付けられたＲＯＩに基づいて合成画像を生成する。ＲＯＩは、上述のモデル９００を使用して生成することができる。処理１０００が合成画像を生成した後、合成画像を用いて、上述のモデル６００と併せて、処理７００を使用して悪性可能性スコアを決定することができる。処理１０００は、データ処理システムが有する１つ以上のメモリ上に指令として実装することができる。データ処理システムはさらに、上記の１つ以上のメモリと通信すると共に上記の指令を実行するように構成された１つ以上のプロセッサを備えることができる。上記の１つ以上のプロセッサは、多数の二次元スライスを含む３Ｄトモシンセシスデータを記憶したメモリにアクセスするように構成することができ、このメモリは、大容量記憶装置１２８に含まれるものとすることができる。

処理１０００は１００４において、患者の乳房組織の３Ｄトモシンセシスデータを受け取ることができる。３Ｄトモシンセシスデータは、乳房組織の例えば１ｍｍ等の所定の厚さに相当する多数の２Ｄスライスを含むことができる。ステップ１００４は、上述のステップ３０４と同一とすることができる。その後、処理１０００は１００８に進むことができる。

処理１０００は、３Ｄトモシンセシスデータに含まれる３つの２Ｄスライスを、同時処理のために訓練済みモデルに入力することができる。この訓練済みモデルは、上述したモデル９００とすることができる。処理１０００は、３Ｄトモシンセシスデータに含まれる３つの２Ｄスライスを、同時処理のために訓練済みモデルに提供することができる。一部の実施形態では、訓練済みモデルは、医師によって注釈が付された二次元フルフィールド・デジタルマンモグラフィ画像を含む画像データセットに基づいて訓練されたものとすることができる。３つの各２Ｄスライスはそれぞれ、訓練済みモデルの異なる入力チャネルに入力される。例えば、第１の２Ｄスライスを第１の入力チャネルに入力し、第２の２Ｄスライスを第２の入力チャネルに入力し、第３の２Ｄスライスを第３の入力チャネルに入力することができる。２Ｄスライスは、所定のオフセット値だけ異なる関連付けられたスライス番号を有することができる。例えばオフセット値が２つの場合、第１の２Ｄスライスをスライス番号１に関連付け、第２の２Ｄスライスをスライス番号３に関連付け、第３の２Ｄスライスをスライス番号５に関連付けることができる。一部の実施形態では、処理１０００は、第２の入力チャネルに（第１のチャネルと第２のチャネルとにオフセット値を設けてスライスをオフセットさせて）全てのスライスが入力されるまで３つの２Ｄスライスを処理に入力することができる。２Ｄスライスの中には、２Ｄスライスのスライス番号より所定のオフセット値が小さい又は大きいスライス番号を有する２Ｄスライスが他に存在しないものがあり得る。例えば、第２の入力チャネルに入力される２Ｄスライスがスライス番号１を関連付けられており、オフセット値が２である場合、第１の入力チャネルに入力される２Ｄスライスのスライス番号は負の１となる。かかる場合、処理１０００は次に近いスライス（例えば、スライス番号１に関連付けられた２Ｄスライス）を第１のチャネルに入力することができる。その後本処理は、入力される２Ｄスライスに関連付けられた各スライス番号を１だけ増加させることにより、２Ｄスライスを「上方に移動」することができる。例えば処理１０００は、スライス番号１，３及び５に関連付けられた２Ｄスライスを入力した後、スライス番号２，４及び６に関連付けられた２Ｄスライスを入力することができる。一部の実施形態では、処理１０００は第２のチャネルモデル９００に２Ｄスライスのサブセットを入力することができ、例えば１つおき、２つおき等にスライスを入力することができる。全ての２Ｄスライスが（又は１つおき又は２つおき等にスライスが）訓練済みのモデルに少なくとも１回入力された後、処理１０００は１０１２に進むことができる。

処理１０００は１０１２において、訓練済みモデルから多数のＲＯＩを受け取ることができる。各ＲＯＩは、第２の入力チャネルと２Ｄスライスのうち１つとに関連付けることができる。各ＲＯＩは、これに関連付けられた２Ｄスライスが訓練済みモデルに入力されると共に、２Ｄスライスが訓練済みモデルの第１のチャネル及び第３のチャネルに入力されたときに生成することができる。その後、処理１０００は１０１６に進むことができる。

処理１０００は１０１６において、複数のＲＯＩに基づいて合成画像を生成及び出力することができる。１０１２で生成された複数のＲＯＩを用いて、処理１０００は、上述の工程３１６～３５２の少なくとも一部を実行することができる。その後、処理１０００は１０２４に進むことができる。その後、処理１０００は終了することができる。

図１０及び図１１を参照すると、悪性可能性スコア１１５４を生成するための一例の二次モデル１１００が示されている。二次モデル１１００は、第１の合成画像１１０２と第２の合成画像１１０３と第３の合成画像１１０４とを含む３つの入力合成画像を受け取ることができる。第２の合成画像１１０３は、上記の処理１０００を用いて生成することができる。第１及び第３の合成画像は、以下に記述するように、第２の合成画像と１つ又は複数の２Ｄスライスとに基づいて生成することができる。モデル１１００ は悪性可能性スコア１１５４を出力することができ、これは０～１の範囲とすることができる。一部の実施形態では、悪性可能性スコア１１５４は、低リスク、中リスク又は高リスクのカテゴリといったリスクのカテゴリを示すことができる。一部の実施形態では、悪性可能性スコア１１５４は数値範囲から選択することができ、例えば整数１～５から選択し、１が最も低いリスクレベルを示し、５が最も高いリスクレベルを示すことができる。第２の合成画像１１０３は、上述のモデル２００又はモデル１０００を使用して生成することができる。

上述のように、合成画像の各画素はスライス番号に関連付けることができる（又は例えば、ブレンディング技術が使用されている場合には複数のスライスに関連付けることができる）。例えば、第２の合成画像１１０３に含まれる第１の画素群を７番目のスライスに関連付け、当該合成画像に含まれる第２の画素群を５番目のスライスに関連付けることができる。第１の合成画像１１０２及び第３の合成画像１１０４に含まれる各画素の強度値は、第２の合成画像１１０３内の特定の位置における画素に関連付けられたスライスに対して予め定められたオフセットスライス数を加算又は減算したスライスに含まれる画素の強度値を選択することにより求めることができる（具体的に、第２の合成画像１１０３に含まれる画素に関連付けられたスライス番号をｘ、予め定められたスライス数をｎとすると、第１の合成画像１１０２の場合にはｘ－ｎ、第３の合成画像１１０４の場合にはｘ＋ｎとなる）。例えば、予め定められたスライス数を１とすると、第１の合成画像１１０２に含まれる画素であって第１の画素群（第２の合成画像１１０３に含まれ、７番目のスライスに関連付けられた画素群）と同じ画素位置にある画素の強度値は、６番目のスライスに含まれる画素の強度値と等しくなるように設定すると共に、第１の画素群と同じ位置に配することができる。第３の合成画像１１０４の場合、第３の合成画像１１０４に含まれる画素であって第１の画素群（第２の合成画像１１０３に含まれ、７番目のスライスに関連付けられた画素群）と同じ画素位置にある画素の強度値は、８番目のスライスに含まれる画素の強度値と等しくなるように設定すると共に、第１の画素群と同じ位置に配することができる。

第２の合成画像１１０３を生成するためにブレンディングを用いた実施形態では、第１及び第３の合成画像１１０２，１１０４に含まれる各画素の強度値は、第２の合成画像１１０３を生成するために用いられる各スライスから予め定められたスライス数だけ離れたスライスに含まれる各画素の強度値に、第２の合成画像１１０３を生成するために使用される重みを乗じたものの和と等しくなるように設定することができる。

一部の実施形態では、二次モデル１１００は、残留回帰ニューラルネットワーク等のニューラルネットワークを含むことができる。二次モデル１１００を訓練するために、悪性又は非悪性とラベリングされた合成画像を含む訓練データセットを用いてモデルを訓練することができる。人間の医師が合成画像にラベリングすることができる。訓練後、二次モデル１１００は、乳房組織の３Ｄトモシンセシスデータから生成された３つの入力合成画像を受け取って、乳房組織に悪性の腫瘍及び／又は病変が含まれているか否かを示す悪性可能性スコアを出力することができる。

二次モデル１１００は、畳み込み層等の多数の層を含むことができる。二次モデル１１００の一部の実施形態は、層の数が異なっていたり、層の配列が異なっていたり、他の相違があったりすることが理解される。しかし、全ての実施形態において、二次モデル１１００は３つの入力２Ｄ合成画像を受け取って悪性可能性スコアを出力することができる。二次モデル１１００は、１つ又は複数のサブネットワークを含む１段の検出ネットワークとすることができる。

図９及び図１１を再度簡単に参照すると、二次モデル１１００は一次サブネットワーク１１１６及び二次サブネットワーク１１２０を含むことができ、これらのサブネットワークは、上述したモデル９００の一次サブネットワーク９１６及び二次サブネットワーク９２０と同一とすることができる。一部の実施形態では、一次サブネットワーク１１１６及び二次サブネットワーク１１２０は、モデル９００が訓練された後の一次サブネットワーク９１６及び二次サブネットワーク９２０と同一とすることができる。換言すると、二次モデル１１００は、訓練前に上記のモデル９００、モデル６００又はモデル２００の重みを用いて初期化することができる。一次サブネットワーク１１１６は、３つの入力合成画像を受け取るように構成された入力層１１１８を含むことができる。

二次モデル１１００が重要であるのは、上述のモデル９００は乳房組織の関心領域を検出することができるが、ＲＯＩが実際に悪性であるかどうかを正確に判断できないことがあるからである。二次モデル１１００は、上述のモデル９００によって生成された合成画像を使用して、乳房組織の悪性をより正確に推定するために使用され得る。

モデル１１００は、第１の三次ネットワーク１１２４Ａ、第２の三次ネットワーク１１２４Ｂ及び三次ネットワーク１１２４Ｃ等の複数の三次サブネットワークを含むことができる。各三次ネットワーク１１２４Ａ～Ｃは、第２のサブネットワーク１１２０の層に接続することができる。第１の三次ネットワーク１１２４Ａは第１の層１１２２Ａに接続することができ、第２の三次ネットワーク１１２４Ｂは第２の層１１２２Ｂに接続することができ、第３の三次ネットワーク１１２４Ｃは第３の層１１２２Ｃに接続することができる。各三次ネットワークは、異なるスケールレベルで乳房組織の悪性を推定するため、第２のサブネットワーク１１２０の層から特徴を受け取ることができる。

各三次ネットワークは、ボックス回帰サブネットワーク１１２６を含むことができる。ボックス回帰サブネットワーク１１２６は１つ以上の畳み込み層１１２８Ａ～Ｂを含むことができ、各畳み込み層１１２８Ａ～Ｂには正規化線形（ＲｅＬＵ）活性化部が後続し、ボックス回帰サブネットワーク１１２６はまた最終畳み込み層１１３０を含むことができ、これは、第２のサブネットワーク１１２０の層のうち一層の一部に関連付けられたアンカーに対応する回帰座標を出力するものである（この回帰座標は、第２の入力合成２Ｄスライス１１０３の画素のアレイに対応する）。アンカーは、第２のサブネットワーク１１２０の複数の層の予め決定された部分アレイとすることができる。回帰座標は、アンカーと、予測されたバウンディングボックスと、の間の予測されたオフセットを表すことができる。ＲＯＩに含まれる各バウンディングボックスごとに、回帰座標のセット（例えば４つの回帰座標等）と、これに対応するアンカーとを使用して、バウンディングボックスの座標を計算することができる。

各三次ネットワークは分類サブネットワーク１１３２を含むことができる。分類サブネットワーク１１３２は１つ以上の畳み込み層１１３４Ａ～Ｂを含むことができ、各畳み込み層１１３４Ａ～ＢにはＲｅＬＵ活性化部が後続し、分類サブネットワーク１１３２はさらに最終畳み込み層１１３８を含むことができ、最終畳み込み層１１３８には、物体の有無（すなわち悪性の腫瘍及び／又は病変の有無）の予測を出力するシグモイド活性化部が後続する。分類サブネットワーク１１３２を使用して、患者が第２の入力合成２Ｄスライス１１０３の複数の空間位置において悪性の腫瘍及び／又は病変を有するか否かの１つ以上の推定結果を得ることができる。より具体的には、各バウンディングボックスは、分類サブネットワーク１１３２によって出力された推定スコアと関連付けることができる。バウンディングボックスは、上記にて述べたスライス番号と関連付けることもできる。一部の実施形態では、各推定スコアの値は０から１の範囲とすることができる。空間位置のうち１つは、第２のサブネットワーク１１２０の一層すなわち第１の層１１２２Ａの全部を含むことができる。このようにして分類サブネットワーク１１３２は、患者が悪性の腫瘍及び／又は病変を有するか否かの推定結果を合成２Ｄスライスに基づいて出力することができる。最終畳み込み層１１３８にはモデルでソフトマックス活性化部が後続することができ、これは、複数の種類の悪性領域、例えば複数の悪性レベル（例えば低リスク領域、ハイリスク領域等）等を分類するように訓練されたものである。

モデル１１００は、様々なスケールにわたるデータを正規化し、バウンディングボックス座標を計算し、低スコアのバウンディングボックス予測をフィルタリングにより除外する出力層１１５０を含むことができる。出力層１１５０は、三次サブネットワーク１１２４Ａ～Ｃから出力を受け取って１つ以上のＲＯＩを出力することができ、各ＲＯＩは、第２の入力合成２Ｄスライス１１０３のアレイサイズにスケーリングされた画素のアレイと、関連付けられたスコアと、を有する。画素アレイは、回帰座標とアンカーとに基づいて計算されるバウンディングボックス（例えば方形のバウンディングボックス等）とすることができる。出力層１１５０は、所定の閾値未満、例えば０．５未満の全てのスコアをフィルタリングにより除外することができる。フィルタリング後、出力層１１５０は、他の残りのスコアに関連付けられた１つ又は複数のアンカーに基づいて各ＲＯＩの画素のアレイを決定することができる。出力層１１５０はアンカーを出力ＲＯＩのアレイとして含める前に、当該アンカーのサイズを入力合成２Ｄスライス１１０２，１１０３及び１１０４のスケールに一致するように変更することができる。かかるサイズ変更は、アンカーが第２のサブネットワーク１１２０のより小さい層に関連付けられている場合に必要となり得る。出力層１１５０は、三次サブネットワーク１１２４Ａ～Ｃから出力を受け取って悪性可能性スコア１１５４を出力することができる。一部の実施形態では、悪性可能性スコア１１５４として、最高スコアのバウンディングボックススコアを選択することができる。一部の実施形態ではモデル１１００は、スコア１１０８Ａと画素のアレイ１１０８Ｂとをそれぞれ有する１つ又は複数のＲＯＩ１１０８を出力することができる。画素アレイ１１０８Ｂは、方形のバウンディングボックスとすることができる。１つ又は複数のＲＯＩ１１０８は、第２の入力合成２Ｄスライス１１０３における悪性の可能性のある領域についての追加情報を医師に提供することができる。

図１，９及び１１並びに図１２を参照すると、乳房組織の腫瘍及び／又は病変の悪性を推定するために訓練されたモデルを用いて３つの合成画像を作成し、当該合成画像に基づいて悪性可能性スコアを生成するための処理１２００が示されている。処理１２００は、データ処理システムが有する１つ以上のメモリ上に指令として実装することができる。データ処理システムはさらに、上記の１つ以上のメモリと通信すると共に上記の指令を実行するように構成された１つ以上のプロセッサを備えることができる。上記の１つ以上のプロセッサは、多数の二次元スライスを含む３Ｄトモシンセシスデータを記憶したメモリにアクセスするように構成することができ、このメモリは、大容量記憶装置１２８に含まれるものとすることができる。

処理１２００は１２０４において、患者の乳房組織の３Ｄトモシンセシスデータを受け取ることができる。３Ｄトモシンセシスデータは、Ｘ線イメージングシステム１００等の３Ｄマンモグラフィイメージングシステムによって生成することができる。３Ｄトモシンセシスデータは、乳房組織の例えば１ｍｍ等の所定の厚さに相当する多数の２Ｄスライスを含むことができる。患者及び／又はイメージングシステムに依存して、３Ｄトモシンセシスデータは約１０～１５０個以上の２Ｄスライスを含むことができる。各２Ｄスライスは、所定のサイズの画素アレイとすることができ、例えば２０００×１５００画素等とすることができる。その後、処理１２００は１２０８に進むことができる。

処理１２００は１２０８において、第２の入力チャネルに係る合成画像を生成することができる。合成画像は第２の合成画像（すなわち、モデル１１００の第２のチャネルに係る合成画像）と称され、上記のステップ１００８～１０１６のうち少なくとも１つを用いて生成することができる。その後、処理１２００は１２１２に進むことができる。

処理１２００は１２１２において、第１の合成画像（すなわち、モデル１１００の第１のチャネルに対する合成画像）と称される、第１の入力チャネルに係る合成画像を、予め定められたオフセットスライス数と第２の合成画像とに基づいて生成することができる。上述のように、合成画像の各画素はスライス番号に関連付けることができる（又は例えば、ブレンディング技術が使用されている場合には複数のスライスに関連付けることができる）。例えば、第２の合成画像に含まれる第１の画素群を７番目のスライスに関連付け、当該第２の合成画像に含まれる第２の画素群を５番目のスライスに関連付けることができる。処理１２００は、第１の合成画像に含まれる各画素の強度値を、第２の合成画像内の特定の位置における画素に関連付けられたスライスから予め定められたオフセットスライス数を差し引いたスライスに含まれる画素の強度値を選択することにより求めることができる（具体的に、第２の合成画像に含まれる画素に関連付けられたスライス番号をｘ、予め定められたスライス数をｎとすると、第１の合成画像の場合にはｘ－ｎとなる）。例えば、予め定められたスライス数を１とすると、第１の合成画像に含まれる画素であって第１の画素群（第２の合成画像に含まれ、７番目のスライスに関連付けられた画素群）と同じ画素位置にある画素の強度値は、６番目のスライスに含まれる画素の強度値と等しくなるように設定すると共に、第１の画素群と同じ位置に配することができる。第２の合成画像を生成するためにブレンディングを用いた実施形態では、処理１２００は、第１の合成画像に含まれる各画素の強度値は、第２の合成画像を生成するために用いられる各スライスから予め定められたスライス数だけ離れたスライスに含まれる各画素の強度値に、第２の合成画像を生成するために使用される重みを乗じたものの和と等しくなるように設定することができる。その後、処理は１２１６に進むことができる。

処理１２００は１２１６において、第３の合成画像（すなわち、モデル１１００の第３のチャネルに対する合成画像）と称される、第３の入力チャネルに係る合成画像を、予め定められたオフセットスライス数と第２の合成画像とに基づいて生成することができる。処理１２００は、第３の合成画像に含まれる各画素の強度値を、第２の合成画像内の特定の位置における画素に関連付けられたスライスに予め定められたオフセットスライス数を加えたスライスに含まれる画素の強度値を選択することにより求めることができる（具体的に、第２の合成画像に含まれる画素に関連付けられたスライス番号をｘ、予め定められたスライス数をｎとすると、第３の合成画像の場合にはｘ＋ｎとなる）。例えば、予め定められたスライス数を１とすると、第３の合成画像に含まれる画素であって第１の画素群（第２の合成画像に含まれ、７番目のスライスに関連付けられた画素群）と同じ画素位置にある画素の強度値は、８番目のスライスに含まれる画素の強度値と等しくなるように設定すると共に、第１の画素群と同じ位置に配することができる。第２の合成画像を生成するためにブレンディングを用いた実施形態では、処理１２００は、第１及び第３の合成画像に含まれる各画素の強度値は、第２の合成画像を生成するために用いられる各スライスから予め定められたスライス数だけ離れたスライスに含まれる各画素の強度値に、第２の合成画像を生成するために使用される重みを乗じたものの和と等しくなるように設定することができる。その後、処理は１２２０に進むことができる。

処理１２００は１２２０において、悪性可能性スコアを求めるための訓練済みモデルに３つの合成画像を提供することができる。この訓練済みモデルは、上述したモデル１１００とすることができる。その後、処理１２００は１２１６に進むことができる。

処理１２００は１２２４において、訓練済みのモデルから悪性可能性スコアを受け取ることができる。一部の実施形態では悪性可能性スコアは、悪性のリスクが高いことを示す１と、悪性のリスクが最小である又は無いことを示す０とを含めた、０～１の範囲とすることができる。一部の実施形態では悪性は、腫瘍が悪性であるか又は悪性でないかを示す「はい」（すなわち１）又は「いいえ」（すなわち０）とすることができる。一部の実施形態では、悪性可能性スコアは、リスクのカテゴリ、例えば、低リスク、中リスク、又は高リスクのカテゴリを示すことができる。一部の実施形態では、悪性可能性スコアは数値範囲から選択することができ、例えば整数１～５から選択し、１が最も低いリスクレベルを示し、５が最も高いリスクレベルを示すことができる。一部の実施形態では、処理１２００は、上記の関心領域１１０８等の訓練済みモデルによって生成された１つ以上の関心領域を受け取ることもできる。その後、処理１２００は１２２０に進むことができる。

処理１２００は１２２８において、記憶及び／若しくは他の処理での使用のためにメモリへ悪性可能性スコアを出力し、並びに／又は、人間の医師が観察するためにコンピュータモニタ等の表示部へ悪性可能性スコアを出力することができる。例えば処理１２００は、医師が悪性可能性スコアを見ることができ、場合によっては悪性可能性スコアに基づいて患者の診断を下すことができる医療設備の表示部に、悪性可能性スコアを出力することができる。悪性可能性スコアは、乳がん患者の将来の分析及び／又は研究のためにカルテのデータベースに記憶することができる。一部の実施形態では、処理１２００は１２１６において受け取った関心領域のうち１つ若しくは複数を、記憶及び／若しくは他の処理での使用のためにメモリへ出力し、並びに／又は、人間の医師が観察するためにコンピュータモニタ等の表示部へ出力することができる。処理１２００は、悪性可能性スコア及び／又は１つ以上の関心領域をレポートとして出力することができる。その後、処理１２００は終了することができる。

モデル２００又はモデル９００のいずれかによって生成されたＲＯＩを用いて生成された合成画像を用いて、上記のモデル６００又はモデル１１００のいずれかを用いて悪性可能性スコアを生成することができることが理解できる。よって、本願開示は、乳房の３Ｄ断層撮影データから合成２Ｄ画像を効率的かつ画一的に作成すると共に、乳房に腫瘍及び／又は病変が存在する場合にはその悪性を推定するためのシステム及び方法を提供するものである。

１つ又は複数の好適な実施形態を参照して本発明を説明したが、明示的に記載された均等態様、代替態様、変形態様及び改良態様の他にも多くの均等態様、代替態様、変形態様及び改良態様が可能であり、これらは本発明の範囲内であると解すべきである。

Claims (11)

1. 患者の乳房組織の悪性可能性スコアを求めるための方法であって、
   前記乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を受け取るステップと、
   前記各二次元画像ごとに、
   訓練済みの第１のニューラルネットワークを含む第１のモデルに当該二次元画像を入力するステップと、
   前記複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを前記第１のモデルから受け取るステップと、
   前記複数のインジケータと前記複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成するステップと、
   訓練済みの第２のニューラルネットワークを含む第２のモデルに前記合成二次元画像を入力するステップと、
   前記第２のモデルから悪性可能性スコアを受け取るステップと、
   前記悪性可能性スコアを含むレポートをメモリ又は表示部のうち少なくとも１つへ出力するステップと、
   を有し、
   前記各インジケータは、強度値をそれぞれ有する画素のアレイと、関連性スコアと、を含み、
   前記生成するステップは、
   前記複数のインジケータに含まれる第１のインジケータに関連付けられた第１のカバレッジ領域であって画素の第２のアレイを含む第１のカバレッジ領域を求めるステップと、
   前記複数のインジケータに含まれる第２のインジケータに関連付けられた第２のカバレッジ領域であって画素の第３のアレイを含む第２のカバレッジ領域を求めるステップと、
   前記第１のカバレッジ領域に含まれる第２の強度値と前記第２のカバレッジ領域に含まれる第３の強度値とに基づいて、前記合成二次元画像に含まれる第１の画素の第１の強度値を求めるステップと、
   を有することを特徴とする方法。
2. 前記第１のカバレッジ領域は、前記第１のインジケータに含まれない少なくとも１つの画素を含むと共に、前記第２のカバレッジ領域は、前記第２のインジケータに含まれない少なくとも１つの画素を含む、
   請求項１記載の方法。
3. 前記第１の画素の前記第１の強度値を求めるステップは、
   前記第２の強度値に第１の重みを乗じたものと、前記第３の強度値に第２の重みを乗じたものと、の和に等しくなるように、前記第１の強度値を設定するステップ
   を有する、
   請求項１記載の方法。
4. 前記三次元画像は、デジタル乳房トモシンセシスを用いて生成される、
   請求項１記載の方法。
5. 訓練済みの前記第１のニューラルネットワークは第１のサブネットワークを含むと共に、訓練済みの前記第２のニューラルネットワークは第２のサブネットワークを含み、
   前記第１のサブネットワーク及び前記第２のサブネットワークの層及びフィルタの数は同数である、
   請求項１記載の方法。
6. 訓練済みの前記第２のニューラルネットワークは、初期の重み値として前記第１のニューラルネットワークの重み値のセットを用いて訓練されたものである、
   請求項５記載の方法。
7. 前記複数のインジケータから少なくとも１つのインジケータを取り出すステップと、
   前記複数のインジケータと前記複数の二次元画像のうち少なくとも１つとに基づいて第２の合成二次元画像を生成するステップと、
   をさらに有する、
   請求項１記載の方法。
8. 前記第１のモデルは、二次元のフルフィールド・デジタルマンモグラフィ画像に医師の注釈を付したものを含む画像データセットに基づいて訓練される、
   請求項１記載の方法。
9. 前記乳房組織の前記複数の二次元画像に含まれる各二次元画像は、三次元のデジタル乳房トモシンセシスボリュームに含まれるスライスである、
   請求項８記載の方法。
10. 患者の乳房組織の悪性可能性スコアを求めるためのシステムであって、
    前記乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を格納するように構成されたメモリと、
    前記メモリにアクセスするように構成されたプロセッサと、
    を備えており、
    前記プロセッサは、
    訓練済みの第１のニューラルネットワークを含む第１のモデルに前記各二次元画像を入力し、
    前記各二次元画像ごとに、前記複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを前記第１のモデルから受け取り、
    前記複数のインジケータと前記複数の二次元画像のうち少なくとも１つとに基づいて合成二次元画像を生成し、
    訓練済みの第２のニューラルネットワークを含む第２のモデルに前記合成二次元画像を入力し、
    前記第２のモデルを用いて悪性可能性スコアを求める
    ように構成されており、
    前記システムはさらに、前記悪性可能性スコアを含むレポートを表示するように構成された表示部を備えており、
    前記各インジケータは、強度値をそれぞれ有する画素のアレイと、関連性スコアと、を含み、
    前記プロセッサは、
    前記複数のインジケータに含まれる第１のインジケータに関連付けられた第１のカバレッジ領域であって画素の第２のアレイを含む第１のカバレッジ領域を求め、
    前記複数のインジケータに含まれる第２のインジケータに関連付けられた第２のカバレッジ領域であって画素の第３のアレイを含む第２のカバレッジ領域を求め、
    前記第１のカバレッジ領域に含まれる第２の強度値と前記第２のカバレッジ領域に含まれる第３の強度値とに基づいて、前記合成二次元画像に含まれる第１の画素の第１の強度値を求める
    ことにより、前記合成二次元画像を生成することを特徴とするシステム。
11. 患者の乳房組織の悪性可能性スコアを求めるためのシステムであって、
    前記乳房組織の三次元画像から導出された当該乳房組織の複数の二次元画像を格納するように構成されたメモリと、
    前記メモリにアクセスするように構成されたプロセッサと、
    を備えており、
    前記プロセッサは、
    訓練済みの第１のニューラルネットワークを含む第１のモデルに前記各二次元画像を入力し、
    前記各二次元画像ごとに、前記複数の二次元画像に含まれる二次元画像にそれぞれ関連付けられた複数のインジケータを前記第１のモデルから受け取り、
    前記複数のインジケータと前記複数の二次元画像のうち少なくとも１つとに基づいて第１の合成二次元画像を生成し、
    前記第１の合成二次元画像と前記複数の二次元画像のうち少なくとも１つとに基づいて第２の合成二次元画像を生成し、
    前記第１の合成二次元画像と前記複数の二次元画像のうち少なくとも１つとに基づいて第３の合成二次元画像を生成し、
    訓練済みの第２のニューラルネットワークを含む第２のモデルに、前記第１の合成二次元画像と前記第２の合成二次元画像と前記第３の合成二次元画像とを入力し、
    前記第２のモデルを用いて悪性可能性スコアを求める
    ように構成されており、
    前記システムはさらに、前記悪性可能性スコアを含むレポートを表示するように構成された表示部を備えており、
    前記各インジケータは、強度値をそれぞれ有する画素のアレイと、関連性スコアと、を含み、
    前記プロセッサは、前記第１の合成二次元画像、前記第２の合成二次元画像、及び前記第３の合成二次元画像の各合成二次元画像を生成するために、
    前記複数のインジケータに含まれる第１のインジケータに関連付けられた第１のカバレッジ領域であって画素の第２のアレイを含む第１のカバレッジ領域を求め、
    前記複数のインジケータに含まれる第２のインジケータに関連付けられた第２のカバレッジ領域であって画素の第３のアレイを含む第２のカバレッジ領域を求め、
    前記第１のカバレッジ領域に含まれる第２の強度値と前記第２のカバレッジ領域に含まれる第３の強度値とに基づいて、前記各合成二次元画像に含まれる第１の画素の第１の強度値を求める
    ことを特徴とするシステム。

Images