JP7376882B2 - バイオマーカ位置特定のための電子画像を処理するためのシステムおよび方法 - Google Patents

Description

（関連出願）
本願は、その開示全体が、参照することによってその全体として本明細書に組み込まれる、２０２０年１月２８日に出願された、米国仮出願第６２／９６６，７２３号の優先権を主張する。

本開示の種々の実施形態は、概して、バイオマーカの位置特定および／またはデジタル病理学スライド内の空間関係の推測に関する。より具体的には、本開示の特定の実施形態は、腫瘍および浸潤性辺縁検出、位置特定されるバイオマーカ予測、および／またはバイオマーカおよび空間関係比較のためのシステムおよび方法に関する。本開示はさらに、種々のゲノム特徴、分子試験、および他の分析を空間的に推測するための人工知能（ＡＩ）を使用するためのシステムおよび方法を提供する。

癌組織の包括的遺伝子および分子試験は、標的化された療法を介して、固形腫瘍の精密な治療を可能にし得る。ゲノムシーケンシングのコストは、過去数年にわたって、実質的に減少しているが、これらの試験は、依然として、コストがかかり、低速で、臨床研究において非常に限定される、実質的量の組織を要求する。ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）染色は、手頃であって、腫瘍の微視的環境の包括的視覚的説明を提供する。

前述の一般的説明および以下の発明を実施するための形態は、例示的および説明的にすぎず、本開示の制限ではない。本明細書に提供される背景説明は、概して、本開示の文脈を提示する目的のためのものである。本明細書に別様に示されない限り、本節に説明される資料は、本願における請求項の先行技術ではなく、本節における含有によって、先行技術である、または先行技術の示唆と認められるものではない。

本開示のある側面によると、人工知能（ＡＩ）を使用した腫瘍の微視的環境内のバイオマーカ位置特定のためのシステムおよび方法が、開示される。

試料に対応する、画像を分析するためのコンピュータ実装方法は、患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信するステップであって、病理学試料は、腫瘍組織を備え、１つまたはそれを上回るデジタル画像は、腫瘍組織内の複数のバイオマーカについてのデータおよび腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ステップと、１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき腫瘍組織および囲繞浸潤性辺縁領域を識別するステップと、機械学習モデルを１つまたはそれを上回るデジタル画像上で使用して、腫瘍組織および囲繞浸潤性辺縁領域内の複数のバイオマーカの存在の少なくとも１つの推測を発生させるステップと、腫瘍組織および囲繞浸潤性辺縁領域内で識別された複数のバイオマーカのそれぞれの空間関係を決定するステップと、複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または患者のための少なくとも１つの治療推奨を決定するステップとを含む。

別の実施形態によると、試料に対応する、画像を分析するためのシステムは、患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信するステップであって、病理学試料は、腫瘍組織を備え、１つまたはそれを上回るデジタル画像は、腫瘍組織内の複数のバイオマーカについてのデータおよび腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ステップと、１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき腫瘍組織および囲繞浸潤性辺縁領域を識別するステップと、機械学習モデルを１つまたはそれを上回るデジタル画像上で使用して、腫瘍組織および囲繞浸潤性辺縁領域内の複数のバイオマーカの存在の少なくとも１つの推測を発生させるステップと、腫瘍組織および囲繞浸潤性辺縁領域内で識別された複数のバイオマーカのそれぞれの空間関係を決定するステップと、複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または患者のための少なくとも１つの治療推奨を決定するステップとを含む。

別の実施形態によると、試料に対応する、画像を分析するための方法を実施する、命令を記憶する、少なくとも１つの非一過性コンピュータ可読媒体は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信するステップであって、病理学試料は、腫瘍組織を備え、１つまたはそれを上回るデジタル画像は、腫瘍組織内の複数のバイオマーカについてのデータおよび腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ステップと、１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき腫瘍組織および囲繞浸潤性辺縁領域を識別するステップと、機械学習モデルを１つまたはそれを上回るデジタル画像上で使用して、腫瘍組織および囲繞浸潤性辺縁領域内の複数のバイオマーカの存在の少なくとも１つの推測を発生させるステップと、腫瘍組織および囲繞浸潤性辺縁領域内で識別された複数のバイオマーカのそれぞれの空間関係を決定するステップと、複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または患者のための少なくとも１つの治療推奨を決定するステップとを含む、動作を実施させる、命令を記憶する。

前述の一般的説明および以下の発明を実施するための形態は両方とも、例示的および説明的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明は、例えば、以下を提供する。
（項目１）
試料に対応する画像を分析するためのコンピュータ実装方法であって、前記方法は、
患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つまたはそれを上回るデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ことと、
前記１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき前記腫瘍組織および囲繞浸潤性辺縁領域を識別することと、
機械学習モデルを前記１つまたはそれを上回るデジタル画像上で使用して、前記腫瘍組織および囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることと、
前記腫瘍組織および囲繞浸潤性辺縁領域内で識別された前記複数のバイオマーカのそれぞれの空間関係を決定することと、
前記複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
を含む、コンピュータ実装方法。
（項目２）
前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることはさらに、コンピュータビジョンモデルを使用することを含む、項目１に記載のコンピュータ実装方法。
（項目３）
前記病理学試料は、組織学および／または細胞診試料を備える、項目１に記載のコンピュータ実装方法。
（項目４）
前記複数のバイオマーカについてのデータは、遺伝子試験、フローサイトメトリ、および／または免疫組織染色から識別される、項目１に記載のコンピュータ実装方法。
（項目５）
前記腫瘍組織および囲繞浸潤性辺縁領域を識別することは、前記機械学習モデルを使用し、前記機械学習モデルを訓練することはさらに、
訓練病理学試料および腫瘍領域の有無の関連付けられるインジケーションと関連付けられる１つまたはそれを上回る訓練デジタル画像を受信することと、
前記１つまたはそれを上回る訓練デジタル画像を少なくとも１つのサブ領域に分割し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
入力として、前記病理学試料と関連付けられる前記１つまたはそれを上回る訓練デジタル画像のうちの１つをとり、前記腫瘍が存在するかどうかを予測する前記機械学習モデルを訓練することと
を含む、項目１に記載のコンピュータ実装方法。
（項目６）
前記機械学習モデルを訓練することはさらに、
標的病理学試料と関連付けられる１つまたはそれを上回るデジタル画像および腫瘍領域の有無の関連付けられるインジケーションを受信することと、
前記１つまたはそれを上回るデジタル画像を少なくとも１つのサブ領域に分割し、分析し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
前記機械学習モデルを前記１つまたはそれを上回るデジタル画像のうちの１つに適用し、腫瘍組織または浸潤性辺縁を示し、着目バイオマーカを呈し得る前記デジタル画像の領域を予測することと、
少なくとも１つの腫瘍領域の場所を示し、フラグを付けることと
を含む、項目５に記載のコンピュータ実装方法。
（項目７）
前記機械学習モデルを訓練し、前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることはさらに、
前記病理学試料の１つまたはそれを上回る訓練デジタル画像を受信することと、
前記１つまたはそれを上回る訓練デジタル画像のうちの１つに示される腫瘍および／または浸潤性辺縁領域内に存在する前記バイオマーカのレベルに関する複数のデータを受信することと、
前記１つまたはそれを上回る訓練デジタル画像のうちの１つを少なくとも１つのサブ領域に分割し、前記少なくとも１つのサブ領域に関する少なくとも１つの性質を決定することと、
着目バイオマーカに関連する少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域を識別することと、
機械学習システムを訓練し、前記少なくとも１つの腫瘍および／または前記少なくとも１つの浸潤性辺縁領域からの各バイオマーカの発現レベルを予測することと
を含む、項目１に記載のコンピュータ実装方法。
（項目８）
前記少なくとも１つの推測を発生させることは、
前記腫瘍組織および囲繞浸潤性辺縁領域内の少なくとも１つの着目領域を決定することと、
前記機械学習モデルを適用し、前記少なくとも１つの着目領域内のバイオマーカ発現レベルの予測を決定することと
を含む、項目１に記載のコンピュータ実装方法。
（項目９）
少なくとも１つの空間的に構造化された訓練入力を受信することと、
各空間的に構造化された訓練入力に対応するメタデータを受信することと、
前記機械学習モデルを訓練し、治療転帰または抵抗予測を局在化されたバイオマーカから予測することと
によって、前記機械学習モデルを訓練し、前記少なくとも１つのバイオマーカおよび前記空間関係を比較すること
をさらに含む、項目１に記載のコンピュータ実装方法。
（項目１０）
前記少なくとも１つの推測を発生させることはさらに、
空間的に構造化された入力を受信することと、
前記空間的に構造化された入力に対応するメタデータを受信することと、
前記機械学習モデルを適用し、前記治療転帰または抵抗予測を局在化されたバイオマーカから予測することと
を含む、項目１に記載のコンピュータ実装方法。
（項目１１）
試料に対応する画像を分析するためのシステムであって、前記システムは、
命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、前記命令を実行し、
患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つまたはそれを上回るデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ことと、
前記１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき前記腫瘍組織および囲繞浸潤性辺縁領域を識別することと、
機械学習モデルを前記１つまたはそれを上回るデジタル画像上で使用して、前記腫瘍組織および囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることと、
前記腫瘍組織および囲繞浸潤性辺縁領域内で識別された前記複数のバイオマーカのそれぞれの空間関係を決定することと、
前記複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
を含む動作を実施するように構成されている、少なくとも１つのプロセッサと
を備える、システム。
（項目１２）
前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることはさらに、コンピュータビジョンモデルを使用することを含む、項目１１に記載のシステム。
（項目１３）
前記病理学試料は、組織学および／または細胞診試料を備える、項目１１に記載のシステム。
（項目１４）
前記複数のバイオマーカについてのデータは、遺伝子試験、フローサイトメトリ、および／または免疫組織染色から識別される、項目１１に記載のシステム。
（項目１５）
前記腫瘍組織および囲繞浸潤性辺縁領域を識別することは、前記機械学習モデルを使用し、前記機械学習モデルを訓練することはさらに、
訓練病理学試料および腫瘍領域の有無の関連付けられるインジケーションと関連付けられる１つまたはそれを上回る訓練デジタル画像を受信することと、
前記１つまたはそれを上回る訓練デジタル画像を少なくとも１つのサブ領域に分割し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
入力として、前記病理学試料と関連付けられる前記１つまたはそれを上回る訓練デジタル画像のうちの１つをとり、前記腫瘍が存在するかどうかを予測する前記機械学習モデルを訓練することと
を含む、項目１１に記載のシステム。
（項目１６）
前記機械学習モデルを訓練することはさらに、
標的病理学試料と関連付けられる１つまたはそれを上回るデジタル画像および腫瘍領域の有無の関連付けられるインジケーションを受信することと、
前記１つまたはそれを上回るデジタル画像を少なくとも１つのサブ領域に分割し、分析し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
前記機械学習モデルを前記１つまたはそれを上回るデジタル画像のうちの１つに適用し、腫瘍組織または浸潤性辺縁を示し、着目バイオマーカを呈し得る前記デジタル画像の領域を予測することと、
少なくとも１つの腫瘍領域の場所を示し、フラグを付けることと
を含む、項目１５に記載のシステム。
（項目１７）
前記機械学習モデルを訓練し、前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることはさらに、
前記病理学試料の１つまたはそれを上回る訓練デジタル画像を受信することと、
前記１つまたはそれを上回る訓練デジタル画像のうちの１つに示される腫瘍および／または浸潤性辺縁領域内に存在する前記バイオマーカのレベルに関する複数のデータを受信することと、
前記１つまたはそれを上回る訓練デジタル画像のうちの１つを少なくとも１つのサブ領域に分割し、前記少なくとも１つのサブ領域に関する少なくとも１つの性質を決定することと、
着目バイオマーカに関連する少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域を識別することと、
機械学習システムを訓練し、前記少なくとも１つの腫瘍および／または前記少なくとも１つの浸潤性辺縁領域からの各バイオマーカの発現レベルを予測することと
を含む、項目１１に記載のシステム。
（項目１８）
前記少なくとも１つの推測を発生させることは、
前記腫瘍組織および囲繞浸潤性辺縁領域内の少なくとも１つの着目領域を決定することと、
前記機械学習モデルを適用し、前記少なくとも１つの着目領域内のバイオマーカ発現レベルの予測を決定することと
を含む、項目１１に記載のシステム。
（項目１９）
少なくとも１つの空間的に構造化された訓練入力を受信することと、
各空間的に構造化された訓練入力に対応するメタデータを受信することと、
前記機械学習モデルを訓練し、治療転帰または抵抗予測を局在化されたバイオマーカから予測することと
によって、前記機械学習モデルを訓練し、前記少なくとも１つのバイオマーカおよび前記空間関係を比較すること
をさらに含む、項目１１に記載のシステム。
（項目２０）
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、プロセッサによって実行されると、前記プロセッサに、試料に対応する画像を分析するための方法を実施させ、前記方法は、
患者からの病理学試料の１つまたはそれを上回るデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つまたはそれを上回るデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁についてのデータと関連付けられる、ことと、
前記１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき前記腫瘍組織および囲繞浸潤性辺縁領域を識別することと、
機械学習モデルを前記１つまたはそれを上回るデジタル画像上で使用して、前記腫瘍組織および囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を発生させることと、
前記腫瘍組織および囲繞浸潤性辺縁領域内で識別された前記複数のバイオマーカのそれぞれの空間関係を決定することと、
前記複数のバイオマーカのそれぞれの空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
を含む、非一過性コンピュータ可読媒体。

本明細書内に組み込まれ、その一部を構成する、付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する、役割を果たす。

図１Ａは、本開示の例示的実施形態による、機械学習を使用して、バイオマーカを位置特定し、空間関係を推測するためのシステムおよびネットワークの例示的ブロック図を図示する。

図１Ｂは、本明細書に提示される技法による、バイオマーカ検出プラットフォームの例示的ブロック図を図示する。

図１Ｃは、本明細書に提示される技法による、スライド分析ツールの例示的ブロック図を図示する。

図２Ａは、本明細書に提示される技法による、ＡＩを使用した腫瘍の微視的環境内のバイオマーカ位置特定の使用のための例示的方法を図示する、フローチャートである。

図２Ｂは、本明細書に提示される技法による、ＡＩを使用して、腫瘍および浸潤性辺縁検出モジュールを訓練および使用するための例示的方法を図示する、フローチャートである。

図２Ｃは、本明細書に提示される技法による、位置特定されるバイオマーカ予測モジュールを訓練および使用するための例示的方法を図示する、フローチャートである。

図２Ｄは、本明細書に提示される技法による、バイオマーカ比較モジュールを訓練および使用するための例示的方法を図示する、フローチャートである。

図３は、本明細書に提示される技法による、腫瘍および囲繞浸潤性辺縁内の免疫マーカを検出するように訓練される、例示的システムである。

図４は、本明細書に提示される技法による、Ｈ＆Ｅにおいて免疫マーカを特性評価するように機械学習モデルを訓練および使用するための例示的方法を図示する、フローチャートである。

図５は、本明細書に提示される技法による、病理学試料における遺伝子シグネチャおよび／または突然変異の位置特定のために機械学習モデルを訓練および使用するための例示的方法を図示する、フローチャートである。

図６は、本明細書に提示される技法による、免疫療法応答予測のための腫瘍の微視的環境内のバイオマーカの位置特定のために機械学習モデルを訓練および使用するための例示的方法を図示する、フローチャートである。

図７は、本明細書に提示される技法による、抗新生物薬抵抗を予測するように機械学習モデルを訓練および使用するための例示的方法を図示する、フローチャートである。

図８は、本明細書に提示される技法を実行し得る、例示的システムを描写する。

実施形態の説明
ここで、本開示の例示的実施形態が詳細に参照され、その実施例は、付随の図面に図示される。可能な限り、同一参照番号が、同一または同様の部品を指すために、図面全体を通して使用されるであろう。

本明細書に開示されるシステム、デバイス、および方法は、一例として、図を参照して詳細に説明される。本明細書で議論される実施例は、実施例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を補助するために提供される。図面に示される、または下記に議論される、特徴または構成要素のいずれも、必須として具体的に指定されない限り、これらのデバイス、システム、または方法のいずれかの任意の具体的実装のために必須なものとして捉えられるべきではない。

また、説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップの任意の明示的または暗示的順序付けは、それらのステップが、提示される順序で実施されなければならないことを含意するものではなく、代わりに、異なる順序において、または並行して実施されてもよいことを理解されたい。

本明細書で使用されるように、用語「例示的」は、「理想的」ではなく、「実施例」の意味において使用される。さらに、用語「ａ」および「ａｎ」は、本明細書では、数量の限定を示すものではなく、むしろ、参照されるアイテムのうちの１つまたはそれを上回るものの存在を示す。

病理学は、疾患の研究を指す。より具体的には、病理学は、疾患を診断するために使用される、試験および分析を実施することを指す。例えば、組織サンプルが、病理学者（例えば、組織サンプルを分析し、任意の異常が存在するかどうかを決定する、専門家である、医師）によって、顕微鏡下で視認されるために、スライド上に設置されてもよい。すなわち、病理学試料は、複数の断片に切断され、染色され、病理学者が、検査し、診断を与えるためのスライドとして調製され得る。診断の不確実性が、スライド上で見出されるとき、病理学者は、より多くの情報を組織から集めるために、付加的切断レベル、染色、または他の試験を指示し得る。技術者は、次いで、病理学者が診断を行う際に使用するための付加的情報を含有し得る、新しいスライドを作成し得る。付加的スライドを作成する本プロセスは、組織の塊を採取し、それを切断し、新しいスライドを作成し、次いで、スライドを染色するステップを伴い得るためだけではなく、また、複数の指示のために一括化され得るため、時間がかかり得る。これは、病理学者が与える、最終診断を有意に遅延させ得る。加えて、遅延後でも、依然として、新しいスライドが診断を与えるために十分な情報を有するであろう保証がない場合がある。

病理学者は、分離して、癌および他の疾患病理学スライドを評価し得る。本開示は、癌および他の疾患の診断を改良するための統合されたワークフローを提示する。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能（ＡＩ）、注釈、コンサルテーション、および推奨を１つのワークステーション内に統合し得る。特に、本開示は、ワークフロー内で利用可能な種々の例示的ユーザインターフェース、および病理学者の作業を促し、改良するためにワークフローの中に統合され得る、ＡＩツールを説明する。

例えば、コンピュータが、組織サンプルの画像を分析し、付加的情報が特定の組織サンプルについて必要とされ得るかどうかを迅速に識別し、および／または病理学者がより詳しく調べるべき面積をハイライトするために使用され得る。したがって、付加的染色されたスライドおよび試験を取得するプロセスは、病理学者によって精査される前に、自動的に行われ得る。自動スライドセグメント化および染色機械と対合されると、これは、完全に自動化されたスライド調製パイプラインを提供し得る。本自動化は、少なくとも、（１）病理学者が診断を行うために不十分なスライドを決定することによって無駄にされる時間量を最小限にする、（２）付加的試験が指示されたときとそれらが生成されたときとの間の付加的時間を回避することによって、試料入手から診断までの（平均総）時間を最小限にする、（３）再切断が組織塊（例えば、病理学試料）が切断台にある間に行われることを可能にすることによって、再切断あたりの時間量および無駄にされる材料の量を低減させる、（４）スライド調製の間に無駄にされる／破棄される組織材料の量を低減させる、（５）部分的または完全に手技を自動化することによって、スライド調製のコストを低減させる、（６）サンプルからより代表的／有益なスライドをもたらすであろう、スライドの自動カスタマイズ切断および染色を可能にする、（７）病理学者にとっての付加的試験を要求する諸経費を低減させることによって、より大量のスライドが組織塊あたり発生されることを可能にし、より情報が多く／精密な診断に寄与する、および／または（８）デジタル病理学画像の正しい性質（例えば、試料タイプに関する）を識別または照合する等の利点を有し得る。

病理学者を補助するためにコンピュータを使用するプロセスは、コンピュータ処理病理学として知られる。コンピュータ処理病理学のために使用されるコンピューティング方法は、限定ではないが、統計的分析、自律的または機械学習、およびＡＩを含み得る。ＡＩは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタ化、および回帰アルゴリズムを含み得る。コンピュータ処理病理学を使用することによって、病理学者が、その診断正確度、信頼性、効率性、およびアクセス性を改良することに役立つことで、命が救われ得る。例えば、コンピュータ処理病理学は、癌が疑われるスライドを検出することを補助し、それによって、病理学者が、最終診断を与える前に、その初期査定をチェックおよび確認することを可能にするために使用されてもよい。

組織病理学は、スライド上に設置されている、試料の研究を指す。例えば、デジタル病理学画像が、試料（例えば、塗抹標本）を含有する、顕微鏡スライドのデジタル化された画像から成ってもよい。病理学者がスライド上の画像を分析するために使用し得る、１つの方法は、核を識別し、核が正常（例えば、良性）または異常（例えば、悪性）であるかどうかを分類するものである。病理学者が核を識別および分類することを補助するために、組織学的染色が、細胞を可視化するために使用されてもよい。多くの色素ベースの染色システムが、開発されており、過ヨウ素酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン（Ｈ＆Ｅ）を含む。医療診断のために、Ｈ＆Ｅは、広く使用される色素ベースの方法であって、ヘマトキシリンは、細胞核を青色に染色し、エオジンは、細胞質および細胞外マトリクスを桃色に染色し、他の組織領域は、これらの色の変動を帯びる。しかしながら、多くの場合、Ｈ＆Ｅ染色による組織学的調製は、病理学者が、診断を補助する、または治療を誘導し得る、バイオマーカを視覚的に識別するための十分な情報を提供しない。本状況では、免疫組織化学的性質（ＩＨＣ）、免疫蛍光、原位置ハイブリダイゼーション（ＩＳＨ）、または蛍光原位置ハイブリダイゼーション（ＦＩＳＨ）等の技法が、使用されてもよい。ＩＨＣおよび免疫蛍光は、例えば、組織内の具体的抗原に結合し、具体的着目タンパク質を発現する細胞の視覚的検出を可能にする、抗体の使用を伴い、これは、Ｈ＆Ｅ染色スライドの分析に基づいて、訓練された病理学者に確実に識別可能ではない、バイオマーカを明らかにし得る。ＩＳＨおよびＦＩＳＨは、採用されるプローブのタイプ（例えば、遺伝子コピー数のためのＤＮＡプローブおよびＲＮＡ発現の査定のためのＲＮＡプローブ）に応じて、遺伝子のコピーの数または具体的ＲＮＡ分子の存在量を査定するために採用されてもよい。これらの方法もまた、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカ（例えば、腫瘍内の具体的タンパク質または遺伝子産物の過剰発現、癌内の所与の遺伝子の増幅）が存在するかどうかを確認するために使用されてもよい。

デジタル化された画像は、染色された顕微鏡スライドを示すように調製されてもよく、これは、病理学者が、スライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、本プロセスは、いくつかの異常が検出することが困難であるため、時間がかかり得、異常を識別する際の誤差につながり得る。コンピュータ処理プロセスおよびデバイスが、病理学者が、そうでなければ検出することが困難であり得る、異常を検出することを補助するために使用されてもよい。例えば、ＡＩが、バイオマーカ（タンパク質および／または遺伝子産物の過剰発現、増幅、または具体的遺伝子の突然変異等）をＨ＆Ｅおよび他の色素ベースの方法を使用して染色された組織のデジタル画像内の顕著な領域から予測するために使用されてもよい。組織の画像は、全体的スライド画像（ＷＳＩ）、マイクロアレイ内の組織コアの画像、または組織切片内の選択された着目面積であり得る。Ｈ＆Ｅのような染色方法を使用すると、これらのバイオマーカは、ヒトが付加的試験の補助を伴わずに視覚的に検出または定量化することが困難であり得る。ＡＩを使用して、これらのバイオマーカを組織のデジタル画像から推測することは、患者処置を改良する一方、また、より高速かつより安価となる潜在性を有する。

検出されたバイオマーカまたは画像のみが、次いで、患者を治療するために使用されるべき具体的癌薬物または薬物組み合わせ療法を推奨するために使用され得る。ＡＩは、検出されたバイオマーカを治療オプションのデータベースと相関させることによって、成功する可能性が低い、薬物または薬物組み合わせを識別し得る。これは、患者の具体的癌を標的するための免疫療法薬物の自動推奨を促進するために使用されることができる。さらに、これは、患者の具体的サブセットおよび／またはより稀な癌型のための個人化された癌治療を可能にするために使用され得る。

上記に説明されるように、本開示のコンピュータ処理病理学プロセスおよびデバイスは、統合されたプラットフォームを提供し、実験室情報システム（ＬＩＳ）と統合しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取込、処理、および視認を含む、完全に自動化されたプロセスを可能にし得る。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して集約されてもよい。データは、病院、医院、現場研究者等から由来してもよく、機械学習、コンピュータビジョン、自然言語処理、および／または統計的アルゴリズムによって分析され、複数の地理的特異性レベルにおいて、リアルタイム監視および健康パターンの予想を行ってもよい。

上記に説明されるデジタル病理学画像は、デジタル病理学画像の試料または画像の性質に関するタグおよび／または標識とともに記憶され得るが、そのようなタグ／標識は、正しくないまたは不完全であり得る。故に、本開示は、デジタル病理学画像の（例えば、試料タイプに関する）正しい性質を識別または照合するためのシステムおよび方法を対象とする。特に、開示されるシステムおよび方法は、記憶されるタグ／標識に依拠せずに、デジタル病理学画像の試料または画像性質を自動的に予測し得る。さらに、本開示は、必ずしも、ＬＩＳまたは類似情報データベースにアクセスせずに、デジタル病理学画像の試料タイプまたはデジタル病理学画像に関する任意の情報を迅速かつ正しく識別および／または照合するためのシステムおよび方法を対象とする。本開示の一実施形態は、以前のデジタル病理学画像のデータセットに基づいてデジタル病理学画像の種々の性質を識別するように訓練される、システムを含んでもよい。訓練されたシステムは、デジタル病理学画像に示される試料に関する分類を提供し得る。分類は、試料と関連付けられる患者に関する治療または診断予測を提供することに役立ち得る。

本開示は、試料分類ツールの１つまたはそれを上回る実施形態を含む。ツールへの入力は、デジタル病理学画像および任意の関連付加的入力を含んでもよい。ツールの出力は、試料についての大域的および／または局所的情報を含んでもよい。試料は、生検または外科手術切除試料を含んでもよい。

開示されるツールの例示的大域的出力は、画像全体についての情報、例えば、試料タイプ、試料の切片の全体的品質、ガラス病理学スライド自体の全体的品質、および／または組織形態構造特性を含有し得る。例示的局所出力は、画像の具体的領域内の情報を示し得る、例えば、特定の画像領域は、スライド内にぼけまたは亀裂を有すると分類され得る。本開示は、下記にさらに詳細に説明されるように、開示されるスライド分析ツールの展開および使用の両方のための実施形態を含む。

本開示は、人工知能（ＡＩ）を使用して、空間的に位置特定される遺伝子、分子（例えば、タンパク質および／または遺伝子産物の過剰発現、増幅、具体的遺伝子の突然変異）、フローサイトメトリおよび免疫マーカ（腫瘍浸潤性リンパ球、貪食細胞等）を染色された病理学試料のデジタル画像から推測する。組織の画像は、全体的スライド画像（ＷＳＩ）、マイクロアレイ内の組織核の画像、または組織切片内の選択された着目面積であり得る。組織のデジタル画像からのバイオマーカの位置特定は、より高速、より安価、かつより新しい／より新規の診断試験を開発する潜在性を有し得る。さらに、腫瘍組織および囲繞腫瘍組織（浸潤性辺縁）の両方からのバイオマーカの位置特定は、予後値を有し得る。例えば、腫瘍の浸潤性辺縁の中および内の腫瘍浸潤性リンパ球（ＴＩＬ）の量は、予後値を有し、免疫療法に応答する可能性（例えば、免疫スコア）が高い患者を決定するために使用されてもよい。腫瘍および腫瘍の浸潤性辺縁内の１つまたはそれを上回るバイオマーカの空間関係を理解することは、より良好な治療およびより正確な患者層別化方略を可能にし得る。

本実施形態は、ＡＩを使用して、種々のゲノム分子試験を染色された組織学的切片から空間的に推測し、したがって、多重分析を可能にし得る。バイオマーカを位置特定後、これらのバイオマーカの空間関係が、調査され得る。空間関係は、癌転帰および療法の予測となり得る。さらに、腫瘍の囲繞面積（浸潤性辺縁）内の腫瘍マーカを位置特定するステップを伴う、包括性は、腫瘍生物学のより深い理解を促進し、新しいおよび新規バイオマーカの展開を可能にし得る。

本実施形態は、診断関連性のバイオマーカの空間場所を決定するために使用され得る、腫瘍領域および浸潤性辺縁検出を提供し得る。癌組織から取得される遺伝子または分子試験は、腫瘍領域および浸潤性辺縁検出実施形態を利用して、分析を関連領域に限局し得る。

図１Ａは、本開示の例示的実施形態による、機械学習を使用して、バイオマーカを位置特定し、空間関係を推測するためのシステムおよびネットワークのブロック図を図示する。

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、１つまたはそれを上回る患者の細胞診試料の画像、組織病理学試料、細胞診試料のスライド、組織病理学試料のスライドのデジタル化された画像、またはそれらの任意の組み合わせを作成または別様に取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５はまた、年齢、医療既往歴、癌治療既往歴、家族歴、過去の生検、または細胞診情報等の患者特有の情報の任意の組み合わせを取得してもよい。医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、電子ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者特有の情報をサーバシステム１１０に伝送してもよい。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの少なくとも１つから受信される画像およびデータを記憶するための１つまたはそれを上回る記憶デバイス１０９を含んでもよい。サーバシステム１１０はまた、記憶デバイス１０９内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。例えば、処理デバイスは、一実施形態による、バイオマーカ位置特定プラットフォーム１００のための機械学習ツールを含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。

医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、スライドの画像を精査するために、病理学者によって使用されるシステムを指す。病院設定では、組織タイプ情報は、ＬＩＳ１２５内に記憶されてもよい。しかしながら、正しい組織分類情報が、常時、画像コンテンツと対合されるわけではない。加えて、ＬＩＳが、デジタル病理学画像に関する試料タイプにアクセスするために使用される場合でも、本標識は、ＬＩＳの多くの構成要素が、手動で入力され、大幅な許容誤差を残し得るという事実に起因して、正しくない場合がある。本開示の例示的実施形態によると、試料タイプは、ＬＩＳ１２５にアクセスする必要なく識別されてもよい、または可能性として、ＬＩＳ１２５を補正するように識別されてもよい。例えば、第三者が、ＬＩＳ内に記憶される対応する試料タイプ標識を伴わずに、画像コンテンツへの匿名化されたアクセスを与えられ得る。加えて、ＬＩＳコンテンツへのアクセスは、その取り扱いに注意を要するコンテンツに起因して限定され得る。

図１Ｂは、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定するためのバイオマーカ位置特定プラットフォーム１００の例示的ブロック図を図示する。

具体的には、図１Ｂは、一実施形態による、バイオマーカ位置特定プラットフォーム１００の構成要素を描写する。例えば、バイオマーカ位置特定プラットフォーム１００は、スライド分析ツール１０１と、データ取込ツール１０２と、スライド取込ツール１０３と、スライドスキャナ１０４と、スライド管理装置１０５と、記憶装置１０６と、視認アプリケーションツール１０８とを含んでもよい。

下記に説明されるようなスライド分析ツール１０１は、例示的実施形態による、機械学習を使用して、デジタル病理学画像に関する試料性質または画像性質情報を決定し、試料を分類するためのプロセスおよびシステムを指す。

データ取込ツール１０２は、例示的実施形態による、デジタル病理学画像を分類および処理するために使用される、種々のツール、モジュール、構成要素、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。

スライド取込ツール１０３は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライドスキャナ１０４を用いて走査されてもよく、スライド管理装置１０５は、スライド上の画像をデジタル化された病理学画像に処理し、デジタル化された画像を記憶装置１０６内に記憶してもよい。

視認アプリケーションツール１０８は、例示的実施形態による、ユーザ（例えば、病理学者）に、デジタル病理学画像に関する試料性質または画像性質情報を提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース（例えば、画面、モニタ、記憶デバイス、および／またはウェブブラウザ等）を通して提供されてもよい。

スライド分析ツール１０１およびその構成要素はそれぞれ、ネットワーク１２０を経由して、デジタル化されたスライド画像および／または患者情報を、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５に伝送し、および／またはそこから受信してもよい。さらに、サーバシステム１１０は、スライド分析ツール１０１、データ取込ツール１０２、スライド取込ツール１０３、スライドスキャナ１０４、スライド管理装置１０５、および視認アプリケーションツール１０８のうちの少なくとも１つから受信される画像およびデータを記憶するための記憶デバイスを含んでもよい。サーバシステム１１０はまた、記憶デバイス内に記憶される画像およびデータを処理するための処理デバイスを含んでもよい。サーバシステム１１０はさらに、例えば、処理デバイスに起因して、１つまたはそれを上回る機械学習ツールまたは能力を含んでもよい。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施されてもよい。

上記のデバイス、ツール、およびモジュールのいずれかは、１つまたはそれを上回るコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク１２０に接続され得る、デバイス上に位置してもよい。

図１Ｃは、本開示の例示的実施形態による、スライド分析ツール１０１の例示的ブロック図を図示する。スライド分析ツール１０１は、訓練画像プラットフォーム１３１および／または標的画像プラットフォーム１３５を含んでもよい。

一実施形態によると、訓練画像プラットフォーム１３１は、訓練画像取込モジュール１３２、品質スコア決定器モジュール１３３、および／または治療識別モジュール１３４を含んでもよい。

訓練画像プラットフォーム１３１は、一実施形態によると、機械学習モデルを訓練し、デジタル病理学画像を効果的に分析および分類するために使用される、訓練画像を作成または受信してもよい。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。訓練のために使用される画像は、実際のソース（例えば、ヒト、動物等）に由来してもよい、または合成ソース（例えば、グラフィックレンダリングエンジン、３Ｄモデル等）に由来してもよい。デジタル病理学画像の実施例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染料で染色されたデジタル化されたスライド、および／または（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化された組織サンプルを含んでもよい。

訓練画像取込モジュール１３２は、ヒト組織の画像およびグラフィック的にレンダリングされる画像の一方または両方に対応する、１つまたはそれを上回る訓練画像を備える、データセットを作成または受信してもよい。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。本データセットは、デジタル記憶デバイス上に保たれてもよい。品質スコア決定器モジュール１３３は、デジタル病理学画像の有用性に著しく影響を及ぼし得る、大域的または局所的レベルにおける訓練画像に関する品質制御（ＱＣ）問題点（例えば、不完全性）を識別してもよい。例えば、品質スコア決定器モジュールは、画像全体についての情報、例えば、試料タイプ、試料の断片の全体的品質、ガラス病理学スライド自体の全体的品質、または組織形態構造特性を使用して、画像に関する全体的品質スコアを決定してもよい。治療識別モジュール１３４は、組織の画像を分析し、治療効果を有する（例えば、治療後）デジタル病理学画像および治療効果を有していない画像（例えば、治療前）を決定してもよい。組織内の以前の治療効果が組織自体の形態構造に影響を及ぼし得るため、デジタル病理学画像が治療効果を有するかどうかを識別することは、有用である。大部分のＬＩＳは、本特性を明示的に追跡しておらず、したがって、以前の治療効果を伴う試料タイプを分類することが、所望され得る。

一実施形態によると、標的画像プラットフォーム１３５は、標的画像取込モジュール１３６と、試料検出モジュール１３７と、出力インターフェース１３８とを含んでもよい。標的画像プラットフォーム１３５は、標的画像を受信し、機械学習モデルを受信された標的画像に適用し、標的試料の特性を決定してもよい。例えば、標的画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床試験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちの任意の１つまたは任意の組み合わせから受信されてもよい。標的画像取込モジュール１３６は、標的試料に対応する標的画像を受信してもよい。試料検出モジュール１３７は、機械学習モデルを標的画像に適用し、標的試料の特性を決定してもよい。例えば、試料検出モジュール１３７は、標的試料の試料タイプを検出してもよい。試料検出モジュール１３７はまた、機械学習モデルを標的画像に適用し、標的画像に関する品質スコアを決定してもよい。さらに、試料検出モジュール１３７は、機械学習モデルを標的試料に適用し、標的試料が治療前または治療後であるかどうかを決定してもよい。

出力インターフェース１３８は、標的画像および標的試料についての情報を出力するために使用されてもよい（例えば、画面、モニタ、記憶デバイス、ウェブブラウザ等）。

図２Ａは、本開示の例示的実施形態による、ＡＩを使用した腫瘍の微視的環境内のバイオマーカ位置特定の使用のための例示的方法を図示する、フローチャートである。例えば、例示的方法２０（例えば、ステップ２１－３１）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。

一実施形態によると、バイオマーカを位置特定し、関係を推測するための例示的方法２０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２１では、本方法は、病理学試料と関連付けられる１つまたはそれを上回るデジタル画像を受信するステップを含んでもよく、病理学試料は、１つまたはそれを上回るデジタル画像と関連付けられる、腫瘍組織および囲繞浸潤性辺縁内のバイオマーカについての情報を備える。病理学試料は、組織学試料、細胞診試料等を備えてもよい。１つまたはそれを上回るデジタル画像は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信されてもよい。機械学習モデルを訓練するために、各画像は、各個別の画像と関連付けられる、腫瘍および囲繞浸潤性辺縁組織内のバイオマーカについての情報と対合されてもよい。情報は、病理学者、病理学者測定値等によって分析される、遺伝子試験、フローサイトメトリ、ＩＨＣ等から識別されてもよい。機械学習モデルは、機械学習アルゴリズムを備えてもよい。

ステップ２３では、本方法は、１つまたはそれを上回るデジタル画像のそれぞれに関し、分析されるべき腫瘍組織および囲繞浸潤性辺縁領域を識別するステップを含んでもよく。これは、ヒトによって手動で、またはＡＩを使用して自動的に、行われてもよい。

ステップ２５では、本方法は、機械学習モデルを使用して、バイオマーカの存在の少なくとも１つの推測を発生させるステップを含んでもよい。本方法はまた、コンピュータビジョンを使用するステップを含んでもよい。バイオマーカは、腫瘍組織および囲繞浸潤性辺縁画像領域内に存在してもよい。少なくとも１つの推測からの予測は、電子記憶デバイスに出力されてもよい。実施形態は、ユーザにバイオマーカのうちの１つまたはそれを上回るものの有無を通知するためのアラートを発生させるステップを伴ってもよい。

ステップ２７では、本方法は、腫瘍および囲繞浸潤性辺縁領域内で識別された少なくとも１つのバイオマーカおよび空間関係を比較するステップを含んでもよい。

ステップ２９では、本方法は、治療転帰および少なくとも１つの治療推奨に関する予測を決定するステップを含んでもよい。

ステップ３１では、本方法は、予測を決定することに応じて、アラートをユーザに発生させるステップを含んでもよい。アラートは、視覚的ポップアップ、雑音、または任意の他の好適なアラート方法であってもよい。

図２Ｂは、本開示の例示的実施形態による、機械学習を使用して、腫瘍および浸潤性辺縁検出モジュールを訓練および使用するための例示的方法を図示する、フローチャートである。腫瘍内のバイオマーカの占有率が、着目され、腫瘍領域は、画像全体の小画分のみを占有し得る。免疫療法における新しい進歩に伴って、浸潤性領域（例えば、腫瘍の近隣非腫瘍領域）内の細胞活動もまた、転帰に関する貴重な情報を提供し得ることが実証されている。故に、腫瘍およびその近隣領域の両方におけるバイオマーカを識別することが重要であり得る。これらの着目領域は、画像セグメント化、境界ボックス、またはポリゴンを使用して、ヒト専門家によって規定されてもよい。代替として、完全なエンドツーエンド解決策は、ＡＩを使用して、そのような着目領域の適切な場所を識別することを含んでもよい。自動腫瘍および浸潤性辺縁識別は、下流ＡＩシステムが、バイオマーカをより少ない注釈が付けられたデータから検出し、より正確な予測を行う方法を学習することを可能にし得る。

腫瘍および浸潤性辺縁検出器を作成するための２つの一般的アプローチ、すなわち、バイオマーカが見出され得る場所を精密に識別し得る、強教師あり方法と、精密な場所を提供し得ない、弱教師あり方法とが存在し得る。訓練の間、強教師ありシステムは、入力として、画像を受信し得る。強教師ありはさらに、画像に関して、バイオマーカを発現する、腫瘍および浸潤性辺縁領域の場所を受信し得る。これらの場所は、ピクセルレベル標識化、タイルレベル標識化、境界ボックスベースの標識化、ポリゴンベースの標識化を用いて、または腫瘍および浸潤性辺縁が識別されている（例えば、免疫組織染色（ＩＨＣ）を使用して）、対応する画像を使用して、規定されてもよい。弱教師ありシステムは、入力として、画像と、画像内の腫瘍および浸潤性領域の有無とを受信し得る。腫瘍および浸潤性辺縁場所の正確な場所は、弱教師ありシステムのための入力に規定され得ない。弱教師ありシステムは、次いで、領域にわたって局在化された方法で起動され、腫瘍、浸潤性辺縁、および非腫瘍領域を決定することができる。ニューラルネットワークおよびエンドツーエンド学習アプローチのために、エビデンス可視化方法（例えば、ＧｒａｄＣＡＭ）が、腫瘍、浸潤性辺縁、および非腫瘍組織領域を位置特定するために利用されることができる。

一実施形態によると、腫瘍および浸潤性辺縁検出モジュールを訓練および使用するための例示的方法２００および２１０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２０２では、本方法は、訓練病理学試料および腫瘍領域の有無の関連付けられるインジケーションと関連付けられる、１つまたはそれを上回る訓練デジタル画像を受信するステップを含んでもよい。訓練病理学試料は、組織学試料、細胞診試料等を備えてもよい。訓練デジタル画像は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信されてもよい。

ステップ２０４では、本方法は、１つまたはそれを上回る訓練デジタル画像を少なくとも１つのサブ領域に分割し、腫瘍が少なくとも１つのサブ領域内に存在するかどうかを決定するステップを含んでもよい。サブ領域は、画像のタイルの作成、縁またはコントラストに基づくセグメント化、色差を介したセグメント化、機械学習モデルによる教師あり決定、ＥｄｇｅＢｏｘｅｓ等を含む、種々の方法で規定されてもよい。

ステップ２０６では、本方法は、入力として、病理学試料と関連付けられる、１つまたはそれを上回る訓練デジタル画像のうちの１つをとり、腫瘍が存在するかどうかを予測する、機械学習モデルを訓練するステップを含んでもよい。限定ではないが、以下を含む、いくつかの方法が、腫瘍組織を示す画像領域と、浸潤性辺縁を示す領域とを学習するために使用されてもよい。

弱教師：デジタル画像または画像の集合の弱標識化を使用したマルチインスタンス学習（ＭＩＬ）を使用して、機械学習モデル（例えば、多層式パーセプトロン（ＭＬＰ）、畳み込みニューラルネットワーク（ＣＮＮ）、グラフニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）、ランダムフォレスト等）を訓練する。標識は、腫瘍領域の有無に対応し得る。

境界ボックスまたはポリゴンベースの教師：腫瘍組織または浸潤性辺縁を示す、デジタル画像のサブ領域を規定する、境界ボックスまたはポリゴンを使用して、機械学習モデル（例えば、Ｒ－ＣＮＮ、高速Ｒ－ＣＮＮ、選択的検索）を訓練する。

ピクセルレベル標識化（例えば、意味論またはインスタンスセグメント化）：個々のピクセルが腫瘍組織または浸潤性辺縁を示すように識別され得る、ピクセルレベル標識化を使用して、機械学習モデル（例えば、マスクＲ－ＣＮＮ、Ｕ－ＮＥＴ、完全畳み込みニューラルネットワーク）を訓練する。

腫瘍組織領域を識別する、対応するが異なるデジタル画像の使用：腫瘍領域および浸潤性辺縁（例えば、ＩＨＣを使用して識別された腫瘍／浸潤性辺縁）をハイライトする、組織のデジタル画像が、入力デジタル画像と位置合わせされ得る。例えば、Ｈ＆Ｅ画像のデジタル画像が、ＩＨＣが画像色特性を調べることによって腫瘍ピクセルを決定するために使用され得る、腫瘍および浸潤性辺縁組織を識別する、ＩＨＣ画像と位置合わせまたは整合され得る。

ステップ２１２では、本方法は、標的病理学試料と関連付けられる１つまたはそれを上回るデジタル画像と、腫瘍の有無の関連付けられるインジケーションとを受信するステップを含んでもよい。標的病理学試料は、組織学試料、細胞診試料等を備えてもよい。１つまたはそれを上回るデジタル画像は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信されてもよい。

ステップ２１４では、本方法は、１つまたはそれを上回るデジタル画像を少なくとも１つのサブ領域に分割し、腫瘍が少なくとも１つのサブ領域内に存在するかどうかを決定するステップを含んでもよい。領域は、画像のタイルの作成、縁またはコントラスト、色差を介したセグメント化、機械学習モデルによる教師あり決定、ＥｄｇｅＢｏｘｅｓ等を含む、種々の方法で規定されてもよい。

ステップ２１６では、本方法は、機械学習モデルを１つまたはそれを上回るデジタル画像のうちの１つに適用し、腫瘍組織または浸潤性辺縁を示し、着目バイオマーカを呈し得る、デジタル画像の領域を予測するステップを含んでもよい。

ステップ２１８では、本方法は、サブ領域が腫瘍組織または浸潤性辺縁を含有することを決定することに応じて、少なくとも１つの腫瘍領域の場所を示し、フラグを付けるステップを含んでもよい。腫瘍組織および浸潤性辺縁領域を検出するステップは、限定ではないが、以下を含む、種々の方法を使用して、行われてもよい。
ａ） 訓練された機械学習モデルを画像サブ領域上で起動し、各画像サブ領域に関し、予測を発生させる。
ｂ） 機械学習可視化ツールを使用して、例えば、クラス活性化マップ、ＧｒａｄＣＡＭ等を使用することによって、詳細なヒートマップを作成し、次いで、関連領域を抽出する。

図２Ｃは、本開示の例示的実施形態による、機械学習を使用して、位置特定されるバイオマーカ予測モジュールを訓練する例示的方法２２０と、使用する方法２３０とを図示する、フローチャートである。バイオマーカは、ゲノム結果と、ＩＨＣ結果とを含んでもよい。Ｈ＆Ｅスライドから位置特定されるバイオマーカの識別は、より精密な療法を可能にする一方、コスト、応答時間、および観察者間の解釈の変動性を低減させ得る。位置特定されるバイオマーカのＡＩベースの推測は、腫瘍生物学および微視的環境（例えば、種々の細胞タイプと腫瘍の相互作用）に関する情報を提供し得、これは、より正確な患者層別化方略を可能にし得る。位置特定されるＨ＆Ｅベースのジェノタイピング／分子／免疫マーカ試験のＡＩベースの推測は、より包括的分子試験を要求し得る、患者の高速スクリーニング、または標的化された療法において最も利益を享受し得る、患者を選択するための高速スクリーニングを可能にし得る。下記の実施形態は、フローサイトメトリ、血液アッセイ等の臨床試験において使用される、任意のバイオマーカを予測するために使用されてもよい。

一実施形態によると、位置特定されるバイオマーカ予測モジュールを訓練および使用する例示的方法は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２２１では、本方法は、訓練病理学試料と関連付けられる、１つまたはそれを上回る訓練デジタル画像を受信するステップを含んでもよい。訓練病理学試料は、組織学試料、細胞診試料等を備えてもよい。訓練デジタル画像は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信されてもよい。

ステップ２２３では、本方法は、１つのまたは１つまたはそれを上回る訓練デジタル画像に示される腫瘍および／または浸潤性辺縁領域内に存在するバイオマーカのレベルに関する複数のデータを受信するステップを含んでもよい。バイオマーカの存在は、バイナリまたは序数値を用いて示されてもよい。

ステップ２２５では、本方法は、１つまたはそれを上回る訓練デジタル画像を少なくとも１つのサブ領域に分割し、腫瘍が少なくとも１つのサブ領域内に存在するかどうかを決定するステップを含んでもよい。１つまたはそれを上回る訓練デジタル画像をサブ領域に分割するステップは、サブ領域性質に基づいてもよい。サブ領域は、画像のタイルの作成、縁またはコントラストに基づくセグメント化、色差を介したセグメント化、機械学習モデルによる教師あり決定等を含む、種々の方法で規定されてもよい。

ステップ２２７では、本方法は、着目バイオマーカに関連する、少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域を識別するステップを含んでもよい。これは、ＡＩベースのシステムを使用して、または専門家からの手動注釈を使用して、行われてもよい。

ステップ２２９では、本方法は、機械学習システムを訓練し、少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域からの各バイオマーカの発現レベルを予測するステップを含んでもよい。発現レベルは、バイナリ数、序数、実数等として表され得る。本アルゴリズムは、限定ではないが、以下を含む、複数の方法で実装されてもよい。
ａ） ＣＮＮ
ｂ） ＭＩＬを用いたＣＮＮ
ｃ） 回帰型ニューラルネットワーク
ｄ） 長短期メモリＲＮＮ（ＬＳＴＭ）
ｅ） ゲート付回帰型ユニットＲＮＮ（ＧＲＵ）
ｆ） グラフ畳み込みネットワーク
ｇ） サポートベクトルマシン
ｈ） ランダムフォレスト

ステップ２３２では、本方法は、標的病理学試料と関連付けられる、１つまたはそれを上回るデジタル画像を受信するステップを含んでもよい。標的病理学試料は、組織学試料、細胞診試料等を備えてもよい。１つまたはそれを上回るデジタル画像は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信されてもよい。

ステップ２３４では、本方法は、腫瘍および浸潤性辺縁領域の場所を受信するステップを含んでもよい。場所は、自動的に、または専門家によって手動で規定されてもよい。

ステップ２３６では、本方法は、訓練された機械学習システムを適用し、少なくとも１つの着目領域内のバイオマーカ発現レベルの予測を出力するステップを含んでもよい。

ステップ２３８では、本方法は、バイオマーカ発現レベル予測を電子記憶デバイスに出力するステップを含んでもよい。本方法は、加えて、視覚的インジケータを発生させ、ユーザ（例えば、病理学者、組織学技術者等）にバイオマーカの存在をアラートするステップを含んでもよい。

図２Ｄは、本開示の例示的実施形態による、機械学習を使用して、バイオマーカ比較モジュールを訓練および使用する例示的方法を図示する、フローチャートである。バイオマーカ比較モジュールは、入力として、空間的に編成されたバイオマーカシグネチャまたは空間的に編成されたバイオマーカのベクトル埋込をとり、ＡＩを使用して、例えば、治療転帰、治療抵抗等の情報を推測してもよい。例示的方法２４０および２５０は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。

一実施形態によると、バイオマーカ比較モジュールを訓練および使用するための例示的方法２４０および２５０は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ２４２では、本方法は、訓練入力と関連付けられる空間的に構造化された訓練入力を位置特定されるバイオマーカ予測モジュールから受信するステップを含んでもよい。位置特定されるバイオマーカ予測モジュールからの空間的に構造化された入力は、場所が、腫瘍、浸潤性辺縁、腫瘍の外側等にあるかどうかについての情報を備えてもよい。

ステップ２４４では、本方法は、各空間的に構造化された訓練入力に対応する、複数のメタデータを受信するステップを含んでもよい。メタデータは、母集団統計情報、患者既往歴等を備えてもよい。

ステップ２４６では、本方法は、治療転帰または抵抗予測を位置特定されるバイオマーカから予測するように機械学習システムを訓練するステップを含んでもよい。機械学習システムを訓練するステップは、限定ではないが、以下を含む、複数の方法で実装される、アルゴリズムを備えてもよい。
ａ． ＣＮＮ
ｂ． ＭＩＬを用いて訓練されたＣＮＮ
ｃ． 回帰型ニューラルネットワーク
ｄ． 長短期メモリＲＮＮ（ＬＳＴＭ）
ｅ． ゲート付回帰型ユニティＲＮＮ（ＧＲＵ）
ｆ． グラフ畳み込みネットワーク
ｇ． サポートベクトルマシン
Ｈ． ランダムフォレスト

ステップ２５２では、本方法は、空間的に構造化された入力を位置特定されるバイオマーカ予測モジュールから受信するステップを含んでもよい。位置特定されるバイオマーカ予測モジュールからの入力は、高レベル変数またはベクトル埋込を含んでもよい。各空間構造場所は、場所が、腫瘍、浸潤性辺縁、腫瘍の外側等にあるかどうかについての情報を含有してもよい。

ステップ２５４では、本方法は、空間的に構造化された入力に対応する、複数のメタデータ（例えば、母集団統計情報、患者既往歴等）を受信するステップを含んでもよい。

ステップ２５６では、本方法は、機械学習モデルを適用し、治療転帰または抵抗予測を局在化されたバイオマーカから予測するステップを含んでもよい。

ステップ２５８では、本方法は、治療転帰予測を電子記憶デバイスに出力するステップを含んでもよい。本方法はまた、視覚的インジケータを発生させ、ユーザ（例えば、病理学者、組織学技術者等）に転帰情報をアラートするステップを含んでもよい。

図３は、本開示の例示的実施形態による、腫瘍および囲繞浸潤性辺縁内の免疫マーカを検出するように訓練される、例示的システムである。例示的実施形態３００（例えば、ステップ３０２－３１０）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。

例示的実施形態３００は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ３０２では、本方法は、アルゴリズムが乳房組織のデジタルの全体的スライド画像をフィードされることを含んでもよく、組織のうちのいくつかは、癌性である。ステップ３０４では、本方法は、顕著な組織がアルゴリズムによって検出されることを含んでもよい。ステップ３０６では、本方法は、腫瘍組織検出器が、画像をフィルタリングし、癌を有する、具体的組織領域に焦点を当て得ることを含んでもよい。ステップ３０８では、本方法は、ＡＩが、腫瘍領域を使用して、腫瘍および囲繞非腫瘍領域内の各免疫マーカの発現レベルを推測し得ることを含んでもよい。ステップ３１０では、本方法は、腫瘍内の免疫マーカを検出するステップを含んでもよく、さらに、囲繞浸潤性辺縁領域内の免疫マーカを検出するステップを含んでもよい。ステップ３１０は、部分的または完全に、機械学習使用して実施されてもよい。

図４は、本開示の例示的実施形態による、免疫マーカ位置特定モデルを訓練および使用するための例示的方法を図示する、フローチャートである。免疫マーカ（例えば、腫瘍浸潤性リンパ球（ＣＤ３Ｔ－細胞、ＣＤ８Ｔ－細胞等）、貪食細胞（ＣＤ６８、ＣＤ１６３等）の識別は、患者の免疫系をより良好に特性評価し、免疫療法のための良好な候補である、患者を査定することに役立ち得る。腫瘍の浸潤性辺縁の中および内の高レベルの腫瘍浸潤性リンパ球は、結腸癌に関する良好な予後マーカ（例えば、免疫スコア）であり得る。ＩＨＣは、病理学者によって、腫瘍組織の腫瘍および浸潤性辺縁内のこれらの臨界マーカの発現および場所を識別するために使用され得る。近年、ＲＮＡシーケンシングおよびフローサイトメトリ等の次世代シーケンシング技術もまた、イムノフェノタイピングのために使用されているが、しかしながら、組織構造および異なる細胞間の空間関係についての任意の情報は、これらの技術では喪失され得る。

本実施形態は、ＡＩを適用し、免疫マーカを種々のイムノフェノタイピング方法からＨ＆Ｅ染色されたデジタル画像から予測するステップを含む。本実施形態は、腫瘍／浸潤性辺縁領域検出器を使用して、腫瘍および非囲繞非腫瘍領域を識別し得る。例示的方法４００および４２０（例えば、ステップ４０２－４０８およびステップ４２２－４２８）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。

一実施形態によると、免疫マーカ位置特定モデルを訓練するための例示的方法４００は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ４０２では、本方法は、Ｈ＆Ｅで染色された組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ４０４では、本方法は、ＡＩベースの方法または手動仕様のいずれかを使用して、各受信される画像内の少なくとも１つの腫瘍領域および囲繞腫瘍組織を識別するステップを含んでもよい。

ステップ４０６では、本方法は、各画像に関し、免疫マーカ（例えば、ＣＤ３、ＣＤ８、Ｃｄ６８等）のうちの１つまたはそれを上回るもののインジケーションを受信するステップを含んでもよい。免疫マーカ発現のレベルは、ＩＨＣ、フローサイトメトリ、ＲＮＡシーケンシング等を使用して識別されてもよい。発現のレベルは、数値、序数、またはバイナリスケールにおいてであってもよい。インジケーションは、画像全体または画像下位領域に割り当てられてもよい。

ステップ４０８では、本方法は、免疫マーカ位置特定機械学習モデルを訓練し、存在する免疫マーカのレベルを病理学試料の受信されるデジタル画像のそれぞれの腫瘍および浸潤性辺縁領域から予測するステップを含んでもよい。

ステップ４２２では、本方法は、選択された病理学試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ４２４では、本方法は、各受信される画像内の腫瘍および囲繞非腫瘍組織に対応する、腫瘍画像領域を識別するステップを含んでもよい。本ステップは、ＡＩベースの方法（例えば、腫瘍／浸潤性辺縁領域検出モデル）または手動仕様によって実施されてもよい。

ステップ４２６では、本方法は、機械学習マーカ位置特定モデルを少なくとも１つの受信される画像に適用し、発現レベルまたは免疫マーカの予測を出力するステップを含んでもよい。

ステップ４２８では、本方法は、免疫マーカの発現レベルの予測を電子記憶デバイスに出力するステップを含んでもよい。出力は、視覚的インジケーションを発生させ、ユーザ（例えば、病理学者、組織学技術者等）に、各免疫マーカの発現レベルをアラートするステップを含んでもよい。出力は、加えて、腫瘍、所与の予測される免疫マーカ、およびその予測される発現レベルのために効果的であり得る、治療を推奨してもよい。

図５は、病理学試料における遺伝子シグネチャおよび／または突然変異の位置特定のために、機械学習モデルを訓練および使用するための例示的方法を図示する、フローチャートである。癌組織の遺伝子および分子試験は、標的化された療法を介して、固形腫瘍の精密な治療を可能にし得る。ゲノムシーケンシングのコストは、過去数年にわたって、実質的に減少しているが、これらの試験は、依然として、コストがかかり、低速であって、実質的量の組織を要求し得、組織は、臨床研究では、限定され得る。さらに、組織構造および異なる細胞間の空間関係についての任意の情報は、これらの試験の間、喪失され得る。本実施形態は、位置特定される遺伝子および分子バイオマーカ（タンパク質および／または遺伝子産物の過剰発現、増幅、具体的遺伝子の突然変異等）を病理学試料のデジタル画像から推測し得る。例示的方法５００および５２０（例えば、ステップ５０２－５０８およびステップ５２２－５３０）は、スライド分析ツール１０１によって、自動的に、またはユーザからの要求に応答して、実施されてもよい。

一実施形態によると、病理学試料における遺伝子シグネチャおよび／または突然変異の位置特定のために、機械学習モデルを訓練するための例示的方法５００は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ５０２では、本方法は、組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ５０４では、本方法は、ＡＩベースのモデル（例えば、腫瘍領域検出モデル）または手動仕様のいずれかを使用して、各受信される画像内の癌性組織に対応する腫瘍画像領域を識別するステップを含んでもよい。

ステップ５０６では、本方法は、各画像に関し、遺伝子シグネチャまたは遺伝子突然変異のうちの１つまたはそれを上回るものの存在のインジケーションを受信するステップを含んでもよい。突然変異の存在は、検証されたシーケンシング方法を使用して識別されてもよい。突然変異の存在は、分類別変数として報告されてもよく、そのバリアント対立遺伝子画分および癌細胞画分（例えば、所与の突然変異を持つサンプル内の癌細胞の生物情報科学的に推測されるパーセンテージ）は、数値、序数、またはバイナリスケールにおいて報告されてもよい。インジケーションは、画像全体または画像サブ領域（例えば、腫瘍）に割り当てられてもよい。

ステップ５０８では、本方法は、遺伝子シグネチャおよび／または突然変異バイオマーカ位置特定機械学習モデルを訓練し、存在する突然変異のレベルを病理学試料のデジタル画像のセット内の各空間領域から予測するステップを含んでもよい。

ステップ５２２では、本方法は、選択された組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ５２４では、本方法は、ＡＩベースの方法（例えば、腫瘍検出モデル）または手動仕様のいずれかを使用して、受信される画像に関する癌性組織に対応する、腫瘍画像領域を識別するステップを含んでもよい。

ステップ５２６では、本方法は、訓練された遺伝子シグネチャおよび／または突然変異バイオマーカ位置特定機械学習バイオマーカ位置特定モデルを画像に適用し、遺伝子突然変異の位置特定を出力するステップを含んでもよい。

ステップ５２８では、本方法は、遺伝子突然変異の位置特定される存在を診断カテゴリに割り当てるステップを含んでもよい。

ステップ５３０では、本方法は、遺伝子突然変異、遺伝子突然変異発現レベル、遺伝子突然変異場所、または診断カテゴリ予測を電子記憶デバイスに出力するステップを含んでもよい。出力は、視覚的インジケータを使用して、ユーザ（例えば、病理学者、組織学技術者等）に、各遺伝子突然変異の発現レベルおよび場所を知らせるステップを含んでもよい。

図６は、免疫療法応答予測のための腫瘍の微視的環境内のバイオマーカの位置特定のために、機械学習モデルを訓練および使用する例示的方法を図示する、フローチャートである。破壊に関する免疫システムによる腫瘍細胞の認識は、とりわけ、ＰＤ１、ＰＤＬ１に対する抗体を含む、免疫療法の潜在的有効性の査定のために利用される、いくつかのバイオマーカにおいて利用され得る、条件のセットを伴い得る。これらのバイオマーカのうちのいくつかは、とりわけ、体細胞突然変異の数（例えば、腫瘍突然変異負荷）、ＭＳＩ（マイクロサテライト不安定性）を含む、マーカに関するＩＨＣ、ＰＤＬ１およびＰＤ１、微視的環境内の炎症のレベルに関する遺伝子発現シグネチャを含む。バイオマーカの定量化に加え、腫瘍に対するバイオマーカの場所もまた、療法応答を理解または予測する際の重要な情報を提供し得る。

実施形態は、腫瘍の微視的環境内のバイオマーカを識別および位置特定し、患者の免疫状況および免疫療法への応答のその尤度をより良好に理解するために使用され得る。実施形態によると、免疫療法応答予測のための腫瘍の微視的環境内のバイオマーカの位置特定のために、機械学習モデルを訓練するための例示的方法６００および６２０（例えば、ステップ６０２－６１０およびステップ６２２－６２８）は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ６０２では、本方法は、癌組織試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。受信される各画像に関し、本方法はまた、腫瘍領域、例えば、癌性組織の有無のインジケーションを受信するステップを含んでもよい。

ステップ６０４では、本方法は、癌組織試料の組織試料タイプを受信するステップを含んでもよい。

ステップ６０６では、本方法は、ＡＩベースの方法（例えば、腫瘍領域検出モデル）または手動仕様のいずれかを使用して、組織の腫瘍および浸潤性辺縁に対応する、腫瘍画像領域を識別するステップを含んでもよい。

ステップ６０８では、本方法は、各画像に関し、チェックポイント阻害薬に対する感度、腫瘍突然変異負荷、ＭＳＩ炎症を起こした腫瘍の微視的環境、またはＰＤＬ１／ＰＤ１陽性のインジケーションを受信するステップを含んでもよい。これらの存在は、分類別スケール（例えば、存在対不在）において報告されてもよい。インジケーションは、画像全体または画像サブ領域に割り当てられてもよい。

ステップ６１０では、本方法は、免疫応答バイオマーカ位置特定機械学習モデルを訓練し、存在するバイオマーカのレベルを各受信される画像の（腫瘍および浸潤性辺縁）領域から予測するステップを含んでもよい。

ステップ６２２では、本方法は、選択された癌病理学試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ６２４では、本方法は、選択された癌病理学試料の組織試料タイプを受信するステップを含んでもよい。

ステップ６２６では、本方法は、ＡＩベースの方法（例えば、腫瘍領域検出モデル）または手動のいずれかを使用して、選択された画像に関して、組織の腫瘍および浸潤性辺縁に対応する、腫瘍画像領域を識別するステップを含んでもよい。

ステップ６２８では、本方法は、免疫応答バイオマーカ位置特定機械学習モデルを少なくとも１つの受信される画像に適用し、腫瘍および浸潤性辺縁内のバイオマーカの位置特定または発現レベルを予測するステップを含んでもよい。機械学習モデルは、以下のステップを含んでもよい。
ａ． バイオマーカの存在を診断カテゴリに割り当てる
ｂ．バイオマーカの予測される位置特定または発現レベルを電子記憶デバイスに出力する
ｃ． 視覚的インジケータを発生させ、ユーザ（例えば、病理学者、組織学技術者等）に、バイオマーカの予測される発現レベルをアラートする。

図７は、本開示の例示的実施形態による、機械学習を使用して、抗新生物薬抵抗を予測する例示的方法を図示する、フローチャートである。抗新生物薬抵抗は、癌細胞が、抗癌治療に抵抗し、そにもかかわらず生存するときに生じ得る。本能力は、治療の過程の間、癌内で発達し得、癌が抵抗力を獲得することが最も困難であろう、療法を予測することは、患者治療および生存率を改善し得る。一部の癌は、治療の過程にわたって、複数の薬物に対して抵抗力を発達させることができる。本実施形態は、腫瘍内外の環境を調べることによって、抗新生物薬抵抗の確率を予測し得る。

一実施形態によると、ＡＩを使用して、抗新生物薬抵抗予測システムを訓練するための例示的方法７００は、以下のステップのうちの１つまたはそれを上回るものを含んでもよい。ステップ７０２では、本方法は、癌組織試料の１つまたはそれを上回るデジタル画像（例えば、Ｈ＆Ｅで染色された）をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ７０４では、本方法は、デジタル画像のそれぞれに関し、対応する組織試料タイプを受信するステップを含んでもよい。

ステップ７０６では、本方法は、デジタル画像のそれぞれに関し、組織試料と関連付けられる患者に与えられる治療および転帰（例えば、抗新生物薬抵抗が生じたかどうか）に関するデータを受信するステップを含んでもよい。例示的転帰は、１つの時点または複数の時点において存在し得る。

ステップ７０８では、本方法は、ＡＩベースの方法（例えば、腫瘍領域検出モデル）または手動仕様のいずれかを使用して、腫瘍および囲繞非腫瘍組織に対応する、デジタル画像のそれぞれ内の腫瘍画像領域を識別するステップを含んでもよい。

ステップ７１０では、本方法は、治療に関する転帰（例えば、抗新生物薬抵抗が発現するかどうか）を予測するように抵抗予測機械学習モデル、例えば、深層ニューラルネットワークを訓練するステップを含んでもよい。本分類は、マルチクラスまたはマルチ標識アプローチを使用して行われてもよく、与えられなかった治療は、欠測値として取り扱われる。

方法７２０は、稼働中の訓練されたシステムを使用するときに実装されてもよい。ステップ７２２では、本方法は、選択された癌病理学試料の１つまたはそれを上回るデジタル画像をデジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）の中に受信するステップを含んでもよい。

ステップ７２４では、本方法は、選択された癌病理学試料の組織試料タイプを受信するステップを含んでもよい。

ステップ７２６では、本方法は、選択された画像に関して、ＡＩベースの方法（例えば、腫瘍領域検出モデル）または手動仕様のいずれかを使用して、組織の腫瘍および浸潤性辺縁に対応する、少なくとも１つの腫瘍領域を識別するステップを含んでもよい。

ステップ７２８では、本方法は、訓練された抵抗予測機械学習モデルを選択された癌病理学試料の少なくとも１つの受信される画像に適用し、１つまたはそれを上回る治療タイプに関する治療応答転帰を予測するステップを含んでもよい。予測は、任意の抗新生物薬抵抗が各治療タイプに対して生じるかどうかを含んでもよい。

ステップ７３０では、本方法は、治療転帰および抗新生物薬抵抗予測を電子記憶デバイスに出力するステップを含んでもよい。出力は、ユーザ（例えば、病理学者、組織学技術者等）に、抗新生物薬抵抗発現に起因して、非効果的であると予測される、治療をアラートするための視覚的インジケータの形態であってもよい。出力はさらに、予測に基づいて、治療を推奨し、治療をユーザまたは電子記憶デバイスに出力することを含んでもよい。

図８に示されるように、デバイス８００は、中央処理ユニット（ＣＰＵ）８２０を含んでもよい。ＣＰＵ８２０は、例えば、任意のタイプの特殊目的または汎用マイクロプロセッサデバイスを含む、任意のタイプのプロセッサデバイスであってもよい。当業者によって理解されるであろうように、ＣＰＵ８２０はまた、マルチコア／マルチプロセッサシステム内の単一プロセッサであってもよく、そのようなシステムは、単独で、またはクラスタまたはサーバファーム内で動作するコンピューティングデバイスのクラスタ内で動作する。ＣＰＵ８２０は、データ通信インフラストラクチャ８１０、例えば、バス、メッセージ待ち行列、ネットワーク、またはマルチコアメッセージ通過スキームに接続されてもよい。

デバイス８００はまた、メインメモリ８４０、例えば、ランダムアクセスメモリ（ＲＡＭ）を含んでもよく、また、二次メモリ８３０を含んでもよい。二次メモリ８３０、例えば、読取専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであってもよい。そのようなリムーバブル記憶ドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリ、または同等物を備えてもよい。リムーバブル記憶ドライブは、本実施例では、周知の様式において、リムーバブル記憶ユニットから読み取られ、および／またはその中に書き込む。リムーバブル記憶ユニットは、フロッピー（登録商標）ディスク、磁気テープ、光ディスク等を備えてもよく、これは、リムーバブル記憶ドライブによって読み取られる、そこに書き込まれる。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中に記憶されるコンピュータソフトウェアおよび／またはデータを有する、コンピュータ使用可能記憶媒体を含む。

その代替実装では、二次メモリ８３０は、コンピュータプログラムまたは他の命令がデバイス８００の中にロードされることを可能にするための他の類似手段を含んでもよい。そのような手段の実施例は、プログラムカートリッジおよびカートリッジインターフェース（ビデオゲームデバイスに見出されるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭ等）および関連付けられるソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含んでもよく、これは、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス８００に転送されることを可能にする。

デバイス８００はまた、通信インターフェース（「ＣＯＭ」）８６０を含んでもよい。通信インターフェース８６０は、ソフトウェアおよびデータが、デバイス８００と外部デバイスとの間で転送されることを可能にする。通信インターフェース８６０は、モデム、ネットワークインターフェース（Ｅｔｈｅｒｎｅｔ（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロットおよびカード、または同等物を含んでもよい。通信インターフェース８６０を介して転送される、ソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース８６０によって受信されることが可能な電子、電磁、光学、または他の信号であってもよい。これらの信号は、デバイス８００の通信経路を介して、通信インターフェース８６０に提供されてもよく、これは、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装されてもよい。

ハードウェア要素、オペレーティングシステム、およびそのような機器のプログラミング言語は、性質上、従来的であって、当業者は、それに十分に精通していることが想定される。デバイス８００はまた、入力および出力ポート８５０を含み、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続してもよい。当然ながら、種々のサーバ機能は、いくつかの類似プラットフォーム上に分散方式で実装され、処理負荷を分散させてもよい。代替として、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。

本開示全体を通して、構成要素またはモジュールの言及は、概して、論理的に、機能または関連機能の群を実施するためにともに群化され得る、アイテムを指す。同様の参照番号は、概して、同一または類似構成要素を指すことが意図される。構成要素およびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせ内に実装されることができる。

上記に説明されるツール、モジュール、および機能は、１つまたはそれを上回るプロセッサによって実施されてもよい。「記憶」タイプ媒体は、随時、ソフトウェアプログラミングのための非一過性記憶装置を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のコンピュータ、プロセッサまたは同等物、またはその関連付けられるモジュールの有形メモリのいずれかまたは全てを含んでもよい。

ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信されてもよい。例えば、通信は、ソフトウェアを１つのコンピュータまたはプロセッサから別のものの中にロードすることを可能にし得る。本明細書で使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のための命令をプロセッサに提供することに関わる、任意の媒体を指す。

前述の一般的説明は、例示的および説明的にすぎず、本開示の制限ではない。本発明の他の実施形態は、明細書の考慮および本明細書に開示される本発明の実践から当業者に明白となるであろう。明細書および実施例は、例示にすぎないものと見なされることが意図される。

Claims (19)

1. 試料に対応する画像を分析するためのコンピュータ実装方法であって、前記方法は、
   患者からの病理学試料の１つ以上のデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つ以上のデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁領域についてのデータに関連付けられている、ことと、
   前記１つ以上のデジタル画像のそれぞれに対して、前記腫瘍組織および前記囲繞浸潤性辺縁領域を識別することと、
   機械学習モデルを前記１つ以上のデジタル画像上で使用して、前記腫瘍組織および前記囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を生成することと、
   前記複数のバイオマーカのうちのあるバイオマーカと前記複数のバイオマーカのうちの別のバイオマーカとの間の空間関係を決定することであって、前記複数のバイオマーカは、前記腫瘍組織および前記囲繞浸潤性辺縁領域内で識別されている、ことと、
   少なくとも１つの空間的に構造化された訓練入力を受信することと、各空間的に構造化された訓練入力に対応するメタデータを受信することと、前記機械学習モデルを訓練することにより、治療転帰または抵抗予測を局在化されたバイオマーカから予測することとによって、前記機械学習モデルを訓練することにより、前記少なくとも１つのバイオマーカおよび前記空間関係を比較することと、
   前記空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
   を含む、コンピュータ実装方法。
2. 前記複数のバイオマーカの存在の少なくとも１つの推測を生成することは、コンピュータビジョンモデルを使用することをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記病理学試料は、組織学および／または細胞診試料を備える、請求項１に記載のコンピュータ実装方法。
4. 前記複数のバイオマーカについてのデータは、遺伝子試験、フローサイトメトリ、および／または、免疫組織染色から識別される、請求項１に記載のコンピュータ実装方法。
5. 前記腫瘍組織および前記囲繞浸潤性辺縁領域を識別することは、前記機械学習モデルを使用し、前記機械学習モデルを訓練することは、
   訓練病理学試料および腫瘍領域の有無の関連付けられたインジケーションに関連付けられている１つ以上の訓練デジタル画像を受信することと、
   前記１つ以上の訓練デジタル画像を少なくとも１つのサブ領域に分割することにより、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
   入力として、前記病理学試料に関連付けられている前記１つ以上の訓練デジタル画像のうちの１つをとり、前記腫瘍が存在するかどうかを予測する前記機械学習モデルを訓練することと
   をさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記機械学習モデルを訓練することは、
   標的病理学試料に関連付けられている１つ以上のデジタル画像および腫瘍領域の有無の関連付けられたインジケーションを受信することと、
   前記１つ以上のデジタル画像を少なくとも１つのサブ領域に分割することにより、分析し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
   前記機械学習モデルを前記１つ以上のデジタル画像のうちの１つに適用することにより、前記デジタル画像のどの領域が、腫瘍組織または浸潤性辺縁を示し、着目バイオマーカを呈し得るかを予測することと、
   少なくとも１つの腫瘍領域の場所を示し、フラグを付けることと
   をさらに含む、請求項５に記載のコンピュータ実装方法。
7. 前記コンピュータ実装方法は、前記機械学習モデルを訓練することにより、前記複数のバイオマーカの存在の少なくとも１つの推測を生成することをさらに含み、
   前記機械学習モデルを訓練することにより、前記複数のバイオマーカの存在の少なくとも１つの推測を生成することは、
   前記病理学試料の１つ以上の訓練デジタル画像を受信することと、
   前記１つ以上の訓練デジタル画像のうちの１つに示される腫瘍および／または浸潤性辺縁領域内に存在する前記バイオマーカのレベルに関する複数のデータを受信することと、
   前記１つ以上の訓練デジタル画像のうちの１つを少なくとも１つのサブ領域に分割することにより、前記少なくとも１つのサブ領域に関する少なくとも１つの性質を決定することと、
   着目バイオマーカに関連する少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域を識別することと、
   機械学習システムを訓練することにより、前記少なくとも１つの腫瘍および／または前記少なくとも１つの浸潤性辺縁領域からの各バイオマーカの発現レベルを予測することと
   をさらに含む、請求項１に記載のコンピュータ実装方法。
8. 前記少なくとも１つの推測を生成することは、
   前記腫瘍組織および前記囲繞浸潤性辺縁領域内の少なくとも１つの着目領域を決定することと、
   前記機械学習モデルを適用することにより、前記少なくとも１つの着目領域内のバイオマーカ発現レベルの予測を決定することと
   を含む、請求項１に記載のコンピュータ実装方法。
9. 前記少なくとも１つの推測を生成することは、
   空間的に構造化された入力を受信することと、
   前記空間的に構造化された入力に対応するメタデータを受信することと、
   前記機械学習モデルを適用することにより、前記治療転帰または抵抗予測を局在化されたバイオマーカから予測することと
   をさらに含む、請求項１に記載のコンピュータ実装方法。
10. 試料に対応する画像を分析するためのシステムであって、前記システムは、
    命令を記憶する少なくとも１つのメモリと、
    前記命令を実行することにより、動作を実行するように構成されている少なくとも１つのプロセッサと
    を備え、
    前記動作は、
    患者からの病理学試料の１つ以上のデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つ以上のデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁領域についてのデータに関連付けられている、ことと、
    前記１つ以上のデジタル画像のそれぞれに対して、前記腫瘍組織および前記囲繞浸潤性辺縁領域を識別することと、
    空間的に構造化された入力を受信することと、前記空間的に構造化された入力に対応するメタデータを受信することと、前記機械学習モデルを適用することにより、治療転帰または抵抗予測を局在化されたバイオマーカから予測することとによって、機械学習モデルを前記１つ以上のデジタル画像上で使用して、前記腫瘍組織および前記囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を生成することと、
    前記複数のバイオマーカのうちのあるバイオマーカと前記複数のバイオマーカのうちの別のバイオマーカとの間の空間関係を決定することであって、前記複数のバイオマーカは、前記腫瘍組織および前記囲繞浸潤性辺縁領域内で識別されている、ことと、
    前記空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
    を含む、システム。
11. 前記複数のバイオマーカの存在の少なくとも１つの推測を生成することは、コンピュータビジョンモデルを使用することをさらに含む、請求項１０に記載のシステム。
12. 前記病理学試料は、組織学および／または細胞診試料を備える、請求項１０に記載のシステム。
13. 前記複数のバイオマーカについてのデータは、遺伝子試験、フローサイトメトリ、および／または、免疫組織染色から識別される、請求項１０に記載のシステム。
14. 前記腫瘍組織および前記囲繞浸潤性辺縁領域を識別することは、前記機械学習モデルを使用し、前記機械学習モデルを訓練することは、
    訓練病理学試料および腫瘍領域の有無の関連付けられたインジケーションに関連付けられている１つ以上の訓練デジタル画像を受信することと、
    前記１つ以上の訓練デジタル画像を少なくとも１つのサブ領域に分割することにより、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
    入力として、前記病理学試料に関連付けられている前記１つ以上の訓練デジタル画像のうちの１つをとり、前記腫瘍が存在するかどうかを予測する前記機械学習モデルを訓練することと
    をさらに含む、請求項１０に記載のシステム。
15. 前記機械学習モデルを訓練することは、
    標的病理学試料に関連付けられている１つ以上のデジタル画像および腫瘍領域の有無の関連付けられたインジケーションを受信することと、
    前記１つ以上のデジタル画像を少なくとも１つのサブ領域に分割することにより、分析し、前記腫瘍が前記少なくとも１つのサブ領域内に存在するかどうかを決定することと、
    前記機械学習モデルを前記１つ以上のデジタル画像のうちの１つに適用することにより、前記デジタル画像のどの領域が、腫瘍組織または浸潤性辺縁を示し、着目バイオマーカを呈し得るかを予測することと、
    少なくとも１つの腫瘍領域の場所を示し、フラグを付けることと
    をさらに含む、請求項１４に記載のシステム。
16. 前記動作は、前記機械学習モデルを訓練することにより、前記複数のバイオマーカの存在の少なくとも１つの推測を生成することをさらに含み、
    前記機械学習モデルを訓練することにより、前記複数のバイオマーカの存在の少なくとも１つの推測を生成することは、
    前記病理学試料の１つ以上の訓練デジタル画像を受信することと、
    前記１つ以上の訓練デジタル画像のうちの１つに示される腫瘍および／または浸潤性辺縁領域内に存在する前記バイオマーカのレベルに関する複数のデータを受信することと、
    前記１つ以上の訓練デジタル画像のうちの１つを少なくとも１つのサブ領域に分割することにより、前記少なくとも１つのサブ領域に関する少なくとも１つの性質を決定することと、
    着目バイオマーカに関連する少なくとも１つの腫瘍および／または少なくとも１つの浸潤性辺縁領域を識別することと、
    機械学習システムを訓練することにより、前記少なくとも１つの腫瘍および／または前記少なくとも１つの浸潤性辺縁領域からの各バイオマーカの発現レベルを予測することと
    を含む、請求項１０に記載のシステム。
17. 前記少なくとも１つの推測を生成することは、
    前記腫瘍組織および前記囲繞浸潤性辺縁領域内の少なくとも１つの着目領域を決定することと、
    前記機械学習モデルを適用することにより、前記少なくとも１つの着目領域内のバイオマーカ発現レベルの予測を決定することと
    を含む、請求項１０に記載のシステム。
18. 前記動作は、前記機械学習モデルを訓練することにより、前記少なくとも１つのバイオマーカおよび前記空間関係を比較することをさらに含み、
    前記機械学習モデルを訓練することにより、前記少なくとも１つのバイオマーカおよび前記空間関係を比較することは、
    少なくとも１つの空間的に構造化された訓練入力を受信することと、
    各空間的に構造化された訓練入力に対応するメタデータを受信することと、
    前記機械学習モデルを訓練することにより、治療転帰または抵抗予測を局在化されたバイオマーカから予測することと
    によって行われる、請求項１０に記載のシステム。
19. 試料に対応する画像を分析するためのシステムを動作させる方法であって、前記システムは、少なくとも１つのプロセッサを備え、前記方法は、
    前記少なくとも１つのプロセッサが、患者からの病理学試料の１つ以上のデジタル画像を受信することであって、前記病理学試料は、腫瘍組織を備え、前記１つ以上のデジタル画像は、前記腫瘍組織内の複数のバイオマーカについてのデータおよび前記腫瘍組織の周囲の囲繞浸潤性辺縁領域についてのデータに関連付けられている、ことと、
    前記少なくとも１つのプロセッサが、前記１つ以上のデジタル画像のそれぞれに対して、前記腫瘍組織および前記囲繞浸潤性辺縁領域を識別することと、
    前記少なくとも１つのプロセッサが空間的に構造化された入力を受信することと、前記少なくとも１つのプロセッサが前記空間的に構造化された入力に対応するメタデータを受信することと、前記少なくとも１つのプロセッサが前記機械学習モデルを適用することにより、治療転帰または抵抗予測を局在化されたバイオマーカから予測することとによって、前記少なくとも１つのプロセッサが、機械学習モデルを前記１つ以上のデジタル画像上で使用して、前記腫瘍組織および前記囲繞浸潤性辺縁領域内の前記複数のバイオマーカの存在の少なくとも１つの推測を生成することと、
    前記少なくとも１つのプロセッサが、前記複数のバイオマーカのうちのあるバイオマーカと前記複数のバイオマーカのうちの別のバイオマーカとの間の空間関係を決定することであって、前記複数のバイオマーカは、前記腫瘍組織および前記囲繞浸潤性辺縁領域内で識別されている、ことと、
    前記少なくとも１つのプロセッサが、前記空間関係に基づいて、治療転帰に関する予測および／または前記患者のための少なくとも１つの治療推奨を決定することと
    を含む、方法。