JP7750877B2 - 転移部からの病理データを分析するための機械学習モデル - Google Patents

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、２０２０年６月２日付で提出された「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌ ｆｏｒ Ａｎａｌｙｚｉｎｇ Ｐａｔｈｏｌｏｇｙ Ｄａｔａ ｆｒｏｍ Ｍｅｔａｓｔａｔｉｃ Ｓｉｔｅｓ」と題する米国仮特許出願第６３／０３３，７３０号の優先権を主張する。

コンピューティングデバイスは、様々なコンピュータビジョンアルゴリズムを使用して、画像内の様々な特徴を認識及び検出することができる。コンピューティングデバイスはまた、画像内の特徴に関する特性を判定することもできる。

本開示の態様は、生物医学画像（ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｅｓ）から原発部位（ｐｒｉｍａｒｙ ｓｉｔｅ）を判定するシステム及び方法に関する。コンピューティングシステムは、第１の被験者の状態と関連付けられる原発部位又は二次部位（ｓｅｃｏｎｄａｒｙ ｓｉｔｅ）のうちの一方からの第１の試料の第１の生物医学画像を識別することができる。コンピューティングシステムは、第１の生物医学画像を、複数の重みを含む部位予測モデル（ｓｉｔｅ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｌ）に適用して、状態の原発部位を判定することができる。部位予測モデルは、複数の例を有する訓練データセットを使用して訓練することができる。各例は、第２の試料が得られた第２の被験者の状態の原発部位又は二次部位のうちの一方からの第２の試料の第２の生物医学画像、第２の生物医学画像が得られた第２の試料の原発部位又は二次部位のうちの一方を識別する第１のラベル、及び、第２の被験者の状態の原発部位を識別する第２のラベルを含んでもよい。コンピューティングシステムは、部位予測モデルを使用して判定される第１の生物医学画像と原発部位との間の関連付けを記憶することができる。

いくつかの実施形態において、コンピューティングシステムは、第１の生物医学画像と原発部位との間の関連付けを提供することができる。いくつかの実施形態において、コンピューティングシステムは、第１の生物医学画像を部位予測モデルに適用して、第１の被験者の状態の複数の候補原発部位を判定することができる。

いくつかの実施形態において、コンピューティングシステムは、第１の生物医学画像を部位予測モデルに適用して、状態の原発部位の信頼スコアを判定することができる。いくつかの実施形態において、コンピューティングシステムは、第１の生物医学画像を部位予測モデルに適用して、複数の候補原発部位のランク付けを判定することができる。

いくつかの実施形態において、コンピューティングシステムは、組織画像作成手段（ｈｉｓｔｏｌｏｇｉｃａｌ ｉｍａｇｅ ｐｒｅｐａｒｅｒ）を介して第１の試料の第１の生物医学画像を得ることができる。いくつかの実施形態において、部位予測モデルの複数の重みは、（ｉ）生物医学画像から複数の特徴マップを生成するための複数の畳み込みブロック、及び、（ｉｉ）複数の特徴マップに基づいて状態の原発部位を判定するための活性化層に構成することができる。

本開示の態様は、生物医学画像から原発部位を判定するようにモデルを訓練するシステム及び方法に関する。コンピューティングシステムは、複数の例を有する訓練データセットを識別することができる。複数の例の各例は、試料が得られた第２の被験者の状態の原発部位又は二次部位のうちの一方からの試料の生物医学画像、生物医学画像が得られた第２の試料の原発部位又は二次部位のうちの一方を識別する第１のラベル、及び、第２の被験者の状態の原発部位を識別する第２のラベルを含んでもよい。コンピューティングシステムは、訓練データセットの複数の例の各々の生物医学画像を、複数の重みを含む部位予測モデルに適用して、試料の状態の部位を判定することができる。コンピューティングシステムは、訓練データセットの複数の例の各例について、例のラベルにおいて識別される原発部位と、部位予測モデルによって判定される部位とを比較することができる。コンピューティングシステムは、各例のラベルにおいて識別される第１の部位と、部位予測モデルによって判定される第２の部位との間の比較に基づいて、部位予測モデルの複数の重みのうちの少なくとも１つを更新することができる。コンピューティングシステムは、１つ又は複数のデータ構造において、部位予測モデルの複数の重みを記憶することができる。

いくつかの実施形態において、コンピューティングシステムは、第２の試料の取得されている生物医学画像を部位予測モデルに適用して、第２の試料の第２の部位を判定することができる。いくつかの実施形態において、コンピューティングシステムは、複数の例のうちの少なくとも１つの例の損失メトリックが閾値を超えるという判定に応答して、生物医学画像を部位予測モデルに再適用することができる。

いくつかの実施形態において、コンピューティングシステムは、比較に基づいて決定される分類損失を使用して、部位予測モデルの複数の重みのうちの少なくとも１つを更新することができる。いくつかの実施形態において、コンピューティングシステムは、訓練データセットの複数の例の各々において生物医学画像を適用して、第１の被験者の状態の複数の候補原発部位を判定することができる。

いくつかの実施形態において、コンピューティングシステムは、訓練データセットの複数の例の各々において生物医学画像を適用して、状態の原発部位の信頼スコアを判定することができる。いくつかの実施形態において、部位予測モデルの複数の重みは、（ｉ）生物医学画像から複数の特徴マップを生成するための複数の畳み込みブロック、及び、（ｉｉ）複数の特徴マップに基づいて状態の原発部位を判定するための活性化層に構成することができる。

本開示の上記のおよび他の目的、態様、特徴及び利点は、添付の図面とともに取り上げられる以下の詳細な説明を参照することによって、より明瞭になり、よりよく理解されるであろう。

例示的な実施形態によるホールスライドイメージを使用した転移部（ｍｅｔａｓｔａｔｉｃ ｓｉｔｅｓ）における元の原発部位の識別のためのプロセスの概観のブロック図である。 例示的な実施形態によるホールスライドイメージを使用した転移部における元の原発部位の識別のためにモデルを訓練するためのプロセスの概観のブロック図である。 例示的な実施形態による転移部における元の原発部位の識別のためにモデルを訓練するために使用される訓練データにおける原発部位と転移部との間の関係を示すグラフ図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステムのブロック図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステム内の部位予測モデルの訓練プロセスのブロック図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステム内の部位予測モデルのアーキテクチャのブロック図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステム内の部位予測モデルのエンコーダブロックのアーキテクチャのブロック図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステムの部位予測モデル内の変換スタックのアーキテクチャのブロック図である。 例示的な実施形態による生物医学画像から原発部位を判定するためのシステム内の部位予測モデルの推測プロセスのブロック図である。 例示的な実施形態による原発部位を判定するためにモデルを訓練する方法の流れ図である。 例示的な実施形態による原発部位を判定するためにモデルを適用する方法の流れ図である。 例示的な実施形態によるサーバシステム及びクライアントコンピュータシステムのブロック図である。

以下は、生物医学画像から原発部位を判定するためのシステム及び方法に関係する様々な概念及びその実施形態のより詳細な説明である。開示されている概念は特定の実施方法に限定されないため、上で紹介され、以下でより詳細に議論される様々な概念は、多くの方法のいずれかにおいて実施されてもよいことを理解されたい。特定の実施態様及び応用形態の例は、主に例示を目的として与えられている。

セクションＡは、生物医学画像から原発部位を判定するためのシステム及び方法を説明する。

セクションＢは、本明細書に記載されている様々なコンピューティング関連実施形態に有用であり得るネットワーク環境及びコンピューティング環境を説明する。

Ａ．生物医学画像の原発部位を判定するシステム及び方法
癌細胞は、原発部位に由来し、被験者の全身を通じて１つ又は複数の二次部位（本明細書においては転移部としても参照される）に転移し得る。腫瘍部位に応じて、二次部位の癌細胞は、元の原発部位のものと特性的に同様に見え得る。原発部位の推定は、身体における癌の転移を軽減及び抑制するための治療を考案するのに重要な要因であり得る。病理学者は、被験者からの組織のホールスライドイメージを手動で検査して、癌の元の原発部位を判定し得る。しかしながら、このプロセスは、特に複数の被験者からの多数の画像が検査されるべきであるときに、低速且つ面倒になり得る。さらに、検査が手動であることによって、診断が不正確になり、治療勧告が誤ったものになる可能性がある。これらの問題の一部に対処するための１つの手法は、コンピュータビジョン技法を使用して、ホールスライドイメージ内に描写されている所与の組織内の癌細胞を認識することであり得る。しかし、この手法は、癌細胞の原発部位の推定を与えることに対処することができない場合がある。これらの及び他の課題に対処するために、ホールスライドイメージに基づいて癌細胞の原発部位を予測するために形態学的パターンを学習するように、モデルが訓練され得る。モデルは、転移リスクと高度に相関する形態学的パターンを識別することができる。

ここで図１Ａを参照すると、ホールスライドイメージを使用した転移部における元の原発部位の識別のためのプロセス１００の概観のブロック図が示されている。図示されているように、病理学的記録（ｐａｔｈｏｌｏｇｙ ｒｅｃｏｒｄｓ）のデータレコードから、グランドトゥルースを自動的に抽出することができる。パスレポートは、とりわけ、悪性度（例えば、高悪性度骨肉腫、低悪性度漿液性腺癌、又は高悪性度多形性肉腫）、分化度（例えば、低分化甲状腺癌、未分化多形性肉腫、高分化粘液腺癌、及び脱分化脂肪肉腫）、腫瘍（例えば、神経芽腫群腫瘍、ミュラー管腫瘍、及び小円形細胞腫瘍）、下位腫瘍型（例えば、ユーイング肉腫、血管肉腫、及び網膜芽腫）、特性（例えば、浸潤癌、悪性腫瘍、及び転移性平滑筋腫）、及び細胞腫瘍又は異常（例えば、扁平上皮細胞癌、胚細胞腫瘍、明細胞癌、及び非小細胞癌）などの、腫瘍型を含み得る。腫瘍型によってインデックス付けされているホールスライドイメージ（ＷＳＩ）のデータセットを、複数の被験者から集めることができる。腫瘍領域は、マーカ抽出、病理学者注記、及びクラス活性化マップの下で抽出することができる。関連領域を使用して、分類器は、画像に描写されている腫瘍の原発部位を位置特定するように訓練することができる。追加の転移リスク因子を、組織試料からの原発部位の予測によって分析することができる。

ここで図１Ｂを参照すると、ホールスライドイメージを使用した転移部における元の原発部位の識別のためにモデルを訓練するためのプロセス１０５の概観のブロック図が示されている。図示されているように、モデルは、自己管理様式で訓練データを使用して訓練することができる。モデルは、腫瘍型を認識するように訓練することができる。マーカ注記及び病理学者注記を使用して、ホールスライドイメージ内の腫瘍細胞の位置を検出することができる。ここで図１Ｃを参照すると、転移部における元の原発部位の識別のためにモデルを訓練するために使用される訓練データにおける原発部位と転移部との間の関係を示すグラフ１１０が示されている。図示されているように、癌の原発部位と転移部との間には相関があり得る。これらのデータを使用して訓練されたモデルは、新たな入力画像の相関を推測するための重み及び接続を生成することができる。

ここで図２を参照すると、生物医学画像から原発部位を判定するためのシステム２００のブロック図が示されている。概して、システム２００は、少なくとも１つのネットワーク２２０を介して互いに通信可能に結合されている少なくとも１つの画像処理システム２０５と、少なくとも１つのイメージングデバイス２１０と、少なくとも１つのディスプレイ２１５とを含むことができる。画像処理システム２０５は、とりわけ、少なくとも１つのモデル訓練手段（ｍｏｄｅｌ ｔｒａｉｎｅｒ）２２５と、少なくとも１つのモデル適用手段（ｍｏｄｅｌ ａｐｐｌｉｅｒ）２３０と、少なくとも１つの部位予測モデル２３５と、少なくとも１つのデータベース２４０とを含むことができる。データベース２４０は、少なくとも１つの訓練データセット２４５を記憶、維持、又は他の様態で含むことができる。本明細書において詳述されているものとしてのシステム２００の構成要素の各々は、本明細書のセクションＢにおいて詳述されているように、ハードウェア（例えば、メモリと結合されている１つ又は複数のプロセッサ）又はハードウェアとソフトウェアとの組合せを使用して実装されてもよい。

より詳細には、画像処理システム２０５自体、並びに、モデル訓練手段２２５、モデル適用手段２３０、及び部位予測モデル２３５などの、画像処理システム内の構成要素は、訓練モード及びランタイムモード（本明細書においては評価又は推測モードとして参照されることがある）を有することができる。訓練モード下では、画像処理システム２０５は、モデル訓練手段２２５及びモデル適用手段２３０を呼び出して、訓練データセット２４５を使用して部位予測モデル２３５を訓練することができる。ランタイムモード下では、画像処理システム２０５は、モデル適用手段２３０を呼び出して、部位予測モデル２３５を新たな生物医学画像に適用して、組織が生物医学画像に描写されている被験者の状態の原発部位を予測することができる。

ここで図３を参照すると、生物医学画像から原発部位を判定するためのシステム２００内の部位予測モデル２３５の訓練プロセス３００のブロック図が示されている。プロセス３００は、訓練モード下で画像処理システム２０５によって実施される動作に対応してもよく、又はこれを含んでもよい。プロセス３００下では、画像処理システム２０５上で実行するモデル訓練手段２３０が、部位予測モデル２３５を初期化、訓練、又は確立することができる。いくつかの実施形態において、モデル訓練手段２３０は、初期化の一部として、部位予測モデル２３５内の重みのセットに乱数値を割り当てることができる。部位予測モデル２３５を訓練するために、モデル訓練手段２２５は、データベース２４０にアクセスして、訓練データセット２４５を取り出し、フェッチし、又は識別することができる。訓練データセット２４５は、少なくとも１つのデータ構造（例えば、配列、行列、ヒープ、リスト、木、又はデータオブジェクト）を使用してデータベース２４０に記憶及び維持することができる。当該識別によって、モデル訓練手段２２５は、訓練データセット２４５を使用して部位予測モデル２３５を訓練することができる。部位予測モデル２３５の訓練は、教師あり（例えば、強又は弱教師あり）学習技法に従ってもよい。

訓練データセット３２５は、１つ又は複数の例を含むことができる。訓練データセット２４５の各例は、被験者３２０からの、とりわけ、少なくとも１つの画像３０５、少なくとも１つの原発部位ラベル３１０、及び少なくとも１つの画像部位ラベル３１５を含むことができる。訓練データセット３２５内の例は、複数の被験者３２５から得られ得る。各訓練データセット２４５内で、画像３０５は、被験者３２０から取得されてもよく、導出されてもよく、又は他の様態で被験者３２０からの少なくとも１つの試料３２５のものであってもよい。試料３２５は、被験者３２０（例えば、人間、動物、又は植物）から採取されるか又は得られる組織切片であってもよい。組織切片は、人間又は動物の被験者の場合、例えば、筋組織、結合組織、上皮組織、神経組織、又は、臓器組織を含んでもよい。試料３２５は、被験者３２０の少なくとも１つの原発部位３３０又は少なくとも１つの二次部位３３５（本明細書においては転移部として参照されることがある）から得られ得る。試料３２５は、それ自体、状態を有する１つ又は複数の物体を有するか又は含み得る。例えば、試料３２５の組織切片は、腫瘍細胞又は病変を含む場合がある。この例では、癌細胞又は病変が、物体に対応することができ、状態が、腫瘍又は病変を有することに対応することができる。原発部位３３０は、状態の由来である被験者３２０内のロケーションに対応することができる。二次部位３３５は、状態の転移先である被験者３２０内のロケーションに対応することができる。例えば、肺癌が脳に転移した被験者３２０について、原発部位３３０は、肺内のロケーションとすることができ、二次部位３３５は脳内のロケーションとすることができる。

画像３０５自体は、とりわけ、光学顕微鏡、共焦点顕微鏡、蛍光顕微鏡、燐光顕微鏡、電子顕微鏡を使用することなど、顕微鏡検査技法又は病理組織画像作成手段に従って取得されてもよい。画像３０５は、例えば、とりわけ、ヘマトキシリン・エオジン（Ｈ＆Ｅ）染色、免疫染色、ヘモジデリン染色、スダン染色、シッフ染色、コンゴレッド染色、グラム染色、チール－ネールゼン染色、オーラミン－ローダミン染色、トリクロム染色、銀線色、及びライト染色を有する組織切片であってもよい。画像３０５は、１つ又は複数の関心領域（ＲＯＩ）を含んでもよい。各ＲＯＩは、状態（例えば、画像内の特徴又は物体）を含有するか、包含するか、又は含む試料画像３０５内の領域、区画、又は境界に対応し得る。例えば、試料画像３０５は、試料３２５内の組織切片のデジタルパソロジーのためのホールスライドイメージ（ＷＳＩ）であってもよく、ＲＯＩは、試料組織中の病変及び腫瘍を有する領域に対応してもよい。いくつかの実施形態において、試料画像３０５のＲＯＩは、複数の異なる状態に対応し得る。各状態は、ＲＯＩの分類を定義又は指定することができる。例えば、画像３０５が試料組織のＷＳＩであるとき、状態は、とりわけ、癌組織、良性上皮組織、間質組織、壊死組織、及び脂肪組織などの、様々な組織病理学的特性に対応してもよい。いくつかの実施形態において、訓練データセット２４５は、関連する画像３０５内でＲＯＩを識別する少なくとも１つの注記を含んでもよい。

加えて、原発部位ラベル３１０は、試料３２５中の状態が由来する被験者３２０内の原発部位３３０を識別することができる。画像部位ラベル３１５は、試料３２５が得られる被験者３２０内の部位を識別することができる。原発部位ラベル３１０と画像部位ラベル３１５の両方が、被験者３２０内の可能性のある部位のうちの１つに対応する値（例えば、英数字又は数字）を含み得る。画像部位ラベル３１５は、原発部位３３０又は二次部位３３５であり得る。原発部位ラベル３１０及び画像部位ラベル３１５は、異なる場合があり、又は、同じである場合がある。画像３０５が原発部位３３０から得られる試料３２５のものであるとき、原発部位ラベル３１０及び画像部位ラベル３１５は、同じであり得る。この場合、原発部位ラベル３１０と画像部位ラベル３１５の両方が、原発部位３３０を識別することができる。画像３０５が二次部位３３５から得られる試料３２５のものであるとき、原発部位ラベル３１０及び画像部位ラベル３１５は、異なり得る。この場合、原発部位ラベル３１０は被験者３２０内の原発部位３３０を識別し得、画像部位ラベル３１５は二次部位３３５を識別することができる。原発部位ラベル３１０及び画像部位ラベル３１５は、被験者３２０又は試料３２５を検査する病理学者又は臨床医によって入力又は生成することができる。いくつかの実施形態において、画像部位ラベル３１５は、訓練データセット２４５から省略されてもよい。

訓練時、画像処理システム２０５上で実行するモデル適用手段２３０は、訓練データセット２４５からの画像３０５を部位予測モデル２３０に適用することができる。部位予測モデル２３５は、少なくとも１つの入力を処理し、少なくとも１つの出力を生成するための重み（本明細書においてはパラメータ、カーネル、又はフィルタとして参照されることがある）を含むか又は有することができる。部位予測モデル２３５内の重みのセットは、例えば、ＲｅｓＮｅｔ－５０ ＣＮＮの配列などの畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャに従って構成されてもよい。適用時、モデル適用手段２３０は、訓練データセット２４５の各例からの画像３０５を部位予測モデル２３５の入力に提供又は供給することができる。いくつかの実施形態において、モデル適用手段２３０は、画像３０５の全体を部位予測モデル２３５に供給することができる。いくつかの実施形態において、モデル適用手段２３０は、部位予測モデル２３５に入力するための１つ又は複数のタイルを画像３０５から選択又は識別することができる。

供給を受けて、モデル適用手段２３０は、入力画像３０５を、部位予測モデル２３５内で構成されている重みのセットに従って処理して、少なくとも１つの出力を生成することができる。出力は、１つ又は複数の予測原発部位３４０を含み得る。各予測原発部位３４０は、入力画像３０５の試料３２５内で示されている状態の原発部位３３０を識別することができる。予測原発部位３４０は、被験者３２０内の部位（例えば、臓器）のうちの１つに対応する値（例えば、英数字又は数字）を含み得る。いくつかの実施形態において、出力は、状態の各予測原発部位３４０の信頼スコアを含むことができる。信頼スコアは、状態の予測原発部位３４０が状態の実際の原発部位３３０である可能性を規定又は指示することができる。部位予測モデル２３５のアーキテクチャ及び機能の詳細が、本明細書において図４Ａ～図４Ｃに関連して下記に説明される。

ここで図４Ａを参照すると、生物医学画像から原発部位を判定するためのシステム２０５内の部位予測モデル２３５のアーキテクチャ４００のブロック図が示されている。アーキテクチャ４００の下で、部位予測モデル２３５は、とりわけ、１つ又は複数のエンコーダＡ～Ｎ（以降、一般にエンコーダ４０５）、少なくとも１つのアグリゲータ４１０、及び少なくとも１つのアクティベータ４１５（本明細書においては一般に活性化層として参照されることがある）を含むことができる。部位予測モデル２３５の重みのセットは、とりわけ、１つ又は複数のエンコーダ４０５、アグリゲータ４１０、及びアクティベータ４１５にまたがって構成、配列、又は他の様態で配置構成されてもよい。部位予測モデル２３５は、１つ又は複数の入力及び少なくとも１つの出力を有することができる。入力は、画像３０５、又は、画像３０５からのタイルのセット４２０Ａ～Ｎ（以降、一般にタイル４２０として参照されることがある）を含むことができる。タイル４２０は、画像３０５の一部分に対応することができる。出力は、予測原発部位３４０（例えば、図示のものなど）を含み得る。いくつかの実施形態において、出力は、予測原発部位３４０の信頼スコアを含むことができる。エンコーダ４０５、アグリゲータ４１０、及びアクティベータ４１５の入力及び出力は、例えば、図示されている様式で互いに接続することができる。

各エンコーダ４０５は、画像３０５の少なくとも一部分を入力として受信し、取り出し、又は他の様態で識別することができる。入力は、画像３０５の全体、又は、画像３０５からの対応するタイル４２０であってもよい。エンコーダ４０５内の重みに従って、エンコーダ４０５は、入力を処理することができる。エンコーダ４０５内の重みのセットは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）に従って構成されてもよい。いくつかの実施形態において、重みのセットは、エンコーダ４０５の間で共有されてもよい。例えば、エンコーダ４０５内の重みの値及び相互接続は、部位予測モデル２３５内のエンコーダ４０５すべてを通じて同じであってもよい。いくつかの実施形態において、重みのセットは、エンコーダ４０５の間で共有されなくてもよい。例えば、１つのエンコーダ４０５内の重みの値又は相互接続は、他のエンコーダ４０５内の重みの値又は相互接続と異なってもよく、又は無関係であってもよい。エンコーダ４０５は、図４Ｂ及び図４Ｃに関連して本明細書において詳述されているアーキテクチャを使用して実装されてもよい。入力の処理から、エンコーダ４０５は、少なくとも１つの特徴マップ４２５Ａ～Ｎ（以降、一般に特徴マップ４２５として参照される）を作成又は生成することができる。特徴マップ４２５は、入力画像３０５又はタイル４２０のより低次元の表現であってもよい。例えば、特徴マップ４２５は、入力画像３０５又はそれぞれのタイル４２０内の潜在特徴の表現であってもよい。エンコーダ４０５の出力は、アグリゲータ４１０の入力として提供又は供給することができる。

アグリゲータ４１０は、対応するエンコーダ４０５によって生成される特徴マップ４２５を受信し、取り出し、又は他の様態で識別することができる。受信すると、アグリゲータ４１０は、入力の特徴マップ４２５を連結し又は組み合わせて、アグリゲータ４１０において規定される重みのセットにすることができる。アグリゲータ４１０は、重みのセットに従って入力を処理することができる。いくつかの実施形態において、アグリゲータ４１０内の重みのセットは、完全畳み込みニューラルネットワーク（ＦＣＮ）に従って構成されてもよい。アグリゲータ４１０は、図４Ｂ及び図４Ｃに関連して本明細書において詳述されているアーキテクチャを使用して実装されてもよい。処理によって、アグリゲータ４１０は、少なくとも１つの集約特徴マップ４３０を決定、作成、又は他の様態で生成することができる。集約特徴マップ４３０は、受信特徴マップ４２５の組み合わされたセットのより低次元の表現であってもよい。例えば、集約特徴マップ４３０は、エンコーダ４０５から特徴マップ４２５の組み合わされたセット内の潜在特徴の表現であってもよい。アグリゲータ４１０の出力は、アクティベータ４１５の入力として提供又は供給することができる。

アクティベータ４１５は、アグリゲータ４０１によって生成されるアグリゲータ特徴マップ４３０を受信し、取り出し、又は他の様態で識別することができる。アクティベータ４１５は、重みのセットに従って入力集約特徴マップ４３０を処理することができる。アクティベータ４１５内の重みのセットは、とりわけ、ｓｏｆｔｍａｘ関数、ｍａｘｏｕｔ関数、正規化線形ユニット（ＲｅＬＵ）、線形活性化関数、ヘヴィサイド関数、動径関数、又はロジスティック関数などの活性化層に従って構成することができる。アクティベータ４１５は、図４Ｂ及び図４Ｃに関連して本明細書において詳述されているアーキテクチャを使用して実装されてもよい。処理から、アクティベータ４１５は、少なくとも１つの出力を作成又は生成することができる。出力は、少なくとも１つの予測原発部位３４０を含み得る。予測原発部位３４０は、とりわけ、肺、胸部、脳、肝臓、胃、甲状腺、皮膚、又は任意の他の臓器などの、被験者３２０内の規定の部位に対応することができる。いくつかの実施形態において、出力は、予測原発部位３４０の信頼スコアを含むことができる。信頼スコアは、状態の予測原発部位３４０が状態の実際の原発部位３３０である可能性を規定又は指示することができる。

ここで図４Ｂを参照すると、生物医学画像から原発部位を判定するためのシステム２００の部位予測モデル２３５内のエンコーダブロック４４５のアーキテクチャ４４０のブロック図が示されている。エンコーダブロック４４５は、部位予測モデル２４５内のエンコーダ４０５及びアグリゲータ４１０を実装するために使用することができる。例えば、各エンコーダ４０５及びアグリゲータ４１０は、エンコーダブロック４４５のインスタンスであってもよい。アーキテクチャ４４０の下で、エンコーダブロック４４５は、１つ又は複数の畳み込みスタック４５０Ａ～Ｎ（以降、一般に畳み込みスタック４５０として参照される）を含むことができる。エンコーダブロック４１５はまた、少なくとも１つの入力４５５及び特徴マップ４６０などの少なくとも１つの出力も含むことができる。入力４５５及び出力特徴マップ４６０は、畳み込みスタック４５０において規定される重みのセットを介して関連付けられ得る。エンコーダ４０５を実装するために使用されるとき、エンコーダブロック４４５の入力４５５は、画像３０５又は対応するタイル４２０に対応するか又はこれを含むことができ、出力特徴マップ４６０は、特徴マップ４２５に対応することができる。アグリゲータ４１０を実装するために使用されるとき、エンコーダブロック４４５の入力４５５は、特徴マップ４２５の組み合わされたセットに対応するか又はこれを含むことができ、出力４６０は、集約特徴マップ４３０に対応することができる。各畳み込みスタック４５０は、エンコーダブロック４４５の重みを規定するか又は含むことができる。畳み込みスタック４５０のセットは、直列（例えば、図示のような）若しくは並列構成又は任意の組合せに配置構成することができる。直列構成において、１つの畳み込みスタック４５０の入力は、先行する畳み込みスタック４５０の出力を含むことができる（例えば、図示のように）。並列構成において、１つの畳み込みスタック４５０の入力は、エンコーダブロック４４５全体の入力を含むことができる。畳み込みスタック４５０のアーキテクチャに関する詳細は、本明細書において、図４Ｃに関連して下記に与えられる。

ここで図４Ｃを参照すると、生物医学画像から原発部位を判定するためのシステム２００内の部位予測モデル２３５内の変換スタック４７５のアーキテクチャ４７０のブロック図が示されている。変換スタック４７５は、部位予測モデル２３５内のエンコーダ４０５又はアグリゲータ４１０のインスタンスとして使用されるエンコーダブロック４４５の畳み込みスタック４５０を実装するために使用することができる。変換スタック４７５はまた、予測モデル２３５内のアクティベータ４１５を実装するために使用することもできる。変換スタック４７５は、１つ又は複数の変換層４８０Ａ～Ｎ（以降、一般に変換層４８０として参照される）を含むことができる。変換スタック４７５はまた、少なくとも１つの入力４８５及び少なくとも１つの出力特徴マップ４９０も含む。入力４８５及び出力４９０は、変換スタック４７５の変換層４８０において規定される重みのセットを介して関連付けられ得る。アクティベータ４１５を実装するために使用されるとき、入力４８５は、集約特徴マップ４３０に対応することができ、出力４９０は、とりわけ、予測原発部位３４０及び信頼スコアに対応することができる。変換層４８０のセットは直列に配置構成することができ、１つの変換層４８０の出力が、入力として後続の変換層４８０に供給される。各変換層４８０は、非線形入力－出力特性を有することができる。変換層４８０は、とりわけ、畳み込み層、正規化層、及び活性化層（例えば、正規化線形ユニット（ＲｅＬＵ））を備えることができる。いくつかの実施形態において、変換層４８０のセットは、畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。例えば、畳み込み層、正規化層、及び活性化層（例えば、ｓｏｆｔｍａｘ関数）は、ＣＮＮに従って配置構成されてもよい。

図３の文脈において、モデル訓練手段２２５は、画像３０５の適用から部位予測モデル２３５によって作成される出力を取り出すか、得るか、又は他の様態で識別することができる。出力は、例えば、とりわけ、少なくとも１つの予測原発部位３４０及び予測原発部位３４０の信頼スコアを含んでもよい。関連して、モデル訓練手段２２５は、予測原発部位３４０を生成するために使用される訓練データセット２４５内の例の入力画像３０５、原発部位ラベル３１０、又は画像部位ラベル３１５を識別することができる。いくつかの実施形態において、モデル訓練手段２２５は、予測原発部位３４０を生成するために使用される訓練データセット２４５の例において識別される原発部位ラベル３１０を識別することができる。いくつかの実施形態において、モデル訓練手段２２５は、同じ例において識別される画像部位ラベル３１５を識別することができる。

識別によって、モデル訓練手段２２５は、部位予測モデル２３５によって生成される予測原発部位３４０を、訓練データセット２４５からの例において識別されるものとしての原発部位ラベル３１０と比較することができる。部位予測モデル２３５によって出力される複数の予測原発部位３４０が存在するとき、モデル訓練手段２２５は、訓練を目的として、最も高い信頼スコアを有する予測原発部位３４０を選択又は識別することができる。いくつかの実施形態において、モデル訓練手段２２５は、予測原発部位３４０に含まれる値を、原発部位ラベル３１０によって示される値と比較することができる。

比較から、モデル訓練手段２２５は、部位予測モデル２３５によって生成される予測原発部位３４０が正しいか否かを判定することができる。予測原発部位３４０が原発部位ラベル３１０に一致するとき、モデル訓練手段２２５は、予測原発部位３４０が正しいと判定することができる。いくつかの実施形態において、モデル訓練手段２２５は、正しいと判定された予測原発部位３４０を生成するために使用される訓練データセット２４５内の例を識別することができる。モデル訓練手段２２５はまた、再訓練データセットからの、訓練データセット２４５からの例も実行することができる。逆に、予測原発部位３４０が原発部位ラベル３１０に一致しないとき、モデル訓練手段２２５は、予測原発部位３４０が誤りであると判定することができる。いくつかの実施形態において、モデル訓練手段２２５は、誤りと判定された予測原発部位３４０を生成するために使用される訓練データセット２４５内の例を識別することができる（本明細書においてはハード例として参照されることがある）。モデル訓練手段２２５は、再訓練データセット内の、訓練データセット２４５からの例を含むことができる。

いくつかの実施形態において、モデル訓練手段２２５は、例を再訓練データセットに含める際に、訓練データセット３２５内の例の画像部位ラベル３１５を考慮に入れることができる。モデル訓練手段２２５は、被験者３２０内の特定の部位の画像部位ラベル３１５によって、再訓練データセット内の例の数を識別することができる。モデル訓練手段２２５は、例の数を閾値と比較することができる。閾値は、同じ画像部位ラベル３１５を有するすべての例を再訓練データセットに含める例の数の値を定義することができる。例の数が閾値以上であるとき、モデル訓練手段２２５は、同じ画像部位ラベル３１５を有する、訓練データセット２４５からのすべての例を再訓練データセットに含めることができる。そうではなく、例の数が閾値未満であるとき、モデル訓練手段２２５は、現在の数の例を再訓練データセットにおいて維持することができる。

比較に基づいて、モデル訓練手段２２５は、部位予測モデル２３５の重みを更新するために少なくとも１つの損失メトリック（本明細書においては誤差メトリックとして参照されることがある）を計算、生成、又は他の様態で決定することができる。損失メトリックは、訓練データセット２４５からの多くの例を使用して生成される部位予測モデル２３５からの多くの出力を使用して決定することができる。損失メトリックは、部位予測モデル２３５からの出力（例えば、予測原発部位３４０）の、訓練データセット２４５において示されるものとしての期待される結果（例えば、原発部位ラベル３１０）からの逸脱度を示すことができる。例えば、損失メトリックは、画像３０５が、原発部位ラベル３１０において識別されているものとしての正しい部位以外の１つの部位に誤って分類されることからの、分類損失を測定することができる。損失メトリックは、とりわけ、Ｈｕｂｅｒ損失、ノルム損失（例えば、Ｌ１又はＬ２）、平均平方誤差（ＭＳＥ）、二次損失、及び交差エントロピー損失などの、任意の数の損失関数に従って計算されてもよい。一般に、損失メトリックが高くなるほど、出力が入力の期待される結果から逸脱している度合いが大きくなっている可能性がある。一般に、損失メトリックが低くなるほど、出力が入力の期待される結果から逸脱している度合いが低くなっている可能性がある。いくつかの実施形態において、例を使用して生成される予測原発部位３４０の損失メトリックが閾値よりも大きいとき、例は再訓練データセットに含まれ得る。閾値は、対応する例を再訓練データセットに含める損失メトリックの値を定義又は表現することができる。いくつかの実施形態において、モデル訓練手段２２５は、出力及び訓練データセット２４５に関する比較の結果を組み合わせて損失メトリックを計算することができる。

損失メトリックを使用して、モデル訓練手段２２５は、部位予測モデル２３５内の１つ又は複数の重みを変更、設定、又は他の様態で更新することができる。重みの更新は、部位予測モデル２４５内のエンコーダ４０５、アグリゲータ４１０、及びアクティベータ４１５にまたがって行われてもよい。重みの更新は、部位予測モデル２３５の最適化関数（又は目的関数）に従って行われてもよい。最適化関数は、部位予測ネットワーク２３５の重みが更新されるべきである１つ又は複数のレート又はパラメータを定義することができる。部位予測モデル２３５内のカーネルの更新は、収束条件まで繰り返されてもよい。

いくつかの実施形態において、モデル訓練手段２２５は、再訓練データセットを使用して、部位予測モデル２３５を訓練し続けることができる。再訓練データセットは、部位予測モデル２３５が、誤って予測された原発部位３４０を以前に作成した例の１つを含んでもよい。再訓練データセットを使用した部位予測モデル２３５の訓練は、上述したような元のデータセット２４５を使用した訓練と同様であってもよい。例えば、モデル適用手段２３０は、再訓練データセットに含まれる各例からの画像３０５を部位予測モデル２３５に再適用することができる。部位予測モデル２３５によって作成される予測原発部位３４０を使用して、モデル訓練手段２２５は、別の損失メトリックを計算し、それに従って、部位予測モデル２３５の重みを更新することができる。

収束を受けて、モデル訓練手段２２５は、部位予測モデル２３５の重みのセットを記憶し、維持することができる。収束は、部位予測モデル２３５内の重みの値の変化が閾値を下回ることに対応してもよい。部位予測モデル２３５の重みのセットは、とりわけ、配列、行列、ヒープ、リスト、木、又はデータオブジェクトなどの１つ又は複数のデータ構造を使用して記憶されてもよい。いくつかの実施形態において、モデル訓練手段２２５は、部位予測モデル２３５の重みのセットをデータベース２４０に記憶することができる。

ここで図５を参照すると、生物医学画像から原発部位を判定するためのシステム２００内の部位予測モデル２３５の推測プロセス５００のブロック図が示されている。プロセス５００は、ランタイムモード下で画像処理システム２０５によって実施される動作に対応してもよく、又はこれを含んでもよい。プロセス５００の下で、イメージングデバイス２１０は、被験者５１５から少なくとも１つの試料５１０の少なくとも１つの画像５０５を走査するか、得るか、又は他の様態で取得することができる。画像５０５は、上述した画像３０５と同様であってもよい。試料５１０は、被験者５１５から採取されるか又は得られる組織切片であってもよい。試料５１０は、被験者５１５の少なくとも１つの原発部位５２０又は少なくとも１つの二次部位５２５（本明細書においては転移部として参照されることがある）から得られ得る。試料５１０は、それ自体、状態を有する１つ又は複数の物体を有するか又は含み得る。例えば、試料５１０の組織切片は、腫瘍細胞又は病変を含む場合がある。原発部位５２０は、状態の由来である被験者５１５内のロケーションに対応することができる。二次部位５２５は、状態の転移先である被験者５１５内のロケーションに対応することができる。例えば、肺癌が脳に転移した被験者５１５について、原発部位５２０は、肺内のロケーションとすることができ、二次部位５２５は脳内のロケーションとすることができる。画像５０５は、顕微鏡検査技法又は病理組織イメージングに従って取得されてもよい。取得を受けて、イメージングデバイス２１０は、取得されている画像５０５をイメージング処理システム２０５に送るか、送信するか、又は他の様態で提供することができる。

次いで、モデル適用手段２３０は、イメージングデバイス２１０から画像５０５を取り出し、受信し、又は他の様態で識別することができる。モデル適用手段２３０は、画像５０５を部位予測モデル２３５の入力に提供又は供給することができる。いくつかの実施形態において、モデル適用手段２３０は、画像５０５の全体を部位予測モデル２３５に供給することができる。いくつかの実施形態において、モデル適用手段２３０は、部位予測モデル２３５に入力するための１つ又は複数のタイル（例えば、タイル４２０と同様の）を画像５０５から選択又は識別することができる。供給を受けて、モデル適用手段２３０は、入力画像５０５を、部位予測モデル２３５内で構成されている重みのセットに従って処理して、少なくとも１つの出力を生成することができる。出力は、１つ又は複数の予測原発部位５３０を含み得る。各予測原発部位５３０は、入力画像５０５の試料３２５内で示されている状態の原発部位５２０を識別することができる。予測原発部位５３０は、被験者５１５内の部位（例えば、臓器）のうちの１つに対応する値（例えば、英数字又は数字）を含み得る。いくつかの実施形態において、出力は、状態の各予測原発部位５３０の信頼スコアを含むことができる。信頼スコアは、状態の予測原発部位５３０が状態の実際の原発部位５２０である可能性を規定又は指示することができる。いくつかの実施形態において、モデル適用手段２３０は、予測原発部位５３０を信頼スコアによってランク付けすることができる。

生成によって、モデル適用手段２３０は、画像５０５と部位予測モデル２３５の出力との間の関連付けを記憶し、維持することができる。出力は、予測原発部位４３０及び対応する信頼スコアのうちの１つ又は複数を含み得る。関連付けは、１つ又は複数のデータ構造を使用してデータベース２４０に記憶することができる。加えて、モデル適用手段２３０は、部位予測モデル２３５からの出力を提示又はレンダリングのためにディスプレイ２１５に送るか、送信するか、又は他の様態で提供することができる。いくつかの実施形態において、モデル適用手段２３０はまた、画像５０５と対応する出力との間の関連付けもディスプレイ２１５に提供することができる。ディスプレイ２１５は、予測原発部位５３０及び信頼スコアなどの、部位予測モデル２３５からの出力をレンダリング又は提示することができる。いくつかの実施形態において、ディスプレイ２１５はまた、部位予測モデル２３５からの出力とともに画像５０５を提示することもできる。ディスプレイ２１５は、画像処理システム２０５からの情報をグラフィカルユーザインターフェースに提示することができる。例えば、グラフィカルユーザインターフェースは、画像５０５、信頼スコアによってランク付けされている予測原発部位５３０、及び信頼スコア自体を提供することができる。グラフィカルユーザインターフェースはまた、画像５０５が得られる被験者５１５又は試料５１０に関する他の情報も含むことができる。このように、画像処理システム２０５の部位予測モデル２３５は、画像５０５から形態学的潜在特徴を学習して、被験者５１５からの試料５１０の画像５０５の予測原発部位５３０を判定することが可能であり得る。画像５０５は、二次部位５２５又は実際の原発部位５２０自体からのものであってもよい。

ここで図６Ａを参照すると、原発部位を判定するためにモデルを訓練する方法６００の流れ図が示されている。方法６００は、図２～図５に関連して本明細書に記載されているシステム３００又はセクションＢに関連して詳述されているシステム７００によって実施されてもよく、又はそれを使用して実装されてもよい。簡潔に要約すると、方法６００の下で、コンピューティングシステム（例えば、画像処理システム２０５）は、訓練データセット（例えば、訓練データセット２４５）を識別することができる（６０５）。コンピューティングシステムは、画像（例えば、画像３０５）をモデル（例えば、部位予測モデル２３５）に適用することができる（６１０）。コンピューティングシステムは、結果（例えば、予測原発部位３４０）をラベル（例えば、原発部位ラベル３１０）と比較することができる（６１５）。コンピューティングシステムは、モデルを更新することができる（６２０）。コンピューティングシステムは、モデルの重みを記憶することができる（６２５）。

ここで図６Ｂを参照すると、原発部位を判定するためにモデルを適用する方法６５０の流れ図が示されている。方法６５０は、図２～図５に関連して本明細書に記載されているシステム３００又はセクションＢに関連して詳述されているシステム７００によって実施されてもよく、又はそれを使用して実装されてもよい。方法６５０の下で、コンピューティングシステム（例えば、画像処理システム２０５）は、取得されている画像（例えば、画像５０５）を識別することができる（６５５）。コンピューティングシステムは、画像をモデル（例えば、部位予測モデル２３５）に適用することができる（６６０）。コンピューティングシステムは、結果（例えば、予測原発部位５３０）を提供することができる（６６５）。

Ｂ．コンピューティング及びネットワーク環境
本明細書に記載されている様々な動作は、コンピュータシステム上で実施することができる。図７は、本開示の特定の実施形態を実装するために使用可能な、代表的なサーバシステム７００、クライアントコンピュータシステム７１４、及びネットワーク７２６の単純化されたブロック図を示す。様々な実施形態において、サーバシステム７００又は同様のシステムは、本明細書に記載されているサービス若しくはサーバ又はその部分を実装することができる。クライアントコンピュータシステム７１４又は同様のシステムは、本明細書に記載されているクライアントを実装することができる。本明細書に記載されているシステム３００は、サーバシステム７００と同様とすることができる。サーバシステム７００は、複数のモジュール７０２（例えば、ブレードサーバ実施形態におけるブレード）を組み込んだモジュール式設計を有することができ、２つのモジュール７０２が示されているが、任意の数を提供することができる。各モジュール７０２は、処理ユニット７０４及びローカルストレージ７０６を含むことができる。

処理ユニット７０４は、１つ又は複数のコアを有することができる単一のプロセッサ、又は複数のプロセッサを含むことができる。いくつかの実施形態において、処理ユニット７０４は、汎用プライマリプロセッサ、及び、グラフィックスプロセッサ、デジタル信号プロセッサなどのような１つ又は複数の専用コプロセッサを含むことができる。いくつかの実施形態において、処理ユニット７０４の一部又はすべては、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの、カスタム回路を使用して実装することができる。いくつかの実施形態において、そのような集積回路は、回路自体に記憶されている命令を実行する。他の実施形態において、処理ユニット７０４は、ローカルストレージ７０６に記憶されている命令を実行することができる。任意の組合せにおける任意のタイプのプロセッサを、処理ユニット７０４に含めることができる。

ローカルストレージ７０６は、揮発性記憶媒体（例えば、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなど）及び／又は不揮発性記憶媒体（例えば、磁気又は光ディスク、フラッシュメモリなど）を含むことができる。ローカルストレージ７０６に組み込まれる記憶媒体は、所望に応じて、固定、取り外し可能又はアップグレード可能とすることができる。ローカルストレージ７０６は、システムメモリ、読み出し専用メモリ（ＲＯＭ）、及び永久記憶デバイスなどの様々なサブユニットに物理的又は論理敵に分割することができる。システムメモリは、ダイナミックランダムアクセスメモリなどの、リード／ライトメモリデバイス又は揮発性リード／ライトメモリとすることができる。システムメモリは、処理ユニット７０４が実行時に必要とする命令及びデータの一部又はすべてを記憶することができる。ＲＯＭは、処理ユニット７０４によって必要とされる静的データ及び命令を記憶することができる。永久記憶デバイスは、モジュール７０２が電源停止されているときであっても命令を記憶することができる不揮発性リード／ライトメモリデバイスとすることができる。本明細書において使用されるものとしての「記憶媒体」という用語は、データを無制限に（重ね書き、電気的擾乱、電力損失などを受ける）記憶することができる任意の媒体を含み、無線で又は有線接続を介して伝播する搬送波及び一時的電子信号を含まない任意の媒体を含まない。

いくつかの実施形態において、ローカルストレージ７０６は、オペレーティングシステム、及び／或いは、図５のシステム５００又は本明細書に記載されている任意の他のシステム、又はシステム５００若しくは本明細書に記載されている任意の他のシステムの機能などの様々なサーバ機能を実装するプログラムなどの、処理ユニット７０４によって実行される１つ又は複数のソフトウェアプログラムを記憶することができる。

「ソフトウェア」は、一般に、処理ユニット７０４によって実行されると、サーバシステム７００（又はその部分）に、様々な動作を実施させ、したがって、ソフトウェアプログラムの動作を実行及び実施する１つ又は複数の特定の機械実施形態を定義させる一連の命令を指す。命令は、読み出し専用メモリ内に存在するファームウェア、及び／又は、処理ユニット７０４による実行のために揮発性作業メモリに読み出すことができる不揮発性記憶媒体に記憶されるプログラムコードとして記憶することができる。ソフトウェアは、単一のプログラム又は別個のプログラムの集合又は所望に応じて相互作用するプログラムモジュールとして実装することができる。ローカルストレージ７０６（又は後述する非ローカルストレージ）から、処理ユニット７０４は、実行するためのプログラム命令、及び、上述した様々な動作を実行するために処理するためのデータを取り出すことができる。

いくつかのサーバシステム７００において、複数のモジュール７０２を、バス又は他の相互接続部７０８を介して相互接続することができ、モジュール７０２とサーバシステム７００の他の構成要素との間の通信をサポートするローカルエリアネットワークが形成される。相互接続部７０８は、サーバラック、ハブ、ルータなどを含む様々な技術を使用して実装することができる。

広域ネットワーク（ＷＡＮ）インターフェース７１０は、ローカルエリアネットワーク（相互接続部７０８）とインターネットなどのネットワーク７２６との間のデータ通信機能を提供することができる。有線（例えば、イーサネット、ＩＥＥＥ７０２．３規格）及び／又は無線技術（例えば、Ｗｉ－Ｆｉ、ＩＥＥＥ７０２．１１規格）を含む技術を使用することができる。

いくつかの実施形態において、ローカルストレージ７０６は、相互接続部７０８上のトラフィックを低減しながら処理されるべきプログラム及び／又はデータへの高速アクセスを提供する、処理ユニット７０４の作業メモリを提供するように意図されている。相互接続部７０８に接続することができる１つ又は複数の大容量ストレージサブシステム７１２によって、大量のデータのためのストレージをローカルエリアネットワーク上に提供することができる。大容量ストレージサブシステム７１２は、磁気、光、半導体、又は他のデータ記憶媒体に基づくことができる。ダイレクトアタッチドストレージ、ストレージエリアネットワーク、ネットワーク接続ストレージなどを使用することができる。サービス又はサーバによって作成、消費、又は維持されているものとしての、本明細書に記載されている任意のデータストア又は他のデータ集合を、大容量ストレージサブシステム７１２に記憶することができる。いくつかの実施形態において、追加のデータ記憶リソースが、ＷＡＮインターフェース７１０を介してアクセス可能であり得る（場合によって待ち時間が増大している）。

サーバシステム７００は、ＷＡＮインターフェース７１０を介して受信される要求に応答して動作することができる。例えば、モジュール７０２のうちの１つは、監督機能を実装し、受信される要求に応答して個別のタスクを他のモジュール７０２に割り当てることができる。作業配分技法を使用することができる。要求が処理されると、ＷＡＮインターフェース７１０を介して要求元に結果を返すことができる。そのような動作は一般に自動化することができる。さらに、いくつかの実施形態において、ＷＡＮインターフェース７１０は、複数のサーバシステム７００を互いに接続し、大量の活動を管理することが可能であるスケーラブルなシステムを提供することができる。動的リソース配分及び再配分を含む、サーバシステム及びサーバファーム（協働するサーバシステムの集合）を管理するための他の技法を使用することができる。

サーバシステム７００は、インターネットなどの広域ネットワークを介して、様々なユーザ所有又はユーザ操作デバイスと相互作用することができる。ユーザ操作デバイスの一例が、クライアントコンピューティングシステム７１４として図７に示されている。クライアントコンピューティングシステム７１４は、例えば、スマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ、眼鏡）、デスクトップコンピュータ、ラップトップコンピュータなどのような消費者デバイスとして実装することができる。

例えば、クライアントコンピューティングシステム７１４は、ＷＡＮインターフェース７１０を介して通信することができる。クライアントコンピューティングシステム７１４は、処理ユニット７１６、記憶デバイス７１８、ネットワークインターフェース７２０、ユーザ入力デバイス７２２、及びユーザ出力デバイス７２４などのコンピュータ構成要素を含むことができる。クライアントコンピューティングシステム７１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、他のモバイルコンピューティングデバイス、ウェアラブルコンピューティングデバイスなどのような、様々なフォームファクタで実装されるコンピューティングデバイスとすることができる。

プロセッサ７１６及び記憶デバイス７１８は、上述した処理ユニット７０４及びローカルストレージ７０６と同様とすることができる。クライアントコンピューティングシステム７１４上で課される需要に基づいて、適切なデバイスを選択することができ、例えば、クライアントコンピューティングシステム７１４は、処理能力が制限されている「シン」クライアントとして、又は、高性能コンピューティングデバイスとして実装することができる。クライアントコンピューティングシステム７１４には、サーバシステム７００との様々なインタラクションを可能にするために処理ユニット７１６によって実行可能なプログラムコードを提供することができる。

ネットワークインターフェース７２０は、サーバシステム７００のＷＡＮインターフェース７１０も接続される広域ネットワーク（例えば、インターネット）などのネットワーク７２６への接続を提供することができる。様々な実施形態において、ネットワークインターフェース７２０は、有線インターフェース（例えば、イーサネット）、及び／又は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、若しくはセルラデータネットワーク規格（例えば、３Ｇ、４Ｇ、ＬＴＥなど）のような様々なＲＦデータ通信規格を実装する無線インターフェースを含むことができる。

ユーザ入力デバイス７２２は、ユーザがそれを介してクライアントコンピューティングシステム７１４に信号を提供することができる任意のデバイスを含むことができ、クライアントコンピューティングシステム７１４は、信号を、特定のユーザ要求又は情報を示すものとして解釈することができる。様々な実施形態において、ユーザ入力デバイス７２２は、キーボード、タッチパッド、タッチスクリーン、マウス又は他のポインティングデバイス、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイクロフォンなどのいずれか又はすべてを含むことができる。

ユーザ出力デバイス７２４は、クライアントコンピューティングシステム７１４がそれを介してユーザに情報を提供することができる任意のデバイスを含むことができる。例えば、ユーザ出力デバイス７２４は、クライアントコンピューティングシステム７１４によって生成されるか又はクライアントコンピューティングシステム７１４に送達される画像を表示するためのディスプレイを含むことができる。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システム、陰極線管（例えばＣＲＴ）などの様々な画像生成技術を、支持電子機器（例えば、デジタル－アナログ変換器又はアナログ－デジタル変換器、信号プロセッサなど）とともに組み込むことができる。いくつかの実施形態は、入力と出力の両方のデバイスとして機能するタッチスクリーンなどのデバイスを含むことができる。いくつかの実施形態において、ディスプレイに加えて又はその代わりに他のユーザ出力デバイス７２４を提供することができる。例は、表示灯、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどを含む。

いくつかの実施形態は、マイクロプロセッサ、コンピュータプログラム命令をコンピュータ可読記憶媒体に記憶するストレージ及びメモリなどの電子構成要素を含む。本明細書に記載の特徴の多くは、コンピュータ可読記憶媒体に符号化されているプログラム命令のセットとして指定されるプロセスとして実装することができる。これらのプログラム命令は、１つ又は複数の処理ユニットによって実行されると、処理ユニットに、プログラム命令において示される様々な動作を実施させる。プログラム命令又はコンピュータコードの例は、コンパイラによって作成されるものなどの機械コード、及び、インタープリタを使用してコンピュータ、電子構成要素、又はマイクロプロセッサによって実行される高位レベルコードを含むファイルを含む。適切なプログラミングを通じて、処理ユニット７０４及び７１６は、サーバ又はクライアントによって実施されるものとして本明細書に記載されている機能、又は他の機能のいずれかを含む、サーバシステム７００及びクライアントコンピューティングシステム７１４のための様々な機能を提供することができる。

サーバシステム７００及びクライアントコンピューティングシステム７１４は例示であり、変形及び変更が可能であることが諒解されよう。本開示の実施形態に関連して使用されているコンピュータシステムは、本明細書に具体的に記載されていない他の機能を含むことができる。さらに、サーバシステム７００及びクライアントコンピューティングシステム７１４は、特定のブロックを参照して説明されているが、これらのブロックは説明を簡便にするために定義されており、構成要素部分の特定の物理的構成を暗示するようには意図されていないことは理解されたい。例えば、異なるブロックを同じ施設内、同じサーバラック内、又は同じマザーボード上に配置することができるが、そうする必要はない。さらに、ブロックは、物理的に別個の構成要素に対応する必要はない。ブロックは、例えば、プロセッサをプログラムすること、又は、適切な制御回路を提供することによって、様々な動作を実施するように構成することができ、様々なブロックは、初期構成がどのように得られるかに応じて、再構成可能であってもよく、又はそうでなくてもよい。本開示の実施形態は、回路及びソフトウェアの任意の組合せを使用して実装される電子デバイスを含む様々な装置において実現することができる。

本開示は特定の実施形態を参照して説明してきたが、多数の変更が可能であることが当業者には認められよう。本開示の実施形態は、限定ではないが、本明細書に記載されている特定の例を含む様々なコンピュータシステム及び通信技術を使用して実現することができる。本開示の実施形態は、専用構成要素及び／又はプログラム可能プロセッサ及び／又は他のプログラム可能デバイスの任意の組合せを使用して実現することができる。本明細書に記載されている様々なプロセスは、同じプロセッサ上で、又は、任意の組合せにおける複数の異なるプロセッサ上で実装することができる。構成要素が特定の動作を実施するように構成されているものとして説明されている場合、そのような構成は、例えば、動作を実施するように電子回路を設計することによって、動作を実施するようにプログラム可能電子回路（マイクロプロセッサなど）をプログラムすることによって、又はその任意の組合せによって、そのような構成を達成することができる。さらに、上述した実施形態は、特定のハードウェア及びソフトウェア構成要素を参照し得るが、ハードウェア及び／又はソフトウェア構成要素の異なる組合せも使用されてもよいこと、並びに、ハードウェアにおいて実装されるものとして説明されている特定の動作はまた、ソフトウェアにおいて実装されてもよく、又はその逆であってもよいことが、当業者には諒解されよう。

本開示の様々な特徴を組み込んだコンピュータプログラムは、様々なコンピュータ可読記憶媒体に符号化及び記憶されてもよく、適切な媒体は、磁気ディスク又はテープ、コンパクトディスク（ＣＤ）又はＤＶＤ（デジタル多用途ディスク）などの光学記憶媒体、フラッシュメモリ、及び他の非一時的媒体を含む。プログラムコードによって符号化されているコンピュータ可読媒体は、適合する電子デバイスとともにパッケージされてもよく、又は、プログラムコードは、電子デバイスとは別個に（例えば、インターネットダウンロードを介して又は別個にパッケージされたコンピュータ可読記憶媒体として）提供されてもよい。

したがって、本開示は特定の実施形態に関連して説明されているが、本開示は、添付の特許請求の範囲内のすべての変更及び均等物をカバーするように意図されていることが諒解されよう。

Claims (20)

1. 生物医学画像から原発部位を判定する方法であって、
   コンピューティングシステムによって、第１の被験者の状態と関連付けられる原発部位又は二次部位のうちの一方からの第１の試料の第１の生物医学画像を識別することと、
   前記コンピューティングシステムによって、前記第１の生物医学画像を、複数の重みを含む部位予測モデルに適用すること、であって、それにより前記状態の前記原発部位を判定し、前記部位予測モデルは、複数の例を有する訓練データセットを使用して訓練され、ここで各例は、
   第２の試料が得られた第２の被験者の状態の原発部位又は二次部位のうちの一方からの前記第２の試料の第２の生物医学画像、
   前記第２の生物医学画像が得られた前記第２の試料の前記原発部位又は前記二次部位のうちの一方を識別する第１のラベル、及び
   前記第２の被験者の前記状態の前記原発部位を識別する第２のラベル
   を含むものである、適用することと、
   前記コンピューティングシステムによって、前記部位予測モデルを使用して判定される前記第１の生物医学画像と前記原発部位との間の関連付けを記憶することと
   を含む、方法。
2. 前記コンピューティングシステムによって、前記第１の生物医学画像と前記原発部位との間の前記関連付けを提供することをさらに含む、請求項１に記載の方法。
3. 適用することは、前記第１の生物医学画像を前記部位予測モデルに適用することであって、前記第１の被験者の前記状態の複数の候補原発部位を判定するものである、適用することをさらに含む、請求項１に記載の方法。
4. 適用することは、前記第１の生物医学画像を前記部位予測モデルに適用することであって、前記状態の前記原発部位の信頼スコアを判定するものである、適用することをさらに含む、請求項１に記載の方法。
5. 適用することは、前記第１の生物医学画像を前記部位予測モデルに適用することであって、前記複数の候補原発部位のランク付けを判定するものである、適用すること、をさらに含む、請求項３に記載の方法。
6. 前記第１の生物医学画像を識別することは、組織画像作成手段を介して前記第１の試料の前記第１の生物医学画像を得ることをさらに含む、請求項１に記載の方法。
7. 前記部位予測モデルの前記複数の重みは、（ｉ）前記生物医学画像から複数の特徴マップを生成するための複数の畳み込みブロック、及び、（ｉｉ）前記複数の特徴マップに基づいて前記状態の前記原発部位を判定するための活性化層に構成されている、請求項１に記載の方法。
8. 生物医学画像から原発部位を判定するようにモデルを訓練する方法であって、
   コンピューティングシステムによって、複数の例を有する訓練データセットを識別することであって、ここで前記複数の例の各例は、
   試料が得られた第２の被験者の状態の原発部位又は二次部位のうちの一方からの前記試料の生物医学画像、
   前記生物医学画像が得られた第２の試料の前記原発部位又は前記二次部位のうちの一方を識別する第１のラベル、及び
   前記第２の被験者の前記状態の前記原発部位を識別する第２のラベル
   を含むものである、識別することと、
   前記コンピューティングシステムによって、前記訓練データセットの前記複数の例の各々の前記生物医学画像を、複数の重みを含む部位予測モデルに適用すること、であって、前記試料の前記状態の部位を判定するものである、適用することと、
   前記コンピューティングシステムによって、前記訓練データセットの前記複数の例の各例について、前記例の前記ラベルにおいて識別される前記原発部位と、前記部位予測モデルによって判定される前記部位とを比較することと、
   前記コンピューティングシステムによって、各例の前記ラベルにおいて識別される第１の部位と、前記部位予測モデルによって判定される第２の部位との間の比較に基づいて、前記部位予測モデルの前記複数の重みのうちの少なくとも１つを更新することと、
   前記コンピューティングシステムによって、１つ又は複数のデータ構造において、前記部位予測モデルの前記複数の重みを記憶することと
   を含む、方法。
9. 前記コンピューティングシステムによって、第２の試料の取得されている生物医学画像を前記部位予測モデルに適用することであって、前記第２の試料の第２の部位を判定するものである、適用することをさらに含む、請求項８に記載の方法。
10. 前記コンピューティングシステムによって、前記複数の例のうちの少なくとも１つの例の損失メトリックが閾値を超えるという判定に応答して、前記少なくとも１つの例の前記生物医学画像を前記部位予測モデルに再適用することをさらに含む、請求項８に記載の方法。
11. 更新することは、前記比較に基づいて決定される分類損失を使用して、前記部位予測モデルの前記複数の重みのうちの少なくとも１つを更新することをさらに含む、請求項８に記載の方法。
12. 適用することは、前記訓練データセットの前記複数の例の各々において前記生物医学画像を適用することであって、前記第２の被験者の前記状態の複数の候補原発部位を判定するものである、適用することをさらに含む、請求項８に記載の方法。
13. 適用することは、前記訓練データセットの前記複数の例の各々において前記生物医学画像を適用することであって、前記状態の前記原発部位の信頼スコアを判定するものである、適用することをさらに含む、請求項８に記載の方法。
14. 前記部位予測モデルの前記複数の重みは、（ｉ）前記生物医学画像から複数の特徴マップを生成するための複数の畳み込みブロック、及び、（ｉｉ）前記複数の特徴マップに基づいて前記状態の前記原発部位を判定するための活性化層に構成されている、請求項８に記載の方法。
15. 生物医学画像から原発部位を判定するためのシステムであって、
    メモリと結合されている１つ又は複数のプロセッサを有するコンピューティングシステムであり、
    第１の被験者の状態と関連付けられる原発部位又は二次部位のうちの一方からの第１の試料の第１の生物医学画像を識別することと、
    前記生物医学画像を、複数の重みを含む部位予測モデルに適用すること、であって、それにより前記状態の前記原発部位を判定し、前記部位予測モデルは、複数の例を有する訓練データセットを使用して訓練され、ここで各例は、
    第２の試料が得られた第２の被験者の状態の原発部位又は二次部位のうちの一方からの前記第２の試料の第２の生物医学画像、
    前記第２の生物医学画像が得られた前記第２の試料の前記原発部位又は前記二次部位のうちの一方を識別する第１のラベル、及び
    前記第２の被験者の前記状態の前記原発部位を識別する第２のラベル
    を含むものである、適用することと、
    前記部位予測モデルを使用して判定される前記第１の生物医学画像と前記原発部位との間の関連付けを記憶することと
    を行うように構成されている、コンピューティングシステムを備える、システム。
16. 前記コンピューティングシステムは、前記第１の生物医学画像と前記原発部位との間の前記関連付けを提供するようにさらに構成されている、請求項１５に記載のシステム。
17. 前記コンピューティングシステムは、前記第１の生物医学画像を前記部位予測モデルに適用して、前記第１の被験者の前記状態の複数の候補原発部位を判定するようにさらに構成されている、請求項１５に記載のシステム。
18. 前記コンピューティングシステムは、前記第１の生物医学画像を前記部位予測モデルに適用して、前記状態の前記原発部位の信頼スコアを判定するようにさらに構成されている、請求項１５に記載のシステム。
19. 前記コンピューティングシステムは、前記第１の生物医学画像を前記部位予測モデルに適用して、前記複数の候補原発部位のランク付けを判定するようにさらに構成されている、請求項１７に記載のシステム。
20. 前記部位予測モデルの前記複数の重みは、（ｉ）前記生物医学画像から複数の特徴マップを生成するための複数の畳み込みブロック、及び、（ｉｉ）前記複数の特徴マップに基づいて前記状態の前記原発部位を判定するための活性化層に構成されている、請求項１５に記載のシステム。