JP7763366B2 - デジタル病理学のための適応学習フレームワーク - Google Patents

Description

本開示は、デジタル病理に関し、特に、初期モデルの効率的な開発、並びに適応学習フレームワークを使用した効率的なモデル更新及び／又は異なる画像ドメインへの適応のための技術に関する。

デジタル病理は、スライド（例えば、組織病理学又は細胞病理学ガラススライド）をコンピュータ画面上で解釈可能なデジタル画像にスキャンすることを含む。デジタル画像内の組織及び／又は細胞は、その後、疾患の診断、治療に対する応答の評価、及び疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理画像分析によって検査され、及び／又は病理学者によって解釈され得る。デジタル画像内の組織及び／又は細胞（実質的に透明である）を検査するために、病理スライドは、組織及び／又は細胞成分に選択的に結合する様々な染色アッセイ（例えば、免疫組織化学）を使用して調製され得る。免疫蛍光（ＩＦ）は、抗原に対して蛍光色素を結合するアッセイを分析するための技術である。様々な波長に応答する複数のアッセイが同じスライドで利用され得る。これらの多重化ＩＦスライドは、腫瘍微小環境の免疫状況の複雑性及び不均一性、並びに免疫療法に対する腫瘍の応答に対する潜在的な影響の理解を可能にする。幾つかのアッセイでは、組織中の染色剤に対する標的抗原は、バイオマーカーと呼ばれることがある。その後、染色された組織及び／又は細胞のデジタル画像に対してデジタル病理画像分析を実施して、生体組織中の抗原（例えば、腫瘍細胞などの様々な細胞を示すバイオマーカー）に対する染色を特定及び定量することができる。

人工知能及び機械学習ベースの手法及び／又は技術は、細胞検出、計数、局在化、分類、及び患者の予後などのデジタル病理画像分析において大きな将来性を示している。畳み込みニューラルネットワーク（ＣＮＮ）を含む機械学習技術を備えた多くのコンピューティングシステムが、細胞検出及び分類などの画像分類及びデジタル病理画像分析のために提案されている。例えば、ＣＮＮは、隠れ層として一連の畳み込み層を有することができ、このネットワーク構造は、オブジェクト／画像分類及びデジタル病理画像分析のための表現特徴の抽出を可能にする。オブジェクト／画像分類に加えて、画像セグメンテーションのために機械学習技術も実装されている。画像セグメンテーションは、デジタル画像を複数のセグメント（画像オブジェクトとしても知られる画素のセット）に分割するプロセスである。セグメンテーションの目的は、画像の表現をより意味があり、より分析しやすいものに単純化及び／又は変更することである。例えば、画像セグメンテーションは、典型的には、画像内の細胞及び境界（線、曲線など）などのオブジェクトを見つけるために使用される。大きなデータ（例えば、全スライド病理画像）のための画像セグメンテーションを実行するために、画像は最初に多くの小さなパッチに分けられる。機械学習技術を備えたコンピューティングシステムが、これらのパッチの各画素を分類するように訓練され、同じクラスの全ての画素が各パッチの１つのセグメント化されたエリアに結合され、次いで、全てのセグメント化されたパッチが１つのセグメント化された画像に結合される（例えば、セグメント化された全スライド病理画像）。その後、機械学習技術が更に実装されて、セグメント化されたエリアに関連付けられた表現特徴に基づいて、セグメント化されたエリア（例えば、所与のバイオマーカーについての陽性細胞、所与のバイオマーカーについての陰性細胞、又は染色発現を有しない細胞）を予測又は更に分類し得る。

人工知能及び機械学習ベースの手法は、デジタル病理において優れた性能を達成している。しかしながら、そのようなモデルを開発することは、非常に時間がかかり、リソース集約的である。最初の開発段階で最初から信頼性の高いモデルを構築するために数十万の注釈が必要とされるだけでなく、開発されると、モデルは目に見えないデータへの一般化可能性が制限され、これが、関連するタスクのためであっても新しいモデルを開発する避けられない連続的な投資につながる。本明細書では、初期モデル開発及び後続のモデル更新、改善、及び異なるデータセットへの適応を含む、ＡＩベースのデジタル病理アルゴリズムの開発プロセス全体におけるリソース要求を低減するためのフレームワークが開示される。具体的には、本明細書に開示されているのは、モデルを構築するための標的データセットに関連するが必ずしも類似していない既存の注釈付きデータセットを用いたモデル前提条件付け段階であり、それにより、初期モデル開発では、妥当な精度でモデルを生成するために少数の注釈のみが必要とされる。後続のモデル更新及び適応段階では、全てのデータを最初から訓練する必要なく効率的なモデル更新のための最良の学習方法を選択するために、適応学習ワークフローが複数のデジタル病理シナリオ及び戦略に使用される。

様々な実施形態では、コンピュータ実装方法が提供され、このコンピュータ実装方法は、データ処理システムにおいて、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための画像の第１の注釈付き訓練セットを取得することであって、画像の第１の注釈付き訓練セットが第１の画像ドメイン内にある、画像の第１の注釈付き訓練セットを取得することと、データ処理システムにより、画像の第１の注釈付き訓練セットを画像のミニセットに分割することであって、各ミニセットが、別個のモデリングサブタスクを表すとともに、限られた数の例を含む、画像の第１の注釈付き訓練セットを画像のミニセットに分割することと、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される前提条件付けされた機械学習モデルを生成するために、データ処理システムにより、画像のミニセットを使用して第１段階で機械学習アルゴリズムを訓練することと、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための画像の第２の注釈付き訓練セットを生成するために、データ処理システムにより、標的データセットからの限られた数の画像にラベル付けすることであって、画像の第２の注釈付き訓練セットが第２の画像ドメイン内にある、標的データセットからの限られた数の画像にラベル付けすることと、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される標的機械学習モデルを生成するために、データ処理システムにより、画像の第２の注釈付き訓練セットを使用して、第２段階で前提条件付けされた機械学習モデルを訓練することであって、第１段階で対象とされるクラスの数が、第２段階で対象とされるクラスの数の一部である又は該クラスの数と一致する、第２段階で前提条件付けされた機械学習モデルを訓練することとを含む。

幾つかの実施形態において、画像の第１の注釈付き訓練セットは、１つ以上のタイプの細胞を含むデジタル病理画像である。

幾つかの実施形態において、分割することは、画像の１つのミニセットのみが利用可能である場合に、それぞれの別個のモデリングサブタスクごとに、第２段階で対象とされるクラスの数の一部である又は該クラスの数と一致するようにクラスのサブセットを選択し、クラスの選択されたサブセットに基づいて限られた数の例を選択すること、並びに、画像の複数のミニセットが利用可能である場合に、それぞれの別個のモデリングサブタスクごとに、（ｉ）画像の複数のミニセットから例を混合し、第２段階で対象とされるクラスの数の一部である又は該クラスの数と一致するようにクラスのサブセットを選択し、クラスの選択されたサブセットに基づいて混合された例から限られた数の例を選択すること、或いは（ｉｉ）画像の複数のミニセットから画像の１つのミニセットを選択し、第２段階で対象とされるクラスの数の一部である又は該クラスの数と一致するようにクラスのサブセットを選択し、クラスの選択されたサブセットに基づいて画像の選択されたミニセットから限られた数の例を選択すること、のいずれか、を含む。

幾つかの実施形態において、第２段階は、画像の第２の注釈付き訓練セット内のそれぞれの例ごとに特徴ベクトル表現を生成するために前提条件付けされた機械学習モデルを適用することと、標的クラスごとに１つの表現を生成して標的クラスごとに１つの表現を標的クラスにおけるプロトタイプとして使用するために同じクラスの例からの特徴ベクトル表現を組み合わせることと、標的データセットからラベル付けされない画像の残りの部分の画像又は画像領域のための特徴ベクトル表現を生成することと、ラベル付けされない画像からの特徴ベクトル表現と標的クラスのためのプロトタイプとの間の距離に基づいて、ラベル付けされない画像からの各特徴ベクトル表現を標的クラスにおけるプロトタイプと比較することとを更に含む。

幾つかの実施形態において、第１段階は、内部学習ループであって、機械学習アルゴリズムが、ｉ番目のサブタスクに関してＬ－サブタスク－ｉとして示される、モデル更新後の画像の検証セットにおける損失を生成する、標的データセットに対する適応のために前提条件付けされた機械学習モデルを初期化するための所定の又はフレキシブルな数のエポックで１つのサブタスク上のモデル重み又はパラメータを更新する、内部学習ループと、外部学習ループであって、Ｌ－サブタスク－ｉを合計したものとして示され、ｉが１からモデル初期化に関してサブタスクの画像の検証セットから計算されるサブタスクの数までの範囲である、全ての損失の合計を最小にするモデル初期化を見つけることによって、それぞれが限られた数の例のみを伴う全てのサブタスクを更新するために使用されるときに、前提条件付けされた機械学習モデルを生成するモデル初期化のセットを検索することが目的である、外部学習ループと、を更に含む。

幾つかの実施形態において、第１段階の訓練することは、コスト関数を最大化又は最小化する画像のミニセット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、パラメータのセットを使用するコスト関数の値が前の反復におけるパラメータの別のセットを使用するコスト関数の値よりも大きく又は小さくなるように、機械学習アルゴリズムのためのパラメータのセットを見つけることを伴い、コスト関数は、機械学習アルゴリズムを使用して一部又は全部の領域又はオブジェクトに関して行われた予測と、画像のミニセットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される。

幾つかの実施形態において、第２段階の訓練することは、コスト関数を最大化又は最小化する画像の第２の注釈付き訓練セット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、パラメータのセットを使用するコスト関数の値が前の反復におけるパラメータの別のセットを使用するコスト関数の値よりも大きく又は小さくなるように、前提条件付けされた機械学習モデルのためのパラメータのセットを見つけることを伴い、コスト関数は、前提条件付けされた機械学習モデルを使用して一部又は全部の領域又はオブジェクトに関して行われた予測と、画像の第２の注釈付き訓練セットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される。

幾つかの実施形態において、コンピュータ実装方法は、デジタル病理シナリオを特定することと、デジタル病理シナリオを踏まえて標的機械学習モデルを更新するための適応的連続学習方法を選択することと、適応的連続学習方法に基づいて標的機械学習モデルを更新して、更新された機械学習モデルを生成することとを更に含む。

幾つかの実施形態において、デジタル病理シナリオは、データインクリメンタルシナリオ、ドメインインクリメンタルシナリオ、クラスインクリメンタルシナリオ、又はタスクインクリメンタルシナリオである。

幾つかの実施形態において、適応的連続学習方法は、弾性重み強化（ＥＷＣ）、忘却なし学習（ＬＷＦ）、インクリメンタル学習器及び表現学習（ｉＣａＲＬ）、連続的プロトタイプ評価（ＣｏＰＥ）、Ａ－ＧＥＭ、及びパラメータ分離方法を含む群から選択される。

幾つかの実施形態において、コンピュータ実装方法は、標的機械学習モデル及び／又は更新された機械学習モデルを提供することを更に含む。

幾つかの実施形態では、提供することは、標的機械学習モデル及び／又は更新された機械学習モデルをデジタル病理システムに展開することを含む。

幾つかの実施形態において、コンピュータ実装方法は、データ処理システムにより、新しい画像を受信することと、新しい画像を標的機械学習モデル又は更新された機械学習モデルに入力することと、標的機械学習モデル又は更新された機械学習モデルにより、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うことと、標的機械学習モデル又は更新された機械学習モデルにより、検出、特徴付け、分類、又はそれらの組み合わせに基づく推論を出力することと、を更に含む。

幾つかの実施形態において、コンピュータ実装方法は、ユーザにより、新しい画像に関連する対象の診断を決定することを更に含み、診断は、標的機械学習モデル又は更新された機械学習モデルによって出力される推論に基づいて決定される。

幾つかの実施形態において、コンピュータ実装方法は、ユーザにより、（ｉ）標的機械学習モデル又は更新された機械学習モデルによって出力される推論、及び／又は（ｉｉ）対象の診断に基づいて、対象に処置を施すことを更に含む。

幾つかの実施形態において、機械学習アルゴリズムを訓練することは、第１段階が限られた数の例を使用して前提条件付けされた機械学習モデルを生成できるようにするためにメタ学習原理を実装することを含む。

幾つかの実施形態において、前提条件付けされた機械学習モデルを訓練することは、第２段階が限られた数の画像を使用して標的機械学習モデルを生成できるようにするためにメタ学習原理を実装することを含む。

幾つかの実施形態では、１つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサで実行されるときに、本明細書に開示される１つ以上の方法の一部又は全部を１つ以上のデータプロセッサに実行させる、非一時的コンピュータ可読記憶媒体とを含むシステムが提供される。

幾つかの実施形態では、非一時的機械可読記憶媒体で有形的に具現化されると共に、本明細書に開示される１つ以上の方法の一部もしくは全てを１つ以上のデータプロセッサに実行させるように構成される命令を含む、コンピュータプログラム製品が提供される。

用いられている用語及び表現は、限定ではなく説明のための用語として使用され、かかる用語及び表現を使用することに、図示されて記載される特徴又はその一部のあらゆる等価物を除外する意図はなく、特許請求される発明の範囲内において様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載される本発明は実施形態及び任意の特徴によって具体的に開示されているが、本明細書に開示される概念の変更及び変形が当業者によって再分類されてもよく、かかる変更及び変形は、添付の特許請求の範囲によって規定されるような本発明の範囲内にあると見なされることが理解されるべきである。

様々な実施形態の態様及び特徴は、添付図面に関連した実施例の記載によってより明白となる。

ますます増加するデータの複雑さに効率的に適応するための人工知能ベースのデジタル病理アルゴリズムの課題を示す。

様々な実施形態に係る適応学習フレームワークを用いた効率的なモデル開発を示す。

ゼロからの訓練、転移学習、及び適応学習のためのリソース需要の比較を示す。

幾つかの実施形態に係るデジタル病理画像を生成するための典型的なネットワークを示す。

様々な実施形態に係る適応学習フレームワークの概要を示す。

様々な実施形態に係る細胞検出のためのＩＨＣ画像及びグラウンドトゥルースの例を示す。

様々な実施形態に係るヘマトキシリン及びエオシン（Ｈ＆Ｅ）組織タイプ分類（データインクリメンタル）について類似性を有する増加する数のデータを適応的に学習する例を示す。

様々な実施形態に係るＨ＆Ｅ組織タイプ分類（ドメインインクリメンタル）のための増加する数のデータソースを適応的に学習する一例を示す。

様々な実施形態に係るＨ＆Ｅ組織タイプ分類（クラスインクリメンタル）のための増加する数の組織タイプの適応学習の一例を示す。

様々な実施形態に係る機械学習／深層学習モデルを使用してデジタル病理画像を処理するための典型的なコンピューティング環境を示す。

本開示の様々な実施形態に係る機械学習モデルを訓練及び使用するためのプロセスを示すフローチャートを示す。

様々な実施形態に係るＣＲＣ訓練データセットからの画像の一例を示す。

様々な実施形態に係るＰａｔｃｈＣａｍデータセットからの画像の一例を示す。

様々な実施形態に係る２つのベースラインを有するＣＯＰＥを使用した拡張ＣＲＣデータセットを用いたクラスインクリメンタル設定下での各主要なエクスペリエンスの終わりにおける試験ストリームの精度を示す。

様々な実施形態に係る拡張訓練データセットからの画像の例を示す。

様々な実施形態に係るＬｗＦを使用した拡張ＣＲＣデータセットを用いたドメインインクリメンタル設定の下での各メインエクスペリエンスの終わりにおける試験ストリームの精度（左）及び忘却（右）を示す。

様々な実施形態に係るｉＣａＲＬを使用した拡張ＣＲＣデータセットを用いたデータインクリメンタル設定の下での各主要なエクスペリエンスの終わりにおける試験ストリームの精度を示す。

様々な実施形態に係る異なる連続学習方法からの訓練データ、ドメイン及びクラスインクリメンタルシナリオの終了時の全体的な精度を、２つのベースラインと共に示す。

様々な実施形態に係るデータインクリメンタルシナリオにおける連続学習方法の性能を示す。

様々な実施形態に係るドメインインクリメンタルシナリオにおける連続学習方法の性能を示す。

様々な実施形態に係るクラスインクリメンタルシナリオにおける連続学習方法の性能を示す。

様々な実施形態に係るタスクインクリメンタルシナリオとして設定された拡張ＣＲＣデータを有するＡ－ＧＥＭからの結果を示す。

様々な実施形態に係るＣｏＰＥを使用した拡張ＣＲＣデータセットを用いたドメインインクリメンタル設定の下での各メインエクスペリエンスの最後の試験ストリームの精度を示す。

様々な実施形態に係るｉＣａＲＬを用いたクラスインクリメンタル性能に対するクラスグループ化及びエクスペリエンス設定の影響を示す。

様々な実施形態に係るＬｗＦを用いたドメインインクリメンタル設定における異なる腫瘍タイプからの連続的な学習を示す。

特定の実施形態が説明されるが、これらの実施形態は、例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、及びシステムは、様々な他の形態で具現化され得る。更に、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法及びシステムの形態の様々な省略、置換、及び変更が行われてもよい。

Ｉ．概要
人工知能及び機械学習ベースの手法は、デジタル病理ベースの分析における複雑な問題を解決するという前例のない性能を達成しており、それにより、潜在的な病変を自動的に示唆し、したがって診断における信頼性を向上させ、主観を減らすことによって病理学者の作業負荷が低減される。信頼性が高く信頼性の高いデジタル病理アルゴリズムの性能を保証するための一般的な戦略は、（ａ）初期モデル訓練段階中及び（ｂ）性能改善又は異なる画像ドメインへの適応のためのモデル更新段階中の両方において、デジタル病理における各標的画像ドメインについて多数の注釈を有するモデルを最初から収集して訓練することである。しかしながら、画像分類、セマンティックセグメンテーション及びオブジェクト検出などの組織病理画像分析のための基本的なタスクは、病理学者による注釈の手動作成及びキュレーションを必要とする。そのような時間がかかり、資源集約的なモデル開発は、デジタル病理における２つの主要な課題をもたらした。

第一に、標的デジタル病理データセットのための人工知能モデルを効率的かつ効果的に確立するという課題である。データを大量に必要とし、目に見えないデータ分布への一般化可能性が限られているという性質のために、ほとんどの深層学習モデルは、標的データセットに固有の注釈の大規模なセットが認定された専門家によって生成及び検証される必要がある場合に、開発に何ヶ月もかかる。しかしながら、そのような時間がかかり資源集約的な開発プロセスでは、そのようなモデルに対するますます増加する需要を満たすための課題に直面している。市場における新たな多重化技術を考慮すると、今後、深層学習ベースのデジタル病理分析と共に多様な一連の新しいアッセイが開発される。更に、絶えず進化している患者集団及び予測不可能な疾患の大流行は、診断におけるニーズの変化に対処するための効率的なモデル開発戦略を必要とする。

第二に、既存のモデルシステムを関連するが異なるデータセットに効率的に適合させるという課題である。画像デジタル化条件は、特に技術の進歩と共に絶えず進化している。異なる染色色素原の使用、染色の変化、デジタルスキャナ及びベンダーのプラットフォームは、デジタル化された画像の外観の変化をもたらす。デジタル病理学の普及及び利用可能性はまた、分析すべき不均一な疾患試料に起因する生物学的分散を伴うデータのほぼ連続的なストリームをもたらす。ますます増加するデータ量及び複雑さは、様々な条件下で性能を適合させ維持することができる人工知能アルゴリズムを開発することを必要とする。手動のタスク固有の注釈を用いてより新しいデータバッチで再訓練する従来の手法は、データストレージ、訓練時間及び計算能力に対する要求を急速に増加させ、その後コストを増加させ、製品のリリースを遅延させ、最終的には、図１に示すように、組織にとって法外に高価な点に達する。

能動学習ベースの手法は、深層学習前の時代から、モデル開発に必要な注釈の数を減らすように設計されてきた。これらの手法は、データセット内で最も有益なラベル付けされていない例の小さなサブセットを照会するためにヒューリスティックスコア付け戦略を利用する。モデル再訓練のためにそのような選択された例の小さなセットのみを反復的に追加することによって、能動学習は、モデル性能を徐々に改善することを目的とし、したがって、多くの潜在的にあまり情報価値のない例に注釈を付ける必要性を回避する。しかしながら、能動学習を用いて開発されたモデルは、訓練画像と同じ又は同一の分布の試験画像にのみ適用される。例えば、１つの免疫組織化学（ＩＨＣ）アッセイ（ドメイン１）で能動学習により訓練されたモデルは、別のドメイン、例えば別のＩＨＣアッセイ（ドメイン２）に一般化することができない。別の例として、１つの組織タイプで訓練されたモデルは、他の組織タイプに容易に移行できない。したがって、そのような手法は、本明細書に開示される適応学習フレームワークとは異なり、モデルの非柔軟性及びモデルの適応性の欠如の課題に完全に対処することができない。加えて、能動学習は、各開発反復において既存の全ての例及び新たに注釈付けされた例を用いた反復モデル再訓練を必要とするため、計算能力及び記憶空間の需要を減らすのに役立ち得ない。

或いは、転移学習及びドメイン適応が、モデル一般化をある程度改善するために使用されてきた。転移学習では、モデル重みの全体又は一部は、新しい画像ドメインに適用される大きな注釈付きデータセットで対象とされ、一方、ドメイン適応は、モデル開発のために標的ドメインからのわずかな注釈のみを使用するか、又は注釈を使用しないことを目的とする。しかしながら、両方のフレームワークは、壊滅的な忘却に悩まされる可能性があり、ある画像ドメイン（ソースドメイン）で対象とされたモデルが別の画像ドメイン（標的ドメイン）で訓練するために活用される場合、ソースドメインでのその性能は大幅に低下し、したがって、ソースドメインデータ上の以前の訓練プロセスから学習された知識を「忘却」する。ドメイン適応アルゴリズムは、標的ドメインからの注釈がなくても（教師なしドメイン適応）、ソースドメインと標的ドメインの両方に対して良好な性能を有するモデルを生成することを目的としているが、現在の実務は、モデル選択のための標的ドメインからの検証セットに依然として依存しており、これは必然的に検証セットに適合しすぎる傾向がある。

これらの課題及び他の課題に対処するために、本明細書に開示される様々な実施形態は、（１）初期モデル開発段階におけるデジタル病理データの見えない分布のための人工知能モデルを開発するために必要なリソース需要を低減し、（２）（１）にしたがって構築された初期人工知能モデルを関連するが完全に同一ではないデータセットに改善又は適合させることを目的とする、モデル開発の後続の反復のためのリソース需要を低減するための方法、システム、及びコンピュータ可読記憶媒体に関する。

初期モデル開発段階におけるリソース需要を低減するために、既存のデジタル病理データから有用な特徴を学習するために人工知能システムを前提条件付けする技術が実施される。そのような設計は、標的データに関連しているが必ずしも類似していない既存の注釈付きデジタル病理データセットを活用し、これにより、人工知能システムは、これらの関連データセットを使用して事前訓練段階を通じてそれらの学習スキルを蒸留することができる。本明細書では、「学習スキル」は、以下、すなわち、モデル初期化の最良のセット、見えないデータに一般化することができるモデル重みの最良のセット、モデルアーキテクチャの最良のセットなどのうちの１つ以上を含む。これらの学習スキルにより、前提条件付けされたモデルは、合理的な性能を達成するために、少数の注釈セットのみを必要とする。例えば、モデルが訓練されていない腫瘍タイプから組織タイプを分類するための＜５０個の注釈付き画像と、従来の人工知能モデルを使用してこの腫瘍タイプに固有のモデルを訓練するための＞２０００個の画像とで、７５％の精度を達成する。

後続のモデル開発又は異なるデータセットへのモデル適応におけるリソース要求を低減するために、既存及び新規の全てのデータセットでモデルをゼロから訓練することなく、順次取得されたデータを用いてモデル更新を可能にするための連続的な学習技術及びアルゴリズムが実装される。連続的な学習アルゴリズムは、一連のデータストリームから学習するための解決策を提供するが、古い知識が忘れられないようにすること（壊滅的な忘却）が課題である。多様なデジタル病理データに対して最も効果的な連続的な学習アルゴリズムを選択するために、デジタル病理アプリケーションで一般的に遭遇する様々なモデル更新要件を標的にする戦略のセットが設計され、対応するアルゴリズムは、ゼロから訓練することなく、かつ以前に遭遇したデータ（例えば、機械学習モデルによる壊滅的な忘却）に対するモデル性能低下なしに連続的に学習するために実装される。

これらの様々な技法及びアルゴリズムは、以下の特徴及び利点を含む適応学習フレームワークで実施される。

（１）人工知能ベースのデジタル病理アルゴリズムの開発プロセス全体を通してリソース要求を効果的に低減する。適応学習フレームワークは、図２に示すように、初期モデル開発と後続のモデル更新／適応の両方のリソースを必要とするプロセスの課題に対処する。適応学習フレームワークは、従来の人工知能戦略（スクラッチドットからの訓練）と比較して、少数の注釈（例えば、５０未満）による効率的な初期モデル開発、及び良好なモデル性能への収束に到達するためのより速いモデル改善（適応学習ドット）を可能にする。矢印は、モデル更新プロセスを示しており、自己教師あり学習、連続的適応学習、前提条件付けされた連続的適応学習（注釈の小さなセットを有する）、従来の訓練（十分な注釈を有する）を含む様々な方法を適用することができる。

（２）適応学習フレームワークは、デジタル病理における異なる画像ドメインからの画像を標的にするモデル開発に適用することができる。本明細書では、画像ドメインは、特定の試料分布を有する画像のセットを指す。異なる画像ドメインの例としては、異なる画像モダリティ（ＩＨＣ画像対Ｈ＆Ｅ画像）、ＩＨＣアッセイ（Ｋｉ６７対ＣＫ７対ＰＤＬ１－ＣＫ７を標的とするＩＨＣ）、腫瘍タイプ及びサブタイプ（乳癌対肺癌）、異なるベンダーからのスキャナなどが挙げられる。

（３）適応学習フレームワークは、初期モデル開発のために前提条件付け段階中に（１つ以上の画像ドメインから）既存のデジタル病理データセットを活用し、対応する前提条件付けされたモデルは、前提条件付け段階における画像ドメインと同じ又は関連するが異なる画像ドメインに適用することができる。

（４）モデル更新戦略選択のための設計されたアルゴリズムは、初期モデル開発後に異なる画像ドメインに適応するために既存のモデルの効果的な拡張を可能にする。

（５）開発者などのユーザは、初期モデルの可用性及びモデルを新しい画像データセット又は新しいドメインに更新する必要性に応じて、初期モデル開発戦略のみ、モデル更新戦略のみ、又はその両方を柔軟に適用することができる。或いは、自己管理型事前訓練は、１つ又は全ての複数のモデル開発反復で前提条件付け及びモデル更新戦略と組み合わせることができる。

（６）適応学習フレームワークは、ドメインに依存せず、他のイメージングモダリティ並びにマルチモーダル分析、遺伝子配列決定信号分析、生存モデリングなどの他の計算研究に適用することができる。

図３は、ゼロからの訓練、転移学習、及び本明細書に記載の適応学習フレームワークのためのリソース要求の比較を示す。リソース（ｙ軸）は、様々な後続のモデルバージョン（ｘ軸）のモデル訓練のために計算する必要がある合計画像の数を指し、１つの画像がＮ回処理される場合、それはＮ個の画像としてカウントされる。ゼロからの訓練はほとんどのリソースを消費し、需要は急速に増加する。転移学習は、データの新しいバッチを計算するためのリソースのみを必要とする。適応学習は、転移学習と同様の計算リソースを必要とし、その増加は無視できる。

１つの例示的な一実施形態では、コンピュータ実装プロセスが提供され、このコンピュータ実装プロセスは、データ処理システムにおいて、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための画像の第１の注釈付き訓練セットを取得することであって、画像の第１の注釈付き訓練セットが第１の画像ドメイン内にある、画像の第１の注釈付き訓練セットを取得することと、データ処理システムにより、画像の第１の注釈付き訓練セットを画像のミニセットに分割することであって、各ミニセットが、別個のモデリングサブタスクを表すとともに、限られた数の例を含む、画像の第１の注釈付き訓練セットを画像のミニセットに分割することと、データ処理システムにより、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される前提条件付けされた機械学習モデルを生成するために、画像のミニセットを使用して第１段階で機械学習アルゴリズムを訓練することと、データ処理システムにより、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための画像の第２の注釈付き訓練セットを生成するために、標的データセットからの限られた数の画像にラベル付けすることであって、画像の第２の注釈付き訓練セットが第２の画像ドメイン内にある、標的データセットからの限られた数の画像にラベル付けすることと、データ処理システムにより、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される標的機械学習モデルを生成するために、画像の第２の注釈付き訓練セットを使用して、第２段階で前提条件付けされた機械学習モデルを訓練することであって、第１段階で対象とされるクラスの数が、第２段階で対象とされるクラスの数の一部である又は該クラスの数と一致する、第２段階で前提条件付けされた機械学習モデルを訓練することとを含む。

幾つかの実施形態において、コンピュータ実装プロセスは、デジタル病理シナリオを特定することと、デジタル病理シナリオを踏まえて標的機械学習モデルを更新するための適応的連続学習方法を選択することと、適応的連続学習方法に基づいて標的機械学習モデルを更新して、更新された機械学習モデルを生成することとを更に含む。

好適には、本明細書に記載の様々な技術は、機械学習モデルのロバスト性を改善する（例えば、細胞の分類の精度を改善する）ことができる。

ＩＩ．定義
本明細書で使用される場合、ある行為が何かに「基づく」場合、これは、その行為が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、及び「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（及び完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、又は「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられてもよく、パーセンテージは０．１、１、５、及び１０％を含む。

本明細書で使用される場合、「試料」、「生物学的試料」、「組織」又は「組織試料」という用語は、ウイルスを含む任意の生物から得られる生体分子（例えば、タンパク質、ペプチド、核酸、脂質、炭水化物、又はそれらの組み合わせ）を含む任意の試料を指す。生物の他の例には、哺乳動物（例えばヒト、ネコ、イヌ、ウマ、ウシ及びブタのような獣医学動物、並びにマウス、ラット及び霊長類のような実験動物）、昆虫、環形動物、クモ類、有袋動物、爬虫類、両生類、細菌及び真菌が含まれる。生物学的試料には、組織試料（組織切片及び組織の針生検など）、細胞試料（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、又は顕微解剖によって得られた細胞の試料など）、或いは細胞画分、断片もしくは細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られたものなど）が含まれる。生物学的試料の他の例としては、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘液、涙、汗、膿、生検組織（例えば、外科的生検又は針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、スワブ（口腔スワブなど）、又は最初の生物学的試料に由来する生体分子を含有する任意の材料が挙げられる。特定の実施形態では、本明細書で使用される「生物学的試料」という用語は、対象から得られた腫瘍又はその一部から調製された試料（均質化又は液化された試料など）を指す。

本明細書で使用される場合、「生物学的材料」、「生物学的構造」、又は「細胞構造」という用語は、生体構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）の全体又は一部を含む天然の材料又は構造を指す。

本明細書で使用される場合、「デジタル病理画像」とは、染色された試料のデジタル画像を指す。

本明細書で使用される場合、「細胞検出」という用語は、細胞又は細胞構造（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞塊など）画素の位置と特性の検出を指す。

本明細書で使用される場合、「標的領域」という用語は、画像分析プロセスで評価されることが意図された画像データを含む画像の領域を指す。標的領域は、画像分析プロセス（例えば、腫瘍細胞又は染色発現）において分析されることが意図される画像の組織領域などの任意の領域を含む。

本明細書で使用される場合、「タイル」又は「タイル画像」という用語は、画像全体の一部又は全スライドに対応する単一の画像を指す。幾つかの実施形態では、「タイル」又は「タイル画像」は、全スライドスキャンの領域、又は（ｘ，ｙ）画素寸法（例えば、１０００画素×１０００画素）を有する関心のあるエリアを指す。例えば、Ｍ列のタイルとＮ行のタイルとに分割された画像全体を考えてみると、Ｍ×Ｎモザイク内の各タイルは画像全体の一部を含み、すなわち、位置Ｍ_１、Ｎ_１のタイルは、画像の第１の部分を含み、位置Ｍ_１、Ｎ_２のタイルは、画像の第２の部分を含み、第１の部分と第２の部分とは異なる。幾つかの実施形態では、タイルは、各々、同じ寸法（画素サイズ×画素サイズ）を有し得る。幾つかの例では、タイルは部分的に重なり合い、スライドスキャン全体又は関心のあるエリアの重なり合う領域を表すことができる。

本明細書で使用される場合、「パッチ」、「画像パッチ」、又は「マスクパッチ」という用語は、画像全体、スライド全体、又はマスク全体の一部に対応する画素のコンテナを指す。幾つかの実施形態では、「パッチ」、「画像パッチ」、又は「マスクパッチ」は、画像又はマスクの領域、又は（ｘ，ｙ）画素寸法（例えば、２５６画素×２５６画素）を有する関心のあるエリアを指す。例えば、１００画素×１００画素のパッチに分けられた１０００画素×１０００画素の画像は、１０パッチを含むことになる（各パッチは、１０００画素を含む）。他の実施形態では、パッチは、（ｘ，ｙ）画素寸法を有し、１つ以上の画素を別の「パッチ」、「画像パッチ」、又は「マスクパッチ」と共有する各「パッチ」、「画像パッチ」、又は「マスクパッチ」と重なり合う。

ＩＩＩ．デジタル病理画像の生成
デジタル病理は、対象を正確に診断し、治療上の意思決定を導くために、デジタル化された画像の解釈を伴う。デジタル病理解決策では、画像分析ワークフローを確立して、関心のある生物学的オブジェクト、例えば陽性、陰性腫瘍細胞などを自動的に検出又は分類することができる。例示的なデジタル病理解決策のワークフローは、組織スライドを取得することと、デジタル画像を取得するためにデジタル画像スキャナ（例えば、全スライド画像（ＷＳＩ）スキャナ）で組織スライドの予め選択されたエリア又は全体をスキャンすることと、１つ以上の画像分析アルゴリズムを使用してデジタル画像に対して画像分析を実行することと、画像分析（例えば、陽性、陰性、中程度、弱いなどの定量的又は半定量的スコアリング）に基づいて関心のある各オブジェクトを潜在的に検出し、定量化する（例えば、各関心のあるオブジェクトのオブジェクト固有領域又は累積エリアをカウント又は特定する）ことと、を含む。

図４は、デジタル病理画像を生成するための例示的なネットワーク４００を示す。固定／包埋システム４０５は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）並びに／或いは包埋物質（例えば、パラフィンワックスなどの組織学ワックス、及び／又はスチレンもしくはポリエチレンなどの１つ以上の樹脂）を使用して、組織試料（例えば、少なくとも１つの腫瘍の少なくとも一部を含む試料）を固定及び／又は包埋する。各試料は、試料を固定剤に所定の期間（例えば、少なくとも３時間）曝露し、次いで試料を脱水することによって（例えば、エタノール溶液及び／又は透明化中間体剤への曝露を介して）固定され得る。包埋物質は、試料が液体状態にある場合（例えば、加熱時）に浸潤することができる。

試料の固定及び／又は包埋は、試料を保存し、試料の分解を遅らせるために使用される。組織学において、固定とは、一般に、化学組成を保持し、自然な試料構造を保存し、細胞構造を分解から維持するために化学物質を使用する不可逆的なプロセスを指す。固定はまた、切片化のために細胞又は組織を硬化させてもよい。固定剤により、架橋タンパク質を使用して試料及び細胞の保存が強化されることがある。固定剤は、幾つかのタンパク質に結合して架橋し、脱水によって他のタンパク質を変性させることがあり、これは、組織を硬化させ、普通ならば試料を分解させる可能性がある酵素を不活性化し得る。固定剤はまた、細菌を死滅させることがある。

固定剤は、例えば、調製された試料の灌流及び浸漬によって投与され得る。メタノール、ブイン固定剤及び／又はホルムアルデヒド固定剤、例えば中性緩衝ホルマリン（ＮＢＦ）又はパラフィン－ホルマリン（パラホルムアルデヒド－ＰＦＡ）を含む様々な固定剤が使用され得る。試料が液体試料（例えば、血液試料）である場合、試料をスライド上に塗抹して、固定前に乾燥させてもよい。固定プロセスは、組織学的試験の目的のために試料及び細胞の構造を保存するのに役立ち得るが、固定により、組織抗原が隠蔽され、それによって抗原検出が低下し得る。したがって、ホルマリンは抗原を架橋し、エピトープをマスクする可能性があるため、固定は一般に免疫組織化学の制限因子と考えられる。幾つかの例では、固定された試料を無水シトラコン酸（可逆的タンパク質架橋剤）で処理すること及び加熱することを含む、架橋の効果を逆転させるための追加のプロセスが行われる。

包埋は、パラフィンワックスなどの適切な組織学的ワックスを試料（例えば、固定された組織試料）に浸潤させることを含み得る。組織学的ワックスは、水又はアルコールに不溶性であり得るが、キシレンなどのパラフィン溶媒には可溶性である場合がある。したがって、組織内の水をキシレンで置換する必要があり得る。そうするために、まず試料中の水をアルコールで徐々に置換することによって試料が脱水されてもよく、これは、組織を、濃度が増加するエチルアルコール（例えば、０～約１００％）を通すことによって達成され得る。水をアルコールで置換した後、アルコールをアルコールと混和性のあるキシレンで置換し得る。組織学的ワックスはキシレンに可溶性であり得るため、溶融したワックスは、キシレンで充填され、以前に水で充填されていた空間を充填し得る。ワックスで充填された試料を冷却して硬化させたブロックを形成してよく、これをミクロトーム、ビブラトーム、又はコンプレストームにクランプして切片を切断することができる。場合によっては、上記の例示的な手順から逸脱すると、パラフィンワックスの浸潤が生じ、抗体、化学物質、又は他の固定剤の浸透が阻害されることがある。

次いで、固定及び／又は包埋された組織試料（例えば、腫瘍の試料）を切片化するために、組織スライサー４１０が使用され得る。切片化とは、組織ブロックから試料の薄いスライス片（例えば、４～５μｍの厚さ）を検査のために顕微鏡スライド上に取り付ける目的で切断するプロセスである。切片化は、ミクロトーム、ビブラトーム又はコンプレストームを用いて行われてもよい。場合によっては、組織をドライアイス又はイソペンタン中で急速に凍結させることができ、次いで冷蔵キャビネット（例えば、クライオスタット）内でコールドナイフにより切断することができる。液体窒素などの他のタイプの冷却剤を使用して組織を凍結させることができる。明視野及び蛍光顕微鏡で使用するための切片は、一般に、４～１０ｐｍ程度の厚さである。場合によっては、切片をエポキシ樹脂又はアクリル樹脂に埋め込むことができ、これにより、より薄い切片（例えば、＜２μｍ）を切断することが可能になる場合がある。次いで、これらの切片が１つ以上のガラススライドに取り付けられてもよい。試料切片を保護するために、カバースリップが上部に配置され得る。

組織切片及びその中の細胞は実質的に透明であるため、スライドの調製は、典型的には、関連する構造をより視認可能にするために組織切片を染色すること（例えば、自動染色）を更に含む。場合によっては、染色が手動で実行される。場合によっては、染色は、染色システム４１５を使用して半自動的又は自動的に実行される。染色プロセスは、組織の異なる特性を発現するために、組織試料又は固定液体試料の切片を１つ以上の異なる染色（例えば、連続的に又は同時に）に曝露することを含む。

例えば、染色は、特定のタイプの細胞をマークするために、及び／又は特定のタイプの核酸及び／又はタンパク質にフラグを立てて顕微鏡検査を支援するために使用され得る。染色プロセスは、一般に、特定の化合物、構造、分子、又は特徴（例えば、細胞内特徴）の存在を確認又は定量化するために、色素又は染色剤を試料に添加することを含む。例えば、染色は、組織切片から特定のバイオマーカーを特定又は強調するのに役立ち得る。他の例では、染色を使用して、生物学的組織（例えば、筋線維又は結合組織）、細胞集団（例えば、異なる血球）、又は個々の細胞内の細胞小器官を特定又は強調することができる。

１つの例示的なタイプの組織染色は、１つ以上の化学染料（例えば、酸性染料、塩基性染料、色素源）を使用して組織構造を染色する、組織化学的染色である。組織化学的染色は、組織形態及び／又は細胞ミクロ解剖学の一般的態様を示す（例えば、細胞核を細胞質と区別する、脂肪滴を示すなど）ために使用されてもよい。組織化学染色の一例はＨ＆Ｅである。組織化学的染色液の他の例としては、トリクローム染色液（例えば、マッソンのトリクローム）、過ヨウ素酸シッフ（ＰＡＳ）、銀染色液、及び鉄染色液が挙げられる。組織化学的染色試薬（例えば、色素）の分子量は、一般的に、約５００キロダルトン（ｋＤ）以下であるが、一部の組織化学的染色試薬（例えば、アルシアンブルー、リンモリブデン酸（ＰＭＡ））は、最大２０００又は３０００ｋＤの分子量を有してもよい。高分子量の組織化学的染色試薬の一例は、グリコーゲンを示すのに使用されることがあるα－アミラーゼ（約５５ｋＤ）である。

組織染色のもう１つのタイプはＩＨＣで、「免疫染色」とも呼ばれ、これは、関心のある標的抗原（バイオマーカーとも呼ばれる）に特異的に結合する一次抗体を使用する。ＩＨＣは直接又は間接であってもよい。直接ＩＨＣでは、一次抗体はラベル（例えば、クロモフォア又はフルオロフォア）に直接コンジュゲートされる。間接ＩＨＣでは、最初に一次抗体が標的抗原に結合され、次に、ラベル（例えば、クロモフォア又はフルオロフォア）とコンジュゲートされた二次抗体が一次抗体に結合される。抗体が約１５０ｋＤ以上の分子量を有するため、ＩＨＣ試薬の分子量は組織化学的染色試薬の分子量よりもはるかに大きい。

染色を行うために、様々なタイプの染色プロトコルが使用されることがある。例えば、例示的なＩＨＣ染色プロトコルは、インキュベーション中にスライドからの試薬の漏出を防ぐために試料（例えば、組織切片）の周りに疎水性バリアラインを使用すること、非特異的染色の内因性源（例えば、酵素、遊離アルデヒド基、免疫グロブリン、特異的染色を模倣し得る他の無関係な分子）を遮断するために組織切片を試薬で処理すること、組織への抗体及び他の染色試薬の浸透を促進するために透過化緩衝液と共に試料をインキュベートすること、特定の温度（例えば、室温、６～８°Ｃ）で一定期間（例えば、１～２４時間）一次抗体と共に組織切片をインキュベートすること、洗浄緩衝液を使用して試料をすすぐこと、次いで別の特定の温度（例えば、室温）で別の期間二次抗体と共に試料（組織切片）をインキュベートすること、水緩衝液を使用して試料を再びすすぎ、すすいだ試料を色原体（例えば、ＤＡＢ：３，３’－ジアミノベンジジン）と共にインキュベートすること、及び反応を停止させるために色原体を洗い流すことを含む。幾つかの例では、その後、対比染色が試料の「風景」全体を特定するために使用され、組織標的の検出に使用される主要な色の基準として機能する。対比染色剤には、例えば、ヘマトキシリン（青から紫色の染色剤）、メチレンブルー（青色の染色剤）、トルイジンブルー（核を深青色に、多糖類をピンクから赤にする染色剤）、核ファストレッド（ケルンエヒトロート色素とも呼ばれ、赤色の染色剤）、メチルグリーン（緑色の染色剤）、非核発色性染色剤、例えばエオシン（ピンク色の染色剤）などが含まれ得る。当業者であれば分かるように、他の免疫組織化学染色技術を実施して染色を行うことができる。

別の例では、組織切片染色のためにＨ＆Ｅ染色プロトコルを実施することができる。Ｈ＆Ｅ染色プロトコルは、金属塩又は媒染剤と混合したヘマトキシリン染色剤を試料に適用することを含む。次いで、試料を弱酸溶液ですすいで過剰な染色（分化）を除去し、続いて弱アルカリ水中で青みを付けることができる。ヘマトキシリンの適用後、試料をエオシンで対比染色することができる。他のＨ＆Ｅ染色技術を実施することができることが理解されよう。

幾つかの実施形態では、関心のあるいずれの特徴が標的にされるに応じて、様々なタイプの染色剤を使用して染色を行うことができる。例えば、ＤＡＢは、ＩＨＣ染色用の様々な組織切片に使用することができ、ＤＡＢは、染色画像において関心のある特徴を表現する茶色をもたらす。別の例では、ＤＡＢ色がメラニン色素によってマスクされることがあるため、アルカリホスファターゼ（ＡＰ）がＩＨＣ染色用の皮膚組織切片に使用され得る。一次染色技術に関して、適用可能な染色剤は、例えば、好塩基性及び好酸性染色、ヘマテイン及びヘマトキシリン、硝酸銀、三色染色剤などを含み得る。酸性染料は、組織又は細胞中のカチオン性成分又は塩基性成分、例えばタンパク質及び細胞質中の他の成分と反応し得る。塩基性色素は、組織又は細胞中のアニオン性成分又は酸性成分、例えば核酸と反応し得る。上記のように、染色系の一例はＨ＆Ｅである。エオシンは、負に帯電したピンク色の酸性染料であってもよく、ヘマトキシリンは、ヘマテイン及びアルミニウムイオンを含む紫色又は青色の塩基性染料であってもよい。染色の他の例には、過ヨウ素酸－シッフ反応（ＰＡＳ）染色、マッソンの三色、アルシアンブルー、ファンギーソン、レチキュリン染色などが含まれ得る。幾つかの実施形態では、異なるタイプの染色剤を組み合わせて使用し得る。

次いで、切片が対応するスライドに取り付けられてもよく、次いで、撮像システム４２０は、生のデジタル病理画像４２５ａ～ｎを生成するためにスキャン又は撮像することができる。染色された試料を拡大するために、顕微鏡（例えば、電子顕微鏡又は光学顕微鏡）を使用することができる。例えば、光学顕微鏡は、約数百ナノメートルなど、１μｍ未満の分解能を有し得る。ナノメートル又はサブナノメートルの範囲でより細かい詳細を観察するために、電子顕微鏡が使用され得る。撮像デバイス（顕微鏡と組み合わされた、又は顕微鏡から分離された）は、拡大された生物学的試料を撮像して、幾つかの（例えば１０～１６個などの）チャネルを有するマルチチャネル画像（例えば、マルチチャネル蛍光）などの画像データを取得する。撮像デバイスには、カメラ（例えば、アナログカメラ、デジタルカメラなど）、光学素子（例えば、１つ以上のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど）、撮像センサ（例えば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサなど）、写真フィルムなどが含まれ得るが、これらに限定されない。デジタル実施形態では、撮像デバイスは、オンザフライ焦点合わせを証明するために協働する複数のレンズを含むことができる。イメージセンサ、例えばＣＣＤセンサは、生物学的試料のデジタル画像を撮像することができる。幾つかの実施形態では、撮像デバイスは、明視野撮像システム、マルチスペクトル撮像（ＭＳＩ）システム又は蛍光顕微鏡システムである。撮像デバイスは、画像を取り込むために、不可視電磁放射線（例えばＵＶ光）又は他の撮像技術を利用し得る。例えば、撮像デバイスは、顕微鏡と、顕微鏡によって拡大された画像を取り込むように構成されたカメラとを備えてもよい。分析システムによって受信された画像データは、撮像デバイスによって取り込まれた生画像データと同一であってもよく、及び／又は生画像データから導出され得る。

次いで、染色された切片の画像が、サーバなどの記憶デバイス４２５に記憶され得る。画像は、ローカル、リモート、及び／又はクラウドサーバに記憶され得る。各画像は、対象の識別子及び日付（例えば、試料が収集された日付及び／又は画像が取り込まれた日付）と関連付けて記憶され得る。画像は更に、別のシステム（例えば、本明細書で更に詳細に説明するように、病理学者に関連付けられたシステム、自動又は半自動の画像分析システム、又は機械学習訓練及び展開システム）に送信され得る。

ネットワーク４００に関して説明したプロセスに対する修正が企図されることが理解される。例えば、試料が液体試料である場合、包埋及び／又は切片化がプロセスから省かれてもよい。

ＩＶ．適応学習フレームワーク
図５は、適応学習フレームワークが２つの構成要素を含むことを示す。（５０５）初期モデルの開発、及び（５１０）モデル更新及び／又は異なる画像ドメインへの適応。２つの構成要素５０５；５１０は、初期モデル開発及び後続のモデル更新及び／又は異なる画像ドメインへの適応など、別々に又は全て一緒に適用することができる。

初期モデルの開発
初期モデルの効率的な開発のために、２段階開発戦略（図５に示す）は以下の通りである。段階１人工知能システム（例えば、図１０に関して詳細に説明した人工知能システム）が既存の注釈付きデータセットを活用し、これらのデータセットを用いた訓練を通じて学習スキルを向上させる、モデル前提条件付け。段階２人工知能システムが、段階１から学習された学習スキルを利用して、それ自体を従来の学習方法よりも標的ドメインで必要とされる注釈の数が少ない異なる画像ドメイン（標的ドメイン）に拡張する、標的モデル訓練。

前述の「学習スキル」は、以下、すなわち、モデル初期化の最良のセット、見えないデータに一般化することができるモデル重みの最良のセット、モデルアーキテクチャの最良のセットなどのうちの１つ以上を含む。最良のセットは、精度又は曲線下面積（ＡＵＣ）などのモデル性能を測定するための１つ以上のメトリックを使用して決定される。次いで、学習スキルが標的画像ドメインに適用され、その結果、従来の機械学習よりも少ない数の注釈が標的ドメインに必要とされる。

モデル前提条件付けを達成するために、メタ学習戦略が採用されてもよく、既存のデータセット（例えば、訓練データセット）がミニセットに分割され、各ミニセットは別個のモデリングサブタスクを表し、少数の例のみを含み、したがって多数のサブタスクを形成する。分割は訓練時間に実行することができ、各モデル訓練反復において異なるデータ分割を実行することができる。これらのサブタスクを用いて人工知能システムを訓練することにより、人工知能システムは、モデル最適化ランドスケープにおいて優れた解決策を検索することが可能になり、これは、特定のサブタスクにオーバーフィッティングすることなく任意の関連する小さなサブタスクに一般化することができ、したがって、見えていない標的ドメインのために人工知能システムを段階２に前提条件付けする。一般に、段階１の訓練におけるクラスの数は、段階２の訓練のクラスの数の一部又は該クラスの数に一致するように設定される。段階２のクラスインクリメンタルシナリオでは、段階１のクラス数を増やすことができ、段階２のドメイン及びデータインクリメンタルシナリオでは、段階１からのクラスの数を一致させる必要がある。特定の例において、段階２のクラスの数は、段階１よりも多くすることができる（図９に関連して詳細に説明される。）。分類タスク（例えば、バイナリ及びマルチクラス分類）では、クラスラベルは画像レベルにあり、例えば、クラス（又は複数のクラス）は画像全体に設定される。画像セグメンテーション及びオブジェクト検出などの予測タスク（例えば、密な予測）では、クラスラベルはよりきめ細かいレベルにあり、例えば、オブジェクト検出の場合、画像内のそれぞれの別個のオブジェクトはそのクラス及び位置のラベルを有する。モデル前提条件付けに使用される訓練データセットは、互いに関連しているが、標的ドメインのものと様々な程度の類似性を有することができる。

既存の注釈付きデータセットをサンプリングするために、以下の基準が実施されてもよい。（１）１つの注釈付きデータセットのみが利用可能である場合、各サブタスクについて、段階２におけるクラスの数の一部である又は該クラスの数と一致するようにクラスのサブセットがランダムに選択されてもよく、選択されたクラスから幾つかの例をランダムに選択することができる。このシナリオでは、異なる又は部分的に異なるクラスを有する多数のサブタスクが存在する。（２）複数の注釈付きデータセットが利用可能である場合、それぞれのサブタスクごとに、例を複数のデータセットから混合することができ、次いで混合データセットを（１）と同じ方法で実装することができ、又は特定のデータセットを最初にランダムに選択することができ、次いでそのデータセット内のクラスのサブセットを段階２のクラスの数の一部である又は該クラスの数と一致するようにランダムに選択することができる。両方のシナリオにおいて、（ａ）完全なランダム性以外のサンプリング戦略も採用することができ、例えば、一部のクラス又は一部のデータセットを他のものよりも頻繁にサンプリングすることができ、及び／又は（ｂ）各サブタスク内の例は、訓練サブセット及び検証サブセットに分割されてもよい。

より具体的には、画像レベルの予測、例えば画像分類タスクの場合、「例」は、データセット内のそのクラスラベルを有する画像を指し、すなわち、各サブタスクは、全てが選択されたクラスに属する画像のセットからなる。各サブタスク内で、段階１の訓練プロセスのために画像クラスラベルが再定義される。例えば、クラスごとに５つの画像、例えば合計３つのクラスで１５個の画像が選択されてもよく、各画像の元のクラスラベルに関係なく、段階１の訓練のために、クラスのランダムな順序付けが生成され、それによって３つのクラスのいずれかをクラスＮｏ．０として設定することができ、別のクラスをクラスＮｏ．１として設定することができ、最後のクラスをクラスＮｏ．２として設定することができる。次のサブタスクでは、異なるクラスのセットから別の１５個の画像を選択することができ、次いでそれらのクラスラベルが再び０、１、及び２になるようにランダムな順序でリセットされる。このようにして、モデルは、モデルが各特定のクラスからの情報を学習することに焦点を合わせていないが、遭遇する全ての可能なサブタスクの学習スキルを向上させる方法を学習するという意味で、クラスに依存しなくなる。

予測タスク（例えば、密な予測）の場合、一例は、それらのラベルと共に画像内の同じクラスの全ての注釈付きエンティティ（領域又はオブジェクト）を含み、クラスの選択されたサブセットから幾つかの例をサンプリングするときに、選択されたクラスからの少なくとも１つのラベル付けされたエンティティを含む幾つかの画像が最初に選択され、次いで、選択されたクラスからのものではないラベル付けされたエンティティが背景クラスに設定される。例えば、画像セグメンテーションタスクでは、クラスラベルはフォアグラウンドクラス及びバックグラウンドクラス（すなわち、モデリング目的のための関心のない領域）を含んでもよく、選択されたクラスが腫瘍巣及び血管である場合、これらの２つのクラスに属さない画像内の全ての領域は背景クラスとして再ラベル付けされ、腫瘍巣に属する全ての領域はクラスＮｏ．０又はＮｏ．１としてランダムに再ラベル付けされ、血管領域は腫瘍領域に再ラベル付けした後に残っているいずれかのクラスインデックスとして再ラベル付けされる。

サブタスクの学習方法は、以下のように考えることができる。既存のデータセットの表現を学習し、これらのデータセットから、見えない標的ドメインからの任意のクラスの例の間の類似性を比較する技能を蒸留する、メトリックベースの方法。これらの方法では、段階１で学習された表現は、以下の方法で段階２に適用できる。すなわち、（ａ）標的ドメインで少数の画像を選択する、（ｂ）これらの画像に注釈を付け、それぞれの例ごとに前提条件付けされたモデルを適用して特徴ベクトル表現を生成する（例えば、分類層の前の畳み込みネットワークにおける最後の層の出力）、（ｃ）同じクラスの例からの表現を組み合わせて、標的クラスごとに１つの表現を生成する、（ｄ）これらの処理された表現を標的クラスのプロトタイプとして使用する、（ｅ）ラベル付けされていない標的ドメインの残りの画像又は画像領域（又は高密度予測タスクの場合は他のエンティティ）の特徴ベクトル表現を生成する、（ｆ）これらのベクトル間の距離、例えばコサイン距離を計算することによって、ラベル付けされていない標的ドメインからの各特徴ベクトル表現をプロトタイプと比較し、次いで、ラベル付けされていない画像又は画像領域におけるクラスラベルを最小距離を伴うプロトタイプクラスとして割り当てる（例えば、最も類似している）。サブタスクを学習するための他の技術は、メトリックベースの方法と組み合わせて使用されてもよい。例えば、敵対的生成モデルが使用されてもよく、敵対的生成モデルは、既存の画像の分布に基づいて画像を合成して、生成された画像を用いて標的画像ドメインのクラスごとの例の数を増やす。

或いは、モデルを初期化するための最良のモデル重みを学習する最適化ベースの方法は、わずかな数の例だけで、見えない標的データセットに効率的に適応することができる。これらの方法では、段階１における訓練は、２つのモデル最適化ループ、すなわち、（ａ）人工知能モデルが、ｉ番目のサブタスクに関してＬ－ｓｕｂｔａｓｋ－ｉとして示されるモデル更新後のその検証セットにおける損失を生成する、１つのサブタスク上のそのモデル重みを所定数の又はフレキシブルな数のエポックで更新し、内部学習ループと、（ｂ）目的が、全てのサブタスクを更新するために使用されたときに最良のモデルを生成するモデル初期化のセットを検索することであり、サブタスクの各々がわずか数の注釈付きの例しか伴わず、これが、それらのモデル初期化に関してそれらの検証セット上のサブタスクの検証セットから計算された全ての損失の合計（Ｌ－ｓｕｂｔａｓｋ－ｉを合計し、ｉは１からサブタスクの数までの範囲である）を最小化するモデル初期化を見つけることによって達成される、外部学習ループとを含む。サブタスクを学習するための他の技術は、最適化ベースの方法と組み合わせて使用されてもよい。例えば、最良のモデル初期化を検索するだけでなく、最良のモデルアーキテクチャ（例えば、ニューラルアーキテクチャ検索を実行すること）も検索する。

初期モデル開発の設計のための本明細書に記載のワークフローは、以下のように明視野ＩＨＣアッセイにおける細胞検出及びＨ＆Ｅアッセイにおける組織型分類に適用された。しかしながら、同様のワークフローは、他の染色方法、例えば、明視野アッセイにおける特別な染色（例えば、筋肉、コラーゲン線維、赤血球及び細胞核を同時に染色するＴｒｉｃｈｒｏｍｅ Ｍａｓｓｏｎアッセイ）及び蛍光ＩＨＣアッセイに適用することもできる。

（ｉ）ＩＨＣアッセイにおける細胞検出のためのモデル前提条件付け：
目的は、各画像における染色表現型、細胞タイプ及び細胞位置を特定することである。例えば、ＤＡＢ－Ｋｉ６７ ＩＨＣアッセイの場合、Ｋｉ６７で陽性に染色された腫瘍細胞（Ｋｉ６７＋腫瘍）、Ｋｉ６７で陰性に染色された腫瘍細胞（Ｋｉ６７－腫瘍）、他の全ての細胞タイプ／染色タイプを、単一の画素における各細胞核中心の位置と共に、又は各細胞核の境界ボックス（例えば、各細胞核に外接する長方形の画素位置）と共に、又は各細胞核の画素（例えば、核セグメンテーションマスク）と共に特定するように、細胞検出モデルを設計することができる。

一般に、明視野ＩＨＣアッセイからの画像は、関連しており、それらの外観に一定レベルの類似性を有し、すなわち、ヘマトキシリン染色はこれらのアッセイのほとんどで使用され、細胞核を染色し、細胞が全スライド画像内のどこにあるかのポインタとして機能するが、１つ以上のバイオマーカーはＩＨＣ染色プロトコルによって標的にされ、それに対応して、これらのバイオマーカーを発現する細胞は、色素原の適用によって色を示す。「染色パターン」は、（ａ）バイオマーカーの細胞内及び／又は細胞内局在、（ｂ）染色された細胞タイプ、（ｃ）染色強度、（ｄ）発生頻度、及び（ｅ）陽性領域の空間分布に関して、標的バイオマーカーについて陽性の画像領域の出現を指す。例えば、Ｋｉ６７は核染色パターンを有し、例えば、Ｋｉ６７アッセイからのＩＨＣ画像における陽性染色信号は、主に散在した腫瘍細胞又はクラスタ化した腫瘍巣のいずれかにおいて、細胞核に位置することが観察され、陽性染色信号は、低い染色強度から非常に高い強度に及ぶ。

前提条件付けのためのワークフローは、様々な色素原及びバイオマーカー染色パターン（例えばアッセイについては表１を参照されたい）を有する様々なＩＨＣアッセイからの画像を使用して設計されてもよい。例示的なワークフローは、以下を含んでもよい。（１）既存の注釈付きデータセットで使用される１つ以上の色素原が１つ以上の標的ＩＨＣアッセイのものと同じである場合：（１．１）１つのアッセイからの注釈のみが利用可能である場合、各モデル訓練反復において、このデータセットをサブタスクに分割し、訓練のために１つのサブタスクをサンプリングし、これは、１つ以上のクラスからの細胞注釈を有する少数の画像を有し、この開発段階のために選択された全てのクラスの細胞が画像のうちの少なくとも１つに存在することを確認する。例えば、ＤＡＢ－Ｋｉ６７アッセイの前提条件及びＤＡＢ－ＰＤＬ１アッセイに適用する。図６は、ＤＡＢ－Ｋｉ６７ ＩＨＣ画像（Ａ）の一例を示し、この場合、褐色信号は色素原ＤＡＢが色を生成した画像領域であり、細胞核に発現されたＫｉ６７がこのＩＨＣアッセイによって検出されたこれらの細胞を示し、灰色がかった青色の信号はヘマトキシリン染色細胞核である。例示的なグラウンドトゥルース（Ｂ）は、（Ａ）の画像の細胞検出についても示されており、細胞核センターにオーバーレイされた異なる色のドットは、各細胞のクラスラベルを示す。（１．２）複数のアッセイからの注釈が利用可能である場合、可能な限りアッセイに依存しないように前提条件付けされた人工知能システムを訓練するために、各モデル訓練反復において、最初に全てのアッセイからアッセイが選択されてもよく、次いで、このアッセイから幾つかの例がサンプリングされてもよい。例えば、人工知能システムは、ＤＡＢ－Ｋｉ６７及びＤＡＢ－ＣＫ７アッセイの前提条件であってもよく、ＤＡＢ－ＰＤＬ１アッセイに適用されてもよい。

（２）既存の注釈付きデータセットで使用される色素原が標的ＩＨＣアッセイのものと異なる場合：（１．１）又は（１．２）と同様のワークフローを実行することができる。更に、段階１と段階２の両方の色素原を一致させるために、染色剤不混合を行ってＩＨＣ画像を各染色剤成分に分解し、これらの成分を標的ＩＨＣアッセイから抽出された色ベクトルと再混合することができる。例えば、人工知能システムは、Ｔａｍｒａ－ＰＤＬ１／Ｄａｂｓｙｌ－ＣＫ７二重鎖アッセイの前提条件であってもよく、ＤＡＢ－Ｋｉ６７アッセイに適用されてもよく、訓練システム又はユーザは、Ｔａｍｒａ－ＰＤＬ１／Ｄａｂｓｙｌ－ＣＫ７二重鎖画像をＰＤＬ１、ＣＫ７及びヘマトキシリングレースケール強度画像に分解し、ＤＡＢのカラーベクトルと再混合して、前提条件付け段階のための２つの画像セット、すなわち合成ＤＡＢ－ＰＤＬ１一重鎖画像及び合成ＤＡＢ－ＣＫ７一重鎖画像を得ることを選択することができる。図６は、例示的なＴａｍｒａ－ＰＤＬ１－Ｄａｂｓｙｌ－ＣＫ７ ＩＨＣ画像（Ｃ）を示す。細胞核中心にオーバーレイされた異なる色のドットが各細胞のクラスラベルを示すＤＡＢ－ＰＲ ＩＨＣ画像についても、例示的なグラウンドトゥルース（Ｄ）が示されている。

前提条件付け段階で使用されるアッセイは、必ずしも標的ドメインアッセイと高い類似性を有する必要はないが、幾つかのレベルの類似性がある場合、段階１における学習技能及び学習された知識の両方の蓄積のために有益であり得る。

（ｉｉ）Ｈ＆Ｅアッセイにおける組織タイプ分類のためのモデル前提条件付け：
この場合、目標は、全スライド画像から各画像タイルの組織タイプを特定するためのモデルを生成することである。例えば、各画像タイルを腫瘍、間質、正常組織及び他のタイプに分類することができるモデルを構築する。モデル前提条件付けは、標的ドメイン以外の他の疾患タイプ（例えば、異なる腫瘍タイプ）、異なる疾患段階などからの既存のデータセットを用いて、本明細書に記載の同様のワークフローを使用して実行することができる。各サブタスクは、同じデータセットから、又は利用可能であれば異なるデータセットの混合物からサンプリングすることができる。

モデル更新及び適応
初期モデル開発後にモデル更新及び新しいデータセットへの適応を効率的に実行するために、デジタル病理設定で一般的に遭遇するシナリオを特定し、シナリオに最適な適応学習方法を選択するための技術を開発した。Ｈ＆Ｅ画像の組織タイプ分類は、これらの技術を説明するための例として使用される。しかしながら、モデルの更新及び適応のために記載された技術は、デジタル病理において一般的に遭遇する様々な他のシナリオに適用することができることを理解すべきである。

モデルが連続的に訓練される場合、データのストリームは異なる方法で異なり得る。デジタル病理において一般的に遭遇する状況は、以下のシナリオに分類された。
１．データインクリメンタルシナリオ：病理学者がキュレートした注釈付きデータセットを作成することは時間のかかるプロセスであり、データが到着したとき及びいつ到着したときにモデルをバッチで訓練することが好ましい。モデルを訓練するための新しいストリームと見なされる着信データは、以前のデータとの差が最小限であり、通常は同じ基礎となる分布からのものであり、以前に見られたように全てのクラスを有する。
２．ドメインインクリメンタル：データの連続ストリームが異なるドメイン又は分布からのものである場合、ドメインインクリメンタルシナリオと見なされる。このシナリオは、全てのデータストリームがそれらに表される全てのクラスを有するという点で、データインクリメンタルシナリオと同様である。
３．クラスインクリメンタル：クラスインクリメンタルシナリオは、クラスの数に関してモデルが拡張される場合である。このシナリオの臨床的必要性は、注釈付き画像のバッチがクラスの異なるサブセットを含む又はモデル定義が変化してデータをより多くの組織サブタイプに分類する場合に生じる。各データストリームは、新しい見えないクラスからの画像、並びに以前のデータストリームで導入された見えているクラスの画像を含んでもよいことを理解すべきである。
４．タスクインクリメンタル：各データストリームが新しいタスクとして定義される場合、上記のシナリオのいずれもタスクインクリメンタルと見なすことができる。このシナリオは、異なるアーキテクチャ設計を使用し、ネットワークは、タスク間及びタスク固有のレイヤ間で共有レイヤを有する。

各インクリメンタルデータストリームは、エクスペリエンスと呼ばれる。各エクスペリエンスは、次に、訓練、検証、及び試験ストリームに分割される。モデルは、訓練ストリームで対象とされ、全てのエポックの終わりに検証ストリームで検証され、各エクスペリエンスの終わりに試験ストリームで評価される。モデル性能は、順方向及び逆方向の移動を研究するための全てのエクスペリエンスの訓練の最後に、全てのエクスペリエンスからの試験ストリームで評価された。

（ｉ）データインクリメンタルデジタル病理モデル更新：
（１．１）デジタル病理シナリオ：人工知能ベースのデジタル病理アルゴリズムの初期開発後、同じドメインのより多くの注釈付きデータ（例えば、わずかな差及びほとんど類似；同じ基礎となるデータ分布から）をモデルに組み込む必要があり得る。デジタル病理設定では、専門的に注釈付けされた及び／又は専門的に検証された注釈付けは時間がかかり、初期モデル開発時に利用できない場合があるため、注釈付きデータがバッチで到着することを期待することが一般的である。加えて、人工知能モデル、特に深層ニューラルネットワークにおけるパラメータの数が多いため、追加データからの学習によってモデルのオーバーフィッティングを防止することが一般的である。例えば、初期モデルは、結腸癌画像（図７に示す－左下隅のプロットは、各モデルバージョンにおけるクラスラベル及び例の数を示す）から腫瘍組織対正常組織を分類するように訓練されてもよく、その後のモデル開発／更新では、同じクラスの同様の例がモデルに統合されてもよく、そのような例は経時的にバッチで到着する。

（１．２）最良適応学習方法を選択するためのワークフロー：（１．２ａ）既存のデータ及び新しく到着したデータを用いてゼロから訓練することなくモデルを効率的かつ効果的に更新するために、所与のデジタル病理ドメインからベンチマークデータセットを設定し、データアセットをバッチにランダムに分割し、順次到着するデータの場合をシミュレートする。（１．２ｂ）各バッチ内の個々の例における小さなランダム変化の存在下で候補学習方法がどれだけ効果的であるかを評価するために、そのような小さな変化をシミュレートするために拡張データセットが作成されてもよく、各データバッチが異なる方法で拡張された画像を含むように画像順序がランダムにシャッフルされてもよい。元のデータに対する様々なタイプ及び程度の変化は、データセット全体の分布が歪められないように、慎重にバランスがとられてもよい。データの拡張は、訓練中に動的に、又は訓練の反復ごとに事前に実行することができる。例示的な拡張技術は、（ｉ）最初に染色分解が実行され（例えば、混合解除）、次いで各染色が所定のカラーベクトルで再混合されて各染色の色相、彩度、及び強度を変更する、染色空間を変更すること、（ｉｉ）画像をサイズ変更し、次いで元のサイズに戻すことによって画像解像度を上げること、（ｉｉｉ）同様のこと、又は（ｉｖ）それらの任意の組み合わせを含む。

（１．３）適応学習のための人工知能ベースの方法：（１．２ｂ）から生成されたベンチマークデータのバッチは、以下のような候補学習方法に対して実行し得る。

（１．３ａ）正規化ベースの方法：これらの方法は、プライバシーの優先順位付け及びメモリの削減に主に焦点を当てている。生の入力を保存することを回避することによって、プライバシーが維持される。異なる正則化ベースの方法のうち、２つの一般的な方法は、弾性重み強化（ＥＷＣ）法及び忘却なし学習（ＬＷＦ）法である。ＥＷＣは、新しいデータから学習するときにモデルパラメータが事前として使用され、本方法がモデルパラメータにわたる分布を推定する、事前に注目された方法である。一方、ＬＷＦは、データに焦点を合わせた方法である。データに焦点を合わせた方法の主な設計は、以前のモデルから新しいデータで対象とされた現在のモデルへの知識蒸留に基づく。この概念は、知識伝達機構で忘却を扱うＬＷＦでも導入されている。これらの方法は、現在のモデル重みに制約を適用することによってモデルが学習した知識を忘れるのを防ぎ、その結果、現在のモデルを更新するとき、モデル重みはその現在のバージョンから大きく逸脱しない。

（１．３ｂ）再生ベースの方法：これらの方法は、既存のデータバッチから最も有益な例又はそれらの特徴表現（例えば、ニューラルネットワークの隠れ層から抽出された特徴ベクトル）を保ち、新しく到着したデータの訓練中にそれらを再訪問する。忘却を克服するために、新しいタスクを学習するプロセスにおいて、タスクの以前の試料が再生される。このカテゴリに属する様々な方法の中には、インクリメンタル学習器及び表現学習（ｉＣａＲＬ）、連続的プロトタイプ評価（ＣｏＰＥ）、及びＡ－ＧＥＭがある。ｉＣａＲＬ方法は、学習された特徴空間内の近似クラス手段にしたがって選択されたクラスごとの最良の例示のサブセットを記憶する。この方法の上限は、過去及び現在のタスクの共同訓練によって決定される。ＣｏＰＥは、クラス集団の最も顕著な特徴を永続的に表すプロトタイプを有するオンラインデータインクリメンタル学習器である。急速に進化するプロトタイプは、任意の時点での学習及び予測を可能にする。ＣｏＰＥは、再生及びバランスメモリポピュレーション方式を使用してクラス不均衡に対してロバストである。ＧＥＭは、タスクインクリメンタル設定に基づいて設計される。この方法は、それらの更新を制限することによって新しいタスクのみに焦点を合わせ、したがって以前のタスクと干渉しない。これは、一次テイラー級数近似によって以前のタスク勾配によって概説された実行可能領域上に計算された勾配方向を投影することによって達成される。Ａ－ＧＥＭ法は、ＧＥＭ法の改良版である。Ａ－ＧＥＭは、前のタスクデータバッファからランダムに選択された試料によって推定された一方向に投影する問題を緩和するのに役立つ。Ａ－ＧＥＭは、正則化方法と同様の計算及びメモリ効率で、ＧＥＭと同様の性能精度をもたらす。

（１，３ｃ）正則化と再生を組み合わせた方法

（１．３ｄ）メタ学習原理を活用して、各バッチの幾つかの例でモデル更新を可能にする方法（実験セクションで実施される「ＣｏＰＥ」方法を参照）

（１．３ｅ）パラメータ単離方法：これらの方法は、忘却に対処するために各タスクに異なるモデルパラメータを割り当てる。アーキテクチャのサイズに制約が適用されないため、これらの方法には固定アーキテクチャはない。したがって、新しいタスクのために新しい枝が成長する可能性がある。これは、以前のタスクパラメータを凍結するか、又はモデルコピーを各タスク専用にすることによって達成することができる。これらのタイプのアーキテクチャは、動的アーキテクチャと呼ばれる。

（１．３ｆ）前述の手法と共に適用される他の技術。例えば、前述の方法を適用する前に、ラベル付けされていない新しいデータに対して自己教師付き学習を実行する。別の例として、敵対的生成モデルを実行して、以前のデータバッチからこれらと同様の例を生成する。

（ｉｉ）ドメインインクリメンタルデジタル病理モデルの更新：
（２．１）デジタル病理シナリオ：人工知能ベースのデジタル病理アルゴリズムの初期開発後、異なるドメイン（例えば、類似しているが、異なる基礎となるデータ分布からのもの）の注釈付きデータをモデルに組み込む必要がある場合がある。デジタル病理設定では、（ａ）実験設定の変化、例えば（ｉ）染色試薬（ｉｉ）染色プロトコル又は機器、（ｉｉｉ）スキャナ供給業者、（ｉｖ）試料供給源（例えば、異なる臨床部位又は組織バンク）などの変化又は違いに対して、（ｂ）組織型、器官型、患者集団、疾患病期、疾患サブタイプ（例えば、腫瘍タイプ及びサブタイプ）などの他の局面の変化に対してロバスト性が高いモデルを生成できることが実際的な必要性である。

（２．２）最良適応学習方法を選択するためのワークフロー：（２．２ａ）既存のデータ及び新しく到着したデータの両方を用いてゼロから訓練することなくモデルを効率的かつ効果的に更新するために、ＤＰドメインからベンチマークデータセットを設定し、現実的な変化をシミュレートする合成画像を異なるソース／ドメインからのデータとして生成する。（２．２ｂ）どの候補適応学習方法がこのシナリオに最も効果的であるかを評価するために、複数のタイプのドメインシフトをシミュレートするために拡張データセットが作成されてもよく、そのような変更で候補方法がどの程度良好に機能するかが評価されてもよい。データの拡張は、訓練中に動的に、又は訓練の反復ごとに事前に実行することができる。例示的な拡張技術は、（ｉ）最初に染色分解が実行され（例えば、混合解除）、次いで各染色が所定のカラーベクトルで再混合されて各染色の色相、彩度、及び強度を変更する、染色空間を変更すること、（ｉｉ）画像をサイズ変更し、次いで元のサイズに戻すことによって画像解像度を上げること、（ｉｉｉ）など、又は（ｉｖ）それらの任意の組み合わせを含む。１つ以上のタイプの変更を各サブセットに適用して、一連の連続したドメインシフトをシミュレートすることができる。例えば、分類タスクのための同じ組織タイプを有するＨ＆Ｅ画像の場合、データセットがランダムに分割されてもよく、以下の拡張サブセットが生成されてもよい。すなわち、（ｉ）プロトコルの変更に起因して、染色の一方がより強くなり、（ｉｉ）調製されたスライドの経年変化に起因して、両方の染色が退色し（すなわち、染色強度の低下）、（ｉｉｉ）染色剤の変更に起因して、一方の染色剤が他方よりもＨＳＶ色空間において飽和し、（ｉｖ）スキャナの変更に起因して、両方の染色剤がＨＳＶ色空間において色相を変化させる。図８は、上記（ｉ）及び（ｉｉ）で説明した変更を示している（左下隅のプロットは、各モデルバージョンにおけるクラスラベル及び例の数を示している）。

（２．３）適応学習のための人工知能ベースの方法：（２．２ｂ）から生成されたベンチマークデータのバッチは、以下のような候補学習方法に対して実行されてもよい。（２．３ａ）正規化ベースの方法：これらの方法は、現在のモデル重みに制約を適用することによって、モデルが学習した知識を忘れるのを防ぎ、その結果、現在のモデルを更新するとき、モデル重みはその現在のバージョンから大きく逸脱しない。（２．３ｂ）再生ベースの方法：これらの方法は、既存のデータバッチから最も有益な例又はそれらの特徴表現（例えば、ニューラルネットワークの隠れ層から抽出された特徴ベクトル）を保ち、新しく到着したデータの訓練中にそれらを再訪問する。（２．３ｃ）正則化と再生を組み合わせた方法。（２．３ｄ）メタ学習原理を活用して、各バッチの幾つかの例でモデル更新を可能にする方法（実験セクションで実施される「ＣｏＰＥ」方法を参照）。（２．３ｅ）パラメータ単離方法。（２．３ｆ）前述の手法と共に適用される他の技術。例えば、前述の方法を適用する前に、ラベル付けされていない新しいデータに対して自己教師付き学習を実行する。別の例として、敵対的生成モデルを実行して、以前のデータバッチからこれらと同様の例を生成する。

（ｉｉｉ）クラスインクリメンタルデジタル病理モデル更新：
（３．１）デジタル病理シナリオ：人工知能ベースのデジタル病理アルゴリズムの最初の開発後、クラスの数に関してモデルを拡張する必要があり得る。デジタル病理設定では、このシナリオは、以下のような理由により、すなわち、（ｉ）エンドユーザのニーズの変化、（ｉｉ）注釈付きデータがバッチでもたらされ、各バッチは既存のデータのクラスとは部分的又は完全に異なるクラスのセットを有すること、及び／又は（ｉｉｉ）モデル設計の選択肢、例えば、腫瘍対正常を分類するように最初に設計されたモデルでは、良好なモデル性能を確保するために壊死及びリンパ球クラスタを特定する必要があることが分かっていることにより、一般的に遭遇する。

（３．２）最良適応学習方法を選択するためのワークフロー：（３．２ａ）既存データ及び新規データの両方をゼロから訓練することなくモデルを効率的かつ効果的に更新するために、デジタル病理ドメインからベンチマークデータセットが設定されてもよく、クラスが幾つかの異なるサブセットに分割されてもよく、したがって、対応する例はそれらのクラスラベルにしたがって分割される。例えば、図９には、このようなクラス分割をモデルバージョン毎に示している（左下のプロットは、各モデルバージョンにおけるクラスラベルと例の数を示している）。（３．２ｂ）次に、候補適応学習方法を評価して、クラスをインクリメンタル態様で学習するのにどの適応学習方法が最も効果的であるかを決定し、各データバッチの異なるクラス順序のセットを学習する性能が比較されてもよい。
（３．３）適応学習のための人工知能ベースの方法：（３．２ｂ）から生成されたベンチマークデータのバッチは、以下のような候補学習方法に対して実行されてもよい。（３．３ａ）正規化ベースの方法：これらの方法は、現在のモデル重みに制約を適用することによって、モデルが学習した知識を忘れるのを防ぎ、その結果、現在のモデルを更新するとき、モデル重みはその現在のバージョンから大きく逸脱しない。（３．３ｂ）再生ベースの方法：これらの方法は、既存のデータバッチから最も有益な例又はそれらの特徴表現（例えば、ニューラルネットワークの隠れ層から抽出された特徴ベクトル）を保ち、新しく到着したデータの訓練中にそれらを再訪問する。（３．３ｃ）正則化と再生を組み合わせた方法。（３．３ｄ）メタ学習原理を活用して、各バッチの幾つかの例でモデル更新を可能にする方法（実験セクションで実施される「ＣｏＰＥ」方法を参照）。（３．３ｅ）パラメータ単離方法。（３．３ｅ）前述の手法と共に適用される他の技術。例えば、前述の方法を適用する前に、ラベル付けされていない新しいデータに対して自己教師付き学習を実行する。別の例として、敵対的生成モデルを実行して、以前のデータバッチからこれらと同様の例を生成する。

（ｉｖ）タスクインクリメンタルデジタル病理モデルの更新：
（４．１）前述の各シナリオでは、各異なるデータバッチを新しいタスクとして定式化するかどうかについて決定が行われてもよく、したがってタスクインクリメンタル方法を適用するかどうかを決定してもよい。そのような方法は、各タスクに対して個別のモデル部品（例えば、ニューラルネットワークモデルにおけるニューロンの別個のセット又は別個の層）を指定してもよく、各モデル反復において、モデル固有部品のみが訓練され、以前の訓練部品の残りは変更されないままである。したがって、モデルは、別々の部分を有するデータの変化に適応することができ、以前のタスクから学習した知識を忘れることを回避することができる。

他のモダリティへの適応学習フレームワークの適用
適応学習フレームワークは、他の撮像モダリティ及び他の研究分野に適用されてもよい。適応学習フレームワークは、以下の態様からドメインに依存しない。（１）初期モデル訓練のための前提条件付け戦略は、初期モデルを生成するために多数の注釈が必要とされる他のタイプのデータに適用することができる。（２）モデル更新／適応の３つの適応学習シナリオは、他の計算生物医学研究で遭遇するシナリオと共通性を有し、したがって、適応学習方法選択戦略はこれらの研究によって活用することができる。

適応学習フレームワークは、連合学習に適用されてもよい。連合学習は、個々のデータソースからのデータを共有することなく、かつローカルモデルを明示的に共有することなくグローバルモデルを更新することを目的とする。適応学習フレームワークは、以下の方法で連合学習によって活用することができる。すなわち、（１）標的画像ドメイン内のより少ない数の注釈でより効果的かつ効率的なモデル更新を可能にするために、ローカルモデル及び／又はグローバルモデルを前提条件付けする、及び（２）前のデータを再訓練することなくモデルを連続的に更新するとともに、本明細書に記載のモデル選択ワークフローを適用することによって最良の学習方法を選択するために、適応学習方法の１つ以上を介してローカルモデル及び／又はグローバルモデルを更新する。

適応学習フレームワークは、マルチモデル学習に適用されてもよい。マルチモーダル学習は、データの異なるモダリティから学習された知識を統合することを目的とする。適応学習フレームワークは、以下の方法でマルチモデル学習によって活用することができる。すなわち、（１）１つ以上のデータモダリティからのモデルを前提条件付けして、標的画像ドメイン内のより少ない数の注釈でより効果的かつ効率的なモデル更新を可能にする、（２）１つ以上の適応学習方法を介して１つ以上のデータ様式から更新して、以前のデータを再訓練することなくモデルを連続的に更新し、本明細書に記載のモデル選択ワークフローを適用することによって最良の学習方法を選択する、及び（３）学習の最初の反復及び／又は連続的な更新／適応のために適応学習フレームワークを適用することによって、複数のモダリティのデータからの表現を適応的に統合するためのモデルを生成する。

Ｖ．適応学習のための例示的なシステム
図１０は、人工知能システム（例えば、１つ以上の機械学習モデル）を使用してデジタル病理画像を処理するためのコンピューティング環境１０００を示すブロック図を示す。本明細書で更に説明するように、デジタル病理画像を処理することは、デジタル病理画像を使用して機械学習アルゴリズムを訓練すること、及び／又はデジタル病理画像の一部又は全部を、機械学習アルゴリズムの訓練された（又は部分的に訓練された）バージョン（すなわち、機械学習モデル）を使用して１つ以上の結果に変換することを含むことができる。

図１０に示すように、コンピューティング環境１０００は、幾つかの段階、すなわち画像記憶段階１００５、前処理段階１０１０、ラベル付け段階１０１５、データ拡張段階１０１７、訓練段階１０２０、及び結果生成段階１０２５を含む。

画像記憶段階１００５は、生物学的試料スライド（例えば、組織スライド）から予め選択されたエリア、又は生物学的試料スライドの全体のデジタル画像１０３５のセットを提供するために（例えば、前処理段階１０１０によって）アクセスされる１つ以上の画像データストア１０３０（例えば、図４に関連して説明した記憶デバイス４３０）を含む。各画像データストア１０３０に記憶され、画像記憶段階１０１０でアクセスされる各デジタル画像１０３５は、図４に表示されるネットワーク４００に関して説明したプロセスの一部もしくは全てにしたがって生成されたデジタル病理画像を含み得る。幾つかの実施形態では、各デジタル画像１０３５は、１つ以上のスキャンされたスライドからの画像データを含む。デジタル画像１０３５のそれぞれは、単一の検体からの画像データ、及び／又は画像に対応する基礎となる画像データが収集された単一の日からの画像データに対応し得る。

画像データは、画像、並びに色チャネル又は色波長チャネルに関する任意の情報、並びに画像が生成された撮像プラットフォームに関する詳細を含み得る。例えば、組織切片は、明視野撮像用の発色性染色剤又は蛍光撮像用の蛍光体に関連付けられた１つ以上の異なるバイオマーカーを含む染色アッセイの適用によって染色される必要がある場合がある。染色アッセイは、明視野撮像用の発色性染色剤、蛍光撮像用の有機蛍光体、量子ドット、又は有機蛍光体と量子ドットの併用、或いは染色剤、バイオマーカー、及び観察又は撮像デバイスの任意の他の組合せを使用することができる。バイオマーカーの例としては、エストロゲン受容体（ＥＲ）、ヒト上皮成長因子受容体２（ＨＥＲ２）、ヒトＫｉ－６７タンパク質、プロゲステロン受容体（ＰＲ）、プログラム細胞死タンパク質１（ＰＤ１）などのバイオマーカーが挙げられ、ここで、組織切片は、ＥＲ、ＨＥＲ２、Ｋｉ－６７、ＰＲ、ＰＤ１などのそれぞれの結合剤（例えば、抗体）で検出可能にラベル付けされる。幾つかの実施形態では、分類、スコアリング、コックスモデリング及びリスク層別化などのデジタル画像及びデータ分析操作は、使用されているバイオマーカーのタイプ並びに視野（ＦＯＶ）選択及び注釈に依存する。更に、典型的な組織切片は、組織切片に染色アッセイを適用する自動染色／アッセイプラットフォームで処理され、それにより、染色された試料が得られる。染色／アッセイプラットフォームとして使用するのに適した様々な市販製品が市場に存在し、一例は、譲受人のＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ（登録商標）ＳＹＭＰＨＯＮＹ（登録商標）製品である。染色された組織切片は、例えば、顕微鏡及び／又は画像化構成要素を有する顕微鏡又はホールスライドスキャナの画像化システムに供給されてもよく、一例は、譲受人のＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ（登録商標）ｉＳｃａｎ Ｃｏｒｅｏ（登録商標）／ＶＥＮＴＡＮＡ（登録商標）ＤＰ２００製品である。多重組織スライドは、同等の多重スライドスキャナシステムでスキャンされてもよい。撮像システムによって提供される追加の情報は、染色に使用される化学物質の濃度、染色において組織に適用される化学物質の反応時間、及び／又は、組織の年齢、固定方法、期間、切片の包埋方法、切断方法などの組織の分析前条件を含む、染色プラットフォームに関する任意の情報を含み得る。

前処理段階１０１０において、デジタル画像１０３５のセットのうちの１つ、複数、又は全てのそれぞれが、１つ以上の技術を使用して前処理され、対応する前処理画像１０４０が生成される。前処理は、画像をトリミングすることを含み得る。幾つかの例では、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケール又は同じカラースケール又は彩度スケール）にするための標準化又は再スケーリング（例えば、正規化）を更に含み得る。特定の事例では、画像は、最小サイズ（幅又は高さ）が所定の画素（例えば、２５００画素）で、又は最大サイズ（幅又は高さ）が所定の画素（例えば、３０００画素）でサイズ変更され、任意に元のアスペクト比に維持される。前処理は、ノイズを除去することを更に含み得る。例えば、画像は、望ましくないノイズを除去するために、ガウス関数又はガウスぼやけを適用することなどによって平滑化され得る。

前処理画像１０４０は、１つ以上の訓練画像、検証入力画像、及びラベルなし画像を含んでもよい。訓練グループ、検証グループ、及びラベルなしグループに対応する前処理画像１０４０は、同時にアクセスされる必要はないことを理解されたい。例えば、訓練及び検証前処理画像１０４０の初期セットは、機械学習アルゴリズム１０５５を訓練するために最初にアクセス及び使用されてもよく、続いて、ラベルなし入力画像が（例えば、１回又はその後複数回）アクセス又は受信され、訓練された機械学習モデル１０６０によって使用され、所望の出力（例えば、細胞分類）を提供し得る。

幾つかの例では、機械学習アルゴリズム１０５５は、教師あり訓練を使用して訓練され、前処理画像１０４０の一部又は全ては、ラベル付け段階１０１５において、前処理画像１０４０内の様々な生物学的物質及び構造の「正しい」解釈（すなわち、「グラウンドトゥルース」）を特定するラベル１０４５で、手動、半自動、又は自動で部分的もしくは完全にラベル付けされる。例えば、ラベル１０４５は、関心のある特徴（例えば）、細胞の分類、所与の細胞が特定のタイプの細胞であるかどうかに関するバイナリ表示、前処理画像１０４０（又は前処理画像１０４０を有する特定の領域）が特定のタイプの表示（例えば、壊死又はアーチファクト）を含むかどうかに関するバイナリ表示、（例えば、特定のタイプの細胞を特定する）スライドレベル又は領域固有の表示のカテゴリ特徴、（例えば、領域内の特定のタイプの細胞の量、表示されたアーチファクトの量、又は壊死領域の量を特定する）数、１つ以上のバイオマーカーの有無などを特定し得る。場合によっては、ラベル５４５は位置を含む。例えば、ラベル１０４５は、特定のタイプの細胞の核の点位置、又は特定のタイプの細胞の点位置（例えば、生のドットラベル）を特定し得る。別の例として、ラベル１０４５は、描かれた腫瘍、血管、壊死領域などのボーダー又は境界を含んでもよい。別の例として、ラベル１０４５は、１つ以上の染色を使用して観察されたバイオマーカーパターンに基づいて特定された１つ以上のバイオマーカーを含んでもよい。例えば、バイオマーカー、例えばプログラム細胞死タンパク質１（「ＰＤ１」）について染色された組織スライドは、組織におけるＰＤ１の発現レベル及びパターンを考慮して、陽性細胞又は陰性細胞のいずれかとして細胞をラベル付けするために観察及び／又は処理されてもよい。関心のある特徴に応じて、所与のラベル付けされた前処理画像１０４０は、単一のラベル１０４５又は複数のラベル１０４５に関連付けられ得る。後者の場合、各ラベル１０４５は、そのラベルが前処理画像１０４５内のどの位置又は部分に対応するかに関する（例えば）指示に関連付けられ得る。

ラベル付け段階１０１５で割り当てられたラベル１０４５は、人間のユーザ（例えば、病理学者又は画像サイエンティスト）及び／又はラベル１０４５を定義するように構成されたアルゴリズム（例えば、注釈ツール）からの入力に基づいて特定され得る。幾つかの例では、ラベル付け段階１０１５は、ユーザによって操作されるコンピューティングデバイスに、１つ以上の前処理画像１０４０の一部もしくは全てを送信及び／又は提示することを含むことができる。幾つかの例では、ラベル付け段階１０１５は、ユーザによって操作されるコンピューティングデバイスにおいて、ラベル付けコントローラ１０５０によって提示されるインタフェースを利用する（例えば、ＡＰＩを使用する）ことを含み、インタフェースは、関心のある特徴についてラベル１０４５を特定する入力を受け入れるための入力構成要素を含む。例えば、ラベル付け用の画像又は画像の領域（例えば、ＦＯＶ）の選択を可能にするユーザインタフェースが、ラベル付けコントローラ１０５０によって提示され得る。端末を操作するユーザは、ユーザインタフェースを使用して画像又はＦＯＶを選択し得る。既知の又は不規則な形状を指定すること、又は解剖学的関心領域（例えば、腫瘍領域）を定義することなど、幾つかの画像又はＦＯＶ選択機構が提供され得る。一例では、画像又はＦＯＶは、Ｈ＆Ｅ染色の組合せで染色されたＩＨＣスライド上で選択された全腫瘍領域である。画像又はＦＯＶの選択は、ユーザによって、又はＨ＆Ｅ組織スライド上の腫瘍領域セグメンテーションなどの自動画像分析アルゴリズムによって実行され得る。例えば、ユーザは、画像又はＦＯＶがスライド全体もしくは腫瘍全体として、又はスライド全体もしくは腫瘍領域全体がセグメンテーションアルゴリズムを使用して画像又はＦＯＶとして自動的に指定され得ることを選択してもよい。その後、端末を操作するユーザは、細胞上の点位置、細胞によって発現されるバイオマーカーに対する陽性マーカー、細胞によって発現されないバイオマーカーに対する陰性バイオマーカー、細胞の周囲の境界など、選択された画像又はＦＯＶに適用されるべき１つ以上のラベル１０４５を選択してもよい。

幾つかの例では、インタフェースは、どの特定のラベル１０４５が要求されているのか及び／又はどの程度要求されているかを特定してもよく、これは、（例えば）テキスト命令及び／又は視覚化を介してユーザに伝達され得る。例えば、特定の色、サイズ、及び／又は記号は、ラベル１０４５が他の表示に対して画像内の特定の表示（例えば、特定の細胞又は領域又は染色パターン）に対して要求されていることを表し得る。複数の表示に対応するラベル１０４５が要求される場合、インタフェースは、表示のそれぞれを同時に特定してもよく、又は（特定された１つの表示にラベルを提供すると、ラベル付けのための次の表示の特定がトリガされるように）各表示を順次に特定し得る。幾つかの例では、各画像は、ユーザが特定の数の（例えば、特定のタイプの）ラベル１０４５を特定するまで提示される。例えば、ユーザが３つの異なるバイオマーカーの有無を特定するまで、所与の全スライド画像又は全スライド画像の所与のパッチが提示されてもよく、その時点で、インタフェースは、異なる全スライド画像又は異なるパッチの画像を提示し得る（例えば、閾値数の画像又はパッチがラベル付けされるまで）。したがって、幾つかの例では、インタフェースは、関心のある特徴の不完全なサブセットのラベル１０４５を要求及び／又は受け入れるように構成され、ユーザは、潜在的に多くの表示のうちのどれがラベル付けされるかを決定し得る。

幾つかの例では、ラベル付け段階１０１５は、画像又は画像内の関心領域の様々な特徴を半自動的又は自動的にラベル付けするために、注釈アルゴリズムを実装するラベル付けコントローラ１０５０を含む。ラベル付けコントローラ１０５０は、ユーザからの入力又は注釈アルゴリズムにしたがって、第１のスライド上の画像又はＦＯＶに注釈を付け、注釈をスライドの残りの部分にわたってマッピングする。定義されたＦＯＶに応じて、注釈付け及び位置合わせ用の幾つかの方法が可能である。例えば、複数の連続スライドの中からＨ＆Ｅスライド上に注釈が付けられた腫瘍領域全体は、自動的に、又はユーザによってＶＩＲＴＵＯＳＯ／ＶＥＲＳＯ（商標）などのインタフェース上で選択され得る。他の組織スライドは同じ組織ブロックからの連続切片に対応するため、ラベル付けコントローラ１０５０はマーカー間位置合わせ操作を実行して、Ｈ＆Ｅスライドからの腫瘍注釈全体をマッピングし、一連の残りのＩＨＣスライドのそれぞれに転送する。マーカー間の位置合わせ用の例示的な方法は、２０１４年３月１２日に出願された同一出願人による国際公開第２０１４１４００７０号「Ｗｈｏｌｅ ｓｌｉｄｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ ｃｒｏｓｓ－ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ ｄｅｖｉｃｅｓ，ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ」に更に詳細に記載されており、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。幾つかの実施形態では、画像位置合わせ及び全腫瘍注釈の生成用の任意の他の方法が使用され得る。例えば、病理学者などの資格のある読影者は、任意の他のＩＨＣスライド上の全腫瘍領域に注釈を付け、ラベル付けコントローラ１０５０を実行して、他のデジタル化スライド上の全腫瘍注釈をマッピングし得る。例えば、病理学者（又は自動検出アルゴリズム）は、Ｈ＆Ｅスライド上の全腫瘍領域に注釈を付けて、全ての隣接する連続切片化されたＩＨＣスライドの分析をトリガして、全てのスライド上の注釈付き領域に対する全スライド腫瘍スコアを決定し得る。

拡張段階１０１７において、前処理画像１０４０からラベル付けされた又はラベル付けされていない画像（元の画像）の訓練セットは、１つ以上の拡張アルゴリズムを実行する拡張制御１０５４を使用して生成された合成画像１０５２で拡張される。拡張技術は、既存の訓練データのわずかに変更された合成コピー、又は既存の訓練データから新たに作成された合成データを追加することによって、訓練データの量及び／又はタイプを人為的に増加させるために使用される。本明細書で説明するように、スキャナ間及び検査室間の違いは、デジタル画像内の強度及び色の変化性を引き起こす場合がある。更に、スキャニングが不十分だと、勾配の変化及びぼやけ効果が生じる場合があり、アッセイ染色では、バックグラウンド洗浄などの染色アーチファクトが生じる場合があり、組織／患者の試料が異なると、細胞のサイズにばらつきが生じる場合がある。これらの変動及び乱れは、深層学習及び人工知能システムの質及び信頼性に悪影響を及ぼす可能性がある。拡張段階１０１７で実施される拡張技術は、これらの変動及び乱れの正則化器として機能し、機械学習モデルを訓練するときに過適合を低減するのに役立ち得る。拡張技術の例としては、（ｉ）染色空間内で変化させることであって、最初に染色分解（例えば、混合解除）が実行され、次いで各染色が、各染色の色相、彩度及び強度を変更するために所定のカラーベクトルで再混合される、染色空間内で変化させることと、（ｉｉ）画像をサイズ変更し、次いで元のサイズに戻すことによって画像解像度を上げることと、（ｉｉｉ）同様のこと、或いは（ｉｖ）それらの任意の組み合わせを含む。

訓練段階１０２０において、ラベル１０４５及び対応する前処理画像１０４０は、本明細書に記載の様々なワークフローにしたがって機械学習アルゴリズム１０５５を訓練するために訓練コントローラ１０６５によって使用することができる。例えば、アルゴリズム１０５５を訓練するために、前処理画像１０４０は、訓練用の画像のサブセット１０４０ａ（例えば、９０％）と、検証用の画像のサブセット１０４０ｂ（例えば、１０％）とに分割されてもよい。分割は、ランダムに（例えば、９０／１０％又は７０／３０％）実行されてもよく、又はサンプリングバイアス及び過適合を最小限に抑えるために、Ｋ分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術にしたがって実行され得る。分割はまた、前処理画像１０４０に拡張画像又は合成画像１０５２を含めることに基づいて実行され得る。例えば、訓練用の画像１０４０ａのサブセット内に含まれる合成画像１０５２の数又は比率を制限することが有益な場合がある。幾つかの例では、元の画像１０３５と合成画像１０５２との比は、１：１、１：２、２：１、１：３、３：１、１：４、又は４：１に維持される。

幾つかの例では、機械学習アルゴリズム１０５５は、ＣＮＮ、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）によって置換された符号化層を有する修正ＣＮＮ、又はＲｅｓｎｅｔによって置換された符号化層及び復号層を有する修正ＣＮＮを含む。他の例では、機械学習アルゴリズム１０５５は、２次元ＣＮＮ（「２ＤＣＮＮ」）、Ｍａｓｋ Ｒ－ＣＮＮ、Ｕ－Ｎｅｔ、特徴ピラミッドネットワーク（ＦＰＮ）、動的時間伸縮（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）、純粋な注意ベースのモデルなどの、前処理画像１０４０、又は例えば視覚変換器、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）などのこのような技術のうちの１つ以上の組み合わせをローカライズし、分類し、及び／又は分析するように構成された任意の適切な機械学習アルゴリズムであり得る。コンピューティング環境１０００は、同じタイプの機械学習アルゴリズム、又は異なる細胞を検出及び分類するように訓練された異なるタイプの機械学習アルゴリズムを採用し得る。例えば、コンピューティング環境１０００は、ＰＤ１を検出し分類するための第１の機械学習アルゴリズム（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境５００はまた、分化クラスタ６８（「ＣＤ６８」）を検出及び分類するための第２の機械学習アルゴリズム（例えば、２ＤＣＮＮ）を含むことができる。コンピューティング環境１０００はまた、ＰＤ１とＣＤ６８を組み合わせて検出及び分類するための第３の機械学習アルゴリズム（例えば、Ｕ－Ｎｅｔ）を含むことができる。コンピューティング環境１０００はまた、患者などの対象の処置又は予後用の疾患の診断用の第４の機械学習アルゴリズム（例えば、ＨＭＭ）を含むことができる。本開示による他の例では、更に他のタイプの機械学習アルゴリズムが実装され得る。

機械学習アルゴリズム１０５５の訓練プロセスは、パラメータデータストア１０６３から機械学習アルゴリズム１０５５のハイパーパラメータを選択することと、画像のサブセット１０４０ａ（例えば、ラベル１０４５及び対応する前処理画像１０４０）を機械学習アルゴリズム１０５５に入力することと、機械学習アルゴリズム１０５５のパラメータのセット（例えば、１つ以上の係数及び／又は重み）を学習するための反復動作を実行することとを含む。ハイパーパラメータは、機械学習アルゴリズム１０５５の挙動を制御するために調整又は最適化することができる設定である。ほとんどのアルゴリズムは、メモリ又は実行コストなどのアルゴリズムの異なる態様を制御するハイパーパラメータを明示的に定義する。しかしながら、アルゴリズムを特定のシナリオに適合させるために、追加のハイパーパラメータが定義され得る。例えば、ハイパーパラメータは、アルゴリズムの隠れユニットの数、アルゴリズムの学習率（例えば、１ｅ－４）、畳み込みカーネル幅、又はアルゴリズムのカーネルの数を含み得る。幾つかの例では、モデルパラメータの数は、畳み込み層及び逆畳み込み層ごとに減少し、及び／又はカーネルの数は、畳み込み層及び逆畳み込み層ごとに、典型的なＣＮＮと比較して半分減少する。

画像のサブセット１０４０ａは、所定のサイズのバッチとして機械学習アルゴリズム１０５５に入力され得る。バッチサイズは、パラメータ更新を実行することができるようになる前に、機械学習アルゴリズム１０５５に示される画像の数を制限する。或いは、画像のサブセット１０４０ａは、時系列として又は順次に機械学習アルゴリズム１０５５に入力され得る。いずれの場合も、拡張画像又は合成画像１０５２が前処理画像１０４０ａ内に含まれる場合、元の画像１０３５の数対各バッチ内に含まれる合成画像１０５２の数、又は元の画像１０３５及び表現型の画像１０５２がアルゴリズムに供給される方法（例えば、１つおきのバッチ又は画像は、画像の元のバッチ又は元の画像）を、ハイパーパラメータとして定義することができる。

各パラメータは、パラメータについての値が訓練中に調整されるように調整可能な変数である。例えば、コスト関数又は目的関数は、表示された表現の正確な分類を最適化し、所与のタイプの特徴の特徴付け（例えば、形状、サイズ、均一性などの特徴付け）を最適化し、所与のタイプの特徴の検出を最適化し、及び／又は所与のタイプの特徴の正確な位置特定を最適化するように構成され得る。各反復は、機械学習アルゴリズム１０５５のコスト関数を最小化又は最大化する機械学習アルゴリズム１０５５のパラメータのセットを学習することを含むことができ、それにより、パラメータのセットを使用するコスト関数の値が、前の反復において別のパラメータのセットを使用したコスト関数の値よりも小さく又は大きくなるようにすることができる。コスト関数は、機械学習アルゴリズム１０５５を使用して予測された出力と訓練データに含まれるラベル１０４５との間の差を測定するように構成され得る。例えば、教師あり学習ベースのモデルの場合、訓練の目標は、訓練入力空間Ｘを標的値空間Ｙ、ｈ：Ｘ→Ｙにマッピングする関数「ｈ（）」（仮説関数と呼ばれることもある）を、ｈ（ｘ）がｙの対応する値の良好な予測因子であるように学習することである。この仮説関数を学習するために、様々な異なる技術が使用されてもよい。幾つかの技術では、仮説関数を導出する一部として、ある入力についてのグラウンドトゥルース値とその入力についての予測値との間の差を測定するコスト関数又は損失関数が定義されることがある。訓練の一部として、バックプロパゲーション、ランダムフィードバック、ダイレクトフィードバックアライメント（ＤＦＡ）、インダイレクトフィードバックアライメント（ＩＦＡ）、ヘブスの学習などの技術が、このコスト又は損失関数を最小限に抑えるために使用される。

訓練の反復は、停止条件が満たされるまで連続する。訓練完了条件は、（例えば）所定回数の訓練反復が完了したとき、試験もしくは検証に基づいて生成された統計値が所定の閾値（例えば、分類精度閾値）を超えたとき、信頼度測定基準（例えば、特定の値を上回る信頼度メトリックの平均もしくは中央値又は信頼度メトリックのパーセンテージ）に基づいて生成された統計値が所定の信頼度閾値を超えたとき、及び／又は訓練レビューに関与していたユーザデバイスが訓練コントローラ１０６５によって実行された訓練アプリケーションを閉じるときに満たされるように構成され得る。モデルパラメータのセットが訓練を介して特定されると、機械学習アルゴリズム１０５５が訓練され、訓練コントローラ１０６５は、画像のサブセット１０４０ｂ（試験又は検証データセット）を使用して試験又は検証の追加のプロセスを実行する。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、画像のサブセット１０４０ｂから機械学習アルゴリズム１０５５に画像を入力する反復動作を含み得る。最適なハイパーパラメータのセットが取得されると、画像のサブセット１０４０ｂからの画像の予約された試験セットが機械学習アルゴリズム１０５５に入力されて出力が取得され、Ｂｌａｎｄ－Ａｌｔｍａｎ法及びスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、精度、リコール、受信機動作特性曲線（ＲＯＣ）などの性能メトリックを計算することによって、出力がグラウンドトゥルースに対して評価される。場合によっては、ユーザデバイスからの対応する要求又はトリガ条件（例えば、初期モデル開発、モデル更新／適応、連続学習、訓練された機械学習モデル１０６０内で決定されるドリフトなど）の受信に応答して、新しい訓練反復が開始されてもよい。

理解されるように、他の訓練／検証メカニズムが、企図されて、コンピューティング環境１０００内に実装され得る。例えば、画像のサブセット１０４０ａからの画像に対して、機械学習アルゴリズム１０５５が訓練されてもよく、ハイパーパラメータが調整されてもよく、画像のサブセット１０４０ｂからの画像は、機械学習アルゴリズム１０５５の性能を試験及び評価するためにのみ使用され得る。更に、本明細書に記載の訓練メカニズムは、新しい機械学習アルゴリズム１０５５の訓練に焦点を合わせている。これらの訓練メカニズムはまた、本明細書で詳細に説明するように、他のデータセットから訓練された既存の機械学習モデル１０６０の初期モデルの開発、モデルの更新／適応、及び連続学習に利用することができる。例えば、場合によっては、機械学習モデル１０６０は、他のオブジェクトもしくは生物学的構造の画像を使用して、又は他の対象もしくは研究（例えば、人体試験又はマウス実験）からの切片から前提条件付けされていてもよい。それらの場合、機械学習モデル１０６０は、前処理画像１０４０を使用した初期モデルの開発、モデルの更新／適応、及び連続学習に使用することができる。

次いで、（結果生成段階１０２５において）訓練された機械学習モデル１０６０を使用して、新しい前処理画像１０４０を処理して、細胞中心及び／又は位置確率を予測する、細胞のタイプを分類する、細胞マスク（例えば、画像の画素ごとのセグメンテーションマスク）を生成する、患者などの対象の疾患の診断もしくは予後を予測する、或いはそれらの組み合わせを行うなどの、予測又は推測を生成することができる。幾つかの例では、マスクは、１つ以上のバイオマーカーに関連付けられた表示された細胞の位置を特定する。例えば、単一のバイオマーカーについて染色された組織を踏まえて、訓練された機械学習モデル１０６０は、（ｉ）細胞の中心及び／又は位置を推測し、（ｉｉ）バイオマーカーに関連する染色パターンの特徴に基づいて細胞を分類し、（ｉｉｉ）陽性細胞のための細胞検出マスク及び陰性細胞のための細胞検出マスクを出力するように構成され得る。別の例として、２つのバイオマーカーについて染色された組織を踏まえて、訓練された機械学習モデル１０６０は、（ｉ）細胞の中心及び／又は位置を推測し、（ｉｉ）２つのバイオマーカーに関連する染色パターンの特徴に基づいて細胞を分類し、（ｉｉｉ）第１のバイオマーカーについて陽性の細胞のための細胞検出マスク、第１のバイオマーカーについて陰性の細胞のための細胞検出マスク、第２のバイオマーカーについて陽性の細胞のための細胞検出マスク、及び第２のバイオマーカーについて陰性の細胞のための細胞検出マスクを出力するように構成され得る。別の例として、単一のバイオマーカーについて染色された組織を踏まえて、訓練された機械学習モデル１０６０は、（ｉ）細胞の中心及び／又は位置を推測し、（ｉｉ）細胞の特徴及びバイオマーカーに関連する染色パターンに基づいて細胞を分類し、（ｉｉｉ）陽性細胞用の細胞検出マスク及び陰性細胞コード用の細胞検出マスク、並びに組織細胞として分類されたマスク細胞を出力するように構成され得る。

幾つかの例では、分析コントローラ１０８０は、基礎となる画像の処理を要求したエンティティに利用される分析結果１０８５を生成する。分析結果１０８５は、新しい前処理画像１０４０にオーバーレイされた訓練された機械学習モデル１０６０から出力されたマスクを含み得る。追加的又は代替的に、分析結果１０８５は、全スライド腫瘍スコアなどの、訓練された機械学習モデルの出力から計算又は決定された情報を含み得る。例示的な実施形態では、組織スライドの自動分析は、譲受人であるＶＥＮＴＡＮＡのＦＤＡ認可済みの５１０（ｋ）承認アルゴリズムを使用する。代替的又は追加的に、他の自動化された任意のアルゴリズムを使用して、画像の選択された領域（例えば、マスクされた画像）を分析して、スコアを生成し得る。幾つかの実施形態では、分析コントローラ１０８０は、コンピューティングデバイスから受信した、病理学者、医師、調査者（例えば、臨床試験に関連付けられた）、対象、医療専門家などの指示に更に応答し得る。幾つかの例では、コンピューティングデバイスからの通信は、特定の対象のセットのそれぞれの識別子を含み、そのセットで表される各対象についての分析の反復を実行する要求に対応する。コンピューティングデバイスは、機械学習モデル及び／又は分析コントローラ１０８０の出力に基づいて分析を更に実行することができ、並びに／或いは推奨される診断／処置を対象に提供することができる。

コンピューティング環境１０００は例示的なものであり、異なる段階を有する及び／又は異なる構成要素を使用するコンピューティング環境１０００が考えられることが理解されよう。例えば、幾つかの例では、ネットワークは、前処理段階１０１０を省略してもよく、それにより、アルゴリズムを訓練するために使用される画像及び／又はモデルによって処理された画像が（例えば、画像データストアからの）生画像となる。別の例として、前処理段階１０１０及び訓練段階１０２０のそれぞれは、本明細書に記載の１つ以上の動作を実行するためのコントローラを含むことができることが理解されよう。同様に、ラベル付け段階１０１５はラベル付けコントローラ１０５０に関連して表示されており、結果生成段階１０２５は分析コントローラ１０８０に関連して表示されているが、各段階に関連付けられたコントローラは、ラベルの生成及び／又は分析結果の生成以外の本明細書に記載の他の動作を更に又は代替的に促進し得る。更に別の例として、図１０に示すコンピューティング環境１０００の表示は、（例えば、様々なインタフェースがどのように機能するかなどを定義した機械学習アルゴリズム１０５５のアーキテクチャを選択した）プログラマに関連付けられたデバイス、（例えば、ラベル付け段階１０１５において）初期ラベル又はラベルレビューを提供するユーザに関連付けられたデバイス、及び所与の画像のモデル処理を要求するユーザ（初期ラベル又はラベルレビューを提供したユーザと同じユーザ又は異なるユーザであってもよい）に関連付けられたデバイスの表示された表現を欠いている。これらのデバイスの表示がないにもかかわらず、コンピューティング環境１０００は、デバイスのうちの１つ、複数、又は全ての使用を含んでもよく、実際には、初期ラベル又はラベルレビューを提供する対応する複数のユーザに関連付けられた複数のデバイス、及び／又は様々な画像のモデル処理を要求する対応する複数のユーザに関連付けられた複数のデバイスの使用を含み得る。

ＶＩ．適応学習フレームワークを使用して機械学習アルゴリズムを訓練するための技法
図１１は、様々な実施形態に係る機械学習アルゴリズムを訓練するために画像の訓練セットを使用するためのプロセス１１００を示すフローチャートである。図１１に示すプロセス１１００は、それぞれのシステム、ハードウェア、又はそれらの組み合わせの１つ以上の処理ユニット（例えば、プロセッサ、コア）によって実行されるソフトウェア（例えば、コード、命令、プログラム）において実装され得る。ソフトウェアは、非一時的記憶媒体（例えば、メモリデバイス）に記憶され得る。図１１に提示され、以下に説明されるプロセス１１００は、例示的で非限定的であるように意図されている。図１１は、特定のシーケンス又は順序で行われる様々な処理ステップを示しているが、これに限定されるものではない。特定の代替実施形態では、ステップは、幾つかの異なる順序で実行されてもよく、又は幾つかのステップが並行して実行され得る。図４及び図１０に示す実施形態などの特定の実施形態では、図１１に示す処理は、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成された機械学習モデルを生成するために、画像の訓練セットを使用して機械学習アルゴリズムを訓練する訓練段階（例えば、アルゴリズム訓練１０２０）の一部として実行されてもよい。

プロセス１１００はブロック１１０５で開始し、このブロック１１０５では、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するために、画像の第１の注釈付き訓練セットが取得される。画像の第１の注釈付き訓練セットは、第１の画像ドメイン（例えば、図１０に関して説明したコンピューティング環境１０００の前処理画像１０４０）にある。場合によっては、画像の第１の注釈付き訓練セットは、１つ以上のタイプの細胞を含むデジタル病理画像である。画像の第１の注釈付き訓練セットは、バイオマーカーに関連する染色パターンを有する細胞を描写し得る。場合によっては、画像の第１の注釈付き訓練セットは、複数のバイオマーカーに関連する複数の染色パターンを有する細胞を示す。画像の第１の注釈付き訓練セットは、訓練用のラベル（例えば、監督された、半監督された、又は弱く監督された）で注釈を付けられてもよい。

ブロック１１１０において、画像の第１の注釈付き訓練セットは画像のミニセットに分割され、各ミニセットは別個のモデリングサブタスクを表し、限られた数の例を含む。場合によっては、分割は、画像の１つのミニセットのみが利用可能である場合に、それぞれの別個のモデリングサブタスクごとに、第２段階で対象とされるクラスの数の一部である又はそのクラスの数に一致するようにクラスのサブセットを選択し、クラスの選択されたサブセットに基づいて限られた数の例を選択することを含み、並びに、複数の画像のミニセットが利用可能である場合、それぞれの別個のモデリングサブタスクごとに、（ｉ）画像の複数のミニセットから例を混合し、第２段階で対象とされるクラスの数の一部である又はそのクラスの数と一致するようにクラスのサブセットを選択し、選択されたクラスのサブセットに基づいて混合例から限られた数の例を選択すること、又は（ｉｉ）画像の複数のミニセットから１つの画像のミニセットを選択し、第２段階で対象とされるクラスの数の一部である又はそのクラスの数と一致するようにクラスのサブセットを選択し、選択されたクラスのサブセットに基づいて画像の選択されたミニセットから限られた数の例を選択することのいずれかを含む。

ブロック１１１５において、機械学習アルゴリズムは、画像のミニセットを使用して第１段階で訓練され、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成された前提条件付けされた機械学習モデルを生成する。場合によっては、第１段階は、内部学習ループであって、機械学習アルゴリズムが、ｉ番目のサブタスクに関してＬ－サブタスク－ｉとして示される、モデル更新後の画像の検証セットにおける損失を生成する、標的データセットに対する適応のために前提条件付けされた機械学習モデルを初期化するための所定数の又はフレキシブルな数のエポックで１つのサブタスク上のモデル重み又はパラメータを更新する、内部学習ループと、外部学習ループであって、Ｌ－サブタスク－ｉを合計したものとして示され、ｉが１からモデル初期化に関してサブタスクの画像の検証セットから計算されるサブタスクの数までの範囲である、全ての損失の合計を最小にするモデル初期化を見つけることによって、それぞれが限られた数の例のみを伴う全てのサブタスクを更新するために使用されるときに、前提条件付けされた機械学習モデルを生成するモデル初期化のセットを検索することが目的である、外部学習ループと、を更に含む。

場合によっては、第１段階の訓練することは、コスト関数を最大化又は最小化する画像のミニセット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、パラメータのセットを使用するコスト関数の値が前の反復におけるパラメータの別のセットを使用するコスト関数の値よりも大きく又は小さくなるように、機械学習アルゴリズムのためのパラメータのセットを見つけることを伴い、コスト関数は、機械学習アルゴリズムを使用して一部又は全部の領域又はオブジェクトに関して行われた予測と、画像のミニセットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される。

ブロック１１２０において、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うために機械学習アルゴリズムを訓練するための画像の第２の注釈付き訓練セットを生成するために、標的データセットからの限られた数の画像がラベル付けされる。画像の第２の注釈付き訓練セットは、（第１の画像ドメインとは異なる）第２の画像ドメインにある。特定の例では、画像の制限された数は、５０画像、３０画像、又は２０画像未満である。

ブロック１１２５において、前提条件付けされた機械学習モデルは、画像の第２の注釈付き訓練セットを使用して第２段階で訓練され、新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成された標的機械学習モデルを生成する。第１段階で対象とされるクラスの数は、第２段階で対象とされるクラスの数の一部である又は該クラスの数に一致する。場合によっては、第２段階は、画像の第２の注釈付き訓練セット内のそれぞれの例ごとに特徴ベクトル表現を生成するために前提条件付けされた機械学習モデルを適用することと、標的クラスごとに１つの表現を生成して標的クラスごとに１つの表現を標的クラスにおけるプロトタイプとして使用するために同じクラスの例からの特徴ベクトル表現を組み合わせることと、標的データセットからラベル付けされない画像の残りの部分の画像又は画像領域のための特徴ベクトル表現を生成することと、ラベル付けされない画像からの特徴ベクトル表現と標的クラスのためのプロトタイプとの間の距離に基づいて、ラベル付けされない画像からの各特徴ベクトル表現を標的クラスにおけるプロトタイプと比較することとを更に含む。

幾つかの実施形態において、第２段階の訓練することは、コスト関数を最大化又は最小化する画像の第２の注釈付き訓練セット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、パラメータのセットを使用するコスト関数の値が前の反復におけるパラメータの別のセットを使用するコスト関数の値よりも大きく又は小さくなるように、前提条件付けされた機械学習モデルのためのパラメータのセットを見つけることを伴い、コスト関数は、前提条件付けされた機械学習モデルを使用して一部又は全部の領域又はオブジェクトに関して行われた予測と、画像の第２の注釈付き訓練セットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される。

任意選択のブロック１１３０において、標的機械学習モデルが提供される。例えば、標的機械学習モデルは、図１０に関して説明したように、画像分析環境で実行するために展開されてもよい。

ブロック１１３５において、デジタル病理シナリオが特定される。デジタル病理シナリオは、データインクリメンタルシナリオ、ドメインインクリメンタルシナリオ、クラスインクリメンタルシナリオ、又はタスクインクリメンタルシナリオであり得る。

ブロック１１４０において、デジタル病理シナリオを踏まえて標的機械学習モデルを更新するために適応的連続学習方法が選択される。幾つかの例において、適応的連続学習方法は、弾性重み強化（ＥＷＣ）、忘却なし学習（ＬＷＦ）、インクリメンタル学習器及び表現学習（ｉＣａＲＬ）、連続的プロトタイプ評価（ＣｏＰＥ）、Ａ－ＧＥＭ、並びにパラメータ分離方法を含む群から選択される。他の例では、適応的連続学習方法は、ＥＷＣ、ＬＷＦ、ｉＣａＲＬ、ＣｏＰＥ、Ａ－ＧＥＭ、パラメータ分離方法、同様の連続学習方法、又はそれらの任意の組み合わせを含む。

ブロック１１４５において、標的機械学習モデルは、更新された機械学習モデルを生成するために適応的連続学習方法に基づいて更新される。

任意選択のブロック１１５０において、更新された機械学習モデルが提供される。例えば、更新された機械学習モデルは、図１０に関して説明したように、画像分析環境で実行するために展開されてもよい。

ブロック１１５５において、新しい画像が受信される。新しい画像は、所定サイズの画像パッチに分けられてもよい。例えば、完全スライド画像は、通常、ランダムなサイズを有し、修正されたＣＮＮなどの機械学習アルゴリズムは、正規化された画像サイズでより効率的に（例えば、同じサイズの画像のバッチに対する並列計算、メモリの制約）よく学習し、したがって、画像は、分析を最適化するために特定のサイズを有する画像パッチに分けられてもよい。幾つかの実施形態では、画像は６４画素×６４画素、１２８画素×１２８画素、２５６画素×２５６画素、又は５１２画素×５１２画素の所定のサイズを有する画像パッチに分割される。

ブロック１１６０において、新しい画像又は画像パッチは、標的機械学習モデル又は更新された機械学習モデルに入力される。ブロック１１６５において、標的機械学習モデル又は更新された機械学習モデルは、新しい画像又は画像パッチ内の一部又は全ての領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行い、検出、特徴付け、分類、又はそれらの組み合わせに基づいて推論を出力する。

任意選択のブロック１１７０において、画像又は画像パッチに関連する対象の診断は、改訂された機械学習モデルによって出力された推論に基づいて決定される。

任意選択のブロック１１７５において、処置が画像又は画像パッチに関連付けられた対象に施される。幾つかの例では、処置は、（ｉ）機械学習モデルもしくは改訂された機械学習モデルによる推論出力、及び／又は（ｉｉ）ブロック１１７０で決定された対象の診断に基づいて施されている。

ＶＩＩ．例
様々な実施形態において実装されるシステム及び方法は、以下の例を参照することによってより良く理解され得る。

データ
ＣＲＣ：以下の実験では、訓練のために、脂肪組織（ＡＤＩ）、バックグラウンド（ＢＡＣＫ）、残屑（ＤＥＢ）、リンパ球（ＬＹＭ）、粘液（ＭＵＣ）、平滑筋（ＭＵＳ）、正常結腸粘膜（ＮＯＲＭ）、癌関連間質（ＳＴＲ）、結腸直腸腺癌上皮（ＴＵＭ）を含む９つの組織クラスから構成されるヒト結腸直腸癌（ＣＲＣ）のＨ＆Ｅ染色組織学的画像からの１０万個の非重複パッチを使用した。幾つかの例示的な画像を図１２に示す。試験セットは、訓練データと重複しない７１８０個の画像パッチを含んでいた。全ての画像を、Ｍａｃｅｎｋｏの方法を用いて色正規化した。

ＣＲＣデータセットは、異なる染色機、スキャナ及び色素原から収集されたデータをシミュレートするために、染色強度、色及び彩度を個別に及び組み合わせて変化させることによって拡張された。画像は、非負値行列因子分解を使用して混合しなかった。色、彩度及び強度の４つの設定を、元のデータセットの重複しないサブセットからの個々の染色に適用した。元のデータセットと共に、各合成設定を使用して、異なる適応学習シナリオを作成した。
１．各拡張設定は、元のデータセットからのドメインのシフトとして認識された。したがって、データセットは、５つのエクスペリエンスドメインインクリメンタルシナリオをもたらす異なる拡張又はドメイン設定をそれぞれ表す５つのデータストリームに分割することができる（本明細書に開示された実験では５つが使用されたが、データセットは、「ｎ」エクスペリエンスドメインインクリメンタルシナリオをもたらす異なる拡張又はドメイン設定をそれぞれ表す任意の数の「ｎ」個のデータストリームに分割することができることを理解すべきである）。モデルは、モデルが対象とされた全てのエクスペリエンスで、新しいドメイン設定で画像を分類することを学習する。
２．異なる拡張もまた、クラス全体にわたって均一に混合した。この混合データセットを使用して、５つのデータストリーム又は全てのクラスからの表現を有する等しいサイズのエクスペリエンスを作成した（本明細書に開示された実験では５つを使用したが、データセットは任意の数「ｎ」のデータストリーム又は全てのクラスからの表現を有する等しいサイズのエクスペリエンスに分割できることを理解すべきである）。これは、後続の各エクスペリエンスがモデルの訓練データに追加されるデータインクリメンタルシナリオを構成する。
３．均一に混合されたデータセットはまた、それぞれが異なるクラスを含むサブセット又はエクスペリエンスに分割され、クラスインクリメンタルシナリオを形成した。データがどのように分割されるかに応じて、モデルは各エクスペリエンスにおいて異なるクラスに曝露され、訓練プロセスにおいて全てのクラスで対象とされた。

連続的な学習シナリオ：各合成設定は、元のデータセットと共に、異なる連続的な学習シナリオを作成するために使用することができる。各拡張設定は、元のデータセットからのドメインのシフトである。それらは、個別のデータストリーム又はドメインインクリメンタル設定におけるエクスペリエンスとして別々に使用された。異なる拡張設定からの画像は、クラス間で均一に混合され、等しいクラス表現を有するエクスペリエンスに分割されて、データインクリメンタルシナリオを構成した。均一に混合されたデータセットはまた、それぞれが異なるクラスを含むエクスペリエンスに分割され、クラスインクリメンタルシナリオを形成した。

ＰａｔｃｈＣａｍ：ＰａｔｃｈＣａｍベンチマークデータセットは、倍率１０倍で９６×９６画素のサイズで、乳房組織からのリンパ節切片の４００個のＨ＆Ｅ染色全スライド画像から抽出された３２７，６８０個のパッチから構成され、７５／１２．５／１２．５％の訓練／検証／試験分割は、ハードネガティブマイニング体制を使用して選択された。データセットは、転移性組織の存在を示すために２つのクラス（正常及び腫瘍）を有する。ＣＲＣデータセットとの一貫性及び容易な比較のために、Ｍａｃｅｎｋｏの方法を使用してこのデータセットも正規化した。両方のクラスからの正規化された例を図１３に示す。上段は正常クラスの試料を含み、下段は腫瘍クラスの例を含む。

連続学習シナリオ：データストリームにおける劇的なドメインシフトを、第１のエクスペリエンスにおける元のＣＲＣ画像（染色正規化）及び第２のエクスペリエンスにおける正規化されたＰａｔｃｈＣａｍデータセットを用いてモデルを訓練することによって評価した。

方法
以下の連続的な学習方法を実験して、３つのシナリオ：ＥＷＣ及びオンラインＥＷＣ、ＬｗＦ、ｉＣａＲＬ、ＣｏＰＥ及びＡ－ＧＥＭを処理した。全ての方法を、２つのベースライン、すなわち、１）同じネットワークアーキテクチャである１８層ＲｅｓＮｅｔが、これまでに見た全てのエクスペリエンスから利用可能な全てのデータについて対象とされた、ゼロからの訓練（上限）、及び２）モデルが、特定のエクスペリエンス中に利用可能なデータのみに曝露する連続的な学習と同じ設計で訓練されたが、忘却を軽減するための戦略を使用する代わりに、モデルが新しいクラスに適応するように微調整されただけであった、転移学習又は微調整（すなわち、下限）、と比較した。全ての実験について、訓練エポックは１５、バッチサイズは１６に設定した。同じＲｅｓＮｅｔアーキテクチャを、それらの発見にしたがってＡ－ＧＥＭを用いて試験するときに異なるタスクのために各ヘッドが使用されるマルチヘッド設定で使用した。確率的勾配降下オプティマイザは、０．１の学習率、０．９の運動量、及びエポック１０及び１３の後に適用される０．００００１の重み減衰から開始して使用された。

例１．－データインクリメンタル設定
第１の実験は、より多くのデータがモデルに順次供給され、次いでモデルが以前に訓練された古いデータセットのいずれにもアクセスすることなく最新のデータのみに基づいて更新されるデータインクリメンタルシナリオを含んでいた。より新しいデータストリームは、より古いストリームと同じクラスを有するが、分布にシフトがある可能性がある。この実験で使用される混合データセットは、エクスペリエンス間で均一な分布を有するべきである。

この設定でモデルを訓練するために、連続的プロトタイプ評価（ＣｏＰＥ）と呼ばれる方法が使用された。ＣｏＰＥは、データから最も重要な特徴を表すためにプロトタイプを使用するオンラインデータインクリメンタルアルゴリズムである。プロトタイプは、モデルがデータの変化に追いつくように学習するにつれて連続的に進化し、正確に予測を行うことができる。ＣｏＰＥはまた、全てのクラスがリプレイ集団で十分に表されることを確実にするために、バランスのとれたリプレイを組み込む。データは、オンライン方式でミニバッチ又はミニエクスペリエンスとして供給された、すなわち、モデルは、各データ試料を１回のみ見て、したがって単一のエポックで訓練される。忘却を減らすために、バッチサイズ１０及び運動量０．９９の訓練には、１２８個の試料（すなわち、各ミニエクスペリエンスは１２８個の試料しか有していなかった）のミニエクスペリエンスのサイズを使用した。したがって、拡張データセットに対して作成されたデータインクリメンタルシナリオについて、５つのエクスペリエンスのそれぞれは９９個のミニエクスペリエンスを有する。

訓練の終わりに、異なるエクスペリエンスからの試料を有する試験ストリームは、７６％の平均精度を有した。図１４は、ＣｏＰＥを使用した拡張ＣＲＣデータセットを用いたデータインクリメンタル設定の下での各主要なエクスペリエンスの終わりにおける試験ストリームの精度を示す。エクスペリエンスは、オンライン方式でモデルに供給される、各エクスペリエンス内に９９のミニエクスペリエンスをもたらす１２８枚の画像のユーザ定義サイズで分割された。プロットに示された数は、９９回目のミニエクスペリエンスの最後又は全ての主要なエクスペリエンスの最後であった。分類の精度は徐々に増加し、モデルがより多くのデータから利益を得たことを示した。モデルが以前に学習したことを忘れていなかったことを示すより新しい訓練ストリームから学習したモデルほど、個々の試験ストリームの精度も増加した。各エクスペリエンスにおける全ての合成ドメインからの等しい提示は、全てのデータから利益を得る転移学習及び試験ストリームをもたらした。また、モデルが後続のエクスペリエンスからの試験ストリームに対して同様に実行されたことも注目に値する。例えば、主エクスペリエンス１の終わりに、モデルは、試験ストリーム１並びに試験ストリーム２、３、及び４に対して同様に実行され、何らかの転送学習を示した。ここで使用される混合拡張データセットは、全ての合成ドメインから等しい表現を有し、結果としてエクスペリエンス間で同様の分布をもたらす。精度はまた、エクスペリエンス３と４との間で１％未満改善され、モデルが８０％のデータで同様に実行されたことを示している。

例２．－ドメインインクリメンタル設定
第２の実験は、エオシン及びヘマトキシリンの２つの染色剤の色相、彩度及び強度値を、異なる染色剤、スキャナ及び試薬を用いて取得された画像を模倣する異なる程度で変化させた５つのエクスペリエンスによるドメインインクリメンタルシナリオを伴った。５つのエクスペリエンスからの例を図１５に示す。各行は９つの組織タイプのうちの１つに対応し、３つの例示的な画像が各拡張設定（すなわち、ドメイン）からプロットされる。ドメイン０（列１～３）：染色正規化ＣＲＣデータセットドメイン１（列４～６）：エオシン染色強度の増加、エオシン溶液濃度の増加又は染色時間の延長のシナリオをシミュレートする。ドメイン２（列７～９）：エオシン強度の低下、退色した染みを有する老化スライドのシナリオをシミュレートする。ドメイン３（列１０～１２）：ヘマトキシリン及びエオシンの色相の変化の差。ドメイン４（カラム１３～１５）：エオシン及びヘマトキシリンの両方に対する色相の変化及び飽和レベルの増加。３つの列セクションの各々は、ドメインインクリメンタルシナリオで別個のドメインと考えることができる。ドメインは、混合され、各々が、データインクリメンタルシナリオについての全てのクラスからの表現を有するエクスペリエンスに分割され得るか、又は各々が、クラスインクリメンタルシナリオについてのクラスの非重複サブセットを有する混合ドメインエクスペリエンスに分割され得る。

このシナリオには、忘却なし学習（ＬｗＦ）と呼ばれる方法が採用された。ＬｗＦは、微調整と蒸留との組み合わせである。ＬｗＦは、現在のタスクに対応する最新データのみを使用して、古いタスクの性能を損なうことなく、新しい／現在のタスクのタスク固有のパラメータを学習する。その重要性に基づいてパラメータの変更にペナルティを課す従来の正則化とは異なり、ＬｗＦは入力から出力へのマッピングの変更にペナルティを課す。損失関数は、現在のタスクの交差エントロピー損失と、以前に取得した知識が忘れられるのを防ぐための蒸留損失という２つの項で構成される。

ＬｗＦは、５つの所定のドメインのうちの３つで８６％を超える精度で良好に機能した。エクスペリエンス中のドメイン１及び２の評価精度はそれぞれ８８％及び９３％であったが、モデルを対応するドメインで対象とされたが、知識の保持は不十分であった。しかしながら、特定のドメインデータがもはや利用できなくなったとき、特にドメイン１及び２で、獲得されたドメイン固有の知識をほぼ２８％が忘却していた。結果は、図１６に示されており、ＬｗＦを使用した拡張ＣＲＣデータセットを用いたドメインインクリメンタル設定の下での各主要なエクスペリエンスの終わりにおける試験ストリームの精度（左）及び忘却（右）である。訓練の終わりに、モデルは、５つの所定のドメインのうちの３つで８６～９４％の精度で実行された。モデルはドメイン１（８８％）及びドメイン２（９３％）で良好に機能したが、取得されたドメイン固有の知識は、特定のドメインデータがもはや利用できなくなった後のエクスペリエンス中に忘れられた。試験ストリーム忘却メトリックは訓練終了時に約２８％であり、訓練のタイヤ過程にわたってドメイン１及び２からの精度損失を示した。この実験は、連続するデータストリーム内の異なるドメインからのデータを提示されたモデルが、それがもはやアクセスできない以前のドメインにおける性能を依然として維持しながら、新しいドメインに合理的に良好に適応するように訓練され得ることを実証した。

例３．－クラスインクリメンタル設定
第３の実験では、モデルが各エクスペリエンス中に２つのクラスのみからのデータにアクセスでき、各エクスペリエンスでより新しいクラスが徐々に追加されるように、３つのエクスペリエンス及び６つのクラスを用いて、本明細書に記載のクラスインクリメンタル設定でモデルを訓練した。インクリメンタルクラス＆表現学習（ｉＣａＲＬ）は、ここで使用される適応学習戦略であった。ｉＣａＲＬはデータストリームから動的に例示を選択し、各クラスは独自の例示セットを有する。ｉＣａＲＬは、新しいデータを見たときにパラメータ及び例示の両方を更新する。ｉＣａＲＬは、例示の最近傍平均による分類を行う。ｉＣａＲＬは、蒸留による表現学習及びプロトタイプリハーサルを含み、拡張データセットは、現在のタスクからのデータを含み、記憶された例示及びモデルパラメータは、より新しいクラスの交差エントロピー損失及び以前に学習されたクラスの蒸留損失に基づいて更新された。

ｉＣａＲＬアルゴリズムと比較される２つのベースラインがあり、その１つは、－１）特定のエクスペリエンスまで利用可能な全てのデータで同じニューラルネットが対象とされた、ゼロからの訓練である（上限）。すなわち、ｉＣａＲＬアルゴリズムが、第１のエクスペリエンス中に２つのクラスに関して、第２のエクスペリエンス中に４つのクラスに関して、及び第３のエクスペリエンス中に６つ全てのクラスに関して対象とされた、ゼロからの訓練であり、もう一つのベースラインは、２）３つのエクスペリエンスのそれぞれの間に２つのクラスのみに曝露する適応学習と同じ設計でモデルが訓練されたが、忘却を軽減する戦略を使用する代わりに、モデルがより新しいクラスに適応するように微調整されたにすぎない、転移学習又は微調整（下限）である。結果を図１７に示す。示されているように、ｉＣａＲＬは、データの一部のみを利用するゼロからの訓練の上限と同等に機能し、したがって有意な計算上の利点も提供することが観察された。転移学習は、エクスペリエンス０では良好に機能したが、より新しいクラスの曝露及び学習では、以前に獲得した知識を忘れていた。ｉＣａＲＬに計算的に匹敵するが、転移学習性能は壊滅的な忘却では不十分であった。

例４．－方法の比較
拡張ＣＲＣデータセットを用いた連続的な学習。公平な比較のために、ドメイン及びデータインクリメンタル実験は５つのエクスペリエンスを有し、クラスインクリメンタル実験は、最初の３つのエクスペリエンスがそれぞれ２つのクラスを有し、最後のエクスペリエンスが残りの３つのクラスを有する４つのエクスペリエンスを有した。Ａ－ＧＥＭは、タスク記述子で最良の結果を提供することが見出されたため、タスクＩＤを有するモデルに新しいクラスのセットを導入する各エクスペリエンスを有するタスクインクリメンタル方法として処理された。各方法のハイパーパラメータをグリッド検索によって決定した。ＣｏＰＥ及びＡ－ＧＥＭをオンライン、少ショット法として処理し、わずか１エポックで訓練した。ｉＣａＲＬを３つの設定で実験した。最初の設定は、最初の３つがそれぞれ２つのクラスを有する４つのエクスペリエンスを有し、最後のエクスペリエンスは残りの３つのクラスを有する。２番目の設定も４つのエクスペリエンスを有していたが、第１のエクスペリエンスでは３つのクラスを有し、残りのエクスペリエンスはそれぞれ２つのクラスを有していた。最終設定は、それぞれ３クラスの３つのエクスペリエンスを有していた。クラス順序は設定間で同じであり、昇順であった。ＬｗＦは、元のＣＲＣデータセット及び正規化されたＰａｔｃｈＣａｍデータセットをドメインインクリメンタル設定で連続的に学習するために実験され、１つの腫瘍タイプは１つのドメインと見なされる。

連続学習方法のための３つの設計されたシナリオ（データ、ドメイン、及びクラスインクリメンタル）についての訓練終了時の評価精度を図１８に示す。データ及びドメインインクリメンタルシナリオでは、ＬｗＦ及びｉＣａＲＬは上限ベースラインに匹敵していた。クラスインクリメンタルシナリオは、全体的に学習するのがより困難なタスクであった。ｉＣａＲＬの精度は８３％と最も高かった。Ａ－ＧＥＭは、タスクインクリメンタルシナリオで試験及び評価された唯一の方法であった。

データインクリメンタルシナリオ：ＬｗＦは、訓練終了時に９３％の全体的な精度を有し、以前に得られた知識を＜１％忘却していた。これは下限よりも４％良好であり、上限の０．５％以内であった。エクスペリエンスごとの精度数を図１９に示す。具体的には、図１９は、２つのベースラインを含む凡例に列挙されているように、異なるＣＬ方法で試験されたデータインクリメンタルエクスペリエンスを示す。各エクスペリエンスは、そのエクスペリエンスに排他的に属するデータのより小さなバッチからの例を含むそれ自体の試験ストリームから構成される。各サブプロットは、全てのエクスペリエンスに対する訓練の終了時に評価されたテストストリームに対してモデルがどのように実行されたかを示している。灰色の領域は、モデルがまだ対象とされていないエクスペリエンスを示し、モデルはこれらのエクスペリエンスに対してあまり良好に機能しないと予想される。しかしながら、一旦特定のエクスペリエンスで対象とされると、理想的には、それが学習したことを忘れてはならず、訓練プロセスの残りの部分を通して知識を保持するべきであり、すなわち、精度は、全ての試験ストリームについてグレーアウトされていない領域において高いままであるべきである。ＬｗＦは、訓練終了時に最も高い全体的な精度を有していた。

分類の精度は徐々に増加し、モデルがより多くのデータから利益を得たことを示した。モデルが以前に学習したことを忘れていなかったことを示すより新しい訓練ストリームから学習したモデルほど、個々の試験ストリームの精度も増加した。別の観察は、ｉＣａＲＬ法の性能である。ｉＣａＲＬはクラスインクリメンタル法として設計されたが、各ドメイン内のクラスを表す例示を格納する概念は、理論的にはＥＷＣ及びＬｗＦよりもうまく機能したはずである。試験された最大メモリサイズは、クラスインクリメンタルのように「ｎ」個のクラスだけを記憶するのに十分ではなく、「ｎ」個のクラス×「ｄ」個のドメインを記憶することが可能である。

ドメインインクリメンタルシナリオ：図２０に示すように、ｉＣａＲＬは、グリッド検索から選択された最良のハイパーパラメータでＥＷＣ及びＬｗＦよりも良好に機能した。図２０に示すように、２つのベースラインを含む凡例に列挙されているように、異なるＣＬ方法で５ドメインインクリメンタルエクスペリエンスを試験した。各エクスペリエンスは、そのエクスペリエンスに排他的に属するドメインからの例を含むそれ自体の試験ストリームから構成される。各サブプロットは、全てのエクスペリエンスに対する訓練の終了時に評価された試験ストリームに対してモデルがどのように実行されたかを示している。灰色の領域は、モデルがまだ対象とされていないエクスペリエンスを示し、モデルはこれらのエクスペリエンスに対してあまり良好に機能しないと予想される。しかしながら、一旦特定のエクスペリエンスで対象とされると、理想的には、それが学習したことを忘れてはならず、訓練プロセスの残りの部分を通して知識を保持するべきであり、すなわち、精度は、全ての試験ストリームについてグレーアウトされていない領域において高いままであるべきである。ｉＣａＲＬは上限ベースラインに匹敵するが、ＥＷＣ及びＬｗＦの性能は下限ベースラインに近かったことが分かる。なお、１回目のエクスペリエンスでは、訓練例が少ない（全例の２０％）ため、上限が低い（精度０．５７）。

興味深いことに、１）モデルは、他のドメインよりも幾つかのドメインからの知識を保持していた。具体的には、エオシン強度が増加（ドメイン１；図１５の列４－６）又は減少（ドメイン２；図１５の列７－９）したデータセットについて学習した知識を保持することはより困難であるが、染色の色相及び／又は彩度の変化（ドメイン３及びドメイン４）は図１５には示されていない）ドメイン間にいくらかの転移学習があった。ドメイン０のみで訓練した後でも、モデルはドメイン４に対応する試験ストリームで良好に機能した。これらの２つのドメインの性能は、訓練プロセスの最後でも高いままであった。第４のドメインは、染色に対する色相変化を用いて生成されたため、これらの結果は、モデルが連続的なデータストリームから知識を連続的に学習及び保持する際に色相変化の範囲を処理できることを示唆している。

クラスインクリメンタルシナリオ：ｉＣａＲＬは他の方法よりも著しく良好に機能した。下限ベースラインを含む試験した方法のいずれも、以前のエクスペリエンスで学習したクラスに関する知識を保持することができなかった。ｉＣａＲＬの全体的な精度は８８％であり、これは関節訓練上限よりも約６％低い。データストレージ及びリソースへの負荷が少ないことを考慮すると、依然として有益である。図２１は、２つのベースラインを含む凡例に列挙されているように、異なるＣＬ方法で試験された４クラスインクリメンタルのエクスペリエンスを示す。各エクスペリエンスは、そのエクスペリエンスに排他的に属するクラスからの例を含むそれ自体の試験ストリームから構成される。各サブプロットは、全てのエクスペリエンスに対する訓練の終了時に評価された試験ストリームに対してモデルがどのように実行されたかを示している。グレーアウトされた領域は、モデルがまだ訓練されていないエクスペリエンスを示し、モデルはこれらのエクスペリエンスに対して不十分に機能すると予想される。しかしながら、モデルが特定のエクスペリエンスで対象とされると、理想的には、モデルが学習したことを忘れず、訓練プロセスの残りの部分を通して知識を保持すべきではない。すなわち、精度は、全ての試験ストリームについてグレーアウトされていない領域において高いままであるべきである。ｉＣａＲＬは、現在のエクスペリエンスで良好に機能し、以前の知識を完全には忘れない唯一のＣＬ法であることが分かる。モデルが最初に対象とされるエクスペリエンス０は、訓練プロセスの終わりに６４％の精度で最も忘れられたエクスペリエンスである。

Ｆｅｗ－ｓｈｏｔオンライン連続学習：ＣｏＰＥ及びＡ－ＧＥＭの両方による最大の利得は、各エクスペリエンスを有する訓練データの量に伴う。Ａ－ＧＥＭは、タスクＩＤを有するクラスインクリメンタル設定を用いて試験され、モデル更新は、オンライン方法ではなく、１５エポックにわたって訓練されたｉＣａＲＬに匹敵する結果を生成しつつ１エポックでメモリに記憶された１２８のランダムに選択された例のみに基づいた。訓練終了時の全体的な精度は７９％であり、下限ベースラインよりも５０％以上良好であった。詳細な結果は図２２に示されている－データセットは、最初はクラスインクリメンタルシナリオとして設計され、各エクスペリエンスは別々のタスクＩＤを割り当てられ、オンライン方式でマルチヘッドアーキテクチャで対象とされた。全体的な精度は約７９％であり、ベースライン下限は２７％であった。Ａ－ＧＥＭはまた、タスクＩＤなしで使用された場合、著しく悪化する。Ａ－ＧＥＭは、得られた以前の知識のいずれも保持することができなかった。

ＣｏＰＥをドメインインクリメンタルシナリオで試験し、データセットをそれぞれミニバッチサイズと同じ数の例を有するミニエクスペリエンスに分割してオンライン訓練をシミュレートした。これは、下限ベースラインよりも６７％－１１％良好な全体的精度を有していた。ＣｏＰＥからの結果を、ドメインインクリメンタルシナリオからのＬｗＦ及びＥＷＣの結果と比較することは興味深い。後者の方法の両方で、モデルはドメイン１及び２からの試験ストリームに対して良好に機能しなかった。ＣｏＰＥはドメイン１からの知識を保持するのを助けなかったが（２５％未満の精度）、モデルはドメイン２から６０％の精度を有していた。オンライン設定がより多くの情報を保持するのに役立った可能性がある。ＣｏＰＥはソフトマックス温度にも感受性であることが分かった。他の蒸留方法のように＞１の温度を使用するのとは対照的に、文献で推奨されているように、より硬いソフトマックス分布よりも低い温度を試験した。超パラメータのより細かいスイープは、より良い結果をもたらすことができる。留意すべき別のポイントは、各エクスペリエンスがＣｏＰＥにおいてどのようにミニバッチ又はミニエクスペリエンスに分割されるかである。試験した設定での各エクスペリエンスは、１２８の試料又は例を有していた。全てのクラスが各ミニエクスペリエンスで等しく表されるわけではなく、これも全体の精度に影響を及ぼす可能性がある。

ＣｏＰＥとベースラインとの比較を図２３に示す。エクスペリエンスは、１２８枚の画像のユーザ定義サイズで分割され、各エクスペリエンス内で９９個のミニエクスペリエンスが得られ、オンライン方式でモデルに供給された。左のプロットに示されている数字は、９９回目のミニエクスペリエンスの最後又は全ての主要なエクスペリエンスの最後である。右側は、微調整／ナイーブベースラインからの結果である。各エクスペリエンスにおける全ての合成ドメインからの等しい提示は、ＣｏＰＥ及びベースラインの両方についての全てのデータから利益を得る転移学習及び試験ストリームをもたらしたが、全体的な精度はＣｏＰＥの方が良好であった。

連続的な学習に対するクラスグループ化の影響
異なるクラスグループ化設定を用いた第３の実験の結果を図２４に示す。３つの設定、すなわち、Ａ．最初の３つのクラスのうち２つのクラス及び最後の３つのクラスの４つのエクスペリエンス；Ｂ．最初のエクスペリエンスでは３クラス、残りのエクスペリエンスでは２クラスの４つのエクスペリエンス；Ｃ．３つのクラスをそれぞれ伴う３つのエクスペリエンスを試験した。両方とも４回のエクスペリエンスを有する最初の２つのサブプロットを比較すると、全体の精度は約６．５％低下する。２つの設定間の違いは、最初のエクスペリエンスにおいてモデルが対象とされたクラスの数である。ここでの仮説は、より困難なタスクがより容易なタスクに続く場合に知識がより良く捕捉されるというカリキュラム学習に基づいている。ここで、３つのクラスから開始することは、モデルが学習し、両方の設定でそれぞれ２つのクラスのみで対象とされた残りのエクスペリエンスにもかかわらず精度の低下に反映される知識を保持することがより困難であり得る。第３の設定についても同様である。エクスペリエンスが少ないにもかかわらず、モデルは、設定１の２クラスに対して各エクスペリエンスで－３クラスをより多く学習しなければならず、精度がほぼ８％低下する。

複数の腫瘍タイプからの連続的な学習
ＥＷＣとＬｗＦの両方をこの実験で評価し、ＬｗＦはわずかに良好な結果をもたらし、これを図２５に示す。ＣＲＣは第１のドメインであり、ＰａｔｃｈＣａｍは第２のドメインであるように設計された。このモデルは、ＣＲＣ試験ストリームで９０％を超える精度で良好に始まったが、訓練の終わりに、最初のエクスペリエンスで得られた知識の一部を忘れてしまった。訓練プロセスの終わりに、モデルは、ＣＲＣ試験ストリームで約７０％、ＰａｔｃｈＣａｍ試験ストリームで約７６％の精度を生成した。

結論
この体系的な研究は、拡張されたデジタル病理画像を用いて異なるシナリオに対する様々な連続的な学習方法の性能を特徴付け、異なる腫瘍タイプが提示された場合のモデルを評価した。データセットを正則化及び再生方法で評価した。ＥＷＣ及びＬｗＦは、データ及びドメインインクリメンタルシナリオにおいて比較的良好に機能したが、リハーサル方法であるｉＣａＲＬ及びＡ－ＧＥＭは、より困難なクラスインクリメンタルシナリオにおける壊滅的な忘却を防止するために必要であった。試験された少数のオンライン方法は、それらの有効性を完全に理解するためにハイパーパラメータの追加の微調整及び実験設定を必要とする。更に、シフトした患者集団、疾患進行及び／又は疾患（サブ）タイプによる臨床的観点からの画像の変化がこれらのＣＬ法の性能にどのように影響するかを調査することは興味深いことであり、これは、臨床現場でこれらの方法を適用する実現可能性への洞察を提供する。これらの実験では、染色強度に関する知識を保持することは困難であるが、モデルは試験された範囲内の色相変化に対する感受性が低いように見えることが発見された。幾つかの結果はＤＰ画像から腫瘍分類を学習することの困難さを示しているが、この研究は、臨床病理組織学的画像取得因子の変化に適応する際の連続学習の可能性を示している。

ＶＩＩＩ．更なる考察
本開示の幾つかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。幾つかの実施形態において、システムは、命令を収容する非一時的コンピュータ可読記憶媒体を含み、命令は、１つ以上のデータプロセッサで実行されると、本明細書に開示される１つ以上の方法の一部もしくは全て、及び／又は１つ以上のプロセスの一部もしくは全てを１つ以上のデータプロセッサに実行させる。本開示の幾つかの実施形態は、本明細書に開示される１つ以上の方法の一部もしくは全て、及び／又は１つ以上のプロセスの一部もしくは全てを１つ以上のデータプロセッサに実行させるように構成される命令を含む、非一時的機械可読記憶媒体において有形的に具体化される、コンピュータプログラム製品を含む。

用いられている用語及び表現は、限定ではなく説明のための用語として使用され、かかる用語及び表現を使用することに、図示されて記載される特徴又はその一部のあらゆる等価物を除外する意図はなく、特許請求される発明の範囲内において様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載される本発明は実施形態及び任意の特徴によって具体的に開示されているが、本明細書に開示される概念の変更及び変形が当業者によって再分類されてもよく、かかる変更及び変形は、添付の特許請求の範囲によって規定されるような本発明の範囲内にあると見なされることが理解されるべきである。

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性又は構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記述されるような思想及び範囲から逸脱することなく、要素の機能及び配置を様々に変更してもよいことが理解される。

以下の記載において、実施形態の包括的な理解を提供するため、具体的な詳細が与えられる。しかしながら、実施形態はこれらの具体的な詳細なしで実践されてもよいことが理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、及び他の構成要素は、不必要な詳細で実施形態を不明瞭にしないために、ブロック図の形態で構成要素として示されることがある。他の場合には、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、及び技術が不必要な詳細を伴うことなく示される場合がある。

Claims (19)

1. データ処理システムにおいて、画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための前記画像の第１の注釈付き訓練セットを取得することであって、画像の前記第１の注釈付き訓練セットが第１の画像ドメイン内にある、画像の第１の注釈付き訓練セットを取得することと、
   前記データ処理システムにより、画像の前記第１の注釈付き訓練セットを画像のミニセットに分割することであって、各ミニセットが、別個のモデリングサブタスクを表すとともに、限られた数の例を含む、画像の前記第１の注釈付き訓練セットを画像のミニセットに分割することと、
   新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される事前調整された機械学習モデルを生成するために、前記データ処理システムにより、画像の前記ミニセットを使用して第１段階で前記機械学習アルゴリズムを訓練することと、
   画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように機械学習アルゴリズムを訓練するための画像の第２の注釈付き訓練セットを生成するために、前記データ処理システムにより、標的データセットからの限られた数の画像にラベル付けすることであって、画像の前記第２の注釈付き訓練セットが第２の画像ドメイン内にある、標的データセットからの限られた数の画像にラベル付けすることと、
   前記新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うように構成される目標機械学習モデルを生成するために、前記データ処理システムにより、画像の前記第２の注釈付き訓練セットを使用して、第２段階で前記事前調整された機械学習モデルを訓練することであって、前記第１段階で対象とされる幾つかのクラスが、前記第２段階で対象とされる幾つかのクラスの一部である又は前記幾つかのクラスと一致する、事前調整された機械学習モデルを訓練することと、
   を含むコンピュータ実装方法。
2. 画像の前記第１の注釈付き訓練セットは、１つ以上のタイプのセルを含むデジタル病理画像である、請求項１に記載のコンピュータ実装方法。
3. 前記分割することは、
   画像の１つのミニセットのみが利用可能である場合に、それぞれの別個のモデリングサブタスクごとに、前記第２段階で対象とされる前記幾つかのクラスの一部である又は前記幾つかのクラスと一致するようにクラスのサブセットを選択し、クラスの前記選択されたサブセットに基づいて前記限られた数の例を選択すること、及び
   画像の複数のミニセットが利用可能である場合に、各別個のモデリングサブタスクごとに、（ｉ）画像の前記複数のミニセットから例を混合し、前記第２段階で対象とされる前記幾つかのクラスの一部である又は前記幾つかのクラスと一致するようにクラスのサブセットを選択し、クラスの前記選択されたサブセットに基づいて前記混合された例から前記限られた数の例を選択すること、或いは（ｉｉ）画像の前記複数のミニセットから画像の１つのミニセットを選択し、前記第２段階で対象とされる前記幾つかのクラスの一部である又は前記幾つかのクラスと一致するようにクラスのサブセットを選択し、クラスの前記選択されたサブセットに基づいて画像の前記選択されたミニセットから前記限られた数の例を選択すること、のいずれか、
   を含む、請求項１に記載のコンピュータ実装方法。
4. 前記第２段階は、
   画像の前記第２の注釈付き訓練セット内の各例ごとに特徴ベクトル表示を生成するために前記事前調整された機械学習モデルを適用することと、
   標的クラスごとに１つの表示を生成して標的クラスごとに１つの表示を標的クラスのためのプロトタイプとして使用するために同じクラスの例からの前記特徴ベクトル表示を組み合わせることと、
   前記標的データセットからラベル付けされない画像の残りの部分の画像又は画像領域のための特徴ベクトル表示を生成することと、
   前記ラベル付けされない画像からの前記特徴ベクトル表示と標的クラスのための前記プロトタイプとの間の距離に基づいて、前記ラベル付けされない画像からの各特徴ベクトル表示を標的クラスのための前記プロトタイプと比較することと、
   を更に含む、請求項１に記載のコンピュータ実装方法。
5. 前記第１段階は、
   内部学習ループであって、前記機械学習アルゴリズムが、ｉ番目のサブタスクに関してＬ－サブタスク－ｉとして示される、モデル更新後の画像の検証セットにおける損失を生成する、前記標的データセットに対する適応のために前記事前調整された機械学習モデルを初期化するための所定の又はフレキシブルな数のエポックで１つのサブタスク上のモデル重み又はパラメータを更新する、内部学習ループと、
   外部学習ループであって、Ｌ－サブタスク－ｉを合計したものとして示され、ｉが１からモデル初期化に関して前記サブタスクの画像の検証セットから計算されるサブタスクの数までの範囲である、全ての損失の合計を最小にするモデル初期化を見つけることによって、それぞれが限られた数の例のみを伴う全てのサブタスクを更新するために使用されるときに、前記事前調整された機械学習モデルを生成するモデル初期化のセットを検索することが目的である、外部学習ループと、
   を更に含む、請求項１に記載のコンピュータ実装方法。
6. 前記第１段階の前記訓練することは、コスト関数を最大化又は最小化する画像の前記ミニセット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、前記パラメータのセットを使用する前記コスト関数の値が前の反復におけるパラメータの別のセットを使用する前記コスト関数の値よりも大きく又は小さくなるように、前記機械学習アルゴリズムのための前記パラメータのセットを見つけることを伴い、前記コスト関数は、前記機械学習アルゴリズムを使用して一部又は全部の前記領域又は前記オブジェクトに関して行われた予測と、画像の前記ミニセットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される、請求項１に記載のコンピュータ実装方法。
7. 前記第２段階の前記訓練することは、コスト関数を最大化又は最小化する画像の前記第２の注釈付き訓練セット内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うようにパラメータのセットを学習するための反復動作を実行することを含み、各反復は、前記パラメータのセットを使用する前記コスト関数の値が前の反復におけるパラメータの別のセットを使用する前記コスト関数の値よりも大きく又は小さくなるように、前記事前調整された機械学習モデルのための前記パラメータのセットを見つけることを伴い、前記コスト関数は、前記事前調整された機械学習モデルを使用して一部又は全部の前記領域又は前記オブジェクトに関して行われた予測と、画像の前記第２の注釈付き訓練セットに与えられるグラウンドトゥルースラベルとの間の差を測定するように構築される、請求項１に記載のコンピュータ実装方法。
8. デジタル病理学シナリオを特定することと、
   前記デジタル病理学シナリオを踏まえて標的機械学習モデルを更新するための適応連続学習方法を選択することと、
   前記適応連続学習方法に基づいて前記標的機械学習モデルを更新して、更新された機械学習モデルを生成することと、
   を更に含む、請求項１に記載のコンピュータ実装方法。
9. 前記デジタル病理学シナリオは、データインクリメンタルシナリオ、ドメインインクリメンタルシナリオ、クラスインクリメンタルシナリオ、又はタスクインクリメンタルシナリオである、請求項８に記載のコンピュータ実装方法。
10. 前記適応連続学習方法は、弾性重み強化（ＥＷＣ）、忘却なし学習（ＬＷＦ）、段階的学習器及び表示学習（ｉＣａＲＬ）、継続的プロトタイプ評価（ＣｏＰＥ）、Ａ－ＧＥＭ、並びにパラメータ分離方法を含む群から選択される、
    請求項８に記載のコンピュータ実装方法。
11. 標的機械学習モデル及び／又は更新された機械学習モデルを提供することを更に含む、請求項８に記載のコンピュータ実装方法。
12. 前記提供することは、前記標的機械学習モデル及び／又は前記更新された機械学習モデルをデジタル病理学システムに展開することを含む、請求項１１に記載のコンピュータ実装方法。
13. 前記データ処理システムにより、新しい画像を受信することと、
    前記新しい画像を標的機械学習モデル又は更新された機械学習モデルに入力することと、
    前記標的機械学習モデル又は前記更新された機械学習モデルにより、前記新しい画像内の一部又は全部の領域又はオブジェクトの検出、特徴付け、分類、又はそれらの組み合わせを行うことと、
    前記標的機械学習モデル又は前記更新された機械学習モデルにより、前記検出、特徴付け、分類、又はそれらの組み合わせに基づく推論を出力することと、
    を更に含む、請求項１に記載のコンピュータ実装方法。
14. ユーザにより、前記新しい画像に関連する対象の診断を決定することを更に含み、前記診断は、前記標的機械学習モデル又は前記更新された機械学習モデルによって出力される前記推論に基づいて決定される、請求項１３に記載のコンピュータ実装方法。
15. 前記ユーザにより、（ｉ）前記標的機械学習モデル又は前記更新された機械学習モデルによって出力される推論、及び／又は（ｉｉ）前記対象の前記診断に基づいて、前記対象に処置を施すことを更に含む、請求項１４に記載のコンピュータ実装方法。
16. 前記機械学習アルゴリズムを訓練することは、前記第１段階が前記限られた数の例を使用して前記事前調整された機械学習モデルを生成できるようにするためにメタ学習原理を実装することを含む、請求項１に記載のコンピュータ実装方法。
17. 前記事前調整された機械学習モデルを訓練することは、前記第２段階が前記限られた数の画像を使用して標的機械学習モデルを生成できるようにするためにメタ学習原理を実装することを含む、請求項１に記載のコンピュータ実装方法。
18. １つ以上のデータプロセッサと、
    命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、前記１つ以上のデータプロセッサで実行されるときに、請求項１から１７のいずれか一項に記載の方法のステップのいずれかを前記１つ以上のデータプロセッサに実行させる、非一時的コンピュータ可読記憶媒体と、
    を備えるシステム。
19. 請求項１から１７のいずれか一項に記載の方法のステップのいずれかを１つ以上のデータプロセッサに実行させるように構成される命令を含む、コンピュータプログラム。