JP7627790B2 - ホールスライド画像の検索 - Google Patents

Description

関連出願の相互参照
本出願は、２０２１年６月２日に出願された米国仮特許出願第６３／１９５，８８３号の利益を主張し、その内容は、すべての目的のためにその全体が参照により本明細書に組み込まれる。

本開示は、一般に、デジタル病理画像を分析および検索するためのツールに関する。

背景
ホールスライド画像（ＷＳＩ）は、サンプルの画像のスキャンまたはデジタルネイティブスキャンから得られる。スキャン、および対応するＷＳＩは、多くの場合非常に大きく、例えば、いくつかのカラーチャネルのそれぞれにおいて１００，０００画素×１００，０００画素であり、従来の計算方法を使用して全体論的なレベルでＷＳＩを効率的に分析することを困難にしている。大判のＷＳＩを処理するための現在のアプローチは、ＷＳＩをより小さな部分にセグメント化するステップと、複数のプロセッサまたは他の分散処理を使用して並列分析を実行するステップとを含む。

病理医または他の訓練された専門家は、多くの場合、描写された組織の異常の証拠について単一のＷＳＩを評価する。ＷＳＩのラベル付けは、例えば、画像の特定の部分ではなく、画像全体を指す傾向がある。例えば、病理医は、肺の画像の組織異常（例えば、腫瘍）を識別し、画像を「異常」とラベル付けすることがある。しかしながら、ほとんどの場合、病理医は、画像のどこに組織異常が現れているかを指定するために画像に注釈を付けない。この「オール・オア・ナッシング（ａｌｌ ｏｒ ｎｏｔｈｉｎｇ）」ラベル付けスタイルは、ＷＳＩがラベル付けされる場合でさえ、特徴の位置は典型的にはラベル付けされないため、ホールスライド画像のセットに共通する特徴を識別するのにはあまり役立たない。その代わりに、病理医が特定の特徴をＷＳＩのライブラリと比較したいと思う場合、病理医は、この原始的なラベル付け、または自分の記憶に頼って、適切なＷＳＩを選択しなければならない。最終的には、適切なＷＳＩ内の特徴を手作業で識別しなければならない。このため、ＷＳＩにわたって実行され得る比較の範囲が大幅に制限され、病理医が異常な特徴を効果的に識別して比較することができる機会が大幅に低下する。

したがって、病理医および他のユーザが、任意のクエリ画像を用いてホールスライド画像のセットをクエリし、ホールスライド画像のセットの類似する特徴または構成要素を識別することができるシステムに対する要望が存在する。加えて、前記クエリからの結果に関連するレポートの生成および共有を容易にするためのツールに対する要望が存在する。

特定の実施形態の概要
特定の実施形態では、コンピュータ実装方法は、ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成するステップを含む。各データセット埋め込みは、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む。コンピュータは、クエリ画像にアクセスし、クエリ画像を特徴埋め込み空間にマッピングする特徴ベクトルを含むクエリ画像に対する埋め込みを生成する。コンピュータは、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって結果タイルを識別する。比較は、特徴埋め込み空間における、クエリ画像に対する埋め込みとデータセット埋め込みのうちの１つまたは複数との間の１つまたは複数の距離に基づく。コンピュータは、結果タイルの表示を含むユーザインターフェースを生成する。一部の実施形態では、結果タイルを識別するステップは、クエリ画像に対する埋め込みに基づいてデータセット埋め込みのうちの一部を識別するステップと、データセット埋め込みのうちの１つまたは複数に対応する１つまたは複数のそれぞれの領域を取り出すステップとを含む。一部の実施形態では、クエリ画像に対する埋め込みに基づいてデータセット埋め込みを識別するステップは、特徴埋め込み空間においてクエリ画像に対する埋め込みのしきい値距離内にあるデータセット埋め込みを識別するステップを含む。実施形態において、クエリ画像に対する埋め込みに基づいてデータセット埋め込みを識別するステップは、特徴埋め込み空間におけるクエリ画像に対する埋め込みまでの距離に基づいて順序付けられたデータセット埋め込みのしきい値数を識別するステップを含む。一部の実施形態では、コンピュータは、結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力は、結果タイルのうちの１つまたは複数のマーキングを含む。コンピュータは、１つまたは複数のマーク付けされた結果タイルに関連付けられた重み付けに対応するユーザ入力を受け取り、１つまたは複数のマーク付けされた結果タイルと、１つまたは複数のマーク付けされた結果タイルに関連付けられた重み付けに対応するユーザ入力とに基づいてオブジェクトフィルタを生成する。コンピュータは、オブジェクトフィルタの表現に基づいてクエリ画像に対する埋め込みを拡張する。コンピュータは、拡張されたクエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、結果タイルの第２のセットを識別する。コンピュータは、ユーザインターフェースを更新して、結果タイルの第２のセットを表示する。一部の実施形態では、生成されたオブジェクトフィルタを１つまたは複数のデータセット埋め込みに適用するステップは、特徴埋め込み空間において、１つまたは複数のデータセット埋め込みを生成されたオブジェクトフィルタと比較するステップを含む。一部の実施形態では、コンピュータは、ユーザ装置から、生成されたオブジェクトフィルタを保存するためのユーザ入力を受け取り、生成されたオブジェクトフィルタをユーザ装置の１人または複数のユーザのためのレコードに関連付けて保存する。一部の実施形態では、コンピュータは、ユーザ装置から、生成されたオブジェクトフィルタを１人または複数の他のユーザと共有するためのユーザ入力を受け取り、生成されたオブジェクトフィルタを１人または複数の他のユーザのレコードに関連付けて記憶する。

特定の実施形態では、ホールスライド画像のデータセットにインデックス付けするステップは、ホールスライド画像のセットのそれぞれについて、ホールスライド画像をタイルのセットにセグメント化するステップと、埋め込みネットワークを使用して、タイルを特徴埋め込み空間にマッピングする、タイルのセットの各タイルに対応する特徴ベクトルを生成するステップと、対応するタイルおよびホールスライド画像に関連付けて特徴ベクトルを記憶するステップと、を含む。特定の実施形態では、クエリ画像にアクセスするステップは、ユーザ装置からクエリ画像を受け取るステップ、クエリ画像に対応するリソースロケータまたは一意の識別子を受け取るステップ、またはホールスライド画像の領域の指定を受け取るステップを含む。一部の実施形態では、クエリ画像はホールスライド画像に対応する。コンピュータは、クエリ画像に対応するホールスライド画像にインデックス付けして、ホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数の追加のデータセット埋め込みを生成することができる。コンピュータは、クエリ画像に対応するホールスライド画像をホールスライド画像のデータセットに追加する。一部の実施形態では、コンピュータは、結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力は、クエリ画像に対する結果タイルのうちの１つまたは複数の関連性を示す。コンピュータは、ユーザ入力に基づいて、１つまたは複数の示された結果の重み付けを変更する。コンピュータは、変更された重み付けに基づいて、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、結果タイルの第２のセットを識別する。コンピュータは、ユーザインターフェースを更新して、結果タイルの第２のセットを表示する。実施形態において、コンピュータは、結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力は、複数の結果タイルのうちの１つまたは複数のクエリ画像に対する関連性を示す。コンピュータは、関連する検索結果の平均埋め込みを計算する。コンピュータは、関連する検索結果の平均埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、結果タイルの第２のセットを識別する。コンピュータは、ユーザインターフェースを更新して、結果タイルの第２のセットを表示する。一部の実施形態では、コンピュータは、ユーザ装置から、結果タイルのうちの第１の結果タイルに対応するユーザ入力を受け取る。コンピュータは、第１の結果タイルに対応する第１のホールスライド画像を識別し、第１のホールスライド画像を表示するようにユーザインターフェースを更新する。一部の実施形態では、コンピュータは、第１のホールスライド画像または第１の結果タイルに関連付けられたメタデータをさらに識別し、第１のホールスライド画像の表示を含むユーザインターフェースにメタデータを含める。メタデータは、第１の結果タイル、第１のホールスライド画像、または第１のホールスライド画像のソースに関する情報を含むことができる。一部の実施形態では、コンピュータは、結果タイルに対応するホールスライド画像のセットを識別する。コンピュータは、ホールスライド画像のソースのセットを識別する。コンピュータは、ユーザインターフェースを更新して、ホールスライド画像のソースに対応する情報のレポートを表示する。実施形態において、ソースに対応する情報は、ソースにおいて診断された状態またはソースに関連付けられた既知の結果を含む。実施形態において、コンピュータは、結果タイルに基づいて、結果タイルに対応するホールスライド画像のクエリ画像にキャプチャされた１つまたは複数の特徴のそれぞれの位置を識別し、識別されたそれぞれの位置のレポートを表示するようにユーザインターフェースを更新する。

本明細書に開示された実施形態は例示に過ぎず、本開示の範囲はこれに限定されるものではない。特定の実施形態は、本明細書に開示される実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべて、一部を含むか、またはそれらを含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、１つの特許請求範囲のカテゴリ、例えば方法において言及される任意の特徴は、別の特許請求の範囲のカテゴリ、例えばシステムにおいても同様に特許請求され得る。添付の特許請求の範囲における従属性または後方参照は、形式的な理由のみのために選択される。しかしながら、請求項とその特徴との任意の組み合わせが開示され、添付の請求項において選択された従属性に関係なく特許請求することができるように、任意の先行する請求項（特に複数の従属性）への意図的な参照から生じる任意の主題も同様に特許請求することができる。特許請求され得る主題は、添付の特許請求の範囲に記載されているような特徴の組み合わせだけでなく、特許請求の範囲内の特徴の任意の他の組み合わせも含み、特許請求の範囲に記載された各特徴は、特許請求の範囲内の任意の他の特徴または他の特徴の組み合わせと組み合わせられ得る。さらに、本明細書に記載または図示された実施形態および特徴のいずれも、別個の請求項に、および／または本明細書に記載または図示された任意の実施形態または特徴と、または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせで特許請求され得る。

ホールスライド画像の検索のための例示的な方法を示す図である。

ホールスライド画像の検索における例示的な選択による絞り込みのための例示的な方法を示す図である。

ホールスライド画像の検索におけるオブジェクトフィルタ生成のための例示的な方法を示す図である。

ホールスライド画像の検索におけるホールスライド出力生成のための例示的な方法を示す図である。

ホールスライド画像の検索におけるデータセット出力生成のための例示的な方法を示す図である。

ホールスライド画像の検索のためのクエリ入力を受け取るための例示的なユーザインターフェースを示す図である。 ホールスライド画像の検索のためのクエリ入力を受け取るための例示的なユーザインターフェースを示す図である。

画像および調節可能視野セレクタを表示する、例示的フィールドを示す図である。

タイル結果を含む例示的なユーザインターフェースを示す図である。 タイル結果を含む例示的なユーザインターフェースを示す図である。

クエリ画像を示す例示的な表示を示す図である。

スライド全体の結果を含む例示的なユーザインターフェースを示す図である。 スライド全体の結果を含む例示的なユーザインターフェースを示す図である。

例示的な選択による絞り込みを含む例示的なユーザインターフェースを示す図である。

例示的な肯定的にマークされたタイルおよび否定的にマークされたタイルを示す図である。

オブジェクトフィルタ生成を含むユーザインターフェースの例を示す図である。 オブジェクトフィルタ生成を含むユーザインターフェースの例を示す図である。

例示的な画像ビューアを示す図である。

ホールスライド画像の検索のためのクエリ入力を受け取るための第２の例示的なユーザインターフェースを示す図である。 ホールスライド画像の検索のためのクエリ入力を受け取るための第２の例示的なユーザインターフェースを示す図である。

追加の出力を含む例示的なユーザインターフェースを示す図である。

例示的なホールスライド画像の検索システムを示す図である。

例示的な人工ニューラルネットワークを示す図である。

例示的なコンピュータシステムを示す図である。

実施形態の説明
ホールスライド画像（ＷＳＩ）の分析は、ＷＳＩをレビューし、異常を認識および識別し、異常を分類し、ＷＳＩにラベル付けし、組織の診断を潜在的に行うための知識と器用さを備えた高度に専門化された人材を必要とする手間のかかるプロセスである。加えて、ＷＳＩは幅広い組織種類に使用されるため、正確な分析および診断を行うためには、異常を識別する知識とスキルを備えた者がさらに専門化しなければならない。この問題は、あるＷＳＩの特徴を別のＷＳＩの特徴と比較する状況で、または複数のＷＳＩにまたがる類似のまたは関連する特徴を識別する際に、さらに複雑なものとなる。例えば、対象のＷＳＩに基づいて可能性のある検索結果を識別する場合のように、個人が対象のＷＳＩの特徴を識別し、同じ特徴を示す他のＷＳＩを探すことは、非常に時間のかかる作業である。作業の労働集約的および知識集約的な性質のために、ＷＳＩは、検索を含む特定の機能の自動化の候補である。しかしながら、ＷＳＩのサイズが大きいと、典型的な技術は効果がなく、時間がかかり、高価になる。標準的な画像認識および深層学習技術を実行することは現実的ではなく、精度を高めるために多数のＷＳＩのサンプルを複数回分析する必要がある。この場合も、任意の特徴をＷＳＩの特徴にマッチングさせる状況において問題は悪化する。本明細書に記載される技術は、ＷＳＩにおける画像検索および認識の問題を解決することを対象とし、十分に文書化された制限のために以前はＷＳＩで実行することができなかった新規なデータ分析およびプレゼンテーション技術の開発を可能にする。

本明細書に開示されるシステムは、データセットの異なる領域に基づいてＷＳＩの大規模なデータセットの埋め込みを効率的に生成し、任意のクエリ画像に対する比較のためにデータセットを準備することができる。本明細書に開示されるシステムは、画像検索のユーザ主導のカスタマイズおよび絞り込みをさらに提供し、任意の所与の時点におけるユーザのニーズに基づいた方法で結果の品質を向上させるできる。本明細書の記載によるホールスライド画像の検索システムは、ユーザが、選択されたクエリ画像または視野に基づいて、ホールスライド画像の大規模なデータセットを検索することを可能にする。クエリ結果には、本明細書に記載されるように、クエリ画像に類似していると判定されたホールスライド画像のデータベースからの画像タイルまたは視野が含まれる。次いで、ユーザは、取り出された画像と対話し、さらに探索し、検索を絞り込むか、または指定された出力視覚化およびレポートを生成するかを選択することができる。

図１は、ホールスライド画像の検索のための例示的な方法を示す。本方法はステップ１０５で始まり、ホールスライド画像の検索システムがホールスライド画像のデータセットにインデックス付けする。作成されるインデックスには、各ホールスライド画像と、各ホールスライド画像からセグメント化されたタイルのセットと、タイルのそれぞれに対して生成された埋め込みと、が含まれる。加えて、各ホールスライド画像およびそのタイルを記述するメタデータおよびその他の情報を、ホールスライド画像のデータセットに帰属させることができる。特定の実施形態では、データセットは、ホールスライド画像の検索システムに通信可能に接続された複数のデータベースにわたって記憶される。データベースは、特定の実施形態では、記憶されたデータの種類、ソースデータの位置、もしくは予想されるアクセス要求、または他のデータ編成プロトコルに従って編成され得る。

データセットに対するホールスライド画像は、ホールスライド画像の検索システムの１人または複数のユーザによって、またはホールスライド画像の検索と通信する他のシステムによって収集されたホールスライド画像のデータベースから、ホールスライド画像の検索システムによってアクセスされ得る。画像は、様々な目的で収集されたものであってもよく、履歴レビューまたは検証のために時折取り出される他は、データベース内でアイドル状態にある。ホールスライド画像の検索システムは、画像にインデックス付けすることによって、ホールスライド画像を、探索するのがより容易なアクティブデータセットに再利用することができる。

データに対するホールスライド画像にインデックス付けするために、ホールスライド画像の検索システムは、各ホールスライド画像を複数のタイルにセグメント化する。各ホールスライド画像は、標準的な画像よりも大幅に大きく、標準的な画像認識および分析のために通常実現可能なサイズよりもはるかに大きいこと（例えば、１００，０００画素×１００，０００画素程度）が予想される。分析を容易にするために、ホールスライド画像の検索システムは、各ホールスライド画像をタイルにセグメント化する。タイルのサイズおよび形状は、分析の目的のために均一であるが、サイズおよび形状は可変であってもよい。一部の実施形態では、タイルは、ホールスライド画像の検索システムによって画像コンテキストが適切に分析される機会を増やすために、重なり合うことができる。行われる作業と精度とのバランスをとるために、重なり合わないタイルを使用することが好ましい場合がある。加えて、画像をタイルにセグメント化することは、画像に関連付けられたカラーチャネルまたは支配的な色に基づいて画像をセグメント化することを含むことができる。

次に、ホールスライド画像の検索システムは、例えば、タイル埋め込みモジュールを用いて、埋め込みネットワークを用いて各タイルに対する埋め込みを生成する。本明細書に記載されるように、埋め込みは、タイルのコンテンツまたはコンテキストに関する何らかの情報を保存するタイルの一意の表現を含むことができる。タイル埋め込みは、対応するタイル埋め込み空間または特徴埋め込み空間へのタイルのマッピングからも導出され得る。結果として得られる埋め込みは、タイルに示される特徴を表すものと考えられ得る。特徴埋め込み空間内では、空間的に近接したタイルは類似していると見なされ、特徴埋め込み空間におけるタイル間の距離は非類似度を示すことがある。例えば、埋め込みネットワークを使用して生成された各タイルの埋め込みに基づいて、類似の主題を描写したタイルまたは類似の視覚的特徴を有するタイルは、異なる主題を描写したタイルまたは類似していない視覚的特徴を有するタイルよりも、特徴埋め込み空間における埋め込み間距離が小さくなるように位置決めされる。タイル埋め込みは、タイルを特徴埋め込み空間にマッピングする特徴ベクトルとして表現され得る。ホールスライド画像の検索システムは、埋め込みネットワークとも呼ばれる、画像の各タイルを表す特徴ベクトルを生成するために、ニューラルネットワーク（例えば、畳み込みネットワーク）を使用してタイル埋め込みを生成することができる。埋め込みネットワークは、タイル（例えば、画像）を入力として受け取り、埋め込み（例えば、ベクトル表現）を出力として生成する。特定の実施形態では、タイル埋め込みニューラルネットワークは、ＩｍａｇｅＮｅｔデータセットなどの自然（例えば、非医療）画像に基づくデータセットで訓練されたＲｅｓＮｅｔ画像ネットワークに基づくことができる。特殊化されていないタイル埋め込みネットワークを使用することによって、ホールスライド画像の検索システムは、画像を効率的に処理して埋め込みを生成する際に既知の進歩を活用することができる。さらに、自然画像データセットを使用することで、埋め込みニューラルネットワークが、全体論的なレベルでタイルセグメント間の違いを見分けることを学習することができ、利用可能な訓練データの精度が向上する。

他の実施形態では、タイル埋め込みネットワークは、ホールスライド画像などの大判画像の多数のタイルを処理するようにカスタマイズされた埋め込みネットワークとすることができる。加えて、タイル埋め込みネットワークは、カスタムデータセットを使って訓練され得る。例えば、タイル埋め込みネットワークは、ホールスライド画像の様々なサンプルを使用して訓練され得て、または埋め込みネットワークが埋め込み（例えば、特定の組織種類のスキャン）を生成する主題に関連するサンプルを使用して訓練されることさえも可能である。画像の特殊されたセットまたはカスタマイズされたセットを使用してタイル埋め込みネットワークを訓練することにより、タイル埋め込みネットワークは、タイル間のより細かい違いを識別することができ、その結果、画像を取得するための追加の時間、ならびに複数のタイル生成ネットワークを訓練する計算コストおよび経済的コストを犠牲にして、異なるコンテキストにおいてホールスライド画像の検索システムが使用するための特徴埋め込み空間におけるタイル間のより詳細で正確な距離を得ることができる。ホールスライド画像の検索システムは、インデックス付けされている（または後に検索される）画像の種類に基づいて、タイル埋め込みネットワークのライブラリから選択することができる。

タイル埋め込みは、タイルの視覚的特徴を用いて深層学習ニューラルネットワークから生成され得る。各タイルは、埋め込み生成のために独立した構成要素として扱われ得る。このように、所与のホールスライド画像において互いに近いタイルが、必ずしも埋め込み空間において互いに近いとは限らない。代わりに、埋め込み空間は、類似の特徴を示すタイルのグループ化に焦点が当てられ得る。

タイル埋め込みは、タイルに関連付けられたコンテキスト情報を使用して、またはタイルに示されたコンテンツからさらに生成され得る。例えば、タイル埋め込みは、描写されたオブジェクトのサイズ（例えば、描写された細胞または異常のサイズ）および／または描写されたオブジェクトの密度（例えば、描写された細胞または異常の密度）を示す、ならびに／あるいはそれに対応する、１つまたは複数の特徴を含むことができる。サイズおよび密度は、絶対的に（例えば、画素単位で表現された、または画素からナノメートルに変換された幅）、あるいは同じデジタル病理画像からの、または（例えば、同様の技法を使用して、または単一のデジタル病理画像生成システムもしくはスキャナによって生成された）デジタル病理画像のクラスからの、またはデジタル病理画像の関連ファミリーからの他のタイルに対して相対的に測定され得る。さらに、タイルは、埋め込みが、埋め込みを準備する際に分類を考慮するように、ホールスライド画像の検索システムがそのタイルに対する埋め込みを生成する前に分類され得る。

特定の実施形態では、タイルの局所性が考慮され得る。タイル埋め込みを生成する場合、埋め込みネットワークに提供される１つの特徴は、何らかの方法でホールスライド画像内のタイルの位置を考慮することを目的として、対象タイルの近くにあるタイルの識別であり得る。これにより、埋め込みネットワークがタイルのコンテキストを自動的に推測することが可能になる場合がある。タイルおよび局所性の視覚的な構成要素に加えて、他の追加の特徴を追加することができる。例えば、スライドの識別を使用して、タイルのグローバルなアイデンティティの追加のコンテキストを追加することができる。これは、結果の局所性を平滑化する効果がある場合がある。別の例として、スライドの時間的態様をタイル埋め込みに組み込むことができる。異なる時点で被検者（例えば、患者）から得られたスライドをグループ化し、そこに示される状態の進行を示すことができる。加えて、埋め込みネットワークは、各ユーザのスライドを自動的にグループ化するように構成されてもよい。したがって、所与のユーザ（例えば、研究者）は、自分のスライドに関連する結果をより簡単に見つけることができる。これらの追加の特徴も、ホールスライド画像の検索システムの埋め込みネットワークによって生成された特徴ベクトル表現に特徴を付加することによって追加され得る。例えば、タイル埋め込みは、検索クエリ中の比較目的のために、埋め込みに符号化された局所性または被検者履歴に関する情報を用いて、前述したように生成され得る。距離も、複数の異なる関数を用いて計算され得て、距離関数が変化すると結果の種類および品質が変化する。

一貫性のために、ホールスライド画像の検索システムは、所定のサイズ（例えば、５１２要素のベクトル、２０４８バイトのベクトルなど）の埋め込みを生成し得る。ホールスライド画像の検索システムは、様々な任意のサイズの埋め込みを生成することができる。ホールスライド画像の検索システムは、ユーザの指示に基づいて埋め込みのサイズを調整することができ、または、例えば、計算効率、精度、もしくは他のパラメータを最適化するように選択され得る。特定の実施形態では、埋め込みサイズは、埋め込みを生成した深層学習ニューラルネットワークの制限または仕様に基づくことができる。より大きな埋め込みサイズを使用して、埋め込みに取り込まれる情報量を増加させ、結果の品質および精度を向上させることができる一方で、より小さな埋め込みサイズを使用して、計算効率を向上させることができる。

特定の実施形態では、ホールスライド画像の検索データセットは、組織病理学的アーチファクトの標準的な例を参照するために拡張または注釈付けされ得る。例えば、症状は、特定の種類の組織または状況において一般的に起きる可能性がある。ホールスライド画像の検索システムは、症状の多くの例を提供することができ、その後、これらの症例を埋め込んでもよい。標準的な症例のうちの１つに一致する検索は、ユーザが検索された特徴をこれらの指定された症例のうちの１つに対応するものとして迅速に識別することを容易にするために、具体的にフラグ付けされ得る。

ステップ１０５においてホールスライド画像のデータセットがインデックス付けされた後、ステップ１１０において、ホールスライド画像の検索システムは、クエリ画像にアクセスする。本明細書でさらに詳細に説明されるように、ホールスライド画像の検索システムは、様々な方法でクエリ画像を受け取ることができる。例えば、ユーザ装置上で実行されるシンクライアントまたはｗｅｂブラウザを通じて、ホールスライド画像の検索システムをユーザが利用できるようにすることができる。ユーザ装置は、１つまたは複数のネットワークを介してホールスライド画像の検索に接続される、病理医または臨床医によって使用されるコンピュータとすることができる。ユーザは、ユーザ装置からのクエリ画像を選択し、ホールスライド画像の検索システムにアップロードすることができる。別の例として、ホールスライド画像の検索システムは、ホールスライド画像のデータベースに通信可能に接続され得る。ユーザは、ホールスライド画像の検索システムに、ホールスライド画像のいずれかにアクセスするように命令することができ、クエリ画像として使用するホールスライド画像の特定の領域を指定することができる。特定の実施形態では、領域は、ユーザの現在の視野または選択された境界に基づいて選択され得る。この領域は、ホールスライド画像の予めセグメント化されたタイルと位置合わせされてもよいが、そのような境界に限定されない。別の例として、ホールスライド画像の検索システムは、ホールスライド画像生成システムまたはその１つもしくは複数の構成要素からホールスライド画像を受け取ることができる。ユーザによって提出され得る画像の種類には制限がある場合がある。例えば、ホールスライド画像のサブセット（例えば、特定のタイルまたはタイルにほぼ等しいホールスライド画像の領域の選択）を使用することはできるが、システムが画像を効率的に処理することができないため、ホールスライド画像自体は使用できない場合がある。さらに、ホールスライド画像の検索システムは、特徴間の類似度を識別することができ、完全なホールスライド画像は、これらの特徴の特異性を失うことになる。

ステップ１１５において、ホールスライド画像の検索システムは、結果に関連付けられた１つまたは複数のオブジェクトフィルタの選択と、オブジェクトフィルタに対する正または負の重みとを受け取り得る。オブジェクトフィルタは、所望の結果に関する追加情報を提供することによって、検索結果を絞り込む方法として作用する。例えば、オブジェクトフィルタは、特定の種類の組織からの結果、特徴における特定の異常を示す結果などを優先するように訓練され得る。同様に、オブジェクトフィルタは、ホールスライド画像またはタイルの作成において導入されるアーチファクトなどの画像内の異常を検出するように訓練され得る。アーチファクトは、画像と関連付けられた、または画像内で識別されるべきオブジェクトとして識別され、扱われ得る。この概念に負の重みを適用することで、検索結果から異常を除外することができる。したがって、オブジェクトフィルタは、特定のオブジェクトまたはオブジェクトのクラスのフィルタリングを指すが、オブジェクトフィルタは、画像にグラフィカルに表現され得る、さもなければ画像に関連付けられ得る（例えば、画像とともに記憶された、またはそれに関連付けられたメタデータに基づく）任意の概念を識別し、それに基づいてフィルタにかけるように訓練され得る。オブジェクトフィルタは、「高度な」検索の一形態として機能し、クエリ画像のみを使用する検索は、より基本的または単純な検索に類似している。場合によっては、ユーザは、特定のオブジェクトフィルタを訓練してすぐに使用できる状態にしていないか、または現時点ではオブジェクトフィルタの使用を望んでいないことがある。したがって、このステップは任意であると考えられる。本明細書に記載されるように、最初のクエリが行われた後、検索結果からオブジェクトフィルタを訓練することができ、時間をかけて結果を絞り込むことができる。

ステップ１２０において、ホールスライド画像の検索システムは、埋め込みネットワークまたは他の人工ニューラルネットワークを使用して、クエリ画像に対する埋め込みを生成する。クエリ画像に対する埋め込みは、ホールスライド画像のデータセットに含まれるタイルの埋め込みと同じ原理を使用して生成され得る。さらに、同じ埋め込みネットワークを使用して、特徴埋め込み空間へのクエリ画像の一貫したマッピングを確実に行うことができる。

ホールスライド画像の検索システムが、入力画像がホールスライド画像である、またはホールスライド画像から導出されたものであると判断した場合、ホールスライド画像の検索システムは、ホールスライド画像の適切な使用を確立することを条件として、クエリ画像をホールスライド画像のデータセットに自動的に追加してもよい。クエリ画像をホールスライド画像のデータセットに追加することを容易にするために、ホールスライド画像の検索システムは、追加のメタデータを提供するようにユーザに促してもよく、または、適切なメタデータが記憶されているネットワークまたはユーザ装置上の位置にホールスライド画像の検索システムを向けるようにユーザに促してもよい。本明細書に記載されるように、メタデータは、検索結果を限定または絞り込むために任意に使用され得て、検索ユーザの要求に応じて結果タイルに関する追加のコンテキスト情報を提供するためにも使用されてもよい。

ステップ１２５において、ホールスライド画像の検索システムは、クエリ画像から生成された埋め込みをホールスライド画像のデータセットと比較する。ホールスライド画像の検索システムは、クエリ画像から生成された埋め込みを、データセットからのホールスライド画像のうちの１つまたは複数から生成された埋め込みと比較する。本明細書に記載されるように、埋め込みは、特徴埋め込み空間内の位置の表現を有するものとして説明され得る。埋め込みを比較することは、特徴埋め込み空間における、クエリ画像から生成された埋め込みの位置とホールスライド画像の検索データセットから生成された埋め込みの位置との間の距離を決定することを含むことができる。埋め込みのそれぞれは、ホールスライド画像から抽出されたタイルを表すことができるため、埋め込みを比較することは、ホールスライド画像のデータセットの画像からのタイルをクエリ画像からの埋め込みと比較することになる。距離の意味は、埋め込みを生成するために使用される情報に依存する。例えば、埋め込みが単一のタイルの画像情報のみを含む場合、距離は視覚的類似度と相関する。埋め込みが、タイル間の関係または局所性などの追加の情報を含む場合、距離は、それらの特徴の尺度も含む。

ユーザが距離計算方法を指定した場合、その計算はホールスライド画像の検索システムによって使用され得る。加えて、ユーザが、使用される１つまたは複数のオブジェクトフィルタを指定した場合、それらのフィルタは、クエリ画像から生成された埋め込みとホールスライド画像の検索から生成された埋め込みとを比較する際に適用され得る。特に、正に重み付けされたオブジェクトフィルタには、距離計算のための正の重みが与えられ、オブジェクトフィルタによって「近い」とされた埋め込みが有利になる。負に重み付けされたオブジェクトフィルタは、距離計算のために負の重みを与えられ、オブジェクトフィルタによって「近い」とされた埋め込みが不利になる。オブジェクトフィルタがサポートベクターマシンの超平面から生成された埋め込みとして表される場合、オブジェクトフィルタを組み込むことは、ホールスライド画像の検索データセットのそれぞれをオブジェクトフィルタ埋め込みと比較することを含むこともできる。

上述したように、ホールスライド画像は非常に大きいことが多く、少数のホールスライド画像からでも多数のタイルが生成され得る。例えば、数百のホールスライド画像のデータセットでさえ、数百万のタイルおよびタイル埋め込みを含むことが予想される。したがって、クエリ画像埋め込みは、どれが最も類似しているかを決定するために、これらの数百万のタイルと比較されなければならない。特定の実施形態では、ホールスライド画像のデータセットのタイル埋め込みをクエリ画像埋め込みと比較するタスクは、ホールスライド画像の検索システムの複数のエージェントにわたって分散され得る。例えば、このタスクは、エージェントのグループにわたって分散され得て、各エージェントは、ホールスライド画像のデータセットのタイル埋め込みのサブセットをクエリ画像と比較し、上位一致のセットを提供する。ホールスライド画像の検索システムのマスタまたは制御サブシステムは、次いで、エージェントのグループにわたって上位一致を比較し、上位の全体的な結果（例えば、埋め込み空間においてクエリ画像に対する埋め込みとの距離が最小の埋め込み）を識別することができる。複数のエージェントによって並列アクセスが必要とされる場合、埋め込みはそれぞれ、ホールスライド画像の検索システムのデータベース内の独立したファイルに記憶される。加えて、特定の実施形態では、ホールスライド画像の検索データセットの埋め込みは、様々な数学的処理によってさらに圧縮され、行わなければならない個々の比較の数を制限することによって、記憶装置のサイズを低減し、検索時間を制御することができる。圧縮方法は、特徴ベクトル表現の座標の平均、特異値分解、またはその他の計算方法を含むことができる。

ステップ１３０において、ホールスライド画像の検索システムは、比較に基づいて結果タイルを識別する。識別されたタイルは、クエリ画像に応答する可能性が最も高いと識別された埋め込みと相関する。例として、ホールスライド画像の検索システムは、ホールスライド画像のデータセットの最も近い埋め込みに対応するタイルを結果タイルとして識別することができる。

ステップ１３５において、ホールスライド画像の検索システムは、結果タイルをホールスライド画像の検索システムのユーザに提示することができる。特定の実施形態では、これは、クライアント装置上の対話型ユーザインターフェースにおいて結果タイルのサブセットを提示することを含むことができる。ユーザに提示されるサブセットは、特定の実施形態では、特徴埋め込み空間における、各結果タイルに対応する埋め込みとクエリ画像から生成された埋め込みとの間の距離に基づいて順序付けられ得る。特定の実施形態では、ランキングをユーザに提供することができる。特定の実施形態では、結果タイルのサブセットは、特徴埋め込み空間のクエリ画像に対して生成された埋め込みの定義されたしきい値距離内に埋め込みがあるすべてのタイルを含むことができる。特定の実施形態では、結果タイルのサブセットは、上位Ｎ個の結果を含むことができ、Ｎは、システム定義、またはユーザ定義の結果の数であり、上位Ｎ個の結果は、距離に基づいて順序付けられた特徴埋め込み空間におけるクエリ画像に対して生成された埋め込みまでの距離が最も小さい埋め込みに対応するＮ個の結果タイルを表す。本例では、Ｎは返されるまたは提供される結果のしきい値数を表す。対話型ユーザインターフェースは、ユーザがホールスライド画像の検索システムのさらなる機能に関与することを可能にする様々な対話型要素を含むことができる。ホールスライド画像の検索システムは、これらの追加機能に関連するユーザ入力を監視することができる。

ステップ１４０において、ホールスライド画像の検索システムは、結果のうちの１つまたは複数を、例えば、「肯定的な」結果または「否定的な」結果である、あるいは関連する結果または無関連の結果であるなど、１つまたは複数のカテゴリに該当するとして選択することなど、結果の品質に関するユーザ入力を監視し、検出する。この文脈では、肯定的な結果は、ユーザが受け取ることを期待または希望した種類の、もしくはそれに類似した結果と相関してもよい。同様に、否定的な結果は、ユーザが受け取ることを期待または希望したものとは異なる結果と相関してもよい。結果を肯定的として示すことは、ユーザが、示された結果のようなさらなる結果を受け取ることを望むことに対応することができる。結果を否定的として示すことは、ユーザが、示された結果のようなさらなる結果を受け取りたくないことに対応することができる。ユーザ入力が検出されると、ホールスライド画像の検索システムの１つまたは複数のコンピューティングシステムは、ユーザ入力の性質を決定し、方法は継続する。

ステップ１４５において、入力が結果の品質に向けられたものであると判定された場合（例えば、結果に、ユーザが検索している結果が含まれている場合）、本方法は、図２に示されるホールスライド画像の検索における例示的な選択による絞り込みための方法２００に進み、図１では要素Ａとして指定されている。ステップ１５０において、入力が、ホールスライド画像の検索システムがオブジェクトフィルタ生成モードに入るための要求であると判定された場合、本方法は、図３に示されるホールスライド画像の検索におけるオブジェクトフィルタ生成のための方法３００に進み、図１では要素Ｂとして指定されている。前述したように、オブジェクトフィルタという用語は、本明細書では、１つまたは複数の画像またはタイルの選択に基づいて生成されたフィルタを指すために使用される。ステップ１５５において、入力が結果タイルのうちの１つまたは複数の選択であると判定された場合、本方法は、図４に示されるホールスライド画像の検索におけるホールスライド出力生成のための方法４００に進み、図１では要素Ｃとして指定されている。ステップ１６０において、入力が出力レポートの要求であると判定された場合、本方法は、図５に示されるホールスライド画像の検索におけるデータセット出力生成のための方法５００に進み、図１では要素Ｄとして指定されている。方法１００は、全体的にまたは部分的に複数回繰り返してもよく、例えば、ユーザは、クエリまたはクエリ画像をわずかに修正し、複数の結果タイルのセットを要求してもよい。さらに、ホールスライド画像の検索システムは、複数の形態のユーザ入力を受け取ってもよく、本明細書で論じられるような図２～図５に示される方法のうちの２つ以上を提示してもよい。

図２は、ホールスライド画像の検索における例示的な選択による絞り込みのための例示的な方法２００を示す。本方法は、図１のステップ１４５からの続きとして始まる。本方法は、ステップ２０５で始まり、ホールスライド画像の検索システムは、結果の品質に関するユーザ入力に基づいて、特に、その結果が、ユーザが、示されることを期待していた結果を肯定的に反映しているか、否定的に反映しているかを示す、ユーザによって示された結果に関連付けられた重み付けを修正する。例えば、ホールスライド画像の検索システムは、肯定的に示された結果を収集し、肯定的な結果に対する平均埋め込みを計算し得る。ホールスライド画像の検索システムは、この平均埋め込みを使用して、平均埋め込みに最も類似した埋め込みを検索することなどによって、検索クエリを修正し得る。同様に、ユーザが否定的な結果を示した場合、ホールスライド画像の検索システムは、否定的に示された結果を収集し、否定的な結果に対する平均埋め込みを計算し得る。ホールスライド画像の検索システムは、この平均埋め込みを使用して、類似の結果の禁忌として（例えば、非類似の結果の表示として）否定的な結果に対する平均埋め込みを使用することなどによって、検索クエリを修正し得る。別の例として、ホールスライド画像の検索システムは、肯定的に示された結果に関連付けられた重み付けを増加させ、否定的に重み付けされた結果に関連付けられた重み付けを減少させ得る。重み付けに対するこれらの調整は、肯定的な結果に類似した結果が比較的高いスコアを有し、否定的な結果に類似した結果が比較的低いスコアを有するように、逆伝播され得る。特定の実施形態では、結果が肯定的であるか否定的であるかの判定は、ユーザが結果に対してより微妙なフィードバックを提供することを可能にするランキングシステムを用いて強化され得る。ランキングシステムの程度を使用して、肯定的または否定的な結果に帰属する重みを修正することができる。

ステップ２１０において、ホールスライド画像の検索システムは、学習された例に基づいて検索クエリを再実行するようにホールスライド画像の検索システムに要求するユーザ入力を受け取ることができる。ステップ２１５において、ホールスライド画像の検索システムは、クエリ画像に対する埋め込みをホールスライド画像のデータセット内の埋め込みと比較して、肯定的な結果の平均埋め込みおよび否定的な結果の平均埋め込み、または上述したような方法を使用した修正された重み付けを使用して、最も類似した埋め込みのセットを決定することができる。例えば、最も類似した埋め込みのセットは、埋め込み空間における肯定的な結果に対する平均埋め込みまでの距離が最も小さい埋め込みであると決定されてもよい。別の例として、最も類似した埋め込みのセットは、特徴埋め込み空間におけるクエリ画像までの距離が最も小さい埋め込みであってもよく、特徴埋め込み空間における近接度を決定するために使用される距離関数は、適用される重み付けに基づく。

ステップ２２０において、ホールスライド画像の検索システムは、前のステップにおいて最も類似している埋め込みであると判定された埋め込みに基づいて、結果タイルを識別することができる。ステップ２２５において、ホールスライド画像の検索システムは、識別された結果タイルを提示することができる。方法１００のステップ１３５と同様に、識別された結果タイルを提示することは、クライアント装置上の対話型ユーザインターフェースにおいて結果タイルのサブセットを提示することを含むことができる。対話型ユーザインターフェースは、ユーザがホールスライド画像の検索システムのさらなる機能に関与することを可能にする様々な対話型要素を含むことができる。図示されていないが、ホールスライド画像の検索システムは、これらの追加機能に関するユーザ入力を監視することができる。

図３は、ホールスライド画像の検索におけるオブジェクトフィルタ生成のための例示的な方法３００を示す。本方法は、図１のステップ１５０からの続きとして始まる。本方法は、ステップ３０５で始まり、ホールスライド画像の検索システムは、クエリ画像から、提示された結果タイルのうちの１つまたは複数をマークするユーザ入力を受け取る。ステップ３１０において、ホールスライド画像の検索システムは、マークされた結果タイルに関連付けるための重み付けのユーザ入力を受ケトル。ステップ３０５および３１０から、ホールスライド画像の検索システムは、オブジェクトフィルタの例示的な結果タイルの指定とオブジェクトフィルタに帰属させる重み付けを有する。特定の実施形態では、肯定的な重み付けは、オブジェクトフィルタの肯定的な表現であると見なされ、一方、否定的な評価は、オブジェクトフィルタの不在の例であると見なされる。したがって、オブジェクトフィルタは、ユーザ検索およびフィードバックに応答して、動的に生成され得る。特定の実施形態では、ユーザは、後で使用するためにオブジェクトフィルタを構築するという明確な意図を持って、（例えば、説明されたオブジェクトフィルタの保存、共有、およびロードの機能を使用して）、検索を実行することができる。

ステップ３１５において、ホールスライド画像の検索システムは、受け取ったユーザ入力に基づいてオブジェクトフィルタを生成する。オブジェクトフィルタを生成するために、ホールスライド画像の検索システムは、受け取ったユーザ入力に基づいて決定された結果タイルに示されるオブジェクトフィルタの表現を埋め込み空間に作成することを学習するために、受け取ったユーザ入力から新しい分類器を訓練することができる。次いで、この表現に重み付けを行い、元のクエリ画像に対する埋め込みと平均化することで、その後の検索を行うことができる。これにより、拡張されたクエリ（元のクエリが、学習されたオブジェクトフィルタで平均化されたもの）に類似した埋め込が見つかることになる。例として、ホールスライド画像の検索システムは、関連付けられた重み付けが付加されたマークされた結果タイルを使用してモデル（例えば、線形サポートベクターマシン）を訓練することができる。オブジェクトフィルタ自体は、オブジェクトフィルタの埋め込みに対応するサポートベクターマシンの超平面によって表される。次いで、後続のクエリは、選択されたオブジェクトフィルタおよび関連付けられた重みを効率的に使用して、正の重み付けでマークされた結果タイルにより類似し、負の重み付けでマークされた結果タイルにより類似しないクエリ結果（例えば、結果タイル）を生成することができる。

ステップ３２０において、ホールスライド画像の検索システムは、新たに生成されたオブジェクトフィルタを使用して検索クエリを再実行するようにホールスライド画像の検索システムに要求するユーザ入力を受け取る。ステップ３２５において、ホールスライド画像の検索システムは、拡張されたクエリ画像（元のクエリ画像に対する埋め込みが、学習された概念の表現で平均化されたもの）をホールスライド画像の検索データセットにおける埋め込みと比較して、クエリ画像の拡張された埋め込みに最も類似する埋め込みを決定し、拡張されたクエリ画像に最も類似するタイルを決定することができる。

一部の実施形態では、ステップ３３０において、ホールスライド画像の検索システムは、生成されたオブジェクトフィルタの表現を、識別された最近傍の埋め込みに適用することができる。例えば、オブジェクトフィルタがサポートベクターマシンの超平面から生成された埋め込みとして表される場合、オブジェクトフィルタの埋め込みは、前のステップで決定された最近傍の埋め込みと比較され得る。オブジェクトフィルタには、オブジェクトフィルタとの正の一致（例えば、特徴埋め込み空間においてオブジェクトフィルタの近くにある埋め込み）をどのように扱うべきかを示す重みを与えることもできる。重みが負である場合、フィルタと一致したものは、ランクが下がるか、または除外される。

ステップ３３５において、ホールスライド画像の検索システムは、上述した技法に従って決定された最近傍の埋め込みに基づいて結果タイルを識別する。ステップ３４０において、ホールスライド画像の検索システムは、識別された結果タイルを提示することができる。方法１００のステップ１３５と同様に、識別された結果タイルを提示することは、クライアント装置上の対話型ユーザインターフェースにおいて結果タイルのサブセットを提示することを含むことができる。対話型ユーザインターフェースは、ユーザがホールスライド画像の検索システムのさらなる機能に関与することを可能にする様々な対話型要素を含むことができる。図示されていないが、ホールスライド画像の検索システムは、これらの追加機能に関するユーザ入力を監視することができる。

ステップ３４５において、ホールスライド画像の検索システムは、生成されたオブジェクトフィルタを、例えばユーザによる将来の使用のために保存するようにホールスライド画像の検索システムに要求するユーザ入力を受け取ることができる。例として、保存されたオブジェクトフィルタは、方法１００のステップ１１５において示され得る。例として、保存されたオブジェクトフィルタは、ユーザが、ホールスライド画像の検索システムにアクセスするために使用されるユーザ装置に関係なく、保存されたフィルタにアクセスすることができるように、ユーザに関連付けられたアカウントレコードに保存され得る。他の実施形態では、保存されたオブジェクトフィルタは、アカウントレコードの外部に保存することができるように、ユーザ装置にエクスポートまたはダウンロードされ得る

ステップ３５０において、ホールスライド画像の検索システムは、生成されたオブジェクトフィルタを他のユーザと共有するようにホールスライド画像の検索システムに要求するユーザ入力を受け取ることができる。例えば、ユーザのネットワークが作成され得て、各ユーザは、自分のユーザ装置からホールスライド画像の検索システムにアクセスすることができる。ユーザのネットワークは、ホールスライド画像の検索システムの使用を公開することも、特定の機関もしくは種類に限定することもでき、またはその他の方法で制限してもよい。オブジェクトフィルタは、ユーザ間で共有され得るため、ユーザは、互いの成功を積み重ねることができる。さらに、共有されるオブジェクトフィルタのライブラリを開発し、微調整することで、新規のユーザが真の開始位置から共通オブジェクトフィルタを構築する必要がなくなる。その代わりに、ユーザはライブラリにアクセスし、有用なフィルタに容易にアクセスすることができる。加えて、ユーザは、ホールスライド画像の検索システムの他のユーザからオブジェクトフィルタを受け取ることができる。

図４は、ホールスライド画像の検索におけるホールスライド出力生成のための例示的な方法４００を示す。本方法は、図１のステップ１５５からの続きとして始まる。本方法は、ステップ４０５で始まり、ホールスライド画像の検索システムが、結果タイルに関する追加情報の要求を含む結果タイルの選択を受け取る。それぞれについて、ユーザは、結果タイルをダブルクリックして、ユーザがコンテキスト内の結果タイルを見たいこと、および／または結果タイルに関する追加情報を受け取りたいことを示し得る。

ステップ４１０において、ホールスライド画像の検索システムは、選択された結果タイルに対応するホールスライド画像を取り出す。本明細書に記載されるように、結果タイルは、ホールスライド画像からセグメント化または抜粋された。結果タイルはまた、結果タイルをホールスライド画像と関連付けるためのメタデータとともに記憶されていてもよい。ユーザ入力を受け取ると、ホールスライド画像の検索システムは、適切なデータベースから、対応するホールスライド画像を取り出し、ユーザに提示するために準備することができる。例えば、ホールスライド画像が大きく、データ量が多いため、ホールスライド画像の検索システムは、ホールスライド画像またはそのサブセットをユーザ装置にストリーミングし始める可能性がある。

ステップ４１５において、ホールスライド画像の検索システムは、選択された結果タイルに関連付けられた、ホールスライド画像の検索システムの適切なデータベースに記憶されたメタデータを取り出す。特定の実施形態では、メタデータは、個々のタイルに固有のものとすることができる。例えば、メタデータは、個々のタイルに示された特徴に関する情報、タイルがいつどのように生成されたかに関する情報などを記述することができる。メタデータは、対応するホールスライド画像に関する情報を提供することもできる。例えば、ホールスライド画像は、患者の識別子、表示される組織、ホールスライド画像が撮影されたサンプル、提供ユーザ（例えば、研究者）、サンプルの時間的特徴、スキャナモデル、スキャン倍率、染色プロトコル、組織の厚さ、および他の関連情報などのホールスライド画像のソースに関する情報とともに記憶されていてもよい。さらに、ホールスライド画像は、例えば、診断、状態、他の留意すべき異常などの、患者に関するメタデータと関連付けて記憶されていてもよい。

ステップ４２０において、ホールスライド画像の検索システムは、取り出されたホールスライド画像および関連付けられたメタデータを、対話型のホールスライドビューアにおいてユーザに提示する。対話型のホールスライドビューアは、選択された結果タイルを、その結果タイルがセグメント化されたホールスライド画像のコンテキスト内で示すことができる。対話型のホールスライドビューアは、ユーザがホールスライド画像を操作して、選択された結果タイルをよりよく理解するための様々な機能を提供することができる。対話型のホールスライドビューアは、ホールスライド画像をズームインおよびズームアウトするズーム機能、ホールスライド画像の様々な部分を表示するパン機能、ユーザがホールスライド画像の様々な態様に焦点を当てることを可能にする色変更（例えば、色合いまたは色相の調整、グレースケールの選択）、およびその他の関連機能を提供することができる。ホールスライド画像ビューアは、対応するメタデータをユーザに提示することもできる。そのため、ホールスライド画像ビューアにより、ユーザはクエリ画像に対する結果タイルを迅速に評価および比較することが容易になると同時に、既知のエンドポイントへのアクセスも容易になり、認識および診断能力が高速化される。

ホールスライド画像ビューアから、ユーザは、ホールスライド画像の関連部分を選択することによって別の検索クエリを開始するなど、他の機能を開始することもでき、将来の参照および取り出しのために結果タイルおよび／またはホールスライド画像をマークすることができ、あるいは元のクエリからの結果のセットに戻ることができる。

図５は、ホールスライド画像の検索におけるデータセット出力生成のための例示的な方法５００を示す。本方法は、図１のステップ１６０からの続きとして始まる。方法５００の各ステップは、ユーザ入力に応答して実行され得る。例えば、ユーザは、関連付けられたヒートマップの生成を要求してもよいが、特定の実施形態では、結果タイルのデータセットに関する統計レポートを要求しないことがある。

ステップ５０５において、ホールスライド画像の検索システムは、クエリ結果のヒートマップを生成して提示する要求をユーザから受け取る。特定の実施形態では、ヒートマップを使用して、関心のあるホールスライド画像における位置に関する情報を効率的に表示することができる。例えば、ヒートマップは、クエリ画像が分析目的に有用な十分な情報を含んでいる場合（例えば、クエリ画像がホールスライド画像から選択された場合）、クエリ画像に関する情報を提供することができる。例えば、ヒートマップは、クエリ画像とソース自体との比較を含むクエリ画像のソースの表示を含むことができる。別の例として、ヒートマップは、クエリ画像に対するホールスライド画像内の各タイルの類似度（例えば、ホールスライド画像の各タイルについて生成された埋め込みとクエリ画像について生成された埋め込みとの間の距離に対応する）を表すことができる。別の例として、ヒートマップは、１つまたは複数のホールスライド画像を分析して、例えば、ユーザまたは他のユーザによって頻繁に要求される領域、ホールスライド画像の検索システムのユーザによって頻繁にアクセスされる領域、他の検索で上位の結果タイルとして頻繁に示される領域など表示することができる。さらに、ヒートマップは、クエリ画像およびクエリ画像が生成されたホールスライド画像内の特定の組織病理学表現型の有病率を効率的に要約することができる。

ステップ５１０において、ホールスライド画像の検索システムは、結果タイルデータセット、例えば、方法１００のステップ１３５においてユーザに返され、提示された結果タイルの統計レポートを生成し提示する要求をユーザから受け取る。例えば、ホールスライド画像の検索システムは、それぞれのソースホールスライド画像内の各結果タイルの位置を決定し、要約することができる。ホールスライド画像の検索システムは、結果タイルのうちの１つまたは複数が同じホールスライド画像に由来するか、または同じ被検者もしくは提供ユーザに由来するかどうかなど、任意の結果タイル間の関係を識別することができる。ホールスライド画像の検索システムは、結果タイルおよびそこに示された特徴の分類の要約を含むことができる。ホールスライド画像の検索システムは、画像の年代およびサンプルの年代など、結果タイルについての時間的情報を要約することができる。ホールスライド画像の検索システムは、クラスタ位置、クラスタの数、クラスタのサイズ、平均クラスタ類似度（例えば、特徴埋め込み空間におけるクラスタの各タイルに対応する埋め込み間の平均距離に基づいて測定される）、平均総類似度（例えば、クラスタに基づいて生成された各埋め込みに対応する特徴ベクトルの平均値または特徴ベクトルの１つまたは複数の成分の平均値に基づいて測定される）、類似タイルの割合などの、所与のホールスライド画像における類似タイルの分布の空間的統計を提供することができる。ホールスライド画像の検索システムは、例えば、最も強い倍率変化（ｆｏｌｄ－ｃｈａｎｇｅ）遺伝子、および他のオミクスバイオマーカ発現を含む、患者についての識別されたゲノムもしくはプロテオミクスデータまたは特徴などの患者オミクスデータを提供することができる。いくつかの例示的な統計が提供されたが、結果タイルデータセットに関する多くの適切な統計がコンパイルされ、ユーザに個別に提示され、または提示前にパッケージ化され得ることが理解されるであろう。

ステップ５１５において、ホールスライド画像の検索システムは、結果タイルに関連付けられたホールスライド画像の相互相関統計を生成して提示する要求を受け取る。相互相関レポートは、ホールスライド画像を生成するために使用されたサンプルである患者に関する情報をさらに含むことができる。例えば、ステップ５１０において生成され得る統計レポートは、特に結果タイルに関する情報を提供するが、ステップ５１５において収集され提示される統計は、関連付けられたホールスライド画像および対応する基礎となる患者情報に関する。基礎となる患者情報は、患者の人口統計、ホールスライド画像間の時間的関係（同じ患者に由来する場合）、既知の場合は患者の転帰（例えば、全生存期間、全奏功、無増悪生存期間、記録された有害事象など）、材料がある場合は患者の診断、描写された組織の種類、提供ユーザまたは研究などのサンプルのコンテキスト、およびその他の関連情報を含むことができる。いくつかの例示的な統計が提供されたが、結果タイルに関連付けられたホールスライド画像に関する多くの適切な統計がコンパイルされて、ユーザに個々に提示されるか、または提示前にパッケージ化され得ることが理解されるであろう。

特定の実施形態は、適切な場合には、図１～図５の方法の１つまたは複数のステップを繰り返してもよい。本開示は、図１～図５の方法の特定のステップを特定の順序で行われるものとして説明し、図示しているが、本開示は、図１～図５の方法の任意の適切なステップが任意の適切な順序で行われることを想定している。さらに、本開示は、図１～図５の方法の特定のステップを含むホールスライド画像の検索のための例示的な方法を説明し、図示しているが、本開示は、適切な場合には、図１～図５の方法のステップのすべてもしくは一部を含むか、またはいずれも含まないことがある、任意の適切なステップを含むホールスライド画像の検索のための任意の適切な方法を想定している。さらに、本開示は、図１～図５の方法の特定のステップを実行する特定の構成要素、装置、またはシステムを記載および図示しているが、本開示は、図１～図５の方法の任意の適切なステップを実行する任意の適切な構成要素、装置、またはシステムの任意の適切な組み合わせを想定している。

図６Ａおよび図６Ｂは、ホールスライド画像の検索のための方法１００と同様に、クエリ画像をホールスライド画像の検索システムに提供するための例示的なユーザインターフェース６００を示す。図示されるように、ユーザは、様々な方法でユーザ入力を提供することができる。最終結果は、ユーザが検索の基礎として使用する画像を提供し、指定することである。ユーザインターフェース６００は、クエリ画像として使用するためにホールスライド画像の検索システムにアップロードされる画像ファイルをドラッグアンドドロップすることをユーザに要求する第１の対話型要素６１０を含む。これは、特定の特徴または表現型を利用可能なホールスライド画像において見つけること（例えば、後述する視野を使用して検索すること）が困難な場合に有用である場合があるが、その例は以前に抜粋されている。あるいは、ユーザは、第１の対話型要素６１０をクリックまたはタップして、システムブラウザを開いてアップロードする画像を選択し得る。したがって、第１のユーザインターフェース６１０は、ホールスライド画像の検索システムと通信するホールスライド画像の検索システムの外部のシステム（例えば、ユーザ装置）から画像を供給するために使用され得る。

クエリ画像を指定する第２の方法を容易にするために、ユーザインターフェース６００は、第２の対話型要素６２０と、ユーザが、ホールスライド画像の検索システムに利用可能なクエリ画像の場所またはアドレス（例えば、ユニフォームリソースロケータとして指定されてもよいファイルの場所またはリソースロケータ）を指定することができるテキストフィールド６２５とを含む。例えば、ホールスライド画像の検索システムは、ユーザの代わりに患者または臨床データを記憶するデータベースと通信してもよい。データベースは、ホールスライド画像の検索システムを通してアクセス可能であってもよく、これは、ホールスライド画像の検索システムにアクセスできる任意の装置が、データベースにアクセスできることを意味する。ユーザは、クエリ画像に対応するファイルアクセスパスまたはリソースロケータをテキストフィールド６２５に入力することができる。第２の対話型要素６２０と対話することによって、ユーザは、選択された画像（例えば、ホールスライド画像）を取り出すようにホールスライド画像の検索システムに命令することができる。取り出されると、図６Ａ～図６Ｃに示すように、画像がフィールド６４０に表示され得る。フィールド６４０は、後述するように、検索される画像の特定の領域を指定するために使用される。

クエリ画像を指定する第３の方法を容易にするために、ユーザインターフェース６００は、第３の対話型要素６３０と、ユーザがクエリ画像として使用する画像の一意の識別子を提供することができるテキストフィールド６３５とを含む。例えば、ユーザは、ユーザがクエリ画像として使用したいと思うホールスライド画像の一意の識別子を指定することができる。ホールスライド画像の検索システムによってアクセス可能なデータベースは、ホールスライドの一意の識別子によってインデックス可能であり、第３の対話型要素６３０の選択時に対応する画像を取り出すことができる。取り出し時に、画像がフィールド６４０に表示され得る。

フィールド６４０は、選択された画像がホールスライド画像であるホールスライド画像ビューアなどの画像ビューアを含む。画像ビューアは、ユーザが選択された画像をレビューすることを容易にするために、（例えば、ズームおよびパンを通して）画像をナビゲートするように動作可能とすることができる。一部の実施形態では、ユーザは、表示された画像の一部のみをクエリ画像として使用することがある。このような場合、画像ビューアフィールド６４０は、調整可能な視野（ＦＯＶ）セレクタ６４５を含むことができる。特定の実施形態では、ＦＯＶセレクタ６４５は、画像ビューアフィールド６４０から直接かつ別個に操作され得る。一部の実施形態では、ＦＯＶセレクタ６４５は、画像の所定の部分（例えば、画像の中心）を表し、画像ビューア６４０を操作すると、ＦＯＶセレクタ６４５も操作されれる。

画像をクエリ画像として提供して、検索を開始するために、ユーザは、適切な検索ボタン６５０または６５５を選択することができる。ユーザが、ＦＯＶセレクタ６４５を使用して、クエリ画像に使用する選択画像の領域を指定した場合、ユーザは、「ＦＯＶを使用して検索」とマークされた検索ボタン６５０を作動させることができる。これにより、ホールスライド画像の検索システムは、選択されたＦＯＶを画像ビューア６４０に示されたホールスライド画像の領域の指定と解釈し、提示された画像からＦＯＶで選択された領域をセグメント化してクエリ画像として使用する。あるいは、ユーザは、画像ビューア６４０に表示された、さもなければ（例えば、上述した入力方法のうちの１つを使用して）ホールスライド画像の検索システムに提供された全画像を使用する検索ボタン６５５を選択することができる。

ユーザインターフェース６００は、行われる検索の特徴をユーザが指定することを可能にする他の入力を含む。第１の入力は、ホールスライド画像の検索データセットに記憶された埋め込みをクエリ画像から生成された埋め込みと比較する際に使用される距離計算をユーザが手動で選択することができる対話型要素６６０である。対話型要素６６０は、ホールスライド画像の検索システムによって現在利用可能になっている距離計算を示すドロップダウンボックスをユーザに提供することができる。別の対話型要素６６５により、ユーザは、比較の実行後に、結果をランク付けしてユーザに表示するために使用される重み付け方法を指定することができる。ユーザには、重み付け方法、または埋め込みにはキャプチャされない可能性がある、結果タイルのスコアリング方法の他の特徴をカスタマイズするためのインターフェースが提供され得る。第３の対話型要素６７０は、検索結果を取り出す際に使用するオブジェクトフィルタを指定することをユーザが示すことができるトグルを含む。選択されると、ユーザインターフェース６００は、使用されるオブジェクトフィルタを指定する方法を提供するように変更され得る。この変更されたユーザインターフェース１１００は、図１１Ａおよび図１１Ｂに関して示され、説明される。

図７Ａおよび図７Ｂは、タイル結果を含む例示的なユーザインターフェース７００を示す。ユーザインターフェース７００は、結果が生成された検索中に使用されたクエリ画像を示すディスプレイ７１０を含む。ディスプレイ１７０の拡大版を図７Ｃに示す。ホールスライド画像の検索システムによって識別された上位の結果タイル７２０は、ユーザインターフェース７００の一番下の方に示され、ユーザがさらなるアクションをとるために使用することができるいくつかの対話型要素が結果の上の方に含まれている。特定の実施形態では、結果の数、結果のサイズなど、結果タイルがどのようにユーザに示されるかは、ユーザの好みに合わせてカスタマイズされ得る。加えて、結果タイルのそれぞれは、対話型にすることができ、ユーザはタイル結果をさらに詳細にレビューすることができる。選択されると、対話型要素７３０は、方法２００に関して本明細書に記載されているような、例示による絞り込みモードを開始することができる。対話型要素７４０を使用して、ユーザによるさらなる分析のために結果をエクスポートすることができる。例えば、結果を、パッケージ化し、関連メタデータおよび対応するホールスライド画像とともにユーザ装置にダウンロードすることで、オフラインレビューが可能になる。加えて、結果をエクスポートして、ホールスライド画像の検索システムの別のユーザと共有することができる。

対話型要素７５０、７５５、７６０、および７６５は、オブジェクトフィルタを検索結果に組み込むことに関連する。選択されると、対話型要素７５０は、上述したホールスライド画像の検索におけるオブジェクトフィルタ生成のための方法３００に関連することができるオブジェクトフィルタを生成するために使用される訓練オブジェクトフィルタモードを開始することができる。特定の実施形態では、対話型要素７３０および７５０は、ユーザインターフェース７００を、所定の目的を容易にするように構成された新規のまたは変更されたインターフェースに移行させることができる。対話型要素７５５により、ユーザは、検索結果を絞り込むために使用する新しいオブジェクトフィルタを追加することができる。対話型要素７６０により、ユーザは、例えば、ユーザが特定の種類のクエリ画像で使用するためのオブジェクトフィルタのセットを開発し、その目的のために選択されたフィルタのセットを保存したい場合に、後で呼び出すために既存のオブジェクトフィルタのセットを保存することができる。対話型要素７６５により、ユーザは、これらの選択されたフィルタを呼び出すことができる。選択されると、対話型要素７７０により、ユーザは、関連付けられたクエリ画像を使用して、ユーザによって加えられた変更を組み込んで（例えば、説明された絞り込み技法のいずれかを使用して、またはフィルタの新しいセットを使用して）、クエリを再実行することができる。

図８Ａおよび図８Ｂは、ホールスライド画像結果ビューア８１０を含む例示的なユーザインターフェース８００を示す。特定の実施形態では、ユーザインターフェース８００は、ユーザインターフェース７００に提示された結果タイルのうちの１つを選択することによってアクセスされ得る。加えて、ユーザインターフェース８００は、本明細書に記載されるホールスライド画像の検索におけるホールスライド出力生成のための方法４００と相関することができる。本明細書に記載されるように、ホールスライド画像ビューア８１０は、画像のズームインまたはズームアウト、ホールスライドのパン、および画像のレビューを容易にするためのフィルタの適用など、表示されたホールスライド画像を操作するためのコントロールを含むことができる。ホールスライド画像ビューア８１０は、ユーザをこの特定のホールスライド画像に導いた結果タイルの位置を示すインターフェース要素８１５をさらに含むことができる。このようにして、ホールスライド画像ビューア８１０により、ユーザは、ホールスライド画像を理解する際に使用する、または臨床および診断目的で使用する結果タイルのコンテキストを理解することができる。加えて、ユーザは、対話型要素８２０を選択して、ホールスライド画像に関連付けられたメタデータをレビューすることができる。メタデータは、ホールスライド画像に関するデータ（例えば、撮影日、サイズ、その他の技術的詳細）、ホールスライド画像が取得されたサンプルに関するデータ（例えば、組織の種類、サンプルが取得された日付）、サンプルが取得された患者に関するデータ（例えば、患者の状態、診断、生存率）、およびユーザがその目的を達成する際に有用な可能性があるその他の関連データなどの情報を含むことができる。

特定の実施形態では、すべての情報がロードされると、ビューア８１０に示されるホールスライド画像が表示される。しかしながら、ホールスライド画像は非常に大きくなる可能性があり、画像をビューアにロードするのにかなりの時間がかかることがある。したがって、ユーザ体験を向上させ、ユーザがホールスライド画像の関連部分をより迅速に閲覧することを可能にするために、ホールスライド画像をチャンクでビューアにロードしてもよい。例えば、結果タイル８１５に近いタイルまたは領域は、さらに遠くにあるタイルの前にロードされるように優先順位付けされ得る。本例のホールスライド画像ビューア８１０に示されるように、ロードされていないチャンク８２５は、プレースホルダデータで示され得るか、またはタイルがビューアにロードされ得るまで、単に空白で示され得る。加えて、タイルをホールスライド画像ビューアにロードする進捗状況をユーザに追跡させるためのプログレスバーを提供することができる。ユーザインターフェース８００は、ビューア８１０に示されるホールスライド画像に対するラベル８３０も含むことができる。このラベルは、後でホールスライド画像を参照するためにユーザによって使用され得る。加えて、または代替として、ユーザは、例えば対話型要素８３５との対話を通じて、画像を保存するためにマークすることができる。ユーザインターフェース８００は、結果タイルに関連しないものを含む、他のホールスライド画像に対するホールスライド画像ビューアとしての役割も果たす。したがって、ユーザは、テキストフィールド８４０および対話型要素８４５を使用して、例えば、ホールスライド画像に対応するファイルパス、リソースロケータ、または一意の識別子を指定することによって、別のホールスライド画像を識別し、閲覧することができる。特定の実施形態では、ユーザは、ユーザインターフェース８００に含まれるビューアから別の検索を実行することができる。

図９Ａは、ホールスライド画像の検索における例示的な選択による絞り込みを容易にする例示的なユーザインターフェース９００を示す。例として、ユーザは、図７Ａおよび図７Ｂに示す要素７３０と対話することによってユーザインターフェース９００に到達することができ、ユーザインターフェース９００は、図２に示し上述したホールスライド画像の検索における例示的な選択による絞り込みのための方法２００に対応させてもよい。ユーザインターフェース９００は、クエリ画像について識別された上位の結果タイルを含む。ユーザインターフェース９００は、ユーザがホールスライド画像の検索システムに入力を提供することを可能にする、いくつかの対話型要素も含む。例えば、対話型要素９０５により、ユーザは、結果を肯定的としてマークすることを示す（結果がクエリ画像に高度に関連していることを示す）ことができる。対話型要素９１５により、ユーザは、結果を否的定としてマークすることを示す（結果がクエリ画像に関連しないことを示す）ことができる。対話型要素９０５を選択した後、ユーザは、結果タイルのうちの１つまたは複数を選択することができる。次いで、結果タイルの表示が変更されて、どの結果タイルを肯定的とマークしたかがユーザに示される。ユーザインターフェース９００において、肯定的にマークされたタイル９１０は、図９Ａおよび図９Ｂのタイルを囲む破線で示されている。肯定的にマークされたタイルを特定の色（例えば、緑）で囲むこと、タイルの色相に陰影を付けるかまたはその他の方法で調整することなど、他のインジケータも使用することができる。

タイルを肯定的にマークすることを停止するために、ユーザは、対話型要素９２５を選択することができ、またはタイルを否定的にマークすることに進みたい場合には、対話型要素９１５を選択することができる。タイルを肯定的にマークするのと同様に、対話型要素９１５を選択した後、ユーザは、結果タイルのうちの１つまたは複数を選択する。次いで、結果タイルの表示が変更されて、どの結果タイルを否定的とマークしたかをユーザに示す。ユーザインターフェース９００において、否定的にマークされたタイル９２０は、図９Ａおよび図９Ｂのタイルを囲む点線で示されている。否定的にマークされたタイルを特定の色（例えば、赤）で囲むこと、タイルの色相に陰影を付けるかまたはその他の方法で調整することなど、肯定的にマークされたタイルのインジケータとは異なる他のインジケータを使用することができる。

ユーザがタイルのマーキングを終了した後、ユーザは、対話型要素９３０を選択して、元のクエリ画像を使用してクエリを再実行することができるが、結果は、方法２００に関して上述した例示的なプロセスによる絞り込みに基づいて生成される。

図１０Ａは、結果タイルをマークすることによるオブジェクトフィルタ生成を含む例示的なユーザインターフェース１０００を示す。特定の実施形態では、ユーザインターフェース１０００は、ユーザインターフェース７００の対話型要素７５０を選択することによってアクセスされ得る。ユーザインターフェース１０００は、クエリ画像の結果として提供される結果タイルの表示フィールドを含む。ユーザインターフェース１０００は、オブジェクトフィルタの生成および訓練を容易にするための様々な対話型要素も含む。ユーザは、テキストフィールド１０１０を使用してオブジェクトフィルタのラベルを作成することができる。これにより、ユーザは、ラベルの目的を容易に想起すること、例えば、撮像プロセスにおける欠陥に起因する結果タイルの異常を除外すること、または特定の組織構造を除外することができる。対話型要素１０１５および１０２０により、ユーザは、オブジェクトフィルタの強度またはオブジェクトフィルタの例としての個々の結果タイルの強度を変更することができる。対話型要素１０１５は、フィルタに対するマークされたオブジェクトフィルタの強度に対応する数値（－１００～１００の範囲であるが、任意の適切な範囲が許容可能である）を示す。対話型要素１０２０は、同じ情報を示すが、スライドバーを使用する。また、バーを色分けすることや（例えば、無地の赤色は強い否定に対応し、黄色は中性を示し、濃い緑色は強い肯定に対応する）、他の容易に識別可能な画像情報を含めることもできる。

重みおよび肯定的または否定的の例の表示を選択した後、ユーザは、結果タイルのうちの１つまたは複数を選択することができる。次いで、結果タイルの表示が変更されて、ユーザが例として結果タイルを選択したことをユーザに示す。ユーザが特定の結果タイルに帰属させた相対的な重みを示すように表示を変更することもできる。ユーザインターフェース１０００では、マークされたタイル１０２５は、－１０の表示に対応し、タイルを囲む破線で示されている。ユーザは、対話型要素１００５を選択して、適切なタイルがマークされたことを示し、オブジェクトフィルタを生成する準備ができていることを示すことができる。例えば、マークされた結果タイルの数および与えられた個々の重み付け表示の数に基づく、オブジェクトフィルタの複雑さ次第では、ユーザは、オブジェクトフィルタを使用できるようになるまで、しばらく待たなければならない場合がある。このような場合、ホールスライド画像の検索は、できるだけ表示を行い、ユーザが他のタスクを完了している間に、バックグラウンドでオブジェクトフィルタを生成し続けることができる。ユーザは、対話型要素１０３０を選択して、生成されたオブジェクトフィルタを将来の使用のために保存し、対話型要素１０３５を選択して、生成されたオブジェクトフィルタをホールスライド画像の検索システムの１人または複数の他のユーザと共有することができる。加えて、ユーザは、対話型要素１０４０を選択して、提供されたクエリ画像および生成されたオブジェクトフィルタを使用して検索クエリを直ちに再実行することができる。

図１０Ｂは、マークすべきホールスライド画像の特徴を識別することによるオブジェクトフィルタ生成を含む例示的なユーザインターフェース１０５０を示す。ユーザインターフェース１０５０を使用して、ユーザは、オブジェクトフィルタの例として示すために、ホールスライド画像（またはホールスライド画像から個々のタイルのみ）の１つまたは複数の特徴を選択することができる。ユーザインターフェース１０００と同様に、ユーザインターフェース１０５０は、オブジェクトフィルタにラベルを適用するための対話型要素１０１０と、オブジェクトフィルタに対する例の強度または重みを選択するための対話型要素１０１５および１０２０とを含む。新しいオブジェクトフィルタを生成することに加えて、ユーザは、ユーザインターフェース１０５０を使用して、既存のオブジェクトフィルタに例を追加することもできる。ユーザインターフェース１０５０は、上述したホールスライド画像ビューア８１０と同様に機能し得る画像ビューア１０５５を含む。画像ビューア１０５５は、より大きなホールスライド画像内のフォーカスされた画像の位置を示すより小さなウィンドウ１０６０を含むこともできる。図１０Ｃは、画像ビューア１０５５およびウィンドウ１０６０の拡大版を示す。画像ビューアは、オブジェクトフィルタの例である画像の部分を具体的に選択するためにユーザが操作することができるフィールド１０６５をさらに含む。ユーザが自分の選択に満足すると、ユーザは、対話型要素１０７０を選択して、画像の選択された領域を訓練目的でオブジェクトフィルタに追加することができる。

図１１Ａおよび図１１Ｂは、ホールスライド画像の検索のためのクエリ入力を受け取るための例示的なユーザインターフェース１１００を示す。特に、図１１Ａおよび図１１Ｂは、オブジェクトフィルタを使用してホールスライド画像の検索を開始するためのユーザインターフェース１１００を示す。図１１Ａおよび図１１Ｂに示す入力機能の多くは、図６Ａおよび図６Ｂのユーザインターフェース６００に示され、論じられたものと同様である。簡潔にするために、これらの機能の説明は省略する。特定の実施形態では、ユーザが対話型要素６７０を選択してオブジェクトフィルタによる検索を有効にすると、ユーザインターフェース６００は、オブジェクトフィルタによる検索機能を含むように調整するか、またはユーザインターフェース１１００に進む。対話型要素１１０５により、ユーザはオブジェクトフィルタをクエリに追加することができる。この対話型要素を選択すると、選択インターフェースが提供され、この選択インターフェースを介して、ユーザは追加する個々のオブジェクトフィルタを選択することができる。対話型要素１１１０により、ユーザは、オブジェクトフィルタのグループを追加すること、またはホールスライド画像の検索システムの外部に記憶されることがある１つまたは複数のオブジェクトフィルタをロードすることができる。例として、ホールスライド画像の検索システムにより、ユーザはローカル装置に記憶されるフィルタをエクスポートすることができ、さらに、ユーザはこれらのフィルタを後でインポートすることができる。追加またはロードされたフィルタは、インターフェース要素１１２０に表示される。オブジェクトフィルタは、そのラベルによって識別される。ユーザは、予想される検索クエリに適用されるオブジェクトフィルタの効果を変更することもできる。例えば、重み付けテキスト入力フィールド１１２５またはスライディングスケール１１３０を使用して、ユーザは、所与のオブジェクトフィルタを肯定的に扱うべきか（例えば、オブジェクトフィルタを訓練するために使用される肯定的な例を肯定的に扱い、オブジェクトフィルタを訓練するために使用される否定的な例を否定的に扱う）、または否定的に扱うべきか（例えば、オブジェクトフィルタを訓練するために使用される肯定的な例を否定的に扱い、オブジェクトフィルタを訓練するために使用される否定的な例を肯定的に扱う）を指定することができる。ユーザがオブジェクトフィルタの選択に満足すると、ユーザは、検索を開始することができ、または対話型要素１１１５を使用してオブジェクトフィルタを保存することができる。

図１２は、ホールスライド画像の検索システムからの出力を表示する例示的なユーザインターフェース１２００を示す。特に、図１２は、特定のホールスライド画像のヒートマップ１２１０を含むユーザインターフェース１２００を示す。本例では、ヒートマップは、（本明細書に記載されるように、特徴埋め込み空間において、ホールスライド画像の各タイルに対して生成された埋め込みと、クエリ画像に対して生成された埋め込みとの間の距離に基づいて測定され得る）クエリ画像、または上述した拡張されたクエリ画像などの別の選択された画像に対する、対応するホールスライド画像内の各個々のタイルの類似度を表す。ヒートマップのより明るい領域は、より高い類似度に対応し、ヒートマップのより暗い領域は、類似しないタイルに対応する。ヒートマップで表現された情報を使用して、描画されたホールスライド画像において、特定のクエリ画像に類似した領域を突き止めることができる。例えば、ユーザは、間質構造、組織異常、血管構造などが類似している領域を探していることがある。ヒートマップは、例えば、腫瘍または他の検査された組織などの、より大きい身体におけるこれらの特定領域の空間的分布をユーザが理解するのをさらに容易にすることができる。ホールスライド画像のような、より完全なコンテキストで示される組織内のこれらのオブジェクトの分布は、組織サンプル（または組織サンプルが収集された患者）の診断、予後、またはメタ分析に影響を与える可能性がある。特定のホールスライド画像は、ラベル表示１２１５によって識別される。ユーザによるヒートマップのレビューを支援するために、ユーザインターフェース１２００は、ヒートマップのズームインまたはズームアウト、ヒートマップ全体のパンニングを容易にする要素を含み、この目的のための他の適切な要素を含み得る。レビューをさらに支援するために、ユーザインターフェース１２００は、クエリ画像１２２０の表現を含む。特定の実施形態では、ユーザは、ヒートマップ表示とホールスライド画像の表示とを切り替えることができ、ユーザはクエリ画像をホールスライド画像の領域と直接比較することができる。対話型要素１２２５は、ユーザ入力（例えば、ファイルの場所、リソースロケータの指定）を受け取って、ローカルにまたはリモートに記憶された画像を取り出し、ローカルに記憶された画像のタイルをクエリ画像と比較してヒートマップに変換し、ヒートマップ１２１０と同様のヒートマップを生成することができる。同様に、対話型要素１２３０は、ユーザ入力（例えば、一意の識別子）を受け取って、同じ目的のためにリモートに記憶された画像を選択することができる。

図１３は、本開示の一部の実施形態に従ってホールスライド画像の検索を行うために、本明細書に記載されるように、使用することができる対話型コンピュータシステムのネットワーク１３００を示す。

ホールスライド画像生成システム１３２０は、特定のサンプルに対応する１つまたは複数のホールスライド画像または他の関連するデジタル病理画像を生成することができる。例えば、ホールスライド画像生成システム１３２０によって生成された画像は、生検サンプルの染色された切片を含むことができる。別の例として、ホールスライド画像生成システム１３２０によって生成された画像は、液体サンプルのスライド画像（例えば、血液フィルム）を含むことができる。別の例として、ホールスライド画像生成システム１３２０によって生成された画像は、蛍光プローブが標的ＤＮＡまたはＲＮＡ配列に結合した後の蛍光インシトゥハイブリダイゼーション（ＦＩＳＨ）を示すスライド画像などの蛍光顕微鏡法を含むことができる。

サンプル（例えば、生検、固体サンプル、および／または組織を含むサンプル）の種類によっては、サンプルを固定および／または包埋するために、サンプル調製システム１３２１によって処理され得るものがある。サンプル調製システム１３２１は、固定剤（例えば、ホルムアルデヒド溶液などの液体固定剤）および／または包埋物質（例えば、組織学的ワックス）をサンプルに浸透させることを容易にすることができる。例えば、サンプル固定サブシステムは、少なくともしきい値時間（例えば、少なくとも３時間、少なくとも６時間、または少なくとも１３時間）にわたってサンプルを固定剤に曝すことによって、サンプルを固定することができる。脱水サブシステムは、（例えば、固定サンプルおよび／または固定サンプルの一部を１つまたは複数のエタノール溶液に曝すことによって）サンプルを脱水し、潜在的に、（例えば、エタノールおよび組織学的ワックスを含む）透明化中間剤を使用して脱水されたサンプルを透明化することができる。サンプル包埋サブシステムは、加熱された（例えば、液体の）組織学的ワックスをサンプルに浸透させることができる（例えば、対応する所定の期間の１回または複数回）。組織学的ワックスは、パラフィンワックスおよび潜在的に１つまたは複数の樹脂（例えば、スチレンまたはポリエチレン）を含むことができる。次いで、サンプルおよびワックスが冷却され、次いで、ワックス浸透サンプルがブロックされ得る。

サンプルスライサ１３２２は、固定されて埋め込まれたサンプルを受け取り、切片のセットを生成することができる。サンプルスライサ１３２２は、固定されて埋め込まれたサンプルを低温またはさらなる低温に曝すことができる。次いで、サンプルスライサ１３２２は、冷却されたサンプル（またはそのトリミングされたバージョン）を切断して、切片のセットを作製することができる。各切片は、（例えば）１００μｍ未満、５０μｍ未満、１０μｍ未満、または５μｍ未満の厚さを有することができる。各切片は、（例えば）０．１μｍよりも大きい、１μｍよりも大きい、２μｍよりも大きい、または４μｍよりも大きい厚さを有することができる。冷却したサンプルの切断は、温水浴（例えば、少なくとも３０℃、少なくとも３５℃、または少なくとも４０℃の温度で）中で行われ得る。

自動染色システム１３２３は、各切片を１つまたは複数の染色剤に曝すことによって、サンプルの切片のうちの１つまたは複数の染色を容易にすることができる。各切片は、所定の期間にわたって所定量の染色剤に曝され得る。場合によっては、単一の切片が、複数の染色剤に同時にまたは連続的に曝される。

１つまたは複数の染色切片のそれぞれは、切片のデジタル画像を取り込むことができる、画像スキャナ１３２４に提示され得る。画像スキャナ１３２４は、顕微鏡カメラを含むことができる。画像スキャナ１３２４は、複数の倍率（例えば、１０倍対物レンズ、２０倍対物レンズ、４０倍対物レンズなどを使用して）でデジタル画像を取り込むことができる。画像の操作を使用して、所望の倍率範囲でサンプルの選択された部分を取り込むことができる。画像スキャナ１３２４は、人間のオペレータによって識別された注釈および／または形態素をさらに取り込むことができる。場合によっては、切片が洗浄され、１つまたは複数の他の染色剤に曝され、再度イメージングされ得るように、１つまたは複数の画像が取り込まれた後に、切片が自動染色システム１３２３に戻される。複数の染色剤が使用される場合、第１の染色剤を大量に吸収した第１の切片に対応する画像の第１の領域を、第２の染色剤を大量に吸収した第２の切片に対応する画像の第２の領域（または異なる画像）と区別することができるように、異なる色プロファイルを有するように染色剤が選択され得る。

ホールスライド画像生成システム１３２０の１つまたは複数の構成要素は、場合によっては人間のオペレータに関連して動作することができることが理解されよう。例えば、人間のオペレータは、（例えば、サンプル調製システム１３２１またはホールスライド画像生成システム１３２０の）様々なサブシステムにわたってサンプルを移動させ、および／またはホールスライド画像生成システム１３２０の１つまたは複数のサブシステム、システム、または構成要素の動作を開始または終了させることができる。別の例として、ホールスライド画像生成システムの１つまたは複数の構成要素（例えば、サンプル調製システム１３２１の１つまたは複数のサブシステム）の一部または全部は、人間のオペレータの動作によって部分的または全体的に置き換えられ得る。

さらに、ホールスライド画像生成システム１３２０の様々な記載および図示される機能および構成要素は、固体および／または生検サンプルの処理に関するが、他の実施形態は、液体サンプル（例えば、血液サンプル）に関することができることが理解されるであろう。例えば、ホールスライド画像生成システム１３２０は、ベーススライド、汚れた液体サンプル、およびカバーを含む液体サンプル（例えば、血液または尿）スライドを受け取ることができる。画像スキャナ１３２４は、次いで、サンプルスライドの画像を取り込むことができる。ホールスライド画像生成システム１３２０のさらなる実施形態は、本明細書に記載されるＦＩＳＨなどの高度なイメージング技術を使用してサンプルの画像を取り込むことに関することができる。例えば、蛍光プローブをサンプルに導入し、標的配列に結合させると、適切なイメージングを使用して、さらなる分析のためにサンプルの画像を取り込むことができる。

所与のサンプルは、処理およびイメージング中に、１人または複数のユーザ（例えば、１人または複数の医師、検査技師、および／または医療提供者）に関連付けられ得る。関連付けられたユーザは、限定ではなく例として、とりわけ、試験または生検をオーダした撮像されているサンプルを生成した人、試験または生検の結果を受け取る許可を得た人、あるいは試験または生検サンプルの分析を行った人を含むことができる。例えば、ユーザは、医師、病理医、臨床医、または被検者に対応することができる。ユーザは、１つまたは複数のユーザ装置１３３０を使用して、サンプルがホールスライド画像生成システム１３２０によって処理される、得られた画像がホールスライド画像の検索システム１３１０によって処理されるという１つまたは複数の要求（例えば、被検者を識別する）を提出することができる。

ホールスライド画像生成システム１３２０は、画像スキャナ１３２４によって生成された画像をユーザ装置１３３０に送り返すことができる。次いで、ユーザ装置１３３０は、ホールスライド画像の検索システム１３１０と通信して、画像の自動処理を開始する。場合によっては、ホールスライド画像生成システム１３２０は、画像スキャナ１３２４によって生成された画像を、例えばユーザ装置１３３０のユーザの指示において、ホールスライド画像の検索システム１３１０に直接提供する。図示されていないが、他の中間装置（例えば、ホールスライド画像生成システム１３２０またはホールスライド画像の検索システム１３１０に接続されたサーバのデータストア）も使用することができる。加えて、簡単にするために、ネットワーク１３００には、ただ１つのホールスライド画像の検索システム１３１０、画像生成システム１３２０、およびユーザ装置１３３０が示されている。本開示は、本開示の教示から必ずしも逸脱することなく、各種のシステムおよびその構成要素のうちの１つまたは複数の使用を予期する。

図１３に示すネットワーク１３００および関連付けられたシステムは、ホールスライド画像などのデジタル病理画像の走査および評価が作業の不可欠な構成要素である様々なコンテキストにおいて使用され得る。例として、ネットワーク１３００は、ユーザが可能な診断目的でサンプルを評価している臨床環境に関連付けられ得る。ユーザは、ホールスライド画像の検索システム１３１０に画像を提供する前に、ユーザ装置１３３０を使用して画像をレビューすることができる。ユーザは、ホールスライド画像の検索システム１３１０による画像の分析を案内または指示するために使用され得る追加の情報をホールスライド画像の検索システム１３１０に提供することができる。例えば、ユーザは、スキャン内の特徴の予測診断または予備評価を提供することができる。ユーザはまた、レビューされる組織の種類などの追加のコンテキストを提供することができる。別の例として、ネットワーク１３００は、例えば、薬物の有効性または潜在的な副作用を決定するために、組織が検査されている検査室環境と関連付けられ得る。これに関連して、前記薬物の全身に対する効果を決定するために、複数の種類の組織をレビューのために提出することが一般的であり得る。これは、撮像される組織の種類に大きく依存することができる画像の様々なコンテキストを決定する必要があり得る人間の走査検査者に特定の課題を提示する可能性がある。これらのコンテキストは、任意に、ホールスライド画像の検索システム１３１０に提供され得る。

ホールスライド画像の検索システム１３１０は、ホールスライド画像を含むデジタル病理画像を処理して、デジタル病理画像を分類し、デジタル病理画像および関連する出力に注釈を生成することができる。タイル生成モジュール１３１１は、各デジタル病理画像に対してタイルのセットを定義することができる。タイルのセットを定義するために、タイル生成モジュール１３１１は、デジタル病理画像をタイルのセットにセグメント化することができる。本明細書で具現化されるように、タイルは、重なり合わない（例えば、各タイルが、任意の他のタイルに含まれない画像の画素を含む）または重なり合う（例えば、各タイルは、少なくとも１つの他のタイルに含まれる画像の画素の一部を含む）ことができる。各タイルのサイズおよびウィンドウのストライド（例えば、タイルと後続のタイルとの間の画像距離または画素）に加えて、タイルが重なり合うかどうかなどの特徴は、分析のためのデータセットを増減させることができ、より多くのタイル（例えば、重なり合うまたはより小さいタイルを介して）は、最終的な出力および視覚化の潜在的な分解能を高める。場合によっては、タイル生成モジュール１３１１は、各タイルが所定のサイズである、および／またはタイル間のオフセットが所定である、画像用のタイルのセットを定義する。さらに、タイル生成モジュール１３１１は、各画像について、様々なサイズ、重複、ステップサイズなどのタイルの複数のセットを作成することができる。一部の実施形態では、デジタル病理画像自体が、イメージング技術から生じ得る、タイルの重複を含むことができる。タイルの重複のないセグメント化であっても、タイル処理要件のバランスをとり、本明細書に記載される包埋生成および重み値生成への影響を回避するための好ましい解決策となり得る。タイルサイズまたはタイルオフセットは、例えば、各サイズ／オフセットについて１つまたは複数の性能メトリック（例えば、適合率、再現率、精度、および／またはエラー）を計算し、所定のしきい値を超える１つまたは複数の性能メトリックに関連付けられた、および／または１つまたは複数の最適な（例えば、高適合率、最高の再現率、最高の精度、および／または最低のエラー）性能メトリックに関連付けられたタイルサイズおよび／またはオフセットを選択することによって決定され得る。

タイル生成モジュール１３１１は、検出されている異常の種類に応じてタイルサイズをさらに定義し得る。例えば、タイル生成モジュール１３１１は、ホールスライド画像の検索システム１３１０が検索する組織異常の種類を認識して構成され得て、組織異常に応じてタイルサイズをカスタマイズして検出を最適化することができる。例えば、タイル生成モジュール１３１１は、組織異常が肺組織の炎症または壊死を検索することを含む場合、タイルサイズを縮小して走査速度を増加させるべきであり、組織異常が肝臓組織のクッパー細胞の異常を含む場合、タイルサイズを拡大して、ホールスライド画像の検索システム１３１０がクッパー細胞を全体論的に分析する機会を増加させるべきであると決定することができる。場合によっては、タイル生成モジュール１３１１は、タイルのセットを定義し、各画像について、セット内のタイルの数、セットのタイルのサイズ、セットのタイルの解像度、または他の関連するプロパティが定義され、１つまたは複数の画像のそれぞれについて一定に保持される。

本明細書で具現化されるように、タイル生成モジュール１３１１は、１つまたは複数のカラーチャネルまたは色の組み合わせに沿って各デジタル病理画像のタイルのセットをさらに定義することができる。例として、ホールスライド画像の検索システム１３１０によって受け取られたデジタル病理画像は、いくつかのカラーチャネルのうちの１つに対して指定された画像の各画素の画素色値を有する大判のマルチカラーチャネル画像を含むことができる。使用可能な色仕様または色空間の例には、ＲＧＢ、ＣＭＹＫ、ＨＳＬ、ＨＳＶ、またはＨＳＢの色仕様が含まれる。タイルのセットは、カラーチャネルをセグメント化すること、および／または各タイルの輝度マップもしくはグレースケール等価物を生成することに基づいて定義され得る。例えば、画像の各セグメントについて、タイル生成モジュール１３１１は、赤色タイル、青色タイル、緑色タイル、および／または輝度タイル、あるいは使用される色仕様と同等のものを提供することができる。本明細書に記載されるように、画像のセグメントおよび／またはセグメントの色値に基づいてデジタル病理画像をセグメント化することは、タイルおよび画像についての埋め込みを生成し、画像の分類を生成するために使用されるネットワークの精度および認識率を改善することができる。加えて、ホールスライド画像の検索システム１３１０は、例えば、タイル生成モジュール１３１１を使用して、色仕様間で変換し、および／または複数の色仕様を使用してタイルのコピーを作成することができる。色指定変換は、所望の種類の画像拡張（例えば、特定のカラーチャネル、飽和レベル、輝度レベルなどを強調または増強）に基づいて選択され得る。色仕様変換はまた、ホールスライド画像生成システム１３２０とホールスライド画像の検索システム１３１０との間の互換性を改善するように選択され得る。例えば、特定の画像走査コンポーネントは、ＨＳＬ色仕様で出力を提供することができ、本明細書に記載されるように、ホールスライド画像の検索システム１３１０において使用されるモデルは、ＲＧＢ画像を使用して訓練され得る。タイルを互換性のある色仕様に変換することにより、タイルを依然として確実に分析することができる。加えて、ホールスライド画像の検索システムは、ホールスライド画像の検索システムによって使用可能であるように、特定の色深度（例えば、８ビット、１６ビットなど）で提供される画像をアップサンプリングまたはダウンサンプリングすることができる。さらに、ホールスライド画像の検索システム１３１０は、撮像された画像の種類に応じてタイルを変換させることができる（例えば、蛍光画像は、色強度に関するより多くの詳細またはより広範囲の色を含み得る）。

本明細書に記載されるように、タイル埋め込みモジュール１３１２は、対応する特徴埋め込み空間における各タイルの埋め込みを生成することができる。埋め込みは、ホールスライド画像の検索システム１３１０によって、タイルの特徴ベクトルとして表現され得る。タイル埋め込みモジュール１３１２は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を使用して、画像の各タイルを表す特徴ベクトルを生成することができる。特定の実施形態では、タイル埋め込みニューラルネットワークは、ＩｍａｇｅＮｅｔデータセットなどの自然（例えば、非医療）画像に基づくデータセットで訓練されたＲｅｓＮｅｔ画像ネットワークに基づくことができる。特殊化されていないタイル埋め込みネットワークを使用することによって、タイル埋め込みモジュール１３１２は、画像を効率的に処理して埋め込みを生成する際の既知の進歩を活用することができる。さらに、自然画像データセットを使用することで、埋め込みニューラルネットワークは、全体論的なレベルでタイルセグメント間の違いを見分けることを学習することができる。

他の実施形態では、タイル埋め込みモジュール１３１２によって使用されるタイル埋め込みネットワークは、デジタル病理学ホールスライド画像などの大判画像の多数のタイルを処理するようにカスタマイズされた埋め込みネットワークとすることができる。加えて、タイル埋め込みモジュール１３１２によって使用されるタイル埋め込みネットワークは、カスタムデータセットを使用して訓練され得る。例えば、タイル埋め込みネットワークは、ホールスライド画像の様々なサンプルを使用して訓練され得て、または埋め込みネットワークが埋め込み（例えば、特定の組織種類のスキャン）を生成する主題に関連するサンプルを使用して訓練されることさえも可能である。画像の特殊化されたまたはカスタマイズされたセットを使用してタイル埋め込みネットワークを訓練することで、タイル埋め込みネットワークは、タイル間のより細かい違いを識別することができ、その結果、画像を取得するための追加の時間、ならびにタイル埋め込みモジュール１３１２による使用のために複数のタイル生成ネットワークを訓練する計算コストおよび経済的コストを犠牲にして、特徴埋め込み空間におけるタイル間のより詳細で正確な距離を得ることができる。タイル埋め込みモジュール１３１２は、ホールスライド画像の検索システム１３１０によって処理されている画像の種類に基づいて、タイル埋め込みネットワークのライブラリから選択することができる。

本明細書に記載されるように、タイル埋め込みは、タイルの視覚的特徴を使用して深層学習ニューラルネットワークから生成され得る。タイル埋め込みは、タイルに関連付けられたコンテキスト情報から、またはタイルに示されたコンテンツからさらに生成され得る。例えば、タイル埋め込みは、描写されるオブジェクトのサイズ（例えば、描写される細胞または異常のサイズ）および／または描写されるオブジェクトの密度（例えば、描写される細胞または異常の密度）を示す、および／またはそれに対応する、１つまたはそれを上回る特徴を含むことができる。サイズおよび密度は、絶対的に（例えば、画素単位で表された、または画素からナノメートルに変換された幅）、または同じデジタル病理画像から、（例えば、同様の技法を使用して、または単一のホールスライド画像生成システムもしくはスキャナによって生成された）デジタル病理画像のクラスから、またはデジタル病理画像の関連するファミリーから他のタイルに対して相対的に測定され得る。さらに、タイル埋め込みモジュール１３１２が埋め込みを準備するときに分類を考慮するように、タイル埋め込みモジュール１３１２がタイルの埋め込みを生成する前にタイルが分類され得る。

一貫性のために、タイル埋め込みモジュール１３１２は、所定のサイズ（例えば、５１２要素のベクトル、２０４８バイトのベクトルなど）の埋め込みを生成する。タイル埋め込みモジュール１３１２は、様々な任意のサイズの埋め込みを生成することができる。時間埋め込みモジュール１３１２は、ユーザの指示に基づいて埋め込みのサイズを調整することができ、あるいは、例えば、計算効率、精度、または他のパラメータを最適化するように選択され得る。特定の実施形態では、埋め込みサイズは、埋め込みを生成した深層学習ニューラルネットワークの制限または仕様に基づくことができる。より大きな埋め込みサイズを使用して、埋め込みに取り込まれる情報量を増加させ、結果の品質および精度を向上させることができる一方で、より小さな埋め込みサイズを使用して、計算効率を向上させることができる。

ホールスライド画像アクセスモジュール１３１３は、ホールスライド画像の検索システム１３１０およびユーザ装置１３３０の他のモジュールからのホールスライド画像にアクセスする要求を管理することができる。例えば、ホールスライド画像アクセスモジュール１３１３は、特定のタイル、タイルの識別子、またはホールスライド画像の識別子に基づいて、ホールスライド画像を識別する要求を受け取る。ホールスライド画像アクセスモジュール１３１３は、要求しているユーザがホールスライド画像を利用可能であることを確認し、要求されたホールスライド画像を取り出すための適切なデータベースを識別し、要求しているユーザまたはモジュールにとって関心があり得る任意の追加のメタデータを取り出すタスクを実行することができる。加えて、ホールスライド画像アクセスモジュール１３１３は、要求装置への適切なデータの効率的なストリーミングを処理することができる。本明細書に記載されるように、ユーザがホールスライド画像の一部を見たいと思う可能性に基づいて、ホールスライド画像をチャンクでユーザ装置に提供し得る。ホールスライド画像アクセスモジュール１３１３は、ホールスライド画像のどの領域を提供するかを決定し、それらをどのように提供するのが最善であるかを決定することができる。さらに、ホールスライド画像アクセスモジュール１３１３は、ホールスライド画像の検索システム１３１０内で権限を付与され、個々の構成要素がデータベースまたはホールスライド画像をロックしたり、さもなければ不正使用して他の構成要素またはユーザに損害を与えたりしないようにすることができる。

ホールスライド画像の検索システム１３１０の出力生成モジュール１３１４は、ユーザ要求に基づいて、結果タイルおよび結果ホールスライド画像のデータセットに対応する出力を生成することができる。本明細書に記載されるように、出力は、要求の種類および利用可能なデータの種類に基づいて、様々な視覚化、対話型グラフィック、およびレポートを含むことができる。多くの実施形態では、出力は、表示のためにユーザ装置１３３０に提供されるが、ある実施形態では、出力は、ホールスライド画像の検索システム１３１０から直接アクセスされ得る。出力は、適切なデータの存在および適切なデータへのアクセスに基づくため、出力生成モジュールは、必要に応じて必然的にメタデータおよび匿名化された患者情報にアクセスする権限を与えられる。ホールスライド画像の検索システム１３１０の他のモジュールと同様に、出力生成モジュール１３１４は、大幅なダウンタイムを必要とせずに新たな出力機能をユーザに提供することができるように、モジュール式で更新および改良され得る。

本明細書に記載される一般的な技法は、様々なツールおよび使用事例に統合され得る。例えば、上述したように、ユーザ（例えば、病理学または臨床医）は、ホールスライド画像の検索システム１３１０と通信するユーザ装置１３３０にアクセスし、分析のためのクエリ画像を提供することができる。ホールスライド画像の検索システム１３１０、またはホールスライド画像の検索システムへの接続は、対応する一致を検索し、類似の特徴を識別し、要求に応じてユーザに適切な出力を生成する、スタンドアロンのソフトウェアツールまたはパッケージとして提供され得る。合理化されたベースで購入またはライセンスされ得るスタンドアロンツールまたはプラグインとして、ツールは、研究または臨床検査室の能力を拡張するために使用され得る。加えて、ツールは、ホールスライド画像生成システムの顧客に利用可能にされたサービスに統合され得る。例えば、ツールは、統一されたワークフローとして提供され得て、ホールスライド画像の作成を実行または要求するユーザは、以前にインデックス付けされた画像および／または類似のホールスライド画像内の注目すべき特徴のレポートを自動的に受け取る。したがって、ホールスライド画像の分析を改善することに加えて、これらの技術を既存のシステムに統合して、以前には考えられなかった、または可能でなかった追加の特徴を提供することができる。

ホールスライド画像の検索システム１３１０は、特定の設定において使用するために訓練およびカスタマイズされ得る。例えば、ホールスライド画像の検索システム１３１０は、特定の種類の組織（例えば、肺、心臓、血液、肝臓など）に関する洞察を提供する際に使用するために特に訓練され得る。別の例として、ホールスライド画像の検索システム１３１０は、例えば、薬物または他の潜在的治療処置と関連付けられる毒性のレベルまたは程度を決定する際に、安全性評価を支援するように訓練され得る。特定の主題または使用事例における使用のために訓練されると、ホールスライド画像の検索システム１３１０は、必ずしもその使用事例に限定されない。訓練は、少なくとも部分的にラベル付けされたまたは注釈が付けられた画像の比較的大きなセットに起因して、特定のコンテキスト、例えば毒性評価において実行されてもよい。

本明細書に記載されるように、タイル埋め込みネットワークは、特定の機能のために設計および訓練された人工ニューラルネットワーク（「ＡＮＮ」）とすることができる。図１４は、例示的なＡＮＮ１４００を示す。ＡＮＮは、１つまたは複数のノードを備える計算モデルを指すことができる。例示的なＡＮＮ１４００は、入力層１４１０、隠れ層１４２０、１４３０、１４４０、および出力層１４５０を含む。ＡＮＮ１４００の各層は、ノード１４０５またはノード１４１５などの１つまたは複数のノードを含むことができる。特定の実施形態では、ＡＮＮの１つまたは複数のノードは、ＡＮＮの別のノードに接続され得る。完全に接続されたＡＮＮでは、ＡＮＮの各ノードは、ＡＮＮの先行するおよび／または後続の層の各ノードに接続される。限定ではなく、例として、入力層１４１０の各ノードは、隠れ層１４２０の各ノードに接続され得て、隠れ層１４２０の各ノードは、隠れ層１４３０の各ノードに接続され得て、以下同様である。特定の実施形態では、１つまたは複数のノードはバイアスノードであり、バイアスノードは、前の層のいずれのノードにも接続されておらず、前の層のいずれのノードからも入力を受け取らないノードとすることができる。図１４は、特定の数の層、特定の数のノード、およびノード間の特定の接続を有する特定のＡＮＮ１４００を示しているが、本開示は、任意の適切な数の層、任意の適切な数のノード、およびノード間の任意の適切な接続を有する任意の適切なＡＮＮを想定している。例として、図１４は、入力層１４１０の各ノードと隠れ層１４２０の各ノードとの間の接続を示すが、特定の実施形態では、入力層１４１０の１つまたは複数のノードは、隠れ層１４２０の１つまたは複数のノードに接続されず、同じことがＡＮＮ１４００の残りのノードおよび層にもあてはまる。

特定の実施形態で使用されるＡＮＮは、サイクルまたはループのない、ノード間の通信が入力層から始まって連続する層へと進む一方向に流れるフィードフォワードＡＮＮとすることができる。例として、隠れ層１４２０の各ノードへの入力は、入力層１４１０の１つまたは複数のノードの出力を含むことができる。同様に、出力層１４５０の各ノードへの入力は、隠れ層１４４０のノードの出力を含むことができる。特定の実施形態で使用されるＡＮＮは、少なくとも２つの隠れ層を有する深層ニューラルネットワークとすることができる。特定の実施形態で使用されるＡＮＮは、残差ブロックに編成された隠れ層を含むフィードフォワードＡＮＮである深層残差ネットワークとすることができる。第１の残差ブロックの後の各残差ブロックへの入力は、前の残差ブロックの出力および前の残差ブロックの入力の関数とすることができる。限定ではなく、例として、残差ブロック
への入力は、
として表現され得て、ここで
は、残差ブロック
の出力であり、
は、残差ブロック
への入力である。本開示は、特定のＡＮＮを記載しているが、本開示は任意の適切なＡＮＮを想定している。

特定の実施形態では、ＡＮＮの各ノードは、活性化関数を含むことができる。ノードの活性化関数は、所与の入力に対するノードの出力を定義または記述する。特定の実施形態では、ノードへの入力は、単数の入力とすることができ、または入力のセットを含むことができる。例示的な活性化関数は、恒等関数、バイナリステップ関数、ロジスティック関数、または任意の他の適切な関数を含むことができる。ノード
の例示的な活性化関数は、シグモイド関数
、双曲線正接関数
、整流関数
、または任意の他の適切な関数
を含むことができ、ここで
は、ノード
への入力である。

ノードに対応する活性化関数の入力は、重み付けされ得る。各ノードは、重み付けされた入力に基づいて、対応する活性化関数を使用して出力を生成することができる。本明細書で具現化されるように、ノード間の各接続は、重みに関連付けられ得る。例えば、ノード１４１５とノード１４０５との間の接続１４２５は、０．４の重み係数を有することができ、これは、ノード１４１５の入力が、ノード１４０５の出力と乗算された０．４（重み係数）であることを示す。より一般的には、ノード
の出力
は、
とすることができ、ここで、
は、ノードに対応する活性化関数
であり、
は、ノードへの入力
であり、
は、ノード
に接続されたノードの出力
であり、
はノード
とノード
との間の重み係数である。本明細書で具現化されるように、入力層１４１０のノードへの入力は、オブジェクトのベクトル表現とも呼ばれるオブジェクトを表すベクトル、対応する埋め込み空間へのオブジェクトの埋め込み、または他の適切な入力に基づくことができる。本開示は、ノードへの特定の入力およびノードの出力を記載しているが、本開示は、ＡＮＮにおけるノードへの任意の適切な入力およびノードの出力を想定している。さらに、本開示は、ノード間の特定の接続および重みを記載しているが、本開示は、ノード間の任意の適切な接続および重みを想定している。

特定の実施形態では、ＡＮＮ１４００は、訓練データを使用して訓練され得る。限定ではなく、例として、訓練データは、ＡＮＮ１４００への入力と、その入力に対応するグランドトルース値のような、予想される出力とを含むことができる。例えば、訓練データは、訓練対象を表す１つまたは複数のベクトルと、訓練対象に対する予想ラベルとを含むことができる。訓練は、典型的には、同時にまたは連続して複数の訓練対象によって行われる。ＡＮＮを訓練することは、目的関数を最適化することによって、ＡＮＮのノード間の接続に関連付けられた重みを修正することを含むことができる。限定ではなく、例として、訓練方法を使用して、誤差値を逆伝播することができる。誤差値は、例えば、誤差を最小化するコスト関数または二乗和誤差などの誤差から導出される値を使用して、訓練対象を表す各ベクトル間の距離として測定され得る。例示的な訓練方法は、共役勾配法、勾配降下法、確率的勾配降下法などを含むが、これらに限定されない。特定の実施形態では、ＡＮＮは、１つまたは複数のノードが入力を受け取らないように、または出力を生成しないように、訓練中に一時的に省略されるドロップアウト技法を使用して訓練され得る。各訓練対象について、ＡＮＮの１つまたは複数のノードは、省略される確率を有する。特定の訓練対象に対して省略されるノードは、他の訓練対象に対して省略されるノードとは異なり得る。本開示は、特定の方式でＡＮＮを訓練することを記載しているが、本開示は、任意の適切な方式でＡＮＮを訓練することを想定している。

図１５は、例示的なコンピュータシステム１５００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム１５００は、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態では、１つまたは複数のコンピュータシステム１５００は、本明細書に記載または図示される機能を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１５００上で実行されるソフトウェアは、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実行するか、あるいは本明細書に記載または図示される機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１５００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合には、コンピューティング装置を包含してもよく、その逆も同様である。さらに、コンピュータシステムへの言及は、適切な場合には、１つまたは複数のコンピュータシステムを包含してもよい。

本開示は、任意の適切な数のコンピュータシステム１５００を想定している。本開示は、任意の適切な物理的形態をとるコンピュータシステム１５００を想定している。限定ではなく、例として、コンピュータシステム１５００は、組み込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングル・ボード・コンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）またはシステム・オン・モジュール（ＳＯＭ）など）、デスクトップ・コンピュータシステム、ラップトップもしくはノートブック・コンピュータシステム、インタラクティブ・キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレット・コンピュータシステム、拡張／仮想現実装置、またはこれらのうちの２つ以上の組み合わせでもよい。適切な場合には、コンピュータシステム１５００は、１つまたは複数のコンピュータシステム１５００を含んでもよく、一体型または分散型としてもよく、複数の位置にまたがってもよく、複数の機械にまたがってもよく、複数のデータセンタにまたがってもよく、または１つもしくは複数のネットワーク内の１つもしくは複数のクラウドコンポーネントを含んでもよいクラウド内に存在してもよい。適切な場合には、１つまたは複数のコンピュータシステム１５００は、実質的な空間的または時間的な制限なしに、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを実行し得る。限定ではなく、例として、１つまたは複数のコンピュータシステム１５００は、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップをリアルタイムで、またはバッチ・モードで実行し得る。１つまたは複数のコンピュータシステム１５００は、適切な場合には、本明細書に記載または図示される１つまたは複数の方法の１つまたは複数のステップを、異なる時間または異なる場所で実行し得る。

特定の実施形態では、コンピュータシステム１５００は、プロセッサ１５０２、メモリ１５０４、記憶装置１５０６、入力／出力（Ｉ／Ｏ）インターフェース１５０８、通信インターフェース１５１０、およびバス１５１２を含む。本開示は、特定の数の特定の構成要素を特定の配置で有する特定のコンピュータシステムを記載しおよび図示しているが、本開示は、任意の適切な数の任意の適切な構成要素を任意の適切な配置で有する任意の適切なコンピュータシステムを想定している。

特定の実施形態では、プロセッサ１５０２は、コンピュータプログラムを構成する命令などの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ１５０２は、内部レジスタ、内部キャッシュ、メモリ１５０４、または記憶装置１５０６から命令を取り出し（またはフェッチし）、それらを復号し、実行し、次いで、１つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ１５０４、または記憶装置１５０６に書き込み得る。特定の実施形態では、プロセッサ１５０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ１５０２を想定している。限定ではなく、例として、プロセッサ１５０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、および１つまたは複数の変換ルックアサイド・バッファ（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ１５０４または記憶装置１５０６内の命令のコピーであってもよく、命令キャッシュは、プロセッサ１５０２によるそれらの命令の取り出しを高速化し得る。データキャッシュ内のデータは、プロセッサ１５０２で実行される命令が動作するためのメモリ１５０４または記憶装置１５０６内のデータのコピー、プロセッサ１５０２で実行される後続の命令によるアクセスのために、またはメモリ１５０４もしくは記憶装置１５０６への書き込みのためにプロセッサ１５０２で実行された以前の命令の結果、あるいは他の適切なデータであってもよい。データキャッシュは、プロセッサ１５０２による読み出し動作または書き込み動作を高速化し得る。ＴＬＢは、プロセッサ１５０２の仮想アドレス変換を高速化し得る。特定の実施形態では、プロセッサ１５０２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合には、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ１５０２を想定している。適切な場合には、プロセッサ１５０２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含んでもよく、マルチコアプロセッサであってもよく、あるいは１つまたは複数のプロセッサ１５０２を含み得る。本開示は、特定のプロセッサを記載および図示するが、本開示は、任意の適切なプロセッサを想定している。

特定の実施形態では、メモリ１５０４は、プロセッサ１５０２が実行するための命令またはプロセッサ１５０２が動作するためのデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム１５００は、記憶装置１５０６または別のソース（例えば、別のコンピュータシステム１５００など）からメモリ１５０４に命令をロードし得る。次いで、プロセッサ１５０２は、メモリ１５０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ１５０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号し得る。命令の実行中または実行後に、プロセッサ１５０２は、１つまたは複数の結果（中間結果または最終結果であってもよい）を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ１５０２は、次いで、それらの結果のうちの１つまたは複数をメモリ１５０４に書き込み得る。特定の実施形態では、プロセッサ１５０２は、（記憶装置１５０６または他の場所ではなく）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ１５０４内の命令のみを実行し、（記憶装置１５０６または他の場所ではなく）１つまたは複数の内部レジスタもしくは内部キャッシュまたはメモリ１５０４内のデータのみに対して動作する。（それぞれがアドレスバスおよびデータバスを含み得る）１つまたは複数のメモリバスは、プロセッサ１５０２をメモリ１５０４に接続し得る。バス１５１２は、後述するように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１５０２とメモリ１５０４との間に存在し、プロセッサ１５０２によって要求されるメモリ１５０４へのアクセスを容易にする。特定の実施形態では、メモリ１５０４はランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合には揮発性メモリであってもよい。適切な場合には、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、適切な場合には、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを想定している。メモリ１５０４は、適切な場合には、１つまたは複数のメモリ１５０４を含み得る。本開示は、特定のメモリを記載および図示するが、本開示は、任意の適切なメモリを想定している。

特定の実施形態では、記憶装置１５０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置１５０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバスドライブ、あるいはこれらのうちの２つ以上の組み合わせを含み得る。記憶装置１５０６は、適切な場合には、取り外し可能または取り外し不可能な（または固定された）媒体を含み得る。記憶装置１５０６は、適切な場合には、コンピュータシステム１５００の内部または外部にあってもよい。特定の実施形態では、記憶装置１５０６は、不揮発性のソリッドステートメモリである。特定の実施形態では、記憶装置１５０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、もしくはフラッシュメモリ、またはこれらの２つ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置１５０６を想定している。記憶装置１５０６は、適切な場合には、プロセッサ１５０２と記憶装置１５０６との間の通信を容易にする１つまたは複数の記憶装置制御ユニットを含み得る。適切な場合には、記憶装置１５０６は、１つまたは複数の記憶装置１５０６を含み得る。本開示は、特定の記憶装置を記載および図示するが、本開示は、任意の適切な記憶装置を想定している。

特定の実施形態では、Ｉ／Ｏインターフェース１５０８は、コンピュータシステム１５００と１つまたは複数のＩ／Ｏ装置との間の通信のための１もしくは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム１５００は、適切な場合には、これらのＩ／Ｏ装置のうちの１つまたは複数を含み得る。これらのＩ／Ｏ装置のうちの１つまたは複数は、人とコンピュータシステム１５００との間の通信を可能にし得る。限定ではなく、例として、Ｉ／Ｏ装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチル・カメラ、スタイラス、タブレット、タッチ・スクリーン、トラックボール、ビデオ・カメラ、別の適切なＩ／Ｏ装置、またはこれらのうちの２つ以上の組み合わせを含み得る。Ｉ／Ｏ装置は、１つまたは複数のセンサを含み得る。本開示は、任意の適切なＩ／Ｏ装置およびそれらのための任意の適切なＩ／Ｏインターフェース１５０８を想定している。適切な場合には、Ｉ／Ｏインターフェース１５０８は、プロセッサ１５０２がこれらのＩ／Ｏ装置のうちの１つまたは複数を駆動することを可能にする１つまたは複数の装置またはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース１５０８は、適切な場合には、１つまたは複数のＩ／Ｏインターフェース１５０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、本開示は、任意の適切なＩ／Ｏインターフェースを想定している。

特定の実施形態では、通信インターフェース１５１０は、コンピュータシステム１５００と１つもしくは複数の他のコンピュータシステム１５００または１つもしくは複数のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つまたは複数のインターフェースを提供するハードウェア、ソフトウェア、またはその両方を含む。限定ではなく、例として、通信インターフェース１５１０は、イーサネット（登録商標）もしくは他のワイヤ・ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワーク・アダプタ、またはＷＩ－ＦＩネットワークなどのワイヤレス・ネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）もしくはワイヤレス・アダプタを含み得る。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース１５１０を想定している。限定ではなく例として、コンピュータシステム１５００は、アドホックネットワーク、ローカルエリアネットワーク（パーソナルエリアネットワーク）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つもしくは複数の部分、あるいはこれらのうちの２つ以上の組み合わせと通信し得る。これらのネットワークのうちの１つまたは複数の１つもしくは複数の部分は、有線または無線であってもよい。例として、コンピュータシステム１５００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標） ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））ネットワークなど）、もしくはその他の適切な無線ネットワーク、またはこれらのうちの２つ以上の組み合わせと通信し得る。コンピュータシステム１５００は、適切な場合には、これらのネットワークのいずれかのための任意の適切な通信インターフェース１５１０を含むことができる。通信インターフェース１５１０は、適切な場合には、１つまたは複数の通信インターフェース１５１０を含み得る。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを想定している。

特定の実施形態では、バス１５１２は、コンピュータシステム１５００のコンポーネントを互いに接続するハードウェア、ソフトウェア、またはその両方を含む。限定ではなく、例として、バス１５１２は、Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（ＡＧＰ）または他のグラフィックス・バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、フロント・サイド・バス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ＬＰＣ（ｌｏｗ－ｐｉｎ－ｃｏｕｎｔ）バス、メモリバス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、ＰＣＩｅ（ＰＣＩ－Ｅｘｐｒｅｓｓ）バス、ＳＡＴＡ（ｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ）バス、ＶＬＢ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ ｌｏｃａｌ）バス、または別の適切なバス、あるいはこれらのうちの２つ以上の組み合わせを含み得る。バス１５１２は、適切な場合には、１つまたは複数のバス１５１２を含み得る。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。

本明細書では、１つまたは複数のコンピュータ可読非一過性記憶記憶媒体は、適切な場合には、１つまたは複数の半導体集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ディスクドライブ、フロッピー（登録商標）ディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の適切なコンピュータ可読非一過性媒体、またはこれらの２つ以上の任意の適切な組み合わせを含み得る。コンピュータ可読非一過性記憶媒体は、適切な場合には、揮発性、不揮発性、または揮発性と不揮発性の組み合わせとしてもよい。

本明細書では、「または」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、「Ａ、Ｂ、またはその両方」を意味する。さらに、「および」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、一緒および別々の両方である。したがって、本明細書では、「ＡおよびＢ」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、「ＡおよびＢ、一緒にまたは別々に」を意味する。

本開示の範囲は、当業者が理解するであろう、本明細書に記載または図示される例示的実施形態に対するすべての変更、置換、変形、代替、および修正を包含する。本開示の範囲は、本明細書に記載または図示される例示的な実施形態に限定されない。さらに、本開示は、それぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書で記載および図示しているが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかで記載または図示された構成要素、要素、特徴、機能、動作、またはステップのいずれかの任意の組み合わせまたは順列を含み得る。さらに、添付の特許請求の範囲において、装置もしくはシステムまたは装置もしくはシステムの構成要素が、特定の機能を実行するように適合されている、配置されている、実行可能である、構成されている、有効にされている、操作可能である、または動作可能であるという言及は、その装置、システム、または構成要素が、そのように適合されている、配置されている、実行可能である、構成されている、有効にされている、走査可能である、または動作可能である限り、その装置、システム、または構成要素が、活性化されているか、またはその特定の機能がオンになっているかどうか、またはロックが解除されているかどうかにかかわらず、その装置、システム、または構成要素を包含する加えて、本開示は、特定の利点を提供するものとして特定の実施形態を記載または図示しているが、特定の実施形態は、これらの利点を全く提供しない場合もあり、一部を提供する場合もあり、またはすべてを提供する場合もある。

実施形態
様々な実施形態は、以下を含み得る。

実施形態１：１つまたは複数のホールスライド画像を検索するためのコンピュータ実装方法であって、ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けするステップと、クエリ画像にアクセスするステップと、クエリ画像に対する埋め込みを生成するステップであって、埋め込みがクエリ画像を特徴埋め込み空間にマッピングする特徴ベクトルを含む、生成するステップと、クエリ画像に対する埋め込みをデータセット埋め込みうちの１つまたは複数と比較することによって、複数の結果タイルを識別するステップであって、比較が、特徴埋め込み空間におけるクエリ画像に対する埋め込みとデータセット埋め込みのうちの１つまたは複数との間の１つまたは複数の距離に基づく、識別するステップと、複数の結果タイルの表示を含むユーザインターフェースを生成するステップと、を含む方法。

実施形態２：１つまたは複数の結果タイルを識別するステップが、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するステップと、データセット埋め込みのうちの１つまたは複数に対応する１つまたは複数のそれぞれの領域を取り出すステップと、をさらに含む、実施形態１に記載のコンピュータ実装方法。

実施形態３：クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するステップが、特徴埋め込み空間においてクエリ画像に対する埋め込みのしきい値距離内にある複数のデータセット埋め込みを識別するステップを含む、実施形態１または２に記載のコンピュータ実装方法。

実施形態４：クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するステップが、特徴埋め込み空間における、クエリ画像に対する埋め込みまでの距離に基づいて順序付けられたデータセット埋め込みのしきい値数を識別するステップを含む、実施形態１または３のいずれかに記載のコンピュータ実装方法。

実施形態５：複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、ユーザ入力が、複数の結果タイルのうちの１つまたは複数のマーキングを含む、ステップと、１つまたは複数のマーキングされた結果タイルと関連付けられた重み付けに対応するユーザ入力を受け取るステップと、１つまたは複数のマーキングされた結果タイルと、１つまたは複数のマーキングされた結果タイルと関連付けられた重み付けに対応するユーザ入力とに基づいて、オブジェクトフィルタを生成するステップと、オブジェクトフィルタの表現に基づいて、クエリ画像に対する埋め込みを拡張するステップと、拡張されたクエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から４のいずれかに記載のコンピュータ実装方法。

実施形態６：生成されたオブジェクトフィルタを１つまたは複数のデータセット埋め込みに適用するステップが、特徴埋め込み空間において、１つまたは複数のデータセット埋め込みを、生成されたオブジェクトフィルタと比較するステップを含む、実施形態１から５のいずれかに記載のコンピュータ実装方法。

実施形態７：ユーザ装置から、生成されたオブジェクトフィルタを保存するためのユーザ入力を受け取るステップと、生成されたオブジェクトフィルタをユーザ装置の１人または複数のユーザのレコードと関連付けて記憶するステップとをさらに含む、実施形態１から６のいずれかに記載のコンピュータ実装方法。

実施形態８：ユーザ装置から、生成されたオブジェクトフィルタを１人または複数の他のユーザと共有するためのユーザ入力を受け取るステップと、生成されたオブジェクトフィルタを１人または複数の他のユーザのレコードと関連付けて記憶するステップとをさらに含む、実施形態１から７のいずれか一項に記載のコンピュータ実装方法。

実施形態９：ホールスライド画像のデータセットにインデックス付けするステップが、複数のホールスライド画像のそれぞれについて、ホールスライド画像を複数のタイルにセグメント化するステップと、埋め込みネットワークを使用して、複数のタイルの各タイルに対応しておりタイルを特徴埋め込み空間にマッピングする特徴ベクトルを生成するステップと、対応するタイルおよびホールスライド画像に関連付けて特徴ベクトルを記憶するステップと、を含む、実施形態１から８のいずれかに記載のコンピュータ実装方法。

実施形態１０：クエリ画像にアクセスするステップが、ユーザ装置からクエリ画像を受け取るステップ、クエリ画像に対応するリソースロケータもしくは一意の識別子を受け取るステップ、またはホールスライド画像の領域の指定を受け取るステップを含む、実施形態１から９のいずれかに記載のコンピュータ実装方法。

実施形態１１：クエリ画像が、ホールスライド画像に対応し、本方法はさらに、クエリ画像に対応するホールスライド画像にインデックス付して、ホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数の追加のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマップする特徴ベクトルを含む、インデックス付けするステップと、クエリ画像に対応するホールスライド画像をホールスライド画像のデータセットに追加するステップと、を含む、実施形態１から１０のいずれかに記載のコンピュータ実装方法。

実施形態１２：複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、ユーザ入力が、複数の結果タイルのうちの１つまたは複数のクエリ画像に対する関連性を示す、ステップと、ユーザ入力に基づいて、１つまたは複数の示された結果の重み付けを修正するステップと、修正された重み付けに基づいて、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１１のいずれかに記載のコンピュータ実装方法。

実施形態１３：複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、複数の結果タイルのうちの１つまたは複数の前記クエリ画像に対する関連性を示す、ステップと、関連する検索結果の平均埋め込みを計算するステップと、関連する検索結果の平均埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１２のいずれかに記載のコンピュータ実装方法。

実施形態１４：ユーザ装置から、複数の結果タイルのうちの第１の結果タイルに対応するユーザ入力を受け取るステップと、第１の結果タイルに対応する第１のホールスライド画像を識別するステップと、第１のホールスライド画像を表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１３のいずれかに記載のコンピュータ実装方法。

実施形態１５：第１のホールスライド画像または第１の結果タイルに関連付けられたメタデータを識別するステップと、第１のホールスライド画像の表示を含むユーザインターフェースにメタデータを含めるステップであって、メタデータが、第１の結果タイル、第１のホールスライド画像、または第１のホールスライド画像のソースに関する情報を含む、ステップと、をさらに含む、実施形態１から１４のいずれかに記載のコンピュータ実装方法。

実施形態１６：複数の結果タイルに対応する複数のホールスライド画像を識別するステップと、ホールスライド画像の複数のソースを識別するステップと、ホールスライド画像の複数のソースに対応する情報のレポートを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１５のいずれかに記載のコンピュータ実装方法。

実施形態１７：複数のソースに対応する情報が、複数のソースにおいて診断された状態または複数のソースと関連付けられた既知の転帰を含む、実施形態１から１６のいずれかに記載のコンピュータ実装方法。

実施形態１８：複数の結果タイルに基づいて、複数の結果タイルに対応する複数のホールスライド画像における、クエリ画像にキャプチャされた１つまたは複数の特徴のそれぞれの位置を識別するステップと、識別されたそれぞれの位置のレポートを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１７のいずれかに記載のコンピュータ実装方法。

実施形態１９：１つまたは複数の結果タイルのうちの少なくとも１つについて、特徴埋め込み空間におけるクエリ画像埋め込みと１つまたは複数のデータセット埋め込みとの間のそれぞれの距離に基づいて、対応するホールスライド画像のヒートマップを生成するステップと、ヒートマップを表示するようにユーザインターフェースを更新するステップと、をさらに含む、実施形態１から１８のいずれかに記載のコンピュータ実装方法。

実施形態２０：１つまたは複数のプロセッサと、プロセッサによって実行可能な命令を含む、プロセッサに接続されたメモリと、を備えるホールスライド画像の検索システムであって、プロセッサが、命令を実行すると、ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成し、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含み、クエリ画像にアクセスし、クエリ画像に対する埋め込みを生成し、埋め込みが、クエリ画像を特徴埋め込み空間にマッピングする特徴ベクトルを含み、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって複数の結果タイルを識別し、比較が、特徴埋め込み空間における、クエリ画像に対する埋め込みとデータセット埋め込みのうちの１つまたは複数との間の１つまたは複数の距離に基づき、複数の結果タイルの表示を含むユーザインターフェースを生成する、ように動作可能である、ホールスライド画像の検索システム。

実施形態２１：命令を実行すると、１つまたは複数の結果タイルを識別するように動作可能なプロセッサが、命令を実行すると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別し、データセット埋め込みのうちの１つまたは複数に対応する１つまたは複数のそれぞれの領域を取り出すようにさらに動作可能なプロセッサを含む、実施形態２０に記載のホールスライド画像の検索システム。

実施形態２２：命令を実行すると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するとうに動作可能なプロセッサが、命令を実行すると、特徴埋め込み空間においてクエリ画像に対する埋め込みのしきい値距離内にある複数のデータセット埋め込みを識別するようにさらに動作可能なプロセッサを含む、実施形態２０から２１のいずれかに記載のホールスライド画像の検索システム。

実施形態２３：命令を実行すると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するように動作可能なプロセッサが、特徴埋め込み空間におけるクエリ画像に対する埋め込みまでの距離に基づいて順序付けられたデータセット埋め込みのしきい値数を識別するようにさらに動作可能なプロセッサを含む、実施形態２０から２２のいずれかに記載のホールスライド画像の検索システム。

実施形態２４：命令を実行すると、プロセッサが、複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力が、複数の結果タイルのうちの１つまたは複数のマーキングを含み、１つまたは複数のマーキングされた結果タイルと関連付けられた重み付けに対応するユーザ入力を受け取り、１つまたは複数のマーキングされた結果タイルおよび１つまたは複数のマーキングされた結果タイルと関連付けられた重み付けに対応するユーザ入力に基づいて、オブジェクトフィルタを生成し、オブジェクトフィルタの表現に基づいて、クエリ画像に対する埋め込みを拡張し、拡張されたクエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するように、さらに動作可能である、実施形態２０から２３のいずれか一項に記載のホールスライド画像の検索システム。

実施形態２５：命令を実行すると、生成されたオブジェクトフィルタを１つまたは複数のデータセット埋め込みに適用するように動作可能なプロセッサが、命令を実行すると、特徴埋め込み空間において、１つまたは複数のデータセット埋め込みを生成されたオブジェクトフィルタと比較するようにさらに動作可能なプロセッサを含む、実施形態２０から２４のいずれかに記載のホールスライド画像の検索システム。

実施形態２６：命令を実行すると、プロセッサが、ユーザ装置から、生成されたオブジェクトフィルタを保存するためのユーザ入力を受け取り、生成されたオブジェクトフィルタをユーザ装置の１人または複数のユーザのレコードと関連付けて記憶するようにさらに動作可能である、実施形態２０から２５のいずれかに記載のホールスライド画像の検索システム。

実施形態２７：命令を実行すると、プロセッサはが、ユーザ装置から、生成されたオブジェクトフィルタを１人または複数の他のユーザと共有するためのユーザ入力を受け取り、生成されたオブジェクトフィルタを１人または複数の他のユーザのレコードと関連付けて記憶するようにさらに動作可能である、実施形態２０から２６のいずれかに記載のホールスライド画像の検索システム。

実施形態２８：命令を実行すると、ホールスライド画像のデータセットをインデックス付けように動作可能なプロセッサが、命令を実行すると、複数のホールスライド画像のそれぞれについて、ホールスライド画像を複数のタイルにセグメント化し、埋め込みネットワークを使用して、複数のタイルの各タイルに対応しておりタイルを特徴埋め込み空間にマッピングする特徴ベクトルを生成し、対応するタイルおよびホールスライド画像に関連付けて特徴ベクトルを記憶するようにさらに動作可能なプロセッサを含む、実施形態２０から２７のいずれかに記載のホールスライド画像の検索システム。

実施形態２９：命令を実行すると、クエリ画像にアクセスするように動作可能なプロセッサが、命令を実行すると、ユーザ装置からクエリ画像を受け取り、クエリ画像に対応するリソースロケータもしくは一意の識別子を受け取り、またはホールスライド画像の領域の指定を受け取るようにさらに動作可能なプロセッサを含む、実施形態２０から２８のいずれかに記載のホールスライド画像の検索システム。

実施形態３０：クエリ画像がホールスライド画像に対応し、プロセッサが、命令を実行すると、クエリ画像に対応するホールスライド画像をインデックス付けして、ホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数の追加のデータセット埋め込みを生成することであって、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けすることと、
クエリ画像に対応するホールスライド画像をホールスライド画像のデータセットに追加することとを行うようにさらに動作可能である、実施形態２０から２９のいずれかに記載のホールスライド画像の検索システム。

実施形態３１：命令を実行すると、プロセッサが、ユーザ入力に基づいて、１つまたは複数の示された結果の重み付けを修正し、修正された重み付けに基づいて、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３０のいずれかに記載のホールスライド画像の検索システム。

実施形態３２：命令を実行すると、プロセッサが、複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力が、クエリ画像に対する複数の結果タイルのうちの１つまたは複数の関連性を示し、関連する検索結果の平均埋め込みを計算し、関連する検索結果の平均埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３１のいずれかに記載のホールスライド画像の検索システム。

実施形態３３：命令を実行すると、プロセッサが、複数の結果タイルのうちの第１の結果タイルに対応するユーザ入力をユーザ装置から受け取り、第１の結果タイルに対応する第１のホールスライド画像を識別し、第１のホールスライド画像を表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３２のいずれかに記載のホールスライド画像の検索システム。

実施形態３４：命令を実行すると、プロセッサが、第１のホールスライド画像または第１の結果タイルに関連付けられたメタデータを識別し、第１のホールスライド画像の表示を含むユーザインターフェースにメタデータを含めるようにさらに動作可能であり、メタデータが第１の結果タイル、第１のホールスライド画像、または第１のホールスライド画像のソースに関する情報を含む、実施形態２０から３３のいずれかに記載のホールスライド画像の検索システム。

実施形態３５：命令を実行すると、プロセッサが、複数の結果タイルに対応する複数のホールスライド画像を識別し、ホールスライド画像の複数のソースを識別し、ホールスライド画像の複数のソースに対応する情報のレポートを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３４のいずれかに記載のホールスライド画像の検索システム。

実施形態３６：複数のソースに対応する情報が、複数のソースにおいて診断された状態または複数のソースと関連付けられた既知の転帰を含む、実施形態２０から３５のいずれかに記載のホールスライド画像の検索システム。

実施形態３７：命令を実行すると、プロセッサが、
複数の結果タイルに基づいて、複数の結果タイルに対応する複数のホールスライド画像内のクエリ画像にキャプチャされた１つまたは複数の特徴のそれぞれの位置を識別し、
識別されたそれぞれの位置のレポートを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３６のいずれか一項に記載のホールスライド画像の検索システム。

実施形態３８：命令を実行すると、プロセッサが、１つまたは複数の結果タイルのうちの少なくとも１つに対して、特徴埋め込み空間におけるクエリ画像埋め込みと１つまたは複数のデータセット埋め込みとの間のそれぞれの距離に基づいて、対応するホールスライド画像のヒートマップを生成し、ヒートマップを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態２０から３７のいずれか一項に記載のホールスライド画像の検索システム。

実施形態３９：実行されると、ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成し、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含み、クエリ画像にアクセスし、クエリ画像に対する埋め込みを生成し、埋め込みがクエリ画像を特徴埋め込み空間にマッピングする特徴ベクトルを含み、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって複数の結果タイルを識別し、比較が、特徴埋め込み空間における、クエリ画像に対する埋め込みとデータセット埋め込みのうちの１つまたは複数との間の１つまたは複数の距離に基づき、複数の結果タイルの表示を含むユーザインターフェースを生成するように動作可能な命令を含むソフトウェアを具現化する１つまたは複数のコンピュータ可読非一過性記憶媒体。

実施形態４０：実行されると、１つまたは複数の結果タイルを識別するように動作可能なソフトウェアが、実行されると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別し、データセット埋め込みのうちの１つまたは複数に対応する１つまたは複数のそれぞれの領域を取り出すようにさらに動作可能であるソフトウェアを含む、実施形態３９に記載のコンピュータ可読非一過性記憶媒体。

実施形態４１：実行されると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するように動作可能なソフトウェアが、実行されると、特徴埋め込み空間においてクエリ画像に対する埋め込みのしきい値距離内にある複数のデータセット埋め込みを識別するようにさらに動作可能であるソフトウェアを含む、実施形態３９から４０のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４２：実行されると、クエリ画像に対する埋め込みに基づいて複数のデータセット埋め込みを識別するように動作可能なソフトウェアが、実行されると、特徴埋め込み空間におけるクエリ画像に対する埋め込みまでの距離に基づいて順序付けられたデータセット埋め込みのしきい値数を識別するようにさらに動作可能なソフトウェアを含む、実施形態３９から４１のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４３：ソフトウェアが、実行されると、複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力が複数の結果タイルのうちの１つまたは複数のマーキングを含み、１つまたは複数のマーキングされた結果タイルに関連付けられた重み付けに対応するユーザ入力を受け取り、１つまたは複数のマーキングされた結果タイルおよび１つまたは複数のマーキングされた結果タイルに関連付けられた重み付けに対応するユーザ入力に基づいてオブジェクトフィルタを生成し、オブジェクトフィルタの表現に基づいてクエリ画像に対する埋め込みを拡張し、拡張されたクエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から４２のいずれか一項に記載のコンピュータ可読非一過性記憶媒体。

実施形態４４：実行されると、生成されたオブジェクトフィルタを１つまたは複数のデータセット埋め込みに適用するように動作可能なソフトウェアが、実行されると、特徴埋め込み空間において、１つまたは複数のデータセット埋め込みを生成されたオブジェクトフィルタと比較するようにさらに動作可能であるソフトウェアを含む、実施形態３９から４３のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４５：ソフトウェアが、実行されると、ユーザ装置から、生成されたオブジェクトフィルタを保存するためのユーザ入力を受け取り、生成されたオブジェクトフィルタをユーザ装置の１人または複数のユーザのレコードと関連付けて記憶するようにさらに動作可能である、実施形態３９から４４のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４６：ソフトウェアが、実行されると、ユーザ装置から、生成されたオブジェクトフィルタを１人または複数の他のユーザと共有するためのユーザ入力を受け取り、生成されたオブジェクトフィルタを１人または複数の他のユーザのレコードと関連付けて記憶するようにさらに動作可能である、実施形態３９から４５のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４７：実行されると、ホールスライド画像のデータセットをインデックス付けするように動作可能なソフトウェアが、実行されると、複数のホールスライド画像のそれぞれに対して、ホールスライド画像を複数のタイルにセグメント化し、埋め込みネットワークを使用して、複数のタイルの各タイルに対応しておりタイルを特徴埋め込み空間にマッピングする特徴ベクトルを生成し、対応するタイルおよびホールスライド画像に関連付けて特徴ベクトルを記憶するようにさらに動作可能なソフトウェアを含む、実施形態３９から４６のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４８：実行されると、クエリ画像にアクセスするように動作可能なソフトウェアが、実行されると、ユーザ装置からクエリ画像を受け取り、クエリ画像に対応するリソースロケータもしくは一意の識別子を受け取り、またはホールスライド画像の領域の指定を受け取るようにさらに動作可能なソフトウェアを含む、実施形態３９から４７のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態４９：クエリ画像がホールスライド画像に対応し、ソフトウェアが、実行されると、クエリ画像に対応するホールスライド画像にインデックス付けして、ホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数の追加のデータセット埋め込みを生成することであって、各データセット埋め込みが、それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けすることと、クエリ画像に対応するホールスライド画像をホールスライド画像のデータセットに追加することとを行うようにさらに動作可能である、実施形態３９から４８のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５０：ソフトウェアが、実行されると、ユーザ入力に基づいて、１つまたは複数の示された結果の重み付けを修正し、修正された重み付けに基づいて、クエリ画像に対する埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から４９のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５１：ソフトウェアが、実行されると、複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取り、ユーザ入力が、クエリ画像に対する複数の結果タイルのうちの１つまたは複数の関連性を示し、関連する検索結果の平均埋め込みを計算し、関連する検索結果の平均埋め込みをデータセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別し、第２の複数の結果タイルを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から５０のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５２：ソフトウェアが、実行されると、ユーザ装置から、複数の結果タイルのうちの第１の結果タイルに対応するユーザ入力を受け取り、第１の結果タイルに対応する第１のホールスライド画像を識別し、第１のホールスライド画像を表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から５１のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５３：ソフトウェアが、実行されると、第１のホールスライド画像または第１の結果タイルに関連付けられたメタデータを識別し、第１のホールスライド画像の表示を含むユーザインターフェースにメタデータを含めるようにさらに動作可能であり、メタデータが、第１の結果タイル、第１のホールスライド画像、または第１のホールスライド画像のソースに関する情報を含む、実施形態３９から５２のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５４：ソフトウェアが、実行されると、複数の結果タイルに対応する複数のホールスライド画像を識別し、ホールスライド画像の複数のソースを識別し、ホールスライド画像の複数のソースに対応する情報のレポートを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から５３のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５５：複数のソースに対応する情報が、複数のソースにおいて診断された状態、または複数のソースに関連付けられた既知の結果を含む、実施形態３９から５４のいずれかに記載のコンピュータ可読非一過性記憶媒体。

実施形態５６：ソフトウェアが、実行されると、複数の結果タイルに基づいて、複数の結果タイルに対応する複数のホールスライド画像における、クエリ画像にキャプチャされた１つまたは複数の特徴のそれぞれの位置を識別し、識別されたそれぞれの位置のレポートを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３９から５５のいずれか１つに記載のコンピュータ可読非一過性記憶媒体。

実施形態５７：ソフトウェアが、実行されると、１つまたは複数の結果タイルのうちの少なくとも１つに対して、特徴埋め込み空間におけるクエリ画像埋め込みと１つまたは複数のデータセット埋め込みとの間のそれぞれの距離に基づいて、対応するホールスライド画像のヒートマップを生成し、ヒートマップを表示するようにユーザインターフェースを更新するようにさらに動作可能である、実施形態３７から５６のいずれか一項に記載のコンピュータ可読非一過性記憶媒体

Claims (19)

1. コンピュータ実装方法であって、
   ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、前記それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けするステップと、
   クエリ画像にアクセスするステップと、
   前記クエリ画像に対する埋め込みを生成するステップであって、前記埋め込みが、前記クエリ画像を前記特徴埋め込み空間にマッピングする特徴ベクトルを含む、生成するステップと、
   前記クエリ画像に対する前記埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、複数の結果タイルを識別するステップであって、前記比較が、前記特徴埋め込み空間における、前記クエリ画像に対する前記埋め込みと前記データセット埋め込みのうちの前記１つまたは複数との間の１つまたは複数の距離に基づく、識別するステップと、
   前記複数の結果タイルの表示を含むユーザインターフェースを生成するステップと、
   前記複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、前記クエリ画像に対する前記複数の結果タイルのうちの前記１つまたは複数における関連性を示す、受け取るステップと、
   前記複数の結果タイルのうちの前記１つまたは複数における前記関連性を有する、関連する検索結果の平均埋め込みを計算するステップと、
   前記関連する検索結果の前記平均埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、
   前記第２の複数の結果タイルを表示するように前記ユーザインターフェースを更新するステップと、
   を含む、コンピュータ実装方法。
2. 前記複数の結果タイルを識別するステップが、
   前記クエリ画像に対する前記埋め込みに基づいて、複数の前記データセット埋め込みを識別するステップと、
   前記データセット埋め込みのうちの前記１つまたは複数に対応する前記１つまたは複数のそれぞれの領域を取り出すステップと
   を含む、請求項１に記載のコンピュータ実装方法。
3. 前記クエリ画像に対する前記埋め込みに基づいて前記複数の前記データセット埋め込みを識別するステップが、前記特徴埋め込み空間において前記クエリ画像に対する前記埋め込みのしきい値距離内にある複数の前記データセット埋め込みを識別するステップを含む、請求項２に記載のコンピュータ実装方法。
4. 前記クエリ画像に対する前記埋め込みに基づいて前記複数の前記データセット埋め込みを識別するステップが、前記特徴埋め込み空間において前記クエリ画像に対する前記埋め込みまでの距離に基づいて順序付けられた前記データセット埋め込みのしきい値数を識別するステップを含む、請求項２に記載のコンピュータ実装方法。
5. 前記複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、前記複数の結果タイルのうちの１つまたは複数をマークすることを含む、受け取るステップと、
   前記１つまたは複数のマークされた結果タイルに関連付けられた重み付けに対応するユーザ入力を受け取るステップと、
   前記１つまたは複数のマークされた結果タイルと、前記１つまたは複数のマークされた結果タイルに関連付けられた前記重み付けに対応する前記ユーザ入力とに基づいて、オブジェクトフィルタを生成するステップと、
   前記オブジェクトフィルタの表現に基づいて、前記クエリ画像の前記埋め込みを拡張するステップと、
   前記拡張されたクエリ画像の前記埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、
   前記第２の複数の結果タイルを表示するように前記ユーザインターフェースを更新するステップと
   をさらに含む、請求項２に記載のコンピュータ実装方法。
6. 前記生成されたオブジェクトフィルタを前記１つまたは複数のデータセット埋め込みに適用するステップが、前記特徴埋め込み空間において、前記１つまたは複数のデータセット埋め込みを前記生成されたオブジェクトフィルタと比較するステップを含む、請求項５に記載のコンピュータ実装方法。
7. ユーザデバイスから、前記生成されたオブジェクトフィルタを保存するためのユーザ入力を受け取るステップと、
   前記生成されたオブジェクトフィルタを、前記ユーザデバイスの１人または複数のユーザのレコードに関連付けて記憶するステップと
   をさらに含む、請求項５に記載のコンピュータ実装方法。
8. ユーザデバイスから、前記生成されたオブジェクトフィルタを１人または複数の他のユーザと共有するためのユーザ入力を受け取るステップと、
   前記生成されたオブジェクトフィルタを１人または複数の他のユーザのレコードに関連付けて記憶するステップと
   をさらに含む、請求項５に記載のコンピュータ実装方法。
9. 前記ホールスライド画像のデータセットにインデックス付けするステップが、複数のホールスライド画像のそれぞれについて、
   前記ホールスライド画像を複数のタイルにセグメント化するステップと、
   埋め込みネットワークを使用して、前記複数のタイルの各タイルに対応しており前記タイルを前記特徴埋め込み空間にマッピングする特徴ベクトルを生成するステップと、
   前記特徴ベクトルを、前記対応するタイルおよびホールスライド画像に関連付けて記憶するステップと
   を含む、請求項１に記載のコンピュータ実装方法。
10. 前記クエリ画像にアクセスするステップが、
    ユーザデバイスから前記クエリ画像を受け取るステップ、
    前記クエリ画像に対応するリソースロケータまたは一意の識別子を受け取るステップ、または
    ホールスライド画像の領域の指定を受け取るステップ
    を含む、請求項１に記載のコンピュータ実装方法。
11. 前記クエリ画像がホールスライド画像に対応し、前記方法が、
    前記クエリ画像に対応する前記ホールスライド画像にインデックス付けして、前記ホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数の追加のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、前記それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けするステップと、
    前記クエリ画像に対応する前記ホールスライド画像を前記ホールスライド画像のデータセットに追加するステップと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
12. 前記複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、前記クエリ画像に対する前記複数の結果タイルのうちの前記１つまたは複数の関連性を示す、受け取るステップと、
    前記ユーザ入力に基づいて前記１つまたは複数の示された結果の重み付けを修正するステップと、
    前記修正された重み付けに基づいて、前記クエリ画像に対する前記埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、
    前記第２の複数の結果タイルを表示するように前記ユーザインターフェースを更新するステップと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
13. ユーザデバイスから、前記複数の結果タイルのうちの第１の結果タイルに対応するユーザ入力を受け取るステップと、
    前記第１の結果タイルに対応する第１のホールスライド画像を識別するステップと、
    前記第１のホールスライド画像を表示するように前記ユーザインターフェースを更新するステップと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
14. 前記第１のホールスライド画像または前記第１の結果タイルに関連付けられたメタデータを識別するステップと、
    前記第１のホールスライド画像の前記表示を含む前記ユーザインターフェースに前記メタデータを含めるステップであって、前記メタデータが、前記第１の結果タイル、前記第１のホールスライド画像、または前記第１のホールスライド画像のソースに関する情報を含む、前記メタデータを含めるステップと
    をさらに含む、請求項１３に記載のコンピュータ実装方法。
15. 前記複数の結果タイルに対応する複数のホールスライド画像を識別するステップと、
    前記ホールスライド画像の複数のソースを識別するステップと、
    前記ホールスライド画像の前記複数のソースに対応する情報のレポートを表示するように前記ユーザインターフェースを更新するステップと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
16. 前記複数のソースに対応する前記情報が、前記複数のソースにおいて診断された状態、または前記複数のソースに関連付けられた既知の結果を含む、請求項１５に記載のコンピュータ実装方法。
17. 前記複数の結果タイルに基づいて、前記複数の結果タイルに対応する前記複数のホールスライド画像における、前記クエリ画像にキャプチャされた１つまたは複数の特徴のそれぞれの位置を識別するステップと、
    前記識別されたそれぞれの位置のレポートを表示するように前記ユーザインターフェースを更新するステップと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
18. ホールスライド画像の検索システムであって、
    １つまたは複数のプロセッサと、
    １つまたは複数のコンピュータ可読非一過性記憶媒体であって、前記プロセッサのうちの１つまたは複数に接続されており、かつ前記プロセッサのうちの１つまたは複数によって実行されると、前記システムに動作を実行させるように動作可能な命令を含む、１つまたは複数のコンピュータ可読非一過性記憶媒体とを含み、
    前記動作が、
    ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、前記それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けするステップと、
    クエリ画像にアクセスするステップと、
    前記クエリ画像に対する埋め込みを生成するステップであって、前記埋め込みが、前記クエリ画像を前記特徴埋め込み空間にマッピングする特徴ベクトルを含む、生成するステップと、
    前記クエリ画像に対する前記埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって複数の結果タイルを識別するステップであって、前記比較が、前記特徴埋め込み空間における、前記クエリ画像に対する前記埋め込みと前記データセット埋め込みのうちの前記１つまたは複数との間の距離に基づく、識別するステップと、
    前記複数の結果タイルの表示を含むユーザインターフェースを生成するステップと、
    前記複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、前記クエリ画像に対する前記複数の結果タイルのうちの前記１つまたは複数における関連性を示す、受け取るステップと、
    前記複数の結果タイルのうちの前記１つまたは複数における前記関連性を有する、関連する検索結果の平均埋め込みを計算するステップと、
    前記関連する検索結果の前記平均埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、
    前記第２の複数の結果タイルを表示するように前記ユーザインターフェースを更新するステップと、
    を含む、ホールスライド画像の検索システム。
19. 命令を含む１つまたは複数のコンピュータ可読非一過性記憶媒体であって、前記命令が、１つまたは複数のプロセッサによって実行されると、ホールスライド画像の検索システムの前記１つまたは複数のプロセッサに、
    ホールスライド画像のデータセットにインデックス付けして、１つまたは複数のホールスライド画像の１つまたは複数のそれぞれの領域に対応する１つまたは複数のデータセット埋め込みを生成するステップであって、各データセット埋め込みが、前記それぞれの領域を特徴埋め込み空間にマッピングする特徴ベクトルを含む、インデックス付けするステップと、
    クエリ画像にアクセスするステップと、
    前記クエリ画像に対する埋め込みを生成するステップであって、前記埋め込みが、前記クエリ画像を前記特徴埋め込み空間にマッピングする特徴ベクトルを含む、生成するステップと、
    前記クエリ画像に対する前記埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって複数の結果タイルを識別するステップであって、前記比較が、前記特徴埋め込み空間における、前記クエリ画像に対する前記埋め込みと前記データセット埋め込みのうちの前記１つまたは複数との間の距離に基づく、識別するステップと、
    前記複数の結果タイルの表示を含むユーザインターフェースを生成するステップと、
    前記複数の結果タイルのうちの１つまたは複数に対応するユーザ入力を受け取るステップであって、前記ユーザ入力が、前記クエリ画像に対する前記複数の結果タイルのうちの前記１つまたは複数における関連性を示す、受け取るステップと、
    前記複数の結果タイルのうちの前記１つまたは複数における前記関連性を有する、関連する検索結果の平均埋め込みを計算するステップと、
    前記関連する検索結果の前記平均埋め込みを前記データセット埋め込みのうちの１つまたは複数と比較することによって、第２の複数の結果タイルを識別するステップと、
    前記第２の複数の結果タイルを表示するように前記ユーザインターフェースを更新するステップと、
    を含む動作を実行させるように構成されている、１つまたは複数のコンピュータ可読非一過性記憶媒体。