JP5704363B2 - デジタル病理画像のための自動同期ナビゲーションシステム - Google Patents

Description

本開示は、例えば異なる方法で染色した組織サンプル画像などのデジタル病理画像における同期ナビゲーションのための自動システムに関する。

病理診断では、組織サンプルを薄い切片にスライスし（例えば、生検）、この切片を個別のスライド上に配置し、これを様々な方法及び試薬で染色することが多い。例えば、ある組織サンプル切片を、サンプルの組織構造を視覚化するためにヘマトキシリン・エオシン（Ｈ＆Ｅ）染色によって染色し、隣接する組織サンプル切片を、病気固有の抗体を用いた免疫組織化学（ＨＩＣ）染色によって染色することがある。一般に、病理学者は、Ｈ＆Ｅ染色サンプルに基づいて初期診断を行った後、検証及び予後のために同じ生検ブロックからのＩＨＣ染色を指示する。

デジタル化の傾向に伴い、標本スライドは、後でモニタ上で見るためにスキャンしてデジタル画像にされる（バーチャルスライド）ことが多い。病理学者は、最終的な診断を行うために、Ｈ＆Ｅ画像の関心領域と、同じ生検ブロックからの（単複の）ＩＨＣ画像の対応する範囲とを同時に観察する必要がある。従って、これらの染色画像を（単複の）モニタ上で正確に整列させ、倍率に関わらず画像全体を同期的に表示してナビゲートする必要がある。

異なる方法で染色した２つの隣接するサンプル切片間には、画像外観に大きな違いがあることが多く、また様々な局所的変形を伴うので、このような染色画像を整列させるのは困難である。隣接するサンプルは、単純な変換によっては結び付かないことが多く、隣接するサンプル及び異なる倍率にわたる構造的変化を予測することはできない。例えば、組織ブロックの隣接する異なる部分から取得した２つの染色画像は、構造的対応が不明瞭な場合がある。染色画像は構造が脆弱な場合もあり、画像全体を整列させるには、これを明確にする必要がある。さらに、組織切片は、サンプルの処理中に伸張又は変形されることがあるので、各画像の異なる部分が、同じ画像の他の部分とは別様に変形することがある。

さらに、組織サンプルの配置によっても、病理染色画像の整列及び同期ナビゲーションに関する難題が生じることがある。例えば、組織サンプルが異なる向きで配置され、画像の回転中心が不明な場合がある（図１Ａ）。また、組織サンプルが、異なる方法で染色されたスライド上の異なる位置に配置され、画像のサイズが大きく異なる場合もある（図１Ｂ）。

既存の画像整列及びナビゲーションのためのシステムでは、上述の問題点に起因して、ユーザがバーチャルスライド（画像）上の対応する範囲を手動で特定する必要がある。ユーザが、整列領域から離れて又は異なる解像度でナビゲートを行う場合、この処理をやり直す必要がある。これらの手動調整では、対応する範囲を正確に特定するために、専門知識を持ってズームイン／ズームアウト及び関連する手がかりの探索を行う必要がある。非常に大きな画像（例えば、１００ｋ×１００ｋ）では、手動処理は面倒かつ非実用的である。また、画像を局所的に高解像度で観察する場合、対応する領域間の外観が急激に変化し、整合点を見つけるのが困難になる。

米国特許出願第１３／４１０，９６０号明細書

従って、例えば異なる方法で染色した組織サンプルの大きな画像のような、全体的外観は類似するものの、局所的な変形があり組織サンプルの配置が異なる病理染色画像における自動同期ナビゲーションのための方法及びシステムを開発する必要がある。

本開示は、病理染色画像におけるナビゲーションを同期させるための例示的な方法を含む。この方法の実施形態は、（ａ）病理染色画像をダウンスケーリングするステップと、（ｂ）ダウンスケーリングした画像の回転を推定するステップと、（ｃ）ダウンスケーリングした画像を整列させて整列座標を生成するステップと、（ｄ）整列座標を、元の解像度の病理染色画像内の元の画像座標に変換することにより整列データを生成するステップとを含む。この方法の実施形態は、整列データに基づいて病理染色画像の対応する範囲を表示するステップを含むこともできる。

本開示による病理染色画像における自動同期ナビゲーションのための例示的なシステムは、組織範囲を検出して病理染色画像をダウンサンプリングするためのダウンスケーラと、回転角を決定して、ダウンスケーリングした画像を回転させるための回転推定器と、ダウンスケーリングした画像を整列させて整列座標を生成するための整列モジュールと、整列座標を病理染色画像内の元の画像座標に変換することにより整列データを生成するための座標変換器とを備える。この病理染色画像における自動同期ナビゲーションのための例示的なシステムは、整列データに基づいて病理染色画像の対応する範囲を表示するためのディスプレイシステムを備えることもできる。

病理染色画像における同期ナビゲーションのための例示的なコンピュータシステムも提供し、このシステムは、プログラム命令を実行するよう構成された１又はそれ以上のプロセッサと、この１又はそれ以上のプロセッサにより実行された時に、病理染色画像におけるナビゲーションを同期させるための方法をコンピュータシステムに実行させる実行可能命令を含むコンピュータ可読媒体とを含み、この方法は、（ａ）病理染色画像をダウンスケーリングするステップと、（ｂ）ダウンスケーリングした画像の回転を推定するステップと、（ｃ）ダウンスケーリングした画像を整列させて整列座標を生成するステップと、（ｄ）整列座標を病理染色画像内の元の画像座標に変換することにより整列データを生成するステップとを含む。この方法は、整列データに基づいて病理染色画像の対応する範囲を表示するステップをさらに含むことができる。

上述の大まかな説明及び以下の詳細な説明は、特許請求の範囲に記載する本発明を例示して解説するものにすぎず、本発明を限定するものではないと理解されたい。

本特許又は出願書類は、カラーで作成された少なくとも１つの図面を含む。カラー図面を含む本特許又は特許出願公報の複写物は、依頼に応じて、及び必要な料金の支払いを受けて特許庁により提供される。

Ｈ＆Ｅ（左）、ＰＲ抗体を用いたＩＨＣ（中）、及びＨＥＲ２抗体を用いたＩＨＣ（右）によってそれぞれ染色した隣接する組織サンプルの３つの染色画像における組織の配置に起因する組織の向きのずれの例を示す図である。 異なる方法で染色した、組織の配置に起因して画像サイズ及び組織の位置が異なる２つの隣接する組織サンプルの染色画像を示す図である。 本発明による例示的な自動同期ナビゲーションシステムのブロック図である。 例示的な自動同期ナビゲーションシステム内の例示的な整列サーバを示す図である。 本発明による例示的な方法を示すフロー図である。 画像の前処理例を示す図である。 例示的な回転推定を示すフロー図である。 例示的な座標変換器を示すフロー図である。 同期した画像の例を示す図である（図示の染色画像は例示目的で示すものにすぎず、ラベルで示す実際の染色画像ではない）。 複数の病理染色画像の例示的な同期表示を示すフロー図である。

以下、添付図面に例を示す例示的な実施形態を詳細に参照する。可能な限り、同じ又は同様の部分の参照については、図面全体を通じて同じ参照数字を使用する。

本明細書に開示する方法及びシステムには、多くの実用的応用がある。例えば、例示的な実施形態を使用して、異なる方法で染色した組織サンプルの複数の大きな画像を同期的に自動でナビゲートすることができる。本明細書に開示する方法及びシステムは、画像を整列させる前にダウンスケーリングを行って組織の配置のばらつきを修正し、整列座標を原画像の座標に逆変換することにより、異なる解像度での自動ナビゲーションを実現し、画像内の対応する範囲を同期表示することができる。本明細書に開示する方法及びシステムは、病理診断目的のみならず、例えば同じシーンを異なる視点から見た衛星画像などの、全体的外観は類似するものの、局所的な変形があり配置が異なるあらゆる画像における同期ナビゲーションに使用することもできる。

以下の段落では、例示を目的として「ＩＨＣ画像」及び「Ｈ＆Ｅ画像」という用語を頻繁に使用する。これらは、一般に整列すべきあらゆる病理染色画像を指すことを意図しており、逐語的にＩＨＣ又はＨ＆Ｅ画像に限定されるものではない。

図２は、本発明による例示的な自動同期ナビゲーションシステム２００のブロック図である。図２に示すように、このシステムは、整列サーバ（２０６）及びディスプレイシステム（２１０）を備えることができる。整列サーバ２０６は、少なくとも２つの染色画像（２０２及び２０４）を受け取って、これらの染色画像の整列データ（２０８）を生成することができる。整列サーバは、１又はそれ以上のコンピュータ、コンピュータシステム、プログラマブルプロセッサ、又は大きな病理染色画像を処理するために使用できる他のあらゆる装置を含むことができる。整列サーバは、（単複の）プロセッサ内で実行されるソフトウェアプログラムとして、及び／又は画像内容に基づいて画像整列を行うハードウェアとして実装することができる。

ディスプレイシステム２１０は、整列データに基づいて、病理染色画像からの対応する関心領域の画像を同期的に表示することができる。例えば、いくつかの実施形態では、ユーザがコンピュータマウスのポインタ又はカーソルを１つの染色画像内のある地点に動かし、及び／又はカーソルの周辺範囲が関心領域であることを示すと、ディスプレイシステムが、他の（単複の）染色画像内の対応する範囲を自動的に特定して対応する範囲を表示することができる。

ディスプレイシステム２１０は、１又はそれ以上のディスプレイ装置を含むことができる。ディスプレイシステムは、例えば、１又はそれ以上のコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機又はスマートフォン、ラップトップ、デスクトップ、タブレットＰＣ、メディアコンテンツプレーヤ、セットトップボックス、テレビ、ビデオゲームステーション／システム、又はデータネットワークへのアクセス及び／又はデータ及び表示画像の受け取りが可能なあらゆる電子装置とすることができる。いくつかの実施形態では、ディスプレイシステム２１０を、（単複の）テレビ、（単複の）モニタ、（単複の）プロジェクタ、（単複の）ディスプレイパネル、ビデオゲームステーション／システム、又はグラフィックユーザインタフェース（ＧＵＩ）を提供できるその他のあらゆる（単複の）ディスプレイ装置とすることができる。いくつかの実施形態では、ディスプレイシステムが、整列データの処理及び管理を行うための１又はそれ以上のコンピュータ、又はプログラマブルプロセッサなどを含むことができる。いくつかの実施形態では、ディスプレイシステムが、病理染色画像の自動同期ナビゲーションを可能にするための、（単複の）プロセッサ内で実行されるソフトウェアプログラムを含むことができる。

整列サーバ２０６及び／又はディスプレイシステム２１０は、例えば、画像データ（２０２及び２０４）及び整列データ（２０８）の記憶及び取り出しを行うためのデータベース又はデータ管理システムを含むこともできる。

整列サーバ２０６及びディスプレイシステム２１０は、有線又は無線に関わらず１つの構成要素から別の構成要素へのデータ送信を可能にするネットワーク又はあらゆる種類の通信リンクを介して互いに動作可能に接続することができる。このネットワークは、ローカルエリアネットワーク（ＬＡＮ）及び／又は広域ネットワーク（ＷＡＮ）を含むことができ、無線であっても、有線であっても、又はこれらの組み合わせであってもよい。

図３に、例示的な自動同期ナビゲーションシステム内の例示的な整列サーバ（３００）を示す。図３に示すように、この例示的な整列サーバは、ダウンスケーラ（３０６）と、回転推定器（３０８）と、整列モジュール（３１０）と、座標変換器（３１２）とを含むことができる。整列サーバの様々な構成要素は、（単複の）プロセッサ内で実行される（単複の）ソフトウェアプログラムとして、及び／又は画像内容に基づいて画像処理及び／又は整列を行うハードウェアとして実装することができる。

いくつかの実施形態では、ダウンスケーラ３０６を、病理染色画像内の組織範囲を検出するように構成することができる。いくつかの実施形態では、ダウンスケーラ３０６が、病理染色画像を、整列に適した解像度にダウンスケーリングすることができる。いくつかの実施形態では、回転推定器３０８を、参照画像に対する画像の回転角を推定し、この角度だけ画像を回転させるように構成することができる。整列モジュール３１０は、ダウンスケーリングした画像間の対応する点特徴を特定し、この対応する点特徴からダウンスケーリングした画像の三角メッシュを作成し、この三角メッシュに基づくアフィン変換を通じて整列座標を生成するように構成することができる。座標変換器３１２を使用して、この整列座標を元の画像座標に元の解像度及び元の向きで逆写像することができる。いくつかの実施形態では、座標変換器３１２が、元の画像座標に対するアフィン写像及び三角形分割を通じて、写像された元の画像座標から整列データを生成することができる。

図４は、整列サーバの様々な構成要素により実施できる例示的な方法を示すフロー図である。図４に示すように、例えば、Ｈ＆Ｅ染色画像及び疾病を示す抗体によって染色した１又はそれ以上のＩＨＣ画像などの、元の解像度の少なくとも２つの病理染色画像（４０２）を受け取ることができる。これらの画像は、（単複の）画像取得装置又はネットワーク又は（単複の）ローカル記憶媒体から受け取ることができる。図４に示すように、いくつかの実施形態では、病理染色画像内で組織サンプルが異なる向き及び／又は異なる位置に配置されている場合がある。これらの病理染色画像は、解像度が異なる場合もある。

従って、一般的には、ダウンスケーラを、染色画像内の組織の範囲を検出するように構成することができる（ステップ４０４）。いくつかの実施形態では、整列モジュールによる画像整列に適するように、画像に対して例えばトリミング及び／又はエンハンシングを含む前処理を行うことができる（図５）。再び図４を参照すると、いくつかの実施形態では、コンピュータベースの整列サーバのメモリリソースに基づいて好適な解像度を決定することができ、この決定した解像度に染色画像をダウンサンプリング（ダウンスケーリング）することができる（ステップ４０４）。好適な解像度としては、以下に限定されるわけではないが、例えば、４００×４００、８００×８００、１２００×１２００、１６００×１６００、２０００×２０００及び２４００×２４００を挙げることができる。

組織サンプルは、病理染色画像内で異なる向きに配置されている場合があるので、回転推定器を、図４に示すように染色画像の１つの向きが別の染色画像（「参照画像」）と大まかに整列するように回転できる回転角を推定するように構成することができる（ステップ４０６）。いくつかの実施形態では、Ｈ＆Ｅ画像が参照画像の役割を果たす一方で、例えば（単複の）ＩＨＣ画像などの他の（単複の）画像を、向きに関して参照画像と整列するように回転させることができる。

図６は、例示的な回転推定方法を示すフロー図である。いくつかの実施形態では、参照画像に対する画像の回転角を決定するために、１又はそれ以上の回転角候補θを選択してテストすることができる。効率化のために、この回転角候補θの選択に優先順位を付けることができる。例示的な優先順位付け順は、０°、１８０°、±１０°などであってもよい。

画像を回転角候補だけ回転させ（ステップ６０８）、この画像が回転後に参照画像とどれほど良好に整列するかを判定する（ステップ６１０〜６２２）ことにより、回転角候補を検証することができる。画像の回転後には、背景を埋め、変換を補正して、回転による組織の配置ずれを補正することができる。

図６には、回転させる画像と参照画像の間の整合する点特徴を判定するための画像整列方法を例示している。しかしながら、２０１２年３月２日に出願された米国特許出願第１３／４１０，９６０号に記載される画像整列方法などの他の画像整列方法を利用することもでき、この特許出願はその全体が引用により本明細書に組み入れられる。原理上は、回転推定中に使用するあらゆる整列方法のパラメータを、回転角候補を都合良く検証できるように調整することができる。

図６に示すように、画像を複数のサブ画像ウィンドウに区分化し（ステップ６１０）、点特徴を抽出して画像間で点特徴を整合させるように個別に処理することができる。画像区分は、画像に適したあらゆる基準に基づくことができる。例えば、Ｈ＆Ｅ染色画像（６０２）などの参照画像は、画像の構造的密度に基づいて区分化することができる。いくつかの実施形態では、画像を区分化する前に、Ｈ＆Ｅの染色又はその他の（単複の）試薬を分離することができる。区分化した署名画像（６１２）では、サブ画像ウィンドウの各々を構造的特徴に集中させることができる。サブ画像ウィンドウのサイズは、例えば１００×１００、２００×２００、３００×３００、４００×４００、５００×５００、６００×６００、８００×８００、９００×９００、又は１０００×１０００などの、点特徴の抽出及び／又は整合の判定に望ましいいずれのサイズであってもよい。

一方、例えばＩＨＣ画像などの回転させる画像も、対応する同じサイズのサブ画像ウィンドウに区分化することができる。いくつかの実施形態では、ＩＨＣ画像とＨ＆Ｅ参照画像の間の直接的な画像座標の対応に基づいてＩＨＣ画像を区分化することができる。

次に、サブ画像ウィンドウの内容を分析することにより、サブ画像ウィンドウのキーポイントを生成することができる（６１６）。最大曲率検出などの、画像に適したあらゆる画像処理方法を使用してキーポイントを生成することができる。図６に示すように、画像のセグメント化（６１４）後の最大曲率検出に基づいて、ＩＨＣ画像内のサブ画像ウィンドウのキーポイントを生成することができる。

これらのキーポイントを、参照画像内の対応するサブ画像ウィンドウと相互整合させることができる（ステップ６１８）。いくつかの実施形態では、例えば正規化相互相関などの相互相関により、他の画像内のキーポイントの対応を判定することができる。整合したキーポイントは、整合点特徴と呼ばれる。

いくつかの実施形態では、整合点特徴をフィルタ処理して誤整合又は外れ値を排除することができる（ステップ６２０）。例えば、２つの画像間の整合点を結ぶ線分を描くことができる。理論的には、整合点が全て正確である場合、これらの線は全て平行になる。従って、整合点を結ぶ直線が平行でなければ、整合が正しくないことを示しており、これらの整合点を外れ値として破棄すべきである。

回転角候補を検証するために、上記で取得した整合点特徴の数を所定値と比較することができる（ステップ６２２）。整合点特徴の数が所定値を上回る場合、この回転角候補を、次のステップに進むための回転角として検証することができる。そうでない場合、新たな回転角候補を選択し、上述したようにテストすることができる。この所定値は、例えば２０、４０、６０、８０、１００、２００、４００、１０００、又は１〜１０００の間のあらゆる整数などの、１０度以内の回転角精度を実現するいずれの整数であってもよい。いくつかの実施形態では、所定値を４０とすることができる。

また、この整列方法を、画像の少なくとも２０％、３０％、４０％、５０％、６０％、７０％又は８０％のカバレッジを達成するのに十分な整合点特徴を識別するように設計することもできる。いくつかの実施形態では、この方法のパラメータを、画像の少なくとも４０％のカバレッジを達成するように調整することができる。

次に、再び図４を参照すると、ダウンスケーラ及び回転推定器によって処理した画像を整列モジュールにより整列させて整列座標を生成することができる（ステップ４０８）。いくつかの実施形態では、画像間の対応する点特徴を特定することができる。これらの対応する点特徴から、例えばドローネ三角形分割などの三角メッシュを作成することができる。この三角メッシュに基づくアフィン変換を通じて、対応する三角形ペアの三角形内の整列座標を生成することができる。いくつかの実施形態では、この三角メッシュを用いたアフィン変換推定に基づいて、画像間の対応する点特徴をさらに精密化することができる。この精密化した対応する点特徴から、これらの画像の精密化した三角メッシュを作成することができる。そして、この精密化した三角メッシュに基づくアフィン変換を通じて整列座標を生成することができる。例示的な画像整列方法及び実施例の詳細な説明を、米国特許出願第１３／４１０，９６０号に見出すことができる。整列モジュールは、デジタル病理画像の整列座標を自動的に生成するのに適した他のアルゴリズム又は方法を利用することもできる。

状況によっては、２つの画像間の整列座標の数が多すぎて、システム性能が望ましくない状態になる場合がある。従って、いくつかの実施形態では、整列座標の数を制御することができる。例えば、所定数を上回る整列座標が生成された場合、整列モジュールはパラメータを調整し、この調整したパラメータを使用して画像を整列し直すことができる。この所定数は、例えばこの方法を実施するシステムにより決定することができる。例えば、この所定数は、１０００、２０００、３０００、４０００、５０００、又はこれらの数字間のいずれの整数であってもよい。

これで、ダウンスケーリングした画像を用いて回転推定及び画像整列を実施できたので、次に、本明細書で説明する自動ナビゲーションシステムが（単複の）画像ビューア又は（単複の）モニタに合わせて整列情報をオンザフライでスケーリングできるように、整列座標を原画像に最大解像度で逆写像する必要がある。再び図４を参照すると、座標変換器により、整列座標を元の解像度及び元の向きの画像の元の画像座標に逆変換することができる（ステップ４１０）。その後、画像表示及びユーザが開始する画像ナビゲーションのために、結果として得られた整列データ（４１２）をディスプレイシステムに転送する。

図７は、例示的な座標変換器７００を示すフロー図である。座標変換器７００は、ダウンスケーリング（ダウンサンプリング）の初期ステップに使用したパラメータ、及び（単複の）画像を参照画像に対して回転させた回転角に基づいて、整列モジュールにより生成された整列座標（７０２）を逆向きにスケーリング及び回転させて、元の向き及び元の解像度に関して画像内の元の座標に戻すことができる（ステップ７０４）。結果として得られた元の座標を使用して、それぞれの画像の三角メッシュを再計算することができる（ステップ７０６）。いくつかの実施形態では、この三角メッシュをドローネ三角形分割とすることができる。座標変換器は、アフィン写像を通じて、三角メッシュ内の整合点を判定することができる（ステップ７０８）。例えば、対応する三角形のペアに対してアフィン変換を補間することにより、三角メッシュ内の対応する三角形のペアの範囲内の座標を整合させることができる。座標変換器は、以下に限定されるわけではないが、画像間の整合点、それぞれの画像の三角形、それぞれの画像の写像関数及び画像の（単複の）回転角を含む整列データ７１０を出力することができる。

いくつかの実施形態では、この整列データを整列サーバに記憶することができる。ディスプレイシステムは、整列サーバから整列データを取得して、病理染色画像の同期ナビゲーション及び表示を行うことができる。いくつかの実施形態では、座標変換器によって整列データが生成されると、このデータを記憶するためにディスプレイシステムに転送することができる。一般には、整列データを原画像とともに記憶し、都合良く取り出して表示することができる。

ディスプレイシステムは、ユーザが複数の画像を同時にナビゲートできるようにするための１又はそれ以上のモニタ又は画像表示装置を含むことができる。例えば、ユーザは、１つの染色画像内の関心領域にナビゲートを行って焦点を合わせ、これと同時に他の染色画像内の対応する領域を詳細な分析が可能な解像度で見ることができる。図８Ａに、Ｈ＆Ｅ画像、並びにそれぞれエストロゲン受容体（ＥＲ）、ＨＥＲ−２及びプロゲステロン受容体（ＰＲ）用の染色を行った３つのＩＨＣ画像を含む４つの病理染色画像をモニタ上でいかにして同期させることができるかを示す。図８Ａに例示するように、ユーザは、Ｈ＆Ｅ画像を参照画像として使用して組織サンプル内の関心領域の構造的特徴を確認し、その間にＩＨＣ画像内の対応する領域を見て特定の抗原の有無及び分布を分析することができる。

図８Ｂは、複数の染色画像の例示的な同期を示すフロー図である。ユーザは、染色画像をあらゆる方法で操作することができる。例えば、ユーザは、この染色画像内で、例えばマウス又はその他のポインティングデバイスのカーソルを動かすことにより、特定の画像範囲が表示されるように染色画像を操作することができる。いくつかの実施形態では、ユーザが、カーソルのポイントが表示する画像範囲の中心にくるように指定することができる。いくつかの実施形態では、ユーザが、画像内の焦点を合わせて表示すべき範囲を指定することができる。

図８Ｂに示すように、ディスプレイシステム２１０が、操作又は表示する画像範囲の中心位置（点）（８０２）を決定すると、この点を、本明細書で説明した整列データ内に記憶されたものと同じ画像の三角形に写像することができる（ステップ８０４）。中心位置８０２が三角形の範囲内にあるかどうかを確認するために、この記憶された画像の三角形を正しい三角形が識別されるまで反復することができる。中心位置８０２を含む三角形が識別されると、この三角形のアフィン変換を通じてこの点を他の画像内の点に変換し（ステップ８０６）、これらを整列データ内に記憶する。

いくつかの実施形態では、三角形写像及び点変換がディスプレイシステムによって行われる。いくつかの実施形態では、これらの機能をナビゲーションシステムの別の構成要素によって行うことができる。

次に、ディスプレイシステムは、他の（単複の）画像の（単複の）中心位置を、変換された点に動かして（８０８）画像を表示する。整列サーバは、整列データを事前計算して、画像がナビゲートされ表示される前に記憶するので、ディスプレイシステムは、このデータに素早くアクセスして対応する関心領域を決定し、自動的かつ同期的にこれらを表示することができる。

図８Ａに示すように、開示する実施形態では、２つよりも多くの画像を同期させることができる。いくつかの実施形態では、例えばＨ＆Ｅ画像などのこれらの画像の１つが、参照画像としての役割を果たすことができる。例えばＥＲ ＩＨＣ画像などの、ディスプレイ上で操作する画像の中心を、記憶したアフィン変換を通じてＨ＆Ｅ画像内の点に変換することができ、このＨ＆Ｅ画像内の変換された点を、記憶したアフィン行列を通じて、例えばＰＲ ＩＨＣ画像などの別のＩＨＣ画像の点に再変換することができる。従って、いくつかの実施形態では、参照画像を通じて複数の画像を同期させることができる。自動ナビゲーションシステムに新たな染色画像が提供されると、整列サーバは、この新たな染色画像のみのための整列データを参照画像に照らして計算し、この整列データを、他の既存の画像のために生成した整列データとともに記憶することができる。

ＩＨＣ画像及びＨ＆Ｅ画像を含む病理画像は、例示的な画像にすぎない。開示した実施形態によるあらゆる種類の画像を、本明細書に開示した方法及びシステムを使用する自動同期ナビゲーションの候補とすることができ、本発明の広範にわたる思想及び範囲から逸脱することなく修正及び変更を行うことができる。

図２〜図４及び図６〜図８における上述した例示的な処理フローは、例示のためのものにすぎないと理解されたい。いくつかのステップを削除し、組み合わせ、又は再構成すること、及び追加のステップを加えることができる。

本明細書に開示した方法は、コンピュータプログラム製品、すなわち機械可読記憶装置などの非一時的情報キャリア内で有形的に具体化されたコンピュータプログラムとして、或いはプログラマブルプロセッサ、複数のプロセッサ、コンピュータ又は複数のコンピュータなどのデータ処理装置が実行するための、又はこれらの装置の動作を制御するための有形非一時的コンピュータ可読媒体として実現することができる。コンピュータプログラムは、コンパイラ型言語又はインタープリタ型言語を含むあらゆる適当な形式のプログラミング言語で記述することができ、スタンドアロンプログラムの形、又はモジュール、構成要素、サブルーチン、又はコンピュータ環境での使用に適したその他のユニットの形を含む様々な形で展開することができる。コンピュータプログラムは、１つのコンピュータ上で、或いは一箇所における、又は複数箇所にわたって分散され通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開することができる。

本明細書に開示した方法の一部又は全部を、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、プリント基板（ＰＣＢ）、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブル論理要素とプログラマブル相互接続の組み合わせ、単一の中央処理装置（ＣＰＵ）チップ、マザーボード上で組み合わせたＣＰＵチップ、汎用コンピュータ、又は本明細書で開示した自動画像ナビゲーションを実行できる装置又はモジュールの他のあらゆる組み合わせによって実現することもできる。

上述の明細書では、特定の例示的な実施形態に関して本発明を説明した。しかしながら、以下の特許請求の範囲に示す本発明の広範にわたる思想及び範囲から逸脱することなく、様々な修正及び変更を行えることが明らかであろう。従って、明細書及び図面は、限定的なものではなく例示的なものと見なすべきである。当業者には、本明細書に開示した本発明の明細書及び実施を検討することにより、本発明の他の実施形態が明らかになるはずである。

Claims (18)

1. 複数の病理染色画像におけるナビゲーションを同期させるためのコンピュータ実施方法であって、
   （ａ）前記病理染色画像をダウンスケーリングするステップと、
   （ｂ）前記ダウンスケーリングした画像の回転を推定するステップと、
   （ｃ）前記ダウンスケーリングした画像を整列させて整列座標を生成するステップと、
   （ｄ）前記整列座標を前記病理染色画像内の元の画像座標に変換することにより整列データを生成するステップと、
   を含み、前記ステップが、１又はそれ以上のコンピュータによって行われ、
   （ｂ）回転を推定するステップが、
   回転角候補を選択するステップと、
   前記ダウンスケーリングした画像の１つを前記回転角候補だけ回転させるステップと、
   前記回転後、前記ダウンスケーリングした画像を整列させて、前記ダウンスケーリングした画像間の整合点特徴を特定するステップと、
   前記整合点特徴の数に基づいて最終的な回転角を選択するステップと、
   を含むことを特徴とする方法。
2. （ａ）前記病理染色画像をダウンスケーリングするステップが、
   前記病理染色画像内の組織範囲を検出するステップと、
   前記病理染色画像を整列させるのに適した解像度を決定するステップと、
   前記病理染色画像を、前記決定した解像度にダウンスケーリングするステップと、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記回転を推定するステップが、正しくない整合点特徴をフィルタ除去するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記回転した画像の背景を埋めるステップと、
   前記回転した画像の変換を補正するステップと、
   をさらに含むことを特徴とする請求項１に記載の方法。
5. （ｃ）前記ダウンスケーリングした画像を整列させるステップが、
   前記ダウンスケーリングした画像間の対応する点特徴を特定するステップと、
   前記対応する点特徴から、前記ダウンスケーリングした画像の三角メッシュを作成するステップと、
   前記三角メッシュを用いたアフィン変換推定に基づいて、前記ダウンスケーリングした画像間の点対応を精密化するステップと、
   前記精密化した点対応から、前記ダウンスケーリングした画像の精密化した三角メッシュを作成するステップと、
   前記精密化した三角メッシュに基づくアフィン変換を通じて整列座標を生成するステップと、
   を含むことを特徴とする請求項１に記載の方法。
6. 前記整列座標の数を制御するために、前記ダウンスケーリングした画像間の整列座標を再決定するステップをさらに含む、
   ことを特徴とする請求項５に記載の方法。
7. （ｄ）前記整列座標を元の画像座標に変換するステップが、
   前記整列座標を、前記病理染色画像内の元の画像座標に元の解像度及び元の向きで逆写像するステップと、
   前記写像した元の画像座標に基づいて、前記病理染色画像の三角メッシュを作成するステップと、
   前記三角メッシュを用いたアフィン写像を通じて整列データを生成するステップと、
   を含むことを特徴とする請求項１に記載の方法。
8. 前記整列データを生成するステップが、前記病理染色画像間の順方向写像関数及び逆方向写像関数を生成するステップを含む、
   ことを特徴とする請求項７に記載の方法。
9. 前記病理染色画像が、免疫組織化学（ＨＩＣ）染色画像及びヘマトキシリン・エオシン（Ｈ＆Ｅ）染色画像から選択される、
   ことを特徴とする請求項１に記載の方法。
10. 前記整列データに基づいて、前記病理染色画像の対応する範囲を表示するステップをさらに含む、
    ことを特徴とする請求項１に記載の方法。
11. 前記表示するステップが、
    前記病理染色画像のうちの１つの中心位置を決定するステップと、
    前記整列データに基づいて、前記中心位置を別の病理染色画像の対応する座標に変換するステップと、
    前記別の病理染色画像の中心位置を、前記対応する座標に移動させるステップと、
    を含むことを特徴とする請求項１０に記載の方法。
12. 病理染色画像における同期ナビゲーションのためのコンピュータ実施システムであって、
    組織範囲を検出して、前記病理染色画像をダウンサンプリングするためのダウンスケーラと、
    回転角を決定して、前記ダウンスケーリングした画像を回転させるための回転推定器と、
    前記ダウンスケーリングした画像を整列させて整列座標を生成するための整列モジュールと、
    前記整列座標を前記病理染色画像内の元の画像座標に変換することにより整列データを生成するための座標変換器と、
    を備え、
    前記回転推定器が、
    前記ダウンスケーリングした画像間の前記回転角を推定し、
    前記ダウンスケーリングした画像の少なくとも１つを、前記ダウンスケーリングした画像の向きが整列するように前記回転角だけ回転させ、
    前記少なくとも１つの回転した画像の背景を埋め、
    前記少なくとも１つの回転した画像の変換を補正する、
    ように構成されることを特徴とすることを特徴とするシステム。
13. 前記整列データに基づいて前記病理染色画像の対応する範囲を表示するためのディスプレイシステムをさらに備える、
    ことを特徴とする請求項１２に記載のシステム。
14. 前記整列データを記憶するためのデータベースをさらに備える、
    ことを特徴とする請求項１２に記載のシステム。
15. 前記ダウンスケーラが、
    前記病理染色画像内の組織範囲を検出し、
    前記病理染色画像を整列させるのに適した解像度を決定し、
    前記病理染色画像を、前記決定した解像度にダウンスケーリングする、
    ように構成されることを特徴とする請求項１２に記載のシステム。
16. 前記整列モジュールが、
    前記ダウンスケーリングした画像間の対応する点特徴を特定し、
    前記対応する点特徴から、前記ダウンスケーリングした画像の三角メッシュを作成し、
    前記三角メッシュに基づくアフィン変換を通じて整列座標を生成する、
    ように構成されることを特徴とする請求項１２に記載のシステム。
17. 前記座標変換器が、
    前記整列座標を、前記病理染色画像内の元の画像座標に元の解像度及び元の向きで逆写像し、
    前記写像した元の画像座標に基づいて、前記病理染色画像の三角メッシュを作成し、
    前記三角メッシュを用いたアフィン写像を通じて整列データを生成する、
    ように構成されることを特徴とする請求項１２に記載のシステム。
18. 前記病理染色画像の第１の画像の中心位置を識別し、
    前記整列データに基づいて、前記中心位置を前記病理染色画像の第２の画像内の対応する座標に変換し、
    前記別の病理染色画像の中心位置を前記対応する座標に移動させる、
    ように構成されることを特徴とする請求項１３に記載のシステム。