JP6916866B2 - 画像再構成による加齢黄斑変性症を予測するための方法、実行可能プログラムを記憶するコンピュータ可読メモリ、および装置 - Google Patents

Description

本発明の例示的な実施形態は、一般に、入力として患者のカラー網膜眼底画像を使用して加齢黄斑変性症（ＡＭＤ）を予測することに関し、より詳細には、ＡＭＤ予測を正確に行うことができる網膜眼底画像のみから推定光コヒーレンス断層撮影（ＯＣＴ）投影画像（estimated optical coherence tomography (OCT) projection image）を生成することに関する。

加齢黄斑変性症（ＡＭＤ）は失明の主要原因である。より具体的には、ＡＭＤは、通常、高齢者に影響を与える病状であり、その病状は、網膜への損傷のために視野（黄斑）の中心において視力喪失をもたらす。ＡＭＤは、（５０歳を超える）高齢者の視力障害の主な原因である。黄斑変性は、顔を判断または認識することを困難または不可能にすることがあるが、多くの場合、日常生活の他の活動を可能にするのに十分な周辺視野が残っている。

図１は、グリアおよびニューロンを示す網膜の細胞成分の概略図である。異なる細胞型が、標準の大型哺乳類網膜にはあり、以下の略語、すなわち、アマクリン細胞（Ａ）、星状細胞（ＡＳ）、双極細胞（Ｂ）、錐状体（Ｃ）、神経節細胞（Ｇ）、水平細胞（Ｈ）、ミュラー細胞（Ｍ）、小膠細胞（Ｍｉ）、桿状体（Ｒ）、および錐状体（Ｃ）を使用して図１に示されている。細胞と血管（ＢＶ）との間の相互作用に留意されたい。最も内側の層から最も外側の層までの網膜の様々な層、すなわち、最も内側の視神経（ＯＮ）、神経繊維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、外側セグメント層（ＯＳ）、色素上皮（ＰＥ）、および最も外側の脈絡膜（Ｃｈ）の位置にも留意されたい。［図１は、Vecino, Elena, et al. "Glia-neuron interactions in the mammalian retina." [Progress in retinal and eye research (2015)］から複製されている。

目の内層は、網膜であり、いくつかの層を含む。網膜の後ろに脈絡膜があり、脈絡膜は、視神経乳頭を囲む網膜の中心部である黄斑を含む眼の３つの層すべてへの血液供給を含む。ＡＭＤは、「ドライ」形態および「ウェット」形態で生じる。ドライ（非滲出）形態では、ドルーゼンと呼ばれる細胞残屑が網膜と脈絡膜との間に蓄積し、網膜が分離されることがある。より厳しいウェット（滲出）形態では、血管が網膜の後ろの脈絡膜から成長し、網膜が分離されることがある。それは、レーザ凝固により、および血管の成長を止め、時には、後退させる薬物治療により治療することができる。

ＡＭＤの早期発見および予測は、失明の発生を減少させることができる。様々な網膜組織層の病理学的変化（ドルーゼン、網膜色素上皮（ＲＰＥ）異常などのような）は、ＡＭＤの初期段階の徴候である。網膜イメージングが、主として、ＡＭＤの診断のために使用され、今では網膜疾患ならびに全身性疾患をもつ患者の臨床治療および管理のために広く使用されるほどまでに過去１６０年の間に急速に発展してきた。網膜眼底撮影および光コヒーレンス断層撮影（ＯＣＴ）は、現在使用中の主要な網膜イメージング技術である。

網膜眼底撮影は、結像面上に投影された３次元（３Ｄ）網膜半透明組織の２次元（２Ｄ）表示が反射光を使用することによって得られるプロセスとして定義される。光コヒーレンス断層撮影（ＯＣＴ）は、光散乱媒体（例えば、網膜）の高解像度で３次元の画像を捕捉するために光を使用する確立された医用イメージング技術である。光コヒーレンス断層撮影は、一般に近赤外線を使用する低コヒーレンス干渉測定に基づく。比較的長い波長の光を使用することにより、光が散乱媒体に入り込むことが可能になる。

投影光コヒーレンス断層撮影（ＯＣＴ）眼底画像は、ＡＭＤの早期予測に非常に有用である様々な網膜層の高度視覚化を提供することができる（以下にリストしている参考文献内のGorczynska, Iwona, et al.を参照されたい）。投影ＯＣＴ眼底画像は、超高解像度ＯＣＴ画像から生成される。しかし、超高解像度ＯＣＴ画像技術は、非常に高価であり、多くの遠隔地および農村地では利用できない。これらの教示の実施形態は、ＡＭＤを予測するのにＯＣＴイメージングよりも費用効果が大きい技術を提供する。

これに関しては、以下の参考文献が関連する。
・Gorczynska, Iwona, et al."Projection OCT fundus imaging for visualising outer retinal pathology in non-exudative age-related macular degeneration." [BRITISH JOURNAL OF OPHTHALMOLOGY 93.5 (2009): 603-609]
・Kandel, Benjamin M., et al."Predicting cognitive data from medical images using sparse linear regression." [INFORMATION PROCESSING IN MEDICAL IMAGING; Springer. Berlin,Heidelberg, (2013).]は、磁気共鳴イメージング（ＭＲＩ）から認識データを推定するためのスパース線形回帰モデルを提案している。
・Yang, Jimei, et al."Weakly-supervised disentangling with recurrent transformations for 3d view synthesis."[ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS.(2015)]は、単一画像から３Ｄ対象物の新しいビューを合成するための回帰畳み込みエンコーダ−デコーダ・ネットワーク（recurrent convolutional encoder-decoder network）を提案している。
・Fischer, Philipp, et al. "FlowNet:Learning Optical Flow with Convolutional Networks." [ARXIV PREPRINT ARXIV:1504.06852 (2015)]は、オプティカル・フローを推定するための畳み込みニューラル・ネットワークの２つのアーキテクチャを提示しており、１つのアーキテクチャは、一般的なアーキテクチャであり、他のアーキテクチャは、異なる画像位置の特徴ベクトルを相関させる特定の層を使用する。オプティカル・フローを推定するための畳み込みニューラル・ネットワークの２つのアーキテクチャを提示している。１つのアーキテクチャは一般的なアーキテクチャであり、他のアーキテクチャは異なる画像位置における特徴ベクトルを相関させる特定の層を使用する。
・Gregor, Karol, et al. "DRAW: A recurrent neural network for image generation." [ARXIV PREPRINT ARXIV:1502.04623 (2015)]は、画像生成のためのディープ・リカレント・アテンティブ・ライタ（ＤＲＡＷ）ニューラル・ネット・アーキテクチャを説明している。ＤＲＡＷネットワークは、人間の眼の中心窩を模倣する空間注視機構（spatial attention mechanism）を、複合画像の反復構成を可能にする連続変分オートエンコーディング・フレームワーク（sequential variational auto-encoding framework）と組み合わせて、深層畳み込みニューラル・ネットワーク・ベース・オートエンコーダをもたらす。
・Masci, Jonathan, et al. "Stacked convolutional auto-encoders for hierarchical feature extraction."[ARTIFICIAL NEURAL NETWORKS AND MACHINE LEARNING-ICANN 2011, p 52-59. Springer.Berlin, Heidelberg (2011)]
・Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion [Vincent (2010)].
・Contractive Auto-Encoders: Explicit Invariance During Feature Extraction [Rifai (2011)]
・Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction [J. Masci (2011)]
・Vecino, Elena, et al. "Glia-neuron interactions in the mammalian retina." [PROGRESS IN RETINAL AND EYE RESEARCH (2015)]
・Nowak, Eric, Frederic Jurie, and Bill Triggs. "Sampling strategies for bag-of-features image classification." [COMPUTER VISION-ECCV 2006, page 490-503. Springer.Berlin, Heidelberg (2006)]

Gorczynska, Iwona, et al."Projection OCT fundus imaging for visualising outer retinal pathology in non-exudative age-related macular degeneration." [BRITISH JOURNAL OF OPHTHALMOLOGY 93.5 (2009): 603-609] Kandel, Benjamin M., et al."Predicting cognitive data from medical images using sparse linear regression." [INFORMATION PROCESSING IN MEDICAL IMAGING; Springer. Berlin, Heidelberg, (2013).] Yang, Jimei, et al."Weakly-supervised disentangling with recurrent transformations for 3d view synthesis."[ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS.(2015)] Fischer, Philipp, et al."FlowNet: Learning Optical Flow with Convolutional Networks." [ARXIVPREPRINT ARXIV:1504.06852 (2015)] Gregor, Karol, et al. "DRAW: A recurrent neural network for image generation." [ARXIV PREPRINT ARXIV:1502.04623 (2015)] Masci, Jonathan, et al."Stacked convolutional auto-encoders for hierarchical feature extraction." [ARTIFICIAL NEURAL NETWORKS AND MACHINE LEARNING-ICANN 2011,p 52-59. Springer. Berlin, Heidelberg (2011)] Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction [J. Masci (2011)] Contractive Auto-Encoders: Explicit Invariance During Feature Extraction [Rifai (2011)] Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction [J. Masci (2011)] Vecino, Elena, et al."Glia-neuron interactions in the mammalian retina." [PROGRESS INRETINAL AND EYE RESEARCH (2015)] Nowak, Eric, Frederic Jurie, and Bill Triggs. "Sampling strategies for bag-of-features image classification." [COMPUTER VISION-ECCV 2006, page 490-503. Springer.Berlin, Heidelberg (2006)]

従って本発明が解決しようとする課題は、画像再構成による加齢黄斑変性症の予測を行う方法、コンピュータ可読メモリ、および装置を提供することである。

本発明の第１の態様において、本発明の実施形態は、
ａ．光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層（biological layer）の各々に対してＯＣＴ投影画像を生成することと、
ｂ．生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
ｃ．入力網膜眼底画像から第２の特徴セットを抽出することと、
ｄ．それぞれの生物学的層ごとに、第２の特徴セットのうちの少なくともいくつかの特徴を第１の特徴セットのうちの対応する特徴と一致させることによって入力網膜眼底画像をそれぞれのＯＣＴ投影画像に位置合わせすることと、
ｅ．入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すことと、
ｆ．入力網膜眼底画像に対する変化が、対応して位置合わせされた投影画像においてどのように現れるかをモデリングすることと、
ｇ．モデリングを利用して所与の網膜眼底画像から多数の生物学的層に対する推定ＯＣＴ投影画像を生成するプログラムをコンピュータ可読メモリに記憶することと
を含む方法を提供する。

本発明の第２の態様において、実行可能プログラムを記憶するコンピュータ可読メモリがあり、実行可能プログラムは、
ａ．光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層の各々に対してＯＣＴ投影画像を生成するためのコードと、
ｂ．生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出するためのコードと、
ｃ．入力網膜眼底画像から第２の特徴セットを抽出するためのコードと、
ｄ．第２の特徴セットのうちの少なくともいくつかの特徴を第１の特徴セットのうちの対応する特徴と一致させることによって入力網膜眼底画像をそれぞれの生物学的層ごとのそれぞれのＯＣＴ投影画像に位置合わせするためのコードと、
ｅ．入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すためのコードと、
ｆ．入力網膜眼底画像に対する変化が、対応して位置合わせされた投影画像においてどのように現れるかをモデリングするためのコードと、
ｇ．多数の生物学的層に対する推定ＯＣＴ投影画像を所与の網膜眼底画像から生成するためにモデルを利用するためのコードと
を含む。

本発明の第３の態様において、コンピュータ可読コードを含む１つまたは複数のメモリと、１つまたは複数のプロセッサとを含む装置があり、
１つまたは複数のプロセッサが、コンピュータ可読コードの実行に応じて、装置に、
ａ．光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層の各々に対してＯＣＴ投影画像を生成することと、
ｂ．生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
ｃ．入力網膜眼底画像から第２の特徴セットを抽出することと、
ｄ．それぞれの生物学的層ごとに、第２の特徴セットのうちの少なくともいくつかの特徴を第１の特徴セットのうちの対応する特徴と一致させることによって入力網膜眼底画像をそれぞれのＯＣＴ投影画像に位置合わせすることと、
ｅ．入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すことと、
ｆ．入力網膜眼底画像に対する変化が、対応して位置合わせされた投影画像においてどのように現れるかをモデリングすることと、
ｇ．モデリングを利用して所与の網膜眼底画像から多数の生物学的層に対する推定ＯＣＴ投影画像を生成するプログラムを１つまたは複数のメモリに記憶することと
を含む動作を実行させるように構成される。

これらおよび他の態様は、さらに綿密に以下で詳述される。

網膜の細胞成分の先行技術の概略図である。 中心眼底写真で示されたスペクトルドメインＯＣＴ画像の２つの共通位置およびそれらの位置のＯＣＴボリューム走査を示す図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 ＯＣＴ画像から生成された先行技術の例示の投影ＯＣＴ眼底画像の図である。 主にハード・ドルーゼンが存在する状態での網膜眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態でのＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態でのＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態でのＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態での投影ＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態での投影ＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態での投影ＯＣＴ眼底画像を示す画像の図である。 主にハード・ドルーゼンが存在する状態での投影ＯＣＴ眼底画像を示す画像の図である。 これらの教示の一実施形態によるＯＣＴ投影画像を推定するための主要なステップを示すプロセスフローチャートである。 これらの教示の一実施形態に従ってセグメント化されているＯＣＴ層を示す画像の図である。 推定ＯＣＴ投影画像を生成するためにこれらの教示の一実施形態に従ってＯＣＴ投影と網膜眼底画像との相互位置合わせを示すプロセスフローチャートである。 これらの教示の実施形態による、ＯＣＴ投影画像を推定するためのモデルを作成するために使用することができる入力層および出力層に等しい数のノードを有するオートエンコーダの概念図である。 ＯＣＴ投影画像再構成ベースのＡＭＤ予測モデルのブロック図である。 図２０および図２２で作成されたＯＣＴ投影画像推定モデルを利用するＡＭＤ予測システム／プログラムへの唯一の入力としての患者の網膜眼底画像を有する図２４のより一般化された図である。 これらの教示により機能を実行するためのコンピューティング・システムを示す高水準ブロック図である。 本発明の実施形態の特定の特徴を包含する方法を示す論理フローチャートである。

ＯＣＴイメージングにより、ＡＭＤに直接相関する（ＡＭＤを予測する）網膜組織層特異的情報を得ることが可能になるので、ＯＣＴイメージングはＡＭＤを効果的に予測することができる。網膜眼底組織画像は、その層特異的情報を与えることができず、したがって、その予測能力を欠いており、または少なくともそれはこれらの教示の前の状況であった。ＯＣＴイメージングは、高価であり、農村地域および遠隔地域ではまだ広く利用可能でないが、網膜カラー眼底画像は、比較的安価であり、はるかに広く利用可能である。これらの教示の実施形態は、経時的な網膜眼底画像の変化と様々な組織層の投影ＯＣＴ眼底画像との高い相関性を利用する。以下でさらに詳述するように、これらの教示は、網膜カラー眼底画像から様々な網膜組織層の投影光コヒーレンス断層撮影（ＯＣＴ）眼底画像を推定するモデルを提供する。様々な網膜組織層の推定投影ＯＣＴ画像と網膜カラー眼底画像との組合せは、ＡＭＤの早期予測のために機械学習パイプラインでさらに使用することができる。

図２の中央部分は、黄斑領域が中央の長方形によって輪郭付けられ、視神経乳頭領域が、オフセットされた長方形によって輪郭付けられている網膜眼底画像を示す。図２の左側は、黄斑が中心にある対応するＯＣＴボリューム画像を示し、一方、図２の右側は、視神経乳頭領域が中心にある対応するＯＣＴボリューム画像である。ＯＣＴ画像技術の最近の進歩により、図２の左側および右側に示した超高解像度３次元光コヒーレンス断層撮影（３Ｄ−ＯＣＴ）を捕捉することができる。そのような３Ｄ−ＯＣＴ画像を使用して、図３に示すように、様々な網膜深度レベルを選択的に合計することによって投影ＯＣＴ眼底画像を生成することができる。

図３〜図１１は、正常な眼のそのような投影ＯＣＴ眼底画像の先行技術の例を示す。具体的には、図３は、４次多項式曲線フィットによる外側網膜の輪郭の近似を示すＯＣＴ画像のＢ走査であり、図４は、サイズ５００×１０２４×１８０のＢ走査ＯＣＴ画像のスタックであり、図５は、Ｂ走査ＯＣＴ画像ごとに未処理のものの各々の強度値の合計を取ることによって生成されるサイズ５００×１８０のＯＣＴ眼底画像である。図６は、網膜色素上皮（ＲＰＥ）層（矢印で示された直線によってマークされている）の手動セグメンテーションを示し、図６の特定の深さでのＢ走査ごとの各列の強度値の合計が、図７に示され、それにより、図８に示すＲＰＥ層のＯＣＴ投影画像がもたらされる。図９に示す光顆粒層（ＯＮＬ）層、図１０に示す光受容体外節（ＰＲ−ＯＳ）層、および図１１に示す脈絡膜層のＯＣＴ投影画像は、すべて同じ手法を続けることによって得られる。

投影ＯＣＴ眼底イメージングは、様々な網膜層におけるＡＭＤに関連する網膜病理の高度視覚化を促進する。様々なタイプのドルーゼンは、投影ＯＣＴ画像において異なる特徴を示す。例えば、光受容体破壊は、光受容体内節／外節（ＩＳ／ＯＳ）境界および外境界膜（ＥＬＭ）の喪失によって示される。網膜色素上皮（ＲＰＥ）萎縮は、脈絡膜レベル投影ＯＣＴ画像を使用して評価することができる。これらの例は、投影ＯＣＴイメージングがＡＭＤの早期予測に非常に有用であることを明らかにしている。

図１２〜図１９は、主にハード・ドルーゼンが存在する状態での網膜眼底画像、ＯＣＴ眼底画像、および投影ＯＣＴ眼底画像の応答を示す画像である。図１２はカラー眼底写真であり、図１３はＯＣＴ眼底画像である。図１４および図１５は、３Ｄデータセットから抽出された断面ＯＣＴ画像である。図１６から図１９は、投影ＯＣＴ眼底画像である。図１５および図１７における括弧は、光受容体層破壊の区域を示す。図１４〜図１５の断面ＯＣＴ画像の位置は、投影ＯＣＴ眼底画像にラインとして示されている。図４において、頭字語ＢＭはブルッフ膜を表し、ＥＬＭは外境界膜であり、ＩＳ／ＯＳは光受容体内節／外節接合部であり、ＯＮＬは外顆粒層であり、ＰＲ ＯＳは光受容体外節であり、ＲＰＥは網膜色素上皮である。

背景技術のセクションで言及したように、投影ＯＣＴ画像は非常に高価な超高解像度ＯＣＴ画像を必要とし、それは、現在のところ、広く利用可能ではない。結果として、ＡＭＤの早期予測に投影ＯＣＴ画像を利用することは、依然として非常に限定されている。本明細書の開示は、比較的安価で容易に利用可能な網膜眼底画像から投影ＯＣＴ画像を推定する方法を提示する。ＡＭＤ予測を正確に行うことができるのは、各々が患者の眼の様々な生物学的層を表すこれらの推定投影ＯＣＴ画像に由来する。しかし、これらの推定投影ＯＣＴ画像は、患者の網膜眼底画像から作り出されており、ＯＣＴイメージング装置からのものではない。以下でさらに詳述するように、記載したそうするためのモデルは、臨床的に重要な網膜組織層についてのＡＭＤ病理学に関するより詳細な情報を提供するであろう。

さらに、推定ＯＣＴ投影画像と網膜眼底画像との組合せは、ＡＭＤの早期予測のために機械学習パイプラインを訓練するのに使用することができる。これに関しては、Gregor, Karol等による論文（背景技術のセクションにリストしている参考文献を参照されたい）に概説されている原理に類似している深層畳み込みニューラル・ネットワーク・ベース・オートエンコーダは、網膜眼底画像からＯＣＴ投影画像を生成するために直接適用可能である。発明者等の知る限りでは、網膜眼底画像を使用したＯＣＴ投影画像のモデル化／再構成に関する以前の研究は行われていない。

網膜眼底画像から推定ＯＣＴ画像を生成するＯＣＴ推定モデルを作成するための、および実際の患者（人間か動物かにかかわらず）のＡＭＤを予測するためにより大きいソフトウェア・フレームワーク内でそのＯＣＴ推定モデル（ＡＭＤ予測モデル）を使用するための別個のプロセスがあることを理解した上で、以下の用語が本明細書の技術をより明確に説明するために使用される。ＡＭＤ予測モデルは、一旦作成されると、ＯＣＴイメージング装置が容易に利用可能ではないかまたは法外な費用がかかる農村区域および遠隔区域を含む広範な使用のために分配することができる、コンピュータ可読メモリに記憶されたコンピュータ・プログラムと見なすことができる。入力網膜眼底画像が、ＯＣＴ推定モデルを作成するために入力され、一方、患者の網膜眼底画像は、その特定の患者のＡＭＤを予測するために、作成されたＡＭＤ予測モデルに入力される。ＯＣＴ推定モデルの作成／訓練において、入力網膜眼底画像は実際のＯＣＴ投影画像と突き合わされ、その結果、ＯＣＴ推定モデルは、眼（またはより詳細には網膜）の多数の生物学的層の推定ＯＣＴ投影画像を生成／作成することができることになる。推定ＯＣＴ投影画像は、ＯＣＴ推定モデルを作成するために使用された実際のＯＣＴ投影画像とは異なって、ＯＣＴイメージング装置から生じていない２Ｄ画像である。ＯＣＴ推定モデルを作成するとき、この突合せを実行するために、特徴が、実際のＯＣＴ投影画像から抽出され（第１の特徴セット）、および入力網膜眼底画像から抽出される（第２の特徴セット）。患者の網膜眼底画像とそれから生成された推定ＯＣＴ投影画像との間の同様の特徴の抽出および突合せが、同様に、ＡＭＤ予測モデルを使用する場合に使用される。実際のＯＣＴ投影画像の１つまたは複数の生物学的層におけるいくつかの特徴と、これらの特徴が経時的にどのように変化するか（例えば、３か月以内の層ＡおよびＤのドルーゼン数のｘ％増加）とが、ＡＭＤの正確な予測因子であることが分かっており、ＯＣＴ推定モデルは、このＡＭＤ予測知識を、所与の網膜眼底画像から推定ＯＣＴ投影画像を生成する方法に組み込む。

一旦ＯＣＴ推定モデルが作成されると、ＡＭＤの早期予測に向けて機械学習パイプラインを訓練するために、テスト網膜眼底画像を入力し、テスト網膜眼底画像から推定ＯＣＴ投影画像を生成することができる。一実施形態では、推定ＯＣＴ投影画像は、訓練データ主導スタック畳み込みオートエンコーダ（training data driven stacked convolutional auto-encoder）を使用して、網膜眼底の変化と様々なタイプのＯＣＴ投影画像との相関性を使用することによって生成されることになる。これに関しては、それは、推定ＯＣＴ投影画像を作成するために使用される患者（またはテスト）の網膜眼底画像と比べて、より多くの詳細情報を含むであろう。

このようにして、推定ＯＣＴ投影画像と患者の網膜眼底画像との組合せを使用してＡＭＤ予測の特徴空間を強化することができる。推定ＯＣＴ投影画像を生成するＯＣＴ推定モデルを作成するとき、これらの推定ＯＣＴ画像は、異なる層のＯＣＴ投影画像ごとにオートエンコーダを訓練するためにのみ使用することができ、そこで、ＡＭＤ予測ソフトウェアのテストまたは初期訓練段階では、網膜眼底画像しかＯＣＴ投影画像の推定には必要とされない。この態様のために、本明細書で説明するＡＭＤ予測の発明は、ＯＣＴイメージング技術／装置が利用可能ではない地方および他の区域／地域での使用のために容易に利用可能にすることができる。

これにより、ＡＭＤの早期予測のために、網膜眼底画像の変化と様々な推定ＯＣＴ投影画像（ビッグ訓練データ主導深層畳み込みオートエンコーダを使用することによって学習される）との相関を活用することが可能になる。推定ＯＣＴ画像を介してＡＭＤを予測するために網膜眼底画像を使用することは、それ自体、ＡＭＤを予測するために実際のＯＣＴ画像を使用することよりも経済的であり、購入しやすく、容易に手に入りやすい（少なくとも農村区域および遠隔区域において）。様々なタイプの推定ＯＣＴ投影画像の変化と網膜眼底画像の変化との相関の訓練主導事前知識がＡＭＤの早期予測のために今まで使用されたことがあることは知られていない。

例示の実施形態では、推定ＯＣＴ投影画像を生成するＯＣＴ推定モデルに関係する２つの大まかなステップがある。第１のステップにおいて、網膜眼底画像の変化と様々なタイプの実際のＯＣＴ投影画像の変化との相関がモデル化され、そこで、所与のカラー網膜眼底画像から有用な推定ＯＣＴ投影画像を生成する方法を知ることができ、図２０は、１つの生物学的層に対するこの第１のステップ５１０を示し、これはＯＣＴ推定モデルを作成する方法である。それに続いて、ＯＣＴ推定モデルはより大きいＡＭＤ予測モデル内に入れられ、より大きいＡＭＤ予測モデルは、実際のＯＣＴ画像を使用することなく、（テストまたは患者の）網膜眼底画像から様々なタイプの推定ＯＣＴ投影画像を生成する。これが、図２０において第２のステップ５２０として示されている。より大きいＡＭＤ予測モデルでは、テスト網膜眼底画像と、それから生成された推定ＯＣＴ投影画像とは、ＡＭＤの早期予測に向けて機械学習パイプラインを訓練するために組み合わされる。

第１のステップ５１０から始めて、最初に、実際のＯＣＴ画像における網膜組織層がセグメント化され（５１２）、これらの層から、対応する（実際の）ＯＣＴ投影画像が生成される（５１４）。これらは、ＯＣＴイメージング装置で撮られた実際のＯＣＴ画像である。次いで、各ＯＣＴ投影画像が、入力網膜眼底画像と相互位置合わせされる（５１６）。先行技術の多焦点画像ベースのＡＭＤ予測では、患者の網膜眼底画像とその同じ患者の実際のＯＣＴ画像とが、ＡＭＤを予測するために比較されており、そこで、これらの両方をＡＭＤの正確な予測に関連づけるデータ点のライブラリが存在する。ステップ５１０においてＯＣＴ推定モデルを構築するとき、同じ患者からのこれらの網膜眼底画像と実際のＯＣＴ画像とを利用して、一方の画像の他方の画像へのより精密でより正確な位置合わせを達成することは有用であるが、これは、本明細書のより広義の教示にとって必要ではない。それに続いて、相互位置合わせされた網膜眼底画像とＯＣＴ投影画像とを使用して、ＯＣＴ投影画像を推定するためのＯＣＴ推定モデル５１８が作成される。厳密には、発明を理解する観点から、異なる生物学的／組織層ごとに推定ＯＣＴ投影画像を生成するための異なるＯＣＴ推定サブモデルがあり、多数のサブモデルが一緒にＯＣＴ推定モデル５１８を形成し、そのＯＣＴ推定モデル５１８が、ステップ５２０において、単一の患者網膜眼底画像から様々な層の推定ＯＣＴ投影画像を生成できることを考慮に入れるのは都合がよい。特定の例では、このＯＣＴ推定モデルは、所与の網膜眼底画像からＯＣＴ投影画像を再構成するために畳み込みニューラル・ネットワーク・ベース・オートエンコーダを訓練することによって作成される。これらは、以下でより細かく詳述される。

第２のステップ５２０はまた、より大きいＡＭＤ予測モデルに広範に展開する前にＯＣＴ推定モデル５１８をテストするために使用されてもよく、テスト網膜画像は、訓練されたオートエンコーダを通過し、各オートエンコーダは異なる層の推定ＯＣＴ投影画像を作り出し（５２２）、次いで、異なる層の推定ＯＣＴ投影画像は、テスト網膜眼底画像に関連する実際のＯＣＴ投影画像と比較されて、システムは、正確な推定ＯＣＴ投影画像を生成する方法を訓練され得る。

第１のステップ５１０においてＯＣＴ層の自動セグメンテーション５１２を実施する多くの方法がある。図２１はいくつかの例示のＯＣＴ層を示す。先行技術では、主として、エッジ・マッピングおよび強度クラスタリングが、ＯＣＴ層のセグメンテーションに使用され、これらの非限定の例は、これらの教示の実施形態にも適している。

上記のように、３次元ＯＣＴ画像がセグメント化されて（５１２）、第１のステップ５１０の実際の投影ＯＣＴ眼底画像が生成される（５１４）。図３〜図１１は、このように生成された先行技術の例示の投影ＯＣＴ眼底画像である。一実施形態では、これらの（実際の）投影ＯＣＴ眼底画像は、異なるセグメント化網膜層を選択的に合計することによって作成される（例えば、図５を参照）。これらの教示の一実施形態において異なる網膜層のＯＣＴ投影画像を生成する（５１４）ために使用されるのはこれらの自動的にセグメント化されたＯＣＴ層５１２である。

異なる層のＯＣＴ投影画像は、各々、例えば血管ベース標識点を使用して、入力網膜眼底画像と相互位置合わせされる（５１６）。図２２は、そうするための主なプロセス・ステップのうちのいくつかを示す。入力カラー網膜眼底画像は７０２において入力され、画像７０４は、このモデル／生物学的層の組織層に一致することになる画像のセグメンテーションを表す。しかし、実際には、カラー眼底画像７０２はそもそも単なる２Ｄであり、そこで、これは、３Ｄ ＯＣＴ画像で行われるような本当のセグメンテーション７０４ではなく、画像７０４は、現在処理されている層に関連するそれらの特徴のみをカラー眼底画像から抽出することを表している。図２２の例では、それは血管層であるが、実際には、他の層に関連する特徴を２Ｄカラー眼底画像７０２から抽出して、それらの他の層のためのモデルを構築することができる。結局、同じカラー網膜眼底画像が、異なる層のために抽出される異なる特徴を有し、図２２のプロセスがこれらの異なる層に対して繰り返され、そこで、そのような層ごとのＯＣＴ投影画像を推定するモデルが存在する。カラー網膜眼底画像から抽出されたこれらの特徴のすべては、第１のセットと見なすことができる。実際のＯＣＴ投影画像の異なる層の各々から第２の特徴セットを抽出する場合、画像を突き合わせるとき、第１のセットは一致されるべきすべての層の網膜眼底画像からの特徴を有しているはずなので、第１のセットのいくつかの特徴のみが層特異的な第２のセット内の特徴に対応することになる。

３Ｄ ＯＣＴ画像（ボリューム）７０６が入力され、投影ＯＣＴ眼底画像７０８、または処理されている特定の層がそのボリュームから生成される。このセグメンテーションを行う先行技術の方法は上述されている。この３Ｄ ＯＣＴ画像と入力網膜眼底画像７０２との間の分かっている対応、例えば、上記のような同じ履歴の患者からのものなどが存在することが好ましい。図２２では、血管層が、処理されている例示の層であり、そこで、この層の投影ＯＣＴ眼底画像７０８は７１０においてセグメント化され、第２の特徴セットが抽出される。次いで、７１２において、同じ組織層に対するセグメント化されたカラー網膜眼底画像７０４とセグメント化された投影ＯＣＴ眼底画像７１０とが、一致する特徴点が見いだすために比較される。７１４において、例えばアフィン変換モデルの係数を計算することによって、特徴突合せを使用してこれらの２つの画像を相関させるための計算が行われる。このフィット型相関モデル（fitted correlation model）（図２０の５１８）を用いて、カラー網膜眼底画像７０２が、ＯＣＴ投影眼底画像７０６と位置合わせされ、結果７１８から、所与の網膜眼底画像のみを使用して、ＯＣＴ投影画像（その組織／生物学的層の）を推定する方法を知ることになる。７１４における特徴突合せは、ＡＭＤの正確な予測因子であることが既に分かっている特徴を強調することができる。

図２０の５１８で作成されたＯＣＴ推定モデルの品質は、網膜眼底画像７０２からのＡＭＤ予測において高い精度を得るための重要な指標である。一実施形態では、ＯＣＴ推定モデル５１８は、異なる組織層の網膜眼底画像の変化と実際のＯＣＴ投影画像の変化との相関をモデリングするために、深層畳み込みニューラル・ネットワーク・ベースの画像再構成手法（例えば、オートエンコーダ）を利用する。そこで、例えば、ＯＣＴ推定モデル５１８を構築する場合、２００５年５月に所与の履歴の患者から撮られた入力網膜眼底画像および３Ｄ ＯＣＴボリュームを使用し、さらに、２００６年５月にその同じ履歴の患者から撮られた入力網膜眼底画像および３Ｄ ＯＣＴボリュームを使用して、ＯＣＴ推定モデル５１８は、それらの２つのカラー眼底画像において経時的に変化したどの特徴がその患者のＡＭＤの予測と最も関連しているかをより良好に識別し、それらを適切に重み付けすることができる。これは、先行技術における正確なＡＭＤ予測が、ＯＣＴ投影画像層、より具体的には、所与の層および層の組合せ内のドルーゼンの数、総数、および位置にある（数多くの予測因子の中で）ので可能である。

一般に、（単層）オートエンコーダを、３つの計算層（本明細書で論じる組織／生物学的層と異なる）、すなわち、入力層、隠れ（エンコーディング）層、およびデコーディング層を有するニューラル・ネットワークと考えることができる。ネットワークはその入力を再構成するように訓練され、それにより、隠れ層は、それらの入力の良好な表現の学習を試みるように強いられる良好な入力表現を学習するように隠れ層を促すために、背景技術のセクションにリストされている（最初にリストされた）Masciの参考文献およびVincentの参考文献にそれぞれ詳細に論じられているノイズ除去オートエンコーダおよび収縮オートエンコーダなどの、単純なオートエンコーダへのいくつかの変形がある。これらの教示のための好ましい手法は、ＯＣＴ推定モデル５１８が網膜眼底画像からＯＣＴ投影画像への変換を多数のレベルでモデリングするための畳み込みオートエンコーダを利用することである。背景技術のセクションにリストされているRifaiの参考文献は、畳み込みオートエンコーディングについてのさらなる詳細を提供しており、この技術は、畳み込みオートエンコーダが画像再構成のための文脈情報を考慮に入れているので本明細書の目的にとって好ましい。

畳み込みオートエンコーダは、画像（または他の空間的構造化データ）にオートエンコーダを適応させたものである。畳み込みオートエンコーダは、一般に、各層が多くの特徴マップからなる畳み込み層で構築される。各特徴マップは、小さいフィルタと層の入力の畳み込みを作り、バイアスを加え、次いで、非線形活性化関数を適用することによって作り出される。追加として、最大プーリング操作が、各特徴マップに対して、それを小さいオーバーラップしない領域に分割し各領域にわたって最大をとることによって実行され得る。最大プーリングは、潜在表現を一定係数でダウンサンプリングし、通常、オーバーラップしないサブ領域にわたって最大値をとる。これは、潜在表現における各ニューロンの活性化が、関心領域にわたって特徴と入力フィールドとの間の「一致」によって決定されるので、フィルタ選択性の改善を支援する。

図２３は、等しい数のノードを入力層および出力層に有するオートエンコーダの概念図である。入力ノードは｛Ｘ１，Ｘ２，Ｘ３｝であり、出力ノードは｛Ｘ１’，Ｘ２’，Ｘ３’｝であり、隠れ層は、エンコーダ層とデコーダ層との間のノード｛Ｚ１，Ｚ２｝として表される。１つの実施形態では、深い階層を形成するためにいくつかのオートエンコーダをスタックすることによってＯＣＴ投影画像を推定するためのモデルを作成する。畳み込みオートエンコーダのスタックについてのさらなる詳細は、背景技術のセクションに詳述した２番目にリストしたMasciの参考文献に見ることができる。スタックの各層が下の層の潜在表現から入力を受け取るようにいくつかのオートエンコーダをスタックすることにより、深い階層が形成される。ディープ・ビリーフ・ネットワークでは、教師なし事前訓練を、貪欲で層ごとの方式（greedy, layer-wise fashion）で行うことができ、重みは、後で、逆伝播を使用して微調整することができる。

これらの教示の１つの重要な目標は、ＡＭＤの正確で早期の予測を容易にすることであり、図２４は、上述のものに加えてさらなる詳細を示すＯＣＴ投影画像再構成ベースＡＭＤ予測モデルのブロック図である。図２０および図２２は、所与の網膜眼底画像から推定ＯＣＴ投影画像を生成するＯＣＴ推定モデルを構築する方法を説明したが、図２４は、より大きいＡＭＤ予測モデルがそれを実際にどのように利用できるかを説明する。図２４は、図２０および図２２で説明したＯＣＴ推定モデルを使用して多数の生物学的／組織層に対して生成された再構成／推定ＯＣＴ投影画像の特性を使用する。図２４は多数の層に対して機能するので、オートエンコーダ（またはオートエンコーダのスタック）は、この例では、網膜色素上皮層（ＲＰＥ）のＯＣＴ投影画像７１０Ａ、外顆粒層（ＯＮＬ）のＯＣＴ投影画像７１０Ｂ、光受容体外側セグメント層（ＰＲ−ＯＳ）のＯＣＴ投影画像７１０Ｃ、および脈絡膜層のＯＣＴ投影画像７１０Ｄのために訓練され得る。図２４において、ＡＭＤ予測モデルは、患者の網膜眼底画像７０２を入力層で取り入れ、ＯＣＴ推定モデルによって生成された対応する推定ＯＣＴ投影画像が、出力層で出力される。

テスト段階では、テスト網膜眼底画像７０２が、図２４の例で示されているように、これらのスタック・オートエンコーダの各々を通過することになり、各オートエンコーダの最上位レベル活性化が、ＯＣＴ投影画像再構成ベース特徴として抽出されることになる。これらは、推定ＯＣＴ投影画像を表している。それに加えて、図２４の例は、網膜眼底画像７０２からの最新技術辞書ベース特徴９０２を含む。ＯＣＴ投影画像再構成ベース特徴７１０Ａ〜７１０Ｄ（推定ＯＣＴ投影画像）と辞書ベース特徴９０２との組合せが、ＡＭＤの発病度を予測する（定量的に）ために、教師あり分類器９０４において使用されることになる。教師あり分類器９０４は、例えば、サポート・ベクトル・マシン（ＳＶＭ）またはランダム・フォレスト（ＲＦ）として実施することができる。

図２５は、図２４のＡＭＤ予測モデルのより一般化された図を示す。図２５のすべてのＯＣＴ投影画像は、システムへの入力である患者の網膜眼底画像から生成され、したがって、推定ＯＣＴ投影画像である。図２０および図２２により作成された生物学的／組織層ごとのモデルのグループを、コンピュータ・プログラムまたは他のタイプのＯＣＴ投影画像生成システム１００２として考える場合、図２５は、最初に、患者の網膜眼底画像７０２から多数の生物学的層の推定ＯＣＴ投影画像７１０を生成することによって、そのプログラム／システムがどのように使用されるかを示す。特徴選択システム１００４は、推定ＯＣＴ投影画像７１０の各々から第１の特徴セット１００６Ａを抽出し、患者の網膜眼底画像７０２から第２の特徴セットをさらに抽出する。ＡＭＤ予測システム１００８はこれらの特徴セット１００６Ａ／Ｂ入力を取り入れ、患者のＡＭＤを予測する（１０１０）ためにそれらを互いの関連で評価する。

これらの教示の特に洗練された態様は、推定ＯＣＴ投影画像を生成するためのモデルが、ＡＭＤの予測のために、様々なＯＣＴ投影画像の変化と網膜眼底画像の変化との相関の事前知識（訓練データから学習された）を使用することである。発明者等の知る限り、これは以前に行われていない。

図２６は、これらの教示のいくつかの態様を実施するためのシステムのいくつかの構成要素を示す。上述したスタック・オートエンコーダを実施することができる１つまたは複数のプロセッサ１１０６によって実行可能である１つまたは複数のコンピュータ実行可能プログラム１１０４を記憶する１つまたは複数のコンピュータ可読メモリ１１０２がある。

図２７は、２Ｄカラー網膜眼底画像のみから推定ＯＣＴ投影画像を生成するプログラムを作成するための上述のステップのうちのいくつかを説明するプロセスフローチャートである。ブロック１２０２において、光コヒーレンス断層撮影（ＯＣＴ）画像がセグメント化されて、多数の生物学的／組織層の各々に対するＯＣＴ投影画像が生成され、ブロック１２０４において、第１の特徴セットが、生成されたＯＣＴ投影画像の各々から抽出される。別個に、ブロック１２０６において、第２の特徴セットが、入力網膜眼底画像から抽出される。ブロック１２０８は、それぞれの生物学的層ごとに、それぞれのＯＣＴ投影画像への入力網膜眼底画像の位置合わせを有し、これは、第２の特徴セットのうちの少なくともいくつかの特徴を第１の特徴セットのうちの対応する特徴に一致させることによって行われる。入力網膜眼底画像に対する変化に伴ってブロック１２０２、１２０４、１２０６、および１２０８を繰り返す。入力網膜眼底画像に対する変化が、対応して位置合わせされた投影画像においてどのように現れるかのモデリングが、ブロック１２１２において行われ、ブロック１２１４において、コンピュータ・プログラムが生成され、コンピュータ可読メモリに記憶される。このプログラムはブロック１２１２のモデリングを利用して、テスト網膜眼底画像（モデリングがさらに微調整されるべきである場合）または患者の網膜眼底画像などの所与の網膜眼底画像から多数の生物学的層に対する推定ＯＣＴ投影画像を生成する。

本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せとして実施することができる。コンピュータ・プログラム製品は、プロセッサに本発明のいくつかの態様を実行させるためにコンピュータ可読プログラム命令が記憶されている１つのコンピュータ可読記憶媒体（または複数のコンピュータ可読記憶媒体）を含むことができる。

メモリ１１０２などのコンピュータ可読記憶媒体は、命令実行デバイス（図２６に示したコンピュータのデータ・プロセッサ１１０６など）によって使用される命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記のものの任意の好適な組合せとすることができる。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストには、以下のものが含まれる。ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカードまたは命令が記録された溝中の隆起構造などの機械的にエンコードされたデバイス、および上記のものの任意の好適な組合せ。本明細書で使用されるコンピュータ可読記憶媒体は、一時的な信号それ自体、例えば、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通して伝送される電気信号であると解釈することはできない。

本明細書に記載されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリア・ネットワーク、ワイドエリア・ネットワーク、またはワイヤレス・ネットワーク、あるいはその組合せを介して外部コンピュータもしくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含むことができる。各コンピューティング／処理デバイスのネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶させるためにコンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで書かれたソース・コードまたはオブジェクト・コードのいずれかとすることができる。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンド・アロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータでおよび部分的にリモート・コンピュータで、または全体的にリモート・コンピュータもしくはサーバで実行することができる。後者のシナリオでは、リモート・コンピュータが、ローカルエリア・ネットワーク（ＬＡＮ）またはワイドエリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザ・コンピュータに接続されてもよく、または接続が、外部コンピュータに対して行われてもよい（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人専用にすることによって、コンピュータ可読プログラム命令を実行してもよい。

本発明の態様が、本明細書において、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実施できることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに供給されて、マシンを作り出すものであってもよい。これらのコンピュータ可読プログラム命令は、さらに、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作の態様を実施する命令を含む製品を含むように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはその組合せに特定の方法で機能するように指示することができるものであってもよい。

コンピュータ可読プログラム命令は、さらに、コンピュータ、他のプログラマブル装置、または他のデバイスで実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実施するように、コンピュータ実施プロセスを作り出すべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイスで一連の動作ステップを実行させるものであってもよい。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品のあり得る実施態様のアーキテクチャ、機能、および動作を示す。これに関しては、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、命令のモジュール、セグメント、または一部を表すことができる。いくつかの代替実施態様では、ブロックに示された機能は、図に示された順序から外れて行われてもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、またはブロックは、時には、必要とされる機能に応じて逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せは、指定された機能または動作を実行する専用ハードウェア・ベース・システムによって実施されるか、または専用ハードウェアとコンピュータ命令の組合せを実行することができることにも留意されたい。

本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、発明を限定することは意図されていない。本明細書で使用される単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に示さない限り、複数形も同様に含むことが意図されている。本明細書で使用されるとき用語「含む（comprises）」または「含んでいる（comprising）」あるいはその組合せは、記述された特徴、整数、ステップ、動作、要素、または構成要素、あるいはその組合せの存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、またはそれらのグループ、あるいはその組合せの存在または追加を排除しないことがさらに理解されよう。

以下の特許請求の範囲における対応する構造、材料、動作、およびすべてのミーンズまたはステップ・プラス・ファンクション要素の均等物は、具体的に請求された他の請求要素と組み合わせて機能を実行するための任意の構造、材料、または動作を含むことが意図されている。

本発明の様々な実施形態の説明は、例証のために提示されているが、網羅的であることまたは開示された実施形態に限定することは意図されていない。説明された実施形態の範囲および思想から逸脱することなく、多くの変更および変形が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の適用、または市場で見いだされる技術に対する技術的改良を最も良く説明するか、または本明細書で開示する実施形態を当業者が理解できるようにするように選ばれた。

したがって、添付の図面および添付の特許請求の範囲とともに読まれるとき、様々な変更および改変が、前述の説明に鑑みて当業者には明らかになるであろう。ほんのいくつかの例として、他の同様なまたは等価な脆弱性タイプの使用法が当業者によって使用されてもよい。しかしながら、本発明の教示のすべてのそのようなおよび同様の変更は、依然として、本発明の範囲に含まれる。

Claims (20)

1. ａ）光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層の各々に対してＯＣＴ投影画像を生成することと、
   ｂ）前記生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
   ｃ）入力網膜眼底画像から第２の特徴セットを抽出することと、
   ｄ）それぞれの生物学的層ごとに、前記第２の特徴セットのうちの少なくともいくつかの特徴を前記第１の特徴セットのうちの対応する特徴と一致させることによって前記入力網膜眼底画像を前記それぞれのＯＣＴ投影画像に位置合わせすることと、
   ｅ）前記入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すことと、
   ｆ）前記入力網膜眼底画像に対する前記変化が、前記対応して位置合わせされた投影画像においてどのように現れるかをモデリングすることと、
   ｇ）前記モデリングを利用して所与の網膜眼底画像から前記多数の生物学的層に対する推定ＯＣＴ投影画像を生成するプログラムをコンピュータ可読メモリに記憶することと
   を含む方法。
2. 前記記憶されたプログラムを使用して患者の網膜眼底画像から前記多数の生物学的層に対する推定ＯＣＴ投影画像を生成することと、
   前記推定ＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
   前記患者の網膜眼底画像から第２の特徴セットを抽出することと、
   前記患者の加齢黄斑変性症（ＡＭＤ）を予測するために、前記推定ＯＣＴ投影画像の各々から抽出された前記第１の特徴セットを、前記患者の網膜眼底画像から抽出された前記第２の特徴セットと組み合わせて評価することと
   をさらに含む、請求項１に記載の方法。
3. 前記記憶されたプログラムが、前記患者のいかなるＯＣＴ画像も前記プログラムに入力することなしに前記患者のＡＭＤを予測するために使用される、請求項２に記載の方法。
4. 前記推定ＯＣＴ投影画像の各々が、オートエンコーダによって生成される、請求項１に記載の方法。
5. スタック構成の複数の畳み込みオートエンコーダが存在し、前記オートエンコーダの各々が、前記生物学的層のうちの１つのみに対する前記推定ＯＣＴ投影画像を前記入力網膜眼底画像の各々から生成するように構成される、請求項４に記載の方法。
6. 前記第１の特徴セットおよび前記第２の特徴セットの各々が、血管ベース標識点を含む、請求項１に記載の方法。
7. 前記入力網膜眼底画像に対する前記変化のうちの少なくともいくつかが、前記対応して位置合わせされた投影画像において、ドルーゼンのサイズ、数、または位置、あるいはその組合せに対する変化として現れる、請求項１に記載の方法。
8. 実行可能プログラムを記憶するコンピュータ可読メモリであって、前記実行可能プログラムが、
   ａ）光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層の各々に対してＯＣＴ投影画像を生成するためのコードと、
   ｂ）前記生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出するためのコードと、
   ｃ）入力網膜眼底画像から第２の特徴セットを抽出するためのコードと、
   ｄ）前記第２の特徴セットのうちの少なくともいくつかの特徴を前記第１の特徴セットのうちの対応する特徴と一致させることによって前記入力網膜眼底画像をそれぞれの生物学的層ごとの前記それぞれのＯＣＴ投影画像に位置合わせするためのコードと、
   ｅ）前記入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すためのコードと、
   ｆ）前記入力網膜眼底画像に対する前記変化が、前記対応して位置合わせされた投影画像においてどのように現れるかをモデリングするためのコードと、
   ｇ）前記多数の生物学的層に対する推定ＯＣＴ投影画像を所与の網膜眼底画像から生成するために前記モデリングを利用するためのコードと
   を含む、コンピュータ可読メモリ。
9. 前記実行可能プログラムが、
   前記生成された推定ＯＣＴ投影画像の各々から第１の特徴セットを抽出するためのコードと、
   前記所与の網膜眼底画像から第２の特徴セットを抽出するためのコードと、
   前記所与の網膜眼底画像から加齢黄斑変性症（ＡＭＤ）を予測するために、前記推定ＯＣＴ投影画像の各々から抽出された前記第１の特徴セットを、前記所与の網膜眼底画像から抽出された前記第２の特徴セットと組み合わせて評価するためのコードと
   をさらに含む、請求項８に記載のコンピュータ可読メモリ。
10. ＡＭＤを評価し予測するための前記コードは、前記変化がモデル化された後、いかなる実際のＯＣＴ画像も前記実行可能プログラムに入力されることなしに動作する、請求項９に記載のコンピュータ可読メモリ。
11. 前記モデルがオートエンコーダを含む、請求項９に記載のコンピュータ可読メモリ。
12. 前記モデルが、複数の畳み込みオートエンコーダをスタック構成で含み、前記オートエンコーダの各々が、前記生物学的層のうちの１つのみに対する前記推定ＯＣＴ投影画像を前記入力網膜眼底画像の各々から生成するように構成される、請求項１１に記載のコンピュータ可読メモリ。
13. 前記第１の特徴セットおよび前記第２の特徴セットの各々が、血管ベース標識点を含む、請求項９に記載のコンピュータ可読メモリ。
14. 前記入力網膜眼底画像に対する前記変化のうちの少なくともいくつかが、前記対応して位置合わせされた投影画像において、ドルーゼンのサイズ、数、または位置、あるいはその組合せに対する変化として現れる、請求項９に記載のコンピュータ可読メモリ。
15. コンピュータ可読コードを含む１つまたは複数のメモリと、１つまたは複数のプロセッサと
    を含む装置であって、
    前記１つまたは複数のプロセッサが、前記コンピュータ可読コードの実行に応じて、前記装置に、
    ａ）光コヒーレンス断層撮影（ＯＣＴ）画像をセグメント化して多数の生物学的層の各々に対してＯＣＴ投影画像を生成することと、
    ｂ）前記生成されたＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
    ｃ）入力網膜眼底画像から第２の特徴セットを抽出することと、
    ｄ）それぞれの生物学的層ごとに、前記第２の特徴セットのうちの少なくともいくつかの特徴を前記第１の特徴セットのうちの対応する特徴と一致させることによって前記入力網膜眼底画像を前記それぞれのＯＣＴ投影画像に位置合わせすることと、
    ｅ）前記入力網膜眼底画像に対する変化に伴って要素ａ）から要素ｄ）を繰り返すことと、
    ｆ）前記入力網膜眼底画像に対する前記変化が、前記対応して位置合わせされた投影画像においてどのように現れるかをモデリングすることと、
    ｇ）前記モデリングを利用して所与の網膜眼底画像から前記多数の生物学的層に対する推定ＯＣＴ投影画像を生成するプログラムを前記１つまたは複数のメモリに記憶することと
    を含む動作を実行させるように構成される、装置。
16. 前記動作が、
    前記記憶されたプログラムを使用して患者の網膜眼底画像から前記多数の生物学的層に対する推定ＯＣＴ投影画像を生成することと、
    前記推定ＯＣＴ投影画像の各々から第１の特徴セットを抽出することと、
    前記患者の網膜眼底画像から第２の特徴セットを抽出することと、
    前記患者の加齢黄斑変性症（ＡＭＤ）を予測するために、前記推定ＯＣＴ投影画像の各々から抽出された前記第１の特徴セットを、前記患者の網膜眼底画像から抽出された前記第２の特徴セットと組み合わせて評価することと
    をさらに含む、請求項１５に記載の装置。
17. 前記記憶されたプログラムが、前記患者のいかなるＯＣＴ画像も前記プログラムに入力することなしに前記患者のＡＭＤを予測するために使用される、請求項１６に記載の装置。
18. 前記推定ＯＣＴ投影画像の各々が、オートエンコーダによって生成される、請求項１５に記載の装置。
19. スタック構成の複数の畳み込みオートエンコーダが存在し、前記オートエンコーダの各々が、前記生物学的層のうちの１つのみに対する前記推定ＯＣＴ投影画像を前記入力網膜眼底画像の各々から生成するように構成される、請求項１８に記載の装置。
20. 前記入力網膜眼底画像に対する前記変化のうちの少なくともいくつかが、前記対応して位置合わせされた投影画像において、ドルーゼンのサイズ、数、または位置、あるいはその組合せに対する変化として現れる、請求項１５に記載の装置。

Images