JP7828963B2 - 学習モデルに基づく眼の光干渉断層撮影画像の拡張 - Google Patents

Description

本開示は、一般に、１つ又は複数の学習モデルに基づく眼の光干渉断層撮影画像の拡張に関する。光干渉断層撮影法（「ＯＣＴ」）は、低コヒーレンス干渉法を用いて眼の構造の高解像度画像を生成する非侵襲的なイメージング技術である。ＯＣＴイメージングは、一部分はエコーの時間遅延及び後方散乱光の大きさを測定することにより機能する。ＯＣＴによって生成された画像は、眼疾患の特定及び評価などの多くの目的に役立つ。ＯＣＴ画像は、患者の眼に眼内レンズを埋め込む白内障手術の前に撮影されることが多い。ＯＣＴイメージングの固有の限界は、照明ビームが虹彩を貫通できないことである。そのため、虹彩の後方にある水晶体構造などの眼の後方領域が正確に可視化されない場合がある。

眼の元の光干渉断層撮影（以下「ＯＣＴ」という）画像を拡張するためのシステム及び方法が本明細書で開示される。本システムは、プロセッサと、命令が記録された有形の非一時的メモリとを有するコントローラを備える。本システムは、コントローラによって選択的に実行可能な１つ又は複数の学習モジュールを含む（以下、「１つ又は複数の」を省略する）。学習モジュールは、複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークによって訓練される。プロセッサが命令を実行することにより、ＯＣＴデバイスを介して取り込んだ元のＯＣＴ画像をコントローラに取得させる。コントローラは、（訓練された）学習モジュールを実行することにより、元のＯＣＴ画像に部分的に基づいて拡張ＯＣＴ画像を生成するように構成される。拡張ＯＣＴ画像は、元のＯＣＴ画像の周縁部分を少なくとも部分的に拡大する。換言すれば、本システムは、元のＯＣＴ画像から欠けている情報の再構成を可能にする。

周縁部分は眼の虹彩の後方にあって、拡張ＯＣＴ画像が虹彩の後方にある１つ又は複数の構造の可視化を可能にし得る。コントローラは、拡張ＯＣＴ画像に基づいて少なくとも１つの水晶体パラメータを取得するように構成され得る。水晶体パラメータは、水晶体直径及び／又は水晶体嚢プロファイルを含み得る。コントローラは、水晶体パラメータに部分的に基づいて眼の眼内レンズを選択するように構成され得る。ＯＣＴデバイスは、眼を照明するためのレーザビームのアレイを備え得る。

いくつかの実施形態では、対応する訓練ＯＣＴ画像は、複数の訓練超音波生体顕微鏡画像に関連付けられ、対応する訓練ＯＣＴ画像と複数の訓練超音波生体顕微鏡画像とが対をなすセット（すなわち、同じ眼の画像）を形成する。学習モジュールは、対応する訓練ＯＣＴ画像に部分的に基づいて対応する合成ＯＣＴ画像を生成するように訓練されたジェネレータを含み得る。訓練ネットワークは、弁別子を有する敵対的生成ネットワークであり得る。弁別子は、複数の訓練超音波生体顕微鏡画像と対応する合成ＯＣＴ画像とを区別するように適合される。

いくつかの実施形態では、対応する訓練ＯＣＴ画像は、複数の訓練超音波生体顕微鏡画像に関連付けられず（すなわち、異なる眼の画像である）、対応する訓練ＯＣＴ画像と複数の訓練超音波生体顕微鏡画像とが対をなさないセットを形成する。訓練ネットワークは、第１の弁別子と第２の弁別子とを有する敵対的生成ネットワークであり得る。学習モジュールは、第１のジェネレータと第２のジェネレータとを含み得る。拡張ＯＣＴ画像は、第１のジェネレータと第２のジェネレータとを順に実行することにより生成され、第１のジェネレータが眼の元のＯＣＴ画像を対応する合成ＵＢＭ画像に変換するように適合され、第２のジェネレータが対応する合成ＵＢＭ画像を拡張ＯＣＴ画像に変換するように適合される。

訓練ネットワークは、第１のジェネレータ、第２のジェネレータ、及び第１の弁別子を用いて正の訓練サイクルを実行するように構成され得る。ここで、第１の訓練ＯＣＴ画像が第１のジェネレータに入力され、第１の訓練ＯＣＴ画像が対応する訓練ＯＣＴ画像から選択される。第１のジェネレータは、第１の訓練ＯＣＴ画像を第１の合成超音波生体顕微鏡画像に変換するように適合される。第２のジェネレータは、第１の合成超音波生体顕微鏡画像を第２の合成ＯＣＴ画像に変換するように適合される。第１の弁別子は、正の訓練サイクルにおいて、第１の合成超音波生体顕微鏡画像と複数の訓練超音波生体顕微鏡画像とを区別するように適合される。訓練ネットワークは、第１の訓練ＯＣＴ画像と第２の合成ＯＣＴ画像との間の差を最小化する第１の損失関数を組み込む。

訓練ネットワークは、第１のジェネレータ、第２のジェネレータ、及び第２の弁別子を用いて逆の訓練サイクルを実行するように更に構成され得る。ここで、第２の訓練超音波生体顕微鏡画像が第２のジェネレータに入力され、第２の訓練超音波生体顕微鏡画像が複数の訓練超音波生体顕微鏡画像から選択される。第２のジェネレータは、第２の訓練超音波生体顕微鏡画像を第３の合成ＯＣＴ画像に変換するように構成される。第１のジェネレータは、第３の合成ＯＣＴ画像を第４の合成超音波生体顕微鏡画像に変換するように構成される。第２の弁別子は、逆の訓練サイクルにおいて、第３の合成ＯＣＴ画像と対応する訓練ＯＣＴ画像とを区別するように適合される。訓練ネットワークは、第２の訓練超音波生体顕微鏡画像と第４の合成超音波生体顕微鏡画像との間の差を最小化する第２の損失関数を組み込み得る。

少なくとも１つのプロセッサと少なくとも１つの非一時的有形メモリとを有するコントローラを備えたシステムによって、眼の元の光干渉断層撮影（「ＯＣＴ」画像）を拡張するための方法が本明細書で開示される。本方法は、１つ又は複数の学習モジュールを選択的に実行するようにコントローラを構成することを含む。学習モジュールは、複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークを介して訓練される。本方法は、ＯＣＴデバイスを介して眼の元のＯＣＴ画像を取り込むことを含む。拡張ＯＣＴ画像が、１つ又は複数の学習モジュールを実行することにより、元のＯＣＴ画像に部分的に基づいて生成される。拡張ＯＣＴ画像は、元のＯＣＴ画像の周縁部分を少なくとも部分的に拡大する。

いくつかの実施形態では、周縁部分は眼の虹彩の後方に配置されて、拡張ＯＣＴ画像が虹彩の後方にある１つ又は複数の構造の可視化を可能にする。本方法は、拡張ＯＣＴ画像に基づいて少なくとも１つの水晶体パラメータを取得することを含み、水晶体パラメータが、水晶体直径及び／又は水晶体嚢プロファイルを含み得る。眼内レンズが、水晶体パラメータに部分的に基づいて選択され得る。

眼の元のＯＣＴ画像を取り込むことは、ＯＣＴデバイスを介して、レーザビームのアレイによって眼を照明することを含み得る。本方法は、複数の訓練超音波生体顕微鏡画像と対応する訓練ＯＣＴ画像との対をなすセット（すなわち、同じ眼の画像）を用いて、訓練データセットを構成することを含み得る。或いは、本方法は、複数の訓練超音波生体顕微鏡画像と対応する訓練ＯＣＴ画像との対をなさないセット（すなわち、異なる眼の画像）を用いて、訓練データセットを構成することを含み得る。

本開示の上記の特徴及び利点並びに他の特徴及び利点は、本開示を実施するための最良の態様の以下の詳細な説明を添付の図面と併せて読めば容易に明らかとなる。

図１は、眼の元の光干渉断層撮影（「ＯＣＴ」）画像を拡張するためのシステムの概略図であり、本システムはコントローラと１つ又は複数の学習モジュールとを有する。 図２は、図１のコントローラによって実行可能な方法の概略フローチャートである。 図３は、眼の例示的な元のＯＣＴ画像の概略図である。 図４は、眼の超音波生体顕微鏡画像（ＵＢＭ）の概略図である。 図５は、眼の拡張ＯＣＴ画像の概略図である。 図６は、第１の実施形態による、図１の学習モジュールのための例示的な訓練方法の概略フローチャートである。 図７Ａは、第２の実施形態による、図１の学習モジュールのための例示的な正の訓練サイクルの概略フローチャートであり、図７Ｂは、第２の実施形態による、図１の学習モジュールのための例示的な逆の訓練サイクルの概略フローチャートである。

図面を参照すると、図面では同様の参照番号が同様の構成要素を指しており、図１は、光干渉断層撮影画像（以下「ＯＣＴ」）デバイス１４を介して取り込まれた、眼１２の元の光干渉断層撮影画像を拡張するためのシステム１０を概略的に示している。ＯＣＴデバイス１４は、眼１２を照明するためのレーザビームのアレイ１６を採用し得る。レーザビームのアレイ１６は、眼１２の範囲又は幅をカバーし得る。一例では、ＯＣＴデバイス１４は、前眼部高解像度ＯＣＴイメージングデバイスである。ＯＣＴデバイス１４は、多くの異なる形態を取り、且つ複数の及び／又は代替の構成要素を備え得ることを理解されたい。

図１を参照すると、システム１０は、少なくとも１つのプロセッサＰと、少なくとも１つのメモリＭ（又は非一時的有形コンピュータ可読記憶媒体）とを有するコントローラＣを備え、少なくとも１つのメモリＭには、眼１２の元のＯＣＴ画像２００を拡張するための方法１００を実行するための命令が記録される。方法１００を図２に示し、図２を参照して以下に説明する。

元のＯＣＴ画像２００の一例を図３に概略的に示し、以下に説明する。図示の例では、元のＯＣＴ画像２００は前眼部像を示している。図３を参照すると、元のＯＣＴ画像２００は、虹彩２０２、水晶体２０４、及び瞳孔２０５を示している。ＯＣＴイメージングは、虹彩２０２の後ろにある水晶体２０４の周縁部分２０６を取り込まない。これは、ＯＣＴイメージングで使用される照明レーザが虹彩２０２を貫通することができないためである。しかしながら、ＯＣＴイメージング技法は、高解像度を提供し、且つ患者のコンプライアンス及び日常の臨床の場での快適さの点で便利である非接触スキャン方法を提供する。例えば、ＯＣＴイメージングは、座位で行われ、所要時間が比較的短く、アイカップ又はカップリング媒体の使用を含まない。後述するように、システム１０は、ＯＣＴデバイス１４によって取り込まれた元のＯＣＴ画像２００を外挿し、周縁部分２０６を示す拡張ＯＣＴ画像を再構成するように訓練された１つ又は複数の学習モジュール１８（以降、「１つ又は複数の」を省略）を取得する。システム１０は、元のＯＣＴ画像２００に基づいて、水晶体２０４の完全な画像の再構成を可能にする。

図１を参照すると、コントローラＣは、学習モジュール１８を選択的に実行するように特にプログラムされ、学習モジュール１８は、コントローラＣに埋め込まれてもよいし、他の場所に記憶されてコントローラＣにアクセス可能であってもよい。図１を参照すると、学習モジュール１８は、複数の訓練超音波生体顕微鏡画像（及び後述の対応する訓練ＯＣＴ画像）を有する訓練データセットを用いて、訓練ネットワーク２０によって訓練される。訓練超音波生体顕微鏡画像３００の一例を図４に概略的に示す。訓練超音波生体顕微鏡画像３００は、虹彩３０２と水晶体３０４とを示している。訓練超音波生体顕微鏡画像３００はまた、水晶体３０４の周縁部分３０６を示している。超音波生体顕微鏡画像は、水晶体構造全体を取り込むことが可能であるが、ＯＣＴイメージングによって取得される画像と比較すると低解像度で取り込む。しかしながら、超音波生体顕微鏡撮影は患者に不便である。例えば、超音波生体顕微鏡イメージングでは、より長い画像取得時間、熟練した操作者、及びカップリング媒体を保持するプラスチック又はシリコンのアイカップを必要とする。

コントローラＣは、１つ又は複数の学習モジュール１８を実行することにより、元のＯＣＴ画像２００に部分的に基づいて拡張ＯＣＴ画像を生成するように構成される。拡張ＯＣＴ画像４００の一例を図５に概略的に示し、以下に説明する。拡張ＯＣＴ画像４００は虹彩４０２と水晶体４０４とを示す。拡張ＯＣＴ画像４００は、元のＯＣＴ画像の周縁部分４０６を少なくとも部分的に拡大する。周縁部分４０６は虹彩４０２の後方にあって、虹彩４０２の後方にある１つ又は複数の構造の可視化が実現される。

図１の訓練ネットワーク２０は、畳み込みニューラルネットワーク（ＣＮＮ）ベースの深層学習技法を活用して、元のＯＣＴ画像２００を拡張する。訓練ネットワーク２０は、敵対的生成ネットワーク（ＧＡＮ）を組み込み得る。一実施形態では、訓練ネットワーク２０はサイクル敵対的生成ネットワーク（ｃｙｃｌｅＧＡＮ）を組み込む。

コントローラＣは、拡張ＯＣＴ画像４００に基づいて少なくとも１つの水晶体パラメータを取得するように構成される。図４を参照すると、水晶体パラメータは、水晶体嚢プロファイル４０８、水晶体直径４１０、及び水晶体直径４１０に沿った水晶体４０４の厚さ４１２を含み得る。水晶体パラメータは、眼１２に挿入するための眼内レンズ２４を選択するためのレンズ選択モジュール２２に出力され得る。白内障手術の術前評価において眼内レンズ２４の適切な度数を選択するために、術前の水晶体構造の完全な画像が重要である。この情報は、調節性の眼内レンズ２４にとって特に有用である。なぜなら、調節性の眼内レンズ２４の機能的な性能が水晶体直径４１０と相関があることが判明しているためである。加えて、水晶体嚢プロファイル４０８は、眼内レンズ２４が術後に取り得る位置を推定するために採用され得る。

図１のシステム１０の様々な構成要素は、短距離ネットワーク２６及び／又は長距離ネットワーク２８を介して通信し得る。短距離ネットワーク２６は、例えばローカルエリアネットワークの形態のシリアル通信バスなど、様々な仕方で実施されたバスであってもよい。ローカルエリアネットワークは、コントローラエリアネットワーク（ＣＡＮ）、コントローラエリアネットワークウィズフレキシブルデータレート（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｆｌｅｘｉｂｌｅ Ｄａｔａ Ｒａｔｅ、ＣＡＮ－ＦＤ）、イーサネット、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、及び他のデータ接続形態を含み得るが、これらに限定されない。図１を参照すると、長距離ネットワーク２８は、複数のデバイスを無線分散方式で繋ぐ無線ローカルエリアネットワーク（ＬＡＮ）、いくつかの無線ＬＡＮを接続する無線メトロポリタンエリアネットワーク（ＭＡＮ）、又は近隣の市町村などの広い地域をカバーする無線ワイドエリアネットワーク（ＷＡＮ）であってもよい。他の種類の接続が使用されてもよい。

ここで図２を参照すると、図１のコントローラＣによって実行可能な方法１００のフローチャートが示されている。方法１００は、本明細書に記載された特定の順序で適用される必要はなく、いくつかのブロックが省略されてもよい。メモリＭは、コントローラ実行可能命令セットを記憶することができ、プロセッサＰは、メモリＭに記憶されたコントローラ実行可能命令セットを実行することができる。

図２のブロック１０２において、コントローラＣは、世界中の１つ又は複数の施設又は臨床サイトから、１つ又は複数の訓練データセットを収集するように構成される。コントローラＣは、短距離ネットワーク２６及び／又は長距離ネットワーク２８を介して施設と通信し得る。図１を参照すると、システム１０は、施設の対応する電子医療記録からの情報を記憶することができるコンピュータ化されたデータ管理システムを有するデータ管理モジュール３０を含み得る。データ管理モジュール３０は、訓練データセットを施設から収集し、コントローラＣに提供するように構成され得る。

訓練データセットは、多数の患者から撮影された画像を含み得る。いくつかの実施形態では、訓練データセットは、対をなすデータセット、すなわち、同じ眼のものであることによって複数の訓練超音波生体顕微鏡画像に関連付けられる対応する訓練ＯＣＴ画像を更に含む。他の実施形態では、訓練データセットは、対をなさないデータセット、すなわち、複数の訓練超音波生体顕微鏡画像と関連付けられない（異なる眼から撮影された）対応する訓練ＯＣＴ画像を更に含む。訓練データセットは、人口統計学的データ、眼の寸法が類似している患者、又は他の健康状態因子に基づいて層別化されてもよい。

図２のブロック１０４において、方法１００は、訓練ネットワーク２０を介して、ブロック１０２からの訓練データセットを用いて、学習モジュールを訓練することを含む。訓練プロセスの２つの実施形態を以下に説明する。システム１０は、特定のディープニューラルネットワークの方法論に限定されないことを理解されたい。元のＯＣＴ画像２００からの欠落した情報の再構成は、当業者に利用可能な他のディープニューラルネットワークの方法論によって支援され得る。

第１の実施形態では、訓練ネットワーク２０は、弁別子Ｄ^＊と相まって、画像合成のためのジェネレータＧ^＊を訓練するための深層学習アーキテクチャ（敵対的生成ネットワーク（ＧＡＮ）など）を組み込む。第１の実施形態の一例を図６に関連して以下に説明する。弁別子Ｄ^＊は、実画像及び生成画像に対して直接訓練され、画像を本物か偽物かに分類する役割を担う。ジェネレータＧ^＊は、直接訓練されず、その代わりに弁別子Ｄ^＊を介して訓練される。

図６を参照すると、訓練方法５００が示されており、訓練方法５００は、コントローラＣによって実行され得る。ブロック５０２において、訓練ＯＣＴ画像が取得される。本実施形態では、訓練データセットは、同じ患者を撮影したＯＣＴ画像と超音波生体顕微鏡画像とを対にした、対をなすデータセットを含む。図６のブロック５０４において、訓練方法５００は、ジェネレータＧ^＊を実行することを含む。図６のブロック５０６において、ジェネレータＧ^＊は、ブロック５０２で取得されたデータを外挿する、対応する訓練ＯＣＴ画像に部分的に基づいて合成超音波生体顕微鏡画像を生成する。ブロック５０８において、訓練ＯＣＴ画像（ブロック５０２で取得されたもの）と対をなす訓練超音波生体顕微鏡画像が取得される。

図６のブロック５１０において、訓練方法５００は、弁別子Ｄ^＊を実行することを含む。弁別子Ｄ＊は、ジェネレータＧ^＊の出力を「評価」し、その出力（ブロック５０６の合成超音波生体顕微鏡画像）が「実」訓練データ（ブロック５０８の訓練超音波生体顕微鏡画像）に十分に近いか否かを判定するために使用される。比較は画像間でなされる。例えば、損失関数は、２つの画像間の個々の画素の強度間の差を最小化し得る。ジェネレータＧ^＊は、「実」訓練データ（ブロック５０８の訓練超音波生体顕微鏡画像）にできるだけ近い合成超音波生体顕微鏡画像の作成を試みる。このように、弁別子Ｄ^＊は、ジェネレータＧ^＊のための損失関数を提供するように学習される。

次いで、訓練方法５００は、ブロック５１２に進んで、事前定義された閾値が満たされているか否かを判定する。一例では、２つの画像間の画素（同じ物理的位置に登録されているもの）の対応する強度における差が、例えば１０％などの所定の値以内である場合に、事前定義された閾値が満たされる。別の例では、２つの画像の水晶体直径における差が所定の値以内である場合に、事前定義された閾値が満たされる。加えて、２つの画像の間のエンドカプセル高さなどの水晶体に関連する他のパラメータにおける差が所定の値以内である場合に、事前定義された閾値が満たされ得る。所定の値は、５％以内又は５ミリ以内であり得る。事前定義された閾値が満たされている場合、訓練方法５００は終了する。事前定義された閾値が満たされていない場合、訓練方法５００はブロック５１２に進み、そこで学習モジュール１８が更新され、訓練方法５００はブロック５０４にループして戻る。訓練プロセスはクローズドループ又は反復方式で行われ、一定の基準を満たすまで学習モジュール１８が訓練される。換言すれば、訓練プロセスは、ネットワークの結果とグランドトゥルースとの間の不一致が、ある閾値未満のポイントに達するまで継続される。訓練データセットに関連する損失関数が最小化されると、学習モジュール１８は収束に至る。収束は、訓練の完了を知らせる。

システム１０は、「適応的」であるように構成されてもよく、訓練データセット用の追加データの収集後に定期的に更新されてもよい。換言すれば、学習モジュール１８は、静的ではなく、追加の訓練データセットが収集された後に改善される「適応的機械学習」アルゴリズムであるように構成され得る。いくつかの実施形態では、訓練ネットワーク２０は、複数の訓練超音波生体顕微鏡画像から水晶体構造の独立した画像バンクを採用し得る。例えば、訓練超音波生体顕微鏡画像３００は、水晶体３０４の構造の詳細のみを含み得る。

第２の実施形態では、訓練ネットワーク２０は、図７Ａ及び図７Ｂに一例を記載したサイクル敵対的生成ネットワーク（ｃｙｃｌｅＧＡＮ）を組み込む。本実施形態では、訓練データセットは、複数の訓練超音波生体顕微鏡画像と対応する訓練ＯＣＴ画像との対をなさないセットを含む。換言すれば、学習モジュール１８は、１つの画像ドメインの特性を取得し、これらの特性がどのように別の画像ドメインに変換され得るかを、すべて対をなす訓練例がない状態で判定するように適合される。

図７Ａ及び図７Ｂを参照すると、訓練ネットワーク２０は、第１の弁別子Ｄ１と第２の弁別子Ｄ２とを含む。第１のジェネレータＧ１、第２のジェネレータＧ２、第１の弁別子Ｄ１、及び第２の弁別子Ｄ２のそれぞれが、異なる目標を持つ別個のニューラルネットワークを組み込み得る。

訓練ネットワーク２０は、図７Ａに示すように、第１のジェネレータＧ１、第２のジェネレータＧ２、及び第１の弁別子Ｄ１を用いて正の訓練サイクル６００を実行するように構成される。矢印６０２に示すように、（対応する訓練ＯＣＴ画像から選択された）第１の訓練ＯＣＴ画像Ｔ１が第１のジェネレータＧ１に入力される。第１のジェネレータＧ１は、矢印６０４で示すように、第１の訓練ＯＣＴ画像Ｔ１を第１の合成超音波生体顕微鏡（ＵＢＭ）画像Ｓ１に変換する。矢印６０６において、第１の合成超音波生体顕微鏡画像Ｓ１は、第２のジェネレータＧ２に入力される。次いで、第２のジェネレータＧ２は、矢印６０８で示すように、第１の合成超音波生体顕微鏡画像Ｓ１を第２の合成ＯＣＴ画像Ｓ２に変換する。

図７Ａを参照すると、第１の合成超音波生体顕微鏡画像Ｓ１は、矢印６１０において、第１の弁別子Ｄ１に入力される。また、矢印６１２において、複数の訓練超音波生体顕微鏡画像（複数の画像を含む）が第１の弁別子Ｄ１に入力される。第１の弁別子Ｄ１は、正の訓練サイクル６００において、第１の合成超音波生体顕微鏡画像Ｓ１と複数の訓練超音波生体顕微鏡画像とを区別するように適合される。

図７Ａを参照すると、訓練ネットワーク２０は、第１の訓練ＯＣＴ画像Ｔ１と第２の合成ＯＣＴ画像Ｓ２との間の差を最小化する第１の損失関数Ｌ１を組み込む。第１の損失関数Ｌ１は、生成されたデータの分布と「グランドトゥルース」との間の差の取り込みを試みる。第１の損失関数Ｌ１は、敵対的損失とサイクル一貫性損失との両方を組み込むことができ、ミニマックス関数、最小二乗関数、ワッサースタイン損失関数、又は他の適切な関数を含むことができるが、これらに限定されない。第１の弁別子Ｄ１は第１の損失関数Ｌ１の最小化を試み、第１のジェネレータＧ１は複数の訓練超音波生体顕微鏡画像から区別できない画像を合成することにより第１の損失関数Ｌ１の最大化を試みる。同時に、第２のジェネレータＧ２は、対応するＯＣＴ訓練画像と区別できない画像を合成することにより、この損失の最大化を試みる。追加の損失関数が、適宜用途に基づいて追加されてもよい。例えば、ジェネレータＧ１及びジェネレータＧ２は、第１の訓練ＯＣＴ画像Ｔ１と第２の合成ＯＣＴ画像Ｓ２との間で水晶体直径４１０の差を最小化するように適合され得る。

訓練ネットワーク２０（図１参照）は、図７Ｂに示すように、第１のジェネレータＧ１、第２のジェネレータＧ１、及び第２の弁別子Ｄ２を用いて逆の訓練サイクル６５０を実行するように構成される。合成では、逆の訓練サイクル６５０は正の訓練サイクル６００と同じ第１のジェネレータＧ１及び第２のジェネレータＧ２を使用する。

矢印６５２で示すように、第２の訓練超音波生体顕微鏡画像Ｔ２（複数の訓練超音波生体顕微鏡画像から撮影したもの）が第２のジェネレータＧ２に入力される。第２のジェネレータＧ２は、矢印６５４において、第２の訓練超音波生体顕微鏡画像Ｔ２を第３の合成ＯＣＴ画像Ｓ３に変換する。第３の合成ＯＣＴ画像Ｓ３は、矢印６５６において、第１のジェネレータＧ１に入力される。第１のジェネレータＧ１は、矢印６５８において、第３の合成ＯＣＴ画像Ｓ３を第４の合成超音波生体顕微鏡画像Ｓ４に変換する。図７Ｂを参照すると、訓練ネットワーク２０は、第２の訓練超音波生体顕微鏡画像Ｔ２と第４の合成超音波生体顕微鏡画像Ｓ４との間の差を最小化する第２の損失関数Ｌ２を組み込む。第２の損失関数Ｌ２は第１の損失関数Ｌ１に類似しており、敵対的損失及びサイクル一貫性損失の両方を組み込み得る。

第３の合成ＯＣＴ画像Ｓ３は、矢印６５６にしたがって、第２の弁別子Ｄ２に入力される。図７Ａを参照すると、第２の弁別子Ｄ２が、逆の訓練サイクル６５０において、第３の合成ＯＣＴ画像Ｓ３（矢印６６０において入力されたもの）と対応する訓練ＯＣＴ画像（矢印６６２において入力されたもの）とを区別するように適合される。追加の損失関数が追加されてもよい。例えば、ジェネレータＧ１及びジェネレータＧ２は、第２の訓練超音波生体顕微鏡画像Ｔ２と第４の合成生体顕微鏡画像Ｓ４との間で水晶体直径４１０の差を最小化するように適合され得る。データが充実するにつれて、新たに訓練された学習モジュール１８は継続的に改善されて、水晶体４０４の水晶体構造全体を有する拡張ＯＣＴ画像４００がより精巧になり得る。

ここで図２のブロック１０６を参照すると、コントローラＣは、ＯＣＴデバイス１４を介して、被験者データ、すなわち、眼１２の元のＯＣＴ画像２００を取得するように構成される。コントローラＣは、ユーザインターフェース３２を介してデータを受信及び送信するように構成され得る。ユーザインターフェース３２は、スマートフォン、ラップトップ、タブレット、デスクトップ、又は他の電子デバイス上にインストールすることができ、タッチスクリーンインターフェース、又はキーボード若しくはマウスなどのＩ／Ｏデバイスを含み得る。ユーザインターフェース３２は、モバイルアプリケーションであってもよい。当業者に利用可能なモバイルアプリケーション（「アプリ」）の回路及び構成要素が採用されてもよい。ユーザインターフェース３２は、一体化されたプロセッサと一体化されたメモリとを備え得る。

図２のブロック１０８において、コントローラＣは、拡張ＯＣＴ画像４００を取得するために（訓練された）学習モジュール１８を実行するように構成される。いくつかの実施形態では、学習モジュール１８は、ジェネレータＧ^＊を含み、拡張ＯＣＴ画像４００は、ジェネレータＧ^＊を実行することによって生成される（図６参照）。いくつかの実施形態では、学習モジュール１８は、第１のジェネレータＧ１及び第２のジェネレータＧ２を含み、第１のジェネレータＧ１及び第２のジェネレータＧ２を順に実行することにより、拡張ＯＣＴ画像４００が生成される。第１のジェネレータＧ１は、眼１２の元のＯＣＴ画像２００を対応する合成超音波生体顕微鏡画像に変換するように適合され、第２のジェネレータＧ２は、対応する合成超音波生体顕微鏡画像を拡張ＯＣＴ画像４００に変換するように適合される。

図２のブロック１１０において、コントローラＣは、拡張ＯＣＴ画像４００に基づいて少なくとも１つの水晶体パラメータを判定するように構成される。上記のように、また図４を参照すると、水晶体パラメータは、水晶体嚢プロファイル４０８、水晶体直径４１０、及び水晶体直径４１０に沿った水晶体４０４の厚さ４１２を含み得る。水晶体パラメータは、レンズ選択モジュール２２に出力され得る。追加的に、図２のブロック１１２において、コントローラＣは、ブロック１１２において判定された水晶体パラメータに少なくとも部分的に基づいて眼内レンズ２４を選択するように構成され得る。

まとめると、システム１０は、１つ又は複数の学習モジュール１８を活用することによって、眼１２の元のＯＣＴ画像２００から入手可能ではない情報を再構成するロバストな仕方を示している。システム１０は、元のＯＣＴ画像２００の周縁部分２０６を推定するように適合される。技術的な利点としては、眼内レンズ２４のための度数計算の改善、及び調節性の眼内レンズ２４の適切な選択が挙げられる。

図１のコントローラＣは、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られ得るデータ（例えば、命令）を提供することに関係する非一時的（例えば、有形）媒体を含むコンピュータ可読媒体（プロセッサ可読媒体とも称する）を備える。このような媒体は、不揮発性媒体及び揮発性媒体を含むが限定されない多くの形態を取り得る。不揮発性媒体としては、例えば、光ディスク又は磁気ディスク及び他の永続的メモリが挙げられる。揮発性媒体としては、例えば、主記憶装置を構成し得るダイナミックランダムアクセスメモリ（ＤＲＡＭ）が挙げられる。このような命令は、コンピュータのプロセッサに結合されたシステムバスを備える配線を含む、同軸ケーブル、銅線、及び光ファイバを含む１つ又は複数の伝送媒体によって伝送され得る。コンピュータ可読媒体のいくつかの形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、他の光媒体、パンチカード、紙テープ、他の孔のパターンを有する物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＥＰＲＯＭ、他のメモリチップ若しくはカートリッジ、又は他のコンピュータが読み取り可能な媒体が挙げられる。

本明細書に記載されるルックアップテーブル、データベース、データリポジトリ、又は他のデータストアは、階層型データベース、ファイルシステム内の一式のファイル、独自形式のアプリケーションデータベース、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などを含む、様々な種類のデータを記憶、アクセス、及び取得するための様々な種類の機構を含んでいてもよい。それぞれのかかるデータストアは、上述したものの１つなどのコンピュータオペレーティングシステムを採用するコンピューティングデバイス内に含まれてもよく、様々な仕方のうちの１つ又は複数でネットワークを介してアクセスされてもよい。ファイルシステムは、コンピュータオペレーティングシステムからアクセス可能であってもよく、様々な形式で記憶されるファイルを含んでいてもよい。ＲＤＢＭＳは、上述のＰＬ／ＳＱＬ言語などのストアドプロシージャを作成、記憶、編集、及び実行するための言語に加えて、構造化照会言語（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ、ＳＱＬ）を採用してもよい。

詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の適用範囲は、特許請求の範囲によってのみ定義される。特許請求の範囲に記載された開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例のうちの１つにおいて説明された特性のそれぞれは、他の実施形態からの１つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言葉で説明されていない、又は図面を参照することによって説明されていない、他の実施形態を得ることができる。したがって、かかる他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。
態様（１）によれば、少なくとも１つのプロセッサと、眼の元の光干渉断層撮影（「ＯＣＴ」）画像を拡張するための方法のための命令が記録される少なくとも１つの非一時的有形メモリとを有するコントローラと、
前記コントローラによって選択的に実行可能な１つ又は複数の学習モジュールと
を備えるシステムにおいて、
前記１つ又は複数の学習モジュールが、複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークによって訓練され、
前記プロセッサが前記命令を実行することにより、前記眼の前記元のＯＣＴ画像を前記コントローラに取得させ、前記元のＯＣＴ画像がＯＣＴデバイスを介して取り込まれ、
前記コントローラが、前記１つ又は複数の学習モジュールを実行することにより、前記元のＯＣＴ画像に部分的に基づいて拡張ＯＣＴ画像を生成するように構成され、
前記拡張ＯＣＴ画像が、前記元のＯＣＴ画像の周縁部分を少なくとも部分的に拡大する、システムである。
態様（２）によれば、前記周縁部分が前記眼の虹彩の後方にあって、前記拡張ＯＣＴ画像が前記虹彩の後方にある１つ又は複数の構造の可視化を可能にする。
態様（３）によれば、前記コントローラが、前記拡張ＯＣＴ画像に基づいて少なくとも１つの水晶体パラメータを取得するように構成される。
態様（４）によれば、前記コントローラが、前記少なくとも１つの水晶体パラメータに部分的に基づいて眼内レンズを選択するように構成され、
前記少なくとも１つの水晶体パラメータが、水晶体直径及び／又は水晶体嚢プロファイルを含む。
態様（５）によれば、前記ＯＣＴデバイスが、前記眼を照明するためのレーザビームのアレイを備える。
態様（６）によれば、前記対応する訓練ＯＣＴ画像が、前記複数の訓練超音波生体顕微鏡画像に関連付けられ、前記対応する訓練ＯＣＴ画像と前記複数の訓練超音波生体顕微鏡画像とが対をなすセットを形成する。
態様（７）によれば、前記１つ又は複数の学習モジュールが、前記対応する訓練ＯＣＴ画像に部分的に基づいて対応する合成ＯＣＴ画像を生成するように訓練されたジェネレータを含み、
前記訓練ネットワークが、弁別子を有する敵対的生成ネットワークであり、
前記弁別子が、前記複数の訓練超音波生体顕微鏡画像と前記対応する合成ＯＣＴ画像とを区別するように適合される。
態様（８）によれば、前記対応する訓練ＯＣＴ画像が、前記複数の訓練超音波生体顕微鏡画像に関連付けられず、前記対応する訓練ＯＣＴ画像と前記複数の訓練超音波生体顕微鏡画像とが対をなさないセットを形成し、
前記訓練ネットワークが、第１の弁別子と第２の弁別子とを有する敵対的生成ネットワークである。
態様（９）によれば、前記１つ又は複数の学習モジュールが、第１のジェネレータと第２のジェネレータとを含み、
前記拡張ＯＣＴ画像が、前記第１のジェネレータと前記第２のジェネレータとを順に実行することにより生成され、前記第１のジェネレータが前記眼の前記元のＯＣＴ画像を対応する合成ＵＢＭ画像に変換するように適合され、前記第２のジェネレータが前記対応する合成ＵＢＭ画像を前記拡張ＯＣＴ画像に変換するように適合される。
態様（１０）によれば、前記訓練ネットワークが、前記第１のジェネレータ、前記第２のジェネレータ、及び前記第１の弁別子を用いて正の訓練サイクルを実行するように構成され、
第１の訓練ＯＣＴ画像が前記第１のジェネレータに入力され、前記第１の訓練ＯＣＴ画像が前記対応する訓練ＯＣＴ画像から選択され、
前記第１のジェネレータが、前記第１の訓練ＯＣＴ画像を第１の合成超音波生体顕微鏡画像に変換するように適合され、
前記第２のジェネレータが、前記第１の合成超音波生体顕微鏡画像を第２の合成ＯＣＴ画像に変換するように適合される。
態様（１１）によれば、前記第１の弁別子が、前記正の訓練サイクルにおいて、前記第１の合成超音波生体顕微鏡画像と前記複数の訓練超音波生体顕微鏡画像とを区別するように適合され、
前記訓練ネットワークが、前記第１の訓練ＯＣＴ画像と前記第２の合成ＯＣＴ画像との間の差を最小化する第１の損失関数を組み込む。
態様（１２）によれば、前記訓練ネットワークが、前記第１のジェネレータ、前記第２のジェネレータ、及び前記第２の弁別子を用いて逆の訓練サイクルを実行するように構成され、
第２の訓練超音波生体顕微鏡画像が前記第２のジェネレータに入力され、前記第２の訓練超音波生体顕微鏡画像が前記複数の訓練超音波生体顕微鏡画像から選択され、
前記第２のジェネレータが、前記第２の訓練超音波生体顕微鏡画像を第３の合成ＯＣＴ画像に変換するように構成され、
前記第１のジェネレータが、前記第３の合成ＯＣＴ画像を第４の合成超音波生体顕微鏡画像に変換するように構成される。
態様（１３）によれば、前記第２の弁別子が、前記逆の訓練サイクルにおいて、前記第３の合成ＯＣＴ画像と前記対応する訓練ＯＣＴ画像とを区別するように適合され、
前記訓練ネットワークが、前記第２の訓練超音波生体顕微鏡画像と前記第４の合成超音波生体顕微鏡画像との間の差を最小化する第２の損失関数を組み込む。
態様（１４）によれば、少なくとも１つのプロセッサと少なくとも１つの非一時的有形メモリとを有するコントローラを備えたシステムによって、眼の元の光干渉断層撮影（「ＯＣＴ」）画像を拡張するための方法であって、前記方法が、
１つ又は複数の学習モジュールを選択的に実行するように前記コントローラを構成することと、
複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークを介して１つ又は複数の学習モジュールを訓練することと、
ＯＣＴデバイスを介して前記眼の前記元のＯＣＴ画像を取り込むことと、
前記１つ又は複数の訓練モジュールを実行することによって、前記元のＯＣＴ画像に部分的に基づいて拡張ＯＣＴ画像を生成することであって、前記拡張ＯＣＴ画像が、前記元のＯＣＴ画像の周縁部分を少なくとも部分的に拡大する、ことと
を含む、方法である。
態様（１５）によれば、前記眼の虹彩の後方に前記周縁部分を配置して、前記拡張ＯＣＴ画像が前記虹彩の後方にある１つ又は複数の構造の可視化を可能にすること
を更に含む。

Claims (15)

1. 少なくとも１つのプロセッサと、眼の元の光干渉断層撮影（「ＯＣＴ」）画像を拡張するための方法のための命令が記録される少なくとも１つの非一時的有形メモリとを有するコントローラと、
   前記コントローラによって選択的に実行可能な１つ又は複数の学習モジュールと
   を備えるシステムにおいて、
   前記１つ又は複数の学習モジュールが、複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークによって訓練され、
   前記プロセッサが前記命令を実行することにより、前記眼の前記元のＯＣＴ画像を前記コントローラに取得させ、前記元のＯＣＴ画像がＯＣＴデバイスを介して取り込まれ、
   前記コントローラが、前記１つ又は複数の学習モジュールを実行することにより、前記元のＯＣＴ画像に部分的に基づいて拡張ＯＣＴ画像を生成するように構成され、
   前記元のＯＣＴ画像を外挿することによって、水晶体の周縁部分を含む前記拡張ＯＣＴ画像が構成される、システム。
2. 前記周縁部分が前記眼の虹彩の後方にあって、前記拡張ＯＣＴ画像が前記虹彩の後方にある１つ又は複数の構造の可視化を可能にする、請求項１に記載のシステム。
3. 前記コントローラが、前記拡張ＯＣＴ画像に基づいて少なくとも１つの水晶体パラメータを取得するように構成される、請求項１に記載のシステム。
4. 前記コントローラが、前記少なくとも１つの水晶体パラメータに部分的に基づいて眼内レンズを選択するように構成され、
   前記少なくとも１つの水晶体パラメータが、水晶体直径及び／又は水晶体嚢プロファイルを含む、請求項３に記載のシステム。
5. 前記ＯＣＴデバイスが、前記眼を照明するためのレーザビームのアレイを備える、請求項１に記載のシステム。
6. 前記対応する訓練ＯＣＴ画像が、前記複数の訓練超音波生体顕微鏡画像に関連付けられ、前記対応する訓練ＯＣＴ画像と前記複数の訓練超音波生体顕微鏡画像とが対をなすセットを形成する、請求項１に記載のシステム。
7. 前記１つ又は複数の学習モジュールが、前記対応する訓練ＯＣＴ画像に部分的に基づいて対応する合成ＯＣＴ画像を生成するように訓練されたジェネレータを含み、
   前記訓練ネットワークが、弁別子を有する敵対的生成ネットワークであり、
   前記弁別子が、前記複数の訓練超音波生体顕微鏡画像と前記対応する合成ＯＣＴ画像とを区別するように適合される、請求項６に記載のシステム。
8. 前記対応する訓練ＯＣＴ画像が、前記複数の訓練超音波生体顕微鏡画像に関連付けられず、前記対応する訓練ＯＣＴ画像と前記複数の訓練超音波生体顕微鏡画像とが対をなさないセットを形成し、
   前記訓練ネットワークが、第１の弁別子と第２の弁別子とを有する敵対的生成ネットワークである、請求項１に記載のシステム。
9. 前記１つ又は複数の学習モジュールが、第１のジェネレータと第２のジェネレータとを含み、
   前記拡張ＯＣＴ画像が、前記第１のジェネレータと前記第２のジェネレータとを順に実行することにより生成され、前記第１のジェネレータが前記眼の前記元のＯＣＴ画像を対応する合成ＵＢＭ画像に変換するように適合され、前記第２のジェネレータが前記対応する合成ＵＢＭ画像を前記拡張ＯＣＴ画像に変換するように適合される、請求項８に記載のシステム。
10. 前記訓練ネットワークが、前記第１のジェネレータ、前記第２のジェネレータ、及び前記第１の弁別子を用いて正の訓練サイクルを実行するように構成され、
    第１の訓練ＯＣＴ画像が前記第１のジェネレータに入力され、前記第１の訓練ＯＣＴ画像が前記対応する訓練ＯＣＴ画像から選択され、
    前記第１のジェネレータが、前記第１の訓練ＯＣＴ画像を第１の合成超音波生体顕微鏡画像に変換するように適合され、
    前記第２のジェネレータが、前記第１の合成超音波生体顕微鏡画像を第２の合成ＯＣＴ画像に変換するように適合される、請求項９に記載のシステム。
11. 前記第１の弁別子が、前記正の訓練サイクルにおいて、前記第１の合成超音波生体顕微鏡画像と前記複数の訓練超音波生体顕微鏡画像とを区別するように適合され、
    前記訓練ネットワークが、前記第１の訓練ＯＣＴ画像と前記第２の合成ＯＣＴ画像との間の差を最小化する第１の損失関数を組み込む、請求項１０に記載のシステム。
12. 前記訓練ネットワークが、前記第１のジェネレータ、前記第２のジェネレータ、及び前記第２の弁別子を用いて逆の訓練サイクルを実行するように構成され、
    第２の訓練超音波生体顕微鏡画像が前記第２のジェネレータに入力され、前記第２の訓練超音波生体顕微鏡画像が前記複数の訓練超音波生体顕微鏡画像から選択され、
    前記第２のジェネレータが、前記第２の訓練超音波生体顕微鏡画像を第３の合成ＯＣＴ画像に変換するように構成され、
    前記第１のジェネレータが、前記第３の合成ＯＣＴ画像を第４の合成超音波生体顕微鏡画像に変換するように構成される、請求項９に記載のシステム。
13. 前記第２の弁別子が、前記逆の訓練サイクルにおいて、前記第３の合成ＯＣＴ画像と前記対応する訓練ＯＣＴ画像とを区別するように適合され、
    前記訓練ネットワークが、前記第２の訓練超音波生体顕微鏡画像と前記第４の合成超音波生体顕微鏡画像との間の差を最小化する第２の損失関数を組み込む、請求項１２に記載のシステム。
14. 少なくとも１つのプロセッサと少なくとも１つの非一時的有形メモリとを有するコントローラを備えたシステムによって、眼の元の光干渉断層撮影（「ＯＣＴ」）画像を拡張するための方法であって、前記方法が、
    １つ又は複数の学習モジュールを選択的に実行するように前記コントローラを構成することと、
    複数の訓練超音波生体顕微鏡画像及び対応する訓練ＯＣＴ画像を有する訓練データセットを用いて、訓練ネットワークを介して１つ又は複数の学習モジュールを訓練することと、
    ＯＣＴデバイスを介して前記眼の前記元のＯＣＴ画像を取り込むことと、
    前記１つ又は複数の訓練モジュールを実行することによって、前記元のＯＣＴ画像に部分的に基づいて拡張ＯＣＴ画像を生成することであって、前記元のＯＣＴ画像を外挿することによって、水晶体の周縁部分を含む前記拡張ＯＣＴ画像が生成されること、
    を含む、方法。
15. 前記眼の虹彩の後方に前記周縁部分を配置して、前記拡張ＯＣＴ画像が前記虹彩の後方にある１つ又は複数の構造の可視化を可能にすること
    を更に含む、請求項１４に記載の方法。