Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7753082B2 - 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7753082B2 - 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム - Google Patents

眼科撮像装置、眼科撮像装置の制御方法、及びプログラム

Info

Publication number
JP7753082B2
JP7753082B2 JP2021204978A JP2021204978A JP7753082B2 JP 7753082 B2 JP7753082 B2 JP 7753082B2 JP 2021204978 A JP2021204978 A JP 2021204978A JP 2021204978 A JP2021204978 A JP 2021204978A JP 7753082 B2 JP7753082 B2 JP 7753082B2
Authority
JP
Japan
Prior art keywords
eye
subject
image
movement
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021204978A
Other languages
English (en)
Other versions
JP2023090164A (ja
Inventor
宏佳 田中
信也 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021204978A priority Critical patent/JP7753082B2/ja
Priority to PCT/JP2022/046155 priority patent/WO2023112978A1/ja
Publication of JP2023090164A publication Critical patent/JP2023090164A/ja
Application granted granted Critical
Publication of JP7753082B2 publication Critical patent/JP7753082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

本発明は、眼科撮像装置、眼科撮像装置の制御方法、及びプログラムに関する。
眼科装置として、被検眼の眼底2次元画像を取得するための装置として眼底カメラや、走査型レーザ検眼鏡(SLO:Scanning Laser Ophthalmoscope:走査レーザ検眼鏡)装置が実用化されている。また、低コヒーレント光による光干渉断層法(OCT:Optical Coherence Tomography)を利用して被検眼の断層画像を取得するための装置(以下、これをOCT装置と記す。)も実用化されている。更に、SLO装置とOCT装置の複合装置も有用な装置である。
一方、眼内組織である硝子体は、通常無色透明なゼリー状の物質だが、例えば加齢に伴い変化して液状化することや軽微な混濁が発生することが知られている。このような混濁が生じている部分では測定光の散乱や反射が発生するので、従来のSLOやOCT装置であってもこれらを撮像することはできる。しかし、一般的にはこのような硝子体混濁等、眼内浮遊物は網膜の観察・撮影の障害物としてとらえられている。このような硝子体が混濁した部位等(以下、硝子体混濁部位と称する。)については、これを避けて網膜を観察する特許文献1に開示する方法や、混濁の影響度を定量化する特許文献2に開示する方法が知られている。
特開平8-336501号公報 特開2015-085176号公報
硝子体混濁部位に関しては、上述したように、その影響を考慮して眼底観察を行うことが行われているが、該硝子体混濁部位を対象としてこれを撮影或いは解析する装置や方法については存在していない。
本発明の一実施態様は、上述した状況に鑑みたものであって、硝子体混濁部位を対象として、これを撮影或いは解析することが可能な装置や方法の提供を目的の一つとする。
本発明の一実施態様に係る眼科撮像装置は、
測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶する記憶手段と、
前記記憶された画像に基づいて前記所定の動きを検出する手段と、
前記被検眼の硝子体内に存在する混濁部位であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記混濁部位の存在する領域を、前記記憶された複数の画像の少なくとも2つを用いて識別し、前記混濁部位の動きに関する情報を、前記記憶された画像の少なくとも2つを用いて算出する算出手段と、
を備える。
本発明の一実施態様によれば、硝子体混濁部位を対象として、これを撮影或いは解析することが可能となる。
第1の実施例に係る眼科撮像装置の概略的な構成の一例を示す図である。 第1の実施例に係る撮像ヘッドの概略的な光学構成を示す模式図である。 第1の実施例に係る解析方法の一連の処理を示すフローチャートである。 患者/検査選択画面の一例を示す模式図である。 OCT検査画面の一例を示す模式図である。 VTM検査画面の一例を示す模式図である。 撮影パラメータを設定する画面の一例を示す模式図である。 SLO動画像再生時に行われる一連の処理を示すフローチャートである。 SLO動画像撮像時の各部の動作及び移動体の様子を示すタイミングチャートである。 解析画面の一例を示す模式図である。 解析処理時に行われる一連の処理を示すフローチャートである。 第2の実施例における解析方法の一部の処理を示すフローチャートである。 第2の実施例におけるVTM検査画面の一例を示す模式図である。 第2の実施例におけるVTM検査画面の一例を示す模式図である。 順次走査が行われた際に得られる断層画像の関係を例示する模式図である。 解析画面の変形例を示す模式図である。 解析画面の変形例を示す模式図である。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
(第1の実施例)
以下、添付の図面を参照して本発明の好適な第1の実施例に係る眼科撮像装置及びその制御方法の一例について説明する。本実施例に係る眼科撮像装置は、取得した画像を用い、該画像から硝子体混濁部位等の被検眼内で被検眼の動きに誘発されて該被検眼とは異なる動きを行う移動体を抽出する眼科撮像装置の一態様として示される。
図1は、本発明の第1の実施例に係る眼科撮像装置の概略的な構成の一例を示す図である。図1(a)は、該眼科撮像装置の構成を示す図であり、図1(b)は、図1(a)に示される制御装置120の機能構成を示すブロック図である。
第1の実施例に係る眼科撮像装置は、撮像ヘッド110(撮像装置)と、制御装置120と、表示部130と、入力部140と、を備える。本実施例において、眼科用画像処理装置は、制御装置120内に包含される。入力部140は、表示部130と協調してGUIとして作用するキーボード、ポインティングデバイス等から構成されている。撮像ヘッド110は、被検眼の所定部位を撮像するための光学系が組み込まれ、被検眼に対して位置合わせを行うための上下左右前後の3軸方向に移動可能なアライメント機構が設けられたステージと一体的に構成されている。
制御装置120は、撮像ヘッド110、表示部130、及び入力部140に各々通信可能に接続され、これらを制御することができる。制御装置120は、更に撮像ヘッド110で取得された被検眼の撮像信号から画像の生成や保存等を実行すると共ともに、保存された画像や関連情報を表示部130に表示させる。また、本実施例では、撮像ヘッド110は、眼球運動を誘発する指示を発生する後述する指示発生部となる内蔵のスピーカを有し、制御装置120からの指示に従い被検者に必要な指示を発生するオーディオインターフェースとしても機能する。
なお、制御装置120は、任意の汎用コンピュータを用いて構成されることができるが、眼科撮像装置に設けた専用のコンピュータを用いて構成されてもよい。また、表示部130は任意のディスプレイを用いて構成されることができるが、入力部140と一体化された機能を持つタッチパネルで構成されても良い。また本実施例では、撮像ヘッド110、制御装置120、及び表示部130は別個に設けられているが、これらは一体的に設けてもよい。
<撮像ヘッド110光学系の説明>
まず撮像ヘッド110の構成について説明する。図2は撮像ヘッド110の光学構成の一例の概略を模式的に示したものである。
撮像ヘッド110では、SLO光学系と、OCT光学系とに共用される対物レンズ211が被検眼Eに対向するように配置される。対物レンズ211の光軸上には、第1ダイクロイックミラー212、第2ダイクロイックミラー213、及びビームスプリッタ210が配置される。これら光学部材により、対物レンズ211の光軸は、OCT光路L1、SLO光路L2、前眼部観察光路L3、及び固視灯光路L4に分岐される。OCT光路L1は、被検眼眼底及びそれに近接した硝子体の断層画像を撮像するための光路であり、SLO光路L2は、眼底正面像を撮像するための光路である。また、前眼部観察光路L3は、前眼部を観察するための光路であり、固視灯光路L4は、被検眼Eの固視を促すための固視灯を提示する光路である。
第1ダイクロイックミラー212は、対物レンズ211の光軸から前眼部観察光路L3を、各光線の波長帯域に応じて反射方向に分岐する。第2ダイクロイックミラー213は、対物レンズ211の光軸からOCT光路L1を、各光線の波長帯域に応じて反射方向に分岐する。ビームスプリッタ210は、対物レンズ211の光軸から、波長帯域に応じて固視灯光路L4を反射方向に分岐し、SLO光路L2を透過方向に分岐する。なお、各ダイクロイックミラー等の透過方向及び反射方向に設けられる光路は、互いに逆であってもよい。
SLO光路L2は、被検眼眼内にSLO測定光を照射しながら走査するためのSLO走査光学系と被検眼Eからの戻り光を受光する受光光学系とに共用される、SLO走査手段214、フォーカスレンズ215、及びレンズ216が配される。レンズ216の後方(レンズ216に関して光路上で対物レンズ211とは逆の方向)の被検眼瞳と共役な位置には、部分反射ミラー217が設けられる。部分反射ミラー217は、光軸中心部分でSLO測定光源221から放射されるSLO測定光を反射し、その他の領域では被検眼Eからの戻り光を透過する。部分反射ミラー217は、SLO測定光と戻り光とを、光束分割の形式で分離する。
部分反射ミラー217の反射光路に設けられたSLO測定光源221から上述の如くの対物レンズ211へ至る系が、SLO走査光学系である。SLO走査光学系により、SLO測定光が被検眼眼底上で走査されることになる。一方、対物レンズ211から部分反射ミラー217の透過光路に用意されたSLOフォトダイオード220までの系が、SLO受光光学系となる。SLO受光光学系により、SLOフォトダイオード220に導かれた被検眼Eからの戻り光はSLO受光信号として制御装置120へ送信される。
SLO走査光学系と受光光学系とで共用されるSLO走査手段214は、SLO測定光源221から放射されたSLO測定光で被検眼眼底上を2次元走査する。また、SLO走査手段214は、同時に、各走査位置からの戻り光をSLOフォトダイオード220へ導光するために用いられる。SLO走査手段214は、SLO測定光をX方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施例では、Xスキャナは高速走査を行う必要があるためポリゴンミラーを用い、Yスキャナは低速走査でよいためガルバノミラーを用いることとしている。
フォーカスレンズ215はフォーカス調整のため、不図示のモータによって、図中矢印で示す方向に駆動される。SLO測定光源221は例えば、青、緑、赤、赤外の4種類の異なる波長のレーザを合波して放射する光源であり、出力するレーザ波長は4種類の中から任意に選択可能で、制御装置120によって制御される。なお、赤外の光源から発生られるレーザ光の中心波長は、OCTの測定光との波長分離を可能とするため、例えば780nm付近の波長としている。
第1ダイクロイックミラー212は、970nm付近の波長帯の光を反射し、それ以下の波長の光を透過させる特性を有する。第1ダイクロイックミラー212が形成する前眼部観察用の光路(前眼部観察光路L3)上には、レンズ222、スプリットプリズム223、レンズ224、及び前眼部観察用のCCD225が配置される。CCD225は、不図示の前眼部観察用光源(波長970nm)で照明された被検眼前眼部を撮像する。スプリットプリズム223は、前眼部観察光路L3上の、被検眼Eと撮像ヘッド110のZ方向(前後方向)の距離が適正となった場合に、被検眼Eの瞳孔と共役な位置となるように配置されている。これにより、撮像ヘッド110のZ方向(前後方向)の距離が適正な場合には、CCD225は、分離していない被検眼瞳の像を撮像できる。また、Z方向の距離が不適正な場合には、CCD225は、被検眼瞳をスプリットプリズムの偏向方向に分離した像を撮像することができる。CCD225の出力信号は制御装置120に送られ、制御装置120は、CCD225から受け取った信号に基づいて、被検眼Eと撮像ヘッド110との相対位置を検知する。
なお、撮像ヘッド110には、被検眼Eに対してアライメントを行うために、撮像ヘッド110全体を3次元(X、Y、Z)方向に動かすアライメント機構が設けられている。制御装置120は、CCD225からの映像信号から得られた被検眼Eと撮像ヘッド110との相対位置情報を基に、不図示の3つのモータを用いてこのアライメント機構を駆動してアライメント操作を実行する。
OCT光路L1は、被検眼Eの眼底断層画像等を撮像するために用いられる。OCT光路L1上には、測定光を眼底で走査するOCT走査光学系と、被検眼Eからの戻り光を受光するOCT受光光学系とで共用されるOCT走査手段226、フォーカスレンズ227、及びレンズ228が配置される。OCT走査手段226は、OCT測定光源229から得られる測定光を被検眼眼底上で走査するために用いられる。なお、本実施例では、OCT走査手段226は1枚のミラーとして図示してあるが、XY2軸方向の測定光の走査を各々行うための2つのガルバノミラーからなるXYスキャナとして構成される。なお、XYスキャナには所望の構成に応じて任意の偏向手段を用いて構成されてよい。また、測定光の走査手段は、例えばMEMSミラー等の一枚のミラーで2次元方向に光を偏向できる偏向手段により構成されてもよい。
フォーカスレンズ227は、光ファイバー230から出射するOCT測定光源229から得た測定光を、被検眼眼底にフォーカスさせるためのものであり、不図示のモータによって図中矢印方向に駆動される。このフォーカス合わせによって、光ファイバー230の端面から射出される測定光は被検眼眼底に点状に結像される一方、そこからの戻り光は光ファイバー230の端面に結像され、再び光ファイバー230へと入射されることとなる。
OCT測定光源229には、例えばSLD(Super Luminescent Diode)が用いられ、該SLDは、例えば、中心波長が850nmで、波長帯域が50nmの低コヒーレント光を出射する。なお、OCT測定光源229としては、所定の中心波長と波長帯域を有する低コヒーレント光を出射可能であれば、ASE(Amplified Spontaneous Emission)等のSLD以外の光源を用いてもよい。
光ファイバー230は、光カプラー234、光ファイバー231を経てOCT測定光源229に接続される。光カプラー234に接続される光ファイバー233は、更に分光器238に接続されている。OCT測定光源229から放射され光ファイバー231に入射した光は、光カプラー234にてOCT測定光と参照光とに分割され、OCT測定光は、光ファイバー230に導かれる。OCT測定光は光ファイバー230から射出後、OCT光学系の光路(OCT光路L1)上に設けられた対物レンズ211までの光学部材を介して被検眼Eに向けて導かれる。以上の光学部材により、OCT走査光学系が構成される。被検眼Eに照射された測定光は、被検眼Eの眼底で反射散乱され、戻り光としてOCT走査光学系をへて再び光カプラー234に達する。
一方、光カプラー234に接続される光ファイバー232、レンズ235、分散補償用ガラス236、及び参照ミラー237により、参照光路が形成される。OCT測定光源から出射された光を光カプラー234で分割して得られる参照光は、光ファイバー232を通じて、レンズ235及び分散補償用ガラス236を介し、参照ミラー237に向けて出射される。参照ミラー237から反射した参照光は、同じ光路を通じて再び光カプラー234に達する。参照ミラー237は、不図示のモータ及び駆動機構によって、図中矢印で示すように光軸方向に位置の調整可能に保持される。これにより、被検眼Eに応じて変化するOCT測定光の光路長と参照光の光路長とを可干渉距離内に調整可能としている。この調整が行われた参照光とOCT測定光の戻り光とは光カプラー234により合波され、干渉光として光ファイバー233を介して分光器238に導かれる。
分光器238は、レンズ239、レンズ241、回折格子240、及びラインセンサー242から構成される。光ファイバー233から出射された干渉光は、レンズ239を介して平行光となった後、回折格子240で分光され、レンズ241によってラインセンサー242上に結像される。以上の光学部材により、OCT受光光学系が構成される。ラインセンサー242は、分光された干渉光を読み取り、OCT断層画像形成のための受光信号を生成して20マイクロ秒ごとにこれを制御装置120へ送信する。
例えば素ガラスを利用したビームスプリッタ210を用いてその反射方向に形成される固視灯光路L4には、レンズ218及び固視灯パネル219が設けられている。固視灯パネル219は、例えば高輝度タイプの有機ELパネルであって、制御装置120により制御され、検者の選択した種々のパターンを所望の位置に表示することができる。このパターンの可視像が被検眼Eに提示され、被検者の固視を促す固視灯として作用する。
なお、上述した本実施例では、干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。OCT測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。また本実施では、スペクトラルドメイン方式(SD:Spectral Domain)のOCT装置を採用したが、波長掃引光源を用いたスウェプトソース方式(SS:Swept Source)のOCT装置も適用可能である。更に、本実施例では、撮像系としてSLO光学系とOCT光学系の複合系を採用しているが、必ずしも複合系である必要はなく、本発明はSLO光学系のみ、もしくはOCT光学系のみで構成される撮像ヘッドも適用できる。
<制御装置の説明>
次に制御装置120について説明する。図1(b)は、制御装置120の制御構成を示すブロック図である。本実施例に係る制御装置120は、画像生成部121、記憶部122、制御部123、解析部124、取得部125、及び指示発生部128を備える。
画像生成部121は、例えば本実施例において、後述する受光信号等を用いて画像を生成する画像生成手段として機能する。記憶部122は、例えば本実施例において、走査情報と受光信号や、画像生成部121により生成した画像等を記憶する記憶手段として機能する。制御部123は、例えば本実施例において、撮像ヘッド110、画像生成部121、記憶部122の制御を行う制御手段として機能する。解析部124は、例えば本実施例において、制御部123の制御情報や、画像生成部121が生成した画像(データ)を解析して必要な情報を生成する解析部として機能する。取得部125は、例えば本実施例において、解析部124、撮像ヘッド110、表示部130、及び入力部140から必要な情報を取得する取得手段として機能する。また、解析部124は、後述する被検眼Eの眼球の移動や眼球内の例えば硝子体の混濁した部位等の移動に関する情報を抽出する情報抽出部126を内蔵する。指示発生部128は、被検者に対して瞬きを促す等の後述する指示を発生するが、該指示発生部は、制御装置120に含まれてもよく、個別に例えば撮像ヘッド110に配置される等してもよい。
制御装置120の記憶部122以外の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるモジュール等によって実現することができる。なお、プロセッサーは、例えば、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。また、制御装置120の各構成要素は、ASICなどの特定の機能を実現する回路等によって実現されてもよい。記憶部122は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
次に本発明の実施例として実際の装置の測定や解析の処理について述べる前に、まず各部の大きな役割分担について説明する。制御部123は、記憶部122に記憶された制御装置120の各構成要素を構成するプログラムや解析部124で生成された制御情報に基づいて制御信号を各部へ出力し、装置の制御を行う。制御する対象には、例えば、撮像ヘッド110、表示部130、制御装置120内の各部が含まれる。制御装置120或いは制御部123は、表示部130に後述するアプリケーションウィンドウ等を表示させる表示制御手段として機能する。なお、制御装置120内の取得部125、画像生成部121、解析部124等の制御については、以降において制御部123が制御を行うという説明は省略する。
取得部125は、装置の動作、画像の生成、画像の解析に必要な情報を取得する。画像の生成や解析に必要な情報には、例えば、画像を生成するための受光信号や映像信号、受光信号を画像データにするための光学系の状態を表す情報、等が含まれる。受光信号や映像信号には、例えばSLOフォトダイオード220、CCD225、或いはラインセンサー242の出力が含まれる。また、受光信号を画像データにするための光学系の状態を表す情報には、例えば、撮像ヘッド110の2つの走査手段であるSLO走査手段214及びOCT走査手段226の走査情報が含まれる。取得部125は更に、表示部130と協調動作することでGUIとして機能して検者の操作・指示情報等を取得する、或いは入力部140を介して入力される検者の操作・指示情報等を取得する。
画像生成部121は、取得部125で取得した信号を用いて画像(データ)を生成するが、連続して取得した信号から生成した複数の画像から動画像(ファイル)を生成することもできる。生成する画像としては、例えば、SLO画像、断層画像、前眼部画像等がある。
記憶部122は、必要な情報を記憶する。記憶される情報には、例えば、画像生成部121によって生成されたSLO画像、断層画像、前眼部画像、SLO動画像、断層動画像や、被検眼の撮影に使われた撮影パラメータ、等が含まれる。また、記憶部122は更に、制御装置120の各構成要素を構成するために用意されたコンピュータプログラム等も必要な情報として記憶する。
解析部124は、情報抽出部126を含む。情報抽出部126は、画像生成部121が生成した画像(データ)を解析して、例えば眼球運動に関する情報や硝子体混濁のある部位の移動に関する情報等、必要な情報を生成する。更に、必要な情報には、例えば、光学系の制御を行う際に用いる制御情報、画像と共に記憶すべき付帯情報等も含まれる。
次に、SLO画像の生成、OCT画像の生成を例にとり各部の実際の基本動作を説明する。眼底正面(SLO)動画像を生成する方法では、制御部123は、SLO測定光源221を点灯後、SLO走査手段214に走査情報である走査制御信号を送り、SLO測定光の走査を開始する。被検眼眼底からの戻り光は、SLOフォトダイオード220により受光信号に変換される。画像生成部121は、この受光信号をサンプリングし、走査情報である各走査位置へ対応される画素の画素値として記憶部122へ逐次記憶することで一枚の眼底正面画像データを生成する。この画像データを読み出して表示部130に表示させることにより、静止画像の表示することができる。更に、この一連の制御を繰り返し行って逐次得られた静止画像を時系列に沿って連続的に表示させることにより、眼底正面動画像を表示することが可能となる。更に、この眼底正面動画像を生成中に、解析部124が異なるフォーカスレンズ215位置における画像データを解析することによって、合焦状態を検出することができる。制御部123は、合焦状態の検出結果に基づいてフォーカスレンズ215の位置制御を行なうことで、SLOオートフォーカス調整といったような装置の調整制御が実現できる。
また、SLO測定光源221から放射されるSLO測定光の波長領域を切り替えることにより、モノクロ動画像、カラー静止画像、カラー動画像の生成や保存が可能となり、画像の用途により、これら画像を適時選択できる。例えば、本撮像前のプレビュー状態においては、赤外波長のみを用いたモノクロ動画像を選択することが望ましい。また、眼底の診断用としては、青、緑、及び赤の各波長領域を排他的に順次出力して各色の画像データを取得し、これら合成してカラーの静止画像を生成して、これを表示することが望ましい。
次にOCT断層画像を生成する方法について説明する。制御部123は、OCT測定光源229を点灯させ、更にOCT走査手段226に走査制御信号を送ってOCT測定光による被検眼眼底の2次元走査を開始する。OCT測定光の眼底からの戻り光から得られた干渉光は、分光器238により分光され、ラインセンサー242により受光信号に変換され取得部125がそれを取得する。取得部125が取得した受光信号を例えばフーリエ変換することによって、画像生成部121は、被検眼眼底の深さ方向(Z方向)の画像データを生成する。
この画像データを走査情報である走査位置に対応させることで、所定の位置における深さ方向の画像データを得る。このように深さ方向の1次元の輝度もしくは濃度分布からなる画像データを取得することを、Aスキャンと呼ぶ。OCT走査手段226によりOCT測定光を被検眼Eの眼底の所定の主走査方向に走査しながら、Aスキャンを繰り返し行い、連続した複数のAスキャン画像を取得することにより、1枚の断層画像が得られる。例えば、制御装置120が、OCT測定光をX方向に走査すればXZ面における断層画像が得られ、Y方向に走査すればYZ面における断層画像が得られる。このように被検眼Eの眼底を所定の主走査方向に走査して走査方向の断層のデータを取得することをBスキャンと呼び、得られる断層画像をBスキャン画像と呼ぶ。
更に、BスキャンのXZ面或いはYZ面に対して直交する方向に走査することにより3次元OCT画像が得られる。また、Bスキャンを繰り返し行うことで、断層画像を断層動画像として記録することも可能である。いずれにしろ、動画像とは異なる近接した時刻に撮像された再生可能な一連の画像を含み、これを連続的に撮像記憶することが録画であり、連続的に表示することが再生であるともいえる。
以上説明した撮像ヘッド110、制御装置120、表示部130、及び入力部140から構成される眼科撮像装置において、被検眼Eの観察から撮影、更には解析までの一連の処理について、図3(a)~(c)のフローチャートを用いて説明する。図3(a)は、検査時に実行される主たる処理を示す。図3(b)は通常のOCT撮像における図3(a)におけるステップS303で実行されるプレビューと装置調整の詳細処理を示す。また、図3(c)は本実施例において特徴的な硝子体混濁部位(Vitreous Turbidity Motion)撮像モード(以下VTM撮像モードと呼ぶ)における装置調整の詳細処理を示す。なお、本実施例において、硝子体混濁部位とは、被検眼Eの硝子体において、硝子体自体に生じた混濁、網膜剥離等により生じた硝子体中の浮遊物、眼内に滲み出た血液等からなる部位に対応する。そして、眼底画像や眼底の断層画像の観察において、硝子体において混濁した部位として把握可能な部位の総称として用いる。
<S301 患者選択>
検者は、検査に先立って、撮像ヘッド110の起動準備が完了後、図4に例示するアプリケーションウィンドウ400を表示部130に表示させる。そして、患者/検査選択画面のタブ450を用いて、患者/検査選択画面を選択し、該画面から検査対象である患者の入力或いは選択を行う。例えば初診であれば、検者は患者入力ボックス451に患者名等の必要情報を全て入力する。再診であれば、一部入力に対応して患者一覧452に検索・表示される患者候補から患者を選択する。入力或いは選択が終了すると、検者はOKボタン455を押下げる。この押下げに応じて、フローはステップS302に移行される。
<S302 モード選択>
本実施例に用いる眼科撮像装置では、通常のOCT断層画像を撮像するOCT撮像モードと、VTM撮像モードとが設けられている。VTM撮像モードでは、被検眼内、即ち硝子体中を浮遊して被検眼網膜に対して相対的に移動する硝子体混濁部位等の移動体を撮像する。検者は、ステップS302において、図4に示すアプリケーションウィンドウ400のOCT検査画面のタブ410とVTM検査画面のタブ430のいずれかを選択することにより、これから行う検査モードを選択する。検者がOCT検査画面のタブ410を選択すると、アプリケーションウィンドウ400には、図5に例示するように、取得したOCT断層画像411と共に、SLO動画像412及び、前眼部動画像413を表示可能なOCT検査画面が表示される。
制御装置120は、表示部130に選択されたOCT検査画面を表示させると共に、撮像ヘッド110の初期化を行う。即ち、制御装置120は、固視灯パネル219に対し、被検眼Eの視線方向が撮像ヘッド110の対物レンズ211光軸と並行になるよう固視灯パネル219の中心を点灯するよう設定する。また、制御装置120は、フォーカスレンズ215及びフォーカスレンズ227を、正視、即ち0ジオプターの被検眼に対応するフォーカスレンズ位置(OD位置)にセットする。
<S303 プレビューと装置調整>
次に検者は、プレビュー状態を達成しつつ装置の各種調整を行う。ここでは、OCT撮像モードが選択されている場合に実行される処理について述べる。以下、図5に例示されるアプリケーションウィンドウ400を用いて、通常のOCT撮像モードにおいて断層画像撮像時に行われる処理の詳細について、図3(b)に示すフローチャートを参照して説明する。
<S311 マニュアルアライメント>
前眼部動画像413のウィンドウに設けられたスライドバー等のGUIを用いて、検者は、前眼部観察系で瞳孔の一部が撮像されるようにマニュアルで撮像ヘッド110のXY位置を調整する。この調整は別途操作ボタンを画面に設けても良いし、ウィンドウ中心に位置させたい画面上の点をマウス等で指定する方法を取ってもよい。更に撮像ヘッド110と被検眼Eの光軸(Z)方向の調整を例えばマウスのホイール操作で行うようにすることもできる。瞳孔の一部が撮像される位置になったら、検者はスタートボタン414を押下げてオートアライメントを開始する。
<S312 ラフオートアライメント>
検者がスタートボタン414を押下げると、制御装置120における画像生成部121、制御部123、解析部124、及び取得部125は、連携して自動アライメントを開始する。まず、解析部124は、取得部125により取得された前眼部動画像413を解析し、被検眼Eの瞳孔中心を求める。この瞳孔中心を、撮像ヘッド110の光軸に一致している前眼部動画像の中心に近づけるようステージが駆動されて、撮像ヘッド110のXY方向の位置調整が行われる。そして、例えば不図示の複数の前眼部照明光源の角膜反射像の間隔等に基づいて、撮像ヘッド110と被検眼Eとの光軸(Z)方向の位置調整が行われる。両者の調整は交互に連続して行っても、並行して行ってもよい。撮像ヘッド110の位置が所定の許容範囲内に収まると、制御部123は、フローをステップS313に移行させる。
<S313 ファインオートアライメント>
ステップS313において、制御部123は、SLO測定光源221から赤外光だけを放射するよう指示を行い、SLO走査手段214を駆動してSLO動画像の撮影(プレビュー)を開始する。ラフオートアライメント調整が行われると、前眼部画像における被検眼瞳のエッジはシャープになる。また、前述の如く前眼部観察光路L3上に設けられたスプリットプリズム223によってスプリットされた瞳が明瞭に観察されるようになる。制御部123は、ステージを駆動して撮像ヘッド110のXY方向の位置を更に前眼部動画像の中心に近づけるよう調整すると共に、スプリットされた瞳のスプリット量がゼロとなるように撮像ヘッド110のZ方向の位置を調整する。ファインオートアライメントの結果、位置ずれが所定量の範囲内に入ったことが確認されると、制御部123は、フローをステップS314に移行させる。
<S314 オートフォーカス>
ステップS314において、制御部123は、SLO動画像の取得を開始すると同時にOCT測定光による眼底の走査を開始する。その後、適切なSLO動画像の取得が確認されると、オートフォーカス調整が開始される。本実施例では、眼底に正しくフォーカスが合うとSLOフォトダイオード220の出力、すなわち受光信号が最大になるコンフォーカルSLOの特性を利用する。そして、フォーカスレンズ215を駆動しつつ受光信号をモニターすることにより、フォーカス位置を決定するいわゆる山登りAF方式のオートフォーカスを行う。もちろんこの調整には受光信号の大小ではなく、映像としてのシャープさを利用してもよい。
また、ここで、OCT光学系のフォーカスレンズ227を連動させることでOCT光学系のフォーカス調整を並行して行ってもよい。また、フォーカスの調整はマニュアルで行われてもよく、その際にはOCT検査画面に設けられたフォーカススイッチ415のようなGUIを用いて操作可能としてもよい。
SLO光学系及びOCT光学系のフォーカス調整が終了後、情報抽出部126は生成されたSLO動画像から被検眼眼底の動きを算出する。制御部123はその動きを補正するようにOCT走査手段226に駆動指示(走査位置の補正用)を与え、OCT測定光の走査位置を追従させる。これがいわゆる眼底トラッキングである。これによりOCT動画像において被検眼Eの動きが相殺され、被検眼Eの動きの影響が排除されたOCT断層動画像が取得可能となる。例示した山登りAFが終了し、眼底トラッキングが開始されるとフローはステップS315に移行される。
<S315 (ワンタイム)参照光路長調整>
この状態で、制御装置120は、選択されたOCT検査画面上の参照光路長調整部416に対する検者の操作を受け付ける。そして、受けた操作に応じて参照ミラー237を駆動してOCTの参照光路長調整が実行される。以上で、S303におけるプレビュー状態での装置調整が完了し、制御部123は、フローを図3(a)のステップS304に移行させる。
<S304 撮像&確認>
プレビュー状態での装置調整が完了し、検者がキャプチャボタン417を押下げると、上述した例えばBスキャンが実行されて、OCT断層画像が撮像される。撮像終了後、撮像された断層画像を表示して該断層画像を確認するために、不図示の確認画面を表示し、例えば、そこにOKボタン、再撮影ボタンを設けてもよい。そのような確認画面において、撮像結果が、OKならOKボタン押下げて断層画像を保存し、NGなら再撮影ボタンを押下げて撮像した断層画像を破棄し、ステップS303からの処理を繰り返すことになる。
<S305 解析>
OCT断層画像の撮像後、タブ490により解析画面を選択すると、撮像されたOCT断層画像に対する例えば網膜層における層厚等の解析結果を表示するための画面が表示される。なお、OCT断層画像の解析及び表示される内容等については、一般のOCT装置と同様であるため、ここでの説明は割愛する。
<VTM撮像モード>
次に、本実施例における特徴であるVTM撮像モードの時に行われる処理の詳細について説明する。なお、VTM撮像モードで実行される処理の大部分は、上述したOCT撮像モードと同様であり、図3(a)で述べたフローに従う。VTM撮像モードの場合、ステップS302のモード選択において、検者がVTM撮像モードを選択するために、VTM検査画面のタブ430により表示画面を選択する。これにより、図6に例示されるアプリケーションウィンドウ400において、VTM検査画面が開く。VTM検査画面では、図5に例示したOCT検査画面に対して、例えば、硝子体混濁部位等の硝子体中の移動体を探索するための、動画表示に関するスイッチ、眼球運動に対応した撮像スイッチ、レーザ光の選択用スイッチ等が付加されている。その後、フローは、ステップS303のプレビューと装置調整の処理へと移行される。VTM撮像モード時にステップS303で行われる処理の詳細については、例えば図3(c)に示される。なお、図3(c)において、S311のマニュアルアライメントからS314のオートフォーカスまでに行われる処理はOCT撮像モードの場合と同じであるため、ここでの説明は割愛する。
<S316 混濁部位探索>
ステップS314にて眼底部位に対するオートフォーカスが完了した後、フローはステップS316に移行される。ステップS316において、検者はSLO動画像412上に表示される固視灯マーク431をマウス等のポインティングデバイスでドラッグしながら硝子体における混濁部位432を探す。
<S317 マニュアルフォーカス>
混濁部位432を発見した場合、検者は、必要に応じてフォーカス調整スイッチ433を操作して混濁部位432にフォーカスが合うようフォーカスレンズ等の位置調整を行う。フォーカス調整スイッチ433の下に設けられているLaser調整スイッチ434は、SLO測定光源221におけるLaserパワーの調整を行うスイッチで、検者はこれを調整してSLO測定光の光量を混濁部位432が見えやすい光量に設定する。また、光源の選択は、通常は無散瞳状態で観察することが望ましいので、IRラジオボタンを選択してIRレーザを選択することもできる。もちろん散瞳剤を用いて被検眼瞳孔を散大した上で、可視光レーザを用いてしてカラーで記録することも可能であり、その際はColorラジオボタンを選択すればよい。これにより、測定光として、青、緑、及び赤の各波長領域の光が排他的に順次出力し、各色の画像データが取得できる。このようにして得られた各色のフレームの画素値を合成してカラーの静止画像を生成してもよい。以上の操作を行うことで、ステップS303のプレビューと装置調整の処理が終了し、その後所定の時間が経過する、或いは不図示の調整終了ボタンの操作等により、フローはステップS304に移行される。
<S304 撮像&確認>
検者により、録画開始(REC)ボタン435が押されると、制御部123は、指示発生部128により、被検者に所定の指示を行う。指示発生部128は、撮像ヘッド110に内蔵されたスピーカを介して、被検者に対し、「チャイムが鳴ったら瞬きをしてください」等の予告アナウンスを行うよう指示をする。そして、指示発生部128は、例えばアナウンスの終了2秒後、所定の指示として引き続きチャイムを鳴らすよう、該スピーカに指令して瞬きを促させると共に、制御部123が取得部125に対して、例えば8秒間の動画記録を開始させる。その後オートアライメントは一時停止し、解析部124による前眼部観察用の画像の映像信号から瞬きの終了、すなわち瞼が開いた(前眼部像の輝度が下がり、瞳孔が観察された)ことの検知に応じ、制御部123は、オートアライメントの再開を指示する。この時の画像フレームにマーキング等を行い、そのタイミングを画像に関連付けて記憶部122に記憶する。録画はこの時点から開始してもよい。上述の瞬きの検知は、もちろん瞬きの開始の検知であっても良く、SLO受光信号を監視して行ってもよい。
検者は、ここで録画されたSLO動画像の確認を行うために、その再生を行うことができる。即ち、録画が終了すると、再生ボタン、再生位置指定バー等、撮像以降の操作を行うためのGUI436等がアクティブになり、ここで再生ボタン436aを押せば、SLO動画像の再生が開始される。Repeatテキストボックスで繰り返しの回数を入力しておけば、繰り返し再生も可能である。また、巻き戻しボタンを押せば再生開始時に戻り再度再生や、一時停止の操作を行うことも可能である。停止ボタン436bを押すと表示画面は眼底のプレビューに戻る。再生位置指定バー437は、再生されている画像の録画時間中の再生タイミングを示すと共に、再生させる録画タイミングを指定することも可能である。その上にあるチャイムマーク437aやタイミングマーク437bはそれぞれ、チャイムが鳴った時点、瞼が開いた(前眼部像の輝度が下がり、瞳孔が観察された)時点を示しており、検者はそれらを参考に再生開始時点を決定できる。
<録画再生時の処理>
動画像の再生に際しては原画像のまま再生する原画像再生の他、検者が混濁部位の観察をより容易に行えるように原画像に対して画像処理を行って表示することもできる。本実施例では、例えば混濁部位を表示した際にその背景である網膜パターンの動きをキャンセルして見せる網膜移動キャンセル処理、原画像に硝子体混濁を強調して表示する混濁強調処理、背景である網膜パターンのコントラストを減ずる処理等が考えられる。これら処理の実行或いはその選択は、例えば図7に示したアプリケーションウィンドウ400におけるVTM settings画面のタブ470で表示画面を選択し、その表示画面を介して行える。より詳細には、VTM settings画面に示される領域471にある3つのチェックボックスによる選択に従って行われる。
次に、混濁部位の表示に関して行われる処理について、図8のフローチャートを参照して説明する。なお、ここでは、SLO測定光としてIRレーザが選択され、近赤外光で撮像されたモノクロの動画に対して、全ての画像処理を施し、繰り返し再生を1回行う動画再生例について説明する。
<S801 動画像の読み出し>
SLO動画像の録画が終了すると、ステップS801において、制御装置120は記憶部122から解析対象となる動画像を読み出す。硝子体に混濁がある場合を例にとると、解析対象の動画像には図6に示すように被検眼眼内を網膜パターンに対して相対的に移動する移動体として混濁部位432がやや暗い影として撮像されている。動画像が読み出されると、フローはステップS802に移行される。なお、以下では、硝子体混濁部位は、網膜パターンに対応して移動体として説明を続ける。
<S802 網膜パターンの移動キャンセル>
次のステップS802では、背景である網膜パターンの移動をキャンセルする処理が実行される。具体的には、まず、解析部124は、時間的に隣接したフレームの1枚の画像をリファレンスフレームとして、眼球運動に起因する一連のフレーム間における網膜パターンの位置ずれ量を算出する。位置ずれ量は、例えば、対象となるフレームの中央部分50%程度の部分(70%x70%部分位)とリファレンスフレームとの位置をずらしながら画像比較を行い、画像相関が最大になる位置ずれを求めればよい。そして、求めたずれ量を用いて各フレームの位置を調整して網膜パターンの移動をキャンセルした動画像を生成する。このような処理を行うことにより、網膜パターン移動の影響を低減した状態で、網膜パターンの動きに対する移動体の相対移動が抽出された動画像を生成することができる。
なお、本実施例では、上述したように、被検者に対するアナウンスに応じて網膜パターンの動きとなる眼球運動が生じ、この運動時の被検眼眼底の動画像を取得して網膜パターンの動きと異なる動きを示す移動体の検知を行っている。しかし、眼球運動開始時には網膜パターンの動きが大きすぎる場合があることから、このフレーム間の位置ずれ検出に関しては、眼球運動の落ち着いている録画終了時から時刻をさかのぼって算出することが有利である。各フレーム間での位置ずれ量が求められると、フローはステップS803に移行される。
<S803 網膜パターン画像の生成>
次のステップS803では、ステップS802で位置合わせされた各フレーム画像の加算平均を行い、移動体の影響の少なくして、背景となり得る網膜パターンの画像を生成する。例えば本実施例においては、移動体の相対移動量が比較的大きい場合を想定し、各フレームの加算平均を行うことにより、移動体の部分のコントラストが十分低減された背景となり得る網膜パターンの生成している。網膜パターンの画像が生成されると、フローはステップS804に移行される。
<S804 ラベル画像の生成>
次のステップS804では、解析部124は、ステップS802で生成された動画像の各フレームとステップS803で生成した網膜パターン画像からこれらの差分画像を生成する。そして、更に差分画像に2値化処理を施すことでこと移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。もちろん2値化処理に於いて、適切な閾値決定や、微小領域除去、消失領域除去、穴埋め処理等のノイズ処理を行ってもよいことは言うまでもない。ラベル画像の生成後、フローはステップS805に移行される。
<S805 強調処理, S806 抑制処理>
次のステップS805では、行う移動体の強調処理としては、例えばこのラベル画像のエッジを検出する。そして、ステップS802で生成された網膜パターンのずれ量がキャンセルされた動画像のエッジ部に相当する画素の輝度値を変更して、例えば青色や緑色のような網膜パターンに多く含まれる赤色と識別しやすい色の輪郭をつけて移動体のエッジ部を強調する。なお、移動体の強調方法はこれに限られず、例えば移動体としてラベリングされた領域に色相を付加してもよい。また、ステップS806では、背景領域のコントラストを低減する、背景領域の輝度を低減する等、背景領域の表示状態を抑制する処理を施す。このような抑制処理を行うことにより、移動体が網膜パターンに重畳された画像において、検者は移動体をより明瞭に認識することができる。なお、これらステップS805の処理とステップS806の処理は両方行われることが好ましいが、移動外の把握が容易であれば何れか一方のみを実行することとしてもよい。
ここで、検者が再生ボタン436aを押すと、動画像の再生が開始されるが、VTM settings画面に示される領域471にある3つのチェックボックスにて処理の選択が行われている場合には、再生の前に上述の一連の処理が行われた後の動画像が表示される。これらの処理は動画再生に先立って毎回処理されてもよいし、処理の結果を記憶部122に所定日数の間記憶しておいて再利用を可能としてもよい。ステップS805の移動体の強調処理と、ステップS806の網膜パターン画像の抑制処理が終了すると、フローはステップS807に移行される。
<S807 動画像の保存>
ステップS807では、このように録画された動画像の確認を行い、その結果がOKなら、OKボタン438を押して動画像を検査結果として保存する。期待通りの画像が録画できていなければ、再度、録画開始(REC)ボタンを押す。その場合現在の録画データ及びその画像処理結果は破棄され再撮像が行なわれる。この確認の際に、アライメントやフォーカスの再調整をする、又は混濁を探し直す必要がある場合は再度Startボタンを押し、検査手順をステップS312へ戻した後、再調整・再撮影が行われる。OKを選択すれば原画像は保存され、次の検査が可能となる。この時保存する対象は原画像のみならず、上述の画像処理後の動画像、即ち被検眼眼底の動きをキャンセルした動画像、及びラベル画像を保存してもよい。以上の処理を経ることにより、VTM撮像モードの図3(a)におけるステップS304の撮像&確認処理が終了する。
(変形例1)
上述した第1の実施例では、ステップS304において、録画開始(REC)ボタン435を押した際に実行される処理として、指示発生部128による音声出力で被検者への瞬きの指示を行う例を示した。しかし、被検者への指示の態様はこれに限られず、例えば固視灯パネル219における点滅や点灯様式の変形で行ってもよく、両者を合わせて行ってもよい。更に、このような場合には、被検者に対し、「固視灯が点滅(もしくは変形)したら、瞬きを1回してください。」等の音声指示を併せて行ってもよい。
(変形例2)
上述した第1の実施例及び変形例1では、ステップS304において、録画開始(REC)ボタン435を押したときの動作指示として、音声出力等による被検者への瞬き指示を行い、瞬きによって眼球運動を生じさせる例を示した。しかし、眼球運動を生じさせる指示内容は瞬きに限られず、固視灯位置の移動による視線の誘導による指示であってもよい。ここで例示する変形例2に係る眼科撮像装置では、この固視灯の移動を用いるモードも用意される。そして、この場合の変形例2における音声指示のモードは、例えば録画開始(REC)ボタンの上方に用意されたラジオボタンBlink/Fixationを切り替えることで指定できるようにすることができる。
このモードを選択することにより、固視灯提示位置の移動による視線の誘導を利用して、眼球運動を生じさせることができる。また、この場合、被検者には前もって「固視灯が移動したら、その動きを即座に追ってください。」等の予告アナウンスを行っておくとよい。そして、検者が録画開始(REC)ボタン435を押すと、制御装置120は、固視灯パネル219に表示する固視灯の提示位置を移動させ、眼球運動を誘発する。撮像ヘッド110は、眼球運動を行う被検眼Eの撮影と、表示部130が表示しているSLO動画像の撮像と記憶、即ち録画を開始する。その後、例えば5秒間の固定時間録画をした後、図3(a)に示すフローチャートにおけるステップS304にて録画が停止される。この間、前眼部観察は継続されているので、例えばその映像信号から眼球運動の開始及び終了を検知して、検知結果を用いて録画の開始及び終了を制御してもよい。
この時の各部の動作及び移動体の様子をタイミングチャートとして図9(c)に示す。タイミングチャートにおいて、上から順に音声出力チャネル、固視灯横方向X座標値、移動体重心位置の網膜パターンに対する相対速度V、及び録画状態を示し、横軸は録画開始ボタンONを起点とした時間経過を示す。また、ここでは、固視灯提示位置の例示的な動かし方として、提示位置を、図9(a)に示す初期位置である光軸上の原点位置から図9(b)に示すように横(X方向)へ3mm移動させている。そして、録画終了後、移動後の固視灯提示位置から初期の提示位置へゆっくり戻すように固視灯を動かしている。
録画開始(RCE)ボタン435がONされると、上述したように、例えば「チャイムが鳴ると固視灯が移動します。固視灯が移動したら、その動きを即座に追ってください。」等の予告アナウンスがスピーカから出力され、1秒後にチャイムが出力される。チャイム終了に合わせ固視灯が図9(a)の提示位置から図9(b)の提示位置に1秒ほどで移動する。この固視灯提示位置の移動に伴い、固視灯を追う被検眼に眼球運動が発生し、それに伴い移動体の一つである例えば硝子体の混濁部位の一つの重心位置が移動を開始する。硝子体の液状化が進んでいる場合、この移動は所定の遅れ時間を伴う。従って、網膜パターンに対する混濁部位の相対位置は網膜パターンの移動方向(すなわち眼球運動の方向)とは逆に移動することになるので、相対速度としては一時的にマイナスの速度を有することになる。
その後、硝子体の動きに追従して混濁部位は眼球運動方向に移動を開始するが、固視灯が図9(b)の提示位置に静止してからも混濁部位は例えば数秒間は略等速で移動を続ける。そして、その後、3~6秒後には、減速してほぼ停止状態になる。即ち、硝子体部位は背景となる網膜パターンの動きに誘発されて動くが、その動きは、網膜パターンの動きとは異なった動きとなる。本実施例では、混濁部位の移動開始から7秒間録画を継続した後、録画を停止している。
もちろん、このような眼球運動の誘発は1回に限らず、所定回数繰り返すことも可能である。その場合には、例えば「固視灯はゆっくり戻ります」等の復帰アナウンスを行い、録画停止後、固視灯の提示位置を基の位置へ4秒ほどかけてゆっくり戻して行く。そして、例えば更なる待機時間3秒の終了間際に2回目のチャイムを出力するともに、再び録画を開始する測定サイクルを繰り返せばよい。
なお、ここで例示した固視灯の移動パラメータは、動画像処理の選択と同様に、例えば図7に示したVTM settings画面を介して設定・変更が可能である。Fixation movementの領域472には、固視灯移動のパラメータが変更可能に表示される。固視灯移動のパラメータには、移動方向(上下左右の4方向が矢印の向きで選択できる)、移動量(網膜上の換算距離で指定する)、繰り返し回数、繰り返し持続時間等が含まれる。領域472には、これらパラメータを設定するGUIが設けられる。また、Announcementの領域473には、瞬きの指示発生や固視灯移動の指示発生に際しての合図や音声アナウンスの有無を指定するGUIが設けられている。
もちろん、このようなシンプルな固視灯移動の方向・繰り返し回数・録画継続時間に対する個別のパラメータ設定だけでなく、各種パラメータは検者が自由に変更できるようにされていてもよい。更に、適切な複数のパラメータによる検査を行うシーケンスが選択可能に用意され、検者がその選択肢の中から選択するようにしてもよい。
更に、本実施例では、SLO動画像の録画時間を所定の固定時間としていたが、誘導された眼球運動に伴う混濁部位の動きの収まりを待つように設定することも有効である。その場合、解析部124は混濁部位の動きが収まったことを確認すればよい。これは例えば、SLO動画像の連続するフレーム間の画素値変動の総和等のSLO動画像の変化に係る変動パラメータを算出することにより行われ、制御部123がこの変動パラメータを監視することにより実現できる。もちろん録画時間に上限時間、例えば10秒を設定しておいて、混濁部位の動きが収まらない場合においては、10秒をもって次のステップに遷移するようにしてもよい。一方で、被検者が正しく固視灯の動きを追従して視線を動かしているかどうかをモニターすることも可能である。この場合、上述した図8のフローチャートにおけるステップS802で求めた位置ずれ量、即ち網膜パターン移動量と固視灯提示位置の移動とを比較すればよい。更に、この両者の間に大きな乖離が見られる場合には、一度測定を中断し、警告を表示することも有用である。
<S305 解析>
ステップS807において動画像の録画が完了すると、フローはステップS305に移行され、移動体(混濁部位)に関する解析処理が実行される。その際、図10に示すように、記憶された動画像の解析処理を行ったうえで、解析結果と共に確認しやすくするために強調表示した移動体の様子を表示する解析画面が、表示部130においてアクティベートされる。ここで行われる解析処理について図11のフローチャートを用いて以下に説明する。
先の録画の際に、被検眼眼底の動きをキャンセルした動画像、及びラベル画像が保存されていない場合には、解析部124は図8に示した一連の処理を最初に行う。具体的には、ステップS801で原画像を読み出し、ステップS802~804にて上述した画像処理を行い、ラベル画像を生成する。もちろん、保存されている場合には、ラベル画像でラベリングされた移動体の解析から開始すればよいことは言うまでもない。解析部124は以降のステップS811~S813で以下の処理を行う。
<S811 移動体の識別>
最終フレームで、被検眼眼内を移動する移動体が複数ある場合には、各々にID番号をつけてこれらを識別する。そして、各々の移動体パラメータ(面積、形状、色調等)に基づき隣接するフレームにおいて各移動体に付与されたIDを継承する。このIDは動画が再生される際、図10に例示される移動体ID番号491に例示されるように、移動体に付随したナンバーの様式で表示されてもよい。ID付与後、フローはステップS812に移行される。なお、ここで示す実施例では、ID付与後にエッジ強調処理を行うこととしているが、ID付与前に行ってもよく、IDが付与された移動体にのみ行うこととしてもよい。また、この処理を行わないこととしてもよい。
<S812 移動体の相対速度の算出>
まず、各移動体の特徴量の一つである相対速度の算出のために、各フレームにおける各移動体の面積重心座標を算出し、軌跡を決定する。次に、各フレーム間の移動体の相対移動量としての移動距離とフレームレートから各移動体の速度を算出する。複数の移動体が存在する場合は、代表点としてその重心位置、中心位置等を求め群軌跡と群速度を算出して利用することも有用である。
なお、本実施例では解析対象のSLO動画像は背景である網膜パターンの動きをキャンセルした動画像である。このため、ここで決定される軌跡は被検眼眼底に対する2次元の相対位置であり、それに基づき計算される速度も同様に2次元相対速度である。これ以降、本実施例において計算する相対速度は、誘発した眼球運動方向への射影成分を指すものとする。なお、これは単なる指示の方向への射影であっても良いし、実際の起こった眼球運動ベクトルの総和ベクトルの方向や平均ベクトルの方向を用いてもよい。しかし、解析対象はこのような相対速度に限られず、解析対象として速度の絶対値変化を用いてもよいし、網膜パターンに対する相対速度ではなく、移動体の見かけの速度を用いてもよい。更には、これら解析対象を切り替え可能に用意して、適宜切り替えて用いることとしてもよい。
いずれにしろ、これら移動体の速度に係る指標は硝子体の流動性を表す指標として利用できる。本実施例ではこの流動性を表す指標として、フレームごと、すなわち時間の関数として算出した速度を用いたが、特定の異なる時間に得られた2つのフレーム間の移動体の平均速度を算出してもよい。また、録画時間にわたる平均速度、分散等の統計量、もしくは各時刻における速度波形を算出してもよい。即ち、移動体の動的特性を得るには少なくとも異なる時間に得られた2つのフレームが必要である。なお、このような統計解析処理については後程詳しく説明する。更に、流動性を表す指標及び算出方法はこれに限らない。加速度を対象としても良いし、移動方向の変化を定量化しても良い。また、固視灯の移動による眼球運動に起因する移動体の移動に対しては、この相対速度と網膜パターンの移動速度との比を取ってもよい。
<S813 移動体のその他の特徴量の算出>
本実施例では、上述した移動体の速度等を算出した後、更に移動体のその他の特徴量についても得ることとしている。その他の特徴量としては、例えば各移動体の録画時間にわたる平均観測面積・平均観測濃度が含まれ、更には色相や各変動量を含めることができる。これらのパラメータから移動体の状態を理解することができ、移動体が硝子体の混濁部位の場合、それが視覚に与える影響を好適に判断することに利用できる。
図10を用いて、上述した解析結果と記憶された動画を再生確認するために、タブ490により選択された解析画面の例を更に説明する。ここでは、変形例2で示した固視灯による視線の誘導により発生した移動体の移動が記録された動画像を解析した場合について説明する。
SLO動画像412として解析対象となった動画像が表示され、その表示領域の下には動画の再生をコントロールするGUI表示領域492が用意される。また、この表示画面には、再生を行う際の条件を設定するための、再生コントロールボタン群493、画像処理コントロールチェックボックス群494、シークバー表示群495が用意されている。
再生コントロールボタン群493は、再生、停止、一次停止、最初から再生等の再生動作をコントロールするボタン群となる。画像処理コントロールチェックボックス群494は、図7に示したVTM settings画面に示される3つのチェックボックスと同じ働きをする。
次に、シークバー表示群495について詳細を説明する。シークバー表示群495にあるシークバーは一連の撮影動画像における現在の再生位置を表し、動画の再生に合わせて紙面上右方向に移動すると共に、スライダーに対する操作により再生位置の変更が可能となっている。シークバーの上には解析の対象となった移動体の速度グラフが表示され、対応する動画再生位置に時間軸を合わせて表示されている。グラフ上の一点鎖線は現在の再生タイミングを示すマーカーであり、グラフ表示と合わせ、現在の再生がどのタイミングのものなのか把握可能となっている。また、グラフ横軸に描かれているチャイムマーク437aは、チャイムが鳴った時点を示すことは図6のVTM検査画面で表示された表示画面のマークと同様であるが、チャイムが鳴った時点は固視灯の移動の開始タイミングに一致するようにしている。なお、各グラフ右上にあるチェックボックスについては後述する。
解析対象である移動体の選択は、SLO動画像412に描画された移動体もしくはその近傍に表示された移動体ID番号491をクリックするか、解析対象切り替えプルダウンメニュー496から行うことができる。この選択結果は例えば、図10に示したように、移動体の外周が強調される形態(移動体IDナンバーが1の移動体参照)や、移動体を色付けして表示する等の方法で示される。また、解析対象切り替えプルダウンメニュー496近傍には選択した移動体の動きの解析結果が示される。以下それら解析結果を順に説明する。
平均速度グラフ497は、シークバー上のグラフ右上にあるチェックボックスがチェックされている速度グラフの速度変化の平均を示す。即ち、平均速度グラフ497は、解析対象の移動体の典型的な移動の様子を表すものである。平均速度グラフ497の横軸である時間軸は、チャイム出力、即ち固視灯の移動開始のタイミングが一致するように、複数の速度グラフを重ねればよい。また、複数の速度グラフは、観測される速度の立ち上がりが一致するように合わせるようにしてもよく、先の重ね合わせのグラフと切り替え可能であってもよい。
速度観測期間には以下のフローティングピリオドとテイルピリオドの2つが定義され、解析結果表示498には、移動体に関するその他の情報として、例えば以下のものが抽出・表示される。
(1) フローティングピリオド(Floating period): 眼球運動が開始され移動体の移動が開始した後、ほぼ一定の速度で移動が継続する期間である。本実施例では、例えば、観測速度が最大速度の90%まで立ち上がった時点から、その後80%まで低下する期間として定義する。
(2) テイルピリオド(Tail period): フローティングピリオド終了後、移動体の速度が徐々に減少していく期間である。本実施例では、例えば、速度が最大速度の10%以下となるまでの期間として定義する。
(3) 移動遅延時間(Dlay): ベルマーク(固視灯移動開始時刻)からフローティングピリオドの開始時刻までの遅れ時間として定義される。
(4) 移動体速度パラメータ: 解析対象として選択した移動体のフローティングピリオド中の平均速度VAve.、最大速度VMax、テイルピリオドにおける減速比RDecel.等として定義される。
(5) 移動体特徴パラメータ: 平均観測面積SAve.、平均観測濃度DAve.等として定義される。
また、計測条件として、例えば、固視灯移動パラメータ480を表示してもよい。移動パラメータとしては、例えば、VTM settings画面内のFixation movementの領域471と同じ項目が表示されることができる。
<S814 動画の再生等>
以上の様に用意されたGUIを用いて、検者は解析対象を切り替え、解析結果を確認することができる。また、加えて、録画された動画を自由に再生することにより、移動体の動きを詳細に観察することができる。上述したように、ここでは、VTM撮像モードで撮像した録画を保存した後、直ちに保存した画像における移動体の解析とその結果を表示する処理の一例について説明した。しかし、本実施例において、この解析と解析結果の表示は、過去の検査において録画され、記憶されている動画像に対して実施することもできる。そのような場合では、検査及び動画像の選択を、例えば図4に示したタブ450により行い、患者/検査選択画面において患者の指定がなされた後に現れる画面の左側に設けられた検査・動画像リスト453から対象としたい検査・動画像454を選べばよい。なお、このような処理は一般の眼科検査装置において一般に行われる処理であるために、ここでの詳細な説明は割愛する。
なお、本実施例では背景である網膜パターンの動きを補正した上で、一連のフレーム各々と背景画像との差分画像を作ることで移動体を抽出している(背景差分法)。しかし、抽出方法は背景差分法に限られず、例えば、ブロックマッチング等によるオプティカルフロー算出結果に基づいてもよく、3枚以上のフレーム画像の差分の論理積から、移動物体を検出するフレーム間差分法による結果を用いる等によってもよい。
以下では、ブロックマッチング法によるオプティカルフロー結果を利用して移動体の抽出を行った例を変形例3として説明する。また、フレーム間差分法を用いて移動体の抽出を行った例を変形例4として説明する。
(変形例3)
変形例3では、オプティカルフローを求める方法の一つであるブロックマッチング法(別名領域ベース法とも呼ばれる)を採用し、テンプレートマッチングを用いて移動体を検出する。具体的には、時間的に隣接する2画像の一方を対象画像、もう一方を参照画像とし、参照画像の所定位置にある画素が対象画像のどの位置に移動したかを求める。より詳細には、例えば、参照画像の所定の画素を中心とした正方形の小領域、即ち部分画像をテンプレートブロックとし、参照画像の所定の画素位置を中心に、例えば部分画像の縦横2倍の即ち面積で4倍の範囲で画像の一致度が最も高くなる位置を探索する。そして参照画像の所定の画素位置を始点、対象画像で一致度が最も高くなる位置を終点としたベクトル量を各画素のオプティカルフローとして採用する。
両画像の一致度を見るには、絶対値差分和や画像の相関を見ればよく、計算時間短縮のために残差を加算した値がある閾値を超えた場合に計算を終了してもよい。もちろんオプティカルフローを求める方法は、ブロックマッチング法のみならず、例えばより計算コストが小さい残差逐次検定法を使ってもよい。
オプティカルフローを求める対象動画は、例えば、図8もしくは図11のフローにおいてステップ801にて読みだした動画像を用いることができる。即ち、本変形例によれば、次のステップS802、ステップS803の処理を行わず、網膜パターンの移動をキャンセルしていない動画像を対象画像としてステップS804のラベル画像を得ることもできる。
本変形例が解析の対象としている硝子体混濁部位等の移動体は、背景である網膜パターンの動きとは異なる動きをするものである。移動体が画面全体に占める割合がそれほど大きくない場合、隣接した画像ペアで算出される各画素のオプティカルフローの大半は、眼球運動によって生ずる網膜パターンの動きに対応するほぼ均一な方向と大きさとを有する。従って、これと分離できる方向或いは大きさのフローが観測された画素を、移動体を構成する画素として認定することにより、移動体の識別を行うことができる。もちろん対象となる移動体が網膜パターンの動きとほぼ同様の動きをする時間帯においてはこの分離は観測されないので、常時移動体を分離できるわけではない。しかし、観測期間中所定の時間、この分離が確認できる画素を移動体と識別することにより、移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成することができる。なお、本変形例において、それ以降の処理は実施例1で述べた処理と同様であるため、以降の説明は割愛する。
また、一方で、対象画像をステップS802で得られる網膜パターンの移動をキャンセルした動画像とし、これを対象にラベル画像を生成してもよい。この時、網膜パターンである画素のオプティカルフローはほぼ0レベルとなるため、画像の一致度が最も高くなる位置の探索はより狭い範囲で収束することになる。従って、探索時間の短縮が図れるばかりでなく、上述した各画素のオプティカルフローの方向と大きさを解析して行う分離作業の代わりに、より単純なフローの大きさでの2値化処理にて容易に移動体を分離識別することが可能となる。またこの場合、あらかじめ対象とする移動体の存在範囲をマニュアル等で指定しておくことにより計算量を大幅に削減することも容易に可能となる。
(変形例4)
変形例3でオプティカルフローを算出して移動体を検出する例を示したが、変形例4のとして以下に述べるように、近接する3枚の画像を用いたフレーム間差分法を用いることも有用である。本変形例で行われる処理も、図8もしくは図11に示した処理と基本的には同様である。即ち、ステップS801にて動画像を読みだし、ステップS802にて網膜パターンの移動をキャンセルした動画像を生成した後、次のステップ804のラベル画像の生成のステップにおいて、以下の処理を実行する。
ここで、移動体を抽出識別する対象となるフレーム画像をNとし、その前後の画像をN-1、N+1とする。この場合、画像N―1と画像N、画像Nと画像N+1の各々の差分画像であるND1とND2とを作成し、これに閾値処理を施して2値画像を得る。ここで、2つの2値画の論理積処理を行い、両者の共通領域をとり出すことで、画像Nにおける移動体を抽出或いは識別することができる。そして、その結果に基づき、移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。なお、本変形例において、それ以降の処理は第1の実施例で述べた処理と同様であるため、以降の説明は割愛する。
本変形例において、この前後の画像の選択は隣接するフレームの画像を対象とするのみならず、移動体の移動速度に応じて所定時間間隔離されたフレームの画像を利用してもよい。更に、それらを適時組み合わせ、移動体の抽出を更に確実にする等の改善も考えられる。また、2値化を行う際の閾値も過去の所定期間の複数フレームの画像における輝度値の分散を閾値に反映してもよい。このような方法を採用すれば、光学ヘッドのアライメント状態による照明状態等による背景変化に対してその影響を受けにくくなり、検出性能の向上が期待できる。
以上に述べたように、本実施例に係る眼科撮像装置は、撮像ヘッド110と、画像生成手段(画像生成部121)と、記憶手段(記憶部122)と、被検眼の動きを検出する手段(制御部123)と、抽出手段(情報抽出部126)と、を備える。撮像ヘッドは、測定光源(221,229)と、走査光学系(214,226)と、受光光学系(220,238)と、を有する。測定光源は、SLO測定光(又はOCT測定光を得る光)を放射する。走査光学系は、被検眼の眼内を所定の走査情報に従って該測定光で走査する。受光光学系は、測定光の被検眼からの戻り光を受光して受光信号を発生する。画像生成手段は、例えば走査情報により被検眼において受光信号を取得した位置を特定し、特定した位置に対応する受光信号を輝度情報等に変換することで画像を生成することができる。記憶手段は、画像生成手段によって生成された画像であって、同じ被検眼に関する同種の複数の画像を記憶する。その際、記憶対象となる画像は、例えば、音声指示に応じた被検眼の動き、被検眼の動きを検出した際に所定の閾値を超える動き(硝子体混濁部位等の独自の移動が検出可能な動き)、等の所定の動きの下で得られた画像となる。また、同種の画像とは、例えば眼底正面画像、及び眼底断層画像を含む。また、被検眼の動きを検出する手段は、同一被検眼から得られている記憶された複数の画像の比較等を行うことにより、被検眼の動きを検出する。被検眼の眼内、特に硝子体中には、例えば硝子体混濁部位等の移動体が存在するが、これら移動体は、被検眼の動きに誘発されて動くが、検出された被検眼の動きとは硝子体中に浮遊した状態にあるため、被検眼とは異なる動きをする。抽出手段は、記憶手段に記憶された画像の少なくとも2つを用いて、この移動体に関する情報を抽出する。
なお、上述した眼科撮像装置においては、被検眼の動きを該被検眼に誘発させる指示を被検者に対して発する指示発生手段(指示発生部128)を更に備えることができる。この場合、指示発生手段として、被検眼の瞬きを誘発させるための音声指示を被検者に対して発生するスピーカ、チャイム、等の音声出力手段を有することができる。また、この音声出力手段は、本実施例では撮像ヘッド110に設けることとしているが、例えば検査室に設けて、制御部123が通信等によってこれに指示ることとする等、撮像ヘッド以外のところに配置することもできる。上述したように、被検眼の所定の動きの検出は画像により行うとしているが、指示発生手段からの例えば音声の指示によって所定の動きが開始されると、指示以降の画像を移動体検出に用いる画像とすることもできる。更に、被検眼の移動の検出は、画像のみならず、受光信号に基づいて行うこともできる。例えば、受光信号のピーク位置や、画像生成時にエッジを形成すると思われる境界位置等の移動に基づいて、被検眼の移動を検出することができる。
また、撮像ヘッドは、被検眼の固視を誘導するための固視灯を所定の位置に提示する固視灯提示手段(固視灯パネル219)を更に有することができる。この場合、指示発生手段は、被検眼の動きを誘発するために、固視灯の提示位置を移動させる指示を固視灯提示手段に対して発生することもできる。更に、この指示発生手段は、上述した各種の指示を所定回数繰り返すこともできる。なお、上述した被検眼の動きを検出する手段は、受光信号に基づいて、この被検眼の動きを検出することとしてもよい。
また、上述した眼科撮像装置においては、被検眼の動きの一つとして、被検眼の瞬きを検出する瞬き検出手段を更に備えることができる。この瞬き検出手段には、例えば撮像ヘッド110が有する、被検眼の前眼部を撮像する手段(前眼部観察光学系)を用いることができる。この場合、被検眼の動きの開始は、この撮像する手段が取得する画像に基づいて検出することができる。また、記憶手段は、画像生成手段により生成された画像と、検出された被検眼の動きとを関連付けて記憶することができる。
また、上述した眼科撮像装置は、接続されている或いは一体化されている表示手段(表示部130)を制御する表示制御手段(制御部123)を更に備えることができる。表示制御手段は更に、時間的に連続して取得された受光信号に基づく複数の画像を用いて生成される動画像を、表示手段に繰り返して表示させることができる。
上述した実施例は更に、眼科撮像装置を制御する制御方法としても把握可能である。この制御方法にあっては、被検眼の眼内を測定光で走査するための所定の走査情報と、該測定光の被検眼からの戻り光を受光することで得られる受光信号と、を用いて画像を生成するステップ(ステップS304における画像生成の処理)を含む。そして、連続的に取得して生成された複数の画像は、記憶部122で動画像として記憶(ステップS304における画像生成された画像を記憶する処理)される。記憶された動画像は、ステップS801で読み出され、ステップS802で該画像に基づいて被検眼の動きが検出される。被検眼の動きの検出後、ステップS804で、硝子体混濁部位等の移動体に関する情報が、読み出された動画像等から抽出される。
(第2の実施例)
第1の実施例において、VTM撮像モードで対象とする動画像は、図2のSLO光学系により撮像されたSLO動画像とした。ここで、第1の実施例で用いた眼科撮像装置はOCT光学系も有している。従って、VTM撮像モードにおいてもOCT動画像を並行して撮像することもできる。本実施例では、VTM撮像モードで移動体の抽出を行う対象をOCT動画像としている。なお、本実施例において用いる眼科撮像装置は、第1の実施例で説明した眼科撮像装置と同様のため、ここでの説明は割愛する。
<VTM撮像モードにおけるOCT撮影>
VTM撮像モードでのOCT動画像の撮像及びその解析で行われる処理は、第1の実施例で述べたSLO動画像の撮影及びその解析で行われる処理と多くが一致する。従って、ここでは、図3(a)のフローチャートで実行される処理において、第1の実施例と異なる処理が行われるステップS303及びステップS304について、以下に更に図12及び図13を参照して説明する。なお、図12は、第2の実施例で実行されるプレビューと装置調整に関して実行される処理のフローチャートであるが、ステップS317までで実行される処理は、第1の実施例の図3(c)において実行されるステップS317までの処理と同じである。このため、ステップS317までの処理についてのここでの説明は割愛する。ステップS317でのマニュアルフォーカスの実行後、検者は、図13(a)に示す本実施例に係るVTM検査画面を用いて更に、OCT撮像のための準備を進める。
<S318 OCT走査パラメータの設定>
本実施例に係るVTM検査画面では、図6で例示した第1の実施例に係るVTM検査画面(SLO動画像対象)での各表示に加え、OCT動画像に対応するためのスイッチ等が付加されている。図13(a)は、そのようなスイッチが付加された例として、タブ430により選択されるVTM検査画面を示している。なお、フォーカス調整スイッチ433、その下のLaser調整スイッチ434等は、第1の実施例と同様にVTM検査画面上に用意される。検者は、フォーカス調整スイッチ433を操作して混濁部位432に対してフォーカス調整する。
調整終了後、並行してOCT撮像を行うためのオプションを有効にするために、OCTチェックボックス441をチェックする。OCTチェックボックス441の横に用意されたドロップダウンメニューはBスキャンの走査の本数の選択を行うものであり、本実施例では1、3、5、及び7本が予め提示されている。検者は、これらの中から適切なBスキャン数を選択する。なお、以下では、Bスキャンとして3本を選択した場合を例として説明する。
OCTチェックボックス441がチェックされると、SLO動画像412には、OCT走査部位を示す走査ラインマーク442が表示されると共にOCT測定光による眼底の走査が開始される。なお、本実施例では、OCT動画撮像に係る走査情報の初期値は、例えば、走査線本数3本、走査線間隔0.5mm、中央走査線の中心がSLO動画像412の中央に位置することとする。そして、眼球運動を誘発する指示により誘発される眼球運動の方向にOCT測定光の走査を行うこととする。
また、本実施例では、検者は、この走査ラインマーク442を操作することで走査条件を調整可能とすることもできる。例えば、走査ラインマーク442の中央付近をドラッグすることで走査位置を、端点をドラッグすることにより走査幅を、走査ラインマーク442にマウスオーバーすると現れる不図示の角度調整マーカーを操作して走査角度を調整可能としてもよい。このように走査条件を調整することにより、走査ラインマーク442が想定される硝子体の混濁部位432の軌跡をカバーするように、走査条件を設定することが可能となる。その後、検者は、前眼部動画像413の横に設けられた表示切替えラジオボタン443をAnteriorからOCTに切り替え、OCT断層像の確認を行う。
<S315 参照光路自動調整>
図13(b)は、表示切替えラジオボタン443の切り替えにより、前眼部動画像413の表示からOCT断層動画像444の表示に切り替わったVTM検査画面を示す。OCT断層動画像444に表示される断層画像は、表示切替えラジオボタン443の下方に設けられたスピンボックスで番号指定された走査線における断層動画像である。また、SLO画像上に表示されている硝子体の混濁部位432は、OCT断層動画像444上では、硝子体混濁部位の断層画像445の様に表示される。
なお、本実施例において、走査ラインマーク442において断層画像が表示される走査線は、例えば他の走査ラインマーク442よりも太い線として表示する、もしくは色違いとするなどの方法により識別可能に表示してもよい。検者は、ここでOCT断層動画像444を観察しながら、参照光路長調整部416を操作してOCTの参照光路長を調整する。このような操作を行うことで、ステップS303で行われる処理であるプレビュー状態における装置調整が完了する。装置調整完了後、フローはステップS304に移行される。
<S304 撮像&確認>
録画開始(REC)ボタン435が押された際に実行される処理は、上述した第1の実施例で実行される処理と類似する。検者により、録画開始(REC)ボタン435が押されると、指示発生部128により、被検者に対して眼球運動を誘発する指示がなされる。指示の例として、例えば「チャイムが鳴ったら瞬きをしてください」の予告アナウンスが出力され、瞬きを促すチャイムの後、例えば8秒間の動画記録が開始される。この際、OCT測定光は走査ラインマーク442として表示される走査線を順次繰り返し走査され、SLO層画像と並行して断層画像も動画像として記録される。
録画が終了後、録画されたSLO動画像とOCT動画像の確認は、第1の実施例の場合と同様に再生ボタン436aを押して録画を再生することによって行われる。また、本実施例では、OCT動画とSLO動画の再生は同期がとられている。再生に際して、第1の実施例において可能とされていた、繰り返し再生、巻き戻し、一時停止、等について、本実施例でも同様に実行可能とされている。
<録画再生時の処理>
第1の実施例では、動画像の再生に際しては原画像のまま再生する原画像再生の他、検者が混濁部位の観察をより容易に行えるように原画像に対して画像処理を行って表示できることとしている。本実施例におけるOCT動画像の再生に際しても、このことは同様である。具体的には、原画像のまま再生する原画像再生の他、上述した網膜移動キャンセル処理、混濁強調処理、コントラストの漸減処理等を行って再生することができる。網膜移動キャンセル処理は、背景である網膜パターンの動きをキャンセルして見せる処理であり、混濁強調処理は、原画像に硝子体混濁を強調して表示する処理となる。また、コントラストの漸減処理は、背景である網膜パターンのコントラストを減ずる処理となる。
SLO動画像の表示時に、第1の実施例では、図8におけるステップS802で背景である網膜パターンの移動をキャンセルしている。本実施例でも、OCT断層動画像444にておいて、撮像された断層画像を対象として類似する処理を行って、断層画像の移動をキャンセルすることができる。具体的には、まず、解析部124は時間的に隣接したフレームの1枚の画像をリファレンスフレームとして、眼球運動に起因する一連のフレーム間における断層画像の位置ずれ量を算出する。位置ずれ量は、例えば、対象となるフレームの網膜断層部の中央部分50%程度の部分(70%x70%部分位)とリファレンスフレームとの位置をずらしながら画像比較を行い、画像相関が最大になる位置ずれ量を求めればよい。そして、求めたずれ量を用いて各フレームの位置を調整して網膜パターンの移動をキャンセルした動画像を生成する。このような処理を行うことにより、断層画像の移動の影響を低減した状態で、断層画像の動きに対する移動体の相対移動が抽出された動画像を生成することができる。
なお、フレーム間の位置ずれ検出に関しては、眼球運動の落ち着いている録画終了時から時刻をさかのぼって算出することが有利であることは第1の実施例の場合と同様である。以降、第1の実施例におけるステップS803~S806において実行される処理に関しても、本実施例における断層動画像において同様に実行される。即ち、各フレーム画像の加算平均を行い移動体の影響の少ない、背景となり得る断層画像を生成し、生成された動画像の各フレームと断層画像とを利用して移動体の存在する領域と背景である網膜パターンとを識別したラベル画像を生成する。そして、移動体の強調処理や背景領域のコントラストを低減する処理等についても同様の処理を行えばよい。動画の再生時の選択方法に関しても第1の実施例と同様である。
<動画像の確認と保存>
以上の機能を使いながら、録画された動画像の確認を行い、その結果がOKなら、OKボタン438を押して動画像を検査結果として保存する。期待通りの画像が録画できていなければ、再度、録画開始(REC)ボタンを押すことも第1の実施例と同様である。ただし、OCT撮像を動画的に行うために、本実施例では走査線の数を制限している。このため、この制限された走査線数で対象となる移動体をうまく記録するためのOCT撮像条件の調整はやや難しく、特に測定範囲の調整には少し時間がかかることは否めない。
(変形例1)
上述した説明では、前眼部動画像413の表示からOCT断層動画像444への表示切り替えには、表示切替えラジオボタン443を用いている。しかし、表示切替えラジオボタン443でAnteriorが選択され前眼部動画像413が表示されている時であっても、OCT断層画像を見ながら行った方が良い操作の時にはOCT断層動画像444へ自動的に表示切り替わるよう構成してもよい。そのような操作には、例えば走査ラインマーク442や、参照光路長調整部416への操作時、もしくは動画再生時が相当する。また、オートアライメントにより位置合わせが適切に行われ、位置ずれ量が許容範囲内にある時には自動的にOCT断層動画像444に表示が切り替わるよう構成してもよい。更に、再生時において、SLO動画像とOCT動画像の表示位置を切り替え可能にしておくことも有用である。
(変形例2)
本実施例に用いる眼科撮像装置は、録画し、確認した動画に記録された硝子体混濁部位等の、背景として観察される被検眼の断層画像とは異なる動きをする移動体の移動解析を行う解析機能を有する。しかし、硝子体混濁部位等について、このような解析は行わず、簡易的な硝子体中の移動体を観測できれば、眼の診察において有用と考えられる。以下に述べる変形例2では、そのような移動体の観察主体の実施例について説明する。
第1の実施例及び第2の実施例は、録画された動画像に対してポスト処理を行うことで網膜パターンや断層画像の移動のキャンセル、更には移動体の抽出を実現している。これに対し、本変形例では、網膜パターンや断層画像の移動のキャンセル処理を、撮像中に行っているトラッキング処理に基づいて実施する。
第1の実施例において、図3(b)等のステップS314で眼底トラッキングを実行している。ステップS314では、画像生成部121が生成したSLO動画像を情報抽出部126が処理して、被検眼眼底の動きを算出している。そして、その算出結果に応じて、被検眼Eの動きに対してOCT測定光が追従するよう、制御部123がOCT走査手段226に駆動指示を与えている。本変形例では、制御部123は、OCT測定光のみならずSLO測定光も被検眼の動きに対して追従するよう、SLO走査手段214を制御する。このようにSLO走査系に対しても眼底トラッキングをかけることにより、得られるSLO画像は背景となる網膜パターンが移動しない画像として取得される。従って、撮像後の後処理を行わなくとも、背景である網膜パターンの動きをキャンセルした状態の画像が経時的に得られ、移動体の相対移動を観察できるようになる。
また、例えば本測定前に一度仮測定を実施し、そのデータを基に背景となり得る網膜パターン画像を前もって生成してもよい。この場合、この網膜パターン画像と本撮像で撮像したリアルタイムの画像とをリアルタイムで演算して位置合わせし、位置合わせ後の画像を表示すればよい。この方法によれば、移動体の抽出に合わせ、移動体の強調処理や背景領域を抑制する処理を施すことも可能である。なお、このような画像のリアルタイム演算を行う場合、計算負荷が大きくなる恐れがあることから、制御部はGPUなどを搭載することが望ましい。
以上に説明したように、本変形例においても、検者は、記録された硝子体混濁部位等の移動体の挙動を繰り替えし再生して確認可能である。また、更に、これを強調表示させて硝子体混濁部位の挙動を、眼球運動とは独立に観察することができる。
<S305 解析>
ここで、第2の実施例における移動体の解析と解析結果表示の処理とについて説明する。記憶された動画像の解析処理の結果は、第1の実施例の場合と同様に解析画面に表示されるが、解析処理は、各OCT走査線におけるBスキャン動画それぞれを対象として実行される。図14(a)、図14(b)、及び図14(c)は、任意の間隔で並ぶ異なる走査線を測定光で走査することで得られた3つの断層画像を示す。また、各断層画像に示される移動体445a、445b、及び445cは、それぞれの断層動画像内で識別された移動体を示している。
各々の走査線幅がある程度の幅以下である場合、識別された移動体は、図14(d)に示されるように、例えば3枚のスライス上に輪郭を持つ一つの移動体と判断できる。よって、その輪郭とBスキャン断面の所定ピッチの格子との交点を輪郭点としたポリゴンモデルで形状を定義することができる。また、ワイヤーフレームモデルを例えばスプライン補完等で形成し、3次元移動体の概略形状を推定することもできる。また、更に推定した形状を用いて、移動体の特徴量の算出を行ってもよい。しかし、スライス数が少ない場合には、これらの処理はそれほど有用ではなく、移動体と網膜との位置関係の把握の方が重要となる。また、移動体の3次元的速度の解析を行う場合、これらを別々の移動体としてではなく一つの移動体として扱うことの方が大切である。解析時に実行されるそれ以外の処理に関しては、第1の実施例で述べた処理と同様であるため、ここでの説明は割愛する。
<S814 動画の再生等>
第2の実施例においても、第1の実施例と同様に、検者は解析対象となる移動体を切り替え、それぞれの移動体に対する解析結果を確認することができる。また、合わせて、録画された動画を自由に再生することにより、移動体の動きを詳細に観察することも、第1の実施例と同様に可能である。
図15(a)に本変形例の解析画面におけるOCT動画の表示方法の1例を示す。OCT撮像が並行して行われた検査では、解析画面のSLO動画像412の左側に、OCT動画ウィンドウを開くためのボタン501が表示される。検者がこのボタンをクリックすると、図15(b)に例示するように、OCT動画を表示するためのポップアップウィンドウ502が開くと共に、SLO動画像412上にOCT撮像が行われた走査位置を示す走査ラインマーク442が表示される。OCT動画像の再生動作は常にSLO動画像の再生動作に同期されており、再生コントロールボタン群493、画像処理コントロールチェックボックス群494、及びシークバー表示群495等を用いて再生条件等がコントロールできる。
ポップアップウィンドウ502に表示されるOCT動画像では、例えば識別された移動体503にIDが振られると共に、移動体はBスキャン動画ごとに走査ラインマーク442と同色で色分けされ、重ねて表示されるとよい。また、各Bスキャン動画は、単独で表示可能であってもよい(図14(e)参照)。更に、ポップアップウィンドウ502は、アプリケーションウィンドウ400の任意の位置に移動可能であり、かつ表示倍率も可変であってよく、更に上方に設けられたボタンによって全画面化してもよく、閉じることが可能であってもよい。
上述したように、本実施例に係る眼科撮像装置においては、OCT光学系により取得された被検眼の断層画像を用いて移動体の抽出を行うこともできる。この場合、撮像ヘッド110において、断層画像生成のために、受光光学系は、測定光に対応する参照光と戻り光との干渉光を生成し、画像生成手段(画像生成部121)は、該干渉光を用いて被検眼の断層画像を生成する。また、この場合、OCT光学系における走査光学系(OCT走査手段226)は、生成された画像から検出した被検眼の動きの方向に基づいて決定される方向(実施例では走査方向)に、測定光を走査するとよい。
以上説明したように、第2の実施例に係る眼科撮像装置では、移動体の2次元観察・解析に加えて簡易的な3次元観察・解析も可能となる。従って、硝子体の液状化の程度、硝子体混濁部位等の移動体の挙動や視覚機能への影響度の判断のために、より詳細な情報を得ることが可能である。
(その他の実施例)
本発明は、上述の実施例及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上述した実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の実施例及び各変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
110:撮像ヘッド、120制御装置、130:表示装置、140:入力装置、121:画像生成部、122:記憶部、123:制御部、124:解析部、125:取得部、126:情報抽出部

Claims (18)

  1. 測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
    前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
    前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶する記憶手段と、
    前記記憶された画像に基づいて前記所定の動きを検出する手段と、
    前記被検眼の硝子体内に存在する混濁部位であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記混濁部位の存在する領域を、前記記憶された複数の画像の少なくとも2つを用いて識別し、前記識別された混濁部位の動きに関する情報を、前記記憶された複数の画像の少なくとも2つを用いて算出する解析手段と、
    を備える、眼科撮像装置。
  2. 前記所定の動きを前記被検眼に誘発させる指示を被検者に対して発する指示発生手段を更に備える請求項1に記載の眼科撮像装置。
  3. 測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドと、
    前記走査情報と、前記受光信号とを用いて画像を生成する画像生成手段と、
    前記生成された画像であって、前記被検眼に所定の動きを誘発させる指示を指示発生手段が被検者に対して発した後の前記被検眼に関する同種の複数の画像を記憶する記憶手段と、
    前記被検眼の硝子体内に存在する混濁部位であって、前記所定の動きに誘発されて前記所定の動きとは異なる動きをする前記混濁部位の存在する領域を、前記記憶された複数の画像の少なくとも2つを用いて識別し、前記識別された混濁部位の動きに関する情報を、前記記憶された複数の画像の少なくとも2つを用いて算出する算出手段と、
    を備える、眼科撮像装置。
  4. 前記指示発生手段は、前記被検眼の瞬きを誘発させるための音声指示を前記被検者に対して発生する音声出力手段を有する、請求項2又は3に記載の眼科撮像装置。
  5. 前記撮像ヘッドは、前記被検眼の固視を誘導するための固視灯を所定の位置に提示する固視灯提示手段を更に有し、
    前記指示発生手段は、前記被検眼の動きを誘発するために前記固視灯の提示位置を移動させる指示を前記固視灯提示手段に対して発生する、請求項2又は3に記載の眼科撮像装置。
  6. 前記指示発生手段は、前記指示を所定回数繰り返す、請求項2乃至5のいずれか1項に記載の眼科撮像装置。
  7. 前記被検眼の瞬きを検出する瞬き検出手段を更に備える、請求項1乃至6のいずれか1項に記載の眼科撮像装置。
  8. 前記撮像ヘッドは、前記被検眼の前眼部を撮像する手段を更に有し、
    前記瞬き検出手段は、前記撮像する手段を含む、請求項7に記載の眼科撮像装置。
  9. 前記撮像ヘッドは、前記被検眼の前眼部を撮像する手段を更に有し、
    前記被検眼の動きの開始は、前記撮像する手段が取得した画像に基づいて検出される、請求項1乃至6のいずれか1項に記載の眼科撮像装置。
  10. 前記記憶手段は、前記生成された画像と、前記検出された被検眼の動きとを関連付けて記憶する、請求項1乃至9のいずれか1項に記載の眼科撮像装置。
  11. 時間的に連続して取得された受光信号に基づく複数の画像を用いて生成される動画像を繰り返して表示するように表示手段を制御する表示制御手段を更に備える、請求項1乃至10のいずれか1項に記載の眼科撮像装置。
  12. 前記同種の画像は、前記被検眼の眼底の正面画像、又は眼底の断層画像である、請求項1乃至11のいずれか1項に記載の眼科撮像装置。
  13. 前記受光光学系は、前記測定光に対応する参照光と前記戻り光との干渉光を生成し、
    前記画像生成手段は、前記干渉光を用いて前記被検眼の断層画像を生成する、請求項1乃至11のいずれか1項に記載の眼科撮像装置。
  14. 前記走査光学系は、前記被検眼の動きの方向に基づいて決定される方向に、前記測定光を走査する、請求項13に記載の眼科撮像装置。
  15. 前記表示制御手段は、前記記憶された複数の画像の少なくとも2つを用いて得られる、前記被検眼の網膜パターンの移動の影響が低減された前記動画像を、繰り返して表示するように前記表示手段を制御する請求項11に記載の眼科撮像装置。
  16. 測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドを備える眼科撮像装置の制御方法であって、
    前記走査情報と、前記受光信号とを用いて画像を生成するステップと、
    前記生成された画像であって、所定の動きの下の同じ被検眼に関する同種の複数の画像を記憶するステップと、
    前記記憶された画像に基づいて前記所定の動きを検出するステップと、
    前記被検眼の硝子体内に存在する混濁部位であって、前記所定の動きに誘発されて前記検出された所定の動きとは異なる動きをする前記混濁部位の存在する領域を、前記記憶された複数の画像の少なくとも2つを用いて識別し、前記識別された混濁部位の動きに関する情報を、前記記憶された複数の画像の少なくとも2つを用いて算出するステップと、
    を含む、眼科撮像装置の制御方法。
  17. 測定光を放射する測定光源と、被検眼の眼内を所定の走査情報に従って該測定光で走査する走査光学系と、前記測定光の前記被検眼からの戻り光を受光して受光信号を発生する受光光学系と、を有する撮像ヘッドを備える眼科撮像装置の制御方法であって、
    前記走査情報と、前記受光信号とを用いて画像を生成するステップと、
    前記生成された画像であって、前記被検眼に所定の動きを誘発させる指示を指示発生手段が被検者に対して発した後の前記被検眼に関する同種の複数の画像を記憶するステップと、
    前記被検眼の硝子体内に存在する混濁部位であって、前記所定の動きに誘発されて前記所定の動きとは異なる動きをする前記混濁部位の存在する領域を、前記記憶された複数の画像の少なくとも2つを用いて識別し、前記混濁部位の動きに関する情報を、前記記憶された複数の画像の少なくとも2つを用いて算出するステップと、
    を含む、眼科撮像装置の制御方法。
  18. コンピュータによって実行されると、該コンピュータに請求項16又は17に記載の眼科撮像装置の制御方法の各ステップを実行させる、プログラム。
JP2021204978A 2021-12-17 2021-12-17 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム Active JP7753082B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021204978A JP7753082B2 (ja) 2021-12-17 2021-12-17 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム
PCT/JP2022/046155 WO2023112978A1 (ja) 2021-12-17 2022-12-15 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021204978A JP7753082B2 (ja) 2021-12-17 2021-12-17 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2023090164A JP2023090164A (ja) 2023-06-29
JP7753082B2 true JP7753082B2 (ja) 2025-10-14

Family

ID=86937241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021204978A Active JP7753082B2 (ja) 2021-12-17 2021-12-17 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7753082B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2026058503A (ja) * 2024-09-25 2026-04-06 株式会社トーメーコーポレーション 測定結果表示システム、測定結果解析方法および測定結果解析プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011059018A1 (ja) 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
JP2015070359A (ja) 2013-09-27 2015-04-13 株式会社京三製作所 人数カウント装置
JP2020018795A (ja) 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム
JP2020157098A (ja) 2016-03-31 2020-10-01 株式会社ニデック 眼科撮影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011059018A1 (ja) 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
JP2015070359A (ja) 2013-09-27 2015-04-13 株式会社京三製作所 人数カウント装置
JP2020157098A (ja) 2016-03-31 2020-10-01 株式会社ニデック 眼科撮影装置
JP2020018795A (ja) 2018-08-03 2020-02-06 株式会社ニデック 眼底撮影装置および眼科システム

Also Published As

Publication number Publication date
JP2023090164A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
JP6865788B2 (ja) 眼科装置
JP6321430B2 (ja) 眼科装置
JP6522827B2 (ja) 眼科装置
JP5989523B2 (ja) 眼科装置
JP6367563B2 (ja) 眼科装置
JP2008086670A (ja) 眼底観察装置、眼底画像表示装置及びプログラム
JP6624641B2 (ja) 眼科装置
JP6220022B2 (ja) 眼科装置
JP2018051391A (ja) 眼科装置
JP6402025B2 (ja) 血流計測装置
JP7753082B2 (ja) 眼科撮像装置、眼科撮像装置の制御方法、及びプログラム
JP6274728B2 (ja) 光干渉断層撮像装置およびその制御方法
JP6739183B2 (ja) 眼科装置
WO2023112978A1 (ja) 眼科撮像装置、眼科用画像処理装置、眼科撮像装置の制御方法、眼科用画像処理方法、及びプログラム
JP2023090115A (ja) 眼科用画像処理方法、眼科用画像処理装置、プログラム、及び眼科撮像装置
JP6503040B2 (ja) 眼科観察装置
JP2024070524A (ja) 眼科撮像装置、画像処理装置、画像処理装置の作動方法、及びプログラム
JP7288110B2 (ja) 眼科装置
JP7231366B2 (ja) 眼科装置および眼科装置の制御方法
JP7221628B2 (ja) 血流計測装置、情報処理装置、情報処理方法、及びプログラム
JP2018051390A (ja) 眼科装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20250522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251001

R150 Certificate of patent or registration of utility model

Ref document number: 7753082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150