Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7341874B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7341874B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7341874B2
JP7341874B2 JP2019217331A JP2019217331A JP7341874B2 JP 7341874 B2 JP7341874 B2 JP 7341874B2 JP 2019217331 A JP2019217331 A JP 2019217331A JP 2019217331 A JP2019217331 A JP 2019217331A JP 7341874 B2 JP7341874 B2 JP 7341874B2
Authority
JP
Japan
Prior art keywords
image
images
trained model
medical image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019217331A
Other languages
English (en)
Other versions
JP2020103880A5 (ja
JP2020103880A (ja
Inventor
朋之 牧平
弘樹 内田
律也 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201980086346.9A priority Critical patent/CN113226153B/zh
Priority to PCT/JP2019/050732 priority patent/WO2020138128A1/ja
Publication of JP2020103880A publication Critical patent/JP2020103880A/ja
Priority to US17/343,207 priority patent/US12094082B2/en
Publication of JP2020103880A5 publication Critical patent/JP2020103880A5/ja
Application granted granted Critical
Publication of JP7341874B2 publication Critical patent/JP7341874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/30—Image post-processing, e.g. metal artefact correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/456—Optical coherence tomography [OCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
生体などの被検体の断層画像を非破壊、非侵襲で取得する方法として、光干渉断層撮像法（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を利用した装置（ＯＣＴ装置）が実用化されている。ＯＣＴ装置は、特に眼科診断のための画像を取得する眼科装置として広く利用されている。
ＯＣＴでは、測定対象から反射した光と参照鏡から反射した光を干渉させ、その干渉光の強度を解析することにより被検体の断層画像を得ることができる。このようなＯＣＴとして、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ：Ｔｉｍｅ Ｄｏｍａｉｎ ＯＣＴ）が知られている。ＴＤ－ＯＣＴでは、参照鏡の位置を順次変えることで被検体の深さ情報を得る。
また、スペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ：Ｓｐｅｃｔｒａｌ ＤｏｍａｉｎＯＣＴ）、及び波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ：Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。ＳＤ－ＯＣＴでは、低コヒーレンス光を用いて干渉させた干渉光を分光し、深さ情報を周波数情報に置き換えて取得する。また、ＳＳ－ＯＣＴでは、波長掃引光源を用いて先に波長を分光した光を用いて干渉光を取得する。なお、ＳＤ－ＯＣＴとＳＳ－ＯＣＴは総称してフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ：Ｆｏｕｒｉｅｒ Ｄｏｍａｉｎ ＯＣＴ）とも呼ばれる。
ＯＣＴを用いることで、被検体の深さ情報に基づく断層画像を取得することができる。また、取得した三次元の断層画像を深度方向に統合し、二次元平面上に投影することで、測定対象の正面画像を生成することができる。従来、これら画像の画質を向上させるため、複数回画像を取得し重ね合わせ処理を施すことが行われている。しかしながら、このような場合、複数回の撮影に時間がかかる。
特許文献１には、医用技術の急激な進歩や緊急時の簡易な撮影に対応するため、以前に取得した画像を、人工知能エンジンによって、より解像度の高い画像に変換する技術が開示されている。このような技術によれば、例えば、より少ない撮影によって取得された画像をより解像度の高い画像に変換することができる。
特開２０１８－５８４１号公報
しかしながら、解像度が高い画像であっても、画像診断に適した画像とは言えない場合もある。例えば、解像度が高い画像であっても、ノイズが多い場合やコントラストが低い場合等には観察すべき対象が適切に把握できないことがある。
そこで、本発明の目的の一つは、従来よりも画像診断に適した画像を生成することができる画像処理装置、画像処理方法、及びプログラムを提供することである。
本発明の一実施態様に係る画像処理装置は、
被検体の第１の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記第１の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである。
本発明の一つによれば、従来よりも画像診断に適した画像を生成することができる。
実施例１に係るＯＣＴ装置の概略構成を示す。 実施例１に係る制御部の概略構成を示す。 実施例１に係る教師データの一例を示す。 実施例１に係る学習済モデルの構成の一例を示す。 実施例１に係る一連の画像処理のフローチャートである。 画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。 画質向上処理前後の画像を並べて表示するレポート画面の一例を示す。 画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。 実施例２に係る制御部の概略構成を示す。 実施例２に係る一連の画像処理のフローチャートである。 画質向上処理を変更する一例を示す。 画質向上処理が適用された複数の画像を同時に表示するレポート画面の一例を示す。 実施例３に係る一連の画像処理のフローチャートである。 実施例４に係る制御部の概略構成を示す。 実施例４に係る一連の画像処理のフローチャートである。 変形例に係るレポート画面（表示画面）の一例を示す。 変形例に係るレポート画面（表示画面）の一例を示す。 変形例１２に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。 変形例１２に係る機械学習モデルとして用いられるニューラルネットワークの構成の一例を示す。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。
ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
以下の実施例では、被検体（被検者）として被検眼を例に挙げるが、人の他の臓器等を被検体としてもよい。また、機械学習モデル（機械学習エンジン）に関する学習済モデルを用いて画質向上処理を施す画像として、被検眼のＯＣＴＡ（ＯＣＴ Ａｎｇｉｏｇｒａｐｈｙ）画像を例に挙げて説明する。なお、ＯＣＴＡとは、ＯＣＴを用いた、造影剤を用いない血管造影法である。ＯＣＴＡでは、被検体の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでＯＣＴＡ画像（正面血管画像、あるいはモーションコントラスト正面画像）を生成する。
ここで、モーションコントラストデータとは、被検体の略同一箇所を繰り返し撮影し、その撮影間における被写体の時間的な変化を検出したデータである。なお、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。モーションコントラストデータは、例えば、複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。
ここで、機械学習モデルに関する学習済モデルを用いた画質向上処理に関する注意点を記載する。画像について機械学習モデルに関する学習済モデルを用いて画質向上処理を行うことで、少ない画像から高画質な画像が得られる一方で、現実には存在しない組織を画像上に描出してしまったり、本来存在している組織を消してしまったりすることがある。そのため、学習済モデルを用いた画質向上処理によって高画質化された画像では、画像上に描出された組織の真偽が判断しにくいという問題があった。
そのため、以下の実施例では、機械学習モデルを用いて、従来よりも画像診断に適した画像を生成するとともに、このような画像について、画像上に描出された組織の真偽を容易に判断できる画像処理装置を提供する。
なお、以下の実施例ではＯＣＴＡ画像について説明するが、画質向上処理を施す画像はこれに限られず、断層画像や輝度のＥｎ－Ｆａｃｅ画像等であってもよい。ここで、Ｅｎ－Ｆａｃｅ画像とは、被検体の三次元のデータにおいて、２つの基準面に基づいて定められる所定の深さ範囲内のデータを二次元平面に投影又は積算して生成した正面画像である。Ｅｎ－Ｆａｃｅ画像には、例えば、輝度の断層画像に基づく輝度のＥｎ－Ｆａｃｅ画像やモーションコントラストデータに基づくＯＣＴＡ画像（モーションコントラスト正面画像、あるいはモーションコントラストＥｎ－Ｆａｃｅ画像）が含まれる。
（実施例１）
以下、図１乃至７を参照して、本発明の実施例１に係る光干渉断層撮像装置（ＯＣＴ装置）及び画像処理方法について説明する。図１は、本実施例に係るＯＣＴ装置の概略構成を示す。
本実施例に係るＯＣＴ装置１には、ＯＣＴ撮影部１００、制御部（画像処理装置）２００、入力部２６０、表示部２７０が設けられている。
ＯＣＴ撮影部１００は、ＳＤ－ＯＣＴ装置の撮影光学系を含み、走査部を介して測定光が照射された被検眼Ｅからの戻り光と、測定光に対応する参照光とを干渉させた干渉光に基づいて、被検眼Ｅの断層の情報（断層情報）を含む信号を取得する。ＯＣＴ撮影部１００には、光干渉部１１０、及び走査光学系１５０が設けられている。
制御部２００は、ＯＣＴ撮影部１００を制御したり、ＯＣＴ撮影部１００や不図示の他の装置から得られた信号から画像を生成したり、生成／取得した画像を処理したりすることができる。表示部２７０は、ＬＣＤディスプレイ等の任意のディスプレイであり、ＯＣＴ撮影部１００及び制御部２００を操作するためのＧＵＩや生成した画像、任意の処理を施した画像、及び患者情報等の各種の情報を表示することができる。
入力部２６０は、ＧＵＩを操作したり、情報を入力したりすることで、制御部２００を操作するために用いられる。入力部２６０は、例えば、マウスやタッチパッド、トラックボール、タッチパネルディスプレイ、スタイラスペン等のポインティングデバイス及びキーボード等を含む。なお、タッチパネルディスプレイを用いる場合には、表示部２７０と入力部２６０を一体的に構成できる。なお、本実施例では、ＯＣＴ撮影部１００、制御部２００、入力部２６０、及び表示部２７０は別々の要素とされているが、これらのうちの一部又は全部を一体的に構成してもよい。
ＯＣＴ撮影部１００における光干渉部１１０には、光源１１１、カプラ１１３、コリメート光学系１２１、分散補償光学系１２２、反射ミラー１２３、レンズ１３１、回折格子１３２、結像レンズ１３３、及びラインセンサ１３４が設けられている。光源１１１は、近赤外光を発光する低コヒーレンス光源である。光源１１１から発光した光は、光ファイバ１１２ａを伝搬し、光分岐部であるカプラ１１３に入射する。カプラ１１３に入射した光は、走査光学系１５０側に向かう測定光と、コリメート光学系１２１、分散補償光学系１２２、及び反射ミラー１２３を含む参照光学系側に向かう参照光に分割される。測定光は、光ファイバ１１２ｂに入射され、走査光学系１５０に導かれる。一方、参照光は、光ファイバ１１２ｃに入射され、参照光学系へ導かれる。
光ファイバ１１２ｃに入射した参照光は、ファイバ端から射出され、コリメート光学系１２１を介して、分散補償光学系１２２に入射し、反射ミラー１２３へと導かれる。反射ミラー１２３で反射した参照光は、光路を逆にたどり再び光ファイバ１１２ｃに入射する。分散補償光学系１２２は、走査光学系１５０及び被検体である被検眼Ｅにおける光学系の分散を補償し、測定光と参照光の分散を合わせるためのものである。反射ミラー１２３は、制御部２００によって制御される不図示の駆動手段により、参照光の光軸方向に駆動可能なように構成されており、参照光の光路長を、測定光の光路長に対して相対的に変化させ、参照光と測定光の光路長を一致させることができる。
一方、光ファイバ１１２ｂに入射した測定光はファイバ端より射出され、走査光学系１５０に入射する。走査光学系１５０は被検眼Ｅに対して相対的に移動可能なように構成された光学系である。走査光学系１５０は、制御部２００によって制御される不図示の駆動手段により、被検眼Ｅの眼軸に対して前後上下左右方向に駆動可能なように構成され、被検眼Ｅに対してアライメントを行うことができる。なお、走査光学系１５０は、光源１１１、カプラ１１３及び参照光学系等を含むように構成されてもよい。
走査光学系１５０には、コリメート光学系１５１、走査部１５２、及びレンズ１５３が設けられている。光ファイバ１１２ｂのファイバ端より射出した光は、コリメート光学系１５１により略平行化され、走査部１５２へ入射する。
走査部１５２は、ミラー面を回転可能なガルバノミラーを２つ有し、一方は水平方向に光を偏向し、他方は垂直方向に光を偏向する。走査部１５２は、入射した光を制御部２００による制御に従って偏向する。これにより、走査部１５２は、紙面垂直方向（Ｘ方向）の主走査方向と紙面内方向（Ｙ方向）の副走査方向の２方向に、被検眼Ｅの眼底Ｅｒ上で測定光を走査することができる。なお、主走査方向と副走査方向は、Ｘ方向及びＹ方向に限られず、被検眼Ｅの深さ方向（Ｚ方向）に対して垂直な方向であり、主走査方向と副走査方向が互いに交差する方向であればよい。そのため、例えば、主走査方向がＹ方向であってもよいし、副走査方向がＸ方向であってもよい。
走査部１５２により走査された測定光は、レンズ１５３を経由して被検眼Ｅの眼底Ｅｒ上に、照明スポットを形成する。走査部１５２により面内偏向を受けると、各照明スポットは被検眼Ｅの眼底Ｅｒ上を移動（走査）する。この照明スポットの位置における眼底Ｅｒから反射・散乱された測定光の戻り光が光路を逆にたどり光ファイバ１１２ｂに入射して、カプラ１１３に戻る。
以上のように、反射ミラー１２３で反射された参照光、及び被検眼Ｅの眼底Ｅｒからの測定光の戻り光は、カプラ１１３に戻され、互いに干渉して干渉光となる。干渉光は光ファイバ１１２ｄを通過し、レンズ１３１に射出される。干渉光は、レンズ１３１により略平行化され、回折格子１３２に入射する。回折格子１３２は周期構造を有し、入力した干渉光を分光する。分光された干渉光は、合焦状態を変更可能な結像レンズ１３３によりラインセンサ１３４に結像される。ラインセンサ１３４は、各センサ部に照射される光の強度に応じた信号を制御部２００に出力する。制御部２００は、ラインセンサ１３４から出力される干渉信号に基づいて、被検眼Ｅの断層画像を生成することができる。
上記一連の動作により、被検眼Ｅの一点における深さ方向の断層情報を取得することができる。このような動作をＡスキャンという。
また、走査部１５２のガルバノミラーを駆動させることで、被検眼Ｅの隣接する一点の干渉光を発生させ、被検眼Ｅの隣接する一点における深さ方向の断層情報を取得する。この一連の制御を繰り返すことにより、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼Ｅの当該横断方向と深さ方向の二次元の断層情報を取得することができる。このような動作をＢスキャンという。制御部２００は、Ａスキャンによって取得された干渉信号に基づくＡスキャン画像を複数集めることで、一つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、二次元断層画像と呼ぶ。
さらに、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における断層情報を取得することができる。制御部２００は、この動作を繰り返すことにより、Ｂスキャン画像を複数集めることで、被検眼Ｅの所定範囲における三次元断層画像を取得することができる。
次に、図２を参照して制御部２００について説明する。図２は制御部２００の概略構成を示す。制御部２００には、取得部２１０、画像処理部２２０、駆動制御部２３０、記憶部２４０、及び表示制御部２５０が設けられている。
取得部２１０は、ＯＣＴ撮影部１００から、被検眼Ｅの干渉信号に対応するラインセンサ１３４の出力信号のデータを取得することができる。なお、取得部２１０が取得する出力信号のデータは、アナログ信号でもデジタル信号でもよい。取得部２１０がアナログ信号を取得する場合には、制御部２００でアナログ信号をデジタル信号に変換することができる。
また、取得部２１０は、画像処理部２２０で生成された断層データや、二次元断層画像、三次元断層画像、モーションコントラスト画像、及びＥｎ－Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含むものをいう。
さらに、取得部２１０は、画像処理すべき画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画像サイズ、画像フィルタ、及び画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。
具体的には、取得部２１０は、画像を撮影した際のＯＣＴ撮影部１００の撮影条件を取得する。また、取得部２１０は、画像のデータ形式に応じて、画像を構成するデータ構造に保存された撮影条件群を取得することもできる。なお、画像のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、別途撮影条件を保存している記憶装置等から撮影条件群を含む撮影情報群を取得することもできる。
また、取得部２１０は、被検者識別番号等の被検眼を同定するための情報を入力部２６０等から取得することもできる。なお、取得部２１０は、記憶部２４０や、制御部２００に接続される不図示のその他の装置から各種データや各種画像、各種情報を取得してもよい。取得部２１０は、取得した各種データや画像を記憶部２４０に記憶させることができる。
画像処理部２２０は、取得部２１０で取得されたデータや記憶部２４０に記憶されたデータから断層画像やＥｎ－Ｆａｃｅ画像等を生成したり、生成又は取得した画像に画像処理を施したりすることができる。画像処理部２２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ－Ｆａｃｅ画像生成部２２３、及び画質向上部２２４が設けられている。
断層画像生成部２２１は、取得部２１０が取得した干渉信号のデータに対して波数変換やフーリエ変換、絶対値変換（振幅の取得）等を施して断層データを生成し、断層データに基づいて被検眼Ｅの断層画像を生成することができる。ここで、取得部２１０で取得される干渉信号のデータは、ラインセンサ１３４から出力された信号のデータであってもよいし、記憶部２４０や制御部２００に接続された不図示の装置から取得された干渉信号のデータであってもよい。なお、断層画像の生成方法としては公知の任意の方法を採用してよく、詳細な説明は省略する。
また、断層画像生成部２２１は、生成した複数部位の断層画像に基づいて三次元断層画像を生成することができる。断層画像生成部２２１は、例えば、複数部位の断層画像を１の座標系に並べて配置することで三次元断層画像を生成することができる。ここで、断層画像生成部２２１は、記憶部２４０や制御部２００に接続された不図示の装置から取得された複数部位の断層画像に基づいて三次元断層画像を生成してもよい。
モーションコントラスト生成部２２２は、略同一箇所を撮影して得た複数の断層画像を用いて二次元モーションコントラスト画像を生成することができる。また、モーションコントラスト生成部２２２は、生成した各部位の二次元モーションコントラスト画像を１の座標系に並べて配置することで三次元モーションコントラスト画像を生成することができる。
本実施例では、モーションコントラスト生成部２２２は被検眼Ｅの略同一箇所を撮影して得た複数の断層画像間の脱相関値に基づいてモーションコントラスト画像を生成する。
具体的には、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像について、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置及び角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、当該位置合わせの処理は、モーションコントラスト生成部２２２とは別個の構成要素によって行われてもよい。また、位置合わせの方法はこれに限られず、公知の任意の手法により行われてよい。
モーションコントラスト生成部２２２は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２枚の断層画像ずつについて、以下の数式１により脱相関値を算出する。
Figure 0007341874000001
ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における振幅、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍ（ｘ，ｚ）は０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する干渉信号の値に基づいて求められてもよい。
モーションコントラスト生成部２２２は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、モーションコントラスト生成部２２２は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。
なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。
Ｅｎ－Ｆａｃｅ画像生成部２２３は、モーションコントラスト生成部２２２が生成した三次元モーションコントラスト画像から正面画像であるＥｎ－Ｆａｃｅ画像（ＯＣＴＡ画像）を生成することができる。具体的には、Ｅｎ－Ｆａｃｅ画像生成部２２３は、三次元モーションコントラスト画像を、例えば、被検眼Ｅの深さ方向（Ｚ方向）における２つの任意の基準面に基づいて、二次元平面に投影した正面画像であるＯＣＴＡ画像を生成することができる。また、Ｅｎ－Ｆａｃｅ画像生成部２２３は、断層画像生成部２２１が生成した三次元断層画像から同様に輝度のＥｎ－Ｆａｃｅ画像を生成することもできる。
Ｅｎ－Ｆａｃｅ画像生成部２２３は、より具体的には、例えば、２つの基準面に囲まれた領域のＸＹ方向の各位置において深さ方向における画素値の代表値を決定し、その代表値に基づいて各位置における画素値を決定して、Ｅｎ－Ｆａｃｅ画像を生成する。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含む。
なお、基準面は被検眼Ｅの断層の層境界に沿った面でもよいし、平面であってもよい。以下、Ｅｎ－Ｆａｃｅ画像を生成するための基準面間の深さ方向の範囲をＥｎ－Ｆａｃｅ画像の生成範囲という。また、本実施例に係るＥｎ－Ｆａｃｅ画像の生成方法は一例であり、Ｅｎ－Ｆａｃｅ画像生成部２２３は、公知の任意の方法を用いてＥｎ－Ｆａｃｅ画像を生成してよい。
画質向上部２２４は、後述する学習済モデルを用いて、Ｅｎ－Ｆａｃｅ画像生成部２２３で生成されたＯＣＴＡ画像に基づく、高画質なＯＣＴＡ画像を生成する。また、画質向上部２２４は、断層画像生成部２２１により生成された断層画像やＥｎ－Ｆａｃｅ画像生成部２２３により生成された輝度のＥｎ－Ｆａｃｅ画像に基づく、高画質な断層画像や高画質な輝度のＥｎ－Ｆａｃｅ画像を生成してもよい。なお、画質向上部２２４は、ＯＣＴ撮影部１００を用いて撮影されたＯＣＴＡ画像等だけでなく、取得部２１０が、記憶部２４０や制御部２００に接続される不図示のその他の装置から取得した各種画像に基づいて高画質な画像を生成することもできる。さらに、画質向上部２２４はＯＣＴＡ画像や断層画像だけでなく、三次元モーションコントラスト画像や三次元断層画像の画質向上処理を行ってもよい。
駆動制御部２３０は、制御部２００に接続されている、ＯＣＴ撮影部１００の光源１１１や、走査光学系１５０、走査部１５２、結像レンズ１３３等の構成要素の駆動を制御することができる。記憶部２４０は、取得部２１０で取得された各種データ、及び画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像等の各種画像やデータ等を記憶することができる。また、記憶部２４０は、被検者の属性（氏名や年齢など）や他の検査機器を用いて取得した計測結果（眼軸長や眼圧など）などの被検眼に関する情報、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータを記憶することができる。なお、これらの画像及び情報は、不図示の外部記憶装置に記憶する構成にしてもよい。また、記憶部２４０は、プロセッサーによって実行されることで制御部２００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。
表示制御部２５０は、取得部２１０で取得された各種情報や画像処理部２２０で生成・処理された断層画像やＯＣＴＡ画像、三次元モーションコントラスト画像等の各種画像を表示部２７０に表示させることができる。また、表示制御部２５０は、ユーザによって入力された情報等を表示部２７０に表示させることができる。
制御部２００は、例えば汎用のコンピュータを用いて構成されてよい。なお、制御部２００は、ＯＣＴ装置１の専用のコンピュータを用いて構成されてもよい。制御部２００は、不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び光学ディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリを含む記憶媒体を備えている。制御部２００の記憶部２４０以外の各構成要素は、ＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。記憶部２４０は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
なお、制御部２００が備えるＣＰＵ等のプロセッサー及びＲＯＭ等の記憶媒体は１つであってもよいし複数であってもよい。そのため、制御部２００の各構成要素は、少なくとも１以上のプロセッサーと少なくとも１つの記憶媒体とが接続され、少なくとも１以上のプロセッサーが少なくとも１以上の記憶媒体に記憶されたプログラムを実行した場合に機能するように構成されてもよい。なお、プロセッサーはＣＰＵやＭＰＵに限定されるものではなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であってもよい。
次に、図３（ａ）乃至図４を参照して、本実施例に係るディープラーニング等の機械学習アルゴリズムに従った機械学習モデルに関する学習済モデルについて説明する。本実施例に係る学習済モデルは、学習の傾向に従って、入力された画像に基づいて、画質向上処理が行われたような画像を生成して出力する。
本明細書における画質向上処理とは、入力された画像を画像診断により適した画質の画像に変換することをいい、高画質画像とは、画像診断により適した画質の画像に変換された画像をいう。ここで、画像診断に適した画質の内容は、各種の画像診断で何を診断したいのかということに依存する。そのため一概には言えないが、例えば、画像診断に適した画質は、ノイズが少なかったり、高コントラストであったり、撮影対象を観察しやすい色や階調で示していたり、画像サイズが大きかったり、高解像度であったりする画質を含む。また、画像生成の過程で描画されてしまった実際には存在しないオブジェクトやグラデーションが画像から除去されているような画質を含むことができる。
学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ（学習データ）を用いてトレーニング（学習）を行ったモデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。本実施例では、入力データ及び出力データのペアを、ＯＣＴＡ画像と、該ＯＣＴＡ画像を含む複数のＯＣＴＡ画像について加算平均等の重ね合わせ処理が行われたＯＣＴＡ画像によって構成する。
重ね合わせ処理を行った重ね合わせ画像は、元画像群で共通して描出された画素が強調されるため、画像診断に適した高画質画像になる。この場合には、生成される高画質画像は、共通して描出された画素が強調された結果、低輝度領域と高輝度領域との違いがはっきりした高コントラストな画像になる。また、例えば、重ね合わせ画像では、撮影毎に発生するランダムノイズが低減されたり、ある時点の元画像ではうまく描出されなかった領域が他の元画像群によって補間されたりすることができる。
なお、教師データを構成するペア群のうち、高画質化に寄与しないペアは教師データから取り除くことができる。例えば、教師データのペアを構成する出力データである高画質画像が画像診断に適さない画質である場合には、当該教師データを用いて学習した学習済モデルが出力する画像も画像診断に適さない画質になってしまう可能性がある。そのため、出力データが画像診断に適さない画質であるペアを教師データから取り除くことで、学習済モデルが画像診断に適さない画質の画像を生成する可能性を低減させることができる。
また、ペアである画像群の平均輝度や輝度分布が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる輝度分布を持つ画像診断に適さない画像を出力する可能性がある。このため、平均輝度や輝度分布が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
さらに、ペアである画像群に描画される撮影対象の構造や位置が大きく異なる場合には、当該教師データを用いて学習した学習済モデルが、低画質画像と大きく異なる構造や位置に撮影対象を描画した画像診断に適さない画像を出力する可能性がある。このため、描画される撮影対象の構造や位置が大きく異なる入力データと出力データのペアを教師データから取り除くこともできる。
このように学習を行った学習済モデルを用いることで、画質向上部２２４は、一回の撮影（検査）で取得されたＯＣＴＡ画像が入力された場合に、重ね合わせ処理によって高コントラスト化やノイズ低減等が行われたような高画質なＯＣＴＡ画像を生成できる。このため、画質向上部２２４は、入力画像である低画質画像に基づいて、画像診断に適した高画質画像を生成することができる。
次に、学習時の画像について説明する。教師データを構成する、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とのペア群を構成する画像群を、位置関係が対応する一定の画像サイズの矩形領域画像によって作成する。当該画像の作成について、図３（ａ）及び（ｂ）を参照して説明する。
まず、教師データを構成するペア群の１つを、ＯＣＴＡ画像３０１と高画質なＯＣＴＡ画像３０２とした場合について説明する。この場合には、図３（ａ）に示すように、ＯＣＴＡ画像３０１の全体を入力データ、高画質なＯＣＴＡ画像３０２の全体を出力データとして、ペアを構成する。なお、図３（ａ）に示す例では各画像の全体により入力データと出力データのペアを構成しているが、ペアはこれに限らない。
例えば、図３（ｂ）に示すように、ＯＣＴＡ画像３０１のうちの矩形領域画像３１１を入力データ、ＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２１を出力データとして、ペアを構成してもよい。
なお、学習時には、スキャン範囲（撮影画角）、スキャン密度（Ａスキャン数、Ｂスキャン数）を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることができる。また、図３（ａ）及び（ｂ）に示した矩形領域画像は、それぞれ別々に学習する際の矩形領域サイズの一例である。
また、矩形領域の数は、図３（ａ）に示す例では１つ、図３（ｂ）に示す例では複数設定可能である。例えば、図３（ｂ）に示す例において、ＯＣＴＡ画像３０１のうちの矩形領域画像３１２を入力データ、高画質なＯＣＴＡ画像３０２における対応する撮影領域である矩形領域画像３２２を出力データとしてペアを構成することもできる。このように、１枚ずつのＯＣＴＡ画像及び高画質なＯＣＴＡ画像のペアから、互いに異なる矩形領域画像のペアを作成できる。なお、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像において、領域の位置を異なる座標に変えながら多数の矩形領域画像のペアを作成することで、教師データを構成するペア群を充実させることができる。
なお、図３（ｂ）に示す例では、離散的に矩形領域を示しているが、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像を、隙間なく連続する一定の画像サイズの矩形領域画像群に分割することができる。また、元となるＯＣＴＡ画像及び高画質なＯＣＴＡ画像について、互いに対応する、ランダムな位置の矩形領域画像群に分割してもよい。このように、矩形領域として、より小さな領域の画像を入力データ及び出力データのペアとして選択することで、もともとのペアを構成するＯＣＴＡ画像３０１及び高画質なＯＣＴＡ画像３０２から多くのペアデータを生成できる。そのため、機械学習モデルのトレーニングにかかる時間を短縮することができる。
次に、本実施例に係る学習済モデルの一例として、入力された断層画像に対して、画質向上処理を行う畳み込みニューラルネットワーク（ＣＮＮ）に関して、図４を参照して説明する。図４は、画質向上部２２４が用いる学習済モデルの構成４０１の一例を示している。
図４に示す学習済モデルは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該学習済モデルの構成４０１に含まれる層の種類としては、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、ダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）層、アップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）層、及び合成（Ｍｅｒｇｅｒ）層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Ｍａｘ Ｐｏｏｌｉｎｇ処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、線形補間処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、図４に示す構成４０１に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅３画素、高さ３画素、フィルタの数を６４とすることで、一定の精度の画質向上処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、ＣＮＮの構成を変更することによって、ＣＮＮがより良い特性を得られる場合がある。より良い特性とは、例えば、画質向上処理の精度が高かったり、画質向上処理の時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
図示しないが、ＣＮＮの構成の変更例として、例えば、畳み込み層の後にバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層や、正規化線形（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｒ Ｌｉｎｅａｒ Ｕｎｉｔ）関数を用いた活性化層を組み込む等してもよい。
このような機械学習モデルの学習済モデルにデータを入力すると、機械学習モデルの設計に従ったデータが出力される。例えば、教師データを用いてトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。本実施例に係る学習済モデルでは、ＯＣＴＡ画像３０１が入力されると、教師データを用いてトレーニングされた傾向に従って、高画質なＯＣＴＡ画像３０２を出力する。
なお、画像の領域を分割して学習している場合、学習済モデルは、それぞれの矩形領域に対応する高画質なＯＣＴＡ画像である矩形領域画像を出力する。この場合、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像３０１を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合する。これにより、画質向上部２２４は、入力されたＯＣＴＡ画像３０１に対応する、高画質なＯＣＴＡ画像３０２を生成することができる。
次に、図５乃至図７を参照して、本実施例に係る一連の画像処理について説明する。図５は、本実施例に係る一連の画像処理のフローチャートである。
まず、ステップＳ５０１では、取得部２１０が、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。
ここで、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得する場合について説明する。まず、操作者は、走査光学系１５０の前に被検者である患者を着座させ、アライメントを行ったり、患者情報等を制御部２００に入力したりした後にＯＣＴ撮影を開始する。制御部２００の駆動制御部２３０は、走査部１５２のガルバノミラーを駆動し、被検眼の略同一箇所を複数回走査して被検眼の略同一箇所における複数の断層情報（干渉信号）を取得する。その後、駆動制御部２３０は、走査部１５２のガルバノミラーを主走査方向に直交する副走査方向に微小に駆動させ、被検眼Ｅの別の箇所（隣接する走査ライン）における複数の断層情報を取得する。この制御を繰り返すことにより、取得部２１０は、被検眼Ｅの所定範囲における複数の三次元の断層情報を取得する。
次に、ステップＳ５０２において、断層画像生成部２２１は、取得された複数の三次元の断層情報に基づいて、複数の三次元断層画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から複数の三次元断層画像を取得する場合には、ステップＳ５０２は省略されてよい。
ステップＳ５０３では、モーションコントラスト生成部２２２が、複数の三次元断層画像に基づいて、三次元モーションコントラストデータ（三次元モーションコントラスト画像）を生成する。なお、モーションコントラスト生成部２２２は、略同一箇所について取得した３枚以上の断層画像に基づいて複数のモーションコントラストデータを求め、それらの平均値を最終的なモーションコントラストデータとして生成してもよい。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置から三次元モーションコントラストデータを取得する場合には、ステップＳ５０２及びステップＳ５０３は省略されてよい。
ステップＳ５０４では、Ｅｎ－Ｆａｃｅ画像生成部２２３が、三次元モーションコントラストデータについて、操作者の指示に応じた又は所定のＥｎ－Ｆａｃｅ画像の生成範囲に基づいて、ＯＣＴＡ画像を生成する。なお、取得部２１０が、ステップＳ５０１において、記憶部２４０や制御部２００に接続される他の装置からＯＣＴＡ画像を取得する場合には、ステップＳ５０２乃至ステップＳ５０４は省略されてよい。
ステップＳ５０５では、画質向上部２２４が、学習済モデルを用いて、ＯＣＴＡ画像の画質向上処理を行う。画質向上部２２４は、ＯＣＴＡ画像を学習済モデルに入力し、学習済モデルからの出力に基づいて高画質なＯＣＴＡ画像を生成する。なお、学習済モデルが画像の領域を分割して学習している場合には、画質向上部２２４は、まず、入力画像であるＯＣＴＡ画像を学習時の画像サイズに基づいて矩形領域画像群に分割し、分割した矩形領域画像群を学習済モデルに入力する。その後、画質向上部２２４は、学習済モデルから出力された高画質なＯＣＴＡ画像である矩形領域画像群のそれぞれを、学習済モデルに入力した矩形領域画像群のぞれぞれと同様の位置関係に配置して結合することで、最終的な高画質なＯＣＴＡ画像を生成する。
ステップＳ５０６では、表示制御部２５０が、表示部２７０に、画質向上部２２４によって生成された高画質なＯＣＴＡ画像（第２の医用画像）を元のＯＣＴＡ画像（第１の医用画像）と切り替えて表示させる。上述のように、機械学習モデルを用いた画質向上処理では、現実には存在しない血管をＯＣＴＡ画像上に描出してしまったり、本来存在している血管を消してしまったりすることがある。これに対し、表示制御部２５０は、表示部２７０に、生成された高画質なＯＣＴＡ画像を元のＯＣＴＡ画像と切り替えて表示させることで、画質向上処理によって新たに生成された血管か、元の画像にも存在していた血管かの判断を容易にすることができる。表示制御部２５０による表示処理が終了すると、一連の画像処理が終了する。
次に、図６（ａ）乃至図７を参照して、制御部２００の操作方法について説明する。図６（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図６（ａ）に示すレポート画面６００には、断層画像６１１と画質向上処理前のＯＣＴＡ画像６０１が示されている。図６（ｂ）に示すレポート画面６００には、断層画像６１１と画質向上処理後のＯＣＴＡ画像６０２（高画質なＯＣＴＡ画像）が示されている。
図６（ａ）に示すレポート画面６００において、操作者が入力部２６０の一例であるマウスを用い、ＯＣＴＡ画像６０１上でマウスの右ボタンを押下すると、画質向上処理を行うか否かを選択するポップアップメニュー６２０が表示される。操作者がポップアップメニュー６２０上で画質向上処理を行うことを選択すると、画質向上部２２４はＯＣＴＡ画像６０１に対する画質向上処理を実行する。
そして、図６（ｂ）に示すように、表示制御部２５０は、レポート画面６００に表示された画質向上処理を行う前のＯＣＴＡ画像６０１を、画質向上処理を行った後のＯＣＴＡ画像６０２に切り替えて表示させる。なお、ＯＣＴＡ画像６０２上でマウスの右ボタンを再度押下することでポップアップメニュー６２０を開き、画質向上処理を行う前のＯＣＴＡ画像６０１に切り替えて表示させることもできる。
なお、マウスの右ボタンの押下に応じて表示されるポップアップメニュー６２０によって画質向上処理前後の画像の切替表示を行う例を示したが、画像の切替方法はポップアップメニュー以外の任意の方法で行ってもよい。例えば、レポート画面上に配置されたボタン（高画質化ボタンの一例）、プルダウンメニュー、ラジオボタン、チェックボックス、又はキーボード操作などで画像の切替を行ってもよい。さらに、マウスホイールの操作やタッチパネルディスプレイのタッチ操作によって画像を切替表示してもよい。
操作者は上記方法により、画質向上処理を行う前のＯＣＴＡ画像６０１と、画質向上処理を行った後のＯＣＴＡ画像６０２を任意に切替表示することができる。そのため、操作者は、画質向上処理の前後のＯＣＴＡ画像を容易に見比べることができ、画質向上処理によるＯＣＴＡ画像の変化を容易に確認することができる。従って、操作者は、画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
なお、上述の表示方法では、画質向上処理前後の画像を切り替えて表示したが、これらの画像を並べて表示したり、重ねて表示したりすることでも、同様の効果を奏することができる。図７は、画質向上処理前後の画像を並べて表示する場合のレポート画面の一例を示す。図７に示すレポート画面７００には、画質向上処理前のＯＣＴＡ画像７０１と画質向上処理後のＯＣＴＡ画像７０２が並べて表示されている。
この場合でも、操作者は、画質向上処理前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため、操作者は画質向上処理によってＯＣＴＡ画像に現実には存在しない血管が描出されてしまったり、本来存在している血管が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。なお、画質向上処理前後の画像を重ねて表示する場合には、表示制御部２５０は、画質向上処理前後の画像の少なくとも一方について、透明度を設定し、表示部２７０に画質向上処理前後の画像を重ねて表示させることができる。
また、上述のように、画質向上部２２４は、ＯＣＴＡ画像だけでなく、断層画像や輝度のＥｎ－Ｆａｃｅ画像について学習済モデルを用いた画質向上処理を行ってもよい。この場合には、学習済モデルの教師データのペアとして、重ね合わせ前の断層画像や輝度のＥｎ－Ｆａｃｅ画像を入力データとし、重ね合わせ後の断層画像や輝度のＥｎ－Ｆａｃｅ画像を出力データとしたペアを用いることができる。なお、この場合、学習済モデルは、ＯＣＴＡ画像や断層画像等の教師データを用いて学習を行った１つの学習済モデルとしてもよいし、画像の種類毎に学習を行った複数の学習済モデルとしてもよい。複数の学習済モデルを用いる場合には、画質向上部２２４は、画質向上処理を行う対象である画像の種類に応じた学習済モデルを用いることができる。なお、画質向上部２２４は、三次元モーションコントラスト画像や三次元断層画像について学習済モデルを用いた画質向上処理を行ってもよく、この場合の学習データも上述と同様に用意することができる。
図７には、画質向上処理前の断層画像７１１と、画質向上処理後の断層画像７１２が並べて表示されている。なお、表示制御部２５０は、図６（ａ）及び（ｂ）に示す画質向上処理前後のＯＣＴＡ画像のように、画質向上処理前後の断層画像や輝度のＥｎ－Ｆａｃｅ画像を切り替えて、表示部２７０に表示させてもよい。また、表示制御部２５０は、画質向上処理前後の断層画像や輝度のＥｎ－Ｆａｃｅ画像を重ねて表示部２７０に表示させてもよい。これらの場合でも、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
上記のように、本実施例に係る制御部２００は、画質向上部２２４と表示制御部２５０を備える。画質向上部２２４は、学習済モデルを用いて、被検眼の第１の医用画像から、該第１の医用画像と比べてノイズ低減及びコントラスト強調のうちの少なくとも一つがなされた第２の医用画像を生成する。表示制御部２５０は、表示部２７０に第１の医用画像と第２の医用画像とを切り替えて、並べて、又は重ねて表示させる。なお、表示制御部２５０は、操作者からの指示に応じて、第１の医用画像及び第２の医用画像を切り替えて、表示部２７０に表示させることができる。
これにより、制御部２００は、元の画像から、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することができる。このため、制御部２００は、より明瞭な画像や観察したい部位や病変が強調されている画像等の、従来よりも画像診断に適した画像を生成することができる。
また、操作者は、画質向上処理の前後の画像を容易に見比べることができ、画質向上処理による画像の変化を容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても容易に識別することができ、画像上に描出された組織の真偽を容易に判断することができる。
本実施例に係る学習済モデルでは、教師データの出力データとして、重ね合わせ画像を用いたが、教師データはこれに限られない。例えば、教師データの出力データとして、元画像群に対して最大事後確率推定処理（ＭＡＰ推定処理）を行うことで得られる高画質画像を用いてもよい。ＭＡＰ推定処理では、複数の画像における各画素値の確率密度から尤度関数を求め、求めた尤度関数を用いて真の信号値（画素値）を推定する。
ＭＡＰ推定処理により得られた高画質画像は、真の信号値に近い画素値に基づいて高コントラストな画像となる。また、推定される信号値は、確率密度に基づいて求められるため、ＭＡＰ推定処理により得られた高画質画像では、ランダムに発生するノイズが低減される。このため、ＭＡＰ推定処理により得られた高画質画像を教師データとして用いることで、学習済モデルは、入力画像から、ノイズが低減されたり、高コントラストとなったりした、画像診断に適した高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
また、教師データの出力データとして、元画像に平滑化フィルタ処理を適用した高画質画像を用いてもよい。この場合には、学習済モデルは、入力画像から、ランダムノイズが低減された高画質画像を生成することができる。さらに、教師データの出力データとして、元画像に階調変換処理を適用した画像を用いてもよい。この場合には、学習済モデルは、入力画像から、コントラスト強調された高画質画像を生成することができる。なお、教師データの入力データと出力データのペアの生成方法は、重ね合わせ画像を教師データとした場合と同様の方法で行われてよい。
なお、教師データの入力データは、ＯＣＴ撮影部１００と同じ画質傾向を持つ撮影装置から取得された画像でもよい。また、教師データの出力データは、逐次近似法等の高コストな処理によって得られた高画質画像であってもよいし、入力データに対応する被検体を、ＯＣＴ撮影部１００よりも高性能な撮影装置で撮影することで取得した高画質画像であってもよい。さらに、出力データは、被検体の構造等に基づくルールベースによるノイズ低減処理を行うことによって取得された高画質画像であってもよい。ここで、ノイズ低減処理は、例えば、低輝度領域内に現れた明らかにノイズである１画素のみの高輝度画素を、近傍の低輝度画素値の平均値に置き換える等の処理を含むことができる。このため、学習済モデルは、入力画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像、又は入力画像の撮影工程よりも工数の多い撮影工程で取得された画像を教師データとしてもよい。
なお、画質向上部２２４が、学習済モデルを用いて、ノイズが低減されていたり、コントラストが強調されていたりする高画質な画像を生成することについて述べたが、画質向上部２２４による画質向上処理はこれに限られない。画質向上部２２４は、画質向上処理により、上述のように、画像診断により適した画質の画像を生成できればよい。
また、表示制御部２５０は、表示部２７０に画質向上処理前後の画像を並べて表示させる場合、操作者からの指示に応じて、表示部２７０に並べて表示されている画質向上処理前後の画像のいずれかを拡大表示させてもよい。より具体的には、例えば、図７に示すレポート画面７００において、操作者がＯＣＴＡ画像７０１を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０１を拡大表示させることができる。また、操作者が画質向上処理後のＯＣＴＡ画像７０２を選択したら、表示制御部２５０は、レポート画面７００においてＯＣＴＡ画像７０２を拡大表示させることができる。この場合には、操作者は画質向上処理前後の画像のうち観察したい画像をより詳細に観察することができる。
さらに、制御部２００は、操作者の指示に応じてＯＣＴＡ画像等のＥｎ－Ｆａｃｅ画像の生成範囲が変更された場合、並べて表示されている画像を、変更された生成範囲に基づく画像及び高画質化した画像に変更して表示してもよい。より具体的には、操作者が入力部２６０を介して、Ｅｎ－Ｆａｃｅ画像の生成範囲を変更すると、Ｅｎ－Ｆａｃｅ画像生成部２２３が変更された生成範囲に基づいて、画質向上処理前のＥｎ－Ｆａｃｅ画像を生成する。画質向上部２２４は、学習済モデルを用いて、Ｅｎ－Ｆａｃｅ画像生成部２２３によって新たに生成されたＥｎ－Ｆａｃｅ画像から、高画質なＥｎ－Ｆａｃｅ画像を生成する。その後、表示制御部２５０は、表示部２７０に並べて表示されている画質向上処理前後のＥｎ－Ｆａｃｅ画像を、新たに生成された画質向上処理前後のＥｎ－Ｆａｃｅ画像に変更して表示させる。このような場合には、操作者が観察したい深さ方向の範囲を任意に変更しながら、変更された深さ方向の範囲に基づく画質向上処理前後のＥｎ－Ｆａｃｅ画像を観察することができる。
（変形例１）
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部２５０は、画質向上処理後のＯＣＴＡ画像や断層画像等を表示部２７０に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
（変形例２）
実施例１では一回の撮影（検査）で得られたＯＣＴＡ画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影（検査）で得られた複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例２では、図８（ａ）及び（ｂ）を参照して、複数のＯＣＴＡ画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。
図８（ａ）及び（ｂ）は、同一被検眼を経時的に複数回撮影することによって取得された複数のＯＣＴＡ画像を表示するための時系列レポート画面の一例を示す。図８（ａ）に示すレポート画面８００では、画質向上処理を行う前の複数のＯＣＴＡ画像８０１が時系列に並んで表示されている。また、レポート画面８００にはポップアップメニュー８２０も含まれており、操作者は、入力部２６０を介してポップアップメニュー８２０を操作することで、画質向上処理の適用有無を選択することが可能である。
操作者が画質向上処理の適用を選択すると、画質向上部２２４は表示されている全てのＯＣＴＡ画像に対して、学習済モデルを用いた画質向上処理を適用する。そして、表示制御部２５０は、図８（ｂ）に示すように、画質向上処理を行った後の複数のＯＣＴＡ画像８０２を、表示されていた複数のＯＣＴＡ画像８０１と切り替えて表示する。
また、操作者が、ポップアップメニュー８２０にて画質向上処理を適用しないことを選択すると、表示制御部２５０は、画質向上処理前の複数のＯＣＴＡ画像８０１を、表示されていた画質向上処理後の複数のＯＣＴＡ画像８０２と切り替えて表示する。
なお、本変形例では、学習済モデルを用いた画質向上処理前後の複数のＯＣＴＡ画像について同時に切り替えて表示する例を示した。しかしながら、学習済モデルを用いた画質向上処理前後の複数の断層画像や輝度のＥｎ－Ｆａｃｅ画像等を同時に切り替えて表示してもよい。なお、操作方法はポップアップメニュー８２０を用いる方法に限られず、レポート画面上に配置されたボタン（高画質化ボタンの一例）やプルダウンメニュー、ラジオボタン、チェックボックス、又はキーボードやマウスホイール、タッチパネルの操作等の任意の操作方法を採用してよい。
（実施例２）
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例２では、撮影部位等の撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。
以下、図９及び図１０を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。
図９は、本実施例に係る制御部９００の概略構成を示す。なお、本実施例に係る制御部９００における画像処理部９２０及び選択部９２５以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部９００の画像処理部９２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ－Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、選択部９２５が設けられている。
選択部９２５は、画質向上部２２４によって画質向上処理を行うべき画像の撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲に基づいて、複数の学習済モデルのうち、画質向上部２２４が用いるべき学習済モデルを選択する。画質向上部２２４は、選択部９２５によって選択された学習済モデルを用いて、対象となるＯＣＴＡ画像や断層画像等に画質向上処理を行い、高画質なＯＣＴＡ画像や高画質な断層画像を生成する。
次に、本実施例に係る複数の学習済モデルについて説明する。上述のように、学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、本実施例では、撮影部位、撮影方式、撮影領域、撮影画角、スキャン密度、及び画像の解像度等を含む撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルを用意する。
より具体的には、例えば、黄斑部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル、及び乳頭部を撮影部位としたＯＣＴＡ画像を教師データとした学習済モデル等の複数の学習済モデルを用意する。なお、黄斑部や乳頭部は撮影部位の一例であり、他の撮影部位を含んでもよい。また、黄斑部や乳頭部等の撮影部位における特定の撮影領域毎のＯＣＴＡ画像を教師データとした学習済モデルを用意してもよい。
また、例えば、網膜を広画角・低密度で撮影した場合と、網膜を狭画角・高密度で撮影した場合とでは、ＯＣＴＡ画像に描出される血管等の構造物の描出が大きく異なる。そのため、撮影画角やスキャン密度に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。さらに、撮影方式の例としては、ＳＤ－ＯＣＴとＳＳ－ＯＣＴ等の撮影方式があり、これらの撮影方式の違いにより、画質、撮影範囲、及び深さ方向の深達度等が異なる。このため、撮影方式に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
また、通常、網膜の全ての層の血管を一度に抽出したＯＣＴＡ画像を生成することは稀であり、所定の深度範囲に存在する血管のみを抽出したＯＣＴＡ画像を生成することが一般的である。例えば、網膜の浅層、深層、外層、及び脈絡膜浅層等の深度範囲において、それぞれの深度範囲で血管を抽出したＯＣＴＡ画像を生成する。一方、ＯＣＴＡ画像に描出される血管の態様は、深度範囲に応じて大きく異なる。例えば、網膜の浅層で描出される血管は低密度で細く明瞭な血管網を形成するのに対し、脈絡膜浅層で描出される血管は高密度で一本一本の血管を明瞭に識別することは困難である。このため、ＯＣＴＡ画像等のＥｎ－Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った学習済モデルを用意してもよい。
ここではＯＣＴＡ画像を教師データとする例について述べたが、実施例１と同様に、断層画像や輝度のＥｎ－Ｆａｃｅ画像等について画質向上処理を行う場合には、これらの画像を教師データとすることができる。この場合には、これら画像の撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルを用意する。
次に、図１０を参照して、本実施例に係る一連の画像処理について説明する。図１０は、本実施例に係る一連の画像処理のフローチャートである。なお、実施例１に係る一連の画像処理と同様の処理に関しては、適宜説明を省略する。
まず、ステップＳ１００１において、実施例１に係るステップＳ５０１と同様に、取得部２１０は、被検眼Ｅを複数回撮影して得た複数の三次元の断層情報を取得する。取得部２１０は、ＯＣＴ撮影部１００を用いて被検眼Ｅの断層情報を取得してもよいし、記憶部２４０や制御部２００に接続される他の装置から断層情報を取得してもよい。
また、取得部２１０は、断層情報に関する撮影条件群を取得する。具体的には、取得部２１０は、断層情報に関する撮影を行った際の撮影部位や撮影方式等の撮影条件を取得することができる。なお、取得部２１０は、断層情報のデータ形式に応じて、断層情報のデータを構成するデータ構造に保存された撮影条件群を取得してもよい。また、断層情報のデータ構造に撮影条件が保存されていない場合には、取得部２１０は、撮影条件を記載したファイルを記憶したサーバやデータベース等から撮影情報群を取得することができる。また、公知の任意の方法により、取得部２１０は、断層情報に基づく画像から撮影情報群を推定してもよい。
また、取得部２１０が、複数の三次元断層画像や三次元モーションコントラストデータ、ＯＣＴＡ画像等を取得する場合には、取得部２１０は取得した画像やデータに関する撮影条件群を取得する。なお、ＯＣＴＡ画像や輝度のＥｎ－Ｆａｃｅ画像の生成範囲に応じた教師データ毎に学習を行った複数の学習済モデルのみを画質向上処理に用いる場合には、取得部２１０は断層画像の撮影条件群を取得しなくてもよい。
ステップＳ１００２乃至ステップＳ１００４は、実施例１に係るステップＳ５０２乃至Ｓ５０４と同様であるため説明を省略する。ステップＳ１００４において、Ｅｎ－Ｆａｃｅ画像生成部２２３がＯＣＴＡ画像を生成すると、処理はステップＳ１００５に移行する。
ステップＳ１００５では、選択部９２５が、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲及び複数の学習済モデルに関する教師データの情報に基づいて、画質向上部２２４が用いるべき学習済モデルを選択する。より具体的には、例えば、選択部９２５は、ＯＣＴＡ画像の撮影部位が乳頭部である場合には、乳頭部のＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。また、例えば、選択部９２５は、ＯＣＴＡ画像の生成範囲が網膜の浅層である場合には、網膜の浅層を生成範囲としたＯＣＴＡ画像を教師データとして学習を行った学習済モデルを選択する。
なお、選択部９２５は、生成されたＯＣＴＡ画像に関する撮影条件群や生成範囲と学習済モデルの教師データの情報が完全には一致していなくても、画質が似た傾向の画像を教師データとして学習を行った学習済モデルを選択してもよい。この場合には、例えば、選択部９２５は、ＯＣＴＡ画像に関する撮影条件群や生成範囲と、用いるべき学習済モデルとの対応関係を記載したテーブルを備えてもよい。
ステップＳ１００６では、画質向上部２２４が、選択部９２５によって選択された学習済モデルを用いて、ステップＳ１００４で生成されたＯＣＴＡ画像について画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。高画質なＯＣＴＡ画像の生成方法は、実施例１に係るステップＳ５０５と同様であるため説明を省略する。
ステップＳ１００７は、実施例１に係るステップＳ５０６と同様であるため説明を省略する。ステップＳ１００７において、高画質なＯＣＴＡ画像が表示部２７０に表示されると、本実施例に係る一連の画像処理が終了する。
上記のように、本実施例に係る制御部９００は、複数の学習済モデルから、画質向上部２２４によって用いられる学習済モデルを選択する選択部９２５を備える。選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択する。
例えば、選択部９２５は、画質向上処理をすべきＯＣＴＡ画像における表示部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、学習済モデルを選択することができる。また、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像における表示部位を含む撮影部位及び当該ＯＣＴＡ画像を生成するための深さ方向の範囲に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。さらに、例えば、選択部９２５は、画質向上処理を行うべきＯＣＴＡ画像の撮影条件に基づいて、画質向上部２２４によって用いられる学習済モデルを選択してもよい。
このため、制御部９００は、撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行うことができる。
なお、本実施例では、選択部９２５が、ＯＣＴＡ画像に関する撮影部位等の撮影条件又は生成範囲に基づいて、学習済モデルを選択する例を説明したが、上記以外の条件に基づいて学習済モデルを変更するようにしてもよい。選択部９２５は、例えば、ＯＣＴＡ画像や輝度のＥｎ－Ｆａｃｅ画像を生成する際の投影方法（最大値投影法又は平均値投映法）や、血管影によって生じるアーチファクトの除去処理の有無に応じて、学習済モデルを選択してもよい。この場合には、投影方法やアーチファクト除去処理の有無に応じた教師データ毎に学習を行った学習済モデルを用意することができる。
（変形例３）
実施例２では、選択部９２５が、撮影条件やＥｎ－Ｆａｃｅ画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを選択してもよい。
また、操作者が、画像に対して適用された画質向上処理を変更することを望む場合もある。そのため、選択部９２５は、操作者の指示に応じて、学習済モデルを変更し、画像に対して適用される画質向上処理を変更してもよい。
以下、図１１（ａ）及び（ｂ）を参照して、画像に対して適用される画質向上処理を手動で変更する際の操作方法について説明する。図１１（ａ）及び（ｂ）は、画質向上処理前後の画像を切り替えて表示するレポート画面の一例を示す。図１１（ａ）に示すレポート画面１１００には、断層画像１１１１と自動選択された学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０１が示されている。図１１（ｂ）に示すレポート画面１１００には、断層画像１１１１と操作者の指示に応じた学習済モデルを用いた画質向上処理が適用されたＯＣＴＡ画像１１０２が示されている。また、図１１（ａ）及び（ｂ）に示すレポート画面１１００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１１２０が示されている。
ここで、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１は、黄斑部の深層血管（Ｄｅｅｐ Ｃａｐｉｌｌａｒｙ）を描出したものである。一方で、選択部９２５によって自動選択された学習済モデルを用いてＯＣＴＡ画像に適用された画質向上処理は、乳頭部の浅層血管（ＲＰＣ）に適したものである。そのため、図１１（ａ）に示すレポート画面１１００に表示されているＯＣＴＡ画像１１０１に関して、ＯＣＴＡ画像に適用されている画質向上処理は、ＯＣＴＡ画像に抽出されている血管に対して最適なものではない。
そこで、操作者は、入力部２６０を介して処理指定部１１２０にて、Ｄｅｅｐ Ｃａｐｉｌｌａｒｙを選択する。選択部９２５は、操作者による選択指示に応じて、画質向上部２２４によって用いられる学習済モデルを、黄斑部の深層血管に関するＯＣＴＡ画像を教師データとして学習を行った学習済モデルに変更する。
画質向上部２２４は、選択部９２５によって変更された学習済モデルを用いてＯＣＴＡ画像について画質向上処理を再度行う。表示制御部２５０は、図１１（ｂ）に示すように、画質向上部２２４によって改めて生成された高画質なＯＣＴＡ画像１１０２を表示部２７０に表示させる。
このように、選択部９２５が、操作者の指示に応じて、学習済モデルを変更するように構成することで、操作者は同じＯＣＴＡ画像に対して適切な画質向上処理を指定し直すことができる。また、当該画質向上処理の指定は何度も行われてもよい。
ここでは、ＯＣＴＡ画像に対して適用される画質向上処理を手動で変更することができるように、制御部９００を構成する例を示した。これに対して、制御部９００は、断層画像や輝度のＥｎ－Ｆａｃｅ画像等に対して適用される画質向上処理を手動で変更可能なように構成されてもよい。
また、図１１（ａ）及び（ｂ）に示すレポート画面は、画質向上処理前後の画像を切り替えて表示する態様を有するが、画質向上処理前後の画像を並べて表示したり、重ねて表示したりする態様のレポート画面としてもよい。さらに、処理指定部１１２０の態様は、図１１（ａ）及び（ｂ）に示す態様に限られず、画質向上処理又は学習済モデルを指示できる任意の態様であってよい。また、図１１（ａ）及び（ｂ）に示す画質向上処理の種類は一例であり、学習済モデルについての教師データに応じた他の画質向上処理の種類を含んでよい。
また、変形例２と同様に、画質向上処理が適用された複数の画像を同時に表示させてもよい。また、この際に、どの画質向上処理を適用するかの指定を行うことができるように構成することもできる。この場合の、レポート画面の一例を図１２（ａ）及び（ｂ）に示す。
図１２（ａ）及び（ｂ）は、画質向上処理前後の複数の画像を切り替えて表示するレポート画面の一例を示す。図１２（ａ）に示すレポート画面１２００には、画質向上処理前のＯＣＴＡ画像１２０１が示されている。図１２（ｂ）に示すレポート画面１２００には、操作者の指示に応じた画質向上処理が適用されたＯＣＴＡ画像１２０２が示されている。また、図１２（ａ）及び（ｂ）に示すレポート画面１２００には、ＯＣＴＡ画像に適用する画質向上処理を変更するための処理指定部１２２０が示されている。
この場合には、選択部９２５は、処理指定部１２２０を用いて指示された画質向上処理に応じた学習済モデルを、画質向上部２２４が用いる学習済モデルとして選択する。画質向上部２２４は、選択部９２５により選択された学習済モデルを用いて、複数のＯＣＴＡ画像１２０１に対して画質向上処理を行う。表示制御部２５０は、生成された高画質な複数のＯＣＴＡ画像１２０２を、図１２（ｂ）に示すようにレポート画面１２００に一度に表示させる。
なお、ＯＣＴＡ画像についての画質向上処理について説明したが、断層画像や輝度のＥｎ－Ｆａｃｅ画像等についての画質向上処理に関して、操作者の指示に応じて、学習済モデルを選択・変更してもよい。なお、レポート画面に画質向上処理前後の複数の画像を並べて表示したり、重ねて表示したりしてもよい。この場合にも、操作者からの指示に応じた画質向上処理が適用された複数の画像を一度に表示することができる。
（実施例３）
実施例１及び２では、画質向上部２２４は、断層画像やＯＣＴＡ画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部２２４が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部２２２によるモーションコントラストデータの生成及びＥｎ－Ｆａｃｅ画像生成部２２３によるＯＣＴＡ画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。
これに対し、ＯＣＴ装置を用いた被検眼の撮影では、まばたきや被検眼の意図しない移動等により、撮影が失敗することがある。そのため、撮影の成否を早い段階で確認することで、ＯＣＴ装置の利便性を高めることができる。そこで、実施例３では、高画質なＯＣＴＡ画像の生成や表示に先立って、被検眼を撮影して得た断層情報に基づく輝度のＥｎ－Ｆａｃｅ画像やＯＣＴＡ画像を表示することにより、早い段階で撮影画像の確認が行えるようにＯＣＴ装置を構成する。
以下、図１３を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、実施例１に係るＯＣＴ装置１と同様であるため、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。
図１３は、本実施例に係る一連の画像処理のフローチャートである。まず、ステップＳ１３０１では、取得部２１０は、ＯＣＴ撮影部１００により、被検眼Ｅを撮影して複数の三次元の断層情報を取得する。
ステップＳ１３０２は、実施例１に係るステップＳ５０２と同様であるため説明を省略する。ステップＳ１３０２において三次元断層画像が生成されると、処理はステップＳ１３０３に移行する。
ステップＳ１３０３では、Ｅｎ－Ｆａｃｅ画像生成部２２３が、ステップＳ１３０２において生成された三次元断層画像を二次元平面上に投影することで、眼底の正面画像（輝度のＥｎ－Ｆａｃｅ画像）を生成する。その後、ステップＳ１３０４において、表示制御部２５０が、生成された輝度のＥｎ－Ｆａｃｅ画像を表示部２７０に表示させる。
ステップＳ１３０５及びステップＳ１３０６は、実施例１に係るステップＳ５０３及びＳ５０４と同様であるため説明を省略する。ステップＳ１３０６においてＯＣＴＡ画像が生成されると処理はステップＳ１３０７に移行する。ステップＳ１３０７では、表示制御部２５０が、ステップＳ１３０６で生成された画質向上処理前のＯＣＴＡ画像を輝度のＥｎ－Ｆａｃｅ画像と切り替えて表示部２７０に表示させる。
ステップＳ１３０８では、実施例１に係るステップＳ５０５と同様に、画質向上部２２４が、ステップＳ１３０６で生成されたＯＣＴＡ画像に対して、学習済モデルを用いて画質向上処理を行い、高画質なＯＣＴＡ画像を生成する。ステップＳ１３０９では、表示制御部２５０が、生成された高画質なＯＣＴＡ画像を画質向上処理前のＯＣＴＡ画像と切り替えて表示部２７０に表示させる。
上記のように、本実施例に係る表示制御部２５０は、取得部２１０によるＯＣＴＡ画像の取得前に、被検眼の深さ方向における断層データに基づいて生成された正面画像である輝度のＥｎ－Ｆａｃｅ画像（第３の画像）を表示部２７０に表示させる。また、表示制御部２５０は、ＯＣＴＡ画像の取得直後に、表示されている輝度のＥｎ－Ｆａｃｅ画像をＯＣＴＡ画像に切り替えて表示部２７０に表示させる。さらに、表示制御部２５０は、画質向上部２２４によって高画質なＯＣＴＡ画像が生成された後に、表示されているＯＣＴＡ画像を高画質なＯＣＴＡ画像に切り替えて表示部２７０に表示させる。
これにより、操作者は撮影後ただちに被検眼の正面画像を確認することができ、撮影の成否をすぐに判断することができる。また、ＯＣＴＡ画像が生成された直後にＯＣＴＡ画像が表示されるため、操作者は、モーションコントラストデータを生成するための複数の三次元の断層情報が適切に取得されているか否かを早い段階で判断することができる。
なお、断層画像や輝度のＥｎ－Ｆａｃｅ画像等についても、画質向上処理を行う前の断層画像や輝度のＥｎ－Ｆａｃｅ画像等を表示することで、操作者は早い段階で撮影の成否を判断することができる。
本実施例では、輝度のＥｎ－Ｆａｃｅ画像の表示処理（ステップＳ１３０４）後にモーションコントラストデータの生成処理（ステップＳ１３０５）が開始されているが、モーションコントラストデータの生成処理のタイミングはこれに限られない。モーションコントラスト生成部２２２は、例えば、輝度のＥｎ－Ｆａｃｅ画像の生成処理（ステップＳ１３０３）や表示処理（ステップＳ１３０４）と並行して、モーションコントラストデータの生成処理を開始してもよい。同様に、画質向上部２２４は、ＯＣＴＡ画像の表示処理（ステップＳ１３０７）と並行して、画質向上処理（ステップＳ１３０８）を開始してもよい。
（実施例４）
実施例１では、画質向上処理前後のＯＣＴＡ画像を切り替えて表示する例について述べた。これに対し、実施例４では、画質向上処理前後の画像の比較を行う。
以下、図１４及び１５を参照して本実施例に係るＯＣＴ装置について説明する。なお、本実施例に係るＯＣＴ装置の構成は、制御部を除いて実施例１に係るＯＣＴ装置１と同様であるため、図１に示す構成と同様の構成については、同一の参照符号を用いて示し、説明を省略する。以下、実施例１に係るＯＣＴ装置１との違いを中心に、本実施例に係るＯＣＴ装置について説明する。
図１４は、本実施例に係る制御部１４００の概略構成を示す。なお、本実施例に係る制御部１４００における画像処理部１４２０及び比較部１４２６以外の構成は実施例１に係る制御部２００の各構成と同様である。そのため、図２に示す構成と同様の構成については、同一の参照符号を用いて示し説明を省略する。
制御部１４００の画像処理部１４２０には、断層画像生成部２２１、モーションコントラスト生成部２２２、Ｅｎ－Ｆａｃｅ画像生成部２２３、及び画質向上部２２４に加えて、比較部１４２６が設けられている。
比較部１４２６は、画質向上部２２４によって画質向上処理が行われる前の画像（元の画像）と画質向上処理が行われた後の画像の比較を行う。より具体的には、比較部１４２６は、画質向上処理前後の画像を比較し、画質向上処理前後の画像の対応する画素位置における画素値の差分を算出する。
そして、比較部１４２６は、差分値の大小に応じて色付けされたカラーマップ画像を生成する。例えば、画質向上処理前の画像に対して、画質向上処理後の画像の画素値が大きくなっている場合には暖色（黄～橙～赤）系の色調を、画質向上処理後の画像の画素値が小さくなっている場合には寒色（黄緑～緑～青）系の色調を用いる。このような配色を用いることで、カラーマップ画像上において暖色系で示された箇所は、画質向上処理によって復元された（又は新たに生み出された）組織であることが容易に識別できる。同様に、カラーマップ画像上において寒色系で示された箇所は、画質向上処理で除去されたノイズ（又は消されてしまった組織）であることも容易に識別できる。
なお、当該カラーマップ画像の配色は一例である。例えば、画質向上処理前の画像における画素値に対する画質向上処理後の画像における画素値の大小に応じて異なる色調の配色を行う等、カラーマップ画像の配色は所望の構成に応じて任意に設定されてよい。
表示制御部２５０は、比較部１４２６によって生成されたカラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させることができる。
次に、図１５を参照して本実施例に係る一連の画像処理について説明する。なお、ステップＳ１５０１乃至ステップＳ１５０５は、実施例１に係るステップＳ５０１乃至Ｓ５０５と同様であるため説明を省略する。ステップＳ１５０５において、画質向上部２２４により高画質なＯＣＴＡ画像が生成されたら、処理はステップＳ１５０６に移行する。
ステップＳ１５０６では、比較部１４２６が、ステップＳ１５０４で生成されたＯＣＴＡ画像とステップＳ１５０５で生成された高画質なＯＣＴＡ画像を比較して各画素値の差分を算出し、各画素値の差分に基づいてカラーマップ画像を生成する。なお、比較部１４２６は、高画質処理前後の画像における画素値の差分に代えて、高画質処理前後の画像における画素値の比や相関値など別の手法を用いて画像の比較を行い、比較結果に基づいてカラーマップ画像を生成してもよい。
ステップＳ１５０７では、表示制御部２５０が、カラーマップ画像を画質向上処理前の画像又は画質向上処理後の画像に重畳して、表示部２７０に表示させる。このとき、表示制御部２５０は、カラーマップ画像が重畳される画像を隠さないように、カラーマップについて透過度を設定して対象となる画像に重畳表示させることができる。
また、表示制御部２５０は、カラーマップ画像において、画質向上処理前後の画像の差が少ない（カラーマップ画像の画素値が低い）箇所の透過度を高く設定したり、差が所定値以下の箇所が完全に透明になるように透明度を設定したりしてもよい。このようにすることで、カラーマップ画像の下に表示された画像とカラーマップ画像の両方を良好に視認することができる。なお、カラーマップ画像の透明度については、比較部１４２６が透明度の設定を含んだカラーマップ画像を生成してもよい。
上記のように、本実施例に係る制御部１４００は、第１の医用画像と画質向上処理が行われた第２の医用画像を比較する比較部１４２６を備える。比較部１４２６は、第１の医用画像と第２の医用画像の差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成する。表示制御部２５０は、比較部１４２６による比較結果に基づいて表示部２７０の表示を制御する。より具体的には、表示制御部２５０は、第１の医用画像又は第２の医用画像にカラーマップ画像を重畳して表示部２７０に表示させる。
これにより、画質向上処理前後の画像に重畳されたカラーマップ画像を観察することで、画質向上処理による画像の変化をより容易に確認することができる。そのため操作者は、画質向上処理によって画像に現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりしても、そのような組織をより容易に識別することができ、組織の真偽をより容易に判断することができる。また、操作者は、カラーマップ画像の配色に応じて、画質向上処理により新たに描出された箇所であるか、消された箇所であるかを容易に識別することができる。
なお、表示制御部２５０は、操作者の指示に応じてカラーマップ画像の重畳表示を有効にしたり、無効にしたりすることができる。このカラーマップ画像の重畳表示のオン／オフ操作は、表示部２７０に表示されている複数の画像に対して同時に適用するようにしてもよい。この場合、比較部１４２６は、対応する画質向上処理前後の画像毎にカラーマップ画像を生成し、表示制御部２５０は、カラーマップ画像を対応する画質向上処理前の画像又は画質向上処理後の画像に重畳表示させることができる。また、表示制御部２５０は、カラーマップ画像の表示の前に、画質向上処理前の画像や画質向上処理後の画像を表示部２７０に表示させてもよい。
なお、本実施例ではＯＣＴＡ画像を例に説明したが、断層画像や輝度のＥｎ－Ｆａｃｅ画像等について画質向上処理を行う場合についても同様の処理を行うことができる。また、本実施例に係る比較処理及びカラーマップの表示処理は、実施例２及び実施例３に係るＯＣＴ装置にも適用することができる。
（変形例４）
また、比較部１４２６が画質向上処理前後の画像の比較を行い、表示制御部２５０が比較部１４２６による比較結果に応じて、表示部２７０に警告を表示させてもよい。より具体的には、比較部１４２６が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部２５０が表示部２７０に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
さらに、表示制御部２５０は、画質向上処理前後の画像の差分が所定値よりも大きい場合に、画質向上処理を行った後の画像の表示を表示部２７０に表示させないようにしてもよい。この場合には、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、当該高画質画像に基づく誤診断を抑制することができる。なお、差分と所定値の比較は、比較部１４２６によって行われてもよいし、表示制御部２５０によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
（変形例５）
また、比較部１４２６は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の比較を行ってもよい。より具体的には、比較部１４２６は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分（増減又は減衰の度合）を画素位置毎に算出する。例えば、図１６（ａ）のように、画質向上処理前後の画像（取得画像１６０１、取得画像１６０２）から、差分画像１６０３を取得し、差分画像において差分が増加している個所及び減少している個所を色分けする等し、ユーザに分かり易く、画像改善した個所などの情報を表示部２７０に表示させる。なお、差分画像１６０３を画質向上処理前後の画像（取得画像１６０１、高画質画像１６０２）の少なくとも１つに重畳してもよい。また、ピクセル単位ではなく、変化の大きい領域を、評価マップ１６０４の様なマップ表示を実施してもよい。具体的には、複数の象限に分割された各領域に評価結果を示す評価マップとして表示部２７０に表示させてもよい。このとき、象限の数は、例えば、表示エリア１６０７に示すように、２つ、４つ、８つ等が考えられるが、これに限らない。また、象限の数が２つである場合、例えば、上下に領域分割してもよいし、左右に領域分割してもよい。また、象限の中心は、例えば、黄斑部や視神経乳頭部等の注目部位が考えられるが、これに限らない。また、操作者が象限の中心として、画質向上処理後の画像や差分画像上で任意の位置を指定できるようにしてもよい。また、また、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分として算出した結果の一致率を数値化し、例えば、画質向上処理の評価結果１６０５、図１６（ｂ）の画質向上処理の評価値１６１５のように表示することもできる。このとき、評価マップ１６０４は各象限において、例えば、評価値が高い程、濃く表示させ、逆に、評価値が低い程、薄く表示させる等、濃淡で各象限の評価を示してもよいし、象限毎に評価値を表示させてもよい。ここで、眼の動きや瞬き等によるアーチファクトを、主走査方向に沿った血管であると誤って認識して画質向上処理を行ってしまう可能性がある。このような場合、例えば、視神経乳頭部を象限の中心とした場合には、黄斑部側に主走査方向に沿った血管が多いため、黄斑部とは逆側よりも一致率が低くなる可能性がある。そこで、象限毎に評価値を示すことにより、操作者は画質向上処理結果を効率的に評価することができる。
ここで、解析結果は、図１６（ｂ）の表示エリア１６１２に示す解析パラメータの少なくとも１つに関する値であって、例えば、血管に関する値（例えば、血管面積密度、血管長さ密度、血管長）、無血管領域に関する値（例えば、円周長、体積、面積、円形度）、浮腫領域（脈絡膜新生血管等の疾病領域）に関する値（例えば、体積、面積）の少なくとも１つである。また、解析結果は、例えば、解析パラメータの少なくとも１つに関する値の２次元マップ（解析マップ）であってもよい。このとき、表示制御部２５０は、比較部１４２６による比較結果（解析結果を比較した結果）を表示部２７０に表示させてもよい。より具体的には、図１６（ａ）の評価マップ１６０４として示すように、表示制御部２５０は、比較結果として、差分値の大小に応じて色付けされたカラーマップ画像を表示部２７０に表示させてもよい。また、図１６（ａ）の評価結果１６０５に示すように、解析結果の差分が所定値よりも大きい場合に、表示制御部２５０が表示部２７０に、警告を表示させてもよい。また、表示制御部２５０は、解析結果の差分が所定値よりも大きい領域に対して、解析結果の差分が所定値以下である他の領域とは識別可能に、表示部２７０に表示させてもよい。また、表示制御部２５０は、差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、表示制御部２５０が表示部２７０に警告を表示させてもよい。また、これらの表示のいくつかを同時に行ってもよい。
このような構成によれば、学習済モデルによって生成された高画質画像において、例えば、現実には存在しない組織が生成された場合や、本来存在している組織が消された場合に、操作者に注意を促すことが容易にできる。なお、画素位置毎の差分に代えて、差分の平均値等の統計的な値が所定値と比較されてもよい。ここで、画質向上処理前後の画像同士を直接比較して評価するだけだと、注目していない箇所についても評価されてしまう可能性がある。一方、解析の種類（例えば、血管密度、特定の層厚）によって、種々の注目部位（例えば、血管、特定の層）が存在する。このため、画質向上処理前後の画像の解析結果を比較して評価すると、画像同士で直接比較して評価するよりも、注目部位の評価結果を効果的に得ることができると考えられる。なお、画像の種類に応じて、上述した画像の直接比較と解析結果の比較とを選択的に実行させてもよいし、いずれも実行させた後にいずれかの評価結果を選択的に表示部２０７に表示させるようにしてもよい。例えば、ＯＣＴＡ画像の場合には、上述したようなアーチファクトを血管と誤認識してしまう問題が生じる可能性があるため、解析結果を比較した評価値を選択的に表示部２０７に表示させてもよい。
（変形例６）
また、比較部１４２６は、被検眼の略同一箇所を異なる時間に撮影して得た複数の画像と、該複数の画像を用いて画質向上処理して得た複数の画像とを、画質向上処理前後において比較してもよい。より具体的には、比較部１４２６は、複数の画像において、画質向上処理前後の画像における互いに対応する画素位置の画素値の差分を算出する。このとき、表示制御部２５０は、複数の画像において、比較部１４２６による比較結果（差分）を表示部２７０に表示させてもよい。これにより、操作者は、それぞれの比較結果（差分）を考慮して、複数の画像のいずれかを選択してもよい。また、表示制御部２５０は、複数の画像に対応する複数の比較結果（差分）の平均値等の統計的な値を表示部２７０に表示させてもよい。また、比較部１４２６は、複数の画像を重ね合わせ（加算平均）して得た１つの画像と、該１つの画像を用いて画質向上処理して得た画像とを比較してもよい。なお、複数の画像が、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である場合には、深さ方向の範囲が互いに共通する方がよい。このとき、例えば、操作者からの指示に応じて一方の画像の深さ方向の範囲が設定されたら、他方の画像の深さ方向の範囲が設定されてもよい。
ここで、本変形例では、簡単のために、二枚のＯＣＴＡ画像を取得した場合について、記述する。図１７の第１の取得画像１７０１と第２の取得画像１７０３のように、二枚のＯＣＴＡ画像を取得する。各々を画質向上処理して得た画像（図１７では、第１の高画質画像、第２の高画質画像と表記）を取得する。まず、第１の取得画像１７０１のように、ＯＣＴＡ画像取得中に、硝子体などの混濁物が撮影範囲に入ると、影１７０８が存在するＯＣＴＡ画像が出力される。このため、第１の取得画像１７０１に対して画質向上処理を実施すると、影１７０９を有する第１の高画質画像１７０２が出力される。また、第２の取得画像１７０３のような影のない画像を画質向上させた際は、画質向上が適正に実施され、第２の高画質画像１７０４を得ることができる。これにより、第１の取得画像１７０１と第２の取得画像１７０３それぞれに対する画質向上処理の評価を数値で提供する事で、医師の判断を適正に実施する事をサポートすることができる。更に、混濁などの影響が生じている画像の方が低い評価値となるため、評価値の高い画像を優先的に表示させてもよい。例えば、評価値の低い画像は表示させずに、評価値の高い画像を選択的に表示させてもよい。なお、第１の取得画像１７０１と第２の取得画像１７０３それぞれを平均化処理した後、画質向上処理を実施してもよい。
（変形例７）
また、上述した様々な実施例及び変形例においては、複数の画質向上部（異なる学習データにより学習して得た複数の学習済モデル）を有する装置を用いて同様の評価を実施する事で、医師に多様な診断情報を提供する事ができる。ここで、複数の画質向上部は、図１６（ｂ）の第２の画質向上処理１６１３のように、主要なリーディングセンターが選定した教師画像でそれぞれ学習して得た学習済モデルを用いた画質向上処理を選択的に実行することができるものである。例えば、ユーザは、予め用意されていた第１の画質向上処理とは異なる第２の画質向上処理１６１３として複数の施設（病院や研究所等）のいずれかを選択することにより、第１の画質向上処理を実施して得た画像（第１の高画質画像１６０９）だけでなく、第２の画質向上処理を実施して得た画像（第２の高画質画像１６１４）も表示させる事ができる。また、第２の画質向上処理１６１３には、施設名と共に、国名（人種）を記述する事で、遺伝子に依存する疾患や、特異な眼底画像（近視、正常眼圧緑内障、血管走行）を適正に画質向上させる事ができる。このとき、取得画像１６０８と第１の高画質画像１６１０（１６０９）とを比較することにより、評価値１６１５のような評価結果を得た後、取得画像１６０８と第２の高画質画像１６１１とを比較することにより、評価値１６１４のような評価結果を得ることができる。これにより、例えば、各々の評価結果から、適切な画質向上処理を選択し、次回以降の診断に反映させる事ができる。また、変形例４乃至変形例７に記述した画質向上処理の評価について、適正な処理であると評価した際（複数画像取得した際の選択画像、複数の画質向上処理の選択処理）は、表示エリア１６０６や表示エリア１７０６に示すように、施設名と処理内容をデータ送信する事で、追加学習を実施し、よりフレキシブルな画質向上処理が可能となる。追加学習は、サーバで実施しても良く、クラウドや、機器の製造メーカにて、実施されてもよい。また、追加学習を行う事で、変形例６の様な、影がある画像１７０１から、画質向上処理を実施する事で陰の存在しない画像１７０４を得る事ができるようになる。
ここで、画質向上処理の学習の精度を上げるためには、上述した一致率を数値化した評価値がある程度高い画像のペアを学習データとする追加学習を行ってもよい。そこで、図１７の表示エリア１７０７に示すように、追加学習の学習データとして利用するか否かの基準となる評価値を選択できるようにしてもよい。例えば、上記基準として７５％と８５％のいずれかが選択できるようにした場合、８５％の方が学習データの質は高いが、学習データの数が多く得られない可能性があり、一方、７５％の方だと質が比較的低い学習データが含まれるが、学習データの数を多く得られる可能性がある。なお、選択可能な評価値はこれらに限らないし、また、３つ以上から選択できるようにしてもよい。また、複数の画像を画質向上処理する場合には、それぞれについて上記基準を選択できるようにしてもよい。また、予め用意しておいた評価値を基準としてもよいし、また、基準として設定した評価値と比較して差分が大きい場合には追加しないようにしてもよい。
以上の変形例４乃至変形例７に示したように、画質向上処理を実施した画像と元画像を用い、評価する事で、医師に画質向上処理を実施した画像を用いて診断してよいのかという事の判断をサポートする事ができる。数値如何によっては、再検査（ＯＣＴＡ画像再取得）を判断する事ができる。また、閾値を装置に記憶させ、自動で再検査を実施してもよい。評価機能を有する装置において、追加学習機能を付加させる事で、より適正な画質向上処理プログラムを提供する事ができる。
（変形例８）
上述した様々な実施例及び変形例において、表示制御部２５０は、画質向上部２２４によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部２７０に表示させることができる。また、表示制御部２５０は、検者からの指示に応じて、表示部２７０上の表示を撮影画像（入力画像）から高画質画像に切り替えてもよい。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
さらに、画質向上部２２４が、高画質化エンジン（高画質化用の学習済モデル）による高画質化処理の開始（高画質化エンジンへの画像の入力）を検者からの指示に応じて実行し、表示制御部２５０が、画質向上部２２４によって生成された高画質画像を表示部２７０に表示させてもよい。これに対し、撮影装置（ＯＣＴ撮影部１００）によって入力画像が撮影されると、高画質化エンジンが自動的に入力画像に基づいて高画質画像を生成し、表示制御部２５０が、検者からの指示に応じて高画質画像を表示部２７０に表示させてもよい。ここで、高画質化エンジンとは、上述した画質向上処理（高画質化処理）を行う学習済モデルを含む。
なお、これらの処理は解析結果の出力についても同様に行うことができる。すなわち、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を高画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を低画質画像の解析結果の表示に変更してもよい。もちろん、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、低画質画像の表示を低画質画像の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の表示を高画質画像の解析結果の表示に変更してもよい。
また、表示制御部２５０は、検者からの指示に応じて、低画質画像の解析結果の表示を低画質画像の他の種類の解析結果の表示に変更してもよい。また、表示制御部２５０は、検者からの指示に応じて、高画質画像の解析結果の表示を高画質画像の他の種類の解析結果の表示に変更してもよい。
ここで、高画質画像の解析結果の表示は、高画質画像の解析結果を任意の透明度により高画質画像に重畳表示させたものであってもよい。また、低画質画像の解析結果の表示は、低画質画像の解析結果を任意の透明度により低画質画像に重畳表示させたものであってもよい。このとき、解析結果の表示への変更は、例えば、表示されている画像に対して任意の透明度により解析結果を重畳させた状態に変更したものであってもよい。また、解析結果の表示への変更は、例えば、解析結果と画像とを任意の透明度によりブレンド処理して得た画像（例えば、２次元マップ）の表示への変更であってもよい。
なお、本変形例に係る表示、高画質化、及び画像解析等の処理に関する画像は、ＯＣＴＡ画像（モーションコントラスト正面画像だけでなく、断層画像でもよい。さらには、Ｂ－スキャンによる断層画像だけではなく、ＳＬＯ画像、眼底写真、又は蛍光眼底写真など、異なる画像であっても構わない。その場合、高画質化処理を実行するためのユーザーインターフェースは、種類の異なる複数の画像に対して高画質化処理の実行を指示するもの、種類の異なる複数の画像から任意の画像を選択して高画質化処理の実行を指示するものがあってもよい。
例えば、Ｂ－スキャンによる断層画像を高画質化して表示する場合には、表示される少なくとも１つの断層画像を高画質化して表示してもよい。また、ＯＣＴＡ正面画像が表示されている領域に高画質化された断層画像が表示されてもよい。また、Ｂ－スキャンによる断層画像は、輝度の断層画像だけでなく、モーションコントラストデータを用いて得たＢ－スキャンによる断層画像であってもよい。なお、高画質化され、表示される断層画像は、１つだけ表示されてもよいし、複数表示されてもよい。１つだけ表示される場合には、例えばサークルスキャン等により得られた断層画像を高画質化して表示されてもよい。また、複数の断層画像が表示される場合には、それぞれ異なる副走査方向の位置で取得された断層画像が表示されてもよいし、例えばクロススキャン等により得られた複数の断層画像を高画質化して表示する場合には、異なる走査方向の画像がそれぞれ表示されてもよい。なお、クロススキャン等により得られた複数の断層画像の画像特徴は似ていることが多いため、例えば、これらの断層画像を学習データとして学習して得た共通の学習済モデルを用いて、各走査方向の画像を高画質化してもよい。また、例えばラジアルスキャン等により得られた複数の断層画像を高画質化して表示する場合には、一部選択された複数の断層画像（例えば基準ラインに対して互いに対称な位置の２つの断層画像）がそれぞれ表示されてもよい。さらに、経過観察用の表示画面に異なる日時に得られた複数の断層画像を表示し、高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、データベースに保存されている情報に基づいて断層画像に高画質化処理を実行してもよい。
同様に、ＳＬＯ眼底画像を高画質化して表示する場合には、例えば、表示されるＳＬＯ眼底画像を高画質化して表示してよい。さらに、輝度のＥｎ－Ｆａｃｅ画像を高画質化して表示する場合には、例えば、表示される輝度のＥｎ－Ｆａｃｅ画像を高画質化して表示してよい。さらに、経過観察用の表示画面に異なる日時に得られた複数のＳＬＯ眼底画像や複数の輝度のＥｎ－Ｆａｃｅ画像を表示し、高画質化の指示や解析結果（例えば、特定の層の厚さ等）の表示が行われてもよい。また、データベースに保存されている情報に基づいてＳＬＯ眼底画像や輝度のＥｎ－Ｆａｃｅ画像に高画質化処理を実行してもよい。なお、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ－Ｆａｃｅ画像の表示は例示であり、これらの画像は所望の構成に応じて任意の態様で表示されてよい。また、ＯＣＴＡ正面画像、断層画像、ＳＬＯ眼底画像、及び輝度のＥｎ－Ｆａｃｅ画像の少なくとも２つ以上が、一度の指示で高画質化され表示されてもよい。
また、上述した様々な実施例及び変形例における画像処理部２２０には、画質向上部２２４等に加えて、解析部（不図示）が設けられていてもよい。解析部は、画質向上部２２４によって生成された高画質な断層画像について、領域毎に設定された解析条件に基づいて、画像解析を行う。ここで、領域毎に設定される解析条件としては、例えば、網膜部の領域や脈絡膜部の領域では、層抽出や血管抽出、硝子体部の領域では硝子体や硝子体の剥離の検出が設定される。なお、解析条件は、あらかじめ設定されていてもよいし、操作者によって適宜設定されてもよい。解析部は、解析条件として層抽出が設定されている場合には、当該解析条件が設定されている領域について層抽出を行い、抽出された層について層厚値計測等を行うことができる。また、解析部は、解析条件として血管抽出が設定されている場合には、当該解析条件が設定されている領域について血管抽出を行い、抽出された血管について血管密度計測等を行うことができる。さらに、解析部は、解析条件として硝子体や硝子体の剥離の検出が設定されている場合には、当該解析条件が設定されている領域について硝子体や硝子体の剥離の検出を行う。その後、解析部は、検出された硝子体や硝子体の剥離について定量化を行い硝子体や硝子体の剥離の厚みや、幅、面積、体積等を求めることができる。なお、解析条件はこれらに限られず、所望の構成に応じて任意に設定されてよい。例えば、硝子体部の領域について硝子体の線維構造の検出が設定されてもよい。この場合には、解析部は、検出した硝子体の線維構造の定量化を行い、線維構造の厚みや、幅、面積、体積等を求めることができる。また、解析条件に従った解析処理も、上記処理に限られず所望の構成に応じて任意に設定されてよい。また、表示制御部２５０は、解析部によって行われた画像解析の結果を、高画質な断層画像とともに又は高画質な断層画像とは別に表示部２７０に表示させてもよい。
（変形例９）
上述した様々な実施例及び変形例における表示制御部３０５は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも１つを含む注目部位に関するパラメータの値（分布）を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態（動きや瞬き等）によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト（写損領域）の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑（硬性白斑）、シュードドルーゼン等の異常部位等の少なくとも１つを含む領域に関するパラメータの値（分布）を解析結果として表示させてもよい。また標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
また、解析結果は、解析マップや、各分割領域に対応する統計値を示すセクター等で表示されてもよい。なお、解析結果は、医用画像の解析結果を学習データとして学習して得た学習済モデル（解析結果生成エンジン、解析結果生成用の学習済モデル）を用いて生成されたものであってもよい。このとき、学習済モデルは、医用画像とその医用画像の解析結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の解析結果とを含む学習データ等を用いた学習により得たものであってもよい。また、学習済モデルは、輝度正面画像及びモーションコントラスト正面画像のように、所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データを用いた学習により得たものであってもよい。ここで、輝度正面画像は輝度のＥｎ－Ｆａｃｅ画像に対応し、モーションコントラスト正面画像はＯＣＴＡのＥｎ－Ｆａｃｅ画像に対応する。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た解析結果が表示されるように構成されてもよい。なお、高画質化用の学習済モデルは、第一の画像を入力データとし、第一の画像よりも高画質な第二の画像を正解データとする学習データを学習して得たものであってもよい。このとき、第二の画像は、例えば、複数の第一の画像の重ね合わせ処理（例えば、位置合わせして得た複数の第一の画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像であってもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、解析領域を解析して得た解析値（例えば、平均値や中央値等）、解析値を含む表、解析マップ、画像におけるセクター等の解析領域の位置等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、解析結果生成用の学習済モデルにより得た解析結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例における表示制御部３０５は、表示画面のレポート画面において、緑内障や加齢黄斑変性等の種々の診断結果を表示させてもよい。このとき、例えば、上述したような各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い診断結果を表示させることができる。また、診断結果は、特定された異常部位等の位置を画像上に表示されてもよいし、また、異常部位の状態等を文字等によって表示されてもよい。また、異常部位等の分類結果（例えば、カーティン分類）が診断結果として表示されてもよい。また、分類結果としては、例えば、異常部位毎の確からしさを示す情報（例えば、割合を示す数値）が表示されてもよい。また、医師が診断を確定させる上で必要な情報が診断結果として表示されてもよい。上記必要な情報としては、例えば、追加撮影等のアドバイスが考えられる。例えば、ＯＣＴＡ画像における血管領域に異常部位が検出された場合には、ＯＣＴＡよりも詳細に血管を観察可能な造影剤を用いた蛍光撮影を追加で行う旨が表示されてもよい。また、診断結果は、被検者の今後の診療方針等に関する情報であってもよい。また、診断結果は、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報であってもよい。このとき、例えば、検者からの指示に応じて入力された診断名等の診断結果よりも確からしい診断結果を医用支援情報として表示させてもよい。また、複数の種類の医用画像が用いられた場合には、例えば、診断結果の根拠となり得る種類の医用画像が識別可能に表示されてもよい。
なお、診断結果は、医用画像の診断結果を学習データとして学習して得た学習済モデル（診断結果生成エンジン、診断結果生成用の学習済モデル）を用いて生成されたものであってもよい。また、学習済モデルは、医用画像とその医用画像の診断結果とを含む学習データや、医用画像とその医用画像とは異なる種類の医用画像の診断結果とを含む学習データ等を用いた学習により得たものであってもよい。また、高画質化用の学習済モデルにより生成された高画質画像を用いて得た診断結果が表示されるように構成されてもよい。
また、学習データに含まれる入力データとしては、高画質化用の学習済モデルにより生成された高画質画像であってもよいし、低画質画像と高画質画像とのセットであってもよい。また、学習データは、例えば、診断名、病変（異常部位）の種類や状態（程度）、画像における病変の位置、注目領域に対する病変の位置、所見（読影所見等）、診断名の根拠（肯定的な医用支援情報等）、診断名を否定する根拠（否定的な医用支援情報）等の少なくとも１つを含む情報を（教師あり学習の）正解データとして、入力データにラベル付け（アノテーション）したデータであってもよい。なお、検者からの指示に応じて、診断結果生成用の学習済モデルにより得た診断結果が表示されるように構成されてもよい。
また、上述した様々な実施例及び変形例における表示制御部３０５は、表示画面のレポート画面において、上述したような注目部位、アーチファクト領域、異常部位等の部分領域の物体認識結果（物体検出結果）やセグメンテーション結果を表示させてもよい。このとき、例えば、画像上の物体の周辺に矩形の枠等を重畳して表示させてもよい。また、例えば、画像における物体上に色等を重畳して表示させてもよい。なお、物体認識結果やセグメンテーション結果は、物体認識やセグメンテーションを示す情報を正解データとして医用画像にラベル付け（アノテーション）した学習データを学習して得た学習済モデル（物体認識エンジン、物体認識用の学習済モデル、セグメンテーションエンジン、セグメンテーション用の学習済モデル）を用いて生成されたものであってもよい。なお、上述した解析結果生成や診断結果生成は、上述した物体認識結果やセグメンテーション結果を利用することで得られたものであってもよい。例えば、物体認識やセグメンテーションの処理により得た注目部位に対して解析結果生成や診断結果生成の処理を行ってもよい。
また、異常部位を検出する場合には、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｋｓ）や変分オートエンコーダ―（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）を用いてもよい。例えば、断層画像の生成を学習して得た生成器と、生成器が生成した新たな断層画像と本物の眼底正面画像との識別を学習して得た識別器とからなるＤＣＧＡＮ（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＧＡＮ）を機械学習モデルとして用いることができる。
ＤＣＧＡＮを用いる場合には、例えば、識別器が入力された断層画像をエンコードすることで潜在変数にし、生成器が潜在変数に基づいて新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像との差分を異常部位として抽出することができる。また、ＶＡＥを用いる場合には、例えば、入力された断層画像をエンコーダーによりエンコードすることで潜在変数にし、潜在変数をデコーダーによりデコードすることで新たな断層画像を生成する。その後、入力された断層画像と生成された新たな断層画像像との差分を異常部位として抽出することができる。なお、入力データの例として断層画像を例として説明したが、眼底画像や前眼の正面画像等を用いてもよい。
さらに、画像処理部２２０は、畳み込みオートエンコーダ（ＣＡＥ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を用いて、異常部位を検出してもよい。ＣＡＥを用いる場合には、学習時に入力データ及び出力データとして同じ画像を学習させる。これにより、推定時に異常部位がある画像をＣＡＥに入力すると、学習の傾向に従って異常部位がない画像が出力される。その後、ＣＡＥに入力された画像とＣＡＥから出力された画像の差分を異常部位として抽出することができる。なお、この場合にも、断層画像だけでなく、眼底画像や前眼の正面画像等を入力データとして用いてもよい。
これらの場合、画像処理部２２０は、敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又はオートエンコーダに入力された医用画像との差に関する情報を異常部位に関する情報として生成することができる。これにより、画像処理部２２０は、高速に精度よく異常部位を検出することが期待できる。ここで、オートエンコーダには、ＶＡＥやＣＡＥ等が含まれる。例えば、画像処理部２２０は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として生成することができる。また、例えば、表示制御部２５０は、種々の医用画像から敵対的生成ネットワーク又はオートエンコーダを用いて得た医用画像と、該敵対的生成ネットワーク又は該オートエンコーダに入力された医用画像との差に関する情報を、異常部位に関する情報として表示部２７０に表示させることができる。
また、疾病眼では、疾病の種類に応じて画像特徴が異なる。そのため、上述した様々な実施例や変形例において用いられる学習済モデルは、疾病の種類毎又は異常部位毎にそれぞれ生成・用意されてもよい。この場合には、例えば、制御部２００は、操作者からの被検眼の疾病の種類や異常部位等の入力（指示）に応じて、処理に用いる学習済モデルを選択することができる。なお、疾病の種類や異常部位毎に用意される学習済モデルは、網膜層の検出や領域ラベル画像等の生成に用いられる学習済モデルに限られず、例えば、画像の評価用のエンジンや解析用のエンジン等で用いられる学習済モデルであってもよい。このとき、制御部２００は、別に用意された学習済モデルを用いて、画像から被検眼の疾病の種類や異常部位を識別してもよい。この場合には、制御部２００は、当該別に用意された学習済モデルを用いて識別された疾病の種類や異常部位に基づいて、上記処理に用いる学習済モデルを自動的に選択することができる。なお、当該被検眼の疾病の種類や異常部位を識別するための学習済モデルは、断層画像や眼底画像等を入力データとし、疾病の種類やこれら画像における異常部位を出力データとした学習データのペアを用いて学習を行ってよい。ここで、学習データの入力データとしては、断層画像や眼底画像等を単独で入力データとしてもよいし、これらの組み合わせを入力データとしてもよい。
また、特に診断結果生成用の学習済モデルは、被検者の所定部位の異なる種類の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底のモーションコントラスト正面画像及び輝度正面画像（あるいは輝度断層画像）をセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）及びカラー眼底画像（あるいは蛍光眼底画像）をセットとする入力データ等も考えられる。また、異なる種類の複数の医療画像は、異なるモダリティ、異なる光学系、又は異なる原理等により取得されたものであれば何でもよい。
また、特に診断結果生成用の学習済モデルは、被検者の異なる部位の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。このとき、学習データに含まれる入力データとして、例えば、眼底の断層画像（Ｂスキャン画像）と前眼部の断層画像（Ｂスキャン画像）とをセットとする入力データが考えられる。また、学習データに含まれる入力データとして、例えば、眼底の黄斑の三次元ＯＣＴ画像（三次元断層画像）と眼底の視神経乳頭のサークルスキャン（又はラスタスキャン）断層画像とをセットとする入力データ等も考えられる。
なお、学習データに含まれる入力データは、被検者の異なる部位及び異なる種類の複数の医用画像であってもよい。このとき、学習データに含まれる入力データは、例えば、前眼部の断層画像とカラー眼底画像とをセットとする入力データ等が考えられる。また、上述した種々の学習済モデルは、被検者の所定部位の異なる撮影画角の複数の医用画像をセットとする入力データを含む学習データにより学習して得た学習済モデルであってもよい。また、学習データに含まれる入力データは、パノラマ画像のように、所定部位を複数領域に時分割して得た複数の医用画像を貼り合わせたものであってもよい。このとき、パノラマ画像のような広画角画像を学習データとして用いることにより、狭画角画像よりも情報量が多い等の理由から画像の特徴量を精度良く取得できる可能性があるため、各処理の結果を向上することができる。例えば、推定時（予測時）において、広画角画像における複数の位置で異常部位が検出された場合に、各異常部位の拡大画像を順次表示可能に構成させる。これにより、複数の位置における異常部位を効率よく確認することができるため、例えば、検者の利便性を向上することができる。このとき、例えば、異常部位が検出された広画角画像上の各位置を検者が選択可能に構成され、選択された位置における異常部位の拡大画像が表示されるように構成されてもよい。また、学習データに含まれる入力データは、被検者の所定部位の異なる日時の複数の医用画像をセットとする入力データであってもよい。
また、上述した解析結果と診断結果と物体認識結果とセグメンテーション結果とのうち少なくとも１つの結果が表示される表示画面は、レポート画面に限らない。このような表示画面は、例えば、撮影確認画面、経過観察用の表示画面、及び撮影前の各種調整用のプレビュー画面（各種のライブ動画像が表示される表示画面）等の少なくとも１つの表示画面に表示されてもよい。例えば、上述した種々の学習済モデルを用いて得た上記少なくとも１つの結果を撮影確認画面に表示させることにより、検者は、撮影直後であっても精度の良い結果を確認することができる。また、例えば、特定の物体が認識されると、認識された物体を囲う枠がライブ動画像に重畳表示させるように構成されてもよい。このとき、物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、例えば、物体を囲う枠の色が変更される等のように強調表示されてもよい。これにより、検者は、物体をライブ動画上で容易に識別することができる。また、上述した低画質画像と高画質画像との表示の変更は、例えば、低画質画像の解析結果と高画質画像の解析結果との表示の変更であってもよい。
ここで、上述した様々な学習済モデルは、学習データを用いた機械学習により得ることができる。機械学習には、例えば、多階層のニューラルネットワークから成る深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）がある。また、多階層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を機械学習モデルとして用いることができる。また、多階層のニューラルネットワークの少なくとも一部には、オートエンコーダ（自己符号化器）に関する技術が用いられてもよい。また、学習には、バックプロパゲーション（誤差逆伝搬法）に関する技術が用いられてもよい。また、学習には、各ユニット（各ニューロン）をランダムに不活性化する手法（ドロップアウト）が用いられてもよい。また、学習には、多階層のニューラルネットワークの各層に伝わったデータを、活性化関数（例えばＲｅＬｕ関数）が適用される前に、正規化する手法（バッチ正規化）が用いられてもよい。ただし、機械学習としては、深層学習に限らず、画像等の学習データの特徴量を学習によって自ら抽出（表現）可能なモデルを用いた学習であれば何でもよい。ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングした（学習を行った）モデルである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。また、学習データとは、入力データ及び出力データ（正解データ）のペアで構成される。ここで、学習データを教師データという場合もあるし、あるいは、正解データを教師データという場合もある。
なお、ＧＰＵは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、ＧＰＵで処理を行うことが有効である。そこで、本変形例では、学習部（不図示）の一例である画像処理部３０３による処理には、ＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理は、ＣＰＵまたはＧＰＵのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部（推定部）も、学習部と同様にＧＰＵを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するＵ－ｎｅｔ型の機械学習モデルが適用可能である。Ｕ－ｎｅｔ型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報（空間情報）を、デコーダーとして構成される複数の階層において、同次元の階層（互いに対応する階層）で用いることができるように（例えば、スキップコネクションを用いて）構成される。
また、高画質化やセグメンテーション等に用いられる機械学習モデルとしては、例えば、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、又はＳｅｇＮｅｔ等を用いることもできる。また、所望の構成に応じて領域単位で物体認識を行う機械学習モデルを用いてもよい。物体認識を行う機械学習モデルとしては、例えば、ＲＣＮＮ（Ｒｅｇｉｏｎ ＣＮＮ）、ｆａｓｔＲＣＮＮ、又はｆａｓｔｅｒＲＣＮＮを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｓｅ）、又はＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ、あるいはＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）を用いることもできる。
また、機械学習モデルは、例えば、カプセルネットワーク（Ｃａｐｓｕｌｅ Ｎｅｔｗｏｒｋ；ＣａｐｓＮｅｔ）でもよい。ここで、一般的なニューラルネットワークでは、各ユニット（各ニューロン）はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係（相対位置）に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット（各カプセル）は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
また、高画質化エンジン（高画質化用の学習済モデル）は、高画質化エンジンにより生成された少なくとも１つの高画質画像を含む学習データを追加学習して得た学習済モデルであってもよい。このとき、高画質画像を追加学習用の学習データとして用いるか否かを、検者からの指示により選択可能に構成されてもよい。なお、これらの構成は、高画質化用の学習済モデルに限らず、上述した様々な学習済モデルに対しても適用可能である。また、上述した様々な学習済モデルの学習に用いられる正解データの生成には、ラベル付け（アノテーション）等の正解データを生成するための正解データ生成用の学習済モデルが用いられてもよい。このとき、正解データ生成用の学習済モデルは、検者がラベル付け（アノテーション）して得た正解データを（順次）追加学習することにより得られたものであってもよい。すなわち、正解データ生成用の学習済モデルは、ラベル付け前のデータを入力データとし、ラベル付け後のデータを出力データとする学習データを追加学習することにより得られたものであってもよい。また、動画像等のような連続する複数フレームにおいて、前後のフレームの物体認識やセグメンテーション等の結果を考慮して、結果の精度が低いと判定されたフレームの結果を修正するように構成されてもよい。このとき、検者からの指示に応じて、修正後の結果を正解データとして追加学習するように構成されてもよい。
また、上述した様々な実施例及び変形例において、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて被検眼の部分領域（例えば、注目部位、アーチファクト領域、異常部位等）を検出する場合には、検出した領域毎に所定の画像処理を施すこともできる。例えば、硝子体領域、網膜領域、及び脈絡膜領域のうちの少なくとも２つの領域を検出する場合を考える。この場合には、検出された少なくとも２つの領域に対してコントラスト調整等の画像処理を施す際に、それぞれ異なる画像処理のパラメータを用いることで、各領域に適した調整を行うことができる。各領域に適した調整が行われた画像を表示することで、操作者は領域毎の疾病等をより適切に診断することができる。なお、検出された領域毎に異なる画像処理のパラメータを用いる構成については、例えば、学習済モデルを用いずに検出された被検眼の領域について同様に適用されてもよい。
（変形例１０）
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも１つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、ＸＹＺ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やＯＣＴフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、ＯＣＴのコヒーレンスゲート調整（測定光路長と参照光路長との光路長差の調整）のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層等に関する値（例えば、コントラスト値あるいは強度値）が閾値を超える（あるいはピーク値になる）ように、ＯＣＴフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やＲＰＥ等の所定の網膜層が深さ方向における所定の位置になるように、ＯＣＴのコヒーレンスゲート調整が行われるように構成されてもよい。
これらの場合には、画質向上部２２４は、学習済モデルを用いて、動画像について高画質化処理を行って、高画質な動画像を生成することができる。また、駆動制御部２３０は、高画質な動画像が表示された状態で、セグメンテーション処理等により得た注目部位等の部分領域が表示領域における所定の位置になるように、参照光学系における反射ミラー１２３等の撮影範囲を変更するための光学部材を駆動制御することができる。このような場合には、駆動制御部２３０は、精度の高い情報に基づいて、所望される領域が表示領域の所定の位置になるように自動的にアライメント処理を行うことができる。なお、撮影範囲を変更する光学部材としては、例えばコヒーレンスゲート位置を調整する光学部材であってよく、具体的には参照光学系における反射ミラー１２３等であってよい。また、コヒーレンスゲート位置は、測定光路長及び参照光路長の光路長差を変更する光学部材によって調整されることができ、当該光学部材は、例えば、不図示の測定光の光路長を変更するためのミラー等であってもよい。なお、撮影範囲を変更する光学部材は、例えばステージ部（不図示）であってもよい。また、駆動制御部２３０は、撮影開始に関する指示に応じて、撮影の途中あるいは撮影の最後に、セグメンテーション処理等により得たアーチファクト領域等の部分領域が再度撮影（リスキャン）されるように、上述した走査部を駆動制御してもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を自動的に行うように構成されてもよい。また、例えば、注目部位に関する物体認識結果の確からしさを示す情報（例えば、割合を示す数値）が閾値を超えた場合には、各調整や撮影開始等を検者からの指示に応じて実行可能な状態に変更（実行禁止状態を解除）するように構成されてもよい。
また、上述した種々の学習済モデルを適用可能な動画像は、ライブ動画像に限らず、例えば、記憶部２４０に記憶（保存）された動画像であってもよい。このとき、例えば、記憶部２４０に記憶（保存）された眼底の断層動画像の少なくとも１つのフレーム毎に位置合わせして得た動画像が表示画面に表示されてもよい。例えば、硝子体を好適に観察したい場合には、まず、フレーム上に硝子体ができるだけ存在する等の条件を基準とする基準フレームを選択してもよい。このとき、各フレームは、ＸＺ方向の断層画像（Ｂスキャン像）である。そして、選択された基準フレームに対して他のフレームがＸＺ方向に位置合わせされた動画像が表示画面に表示されてもよい。このとき、例えば、動画像の少なくとも１つのフレーム毎に高画質化用の学習済モデルにより順次生成された高画質画像（高画質フレーム）を連続表示させるように構成してもよい。
なお、上述したフレーム間の位置合わせの手法としては、Ｘ方向の位置合わせの手法とＺ方向（深度方向）の位置合わせの手法とは、同じ手法が適用されてもよいし、全て異なる手法が適用されてもよい。また、同一方向の位置合わせは、異なる手法で複数回行われてもよく、例えば、粗い位置合わせを行った後に、精密な位置合わせが行われてもよい。また、位置合わせの手法としては、例えば、断層画像（Ｂスキャン像）をセグメンテーション処理して得た網膜層境界を用いた（Ｚ方向の粗い）位置合わせ、断層画像を分割して得た複数の領域と基準画像との相関情報（類似度）を用いた（Ｘ方向やＺ方向の精密な）位置合わせ、断層画像（Ｂスキャン像）毎に生成した１次元投影像を用いた（Ｘ方向の）位置合わせ、２次元正面画像を用いた（Ｘ方向の）位置合わせ等がある。また、ピクセル単位で粗く位置合わせが行われてから、サブピクセル単位で精密な位置合わせが行われるように構成されてもよい。
ここで、各種の調整中では、被検眼の網膜等の撮影対象がまだ上手く撮像できていない可能性がある。このため、学習済モデルに入力される医用画像と学習データとして用いられた医用画像との違いが大きいために、精度良く高画質画像が得られない可能性がある。そこで、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質動画像の表示（高画質フレームの連続表示）を自動的に開始するように構成してもよい。また、断層画像（Ｂスキャン）の画質評価等の評価値が閾値を超えたら、高画質化ボタンを検者が指定可能な状態（アクティブ状態）に変更するように構成されてもよい。
また、走査パターン等が異なる撮影モード毎に異なる高画質化用の学習済モデルを用意して、選択された撮影モードに対応する高画質化用の学習済モデルが選択されるように構成されてもよい。また、異なる撮影モードで得た様々な医用画像を含む学習データを学習して得た１つの高画質化用の学習済モデルが用いられてもよい。
（変形例１１）
また、上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力（推論・予測）することが難しい可能性がある。例えば、追加学習の実行中の画質向上部では画質向上処理を実行することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能なように構成されることがよい。追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習して得た学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け（アノテーション）されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時（予測時）の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報（例えば、割合を示す数値）と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理（例えば、位置合わせして得た複数の低画質画像の平均化処理）等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル（予備の学習済モデル）とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果（追加学習による変化の一例）、あるいは該複数の高画質画像の解析結果の比較結果（追加学習による変化の一例）が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
また、撮影部位毎に学習して得た学習済モデルを選択的に利用できるようにしてもよい。具体的には、第１の撮影部位（肺、被検眼等）を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルを用意することができる。そして、制御部２００は、これら複数の学習済モデルのいずれかを選択する選択手段を有してもよい。このとき、制御部２００は、選択された学習済モデルに対して追加学習として実行する制御手段を有してもよい。制御手段は、操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行することができる。なお、選択された学習済モデルに対応する撮影部位は、データのヘッダの情報から取得したり、検者により手動入力されたりしたものであってもよい。また、データの検索は、例えば、病院や研究所等の外部施設のサーバ等からネットワークを介して行われてよい。これにより、学習済モデルに対応する撮影部位の撮影画像を用いて、撮影部位毎に効率的に追加学習することができる。
なお、選択手段及び制御手段は、制御部２００のＣＰＵやＭＰＵ等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、選択手段及び制御手段は、ＡＳＩＣ等の特定の機能を果たす回路や独立した装置等によって構成されてもよい。
また、追加学習用の学習データを、上述したような施設等の外部のサーバ等からネットワークを介して取得する際には、改ざん、追加学習時のシステムトラブル等による信頼性低下を低減したい。そこで、デジタル署名やハッシュ化による一致性の確認を行うことで、追加学習用の学習データの正当性を検出してもよい。これにより、追加学習用の学習データを保護することができる。このとき、デジタル署名やハッシュ化による一致性の確認した結果として、追加学習用の学習データの正当性が検出できなかった場合には、その旨の警告を行い、その学習データによる追加学習を行わない。なお、サーバは、その設置場所を問わず、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。また、上述したような一致性の確認によるデータの保護は、追加学習用の学習データに限らず、医用画像を含むデータに適用可能である。また、複数の施設のサーバの間の医用画像を含むデータの取引が分散型のネットワークにより管理されるように画像管理システムが構成されてもよい。また、取引履歴と、前のブロックのハッシュ値とが一緒に記録された複数のブロックを時系列につなぐように画像管理システムが構成されてもよい。なお、一致性の確認等を行うための技術としては、量子ゲート方式等の量子コンピュータを用いても計算が困難な暗号（例えば、格子暗号、量子鍵配送による量子暗号等）が用いられてもよい。
（変形例１２）
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示（例えば、ユーザーインターフェース等を用いた指示）以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル（音声認識エンジン、音声認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル（文字認識エンジン、文字認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル（ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル）を含む機械学習モデルが用いられてもよい。
また、検者からの指示は、表示部２７０における表示画面上の検者の視線検出結果等であってもよい。視線検出結果は、例えば、表示部２７０における表示画面の周辺から撮影して得た検者の動画像を用いた瞳孔検出結果であってもよい。このとき、動画像からの瞳孔検出は、上述したような物体認識エンジンを用いてもよい。また、検者からの指示は、脳波、体を流れる微弱な電気信号等による指示であってもよい。
このような場合、例えば、学習データとしては、上述したような種々の学習済モデルの処理による結果の表示の指示を示す文字データ又は音声データ（波形データ）等を入力データとし、種々の学習済モデルの処理による結果等を実際に表示部に表示させるための実行命令を正解データとする学習データであってもよい。また、学習データとしては、例えば、高画質化用の学習済モデルで得た高画質画像の表示の指示を示す文字データ又は音声データ等を入力データとし、高画質画像の表示の実行命令及び高画質化ボタンをアクティブ状態に変更するための実行命令を正解データとする学習データであってもよい。もちろん、学習データとしては、例えば、文字データ又は音声データ等が示す指示内容と実行命令内容とが互いに対応するものであれば何でもよい。また、音響モデルや言語モデル等を用いて、音声データから文字データに変換してもよい。また、複数のマイクで得た波形データを用いて、音声データに重畳しているノイズデータを低減する処理を行ってもよい。また、文字又は音声等による指示と、マウス、タッチパネル等による指示とを、検者からの指示に応じて選択可能に構成されてもよい。また、文字又は音声等による指示のオン・オフを、検者からの指示に応じて選択可能に構成されてもよい。
ここで、機械学習には、上述したような深層学習があり、また、多階層のニューラルネットワークの少なくとも一部には、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｒｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることができる。ここで、本変形例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲＮＮに関して、図１８（ａ）及び（ｂ）を参照して説明する。また、ＲＮＮの一種であるＬｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図１９（ａ）及び（ｂ）を参照して説明する。
図１８（ａ）は、機械学習モデルであるＲＮＮの構造を示す。ＲＮＮ３５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ３５１０を入力し、データｈｔ３５３０を出力する。ＲＮＮ３５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図１８（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ３５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。また、ＲＮＮ３５２０より出力されるデータｈｔ３５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）のデータが含まれる。
しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができないため、ＬＳＴＭが用いられることがある。ＬＳＴＭは、忘却ゲート、入力ゲート、及び出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図１９（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ３５４０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。
次に、図１９（ｂ）にＬＳＴＭ３５４０の詳細を示す。図１９（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルは、ニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等が用いられてもよい。また、検者からの指示が文字又は音声等による入力の場合には、自然言語処理に関する技術（例えば、Ｓｅｑｕｅｎｃｅ ｔｏＳｅｑｕｅｎｃｅ）が適用されてもよい。また、検者に対して文字又は音声等による出力で応答する対話エンジン（対話モデル、対話用の学習済モデル）が適用されてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習（あるいはファインチューニング）して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈（特徴量）を自ら抽出（表現）可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける２つのシーケンス（センテンス）の関係性（連続性）を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にＴｒａｎｓｆｏｒｍｅｒのＥｎｃｏｄｅｒが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、Ｅｎ－Ｆａｃｅ画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力（表示や送信等）や保存等、に関する少なくとも１つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更（画面遷移）に関する指示であってもよい。
（変形例１３）
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部２４０に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所（例えば、最初の箇所、最後の箇所）に、高画質化用の学習済モデルを用いた処理（高画質化処理）により生成された画像であることを示す情報（例えば、文字）を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
また、レポート画面等の種々の表示画面において、表示部に高画質画像を表示させる際に、表示されている画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示が、高画質画像とともに表示されてもよい。この場合には、ユーザは、当該表示によって、表示された高画質画像が撮影によって取得した画像そのものではないことが容易に識別できるため、誤診断を低減させたり、診断効率を向上させたりすることができる。なお、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示は、入力画像と当該処理により生成された高画質画像とを識別可能な表示であればどのような態様のものでもよい。また、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルを用いた処理により生成された結果であることを示す表示が、その結果とともに表示されてもよい。
このとき、レポート画面等の表示画面は、検者からの指示に応じて、画像データとして記憶部２４０に保存されてもよい。例えば、高画質画像等と、これらの画像が高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示とが並んだ１つの画像としてレポート画面が記憶部２４０に保存されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された高画質画像であることを示す表示について、高画質化用の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２７０に表示されてもよい。当該表示としては、学習データの入力データと正解データの種類の説明や、入力データと正解データに含まれる撮影部位等の正解データに関する任意の表示を含んでよい。なお、高画質化用の学習済モデルを用いた処理だけでなく、上述したような種々の学習済モデルを用いた処理についても、その種類の学習済モデルがどのような学習データによって学習を行ったものであるかを示す表示が表示部２７０に表示されてもよい。
また、高画質化用の学習済モデルを用いた処理により生成された画像であることを示す情報（例えば、文字）を、高画質画像等に重畳した状態で表示又は保存されるように構成されてもよい。このとき、画像上に重畳する箇所は、撮影対象となる注目部位等が表示されている領域には重ならない領域（例えば、画像の端）であればどこでもよい。また、重ならない領域を判定し、判定された領域に重畳させてもよい。
また、レポート画面の初期表示画面として、高画質化ボタンがアクティブ状態（高画質化処理がオン）となるようにデフォルト設定されている場合には、検者からの指示に応じて、高画質画像等を含むレポート画面に対応するレポート画像がサーバに送信されるように構成されてもよい。また、高画質化ボタンがアクティブ状態となるようにデフォルト設定されている場合には、検査終了時（例えば、検者からの指示に応じて、撮影確認画面やプレビュー画面からレポート画面に変更された場合）に、高画質画像等を含むレポート画面に対応するレポート画像がサーバに（自動的に）送信されるように構成されてもよい。このとき、デフォルト設定における各種設定（例えば、レポート画面の初期表示画面におけるＥｎ－Ｆａｃｅ画像の生成のための深度範囲、解析マップの重畳の有無、高画質画像か否か、経過観察用の表示画面か否か等の少なくとも１つに関する設定）に基づいて生成されたレポート画像がサーバに送信されるように構成されもよい。
なお、記憶部２４０を用いて保存する構成を上述したが、記憶部２４０は、ネットワークのデータサーバ、クラウド、データベース等であってもよい。また、表示部２７０の表示制御は、記憶部２４０、データ管理媒体、画像管理システムを通じて実行されてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム（ＰＡＣＳ）を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。また、画像管理システムにおいて、上述した様々な実施例及び変形例における学習に関する内容を識別するための情報（上述したように、画像に重畳させる、ファイル名に記述する、ファイル内部のヘッダに情報を記載する）を画像および情報に紐付けしてもよい。これにより、例えば、保存されている画像が、学習済モデルを用いた処理後の画像であるかどうかを容易に識別することができる。また、画像管理システムは、このような画像データを受信した際に、受信した画像データが学習済モデルを用いて処理して得たデータであるか否かを、送信元に確認するように構成されてもよい。また、紐付けする情報は、学習モデル情報（他の処理、疾患、装置、リーディングセンター）であってもよい。また、本変形例における保存される情報及び表示される情報は、上述したような、学習済の画像評価結果（数値、評価内容、追加学習などの情報）であってもよい。
（変形例１４）
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルで得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）を、第１の種類とは異なる第２の種類の学習済モデルに入力してもよい。このとき、第２の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）が生成されるように構成されてもよい。
また、上述したような種々の学習済モデルのうち、第１の種類の学習済モデルの処理による結果（例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果）を用いて、第１の種類の学習済モデルに入力した画像から、第１の種類とは異なる第２の種類の学習済モデルに入力する画像を生成してもよい。このとき、生成された画像は、第２の種類の学習済モデルにより処理する画像として適した画像である可能性が高い。このため、生成された画像を第２の種類の学習済モデルに入力して得た画像（例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像）の精度を向上することができる。
また、上述したような種々の学習済モデルは、被検体の２次元の医用画像を含む学習データを学習して得た学習済モデルであってもよいし、また、被検体の３次元の医用画像を含む学習データを学習して得た学習済モデルであってもよい。
また、上述したような学習済モデルの処理による解析結果や診断結果等を検索キーとして、サーバ等に格納された外部のデータベースを利用した類似症例画像検索を行ってもよい。なお、データベースにおいて保存されている複数の画像が、既に機械学習等によって該複数の画像それぞれの特徴量を付帯情報として付帯された状態で管理されている場合等には、画像自体を検索キーとする類似症例画像検索エンジン（類似症例画像検査モデル、類似症例画像検索用の学習済モデル）が用いられてもよい。例えば、制御部２００は、（高画質化用の学習済モデルとは異なる）類似症例画像検索用の学習済モデルを用いて、種々の医用画像から該医用画像に関連する類似症例画像の検索を行うことができる。また、例えば、表示制御部２５０は、種々の医用画像から類似症例画像検索用の学習済モデルを用いて得た類似症例画像を表示部２７０に表示させることができる。このとき、類似症例画像は、例えば、学習済モデルに入力された医用画像の特徴量と類似する特徴量の画像である。また、複数の類似症例画像が検索されてもよく、特徴量が類似する順番が識別可能に複数の類似症例画像が表示されてもよい。また、複数の類似症例画像のうち、検者からの指示に応じて選択された画像と該画像との特徴量とを含む学習データを用いて、類似症例画像検索用の学習済モデルが追加学習されるように構成されてもよい。
（変形例１５）
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、ＯＣＴ撮影部１００で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
分割手段としてカプラを使用したファイバ光学系を用いているが、コリメータとビームスプリッタを使用した空間光学系を用いてもよい。また、ＯＣＴ撮影部１００の構成は、上記の構成に限られず、ＯＣＴ撮影部１００に含まれる構成の一部をＯＣＴ撮影部１００と別体の構成としてもよい。
また、上記実施例及び変形例では、ＯＣＴ撮影部１００の干渉光学系としてマッハツェンダー型干渉計の構成を用いているが、干渉光学系の構成はこれに限られない。例えば、ＯＣＴ装置１の干渉光学系はマイケルソン干渉計の構成を有していてもよい。
さらに、上記実施例及び変形例では、ＯＣＴ装置として、ＳＬＤを光源として用いたスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置について述べたが、本発明によるＯＣＴ装置の構成はこれに限られない。例えば、出射光の波長を掃引することができる波長掃引光源を用いた波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置等の他の任意の種類のＯＣＴ装置にも本発明を適用することができる。また、ライン光を用いたＬｉｎｅ－ＯＣＴ装置（あるいはＳＳ－Ｌｉｎｅ－ＯＣＴ装置）に対して本発明を適用することもできる。また、エリア光を用いたＦｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置（あるいはＳＳ－Ｆｕｌｌ Ｆｉｅｌｄ－ＯＣＴ装置）にも本発明を適用することもできる。
また、上記実施例及び変形例では、取得部２１０は、ＯＣＴ撮影部１００で取得された干渉信号や画像処理部２２０で生成された三次元断層画像等を取得した。しかしながら、取得部２１０がこれらの信号や画像を取得する構成はこれに限られない。例えば、取得部２１０は、制御部とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバや撮影装置からこれらの信号を取得してもよい。
なお、学習済モデルは、画像処理装置である制御部２００，９００，１４００に設けられることができる。学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、制御部２００，９００，１４００と接続される別のサーバ等に設けられてもよい。この場合には、制御部２００，９００，１４００は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、学習済モデルを用いて画質向上処理を行うことができる。なお、学習済モデルが設けられるサーバは、例えば、クラウドサーバ、フォグサーバ、エッジサーバ等のどのような形態でもよい。
（変形例１６）
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ（撮影装置、撮影方法）を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
さらに、処理される医用画像は、被検者（被検体）の所定部位の画像であり、所定部位の画像は被検者の所定部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定部位の構造（形態）を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、ＯＣＴＡ画像、ドップラーＯＣＴ画像、ｆＭＲＩ画像、及び超音波ドップラー画像等の血流動態（血流量、血流速度等）を表す画像を含む。なお、被検者の所定部位は、撮影対象に応じて決定されてよく、人眼（被検眼）、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。
また、医用画像は、被検者の断層画像であってもよいし、正面画像であってもよい。正面画像は、例えば、眼底正面画像や、前眼部の正面画像、蛍光撮影された眼底画像、ＯＣＴで取得したデータについて撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＥｎ－Ｆａｃｅ画像を含む。Ｅｎ－Ｆａｃｅ画像は、三次元のＯＣＴＡデータ（三次元のモーションコントラストデータ）について撮影対象の深さ方向における少なくとも一部の範囲のデータを用いて生成したＯＣＴＡのＥｎ－Ｆａｃｅ画像（モーションコントラスト正面画像）でもよい。また、三次元のＯＣＴデータや三次元のモーションコントラストデータは、三次元の医用画像データの一例である。
ここで、モーションコントラストデータとは、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得た複数のボリュームデータ間での変化を示すデータである。このとき、ボリュームデータは、異なる位置で得た複数の断層画像により構成される。そして、異なる位置それぞれにおいて、略同一位置で得た複数の断層画像の間での変化を示すデータを得ることで、モーションコントラストデータをボリュームデータとして得ることができる。なお、モーションコントラスト正面画像は、血流の動きを測定するＯＣＴアンギオグラフィ（ＯＣＴＡ）に関するＯＣＴＡ正面画像（ＯＣＴＡのＥｎ－Ｆａｃｅ画像）とも呼ばれ、モーションコントラストデータはＯＣＴＡデータとも呼ばれる。モーションコントラストデータは、例えば、２枚の断層画像又はこれに対応する干渉信号間の脱相関値、分散値、又は最大値を最小値で割った値（最大値／最小値）として求めることができ、公知の任意の方法により求められてよい。このとき、２枚の断層画像は、例えば、被検眼の同一領域（同一位置）において測定光が複数回走査されるように制御して得ることができる。
また、Ｅｎ－Ｆａｃｅ画像は、例えば、２つの層境界の間の範囲のデータをＸＹ方向に投影して生成した正面画像である。このとき、正面画像は、光干渉を用いて得たボリュームデータ（三次元の断層画像）の少なくとも一部の深度範囲であって、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影又は積算して生成される。Ｅｎ－Ｆａｃｅ画像は、ボリュームデータのうちの、検出された網膜層に基づいて決定された深度範囲に対応するデータを二次元平面に投影して生成された正面画像である。なお、２つの基準面に基づいて定められた深度範囲に対応するデータを二次元平面に投影する手法としては、例えば、当該深度範囲内のデータの代表値を二次元平面上の画素値とする手法を用いることができる。ここで、代表値は、２つの基準面に囲まれた領域の深さ方向の範囲内における画素値の平均値、中央値又は最大値などの値を含むことができる。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の一方を基準として、より深い方向又はより浅い方向に所定の画素数分だけ含んだ範囲であってもよい。また、Ｅｎ－Ｆａｃｅ画像に係る深度範囲は、例えば、検出された網膜層に関する２つの層境界の間の範囲から、操作者の指示に応じて変更された（オフセットされた）範囲であってもよい。
また、撮影装置とは、診断に用いられる画像を撮影するための装置である。撮影装置は、例えば、被検者の所定部位に光、Ｘ線等の放射線、電磁波、又は超音波等を照射することにより所定部位の画像を得る装置や、被写体から放出される放射線を検出することにより所定部位の画像を得る装置を含む。より具体的には、上述した様々な実施例及び変形例に係る撮影装置は、少なくとも、Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、ＳＰＥＣＴ装置、ＳＬＯ装置、ＯＣＴ装置、ＯＣＴＡ装置、眼底カメラ、及び内視鏡等を含む。
なお、ＯＣＴ装置としては、タイムドメインＯＣＴ（ＴＤ－ＯＣＴ）装置やフーリエドメインＯＣＴ（ＦＤ－ＯＣＴ）装置を含んでよい。また、フーリエドメインＯＣＴ装置はスペクトラルドメインＯＣＴ（ＳＤ－ＯＣＴ）装置や波長掃引型ＯＣＴ（ＳＳ－ＯＣＴ）装置を含んでよい。また、ＯＣＴ装置は、Ｄｏｐｐｌｅｒ－ＯＣＴ装置を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、波面補償光学系を用いた波面補償ＳＬＯ（ＡＯ－ＳＬＯ）装置や波面補償ＯＣＴ（ＡＯ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光ＳＬＯ（ＰＳ－ＳＬＯ）装置や偏光ＯＣＴ（ＰＳ－ＯＣＴ）装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、病理顕微鏡ＳＬＯ装置や病理顕微鏡ＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、ハンドヘルド型のＳＬＯ装置やハンドヘルド型のＯＣＴ装置等を含んでよい。また、ＳＬＯ装置やＯＣＴ装置として、カテーテルＳＬＯ装置やカテーテルＯＣＴ装置等を含んでよい。
上記実施例及び変形例の一つによれば、従来よりも画像診断に適した画像を生成することができる。
（その他の実施例）
本発明は、上述した様々な実施例及び変形例の１以上の機能を実現するソフトウェア（プログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、１つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
このとき、プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

Claims (22)

  1. 被検体の第１の医用画像を取得する取得部と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
    前記第１の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、画像処理装置。
  2. 被検体の第１の医用画像を取得する取得部と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分が所定値よりも大きい場合に、又は前記差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、警告を前記比較結果として前記表示部に表示させる、画像処理装置。
  3. 被検体の第１の医用画像を取得する取得部と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
    前記表示制御部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分が所定値よりも大きい領域に対して、前記差分が所定値以下である他の領域とは識別可能に前記表示部に表示させることにより、前記比較結果を前記表示部に表示させる、画像処理装置。
  4. 被検体の第１の医用画像を取得する取得部と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
    前記取得部は、被検体の深さ方向の共通の範囲における情報に基づいて生成された正面画像である複数の第１の医用画像を取得し、
    前記生成部は、前記学習済モデルを用いて、前記取得された複数の第１の医用画像から、前記取得された複数の第１の医用画像の画質よりも高い画質を有する複数の第２の医用画像を生成し、
    前記表示制御部は、前記取得された複数の第１の医用画像と前記生成された複数の第２の医用画像との比較結果を前記表示部に表示させる、画像処理装置。
  5. 前記第１の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、請求項２乃至４のいずれか一項に記載の画像処理装置。
  6. 前記表示制御部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分に基づいて色分けされたカラーマップ画像を、前記比較結果として前記表示部に表示させる、請求項１乃至５のいずれか一項に記載の画像処理装置。
  7. 前記表示制御部は、前記取得された第１の医用画像又は前記生成された第２の医用画像に前記カラーマップ画像を重畳して前記表示部に表示させる、請求項６に記載の画像処理装置。
  8. 前記解析結果は、血管に関する値、無血管領域に関する値、浮腫領域に関する値の少なくとも１つである、請求項１乃至７のいずれか一項に記載の画像処理装置。
  9. 被検体の第１の医用画像を取得する取得部と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
    前記生成された第２の医用画像と、前記生成された第２の医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として表示部に表示させる表示制御部と、
    を備える、画像処理装置。
  10. 前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像と、被検体の第１の医用画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像と、前記第１の医用画像の撮影工程よりも工数の多い撮影工程で取得された画像とのうちの少なくとも一つを含む、請求項１乃至９のいずれか一項に記載の画像処理装置。
  11. 前記表示制御部は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記生成された第２の医用画像に関する解析結果と、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記生成された第２の医用画像に関する診断結果と、被検体の医用画像を学習して得た物体認識用の学習済モデルを用いて生成された物体検出結果であって、前記生成された第２の医用画像に関する物体検出結果と、被検体の医用画像を学習して得たセグメンテーション用の学習済モデルを用いて生成されたセグメンテーション結果であって、前記生成された第２の医用画像に関するセグメンテーション結果と、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記生成された第２の医用画像に関する類似症例とのうちの少なくとも一つを前記表示部に表示させる、請求項１乃至１０のいずれか一項に記載の画像処理装置。
  12. 前記第２の医用画像の生成の実行に関する検者からの指示又は前記表示制御部による表示の制御の実行に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうちの少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至１１のいずれか一項に記載の画像処理装置。
  13. 前記生成された第２の医用画像のファイル名は、前記第２の医用画像の生成に関する処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む、請求項１乃至１２のいずれか一項に記載の画像処理装置。
  14. 第１の撮影条件を示す情報を含む学習データを用いて得た第１の学習済モデルと、第１の撮影条件を示す情報とは異なる第２の撮影条件を示す情報を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択部と、
    選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、該選択された学習済モデルに対して追加学習として実行する制御部と、を備え、
    前記制御部は、前記追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能とする、画像処理装置。
  15. 前記制御部は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される、請求項１４に記載の画像処理装置。
  16. 第１の撮影条件を示す情報を含む学習データを用いて得た第１の学習済モデルと、第１の撮影条件を示す情報とは異なる第２の撮影条件を示す情報を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択部と、
    選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、該選択された学習済モデルに対して追加学習として実行する制御部と、を備え、
    前記制御部は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される、画像処理装置。
  17. 被検体の第１の医用画像を取得する工程と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する工程と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる工程と、を含み、
    前記第１の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、画像処理方法。
  18. 被検体の第１の医用画像を取得する工程と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する工程と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果との比較結果を表示部に表示させる工程と、を含み、
    前記取得する工程では、被検体の深さ方向の共通の範囲における情報に基づいて生成された正面画像である複数の第１の医用画像を取得し、
    前記生成する工程では、前記学習済モデルを用いて、前記取得された複数の第１の医用画像から、前記取得された複数の第１の医用画像の画質よりも高い画質を有する複数の第２の医用画像を生成し、
    前記表示させる工程では、前記取得された複数の第１の医用画像と前記生成された複数の第２の医用画像との比較結果を前記表示部に表示させる、画像処理方法。
  19. 被検体の第１の医用画像を取得する工程と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する工程と、
    前記生成された第２の医用画像と、前記生成された第２の医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として表示部に表示させる工程と、
    を含む、画像処理方法。
  20. 第１の撮影条件を示す情報を含む学習データを用いて得た第１の学習済モデルと、第１の撮影条件を示す情報とは異なる第２の撮影条件を示す情報を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する工程と、
    選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する工程と、を含み、
    前記実行する工程では、前記追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能とする、画像処理方法。
  21. 第１の撮影条件を示す情報を含む学習データを用いて得た第１の学習済モデルと、第１の撮影条件を示す情報とは異なる第２の撮影条件を示す情報を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する工程と、
    選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する工程と、
    前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される工程と、
    を含む、画像処理方法。
  22. プロセッサーによって実行されると、該プロセッサーに請求項１７乃至２１のいずれか一項に記載の画像処理方法の各工程を実行させる、プログラム。
JP2019217331A 2018-12-26 2019-11-29 画像処理装置、画像処理方法、及びプログラム Active JP7341874B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980086346.9A CN113226153B (zh) 2018-12-26 2019-12-25 图像处理装置、图像处理方法和计算机可读存储介质
PCT/JP2019/050732 WO2020138128A1 (ja) 2018-12-26 2019-12-25 画像処理装置、画像処理方法、及びプログラム
US17/343,207 US12094082B2 (en) 2018-12-26 2021-06-09 Image processing apparatus, image processing method and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018243769 2018-12-26
JP2018243769 2018-12-26

Publications (3)

Publication Number Publication Date
JP2020103880A JP2020103880A (ja) 2020-07-09
JP2020103880A5 JP2020103880A5 (ja) 2022-04-18
JP7341874B2 true JP7341874B2 (ja) 2023-09-11

Family

ID=71447556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019217331A Active JP7341874B2 (ja) 2018-12-26 2019-11-29 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US12094082B2 (ja)
JP (1) JP7341874B2 (ja)
CN (1) CN113226153B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183799A1 (ja) 2019-03-11 2020-09-17 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
WO2020183705A1 (ja) * 2019-03-14 2020-09-17 日本電気株式会社 生成方法、学習データ生成装置及びプログラム
JP2021015346A (ja) * 2019-07-10 2021-02-12 キヤノン株式会社 情報処理方法、画像処理装置、及びプログラム
US11890550B2 (en) * 2020-01-02 2024-02-06 Mattel, Inc. Electrical tomography-based object recognition
TWI799705B (zh) * 2020-05-20 2023-04-21 倍利科技股份有限公司 醫學影像輔助判讀系統
US12299872B2 (en) * 2020-06-16 2025-05-13 Welch Allyn, Inc. Detecting and tracking macular degeneration
CN111970280B (zh) * 2020-08-18 2022-05-06 中南大学 连续变量量子密钥分发系统的攻击检测方法
JP7575216B2 (ja) * 2020-08-25 2024-10-29 株式会社トプコン 眼科画像処理装置、眼科装置、画質評価方法及びプログラム
CN116250245A (zh) * 2020-09-30 2023-06-09 索尼集团公司 信息处理设备、信息处理方法和程序
JP7593796B2 (ja) * 2020-12-08 2024-12-03 富士フイルム株式会社 医用画像処理システム、医用画像処理システムの作動方法
CN112559781B (zh) * 2020-12-10 2023-04-07 西北大学 一种图像检索系统和方法
US12462923B2 (en) 2021-01-01 2025-11-04 Koninklijke Philips N.V. Method and system for facilitating reading of medical images
CN114820414B (zh) * 2021-01-22 2025-10-31 富士通株式会社 用于领域自适应的神经网络及其训练方法
CN112950577B (zh) * 2021-02-26 2024-01-16 南方科技大学 图像处理方法、装置、电子设备和存储介质
JP7661721B2 (ja) * 2021-03-01 2025-04-15 東洋製罐株式会社 異常検知に関する方法、プログラム、装置及びシステム
TWI790572B (zh) 2021-03-19 2023-01-21 宏碁智醫股份有限公司 影像相關的檢測方法及檢測裝置
US12161409B2 (en) * 2021-03-31 2024-12-10 Topcon Corporation Apparatus and method for imaging structure in a transparent medium
JP7317246B1 (ja) * 2022-08-02 2023-07-28 三菱電機株式会社 推論装置、推論方法及び推論プログラム
CN115860055B (zh) * 2022-11-23 2024-01-02 北京百度网讯科技有限公司 性能确定方法、性能优化方法、装置、电子设备以及介质
EP4634608A1 (en) * 2022-12-16 2025-10-22 Danmarks Tekniske Universitet A method of using optical coherence tomography for training a machine learning model, a method of determining an unknown condition using the trained model, a method of determining segmentation in a sample, and an optical coherence tomography system
JPWO2024157332A1 (ja) 2023-01-23 2024-08-02
US20240394936A1 (en) * 2023-05-26 2024-11-28 Qualcomm Incorporated Teaching language models to draw sketches
WO2025074546A1 (ja) * 2023-10-04 2025-04-10 日本電気株式会社 情報処理システム、情報処理方法、プログラム
CN117547219A (zh) * 2024-01-11 2024-02-13 江苏富翰医疗产业发展有限公司 基于彩色照相的oct成像系统
CN120451181B (zh) * 2025-03-19 2026-01-23 中国科学院自动化研究所 脑神经纤维束的分割与重建方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014167935A1 (ja) 2013-04-08 2014-10-16 株式会社 日立メディコ Ｘ線ｃｔ装置、再構成演算装置、及び再構成演算方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208558B2 (en) * 1999-08-11 2015-12-08 Osteoplastics Llc Methods and systems for producing an implant
US6351660B1 (en) * 2000-04-18 2002-02-26 Litton Systems, Inc. Enhanced visualization of in-vivo breast biopsy location for medical documentation
US8098908B2 (en) * 2004-09-21 2012-01-17 Imedos Gmbh Method and device for analyzing the retinal vessels by means of digital images
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
US8374457B1 (en) * 2008-12-08 2013-02-12 Adobe Systems Incorporated System and method for interactive image-noise separation
JP2011013334A (ja) * 2009-06-30 2011-01-20 Yamaha Corp 画像表示装置
US8929632B2 (en) * 2011-09-22 2015-01-06 Siemens Aktiengesellschaft Temporal difference encoding for angiographic image sequences
JP6188297B2 (ja) 2012-01-25 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR101644466B1 (ko) 2012-08-30 2016-08-01 캐논 가부시끼가이샤 정보 처리장치 및 방법
JP6033697B2 (ja) * 2013-02-01 2016-11-30 株式会社Ｎｔｔドコモ 画像評価装置
US9547828B2 (en) * 2014-05-14 2017-01-17 Cisco Technology, Inc. Hierarchical hybrid batch-incremental learning
JP6682291B2 (ja) * 2016-02-12 2020-04-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6702764B2 (ja) * 2016-03-08 2020-06-03 キヤノン株式会社 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置
JP6598713B2 (ja) * 2016-03-11 2019-10-30 キヤノン株式会社 情報処理装置
JP6867117B2 (ja) * 2016-07-08 2021-04-28 株式会社トプコン 医用画像処理方法及び医用画像処理装置
US9965863B2 (en) 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
JP6843602B2 (ja) * 2016-12-05 2021-03-17 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
JP6736490B2 (ja) * 2017-01-17 2020-08-05 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、システム、画像処理方法、及びプログラム
US10733744B2 (en) * 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
GB2589250B (en) 2018-06-15 2023-03-08 Canon Kk Medical image processing apparatus, medical image processing method and program
JP7229881B2 (ja) 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7305401B2 (ja) 2018-09-06 2023-07-10 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7250653B2 (ja) 2018-10-10 2023-04-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN112822973B (zh) 2018-10-10 2025-05-06 佳能株式会社 医学图像处理装置、医学图像处理方法和程序

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014167935A1 (ja) 2013-04-08 2014-10-16 株式会社 日立メディコ Ｘ線ｃｔ装置、再構成演算装置、及び再構成演算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
長谷川 玲，３．ＡＩによるノイズ低減処理「ＰｉｘｅｌＳｈｉｎｅ」，ＩＮＮＥＲＶＩＳＩＯＮ 第３２巻 第７号 ，日本，（株）インナービジョン，第32巻，第31頁-第34頁

Also Published As

Publication number Publication date
US20210304363A1 (en) 2021-09-30
JP2020103880A (ja) 2020-07-09
CN113226153A (zh) 2021-08-06
CN113226153B (zh) 2024-08-30
US12094082B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
JP7341874B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7579372B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
KR102769769B1 (ko) 질환의 리스크를 추정하기 위한 정보 처리 장치, 정보 처리 방법, 정보 처리 시스템 및 컴퓨터 판독가능 저장 매체
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7413147B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US12329452B2 (en) Ophthalmic apparatus, method for controlling ophthalmic apparatus, and computer-readable medium
JP7362403B2 (ja) 画像処理装置および画像処理方法
US20210224957A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP7703349B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020183791A1 (ja) 画像処理装置および画像処理方法
JP7406901B2 (ja) 情報処理装置及び情報処理方法
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
JP7488934B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
WO2020202680A1 (ja) 情報処理装置及び情報処理方法
JP2021164535A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020138128A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7344847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023010308A (ja) 画像処理装置および画像処理方法
JP2022121202A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R151 Written notification of patent or utility model registration

Ref document number: 7341874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151