Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7280107B2 - 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム - Google Patents
[go: Go Back, main page]

JP7280107B2 - 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム - Google Patents

画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム Download PDF

Info

Publication number
JP7280107B2
JP7280107B2 JP2019089555A JP2019089555A JP7280107B2 JP 7280107 B2 JP7280107 B2 JP 7280107B2 JP 2019089555 A JP2019089555 A JP 2019089555A JP 2019089555 A JP2019089555 A JP 2019089555A JP 7280107 B2 JP7280107 B2 JP 7280107B2
Authority
JP
Japan
Prior art keywords
image
microscope
generating
image processing
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019089555A
Other languages
English (en)
Other versions
JP2020187160A5 (ja
JP2020187160A (ja
Inventor
泰央 米丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Corp
Original Assignee
Evident Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Corp filed Critical Evident Corp
Priority to JP2019089555A priority Critical patent/JP7280107B2/ja
Priority to PCT/JP2020/018743 priority patent/WO2020230747A1/ja
Publication of JP2020187160A publication Critical patent/JP2020187160A/ja
Priority to US17/518,916 priority patent/US11892615B2/en
Publication of JP2020187160A5 publication Critical patent/JP2020187160A5/ja
Application granted granted Critical
Publication of JP7280107B2 publication Critical patent/JP7280107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364—Projection microscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本明細書の開示は、画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システムに関する。
近年、培養細胞の検査分野において、位相差観察や偏斜照明を用いた明視野観察といった、染色を必要としない無染色イメージングが注目されている。しかしながら、位相差画像や偏斜照明で取得した明視野画像では、観察試料と背景との境界部分にアーティファクトが生じることがある。境界部分にアーティファクトが生じると、観察者が観察試料の微細構造を誤認する虞がある。そのため、アーティファクトを低減する様々な技術が従来から提案されている。
特許文献１には、位相膜の分光透過率特性を調整することで、アーティファクトの一例であるハローを軽減する位相差観察装置が記載されている。また、非特許文献１には、画像処理によってハローを軽減する技術が記載されている。
特開２０００－３４７１０５号公報
MIKHAIL E. KANDEL, MICHAEL FANOUS, CATHERINE BEST-POPESCU, ANDGABRIEL POPESCU、"Real-time halo correction in phasecontrast imaging"、 BIOMEDICAL OPTICS EXPRESS 2018年2月1日、p.623-635
非特許文献１に記載される、画像処理によってアーティファクトを軽減する技術は、装置の構成を変更することなくアーティファクトを軽減可能であるという点で優れている。しかしながら、その軽減効果は限定的であるため、アーティファクトによる微細構造に対する解像力の低下を抑制可能な新たな画像処理技術が求められている。
以上のような実情を踏まえ、本発明の一側面に係る目的は、観察試料と背景との境界部分に生じるアーティファクトによる微細構造に対する解像力の低下を抑制可能な画像処理技術を提供することである。
本発明の一態様に係る画像処理方法は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成することと、前記２つの画像を合成した補正画像を生成することと、を含み、前記２つの画像を生成することは、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成することと、前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成することと、を含み、前記微細構造強調画像を生成することはエッジ抽出処理を含む。
本発明の一態様に係るプログラムは、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成し、前記２つの画像を合成した補正画像を生成し、前記２つの画像を生成することは、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成することと、前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成することと、を含み、前記微細構造強調画像を生成することはエッジ抽出処理を含む、処理をコンピュータに実行させる。
本発明の一態様に係る画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、微細構造強調部を含み、前記画像強調処理部は、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成し、前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成し、前記微細構造強調画像を生成することはエッジ抽出処理を含む。
本発明の一態様に係る画像処理システムは、画像処理装置と、前記補正画像を表示する表示装置と、を含む。画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含み、前記画像強調処理部は、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成し、前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成し、前記微細構造強調画像を生成することはエッジ抽出処理を含む。
本発明の一態様に係る顕微鏡システムは、画像処理装置と、前記顕微鏡画像を取得する顕微鏡装置と、を含む。画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含み、前記画像強調処理部は、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成し、前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成し、前記微細構造強調画像を生成することはエッジ抽出処理を含む。
上記の態様によれば、観察試料と背景との境界部分に生じるアーティファクトによる微細構造に対する解像力の低下を抑制可能な画像処理技術を提供することができる。
顕微鏡システム１の構成の一例を示した図である。 画像処理装置２０の物理構成の一例を示した図である。 画像処理装置２０の機能構成の一例を示した図である。 画像処理の効果を説明するための図である。 画像処理装置２０が行う処理のフローチャートの一例である。 高周波強調処理のフローチャートの一例である。 高周波強調処理で用いられる複数のフィルタの一例を示した図である。 高周波強調処理で用いられる複数のフィルタの別の例を示した図である。 高周波強調処理で用いられる複数のフィルタの更に別の例を示した図である。 観察試料の構造とアーティファクトが生じている画像の画素値との関係の例示した図である。 補正画像を表示した画面の一例を示した図である。 補正画像を表示した画面の別の例を示した図である。 高周波強調処理のフローチャートの別の例である。 画像処理装置２０が行う処理のフローチャートの別の例である。 画像処理装置２０が行う処理のフローチャートの更に別の例である。 補正画像を表示した画面の更に別の例を示した図である。 補正画像を表示した画面の更に別の例を示した図である。
［第１の実施形態］
図１は、顕微鏡システム１の構成の一例を示した図である。図２は、画像処理装置２０の物理構成の一例を示した図である。以下、図１及び図２を参照しながら、顕微鏡システ
ム１の構成について説明する。
顕微鏡システム１は、画像処理装置２０を備える画像処理システムであり、図１に示すように、顕微鏡装置１０と、画像処理装置２０とを備えている。顕微鏡システム１は、さらに、表示装置３０と、入力装置（キーボード４１、マウス４２）を備えてもよい。
顕微鏡装置１０は、顕微鏡画像を取得する。顕微鏡装置１０は、例えば、デジタルカメラ１１と、蛍光フィルタキューブ１２と、ターレット１３と、対物レンズ（位相差対物レンズ１４、対物レンズ１５）と、ステージ１６と、位相差コンデンサ１７と、光源（光源１８、光源１９）を備えている。
デジタルカメラ１１は、例えば、入射した観察光を電気信号に変換するイメージセンサを含んでいる。イメージセンサは、例えば、ＣＣＤ（Charge Coupled Device）イメージ
センサ、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどであり、二次元イメージセンサである。デジタルカメラ１１は、カラーカメラであってもよい。デジタルカメラ１１は、観察試料である標本Ｓを撮影して、顕微鏡画像を取得する。デジタルカメラ１１が取得した顕微鏡画像は、デジタルカメラ１１から画像処理装置２０へ出力される。
蛍光フィルタキューブ１２は、例えば、ダイクロイックミラー、励起フィルタ、吸収フィルタを含んでいる。蛍光フィルタキューブ１２は、ターレット１３に配置されていて、光路に対して挿脱自在である。顕微鏡装置１０が蛍光画像を取得する場合には蛍光フィルタキューブ１２は光路上に配置されている。顕微鏡装置１０が位相差画像を取得する場合には蛍光フィルタキューブ１２は光路外に配置される。
位相差対物レンズ１４及び対物レンズ１５は、レボルバに装着された顕微鏡対物レンズであり、観察法に応じて切り替えて使用される。位相差対物レンズ１４は、位相差画像を取得する場合に使用される対物レンズである。位相差対物レンズ１４は、直接光と回折光に位相差を与えるための位相膜が位相差対物レンズ１４内部の瞳位置に設けられている。対物レンズ１５は、蛍光画像を取得する場合に使用される対物レンズである。
ステージ１６には、標本Ｓが配置される。ステージ１６は、電動ステージであっても手動ステージであってもよい。位相差コンデンサ１７は、位相差画像を取得する場合に使用されるコンデンサである。位相差コンデンサ１７は、位相差対物レンズ１４内部に設けられた位相膜と光学的に共役な位置に、リングスリットを備えている。
光源１８と光源１９は、例えば、水銀ランプ、キセノンランプ、LED光源などである。
光源１８と光源１９は、観察法に応じて切り替えて使用される。光源１８は、位相差画像を取得する場合に使用される光源である。光源１８は、光源１８から出射した光で標本Ｓを透過照明する。光源１９は、蛍光画像を取得する場合に使用される光源である。光源１９は、光源１９から出射した光で標本Ｓを落射照明する。
顕微鏡装置１０は、位相差画像と蛍光画像の両方を顕微鏡画像として取得可能である。顕微鏡装置１０は、使用する光学素子（光源、対物レンズなど）を切り替えることで、位相差画像と蛍光画像のどちらを取得するかを選択することができる。即ち、顕微鏡装置１０は、顕微鏡画像として位相差画像を取得する位相差顕微鏡を含み、且つ、顕微鏡画像として蛍光画像を取得する蛍光顕微鏡を含む。
画像処理装置２０は、顕微鏡装置１０から出力された顕微鏡画像を処理する。顕微鏡画像が位相差画像である場合には、画像処理装置２０は、標本Ｓと背景との境界部分に生じ
るハローを抑制する画像処理を行う。そして、画像処理装置２０は、画像処理の結果として、ハローが抑制された画像（以降、補正画像と記す。）を生成する。
画像処理装置２０は、例えば、標準的なコンピュータである。画像処理装置２０は、図２に示すように、プロセッサ２１、メモリ２２、補助記憶装置２３、可搬記憶媒体２７を駆動する媒体駆動装置２４、Ｉ／Ｏインタフェース２５を備える。これらの構成要素はバス２６によって相互に接続されている。
プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（GraphicsProcessing Unit）などを含む任意の処理回路である。プロセッサ２１は、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムをメモリ２２に展開して実行することでプログラムされた処理を行う。プロセッサ２１は、プログラムを実行してプログラムされた処理を行う。これにより、後述する図３に示す画像処理装置２０の機能的構成要素（高周波強調部５１、微細構造強調部５２、補正画像生成部５３）として機能する。
メモリ２２は、例えば、ＲＡＭ（Random Access Memory）である。メモリ２２は、プログラムの実行の際に、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムまたはデータを記憶するワークメモリとして機能する。補助記憶装置２３は、例えば、ハードディスク、フラッシュメモリである。補助記憶装置２３は、主に各種データ及びプログラムの格納に用いられる。媒体駆動装置２４は、光ディスク、コンパクトフラッシュ（登録商標）等の可搬記憶媒体２７を収容するものである。補助記憶装置２３と可搬記憶媒体２７は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。
Ｉ／Ｏ（Input/Output）インタフェース２５は、例えば、ＵＳＢ（UniversalSerial Bus）インタフェース回路、ＨＤＭＩ（登録商標）（High-Definition MultimediaInterface）回路などである。Ｉ／Ｏインタフェース２３には、例えば、顕微鏡装置１０、表示装置３０、及び入力装置（キーボード４１、マウス４２）が接続されている。
なお、画像処理装置２０は、図示しないＮＷ（Network）インタフェースを備えてもよ
い。ＮＷインタフェースは、例えば、無線通信モジュールであってもよく、ＬＡＮ（Local Area Network）カードなどであってもよい。画像処理装置２０は、ＮＷインタフェースを経由して顕微鏡システム１の外部の装置からデータを受信してもよい。また、画像処理装置２０は、ＮＷインタフェースを経由して顕微鏡システム１で取得したデータを外部の装置へ送信しても良い。
なお、図２に示す構成は、画像処理装置２０のハードウェア構成の一例である。画像処理装置２０はこの構成に限定されるものではない。画像処理装置２０は、汎用装置ではなく専用装置であってもよい。例えば、ソフトウェアプログラムを読み込んで実行するプロセッサ２１の代わりに又は加えて、専用設計の電気回路を備えてもよい。
表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置（キーボード４１、マウス４２）は、顕微鏡システム１の利用者が直接操作する装置である。入力装置（キーボード４１、マウス４２）は、利用者の操作に応じた情報を画像処理装置２０に入力する。顕微鏡システム１は、キーボード、マウスに加えて又は代わりに、他の入力装置、例えば、ジョイスティック、タッチパネルなどを含んでもよい。
図３は、画像処理装置２０の機能構成の一例を示した図である。図４は、画像処理の効果を説明するための図である。画像処理装置２０は、図３に示すように、画像強調部５０
と、補正画像生成部５３と、を備えている。画像強調部５０は、高周波強調部５１と微細構造強調部５２を含んでいる。
画像強調部５０は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する。高周波強調部５１は、顕微鏡画像の高周波成分をその高周波成分よりも低い周波数成分である低周波成分に対して相対的に強調した高周波強調画像を生成する。“高周波成分を低周波成分に対して相対的に強調する”とは、低周波成分を維持したまま高周波成分を強めることであってもよく、高周波成分を維持したまま低周波成分を弱めることであってもよく、低周波成分を弱めて且つ高周波成分を強めることであってもよい。なお、顕微鏡画像は、例えば、顕微鏡装置１０で取得された位相差画像である。また、周波数は、空間周波数のことである。図４（ａ）に示す画像３００ａは、位相差画像の模式図である。画像３００ａには、細胞Ｃの周りにはハローによって暗い部分ができていることが示されている。
位相差画像のアーティファクトであるハローの周波数成分は広い帯域に分布しているが、ハローは比較的低い周波数成分を多く含んでいる。このため、ハローの主要な周波数成分が低周波成分に含まれるように、高周波強調部５１が低周波成分及び高周波成分を選択する。このことで、顕微鏡装置１０で取得した位相差画像に比べてハローが目立たない高周波強調画像を得ることができる。即ち、高周波強調部５１が行う高周波強調処理は、ハローを抑制する効果を有している。図４（ｂ）に、高周波強調部５１から出力される画像３００ｂの模式図を示す。画像３００ｂでは、画像３００ａと比較して細胞Ｃの周りに有ったハローが低減されているが、高周波強調部５１での処理により細胞Ｃ内の小器官等の微細構造が把握しづらくなっている。これは、高周波強調処理によって微細構造の情報が失われてしまうからである。高周波成分と低周波成分との境界周波数を高く設定してハローに含まれるより広い範囲の周波数成分を軽減しようとするほど、微細構造の情報はより多く失われてしまう。
微細構造強調部５２は、顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成する。“観察試料の微細構造”とは、例えば細胞内にある細胞小器官等による微細構造のことである。“微細構造を強調する”とは、少なくとも微細構造を抽出することであり、微細構造のみを抽出することであってもよい。
微細構造強調部５２が行う微細構造強調処理は、微細構造を抽出する処理であるので、微細構造強調処理を行うことで、高周波強調画像を生成する際に失われる微細構造の情報を予め保存することができる。図４（ｃ）に、微細構造強調部５２から出力される画像３００ｃの模式図を示す。画像３００ｃは、主に細胞Ｃ内の小器官などの微細構造が抽出された画像となっている。
補正画像生成部５３は、２つの画像を合成した補正画像を生成する。具体的には、補正画像生成部５３は、高周波強調画像と微細構造強調画像を合成した補正画像を生成する。“画像を合成する”とは、重み付けした高周波強調画像と微細構造強調画像とを画素毎に加算して１枚の画像を生成することをいう。“重み付け”には、高周波強調画像に乗じる重み係数と微細構造強調画像に乗じる重み係数が同じ場合も含まれる。なお、高周波強調画像を生成することと微細構造強調画像を生成することは、ともに画像強調処理により画像を生成することである。
高周波強調画像に微細構造強調画像が加算されることで、ハローそのものが抑制される。それとともに高周波強調画像を生成する際に失われた微細構造も復元される。従って、図３に示す画像処理装置２０によれば、画像処理によって、観察試料と背景との境界部分に生じるアーティファクトを抑制することができる。このため、アーティファクトによる
微細構造に対する解像力の低下を抑制することができる。また、アーティファクト軽減に伴う解像力の低下も回避することができる。従って、解像力を維持したままアーティファクトを低減することができる。図４（ｄ）に、補正画像生成部５３から出力される画像３００ｄの模式図を示す。図４（ｂ）の画像３００ｂと図４（ｃ）の画像３００ｃが足し合わされているため、細胞Ｃの周りのハローが低減され、且つ、細胞Ｃ内の微細構造が復元された画像となっている。
図５は、画像処理装置２０が行う処理のフローチャートの一例である。図６は、高周波強調処理のフローチャートの一例である。図７から図９は、高周波強調処理で用いられる複数のフィルタの例示した図である。図１０は、観察試料の構造とアーティファクトが生じている画像の画素値との関係の例示した図である。図１１及び図１２は、補正画像を表示した画面の例示した図である。以下、図５から図１２を参照しながら、顕微鏡装置１０が位相差画像を取得する場合を例にして、顕微鏡システム１が行う処理について詳細に説明する。
図５の処理は、画像処理装置２０が行う画像処理方法の一例である。例えば、顕微鏡システム１の利用者が入力装置を操作し、プロセッサ２１が所定のアプリケーションプログラムを実行することで開始される。なお、図５に示す処理は、高周波強調部５１で行われる高周波強調処理（ステップＳ１）と、微細構造強調部５２で行われる微細構造強調処理（ステップＳ２）と、補正画像生成部５３で行われる補正画像生成処理（ステップＳ３）と、図示しない表示制御部で行われる表示制御処理（ステップＳ４）を含んでいる。なお、ステップＳ１とステップＳ２の処理は、時間的に並列に行われてもよい。また、ステップＳ２の処理が行われた後にステップＳ１の処理が行われてもよい。
画像処理装置２０は、ステップＳ１において高周波強調処理を開始すると、図６に示すように、まず、複数のフィルタを決定する（ステップＳ１１）。複数のフィルタの各々は、顕微鏡画像の高周波成分を低周波成分に対して相対的に強調する処理に用いられるフィルタである。これは、例えば、ハイパスフィルタ（ＨＰＦ）である。複数のフィルタは、異方性を有していることが望ましく、互いに異なっていることが望ましい。特に、複数のフィルタの基準となる方向が、互いに異なることが望ましい。換言すると、複数のフィルタは、互い異なる方向に対して指向性を有することが望ましい。これは、境界部分に生じるアーティファクト（ハロー）は境界形状に応じた方向に生じるからである。複数のフィルタが互い異なる方向に対して指向性を有することで、画像処理装置２０は、様々な境界形状で生じるアーティファクトに対処することが可能となる。
複数のフィルタにおける高周波成分と低周波成分を区画する境界周波数は、顕微鏡装置１０の特性、特に分解能に関する特性に応じて設計されていることが望ましい。このため、画像処理装置２０は、複数のフィルタを決定するときに、複数のフィルタの境界周波数を、例えば、顕微鏡装置１０のデジタルカメラ１１の画素ピッチに依存するナイキスト周波数に応じて決定してもよい。また、顕微鏡装置１０の位相差対物レンズ１４の開口数に依存するカットオフ周波数に応じて決定してもよい。その上で、画像処理装置２０は、決定した境界周波数を有するフィルタを高周波強調処理で使用するフィルタとして決定してもよい。また、境界周波数を例えば、ナイキスト周波数の半分としてもよく、カットオフ周波数の半分としてもよい。さらに、観察対象を観察するときの倍率によっても周波数が変化する。そのため、例えば、画像をフーリエ変換して周波数分布を求め、周波数分布のピークとなる周波数を境界周波数としてもよい。
複数のフィルタは、例えば、図７から図９に示すような、顕微鏡画像をフーリエ変換した画像に適用する周波数空間フィルタであってもよい。また、複数のフィルタは、顕微鏡画像に直接適用する実空間フィルタ（即ち、コンボリューション核又はカーネル）であっ
てもよい。周波数空間フィルタと実空間フィルタのどちらを使用するかは、フーリエ変換に要する時間などを考慮して決定してもよい。
なお、図７、図８、図９に示すｆｘ、ｆｙは、それぞれ、ｘ方向の周波数、ｙ方向の周波数を示している。また、図７、図８、図９の白い領域と黒い領域は、それぞれ、周波数成分を透過する領域と遮断する又は減衰させる領域を示している。複数のフィルタは、図７に示すように、フィルタＦ１、ファイルＦ２、フィルタＦ３の組み合わせであることが望ましい。又は、それらは、図８に示すように、フィルタＦ１１、ファイルＦ１２、フィルタＦ１３の組み合わせであってもよい。つまり、複数のフィルタは、３つ以上のフィルタであることが望ましい。ただし、複数のフィルタは、図９に示すように、それぞれが２方向以上に指向性を有する場合には、２つのフィルタ（フィルタＦ２１、フィルタＦ２２の組み合わせ）であってもよい。
さらに、複数のフィルタは、ウェーブレット変換や離散コサイン変換などの他の変換によって符号化された情報に適用されるものであってもよい。
複数のフィルタが決定されると、画像処理装置２０は、複数のフィルタの中から選択したフィルタを適用することでフィルタ画像を生成する（ステップＳ１２）。ここでは、フィルタが実空間フィルタの場合には、顕微鏡画像にそのフィルタを適用することで、フィルタ画像を生成する。また、フィルタが周波数空間フィルタの場合には、顕微鏡画像をフーリエ変換した画像にそのフィルタを適用する。そして、その結果を逆フーリエ変換することで、フィルタ画像を生成する。なお、画像処理装置２０は、顕微鏡画像に複数のフィルタを適用することで１つのフィルタ画像を生成してもよい。
さらに、画像処理装置２０は、全てのフィルタを適用したかを判定し（ステップＳ１３）、ステップＳ１１で決定した複数のフィルタ全てが適用されるまでステップＳ１２及びステップＳ１３を繰り返す。これにより、複数のフィルタ画像、より厳密には、複数のフィルタと同数である複数のフィルタ画像が生成される。
複数のフィルタ画像が生成されると、画像処理装置２０は、投影処理を行って高周波強調画像を生成する（ステップＳ１４）。ここでは、画像処理装置２０は、複数のフィルタ画像に基づく投影処理を行うことにより高周波強調画像を生成する。複数のフィルタ画像に基づく投影処理は、複数のフィルタ画像の互いに対応する複数の画素から１つの画素を生成することによって１枚の画像を生成する処理のことをいう。ここでは、生成される１枚の画像は高周波強調画像である。
複数のフィルタ画像に基づく投影処理は、複数のフィルタ画像を画素毎に加算することで１枚の画像を生成する処理であってもよく、複数のフィルタ画像を画素毎に重み付きで加算することで１枚の画像を生成する処理であってもよい。また、複数のフィルタ画像から画素毎に統計値（最大値、最小値、中央値、最頻値）を抽出することで１枚の画像を生成する処理であってもよい。例えば、画素毎に抽出した最大値を画素値として画像を構成することで、ハローのアンダーシュート（図１０における領域Ｒ２）を十分に抑制することができる。また、画素毎に抽出した最小値を画素値として画像を構成することで、ハローのオーバーシュート（図１０における領域Ｒ１）を十分に抑制することができる。なお、アンダーシュートとは、エッジ部分において実際の構造に対応する輝度よりも低い輝度が検出される事象をいう。オーバーシュートとは、エッジ部分において実際の構造に対応する輝度よりも高い輝度が検出される事象をいう。
このように、図６に示す高周波強調処理では、互いに異なる方向に指向性を有する複数のフィルタによって得られた複数のフィルタ画像を投影処理する。このことで、任意の方
向に生じるハロー（アーティファクト）を軽減することができる。なお、ステップＳ１４では、複数のフィルタ画像に加えて顕微鏡画像を投影処理の対象としてもよい。即ち、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく投影処理を行うことによって高周波強調画像を生成すればよい。
高周波強調処理が終了すると、画像処理装置２０は、微細構造強調処理を行う（ステップＳ２）。微細構造強調処理は、差分型のエッジ抽出処理であってもよく、零交差型のエッジ抽出処理であってもよい。差分型のエッジ抽出処理は、例えば、顕微鏡画像と顕微鏡画像を画素シフトした画像の差分演算であってもよい。画素シフト量は０より大きければ１画素未満でもよく、シフト方向も特に限定しない。また、差分型のエッジ抽出処理は、例えば、微分フィルタ、Robertsフィルタ、Sobelフィルタ、Prewittフィルタなどの１次
微分フィルタを用いた行列計算であってもよい。零交差型のエッジ抽出処理は、例えば、ラプラシアンフィルタなどの２微分フィルタを用いた行列計算であってもよい。なお、エッジ抽出処理では、差分型のエッジ抽出処理、零交差型のエッジ抽出処理のいずれの場合であっても、方向を変えて複数回繰り返し行うことで、任意の方向のエッジを抽出することが望ましい。また、標本Ｓの構造が一定の方向にのみ変化する場合には、その一定の方向に応じて微細構造強調処理で使用するフィルタを選択してもよい。
微細構造強調処理によって微細構造強調画像が生成されると、画像処理装置２０は、補正画像生成処理を行う（ステップＳ３）。ここでは、画像処理装置２０は、高周波強調画像と微細構造強調画像を合成して補正画像を生成する。より具体的には、画像処理装置２０は、高周波強調画像と微細構造強調画像を加算してもよく、高周波強調画像と微細構造強調画像を重み付けして加算してもよい。
補正画像が生成されると、画像処理装置２０は、表示制御処理を行う（ステップＳ４）。ここでは、補正画像生成処理によって補正画像が生成されると、画像処理装置２０は、補正画像を表示装置３０に表示させる。画像処理装置２０は、表示装置３０に、補正画像のみを表示させてもよく、補正画像に加えて補正前の画像（顕微鏡画像）を表示させてもよい。画像処理装置２０は、例えば、図１１に示すように、補正前後の画像（画像３０３、画像３０４）を並べて表示させてもよい。これにより、ハロー軽減効果と微細構造の復元効果を容易に確認することができる。また、画像処理装置２０は、例えば、図１２に示すように、補正前後の画像を重ねて１枚の画像３０５として表示させてもよい。これにより、補正によって画像に位置ずれが生じたか否かを確認することができる。なお、補正前後の画像を異なる色で表示することでさらに容易に位置ずれの有無を確認することができる。
なお、図１１及び図１２は、全体画像３０１中の注目領域３０２の補正画像を表示する例を示している。このように顕微鏡装置１０で取得した画像の一部分に対して画像処理を行うことで、より早期に画像処理結果を得ることが可能となる。
［第２の実施形態］
図１３は、高周波強調処理のフローチャートの一例である。本実施形態では、画像処理装置２０は、図６に示す高周波強調処理の代わりに、図１３に示す高周波強調処理を行う。
画像処理装置２０は、図１３に示す高周波強調処理を開始すると、複数のフィルタを決定し（ステップＳ２１）、その複数のフィルタを用いて複数のフィルタ画像を生成する（ステップＳ２２、ステップＳ２３）。ステップＳ２１からステップＳ２３の処理は、図６のステップＳ１からステップＳ３の処理と同様である。
その後、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく第１の投影処理を行うことによって第１の高周波強調画像を生成する（ステップＳ２４）。この処理は、例えば、図６のステップＳ４と同じであってもよい。
さらに、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく第２の投影処理を行うことによって第２の高周波強調画像を生成する（ステップＳ２５）。ここで、第２の投影処理は、第１の投影処理とは異なる処理であればよい。
なお、第１の投影処理が、複数のフィルタ画像から画素毎に最大値を抽出することで第１の高周波強調画像を生成する処理の場合には、第２の投影処理は、複数のフィルタ画像から画素毎に最小値を抽出することで第２の高周波強調画像を生成する処理であることが望ましい。これにより、高周波強調画像である第１の高周波強調画像及び第２の高周波強調画像がその後微細構造強調画像に合成されることになる。このため、本実施形態では、画像処理装置２０によってアンダーシュートとオーバーシュートの両方を軽減した補正画像を得ることが可能となる。従って、第１の実施形態と比較して、観察試料と背景との境界部分に生じるハローによる微細構造に対する解像力の低下をさらに抑制することができる。
［第３の実施形態］
図１４は、本実施形態において画像処理装置２０が行う処理のフローチャートの一例である。画像処理装置２０は、図１４に示す処理が開始されると、高周波強調処理、微細構造強調処理、補正画像生成処理、表示制御処理を行う（ステップＳ３１からステップＳ３４）。これらの処理は、図５のステップＳ１からステップＳ４の処理と同様である。
本実施形態では、画像処理装置２０は、表示制御処理後に、軽減率算出処理を行う（ステップＳ３５）。ここでは、画像処理装置２０は、顕微鏡画像と補正画像に基づいて、補正画像に含まれるハローの軽減率を算出する。より具体的には、画像処理装置２０は、例えば、顕微鏡画像と補正画像から境界部分近傍の画像を抽出して比較することで、ハローの軽減率を算出してもよい。境界部分近傍は、例えば、微細構造強調画像を用いて特定してもよい。なお、軽減率は、例えば、以下のように算出可能である。図１０の左側の輝度が高い部分を観察試料内とし、輝度が低い部分を背景部分として説明する。画像処理前の観察試料内の平均輝度からハローによって上振れしたオーバーシュート部分の最大輝度までの輝度差をオーバーシュート量Ａとする。画像処理前の背景部分の平均輝度から下振れしたアンダーシュート部分の最小輝度までの輝度差をアンダーシュート量Ｂとする。図１４のステップＳ３１からステップＳ３３までの画像処理によってハローが軽減された場合のオーバーシュート量をＡ´とし、アンダーシュート量をＢ´とする。このとき、軽減率は、（（Ａ＋Ｂ）－（Ａ´＋Ｂ´））／（Ａ＋Ｂ）で表される。なお、オーバーシュートのみの軽減率は（Ａ－Ａ´）／Ａと表すことができ、アンダーシュートのみの軽減率は（Ｂ－Ｂ´）／Ｂと表すことができる。
画像処理装置２０は、軽減率に基づいて、ハローが軽減されたか否かを判定する（ステップＳ３５）。この判定は、例えば、軽減率と予め決められた閾値又は閾値範囲とを比較することによって行われてもよい。ステップＳ３５でハローが軽減されたと判定した場合には、画像処理装置２０は、図１４に示す処理を終了する。
画像処理装置２０は、ステップＳ３５でハローが軽減されていないと判定した場合には（ステップＳ３６ＮＯ）、画像処理装置２０は、画像処理のパラメータを調整する（ステップＳ３７）。その後、ステップＳ３１からステップＳ３６の処理を繰り返す。パラメータの調整は、利用者の入力に基づいて画像処理装置２０が行ってもよく、利用者の入力なしで画像処理装置２０が行ってもよい。調整対象の画像処理のパラメータは、高周波強調
処理で用いられるパラメータ、微細構造強調処理で用いられるパラメータ、及び、補正画像生成処理で用いられるパラメータを含んでいる。画像処理装置２０は、これらのパラメータの少なくとも１つを変更する。
高周波強調処理で用いられるパラメータは、例えば、ハイパスフィルタのフィルタ係数を算出するときに使用される窓関数、ハイパスフィルタのカットオフ周波数などである。また、微細構造強調処理で用いられるパラメータは、例えば、画素シフト量、画素シフト方向などである。また、補正画像生成処理で用いられるパラメータは、例えば、重み係数などである。なお、パラメータは、上記の例に限らない。また、繰り返し処理の途中から新たなパラメータを導入してもよい。
本実施形態では、画像処理装置２０は、ハローが軽減されていないと判定した場合には、パラメータを調整して補正画像を再生する。そして、ハローが軽減されたと判定するまで処理が繰り返し行われる。従って、ハローをより確実に軽減することができる。
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、高周波強調処理でアーティファクトそのものを軽減し、さらに、微細構造強調処理で保存した微細構造を付加することで、アーティファクトによる微細構造に対する解像力の低下を抑制する例を示した。しかしながら、高周波強調処理によって微細構造の情報が失われない場合には、図１５に示すように、微細構造強調処理を省略してもよい。この場合も、例えば、第２の実施形態に示すように、高周波強調処理が複数の投影処理を含む場合に、微細構造に対する解像力の低下をさらに抑制することができる。
なお、図１５には、入力装置が顕微鏡画像に生じたアーティファクトの軽減を指示する情報を画像処理装置２０に入力した場合にのみ（ステップＳ４１ＹＥＳ）、高周波強調画像を生成する例が示されている。これにより、アーティファクトの軽減が必要とされる場合にのみ画像処理を行うことができる。例えば、蛍光画像が顕微鏡画像として入力された場合には画像処理を省略することで蛍光画像を素早く表示することができる。
また、上述した実施形態では、画像処理装置２０が、表示装置３０に位相差画像を表示させる例を示した。しかし、画像処理装置２０は、図１６及び図１７に示すように、表示装置３０に位相差画像に加えて蛍光画像を表示させてもよい。この場合、位相差画像は補正画像であることが望ましい。これにより、利用者は、標本Ｓの構造とともに、蛍光色素で染色した部分の空間分布を確認することができる。なお、図１６は、画像処理装置２０が表示装置３０に位相差画像である補正画像（画像３０４）と蛍光画像（画像３０６）を並べて表示させた例である。図１７は、画像処理装置２０が表示装置３０に補正画像と蛍光画像とを重ねた画像３０７を表示させた例である。
また、上述した実施形態では、位相差画像に対して画像処理装置２０が画像処理を行う例を示した。しかし、画像処理装置２０は、位相差画像の代わりに、偏斜照明で取得した明視野画像に対して画像処理を行ってもよい。この場合も、アーティファクトによる微細構造に対する解像力の低下を抑制することができる。
なお、デジタルカメラ１１が単板式のカラーカメラの場合には、ＲＧＢの情報のうちの
Ｇの情報に対し、上述した画像処理を行うことが望ましい。一般的に単板式のカラーカメラでは、空間情報はＧの情報のみが用いられているからである。これにより、画像処理される前のカラー情報と画像処理された空間情報の組み合わせで、高いＳ／Ｎ比を実現することができる。また、デジタルカメラ１１が三板式のカラーカメラの場合には、ＲＧＢのそれぞれの情報に対して上述した画像処理を行ってもよい。
１ 顕微鏡システム
１０ 顕微鏡装置
１１ デジタルカメラ
１２ 蛍光フィルタキューブ
１３ ターレット
１４ 位相差対物レンズ
１５ 対物レンズ
１６ ステージ
１７ 位相差コンデンサ
１８，１９ 光源
２０ 画像処理装置
２１ プロセッサ
２２ メモリ
２３ 補助記憶装置
２４ 媒体駆動装置
２５ Ｉ／Ｏインタフェース
２６ バス
２７ 可搬記憶媒体
３０ 表示装置
４１ キーボード
４２ マウス
５０ 画像強調部
５１ 高周波強調部
５２ 微細構造強調部
５３ 補正画像生成部
３００ａ～３００ｄ、３０１～３０７ 画像
Ｃ 細胞
Ｆ１～Ｆ３、Ｆ１１～Ｆ１３、Ｆ２１，Ｆ２２ フィルタ
Ｒ１、Ｒ２ 領域
Ｓ 標本

Claims (14)

  1. 顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成することと、
    前記２つの画像を合成した補正画像を生成することと、を含み、
    前記２つの画像を生成することは、
    前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成することと、
    前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成することと、を含み、
    前記微細構造強調画像を生成することはエッジ抽出処理を含む
    ことを特徴とする画像処理方法。
  2. 請求項１に記載の画像処理方法において、
    前記高周波強調画像を生成することは、
    異方性を有する、互いに異なる複数のフィルタを決定することと、
    前記複数のフィルタの各々を前記顕微鏡画像に適用することで複数のフィルタ画像を生成することと、
    少なくとも前記複数のフィルタ画像に基づく投影処理を行うことによって前記高周波強調画像を生成することと、を含む
    ことを特徴する画像処理方法。
  3. 請求項１に記載の画像処理方法において、
    前記高周波強調画像を生成することは、
    異方性を有する、互いに異なる複数のフィルタを決定することと、
    前記複数のフィルタの各々を前記顕微鏡画像に適用することで複数のフィルタ画像を生成することと、
    少なくとも前記複数のフィルタ画像に基づく第１の投影処理を行うことによって第１の高周波強調画像を生成することと、
    少なくとも前記複数のフィルタ画像に基づく第２の投影処理を行うことによって第２の高周波強調画像を生成することと、を含み、
    前記第２の投影処理は、前記第１の投影処理とは異なり、
    前記高周波強調画像は、前記第１の高周波強調画像と前記第２の高周波強調画像を含む
    ことを特徴する画像処理方法。
  4. 請求項２又は請求項３に記載の画像処理方法において、
    前記複数のフィルタは、前記顕微鏡画像を生成する顕微鏡装置の特性に基づいて決定される
    ことを特徴する画像処理方法。
  5. 請求項１乃至請求項４のいずれか１項に記載の画像処理方法において、
    前記顕微鏡画像は、位相差顕微鏡で取得した位相差画像である
    ことを特徴とする画像処理方法。
  6. 請求項１乃至請求項５のいずれか１項に記載の画像処理方法において、さらに、
    前記顕微鏡画像と前記補正画像に基づいて、前記補正画像に含まれるアーティファクトの軽減率を算出することと、
    前記軽減率に基づいて、前記アーティファクトが軽減されたか否かを判定することと、
    前記アーティファクトが軽減されていないと判定した場合に、前記２つの画像を生成する処理で用いられるパラメータの少なくとも一つを変更して前記補正画像を再生成する
    ことを特徴とする画像処理方法。
  7. 顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成し、
    前記２つの画像を合成した補正画像を生成し、
    前記２つの画像を生成することは、
    前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成することと、
    前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成することと、を含み、
    前記微細構造強調画像を生成することはエッジ抽出処理を含む
    処理をコンピュータに実行させることを特徴とするプログラム。
  8. 顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、
    前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含み、
    前記画像強調処理部は、
    前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成し、
    前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成し、
    前記微細構造強調画像を生成することはエッジ抽出処理を含む
    ことを特徴とする画像処理装置。
  9. 請求項８に記載の画像処理装置と、
    前記補正画像を表示する表示装置と、を含む
    ことを特徴とする画像処理システム。
  10. 請求項９に記載に画像処理システムにおいて、さらに、
    前記画像処理装置は、前記表示装置に、前記補正画像と前記顕微鏡画像とを重ねて又は並べて表示させる
    ことを特徴とする画像処理システム。
  11. 請求項８に記載の画像処理装置と、
    前記顕微鏡画像を取得する顕微鏡装置と、を含む
    ことを特徴とする顕微鏡システム。
  12. 請求項１１に記載に顕微鏡システムにおいて、
    前記顕微鏡装置は、前記顕微鏡画像として位相差画像を取得する位相差顕微鏡を含む
    ことを特徴とする顕微鏡システム。
  13. 請求項１２に記載に顕微鏡システムにおいて、
    前記顕微鏡装置は、蛍光画像を取得する蛍光顕微鏡を含む
    ことを特徴とする顕微鏡システム。
  14. 請求項１３に記載に顕微鏡システムにおいて、さらに、
    表示装置を備え、
    前記画像処理装置は、前記表示装置に、前記蛍光画像と前記補正画像とを重ねて又は並べて表示させる
    ことを特徴とする顕微鏡システム。
JP2019089555A 2019-05-10 2019-05-10 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム Active JP7280107B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019089555A JP7280107B2 (ja) 2019-05-10 2019-05-10 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
PCT/JP2020/018743 WO2020230747A1 (ja) 2019-05-10 2020-05-08 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
US17/518,916 US11892615B2 (en) 2019-05-10 2021-11-04 Image processing method for microscopic image, computer readable medium, image processing apparatus, image processing system, and microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019089555A JP7280107B2 (ja) 2019-05-10 2019-05-10 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム

Publications (3)

Publication Number Publication Date
JP2020187160A JP2020187160A (ja) 2020-11-19
JP2020187160A5 JP2020187160A5 (ja) 2022-05-11
JP7280107B2 true JP7280107B2 (ja) 2023-05-23

Family

ID=73220983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019089555A Active JP7280107B2 (ja) 2019-05-10 2019-05-10 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム

Country Status (3)

Country Link
US (1) US11892615B2 (ja)
JP (1) JP7280107B2 (ja)
WO (1) WO2020230747A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023007920A1 (ja) * 2021-07-29 2023-02-02 株式会社島津製作所 画像処理方法および画像処理装置
CN115032780B (zh) * 2022-05-25 2024-01-26 北京理工大学 组织病理图片的快速处理系统及其工作方法
CN119444614B (zh) * 2025-01-09 2025-07-18 元途人工智能(杭州)有限公司 一种基于fpga的图像细节增强方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130866A (ja) 2001-10-26 2003-05-08 Hitachi High-Technologies Corp 標本中の微小領域測定装置及び方法
JP2007328134A (ja) 2006-06-08 2007-12-20 Nikon Corp 観察装置、および観察プログラム
US20090220169A1 (en) 2008-02-28 2009-09-03 Microsoft Corporation Image enhancement

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04294467A (ja) * 1991-03-22 1992-10-19 Hitachi Ltd 画像処理装置
JP2000327105A (ja) 1999-05-21 2000-11-28 Fuji Car Mfg Co Ltd 塵芥収集車
JP4370636B2 (ja) 1999-06-01 2009-11-25 株式会社ニコン 位相差観察装置
US9942534B2 (en) * 2011-12-20 2018-04-10 Olympus Corporation Image processing system and microscope system including the same
JP5941674B2 (ja) * 2011-12-28 2016-06-29 オリンパス株式会社 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
CA2944831C (en) * 2014-05-30 2019-12-31 Ventana Medical Systems, Inc. An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
AU2014280898A1 (en) * 2014-12-23 2016-07-07 Canon Kabushiki Kaisha Reconstruction algorithm for Fourier Ptychographic imaging
JP6164238B2 (ja) * 2015-03-18 2017-07-19 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
US10223772B2 (en) * 2016-03-22 2019-03-05 Algolux Inc. Method and system for denoising and demosaicing artifact suppression in digital images
WO2017196885A1 (en) * 2016-05-10 2017-11-16 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
JP2018013738A (ja) * 2016-07-22 2018-01-25 株式会社キーエンス 拡大観察装置
EP3702779A4 (en) * 2017-10-26 2021-01-06 Konica Minolta, Inc. IMAGE PROCESSING DEVICE, METHOD FOR DETERMINING THE FOCUSING POSITION AND PROGRAM FOR DETERMINING THE FOCUSING POSITION
US10949959B2 (en) * 2019-02-18 2021-03-16 Samsung Electronics Co., Ltd. Processing image data in a composite image
EP4047408A4 (en) * 2019-11-22 2022-12-28 Sony Group Corporation IMAGE PROCESSING METHOD, DEVICE AND SYSTEM
US20210182531A1 (en) * 2019-12-17 2021-06-17 Applied Materials, Inc. Registration techniques for multiplexed fluorescence in-situ hybridization images
DE102020113313A1 (de) * 2020-05-15 2021-11-18 Carl Zeiss Microscopy Gmbh Verfahren, computerprogramm und mikroskopsystem zum verarbeiten von mikroskopbildern
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
US11727540B2 (en) * 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
DE102021100444A1 (de) * 2021-01-12 2022-07-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE102021203187B3 (de) * 2021-03-30 2022-02-24 Carl Zeiss Meditec Ag Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
EP4198601B1 (en) * 2021-12-16 2025-08-27 Leica Microsystems CMS GmbH Fluorescence microscope system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003130866A (ja) 2001-10-26 2003-05-08 Hitachi High-Technologies Corp 標本中の微小領域測定装置及び方法
JP2007328134A (ja) 2006-06-08 2007-12-20 Nikon Corp 観察装置、および観察プログラム
US20090220169A1 (en) 2008-02-28 2009-09-03 Microsoft Corporation Image enhancement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mikhail E. Kandel et al.，Real-time halo correction in phase contrast imaging，Biomedical Optics Express，2018年02月01日，Vol. 9, No. 2，p. 623-635

Also Published As

Publication number Publication date
US20220057620A1 (en) 2022-02-24
JP2020187160A (ja) 2020-11-19
WO2020230747A1 (ja) 2020-11-19
US11892615B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
Kwon et al. Controllable image restoration for under-display camera in smartphones
US11892615B2 (en) Image processing method for microscopic image, computer readable medium, image processing apparatus, image processing system, and microscope system
IES20060558A2 (en) Image blurring
JP5451319B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN104954710B (zh) 影像处理装置和使用它的投影仪装置
JP7105990B2 (ja) 局所的信号対ノイズ比を用いたデコンボリューション装置およびデコンボリューション方法
CN110415193A (zh) 煤矿低照度模糊图像的复原方法
JP6087612B2 (ja) 画像処理装置および画像処理方法
US8648942B2 (en) Method of and apparatus for processing images using saturation functions
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
KR102195047B1 (ko) 3d이미지 품질을 향상시키는 방법과 장치
CA2820005A1 (en) Method and apparatus for simulating depth of field (dof) in microscopy
JP2012003455A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5968088B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2020201694A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2022113367A1 (ja) 画像変換方法、プログラム、画像処理装置
Karaduzovic-Hadziabdic et al. Subjective and objective evaluation of multi-exposure high dynamic range image deghosting methods
WO2005059833A1 (ja) 輝度補正装置および輝度補正方法
JP5676972B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
Wang et al. Exposure fusion based on steerable pyramid for displaying high dynamic range scenes
Liu et al. An adaptive tone mapping algorithm based on gaussian filter
CN113808038A (zh) 图像处理方法、介质及电子设备
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230511

R151 Written notification of patent or utility model registration

Ref document number: 7280107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250