JP5355259B2

JP5355259B2 - 顕微鏡システム、観察画像補正プログラム、及び観察画像補正方法

Info

Publication number: JP5355259B2
Application number: JP2009158223A
Authority: JP
Inventors: 祐一朗橋本; 貴米山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-09-16
Filing date: 2009-07-02
Publication date: 2013-11-27
Anticipated expiration: 2029-07-02
Also published as: JP2010098719A

Description

本発明は、顕微鏡で撮影された観察画像についての画像処理技術に関する。

蛍光観察は、強い励起光を照射して細胞内の特定の分子のみを選択的に可視化する特殊な観察である。蛍光観察の特徴は、微弱光を検出・撮影することである。そのため、標本（細胞）と標本が存在しない部分（背景）とを明確にするために、ブラックバランス補正を行うことが多々ある。ブラックバランス補正は、観察画像から背景の輝度を差し引くことにより背景を黒くし、標本蛍光部位を取得する画像処理技術である。ブラックバランス補正の補正値（全体画像から差し引く輝度値）は、従来ユーザが自ら背景画像範囲を領域指定する作業があった。そのため、画像撮影毎に背景画像範囲を領域指定をしなければ、適切な画像は取得できなかった。したがって、作業性が悪く、非常に煩雑な作業をしなければならない。

ところで、顕微鏡観察画像の補正に関する従来技術として、特許文献１、特許文献２、特許文献３がある。
特許文献１では、動画に対して任意の露出補正を設定することができるとともに、安定した露出精度を得られる顕微鏡用撮像装置が開示されている。

特許文献２では、顕微鏡用撮像装置において操作者が観察画像の特定の領域にホワイトバランス補正、もしくはブラックバランス補正を指定したときに、その指定領域が補正に適切か否かを輝度平均値によって判断し、不適切であった場合には適切な補正値に置き換えるため、操作者が誤って標本内の領域を指定した際の不自然な着色を防止する顕微鏡用撮像装置が開示されている。

特許文献３では、顕微鏡用撮像装置の動画撮影およびタイムラプス撮影等において、標本の変化を検出し、検出結果に応じてコントロールする顕微鏡用撮像装置が開示されている。

特開２００３−１６３８３３号公報特開２００４−８６０３１号公報特開２００６−２１５２６０号公報

特許文献１では、輝度値を用いてモニタに表示される標本と非標本を明確している。しかし、特許文献１の主目的はＡＥ（ＡｕｔｏｍａｔｉｃＥｘｐｏｓｕｒｅ）の最適化であり、必要ない輝度成分を自動的に削除していない。

特許文献２では、ブラックバランス補正を行っている。しかしながら、特許文献２では、ユーザが観察画像内からブラックバランス補正対象の領域を選択しており、自動的にブラックバランス補正を行っていない。

特許文献３では、タイムラプスまたは動画における撮影効率化が主目的であり、カメラの画像調整処理過程においてブラックバランス補正を用いている。しかしながら、特許文献３には、その処理について具体的に開示されていない。

以上のように画像撮影するためには、ユーザに背景選択してもらうことが前提条件であり、作業性の効率化の観点からは解決されていない。
上記課題に鑑み、本発明では、観察画像の輝度分布における高輝度変位点と低輝度変位点との輝度値の差分に応じて、ブラックバランス補正を行う顕微鏡システムを提供する。

本発明にかかる顕微鏡システムは、観察像を取得する顕微鏡装置と、前記顕微鏡装置を介して観察画像を撮像する撮像手段と、前記観察画像についての輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出する輝度変位点検出手段と、前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定する補正値決定手段と、前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行う画像補正手段と、前記補正された観察画像を出力する出力手段と、を備えることを特徴とする。

前記観察画像は、蛍光観察画像であることを特徴とする。また、前記出力手段は、表示装置または印刷装置であることを特徴とする。
前記顕微鏡システムは、さらに、前記顕微鏡装置の観察方法の選択ができる場合、該観察方法の選択情報を通知する観察方法通知手段と、前記選択情報に基づいて、選択された観察方法が蛍光観察か否かを判別する検鏡方法判別手段と、を備え、選択された観察方法が蛍光観察であると前記検鏡方法判別手段により判別された場合、前記輝度ヒストグラム生成手段は前記撮像手段より前記観察画像を取得することを特徴とする。

前記顕微鏡システムは、さらに、前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させる輝度ヒストグラム拡張手段と、を備えることを特徴とする。

前記顕微鏡システムは、さらに、前記補正された観察画像の輝度ヒストグラムを伸張する輝度ヒストグラム伸張手段と、を備えることを特徴とする。

本発明にかかる、観察像を取得する顕微鏡装置を介して、撮像装置により撮像された観察画像について補正を行う処理をコンピュータに実行させる観察画像補正プログラムは、前記観察画像についての輝度ヒストグラムを生成する輝度ヒストグラム生成処理と、前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出する輝度変位点検出処理と、前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定する補正値決定処理と、前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行う画像補正処理と、前記補正された観察画像を出力する出力処理と、をコンピュータに実行させることを特徴とする。

前記観察画像補正プログラムは、さらに、前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させるヒストグラム拡張処理と、をコンピュータに実行させることを特徴とする。

前記観察画像補正プログラムは、さらに、前記補正された観察画像の輝度ヒストグラムを伸張する輝度ヒストグラム伸張処理と、をコンピュータに実行させることを特徴とする。

本発明にかかる、観察像を取得する顕微鏡装置を介して、撮像装置により撮像された観察画像について補正を行う観察画像補正方法は、前記観察画像についての輝度ヒストグラムを生成し、前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出し、前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定し、前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行い、前記補正された観察画像を出力することを特徴とする。

前記観察画像補正方法は、さらに、前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させることを特徴とする。

前記観察画像補正方法は、さらに、前記補正された観察画像の輝度ヒストグラムを伸張することを特徴とする。

本発明によれば、観察画像の輝度分布における高輝度変位点および低輝度変位点との輝度値の差分に応じて、ブラックバランス補正を行うことができる。

第1の実施形態における顕微鏡システムの全体構成を示す。第1の実施形態における画像処理制御部１０４の構成を示す。第1の実施形態における画像処理制御部１０４により行われる一連の処理を説明するための図である。第1の実施形態における画像処理制御部１０４による処理フローを示す。第２の実施形態における顕微鏡システムの全体構成を示す。第２の実施形態における画像処理制御部１０４の構成を示す。第２の実施形態における画像処理制御部１０４による処理フローを示す。第３の実施形態における画像処理制御部１０４の構成を示す。第３の実施形態における画像処理制御部１０４による処理フローを示す。第３の実施形態における輝度分布拡張部２０５により行われる一連の処理を説明する図である。第３の実施形態における輝度分布拡張部２０６により行われる一連の処理を説明する図である。

本発明の実施形態にかかる顕微鏡システムは、顕微鏡装置、撮像手段、輝度分布生成手段、輝度変位点検出手段、補正値決定手段、画像補正手段、出力手段を備える。
顕微鏡装置は、観察像を取得する。顕微鏡装置は、本発明の実施形態で言えば、顕微鏡１０１に相当する。

撮像手段は、前記顕微鏡装置を介して観察画像を撮像する。撮像手段は、例えば本発明の実施形態で言えば、撮影部１０２に相当する。観察画像は、例えば蛍光観察画像である。

輝度分布生成手段は、前記観察画像についての輝度分布を生成する。輝度分布生成手段は、例えば本発明の実施形態で言えば、輝度分布取得部２０１に相当する。
輝度変位点検出手段は、前記輝度分布における変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出する。輝度変位点検出手段は、例えば本発明の実施形態で言えば、輝度変位点検出部２０２に相当する。

補正値決定手段は、前記輝度分布における前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、該差分に応じて、前記低輝度変位点の輝度値を補正値として決定する。ここで、補正値決定手段は、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定する。補正値決定手段は、例えば本発明の実施形態で言えば、補正範囲判定部２０３に相当する。

画像補正手段は、前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行う。画像補正手段は、例えば本発明の実施形態で言えば、画像処理部１０３に相当する。

出力手段は、前記補正された観察画像を出力する。出力手段は、例えば本発明の実施形態で言えば、表示部１０５または印刷装置に相当する。
このように構成することにより、観察画像の輝度分布における高輝度変位点および低輝度変位点との輝度値の差分に応じて、ブラックバランス補正を行うことができる。また、観察画像を蛍光観察画像とした場合には、その効果をより顕著に得ることができる。また、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値Ｍ以上である場合に、補正値決定手段が補正値を決定して、画像補正手段を制御することにより、観察画像の輝度分布の分布範囲が狭い場合にブラックバランス補正を行うと観察画像全体が暗くなってしまうという弊害を防止することができる。

前記顕微鏡システムは、さらに、観察方法通知手段、検鏡方法判別手段を備えていてもよい。
観察方法通知手段は、前記顕微鏡の観察方法の選択ができる場合、該観察方法の選択情報を通知する。観察方法通知手段は、例えば本発明の実施形態で言えば、顕微鏡制御部１０６に相当する。

検鏡方法判別手段は、前記選択情報に基づいて、選択された観察方法が蛍光観察か否かを判別する。検鏡方法判別手段は、例えば本発明の実施形態で言えば、検鏡方法判別手段２０４に相当する。選択された観察方法が蛍光観察であると前記検鏡方法判別手段により判別された場合、輝度分布生成手段は前記撮像手段より前記観察画像を取得することができる。

このように構成することにより、観察方法が選択できる顕微鏡において、蛍光観察が選択された場合に、上記のブラックバランス補正を行うことができる。
前記顕微鏡システムは、さらに、輝度分布拡張手段を備えてもよい。輝度分布拡張手段は、前記生成される輝度分布の最大輝度値が第２の閾値（目標輝度値Ｂ_aim）で示される輝度値に到達するまで露出時間を調整することにより、該輝度分布輝度を拡張させる。輝度分布拡張手段は、例えば本発明の実施形態で言えば、輝度分布拡張部２０５に相当する。

このように構成することにより、露出時間を調整して、輝度分布を拡張することができる。
前記顕微鏡システムは、さらに、輝度分布伸張手段を備えてもよい。輝度分布伸張手段は、前記補正された観察画像の輝度分布を伸張する。すなわち、前記輝度分布伸張手段は、前記補正された観察画像の輝度分布を構成する各画素の輝度値に、１より大きく（該画素の最大輝度値／前記第２の閾値Ｂ_aimから前記補正値を差し引いた値）以下の値を乗じることにより、前記補正された観察画像の輝度分布を伸張する。

このように構成することにより、ブラックバランス補正された輝度分布を伸張させ高輝度および低輝度変位点の輝度値の間を離し、コントラストを上げることができる。
以下に、本発明の実施形態について詳述する。

＜第１の実施形態＞
本実施形態では、観察画像の輝度分布における高輝度変位点と低輝度変位点との輝度値の差分に応じて、ブラックバランス補正を行う顕微鏡システムについて説明する。

図１は、本実施形態における顕微鏡システムの全体構成を示す。顕微鏡システムは、顕微鏡１０１、撮影部１０２、画像処理部１０３、画像処理制御部１０４、表示部１０５からなる。

撮影部１０２は、顕微鏡１０１に設置されており、顕微鏡１０１で観察された観察画像の撮影を行う。画像処理部１０３は、撮影部１０２により撮影された観察画像に対して画像処理を施す。画像処理制御部１０４は、撮影部１０２により撮影された観察画像に基づいて、画像処理部１０３の制御を行う。表示部１０５は、画像処理部１０３から出力された観察画像の表示を行う。

図２は、本実施形態における画像処理制御部１０４の構成を示す。画像処理制御部１０４は、輝度分布取得部２０１、輝度変位点検出部２０２、補正範囲判定部２０３から構成される。これらの各構成要素について、図３を参照しながら説明する。

図３は、本実施形態における画像処理制御部１０４により行われる一連の処理を説明するための図である。輝度分布取得部２０１は、撮影部１０２により取得された観察画像（図３（ａ））の輝度情報に基づいて演算を行い、輝度分布（図３（ｂ））を生成する。

ここで、図３（ｂ）（ｃ）（ｄ）（ｅ）の輝度分布において、Ｘ軸（横軸）が輝度値、Ｙ軸（縦軸）がその輝度値を有する画素の数を示す。Ｘ軸において、右方向へ行くほど、輝度値が大きく、すなわち明るいことを示す。Ｙ軸において、上方向へ行くほど、その輝度値を有する画素の数が多いことを示す。なお、図３の輝度分布のいずれにも、２つの輝度のピークが存在する。

輝度変位点検出部２０２は、輝度分布取得部２０１により生成された輝度分布から高輝度変位点および低輝度変位点の検出を行う。すなわち、輝度変位点検出部２０２は、図３（ｃ）に示すように、高輝度変位点Ｐ１及びその輝度値ａ、低輝度変位点Ｐ２及びその輝度値ｂの検出を行う。

補正範囲判定部２０３は、輝度変位検出部２０２から得られた輝度変位点情報に基づいて、輝度分布内の高輝度変位点および低輝度変位点の輝度値間の距離ｄ＝（ａ−ｂ）を算出する。それから、この距離ｄがある定数Ｍ以上となる場合には、補正範囲判定部２０３は、画像処理部１０３に命令を出し、画像処理部１０３に、観察画像を構成する各画素の輝度値から低輝度変位点の輝度値分差し引く画像処理を実行させる。すなわち、図３（ｄ）に示すように、補正範囲判定部２０３は、画像処理部１０３を制御することにより、観察画像の輝度分布において輝度分布全体を輝度値ｂだけ左にシフトさせる処理、すなわちブラックバランス補正を行う。具体的には、観察画像を構成する画素それぞれについて、その画素の輝度値からｂを差し引く。これにより、輝度分布全体を輝度値ｂだけ左にシフトさせて、低輝度変位点を観察画像内で最も暗くすることができる。

このように画像処理制御部１０４を構成することにより、撮像した蛍光観察画像の表示段階にて、標本画像の輝度分布より適切なブラックバランス補正値を自動的に算出し、最適な蛍光画像を得ることができる。

図４は、本実施形態における画像処理制御部１０４による処理フローを示す。まず、画像処理制御部１０４は、観察画像を取得する（Ｓ１）。すなわち、顕微鏡１０１で観察された光学像は、撮影部１０２によって撮像されて観察画像として取得される。それから、輝度分布取得部２０１は、撮像部１０２から観察画像（図３（ａ））を取得する。

次に、画像処理制御部１０４は、その取得した観察画像を構成する輝度情報に基づいて演算を行い、輝度分布を生成する（Ｓ２）。すなわち、輝度分布取得部２０１は、撮影部１０２より取得された観察画像（図３（ａ））から、図３（ｂ）に示す輝度分布を生成する。

次に、画像処理制御部１０４は、輝度分布から高輝度変位点、低輝度変位点を検出する（Ｓ４）。すなわち、輝度変位点検出部２０２は、図３（ｂ）に示す輝度分布から図３（ｃ）に示す高輝度変位点Ｐ１及びその輝度値ａ、低輝度変位点Ｐ２及びその輝度値ｂの検出を行う。ここでは、高輝度のピークが高輝度変位点Ｐ１であり、その輝度値がａである。また、低輝度のピークが低輝度変位点Ｐ２であり、その輝度値がｂである。

なお、変位点が３つ以上存在する場合には、最も明るい輝度の変位点を高輝度変位点とし、最も暗い輝度の変位点を低輝度変位点とする。
次に、画像処理制御部１０４は、高輝度変位点と低輝度変位点の輝度値の間隔が閾値以上か判定する（Ｓ４）。すなわち、補正範囲判定部２０３は、輝度変位検出部２０２から得られた輝度変位点情報より輝度分布における高輝度変位点および低輝度変位点の間の輝度値についての距離ｄ＝（ａ−ｂ）が、定数Ｍ以上となるか判定する。補正範囲判定部２０３は、ｄ≧ＭならばＳ５に移行し、それ以外（ｄ＜Ｍ）ならばＳ６に移行する。

次に、画像処理制御部１０４は、観察画像の画素それぞれについて、その画素の輝度値から低輝度変位点の輝度値ｂを差し引く（Ｓ５）。すなわち、補正範囲判定部２０３は、画像処理部１０３に命令を出し、観察画像の画素それぞれについて、その画素の輝度値から低輝度変位点の輝度値ｂを差し引く。これにより、輝度分布全体を輝度値ｂだけ左にシフトさせることになるので（図３（ｃ）→（ｄ））、低輝度変位点の輝度値が輝度分布において最も暗くなる。このようにして、ブラックバランス補正を行うことができる。

その後、Ｓ５の処理結果を画像として、画像処理部１０３を介して表示部１０５に表示させる（Ｓ６）。
なお、Ｓ４にて輝度分布内の高輝度変位点および低輝度変位点の輝度値の距離ｄ＝（ａ−ｂ）が定数Ｍより小さい（ｄ＜Ｍ）と判断された場合には、Ｓ５の画像処理を行わずに表示部１０５に表示を行う（Ｓ６）。すなわち、補正範囲判定部２０３は、輝度変位検出部２０２から得られた輝度変位点の情報に基づいて、輝度分布内の高輝度変位点および低輝度変位点の間の輝度値についての距離ｄ＝（ａ−ｂ）が定数Ｍ未満であった場合は、図３（ｅ）に示すように高輝度変位点および低輝度変位点の輝度値の距離ｄ’が短いためにブラックバランス補正の実行をせず、画像処理部１０３を制御して未処理のまま観察画像を表示部１０５に表示させる。

このように、ｄ＜Ｍの場合にブラックバランス補正を行わない理由は、観察画像の輝度分布の分布範囲が狭く、高輝度変位点と低輝度変位点の輝度値の差が小さいため、輝度分布全体を輝度値ｂだけ左にシフトさせると、観察画像全体が暗くなってしまうためである。

本実施形態によれば、観察画像の輝度分布に基づいて、高輝度変位点および低輝度変位点の位置関係から自動的に必要ない背景情報を補正し、蛍光部位を明確に表示することができる。

＜第２の実施形態＞
本実施形態では、観察方法が選択できる顕微鏡システムにおいて、蛍光観察が選択された場合に、第1の実施形態を適用する顕微鏡システムについて説明する。

図５は、本実施形態における顕微鏡システムの全体構成を示す。同図は、図１の顕微鏡システムに、顕微鏡１０１を制御する顕微鏡制御部１０６を追加したものである。
顕微鏡制御部１０６は、顕微鏡を構成する電動ユニットの動作の制御、および顕微鏡の状態の検出をすることができる。観察者が不図示の操作部で顕微鏡の観察方法を選択した場合、その観察方法選択信号は顕微鏡制御部１０６に送られる。その場合、顕微鏡制御部１０６はその観察方法選択信号を画像処理制御部１０４へ伝達する。

ところで、蛍光観察の場合にはダイクロイックミラーが光路上に挿入される。また、明視野観察の場合には、光路上に光学素子がないかまたはハーフミラーがある。そこで、顕微鏡制御部１０６は、このような光路上に挿入される光学素子の有無を検知して、観察方法を判別し、その判別結果を前記観察方法選択信号として画像処理制御部１０４へ送信してもよい。

図６は、本実施形態における画像処理制御部１０４の構成を示す。同図は、図２の輝度分布取得部２０１の前段に、検鏡方法判別部２０４を追加したものである。検鏡方法判別部２０４の詳細については、図７で説明する。

図７は、本実施形態における画像処理制御部１０４による処理フローを示す。検鏡方法判別部２０４は、顕微鏡制御部１０６からの観察方法選択信号を受信すると、その観察方法選択信号に基づいて、選択された観察方法が蛍光観察か否かを判断する（Ｓ１１）。選択された観察方法が蛍光観察でない場合（Ｓ１１で「Ｎｏ」）、検鏡方法判別部２０４は、画像処理部１０３を制御して、撮影部１０２で撮像された観察画像を未処理のまま表示部１０５に表示させる（Ｓ６）。

選択された観察方法が蛍光観察の場合（Ｓ１１で「Ｙｅｓ」）、検鏡方法判別部２０４は、輝度分布取得部２０１は撮影部１０２からの画像信号を取得する。これ以降の処理は図４のＳ１以降の処理と同様であるので、その説明を省略する。

本実施形態によれば、蛍光顕微鏡だけでなく、観察方法が選択できる顕微鏡においても、第1の実施形態と同様の効果を得ることができる。
なお、第１及び第２の実施形態において、高輝度変位点および低輝度変位点の間の輝度値についての距離ｄに対する定数Ｍは、固定値またはユーザが入力する可変な値どちらでもよい。また、撮影対象の細胞の種類によって、定数Ｍの値を自動的に変更できるようにしてもよいし、またはユーザが入力できるようにしてもよい。また、表示部への画像の表示ついては、他のコントローラを介して表示する形式でもよいし、ＰＣ（パーソナルコンピュータ）を介して表示する形式でもよい。

また、本発明の実施形態では、蛍光観察法により撮像された観察画像について説明したが、これに限定されず、本実施形態を、明視野観察法、暗視野観察法、位相差観察法、または微分干渉観察法等の観察方法により撮像された観察画像について適用してもよい。

また、本発明の実施形態では、ブラックバランス補正をした画像を表示部に出力したが、プリンタ、記憶装置等の出力装置に出力してもよい。
＜第３の実施形態＞
第１の実施形態では、ブラックバランスを自動補正するために、画像の輝度分布から高輝度変位点と低輝度変位点の算出を行い、変位点に適切な差がある場合に低輝度変位点以下の輝度情報を削除した。しかしながら、この場合には、画像の輝度分布全体が低輝度側にシフトするので、画像全体が全体的に暗くなる。

そこで、本実施形態では、第１の実施形態におけるブラックバランスの自動補正を行う。すなわち、観察画像の輝度分布を露出調整して拡張した後に、第１の実施形態に係る輝度分布の高輝度変位点と低輝度変位点との輝度値の差分に基づいてブラックバランス補正を行い、その後、補正を行った輝度分布の伸張を行う顕微鏡システムを提供する。

以下に、本実施形態を詳述する。本実施形態に係る全体構成は、図１と同じである。なお、第１または第２の実施形態と同一の構成については、同一の符号を付して、その説明を省略する。

図８は、本実施形態における画像処理制御部１０４の構成を示す。図８は、図２において、輝度分布取得部２０１と輝度変位点検出部２０２の間に輝度分布拡張部２０５を追加し、補正範囲判定部２０３と画像処理部１０３の間に輝度分布伸張部２０６を追加したものである。

輝度分布拡張部２０５は、輝度分布取得部２０１が取得した輝度分布から最大輝度値を用いて所定の目標輝度値まで輝度分布を広げるために露出調整を行い、輝度分布を拡張する。

輝度分布伸張部２０６は、ブラックバランス補正された輝度分布の高輝度と低輝度の輝度値の間を離すために輝度分布を伸張する。すなわち、輝度分布伸張部２０６は、補正範囲判定部２０３で補正した輝度分布の最大輝度値Ｄ_maxが、最大階調値Ｂ_max（ｎビットで階調が表される場合、Ｂ_max＝２n−１）になるように、その輝度分布全体を輝度分布の横方向へ伸張する。例えば、８ビットで階調が表される場合、Ｂ_max＝２５５なので、輝度分布伸張部２０６は、補正範囲判定部２０３で補正した輝度分布の最大輝度値Ｄ_maxが輝度２５５になるようにその輝度分布全体を輝度分布の横方向へ伸張する。

図９は、本実施形態における画像処理制御部１０４による処理フローを示す。図９のフローは、図４のフローにＳ２１，Ｓ２２の処理を追加したものである。
Ｓ２１の処理では、輝度分布拡張部２０５は、ステップ３０２で得た輝度分布から、輝度分布の最大輝度値に着目して所定の目標輝度値まで輝度分布を広げるために露出調整を行う。露出時間を調整することで、輝度分布を拡張する。Ｓ２１の処理について、図１０を用いて説明する。

図１０は、本実施形態における輝度分布拡張部２０５により行われる一連の処理を説明する図である。図１０（ｃ−１）〜図１０（ｃ−３）は、図３（ｂ）に示した輝度分布の最大輝度値Ｄ_maxが、所定の目標輝度値Ｂ_aimに到達するまで輝度分布全体を横方向に広げるために露出調整を行った結果を示す。ここで、ｎビットで階調が表される場合、目標輝度値Ｂ_aimは、２n−１の５０％〜９５％の範囲内で、かつ観察画像内の背景と観察像とのコントラストが大きくなるような輝度値を設定するのが好ましい。

図１０（ｃ−１）は、露出時間をｅ１としたときの輝度分布を示す。図１０（ｃ−１）の輝度分布は、図３（ｂ）の輝度分布に最大輝度値Ｄ_maxを追記した状態である。ここでは、所定の目標輝度値（最大輝度値目標点）Ｂ_aimと輝度分布の最大輝度値Ｄ_maxが一致していない。

図１０（ｃ−２）は、露出調整を行い露出時間ｅ２（ここで、ｅ１＜ｅ２）としたときの輝度分布を示す。この場合は、図１０（ｃ−１）のときよりも観察像は明るくなるが、図１０（ｃ−２）でも輝度分布の最大輝度値Ｄ_maxが最大輝度値目標点Ｂ_aimに到達していないので、再度、露出調整を行う。

図１０（ｃ−３）は、露出調整を行い露出時間ｅ３（ここで、ｅ１＜ｅ２＜ｅ３）としたときの輝度分布を示す。図１０（ｃ−３）では、輝度分布の最大輝度値Ｄ_maxが、最大輝度値目標点Ｂ_aimと一致したので、観察像は適正な明るさとなり、輝度分布拡張部２０５による処理は完了する。

再び、図９のフローの説明に戻る。Ｓ２２の処理では、輝度分布伸張部２０６は、Ｓ５で得られたブラックバランス補正を伸張させるために最大輝度値を輝度２５５へ広げる。輝度分布の伸張は、高輝度変位点は明るくなり、低輝度変位点はブラックバランス補正した状態となる。Ｓ２２の処理について、図１１を用いて説明する。

図１１は、本実施形態における輝度分布拡張部２０６により行われる一連の処理を説明する図である。図１１の上側の輝度分布は、Ｓ５の補正処理後の輝度分布である。この場合、輝度分布に最大輝度値Ｄ_maxは、Ｂ_aim−ｂの位置にある。したがって、輝度値方向（横方向）の輝度分布全体の幅は、Ｂ_aim−ｂとなる。

図１１の下側の輝度分布は、Ｓ２１の輝度分布伸張処理後の輝度分布である。ここでは、Ｂ_aim−ｂの位置にある輝度分布の最大輝度値Ｄ_maxが、画素の最大階調値Ｂ_max（ｎビットで階調が表される場合、Ｂ_max＝２n−１）になるように、その輝度分布全体を輝度分布の横方向へ伸張する。すなわち、輝度値方向（横方向）について、図１１の上側の輝度分布を、Ｂ_max／（Ｂ_aim−ｂ）倍する。つまり、輝度分布を構成するＳ５の処理後の観察画像の各画素の輝度値にＢ_max／（Ｂ_aim−ｂ）を乗じる。

これにより、輝度分布伸張部２０６による処理は完了する。その結果、輝度分布上の高輝度変位点Ｐ１と低輝度変位点Ｐ２間の距離がＢ_max／（Ｂ_aim−ｂ）倍に伸張する。したがって、画像のコントラストを上げることができるので、ブラックバランス補正をした場合に全体的に暗い画像となることはない。

なお、輝度値方向（横方向）について、図１１の上側の輝度分布の伸張は、１より大きく｛Ｂ_max／（Ｂ_aim−ｂ）｝倍以下の範囲で伸張することができる。すなわち、輝度分布を構成するＳ５の処理後の観察画像の各画素の輝度値に１より大きく｛Ｂ_max／（Ｂ_aim−ｂ）｝以下の値を乗じることができる。

本実施形態によれば、第１の実施形態のブラックバランス補正の前処理としてＳ２１の処理、すなわち、取得画像の輝度分布の最大輝度値を用いて輝度分布を所定の目標輝度値まで露出調整して輝度分布を拡張する。その後に第１の実施形態のブラックバランス補正を行う。その後、さらに、ブラックバランス補正の後処理としてＳ２２の処理、すなわち、ブラックバランス補正された輝度分布を伸張させる。これにより、高輝度変位点および低輝度変位点の輝度値の間を離し、コントラストを上げることができる。

また、第３の実施形態は、第２の実施形態に適用してもよい。すなわち、図７において、処理Ｓ２と処理Ｓ３の間に処理Ｓ２１を追加し、処理Ｓ５の直後に処理Ｓ２２を追加してもよい。

第１〜第３の実施形態において、高輝度変位点および低輝度変位点の位置関係は、固定の値、またはユーザが入力する可変な値のどちらでもよい。一例として、実験にて事前に求められた高輝度変位点および低輝度変位点の輝度値の距離を距離・大中小テーブルから選択するか、または距離・大から小の範囲内で自由な値を入力するようにしてもよい。これにより、本発明の実施形態のブラックバランス補正が可能となる。

また、本実施形態において、撮影対象の波長またはミラーユニットの種類によって高輝度変位点及び低輝度変位点の位置関係の数値を自動的に変更、またはユーザが入力できるようにしてもよい。変位点の位置関係の数値を自動的に変更の一例としては、例えば、次のことが考えられる。実験にて事前に求められた高輝度変位点および低輝度変位点の関係が波長毎にテーブル化されている場合には、使用する波長に応じて、そのテーブルを切り替えて使うことにより、本実施形態のブラックバランス補正をすることができる。また、ユーザが自身で選択した波長の名前だけで高輝度変位点および低輝度変位点の位置関係が選択され、その選択された波長の名前に対応するテーブルに切り替えられることにより、本実施形態のブラックバランス補正をすることができる。また、ミラーユニットについても波長の例と同様に、実験にて事前に求められた高輝度変位点および低輝度変位点の関係がミラーユニット毎にテーブル化されており、使用するミラーユニットに応じてそのテーブルを切り替えるようにする。

また、観察時が長い露出時間の場合に所定の露出時間以上は、細胞褪色を回避するために、自動ブラックバランス補正を行わないようにしてもよい。また、所定の露出時間は固定の値、またはユーザが入力する可変な値のどちらでもよい。例えば、様々な露出時間が予めテーブルに設定されており、そのテーブルから任意に露出時間を選択するようにしてもよい。また、ユーザにより、決められた数値範囲内にて露出時間を選択または入力可能としてもよい。

また、露出調整において、通常は、ある一定の露出時間に収束（安定状態）する。しかし、露出調整にて露出時間が一定にならない場合、すなわち発振する場合（不安定状態）は、周期的に繰り返す露出時間の変化から収束する露出近傍を露出時間として強制的に採用してもよい。たとえば、発振する露出時間のうち、短い露出時間を採用してもよい。また、繰り返す露出時間から固定の値を採用してもよく、収束する露出近傍から露出時間を自動算出してもよい。また、ユーザが入力する可変な露出時間としてもよい（ただし、周期的に繰り返す露出時間内に限る）。例えば、様々な露出近傍の値が予めテーブルに設定されており、そのテーブルから任意に露出近傍の値を選択するようにしてもよい。また、ユーザにより、決められた数値範囲内にて露出近傍の値を選択または入力可能としてもよい。

なお、本発明の実施形態をプログラムとして提供することもできる。この場合、ＰＣは、ＣＰＵ（中央演算処理装置）、ＲＯＭ、ＲＡＭ、ハードディスクドライブ等を備えており、ＣＰＵによりハードディスクドライブにインストールされた本発明の実施形態にかかるプログラムが読み出されて、図４、図７、または図９のフローを実行するようにしてもよい。当該プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に格納されていてもよいし、ネットワークを介して提供されてもよい。また、本発明の実施形態で必要なデータはＲＯＭやハードディスク等に記憶されていてもよいし、ＣＤ−ＲＯＭ等の記憶媒体に格納されていてもよいし、ネットワークを介して提供されてもよい。

以上より、本発明によれば、観察画像の輝度分布の高輝度変位点と低輝度変位点との差分に応じてブラックバランス補正を適用することにより、観察対象部位を明確に表示することができる。したがって、適切な蛍光観察の観えを画像取得するために、自動的に必要ない背景情報を補正し、蛍光部位を明確にすることができる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。

１０１顕微鏡
１０２撮影部
１０３画像処理部
１０４画像処理制御部
１０５表示部
１０６顕微鏡制御部
２０１輝度分布取得部
２０２輝度変位点検出部
２０３補正範囲判定部
２０４検鏡方法判別部
２０５輝度分布拡張部
２０６輝度分布伸張部

Claims

観察像を取得する顕微鏡装置と、
前記顕微鏡装置を介して観察画像を撮像する撮像手段と、
前記観察画像についての輝度ヒストグラムを生成する輝度ヒストグラム生成手段と、
前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出する輝度変位点検出手段と、
前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定する補正値決定手段と、
前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行う画像補正手段と、
前記補正された観察画像を出力する出力手段と、
を備えることを特徴とする顕微鏡システム。
前記観察画像は、蛍光観察画像である
ことを特徴とする請求項１に記載の顕微鏡システム。
前記顕微鏡システムは、さらに、
前記顕微鏡装置の観察方法の選択ができる場合、該観察方法の選択情報を通知する観察方法通知手段と、
前記選択情報に基づいて、選択された観察方法が蛍光観察か否かを判別する検鏡方法判別手段と、
を備え、
選択された観察方法が蛍光観察であると前記検鏡方法判別手段により判別された場合、前記輝度ヒストグラム生成手段は前記撮像手段より前記観察画像を取得する
ことを特徴とする請求項１に記載の顕微鏡システム。
前記顕微鏡システムは、さらに、
前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させる輝度ヒストグラム拡張手段と、
を備えることを特徴とする請求項１に記載の顕微鏡システム。
前記顕微鏡システムは、さらに、
前記補正された観察画像の輝度ヒストグラムを伸張する輝度ヒストグラム伸張手段と、
を備えることを特徴とする請求項１〜４のうちいずれか１項に記載の顕微鏡システム。
観察像を取得する顕微鏡装置を介して、撮像装置により撮像された観察画像について補正を行う処理をコンピュータに実行させる観察画像補正プログラムであって、
前記観察画像についての輝度ヒストグラムを生成する輝度ヒストグラム生成処理と、
前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出する輝度変位点検出処理と、
前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定する補正値決定処理と、
前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行う画像補正処理と、
前記補正された観察画像を出力する出力処理と、
をコンピュータに実行させる観察画像補正プログラム。
前記観察画像補正プログラムは、さらに、
前記補正された観察画像の輝度ヒストグラムを伸張する輝度ヒストグラム伸張処理と、
をコンピュータに実行させる請求項６に記載の観察画像補正プログラム。
前記観察画像補正プログラムは、さらに、
前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させるヒストグラム拡張処理と、
をコンピュータに実行させる請求項６に記載の観察画像補正プログラム。
観察像を取得する顕微鏡装置を介して、撮像装置により撮像された観察画像について補正を行う観察画像補正方法であって、
前記観察画像についての輝度ヒストグラムを生成し、
前記輝度ヒストグラムにおける変位点のうち、最も明るい輝度の変位点を高輝度変位点として、最も暗い輝度の変位点を低輝度変位点として検出し、
前記輝度ヒストグラムにおける前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差を算出し、前記高輝度変位点の輝度値と前記低輝度変位点の輝度値の差分が第１の閾値以上である場合、前記低輝度変位点の輝度値を補正値として決定し、
前記決定結果に基づいて、前記観察画像を構成する各画素の輝度値から前記補正値を差し引く補正を行い、
前記補正された観察画像を出力する
ことを特徴とする観察画像補正方法。
前記観察画像補正方法は、さらに、
前記補正された観察画像の輝度ヒストグラムを伸張する
ことを特徴とする請求項９に記載の観察画像補正方法。
前記観察画像補正方法は、さらに、
前記生成される輝度ヒストグラムの最大輝度値が第２の閾値で示される輝度値に到達するまで露出時間を調整することにより、該輝度ヒストグラムを拡張させる
ことを特徴とする請求項９に記載の観察画像補正方法。