JP6594223B2 - 位相差顕微鏡および撮像方法 - Google Patents

Description

本発明は、液体中の観察対象を位相差計測する位相差顕微鏡およびその撮像方法に関するものである。

近年、幹細胞などの培養された透明な細胞を非染色に観察する方法として位相差計測が広く使われ始めている。そして、このような位相差計測を行うものとして位相差顕微鏡が使用されている。

一般的な位相差顕微鏡においては、リング状の照明光が観察対象に照射され、観察対象を通過した直接光と回折光が位相板に入射される。そして、直接光は位相板のリング部分によって減光され、回折光は位相板の透明な部分を通過し、この直接光と回折光とが結像されることによって明暗のコントラストのついた像を撮像することができる。

ここで、位相差顕微鏡によって培養液中の細胞などを観察する場合、培養液の表面張力の影響によって培養液の液面にメニスカスが形成される。そして、このメニスカスのレンズ作用によってリング状の照明光の光路がずれてしまい、位相板に入射される直接光と回折光とに影響を及ぼして明瞭な位相差画像が得られない問題がある。

このメニスカスによる光路ずれを補償するためには、メニスカスが形成する液面形状の情報が必要である。液面形状が分かっていれば補償することは可能であるが、メニスカスが形成する液面は、ウェルプレートなどの容器の表面の素材と容器内に収容される液体との関係から形成されるので、現実的にあり得るすべての組み合わせを考慮して補償することは難しい。また、同じウェル内であっても、ウェル内に収容される液体の種類および量並びにウェル内の表面の状態によって局所的に液面形状が異なるので、液面形状を１度計測すれば良い分けではなく、観察する度に液面形状を計測する必要がある。また、タイムラプス撮影を行う場合、溶液の蒸発により、容器内の水位が変化し、これによっても液面形状が変化する。

そこで、たとえば特許文献１においては、培養液の液面の複数位置に計測光を照射し、その計測光のズレ量を検出し、そのズレ量に基づいて、培養液の液面の形状を算出することが開示されている。

特開２０１５−１５２６５０号公報

しかしながら、特許文献１に記載の装置では、計測光を照射するための構成が必要となり、装置が大型化してコストアップになる問題がある。

本発明は、上記の問題に鑑み、液面の形状を求めるための新たな測定系を設けることなく、容器内の液体の液面形状を推定することができる位相差顕微鏡および撮像方法を提供することを目的とする。

本発明の位相差顕微鏡は、液体および観察対象が収容された容器に対して位相差計測用の照明光を照射する照明光照射部と、照明光を照射した観察対象を撮像する撮像部と、容器内の液体の液面形状に起因する照明光の屈折を調整する調整光学系と、撮像部によって撮像された観察対象の位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定する液面形状推定部と、液面形状推定部によって推定された液面形状に基づいて、調整光学系の光学特性を調整するための調整情報を取得する調整情報取得部とを備える。

また、上記本発明の位相差顕微鏡においては、調整情報取得部によって取得された調整情報に基づいて、調整光学系の光学特性を調整する調整光学系制御部を備えることができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、予め設定された液面形状を用いて幾何光学シミュレーションを行って取得された位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、互いに異なる曲率を有する、予め設定された複数の液面形状を用いてそれぞれ幾何光学シミュレーションを行って取得された複数の位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、幾何光学シミュレーションを用いて取得された位相差画像の輝度分布と撮像部によって撮像された位相差画像の輝度分布との相関関係を求めることによって、容器内の液体の液面形状を推定することができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、相関関数を用いて上記相関関係を求めることができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、幾何光学シミュレーションを用いて取得された位相差画像の輝度分布における変曲点の輝度値と撮像部によって撮像された位相差画像の輝度分布における変曲点の輝度値とに基づいて、相関関係を求めることができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、撮像部によって撮像された位相差画像上において、容器内に形成されるメニスカスの中心部分から容器の外周に向かって延びる少なくとも一つの直線を設定し、その設定した直線上の位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、互いに異なる複数の方向に延びる上記直線を設定し、その複数の直線上の位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することができる。

また、上記本発明の位相差顕微鏡において、液面形状推定部は、撮像部によって撮像された位相差画像に対して平滑化処理を施し、その平滑化処理の施された位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することができる。

本発明の撮像方法は、液体および観察対象が収容された容器に対して位相差計測用の照明光を照射して、観察対象の位相差画像を撮像し、その撮像した位相差画像の輝度分布に基づいて、液体の液面形状を推定し、その推定した液面形状に基づいて、容器内の液体の液面形状に起因する光の屈折を調整する調整光学系の光学特性を調整するための調整情報を取得し、その調整情報に基づいて、調整光学系の光学特性が調整された後、容器に対して照明光を照射し、照明光を照射した観察対象を撮像する。

本発明の位相差顕微鏡および撮像方法によれば、観察用の位相差画像を撮像する撮像部によって撮像された位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定するようにしたので、液面形状を推定するための新たな測定系を設けることなく、容器内の液体の液面形状を推定することができる。そして、その推定した液面形状に基づいて、調整光学系の光学特性を調整し、その後、観察対象の位相差画像の撮像を行うようにしたので、メニスカスの影響を抑制した位相差画像を撮像することができる。

本発明の位相差顕微鏡の一実施形態を用いた顕微鏡システムの概略構成を示す図 調整用光学素子の位置、光軸の回転および屈折力の調整を模式的に示す図 位相差画像に現れる明暗パターンの一例を示す図 メニスカスモデルＭに対してリング状照明光Ｎが入射した場合の光路ずれの算出方法の一例を説明するための図 対物レンズモデルにリング状照明光Ｎが入射する範囲ｄ_ｎａと平面Ａにおける光路ずれΔｘとの関係を示す図 幾何光学シミュレーションによって取得された位相差画像の輝度分布の一例を示す図 調整光学系による調整前に撮像部によって撮像された位相差画像の一例を示す図である。 幾何光学シミュレーションによって取得された位相差画像の輝度分布Ｇ１と、撮像部によって撮像された位相差画像の輝度分布Ｇ２の一例を示す図 本発明の位相差顕微鏡の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート メニスカスの中心部分から外周に向かって８本の直線Ｌ１〜Ｌ８を設定した例を説明するための図 位相差画像の輝度値Ｐ（ｘ）と、液面の傾斜角θとを対応づけたプロファイルの一例を示す図 図１１に示すプロファイルを用いて液面の傾斜角を算出する方法を説明するための図 液面の傾斜角の候補を複数存在する場合の傾斜角の決定方法を説明するための図

以下、本発明の位相差顕微鏡および撮像方法の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の顕微鏡システムの概略構成を示す図である。

本実施形態の顕微鏡システムは、図１に示すように、照明光照射部１０と、調整光学系２０と、結像光学系３０と、撮像部４０と、顕微鏡制御装置５０と、表示装置７０と、入力装置８０とを備えている。

本実施形態の顕微鏡システムにおいては、調整光学系２０と結像光学系３０との間に、ステージ６１が設けられており、このステージ６１上に、液体である培養液Ｃおよび観察対象Ｓが収容された培養容器６０が設置される。そして、本実施形態の顕微鏡システムは、Ｘ方向、Ｙ方向およびＺ方向にステージ６１を移動させるステージ駆動部６２を備えている。Ｘ方向およびＹ方向は、観察対象設置面Ｐに平行な面上において互いに直交する方向であり、Ｚ方向は、Ｘ方向およびＹ方向に直交する方向である。

本実施形態の顕微鏡システムにおいては、上述した照明光照射部１０、調整光学系２０、結像光学系３０、撮像部４０、ステージ６１、ステージ駆動部６２および結像光学系駆動部３４から位相差顕微鏡本体が構成され、顕微鏡制御装置５０は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。

照明光照射部１０は、培養容器６０内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。具体的には、本実施形態の照明光照射部１０は、白色光を出射する白色光源１１と、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２と、スリット板１２から射出されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３とを備えている。

スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。

なお、本実施形態においては、上述したようにスリット板１２を用いてリング状照明光を形成するようにしたが、リング状照明光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いてリング状照明光を形成するようにしてもよい。

また、本実施形態においては、位相差計測用照明光としてリング状照明光を用いるようにしたが、リング状以外の形状を有する照明光でもよく、後述する位相板と共役な形状となっていれば三角形状や四角形状などその他の形状でもよい。

ステージ６１上に設置された培養容器６０は、その底面が観察対象設置面Ｐであり、観察対象設置面Ｐには観察対象Ｓとして細胞群などが配置される。培養容器６０内には培養液Ｃが満たされており、この培養液Ｃの液面には、凹形状のメニスカスが形成される。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレートなどがある。ウェルプレートの場合、各ウェルに観察対象Ｓおよび培養液Ｃが収容され、ウェル毎にメニスカスが形成される。

また、本実施形態においては、培養液中で培養される細胞群を観察対象Ｓとしたが、観察対象Ｓとしてはこのような培養中のものに限らず、水、ホルマリン、エタノール、およびメタノールなどの液体中において固定された細胞を観察対象Ｓとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。

調整光学系２０は、上述したメニスカスの液面形状に起因する位相差計測用の照明光の屈折を調整するものである。本実施形態の調整光学系２０は、調整用光学素子２１と、調整光学系駆動部２２とを備えている。

調整用光学素子２１は、屈折力を有する光学素子であり、具体的には、入射面または出射面に曲率を有する平凸面レンズ、入射面および出射面の両方に曲率を有する両凸面レンズ、電圧印加によって屈折力が変化する液晶レンズ、レンズの曲率半径を変更可能な液体レンズ、および焦点距離を変更可能な空間光変調器などを用いることができる。

調整光学系駆動部２２は、後述する調整光学系制御部５１から出力された制御信号に基づいて、調整用光学素子２１の屈折力を変更して焦点距離を調整するものである。具体的には、調整用光学素子２１の位置および光軸方向を変更する機構を備えたものである。また、調整用光学素子２１として液晶レンズまたは空間光変調器を用いる場合には、液晶レンズまたは空間光変調器に対して所望の焦点距離に応じた電圧を印加するものである。また、調整用光学素子２１として液体レンズを用いる場合には、所望の焦点距離に応じて液体レンズ内の液体の量を調整し、これにより液体レンズの曲率半径を調整するものである。

図２Ｉは、Ｘ方向、Ｙ方向およびＺ方向への調整用光学素子２１の位置の変更を模式的に示す図である。また、図２IIは、調整用光学素子２１の光軸方向の変更を模式的に示す図であり、具体的には、調整用光学素子２１の光軸のＸ軸回り（θ）の回転調整、Ｙ軸回り（φ）の回転調整およびＺ軸回り（ρ）の回転調整を模式的に示す図である。また、図２IIIは、調整用光学素子２１の屈折力の調整を模式的に示すものである。なお、図２IIIでは、調整用光学素子２１の曲率半径を調整することによって屈折力を調整する例を示しているが、屈折力を調整する方法としては、これに限らず、たとえば、調整用光学素子２１として液晶レンズや空間光変調器を用いる場合には、印加電圧を調整することによって、屈折力を調整することができる。

また、本実施形態においては、調整用光学素子２１をＸ方向、Ｙ方向およびＺ方向に移動させるようにしたが、この調整用光学素子２１の移動による光学的な作用と同等の作用を得られるのであれば、必ずしも調整用光学素子２１を移動させなくてもよい。たとえば、調整用光学素子２１として液晶レンズや空間光変調器を用いる場合には、印加電圧を調整することによって、調整用光学素子２１の移動よる光軸のシフトと同様の作用効果を得るようにしてもよい。また、調整用光学素子２１の光軸方向についても同様に、必ずしも調整用光学素子２１自体を回転させる必要はなく、印加電圧を調整することによって、調整用光学素子２１自体の回転による光軸の回転と同様の作用効果を得るようにしてもよい。

また、本実施形態においては、調整用光学素子２１をＸ方向およびＹ方向に移動するようにしたが、これに限らず、ステージ６１をＸ方向およびＹ方向に移動させることによって、調整用光学素子２１と培養容器６０内に形成されたメニスカスとのＸ方向およびＹ方向についての相対的な位置関係を変更してもよい。

また、本実施形態においては、１つの調整用光学素子２１を用いるようにしたが、焦点距離の異なる複数の調整用光学素子２１を切り替えることによって屈折力を調整してもよい。その場合、調整用光学素子２１の交換は、自動で行ってもよいし、手動で行ってもよい。複数の調整用光学素子２１を手動で交換する場合には、たとえば後述する液面形状推定部５４によって推定された液面形状に基づいて、適切な調整用光学素子２１の種類の情報を表示装置７０に表示させ、その表示に基づいて、ユーザが手動で調整用光学素子２１を交換してもよい。

結像光学系３０は、対物レンズ３１と、位相板３２と、結像レンズ３３と、結像光学系駆動部３４とを備えたものである。位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。

位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれるとともに、その明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板を通過し、その位相および明るさは変化しない。

対物レンズ３１は、結像光学系駆動部３４によってＺ方向に移動するものである。観察対象Ｓの位相差画像を撮像する場合には、結像光学系駆動部３４によって対物レンズ３１をＺ方向へ移動させることによってオートフォーカス制御が行われ、撮像部４０によって撮像される画像のコントラストが調整される。

結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像するものである。

結像光学系駆動部３４は、上述したように対物レンズ３１をＺ方向に移動させる機構を備えたものである。

撮像部４０は、結像レンズ３３によって結像された観察対象Ｓの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを用いることができる。

ここで、上述したような構成の位相差顕微鏡本体による位相差画像の撮像について説明する。なお、ここでは培養液Ｃの液面に形成されたメニスカスの影響はないものとして説明する。

まず、照明光照射部１０から出射されたリング状照明光が、観察対象Ｓに照射される。観察対象Ｓに照射された照明光は、観察対象Ｓ内を直進した直接光と観察対象Ｓによって回折された回折光とに分かれる。そして、観察対象Ｓを透過した直接光と回折光は、対物レンズ３１を透過して位相板３２に入射される。観察対象Ｓを透過した直接光は、位相板３２の位相リングに入射され、その位相が１／４波長ずれるとともに、その明るさが弱められる。一方、観察対象Ｓを透過した回折光は大部分が位相板３２の透明な部分を通過する。

位相板３２を透過した直接光と回折光は、結像レンズ３３によって撮像素子の撮像面に結像され、直接光と回折光との干渉によってエッジ部分などのコントラストが強調された位相差画像が撮像される。

なお、本実施形態においては、ステージ６１がＸ方向およびＹ方向に移動することによって、培養容器６０内が照明光によって走査され、培養容器６０内の照明光が照射された領域毎の位相差画像が撮像される。

次に、図１に示す顕微鏡制御装置５０は、ＣＰＵ（Central Processing Unit）、メモリおよびハードディスクスなどを備えたコンピュータから構成されるものである。

顕微鏡制御装置５０は、具体的には、図１に示すように、調整光学系駆動部２２を制御する調整光学系制御部５１と、結像光学系駆動部３４を制御する結像光学系制御部５２と、ステージ駆動部６２を制御するステージ制御部５３と、撮像部４０によって撮像された位相差画像の輝度分布に基づいて、培養容器６０内の培養液Ｃの液面形状を推定する液面形状推定部５４と、液面形状推定部５４によって推定された液面形状に基づいて、調整光学系２０の光学特性を調整するための調整情報を取得する調整情報取得部５５とを備えている。

ここで、本実施形態の液面形状推定部５４による液面形状の推定について、詳細に説明する。液面形状推定部５４は、上述したように撮像部４０によって撮像された位相差画像の輝度分布に基づいて、培養容器６０内の培養液Ｃの液面形状を推定する。まず、このように位相差画像の輝度分布に基づいて、培養液Ｃの液面形状を推定する原理について説明する。

図３Ｉは、位相差画像の一例を示すものであり、図３IIは、図３Ｉに示す位相差画像の一部（四角で囲まれる範囲）の拡大図である。位相差画像においては、図３に示すように、同心円状に明暗のパターン（輝度分布）が形成される。以下、このような明暗パターンが形成される理由を説明する。

培養容器６０内の培養液Ｃの液面に形成されたメニスカスの中心部分を透過した照明光は、メニスカスによる屈折の影響をほとんど受けないので、その直接光は位相板３２の位相リングに入射されて減光され、その結果、メニスカスの中心部分の位相差画像は周囲より暗い画像となる（図３IIの矢印Ａで示す範囲）。なお、メニスカスの中心部分とは、培養容器６０内の液面全体に亘って形成される曲面のことをメニスカスといった場合に、培養容器６０の底面に最も近い位置を含むメニスカスの底面の部分のことである。

そして、メニスカスの中心部分に隣接する曲面部分を透過した照明光は、メニスカスの曲面による屈折の影響を受けるので、その直接光は位相板３２の位相リングに入射されずに透明部分を透過する。その結果、曲面部分の位相差画像は、中心部分の位相差画像よりも明るくなる（図３IIの矢印Ｂで示す範囲）。ただし、メニスカスの中心部分より外側の曲面部分であっても、その中心部分からの距離がある程度離れた部分を透過した照明光については、メニスカスの曲面によって大きく屈折するので、その直接光は対物レンズ３１の外側を通過して入射されなくなり、その結果、暗い位相差画像が形成される（図３IIの矢印Ｃで示す範囲）。したがって、上述したような作用によって、位相差画像においては、図３に示すような同心円状の明暗パターンが形成される。

位相差画像に現れる明暗パターンは、メニスカスの形状によって変化することから、本実施形態においては、その明暗パターンを用いて、メニスカスの形状、すなわち液面形状を推定する。

具体的には、本実施形態においては、既知の光学系のパラメータを用いた幾何光学シミュレーションを行って位相差画像上に現れる明暗パターン（輝度分布）を取得し、その幾何光学シミュレーショによって予め取得された明暗パターンに基づいて、培養液Ｃの液面形状を推定する。

幾何光学シミュレーションについては、たとえば互いに異なる曲率を有する複数の液面形状（メニスカス）のモデルを設定し、その各液面形状のモデルについて、それぞれ入射光の光路ずれを算出し、その光路ずれに基づいて、位相差画像上に現れる明暗パターンを算出する。

図４は、メニスカスモデルＭに対してリング状照明光Ｎが入射した場合の光路ずれの算出方法の一例を説明するための図である。なお、図４に示す６０ａは培養容器のモデルであり、３１ａは対物レンズのモデルであり、３２ａは位相板のモデルであり、Ａは位相差板モデル３２ａの位置における平面を表している。図４において空気の屈折率を１とし、培養液のモデルＣａの屈折率を水と同じ１．３３とすると、スネルの法則から、下式によりθ_２が算出される。

同様に、スネルの法則から、下式によりθ_３が算出される。

そして、光軸からの光路ずれΔｘは、下式により算出することができる。なお、fは、対物レンズモデル３１ａの焦点距離であり、対物レンズモデル３１ａの焦点位置は、培養容器モデル６０ａの底面に合焦しているものとする。

また、対物レンズモデル３１ａにリング状照明光Ｎが入射する範囲ｄ_ｎａは、下式により算出することができ、図５は、この範囲ｄ_ｎａと平面Ａにおける光路ずれΔｘとの関係を示す図である。なお、下式におけるＮＡは対物レンズモデル３１ａの開口数である。また、図５に示すφ_１およびφ_２は、光路ずれがない場合における位相板モデル３２ａの像の内径および外径を示している。また、図５に示すｔ_１およびｔ_２は、光路ずれがΔｘの場合におけるリング状照明光Ｎの像の内径および外径を示している。

そして、位相差板モデル３２ａの減光率をＮＤ（定数）とすると、平面Ａにおける（ｘ，ｙ）の位置毎の透過率Ｔ（ｘ，ｙ）は、下式で表すことができる。

また、平面Ａにおける（ｘ，ｙ）の位置毎の入射光強度Ｐ（ｘ，ｙ）は、下式で表すことができる。

なお、このとき、入射光強度Ｐ（ｘ，ｙ）をガウス分布で表現してもよく、その場合は、下式で表すことができる。

以上より、メニスカスモデルＭの液面の傾斜がθ１のときの平面Ａを通過する光の強度の総和Ｏ（θ１）は、下式で表すことができる。

上述したような演算に基づく幾何光学シミュレーションを行うことによって、メニスカスモデルＭの液面上の各位置を通過した光の強度の分布、すなわち位相差画像の輝度分布を取得することができる。

なお、図４から明らかなように、位相差画像の位置と液面傾斜θ_１の位置とは、わずかにΔｘ_ｄだけずれている。したがって、下式を用いて推定位置を補正することによって、高精度に液面形状の推定を行うことができる。

そして、互いに異なる曲率を有する複数の液面形状のそれぞれの位相差画像の輝度分布が取得され、液面形状推定部５４にこれらの輝度分布が予め記憶される。図６は、幾何光学シミュレーションによって取得された位相差画像の輝度分布の一例を示す図である。図６に示す輝度分布は、メニスカスモデルＭの中心から培養容器モデル６０ａの外周に向かって延びる直線上の輝度分布を示したものであり、図６の横軸は、メニスカスモデルＭの中心からの距離である。なお、メニスカスモデルＭの中心とは、上述したメニスカスの中心部分の中の中央位置のことであり、幾何光学シミュレーションの場合には、培養容器モデル６０ａの中心位置と同じ位置となる。また、図６に示す縦軸のＯＤ値は、上述した直線上の輝度値を、メニスカスモデルＭの中心の輝度値によって規格化した値である。図６に示すように、幾何光学シミュレーションによる結果においても、メニスカスの中央部分から外側に向かって明暗パターンが形成される。

液面形状推定部５４は、互いに異なる曲率を有する複数の液面形状のそれぞれについて、図６に示すような輝度分布を記憶している。具体的には、たとえば曲率Ｒ＝３、Ｒ＝４、Ｒ＝５およびＲ＝６に対応する輝度分布を記憶している。

一方、液面形状推定部５４は、上述した調整光学系２０による調整前に撮像部４０によって撮像された位相差画像を取得し、その位相差画像の輝度分布を取得する。なお、調整光学系２０による調整前の位相差画像の撮像方法としては、調整光学系２０の光学特性を初期状態として位相差画像を撮像するようにしてもよいし、調整光学系２０を照明光の光路から退避させた状態で位相差画像を撮像するようにしてもよい。調整光学系２０の光学特性を初期状態として位相差画像を撮像する場合には、上述した幾何光学シミュレーションにおいてもその初期状態の調整光学系２０の光学パラメータが考慮されるものとする。

図７は、調整光学系２０による調整前に撮像部４０によって撮像された位相差画像の一例を示す図である。液面形状推定部５４は、図７に示すように、撮像部４０によって撮像された位相差画像上において、メニスカスの中心部分から培養容器６０の外周に向かって延びる直線Ｌを設定し、その設定した直線Ｌ上の位相差画像の輝度分布を取得する。なお、ここで設定する直線Ｌの延伸方向と、幾何光学シミュレーションにおいて輝度分布を取得する際に位相差画像上において設定した直線の延伸方向とは同じ方向である。

また、上述したように位相差画像の輝度分布を取得する前に、位相差画像に対してローパスフィルタ処理などの平滑化処理を施し、その平滑化処理の施された位相差画像の輝度分布を取得してもよい。これにより、細胞由来の輝度変化を取り除くことができ、より高精度に液面形状の推定を行うことができる。

また、撮像部４０によって撮像された位相差画像上において上述した直線Ｌを設定する場合、幾何光学シミュレーションの場合と違ってメニスカスがどのように形状で形成されているか不明なので、メニスカスの中心部分を特定する必要がある。なお、実際に培養容器６０内の液面に形成されるメニスカスの形状は、培養容器６０の種類、培養液Ｃの量および培養期間などによって異なり、メニスカスの中心部分は必ずしも培養容器６０の中心部分と一致する訳ではない。

そこで、液面形状推定部５４は、位相差画像の輝度に基づいて、メニスカスの中心部分を特定する。具体的には、たとえば予め設定された閾値以下の輝度の領域を位相差画像から抽出し、その抽出された領域のうち位相差画像の中央部分に近い円形の領域を特定することによってメニスカスの中心部分を特定する。そして、特定されたメニスカスの中心部分の中の中央位置から外側に向かって延びる直線を設定することによって、図７に示す直線Ｌを設定する。

次に、液面形状推定部５４は、幾何光学シミュレーションによって取得された位相差画像の輝度分布と、撮像部４０によって撮像された位相差画像の輝度分布との相関関係を求める。具体的には、液面形状推定部５４は、予め記憶した曲率Ｒ＝３、Ｒ＝４、Ｒ＝５およびＲ＝６の液面形状の輝度分布と、撮像部４０によって撮像された位相差画像の輝度分布との相関関係をそれぞれ求め、最も相関が高い液面形状の輝度分布を特定する。図８は、曲率Ｒ＝４の液面形状の輝度分布Ｇ１と、撮像部４０によって撮像された位相差画像の輝度分布Ｇ２との一例を示す図である。

予め記憶した液面形状の輝度分布と、撮像部４０によって撮像された位相差画像の輝度分布との相関関係を求める方法としては、たとえば相関関数を用いて、これらの輝度分布の相関関係を求めるようにすればよい。また、相関関数を用いた方法に限らず、たとえば、図８に矢印で示すように、予め記憶した液面形状の輝度分布と撮像部４０によって撮像された位相差画像の輝度分布における変曲点を求め、これらの輝度分布の対応する変曲点の輝度値（ＯＤ値）の差の合計値を求める。そして、予め記憶した複数の液面形状の輝度分布のそれぞれについて上述した合計値を求め、その合計値が最も小さい輝度分布を最も相関が高い輝度分布として特定するようにしてもよい。

そして、液面形状推定部５４は、撮像部４０によって撮像された位相差画像の輝度分布との相関が最も高い曲率の液面形状を特定し、その特定した曲率の液面形状を培養容器６０内の培養液Ｃの液面形状として推定する。

以上が、本実施形態の液面形状推定部５４による液面形状の推定についての説明である。

図１に戻り、調整情報取得部５５は、上述したように液面形状推定部５４によって推定された液面形状に基づいて、調整光学系２０の光学特性を調整するための調整情報を取得するものである。具体的には、本実施形態の調整情報取得部５５は、液面形状推定部５４によって推定された液面形状に基づいて、位相差画像の撮像領域内における液面の傾斜角を取得し、その傾斜角と培養液Ｃの屈折率とに基づいて、撮像領域内における照明光の屈折角を算出する。なお、本実施形態においては、上述したように培養容器６０内が照明光によって走査され、培養容器６０内を分割した複数の撮像領域毎の位相差画像の撮像が行われるため、その撮像領域毎について、照明光の屈折角が算出される。

調整情報取得部５５は、各撮像領域内の照明光の屈折角の情報を調整情報として調整光学系制御部５１に出力する。

調整光学系制御部５１は、調整情報取得部５５によって算出された照明光の屈折角の情報に基づいて、調整光学系２０の光学特性を調整するものである。具体的には、調整光学系制御部５１には、撮像領域内の照明光の屈折角と、調整光学系２０の調整用光学素子２１の調整量とを対応付けたルックアップテーブルが予め設定されている。そして、調整光学系制御部５１は、照明光の屈折角の情報に基づいて、上記ルックアップテーブルを参照して調整光学系２０の調整用光学素子２１の調整量を取得し、その調整量に応じた制御信号を調整光学系駆動部２２に出力するものである。なお、調整光学系２０の調整用光学素子２１の調整量としては、上述したように調整用光学素子２１のＸ方向、Ｙ方向およびＺ方向の位置、屈折力並びに光軸方向などがある。

調整光学系制御部５１から出力された制御信号は、調整光学系駆動部２２に入力され、調整光学系駆動部２２は、入力された制御信号に基づいて、調整用光学素子２１の屈折力、Ｘ方向、Ｙ方向およびＺ方向の位置、並びに光軸方向を調整することによって光学特性を調整する。

なお、複数の調整用光学素子２１を交換することによってメニスカスに起因する屈折を調整する場合には、調整情報取得部５５は、液面形状推定部５４によって推定された液面形状に応じた光学特性を有する調整用光学素子２１の種類を特定する情報を調整情報として取得する。調整情報取得部５５には、液面形状とその液面形状に対応する調整用光学素子２１の種類を特定する情報とが対応づけられたテーブルが予め設定されているものとする。

そして、調整情報取得部５５において取得された調整用光学素子２１の種類を特定する情報は、調整光学系制御部５１に出力され、調整光学系制御部５１は、入力された情報に基づいて、液面形状に応じた調整用光学素子２１に自動的に切り替える。なお、調整用光学素子２１の種類を特定する情報を表示装置７０に表示させてユーザに報知させることによって、ユーザが手動で調整用光学素子２１を交換するようにしてもよい。

結像光学系制御部５２は、結像光学系駆動部３４を駆動制御することによって対物レンズ３１をＺ方向に移動させるものである。具体的には、本実施形態の結像光学系制御部５２は、位相差画像を撮像する際、結像光学系駆動部３４によって対物レンズ３１をＺ方向へ移動させることによってオートフォーカス制御するものである。

ステージ制御部５３は、ステージ駆動部６２を駆動制御することによってステージ６１をＸ方向、Ｙ方向およびＺ方向に移動させるものである。ステージ制御部５３は、上述したようにステージ６１をＸ方向およびＹ方向に移動させることによって、培養容器６０内を照明光で走査し、培養容器６０内（たとえば、１つのウェル内）で分割された複数の撮像領域毎の位相差画像を撮像するものである。

また、顕微鏡制御装置５０には、入力装置８０と表示装置７０とが接続されている。入力装置８０は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。

表示装置７０は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部４０において撮像された位相差画像などを表示するものである。なお、表示装置７０をタッチパネルで構成し、表示装置７０が入力装置を兼ねてもよい。

次に、本実施形態の顕微鏡システムの作用について、図９に示すフローチャートを参照しながら説明する。

まず、観察対象Ｓおよび培養液Ｃが収容された培養容器６０がステージ６１上に設置される。そして、まず、調整光学系２０による調整前の観察対象Ｓの位相差画像が撮像され、液面形状推定部５４によって取得される（Ｓ１０）。

液面形状推定部５４は、上述したように調整前の位相差画像上において、メニスカスの中心部分から培養容器６０の外周に向かって延びる直線Ｌを設定し、その設定した直線Ｌ上の位相差画像の輝度分布を取得する（Ｓ１２）。

そして、液面形状推定部５４は、その調整前の位相差画像の輝度分布と、予め記憶された曲率Ｒ＝３、Ｒ＝４、Ｒ＝５およびＲ＝６の液面形状の輝度分布との相関関係をそれぞれ求め、調整前の位相差画像の輝度分布と最も相関が高い液面形状の輝度分布を特定し、その特定した液面形状を培養容器６０内の培養液Ｃの液面形状として推定する（Ｓ１４）。

液面形状の推定結果は調整情報取得部５５に出力され、調整情報取得部５５は、推定された液面形状に基づいて、調整光学系２０の光学特性を調整するための調整情報を取得する（Ｓ１６）。

そして、調整情報取得部５５によって取得された調整情報は調整光学系制御部５１に出力され、調整光学系制御部５１は、入力された調整情報に基づいて、調整光学系２０の光学特性を調整する（Ｓ１８）。

そして、上記のようにして調整光学系２０の光学特性が調整されて、これにより培養液Ｃの液面に形成されたメニスカスによる屈折の影響が取り除かれた後、再び観察対象Ｓの位相差画像が撮像部４０によって撮像される（Ｓ２０）。

撮像部４０によって撮像された位相差画像は表示装置７０に出力され、表示装置７０によって表示される。

上記実施形態の顕微鏡システムによれば、観察用の位相差画像を撮像する撮像部４０によって撮像された位相差画像の輝度分布に基づいて、培養容器６０内の培養液Ｃの液面形状を推定するようにしたので、液面形状を推定するための新たな測定系を設けることなく、培養容器６０内の培養液Ｃの液面形状を推定することができる。そして、その推定した液面形状に基づいて、調整光学系２０の光学特性を調整し、その後、観察対象の位相差画像の撮像を行うようにしたので、メニスカスの影響を抑制した位相差画像を撮像することができる。

なお、上記実施形態においては、液面形状の推定を行う際、撮像部４０によって撮像された位相差画像上において、メニスカスの中心部分から培養容器６０の外周に向かって延びる１本の直線Ｌを設定し、その直線Ｌ上の輝度分布を位相差画像全体の輝度分布を代表するものとして用いるようにしたが、メニスカスの中心部分から外周に向かって延びる直線を複数本設定するようにしてもよい。すなわち、培養容器６０内に形成されるメニスカスは、必ずしもその中心から培養容器６０内の外周に向かう各方向について、全て同じ曲率で形成されているとは限らない。

したがって、たとえば、図１０に示すように、メニスカスの中心部分から外周に向かって延びる８本の直線Ｌ１〜Ｌ８を設定し、その直線毎の輝度分布を取得するようにしてもよい。そして、直線毎の輝度分布に対応する液面形状の曲率を求めることによって、８方向についてそれぞれ液面形状の曲率を求めるようにしてもよい。これにより、液面形状をより高精度に推定することができる。

このように複数の方向について液面形状の曲率を求めるようにした場合には、これらの曲率の平均値または最頻値などを代表値として求め、その代表値の曲率に基づいて、調整光学系２０の調整情報を取得してもよい。または、各方向について求められた曲率を用いて、その方向毎に分割された領域毎について調整光学系２０の調整情報を取得してもよい。方向毎の領域の分割方法としては、たとえば各方向に延びる直線をそれぞれ円弧の中心に含む扇形の領域に分割するようにすればよい。

また、上記実施形態においては、液面形状を推定する際、液面形状が球形に近いことを前提に、液面形状の曲率Ｒを求めるようにしたが、たとえば培養容器６０の大きさによってメニスカスの平坦な底面部分が大きくなるので、液面形状は球形にならず、液面形状の推定精度が下がる可能性がある。そこで、以下のようにして、液面形状を推定してもよい。

まず、幾何光学シミュレーショを用いて、図１１に示すような、位相差画像の輝度値Ｐ（ｘ）と、液面の傾斜角θとを対応づけたプロファイルを取得する。輝度値Ｐ（ｘ）は、メニスカスモデルＭの中心部分から培養容器６０ａの外周までの間の各位置ｘにおける輝度値を表している。また、液面の傾斜角θとは、図４に示す傾斜角θ_１である。なお、図１１に示すプロファイルは、上記実施形態における演算結果を用いて取得することができる。

次に、上記実施形態と同様に、撮像部４０によって撮像された位相差画像を取得し、メニスカスの中心部分の輝度値が１となるように位相差画像を規格し、その規格化された位相差画像に対して平滑化処理を施して細胞由来の高周波ノイズを除去する。

そして、その平滑化処理の施された位相差画像上において、図１２に示すようにメニスカスの中心部分から外周に向けて延びる直線を設定し、その直線上をメニスカスの中心から走査して各位置ｘ_１，ｘ_２、・・・、ｘ_ｎにおける輝度値を取得する。そして、図１１に示したプロファイルを用いて、各位置ｘの輝度値Ｐ（ｘ）に対応する液面の傾斜角θを求める。これにより、図１２に示す直線上の各位置における液面の傾斜角θを求めることができ、上記直線上の液面の形状を推定することができる。

なお、図１１に示すプロファイルを用いて液面の傾斜角θを求める際、図１３に示すように同一の輝度値Ｐ（ｘ）（図１３に示す例では１．５）に対して２つの傾斜角θが求まる場合がある。したがって、上述したようにメニスカスの中心から順に輝度値を取得して、その輝度値に対応する傾斜角θを順次求める場合には、メニスカスの中心から離れるほど液面の傾斜角は大きくなるものとし、傾斜角θの候補が複数ある場合には、最も小さい傾斜角θを先に選択するようにすればよい。

また、上記実施形態の顕微鏡システムにおいては、液面上に形成されたメニスカスに起因する照明光の屈折の影響を取り除くために調整用光学素子２１を設けるようにしたが、必ずしもこのような調整用光学素子２１を設けなくてもよく、たとえば、調整情報に基づいて、スリット板１２をＸ方向およびＹ方向に移動させたり、位相板３２をＸ方向およびＹ方向に移動させたりして、メニスカスに起因する照明光の屈折の影響を取り除くようにしてもよい。すなわち、本発明における調整光学系として、スリット板１２や位相板３２を用いるようにしてもよい。

また、上記実施形態の顕微鏡システムにおいては、調整用光学素子２１をコンデンサレンズ１３と培養容器６０との間に設けるようにしたが、調整用光学素子２１の位置はこの位置に限らず、たとえば白色光源１１とスリット板１２との間、位相板３２とコンデンサレンズ１３との間、および培養容器６０と対物レンズ３１との間などその他の位置に設けるようにしてもよい。

１０ 照明光照射部
１１ 白色光源
１２ スリット板
１２ａ スリット板モデル
１３ コンデンサレンズ
１３ａ コンデンサレンズモデル
２０ 調整光学系
２１ 調整用光学素子
２２ 調整光学系駆動部
３０ 結像光学系
３１ 対物レンズ
３１ａ 対物レンズモデル
３２ 位相板
３２ａ 位相板モデル
３３ 結像レンズ
３４ 結像光学系駆動部
４０ 撮像部
５０ 顕微鏡制御装置
５１ 調整光学系制御部
５２ 結像光学系制御部
５３ ステージ制御部
５４ 液面形状推定部
５５ 調整情報取得部
６０ 培養容器
６０ａ 培養容器モデル
６１ ステージ
６２ ステージ駆動部
７０ 表示装置
８０ 入力装置
Ｃ 培養液
Ｃａ 培養液モデル
Ｇ１ 輝度分布
Ｇ２ 輝度分布
Ｌ 直線
Ｌ１-Ｌ８ 直線
Ｍ メニスカスモデル
Ｎ リング状照明光
Ｐ 観察対象設置面

Claims (11)

1. 液体および観察対象が収容された容器に対して位相差計測用の照明光を照射する照明光照射部と、
   前記照明光を照射した前記観察対象を撮像する撮像部と、
   前記容器内の液体の液面形状に起因する前記照明光の屈折を調整する調整光学系と、
   前記撮像部によって撮像された前記観察対象の位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する液面形状推定部と、
   前記液面形状推定部によって推定された液面形状に基づいて、前記調整光学系の光学特性を調整するための調整情報を取得する調整情報取得部とを備えたことを特徴とする位相差顕微鏡。
2. 前記調整情報取得部によって取得された調整情報に基づいて、前記調整光学系の光学特性を調整する調整光学系制御部を備えた請求項１記載の位相差顕微鏡。
3. 前記液面形状推定部が、予め設定された液面形状を用いて幾何光学シミュレーションを行って取得された位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する請求項１または２記載の位相差顕微鏡。
4. 前記液面形状推定部が、互いに異なる曲率を有する、予め設定された複数の液面形状を用いてそれぞれ幾何光学シミュレーションを行って取得された複数の位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する請求項３記載の位相差顕微鏡。
5. 前記液面形状推定部が、前記幾何光学シミュレーションを用いて取得された位相差画像の輝度分布と前記撮像部によって撮像された位相差画像の輝度分布との相関関係を求めることによって、前記容器内の液体の液面形状を推定する請求項３または４記載の位相差顕微鏡。
6. 前記液面形状推定部が、相関関数を用いて前記相関関係を求める請求項５記載の位相差顕微鏡。
7. 前記液面形状推定部が、前記幾何光学シミュレーションを用いて取得された位相差画像の輝度分布における変曲点の輝度値と前記撮像部によって撮像された位相差画像の輝度分布における変曲点の輝度値とに基づいて、前記相関関係を求める請求項５記載の位相差顕微鏡。
8. 前記液面形状推定部が、前記撮像部によって撮像された位相差画像上において、前記容器内に形成されるメニスカスの中心部分から前記容器の外周に向かって延びる少なくとも一つの直線を設定し、該設定した直線上の前記位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する請求項１から７いずれか１項記載の位相差顕微鏡。
9. 前記液面形状推定部が、互いに異なる複数の方向に延びる前記直線を設定し、該複数の直線上の位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する請求項８記載の位相差顕微鏡。
10. 前記液面形状推定部が、前記撮像部によって撮像された位相差画像に対して平滑化処理を施し、該平滑化処理の施された位相差画像の輝度分布に基づいて、前記容器内の液体の液面形状を推定する請求項１から９いずれか１項記載の位相差顕微鏡。
11. 液体および観察対象が収容された容器に対して位相差計測用の照明光を照射して、前記観察対象の位相差画像を撮像し、
    該撮像した位相差画像の輝度分布に基づいて、前記液体の液面形状を推定し、
    前記推定した液面形状に基づいて、前記容器内の液体の液面形状に起因する光の屈折を調整する調整光学系の光学特性を調整するための調整情報を取得し、
    該調整情報に基づいて、前記調整光学系の光学特性が調整された後、前記容器に対して前記照明光を照射し、
    前記照明光を照射した前記観察対象を撮像することを特徴とする撮像方法。