以下、本発明に係るアライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
また、以下の実施の形態においては、本発明を、ステージ上に載置された被写体を撮像して顕微鏡観察画像を取得する顕微鏡システムに適用する例を説明するが、例えばデジタルカメラのように、被写体の画像を取得可能な装置やシステムであれば、本発明を適用することができる。
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムの構成を示す図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、被写体の拡大像を生成する顕微鏡装置10と、該顕微鏡装置10が生成した拡大像に基づいて該顕微鏡装置10のアライメントを行うアライメント装置20とを備える。
図2は、顕微鏡装置10の構成例を示す模式図である。図2に示すように、顕微鏡装置10は、略C字形のアーム100と、該アーム100上に三眼鏡筒ユニット101を介して支持された鏡筒102及び接眼レンズユニット103と、アーム100に設けられた落射照明ユニット110及び透過照明ユニット120と、被写体Sが載置されるステージ131を含む電動ステージユニット130と、鏡筒102の一端側に三眼鏡筒ユニット101を介してステージ131と対向するように設けられ、被写体Sからの観察光を結像する対物レンズ140と、ステージ傾斜調節部150とを備える。
三眼鏡筒ユニット101は、対物レンズ140から入射した観察光を、ユーザが被写体Sを直接観察するための接眼レンズユニット103と、後述する撮像部211との方向に分岐する。
落射照明ユニット110は、落射照明用光源111及び落射照明光学系112を備え、被写体Sに対して落射照明光を照射する。落射照明光学系112は、落射照明用光源111から出射した照明光を集光して、観察光学系104の光軸Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
透過照明ユニット120は、透過照明用光源121及び透過照明光学系122を備え、被写体Sに対して透過照明光を照射する。透過照明光学系122は、透過照明用光源121から出射した照明光を集光して光軸Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
これらの落射照明ユニット110及び透過照明ユニット120は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置10に、落射照明ユニット110と透過照明ユニット120とのいずれか一方のみを設けることとしても良い。
電動ステージユニット130は、ステージ131と、該ステージ131を駆動させるステージ駆動部132と、位置検出部133とを備える。ステージ駆動部132は、例えばモータによって構成され、後述する撮像制御部22の制御の下でステージ131を対物レンズ140の光軸と直交する面内(即ちXY平面内)において移動させるステージ移動機構である。このようにステージ131を移動させることにより、対物レンズ140の視野が変化する。また、ステージ駆動部132は、ステージ131をZ軸に沿って移動させることにより、対物レンズ140を被写体Sに対して合焦させる。
なお、実施の形態1においては、電気的な制御によりステージ131の移動が可能な構成としているが、調節ツマミ等を用いてステージ131をユーザが手動で移動させる構成としても良い。
また、実施の形態1においては、対物レンズ140及び鏡筒102を含む観察光学系104の位置を固定し、ステージ131側を移動させているが、ステージ131の位置を固定し、観察光学系104側を移動させても良い。或いは、ステージ131と観察光学系104との双方を互いに反対方向に移動させても良い。つまり、観察光学系104と被写体Sとが相対的に移動可能な構成であれば、どのような構成であっても構わない。
位置検出部133は、例えばモータからなるステージ駆動部132の回転量を検出するエンコーダによって構成され、ステージ131の位置を検出して検出信号を出力する。なお、ステージ駆動部132及び位置検出部133の代わりに、後述する撮像制御部22の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
対物レンズ140は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ140、141)を保持可能なレボルバ142に取り付けられている。レボルバ142を回転させ、ステージ131と対向する対物レンズ140、141を変更することにより、撮像倍率を変化させることができる。なお、図2は、対物レンズ140がステージ131と対向している状態を示している。レボルバ142にはエンコーダが設けられており、後述する画像取得部21が撮像を行ったタイミングで、該エンコーダの出力値が顕微鏡装置10からアライメント装置20に入力される。アライメント装置20においては、この出力値に基づき、被写体Sと対向する対物レンズ140の開口数及び倍率を取得することができる。
ステージ傾斜調節部150は、ステージ131のXY平面に対する傾斜を調節する調節つまみ151と、該調節つまみ151を電気的な制御により動作させる調節つまみ駆動部152とを備える。
再び図1を参照すると、アライメント装置20は、被写体Sを撮像することにより画像を取得する画像取得部21と、該画像取得部21の撮像動作を制御する撮像制御部22と、当該アライメント装置20における各種動作を制御すると共に、画像取得部21が取得した画像に基づいて、対物レンズ140の合焦面に対する被写体Sの傾斜、言い換えると、ステージ131の傾斜に関する情報(以下、傾斜情報ともいう)を算出する制御部23と、画像データや制御プログラム等の各種情報を記憶する記憶部24と、当該アライメント装置20に対する指示や情報を入力するための入力部25と、制御部23による処理の結果やその他所定の情報を出力する出力部26とを備える。
画像取得部21は、撮像部211及びメモリ212を備える。
撮像部211は、例えばCCDやCMOS等からなる撮像素子211aを備え、撮像素子211aが備える各画素においてR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル(画素値)として輝度値Yを出力するモノクロ画像を撮像可能なカメラを用いて撮像部211を構成しても良い。
このような撮像部211は、観察光学系104(鏡筒102)の一端に、光軸Lが撮像素子211aの受光面の中心を通るように設けられ、観察光学系104を介して受光面に入射した観察光を光電変換することにより、観察光学系104の視野に対応する画像データを生成する。以下において、撮像素子211aの受光面の中心位置を、イメージャ中心ともいう。
メモリ212は、例えば更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記録装置からなり、撮像部211が生成した画像データを一時的に記憶する。
図3は、撮像制御部22の機能を説明するための模式図であり、図2に示すステージ131及び対物レンズ140を拡大して示している。図3に示すように、撮像制御部22は、顕微鏡装置10に制御信号を出力してステージ131を移動させることにより、被写体Sに対する観察光学系104の相対的な位置を変化させると共に、撮像部211に撮像を実行させることにより、観察光学系104の視野Vに入る被写体Sの領域の画像を取得する制御を行う。
制御部23は、例えばCPU等のハードウェアによって構成され、記憶部24に記憶されたプログラムを読み込むことにより、記憶部24に記憶された各種パラメータや入力部25から入力される情報等に基づき、アライメント装置20及び顕微鏡システム1全体の動作を統括的に制御する。また、制御部23は、画像取得部21から入力された画像データに所定の画像処理を施すことにより画像を生成し、該画像に基づいてステージ131の傾斜情報を取得する。
図4は、制御部23の動作を説明するための模式図であり、図2に示すステージ131及び対物レンズ140を拡大して示している。通常、顕微鏡装置10においては、図3に示すように、対物レンズ140の光軸Lに対してステージ131の載置面131aが直交するように、ステージ131の傾斜が調整されている。例えば光軸LがZ方向と平行になっている場合、載置面131aがXY平面に平行となるように調整される。しかしながら、顕微鏡装置10の使用状況によっては、図4に示すように、XY平面に対してステージ131が傾斜してしまうことがある。制御部23は、このような場合に、XY平面に対するステージ131の傾斜情報として、ステージ131の傾斜方向及び傾斜角度αを算出する。
制御部23は、視野Vが写った画像から合焦領域を検出する合焦領域検出部231と、該合焦領域に関する情報に基づいて、対物レンズ140とステージ131との間の傾斜情報を算出する傾斜情報算出部232とを備える。
記憶部24は、更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体と該記録媒体に記録された情報を読み取る読取装置とを含む記録装置等によって構成される。記憶部24は、制御部23における演算に使用されるパラメータを記憶するパラメータ記憶部241と、当該アライメント装置20に所定の動作を実行させるための制御プログラムや制御部23に傾斜情報を算出させるためのアライメントプログラム等を記憶するプログラム記憶部242とを備える。パラメータ記憶部241には、例えば、顕微鏡装置10において交換可能な対物レンズ140、141の各々の開口数及び倍率や、該倍率に基づく像倍率等のパラメータが記憶されている。
入力部25は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対する操作に応じた信号を制御部23に入力する。
出力部26は、画像取得部21により取得された画像データに基づく画像や、制御部23により算出された傾斜情報を、表示装置27等の外部機器に出力する外部インタフェースである。
表示装置27は、例えば、LCD、ELディスプレイ、CRTディスプレイ等によって構成され、出力部26から出力された画像や傾斜情報等を画面に表示する。
なお、実施の形態1においては、表示装置27をアライメント装置20の外部に設けているが、アライメント装置20の内部に設けても良い。
このようなアライメント装置20は、例えばパーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェース(図示せず)を介して汎用のデジタルカメラを組み合わせることによって構成することができる。
次に、アライメント装置20の動作について説明する。図5は、アライメント装置20の動作を示すフローチャートである。
以下の説明においては、対物レンズ140の光軸LをZ方向、該光軸Lと直交する面をXY平面とし、該XY平面に対するステージ131の載置面131aの傾斜情報を算出するものとする。また、各ステップの説明及び図面においては、X方向において生じている傾斜についてのみ言及するが、Y方向において生じている傾斜についても同様の処理により算出することができる。
ステージ131の傾斜情報を算出する際には、被写体Sとして、透過型の光学評価用チャート(テストチャート)等のように平面性が保証された物体を用いることが好ましい。平面性が保証された被写体Sを用いることにより、被写体Sが写った画像に基づいて算出された傾斜情報を、そのまま、載置面131aの傾斜情報として使用することができるからである。被写体Sとしてテストチャートを用いる場合、該チャートに形成されるパターンは特に限定されず、汎用のチャートを用いることができる。以下においては、一例として、図6に示すパターンが形成された被写体Sを用いるものとして説明する。
まず、ステップS10において、アライメント装置20は、画像取得部21によりステージ131上に載置された被写体Sを撮像し、観察光学系104の視野Vに入る被写体Sの画像を取得する。この際、制御部23は、レボルバ142に設けられたエンコーダの出力値を顕微鏡装置10から受け取り、該エンコーダの出力値をもとに、使用中の対物レンズ140の開口数、倍率、及び該倍率に基づく像倍率等のパラメータを、パラメータ記憶部241から取得する。
続くステップS11において、合焦領域検出部231は、ステップS10において取得された画像内から合焦領域を検出する。図7は、合焦領域検出部231が実行する合焦領域検出処理を示すフローチャートである。
図7に示すステップS111において、合焦領域検出部231は、対物レンズ140の開口数NA及び像倍率Bに基づいて、次式(1)によって与えられるカットオフ周波数Fcを算出する。
式(1)において、符号λは被写体Sに照射される光の波長(例えば550nm)を示す。
続くステップS112において、合焦領域検出部231は、ステップS10において取得された視野Vの画像から、ステップS111において算出したカットオフ周波数Fcよりも高い周波数成分を除去する。より詳細には、合焦領域検出部231は、ステップS111において算出したカットオフ周波数と、撮像部211に設けられた撮像素子211aの画素ピッチとに基づき、ハミング(Hamming)窓等を用いて、公知の手法によりフィルタ設計を行う。そして、視野Vの画像に対してフーリエ変換を施すことにより周波数空間画像を生成し、この周波数空間画像に設計したフィルタを適用することにより、高周波成分をカットする。その後、該周波数空間画像にフーリエ逆変換を施すことにより、ノイズが除去された画像が得られる。
続くステップS113において、合焦領域検出部231は、高周波成分が除去された画像M1を、複数の小領域に分割する。図8は、視野Vが写った画像M1を16個の小領域m1〜m16に分割した例を示す模式図である。なお、画像M1の分割数は16個に限定されない。分割数を多くするほど、傾斜情報の算出精度を向上させることができるが、演算量も増加するため、ハードウェアの演算速度や要求される精度等を考慮して、分割数を適宜決定すれば良い。
続くステップS114において、合焦領域検出部231は、各小領域m1〜m16における合焦度を評価するための評価値を算出する。以下、この評価値のことを、画像評価値という。画像評価値としては公知の種々の評価値を用いることができ、実施の形態1においては、一例として、エッジ強度に基づく評価値を用いる。具体的には、合焦領域検出部231は、各小領域m1〜m16にソーベル(Sobel)フィルタ処理を施すことにより、X方向及びY方向におけるエッジ(以下、横エッジ及び縦エッジともいう)を抽出する。図9は、一例として、図8に示す小領域m3に対し、横エッジを抽出するソーベルフィルタSbxを適用して得られたエッジ画像m3(x)と、縦エッジを抽出するソーベルフィルタSbyを適用して得られたエッジ画像m3(y)とを示す模式図である。
合焦領域検出部231は、各小領域m1〜m16に対し、エッジ画像内の画素値(即ち、エッジ強度)を当該エッジ画像内の画素値の最大値で正規化する。例えば、ある小領域のX方向におけるエッジ画像内の画素pn(n=1〜N、Nは当該エッジ画像の画素数)の画素値(エッジ強度)をEx(pn)、当該エッジ画像内の画素値の最大値をExmaxとすると、正規化後の画素pnの画素値Ex(pn)’は次式(2)によって与えられる。
Ex(pn)’=Ex(pn)/Exmax …(2)
そして、この正規化後の画素値Ex(pn)’の平均値を、次式(3)で与えられる画像評価値EXとする。
当該小領域のY方向における画像評価値EYも、Y方向におけるエッジ画像の画素値を用いて、同様にして算出される。
なお、エッジの抽出方法は、上述したソーベルフィルタを用いる方法に限定されず、LOGフィルタ等、公知のエッジ抽出フィルタを用いても良い。また、画像評価値の算出方法についても、式(3)に示す方法に限定されない。
続くステップS115において、合焦領域検出部231は、ステップS114において算出した各小領域m1〜m16のX方向及びY方向における画像評価値EX、EYに基づいて、合焦領域を選択する。
図10は、合焦領域の選択方法を説明するための模式図である。図10に示す画像M1の下方に示すグラフは、一例として、画像M1の上から2行目の小領域m5〜m8(太枠で囲んだ部分)のX方向における画像評価値EXを示す。なお、当該グラフにプロットした点のX座標は、各小領域m5〜m8の中心座標である。また、画像M1の右方に示すグラフは、一例として、画像M1の左から3列目の小領域m3、m7、m11、m15(太枠で囲んだ部分)のY方向における画像評価値EYを示す。なお、当該グラフにプロットした点のY座標は、各小領域m3、m7、m11、m15の中心座標である。
合焦領域検出部231は、図10に例示する画像評価値EX、EYのグラフを、小領域m1〜m16の行ごと、列ごとに作成し、画像評価値EX、EYを閾値Tx、Tyとそれぞれ比較する。ここで、X方向の閾値Txは、画像M1内の全画素のX方向におけるエッジ強度(エッジ画像の画素値)の平均値または標準偏差をもとに設定される。同様に、Y方向の閾値Tyは、画像M1内の全画素のY方向におけるエッジ強度(エッジ画像の画素値)の平均値または標準偏差をもとに設定される。
合焦領域検出部231は、画像評価値EXが閾値Txよりも大きく、且つ画像評価値EYが閾値Tyよりも大きい小領域を、合焦領域として選択する。例えば、図10の場合、小領域m7の画像評価値EX、EYが、閾値Tx、Tyよりもそれぞれ大きいので、合焦領域として選択される。
このような評価の結果、以下においては図11に示すように、画像M1のうち、左から2列目及び3列目に含まれる小領域m2、m3、m6、m7、m10、m11、m14、m15が、合焦領域として検出されたものとして説明する。
合焦領域の検出後、アライメント装置20の動作はメインルーチンに戻る。
ステップS11に続くステップS12において、制御部23は、画像M1を分割した全ての小領域m1〜m16が合焦領域であったか否かを判定する。全ての小領域m1〜m16が合焦領域であった場合(ステップS12:Yes)、アライメント装置20は、被写体S、即ち、ステージ131の載置面131aはXY平面に平行(光軸Lと直交)になっているものと判断し、動作を終了する。
一方、小領域m1〜m16のいずれかが合焦領域でなかった場合(ステップS12:No)、傾斜情報算出部232は、パラメータ記憶部241から各種パラメータを読み出し、ステップS11において検出された合焦領域の位置及び幅を用いて、被写体S(載置面131a)の傾斜情報を算出する(ステップS13)。図12は、傾斜情報算出部232が実行する傾斜情報算出処理を示すフローチャートである。また、図13〜図19は、傾斜情報算出処理を説明するための模式図である。
このうち、図13(a)は、対物レンズ140と被写体Sとの位置関係をXZ平面において示し、図13(b)は、当該位置関係の場合に対物レンズ140の視野に入る被写体Sの画像M1をXY平面において示している。図14〜図18についても同様である。なお、図13〜図18においては、理解を容易にするために、被写体Sを厚みのない平面とみなして該被写体S及び視野Vを図示している。
また、図13(a)に示すように、以下においては、観察光学系104(対物レンズ140)の視野サイズをFov(μm)、被写界深度をDOF(μm)、観察光学系104の合焦面と被写体Sとのなす角度を傾斜角度α、視野Vに含まれる被写体Sの領域に生じている傾斜の高さをz(μm)、視野サイズFovに対応する画像M1のサイズ(画像サイズ)をWimage(pixel)、画像M1内の合焦領域Rfocus1のX方向及びY方向における幅をそれぞれWx(pixel)、WY(pixel)とする。このうち、顕微鏡装置10及び撮像部211のスペックに依存するパラメータ(視野サイズFov、被写界深度DOF、画像サイズWimage)は、パラメータ記憶部241に予め記憶されており、必要に応じて読み出される。
まず、ステップS131において、傾斜情報算出部232は、ステップS11において検出された合焦領域Rfocus1の位置から、被写体Sの傾斜方向を特定する。ここで、図13に示すように、XZ平面における被写体Sの傾斜方向は、右上がり(図13(a))及び右下がり(図14(a))の2方向が考えられる。
また、対物レンズ140の被写界深度DOFは、合焦面を中心とするZ方向の所定の範囲である。視野Vのうち、この被写界深度DOFに含まれる領域R0が、画像M1の合焦領域として検出される。このため、図13(a)及び図14(a)に示す方向のいずれに被写体Sが傾斜していたとしても、画像M1においては同一の領域(小領域)が合焦領域Rfocus1として検出される。
そこで、傾斜情報算出部232は、撮像制御部22から顕微鏡装置10に制御信号を送信させ、対物レンズ140と被写体SとのZ方向における距離を僅かに変化させる。例えば、対物レンズ140を下方(マイナスZ方向)に移動させる、或いはステージ131を上方(プラスZ方向)に移動させることにより対物レンズ140と被写体Sとを近づけた場合、図15に示すように、被写体Sが右上がりに傾斜していれば、画像M1における合焦領域Rfocus1は図の左方(マイナスX方向)に移動する。一方、図16に示すように、被写体Sが右下がりに傾斜していれば、画像M1における合焦領域Rfocus1は図の右方(プラスX方向)に移動する。
また、例えば、対物レンズ140を上方(プラスZ方向)に移動させる、或いはステージ131を下方(マイナスZ方向)に移動させることにより対物レンズ140と被写体Sとを遠ざけた場合、図17に示すように、被写体Sが右上がりに傾斜していれば、画像M1における合焦領域Rfocus1は図の右方(プラスX方向)に移動する。一方、図18に示すように、被写体Sが右下がりに傾斜していれば、画像M1における合焦領域Rfocus1は図の左方(マイナスX方向)に移動する。
対物レンズ140と被写体Sとの間の距離を変化させた際の合焦領域Rfocus1の検出は、ステップS11と同様に行えば良い。傾斜情報算出部232は、相対的な距離を変化させる前後の合焦領域Rfocus1の位置を比較することにより、合焦領域Rfocus1の移動方向を取得し、該移動方向に基づいて被写体Sの傾斜方向を特定する。なお、傾斜方向を特定した後は、対物レンズ140と被写体Sとの間の距離をもとに戻しても良い。
傾斜情報算出部232は、同様にして、YZ平面における被写体Sの傾斜方向を特定する。なお、図11に示すように、画像M1から検出された合焦領域Rfocus1がY方向全体に分布している場合、Y方向については傾斜なしと判断しても良い。
続くステップS132において、傾斜情報算出部232は、ステップS11において検出された合焦領域の幅WX、WYから、被写体SのX方向及びY方向における傾斜角度αをそれぞれ算出する。より詳細には、傾斜情報算出部232は、図13(b)に示す合焦領域Rfocus1の幅WXを次式(4)の幅WFocalに代入することにより、視野Vに生じているX方向の傾斜量z(X方向における視野Vの一端と他端との間のZ座標の差分)を算出する。
続いて、この傾斜量zを次式(5)に代入することにより、被写体SのX方向における傾斜角度αを算出する。
同様にして、傾斜情報算出部232は、合焦領域Rfocus1の幅WYを式(4)の幅WFocalに代入することにより、視野Vに生じているY方向の傾斜量zを算出し、この傾斜量zを式(5)に代入することにより、被写体SのY方向における傾斜角度αを算出する。
続くステップS133において、傾斜情報算出部232は、合焦領域Rfocus1の位置及び幅から、傾斜支点のずれ量を算出する。ここで、傾斜支点とは合焦領域Rfocus1の中心位置であり、被写体Sと合焦面とが交差する点に対応する。より詳細には、傾斜情報算出部232は、図19に示すように、合焦領域Rfocus1の中心点Pfocus1及び画像M1の中心点PM1を検出し、これらの中心点Pfocus1、PM1間の距離dをピクセル単位で算出する。そして、傾斜情報算出部232は、合焦領域Rfocus1の中心点Pfocus1が画像M1の中心点PM1よりもプラスX方向(又はプラスY方向)側に存在する場合、距離dの符号をプラスとし、マイナスX方向(又はマイナスY方向)側に存在する場合、距離dの符号をマイナスとする。この符号付きの距離dを、傾斜支点のずれ量とする。
続くステップS134において、傾斜情報算出部232は、ステップS131〜S133において取得した傾斜情報、即ち、傾斜方向、傾斜角度、及び傾斜支点のずれ量を、傾斜情報としてパラメータ記憶部241に記憶させる。
その後、アライメント装置20の動作はメインルーチンに戻る。
ステップS13に続くステップS14において、制御部23は、ステップS13において取得した傾斜情報を出力し、表示装置27に表示させる。傾斜情報の具体的な表示例としては、例えば、図20に示す傾斜特性マップが挙げられる。図20に示す傾斜特性マップは、ステップS134において記憶された傾斜情報に基づき、観察光学系104の視野Vに入る被写体S上の各XY座標における傾斜(合焦面からのずれ)をマッピングしたグラフである。ユーザは、このような傾斜特性マップ等を参照しながら、顕微鏡装置10に設けられた調節つまみ151を操作することにより、ステージ131の傾斜を調整する。
その後、アライメント装置20の動作は終了する。
以上説明したように、実施の形態1によれば、顕微鏡装置10において被写体Sを写した画像M1のみから、対物レンズ140と被写体Sとの間における傾斜情報を取得することができる。即ち、アライメントのための専用機構を顕微鏡装置10に設けることなく、簡素な装置構成で、詳細且つ精度の良い傾斜情報を取得することができる。従って、該傾斜情報に基づいてステージ131の傾斜を調整することで、高品質な顕微鏡画像を取得することが可能となる。
また、実施の形態1によれば、傾斜特性マップ等の詳細な傾斜情報を表示装置27に表示するので、ユーザは、調整方向や調整角度を迷うことなく、ステージ131の傾斜調整を行うことができる。
(変形例1)
次に、本発明の実施の形態1の変形例1について説明する。
図5に示すステップS11における合焦領域検出処理は、上述した処理に限定されない。例えば、工場出荷時のように、対物レンズ140とステージ131との間に傾斜が生じていない状態が保証されているときに被写体Sを撮像することにより、基準となる画像(以下、単に基準画像という)を取得し、該顕微鏡システム1の使用時に、同じ被写体Sを写した画像と基準画像とを比較することによって合焦領域を検出しても良い。
図21は、本変形例1における合焦領域検出処理を示すフローチャートである。なお、パラメータ記憶部241には、工場出荷時に被写体Sを撮像することにより取得した基準画像の画像データが予め記憶されているものとする。
まず、ステップS121において、合焦領域検出部231は、パラメータ記憶部241に記憶されている画像データをもとに、基準画像を取得する。この際、合焦領域検出部231は、顕微鏡装置10における撮像倍率をもとに基準画像を拡大又は縮小することにより、ステップS10において取得した観察中の画像(以下、観察画像という)に対して、基準画像のサイズを合わせる。
続くステップS122において、合焦領域検出部231は、観察画像と基準画像との間で位置合わせを行い、視野の位置を合わせる。なお、位置合わせの手法としては、位相限定相関法等、公知の手法を用いることができる。
ステップS123において、合焦領域検出部231は、図22に示すように、観察画像M1及び基準画像Mbaseの各々を複数の小領域に分割する。例えば、図22においては、観察画像M1及び基準画像Mbaseを、それぞれ、16個の小領域m1〜m16、m1’〜m16’に分割している。
ステップS124において、合焦領域検出部231は、各小領域m1〜m16、m1’〜m16’の合焦度を評価するための画像評価値を算出する。画像評価値の算出方法は、実施の形態1と同様である(図7のステップS114参照)。
ステップS125において、合焦領域検出部231は、観察画像M1と基準画像Mbas
eとの間で対応する小領域(小領域m1とm1’、小領域m2とm2’、…)の画像評価値同士を比較し、該比較の結果に基づいて合焦領域を選択する。詳細には、合焦領域検出部231は、対応する小領域の間で画像評価値の差分を算出すると共に、この差分の全小領域における平均値を算出する。そして、画像評価値の差分が差分の平均値以下となる小領域を、合焦領域として選択する。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図23は、実施の形態2に係る顕微鏡システムの構成を示すブロック図である。図23に示すように、実施の形態2に係る顕微鏡システム2は、顕微鏡装置10及びアライメント装置30を備える。このうち、顕微鏡装置10の構成及び動作は、実施の形態1と同様である(図2参照)。
アライメント装置30は、図1に示すアライメント装置20に対し、傾斜調整制御部31をさらに備える。傾斜調整制御部31以外のアライメント装置30の各部の構成及び動作は、実施の形態1と同様である(図1参照)。
傾斜調整制御部31は、傾斜情報算出部232により算出された傾斜情報に基づいて、顕微鏡装置10に設けられた調節つまみ駆動部152に制御信号を出力し、ステージ131の傾斜を調整させる。
次に、アライメント装置30の動作について説明する。図24は、アライメント装置30の動作を示すフローチャートである。なお、図24に示すステップS10〜S14は、実施の形態1と同様である(図5参照)。
ステップS14に続くステップS15において、傾斜調整制御部31は、傾斜情報算出部232により算出された傾斜情報(傾斜方向、傾斜角度、傾斜支点のずれ量)をパラメータ記憶部241から読み出し、該傾斜情報に基づく制御信号を生成して顕微鏡装置10に出力することにより、ステージ131の傾斜を調整する。
より詳細には、傾斜調整制御部31は、まず、視野Vの中心位置における被写体Sの傾斜方向及び傾斜角度を調整する。例えば、図13(a)に示すように、被写体Sが合焦面に対して右上がりの場合、調節つまみ駆動部152(図2参照)に制御信号を出力し、XZ面内においてステージ131を該ステージ131の中心(光軸Lが通る位置。以下、ステージ中心という)に対して時計回りに回転させる。反対に、図14(a)に示すように、被写体Sが合焦面に対して右下がりの場合、調節つまみ駆動部152に制御信号を出力し、XZ面内においてステージ131をステージ中心に対して反時計回りに回転させる。
続いて、傾斜調整制御部31は、傾斜支点のずれ量に基づき、該ずれ量の符号と反対方向に、ずれ量の分だけステージ131を移動させる。例えば、X方向におけるずれ量の符号がプラスである場合、ステージ駆動部132に制御信号を出力し、ステージ131をマイナスX方向に移動させる。これにより、傾斜支点が観察光学系104の視野中心(即ち、光軸Lが通る位置)と一致し、適切な視野の合焦画像を取得することができるようになる。
なお、Y方向における調整方法も同様である。
以上説明したように、実施の形態2によれば、傾斜情報算出部232が算出した傾斜情報に基づいて、ステージ131の傾斜を容易且つ正確に調整することができる。従って、顕微鏡システム2において、高品質な顕微鏡観察画像を取得することが可能となる。
(変形例2)
次に、本発明の実施の形態2の変形例2について説明する。
上記実施の形態1及び実施の形態2においては、観察光学系104側を固定し、ステージ131側を調整することにより、観察光学系104の合焦面と被写体Sとの間に生じている傾斜を補正した。しかしながら、ステージ131側を固定し、観察光学系104側を調整することにより、両者間に生じている傾斜を補正しても良い。この場合、観察光学系104の傾斜を一体的に調整する傾斜調整機構を顕微鏡装置10に設けると良い。
調整を行う際には、被写体Sが合焦面に対して右上がりの場合(図13(a)参照)、XZ面内において観察光学系104をイメージャ中心に対して反時計回りに回転させる。反対に、被写体Sが合焦面に対して右下がりの場合(図14(a)参照)、XZ面内において観察光学系104をイメージャ中心に対して時計回りとなるように回転させる。観察光学系104の傾斜の調整は、実施の形態1と同様にユーザが手動で行っても良いし、実施の形態2と同様に、傾斜調整機構に対する電気的な制御により自動で行っても良い。また、Y方向における調整方法も同様である。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図25は、本発明の実施の形態3に係る顕微鏡システムの構成を示すブロック図である。図25に示すように、実施の形態3に係る顕微鏡システム3は、顕微鏡装置10及びアライメント装置40を備える。このうち、顕微鏡装置10の構成及び動作は実施の形態1と同様である(図2参照)。
アライメント装置40は、実施の形態2に係るアライメント装置30における制御部23の代わりに制御部41を備える。制御部41以外のアライメント装置40の各部の構成及び動作は、実施の形態2と同様である(図23参照)。
制御部41は、図23に示す制御部23に対し、視野移動判定部411をさらに備える。視野移動判定部411は、合焦領域検出部231による合焦領域の検出結果に基づき、視野Vを移動させて再度撮像を行うべきか否かを判定する。なお、合焦領域検出部231及び傾斜情報算出部232の動作は、実施の形態2と同様である。
次に、アライメント装置40の動作について説明する。図26は、アライメント装置40の動作を示すフローチャートである。なお、図26に示すステップS10及びS11は、実施の形態1と同様である。また、以下においては、ステップS10において、図27に示す画像M2が取得されたものとして説明する。図27は、視野V(図6参照)に入る被写体Sの領域が写った画像M2を複数の小領域に分割した状態を示している(図7のステップS113参照)。
ステップS11に続くステップS31において、視野移動判定部411は、ステップS11における合焦領域の検出結果から、画像M2内を合焦領域と非合焦領域とに分類し、この分類結果に基づいて、被写体Sに対する観察光学系104の視野移動が必要であるか否かを判定する。
図28は、視野移動判定部411が実行する視野移動要否の判定処理を示すフローチャートである。また、図29〜図31は、視野移動要否の判定処理を説明するための模式図である。
まず、ステップS311において、視野移動判定部411は、画像M2のX方向における非合焦領域の位置を判定する。より詳細には、視野移動判定部411は、図27に示すように、合焦領域検出部231により算出された各小領域の画像評価値EXから、小領域の行ごとに、X方向における画像評価値分布グラフを作成する。そして、この画像評価値分布グラフと閾値Txとの交点を求める。なお、図27に示す画像評価値EXのグラフは、画像M2の上から2行目の小領域における画像評価値EXの分布を示している。
視野移動判定部411は、交点の数がゼロまたは偶数個である場合、画像M2の左右両端に非合焦領域が位置しているものと判定する。反対に、図27の2行目のように、交点の数が奇数個(例えば1個)である場合、画像M2の片側にのみ非合焦領域が位置しているものと判定する。
続くステップS312において、視野移動判定部411は、ステップS311と同様にして、画像M2のY方向における非合焦領域の位置を判定する。即ち、小領域の列ごとに画像評価値分布グラフを作成し、該グラフと閾値Tyとの交点の数に基づいて、非合焦領域の位置を判定する。なお、図27に示す画像評価値EYのグラフは、画像M2の左から3列目の小領域における画像評価値EYの分布を示している。
その結果、画像M2の場合、図29に示すように、非合焦領域Rnon-focus2がマイナスX方向の端部にのみ位置しており、合焦領域Rfocus2がプラスX方向の端部に偏っていることがわかる。なお、非合焦領域の位置の判定方法は、上述した方法に限定されず、小領域の行ごと又は列ごとに、非合焦領域が合焦領域を挟むように位置しているか否かが検出できれば良い。
ステップS313において、視野移動判定部411は、ステップS311及びS312において判定された非合焦領域の位置から、視野移動の要否を判定する。具体的には、画像M2のX方向及びY方向の各々において、非合焦領域が片側にのみ位置している場合、視野移動が必要と判定し、非合焦領域が両側に位置している場合、又は非合焦領域が存在していない場合、視野移動は不要と判定する。例えば、図29に示す画像M2の場合、X方向については、非合焦領域Rnon-focus2が左端側にのみ位置しているため、X方向における視野移動が必要と判定する。一方、Y方向については、非合焦領域が存在しない(接点=ゼロ)ので、視野移動は不要と判定する。このような視野移動の要否は、小領域の行ごと、列ごとに判定することとし、非合焦領域が片側にしか存在しない小領域の行又は列が1つでもあれば、視野移動が必要と判定する。また、視野移動判定部411は、視野移動が必要と判定した場合に、各小領域の画像評価値EX、EYをパラメータ記憶部241に記憶させる。
ステップS31における判定の結果、X方向及びY方向のいずれにも視野移動が不要であった場合(ステップS32:No)、アライメント装置40の動作はステップS13に移行する。
一方、ステップS31における判定の結果、視野移動が必要であった場合(ステップS32:Yes)、顕微鏡システム3は、被写体Sに対する観察光学系104の視野Vを相対的に移動させる(ステップS33)。より詳細には、視野移動判定部411は、パラメータ記憶部241に記憶させた各小領域の画像評価値EX、EYに基づき、視野Vの相対的な移動方向を、非合焦領域が位置している方向とは反対方向に決定する。これに応じて、撮像制御部22は、視野Vの相対的な移動方向を示す制御信号をステージ駆動部132(図2参照)に出力する。ステージ駆動部132はこの制御信号に従ってステージ131をXY面内において移動させることにより、視野Vを相対的に変化させる。例えば図29に示す画像M2の場合、非合焦領域Rnon-focus2はマイナスX方向の端部のみに存在するので、視野VをプラスX方向に移動させる。この場合、実際には、顕微鏡装置10において、被写体Sが載置されたステージ131をマイナスX方向に移動させる。
その後、アライメント装置40の動作は、ステップS10に移行する。
アライメント装置40は、このようなステップS10、S11、S31〜S33を、視野移動は不要と判定されるまで(ステップS32:No)、即ち、視野Vの移動後に取得された画像から非合焦領域が検出されるまで繰り返す。なお、X方向及びY方向の両方に視野を移動すべきと判定された場合には、まず、X方向に視野Vを移動させてステップS10、S11、S31〜S33を繰り返し、X方向における視野移動は不要と判断された後で最初の視野位置に戻り、そこからY方向に視野Vを移動させて、これらのステップS10、S11、S31〜S33を繰り返す。
ここで、2巡目以降のステップS31においては、それまでに取得された画像について算出された画像評価値EX、EYを含めて、さらなる視野移動の要否が判定される。例えば、1巡目のステップS10において図6に示す視野Vが写った画像M2が取得され(図29参照)、合焦領域の検出結果に基づいて視野をプラスX方向に移動させることになった場合、2巡目のステップS10においては、被写体Sのうち、該視野Vに隣接する領域の画像M3(図30参照)が取得される。この画像M3に対する合焦領域の検出処理により(ステップS11参照)、合焦領域Rfocus3及び非合焦領域Rnon-focus3が検出された後、続くステップS31においては、図31に示すように、画像M2、M3について算出された画像評価値EXに基づいて判定が行われる。
例えば、図31に示す画像評価値EXのグラフは、画像M2、M3の上から3行目に含まれる8個の小領域における画像評価値EXの分布を示している。このグラフと閾値Txとの交点の数は偶数(2個)なので、さらなる視野移動は不要と判定される。Y方向についても同様に、Y方向への視野移動により取得された全ての画像の画像評価値EYのグラフから、さらなる視野移動の要否が判定される。
ステップS32において視野移動は不要と判定された場合(ステップS32:No)、続くステップS13における処理は実施の形態1と同様である。ただし、視野を移動させて複数の画像を取得した場合には、取得した全ての画像に関する情報を用いて傾斜情報が算出される。例えば、図30に示すように、視野をX方向に移動させて2つの画像M2、M3を取得した場合には、画像M2、M3を含む全体の領域を画像サイズとし、画像M2、M3から検出された合焦領域Rfocus2、Rfocus3を合わせた領域を最終的な合焦領域として、傾斜角度及び傾斜支点が算出される。具体的には、式(4)における画像サイズWimageとして2つ分の画像サイズW(M2,M3)が適用され、合焦領域の幅WFocalとして合焦領域Rfocus2、Rfocus3の合計幅Wf(M2,M3)が適用される。
その後のステップS14、S15は、実施の形態2と同様である。ステップS15を実行せずに、ステップS14において表示された傾斜情報を参照して、ユーザが手動でステージ131の傾斜を調整することとしても良い。
以上説明したように、実施の形態3によれば、片ボケのように、1つの視野の片側にのみ非合焦領域が存在するために、合焦領域の幅を特定することができない場合であっても、視野を移動させて撮像を行うことにより、合焦領域の全体像を把握して、画像のみから対物レンズ140と被写体との間の傾斜情報を算出することができる。また、実施の形態3によれば、画像内の各小領域の画像評価値の分布から、非合焦領域が存在する方向を精度良く推定することができるので、視野を移動すべき方向を特定して確実且つ効率良く傾斜情報を算出することができる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図32は、本発明の実施の形態4に係る顕微鏡システムの構成を示すブロック図である。図32に示すように、実施の形態4に係る顕微鏡システム4は、顕微鏡装置10及びアライメント装置50を備える。このうち、顕微鏡装置10の構成及び動作は実施の形態1と同様である(図2参照)。
アライメント装置50は、実施の形態2に係るアライメント装置30における制御部23の代わりに、制御部51を備える。制御部51以外のアライメント装置50の各部の構成及び動作は、実施の形態2と同様である。
制御部51は、領域分類部511及び非合焦領域探索判定部512を含む合焦領域検出部510を備える。
領域分類部511は、視野V(図6参照)に入る被写体Sが写った画像を複数の小領域に分割し、各領域が合焦領域であるか否かを判定することにより、画像内を合焦領域と非合焦領域とに分類する。
非合焦領域探索判定部512は、領域分類部511による分類結果に基づいて、被写体Sに対する視野Vを移動させて再撮像を行う必要があるか否かを判定するとともに、視野Vを移動させる際の移動方向を決定する。
次に、アライメント装置50の動作について説明する。図33は、アライメント装置50の動作を示すフローチャートである。なお、図33に示すステップS10は、実施の形態1と同様である。
ステップS10に続くステップS41において、合焦領域検出部510は、ステップS10において取得された画像内を合焦領域と非合焦領域とに分類する。図34は、合焦領域検出部510が実行する合焦領域検出処理を示すフローチャートである。なお、図34に示すステップS111〜S114は、実施の形態1と同様である(図7参照)。また、図35は、合焦領域検出処理を説明するための模式図である。以下においては、ステップS10において図35に示す画像M4が取得されたものとして説明する。図35は、視野V(図6参照)に入る被写体Sの領域が写った画像M4を複数の小領域に分割した状態を示している(ステップS113参照)。
ステップS114に続くステップS115において、領域分類部511は、ステップS114において算出された画像評価値に基づいて、各小領域を合焦領域と非合焦領域とに分類する。例えば、図35に示す画像M4の場合、画像M4を分割した各小領域mi(iは2以上の自然数)に対して算出された画像評価値を所定の閾値と比較し、画像評価値が該閾値以上である小領域miを合焦領域Rfocus4、画像評価値が該閾値よりも小さい小領域miを非合焦領域Rnon-focus4として分類する。なお、閾値の決定方法は、実施の形態1と同様である。
続いて、領域分類部511は、各小領域miに、領域識別のためのラベルを付与する。それにより、各小領域miに含まれる全画素に共通のラベルが付与される。各小領域miには、合焦領域又は非合焦領域ごとに、連続する番号が順次割り当てられる。例えば、図35に示す画像M4においては、第1列目の小領域miが非合焦領域に分類されているため、これらの小領域miには、非合焦領域であることを示す非合焦領域ラベルDj(j=1、2、…)が付与される。一方、第2〜4列目の小領域miが合焦領域に分類されているため、これらの小領域miには、合焦領域であることを示す合焦領域ラベルFk(k=1、2、…)が付与される。
続くステップS42において、非合焦領域探索判定部512は、非合焦領域の追加探索の要否を判定する。図36は、非合焦領域探索判定部512が実行する非合焦領域探索判定処理を示すフローチャートである。また、図37〜図43は、非合焦領域探索判定処理を説明するための模式図である。
まず、ステップS421において、非合焦領域探索判定部512は、それまでに被写体Sに対して撮像が行われた回数を示す撮像回数ラベルを取得する。1巡目の処理においては、撮像回数ラベルは1となる。
続くステップS422において、非合焦領域探索判定部512は、非合焦領域ラベルDjが付与された領域(以下、Dj領域という)に対して、隣接する領域との連結性を判定し、連結性のある複数の領域を統合することにより、連結非合焦領域を生成する。この際、非合焦領域探索判定部512は、図37に示すように、画像内の小領域及び各小領域内の画素に対してラスタ順に連結条件の判定を行う。即ち、画像M4内では、左上のDj領域から右に向かって判定を行い、1行目の判定が終了すると、1行下の左端のDj領域を判定対象とし、再び、左から右に向かって判定を行う。また、各Dj領域内では、左上の画素から右に向かって判定を行い、1行目の判定が終了すると、1行下の左端の画素を判定対象とし、再び、左から右に向かって判定を行う。例えば、図38(a)に示すD1領域内の4隅の画素a1、b1、c1、d1に対する判定は、画素a1→画素b1→画素c1→画素d1の順に行われる。
Dj領域の連結性は、各Dj領域内の4隅の画素の連結性に基づいて判定される。非合焦領域探索判定部512は、まず、図38(a)に示すように、D1領域内の4隅の画素a1、b1、c1、d1の各々について、近傍画素(周囲画素)が非合焦領域内の画素であるか否かを判定する。例えば、画素a1の近傍画素はいずれもD1領域内に位置するので、他の非合焦領域との連結性はないと判定される。また、画素b1の近傍画素は、D1領域内又は隣接する合焦領域(F1領域)内に位置するので、他の非合焦領域との連結性がないと判定される。一方、画素c1の場合、4つの近傍画素p11、p12、p13、p14のうち、近傍画素p13がD2領域に含まれるため、D1領域とD2領域との間に連結性があると判定される。
このように、連結性があると判定された時点で、D1領域に対する判定処理は終了する。即ち、残る画素d1に対する判定はスキップされる。そして、連結性があると判定されたD1領域及びD2領域に、同じ連結非合焦ラベルCn(n=1、2、…)が付与される。この際、処理対象の領域(D1領域)に対する連結相手の領域(D2領域)に、既に連結非合焦ラベルCnが付与されていた場合には、当該連結相手の連結非合焦ラベルCnが処理対象の領域に付与される。一方、連結相手の領域に未だ連結非合焦ラベルCnが付与されていない場合には、新たな連結非合焦ラベルCnが設定される。例えば図38(a)の場合、連結相手であるD2領域には未だ連結非合焦ラベルCnが付与されていないので、D1領域及びD2領域に連結非合焦ラベルの初期値C1が付与される(図38(b)参照)。なお、連結非合焦ラベルCnの初期設定値はC0であり、ラベル番号nは、新たに連結性があると判定された場合、それまでに取得された連結非合焦ラベルCnの最大ラベル番号+1に設定される。
続く処理対象であるD2領域についても、同様にして判定が行われる。ここで、図38(c)に示すように、画素a2の近傍画素p15はD1領域内に位置するが、既に自身(D2領域)と連結されているので、処理はスキップされる。画素b2についても同様である。一方、画素c2は、4つの近傍画素p21、p22、p23、p24のうち、近傍画素p23がD3領域に含まれるため、D2領域とD3領域との間に連結性があると判定される。この場合、D3領域にD2領域と同じ連結非合焦ラベルC1が付与される。
ここで、連結相手のDj領域に、処理対象のDj領域とは異なる連結非合焦ラベルCnが既に付与されていた場合、ラベル番号が若い方の連結非合焦ラベルCnに合わせられる。例えば、例えば図38(d)に示すように、D11領域に対する判定の際に、該D11領域と連結性があるとの判定によりD14領域に連結非合焦ラベルC1が付与され、その後で、連結非合焦ラベルC2が付与されているD13領域に対する判定において、D14領域にD13領域と連結性があると判定された場合、D13領域及び該D13領域と同じ連結非合焦ラベルC2が付与されているD12領域の連結非合焦ラベルは、連結非合焦ラベルC1に変換される。
なお、Dj領域の4隅の画素がそれぞれ異なる領域と連結している場合があるため、各Dj領域に対し、少なくとも1回の連結判定が行われる。
続くステップS423において、非合焦領域探索判定部512は、連結非合焦ラベルCnが付与された領域(以下、連結非合焦領域という)の位置に基づいて、他の非合焦領域を探索する必要性の有無を判定する。また、探索が必要である場合には、併せて、探索方向も判定する。
より詳細には、非合焦領域探索判定部512は、図39に示すように、画像M4内において、連結非合焦領域の領域数をカウントする。この領域数は、連結非合焦ラベルCnのラベル番号の最大値となる。例えば画像M4の場合、領域数は1となる。
非合焦領域探索判定部512は、連結非合焦領域の領域数が1の場合、非合焦領域の探索が必要であると判定する。この場合、続いて、非合焦領域探索判定部512は、連結非合焦領域の重心画素Dgの位置及び合焦領域Rfocus4の重心画素Fgの位置を求める。そして、図40に示すように、連結非合焦領域の重心画素Dgから合焦領域Rfocus4の重心画素Fgに向かうベクトルの方向を、探索方向として決定する。なお、連結された非合焦領域の領域数が2以上の場合については、後で詳述する。
ステップS42において非合焦領域の探索が必要と判定された場合(ステップS43:Yes)、顕微鏡システム4は、被写体Sに対する観察光学系104の視野Vを、ステップS423において決定された探索方向に移動させる(ステップS44)。より詳細には、非合焦領域探索判定部512は、視野Vの移動方向を示すベクトル情報を撮像制御部22に出力する。これに応じて、撮像制御部22は、視野Vの相対的な移動方向を示す制御信号をステージ駆動部132(図2参照)に出力する。ステージ駆動部132はこの制御信号に従ってステージ131をXY面内において移動させることにより、視野Vを相対的に変化させる。
また、非合焦領域探索判定部512は、撮像回数のフラグを、これまで行った撮像回数に対して1をインクリメントする。例えば、1巡目のステップS10及びS41〜S43の後ステップS44に移行した場合、撮像回数のフラグは2となる。さらに、非合焦領域探索判定部512は、連結非合焦ラベルのラベル番号Cnの最大値(図40においては1)を、連結非合焦ラベルの最大ラベル番号として、パラメータ記憶部241に記憶させる。
アライメント装置50は、このようなステップS10及びS41〜S44を、非合焦領域の探索は不要と判定されるまで(ステップS43:No)繰り返す。
ここで、2巡目以降のステップS42における非合焦領域連結処理において(図36のステップS422参照)、非合焦領域探索判定部512は、パラメータ記憶部241に記憶させた連結非合焦ラベルの最大ラベル番号を取得し、これに1をプラスした番号を、連結非合焦ラベルの初期値とする。例えば、上述した例では、1巡目における最大ラベル番号が1であったため、2巡目の連結非合焦ラベルの初期値としてC2が設定される。
また、2巡目以降においては、それまでに取得された画像に対する非合焦領域連結処理の結果を用いて、非合焦領域の追加探索の要否及び探索方向が判定される。ここで、連結非合焦領域の領域数が2以上の場合について説明する。
例えば、1巡目のステップS10において図35に示す画像M4が取得され、非合焦領域の追加探索の要否及び探索方向の判定結果に基づいて視野VをプラスX方向に移動させることになった場合、2巡目のステップS10においては、被写体Sのうち、図6に示す視野Vに隣接する領域の画像M5が取得される(図41参照)。この画像M5に対する小領域の分類処理により、画像M5内の小領域が合焦領域Rfocus5と非合焦領域Rnon-focus5とに分類され、非合焦領域Rnon-focus5に対する連結処理により、非合焦領域Rnon-focus5内の各小領域に、連結非合焦ラベルC2が付与されたとする(図42参照)。
この場合、非合焦領域探索判定部512は、まず、連結非合焦ラベルC1が付与された領域の重心画素Dg1と、合焦領域の重心画素とを取得する。このうち、合焦領域については、画像M4、M5からそれぞれ検出された合焦領域Rfocus4、Rfocus5を合わせた領域Rfocus(M4,M5)の重心画素Fg(M4,M5)が取得される。
続いて、非合焦領域探索判定部512は、図43に示すように、領域Rfocus(M4,M5)の重心画素Fg(M4,M5)に対して、ラベル番号が小さい方の連結非合焦ラベルC1が付与された領域の重心画素Dg1と対称な画素Aを求める。非合焦領域探索判定部512は、この画素Aに付与されたラベルが合焦ラベルである場合、非合焦領域の追加探索が必要であると判定し、重心画素Dg1から重心画素Fg(M4,M5)に向かうベクトルの方向を探索方向(視野の移動方向)とする。
一方、非合焦領域探索判定部512は、画素Aに付与されたラベルが合焦ラベルでない場合、非合焦領域の追加探索は不要と判定する。例えば図43の場合、画素Aには連結非合焦ラベルC2が付与されているため、さらなる非合焦領域の探索は不要と判定される。
ステップS43においてさらなる非合焦領域の探索は不要と判定された場合(ステップS43:No)、続くステップS13〜S15については実施の形態3と同様である。なお、ステップS15を実行せずに、ステップS14において表示された傾斜情報を参照して、ユーザが手動でステージ131の傾斜を調整することとしても良い。
以上説明したように、実施の形態4によれば、片ボケのように、1つの視野の片側にのみ非合焦領域が存在するために、合焦領域の幅を特定することができない場合であっても、視野を移動させて撮像を行うことにより、合焦領域の全体像を把握して、画像のみから対物レンズ140と被写体との間の傾斜情報を算出することができる。また、実施の形態4によれば、連結非合焦領域の重心と合焦領域の重心との位置関係から、非合焦領域が存在する方向を精度よく推定することができるので、視野を移動すべき方向を特定して確実且つ効率良く傾斜情報を算出することができる。例えば、取得済みの画像に写った視野の斜め方向に非合焦領域が存在する場合であっても、視野の移動方向を1度の処理で特定することも可能である。
(実施の形態5)
次に、本発明の実施の形態5について説明する。
図44は、本発明の実施の形態5に係る顕微鏡システムの構成を示すブロック図である。図44に示すように、実施の形態5に係る顕微鏡システム5は、顕微鏡装置10及びアライメント装置60を備える。このうち、顕微鏡装置10の構成及び動作は実施の形態1と同様である(図2参照)。
アライメント装置60は、実施の形態2に係るアライメント装置30における制御部23の代わりに、制御部61を備える。制御部61以外のアライメント装置60の各部の構成及び動作は、実施の形態2と同様である。
制御部61は、合焦領域検出部231と、合焦位置比較部611と、傾斜情報算出部612とを備える。このうち、合焦領域検出部231の動作は、実施の形態1と同様である。
図45及び図46は、実施の形態5における被写体Sの撮像方法を示す模式図である。実施の形態5においては、図45及び図46に示すように、対物レンズ140を含む観察光学系104の合焦面に対し、被写体Sを予め既知の傾斜角度γだけ相対的に傾斜させた状態で撮像を行う。両者を相対的に傾斜させるためには、例えば図45に示すように、水平に設置されたステージ131の載置面131a上に被写体Sを載置し、被写体Sに対して合焦面が傾斜角度γだけ傾斜するように観察光学系104を設置すれば良い。なお、この場合、電気的な制御により観察光学系104の傾斜を変化させる傾斜調整駆動部105をさらに設けると良い。或いは、図46に示すように、光軸Lが載置面131aと直交するように観察光学系104を設置し、載置面131a上に傾斜のある台座106を設置し、この台座106上に被写体Sを配置しても良い。なお、光軸Lと被写体Sとを相対的に傾斜させるための機構は、これらの例に限定されない。以下の説明においては、図45に示すように、観察光学系104側を傾斜させて撮像を行うこととする。
実施の形態5においては、工場出荷時のように、ステージ131及び観察光学系104のいずれにも傾斜が生じていないことが保証されている状態で、観察光学系104の合焦面を被写体Sに対して傾斜角度γだけ傾斜させた場合に(以下、この状態を基準状態という)、観察光学系104に対して被写体Sが合焦される領域(以下、基準合焦領域という)に関する情報(以下、基準合焦情報という)を、予めパラメータ記憶部241に記憶させておく。基準合焦情報は、具体的には、基準状態で撮像を行うことにより取得した画像(以下、基準画像という)から検出された基準合焦領域の位置及び幅の情報である。または、基準画像そのものをパラメータ記憶部241に記憶させても良い。或いは、パラメータ記憶部241に記憶されている各種パラメータから、基準合焦領域の位置及び幅を算出してもよい。基準合焦領域の位置及び幅は、撮像素子211aの受光面のサイズ(イメージャサイズ)、対物レンズ140の被写界深度DOF、及び傾斜角度γ等のパラメータによって規定されるからである。
合焦位置比較部611は、被写体Sの観察画像から検出された合焦領域の位置及び幅と、基準合焦領域の位置及び幅をそれぞれ比較して差分を算出する。
傾斜情報算出部612は、合焦位置比較部611により算出された合焦領域の位置及び幅の差分から、被写体Sの傾斜情報を算出する。
次に、アライメント装置60の動作について説明する。図47は、アライメント装置60の動作を示すフローチャートである。なお、図47に示すステップS10及びS11は、実施の形態1と同様である。以下においては、ステップS10において、図48(a)に示す画像M6が取得されたものとして説明する。図48(a)は、視野V(図6参照)に入る被写体Sの領域が写った画像M6を複数の小領域に分割した状態を示している(図7のステップS113参照)。また、パラメータ記憶部241には、図48(b)に示す基準画像Mbaseから検出された基準合焦領域Rfocus(b)の位置及び幅が予め記憶されているものとする。
ステップS11に続くステップS51において、合焦位置比較部611は、パラメータ記憶部241に記憶されている基準合焦領域Rfocus(b)の情報を読み出し、ステップS10において取得された画像M6から検出された合焦領域Rfocus6の位置及び幅と、基準合焦領域Rfocus(b)の位置及び幅とをそれぞれ比較して差分を算出する。なお、記憶部24に基準画像Mbaseが記憶されている場合、合焦位置比較部611は、合焦領域検出部231に基準画像から基準合焦領域Rfocus(b)を検出させることにより、該基準合焦領域Rfocus(b)の位置及び幅を取得する。或いは、合焦位置比較部611は、イメージャサイズ、使用中の対物レンズ140の被写界深度DOF、傾斜角度γ等のパラメータをパラメータ記憶部241から読み出して、基準合焦領域Rfocus(b)の位置及び幅を算出しても良い。
より詳細には、合焦位置比較部611は、画像M6内の合焦領域Rfocus6の幅Wfocus6と基準合焦領域Rfocus(b)の幅Wfocus(b)との差分(以下、差分幅という)ΔW=Wfocus(b)−Wfocus6を算出する。観察画像内の合焦領域の幅が基準合焦領域の幅より狭くなっているとき、差分幅ΔWの符号はプラスとなり、観察画像の合焦領域の幅が基準合焦領域の幅よりも拡がっているとき、差分幅ΔWの符号はマイナスとなる。
また、合焦位置比較部611は、画像M6内の合焦領域Rfocus6の中心点P6の座標(以下、支点位置という)と基準合焦領域Rfocus(b)の中心点Pbaseの座標(同上)との差分(以下、差分支点という)ΔC(pixel)を算出する。差分支点ΔCは合焦領域Rfocus6の画像中心からの変位を表し、合焦領域Rfocus6が画像M6の左側に偏っている場合、符号はマイナスとなり、合焦領域Rfocus6が画像M6の右側に偏っている場合、符号はプラスとなる。
合焦位置比較部611は、これらの差分幅ΔW及び差分支点ΔCをパラメータ記憶部241に記憶させる。
続くステップS52において、傾斜情報算出部612は、パラメータ記憶部241から各種パラメータを読み出し、ステップS51において算出された差分幅ΔW及び差分支点ΔCを用いて、観察光学系104の傾斜情報を算出する。図49は、傾斜情報算出部612が実行する傾斜情報算出処理を示すフローチャートである。また、図50〜図52は、傾斜特定算出処理を説明するための模式図である。
このうち、図50(a)は、対物レンズ140と被写体Sとの位置関係をXZ平面において示し、図50(b)は、当該位置関係の場合に対物レンズ140の視野に入る被写体Sの画像M6をXY平面において示している。図51及び図52についても同様である。なお、図50〜図52においては、理解を容易にするために、被写体Sを厚みのない平面とみなして該被写体S及び視野Vを図示している。
また、図50(a)に示すように、以下においては、観察光学系104(対物レンズ140)の視野サイズをFov(μm)、被写体深度をDOF(μm)、観察光学系104の合焦面と被写体Sとのなす角度を傾斜角度β(rad)、視野Vに含まれる被写体Sの領域に生じている傾斜の高さをz(μm)、視野サイズFovに対応する画像M6のサイズ(画像サイズ)をWimage(pixel)、画像M6内の合焦領域Rfocus6の幅をWFocal(pixel)とする。このうち、顕微鏡装置10及び撮像部211のスペックに依存するパラメータ(視野サイズFov、被写界深度DOF、画像サイズWimage)は、パラメータ記憶部241に予め記憶されており、必要に応じて読み出される。
図50は、観察光学系104の合焦面と被写体Sとの間に傾斜のズレが生じていない基準状態を示している。即ち傾斜角度β=γであり、この状態で撮像を行ったときに基準画像Mbaseが取得され、視野Vのうち、被写界深度DOFに含まれる領域R0が、画像Mbaseの合焦領域Rfocus(b)として検出される。一方、図51及び図52は、合焦面と被写体Sとの間に傾斜のズレが生じている状態を示している。
まず、ステップS521において、傾斜情報算出部612は、差分幅ΔWから、観察光学系104の傾斜のズレ方向を算出する。傾斜のズレ方向は、差分幅ΔWの符号がプラスである場合、即ち、図51に示すように、合焦領域Rfocus6の幅が基準合焦領域Rfocus(b)の幅よりも狭い場合、観察光学系104の傾斜方向と同じと判定される。これは、図50に示す基準状態に対して、傾斜角度βが大きくなっていることを示す。一方、差分幅ΔWの符号がマイナスである場合、即ち、図52に示すように、合焦領域Rfocus6の幅が基準合焦領域Rfocus(b)の幅よりも広い場合、傾斜のズレ方向は、観察光学系104の傾斜方向と反対と判定される。これは、図50に示す基準状態に対して、傾斜角度βが小さくなっていることを示す。
また、傾斜情報算出部612は、次式(6)によって与えられる傾斜角度のずれ量α’を算出する。
α’=γ−β …(6)
式(6)において、傾斜角度βは次式(7)によって与えられる。
傾斜角度βの符号は差分幅ΔWと同じ符号とする。
また、式(7)において、傾斜の高さzは次式(8)によって与えられる。
続くステップS522において、傾斜情報算出部612は、差分支点ΔCを傾斜支点のずれ量として決定する。ここで、差分支点ΔC=0の場合、視野Vの中心が傾斜支点となる。また、差分支点ΔCの符号がプラスである場合、傾斜支点は視野Vの中心からプラスX方向にずれていることを表し、差分支点ΔCの符号がマイナスである場合、傾斜支点は視野Vの中心からマイナスX方向にずれていることを示す。
続くステップS523において、傾斜情報算出部612は、ステップS521及びS522において取得した傾斜情報、即ち、傾斜角度のズレ方向、傾斜角度のずれ量α’及び傾斜支点のずれ量を、傾斜情報としてパラメータ記憶部241に記憶させる。
その後、アライメント装置60の動作はメインルーチンに戻る。
ステップS52に続くステップS14は、実施の形態2と同様である。
ステップS14に続くステップS53において、傾斜調整制御部31は、ステップS52において算出された傾斜情報をパラメータ記憶部241から読み出し、該傾斜情報に基づく制御信号を生成して顕微鏡装置10に出力することにより、ステージ131又は観察光学系104の傾斜を調整する。
傾斜調整制御部31は、まず、視野Vの中心位置における被写体Sに対する合焦面の傾斜方向及び傾斜角度を調整する。
例えば図45に示すように、基準状態において、ステージ131の載置面131aを水平に設置し、観察光学系104を傾斜させた場合、傾斜調整制御部31は、傾斜調整駆動部105に制御信号を出力し、基準状態における傾斜角度γ(図50参照)の分だけ、予め傾斜させてある方向とは反対方向に観察光学系104の傾斜を戻させる。
続いて、傾斜調整制御部31は、ステージ131の傾斜を調整する。具体的には、図51に示すように、被写体Sが合焦面に対して右上がりの場合、調節つまみ駆動部152(図2参照)に制御信号を出力し、XZ面内においてステージ131をステージ中心に対して時計回りに回転させる。反対に、図52に示すように、被写体Sが合焦面に対して右下がりの場合、調節つまみ駆動部152に制御信号を出力し、XZ面内においてステージ131をステージ中心に対して反時計回りに回転させる。
一方、図46に示すように、基準状態において、光軸Lが鉛直となるように観察光学系104を設置し、被写体S側を傾斜させた場合、台座106を除去するなどして被写体Sを水平状態に戻し、観察光学系104の傾斜を調整する。具体的には、被写体Sが合焦面に対して右上がりの場合、傾斜調整駆動部105に制御信号を出力し、XZ面内において観察光学系104をイメージャ中心に対して反時計回りとなるように回転させる。反対に、被写体Sが合焦面に対して右下がりの場合、傾斜調整駆動部105に制御信号を出力し、XZ面内において観察光学系104をイメージャ中心に対して時計回りとなるように回転させる。
続いて、傾斜調整制御部31は、傾斜支点のずれ領域に基づき、該ずれ量の符号と反対方向に、ずれ量の分だけステージ131を移動させる。例えば、X方向におけるずれ量の符号がプラスである場合、ステージ駆動部132に制御信号を出力し、ステージ131をマイナス方向に移動させる。反対に、ずれ量の符号がマイナスである場合、ステージ駆動部132に制御信号を出力し、ステージ131をプラスX方向に移動させる。これにより、傾斜支点が観察光学系104の視野の中心(即ち、光軸Lが通る位置)と一致し、適切な視野の合焦画像を取得することができるようになる。
なお、Y方向における調整方法も同様である。
以上説明したように、実施の形態5によれば、観察光学系104又は被写体Sを既知の角度だけ予め傾斜させて撮像を行うので、観察光学系104又はステージ131をZ方向に移動させることなく、傾斜方向を特定することができる。また、片ボケが生じている場合にも視野Vを移動させることなく、全ての傾斜情報を取得することができる。従って、顕微鏡装置10のアライメントを高速且つ効率良く行うことができる。また、観察光学系104又は被写体Sを傾斜させて撮像を行う場合、合焦領域と非合焦領域とのコントラストが大きくなるように調整することができるため、合焦領域の検出精度を向上させることも可能である。
以上説明した実施の形態1〜5及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。