以下、本発明の実施の形態である荷電粒子線装置と撮像装置間のアライメントシステムについて図面に基づいて説明する。図1は、荷電粒子線装置として走査電子顕微鏡を、撮像装置として光学顕微鏡を適用したアライメントシステムの概略構成図である。アライメントシステムは、その主要な構成として、走査電子顕微鏡100、光学顕微鏡104及び走査電子顕微鏡100、光学顕微鏡104のそれぞれを制御するシステム制御部103を有する。
走査電子顕微鏡100は、鏡筒101と試料室102とが一体化され、その内部を高真空状態に保持可能とされている。鏡筒101には、電子ビーム110を放出する電子銃111及び電子ビーム110を照射制御する電子光学系112が設けられている。電子光学系112は、電子銃111から放出された電子ビーム110を集束するコンデンサレンズ113と、電子ビーム110を走査する偏向器114と、試料120の表面に焦点が合うように電子ビーム110を集束させる対物レンズ115とを含む。また、図示の例では、電子ビーム110が試料120に照射されることにより発生する信号130(例えば、二次電子や反射電子、X線等)を検出する検出器131も鏡筒101内に設けられている。
試料室102には開閉可能な導入/導出口が設けられており、導入/導出口を介して試料支持部材(以下、「試料キャリア」という)121が載置された電子顕微鏡用試料ホルダ122が収容される。観察対象である試料120は試料キャリア121に載置される。詳細については後述するが、試料キャリア121には位置合わせのためのマークやパターンが形成または貼付されている。
試料室102には、電子顕微鏡試料ステージ123が設けられており、電子顕微鏡試料ステージ123は、電子顕微鏡用試料ホルダ122が着脱自在に取り付けられる電子顕微鏡用試料ホルダ被取付部124と、電子顕微鏡用試料ホルダ被取付部124を水平面内または面直方向へ移動させたり、回転や傾斜させたりして、試料120(及び試料キャリア121)の位置や向きを電子顕微鏡用試料ホルダ122ごと変位させる電子顕微鏡試料移動機構125とを備えている。
システム制御部103の電子顕微鏡制御部152により、試料移動機構125と電子光学系112とを制御し、試料120の所望の位置に電子ビーム110を照射し、発生した信号130を検出器131で検出することにより、所望の位置と倍率により試料120の電子顕微鏡観察を実施することができる。なお、以下の説明では、検出器131として、試料120の表面構造を検出するのに適した二次電子検出器を例に説明するが、検出器131はこれには限らない。相関観察する対象や目的に応じた検出器が適用できる。例えば、試料120の組成の検出を目的として反射電子検出器を使用することもでき、元素分析を目的としてX線検出器を使用することもできる。
光学顕微鏡104は、電子顕微鏡が電子線を用いるのに対して可視光線を用いる違いはあるが、基本的な構成は電子顕微鏡と同一といえ、電子顕微鏡の電子光学系が対物レンズ140に相当し、電子顕微鏡の検出器が撮像素子141に相当する。撮像素子141としてはCCD(Charge Coupled Device)やCMOSセンサが用いられる。撮像素子141により試料の画像データ(静止画像または動画像)を取得する。
試料キャリア121は、光学顕微鏡104の光学顕微鏡用試料ホルダ142に載置される。光学顕微鏡104には光学顕微鏡試料ステージ143が設けられており、光学顕微鏡試料ステージ143は、光学顕微鏡用試料ホルダ142が着脱自在に取り付けられる光学顕微鏡用試料ホルダ被取付部144と、光学顕微鏡用試料ホルダ被取付部144を水平面内または面直方向へ移動させたり、回転や傾斜させたりして、試料120(及び試料キャリア121)の位置や向きを光学顕微鏡用試料ホルダ142ごと変位させる光学顕微鏡試料移動機構145とを備えている。光学顕微鏡試料移動機構145は、電動式または手動式の何れであってもよい。
図2は図1におけるシステム制御部103の機能ブロック図である。システム制御部103は光学顕微鏡制御部151、電子顕微鏡制御部152、アライメント制御部153から構成される。各制御部は、それぞれの機能を実行するプログラムがインストールされたコンピュータとして実現され、各制御部間の通信は、TCP/IP通信でやり取りされるものとする。これは、本実施例のアライメント機能は走査電子顕微鏡単体または光学顕微鏡単体で運用する場合には必要ではないため、各顕微鏡を単体で運用する際には不要な機能は隠してユーザの使い勝手をよくする他、中央処理装置(CPU)への負荷を分散するためである。しかし、十分な性能をもつコンピュータを有する場合は、システム制御部103を1つのコンピュータで構成してもよい。この場合は、応答性をよくするために、名前付きパイプで実現してもよい。また、ユーザが各顕微鏡を単体で運用する機会が少ない場合にも1つのコンピュータで実現し、各制御部間の通信負荷をなくすことも好ましい。ここで、コンピュータとはCPUやメモリなどの記憶装置、キーボードやマウス、モニタなどの入出力装置を備え、プログラムがCPUによって実行されることで動作する制御装置を指し、例えば、一般的なデスクトップPC、ノートPC、タブレット端末やスマートフォンでもよいし、組み込み型のマイクロコンピュータでもよい。また、プログラムの一部の処理における処理速度の向上、処理時間の短縮を目的にFPGAのような論理回路やGPUのような並列処理装置、もしくは分散型の高速計算機で実行してもよい。各制御部はユーザと情報をやり取りするユーザインターフェース(以下、「UI」という)を有している。
光学顕微鏡制御部151は、ユーザの入出力部からの操作に伴う光学顕微鏡104の制御機能を有している。ユーザからの操作を受け付ける光学顕微鏡操作入出力部210を備えており、光学顕微鏡操作入出力部210に入力された情報を基に光学系制御部211および光学顕微鏡試料移動機構制御部212は、それぞれ光学顕微鏡の対物レンズ140と光学顕微鏡試料移動機構145を制御することで視野を設定する。また、光学系制御部211は撮像素子141も制御しており、ユーザからの操作に応じて設定された視野を撮像する。その際、このときに設定されている倍率と試料移動機構の座標位置(以下、「視野情報」という)を画像に紐づけて管理する。以上の構成により、ユーザは自身の操作に基づき、光学顕微鏡104で任意の視野を設定し、その画像データおよび視野情報を取得可能となる。なお、視野情報として、試料移動機構の高さ方向の座標データやカメラのフォーカス位置といった高さ方向の情報を含めてもよい。
なお、図2の例では、撮像素子141は光学顕微鏡制御部151の光学顕微鏡画像管理部220に接続され、撮像した画像データをアライメント制御部153の画像入力部250に直接送出するようになっている。必ずしも撮像素子141が光学顕微鏡画像管理部220に接続される必要はなく、撮像された観察対象物の画像データをデジタル画像データの様式に基づいて保存し、この保存された画像データファイルをアライメント制御部153の画像入力部250に入力してもよい。ただし、画像と視野情報とは紐づけられている必要があるので、画像データファイルには、視野情報を画像データファイルに埋め込むなり、別形式のファイルで管理してリンクするなりする必要がある。
電子顕微鏡制御部152は、ユーザの入出力部からの操作に伴う走査電子顕微鏡100の制御機能を有している。ユーザからの操作を受け付ける電子顕微鏡操作入出力部230を備えており、電子顕微鏡操作入出力部230に入力された情報を基に電子光学系制御部231および電子顕微鏡試料移動機構制御部232は、それぞれ電子光学系112と電子顕微鏡試料移動機構125を制御することで視野を設定する。視野の信号は検出器131によって取得され、電子顕微鏡画像生成部240で画像として形成され、電子顕微鏡観察像描画部241によってモニタ等の出力機器に描画される。以上の構成により、ユーザは自身の操作に基づき、走査電子顕微鏡100で任意の視野を設定し、観察が可能となる。
アライメント制御部153は、ユーザが入力した光学顕微鏡104の視野情報から走査電子顕微鏡100の視野情報に変換し、電子光学系112と試料移動機構125を制御することで、走査電子顕微鏡100で同一の視野を設定する機能を有する。
アライメント制御部153は、光学顕微鏡104の座標系と走査電子顕微鏡100の座標系を変換する(以下、「アライメントする」という)ためのワークフロー全体を制御するアライメント処理部260を備える。本実施例ではアライメントする手法として平行移動・回転・スケーリング(拡大・縮小)・シェアリング(せん断変形)等が補正可能なアフィン変換を使用する。アフィン変換の変換行列を計算するためには、少なくとも3組の任意の同一箇所(以下、「位置合わせ点」という)について、光学顕微鏡104の画像データ及びそれに対応する視野情報と、走査電子顕微鏡100の画像データ及びそれに対応する視野情報とが必要になる。
アライメント制御部153は、画像入力部250および視野情報入力部251を備え、光学顕微鏡104で撮像された画像データと視野情報とを受け取り、視野情報に基づき画像データをスケーリング・平行移動した上で入力画像表示部271に表示する。
位置合わせ点取得部280は、入力画像表示部271に表示された画像データに対して特定された3点の位置合わせ点にそれぞれ対応する電子顕微鏡画像生成部240の画像データについての情報を取得する。このとき、位置合わせ点として特定する3点は正三角形の頂点となる位置関係が望ましいため、観察したい対象がその三角形内に収まるように位置合わせ点を配置することが望ましい。この3点の特定には、試料キャリア121に設けられたアライメントマークによって特定する、あるいは試料キャリア121にアライメントマークを示すシールを貼付する、あるいはアライメントマークを示すマークをスタンプすることによって特定する、あるいは画像データに含まれる特徴的な形状によって特定する、といった特定方法が適用できる。それぞれの特定方法については後述する。
アライメント処理部260は、位置合わせ点取得部280で取得された3組の位置合わせ点の画像データと視野情報とを用いてアライメントのための変換行列を算出する。変換行列の算出に利用される画像データおよび視野情報は、再観察時(一旦試料ホルダ122から取り外した試料キャリア121を再度試料ホルダ122上に載置し、観察を行うことをいう)に利用できるように、コンピュータ上のメモリ、ないしハードディスクといった記憶装置で構成されるアライメントデータ管理部261に保存される。なお、再観察目的のデータを保存するだけではなく、設計に基づき位置合わせ点が既定の位置にあるような試料キャリアを利用するために既定の距離と画像データとをアライメントデータ管理部261に登録してもよい。
アライメント制御部153は視野入力部281と視野情報算出部262を備え、視野入力部281からユーザが、光学顕微鏡画像に対して観察したい任意の視野範囲情報を取得し、視野情報算出部262で、取得した位置合わせ点から求めた変換行列を使用し、入力された任意の視野範囲情報を電子顕微鏡100の視野情報に変換する。
アライメント処理部260は、変換された視野情報を、電子顕微鏡操作入出力部230を介し、走査電子顕微鏡100の電子光学系112と試料移動機構125を制御することでユーザが任意に入力した視野と走査電子顕微鏡100の視野とを一致させる。なお、同一視野を観察しているか容易に判断することを目的に、光学顕微鏡画像表示部(図示せず)を設け、アライメント処理部260からユーザが入力した視野範囲の光学顕微鏡画像データを取得し、電子顕微鏡観察像描画部241上に同一視野の光学顕微鏡画像を、透過度を持たせて描画してもよい。
なお、アライメント処理部260は、アライメントデータ管理部261に登録された対象を再観察する際に、位置合わせ点となる3点の内、2、3点目を自動で認識する機能(以下、「簡易アライメント機能」という)を有する。図3に簡易アライメント機能のフローチャートを示す。ここでは、走査電子顕微鏡観察時に簡易アライメント機能を使用する例を説明するが、試料移動機構とそれを制御するシステムを備えた観察機器であれば簡易アライメント機能は適用可能である。視野の狭い走査電子顕微鏡に対して簡易アライメント機能はより効果的であるものの、例えば、光学顕微鏡においても簡易アライメント機能は利用可能である。
ステップ301:はじめにユーザが走査電子顕微鏡100を電子顕微鏡操作入出力部230から操作し、1点目の位置合わせ点を視野内に収める。
ステップ302:アライメント処理部260は、アライメントデータ管理部261に登録された1点目の位置合わせ点の画像データを抽出し、抽出した画像データより位置合わせのためのテンプレートデータを作成する。電子顕微鏡画像生成部240から取得した画像データとテンプレートデータを基にテンプレートマッチングの画像処理を行い、位置合わせ点と回転角度を認識する。
ステップ303:位置合わせ点の画像中心位置からのピクセル数と、電子光学系112から取得されるピクセルサイズとから、位置合わせ点と画像中心位置との相対距離を算出し、画像中心位置の座標データを試料移動機構125から取得することで、1点目の位置合わせ点の座標(位置合わせ点が画像中心位置にある場合の試料移動機構125の座標位置)を求める。ステップ302で求めた回転角度とアライメントデータ管理部261に登録された次の位置合わせ点との間の相対距離を基に、次の位置合わせ点に試料移動機構125を制御して移動させる。
ステップ304:2、3点目も前述のステップ302、303を繰り返すことで認識する。これにより、1点目以外の位置合わせ点については、その情報を自動で取得することができる。
図3のフローチャートでは1点目への視野移動はユーザが実施するものとしているが、試料移動機構の初期位置(ホームポジション)と位置合わせ点の1点目への相対位置関係を固定するように機械的な機構を設け、1点目への相対位置もアライメントデータ管理部261に登録することで、アライメント処理部260が視野移動を行ってもよい。特に、走査電子顕微鏡のように観察視野の狭い装置においては、1点目への視野移動を自動化することは大きなメリットがある。一方、光学顕微鏡の場合は一般的に視認しながら試料移動機構を制御することで容易に1点目を観察視野内に収めることができるためメリットは少ない。
先に位置合わせ点を、試料キャリア121に設けられるアライメントマーク、あるいはアライメントマークを示すシールやスタンプによって特定する、と述べた。図4A,Bに試料キャリアやシール等に用いられるアライメントマークの構成例を示す。
一般的に、植物細胞や生物細胞を観察する際には、長方形や正方形のカバーガラスやスライドガラスを試料キャリア121として利用する(すなわち、カバーガラスもスライドガラスも試料を載置するために用いられ、使い方としては同じである)。このため、走査電子顕微鏡による観察を行う際に、試料ホルダ122に、光学顕微鏡観察時の方向に対して90°ないし180°回転した状態で載置し、試料室102に挿入される可能性がある。さらに、丸形カバーガラスは回転が自由なため、容易に回転した状態で挿入されてしまう。実際、走査電子顕微鏡のような装置は電子ビームのスキャン方向を視認することができないため、光学顕微鏡と同じ方向で観察するためには、どの方向で試料を載置すればよいかがユーザにはわかり難く、意図と違う方向で試料を載置して挿入してしまう可能性も少なくない。走査電子顕微鏡では観察時には試料室を真空に近い状態とする必要があり、観察するためには真空引きの時間を要する。そのため、一度間違って挿入すると、回転方向を直して再観察するためには数分から十数分消費し、観察の効率が著しく低下する。また、試料キャリア121を取り付け易いように、試料ホルダ122には、試料キャリア121を載置する場所を周囲よりも一段低くしたザグリ部が設けられている。ザグリ部は試料キャリア121の大きさよりもわずかに大きいサイズとなるため、試料キャリア121は試料ホルダ122をステージ123に取り付ける際にもわずかに回転するおそれがある。微小な回転ではあるが、図3に示した簡易アライメント機能の位置合わせ点間の移動(ステップ301,303)において問題となる場合がある。例えば、位置合わせ点間が5mmの場合、回転角度が3度ずれると相対座標を基に期待した位置から260μmほどずれる計算となる。走査電子顕微鏡は200μm未満の視野となる倍率で運用するケースが多いため、260μmもずれると移動先のマークは視野外にいることになる。以上の理由から、本実施例では回転角度が認識可能なL字形状のマークとする。
図4Aはアライメントマークの構成例である。アライメントマークは試料キャリア121にあらかじめ表示されてあってもよく、シールに表示されてもよく、スタンプされてもよい。光学顕微鏡104と走査電子顕微鏡100の観察視野は大きく異なる。例えば、光学顕微鏡104の視野は対物レンズ140の倍率、カメラアダプタ(図示せず)の倍率及び撮像素子141のサイズによって決まり、数十μmから十数mmとなる。これに対して、走査電子顕微鏡100の視野は、電子銃111と電子光学系112の設定条件で決まり、高倍率だと数百nmまで観察可能である。また、走査電子顕微鏡100の倍率は視野に換算すると、電子銃111や電子光学系112の条件によっては、数十μmまでしか下がらないこともある。このため、両装置それぞれの視野で確実にみえるように、光学顕微鏡104での観察用に大きなL字のマーク400(以下、「コースマーク」という)と走査電子顕微鏡100での観察用に小さなL字のマーク401(以下、「ファインマーク」という)とを備える。
それぞれの形状は、テンプレートマッチングで同一のテンプレートにより認識可能なように同一の縦横比の形状とする。L字の長辺X、短辺Yのサイズは、簡易アライメント機能の運用倍率と試料移動機構125の機械的誤差(例えば、モータの1ストロークの移動精度)とテンプレートマッチングで検知できない回転量を考慮したサイズとする。例えば、走査電子顕微鏡100で、簡易アライメント機能の運用倍率を横方向120μm×縦方向90μmの視野、試料移動機構125の機械的誤差が±10μm、位置合わせ点間の距離が5mm、回転角度を0.1°刻みで判別可能であると仮定した場合、視野中心から約±20μm程度ずれる可能性があるため、どの方向にずれても視野範囲に収まるように、ファインマーク401の長辺Xは80μm、短辺Yは50μm以下とする。一方、コースマーク400のL字のラインの太さTは、光学顕微鏡104での観察時に視認できる太さとし、走査電子顕微鏡100での観察時に、ライン上であるとユーザが認識できるように、走査電子顕微鏡の一視野内にラインが収まる範囲であればよい。また、コースマーク400とファインマーク401間の間隔Sは、ユーザがファインマーク401を見つけやすいように、走査電子顕微鏡100での最低倍率で、コースマーク400の位置合わせ点(例えば点402)から見つけられる間隔であればよい。
また、コースマーク400には、ユーザがどの位置のマークをみているか認識するための印430をもつ。この例は円形状の印の個数で各位置を区別するものである。各マークが互いに区別できればよいので、印の形は任意であり、数字や記号であってもよい。また、ユーザがコースマーク400を確認する際に一度で認識できるようにコースマーク内に印430を配置しているが、全てのマークを同一のテンプレートで認識するといった処理の共通化を目的として、印430をコースマーク400とは別の近接する位置に配置してもよい。
印430を付すことなく、マークの配置位置やマークの配置方向を工夫することで実現してもよい。図4Cは、丸形カバーガラス450の表面に、表裏・方向識別マーク451、アライメントマーク452a~dを設けた例を示す。表裏・方向識別マーク451は、ユーザが試料交換時に試料キャリアの表裏と方向とを容易に識別できるように設けられるものである。この例では、右または左に180°回転させると、期待する同じ位置に同じ形状のアライメントマークが来てしまうため、どちらの状態にあるのか判断することができない。そこで、丸形カバーガラス450を任意の角度に回転させても、複数のアライメントマーク452a~dの配置が同一になることがないように、丸形カバーガラス上に複数のアライメントマークを配置する。例えば、試料キャリアに配置された複数のアライメントマークで形成される図形が回転対称(中心の周りを(360/n)°回転させると自らと重なることをいう、ただしn>1)とならないように配置する。
回転角度を補正可能なアライメントマークはL字形状に限られず、点・線対称や回転対称ではない文字や記号のように回転角度が判別可能な形状であればよい。例えば、認識し易い不等辺の十字や、マークの誤認識を低減するため自然環境には存在しないような特殊な文字や記号の形状であってもよい。
また、回転角度の補正を前提としない場合には、点・線対称または回転対称の形状であってもよい。先に述べたような試料キャリア121の試料ホルダ122へ取り付け方向の誤りは、試料ホルダ122のザグリ部の形状を試料キャリア121が特定の方向でしか載置できないような形状とすることで防ぐことが可能である。また、簡易アライメント機能の位置合わせ点間の移動時の問題はマークを視野範囲に収めるために、取り付け誤差の回転により生じるマークの移動量を考慮した上での低倍率で運用することで回避することも可能である。ただし、低倍率でのアライメントは誤差が大きくなりやすく、また、走査電子顕微鏡の場合、低倍率から高倍率に変更すると視野の中心がずれることがあるため、高倍率に変更しての観察が難しくなるといった制約が生じる可能性がある。
また、図4Bのように特定の範囲が視野内に収まれば認識できるようなマークでもよい。例えば、マーク420は二色に分かれており、その境界となるL字の交点421を位置合わせ点として認識してもよい。この場合、L字の交点421付近が視野範囲に含まれていればよいので、簡易アライメント機能において必要な視野範囲を狭めることができる。このようなマークの場合、形状全体を視野範囲に収める必要がないため、試料移動機構の機械的誤差と画像処理で検知できない回転量だけを考慮すればよく、必要な視野範囲が狭くなり、より高倍率での運用が可能となる。ただし、テンプレートマッチングに処理時間を要する場合がある。試料移動機構の機械的な誤差や補正しきれない回転量に応じて位置がずれ、二色の領域の比率が変わるためである。
図5Aは、図4Aで説明したアライメントマークが付されたアライメントマーク付き試料キャリア500の構成例である。試料キャリアは丸形カバーガラスの例を示しているが、これに限定されるものではなく、試料が試料キャリア上のどこに載置されても位置合わせが可能なように、アライメントマーク501が1個以上付されていればよい。試料キャリア500の材料としては石英ガラスが一般的であるが、金属などの材料で形成されていてもよい。形状も円形に限られず、三角形、四角形等の多角形であってもよい。一般的に光学顕微鏡観察に使用される厚みが0.04mmから0.6mm程のカバーガラス、厚みが0.8mmから1.5mm程度のスライドガラスも適用可能である。試料キャリア500に試料を載置し、荷電粒子線装置で観察するには、試料および試料キャリアは導電性を持つ必要がある。このため、試料や試料キャリアの材料が非導電性である場合は、オスミウムや酸化インジウムスズ(ITOという)、金、白金、カーボン、ポリチオフェン、イオン液体などの導電性材料を試料や試料キャリアにコーティングして導電性を持たせる。このとき、使用する導電性材料はコーティングにより荷電粒子装置観察に影響がない様に適宣選択する。
図5Aに示す丸形カバーガラス500の表面には、アライメントマーク501が複数個と、ユーザが現在の観察視野を認識易いように配置したグリッドパターン502と番地マーク503が設けられている。グリッドパターン502は、最も観察視野の広いサイズに合わせた間隔とし、試料観察時に極力視野に含まれないよう、試料とグリッドとが重なる領域を最大限減らすようにする。番地マーク503はグリッドパターンの交点に配置され、グリッドに囲まれる領域を指定する番地が書き込まれている。図5Aに例示した番地マークはC行1列の領域を示している。なお、グリッドパターン502の間隔は任意であり、ユーザの観察したい1つの視野領域が広い場合にはより粗くてもよいし、さらには設けなくてもよい。例えばグリッドを設けるのではなく、行方向、列方向に領域を特定するための点や記号を等間隔に整列させたもの(図6を参照)であっても構わない。
なお、試料が試料キャリア500のグリッドパターン502上に載置された場合でも、試料の下にあるグリッドパターン502を確認することは可能である。例えば、光学顕微鏡観察で生物試料を観察する場合、照明に用いる光源の強度を調節することにより試料の下のグリッドパターンを容易に観察することができる。電子顕微鏡観察の場合は、試料を電子ビームが透過しうる加速電圧を設定することで、試料の下に位置するグリッドパターンから発生する信号を検出することができる。一方、試料を透過しない程度に電子のエネルギーを低くすることで、試料表面の観察ができる。
アライメントのための位置合わせ点はアフィン変換の特性上、可能な限り一つの直線状から外れる位置関係となることが望ましいため、位置合わせ点として選択されるアライメントマークは、選択されたアライメントマークを頂点とする三角形が、直角三角形ないし、角度が広くなる二等辺三角形となることが望ましい。このため、アライメントマーク501は、図5Aに示されるように、そのような三角形を形成するアライメントマークを選択しやすい位置関係となるように配置する。また、アライメントマーク501は、試料ホルダの取り付け誤差(載置位置のずれと押さえ蓋等の固定具のずれ)を考慮した範囲520内に配置し、必ずアライメントマーク501が隠れないようにする。なお、図5Aには示されないが、図4Aで説明したように、各アライメントマークにはそれぞれを特定するための印が設けられている。
また、ユーザが試料交換時に試料キャリアの表裏と方向とを容易に識別できるように表裏・方向識別マーク504や回転方向合わせマーク505も併せて設けられている。ユーザが観察視野とグリッドパターン502ないし回転方向合わせマーク505が水平となるように試料キャリア500を試料ホルダに載置することにより、観察視野に対する試料キャリア500の回転角度を大きくとも±10°の範囲に収めることが期待できる。
また、簡易アライメント機能の回転補正のために、回転補正用マーク506を設けてもよい。回転補正用マーク506の形状はファインマークの形状と同一とする。走査電子顕微鏡の撮影解像度が800×600ピクセルの場合、回転角度が1°の直線のずれは数ピクセルの傾きとなる。画像にはノイズの他、少なからずフォーカスの不一致によるボケがあることから数ピクセル分の傾きは、これらの影響を受けて認識できない可能性が高い。回転角度の補正が細かいほど高解像度が必要となるが、一般的に光学顕微鏡の撮像素子などは約5000ピクセル×5000ピクセルなどが最大であることも多く、0.2°未満の補正は難しい。このような場合、走査電子顕微鏡の試料移動機構の機械的誤差が十分に小さい場合は、簡易アライメント機能と同様に、試料移動機構を移動し、2つの回転補正用マーク506を認識し、取得した2点の座標データからヘルマート変換することで、回転角度を求め、補正してもよい。
なお、試料キャリア500に付されるパターンやマークは光学顕微鏡と荷電粒子線装置で観察可能であればよく、その形成方法は印刷や蒸着、刻設、刻印または打抜きであってもよい。また、観察装置に合わせて形成方法や材料は適宜選択すればよい。
また、図2で説明したような制御ソフトウェアがなく、視野情報がわからない顕微鏡であっても視野情報を得ることができるよう、試料キャリア500上にスケールを設けてもよい。スケールは、各観察装置の視野範囲をカバーするスケールであればよく、例えば、光学顕微鏡は対物レンズや中間レンズ、カメラアダプタの倍率によって、倍率が固定されるため、これらの倍率に合わせたスケールを配置してもよい。
また、試料キャリア500上に初期位置マーク510を設けてもよい。図5Bに例示する初期位置マーク510では十字型のマークとそれにより仕切られる領域にそれぞれ異なる数の丸印を設け、4つの方向を表現している。初期位置マーク510は、観察装置の初期位置(ホームポジション)に配置されるマークである。走査電子顕微鏡のような観察視野が狭く、観察方向を理解しにくい装置において、一般的にユーザは、複数視野を移動して初期位置、回転方向を認識するが、初期位置マーク510を観察装置の初期位置となる位置に配置することでユーザは視野を移動することなく、回転方向と初期位置の認識が可能となる。初期位置マーク510を設けた場合には、初期位置マーク510を使用して簡易アライメント機能における1点目への移動を自動化してもよい。一方で、観察装置の初期位置(ホームポジション)は通常、試料キャリア500の中心位置となるため、初期位置マーク510が試料キャリア上に載置される試料と重なってしまう可能性は高い。
図5Aの形態ではアライメントマークが試料キャリアに恒久的に形成されているのに対し、図6を用いて、アライメントマーク付きシール600を試料キャリア610に貼付する形態について説明する。図6はシールの基材となる二等辺三角形のカーボンテープ上にアライメントマークが表示されたシールを試料キャリア610に貼付した状態を示している。シールの形状、材料ともに例示のものに限定されるものではない。例えば、シール基材の材料は金属のような導電性の材料や非導電性の材料で形成されていてもよい。ただし、シールを荷電粒子線装置で観察するには導電性を持つ必要があるため、非導電性である場合はITO、金、白金、カーボン、ポリチオフェン、イオン液体などの導電性材料をシール基材にコーティングして導電性を持たせる必要がある。また、1枚のシールに対して複数のアライメントマークを表示するようにしてもよい。
アライメントマーク付きシール600は、内側のファインマーク601、外縁部のコースマーク602と各マークを区別するための印603から構成される。図の例はシールの外縁部を使用したマークであるが、これに限られず、外縁部のたわみを許容することを目的に、ハンドリングするためのスペースを持たせた上で、シールの内側にアライメントマークを表示してもよい。例えば、余白を持たせたシールの中心に図4Aに示すL字のマークを表示するようなものであってもよい。
なお、アライメントマーク付きシールのマークは光学顕微鏡と荷電粒子線装置で観察可能であればよく、その形成方法は印刷や蒸着、刻設、刻印または打抜きであってもよい。また、観察装置に合わせて形成方法や材料は適宜選択すればよい。
また、アライメントマークをレーザー、集束イオンビームなどで印材となるゴム、プラスチック、金属などに加工し、試料キャリアに対して油性顔料または染料によりスタンプしてもよい。
アライメントマーク付きシールまたはアライメントマークを押印するスタンプを用いる利点は、試料キャリアに試料を載置した後にアライメントマーク付きシールを貼付する、またはアライメントマークをスタンプすることにより、アライメントのための位置合わせ点を自由に選択することができる点にある。観察対象が生物試料のような場合、試料キャリアに試料を載せる位置を制御することが難しく、試料キャリアにあらかじめアライメントマークが付されている場合には、試料の位置によってはアライメントマークの一部が隠れてしまうといったことが起こる。試料の載置後に、シールを貼付、またはアライメントマークをスタンプしてアライメントマークを設ける場合にはこのような問題は生じない。
以上のように、試料が載置された試料キャリアに対してアライメントマークを設定することにより、位置合わせのマークと試料との位置関係が観察装置から試料キャリアを取り外しても崩れることがないため、試料キャリアに載せた試料を光学顕微鏡でも走査電子顕微鏡の何れでも観察でき、再観察時に再現性がよいシステムが実現できる。従来技術のように試料ホルダに位置合わせ用のマークを付する方式では、試料キャリアの試料ホルダへの取り付け時の試料キャリアの回転等のずれの影響を受けて位置合わせ用のマークと試料との位置関係が少なからず変わってしまう。本方式ではそのような問題を回避することができる。
図7は、試料ホルダの鳥瞰図である。試料ホルダ700は再観察のために試料が破損しないように固定、載置が容易な専用の試料ホルダ700を使用するが、これに限られない。導電性をとり、固定できる機構であればよく、例えば、一般的な試料ホルダの試料搭載部にカーボンテープ等で試料キャリアを載置してもよいし、カーボンテープから剥がす際の破損を確実に避ける場合には試料ホルダなどの試料キャリアの載置部ごと保管してもよい。
試料ホルダ700は、その主要な構成として、試料キャリア121を載置する試料搭載部713と、試料搭載部713の土台となる試料台部711と、試料キャリア121を固定する試料カバー部712とを有する。試料交換作業の効率化のために、観察に使用する試料キャリア121の形状、厚みに揃えたザグリ部710を試料搭載部713上面に設けて、ザグリ部710に載せた試料キャリア121と試料搭載部713とが平坦になるようにしている。
試料カバー部712は試料キャリア121を上面から押さえ込み、試料搭載部713と接触させ固定することで、試料キャリア121との導電をとると共に振動による影響を低減する。試料カバー部712を、試料キャリア121を押さえ込んだ状態で固定治具722により固定し、開口部721から試料キャリア121に電子ビームを照射し、生成した信号を検出することで試料の観察を行う。
また、図5Aや図6に示したカバーガラスの厚さは一般に0.17mmと非常に薄く、直接ピンセット等で触れて載置位置を調整すると破損する可能性が高い。このため、試料搭載部713は、回転つまみ部714を有し、回転つまみ部714を操作することで、試料搭載部713に載置した試料キャリア121を、水平を保ったまま任意の角度に回転、保持するよう構成されている。これにより、ユーザは試料キャリア121の載置後に試料キャリアを破損することなく360°どの角度にも調整が可能となる。
さらに、試料キャリア121の回転方向の確認を容易にするため、走査電子顕微鏡100で観察を行う際の初期撮像視野における水平方向を示すオリエンテーションフラットを開口部721に設けている。視認が容易な回転方向合わせマーク505やグリッドパターン502(図5A参照)などと平行位置を取ることでユーザは効率的に正しく試料キャリア121を試料ホルダ700に載置できる。方向性を示すための形状はノッチ形状であってもよく、示す向きも垂直方向であってもよい。
試料ホルダ700を構成する材料は、SUS316、SUS303、Al、C(グラファイト)、Cu、Ta、Mo、Ti、W、黄銅、青銅、及びこれら物質を含んだ化合物や合金等、電気導通性があり、非磁性体であればよい。
図8を用いて、位置合わせ点を設定するプログラムのユーザインタフェース(UI)に表示される位置合わせ点の推奨位置ガイドについて説明する。試料キャリア121にアライメントマークを示すシールを貼付する、アライメントマークをスタンプする、あるいは画像データに含まれる特徴的な形状によって位置合わせ点を設定する場合には、このガイドが表示されるユーザインタフェースを用いて設定する。ここでは位置合わせ点が3点の場合のガイド810を例に説明するが、3点以上の位置合わせ点を設定する場合には、それに応じたガイドであればよい。
アライメントのためアフィン変換を利用する場合、位置合わせ点とする3点は正三角形の頂点となる位置関係とし、観察したい視野をその三角形内に収めるように配置することが望ましい。そこで、推奨位置ガイド810は、図8に示すように、位置合わせ点の推奨位置範囲を示す表示部811a~cと、観察視野を位置合わせ点で構築された三角形内に配置するように誘導するための三角形の範囲を示す表示部812と、位置合わせ点の推奨位置範囲811の範囲を指定する第1の入力部813と、3点間の推奨位置関係を保ちつつ表示部812の拡大縮小操作を行う第2の入力部814と、3点間の推奨位置関係を保ちつつ表示部812の回転操作を行う第3の入力部815と、3点間の推奨位置関係を保ちつつ表示部812の平行移動を行う第4の入力部816とを有する。例えば、各入力部は表示部上にマウスカーソルなどのフォーカスがあたると、マウスカーソルが図8に示すような矢印の形状に変更することで示し、マウスドラッグの操作でガイドを調整する。ユーザは試料キャリア121上の位置合わせ点が、推奨位置範囲811内に収まるようにガイドしてもよいし、逆に推奨位置範囲811内から位置合わせ点を選択してもよい。何れにせよ、ユーザは推奨位置ガイド810を使用することで、アライメントの精度を確保すると共に、位置合わせ点を効率よく設定できるものである。この推奨位置ガイド810を用いたUIの使用については、以下に説明する、走査電子顕微鏡と光学顕微鏡とのアライメントシステムのワークフローの中で説明する。
図9は図1に示したアライメントシステムのワークフローのうち、光学顕微鏡による観察試料の観察ワークフローである。図9のフローは光学顕微鏡操作入出力部210のUIを通してユーザから操作される。
はじめに試料キャリア121に試料120を載置し(ステップ901)、試料キャリア121を光学顕微鏡用の試料ホルダ142に載置し、観察中にステージ143の移動で動かないように固定し(ステップ902)、試料ホルダ142をステージ143に取り付ける(ステップ903)。ここで、試料キャリア121の位置合わせ用のマーク等が無い場合には、試料キャリア121に位置合わせ用のアライメントマーク付きシール(図6参照)を貼付したり、アライメントマークをスタンプしたりする必要がある(ステップ904,905)。ここで、ステップ904の位置合わせ用のマーク等とは図5Aで説明したアライメントマークであってもよく、試料120の特徴的な構造であってもよく、試料キャリア121の表面傷のようなものであってもよい。
試料キャリア121がアライメントマーク(図5A参照)を備えている場合、ステップ901では、試料120がアライメントマークに重ならないように配置する。ところで、観察対象が細胞切片である場合に、ミクロトームによりトリミングされ水に浮いた薄い切片(試料)を、そのままスライドガラス(試料キャリア)で抄いあげる手法がある。このような手法の場合、試料の載置位置の微調整が難しく、位置合わせ用のマークが配置されるような外縁部近くに試料が載りやすい傾向がある。このような場合に、アライメントマーク付きシールを用いたり、アライメントマークをスタンプしたりすると、ステップ901では試料の載置位置を気にする必要がなくなり、ステップ905により、後から位置合わせ用のマークを備えさせることができる。この際、図8に示した推奨位置ガイド810を用いたUIを用いてシールの貼付を行うとよい。図10Aにこの場合のUI画面830を示す。UI画面830には、試料キャリア(ここでは、長方形状のスライドガラス)像820、観察試料像821を含む観察画像が表示され、この画像に推奨位置ガイド810が重畳して表示されている。ユーザは、推奨位置ガイド810の表示部812に観察試料像821が含まれるように、推奨位置ガイド810を調整する。推奨位置ガイド810が調整できれば、UI画面830を見ながら、推奨位置ガイド810の3つの推奨位置範囲811のそれぞれの該当する試料キャリア上の位置にアライメントマーク付きシール600を貼り付ける。あるいは、アライメントマークをスタンプする。これにより、試料キャリア上に載置された試料の位置に応じて、アライメント精度が期待できる位置にアライメントマークを配置できる。試料120の試料キャリア121への載置方法に合わせて、アライメントマーク付き試料キャリアとアライメントマーク付きシールまたはアライメントマークスタンプとを使い分けることも好ましい。
なお、観察画像の特徴的な構造を位置合わせ点とする場合に、同じUIを用いることもできる。その例を図10Bに示す。ユーザは観察試料像821の角や試料キャリア像820上の傷の像822などの特徴的な構造が、推奨位置ガイド810の3つの推奨位置範囲811に含まれるように調整することで、アライメント精度が期待できる位置に位置合わせ点を設定することができる。
図9のフローの説明に戻る。ステップ906において、試料を載置した試料キャリア121について、試料キャリア上の全ての位置合わせ点の画像データと対応する視野情報(位置合わせ点の画像を取得したときに設定されていた倍率と試料移動機構145の座標位置)を有するデータ(以下、「マスターデータ」という)が作成済みであるかどうかを判断する。マスターデータが未作成の場合(初観察の場合)には、マスターデータを作成する(ステップ907)。マスターデータの作成については図11を用いて後述する。マスターデータが作成済の場合(再観察の場合)には、マスターデータを用いて、本観察における位置合わせ点の視野情報を取得する(ステップ908)。再観察の場合は、初観察の場合とは、試料キャリアの試料ホルダ142への載置位置等のずれが生じる。このため、マスターデータにおける位置合わせ点の視野情報を再観察における視野情報に補正するものである。この処理の詳細は図14において説明する。なお、ステップ908は、位置合わせ点の視野情報がマスターデータと一致する場合、あるいは完全に一致しなくてもユーザが微小な誤差として無視できる範囲であれば省略してもよい。その後、ユーザは試料の興味のある位置を観察する(ステップ909)。
マスターデータ作成のワークフローを図11のフローチャートに示す。また、図12にマスターデータを作成するUI画面1200の例を示す。図11の処理は、UI画面1200からのユーザの装置操作に基づき、アライメント処理部260にて行われる。
試料キャリア上の位置合わせ点間の相対距離は、試料キャリアの設計データなどから既知である場合と未知である場合がある。既知の場合の例としては、図5Aに示したようなアライメントマーク付き試料キャリア500のような場合に、アライメントマーク間の相対距離が設計データ等により与えられている場合である。ユーザは設計データなどに基づき位置合わせ点間の相対距離を入力するか、実際に光学顕微鏡104を制御して位置合わせ点間の相対距離を入力するかを、設計値/取得値選択ラジオボタン1201(図12参照)により選択する(ステップ1101)。既知の相対距離情報がない場合、設計値/取得値選択ラジオボタン1201を「取得値」に設定する(ステップ1102)。
続いて、観察位置選択ラジオボタン1210をN点目に設定し(ステップ1103)、N点目のマークが視野に入るように試料移動機構及び光学系を制御する(ステップ1104)。現在の視野は、位置合わせ点選択ウィンドウ1215に表示される。位置合わせ点選択ウィンドウ1215に表示される画像をパターンマッチングに用いる画像データとして登録するため、そのために適切な大きさ、位置で表示されるように試料移動機構及び光学系を制御する。視野情報取得ボタン1212を押下することにより、パターンマッチングに用いる画像が確定する(ステップ1105)。
さらに、位置合わせ点を位置合わせ点選択ウィンドウ1215上で選択する(ステップ1106)。選択ウィンドウ1215上で選択した位置が選択位置カーソル1221で表示されるとともに、位置合わせ点間の座標から算出した(N-1)点目の位置合わせ点(なお、0点目を初期座標(ホームポジション)とする)との相対距離が対応する相対距離テキストボックス1203に表示される。相対距離は、試料移動機構145の座標及び選択ウィンドウ1215上における選択位置カーソル1221の座標に基づいて算出する。なお、アライメントマークにおいて位置合わせ点とする位置をあらかじめルール化しておくことで、画像処理により位置合わせ点を自動で設定してもよい。
また、各点間の位置関係を示すトップビュー1216にも、位置合わせ点として選択した位置が、試料移動機構145の座標に基づき、位置合わせ点マーク1231により表示される。この例では、トップビュー1216のマーク1231-0は初期座標位置を示し、マーク1231-1は1点目の位置合わせ点の位置を示すものである。
3点目までステップ1103から1106を繰り返す(ステップ1107)した後、保存ボタン1213を押下し、取得したマスターデータをアライメントデータ管理部261に保存する(ステップ1108)。
なお、初期位置マーク510(図5B参照)が試料キャリアに設けられている場合には、N=0として、初期位置マークに対してステップ1103~1106を実行する。この場合、ステップ1106において、初期位置マーク510の初期座標(ホームポジション)からの相対距離が光学顕微鏡初期座標値テキストボックス1202に表示される。また、この場合、1点目の位置合わせ点の相対距離テキストボックス1203に入力される相対距離は、初期位置マーク510の位置合わせ点からの相対距離となる。
また、初期座標(ホームポジション)が設定されていない光学顕微鏡の場合には、1点目の位置合わせ点が基準となり、1点目の位置合わせ点から2点目の位置合わせ点への相対距離、2点目の位置合わせ点から3点目の位置合わせ点への相対距離が登録される。
一方、位置合わせ点間の相対距離が既知の場合、設計値/取得値選択ラジオボタン1201を「設計値」に設定し、この場合はUI画面1200から画像データ、設計データに基づく視野情報を入力する。具体的には、設計データに基づき初期座標位置、各点間の相対距離を相対距離テキストボックス1202、1203に入力し、各点の画像データを、その画像が取得された倍率等とともに画像登録ボタン1205により登録する。
図9により説明した光学顕微鏡による試料観察を行い、それと同じ観察位置に対して走査電子顕微鏡により相関観察を行う観察ワークフローを説明する。図13は走査電子顕微鏡と光学顕微鏡間とのアライメントシステムにおいて、走査電子顕微鏡による相関観察のフローチャートである。
ステップ1001:光学顕微鏡104で観察した試料キャリア121を走査電子顕微鏡100用の試料ホルダ122に載置し、観察中にステージ123の移動で動かないように固定する。なお、試料キャリア121ないし試料120が導電性を有さない場合には本ステップの前に導電性を持たせるための前処理を行う。
ステップ1002:試料キャリア121を固定した試料ホルダ122をステージ123に取り付ける。
ステップ1003:走査電子顕微鏡100の位置合わせ点の視野情報を取得する。この処理については図14を用いて詳述する。
ステップ1004:アライメント処理部260は、図9のステップ907またはステップ908で得られた光学顕微鏡の位置合わせ点の視野情報から求められる位置合わせ点の位置情報と倍率及び、図13のステップ1003で得られた走査電子顕微鏡の位置合わせ点の視野情報から求められる位置合わせ点の位置情報と倍率に基づき、光学顕微鏡の座標系と走査電子顕微鏡の座標系を変換する変換行列を求めるアライメントを実行する。
ステップ1005:走査電子顕微鏡で観察を行う。このとき、ユーザは入力画像表示部271に表示される光学顕微鏡像に対して走査電子顕微鏡で観察したい視野を指定し、ステップ1004で求めた変換行列を用いて視野情報算出部262が走査電子顕微鏡の視野情報に変換することにより、指定した視野を観察することができる。
図14は、位置合わせ点の視野情報を取得するフローチャートであり、また、図15に位置合わせ点の視野情報を取得し、アライメントを実行するUI画面1400の例を示す。図14の処理は、UI画面1400からのユーザの装置操作に基づき、位置合わせ点取得部280にて行われる。
まず、UI画面1400は、光学顕微鏡(図9のステップ908)と走査電子顕微鏡(図13のステップ1003)の両方で使用するウィンドウであるため、どちらで使用するのか観察装置選択ラジオボタン1401で選択する。ここでは、走査電子顕微鏡での位置合わせ点での視野情報取得であるため、観察装置選択ラジオボタン1401を「電子顕微鏡」に設定する(ステップ1301,1302)。
読込みボタン1402を押下し、位置合わせ点の画像データおよび視野情報を読みこむ。光学顕微鏡での観察(図9のステップ909)での位置合わせ点がマスターデータそのものの場合(図9のステップ907)はマスターデータを、光学顕微鏡の位置合わせ点の視野情報を取得してマスターデータの視野情報を補正した場合(図9のステップ908)はマスターデータの画像データと補正した視野情報とを読みこむ。あるいは、再観察時においてもアライメントデータ管理部261に格納されているマスターデータを用いてもよい。このとき、各位置合わせ点の位置関係を示すトップビュー1216(図12と同じ)も表示される。
次に、観察位置選択ラジオボタン1420をN点目に設定する(ステップ1304)。ステップ1303で読み込んだN点目の位置合わせ点の画像データは、位置合わせ点表示ウィンドウ1430に表示される。また、ステップ1303で読み込んだ位置合わせ点の画像データを基にアライメント処理部260は、回転方向のずれを認識し、視野情報を基に相対距離を算出し、電子顕微鏡のN点目の位置に試料移動機構125を移動する。移動後の座標は座標位置テキストボックス1421に表示され、移動後の視野が観察視野表示ウィンドウ1440に表示される。観察視野表示ウィンドウ1440に表示されるアライメント処理部260による自動制御で移動した後の視野範囲に位置合わせ点を含むアライメントマークが入っているかを判断する。アライメントマーク全域が視野範囲内に入っている場合は、アライメント処理部260が、アライメントマーク1220上の位置合わせ点1221に対応する位置合わせ点を自動で認識し、次の位置合わせ点の処理を自動で実行する(ステップ1305)。
一方、図15の例のように、アライメントマーク全域が観察視野表示ウィンドウ1440に含まれない場合には、少なくともN点目の位置合わせ点1442が視野に入るように試料移動機構と光学系を制御し、視野情報取得ボタン1422を押下する。アライメント処理部260は観察装置の制御部に情報を問い合わせ、現在の観察視野における試料移動機構125の座標を取得する(ステップ1306)。
位置合わせ点表示ウィンドウ1430に表示されている位置合わせ点1221と同一の位置を観察視野表示ウィンドウ1440で選択する。選択位置に図12と同様に位置合わせ点選択マークを表示するようにしてもよい。位置合わせ点1442の座標を試料移動機構145の座標及び観察視野表示ウィンドウ1440上における位置合わせ点1442の座標に基づいて算出し、座標位置テキストボックス1421を更新する(ステップ1307)。
ステップ1304からステップ1307を3点目の位置合わせ点まで繰り返し(ステップ1308)、保存ボタン1403を押下し、位置合わせ点の情報を保存する(ステップ1309)。これにより、光学顕微鏡観察時の位置合わせ点の視野情報と走査電子顕微鏡観察時の位置合わせ点の視野情報とがそれぞれ求まったので、アライメント実行ボタン1404を押下することにより、アライメントを実行する(図13のステップ1004)。これにより、光学顕微鏡の観察視野と走査電子顕微鏡の観察視野とを同じ二次元座標上に配置する(以下、マッピングするという)ことができる。
なお、再観察の場合に光学顕微鏡の位置合わせ点の視野情報を取得する場合(図9におけるステップ908)も図14の処理と同様である。繰り返しの説明は省略するが、本実施例では共通のUI画面1400を使用しているため、この場合は観察装置選択ラジオボタン1401を「光学顕微鏡」に設定する(ステップ1320)。
図16は入力画像表示部271(図2参照)のUI例である。ユーザはウィンドウ1500に表示されるマッピング像をみながら相関観察を実施する。
図9のステップ909において光学顕微鏡104で取得した画像情報と視野情報は光学顕微鏡制御部151からアライメント制御部153に自動で通信により送付される。アライメント処理部260は送られてきた画像をマッピングし、入力画像表示部271(ウィンドウ1500)に表示する。
アライメント完了後はウィンドウ1500に表示されるマッピング像をみながら、観察を行う。アライメント制御部153に送られた光学顕微鏡像は観察範囲全域を示すトップビュー1501上に配置される。トップビュー1501上で任意の観察したい視野範囲を指定することにより、指定した視野範囲の光学顕微鏡像が仮想視野ウィンドウ1502に表示される。これとともに、アライメント処理部260は走査電子顕微鏡を制御し、自動で同一視野を観察し、走査電子顕微鏡観察像描画部241に表示する。これにより、仮想視野ウィンドウ1502に表示された画像と走査電子顕微鏡観察像描画部241に表示された画像を比較することで相関観察が可能になる。
さらに、走査電子顕微鏡制御部152からアライメント制御部153の画像入力部250と視野情報入力部251へのパスを設け、走査電子顕微鏡100で取得した走査電子顕微鏡像と対応する視野情報(図13のステップ1005)をアライメント制御部153に自動で通信により送付するようにしてもよい。これにより、電子顕微鏡像と光学顕微鏡像とを重ね合わせて表示することが可能となり、ユーザは更に直感的な相関観察が可能となる。図16はその場合のUI画面1500の表示例を示している。また、画像入力部250と視野情報入力部251から走査電子顕微鏡制御部152の電子顕微鏡観察像描画部241へのパスを用意し、電子顕微鏡の観察像と光学顕微鏡像を重ねて表示してもよい。電子顕微鏡で観察する際には光学顕微鏡像は取得した静止画像であるが、電子顕微鏡は観察像であるため、視野が微妙に一致してなかった際にも電子顕微鏡の試料移動機構や光学系を制御することで、同一視野を特定することができる。電子顕微鏡はノイズが少ない高画質の画像を得る場合、遅く走査する必要があり、画像の取得に時間を要する場合があるため、同一視野を先に断定することで取り直しがなく、効率的に相関観察をすることができる。
アライメント制御部153に送られた光学顕微鏡像と電子顕微鏡像とは、画像リスト1503に画像別に登録・管理される。画像リスト1503には、光学顕微鏡像1521a、電子顕微鏡像1522aがサムネイル画像として表示されている。ユーザに興味のある領域をマウスドラッグなどの操作によりトップビュー1501上で領域を指定させ、指定された領域を仮想視野ウィンドウ1502に表示する。指定された領域1512をトップビュー上に表示することで、ユーザは全体のどの領域をみているか、トップビュー1501をみることで容易に認識できる。また、仮想視野ウィンドウ1502には指定された領域の光学顕微鏡像1521b及び電子顕微鏡像1522bが重畳して表示される。重畳された画像のレイヤー関係は配置順序変更ボタン1541を使用し、前面、背面の位置関係を調整可能であり、また、重畳された画像の透過度や明るさなどを画像補正スライダ1504で編集することも可能である。
このように画像同士を重畳する場合には、重畳する画像処理の中に画像取得時のアフィン変換の誤差を吸収する機能を設けてもよい。例えば、電子顕微鏡像を重畳する場合には、画像を個別に選択し、水平移動、回転、拡大・縮小ができるようにして重畳してもよいし、画像同士が重畳するように、ユーザに水平移動、回転、拡大・縮小操作をさせる入力部を設け、その変化量をアライメントの誤差成分(平行移動、回転、拡大・縮小)として、オフセットする処理をアライメント処理部260に設けてもよい。また、単純に平行移動、回転、拡大・縮小をオフセットとしてテキストボックスから入力するような入力部を設けてもよい。また、特徴点マッチング等の画像処理を用いることで画像を変形させてもよい。
以上、実施の形態を具体的に説明したが、本発明は記載された実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
例えば、アライメントするための手法としては、アフィン変換に限定されるものではなく、2次元の座標系を変換できる手法であればよい。平行移動と回転だけを補正するヘルマート変換が使用できる場合もある。例えば、同一顕微鏡での再観察のように倍率が一致する場合やスケーリングの補正が必ずしも必要ではない場合である。例えば、視野情報の機械的な誤差が大きかったり、光学顕微鏡での観察から電子顕微鏡での観察との間で試料120が大きく変形しまったりするような場合には、アフィン変換により理論上一致する視野に試料移動機構125を制御しても、期待した視野が収まる可能性は低い。そのような場合には、加えて、誤差や変形の度合いを考慮した倍率で運用することが望ましい。
また、複数のアライメントマークではなく、1つのアライメントマークに対して複数の位置合わせ点を設定してアライメントしてもよい。例えば、回転方向が識別可能なマークを用い、マーク内で2点ないし3点の位置関係を認識し、ヘルマート変換ないしアフィン変換行列を求めることで回転角度を求めた後に1点目を原点とした相対座標で試料移動機構125を移動する。逆に4以上のアライメントマークを利用してもよい。細胞切片のような電子ビームによるダメージを受けて縮小しやすい試料や荷電粒子線装置で観察する前に前処理が必要な試料は、不均一で局所的な変形がおきやすい。平均的な縮小であれば全体をカバーする3点に基づくアフィン変換行列によりアライメント可能であるが、局所的な誤差は吸収が難しい。このため、4点以上の位置合わせ点を用意し、その中の3点の組み合わせによるアフィン変換行列によりアライメントを行うようにしてもよい。
また、視野情報における座標データとしては、観察装置の試料移動機構の座標データ、画像データのピクセル位置、ピクセルサイズから算出してもよい。位置合わせのためにテンプレートマッチングを行っているが、これはマークに汎用性を持たせられる利点がある。これに対して、アライメントマークを専用のマークとし、そのマーク形状に特化した画像処理としてもよい。また、予めノイズやフォーカスずれといったマークの像を判別しにくくする各種要因とマークを回転させた組み合わせを学習データとして用意し、機械学習や深層学習で作成した判別器を使用することで、アライメントマークを抽出してもよい。
さらに、アライメントシステムを構成する荷電粒子線装置は走査電子顕微鏡に限られない。本発明に係る荷電粒子線装置は、試料上の観察位置を任意に設定可能な試料移動機構と、任意の視野範囲を設定可能な電子光学系を備えており、試料に荷電粒子線を照射して試料の観察像を取得する際、観察時の倍率といった当該視野範囲の寸法情報が計算可能な観察条件と試料移動機構の座標情報を取得できるものであればよい。例えば、走査イオン顕微鏡や走査透過電子顕微鏡や透過電子顕微鏡、これらと試料加工装置との複合装置、またはこれらを応用した解析・検査装置等であってもよい。
また、アライメントシステムを構成する撮像装置としては光学顕微鏡に限られない。本発明に係る撮像装置は、観察像の画像データを取得する手段を有しておればよく、試料移動機構の有無や明視野、暗視野、位相差、微分干渉、偏向、蛍光観察法といった観察手法の他、正立型、倒立型といった形状にも限定されない。例えば生物顕微鏡、金属顕微鏡、紫外線顕微鏡、赤外線顕微鏡、測定顕微鏡、共焦点レーザー顕微鏡 、荷電粒子線装置、または荷電粒子線装置以外のX線を使用した撮像装置、超音波による撮像装置、核磁気共鳴画像法による撮像装置、走査型プローブ顕微鏡、これらと試料加工装置との複合装置、またはこれらを応用した解析・検査装置等も含まれる。研究、工業用途の撮像装置を例に挙げたが、一般的なデジタルカメラでも適用可能である。
試料キャリアに付されるアライメントマークやアライメントマーク付きシールは、アライメントシステムを構成する観察装置、撮像装置に応じて種々の変形がなされうる。例えば、透過光で観察する生物顕微鏡や共焦点レーザー顕微鏡との相関観察を目的とする場合、試料キャリア121がガラスのように光学的に透過する材料であれば、部分的に印刷や蒸着をして光学的に不透過なマークを形成してもよく、試料キャリア121が光学的に非透過な材料であれば、打ち抜きをして光学的に透過することで認識できるマークを形成してもよい。また、共焦点レーザー顕微鏡では、焦点位置を変更することで深さ方向の観察が可能である。また、集束イオンビーム/電子ビーム加工装置の場合は、試料120表面を物理的に削りながら深さ方向の観察をすることができる。このような観察装置間の相関観察を目的に、厚みを持たせた印刷や蒸着、刻印を行ってもよい。また、蛍光観察可能な観察装置との相関観察を目的に、蛍光物質を含む材料で印刷、蒸着、スタンプしてもよい。また、測定顕微鏡やレーザー顕微鏡などの高さ方向の相関観察を目的に、厚みをもたせた印刷、蒸着をしてもよいし、刻設して凹凸をもつマークとしてもよい。
さらに、レーザー顕微鏡などで試料表面の高さ方向の情報が取得可能な場合、平面での座標、相対距離に加え、高さ方向の情報も視野情報として取得し、走査電子顕微鏡100の試料移動機構125の高さ方向の移動制御ないし、電子光学系112を制御することで焦点位置を調整してもよい。これにより、ユーザは、常にフォーカスがあった相関観察が可能となり、観察の効率が向上し作業時間を短縮することが可能となる。