JP6016495B2

JP6016495B2 - Scanning microscope

Info

Publication number: JP6016495B2
Application number: JP2012157449A
Authority: JP
Inventors: 誠橋爪; 文紀兵藤; 廉士澤田; 晃森田; 河村　幸則; 幸則河村; 鈴木　健; 健鈴木; 範明石河; 工藤　高裕; 高裕工藤
Original assignee: Kyushu University NUC; Fuji Electric Co Ltd
Current assignee: Kyushu University NUC; Fuji Electric Co Ltd
Priority date: 2012-07-13
Filing date: 2012-07-13
Publication date: 2016-10-26
Anticipated expiration: 2032-07-13
Also published as: JP2014021184A

Description

本発明は、走査型顕微鏡に関する。 The present invention relates to a scanning microscope.

走査型顕微鏡として、例えば、共焦点顕微鏡では、光源から照射されたレーザ等の光は、対物レンズで集合されて観察対象物の表面で焦点を結ぶ。焦点を結んだ光は、観察対象物からの反射光となり、スリット（ピンホール）で選択された光のみ検出器へと伝達される。走査手段によって、光源からの光を観察対象物の表面上で二次元方向に移動させることで、二次元画像を取得することができる。 As a scanning microscope, for example, in a confocal microscope, light such as a laser emitted from a light source is collected by an objective lens and focused on the surface of an observation object. The focused light becomes reflected light from the observation object, and only the light selected by the slit (pinhole) is transmitted to the detector. A two-dimensional image can be acquired by moving light from the light source in a two-dimensional direction on the surface of the observation object by the scanning means.

このような走査型顕微鏡の走査手段として、特許文献１には、光源である光ファイバの先端を電磁誘導共鳴振動によって走査を行い、この振動を機械的走査と確実に同期させるために、圧電センサにより位置フィードバックを行う電磁誘導共鳴振動と油圧運動との組み合わせが記載されている。 As scanning means for such a scanning microscope, Patent Document 1 discloses that a piezoelectric sensor is used to scan the tip of an optical fiber as a light source by electromagnetic induction resonance vibration and to synchronize this vibration with mechanical scanning with certainty. Describes a combination of electromagnetically induced resonance vibration and hydraulic motion for position feedback.

また、特許文献２には、光源である光ファイバの走査方法として電磁石による方法や、振動の検知にセンサコイルを使用する方法が開示されている。 Patent Document 2 discloses a method using an electromagnet as a scanning method of an optical fiber which is a light source, and a method using a sensor coil for vibration detection.

特開平３−８７８０４号公報JP-A-3-87804 特開２００８−１１６９２２号公報JP 2008-116922 A

このように走査型顕微鏡の走査手段として、圧電センサやセンサコイルなどの機器を使用すると、そのために部品が追加されることとなり、走査型顕微鏡が大型化し、またコストも増加するという問題がある。 As described above, when a device such as a piezoelectric sensor or a sensor coil is used as the scanning means of the scanning microscope, parts are added for this purpose, and there is a problem that the scanning microscope becomes large and costs increase.

本発明は、特別な機器を用いることなく、走査手段の制御することができ、小型化やコスト削減を図ることができる走査型顕微鏡を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a scanning microscope that can control scanning means without using a special device, and can achieve downsizing and cost reduction.

本発明は、走査型顕微鏡であって、照明光を照射する光源と、観察対象物の表面に前記照明光を集光する対物レンズと、前記対物レンズと前記観察対象物との間に配置され、前記照明光を透過する透過板であって、その表面にスケールパターンを有する透過板と、前記観察対象物からの反射光を検出する検出器と、前記照明光を前記観察対象物の表面上で移動させる走査手段と、前記検出器および前記走査手段からの情報から画像を生成する画像処理装置であって、この生成画像中の前記スケールパターンの画像に基づいて、前記走査手段の前記照明光の移動を制御する画像処理装置とを備えるものである。 The present invention is a scanning microscope, and is disposed between a light source for illuminating illumination light, an objective lens for condensing the illumination light on the surface of the observation object, and the objective lens and the observation object. A transmission plate that transmits the illumination light, the transmission plate having a scale pattern on the surface thereof, a detector that detects reflected light from the observation object, and the illumination light on the surface of the observation object And an image processing apparatus that generates an image from information from the detector and the scanning unit, and based on the image of the scale pattern in the generated image, the illumination light of the scanning unit And an image processing device for controlling the movement of the image.

前記スケールパターンは、前記走査手段の前記照明光の移動方向である走査軸に対して平行または直交する模様であることが好ましい。また、前記スケールパターンは、前記透過板において、前記観察対象物が観察される視野の中心部分を回避した模様であることが好ましい。 It is preferable that the scale pattern is a pattern parallel or orthogonal to a scanning axis that is a moving direction of the illumination light of the scanning unit. Moreover, it is preferable that the said scale pattern is a pattern which avoided the center part of the visual field in which the said observation target object is observed in the said permeation | transmission board.

前記画像処理装置は、前記生成画像中の前記スケールパターンの画像について、この画像の濃淡分布の中央値を求めることが好ましい。 It is preferable that the image processing device obtains a median value of a grayscale distribution of the scale pattern image in the generated image.

本発明によれば、このように観察対象物と対物レンズとの間にスケールパターンを有する透過板を配置することで、生成画像中に生じるスケールパターンの画像の大きさ等に基づいて、走査手段の照明光の移動の幅を求めることができるので、走査手段の照明光の移動を制御することができる。よって、従来のような特別な機器を用いることなく、走査手段を制御することができ、走査型顕微鏡の小型化やコスト削減を図ることができる。 According to the present invention, by arranging the transmission plate having the scale pattern between the observation object and the objective lens as described above, based on the size of the image of the scale pattern generated in the generated image, the scanning unit Therefore, the movement of the illumination light of the scanning means can be controlled. Therefore, it is possible to control the scanning means without using special equipment as in the prior art, and it is possible to reduce the size and cost of the scanning microscope.

本発明に係る走査型顕微鏡の一実施の形態を模式的に示す断面図である。1 is a cross-sectional view schematically showing an embodiment of a scanning microscope according to the present invention. 図１に示す走査型顕微鏡のガラス窓の透過面を示す平面図である。It is a top view which shows the permeation | transmission surface of the glass window of the scanning microscope shown in FIG. 図２に示すスケールパターンの画像化の例を示す図である。It is a figure which shows the example of imaging of the scale pattern shown in FIG. 図３に示すスケールパターン画像と振幅量の関係を示すグラフである。It is a graph which shows the relationship between the scale pattern image shown in FIG. 3, and an amplitude amount. ガラス窓に描画されたスケールパターンの他の例を示す平面図である。It is a top view which shows the other example of the scale pattern drawn on the glass window. 図２に示すスケールパターンの画像化において、スケールパターン画像の濃度分布を示す図である。FIG. 3 is a diagram showing a density distribution of a scale pattern image in the imaging of the scale pattern shown in FIG. 2.

以下、添付図面を参照して、本発明に係る走査型顕微鏡の一実施の形態について説明する。なお、本実施の形態では走査型顕微鏡の一例として共焦点顕微鏡を用いるが、以下の説明を読めば、他の形式の走査型顕微鏡であっても本発明を適用できることが理解できよう。 Hereinafter, an embodiment of a scanning microscope according to the present invention will be described with reference to the accompanying drawings. In this embodiment, a confocal microscope is used as an example of a scanning microscope. However, it will be understood from the following description that the present invention can be applied to other types of scanning microscopes.

図１に示すように、共焦点顕微鏡１００は、照明光２０を照射する光源１と、光源からの照明光を偏向する半透明ミラー３と、偏向された照明光を観察対象物２に集光する対物レンズ５と、観察対象物から発する反射光２０ｓを集光する接眼レンズ４と、接眼レンズ４の焦点位置に配置される検出器８とを主に備える。また、共焦点顕微鏡１００は、半透明ミラー３の振動を制御する制御装置１５と、この制御装置１５と検出器８とからの情報に基づき二次元画像を作成する画像処理装置９とを備える。 As shown in FIG. 1, a confocal microscope 100 includes a light source 1 that irradiates illumination light 20, a semitransparent mirror 3 that deflects illumination light from the light source, and condenses the deflected illumination light on an observation object 2. Objective lens 5, eyepiece 4 that collects reflected light 20 s emitted from the observation object, and detector 8 that is disposed at the focal position of eyepiece 4. Further, the confocal microscope 100 includes a control device 15 that controls the vibration of the semitransparent mirror 3 and an image processing device 9 that creates a two-dimensional image based on information from the control device 15 and the detector 8.

光源１としては、例えば、レーザ光源や、水銀ランプ、ハロゲンランプ等を用いることができる。半透明ミラー３としては、光源１から照射された照明光２０を反射するとともに、観察対象物からの反射光２０ｓを透過するビームスプリッタである。 As the light source 1, for example, a laser light source, a mercury lamp, a halogen lamp, or the like can be used. The translucent mirror 3 is a beam splitter that reflects the illumination light 20 emitted from the light source 1 and transmits the reflected light 20s from the observation object.

半透明ミラー３を振動するミラー軸７が、接眼レンズ４と対物レンズ５の中心を通る中心軸２１上において、これらの間に配置される。半透明ミラー３は、照射光の焦点２ｓが観察対象物２の表面を二次元走査（すなわち、Ｘ軸方向とＹ軸方向の２軸方向に移動）するように、ミラー軸７を基点にして振動できるように固定されている。例えば、半透明ミラー３の表面と中心軸２１との角度θが変化するように振動すると、観察対象物２の表面上の焦点２ｓがＹ軸方向に移動する。 A mirror axis 7 that vibrates the semitransparent mirror 3 is disposed on a central axis 21 that passes through the centers of the eyepiece lens 4 and the objective lens 5. The semi-transparent mirror 3 is based on the mirror axis 7 so that the focal point 2s of the irradiated light scans the surface of the observation object 2 two-dimensionally (that is, moves in two directions, the X-axis direction and the Y-axis direction). It is fixed so that it can vibrate. For example, when the vibration is performed so that the angle θ between the surface of the semitransparent mirror 3 and the central axis 21 changes, the focal point 2s on the surface of the observation object 2 moves in the Y-axis direction.

また、共焦点顕微鏡１００は、観察対象物２と対物レンズ５との間に位置するように配置されたガラス窓１０を備える。ガラス窓１０は、照明光２０を透過するものであれば、材質は特にガラスに限定されるものではない。ガラス窓１０は、図２に示すように、その表面に、スケールパターン１１を有する。スケールパターン１１は、本実施の形態では、正方形の模様としている。すなわち、スケールパターン１１は、走査軸であるＸ軸およびＹ軸に対して平行かつ直交し、また、観察可能な視野領域の中心部分を回避するように、ガラス窓１０に形成されている。 The confocal microscope 100 includes a glass window 10 disposed so as to be positioned between the observation object 2 and the objective lens 5. As long as the glass window 10 transmits the illumination light 20, the material is not particularly limited to glass. As shown in FIG. 2, the glass window 10 has a scale pattern 11 on its surface. The scale pattern 11 is a square pattern in the present embodiment. That is, the scale pattern 11 is formed in the glass window 10 so as to be parallel and orthogonal to the X axis and Y axis, which are scanning axes, and to avoid the central portion of the observable visual field region.

接眼レンズ４と検出器８との間には、中央部にスリット１２ｓを有するスリット板１２を、板面が中心軸２１に対して直交するように配置される。 Between the eyepiece 4 and the detector 8, a slit plate 12 having a slit 12 s at the center is arranged so that the plate surface is orthogonal to the central axis 21.

制御装置１５は、半透明ミラー３の振動を制御するとともに、この振動情報の信号を画像処理装置９に送るように、これらと電気的に接続されている。また、検出器８は、検出した反射光２０ｓの情報を画像処理装置９に送るように電気的に連結されている。 The control device 15 is electrically connected to control the vibration of the translucent mirror 3 and to send a signal of the vibration information to the image processing device 9. Further, the detector 8 is electrically connected so as to send the information of the detected reflected light 20 s to the image processing device 9.

このような構成を備えた共焦点顕微鏡１００によれば、先ず、図１に示すように、光源１から照射光２０を発射する。照明光２０は、半透明ミラー３で偏向され、中心線２１上に位置する対物レンズ５に向かう。対物レンズ５により照明光２０は屈折、集光され、ガラス窓１０を通って、観察対象物２の表面上に焦点２ｓを結ぶ。 According to the confocal microscope 100 having such a configuration, first, the irradiation light 20 is emitted from the light source 1 as shown in FIG. The illumination light 20 is deflected by the translucent mirror 3 and travels toward the objective lens 5 located on the center line 21. The illumination light 20 is refracted and condensed by the objective lens 5, passes through the glass window 10, and forms a focal point 2 s on the surface of the observation object 2.

焦点を結んだ照明光２０は、今度は、観察対象物２からの反射光２０ｓとなり、照明光２０の経路とは逆の経路でガラス窓１０および対物レンズ５を通過し、さらに半透明ミラー３を透過する。半透明ミラー３を透過した反射光２０ｓは、接眼レンズ４にて屈折され、スリット板１２のスリット１２ｓで選択された光のみが、検出器８で検出される。そして、反射光２０ｓは、検出器８で電気信号に変換され、画像処理装置９に送られる。 The focused illumination light 20 then becomes reflected light 20s from the observation object 2, passes through the glass window 10 and the objective lens 5 through a path opposite to the path of the illumination light 20, and further translucent mirror 3 Transparent. The reflected light 20 s transmitted through the semitransparent mirror 3 is refracted by the eyepiece lens 4, and only the light selected by the slit 12 s of the slit plate 12 is detected by the detector 8. The reflected light 20 s is converted into an electrical signal by the detector 8 and sent to the image processing device 9.

また、二次元走査を行うために、ミラー軸７を基点にして半透明ミラー３を振動させる。これにより、照明光２０の焦点２ｓが観察対象物２の表面上をＸ軸方向およびＹ軸方向に移動し、よって、それらの反射光２０ｓを検出器８で検出することができる。半透明ミラー３の振動信号は、画像処理装置９から制御装置１５に送られる。よって、画像処理装置９で、この振動信号と同期させることで、観察対象物の二次元画像を作成することができる。 In order to perform two-dimensional scanning, the translucent mirror 3 is vibrated with the mirror axis 7 as a base point. Thereby, the focal point 2s of the illumination light 20 moves on the surface of the observation object 2 in the X-axis direction and the Y-axis direction, so that the reflected light 20s can be detected by the detector 8. The vibration signal of the translucent mirror 3 is sent from the image processing device 9 to the control device 15. Therefore, the image processing apparatus 9 can create a two-dimensional image of the observation object by synchronizing with the vibration signal.

この二次元画像には、スケールパターン１１が、多少ぼやけた形で取得されることとなる。例えば、スケールパターン１１は、図３に示すように、取得画像３０中に大きく見えるスケールパターン画像１１ａや、小さく見えるスケールパターン画像１１ｃ、その中間のスケールパターン画像１１ｃ等のように画像化されたり、又は、スケールパターン１１が取得画像３０に全く画像化されなかったりする。 In this two-dimensional image, the scale pattern 11 is acquired in a slightly blurred form. For example, as shown in FIG. 3, the scale pattern 11 is visualized as a scale pattern image 11a that appears large in the acquired image 30, a scale pattern image 11c that appears small, an intermediate scale pattern image 11c, or the like. Alternatively, the scale pattern 11 may not be imaged at all on the acquired image 30.

これは、半透明ミラー３の振動の幅の違いによるものである。振動の幅が非常に小さい場合、照明光２０がスケールパターン１１内しか移動しないため、取得画像中にスケールパターンの画像は形成されない。振動の幅が大きくなり、照明光２０がスケールパターン１１の枠外に移動すると、取得画像中にスケールパターンの画像が形成される。振動の幅が大きい程、照明光２０がスケールパターン１１の枠外に大きく移動することとなり、よって、取得画像３０中に形成されるスケールパターン画像は小さくなる。 This is due to the difference in the vibration width of the translucent mirror 3. When the width of vibration is very small, the illumination light 20 moves only within the scale pattern 11, so that no image of the scale pattern is formed in the acquired image. When the width of vibration increases and the illumination light 20 moves outside the frame of the scale pattern 11, an image of the scale pattern is formed in the acquired image. The larger the vibration width, the larger the illumination light 20 moves out of the frame of the scale pattern 11, and the smaller the scale pattern image formed in the acquired image 30.

この関係を図４に示す。図４に示すように、振動の幅（振幅）ＡがＡａ、Ａｂ、Ａｃと大きくなる程、取得画像中のスケールパターン画像の大きさは１１ａ、１１ｂ、１１ｃと小さくなる。すなわち、取得画像中のスケールパターン画像の大きさから、半透明ミラー３の振幅量を求めることができる。所望するスケールパターン画像の大きさは、ガラス窓１０に描画したスケールパターン１１の大きさに起因する。例えば、スケールパターン画像１１ｂのような所定の大きさとなるように、半透明ミラー３の振幅量を制御する。 This relationship is shown in FIG. As shown in FIG. 4, as the vibration width (amplitude) A increases as Aa, Ab, and Ac, the size of the scale pattern image in the acquired image decreases as 11a, 11b, and 11c. That is, the amplitude amount of the translucent mirror 3 can be obtained from the size of the scale pattern image in the acquired image. The size of the desired scale pattern image is caused by the size of the scale pattern 11 drawn on the glass window 10. For example, the amplitude of the semitransparent mirror 3 is controlled so as to have a predetermined size as in the scale pattern image 11b.

ガラス窓１０に描画するスケールパターン１１は、図２の模様に限定されず、例えば、図５に示す模様であってもよい。走査軸であるＸ軸およびＹ軸に平行かつ垂直する模様に加え、Ｘ軸およびＹ軸にメモリの模様を加えることもできるし、ガラス窓１０の外縁よりも小さい同心円の模様を加えることもできる。 The scale pattern 11 drawn on the glass window 10 is not limited to the pattern shown in FIG. 2, and may be a pattern shown in FIG. 5, for example. In addition to a pattern parallel to and perpendicular to the X axis and Y axis, which are scanning axes, a memory pattern can be added to the X axis and the Y axis, and a concentric pattern smaller than the outer edge of the glass window 10 can be added. .

なお、スケールパターン１１は、走査軸であるＸ軸およびＹ軸と、平行かつ直交する模様が望ましいが、平行や直交する模様ではない場合でも、取得画像中のスケールパターン画像が、Ｘ軸またはＹ軸に平行または直交するように、取得画像を回転させることで、同様に半透明ミラー３の振幅量を制御することができる。 The scale pattern 11 is preferably a pattern that is parallel and orthogonal to the X axis and Y axis, which are scanning axes. However, even if the scale pattern 11 is not a pattern that is parallel or orthogonal, the scale pattern image in the acquired image is the X axis or Y axis. By rotating the acquired image so as to be parallel or orthogonal to the axis, the amplitude amount of the semitransparent mirror 3 can be similarly controlled.

このように、観察対象物２と対物レンズ５との間にスケールパターン１１を有するガラス窓１０を配置することで、半透明ミラー３の振動の幅を制御することができるので、従来のような特別な機器を用いることなく、よって、走査型顕微鏡の小型化やコスト削減を図ることができる。 In this way, by arranging the glass window 10 having the scale pattern 11 between the observation object 2 and the objective lens 5, the width of vibration of the translucent mirror 3 can be controlled. Therefore, it is possible to reduce the size and cost of the scanning microscope without using special equipment.

また、ガラス窓１０のスケールパターン１１は、焦点２ｓが位置する観察対象物２の表面よりも対物レンズ５側に位置するため、取得画像中では、焦点が合わずにピンボケの画像となる。例えば、図６に示すように、ガラス窓１０のスケールパターン１１は細い線でも、線Ｓにおいて得られるスケールパターン画像は、その中心を最大濃度として広がりを持つことになる。よって、画像処理装置９で、得られたスケールパターン画像の濃度分布１１ｔを算出し、濃度分布の中心を求めることができる。この濃度分布の中心位置が、スケールパターン１１の位置である。このように、スケールパターン１１に焦点が合わなくても、スケールパターン画像から、スケールパターン１１の正確な位置を求めることができ、よって、半透明ミラー３の振幅量を正確に求めることができる。 Further, since the scale pattern 11 of the glass window 10 is located closer to the objective lens 5 than the surface of the observation object 2 where the focal point 2s is located, in the acquired image, it becomes a defocused image without being focused. For example, as shown in FIG. 6, even if the scale pattern 11 of the glass window 10 is a thin line, the scale pattern image obtained in the line S has a spread with the center as the maximum density. Therefore, the image processing device 9 can calculate the density distribution 11t of the obtained scale pattern image and obtain the center of the density distribution. The center position of this density distribution is the position of the scale pattern 11. Thus, even if the scale pattern 11 is not focused, the exact position of the scale pattern 11 can be obtained from the scale pattern image, and thus the amplitude amount of the translucent mirror 3 can be obtained accurately.

なお、上記の実施の形態では、スケールパターン１１を、観察対象物２と対物レンズ５との間に位置するガラス窓１０に設けたが、本発明はこれに限定されず、画像処理装置９で得られる２次元画像にスケールパターン画像が形成される場所であれば良い。例えば、図１に示す共焦点顕微鏡１００であれば、走査手段である半透明ミラー３と観察対象物２との間にスケールパターンを有するガラス窓を設けることで、半透明ミラー３の振幅の量によって、得られるスケールパターン画像の大きさが異なることから、同様に半透明ミラー３の振幅量を制御することができる。 In the above embodiment, the scale pattern 11 is provided in the glass window 10 positioned between the observation object 2 and the objective lens 5. However, the present invention is not limited to this, and the image processing apparatus 9 is used. Any place where a scale pattern image is formed on the obtained two- dimensional image may be used. For example, in the case of the confocal microscope 100 shown in FIG. Since the size of the obtained scale pattern image differs, the amplitude amount of the semitransparent mirror 3 can be controlled similarly.

１光源
２観察対象物
２ｓ焦点
３半透明ミラー
４接眼レンズ
５対物レンズ
７ミラー軸
８検出器
９画像処理装置
１０ガラス窓
１１スケールパターン
１２スリット板
１２ｓスリット
１５制御装置
２０光
２０ｓ反射光
DESCRIPTION OF SYMBOLS 1 Light source 2 Observation object 2s Focus 3 Translucent mirror 4 Eyepiece 5 Objective lens 7 Mirror axis 8 Detector 9 Image processing apparatus 10 Glass window 11 Scale pattern 12 Slit plate 12s Slit 15 Controller 20 Light 20s Reflected light

Claims

A light source that emits illumination light;
Scanning means for moving the illumination light on the surface of the observation object;
A transmission plate disposed between the scanning means and the observation object and transmitting the illumination light, the transmission plate having a scale pattern on its surface;
A detector for detecting reflected light from the observation object;
An image processing apparatus that generates an image from information from the detector and the scanning unit, the movement of the illumination light of the scanning unit based on an image of the scale pattern in the image generated by the image processing apparatus A scanning microscope comprising: an image processing device for controlling the image.

The scanning microscope according to claim 1, wherein the scale pattern is a pattern parallel or orthogonal to a scanning axis that is a moving direction of the illumination light of the scanning unit.

The scanning microscope according to claim 1, wherein the scale pattern is a pattern that avoids a central portion of a visual field in which the observation object is observed on the transmission plate.

The image processing apparatus, the image of the scale pattern in an image that the generated scanning microscope according to claim 1 for determining the center position of the shade distribution of the image.