Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4599093B2 - Scanning laser microscope equipment - Google Patents
[go: Go Back, main page]

JP4599093B2 - Scanning laser microscope equipment - Google Patents

Scanning laser microscope equipment Download PDF

Info

Publication number
JP4599093B2
JP4599093B2 JP2004157468A JP2004157468A JP4599093B2 JP 4599093 B2 JP4599093 B2 JP 4599093B2 JP 2004157468 A JP2004157468 A JP 2004157468A JP 2004157468 A JP2004157468 A JP 2004157468A JP 4599093 B2 JP4599093 B2 JP 4599093B2
Authority
JP
Japan
Prior art keywords
signal
digital signal
value
control unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004157468A
Other languages
Japanese (ja)
Other versions
JP2005338465A (en
Inventor
康成 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004157468A priority Critical patent/JP4599093B2/en
Publication of JP2005338465A publication Critical patent/JP2005338465A/en
Application granted granted Critical
Publication of JP4599093B2 publication Critical patent/JP4599093B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、試料にレーザ光を照射しつつ走査し、試料から発する光を画像表示する走査型レーザ顕微鏡装置に関するものである。   The present invention relates to a scanning laser microscope apparatus that scans a sample while irradiating the sample with laser light and displays an image of light emitted from the sample.

従来から、レーザ光を試料に照射しつつ走査し、試料から発する光を光電変換して電気信号に変換し、この電気信号を画像表示して試料からの光を画像化する走査型レーザ顕微鏡装置が多用されている。一般に光電変換された電気信号を画像化する場合、電気信号を積分回路に入力して所定間隔で積分し、積分された電気信号をA/D変換してデジタル信号に変換し、このデジタル信号を画像化している。しかし、光電変換における感度が高い場合、あるいはレーザ光の光強度が高い場合、光電変換された電気信号は、A/D変換の出力レンジを超え、デジタル信号は飽和する。デジタル信号が飽和すると、コントラストの悪い画像となる。そこで、このような場合、積分回路に入力する電気信号の大きさをもとに光強度を検出し、CCD等の2次元撮像素子を用いてA/D変換の出力レンジを超えた光を画像化する技術が提示されている(特許文献1参照)。   Conventionally, a scanning laser microscope apparatus that scans while irradiating a sample with laser light, photoelectrically converts the light emitted from the sample, converts it into an electrical signal, displays the image of the electrical signal, and images the light from the sample Is frequently used. In general, when an electric signal that has been photoelectrically converted is imaged, the electric signal is input to an integration circuit and integrated at a predetermined interval, and the integrated electric signal is converted into a digital signal by A / D conversion. It is imaged. However, when the sensitivity in photoelectric conversion is high or the light intensity of the laser light is high, the photoelectrically converted electrical signal exceeds the output range of A / D conversion, and the digital signal is saturated. When the digital signal is saturated, the image has poor contrast. Therefore, in such a case, the light intensity is detected based on the magnitude of the electric signal input to the integration circuit, and the light exceeding the output range of the A / D conversion is imaged using a two-dimensional image sensor such as a CCD. A technique for realizing this is proposed (see Patent Document 1).

特開平7−67042号公報JP 7-67042 A

しかしながら、走査型レーザ顕微鏡装置は、レーザ光のスポット走査によって画像を取得するため、上述したCCD等の2次元撮像素子を用いる技術を適用することができない。したがって、走査型レーザ顕微鏡装置においては、コントラストの悪い画像が取得され、光電変換された電気信号が大きすぎることが分かった場合でも、光電変換の感度をどの程度下げるべきか、あるいはレーザ光の光強度をどの程度下げるべきかの定量的指標が得られず、光電変換の感度、あるいはレーザ光の光強度を制御するために多大の労力と時間とを要するという問題点があった。   However, since the scanning laser microscope apparatus acquires an image by spot scanning of laser light, the technique using the above-described two-dimensional imaging element such as a CCD cannot be applied. Therefore, in a scanning laser microscope apparatus, even when an image with poor contrast is acquired and it is found that the photoelectrically converted electrical signal is too large, how much the sensitivity of photoelectric conversion should be reduced, or the light of the laser beam There is a problem that a quantitative index of how much the intensity should be reduced cannot be obtained, and much labor and time are required to control the sensitivity of photoelectric conversion or the light intensity of laser light.

本発明は、上記に鑑みてなされたものであって、光電変換される電気信号がA/D変換の出力レンジを超えないように制御し、短時間にコントラストのよい画像が取得できる走査型レーザ顕微鏡装置を提供することを目的とする。   The present invention has been made in view of the above, and is a scanning laser that controls an electric signal to be photoelectrically converted so as not to exceed the output range of A / D conversion, and can acquire a high-contrast image in a short time. An object is to provide a microscope apparatus.

上記目的を達成するために、本発明にかかる走査型レーザ顕微鏡装置は、レーザ光源から出射されたレーザ光を光強度制御手段によって光強度を制御して試料に照射しつつ走査し、前記試料から発する光を光電変換手段によって電気信号に変換し、該電気信号を積分するとともに該積分された電気信号をデジタル変換手段によって順次デジタル信号に変換し、画像表示における表示単位に同期して前記積分をリセットする処理を行って、該リセット時の前記デジタル信号を画像表示する走査型レーザ顕微鏡装置において、前記デジタル信号が前記変換手段のレンジ上限を超えた場合、該レンジ上限を超えるまでの前記デジタル信号をもとに外挿処理を行って前記リセット時の前記デジタル信号を推定し、該推定された前記デジタル信号をもとに前記光電変換手段および/または前記光強度制御手段を制御し、前記リセット時の前記デジタル信号を前記レンジ上限近傍に収束させる制御を行う制御手段を備えたことを特徴とする。 In order to achieve the above object, a scanning laser microscope apparatus according to the present invention scans laser light emitted from a laser light source while irradiating the sample while controlling the light intensity by the light intensity control means. The emitted light is converted into an electric signal by a photoelectric conversion means, the electric signal is integrated, and the integrated electric signal is sequentially converted into a digital signal by a digital conversion means, and the integration is performed in synchronization with a display unit in image display. In a scanning laser microscope apparatus that performs processing to reset and displays the digital signal at the time of resetting, when the digital signal exceeds the upper limit of the range of the conversion means, the digital signal until the upper limit of the range is exceeded Extrapolation processing is performed based on the digital signal at the time of resetting, and the estimated digital signal is The controls photoelectric conversion means and / or said light intensity control means, characterized in that said digital signal during said reset with a control means for performing control to converge to the range limit near.

また、本発明にかかる走査型レーザ顕微鏡装置は、上記の発明において、前記レンジ上限近傍は、前記レンジ上限以下であることを特徴とする。 The scanning laser microscope apparatus according to the present invention is characterized in that, in the above invention, the vicinity of the upper limit of the range is not more than the upper limit of the range.

また、本発明にかかる走査型レーザ顕微鏡装置は、上記の発明において、前記制御手段は、前記デジタル信号のサンプリング数をカウントするカウント手段をさらに備え、前記制御手段は、前記リセット時のサンプリング数を前記レンジ上限に達するまでの前記サンプリング数で除算し、この除算値を前記レンジ上限の値に乗算した値を推定値とすることを特徴とする。 In the scanning laser microscope apparatus according to the present invention , in the above invention, the control unit further includes a counting unit that counts the number of samplings of the digital signal, and the control unit determines the number of samplings at the time of the reset. Dividing by the number of samplings until the upper limit of the range is reached, and a value obtained by multiplying this divided value by the upper limit of the range is used as an estimated value.

また、本発明にかかる走査型レーザ顕微鏡装置は、上記の発明において、前記制御手段は、最尤推定法によって前記リセット時の前記デジタル信号を推定することを特徴とする。 In the scanning laser microscope apparatus according to the present invention as set forth in the invention described above, the control means estimates the digital signal at the time of reset by a maximum likelihood estimation method.

また、本発明にかかる走査型レーザ顕微鏡装置は、上記の発明において、前記最尤推定法は、最小二乗法であることを特徴とする。 In the scanning laser microscope apparatus according to the present invention as set forth in the invention described above, the maximum likelihood estimation method is a least square method.

本発明にかかる走査型レーザ顕微鏡装置は、光電変換した電気信号を積分し、A/D変換する場合、電気信号を積分した積分値が、A/D変換の最大出力レンジを超えて飽和した場合、1画素分の積分値を推定し、この推定した積分値をもとに光電変換の感度、あるいはレーザ光の光強度を制御し、短時間にコントラストのよい画像が取得できるという効果を奏する。   When the scanning laser microscope apparatus according to the present invention integrates the photoelectrically converted electrical signal and performs A / D conversion, the integrated value obtained by integrating the electrical signal is saturated beyond the maximum output range of the A / D conversion. An integrated value for one pixel is estimated, and the sensitivity of photoelectric conversion or the light intensity of laser light is controlled based on the estimated integrated value, so that an image with good contrast can be obtained in a short time.

以下に添付図面を参照して、この発明にかかる走査型レーザ顕微鏡装置の好適な実施の形態を詳細に説明する。   Exemplary embodiments of a scanning laser microscope apparatus according to the present invention will be explained below in detail with reference to the accompanying drawings.

(実施の形態1)
この実施の形態1では、レーザ光を試料に照射して試料から発する光を光電変換して積分し、積分した積分値が増大してA/D変換の最大出力レンジを超えた場合、この増大傾向にしたがって積分値を増大させて1画素分の積分値を推定し、この推定された1画素分の積分値をもとに光電変換の感度、あるいはレーザ光の光強度を制御し、積分値がA/D変換の最大出力レンジを超えないようにしている。
(Embodiment 1)
In the first embodiment, the laser beam is irradiated onto the sample and the light emitted from the sample is photoelectrically converted and integrated. When the integrated value increases and exceeds the maximum output range of the A / D conversion, this increase occurs. The integral value is increased according to the trend, and the integral value for one pixel is estimated. Based on the estimated integral value for one pixel, the sensitivity of photoelectric conversion or the light intensity of the laser light is controlled, and the integral value Does not exceed the maximum output range of A / D conversion.

図1は、この発明の実施の形態1である走査型レーザ顕微鏡装置100の概要構成を示すブロック図である。図1において、この走査型レーザ顕微鏡装置100は、レーザ光源1と、光量調節部2と、照明光学系3と、観察光学系5と、光電変換素子6と、光電変換素子駆動部7と、スイッチ駆動部8と、スイッチ9と、コンデンサ10と、オペアンプ11と、クリップダイオード12と、制御部13と、表示部14とを有している。さらに制御部13は、サンプリング部130と、走査制御部131と、光量制御部132と、画像表示制御部133とを有している。   FIG. 1 is a block diagram showing a schematic configuration of a scanning laser microscope apparatus 100 according to Embodiment 1 of the present invention. In FIG. 1, the scanning laser microscope apparatus 100 includes a laser light source 1, a light amount adjusting unit 2, an illumination optical system 3, an observation optical system 5, a photoelectric conversion element 6, a photoelectric conversion element driving unit 7, The switch drive unit 8, the switch 9, the capacitor 10, the operational amplifier 11, the clip diode 12, the control unit 13, and the display unit 14 are included. The control unit 13 further includes a sampling unit 130, a scan control unit 131, a light amount control unit 132, and an image display control unit 133.

まず、レーザ光源1から出射されたレーザは、音響光学素子(AOTF)等によって実現される光量調節部2によってレーザ光の光強度が調整され、照明光学系3を介して試料4に入射する。照明光学系3は、レーザ光を走査する機能を有するガルバノミラー、レーザ光を試料4に集光する機能を有する対物レンズ等によって構成される。試料4に入射したレーザ光は、試料4を励起、反射、あるいは透過する。試料4からは、蛍光、反射光、あるいは透過光が出射し、観察光学系5を介して光電変換素子6に入射する。   First, the laser light emitted from the laser light source 1 is adjusted in light intensity by a light amount adjusting unit 2 realized by an acousto-optic device (AOTF) or the like, and enters the sample 4 through the illumination optical system 3. The illumination optical system 3 includes a galvano mirror having a function of scanning laser light, an objective lens having a function of condensing the laser light on the sample 4, and the like. The laser light incident on the sample 4 excites, reflects, or transmits the sample 4. Fluorescence, reflected light, or transmitted light is emitted from the sample 4 and enters the photoelectric conversion element 6 through the observation optical system 5.

光電変換素子6は、光電子増倍管(PMT)、アバランシュダイオード(APD)等によって実現され、入射した光を光強度に対応した電気信号(電流)に変換してオペアンプ11に出力する。光電変換素子6は、高圧電源等によって実現される光電変換素子駆動部7によって制御され、光電変換素子駆動部7から印加される電圧VHVによって単位光量あたりの出力電流が制御されている。 The photoelectric conversion element 6 is realized by a photomultiplier tube (PMT), an avalanche diode (APD), or the like, converts incident light into an electric signal (current) corresponding to the light intensity, and outputs it to the operational amplifier 11. The photoelectric conversion element 6 is controlled by a photoelectric conversion element driving unit 7 realized by a high-voltage power source or the like, and an output current per unit light amount is controlled by a voltage V HV applied from the photoelectric conversion element driving unit 7.

光電変換素子6から出力された電流は、スイッチ9と、コンデンサ10と、オペアンプ11と、クリップダイオード12等によって構成される積分回路に入力され、電圧信号VINTに変換される。コンデンサ10は、光電変換素子6から出力された電流の電荷を蓄積し、オペアンプ11は、この蓄積された電荷を電圧信号VINTに変換して出力し、スイッチ9は、コンデンサ10に蓄積される電荷の充放電を制御する。クリップダイオード12は、オペアンプ11から出力された電圧信号VINTが所定の閾値電圧VMAXを超えて制御部13に入力されないように配置されている。スイッチ駆動部8は、サンプリング部130によって制御され、スイッチ9の開閉を駆動し、コンデンサ10に蓄積された電荷の充放電を制御する。 The current output from the photoelectric conversion element 6 is input to an integration circuit including a switch 9, a capacitor 10, an operational amplifier 11, a clip diode 12, and the like, and is converted into a voltage signal V INT . The capacitor 10 accumulates the electric charge of the current output from the photoelectric conversion element 6, the operational amplifier 11 converts the accumulated electric charge into a voltage signal V INT and outputs it, and the switch 9 is accumulated in the capacitor 10. Controls charge and discharge. The clip diode 12 is arranged so that the voltage signal V INT output from the operational amplifier 11 does not exceed the predetermined threshold voltage V MAX and is not input to the control unit 13. The switch driving unit 8 is controlled by the sampling unit 130, drives the opening and closing of the switch 9, and controls charging / discharging of the charge accumulated in the capacitor 10.

サンプリング部130は、マイクロプロセッサ(MPU)、デジタルシグナルプロセッサ(DSP)、集積回路(LSI)等によって実現され、走査制御部131と、光量制御部132と、画像表示制御部133とにそれぞれ信号を出力している。走査制御部131は、照明系3を制御し、光量制御部132は、光量調節部2と光電変換素子駆動部7とを制御し、画像表示制御部133は、表示部14を制御している。サンプリング部130に出力された電圧信号VINTは、サンプリング部130で画像信号に変換され、画像表示制御部133を介して表示部14に出力表示される。 The sampling unit 130 is realized by a microprocessor (MPU), a digital signal processor (DSP), an integrated circuit (LSI), or the like, and sends signals to the scanning control unit 131, the light amount control unit 132, and the image display control unit 133, respectively. Output. The scanning control unit 131 controls the illumination system 3, the light amount control unit 132 controls the light amount adjustment unit 2 and the photoelectric conversion element driving unit 7, and the image display control unit 133 controls the display unit 14. . The voltage signal V INT output to the sampling unit 130 is converted into an image signal by the sampling unit 130 and output and displayed on the display unit 14 via the image display control unit 133.

つぎに、サンプリング部130の動作について説明する。図2は、サンプリング部130の概要構成を示すブロック図である。サンプリング部130は、タイミングジェネレータ(TG)1301と、遅延器1302と、AND回路1303と、カウンタ1304と、比較器1305,1310と、A/D変換器1306と、ラッチ回路1307,1308,1309と、基準クロック1311と、OR回路1312とを有している。   Next, the operation of the sampling unit 130 will be described. FIG. 2 is a block diagram illustrating a schematic configuration of the sampling unit 130. The sampling unit 130 includes a timing generator (TG) 1301, a delay unit 1302, an AND circuit 1303, a counter 1304, comparators 1305 and 1310, an A / D converter 1306, latch circuits 1307, 1308, and 1309. A reference clock 1311 and an OR circuit 1312.

基準クロック1311は、所定周期で「H」「L」を繰返すクロック信号CLKを出力している。TG1301は、クロック信号CLKを入力すると、クロック信号CLKに同期して垂直同期信号VDと、水平同期信号HDと、ピクセルクロック信号PCLKとを生成し、垂直同期信号VDと、水平同期信号HDと、ピクセルクロック信号PCLKとを走査制御部131と画像表示制御部133とに出力するとともに、ピクセルクロック信号PCLKをAND回路1303と遅延器1302とに出力する。遅延器1302は、入力したピクセルクロック信号PCLKを1クロック遅延してAND回路1303に出力する。AND回路1303は、TG1301からの入力を正論理とし、遅延器1302からの入力を負論理としている。したがって、AND回路1303は、ピクセルクロック信号PCLKが「L」から「H」に立上がった1クロック期間のみリセット信号RSTを出力する。このリセット信号RSTは、スイッチ駆動部8と、画像表示制御部133と、カウンタ1304と、ラッチ回路1307,1308と、OR回路1312とに出力される。カウンタ1304は、クロック信号CLKを入力し、クロック信号CLK「H」に同期してカウントアップを開始し、カウントアップしたカウント信号CNTをラッチ回路1308に出力する。また、カウンタ1304は、リセット信号RST「H」を入力すると、カウントアップを終了してカウンタを「0」にリセットする。   The reference clock 1311 outputs a clock signal CLK that repeats “H” and “L” in a predetermined cycle. When the clock signal CLK is input, the TG 1301 generates a vertical synchronization signal VD, a horizontal synchronization signal HD, and a pixel clock signal PCLK in synchronization with the clock signal CLK, and generates a vertical synchronization signal VD, a horizontal synchronization signal HD, The pixel clock signal PCLK is output to the scanning control unit 131 and the image display control unit 133, and the pixel clock signal PCLK is output to the AND circuit 1303 and the delay unit 1302. The delay device 1302 delays the input pixel clock signal PCLK by one clock and outputs the delayed signal to the AND circuit 1303. The AND circuit 1303 uses the input from the TG 1301 as positive logic and the input from the delay unit 1302 as negative logic. Therefore, the AND circuit 1303 outputs the reset signal RST only for one clock period when the pixel clock signal PCLK rises from “L” to “H”. The reset signal RST is output to the switch driving unit 8, the image display control unit 133, the counter 1304, the latch circuits 1307 and 1308, and the OR circuit 1312. The counter 1304 receives the clock signal CLK, starts counting up in synchronization with the clock signal CLK “H”, and outputs the counted up count signal CNT to the latch circuit 1308. Further, when the counter 1304 receives the reset signal RST “H”, the counter 1304 finishes counting up and resets the counter to “0”.

オペアンプ11から出力された電圧信号VINTは、A/D変換器1306によってデジタル信号DSに変換される。デジタル信号DSは、ラッチ回路1307と、比較器1305とに出力される。比較器1305は、入力したデジタル信号DSがA/D変換器1306の最大出力レンジである最大デジタル信号DSMAXに達した場合、閾値オーバー信号OVRTH「H」をOR回路1312に出力し、デジタル信号DSが最大デジタル信号DSMAX未満である場合、閾値オーバー信号OVRTH「L」をOR回路1312に出力する。 The voltage signal V INT output from the operational amplifier 11 is converted into a digital signal DS by the A / D converter 1306. The digital signal DS is output to the latch circuit 1307 and the comparator 1305. When the input digital signal DS reaches the maximum digital signal DS MAX that is the maximum output range of the A / D converter 1306, the comparator 1305 outputs the threshold over signal OVR TH “H” to the OR circuit 1312, and When the signal DS is less than the maximum digital signal DS MAX , the threshold over signal OVR TH “L” is output to the OR circuit 1312.

ラッチ回路1307は、リセット信号RST「H」を入力すると、デジタル信号DSをラッチして最終デジタル信号DSLを光量制御部132と画像表示制御部133出力する。OR回路1312は、リセット信号RSTと閾値オーバー信号OVRTHとのいずれかが「H」の場合、「H」をラッチ回路1309に出力し、リセット信号RSTと閾値オーバー信号OVRTHとの双方が「L」の場合、「L」をラッチ回路1309に出力する。 Latch circuit 1307 inputs the reset signal RST "H", latches the digital signal DS final digital signal DS L the output light amount control unit 132 and the image display control unit 133. When either the reset signal RST or the threshold over signal OVR TH is “H”, the OR circuit 1312 outputs “H” to the latch circuit 1309, and both the reset signal RST and the threshold over signal OVR TH are “ In the case of “L”, “L” is output to the latch circuit 1309.

ラッチ回路1308は、リセット信号RST「H」を入力すると、カウンタ1304から入力したカウント信号CNTをラッチしてカウント終了信号CNTENDを比較器1310に出力する。 When the reset signal RST “H” is input, the latch circuit 1308 latches the count signal CNT input from the counter 1304 and outputs a count end signal CNT END to the comparator 1310.

ラッチ回路1309は、OR回路1312から「H」を入力すると、カウンタ1304から入力したカウント信号CNTをラッチして上限値信号CNTLIMを比較器1310と光量制御部132とに出力する。 When “H” is input from the OR circuit 1312, the latch circuit 1309 latches the count signal CNT input from the counter 1304 and outputs an upper limit value signal CNT LIM to the comparator 1310 and the light amount control unit 132.

比較器1310は、カウント終了信号CNTENDの値と上限値信号CNTLIMの値とを比較し、上限値信号CNTLIMの値がカウント終了信号CNTENDの値未満である場合、オーバーレンジ信号OVR「H」を光量制御部132に出力し、上限値信号CNTLIMの値がカウント終了信号CNTEND以上である場合、オーバーレンジ信号OVR「L」を光量制御部132に出力する。 The comparator 1310 compares the value of the count end signal CNT END and the value of the upper limit value signal CNT LIM. If the value of the upper limit value signal CNT LIM is less than the value of the count end signal CNT END , the overrange signal OVR “ H ”is output to the light amount control unit 132, and when the value of the upper limit signal CNT LIM is equal to or greater than the count end signal CNT END , the overrange signal OVR“ L ”is output to the light amount control unit 132.

図3は、クロック信号CLKの「H」「L」、ピクセルクロック信号PCLKの「H」「L」、リセット信号RSTの「H」「L」、スイッチ9の「開」「閉」、カウント信号CNTの値、電圧信号VINT(最大デジタル信号DSMAX)およびデジタル信号DS、閾値オーバー信号OVRTHの「H」「L」、カウント終了信号CNTENDの値、上限値信号CNTLIMの値、オーバーレンジ信号OVRの「H」「L」を示すタイミングチャートである。 3 shows “H” and “L” of the clock signal CLK, “H” and “L” of the pixel clock signal PCLK, “H” and “L” of the reset signal RST, “open” and “closed” of the switch 9, and the count signal. CNT value, voltage signal V INT (maximum digital signal DS MAX ) and digital signal DS, threshold over signal OVR TH “H” “L”, count end signal CNT END value, upper limit signal CNT LIM value, over It is a timing chart which shows “H” “L” of range signal OVR.

図3において、クロック信号CLKは、基準クロック1311から出力され、時刻T1〜T2で「H」「L」となる周期で「H」「L」が出力される。ピクセルクロック信号PCLKは、TG1301から出力され、レーザ光が1画素を走査する周期に同期して時刻T1,T4で「H」となる。リセット信号RSTは、AND回路1303から出力され、ピクセルクロック信号PCLKが「H」に立上がった時刻T1,T4に同期して1クロック「H」となる。スイッチ9は、リセット信号RSTの「H」に同期して「閉」となり、コンデンサ10に蓄積されている電荷を放電する。カウント信号CNTの値は、カウンタ1304から出力され、カウンタ1304がカウントアップしたカウント信号CNTの値である。1画素の周期をカウント信号の値では、「0」〜「39」に設定してある。電圧信号VINTは、コンデンサ10から出力され、時間の経過とともに増加している。また、デジタル信号DSは、A/D変換器1306から出力され、電圧信号VINTをクロック信号CLKに同期してA/D変換器1306によってサンプリングされた信号である。そのため、電圧信号VINTは、連続的な値となるが、デジタル信号DSは、電圧信号VINTの連続的な線上の離散的な点となる。 In FIG. 3, the clock signal CLK is output from the reference clock 1311, and “H” and “L” are output at a period of “H” and “L” at times T <b> 1 to T <b> 2. The pixel clock signal PCLK is output from the TG 1301, and becomes “H” at times T1 and T4 in synchronization with the period in which the laser beam scans one pixel. The reset signal RST is output from the AND circuit 1303 and becomes one clock “H” in synchronization with the times T1 and T4 when the pixel clock signal PCLK rises to “H”. The switch 9 becomes “closed” in synchronization with “H” of the reset signal RST, and discharges the electric charge accumulated in the capacitor 10. The value of the count signal CNT is the value of the count signal CNT output from the counter 1304 and counted up by the counter 1304. The period of one pixel is set to “0” to “39” in the count signal value. The voltage signal V INT is output from the capacitor 10 and increases with time. The digital signal DS is output from the A / D converter 1306, a signal sampled by the A / D converter 1306 in synchronization with the voltage signal V INT clock signal CLK. Therefore, the voltage signal V INT has a continuous value, but the digital signal DS becomes a discrete point on a continuous line of the voltage signal V INT .

閾値オーバー信号OVRTHは、比較器1305から出力され、電圧信号VINTが閾値電圧VMAXに達し、つまりデジタル信号DSが最大デジタル信号DSMAXに達した場合に「H」が出力される。カウント終了信号CNTENDの値は、ラッチ回路1308から出力され、リセット信号RSTの「H」に同期してデジタル信号DSをカウントアップした値であり、次のリセット信号RSTの「H」の立ち上がりによって前回のカウントアップしたデジタル信号の値を出力する。図3においては、時刻T1から装置が始動されているため、時刻T1〜T4では、カウント終了信号CNTENDの値は、「0」であるが、時刻T4以降は、1画素の周期が変わらない限り、装置が停止するまで「39」となる。上限値信号CNTLIMの値は、ラッチ回路1309から出力され、デジタル信号DSが最大デジタル信号DSMAXに達するまでカウントアップされたカウント信号CNTの値である。図3においては、時刻T3でデジタル信号DSが最大デジタル信号DSMAXに達しているため、時刻T3以降、上限値信号CNTLIMの値は、時刻T1〜T3でカウントアップされた「29」となる。オーバーレンジ信号OVRは、比較器1310から出力され、上限値信号CNTLIMの値がカウント終了信号CNTENDの値未満である場合、「H」が出力される。 The threshold over signal OVR TH is output from the comparator 1305, and “H” is output when the voltage signal V INT reaches the threshold voltage V MAX , that is, when the digital signal DS reaches the maximum digital signal DS MAX . The value of the count end signal CNT END is a value output from the latch circuit 1308 and counted up by the digital signal DS in synchronization with “H” of the reset signal RST. Outputs the value of the previously counted up digital signal. In FIG. 3, since the apparatus is started from time T1, the value of the count end signal CNT END is “0” from time T1 to T4, but the period of one pixel does not change after time T4. As long as the device stops. The value of the upper limit signal CNT LIM is outputted from the latch circuit 1309, the value of the count-up count signal CNT to the digital signal DS reaches the maximum digital signal DS MAX. In FIG. 3, since the digital signal DS reaches the maximum digital signal DS MAX at time T3, the value of the upper limit signal CNT LIM becomes “29” counted up from time T1 to T3 after time T3. . The overrange signal OVR is output from the comparator 1310, and “H” is output when the value of the upper limit signal CNT LIM is less than the value of the count end signal CNT END .

図3において、デジタル信号DSは、時刻T2〜T3において増加し、時刻T3〜T4において最大デジタル信号DSMAXに達し飽和する。そのため、1画素の終了時である時刻T4における最終デジタル信号DSLは、最大デジタル信号DSMAXに飽和した値となっている。そこで、光量制御部132は、デジタル信号DSが時刻T2〜T3において増加した割合と同じ割合で時刻T3〜T4においてデジタル信号DSを増加させ、時刻T4での推定電圧値VLASTを演算する。そして、この推定電圧値VLASTをもとに電圧信号VINTが閾値電圧VMAXを超えないように制御を行う。 3, the digital signal DS is increased at time T2 to T3, saturated reaches the maximum digital signal DS MAX at time T3 to T4. Therefore, the final digital signal DS L at time T4 is a time of one pixel ends has a saturation value to the maximum digital signal DS MAX. Therefore, light amount control unit 132, a digital signal DS increases the digital signal DS at time T3~T4 at the same rate as the rate was increased at time T2 to T3, and calculates the estimated voltage value V LAST at time T4. Then, control is performed so that the voltage signal V INT of the estimated voltage value V LAST based does not exceed the threshold voltage V MAX.

そこで、まず推定電圧値VLASTを求める。時刻T2〜T4に対応してカウントされたカウント信号CNTの値「1」〜「39」を初期値CNTMAXとし、時刻T2〜T3に対応してカウントされたカウント信号CNTの値「1」〜「29」を最小値CNTMINとし、この最小値CNTMINが1画面中で極小である極小値CNTLIMである場合、この最小値CNTMINを極小値CNTLIMに置換えると、推定電圧値VLASTは、以下の式(1)によって求められる。
LAST=VMAX×CNTMAX/CNTLIM ・・・・・・(1)
Therefore, first, an estimated voltage value VLAST is obtained. The values “1” to “39” of the count signal CNT counted corresponding to the times T2 to T4 are set as the initial value CNT MAX, and the values “1” to “1” of the count signal CNT counted corresponding to the times T2 to T3 are set. If “29” is the minimum value CNT MIN and the minimum value CNT MIN is the minimum value CNT LIM that is the minimum in one screen, the estimated voltage value V is obtained by replacing the minimum value CNT MIN with the minimum value CNT LIM. LAST is determined by the following equation (1).
V LAST = V MAX × CNT MAX / CNT LIM (1)

つぎに、推定電圧値VLASTが閾値電圧VMAX未満となるように光電変換素子6に印加する最適電圧VHV(NEW)を求める。最適電圧VHV(NEW)は、極小値CNTLIMを導出した時に光電変換素子6に印加した電圧VHVとした場合、以下の式(2)によって求められる。
HV(NEW)=VHV×(VMAX/VLAST1/C ・・・・・・(2)
なお、式(2)におけるCは、光電変換素子6によって決まる定数である。しかし、光電変換素子6が正常に機能するために最小限界電圧VHV(LIM)があり、最適電圧VHV(NEW)を最小限界電圧VHV(LIM)以下に設定することができない。したがって、最適電圧VHV(NEW)が最小限界電圧VHV(LIM)以下である場合、光量制御部132は、光電変換素子6に対しては、最小限界電圧VHV(LIM)を設定し、光量調節部2を介してレーザ光源1から出射されたレーザ光の光量LEXを制御して推定電圧値VLASTが閾値電圧VMAX未満となるように最適光量LEX(NEW)を設定する。
Next, an optimum voltage V HV (NEW) to be applied to the photoelectric conversion element 6 is obtained so that the estimated voltage value V LAST is less than the threshold voltage V MAX . The optimum voltage V HV (NEW) is obtained by the following equation (2) when the voltage V HV applied to the photoelectric conversion element 6 when the minimum value CNT LIM is derived.
V HV (NEW) = V HV × (V MAX / V LAST ) 1 / C (2)
Note that C in Expression (2) is a constant determined by the photoelectric conversion element 6. However, since the photoelectric conversion element 6 functions normally, there is a minimum limit voltage V HV (LIM) , and the optimum voltage V HV (NEW) cannot be set below the minimum limit voltage V HV (LIM) . Therefore, when the optimum voltage V HV (NEW) is equal to or lower than the minimum limit voltage V HV (LIM) , the light quantity control unit 132 sets the minimum limit voltage V HV (LIM) for the photoelectric conversion element 6, The optimum light amount L EX (NEW) is set so that the estimated voltage value V LAST is less than the threshold voltage V MAX by controlling the light amount L EX of the laser light emitted from the laser light source 1 via the light amount adjusting unit 2.

ところで、最適光量LEX(NEW)は、最適電圧VHV(NEW)を導出した時にレーザ光源1から出射されたレーザ光の光量LEXとした場合、以下の式(3)によって求められる。
EX(NEW)=LEX×(VHV(NEW)/VHV(LIM)C ・・・・・・(3)
なお、式(3)におけるCは、式(2)で用いられたCと同じ値の定数である。
Incidentally, the optimum light amount L EX (NEW) is obtained by the following equation (3) when the light amount L EX of the laser light emitted from the laser light source 1 when the optimum voltage V HV (NEW) is derived.
L EX (NEW) = L EX × (V HV (NEW) / V HV (LIM) ) C・ ・ ・ ・ ・ ・ (3)
Note that C in Expression (3) is a constant having the same value as C used in Expression (2).

つぎに、図4に示すフローチャートを参照して、サンプリング部130と、光量制御部132と、画像表示制御部133との動作を説明する。まず、光量制御部132は、1画素に対応する初期値CNTMAXを決定し、1画面中の極小値CNTLIMの初期化を行い、極小値CNTLIMを初期値CNTMAXに置換える(ステップS101)。また、1画面中でオーバーレンジ信号OVRが発生したか否かを判別するフラグFLAGの初期化を行い、フラグFLAGを「0」にする(ステップS102)。 Next, operations of the sampling unit 130, the light amount control unit 132, and the image display control unit 133 will be described with reference to the flowchart shown in FIG. First, the light amount control unit 132 determines an initial value CNT MAX corresponding to one pixel, initializes a minimum value CNT LIM in one screen, and replaces the minimum value CNT LIM with the initial value CNT MAX (step S101). ). Further, the flag FLAG for determining whether or not the overrange signal OVR is generated in one screen is initialized, and the flag FLAG is set to “0” (step S102).

つぎに、光量制御部132は、リセット信号RSTが「H」であるか否かを判断し(ステップS103)、リセット信号RSTが「H」である場合(ステップS103,YES)、レンジオーバー信号OVRが「H」であるか否かを判断する(ステップS104)。レンジオーバー信号OVRが「H」である場合(ステップS104,YES)、フラグFLAGを「0」→「1」に変更し(ステップS105)、最小値CNTMINが極小値CNTLIM未満であるか否かを判断する(ステップS106)。最小値CNTMINが極小値CNTLIM未満である場合(ステップS106,YES)、極小値CNTLIMを最小値CNTMINに置換え更新する(ステップS107)。 Next, the light amount control unit 132 determines whether or not the reset signal RST is “H” (step S103), and when the reset signal RST is “H” (step S103, YES), the range over signal OVR. Is “H” or not (step S104). When the range over signal OVR is “H” (step S104, YES), the flag FLAG is changed from “0” to “1” (step S105), and whether or not the minimum value CNT MIN is less than the minimum value CNT LIM. Is determined (step S106). When the minimum value CNT MIN is less than the minimum value CNT LIM (YES in step S106), the minimum value CNT LIM is replaced with the minimum value CNT MIN and updated (step S107).

また、画像表示制御部133は、レンジオーバー信号OVRが「L」である場合(ステップS104,NO)と最小値CNTMINが極小値CNTLIM以上である場合(ステップS106,NO)と極小値CNTLIMを更新した場合(ステップS107)とにおいて、1画面分のサンプリングが完了したか否かを判断する(ステップS108)。リセット信号RSTが「L」である場合(ステップS103,NO)、また、1画面分のサンプリングが完了していない場合(ステップS108,NO)、次の画素に対してサンプリングを行う(ステップS103)。 The image display control unit 133 also sets the minimum value CNT when the range over signal OVR is “L” (step S104, NO), when the minimum value CNT MIN is equal to or larger than the minimum value CNT LIM (step S106, NO). When the LIM is updated (step S107), it is determined whether sampling for one screen is completed (step S108). When the reset signal RST is “L” (step S103, NO), or when sampling for one screen is not completed (step S108, NO), the next pixel is sampled (step S103). .

光量制御部132は、フラグFLAGが「1」であるか否かを判断し(ステップS109)、フラグFLAGが「1」である場合(ステップS109,YES)、極小値CNTLIMから推定電圧値VLASTを求める(ステップS110)。推定電圧値VLASTから光電素子6に印加する最適電圧VHV(NEW)を求める(ステップS111)。 The light quantity control unit 132 determines whether or not the flag FLAG is “1” (step S109). If the flag FLAG is “1” (step S109, YES), the estimated voltage value V is calculated from the minimum value CNT LIM. LAST is obtained (step S110). An optimum voltage V HV (NEW) to be applied to the photoelectric element 6 is obtained from the estimated voltage value V LAST (step S111).

つぎに、光量制御部132は、最適電圧VHV(NEW)が最小限界電圧VHV(LIM)未満か否かを判断する(ステップS112)。最適電圧VHV(NEW)が最小限界電圧VHV(LIM)未満である場合(ステップS112,YES)、光量制御部132は、光電変換素子駆動部7を介して光電変換素子6に最小限界電圧VHV(NEW)を設定し(ステップS113)、最適電圧VHV(NEW)が最小限界電圧VHV(LIM)以上である場合(ステップS112,NO)、光量制御部132は、光電変換素子駆動部7を介して光電変換素子6に最適電圧VHV(LIM)を設定する(ステップS114)。 Next, the light quantity control unit 132 determines whether or not the optimum voltage V HV (NEW) is less than the minimum limit voltage V HV (LIM) (step S112). When the optimum voltage V HV (NEW) is less than the minimum limit voltage V HV (LIM) (step S112, YES), the light quantity control unit 132 applies the minimum limit voltage to the photoelectric conversion element 6 via the photoelectric conversion element driving unit 7. When V HV (NEW) is set (step S113) and the optimum voltage V HV (NEW) is equal to or higher than the minimum limit voltage V HV (LIM) (step S112, NO), the light quantity control unit 132 drives the photoelectric conversion element. The optimum voltage V HV (LIM) is set in the photoelectric conversion element 6 via the unit 7 (step S114).

光量制御部132は、光電変換素子駆動部7を介して光電変換素子6に最小限界電圧VHV(LIM)を設定した場合(ステップS114)、光量調節部2を介して最適光量LEX(NEW)(=(VHV(NEW)/VHV(LIM)1/C)を設定する(ステップS115)。 When the minimum limit voltage V HV (LIM) is set for the photoelectric conversion element 6 via the photoelectric conversion element drive unit 7 (step S114), the light amount control unit 132 sets the optimum light amount L EX (NEW ) (= (V HV (NEW) / V HV (LIM) ) 1 / C ) is set (step S115).

この実施の形態1では、コンデンサ10に蓄積された電荷がA/D変換器1306の出力レンジをオーバーし、A/D変換されたデジタル信号が飽和した場合、推定電圧値VLASTを演算し、この推定電圧値VLASTをもとに光量を制御するようにしている。このようにすると、1画面を走査するだけで、次の画面から適正光量に制御された画像が取得できる。つまり、短時間に多大な労力をかけずに光量制御が行える。 In the first embodiment, when the charge accumulated in the capacitor 10 exceeds the output range of the A / D converter 1306 and the A / D converted digital signal is saturated, the estimated voltage value V LAST is calculated, The amount of light is controlled based on the estimated voltage value VLAST . If it does in this way, the image controlled to the appropriate light quantity can be acquired from the following screen only by scanning one screen. That is, the light amount can be controlled without much effort in a short time.

なお、この実施の形態1では、光電変換素子6への印加電圧の可変と光量調節部2への制御との双方の制御を行うようにしていたが、装置の状態と観察の状況とを鑑みて光電変換素子6への印加電圧の可変か、光量調節部2への制御かのいずれか一つの制御を行うようにしてもよい。   In the first embodiment, both the variable of the applied voltage to the photoelectric conversion element 6 and the control to the light amount adjusting unit 2 are controlled. However, in view of the state of the apparatus and the observation state. Thus, any one of the control of the applied voltage to the photoelectric conversion element 6 and the control to the light amount adjusting unit 2 may be performed.

また、この実施の形態1では、光量がA/D変換器1306のレンジをオーバーする場合について説明したが、1画面の走査において、光量がレンジ以下である場合は、光量制御部132が閾値電圧VTHとラッチ回路1307から出力される最終デジタル信号DSLとの差分から光量を増大させる制御を行うようにしてもよい。 In the first embodiment, the case where the amount of light exceeds the range of the A / D converter 1306 has been described. However, when the amount of light is below the range in one screen scan, the light amount control unit 132 sets the threshold voltage. it may perform control to increase the amount from the difference between the final digital signal DS L output from the V TH and the latch circuit 1307.

(実施の形態2)
つぎに、この実施の形態2について説明する。実施の形態1では、1画面を走査し、光量がA/D変換器1306のレンジをオーバーしている場合、推定電圧値VLASTを求めるようにしていたが、この実施の形態2では、試料4からの光が微弱でA/D変換器1306によって変換されるデジタル信号DSが線形に増加しない場合、最小二乗法を用いて推定電圧値VLASTを求めるようにしている。
(Embodiment 2)
Next, the second embodiment will be described. In the first embodiment, when one screen is scanned and the amount of light exceeds the range of the A / D converter 1306, the estimated voltage value VLAST is obtained. However, in this second embodiment, the sample When the light from 4 is weak and the digital signal DS converted by the A / D converter 1306 does not increase linearly, the estimated voltage value V LAST is obtained using the least square method.

走査型レーザ顕微鏡装置において、試料の経時変化を観察する場合、レーザ光を高速に走査させる必要がある。このような場合、ピクセルクロック信号PCLKは短くなり、コンデンサ10に蓄積される電荷量が少なくなる。このため、十分な輝度の蛍光画像を取得するために、光電変換素子6への印加電圧VHVを高めて検出感度を増大させることになる。また、観察試料が微弱な蛍光を発する生物標本である場合、光電変換素子6に入射する光子数の絶対量が少なく、図5の模式図に示すように光電変換素子の出力電流は、連続的ではなく、パルス状となる。また、この電流パルスは、生物標本から確率的に発せられる光子によるものであるため、この電流パルスの電荷総量には、大きなばらつきが生じる。したがって、実施の形態1で説明した推定電圧VLASTにも大きなばらつきが生じ、このばらつきを伴った推定電圧VLASTをもとに光量を制御すると、光量に大きな誤差が生じる。 In a scanning laser microscope apparatus, when observing a change with time of a sample, it is necessary to scan the laser beam at high speed. In such a case, the pixel clock signal PCLK is shortened, and the amount of charge accumulated in the capacitor 10 is reduced. For this reason, in order to acquire a fluorescence image with sufficient luminance, the applied voltage V HV to the photoelectric conversion element 6 is increased to increase the detection sensitivity. Further, when the observation sample is a biological specimen that emits weak fluorescence, the absolute amount of photons incident on the photoelectric conversion element 6 is small, and the output current of the photoelectric conversion element is continuous as shown in the schematic diagram of FIG. Instead, it is pulsed. Further, since the current pulse is caused by photons that are probabilistically emitted from the biological specimen, there is a large variation in the total charge amount of the current pulse. Therefore, the estimated voltage V LAST described in the first embodiment also varies greatly, and if the light amount is controlled based on the estimated voltage V LAST accompanied by this variation, a large error occurs in the light amount.

図6は、クロック信号CLKの「H」「L」、ピクセルクロック信号PCLKの「H」「L」、リセット信号RSTの「H」「L」、スイッチ9の「開」「閉」、電圧信号VINT(最大デジタル信号DSMAX)およびデジタル信号DS、オーバーレンジ信号OVRの「H」「L」を示すタイミングチャートである。図6に示すように、時刻T3においてデジタル信号DSは、閾値電圧VMAXに達し、時刻T2における「0」と時刻T3における「VMAX」とを結ぶ線を外挿線(a)から導かれる推定電圧値VaLASTと時刻T2における「0」と時刻T3に対して1クロック後の時刻T4における「VMAX」とを結ぶ線を外挿線(b)から導かれる推定電圧値VbLASTとを比較すると、わずか1クロックずれただけにも係わらず、推定電圧値VaLAST,VbLASTに大きな差が生じる。したがって、このような場合、時刻T2〜T3で得られるデジタル信号DSを用いて最小二乗法による直線回帰演算を行い、最も誤差の少ない外挿線(c)から推定電圧値VLASTを導き出すようにしている。 FIG. 6 shows “H” and “L” of the clock signal CLK, “H” and “L” of the pixel clock signal PCLK, “H” and “L” of the reset signal RST, “open” and “closed” of the switch 9, voltage signal It is a timing chart showing “H” and “L” of V INT (maximum digital signal DS MAX ), digital signal DS, and overrange signal OVR. As shown in FIG. 6, the digital signal DS reaches the threshold voltage V MAX at time T3, and a line connecting “0” at time T2 and “V MAX ” at time T3 is derived from the extrapolation line (a). Estimated voltage value Va LAST and estimated voltage value Vb LAST derived from extrapolation line (b) connecting a line connecting “0” at time T2 and “V MAX ” at time T4 one clock after time T3 In comparison, there is a large difference between the estimated voltage values Va LAST and Vb LAST even though they are shifted by only one clock. Therefore, in such a case, linear regression calculation is performed by the least square method using the digital signal DS obtained at times T2 to T3, and the estimated voltage value VLAST is derived from the extrapolated line (c) with the least error. ing.

図7は、この発明の実施の形態2である走査型レーザ顕微鏡装置200の概要構成を示すブロック図である。図7において、この走査型レーザ顕微鏡装置200は、制御部13に代えて制御部15を配置している。制御部15は、サンプリング部150と、走査制御部151と、光量制御部152と、画像表示制御部153とを有している。なお、図1と同一の構成部分には、同一の符号を付している。   FIG. 7 is a block diagram showing a schematic configuration of a scanning laser microscope apparatus 200 according to the second embodiment of the present invention. In FIG. 7, the scanning laser microscope apparatus 200 includes a control unit 15 instead of the control unit 13. The control unit 15 includes a sampling unit 150, a scanning control unit 151, a light amount control unit 152, and an image display control unit 153. In addition, the same code | symbol is attached | subjected to the component same as FIG.

サンプリング部150は、走査制御部151と、光量制御部152と、画像表示制御部153とにそれぞれ信号を出力している。走査制御部151は、照明系3を制御し、光量制御部152は、光量調節部2と光電変換素子駆動部7とを制御し、画像表示制御部153は、表示部14を制御している。サンプリング部150に出力された電圧信号VINTは、サンプリング部150で画像信号に変換され、画像表示制御部153を介して表示部14に出力表示される。 The sampling unit 150 outputs signals to the scanning control unit 151, the light amount control unit 152, and the image display control unit 153, respectively. The scanning control unit 151 controls the illumination system 3, the light amount control unit 152 controls the light amount adjustment unit 2 and the photoelectric conversion element driving unit 7, and the image display control unit 153 controls the display unit 14. . The voltage signal V INT output to the sampling unit 150 is converted into an image signal by the sampling unit 150 and output and displayed on the display unit 14 via the image display control unit 153.

つぎに、サンプリング部150の動作について説明する。図8は、サンプリング部150の概要構成を示すブロック図である。サンプリング部150は、トグルフリップフロップ(T−FF)1501と、NOR回路1502と、NOT回路1503と、AND回路1504,1505と、FIFOメモリ(First-In/First-Out)1506,1507とを有している。なお、図2と同一の構成部分には、同一の符号を付している。   Next, the operation of the sampling unit 150 will be described. FIG. 8 is a block diagram illustrating a schematic configuration of the sampling unit 150. The sampling unit 150 includes a toggle flip-flop (T-FF) 1501, a NOR circuit 1502, a NOT circuit 1503, AND circuits 1504 and 1505, and FIFO memories (First-In / First-Out) 1506 and 1507. is doing. In addition, the same code | symbol is attached | subjected to the component same as FIG.

オペアンプ11から出力された電圧信号VINTは、A/D変換器1306によってデジタル信号DSに変換され、デジタル信号DSは、ラッチ回路1307と、比較器1305と、FIFOメモリ1506,1507とに出力される。比較器1305は、入力したデジタル信号DSがA/D変換器1306の最大出力の最大デジタル信号DSMAX以上である場合、閾値オーバー信号OVRTH「H」をNOR回路1502と光量制御部152とに出力し、デジタル信号DSがデジタル信号DSMAX未満である場合、閾値オーバー信号OVRTH「L」をOR回路1312と光量制御部152とに出力する。 The voltage signal V INT output from the operational amplifier 11 is converted into a digital signal DS by the A / D converter 1306, and the digital signal DS is output to the latch circuit 1307, the comparator 1305, and the FIFO memories 1506 and 1507. The When the input digital signal DS is equal to or greater than the maximum digital signal DS MAX of the maximum output of the A / D converter 1306, the comparator 1305 sends the threshold over signal OVR TH “H” to the NOR circuit 1502 and the light amount control unit 152. When the digital signal DS is less than the digital signal DS MAX , the threshold over signal OVR TH “L” is output to the OR circuit 1312 and the light amount control unit 152.

ラッチ回路1307は、リセット信号RST「H」を入力すると、デジタル信号DSをラッチして最終デジタル信号DSLを光量制御部152と画像表示制御部153と出力する。T−FF1501は、リセット信号RSTを入力すると、つぎのリセット信号RSTを入力するまでセレクト信号S1をNOT回路1503と、AND回路1504と、FIFOメモリ1507とに出力する。 Latch circuit 1307 inputs the reset signal RST "H", and outputs a final digital signal DS L and light amount control unit 152 and the image display control unit 153 latches the digital signal DS. When receiving the reset signal RST, the T-FF 1501 outputs the select signal S1 to the NOT circuit 1503, the AND circuit 1504, and the FIFO memory 1507 until the next reset signal RST is input.

セレクト信号S1は、リセット信号RSTが「L」から「H」に変化すると、「L」となり、リセット信号RSTが「H」から「L」に変化すると、「H」となる。NOR回路1502は、リセット信号RSTと閾値オーバー信号OVRTHとが「L」の場合、ライトイネーブル信号WE「H」をFIFOメモリ1506,1507に出力し、リセット信号RSTと閾値オーバー信号OVRTHとが「H」の場合、ライトイネーブル信号WE「L」をFIFOメモリ1506,1507に出力する。 The select signal S1 becomes “L” when the reset signal RST changes from “L” to “H”, and becomes “H” when the reset signal RST changes from “H” to “L”. When the reset signal RST and the threshold over signal OVR TH are “L”, the NOR circuit 1502 outputs the write enable signal WE “H” to the FIFO memories 1506 and 1507, and the reset signal RST and the threshold over signal OVR TH are output. In the case of “H”, the write enable signal WE “L” is output to the FIFO memories 1506 and 1507.

NOT回路1503は、T−FF1501から出力されたセレクト信号S1を反転したセレクト信号S2をAND回路1505とFIFOメモリ1506とに出力する。   The NOT circuit 1503 outputs a select signal S2 obtained by inverting the select signal S1 output from the T-FF 1501 to the AND circuit 1505 and the FIFO memory 1506.

AND回路1504は、リセット信号RSTとT−FF1501からの出力とを入力し、論理積であるクリア信号CLR1をFIFOメモリ1506に出力し、AND回路1505は、リセット信号RSTとNOT回路からの出力とを入力し、論理積であるクリア信号CLR2をFIFOメモリ1507に出力する。   The AND circuit 1504 inputs the reset signal RST and the output from the T-FF 1501, and outputs a clear signal CLR 1 that is a logical product to the FIFO memory 1506. The AND circuit 1505 outputs the reset signal RST and the output from the NOT circuit. And a clear signal CLR2 which is a logical product is output to the FIFO memory 1507.

FIFOメモリ1506,1507は、ライトイネーブル信号WEが「H」であり、かつ夫々のライトチップセレクト端子WCS1,WCS2に入力したセレクト信号S1,S2が「H」の場合、デジタル信号DSをクロック信号CLKに同期して記憶し、リードイネーブル信号REが「H」であり、かつ夫々のリードチップセレクト端子RCS1,RCS2に入力したセレクト信号S1,2が「H」の場合、記憶したデジタル信号DSを記憶した順番にしたがって光量制御部152に出力する。また、FIFOメモリ1506,1507は、クリア信号CLR1,CLR2「H」を入力すると、記憶内容を全てクリアする。   When the write enable signal WE is “H” and the select signals S1 and S2 input to the respective write chip select terminals WCS1 and WCS2 are “H”, the FIFO memories 1506 and 1507 receive the digital signal DS as the clock signal CLK. When the read enable signal RE is “H” and the select signals S1 and S2 input to the respective read chip select terminals RCS1 and RCS2 are “H”, the stored digital signal DS is stored. Are output to the light quantity control unit 152 according to the order. Further, when the clear signals CLR1 and CLR2 “H” are input, the FIFO memories 1506 and 1507 clear all the stored contents.

図6に示すように、時刻T1において、ピクセルクロック信号PCLKが「H」となると、リセット信号RSTが1クロックの期間「H」となるとともにスイッチ9が「閉」となり、コンデンサ10に蓄積された電荷が放電される。この時、T−FF1501から出力されるセレクト信号S1は「H」であり、FIFOメモリ1506のライトチップセレクト端子WCS1と、リードチップセレクト端子RCS1とに入力されるセレクト信号S1は、「H」とり、FIFOメモリ1506は、記憶している内容をクリアする。   As shown in FIG. 6, when the pixel clock signal PCLK becomes “H” at time T1, the reset signal RST becomes “H” for one clock period and the switch 9 becomes “closed”, and is accumulated in the capacitor 10. The charge is discharged. At this time, the select signal S1 output from the T-FF 1501 is “H”, and the select signal S1 input to the write chip select terminal WCS1 and the read chip select terminal RCS1 of the FIFO memory 1506 is “H”. The FIFO memory 1506 clears the stored contents.

時刻T2において、リセット信号RSTが「L」となるとともにスイッチ9が「開」となり、コンデンサ10に電荷が蓄積される。さらに、時刻T2〜T3において、リセット信号RSTは「L」であり、閾値オーバー信号OVRTHは「L」であるため、ライトイネーブル信号WEは、「H」となる。この時、FIFOメモリ1506のライトチップセレクト端子WCS1は、セレクト信号S1「H」を入力しているため、FIFOメモリ1506にA/D変換器1306から出力されたデジタル信号DSが書込まれる。 At time T <b> 2, the reset signal RST becomes “L” and the switch 9 becomes “open”, and charge is accumulated in the capacitor 10. Further, since the reset signal RST is “L” and the threshold over signal OVR TH is “L” at times T2 to T3, the write enable signal WE becomes “H”. At this time, since the select signal S1 “H” is input to the write chip select terminal WCS1 of the FIFO memory 1506, the digital signal DS output from the A / D converter 1306 is written into the FIFO memory 1506.

時刻T3において、デジタル信号DSは、閾値電圧VMAX以上になり、比較器1305から出力される閾値オーバー信号OVRTHが「L」から「H」に変化するとともに、NOR回路1502から出力されるライトイネーブル信号WEが「H」から「L」に変化し、FIFOメモリ1506への書込みが完了する。 At time T 3, the digital signal DS becomes equal to or higher than the threshold voltage V MAX , the threshold over signal OVR TH output from the comparator 1305 changes from “L” to “H”, and the write signal output from the NOR circuit 1502. The enable signal WE changes from “H” to “L”, and the writing to the FIFO memory 1506 is completed.

時刻T3〜T5において、デジタル信号DSは、閾値電圧VMAXに飽和し、時刻T5において、ピクセルクロック信号PCLKが再び「H」となり、リセット信号RSTが「H」となるとともにスイッチ9が「閉」となり、コンデンサ10に蓄積された電荷が放電される。 At time T3 to T5, the digital signal DS, saturated threshold voltage V MAX, at time T5, the pixel clock signal PCLK again becomes "H", the switch 9 with the reset signal RST becomes "H", "closed" Thus, the charge accumulated in the capacitor 10 is discharged.

時刻T5において、リセット信号RSTが「H」になると、T−FF1501が出力するセレクト信号S1は、トグルして「H」から「L」に変化し、セレクト信号S2は、「L」から「H」に変化する。この時、FIFOメモリ1507は、AND回路1505からクリア信号CLR2を入力し、FIFOメモリ1507が記憶している内容をクリアする。さらにFIFOメモリ1507のライトチップセレクト端子WCS2は、セレクト信号S2「H」を入力し、FIFOメモリ1507にA/D変換器1306から出力されたデジタル信号DSが書込まれる。   When the reset signal RST becomes “H” at time T5, the select signal S1 output from the T-FF 1501 is toggled to change from “H” to “L”, and the select signal S2 is changed from “L” to “H”. To change. At this time, the FIFO memory 1507 receives the clear signal CLR2 from the AND circuit 1505, and clears the contents stored in the FIFO memory 1507. Further, the select signal S2 “H” is input to the write chip select terminal WCS2 of the FIFO memory 1507, and the digital signal DS output from the A / D converter 1306 is written into the FIFO memory 1507.

つぎに、図9に示すフローチャートを参照して、サンプリング部150と、光量制御部152と、画像表示制御部153との動作を説明する。まず、光量制御部152は、閾値オーバー信号OVRTHが「H」であるか否かを判断する(ステップS201)。閾値オーバー信号OVRTHが「L」である間は、電圧信号VINTがA/D変換器1306の出力レンジを超えていないため、光量を調節する必要がないからである。閾値オーバー信号OVRTHが「H」である場合(ステップS201,YES)、リセット信号RSTが「H」であるか否かを判断する(ステップS202)。 Next, operations of the sampling unit 150, the light amount control unit 152, and the image display control unit 153 will be described with reference to the flowchart shown in FIG. First, the light amount control unit 152 determines whether or not the threshold over signal OVR TH is “H” (step S201). This is because while the threshold over signal OVR TH is “L”, the voltage signal V INT does not exceed the output range of the A / D converter 1306, and therefore it is not necessary to adjust the light amount. When the threshold over signal OVR TH is “H” (step S201, YES), it is determined whether or not the reset signal RST is “H” (step S202).

リセット信号RSTが「H」である場合(ステップS202,Yes)、光量制御部152は、FIFOメモリ1506,1507のいずれかに記憶されている1画素に対応するデジタル信号DSの時系列データDSn(n=1,2,・・・,N)を読込む(ステップS203)。この場合、FIFOメモリ1506,1507の一方は、書込み可能となり、他方は、読込み可能となる。つまり、一方のFIFOメモリから1画素分の画素データを読込んでいる間に他方のFIFOメモリに次の画素データが書込まれる。   When the reset signal RST is “H” (step S202, Yes), the light amount control unit 152 performs time-series data DSn (digital signal DS corresponding to one pixel stored in one of the FIFO memories 1506 and 1507). (n = 1, 2,..., N) are read (step S203). In this case, one of the FIFO memories 1506 and 1507 can be written, and the other can be read. That is, while the pixel data for one pixel is being read from one FIFO memory, the next pixel data is written to the other FIFO memory.

つぎに、光量制御部152は、読み込んだ時系列データDSn(n=1,2,・・・,N)をもとに最小二乗法を用いて線形回帰演算を行い、推定電圧値VLASTを求め(ステップS204)、1画面分の推定電圧値VLASTを取得したか否かを判断する(ステップS205)。 Next, the light quantity control unit 152 performs a linear regression operation using the least square method based on the read time-series data DSn (n = 1, 2,..., N), and obtains the estimated voltage value VLAST . In step S204, it is determined whether or not the estimated voltage value V LAST for one screen has been acquired (step S205).

1画面分の推定電圧値VLASTを取得した場合(ステップS205,YES)、取得した推定電圧値VLASTの中から最大の推定電圧値VLASTを抽出する(ステップS206)。光量制御部152は、最大の推定電圧値VLASTから最適電圧値VHV(NEW)を求める(ステップS207)。 If it obtains an estimated voltage value V LAST for one screen (step S205, YES), and extracts the maximum estimated voltage value V LAST from the obtained estimated voltage value V LAST (step S206). The light quantity control unit 152 obtains the optimum voltage value V HV (NEW) from the maximum estimated voltage value V LAST (step S207).

つぎに、光量制御部152は、最適電圧VHV(NEW)が最小限度電圧VHV(LIM)未満か否かを判断する(ステップS208)。最適電圧VHV(NEW)が最小限度電圧VHV(LIM)未満である場合(ステップS208,YES)、光電変換素子駆動部7を介して光電変換素子6に最小限度電圧VHV(NEW)を設定し(ステップS209)、最適電圧VHV(NEW)が最小限度電圧VHV(LIM)以上である場合(ステップS208,NO)、光電変換素子駆動部7を介して光電変換素子6に最適電圧VHV(LIM)を設定する(ステップS210)。 Next, the light quantity control unit 152 determines whether or not the optimum voltage V HV (NEW) is less than the minimum voltage V HV (LIM) (step S208). When the optimum voltage V HV (NEW) is less than the minimum voltage V HV (LIM) (step S208, YES), the minimum voltage V HV (NEW) is applied to the photoelectric conversion element 6 via the photoelectric conversion element drive unit 7. When set (step S209) and the optimum voltage V HV (NEW) is equal to or higher than the minimum voltage V HV (LIM) (step S208, NO), the optimum voltage is applied to the photoelectric conversion element 6 via the photoelectric conversion element driving unit 7. V HV (LIM) is set (step S210).

光電変換素子駆動部7を介して光電変換素子6に最小限度電圧VHV(LIM)を設定した場合(ステップS210)、光量制御部132は、光量調節部2を介してレーザ光の光量を最適光量LEX(NEW)(=(VHV(NEW)/VHV(LIM)1/C)に設定する(ステップS210)。 When the minimum voltage V HV (LIM) is set to the photoelectric conversion element 6 via the photoelectric conversion element driving unit 7 (step S210), the light amount control unit 132 optimizes the light amount of the laser light via the light amount adjustment unit 2. The light quantity L EX (NEW) (= (V HV (NEW) / V HV (LIM) ) 1 / C ) is set (step S210).

この実施の形態2では、試料4からの光が微弱でA/D変換器1306によって変換されるデジタル信号DSが線形に増加しない場合、最小二乗法を用いて推定電圧値VLASTを求めることによって、誤差の少ない光量の制御が行えるようにしている。このようにすると、短時間にノイズを除去できるためS/N比が高く、明るい画像信号が取得できる。 In the second embodiment, when the light from the sample 4 is weak and the digital signal DS converted by the A / D converter 1306 does not increase linearly, the estimated voltage value V LAST is obtained by using the least square method. Therefore, it is possible to control the amount of light with little error. In this way, noise can be removed in a short time, so that the S / N ratio is high and a bright image signal can be acquired.

なお、上述の実施の形態1,2では、光量制御部132,152は、光量調節部2を介して光量を制御するようにしていたが、レーザ光源1が半導体レーザ(LD)であるような場合、光量調節部2を省いた上、光量制御部132,152は、レーザ光源1を直接制御して光量を制御するようにしてもよい。   In the first and second embodiments described above, the light amount control units 132 and 152 control the light amount via the light amount adjustment unit 2, but the laser light source 1 is a semiconductor laser (LD). In this case, the light amount control unit 132 and 152 may omit the light amount adjustment unit 2 and directly control the laser light source 1 to control the light amount.

この発明の実施の形態1にかかる走査型レーザ顕微鏡装置の機能ブロック図である。It is a functional block diagram of the scanning laser microscope apparatus concerning Embodiment 1 of this invention. この発明の実施の形態1にかかるサンプリング部の機能ブロック図である。It is a functional block diagram of the sampling part concerning Embodiment 1 of this invention. この発明の実施の形態1にかかるサンプリング部における各信号および各信号値のタイムチャートである。It is a time chart of each signal and each signal value in the sampling part concerning Embodiment 1 of this invention. この発明の実施の形態1にかかる制御部のフローチャートである。It is a flowchart of the control part concerning Embodiment 1 of this invention. この発明の実施の形態2にかかる光電変換素子の出力電流の時間変化を示す模式図である。It is a schematic diagram which shows the time change of the output current of the photoelectric conversion element concerning Embodiment 2 of this invention. この発明の実施の形態2にかかるサンプリング部における各信号のタイムチャートである。It is a time chart of each signal in the sampling part concerning Embodiment 2 of this invention. この発明の実施の形態2にかかる走査型レーザ顕微鏡装置の機能ブロック図である。It is a functional block diagram of the scanning laser microscope apparatus concerning Embodiment 2 of this invention. この発明の実施の形態2にかかるサンプリング部の機能ブロック図である。It is a functional block diagram of the sampling part concerning Embodiment 2 of this invention. この発明の実施の形態2にかかる制御部のフローチャートである。It is a flowchart of the control part concerning Embodiment 2 of this invention.

符号の説明Explanation of symbols

1 レーザ光源
2 光量調節部
3 照明光学系
4 試料
5 観察光学系
6 光電変換素子
7 光電変換素子駆動部
8 スイッチ駆動部
9 スイッチ
10 コンデンサ
11 オペアンプ
12 クリップダイオード
13,15 制御部
100,200 走査型レーザ顕微鏡装置
130,150 サンプリング部
131,151 走査制御部
132,152 光量制御部
133,153 画像表示制御部
DESCRIPTION OF SYMBOLS 1 Laser light source 2 Light quantity adjustment part 3 Illumination optical system 4 Sample 5 Observation optical system 6 Photoelectric conversion element 7 Photoelectric conversion element drive part 8 Switch drive part 9 Switch 10 Capacitor 11 Operational amplifier 12 Clip diode 13, 15 Control part 100,200 Scan type Laser microscope apparatus 130, 150 Sampling unit 131, 151 Scan control unit 132, 152 Light amount control unit 133, 153 Image display control unit

Claims (4)

レーザ光源から出射されたレーザ光を光強度制御手段によって光強度を制御して試料に照射しつつ走査し、前記試料から発する光を光電変換手段によって電気信号に変換し、該電気信号を積分するとともに該積分された電気信号をデジタル変換手段によって順次デジタル信号に変換し、画像表示における表示単位に同期して前記積分をリセットする処理を行って、該リセット時の前記デジタル信号を画像表示する走査型レーザ顕微鏡装置において、
前記デジタル信号が前記変換手段のレンジ上限を超えた場合、該レンジ上限を超えるまでの前記デジタル信号をもとに外挿処理を行って前記リセット時の前記デジタル信号を推定し、該推定された前記デジタル信号をもとに前記光電変換手段および/または前記光強度制御手段を制御し、前記リセット時の前記デジタル信号前記レンジ上限未満となるように制御する制御手段を備えたことを特徴とする走査型レーザ顕微鏡装置。
The laser light emitted from the laser light source is scanned while irradiating the sample with the light intensity controlled by the light intensity control means, the light emitted from the sample is converted into an electric signal by the photoelectric conversion means, and the electric signal is integrated. In addition, the integrated electric signal is sequentially converted into a digital signal by a digital conversion means, and the integration is reset in synchronization with a display unit in image display, and the digital signal at the time of reset is displayed to display an image. Type laser microscope apparatus,
When the digital signal exceeds the upper limit of the range of the conversion means, extrapolation processing is performed based on the digital signal until the upper limit of the range is exceeded, and the digital signal at the time of reset is estimated. and wherein the digital signal controlling the photoelectric conversion means and / or said light intensity control means on the basis of the digital signal at the time of the reset is provided with a control means for controlling to be less than the range upper limit Scanning laser microscope apparatus.
前記制御手段は、前記デジタル信号のサンプリング数をカウントするカウント手段をさらに備え、
前記制御手段は、前記リセット時のサンプリング数を前記レンジ上限に達するまでの前記サンプリング数で除算し、この除算値を前記レンジ上限の値に乗算した値を推定値とすることを特徴とする請求項に記載の走査型レーザ顕微鏡装置。
The control means further comprises counting means for counting the number of samplings of the digital signal,
The control means divides the number of samplings at the time of resetting by the number of samplings until the upper limit of the range is reached, and sets a value obtained by multiplying the value of the upper limit of the range by the value of the upper limit of the range. Item 2. A scanning laser microscope apparatus according to Item 1 .
前記制御手段は、最尤推定法によって前記リセット時の前記デジタル信号を推定することを特徴とする請求項に記載の走査型レーザ顕微鏡装置。 The scanning laser microscope apparatus according to claim 1 , wherein the control unit estimates the digital signal at the time of reset by a maximum likelihood estimation method. 前記最尤推定法は、最小二乗法であることを特徴とする請求項に記載の走査型レーザ顕微鏡装置。 The scanning laser microscope apparatus according to claim 3 , wherein the maximum likelihood estimation method is a least square method.
JP2004157468A 2004-05-27 2004-05-27 Scanning laser microscope equipment Expired - Fee Related JP4599093B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004157468A JP4599093B2 (en) 2004-05-27 2004-05-27 Scanning laser microscope equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004157468A JP4599093B2 (en) 2004-05-27 2004-05-27 Scanning laser microscope equipment

Publications (2)

Publication Number Publication Date
JP2005338465A JP2005338465A (en) 2005-12-08
JP4599093B2 true JP4599093B2 (en) 2010-12-15

Family

ID=35492120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004157468A Expired - Fee Related JP4599093B2 (en) 2004-05-27 2004-05-27 Scanning laser microscope equipment

Country Status (1)

Country Link
JP (1) JP4599093B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6305115B2 (en) 2013-03-21 2018-04-04 オリンパス株式会社 Scanning laser microscope
US10914631B2 (en) 2017-06-02 2021-02-09 Pioneer Corporation Electromagnetic wave detecting apparatus and method of setting acquisition timing of detection signal

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09210907A (en) * 1996-02-06 1997-08-15 Bunshi Bio Photonics Kenkyusho:Kk Scanning fluorescent sensing device
JPH09236750A (en) * 1996-03-01 1997-09-09 Olympus Optical Co Ltd Determining method measuring parameter of scanning microscope
JP2000337826A (en) * 1999-05-31 2000-12-08 Nikon Corp Image signal control device
JP2001059939A (en) * 1999-06-14 2001-03-06 Olympus Optical Co Ltd Sensitivity adjusting method for photomultiplier, scanning type laser microscope introducing the same method and recording medium recording sensitivity adjusting program

Also Published As

Publication number Publication date
JP2005338465A (en) 2005-12-08

Similar Documents

Publication Publication Date Title
US6642503B2 (en) Time domain sensing technique and system architecture for image sensor
JP5743390B2 (en) Ranging device and ranging method
CN1631033B (en) Time-integrated pixel sensor and method thereof
EP2196019B1 (en) Light source frequency detection circuit for image sensor
US20100002094A1 (en) Method and apparatus providing multiple exposure high dynamic range sensor
WO2006088722A2 (en) Method and system to increase dynamic range of time-of-flight (tof) and/or imaging sensors
EP3468168B1 (en) Image capturing apparatus, solid-state image capturing device, and control method of image capturing apparatus
JP4370127B2 (en) Optical scanning microscope and photometer for microscope
WO2018181013A1 (en) Light detector
JP2000310561A (en) Photodetector
US20070211839A1 (en) Sampling timing monitoring system and endoscope having the same
EP3483627A1 (en) Optical sensor and detection method
US20130083206A1 (en) Imaging apparatus, computer readable medium and imaging method
JP2006222708A (en) Blackout correction circuit and solid-state imaging device
JP4599093B2 (en) Scanning laser microscope equipment
JP3774225B2 (en) 3D measurement sensor
US20080174352A1 (en) Phase adjusting device and related art thereof
JP4407423B2 (en) Laser microscope
EP2664902A1 (en) Photodetector for laser scanning microscope
JP2003158679A (en) Charge multiplying solid-state electronic image sensing device, and method of controlling the same
JP2014206731A (en) Scanning laser microscope
JP2012002732A (en) Light detection circuit
US20090201373A1 (en) Signal detection method and apparatus, and radiation image signal detection method and system
JP4667754B2 (en) Light receiving device for scanning laser microscope and scanning laser microscope using the same
JP4812276B2 (en) Photodetection circuit and laser microscope provided with the photodetection circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

R151 Written notification of patent or utility model registration

Ref document number: 4599093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees