JP4630715B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4630715B2 JP4630715B2 JP2005111070A JP2005111070A JP4630715B2 JP 4630715 B2 JP4630715 B2 JP 4630715B2 JP 2005111070 A JP2005111070 A JP 2005111070A JP 2005111070 A JP2005111070 A JP 2005111070A JP 4630715 B2 JP4630715 B2 JP 4630715B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- signal
- pulse
- ccd
- horizontal transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
本発明は、被写体の光学像を電気信号に変換する撮像素子を駆動して電子映像を取得する撮像装置に関するものである。 The present invention relates to an imaging apparatus that acquires an electronic image by driving an imaging device that converts an optical image of a subject into an electrical signal.
通常、CCD等の固体撮像素子で撮像した静止画像や動画像を表示したり、記録したりする際に、撮像信号の明るさの基準として、撮像素子の光学的黒(オプティカルブラック、以降、「OB」と称する)レベルが利用される。OBとは、撮像素子の受光画素部の中で遮光されて入射光に依存しない画素出力のことを指す。 Usually, when displaying or recording a still image or a moving image captured by a solid-state image sensor such as a CCD, the optical black of the image sensor (optical black, hereinafter “ OB) level) is used. OB refers to a pixel output that is shielded from light in the light receiving pixel portion of the image sensor and does not depend on incident light.
このOBレベルを撮像信号の黒基準とする直流分再生(クランプ)回路で、ビデオカメラ等で一般的によく利用されるフィードバッククランプ方式の装置構成の一例を図7に、主要動作波形を図8に示し、その動作について簡単に説明する。 FIG. 7 shows an example of a device configuration of a feedback clamp system which is a DC component reproduction (clamp) circuit using the OB level as a black reference for an imaging signal and is generally used in a video camera or the like, and FIG. 8 shows main operation waveforms. The operation will be briefly described.
図7において、まず、たとえばCCDなどの固体撮像素子101があり、この撮像素子101から出力される撮像信号が、CDS(相関2重サンプリング)回路と呼ばれる回路102に入力されてリセットノイズが除去された後に、オフセット加算回路103に入力されて所定のオフセット電圧が加算されて、そのオフセット加算出力が可変増幅器(PGA)104に入力される。
In FIG. 7, there is a solid-
また、CDS回路102は、端子106より入力された所定の基準電圧VREFによって撮像信号のフィードスルー部の基準とするCDS回路を成しており、同様に、可変増幅器104は、基準電圧VREFを撮像信号の直流増幅の基準とする直流増幅器を成している。
The
可変増幅器104は、CCD101の出力感度ばらつきを補正したり、撮像装置の感度設定を切り換えるためのゲイン可変手段であるが、以降、撮像装置のクランプ動作を簡略かつ明確に説明するために、ゲイン1倍として簡易的に扱うものとする。
The
可変増幅器104からの増幅出力信号は、一方で、不図示の画像処理・記録・表示回路に入力されるとともに、他方で、サンプルホールド回路107に入力され、端子109より入力されたOB画素の読み出しタイミングに同期するOBクランプパルスによって、サンプルホールドされたOBレベルが、積分アンプ105に入力される。
The amplified output signal from the
積分アンプ105は、コンデンサ105b、抵抗105cにより所定の積分時定数を成しており、前記サンプルホールドされたOBレベルと、端子106より入力される所定の基準電圧VREFとの差分電圧(クランプ誤差電圧)が前記積分時定数にて積分されるとともに、その出力(電圧VREFからのずれ量(誤差信号))が、オフセット加算回路103に入力されて減算されるネガティブフィードバック制御の構成になっている。
The
図8は、可変増幅器104の出力信号11CのOBレベルが直流電圧レベルVREFにクランプされて収束する様子と、そのときの各部の動作波形を示したものである。
FIG. 8 shows how the OB level of the
信号波形11AはCDS回路102の出力波形であり、撮像素子101から読み出された1水平ライン毎に、所定期間のOB画素出力を持っており、このOB画素出力期間の一部をサンプルホールドするタイミング信号がOBクランプパルス11Dである。
A
信号波形11AのOB画素出力は、CDS(相関2重サンプリング)回路102の働きにより、前記基準電圧VREFに比較的近い直流電圧を保っているが、実際には、撮像素子101のフィードスルー成分と信号成分との差成分(CCDオフセット)及び、撮像素子の温度に依存する暗電流成分が重畳されてオフセット誤差を有している(通常、数ミリ〜数十ミリボルト)。
The OB pixel output of the
このオフセット誤差は、撮像素子ごとにばらつき、また、温度により変動する。そして、このオフセット誤差が可変増幅器104によって増幅されて最終的に、撮像信号の黒レベル変動VERRとして出力される。
This offset error varies for each image sensor, and varies depending on the temperature. Then, this offset error is amplified by the
黒レベル変動VERRは、サンプルホールド回路107及び積分アンプ105によって、VREF電圧の差分として検出され、積分されて図8に示す積分出力信号11B(ΔVERR)として出力され、CDS回路102の出力信号11Aより減算される。
The black level fluctuation VERR is detected as a difference of the VREF voltage by the
OBクランプパルス11Dの出力毎に、この動作が繰り返されることにより、積分出力ΔVERRは、信号波形11Bのごとく黒レベル変動VERRへと収束し、可変増幅器104の出力信号のOB画素出力は、信号波形11Cのごとく基準電圧VREFへと収束する。
By repeating this operation for each output of the OB clamp pulse 11D, the integrated output ΔVERR converges to the black level fluctuation VERR as in the signal waveform 11B, and the OB pixel output of the output signal of the
ところで、このようなフィードバック方式のOBクランプ回路では、黒レベル変動VERRを積分して不帰還する場合の積分の時定数が非常に重要である。 By the way, in such a feedback type OB clamp circuit, the time constant of the integration when the black level fluctuation VERR is integrated and non-feedback is very important.
時定数が短いと水平ライン毎の出力OBレベルのVREF電圧への追従応答性が速くなる反面、クランプ動作毎の変動量(変動頻度)もその分多くなり、横スジ上のノイズを発生し易くなる。 If the time constant is short, the response response to the VREF voltage of the output OB level for each horizontal line will be faster, but the amount of fluctuation (fluctuation frequency) for each clamping operation will increase accordingly, and noise on the horizontal stripes will easily occur. Become.
そのため、時定数は、この横スジ上のノイズが画質上問題にならない程度に所定の長さに設定せざるを得ない。 Therefore, the time constant must be set to a predetermined length so that the noise on the horizontal stripe does not cause a problem in image quality.
また、下記の特許文献1には、光学的黒領域からの信号に基づいてクランプ処理を行う撮像装置が開示されている。 Patent Document 1 below discloses an imaging apparatus that performs a clamping process based on a signal from an optical black region.
このような従来のフィードバック方式のOBクランプ回路においては、OBの変動量の主要因として撮像素子のCCDオフセット及び暗電流成分によるオフセット誤差を想定しており、これらのオフセット誤差成分を補正することを主眼に設計がなされている。 In such a conventional feedback type OB clamp circuit, the offset error due to the CCD offset and dark current component of the image sensor is assumed as the main factor of the fluctuation amount of the OB, and these offset error components are corrected. The main design is made.
本来、これらのオフセット誤差成分は、撮像信号のフルレンジ(〜1ボルト)に対して、その10分の1以下(数ミリ〜数十ミリボルト)と、あまり大きなものではない。 Originally, these offset error components are not so large as 1/10 or less (several millimeters to several tens of millivolts) of the full range (up to 1 volt) of the imaging signal.
ところで、CCDなどの固体撮像素子に直射日光などの強い光が入射されると、光電変換部で電荷がオーバーフローを起こす、所謂、ブルーミングとよばれる現象が発生する。ブルーミングが発生すると、本来は受光画素部の中で遮光されていて入射光に依存しないOB画素部にもオーバーフローした電荷が流入して蓄積される場合がある。 By the way, when a strong light such as direct sunlight is incident on a solid-state imaging device such as a CCD, a phenomenon called so-called blooming occurs in which the electric charge overflows in the photoelectric conversion unit. When blooming occurs, the overflowed charge may flow into and accumulate in the OB pixel portion that is originally shielded in the light receiving pixel portion and does not depend on incident light.
この場合のOBレベルは、前記オフセット誤差成分とは異なり、正確な黒基準になり得ないばかりか、激しいブルーミングに対しては撮像信号のフルレンジのレベル(CCD飽
和レベルVSAT)変動にまで及ぶ。
In this case, unlike the offset error component, the OB level cannot be an accurate black reference, but also reaches a full range level change (CCD saturation level VSAT) of the imaging signal for intense blooming.
図9は、ブルーミング発生時のクランプ動作を説明するための各部の動作波形を示したものである。CDS出力11AのOB出力は、ブルーミングの発生にともない急速にCCD飽和レベルVSATに達する。可変増幅出力11CのOB出力は、積分アンプ105で設定された時定数による応答時間で、CCD飽和レベルVSATまで上昇した誤ったOBレベルに対して、ゆるやかに基準電圧VREFまで引き下げられる。
FIG. 9 shows operation waveforms of respective parts for explaining the clamping operation when blooming occurs. The OB output of the
このように、従来のクランプ回路構成では、ブルーミング発生時に、適正なOBレベルを大きく逸脱する誤った黒レベルに追従してしまい、撮像信号全体が黒沈みを起こしてしまうという問題があった。 As described above, the conventional clamp circuit configuration has a problem that when blooming occurs, it follows an erroneous black level that greatly deviates from an appropriate OB level, and the entire image pickup signal causes blackening.
また、適正なOBレベルを大きく逸脱する誤った黒レベルに追従した結果、撮像素子のブルーミングが解消した後も、正常なOBレベルへの復帰時間が非常に長くかかってしまい、その間、黒沈みの状態が続くという問題があった。 In addition, as a result of following an erroneous black level that greatly deviates from the appropriate OB level, it takes a very long time to return to the normal OB level even after the blooming of the image sensor is resolved. There was a problem that the condition continued.
本発明は上述の問題点にかんがみてなされたものであり、基準部(OB部)への電荷漏れ量を監視し、直流再生に適した基準部分を選択して誤った直流再生を低減することを目的としている。 The present invention has been made in view of the above-mentioned problems, and monitors the amount of charge leakage to the reference portion (OB portion) and selects a reference portion suitable for direct current reproduction to reduce erroneous direct current reproduction. It is an object.
本発明の撮像装置は、被写体の光学像を電気信号に変換する撮像手段と、垂直同期信号を発生させる垂直同期信号発生手段と、水平同期信号を発生させる水平同期信号発生手段と、前記撮像手段における垂直転送路を前記垂直同期信号に基づく垂直転送パルスにより駆動する垂直転送駆動手段と、前記撮像手段における水平転送路を前記水平同期信号に基づく水平転送パルスにより駆動する水平転送駆動手段と、前記水平同期信号の周波数を変更する周波数変更手段と、前記水平転送パルスの数を変更するパルス数変更手段と、前記撮像手段からの出力信号の基準部を監視する監視手段と、前記基準部をクランプするクランプ手段と、前記クランプを行うためのクランプパルスを出力するクランプパルス出力手段と、前記クランプパルス出力手段から出力するクランプパルスの位相を変更する位相変更手段と、前記基準部のレベルと所定のレベルとを比較し、前記基準部のレベルが前記所定のレベルを超えた場合に、前記水平同期信号の周期を長くするように前記周波数変更手段を制御するとともに、前記水平転送パルスの数を増やすように前記パルス数変更手段を制御し、さらに、前記クランプパルスの位相の変更を行うように前記位相変更手段を制御して、前記基準部のレベルが前記所定のレベル内に収束した後に、前記位相変更手段により位相が変更されたクランプパルスを出力させる制御手段とを有する。 An image pickup apparatus according to the present invention includes an image pickup unit that converts an optical image of a subject into an electrical signal, a vertical synchronization signal generation unit that generates a vertical synchronization signal, a horizontal synchronization signal generation unit that generates a horizontal synchronization signal, and the image pickup unit. Vertical transfer driving means for driving the vertical transfer path in the image pickup means by a vertical transfer pulse based on the vertical synchronization signal, horizontal transfer drive means for driving the horizontal transfer path in the imaging means by a horizontal transfer pulse based on the horizontal synchronization signal, and Frequency changing means for changing the frequency of a horizontal synchronizing signal, pulse number changing means for changing the number of horizontal transfer pulses, monitoring means for monitoring a reference portion of an output signal from the imaging means, and clamping the reference portion Clamping means, clamping pulse output means for outputting a clamping pulse for performing the clamping, and clamping pulse output A phase changing means for changing the phase of the clamp pulse output from the stage, and comparing the level of the reference portion with a predetermined level, and when the level of the reference portion exceeds the predetermined level, the horizontal synchronization signal The frequency changing means is controlled so as to increase the period of time, the pulse number changing means is controlled so as to increase the number of the horizontal transfer pulses, and the phase of the clamp pulse is changed. Control means for controlling the changing means to output a clamp pulse whose phase has been changed by the phase changing means after the level of the reference portion has converged within the predetermined level.
本発明によれば、基準部(OB部)への電荷漏れ量を監視し、クランプ(直流再生)に適した基準部分を選択できるようになり、誤った直流再生を低減することが可能となる。 According to the present invention, the amount of charge leakage to the reference portion (OB portion) can be monitored, and a reference portion suitable for clamping (DC regeneration) can be selected, and erroneous DC regeneration can be reduced. .
また、基準部(OB部)のレベルが所定のレベルを超えた場合に、当該基準部を避けてクランプするようにすることができ、画質劣化の少ない信号を再生することができる。 In addition, when the level of the reference portion (OB portion) exceeds a predetermined level, it is possible to perform clamping while avoiding the reference portion, and it is possible to reproduce a signal with little image quality degradation.
(第1の実施形態)
図3は、本発明の第1の実施形態に係る電子撮像装置におけるブロック構成図である。
図3において、1は光を電気信号に変換する光電変換素子(ここでは、「CCD」を例とする)、2はCCD1の出力信号を映像信号に変換するための相関二重サンプリング回路(以下、「CDS」と称する)、3はCDS2から出力されたアナログ信号をデジタル信号に変換するためのアナログデジタル変換回路(以下、「AD」と称する)、4は色信号処理、輝度信号処理、及びOB部の信号をモニターしてあらかじめ設定されている誤差レベルと比較しOB部のエラー信号を生成するなど各種信号処理を行うデジタル信号処理回路(以下、「DSP」と称する)、5はCCD1の水平転送部を駆動するためのCCD水平転送駆動回路(以下、「HDr」と称する)、6はCCD1の垂直転送部を駆動するためのCCD垂直転送駆動回路(以下、「VDr」と称する)、7は基準同期信号及びOB部のエラー信号に基づくCPUからのパルス位相変更命令を入力し、これらの基準信号によりCCD1の駆動及び信号処理に必要な各種パルスを生成するタイミングジェネレータ(以下、「TG」と称する)、8はシステム全体を制御するCPU、9はフォーカス用レンズ及びズーム用レンズを駆動するためのレンズ駆動回路、10はフォーカス用レンズ及びズーム用レンズで構成される撮影レンズ、11はシャッター機能付き絞りを駆動するための絞り駆動回路、12はCCD1への入射光量を制御するシャッター機能付き絞り、13は2段階ストロークで構成されるレリーズスイッチ、14は水晶発振回路を有し、水平同期信号(以下、「HD信号」と称する)と垂直同期信号(以下、「VD信号」と称する)を発生する基準信号発生回路である。
(First embodiment)
FIG. 3 is a block configuration diagram of the electronic imaging apparatus according to the first embodiment of the present invention.
In FIG. 3, 1 is a photoelectric conversion element for converting light into an electrical signal (here, “CCD” is taken as an example), and 2 is a correlated double sampling circuit (hereinafter referred to as “CCD”) for converting the output signal of the CCD 1 into a video signal. 3 is an analog-digital conversion circuit (hereinafter referred to as “AD”) for converting an analog signal output from the
次に、本実施形態における電子撮像装置の動作について説明する。
被写体像は、撮影レンズ10を通して、絞り12により光量を調節されてCCD1に結像する。そして、CCD1で光電変換が行われ、CCD出力信号としてCDS2へ出力される。また、基準信号発生回路14で生成されるメインクロック、HD信号、VD信号は、TG7へ出力され、これらの信号を基準にTG7では、CCD水平転送パルス、CCD垂直転送パルス、CCDフィールドシフトパルス、電子シャッターパルス、OBクランプパルスを生成する。そして、CCD水平転送パルスはHDr5へ、CCD垂直転送パルス、CCDフィールドシフトパルス及び電子シャッターパルスはVDr6へ、OBクランプパルスはCDS2へ夫々出力される。
Next, the operation of the electronic imaging device in the present embodiment will be described.
The subject image is focused on the CCD 1 through the taking
VDr6では、TG7から出力されるCCD垂直転送パルス及びCCDフィールドシフトパルスを受け、これらを組み合わせて、CCDの垂直転送部を十分に駆動できる信号振幅、周波数特性を保持した3値(H(高電位),M(中電位),L(低電位)レベル)の信号に変換し、CCD1の垂直転送駆動部へ出力する。CCD1では、これらの信号を受け、フィールドシフトパルスに相当する“H”レベルの信号を入力した時に、CCD1のフォトダイオードに蓄積された電荷を垂直転送部へ出力する。垂直転送部へ出力された電荷は、CCD垂直転送パルスの4相2値(M、Lレベル)駆動により垂直転送路上を順序正しく水平転送路へと転送される。 The VDr6 receives the CCD vertical transfer pulse and the CCD field shift pulse output from the TG7, and combines them to obtain a ternary value (H (high potential) that retains signal amplitude and frequency characteristics that can sufficiently drive the vertical transfer unit of the CCD. ), M (medium potential), L (low potential) level) signals and output to the vertical transfer drive unit of the CCD 1. The CCD 1 receives these signals, and outputs an electric charge accumulated in the photodiode of the CCD 1 to the vertical transfer section when an “H” level signal corresponding to a field shift pulse is input. The charges output to the vertical transfer unit are transferred in order on the vertical transfer path to the horizontal transfer path by four-phase binary (M, L level) driving of a CCD vertical transfer pulse.
また、電子シャッターパルスは、VDr6において、CCD1を十分に駆動できる信号振幅に変換された後、CCD1へ出力されてCCD1での電荷蓄積時間(露光量)を制御する。CCD1は、電子シャッターパルスを入力している期間はフォトダイオードの電荷をクリアーし続け、電子シャッターパルスが停止した後、露光状態となる。 The electronic shutter pulse is converted into a signal amplitude that can sufficiently drive the CCD 1 in the VDr 6 and then output to the CCD 1 to control the charge accumulation time (exposure amount) in the CCD 1. The CCD 1 continues to clear the charge of the photodiode during the period when the electronic shutter pulse is input, and enters the exposure state after the electronic shutter pulse stops.
HDr5では、TG7から出力されるCCD水平転送パルスを入力し、CCD1の水平転送部を十分に駆動できる信号振幅、周波数特性を保持した信号に変換し、CCD1の水平転送部へ出力する。リセットゲートパルスは、TG7から直接CCD1へ出力され、CCD1の出力ゲート部を一定電位に固定することにより電荷電位変換を行う。CCD1では、これら水平転送パルス及びリセットゲートパルス信号を入力した時に、電荷を水平転送部から出力アンプを通して、CCD出力信号としてCDS2へ出力する。
In HDr5, the CCD horizontal transfer pulse output from TG7 is input, converted into a signal having signal amplitude and frequency characteristics that can sufficiently drive the horizontal transfer unit of CCD1, and output to the horizontal transfer unit of CCD1. The reset gate pulse is directly output from the
CDS2では、CCD出力信号を入力し、CCD出力信号のフィードスルー部(基準部)とデータ部とのレベル差を映像信号として変換し、これによりCCD出力信号に含まれる低周波雑音を除去し、可変利得増幅機能により所望の感度が得られるように映像信号を増幅する。そして、この信号の基準部(CCD1内の遮光されたフォトダイオード部分(以下、「OB部」と称する)、フォトダイオードが形成されていない場合もある)を新たな直流バイアスに変換し直し(直流再生、以後、「クランプ」と称する)、AD3へ出力する。 In CDS2, the CCD output signal is input, the level difference between the feedthrough part (reference part) of the CCD output signal and the data part is converted as a video signal, thereby removing low frequency noise contained in the CCD output signal, The video signal is amplified so that a desired sensitivity can be obtained by the variable gain amplification function. Then, the reference portion of this signal (light-shielded photodiode portion in the CCD 1 (hereinafter referred to as “OB portion”), photodiode may not be formed) is converted back to a new DC bias (DC). Reproduction, hereinafter referred to as “clamp”) and output to AD3.
AD3では、CDS2から出力された映像信号を入力し、この信号をアナログ信号からデジタル信号(例えば、10ビット信号)へと変換し、DSP4へ出力する。AD3の出力は、上述したOB部が常に一定の値(例えば、フルレンジ1024LSB中の32LSB)に固定されるように設定される。 In AD3, the video signal output from CDS2 is input, this signal is converted from an analog signal to a digital signal (for example, 10-bit signal), and output to DSP4. The output of AD3 is set so that the above-described OB portion is always fixed to a constant value (for example, 32LSB in the full range 1024LSB).
DSP4では、AD3でデジタル信号に変換された映像信号を入力し、信号処理により輝度信号及び色信号を再生する。また、映像信号を利用して露光制御を行うための基準信号、ホワイトバランス制御を行うための基準信号、フォーカス制御を行うための基準信号を生成する。さらに、OB部の信号をモニターし、このOB部の信号のレベルとあらかじめ設定されている誤差レベルとを比較し、OB部がダメージを受けているか否かを判断をするためのOB部エラー信号を生成し、この信号をCPU8へ出力する。
The DSP 4 receives the video signal converted into a digital signal by the
次に、図4−1〜4−9及び図6に示すCCD1の模式図を使い、CCD1から信号が出力されるまでの過程を説明する。
図4―1において、41は各フォトダイオードから転送された電荷を水平転送路へ送出するための垂直転送路、42はフォトダイオード上の電荷を垂直転送路へ送出するためのゲート、43は光電変換を担う第1のフォトダイオード、44(網掛け部分)はセンサー部を遮光しOB信号を形成する第2のフォトダイオード、45はCCD出力信号を外部へ出力するための出力アンプ、46は垂直転送路41から転送された電荷を出力アンプ45へ送出するための水平転送路である。
Next, a process until a signal is output from the CCD 1 will be described with reference to schematic diagrams of the CCD 1 shown in FIGS.
In FIG. 4A, 41 is a vertical transfer path for sending out charges transferred from each photodiode to the horizontal transfer path, 42 is a gate for sending charges on the photodiode to the vertical transfer path, and 43 is photoelectric. A first photodiode for conversion, 44 (shaded portion) is a second photodiode for shielding the sensor portion to form an OB signal, 45 is an output amplifier for outputting a CCD output signal to the outside, and 46 is a vertical line This is a horizontal transfer path for sending the charge transferred from the transfer path 41 to the
第1のフォトダイオード43上には、オンチップフィルターが形成されていて、フィルター色に感応した電荷を発生する。ここでは、RGB(R=赤、G=緑、B=青)の純色フィルターを例にとって説明する。「R」記号が記載されているところはR色フィルターが形成されているフォトダイオードであり、「G」記号、「B」記号も同じ意味をなすものとする。垂直転送路41には51〜54で示すように、φV1、φV2、φV3、φV4の垂直転送パルスが印加される電極が隣り合わせに繰り返し配置されていて、垂直転送路46には47〜50で示すように、φH1、φH2の水平転送パルスが印加される電極が2個毎に隣り合わせに繰り返し配置されている。 An on-chip filter is formed on the first photodiode 43 and generates a charge that is sensitive to the filter color. Here, a description will be given by taking a pure color filter of RGB (R = red, G = green, B = blue) as an example. The “R” symbol is a photodiode in which an R color filter is formed, and the “G” symbol and the “B” symbol have the same meaning. As shown by 51 to 54 in the vertical transfer path 41, electrodes to which vertical transfer pulses of φV1, φV2, φV3, and φV4 are applied are repeatedly arranged adjacent to each other, and 47-50 in the vertical transfer path 46. As described above, every two electrodes to which the horizontal transfer pulses of φH1 and φH2 are applied are repeatedly arranged adjacent to each other.
上記構成のCCD1において、まず露光を開始すると、RGBの色フィルターを形成している第1のフォトダイオード43は、被写体の色、輝度に応じて電荷を発生する(図4−2)。露光が終了すると、垂直転送パルスのφV3に重畳したフィールドシフトパルスにより、3値のHレベルの期間、φV3の電極53とフォトダイオード43及び44との間に接続されているゲート42が開き、RG列に対応した電荷がフォトダイオード43及び44から垂直転送路41へ出力される(図4−3)。
In the CCD 1 having the above-described configuration, when exposure is started, the first photodiode 43 forming the RGB color filter generates electric charges according to the color and luminance of the subject (FIG. 4-2). When the exposure is completed, the
次に、垂直転送パルスφV1〜φV4による4相駆動により、垂直転送路41上の電荷は、1HD期間に4電極分水平転送路方向へ移動する(図4―4)。つまり、φV3の電極上にいる電荷は、φV4→φV1→φV2の電極を通過してφV3の電極上に移動する。水平転送路46に最も近いφV3の電極上にいる電荷は、φV4の電極を通過して水平転送路46へ移動する。これにより、1HD期間ごとに1列の電荷が水平転送路46へ送出される。 Next, due to the four-phase driving by the vertical transfer pulses φV1 to φV4, the charge on the vertical transfer path 41 moves in the direction of the horizontal transfer path by four electrodes in one HD period (FIG. 4-4). That is, the charge on the φV3 electrode passes through the φV4 → φV1 → φV2 electrode and moves onto the φV3 electrode. The charges on the φV3 electrode closest to the horizontal transfer path 46 pass through the φV4 electrode and move to the horizontal transfer path 46. As a result, one column of charge is sent to the horizontal transfer path 46 every 1 HD period.
図6に示すように、水平転送路には、φH1に接続される電極47及び48、またφH2に接続される電極49及び50が形成されている。電極47と48及び電極49と50は、わずかに電位差を与えられていて、図6のJ3に示すような電位勾配が形成されている。垂直転送路から水平転送路に送られた電荷は、図6のJ3(時刻t1、J6&J7)に示すように、ポテンシャルの高い位置(電極48の下)に保持される。このとき電極49は、電極48の逆バイアスが掛けられ、電極48と電極49の間には障壁が形成されている。電極47は、電極48に対してあらかじめ電位勾配が形成されるように設定されているので、わずかながらも電極48に対して障壁が形成され、電荷は電極48の下に留まることになる。
As shown in FIG. 6,
次に、水平転送パルスφH1とφH2とが“L”“H”逆に印加される瞬間、すなわち図6のJ4(時刻t2、J6&J7)において電極48の下に保持されていた電荷が電極48と電極49とのバイアスが逆転し始めることにより、この間に生じていた障壁は徐々になくなり、電極48の下に保持されていた電荷は電極49の下、電極50の下へ順番に移動し始める。図6のJ5(時刻t3、J6&J7)においては、水平転送パルスφH1、φH2は、時刻t1と完全に逆の極性のパルスが印加され、電荷はポテンシャルが一番高い位置(電極50の下)に移動し、ここに保持される。この動作が1HD期間内に繰り返し行われ、水平転送路上の電荷を1つずつ順番に出力アンプ45側へ移動させ、水平転送路上の全ての電荷を出力アンプ45から外部へ送り出す。1HD期間に、1ラインのRG列がCCD1から出力され(図4−4→図4−5→図4−6→図4−7)、これらの動作が1垂直同期期間(以下、「1VD期間」と称する)内に繰り返し行われ(図4−8→図4−9→・・・)、RG列の全ラインの電荷が全て出力される。
Next, the charge held under the
1HD期間内に水平転送パルスが出力されるのは水平ブランキング期間を除いた期間であり、水平ブランキング期間中の水平転送パルスは休止し、水平転送路内では電荷の移動は起こらない。そして、水平ブランキング期間のみ垂直転送パルス(φV1,φV2,φV3,φV4)が出力され、垂直転送路内の電荷を順番に水平転送路方向へ転送する。水平転送パルスと垂直転送パルスが同時に出力されることはなく、水平転送路にある電荷と垂直転送路にある電荷が混ざり合うことはない。 The horizontal transfer pulse is output within the 1 HD period during the period excluding the horizontal blanking period, the horizontal transfer pulse during the horizontal blanking period is paused, and no charge movement occurs in the horizontal transfer path. Then, vertical transfer pulses (φV1, φV2, φV3, φV4) are output only in the horizontal blanking period, and charges in the vertical transfer path are sequentially transferred in the horizontal transfer path direction. The horizontal transfer pulse and the vertical transfer pulse are not output at the same time, and the charge in the horizontal transfer path and the charge in the vertical transfer path are not mixed.
一方、GB列は、RG列を読み出した1VD期間に続く次の1VD期間に読み出される。読み出し方法は、RG列の読み出しとほぼ同じであり、垂直転送パルスのφV1に重畳したフィールドシフトパルスにより、3値のHレベルの期間にφV1の電極51と各フォトダイオード43及び44の間に接続されているゲート42が開き、GB列に対応した電荷が各フォトダイオード43及び44から垂直転送路41へ出力される。次に、垂直転送パルスφV1〜φV4による4相駆動により、垂直転送路41上の電荷は、1HD期間に4電極分水平転送路46方向へ移動する。つまり、φV1の電極に存在する電荷は、φV2→φV3→φV4の電極を通過して次のφV1の電極上に移動する。最も水平転送路46に近いφV1の電極に存在する電荷は、φV2→φV3→φV4の電極を通過して水平転送路46へと移動する。
On the other hand, the GB column is read in the next 1VD period following the 1VD period in which the RG column is read. The readout method is almost the same as the readout of the RG row, and is connected between the
これにより、1HD期間ごとに1列の電荷が水平転送路46へ送出される。水平転送路46上の電荷は、φH1とφH2の水平転送パルスにより、1クロックごとに出力アンプ45方向へ移動し、1HD期間内に全て出力アンプ45を通してCCD1外部へ出力される。これらの動作が1VD期間内に繰り返し行われ、この期間内にGB列の電荷を全て出力することができる。これにより、連続した2VD期間にCCD1内の全ての電荷を出力することができる。
As a result, one column of charge is sent to the horizontal transfer path 46 every 1 HD period. The charges on the horizontal transfer path 46 move in the direction of the
ここで中央に暗めの建物、背景の隅に太陽光が存在しているようなシーンを撮影したときに、本実施形態の電子撮像装置がどのようにCCD1を制御するかについて説明する。ここでは、電荷保持容量が、水平転送路>フォトダイオード>垂直転送路の順に小さい場合を例にする。そして、垂直転送路内で電荷が溢れ出し、水平転送路へ漏れ出す過程を図5を用いて説明する(電荷の水平転送と垂直転送の方法は、上述した内容と変わりはない)。なお、図5−1及び図5−2については、図4−1及び図4−2と同様である。 Here, how the electronic image pickup apparatus of the present embodiment controls the CCD 1 when shooting a scene where a dark building in the center and sunlight in the corners of the background exist is described. Here, as an example, the charge holding capacity is small in the order of horizontal transfer path> photodiode> vertical transfer path. A process of overflowing charges in the vertical transfer path and leaking out to the horizontal transfer path will be described with reference to FIG. 5 (the charge transfer method and the horizontal transfer method are the same as described above). Note that FIGS. 5A and 5B are the same as FIGS. 4A and 4B.
容量的に過飽和している画素または転送路においては、次のような現象が生じる。
図5−3に示すように、第1のフォトダイオード43の蓄積容量よりも垂直転送路41の容量が小さい場合、第1のフォトダイオード43から垂直転送路41に電荷が送り出された時点で、垂直転送路41上で電荷が溢れ出し、水平転送路46方向へ移動する。極小的に発生した垂直転送路46上の過飽和電荷は、近隣の電極上に受け入れられる容量があれば、この電極上に流れ込むことで食い止められる。しかし、過飽和の部分が広がるに従い、垂直転送路41上で溢れ出す電荷量が増加し、垂直転送路41内でこの電荷を受け止められなくなり、水平転送路46まで溢れ出すことになる。
The following phenomenon occurs in a pixel or transfer path that is supersaturated capacitively.
As shown in FIG. 5C, when the capacity of the vertical transfer path 41 is smaller than the storage capacity of the first photodiode 43, when charge is sent from the first photodiode 43 to the vertical transfer path 41, Charges overflow on the vertical transfer path 41 and move toward the horizontal transfer path 46. Minimally generated supersaturated charge on the vertical transfer path 46 can be prevented by flowing into this electrode if there is an acceptable capacity on the neighboring electrode. However, as the portion of supersaturation spreads, the amount of charge that overflows on the vertical transfer path 41 increases, and this charge cannot be received in the vertical transfer path 41 and overflows to the horizontal transfer path 46.
極端には、一画面の縦方向全てのフォトダイオードが飽和している場合、この電荷が垂直転送路41へ送出された時点で電荷が溢れ出し、この電荷は水平転送路46へと移動する(図5−3)。垂直転送路41へ送出された電荷は、1HD期間毎に水平ブランキング期間に出力される垂直転送パルスにより順番に水平転送路46へと移動する(図5−4)。溢れ出した電荷が近隣の電極上に全て収束するまでは、溢れ出した電荷は、水平転送路46へ向かって流れ続ける。垂直転送パルスが停止し、水平ブランキング期間が終了すると、水平転送パルスが出力し始め、水平転送路46上の電荷は、出力アンプ45方向へ移動し始める。このときに垂直転送路41から溢れ続けている電荷は、水平転送路46が動作している期間にも水平転送路46へ流れ込むため、水平転送路46上で異なる列の電荷と溢れ出した電荷とが加算されて(図5−5→図5−6)、出力されることになる(図5−7)。これらの動作が1VD期間内に繰り返し行われ(図5−8→図5−9→・・・)、RG列の全ラインの電荷が全て出力される。第1のフォトダイオード43がOB部(第2のフォトダイオード44)に近い位置で過飽和している場合、結果的に水平転送時にOB部に電荷が溢れ出すことになる。
Extremely, when all the photodiodes in the vertical direction of one screen are saturated, the charge overflows when the charge is sent to the vertical transfer path 41, and the charge moves to the horizontal transfer path 46 ( Fig. 5-3). The charges sent to the vertical transfer path 41 are sequentially moved to the horizontal transfer path 46 by the vertical transfer pulse output in the horizontal blanking period every 1 HD period (FIG. 5-4). The overflowed charges continue to flow toward the horizontal transfer path 46 until all of the overflowed charges converge on the neighboring electrodes. When the vertical transfer pulse stops and the horizontal blanking period ends, the horizontal transfer pulse starts to be output, and the charge on the horizontal transfer path 46 starts to move toward the
本実施形態の電子撮像装置では、DSP4において、このときのOB部の一部の信号をモニターし、この信号レベルとあらかじめ任意に設定することのできる誤差レベルとを比較し、OBレベルの変動がこの誤差レベル内に収まっている場合には、通常のクランプを行う。一方、OBレベルの変動があらかじめ設定されている誤差レベルを超える場合は、OB部がダメージを受けていると判断し、図1−1のA12で示すようなOB部のエラー信号(ここでは、“L”信号の場合はダメージがないとき、“H”信号のときはダメージがあるときとする)をDSP4内で生成し、この信号をCPU8へ出力する。
In the electronic imaging apparatus of the present embodiment, the DSP 4 monitors a part of the signal of the OB unit at this time, compares this signal level with an error level that can be arbitrarily set in advance, and the fluctuation of the OB level is detected. When it is within this error level, normal clamping is performed. On the other hand, if the fluctuation of the OB level exceeds a preset error level, it is determined that the OB part has been damaged, and an error signal (here, OB part) as indicated by A12 in FIG. In the case of “L” signal, there is no damage, and in the case of “H” signal, there is damage), the DSP 4 generates the signal and outputs this signal to the
CPU8では、このOB部のエラー信号を入力すると、この信号が“L”の場合には、OB部はダメージを受けていないと判断し、OB部を通常の位相でクランプするためのクランプパルスを出力するようにTG7へ命令を出す。一方、OB部のエラー信号が“H”の場合には、TG7に対してクランプパルスを出力しないように命令を出し、OB部のエラー信号が“H”から“L”に切り替わった際に、OB部を後述するあらかじめ決められた位相でクランプするためのクランプパルスを出力するようにTG7に対して命令を出す。この際、TG7は、CPU8からの命令に基づいて、あらかじめ決められた位相でクランプパルスを設定し出力する。
When the error signal of the OB portion is input, the
次に、図2を用いてクランプパルスの位相について詳細する。
CPU8は、OB部がダメージを受けていると判断した場合(DSP4からのOB部のエラー信号が“H”の場合)は、水平転送パルスの出力が停止し、次の水平転送パルスが出力されるまでの水平ブランキング期間内の一部を一時的にクランプするように、TG7へ対して命令を出す。これを受けたTG7では、クランプパルスの位相をあらかじめ決められた位相になるように変更する。ただし、垂直転送パルス(図2のC4,C5,C6,C7)または電子シャッターパルスなどが出力されているときは、そのパルスによるノイズがCCD出力信号に重畳されているため(図2のC9)、このタイミングを避けた位置をクランプするようにパルス位相を変更する。
Next, the phase of the clamp pulse will be described in detail with reference to FIG.
When the
具体的には、図2のD10に示すように、水平転送パルスが停止し、水平ブランキング期間内の次に出現するパルス信号(図2では、C1の水平同期信号となるが、システムによっては、C4〜C7に示す垂直転送パルス信号がHD信号よりも早く出力される場合には当該信号)が出力されるまでの期間をクランプするようにクランプパルスの位相を変更し出力する。あるいは、図2のE10に示すように、垂直転送パルスが停止し、次の水平転送パルスが出力するまでの期間において、水平同期信号に同期したパルスが出力されていない部分をクランプするようにクランプパルスの位相を変更し出力する。あるいは、図2のF10に示すように、次の水平転送パルスが出力し始め、信号成分が出現するまでの期間(ダミー部)をクランプするようにクランプパルスの位相を変更し出力する。ただし、このダミー部は、CCDによっては存在しないものもある。 Specifically, as indicated by D10 in FIG. 2, the horizontal transfer pulse stops and the pulse signal that appears next in the horizontal blanking period (in FIG. 2, it becomes the horizontal synchronizing signal of C1, but depending on the system, When the vertical transfer pulse signals indicated by C4 to C7 are output earlier than the HD signal, the phase of the clamp pulse is changed and output so as to clamp the period until the signal is output. Alternatively, as shown at E10 in FIG. 2, in a period from when the vertical transfer pulse is stopped until the next horizontal transfer pulse is output, clamping is performed so as to clamp a portion where a pulse synchronized with the horizontal synchronization signal is not output. Change the pulse phase and output. Alternatively, as indicated by F10 in FIG. 2, the phase of the clamp pulse is changed and output so as to clamp the period (dummy part) until the next horizontal transfer pulse starts to be output and the signal component appears. However, this dummy portion may not exist depending on the CCD.
水平転送パルスが出力されていなければ、CCD1からは映像信号は出力されず、OB部における信号とほぼ同じ直流バイアス成分が出力されるのみである。したがって、OB部のクランプには悪影響を与えない。 If no horizontal transfer pulse is output, no video signal is output from the CCD 1 and only a DC bias component substantially the same as the signal in the OB portion is output. Therefore, the OB portion clamp is not adversely affected.
(第2の実施形態)
本発明の第2の実施形態に係る電子撮像装置におけるブロック構成図も、第1の実施形態に係る電子撮像装置におけるブロック構成図と同様に、図3に示したものとなる。
(Second Embodiment)
The block configuration diagram in the electronic imaging device according to the second embodiment of the present invention is also the same as that shown in FIG. 3, similarly to the block configuration diagram in the electronic imaging device according to the first embodiment.
図3において、1は光を電気信号に変換する光電変換素子(ここでは、「CCD」を例とする)、2はCCD1の出力信号を映像信号に変換するための相関二重サンプリング回路(以下、「CDS」と称する)、3はCDS2から出力されたアナログ信号をデジタル信号に変換するためのアナログデジタル変換回路(以下、「AD」と称する)、4は色信号処理、輝度信号処理、及びOB部の信号をモニターしてあらかじめ設定されている誤差レベルと比較しOB部のエラー信号を生成するなど各種信号処理を行うデジタル信号処理回路(以下、「DSP」と称する)、5はCCD1の水平転送部を駆動するためのCCD水平転送駆動回路(以下、「HDr」と称する)、6はCCD1の垂直転送部を駆動するためのCCD垂直転送駆動回路(以下、「VDr」と称する)、7は基準同期信号及びOB部のエラー信号に基づくCPUからのパルス位相変更命令を入力し、これらの基準信号によりCCD1の駆動及び信号処理に必要な各種パルスを生成するタイミングジェネレータ(以下、「TG」と称する)、8はシステム全体を制御するCPU、9はフォーカス用レンズ及びズーム用レンズを駆動するためのレンズ駆動回路、10はフォーカス用レンズ及びズーム用レンズで構成される撮影レンズ、11はシャッター機能付き絞りを駆動するための絞り駆動回路、12はCCD1への入射光量を制御するシャッター機能付き絞り、13は2段階ストロークで構成されるレリーズスイッチ、14は水晶発振回路を有し、水平同期信号(以下、「HD信号」と称する)と垂直同期信号(以下、「VD信号」と称する)を発生する基準信号発生回路である。このHD信号とVD信号を発生する基準信号発生回路14は、OB部のエラー信号に基づくCPU8からのパルス位相変更命令によりその周期を任意に変更することができるように構成されている。
In FIG. 3, 1 is a photoelectric conversion element for converting light into an electrical signal (here, “CCD” is taken as an example), and 2 is a correlated double sampling circuit (hereinafter referred to as “CCD”) for converting the output signal of CCD 1 into a video signal. 3 is an analog-digital conversion circuit (hereinafter referred to as “AD”) for converting an analog signal output from the
次に、本実施形態における電子撮像装置の動作について説明する。
被写体像は、撮影レンズ10を通して、絞り12により光量を調節されてCCD1に結像する。そして、CCD1で光電変換が行われ、CCD出力信号としてCDS2へ出力される。また、基準信号発生回路14で生成されるメインクロック、HD信号、VD信号は、TG7へ出力され、これらの信号を基準にTG7では、CCD水平転送パルス、CCD垂直転送パルス、CCDフィールドシフトパルス、電子シャッターパルス、OBクランプパルスを生成する。そして、CCD水平転送パルスはHDr5へ、CCD垂直転送パルス、CCDフィールドシフトパルス及び電子シャッターパルスはVDr6へ、OBクランプパルスはCDS2へ夫々出力される。
Next, the operation of the electronic imaging device in the present embodiment will be described.
The subject image is focused on the CCD 1 through the taking
VDr6では、TG7から出力されるCCD垂直転送パルス及びCCDフィールドシフトパルスを受け、これらを組み合わせて、CCDの垂直転送部を十分に駆動できる信号振幅、周波数特性を保持した3値(H(高電位),M(中電位),L(低電位)レベル)の信号に変換し、CCD1の垂直転送駆動部へ出力する。CCD1では、これらの信号を受け、フィールドシフトパルスに相当する“H”レベルの信号を入力した時に、CCD1のフォトダイオードに蓄積された電荷を垂直転送部へ出力する。垂直転送部へ出力された電荷は、CCD垂直転送パルスの4相2値(M、Lレベル)駆動により垂直転送路上を順序正しく水平転送路へと転送される。 The VDr6 receives the CCD vertical transfer pulse and the CCD field shift pulse output from the TG7, and combines them to obtain a ternary value (H (high potential) that retains signal amplitude and frequency characteristics that can sufficiently drive the vertical transfer unit of the CCD. ), M (medium potential), L (low potential) level) signals and output to the vertical transfer drive unit of the CCD 1. The CCD 1 receives these signals, and outputs an electric charge accumulated in the photodiode of the CCD 1 to the vertical transfer section when an “H” level signal corresponding to a field shift pulse is input. The charges output to the vertical transfer unit are transferred in order on the vertical transfer path to the horizontal transfer path by four-phase binary (M, L level) driving of a CCD vertical transfer pulse.
また、電子シャッターパルスは、VDr6において、CCD1を十分に駆動できる信号振幅に変換された後、CCD1へ出力されてCCD1での電荷蓄積時間(露光量)を制御する。CCD1は、電子シャッターパルスを入力している期間はフォトダイオードの電荷をクリアーし続け、電子シャッターパルスが停止した後、露光状態となる。 The electronic shutter pulse is converted into a signal amplitude that can sufficiently drive the CCD 1 in the VDr 6 and then output to the CCD 1 to control the charge accumulation time (exposure amount) in the CCD 1. The CCD 1 continues to clear the charge of the photodiode during the period when the electronic shutter pulse is input, and enters the exposure state after the electronic shutter pulse stops.
HDr5では、TG7から出力されるCCD水平転送パルスを入力し、CCD1の水平転送部を十分に駆動できる信号振幅、周波数特性を保持した信号に変換し、CCD1の水平転送部へ出力する。リセットゲートパルスは、TG7から直接CCD1へ出力され、CCD1の出力ゲート部を一定電位に固定することにより電荷電位変換を行う。CCD1では、これら水平転送パルス及びリセットゲートパルス信号を入力した時に、電荷を水平転送部から出力アンプを通して、CCD出力信号としてCDS2へ出力する。
In HDr5, the CCD horizontal transfer pulse output from TG7 is input, converted into a signal having signal amplitude and frequency characteristics that can sufficiently drive the horizontal transfer unit of CCD1, and output to the horizontal transfer unit of CCD1. The reset gate pulse is directly output from the
CDS2では、CCD出力信号を入力し、CCD出力信号のフィードスルー部(基準部)とデータ部とのレベル差を映像信号として変換し、これによりCCD出力信号に含まれる低周波雑音を除去し、可変利得増幅機能により所望の感度が得られるように映像信号を増幅する。そして、この信号の基準部(CCD1内の遮光されたフォトダイオード部分(以下、「OB部」と称する)、フォトダイオードが形成されていない場合もある)を新たな直流バイアスに変換し直し(直流再生、以後、「クランプ」と称する)、AD3へ出力する。 In CDS2, the CCD output signal is input, the level difference between the feedthrough part (reference part) of the CCD output signal and the data part is converted as a video signal, thereby removing low frequency noise contained in the CCD output signal, The video signal is amplified so that a desired sensitivity can be obtained by the variable gain amplification function. Then, the reference portion of this signal (light-shielded photodiode portion in the CCD 1 (hereinafter referred to as “OB portion”), photodiode may not be formed) is converted back to a new DC bias (DC). Reproduction, hereinafter referred to as “clamp”) and output to AD3.
AD3では、CDS2から出力された映像信号を入力し、この信号をアナログ信号からデジタル信号(例えば、10ビット信号)へと変換し、DSP4へ出力する。AD3の出力は、上述したOB部が常に一定の値(例えば、フルレンジ104LSB中の32LSB)に固定されるように設定される。 In AD3, the video signal output from CDS2 is input, this signal is converted from an analog signal to a digital signal (for example, 10-bit signal), and output to DSP4. The output of AD3 is set so that the above-described OB unit is always fixed to a constant value (for example, 32LSB in the full range 104LSB).
DSP4では、AD3でデジタル信号に変換された映像信号を入力し、信号処理により輝度信号及び色信号を再生する。また、映像信号を利用して露光制御を行うための基準信号、ホワイトバランス制御を行うための基準信号、フォーカス制御を行うための基準信号を生成する。さらに、OB部の信号をモニターし、このOB部の信号のレベルとあらかじめ設定されている誤差レベルとを比較し、この結果をCPU8へ出力する。
The DSP 4 receives the video signal converted into a digital signal by the
次に、図4−1〜4−9及び図6に示すCCD1の模式図を使い、CCD1から信号が出力されるまでの過程を説明する。
図4―1において、41は各フォトダイオードから転送された電荷を水平転送路へ送出するための垂直転送路、42はフォトダイオード上の電荷を垂直転送路へ送出するためのゲート、43は光電変換を担う第1のフォトダイオード、44(網掛け部分)はセンサー部を遮光しOB信号を形成する第2のフォトダイオード、45はCCD出力信号を外部へ出力するための出力アンプ、46は垂直転送路41から転送された電荷を出力アンプ45へ送出するための水平転送路である。
Next, a process until a signal is output from the CCD 1 will be described with reference to schematic diagrams of the CCD 1 shown in FIGS.
In FIG. 4A, 41 is a vertical transfer path for sending out charges transferred from each photodiode to the horizontal transfer path, 42 is a gate for sending charges on the photodiode to the vertical transfer path, and 43 is photoelectric. A first photodiode for conversion, 44 (shaded portion) is a second photodiode for shielding the sensor portion to form an OB signal, 45 is an output amplifier for outputting a CCD output signal to the outside, and 46 is a vertical line This is a horizontal transfer path for sending the charge transferred from the transfer path 41 to the
第1のフォトダイオード43上には、オンチップフィルターが形成されていて、フィルター色に感応した電荷を発生する。ここでは、RGB(R=赤、G=緑、B=青)の純色フィルターを例にとって説明する。「R」記号が記載されているところはR色フィルターが形成されているフォトダイオードであり、「G」記号、「B」記号も同じ意味をなすものとする。垂直転送路41には51〜54で示すように、φV1、φV2、φV3、φV4の垂直転送パルスが印加される電極が隣り合わせに繰り返し配置されていて、垂直転送路46には47〜50で示すように、φH1、φH2の水平転送パルスが印加される電極が2個毎に隣り合わせに繰り返し配置されている。 An on-chip filter is formed on the first photodiode 43 and generates a charge that is sensitive to the filter color. Here, a description will be given by taking a pure color filter of RGB (R = red, G = green, B = blue) as an example. The “R” symbol is a photodiode in which an R color filter is formed, and the “G” symbol and the “B” symbol have the same meaning. As shown by 51 to 54 in the vertical transfer path 41, electrodes to which vertical transfer pulses of φV1, φV2, φV3, and φV4 are applied are repeatedly arranged adjacent to each other, and 47-50 in the vertical transfer path 46. As described above, every two electrodes to which the horizontal transfer pulses of φH1 and φH2 are applied are repeatedly arranged adjacent to each other.
上記構成のCCD1において、まず露光を開始すると、RGBの色フィルターを形成している第1のフォトダイオード43は、被写体の色、輝度に応じて電荷を発生する(図4−2)。露光が終了すると、垂直転送パルスのφV3に重畳したフィールドシフトパルスにより、3値のHレベルの期間、φV3の電極53とフォトダイオード43及び44との間に接続されているゲート42が開き、RG列に対応した電荷がフォトダイオード43及び44から垂直転送路41へ出力される(図4−3)。
In the CCD 1 having the above-described configuration, when exposure is started, the first photodiode 43 forming the RGB color filter generates electric charges according to the color and luminance of the subject (FIG. 4-2). When the exposure is completed, the
次に、垂直転送パルスφV1〜φV4による4相駆動により、垂直転送路41上の電荷は、1HD期間に4電極分水平転送路方向へ移動する(図4―4)。つまり、φV3の電極上にいる電荷は、φV4→φV1→φV2の電極を通過してφV3の電極上に移動する。水平転送路46に最も近いφV3の電極上にいる電荷は、φV4の電極を通過して水平転送路46へ移動する。これにより、1HD期間ごとに1列の電荷が水平転送路46へ送出される。 Next, due to the four-phase driving by the vertical transfer pulses φV1 to φV4, the charge on the vertical transfer path 41 moves in the direction of the horizontal transfer path by four electrodes in one HD period (FIG. 4-4). That is, the charge on the φV3 electrode passes through the φV4 → φV1 → φV2 electrode and moves onto the φV3 electrode. The charges on the φV3 electrode closest to the horizontal transfer path 46 pass through the φV4 electrode and move to the horizontal transfer path 46. As a result, one column of charge is sent to the horizontal transfer path 46 every 1 HD period.
図6に示すように、水平転送路には、φH1に接続される電極47及び48、またφH2に接続される電極49及び50が形成されている。電極47と48及び電極49と50は、わずかに電位差を与えられていて、図6のJ3に示すような電位勾配が形成されている。垂直転送路から水平転送路に送られた電荷は、図6のJ3(時刻t1、J6&J7)に示すように、ポテンシャルの高い位置(電極48の下)に保持される。このとき電極49は、電極48の逆バイアスが掛けられ、電極48と電極49の間には障壁が形成されている。電極47は、電極48に対してあらかじめ電位勾配が形成されるように設定されているので、わずかながらも電極48に対して障壁が形成され、電荷は電極48の下に留まることになる。
As shown in FIG. 6,
次に、水平転送パルスφH1とφH2とが“L”“H”逆に印加される瞬間、すなわち図6のJ4(時刻t2、J6&J7)において電極48の下に保持されていた電荷が電極48と電極49とのバイアスが逆転し始めることにより、この間に生じていた障壁は徐々になくなり、電極48の下に保持されていた電荷は電極49の下、電極50の下へ順番に移動し始める。図6のJ5(時刻t3、J6&J7)においては、水平転送パルスφH1、φH2は、時刻t1と完全に逆の極性のパルスが印加され、電荷はポテンシャルが一番高い位置(電極50の下)に移動し、ここに保持される。この動作が1HD期間内に繰り返し行われ、水平転送路上の電荷を1つずつ順番に出力アンプ45側へ移動させ、水平転送路上の全ての電荷を出力アンプ45から外部へ送り出す。1HD期間に、1ラインのRG列がCCD1から出力され(図4−4→図4−5→図4−6→図4−7)、これらの動作が1垂直同期期間(以下、「1VD期間」と称する)内に繰り返し行われ(図4−8→図4−9→・・・)、RG列の全ラインの電荷が全て出力される。
Next, the charge held under the
1HD期間内に水平転送パルスが出力されるのは水平ブランキング期間を除いた期間であり、水平ブランキング期間中の水平転送パルスは休止し、水平転送路内では電荷の移動は起こらない。そして、水平ブランキング期間のみ垂直転送パルス(φV1,φV2,φV3,φV4)が出力され、垂直転送路内の電荷を順番に水平転送路方向へ転送する。水平転送パルスと垂直転送パルスが同時に出力されることはなく、水平転送路にある電荷と垂直転送路にある電荷が混ざり合うことはない。 The horizontal transfer pulse is output within the 1 HD period during the period excluding the horizontal blanking period, the horizontal transfer pulse during the horizontal blanking period is paused, and no charge movement occurs in the horizontal transfer path. Then, vertical transfer pulses (φV1, φV2, φV3, φV4) are output only in the horizontal blanking period, and charges in the vertical transfer path are sequentially transferred in the horizontal transfer path direction. The horizontal transfer pulse and the vertical transfer pulse are not output at the same time, and the charge in the horizontal transfer path and the charge in the vertical transfer path are not mixed.
一方、GB列は、RG列を読み出した1VD期間に続く次の1VD期間に読み出される。読み出し方法は、RG列の読み出しとほぼ同じであり、垂直転送パルスのφV1に重畳したフィールドシフトパルスにより、3値のHレベルの期間にφV1の電極51と各フォトダイオード43及び44の間に接続されているゲート42が開き、GB列に対応した電荷が各フォトダイオード43及び44から垂直転送路41へ出力される。次に、垂直転送パルスφV1〜φV4による4相駆動により、垂直転送路41上の電荷は、1HD期間に4電極分水平転送路46方向へ移動する。つまり、φV1の電極に存在する電荷は、φV2→φV3→φV4の電極を通過して次のφV1の電極上に移動する。最も水平転送路46に近いφV1の電極に存在する電荷は、φV2→φV3→φV4の電極を通過して水平転送路46へと移動する。
On the other hand, the GB column is read in the next 1VD period following the 1VD period in which the RG column is read. The readout method is almost the same as the readout of the RG row, and is connected between the
これにより、1HD期間ごとに1列の電荷が水平転送路46へ送出される。水平転送路46上の電荷は、φH1とφH2の水平転送パルスにより、1クロックごとに出力アンプ45方向へ移動し、1HD期間内に全て出力アンプ45を通してCCD1外部へ出力される。これらの動作が1VD期間内に繰り返し行われ、この期間内にGB列の電荷を全て出力することができる。これにより、連続した2VD期間にCCD1内の全ての電荷を出力することができる。
As a result, one column of charge is sent to the horizontal transfer path 46 every 1 HD period. The charges on the horizontal transfer path 46 move in the direction of the
ここで中央に暗めの建物、背景の隅に太陽光が存在しているようなシーンを撮影したときに、本実施形態の電子撮像装置がどのようにCCD1を制御するかについて説明する。ここでは、電荷保持容量が、水平転送路>フォトダイオード>垂直転送路の順に小さい場合を例にする。そして、垂直転送路内で電荷が溢れ出し、水平転送路へ漏れ出す過程を図5を用いて説明する(電荷の水平転送と垂直転送の方法は、上述した内容と変わりはない)。なお、図5−1及び図5−2については、図4−1及び図4−2と同様である。 Here, how the electronic image pickup apparatus of the present embodiment controls the CCD 1 when shooting a scene where a dark building in the center and sunlight in the corners of the background exist is described. Here, as an example, the charge holding capacity is small in the order of horizontal transfer path> photodiode> vertical transfer path. A process of overflowing charges in the vertical transfer path and leaking out to the horizontal transfer path will be described with reference to FIG. 5 (the charge transfer method and the horizontal transfer method are the same as described above). Note that FIGS. 5A and 5B are the same as FIGS. 4A and 4B.
容量的に過飽和している画素または転送路においては次のような現象が生じる。
図5―3に示すように、第1のフォトダイオード43の蓄積容量よりも垂直転送路41の容量が小さい場合、第1のフォトダイオード43から垂直転送路41に電荷が送り出された時点で、垂直転送路41上で電荷が溢れ出し、水平転送路46方向へ移動する。極小的に発生した垂直転送路46上の過飽和電荷は、近隣の電極上に受け入れられる容量があれば、この電極上に流れ込むことで食い止められる。しかし、過飽和の部分が広がるに従い、垂直転送路41上で溢れ出す電荷量が増加し、垂直転送路41内でこの電荷を受け止められなくなり、水平転送路46まで溢れ出すことになる。
The following phenomenon occurs in capacitively supersaturated pixels or transfer paths.
As shown in FIG. 5C, when the capacity of the vertical transfer path 41 is smaller than the storage capacity of the first photodiode 43, when charge is sent from the first photodiode 43 to the vertical transfer path 41, Charges overflow on the vertical transfer path 41 and move toward the horizontal transfer path 46. Minimally generated supersaturated charge on the vertical transfer path 46 can be prevented by flowing into this electrode if there is an acceptable capacity on the neighboring electrode. However, as the portion of supersaturation spreads, the amount of charge that overflows on the vertical transfer path 41 increases, and this charge cannot be received in the vertical transfer path 41 and overflows to the horizontal transfer path 46.
極端には、一画面の縦方向全てのフォトダイオードが飽和している場合、この電荷が垂直転送路41へ送出された時点で電荷が溢れ出し、この電荷は水平転送路46へと移動する(図5−3)。垂直転送路41へ送出された電荷は、1HD期間毎に水平ブランキング期間に出力される垂直転送パルスにより順番に水平転送路46へと移動する(図5−4)。溢れ出した電荷が近隣の電極上に全て収束するまでは、溢れ出した電荷は、水平転送路46へ向かって流れ続ける。垂直転送パルスが停止し、水平ブランキング期間が終了すると、水平転送パルスが出力し始め、水平転送路46上の電荷は、出力アンプ45方向へ移動し始める。このときに垂直転送路41から溢れ続けている電荷は、水平転送路46が動作している期間にも水平転送路46へ流れ込むため、水平転送路46上で異なる列の電荷と溢れ出した電荷とが加算されて(図5−5→図5−6)、出力されることになる(図5−7)。これらの動作が1VD期間内に繰り返し行われ(図5−8→図5−9→・・・)、RG列の全ラインの電荷が全て出力される。第1のフォトダイオード43がOB部(第2のフォトダイオード44)に近い位置で過飽和している場合、結果的に水平転送時にOB部に電荷が溢れ出すことになる。
Extremely, when all the photodiodes in the vertical direction of one screen are saturated, the charge overflows when the charge is sent to the vertical transfer path 41, and the charge moves to the horizontal transfer path 46 ( Fig. 5-3). The charges sent to the vertical transfer path 41 are sequentially moved to the horizontal transfer path 46 by the vertical transfer pulse output in the horizontal blanking period every 1 HD period (FIG. 5-4). The overflowed charges continue to flow toward the horizontal transfer path 46 until all of the overflowed charges converge on the neighboring electrodes. When the vertical transfer pulse stops and the horizontal blanking period ends, the horizontal transfer pulse starts to be output, and the charge on the horizontal transfer path 46 starts to move toward the
本実施形態の電子撮像装置では、DSP4において、このときのOB部の一部の信号をモニターし、この信号レベルとあらかじめ任意に設定することのできる誤差レベルとを比較し、OBレベルの変動がこの誤差レベル内に収まっている場合には、通常のクランプを行う。一方、OBレベルの変動があらかじめ設定されている誤差レベルを超える場合は、OB部がダメージを受けていると判断し、図1−2のB12で示すようなOB部のエラー信号(ここでは、“L”信号の場合はダメージがないとき、“H”信号のときはダメージがあるときとする)をDSP4内で生成し、この信号をCPU8へ出力する。
In the electronic imaging apparatus of the present embodiment, the DSP 4 monitors a part of the signal of the OB unit at this time, compares this signal level with an error level that can be arbitrarily set in advance, and the fluctuation of the OB level is detected. When it is within this error level, normal clamping is performed. On the other hand, if the fluctuation of the OB level exceeds a preset error level, it is determined that the OB part has been damaged, and an error signal (here, B12) as indicated by B12 in FIG. In the case of “L” signal, there is no damage, and in the case of “H” signal, there is damage), the DSP 4 generates the signal and outputs this signal to the
CPU8では、このOB部のエラー信号を入力すると、この信号が“L”の場合には、OB部はダメージを受けていないと判断し、OB部を通常の位相でクランプするためのクランプパルスを出力するようにTG7へ命令を出す。一方、OB部のエラー信号が“H”の場合には、以下の処理が行われる。
When the error signal of the OB portion is input, the
OB部のエラー信号が“H”の場合には、CPU8は、OB部がダメージを受けていると判断し、このOB部のエラー信号が“L”に切り替わるまで(図1−2の「α」期間)、すなわちOB部のダメージが回復するまで、OB部のクランプを停止するように制御するとともに、OB部のエラー信号が“H”から“L”に切り替わり、以降、最低限クランプパルス幅(図1−2の「ζ」期間)以上の期間(図1−2の「β」期間)において、水平転送パルス(φH1、φH2)を出力し続けるようにTG7を制御する。また、CPU8は、同時にOB部のエラー信号が“H”の場合は、HD信号とVD信号との基準信号発生回路14に対し、HD信号のレートを変更する(HD周期を伸ばす)ように制御する。ただし、水平転送パルスが停止し、HD信号のパルスが出力するまでの期間(図1−2の「γ」期間)は、HD信号の周期を変更するときも変更しないときもいつも同じ間隔となるように制御する。
When the error signal of the OB portion is “H”, the
OB部がダメージを受けていると判断した場合のCPU8によるCCD1に対する制御を図1−2を用いてさらに詳細する。
CCD1のフォトダイオードが過飽和を起こし、OB部に電荷が漏れてくると(図1−2のB9)、この期間中、OB部のエラー信号が“H”に切り替わり(図1−2のB12)、この信号がDSP4からCPU8へ伝達され、CPU8は、TG7に対してこの期間OBクランプパルスを停止(図1−2のB10)させるとともに、水平転送パルスを出力し続ける(図1−2のB2,B3)ように命令する。さらに、CPU8は、HD信号の周期を伸ばす(図1−2のB1)ように基準信号発生回路14に対して命令する。
The control performed on the CCD 1 by the
When the photodiode of the CCD 1 is oversaturated and electric charge leaks to the OB portion (B9 in FIG. 1-2), the error signal in the OB portion is switched to “H” during this period (B12 in FIG. 1-2). This signal is transmitted from the DSP 4 to the
そして、漏れ出した電荷が収束し、CCD出力信号のOB部が誤差範囲内に収まると、OB部のエラー信号が“H”から“L”に切り替わる(図1−2のB12)。この後も、CPU8は、クランプパルスに必要な期間(図1−2の「β」期間)において、水平転送パルスを出力し続ける(図1−2のB2,B3)ようにTG7を制御するとともに、この図1−2の「β」期間にクランプパルスを出力する(図1−2のB10)ようにTG7を制御する。
When the leaked charge converges and the OB portion of the CCD output signal falls within the error range, the error signal in the OB portion switches from “H” to “L” (B12 in FIG. 1-2). Thereafter, the
そして、CPU8は、図1−2の「β」期間の経過後、水平転送パルスを停止させ(図1−2のB2,B3)、図1−2の「γ」期間経過した後にHD信号パルスを出力する(図1−2のB1)ように基準信号発生回路14を制御する。なお、HD信号パルスの出力以降の制御については、図1−1に示した通常のCCD1の制御と変わらない。また、OB部のエラー信号が“L”、すなわちOB部にダメージを受けていない場合も、通常のCCD1の制御と変わらない。
Then, the
1 CCD(光電変換素子)
2 CDS(相関二重サンプリング回路)
3 AD(アナログデジタル変換回路)
4 DSP(デジタル信号処理回路)
5 HDr(CCD水平転送駆動回路)
6 VDr(CCD垂直転送駆動回路)
7 TG(タイミングジェネレータ)
8 CPU
9 レンズ駆動回路
10 撮影レンズ
11 絞り駆動回路
12 シャッター機能付き絞り
13 レリーズスイッチ
14 基準信号発生回路
1 CCD (photoelectric conversion device)
2 CDS (Correlated Double Sampling Circuit)
3 AD (analog-digital conversion circuit)
4 DSP (digital signal processing circuit)
5 HDr (CCD horizontal transfer drive circuit)
6 VDr (CCD vertical transfer drive circuit)
7 TG (timing generator)
8 CPU
DESCRIPTION OF SYMBOLS 9 Lens drive
Claims (3)
垂直同期信号を発生させる垂直同期信号発生手段と、
水平同期信号を発生させる水平同期信号発生手段と、
前記撮像手段における垂直転送路を前記垂直同期信号に基づく垂直転送パルスにより駆動する垂直転送駆動手段と、
前記撮像手段における水平転送路を前記水平同期信号に基づく水平転送パルスにより駆動する水平転送駆動手段と、
前記水平同期信号の周波数を変更する周波数変更手段と、
前記水平転送パルスの数を変更するパルス数変更手段と、
前記撮像手段からの出力信号の基準部を監視する監視手段と、
前記基準部をクランプするクランプ手段と、
前記クランプを行うためのクランプパルスを出力するクランプパルス出力手段と、
前記クランプパルス出力手段から出力するクランプパルスの位相を変更する位相変更手段と、
前記基準部のレベルと所定のレベルとを比較し、前記基準部のレベルが前記所定のレベルを超えた場合に、前記水平同期信号の周期を長くするように前記周波数変更手段を制御するとともに、前記水平転送パルスの数を増やすように前記パルス数変更手段を制御し、さらに、前記クランプパルスの位相の変更を行うように前記位相変更手段を制御して、前記基準部のレベルが前記所定のレベル内に収束した後に、前記位相変更手段により位相が変更されたクランプパルスを出力させる制御手段と
を有することを特徴とする撮像装置。 Imaging means for converting an optical image of a subject into an electrical signal;
Vertical synchronization signal generating means for generating a vertical synchronization signal;
Horizontal synchronization signal generating means for generating a horizontal synchronization signal;
Vertical transfer driving means for driving a vertical transfer path in the imaging means by a vertical transfer pulse based on the vertical synchronization signal;
Horizontal transfer driving means for driving a horizontal transfer path in the imaging means by a horizontal transfer pulse based on the horizontal synchronization signal;
Frequency changing means for changing the frequency of the horizontal synchronizing signal;
Pulse number changing means for changing the number of horizontal transfer pulses;
Monitoring means for monitoring a reference portion of an output signal from the imaging means;
Clamping means for clamping the reference portion;
Clamp pulse output means for outputting a clamp pulse for performing the clamping;
Phase changing means for changing the phase of the clamp pulse output from the clamp pulse output means;
Comparing the level of the reference unit with a predetermined level, and when the level of the reference unit exceeds the predetermined level, and controlling the frequency changing means to lengthen the period of the horizontal synchronization signal, The pulse number changing means is controlled to increase the number of the horizontal transfer pulses, and further, the phase changing means is controlled to change the phase of the clamp pulse, so that the level of the reference portion is the predetermined level. An imaging apparatus comprising: control means for outputting a clamp pulse whose phase has been changed by the phase changing means after convergence within a level.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005111070A JP4630715B2 (en) | 2004-04-07 | 2005-04-07 | Imaging device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004112748 | 2004-04-07 | ||
| JP2005111070A JP4630715B2 (en) | 2004-04-07 | 2005-04-07 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005323349A JP2005323349A (en) | 2005-11-17 |
| JP4630715B2 true JP4630715B2 (en) | 2011-02-09 |
Family
ID=35470239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005111070A Expired - Fee Related JP4630715B2 (en) | 2004-04-07 | 2005-04-07 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4630715B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4872502B2 (en) * | 2006-07-19 | 2012-02-08 | カシオ計算機株式会社 | Imaging apparatus and clamping method thereof |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3665399B2 (en) * | 1995-12-20 | 2005-06-29 | ペンタックス株式会社 | Imaging device for electronic endoscope |
| JPH10210370A (en) * | 1997-01-28 | 1998-08-07 | Sharp Corp | Solid-state imaging device |
| JP4579460B2 (en) * | 2001-07-04 | 2010-11-10 | キヤノン株式会社 | Signal processing device |
| JP4700855B2 (en) * | 2001-08-02 | 2011-06-15 | キヤノン株式会社 | Imaging device |
| JP4350924B2 (en) * | 2001-09-07 | 2009-10-28 | 富士フイルム株式会社 | Solid-state imaging device and driving method thereof |
| JP2003143488A (en) * | 2001-11-02 | 2003-05-16 | Olympus Optical Co Ltd | Image pickup device |
| JP2003174594A (en) * | 2001-12-06 | 2003-06-20 | Matsushita Electric Ind Co Ltd | Solid-state imaging device |
| JP4257829B2 (en) * | 2002-03-01 | 2009-04-22 | シャープ株式会社 | Solid-state imaging device and electronic information device |
-
2005
- 2005-04-07 JP JP2005111070A patent/JP4630715B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005323349A (en) | 2005-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8988593B2 (en) | Image sensor and image capturing apparatus with focus detection pixels | |
| JP5609358B2 (en) | IMAGING DEVICE, CONTROL DEVICE, AND IMAGING DEVICE CONTROL METHOD | |
| JP5247007B2 (en) | Imaging apparatus and imaging system | |
| US8913161B2 (en) | Image capturing apparatus and control method thereof | |
| JP2008054136A (en) | Imaging apparatus and drive control method | |
| JP4160179B2 (en) | Solid-state imaging device and signal readout method | |
| JP4622790B2 (en) | Imaging device and imaging apparatus | |
| JP2007288131A (en) | Solid-state imaging device, solid-state imaging device, and driving method thereof | |
| JP4630715B2 (en) | Imaging device | |
| JP5627728B2 (en) | Imaging apparatus and imaging system | |
| JP4199381B2 (en) | Solid-state imaging device and solid-state imaging device driving method | |
| JP4745677B2 (en) | Imaging device | |
| JP4208547B2 (en) | Electronic camera | |
| JP2007088842A (en) | Imaging apparatus, and method of driving imaging device | |
| JP5334113B2 (en) | Amplifying unit control device and amplifying unit control program | |
| JP4843400B2 (en) | High-speed imaging device | |
| JP5159387B2 (en) | Imaging apparatus and imaging element driving method | |
| JP2008228118A (en) | Correction apparatus for solid-state electronic image sensor and correction method thereof | |
| JP2007036457A (en) | Imaging device | |
| JP2004147207A (en) | Electronic camera | |
| JPH0446477A (en) | Driving method for solid-state image pickup device | |
| JP4824467B2 (en) | Solid-state imaging device | |
| JPH10210370A (en) | Solid-state imaging device | |
| JP2007088843A (en) | Imaging apparatus, and method of driving imaging device | |
| JP2006157535A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |