JP6765952B2 - Image sensor control device, its control method, control program, and image sensor - Google Patents
Image sensor control device, its control method, control program, and image sensor Download PDFInfo
- Publication number
- JP6765952B2 JP6765952B2 JP2016247819A JP2016247819A JP6765952B2 JP 6765952 B2 JP6765952 B2 JP 6765952B2 JP 2016247819 A JP2016247819 A JP 2016247819A JP 2016247819 A JP2016247819 A JP 2016247819A JP 6765952 B2 JP6765952 B2 JP 6765952B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- conversion
- pixels
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、撮像素子制御装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、相関二重サンプリングを行う撮像素子制御装置に関する。 The present invention relates to an image sensor control device, a control method thereof, a control program, and an image pickup device, and more particularly to an image sensor control device that performs correlated double sampling.
一般に、デジタルカメラなどの撮像装置で用いられるCMOSイメージセンサでは、黒レベルの基準となる遮光画素(OB画素)と入射光に応じた画像信号を出力する開口画素とを有している。そして、OB画素は、開口画素の出力レベルを黒レベルに基づいて補正するための補正値取得領域として用いられる。 Generally, a CMOS image sensor used in an imaging device such as a digital camera has a light-shielding pixel (OB pixel) that serves as a reference for a black level and an aperture pixel that outputs an image signal according to incident light. Then, the OB pixel is used as a correction value acquisition region for correcting the output level of the aperture pixel based on the black level.
ところが、OB画素が所謂ランダムノイズの影響を受けて、OB画素で得られる補正値における誤差が大きくなると、OB画素の出力に基づいて開口画素の出力を補正した際、パターンノイズが生じて画質が劣化することがある。 However, when the OB pixel is affected by so-called random noise and the error in the correction value obtained by the OB pixel becomes large, when the output of the aperture pixel is corrected based on the output of the OB pixel, pattern noise occurs and the image quality is improved. May deteriorate.
上述のようなランダムノイズの影響を低減する撮像装置として、例えば、特許文献1に記載の撮像装置が知られている。
As an image pickup device that reduces the influence of random noise as described above, for example, the image pickup device described in
特許文献1に規定の撮像装置で用いられるCMOSイメージセンサでは、列毎にAD変換部を有するカラム処理部が備えられている。そして、カラム処理部において画素のリセットレベルと信号レベルとを各々複数回ADサンプリングして、その結果を平均化する。これによって、画素およびAD変換部で生じるランダムノイズを低減している。
The CMOS image sensor used in the image pickup apparatus specified in
しかしながら、特許文献1に記載の撮像装置においては、リセットレベルと信号レベルとを複数回ADサンプリングしているので、画像信号の読み出し時間が不可避的に増加する。この結果、撮影が完了するまでの時間が増加することになる。一方、読み出し時間を低減しようとしてサンプリングを行うと、サンプリングによるノイズ低減効果を十分に得ることができない。
However, in the image pickup apparatus described in
そこで、本発明の目的は、画像信号の読み出し時間が増加することなく、ランダムノイズによる影響を低減して画質が劣化することのない撮像素子制御装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。 Therefore, an object of the present invention is an image sensor control device, a control method thereof, a control program, and an image pickup device, which do not increase the reading time of an image signal, reduce the influence of random noise, and do not deteriorate the image quality. Is to provide.
上記の目的を達成するため、本発明による撮像素子制御装置は、複数の画素が2次元マトリックス状に配列され、光を受光する第1の画素領域と、遮光された第2の画素領域とを有する撮像素子について前記画素の読み出し制御を行う撮像素子制御装置であって、前記第1の画素領域の画素について読み出し制御を行って得られた第1の画素信号についてAD変換を行い、前記第2の画素領域の画素について読み出し制御を行って得られた第2の画素信号についてAD変換を行う読み出し手段と、前記読み出し手段を制御して前記第1の画素信号についてAD変換を1回行わせる間、前記第2の画素信号についてAD変換を複数回行わせる制御手段と、前記複数回のAD変換によるAD変換結果を加算平均する演算手段と、を有することを特徴とする。 In order to achieve the above object, in the image pickup element control device according to the present invention, a plurality of pixels are arranged in a two-dimensional matrix, and a first pixel region that receives light and a second pixel region that is shielded from light are provided. An image pickup element control device that performs readout control of the pixels of the image pickup element, the first pixel signal obtained by readout control of the pixels in the first pixel region is subjected to AD conversion, and the second While the reading means that performs AD conversion on the second pixel signal obtained by performing reading control on the pixels in the pixel region of No. 1 and the reading means that controls the reading means to perform AD conversion once on the first pixel signal. The second pixel signal is characterized by having a control means for performing AD conversion a plurality of times, and a calculation means for adding and averaging the AD conversion results obtained by the plurality of AD conversions.
本発明によれば、画像信号の読み出し時間の増加を防止して、ランダムノイズによる影響を低減して画質の劣化を低減することができる。 According to the present invention, it is possible to prevent an increase in the reading time of an image signal, reduce the influence of random noise, and reduce the deterioration of image quality.
以下に、本発明の実施の形態による撮像素子制御装置の一例について図面を参照して説明する。 An example of the image sensor control device according to the embodiment of the present invention will be described below with reference to the drawings.
[第1の実施形態]
図1は、本発明の第1の実施形態に係る撮像素子制御装置が用いられる撮像装置の一例についてその構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of an example of an image pickup device in which the image pickup device control device according to the first embodiment of the present invention is used.
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)100であり、複数の画素104が2次元マトリックス状に配列された画素部101を備えている。画素104には、光学的に遮光され黒レベルの基準となる画素であるOB画素105と入射光を受光して当該入射光に応じた信号(画素信号)を出力する開口画素106とがある。画素部101はOB領域102および開口画素領域103を有しており、OB領域102においてはOB画素105が2次元マトリックス状に配列されている。また、開口画素領域103においては、開口画素106が2次元マトリックス状に配列されている。
The illustrated imaging device is, for example, a digital camera (hereinafter, simply referred to as a camera) 100, and includes a
さらに、カメラ100は、垂直走査回路108、垂直信号線107、列回路109、および列回路制御部110を備えている。垂直走査回路108は、画素信号を出力する画素104を選択して順次走査して、その画素信号を垂直信号線107に出力する。列回路109は、列回路制御部110の制御下で垂直信号線107に出力された画素信号を列毎に処理する。
Further, the
また、カメラ100は、水平走査回路111、タイミング制御部112、および出力部113を有している。水平走査回路111は列回路109で処理された画素信号を列毎に順次読み出す。タイミング制御部112は、垂直走査回路108および水平走査回路111の動作のタイミングを制御して、出力部113から画像信号を出力する。
Further, the
列回路制御部110は、後述するように、第1のスイッチ信号P_SW1、第2のスイッチ信号P_SW2、第3のスイッチ信号P_SW3、第4のスイッチ信号P_SW4、および第5のスイッチ信号P_SW5を列回路109に出力する。また、列回路制御部110は、ランプ信号Vramp、基準電圧Vref、カウントリセット信号P_rst_count、およびクロックCLKを列回路109に出力する。
As will be described later, the column
図2は、図1に示す画素についてその構成の一例を示す図である。 FIG. 2 is a diagram showing an example of the configuration of the pixels shown in FIG.
画素104はフォトダイオード(PD:光電変換部)201、浮遊拡散層202、画素トランジスタ203、選択トランジスタ204、転送トランジスタ205、およびリセットトランジスタ206を有している。PD201は光電変換によって入射光に応じた電荷を出力する。転送トランジスタ205はPD201の電荷を浮遊拡散層202に転送する。浮遊拡散層202は電荷を電圧に変換する。画素トランジスタ203は浮遊拡散層202の電圧に応じた電圧信号を画素信号として出力する。選択トランジスタ204は画素トランジスタ203を選択的に垂直信号線107に接続する。リセットトランジスタ106は浮遊拡散層202の電荷をリセットするためのトランジスタである。
The
選択トランジスタ204、転送トランジスタ205、およびリセットトランジスタ206には垂直走査回路108からそれぞれ選択信号SEL、転送信号TX、およびリセット信号RESが送られる。ここでは、画素トランジスタ203から垂直信号線107に出力される画素信号をVpixとする。
The selection signal SEL, the transfer signal TX, and the reset signal RES are sent from the
図3は、図2に示す画素の読み出し動作を説明するためのタイミング図である。 FIG. 3 is a timing diagram for explaining the pixel reading operation shown in FIG.
期間T300において、タイミング制御部112の制御下で垂直走査回路108は転送信号TXおよびリセット信号RESをハイレベル(Hレベル)とする。これによって、転送トランジスタ205およびリセットトランジスタ206がオン状態となって、PD201および浮遊拡散層202は電源電圧VDDに応じた電位にリセットされる。
In the period T300, the
T301期間において、画素部101に光が入射し、電荷の蓄積が行われる。ここでは、タイミング制御部112の制御下で、垂直走査回路108は選択信号SELをHレベルとする。これによって、選択トランジスタ204がオン状態となって、リセットレベルが垂直出力線107を介して画素信号Vpixとして出力される。この際の画素信号VpixをN信号とする。
During the T301 period, light is incident on the
T302期間において、垂直走査回路108は転送信号TXをHレベルとする。これによって、転送トランジスタ205がオン状態となって、PD201に蓄積された電荷が浮遊拡散層202に転送される。そして、PD201に蓄積された電荷に、浮遊拡散層202で保持されたリセットレベルを加算した画素信号Vpixが画素トランジスタ203および選択トランジスタ204を介して垂直信号線107に出力される。この際の画素信号VpixをS信号とする。
In the T302 period, the
図4は、図1に示す列回路についてその構成の一例を示す図である。 FIG. 4 is a diagram showing an example of the configuration of the column circuit shown in FIG.
列回路109は、比較器402、カウンタ403、OR回路OG1を備えるAD変換部404、および増幅器401を有している。さらに、列回路109は、第1〜第5のスイッチSW1〜SW5、クランプ容量素子Cclmp、およびサンプルホールド容量素子C_Vpix1およびC_Vpix2を有する。第1〜第5のスイッチSW1〜SW5はそれぞれ第1のスイッチ信号P_SW1〜P_SW5によってオンオフ制御される。
The
増幅器401には画素部101から垂直信号線107を介して画素信号Vpixが入力される。そして、増幅器401は画素信号Vpixを増幅して、増幅信号Vpix_ampを出力する。第1〜第4のスイッチSW1〜SW4のオンオフ制御に応じて、サンプルホールド容量素子C_Vpix1およびC_Vpix2は増幅信号Vpix_ampをサンプルホールドして、サンプルホールド信号Vpix_shとして出力する。
A pixel signal Vpix is input to the
比較器402にはサンプルホールド信号Vpix_shが入力される。さらに、比較器402には、第5のスイッチSW5のオンオフ制御に応じて、ランプ信号Vrampがクランプ容量素子Cclmpを介してランプ信号Vcompとして入力される。図示のように、比較器402の一方の入力端にはサンプルホールド信号Vpix_shが入力され、他方の入力端にはランプ信号Vcompが入力される。そして、比較器402はその比較結果を比較結果信号CMPとしてOR回路OG1に出力する。
The sample hold signal Vpix_sh is input to the
さらに、OR回路OG1には、第5のスイッチ信号P_SW5が入力されており、OR回路OG1は比較結果信号CMPおよび第5のスイッチ信号P_SW5を論理和したOR信号をカウンタ403に出力する。カウンタ403はOR信号がLレベルである期間において、つまり、比較結果信号CMPおよび第5のスイッチ信号P_SW5がLレベルの期間にクロックCLKに基づいてカウントを行う。そして、カウンタ403はカウント結果をカウント信号として出力する。
Further, a fifth switch signal P_SW5 is input to the OR circuit OG1, and the OR circuit OG1 outputs an OR signal that is the OR of the comparison result signal CMP and the fifth switch signal P_SW5 to the
なお、カウンタ403は、カウントリセット信号P_rst_countに応じてカウント結果をリセットする。
The
図5は、図4に示す列回路においてOB領域に備えられたOB画素の信号読み出しに応じた動作を説明するための図である。 FIG. 5 is a diagram for explaining an operation in response to signal reading of OB pixels provided in the OB region in the column circuit shown in FIG.
図示の例では、OB画素105の信号レベルは小さいので、複数回のAD変換が行われる。また、第1〜第5のスイッチ信号P_SW1〜P_SW5がHレベルの際に第1〜第5のスイッチSW1〜SW5はオンし、第1〜第5のスイッチ信号P_SW1〜P_SW5がLレベルの際に第1〜第5のスイッチSW1〜SW5はオフする。なお、図5において省略されているが、ランプ信号Vrampは期間T506〜T528において単調増加する。
In the illustrated example, since the signal level of the
期間T500において、列回路制御部110は、カウンタリセット信号P_rst_countがHレベルとして、カウンタ403をリセットする。さらに、列回路制御部110は、第5のスイッチ信号P_SW5をHレベルとして、第5のスイッチSW5をオンとする。これによって、ランプ信号Vcompが基準電圧Vrefにクランプされる。さらに、第5のスイッチ信号P_SW5がHレベルとなると、OR回路OG1の出力がHレベルとなり、カウンタ403はカウント動作を停止する。
In the period T500, the column
続いて、期間T501期間において、垂直走査回路108によって選択された画素行からN信号が出力される。これによって、増幅信号Vpix_ampが変化する。さらに、列回路制御部110は、第1のスイッチ信号P_SW1をHレベルとしてスイッチSW1をオンとする。これによって、増幅信号Vpix_ampがサンプルホールド容量素子C_Vpix1でサンプルホールドされる。以下、増幅信号Vpix_ampをAMP_N信号とする。
Subsequently, in the period T501, the N signal is output from the pixel row selected by the
期間T502において、列回路制御部110は、第2のスイッチ信号P_SW2をHレベルとしてスイッチSW2をオンとする。これによって、サンプルホールド容量素子C_Vpix1にサンプルホールドされたAMP_N信号が比較器402に入力される。そして、比較器402はランプ信号VcompとAMP_N信号とを比較して比較結果信号CMPを出力する。
In the period T502, the column
なお、期間T502においては、ランプ信号Vcompの電位(電圧)はAMP_N信号の電位よりも低いので、比較結果信号CMPはLレベルとなる。 In the period T502, the potential (voltage) of the lamp signal Vcomp is lower than the potential of the AMP_N signal, so that the comparison result signal CMP becomes the L level.
さらに、列回路制御部110は、第5のスイッチ信号P_SW5をLレベルとする。これによって、比較結果信号CMPおよび第5のスイッチ信号P_SW5に応じて、OR回路OG1はLレベルのOR信号を出力する。この結果、期間T502において、第5のスイッチ信号P_SW5がLレベルとなったタイミングで、カウンタ403はカウント動作を開始する。
Further, the column
期間T503において、ランプ信号Vcompの電位がAMP_N信号の電位よりも高くなるので、比較器402の出力である比較結果信号CMPはHレベルとなる。よって、OR回路OG1はHレベルのOR信号を出力するので、カウンタ403はカウント動作を停止する。
In the period T503, the potential of the lamp signal Vcomp becomes higher than the potential of the AMP_N signal, so that the comparison result signal CMP, which is the output of the
なお、この際、カウンタ403は、後述するように、複数回AD変換した結果を加算して出力するため、そのカウント値を保持する。
At this time, as will be described later, the
期間T504期間において、列回路制御部110は、第5のスイッチ信号P_SW5をLレベルして、第5のスイッチSW5をオンとする。これによって、ランプ信号Vrampは基準電位Vrefにリセットされ、基準電圧Vrefにクランプされる。また、第5のスイッチ信号P_SW5がHレベルであるので、OR回路OG1はOR信号をHレベルに維持する。この結果、カウンタ403は動作を停止した状態を維持する。
During the period T504, the column
期間T505において、垂直走査回路108は転送信号TXをHレベルとして転送トランジスタ205をオンとする。これによって、垂直信号線107を介して増幅器401にS信号が出力される。また、列回路制御部110は、第3のスイッチ信号P_SW3をHレベルとして第3のスイッチSW3をオンとする。この結果、S信号はサンプルホールド容量素子C_Vpix2にサンプルホールドされて、増幅信号Vpix_ampがAMP_S信号として出力される。
In the period T505, the
期間T506〜T507においては、前述の期間T502〜T503と同様の動作が行われる。なお、ここでは、カウンタ403は期間T503において保持したカウント値からカウントの開始および停止を行うので、結果的にAD変換結果が加算されることになる。
In the periods T506 to T507, the same operation as the above-mentioned periods T502 to T503 is performed. Here, since the
期間T508期間において、列回路制御部110は第5のスイッチ信号P_SW5をHレベルとしてスイッチSW5をオンとする。これによって、前述のように、ランプ信号Vcompが基準電圧Vrefにクランプされる。
During the period T508, the column
期間T509〜T516期間においては、期間T506〜T508と同様の動作が繰り返して行われる。なお、期間T516においてカウンタ403が保持するカウント値はAMP_N信号を複数回AD変換した結果を加算したものであり、演算回路に(図示せず)よって当該加算結果をAD変換した回数で除算して平均化する。
In the period T509 to T516, the same operation as in the periods T506 to T508 is repeated. The count value held by the
期間T517において、列回路制御部110はカウンタリセット信号P_rst_countをHレベルとして、カウンタ403のカウント値を初期値にリセットする。さらに、列回路制御部110は第4のスイッチ信号P_SW4をHレベルとしてスイッチSW4をオンとする。これによって、サンプルホールド容量素子C_Vpix2にサンプルホールドされたAMP_S信号が比較器402に入力される。
In the period T517, the column
期間T518〜T528においては、期間T506〜T516と同様の動作がAMP_S信号に対して行われる。なお、期間T528においてカウンタ403が保持するカウント値はAMP_S信号を複数回AD変換した結果を加算したものであり、演算回路によって当該加算結果をAD変換した回数で除算して平均化する。
In the periods T518 to T528, the same operation as in the periods T506 to T516 is performed on the AMP_S signal. The count value held by the
期間T529において、列回路制御部110は、カウンタリセット信号P_rst_countをHレベルとして、カウンタ403のカウント値を初期値にリセットする。そして、期間T529において、選択された行の読み出しの動作が完了し、垂直走査回路108によって次の行が選択されて同様の動作が行われる。
In the period T529, the column
図6は、図4に示す列回路において開口画素領域に備えられた開口画素の信号読み出しに応じた動作を説明するための図である。なお、図6において省略されているが、ランプ信号Vrampは期間T606〜T607において単調増加する。 FIG. 6 is a diagram for explaining an operation in response to signal reading of an aperture pixel provided in an aperture pixel region in the column circuit shown in FIG. Although omitted in FIG. 6, the lamp signal Vramp monotonically increases during the periods T606 to T607.
期間T600〜603においては、図5で説明した期間T500〜T503と同様の動作が行われる。なお、期間T603において、カウンタ403が保持するカウント値がAMP_N信号に応じたデジタル信号である。
In the periods T600 to 603, the same operation as in the periods T500 to T503 described with reference to FIG. 5 is performed. In the period T603, the count value held by the
期間T604において、列回路制御部110は、第5のスイッチ信号P_SW5をHレベルとして第5のスイッチSW5をオンとする。これによって、ランプ信号Vrampがリセットされて、基準電圧Vrefにクランプされる。また、第5のスイッチ信号P_SW5がHレベルであるので、OR回路OG1の出力であるOR信号はHレベルが維持されて、カウンタ403は動作を停止した状態である。
In the period T604, the column
期間T605においては、図5で説明した期間T505と同様の動作が行われる。また、期間T606においては、期間T602でAMP_N信号に対して行われた動作がAMP_S信号について行われる。期間T607においては、期間T603と同様の動作が行われる。この際、カウンタ403が保持するカウント値がAMP_S信号に応じたデジタル信号となる。
In the period T605, the same operation as in the period T505 described with reference to FIG. 5 is performed. Further, in the period T606, the operation performed on the AMP_N signal in the period T602 is performed on the AMP_S signal. In the period T607, the same operation as in the period T603 is performed. At this time, the count value held by the
期間T610においては、列回路制御部110は、カウンタリセット信号P_rst_countをHレベルとして、カウンタ403のカウント値を初期値にリセットする。期間T610において、選択された行の読み出しの動作が完了して、垂直走査回路108によって次の行が選択されて同様の動作が行われる。なお、図6において、期間T500〜T529は図5に示す期間T500〜T529と同様の期間である。
In the period T610, the column
上述の説明から明らかなように、開口画素領域103におけるS信号についてAD変換を開始するタイミングでは、OB領域102におけるN信号について複数回のAD変換が行われる。
As is clear from the above description, at the timing of starting the AD conversion for the S signal in the
ここで、上述のカメラにおけるノイズの低減効果とAD変換回数の決定について説明する。 Here, the noise reduction effect and the determination of the AD conversion number in the above-mentioned camera will be described.
図示のカメラで用いられる相関二重サンプリングにおいて、複数回サンプリングのノイズ低減効果は誤差伝搬よって次の式(1)で与えられる。 In the correlated double sampling used in the illustrated camera, the noise reduction effect of multiple samplings is given by the following equation (1) by error propagation.
式(1)において、σmultiは複数回サンプリングを行った際のノイズレベルを示し、σsingleは複数回サンプリングを行わない際のノイズレベルを示す。また、lおよびmはそれぞれAMP_N信号およびAMP_S信号のサンプリング回数を示す。 In the equation (1), σmulti indicates the noise level when sampling is performed multiple times, and σsingle indicates the noise level when sampling is not performed multiple times. Further, l and m indicate the number of sampling times of the AMP_N signal and the AMP_S signal, respectively.
式(1)から、AMP_N信号およびAMP_S信号のサンプリング回数の合計が一定である条件下においては、サンプリング回数lおよびmが等しい場合に、複数回サンプリングによるランダムノイズの低減効果が最大となる。 From the equation (1), under the condition that the total number of samplings of the AMP_N signal and the AMP_S signal is constant, the effect of reducing random noise by multiple samplings is maximized when the sampling times l and m are equal.
一方、同一の条件において、サンプリング回数lおよびmのいずれか一方が1である場合、複数回サンプリングによるランダムノイズの低減効果は最小となる。 On the other hand, under the same conditions, when either one of the sampling times l and m is 1, the effect of reducing random noise by multiple samplings is minimized.
例えば、OB領域102におけるAMP_N信号およびAMP_S信号のサンプリング回数の合計を9回とする。この場合、相関二重サンプリングにおいて複数回サンプリングを行った際のノイズ低減効果が最大となるように、AMP_N信号のサンプリング回数を5回、AMP_S信号のサンプリング回数を4回とする。なお、このサンプリング回数は一例であり、この例には限定されない。
For example, the total number of sampling times of the AMP_N signal and the AMP_S signal in the
さらに、撮像条件(例えば、高感度時、長秒露光時、又は高温環境)などの変化で、遮光されているにも拘わらず、OB領域102におけるS信号の信号レベルが高くなることがある。このような場合には、AD変換におけるダイナミックレンジを変更して、AMP_N信号およびAMP_S信号の合計AD変換回数を変更するようにしてもよい。
Further, due to changes in imaging conditions (for example, high sensitivity, long exposure, or high temperature environment), the signal level of the S signal in the
このようにして、本発明の第1の実施形態では、開口画素領域から得られた第1の画素信号についてAD変換を1回行わせる間、OB領域から得られた第2の画素信号についてAD変換を複数回行わせる。そして、当該複数回のAD変換によるAD変換結果を加算平均するようにした。これによって、画像信号の読み出しに要する時間の増加を防止しつつ、OB領域におけるランダムノイズが低減される結果、ランダムノイズに起因するパターンノイズの発生を低減することができる。 In this way, in the first embodiment of the present invention, while the AD conversion is performed once for the first pixel signal obtained from the aperture pixel region, AD is performed for the second pixel signal obtained from the OB region. Have the conversion performed multiple times. Then, the AD conversion results obtained by the plurality of AD conversions are added and averaged. As a result, the random noise in the OB region is reduced while preventing an increase in the time required for reading the image signal, and as a result, the generation of pattern noise due to the random noise can be reduced.
[第2の実施形態]
続いて、本発明の第2の実施形態に係るカメラの一例について説明する。なお、第2の実施形態に係るカメラの構成は図1に示すカメラと同様である。
[Second Embodiment]
Subsequently, an example of the camera according to the second embodiment of the present invention will be described. The configuration of the camera according to the second embodiment is the same as that of the camera shown in FIG.
図7は、本発明の第2の実施形態に係るカメラで用いられる撮像素子における画素の構成についてその一例を示す図である。 FIG. 7 is a diagram showing an example of the configuration of pixels in the image sensor used in the camera according to the second embodiment of the present invention.
図7に示す画素104は、図2で説明した画素104と異なり、瞳分割に応じた複数のPD701および702を有している。転送トランジスタ706および707はそれぞれPD701および702の電荷を浮遊拡散層703に転送する。画素トランジスタ704は浮遊拡散層703の電圧に応じた電圧信号を画素信号として出力する。選択トランジスタ705は画素トランジスタ704を選択的に垂直信号線107に接続する。リセットトランジスタ708は浮遊拡散層703の電荷をリセットするためのトランジスタである。
The
選択トランジスタ705、転送トランジスタ706および707、およびリセットトランジスタ708には垂直走査回路108からそれぞれ選択信号SEL、転送信号TX_AおよびTX_B、およびリセット信号RESが送られる。
The selection signal SEL, the transfer signals TX_A and TX_B, and the reset signal RES are sent from the
図8は、図7に示す画素の読み出し動作を説明するためのタイミング図である。 FIG. 8 is a timing diagram for explaining the pixel reading operation shown in FIG. 7.
期間T800において、垂直走査回路108は転送信号TX_AおよびTX_Bとリセット信号REをHレベルとして、転送トランジスタ706および707とリセットトランジスタ708をオン状態とする。これによって、PD701および702と浮遊拡散層703とは電源電圧VDDに応じた電位にリセットされる。
In the period T800, the
期間T801において、画素部101に光が入射して、PD701および702における電荷蓄積が開始する。垂直走査回路108は選択信号SELをHレベルとして選択トランジスタ705をオン状態とする。これによって、リセットレベルが垂直出力線107に画素信号Vpixとして出力される。この際の画素信号VpixをN信号とする。
In the period T801, light is incident on the
期間T802において、垂直走査回路108は転送信号TX_AをHレベルとして転送トランジスタA706とオンする。これによって、PD701に蓄積された電荷が浮遊拡散層703に転送される。そして、PD701に蓄積された電荷に、浮遊拡散層703で保持されたリセットレベルを加算した画素信号Vpixが画素トランジスタ704および選択トランジスタ705を介して垂直信号線107に出力される。この際の画素信号VpixをS_A信号とする。
In the period T802, the
期間T803において、垂直走査回路108は転送信号TX_AおよびTX_BをHレベルとして転送トランジスタ706および707をオンとする。これによって、PD701および702に蓄積された電荷が浮遊拡散層703に転送される。そして、PD701および702に蓄積された電荷に、浮遊拡散層703で保持されたリセットレベルを加算した画素信号Vpixが画素トランジスタ704および選択トランジスタ705を介して垂直信号線107に出力される。この際の画素信号VpixをS_AB信号とする。
During period T803, the
図9は、本発明の第2の実施形態に係るカメラで用いられる列回路においてOB領域に備えられたOB画素の信号読み出しに応じた動作を説明するための図である。なお、第2の実施形態に係るカメラで用いられる列回路の構成は図4に示す列回路と同様である。 FIG. 9 is a diagram for explaining an operation in response to signal reading of OB pixels provided in an OB region in a column circuit used in a camera according to a second embodiment of the present invention. The configuration of the column circuit used in the camera according to the second embodiment is the same as that of the column circuit shown in FIG.
図示の例では、OB画素105の信号レベルは小さいので、複数回のAD変換が行われる。また、図9において省略されているが、ランプ信号Vrampは期間T906〜T917および期間T920〜930において単調増加する。
In the illustrated example, since the signal level of the
期間T900において、列回路制御部110はカウンタリセット信号P_rst_countをHレベルとしてカウンタ403をリセットする。さらに、列回路制御部110は、第5のスイッチ信号P_SW5をHレベルとしてスイッチSW5をオンとする。これによって、ランプ信号Vcompが基準電圧Vrefにクランプされる。そして、第5のスイッチ信号P_SW5がHレベルとなると、OR回路OG1の出力であるOR信号がHレベルとなって、カウンタ403はカウント動作を停止する。
In the period T900, the column
期間T901〜T904においては、図5で説明した期間T501〜T504と同様の動作が行われる。 In the periods T901 to T904, the same operation as in the periods T501 to T504 described with reference to FIG. 5 is performed.
期間T905においては、垂直走査回路108は転送信号TX_AをHレベルとして転送トランジスタ706をオンとする。これによって、前述のように、垂直信号線107を介して増幅器401にS_A信号が出力される。さらに、列回路制御部110は、第3のスイッチ信号P_SW3をHレベルとして第3のスイッチSW3をオンとする。これによって、S_A信号がサンプルホールド容量素子C_Vpix2にサンプルホールドされる。なお、ここでは、増幅器401の出力である増幅信号Vpix_ampをAMP_S_A信号とする。
During the period T905, the
期間T906〜T909においては、図5で説明した期間T506〜T509と同様の動作が行われる。期間T910においては、期間T907と同様の動作が行われる。その際、カウンタ403が保持するカウント値は、AMP_N信号を複数回AD変換した結果を加算したものであり、演算回路によって当該加算結果がAD変換した回数で除算されて平均化される。
In the periods T906 to T909, the same operation as in the periods T506 to T509 described with reference to FIG. 5 is performed. In the period T910, the same operation as in the period T907 is performed. At that time, the count value held by the
期間T911においては、列回路制御部110は、第5のスイッチ信号P_SW5をHレベルとして第5のスイッチSW5をオンとする。これによって、ランプ信号Vcompが基準電圧Vrefでクランプされる。そして、列回路制御部110は、カウンタリセット信号P_rst_countをHレベルとして、カウンタ403のカウント値を初期値にリセットする。
In the period T911, the column
期間T912において、列回路制御部110は第4のスイッチ信号P_SW4をHレベルとして第4のスイッチSW4をオンとする。これによって、比較器402には、サンプルホールド容量素子C_Vpix2でサンプルホールドされたAMP_S_A信号が入力される。
In the period T912, the column
期間T913〜T916においては、AMP_S_A信号について期間T906〜T909と同様の動作が行われる。期間T917においては、AMP_S_A信号について期間T910期間と同様の動作が行われる。この際、カウンタ403が保持するカウント値はAMP_S_A信号を複数回AD変換した結果を加算したものであり、演算回路によって当該加算結果をAD変換した回数で除算して平均化される。期間T918においては、期間T911と同様の動作が行われる。
In the periods T913 to T916, the same operation as in the periods T906 to T909 is performed for the AMP_S_A signal. In the period T917, the same operation as in the period T910 is performed for the AMP_S_A signal. At this time, the count value held by the
期間T919において、列回路制御部110は、転送信号TX_AおよびTX_BをHレベルとして転送トランジスタ706および707をオンとする。これによって、垂直信号線107を介して増幅器401にS_AB信号が出力される。さらに、列回路制御部110は、第1のスイッチSW1および第3のスイッチSW3をオンとして、S_AB信号をサンプルホールド容量素子C_Vpix1でサンプルホールドする。なお、ここでは、増幅器401の出力である増幅信号Vpix_ampをAMP_S_AB信号とする。
In the period T919, the column
期間T920〜T931においては、AMP_S_AB信号について図5で説明した期間T518〜T529と同様の動作が行われる。そして、期間T931において、選択された行の読み出しの動作が完了して、垂直走査回路108によって次の行が選択され同様の動作が行われる。
In the periods T920 to T931, the same operation as in the periods T518 to T529 described with reference to FIG. 5 is performed for the AMP_S_AB signal. Then, in the period T931, the operation of reading the selected row is completed, the next row is selected by the
図10は、本発明の第2の実施形態に係るカメラで用いられる列回路において開口画素領域に備えられた開口画素の信号読み出しに応じた動作を説明するための図である。なお、図10においは省略されているが、ランプ信号Vrampは期間T1006〜T1017および期間T1020〜T1030において単調増加する。 FIG. 10 is a diagram for explaining an operation in response to signal reading of an aperture pixel provided in an aperture pixel region in a column circuit used in a camera according to a second embodiment of the present invention. Although the odor is omitted in FIG. 10, the lamp signal Vlamp increases monotonically in the periods T1006 to T1017 and the periods T1020 to T1030.
期間T1001〜T1004においては、図6で説明した期間T601〜T604と同様の動作が行われる。 In the periods T1001 to T1004, the same operation as in the periods T601 to T604 described with reference to FIG. 6 is performed.
期間T1005において、列回路制御部110は、転送信号TX_AをHレベルとして転送トランジスタ706をオンとする。これによって、垂直信号線107を介して増幅器401にS_A信号が出力される。さらに、列回路制御部110は、第3のスイッチ信号P_SW3をHレベルとして第3のスイッチSW3をオンとする。その結果、S_A信号がサンプルホールド容量素子C_Vpix2でサンプルホールドされる。なお、増幅器401の出力である増幅信号Vpix_ampをAMP_S_A信号とする。
In the period T1005, the column
期間T1006〜T1007においては、期間T1002においてAMP_N信号について行われた動作をAMP_S_A信号について行う。期間T1008〜T1016においては、期間T1003と同様の動作が行われ、期間T1017およびT1018においては、期間T1004と同様の動作が行われる。また、期間T1019期間においては図9で説明した期間T919と同様の動作が行われる。 In the periods T1006 to T1007, the operation performed on the AMP_N signal in the period T1002 is performed on the AMP_S_A signal. In the periods T1008 to T1016, the same operation as the period T1003 is performed, and in the periods T1017 and T1018, the same operation as the period T1004 is performed. Further, in the period T1019, the same operation as the period T919 described with reference to FIG. 9 is performed.
期間T1020〜T1022においては、AMP_S_AB信号について期間T1006〜1007と同様の動作が行われる。期間T1023〜T1030においては、期間T1008〜T1015と同様の動作が行われる。 In the periods T1020 to T1022, the same operation as in the periods T1006 to 1007 is performed for the AMP_S_AB signal. In the periods T1023 to T1030, the same operation as in the periods T1008 to T1015 is performed.
期間T1031において、列回路制御部110は、カウンタリセット信号P_rst_countをHレベルとして、カウンタ403のカウント値を初期値にリセットする。そして、期間T1031において、画素部で選択された一行の動作が完了して垂直走査回路108によって次の行が選択され同様の動作が行われる。
In the period T1031, the column
このように、本発明の第2の実施形態では、開口領域103におけるS_A信号についてAD変換を開始する期間T1006において、OB領域102におけるN信号についてAD変換を行う。また、OB領域102におけるS_AB信号については開口領域103のS_A信号と同期間でAD変換を行う。
As described above, in the second embodiment of the present invention, the AD conversion is performed on the N signal in the
第2の実施形態においては、例えば、OB領域におけるAMP_N信号のサンプリング回数を3回、AMP_S_A信号のサンプリング回数を2回、AMP_S_AB信号をサンプリング回数が4回とする。なお、これらのサンプリング回数は一例であり、この例には限定されない。 In the second embodiment, for example, the number of samplings of the AMP_N signal in the OB region is 3 times, the number of samplings of the AMP_S_A signal is 2 times, and the number of samplings of the AMP_S_AB signal is 4 times. The number of samplings is an example, and is not limited to this example.
さらには、第1の実施形態と同様に、撮像条件などの変化で遮光されているにも拘わらず、OB領域102におけるS信号の信号レベルが高くなることがある。このような場合には、AD変換におけるダイナミックレンジを変更して、AMP_N信号、AMP_S_A信号、およびAMP_S_AB信号の合計AD変換回数を変更するようにしてもよい。これに伴って、開口領域103におけるS_AB信号についてAD変換を行っている期間に、OB領域102におけるS_A信号についてAD変換を行うようにしてもよい。
Further, as in the first embodiment, the signal level of the S signal in the
このようにして、本発明の第2の実施形態においても、OB領域におけるランダムノイズが低減される結果、ランダムノイズに起因するパターンノイズの発生を低減することができる。 In this way, also in the second embodiment of the present invention, as a result of reducing the random noise in the OB region, it is possible to reduce the generation of pattern noise caused by the random noise.
なお、図1には示されていないが、カメラは、撮像レンズ、そして、撮像素子から読み出された画像信号に対して所定の画像処理を行う画像処理部などの処理装置を備えている。 Although not shown in FIG. 1, the camera includes a processing device such as an image pickup lens and an image processing unit that performs predetermined image processing on an image signal read from the image sensor.
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 Although the present invention has been described above based on the embodiments, the present invention is not limited to these embodiments, and various embodiments within the scope of the gist of the present invention are also included in the present invention. ..
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像素子制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像素子制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above-described embodiment may be used as a control method, and the image sensor control device may be made to execute this control method. Further, a program having the functions of the above-described embodiment may be used as a control program, and the control program may be executed by a computer included in the image sensor control device. The control program is recorded on a computer-readable recording medium, for example.
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
101 画素部
102 OB領域
103 開口画素領域
108 垂直走査回路
109 列回路
110 列回路制御部
111 水平走査回路
112 タイミング制御部
113 出力部
101
Claims (7)
前記第1の画素領域の画素について読み出し制御を行って得られた第1の画素信号についてAD変換を行い、前記第2の画素領域の画素について読み出し制御を行って得られた第2の画素信号についてAD変換を行う読み出し手段と、
前記読み出し手段を制御して前記第1の画素信号についてAD変換を1回行わせる間、前記第2の画素信号についてAD変換を複数回行わせる制御手段と、
前記複数回のAD変換によるAD変換結果を加算平均する演算手段と、
を有することを特徴とする撮像素子制御装置。 An image sensor control device in which a plurality of pixels are arranged in a two-dimensional matrix and read-out control of the pixels is performed on an image sensor having a first pixel region that receives light and a second pixel region that is shielded from light. hand,
The second pixel signal obtained by performing AD conversion on the first pixel signal obtained by performing read control on the pixels in the first pixel region and performing read control on the pixels in the second pixel region. And the reading means to perform AD conversion
A control means for controlling the reading means to perform AD conversion for the first pixel signal once, and a control means for performing AD conversion for the second pixel signal a plurality of times.
An arithmetic means for adding and averaging the AD conversion results obtained by the plurality of AD conversions,
An image sensor control device characterized by having.
前記制御手段は、前記読み出し手段に、前記画素をリセットした際に得られた第2の画素信号がAD変換されている間に、前記複数の光電変換部で得られた第1の画素信号をAD変換させることを特徴とする請求項1に記載の撮像素子制御装置。 Each of the plurality of pixels has a plurality of pupil-divided photoelectric conversion units.
The control means receives the first pixel signal obtained by the plurality of photoelectric conversion units while the second pixel signal obtained when the pixel is reset is AD-converted to the reading means. The image pickup element control device according to claim 1, wherein the image sensor is subjected to AD conversion.
前記読み出し手段は、前記AD変換を行う際、前記第2の画素信号をサンプルホールドした後、前記第1の光電変換部および前記第2の光電変換部で得られた前記第1の画素信号をサンプルホールドし、さらに、前記第1の光電変換部で得られた前記第2の画素信号をサンプルホールドすることを特徴とする請求項3に記載の撮像素子制御装置。 A first photoelectric conversion unit and a second photoelectric conversion unit are provided as the plurality of photoelectric conversion units.
When the AD conversion is performed, the reading means samples and holds the second pixel signal, and then displays the first pixel signal obtained by the first photoelectric conversion unit and the second photoelectric conversion unit. The image pickup device control device according to claim 3, wherein the sample is held, and the second pixel signal obtained by the first photoelectric conversion unit is sample-held.
請求項1乃至4のいずれか1項に記載の撮像素子制御装置と、
前記読み出し手段によるAD変換で得られた画像信号に対して所定の画像処理を行う画像処理手段と、
を有することを特徴とする撮像装置。 An image sensor in which a plurality of pixels are arranged in a two-dimensional matrix and has a first pixel region that receives light and a second pixel region that is shielded from light.
The image sensor control device according to any one of claims 1 to 4.
An image processing means that performs predetermined image processing on the image signal obtained by AD conversion by the reading means, and
An imaging device characterized by having.
前記第1の画素領域の画素について読み出し制御を行って得られた第1の画素信号についてAD変換を行い、前記第2の画素領域の画素について読み出し制御を行って得られた第2の画素信号についてAD変換を行う読み出しステップと、
前記読み出しステップによって前記第1の画素信号についてAD変換を1回行わせる間、前記第2の画素信号についてAD変換を複数回行わせる制御ステップと、
前記複数回のAD変換によるAD変換結果を加算平均する演算ステップと、
を有することを特徴とする制御方法。 Control of an image sensor control device that controls reading out the pixels of an image sensor having a first pixel region in which a plurality of pixels are arranged in a two-dimensional matrix and receives light and a second pixel region that is shielded from light. It's a method
The second pixel signal obtained by performing AD conversion on the first pixel signal obtained by performing read control on the pixels in the first pixel region and performing read control on the pixels in the second pixel region. And the read step to perform AD conversion
A control step in which the AD conversion is performed a plurality of times for the second pixel signal while the AD conversion is performed once for the first pixel signal by the read step.
The calculation step of adding and averaging the AD conversion results obtained by the plurality of AD conversions,
A control method characterized by having.
前記撮像素子制御装置が備えるコンピュータに、
前記第1の画素領域の画素について読み出し制御を行って得られた第1の画素信号についてAD変換を行い、前記第2の画素領域の画素について読み出し制御を行って得られた第2の画素信号についてAD変換を行う読み出しステップと、
前記読み出しステップによって前記第1の画素信号についてAD変換を1回行わせる間、前記第2の画素信号についてAD変換を複数回行わせる制御ステップと、
前記複数回のAD変換によるAD変換結果を加算平均する演算ステップと、
を実行させることを特徴とする制御プログラム。 Used in an image sensor control device that controls reading out the pixels of an image sensor having a first pixel region that receives light and a second pixel region that is shielded from light, in which a plurality of pixels are arranged in a two-dimensional matrix. It is a control program that can be
In the computer included in the image sensor control device
The second pixel signal obtained by performing AD conversion on the first pixel signal obtained by performing read control on the pixels in the first pixel region and performing read control on the pixels in the second pixel region. And the read step to perform AD conversion
A control step in which the AD conversion is performed a plurality of times for the second pixel signal while the AD conversion is performed once for the first pixel signal by the read step.
The calculation step of adding and averaging the AD conversion results obtained by the plurality of AD conversions,
A control program characterized by executing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016247819A JP6765952B2 (en) | 2016-12-21 | 2016-12-21 | Image sensor control device, its control method, control program, and image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016247819A JP6765952B2 (en) | 2016-12-21 | 2016-12-21 | Image sensor control device, its control method, control program, and image sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018101938A JP2018101938A (en) | 2018-06-28 |
| JP6765952B2 true JP6765952B2 (en) | 2020-10-07 |
Family
ID=62715646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016247819A Expired - Fee Related JP6765952B2 (en) | 2016-12-21 | 2016-12-21 | Image sensor control device, its control method, control program, and image sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6765952B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7330684B2 (en) * | 2018-11-09 | 2023-08-22 | キヤノン株式会社 | Solid-state imaging device, control method thereof, imaging device, and program |
| WO2025197410A1 (en) * | 2024-03-21 | 2025-09-25 | パナソニックIpマネジメント株式会社 | Imaging device |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5045245B2 (en) * | 2007-05-31 | 2012-10-10 | 富士通セミコンダクター株式会社 | Imaging apparatus and image processing method |
| JP2013106225A (en) * | 2011-11-15 | 2013-05-30 | Canon Inc | Imaging apparatus and imaging system |
| JP6004660B2 (en) * | 2012-02-01 | 2016-10-12 | キヤノン株式会社 | Imaging device, imaging device, and driving method of imaging device |
| JP6415041B2 (en) * | 2013-11-29 | 2018-10-31 | キヤノン株式会社 | Imaging device, imaging system, driving method of imaging device, and driving method of imaging system |
-
2016
- 2016-12-21 JP JP2016247819A patent/JP6765952B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018101938A (en) | 2018-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6735582B2 (en) | Imaging device, driving method thereof, and imaging device | |
| US8698922B2 (en) | Black level correction for imaging pixels | |
| EP3313062B1 (en) | Image sensor, image capturing apparatus, and method for controlling image sensor | |
| US11165978B2 (en) | Imaging device, control method thereof, and imaging apparatus | |
| US9979910B2 (en) | Image capturing apparatus and control method thereof, and storage medium | |
| JP2011205225A (en) | Solid-state imaging device | |
| US10277855B2 (en) | Image sensing device and control method thereof with switchable analog-to-digital conversion modes based on the amount of dark current generated in pixels | |
| US10136086B2 (en) | Image pickup apparatus and image pickup method | |
| JP6734649B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, AND METHOD OF CONTROLLING IMAGING DEVICE | |
| JP6765952B2 (en) | Image sensor control device, its control method, control program, and image sensor | |
| JP5489739B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
| CN109286738B (en) | Image Sensors and Camera Equipment | |
| JP2022111738A (en) | Imaging device and image processing method | |
| JP6004656B2 (en) | Imaging device, control method thereof, and control program | |
| JP7385460B2 (en) | Imaging device and its control method | |
| JP2020170947A (en) | Imaging device and control method thereof, program, and storage medium | |
| JP6223267B2 (en) | Solid-state imaging device and imaging apparatus | |
| JP6433276B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| US20240397237A1 (en) | Image capturing apparatus, method for controlling the same, and storage medium | |
| US20170374309A1 (en) | Image capturing apparatus, control method therefor, and storage medium | |
| JP2024035623A (en) | Photoelectric conversion device, photoelectric conversion system, and photoelectric conversion method | |
| US10142571B2 (en) | Image capturing apparatus, method for controlling the same, image processing apparatus, and image processing method | |
| JP2012129871A (en) | Imaging apparatus | |
| JP2015119308A (en) | Image composition device, image composition method, imaging device, program, and storage medium | |
| HK1186029B (en) | Method and system of black level correction for imaging pixels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200916 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6765952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |