Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6029286B2 - 光電変換装置および撮像システム - Google Patents
[go: Go Back, main page]

JP6029286B2 - 光電変換装置および撮像システム - Google Patents

光電変換装置および撮像システム Download PDF

Info

Publication number
JP6029286B2
JP6029286B2 JP2012033359A JP2012033359A JP6029286B2 JP 6029286 B2 JP6029286 B2 JP 6029286B2 JP 2012033359 A JP2012033359 A JP 2012033359A JP 2012033359 A JP2012033359 A JP 2012033359A JP 6029286 B2 JP6029286 B2 JP 6029286B2
Authority
JP
Japan
Prior art keywords
digital signal
photoelectric conversion
bits
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012033359A
Other languages
English (en)
Other versions
JP2013172205A5 (ja
JP2013172205A (ja
Inventor
武 大屋
武 大屋
智也 大西
智也 大西
小林 大祐
大祐 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012033359A priority Critical patent/JP6029286B2/ja
Priority to US13/763,991 priority patent/US9325922B2/en
Publication of JP2013172205A publication Critical patent/JP2013172205A/ja
Publication of JP2013172205A5 publication Critical patent/JP2013172205A5/ja
Priority to US15/136,757 priority patent/US10362251B2/en
Application granted granted Critical
Publication of JP6029286B2 publication Critical patent/JP6029286B2/ja
Priority to US16/439,500 priority patent/US10708531B2/en
Priority to US16/892,052 priority patent/US11558572B2/en
Priority to US18/060,912 priority patent/US12160677B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は光電変換装置および撮像システムに関し、特に、画素がアナログデジタル変換部を有するものに関する。
画像センサにおいて、画素毎にアナログデジタル変換(以下、AD変換)を行う手段を設ける構成が特許文献1に記載されている。この構成によれば、センサの露光から、信号のAD変換までの動作を全ての画素で一括して行うことができる。
特開2006−203736号公報
しかしながら、AD変換の解像度をN−bitとすると(Nは自然数)、各画素から常にN個の信号を読み出す必要があるために、フレームレートが律速される。そのため、フレームレートを向上させることが困難であった。
本発明は、上記問題を解決することを目的とする。
上記課題を解決する本発明の一の側面は、複数の画素と制御部とを有する光電変換装置であって、前記複数の画素の各々は、電荷を生成する光電変換部と、該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、さらに、前記制御部は、前記デジタル信号のビット数を可変とし、前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、被写体に動体が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、被写体に動体が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする電変換装置である。
また、別の側面は、複数の画素と制御部とを有する光電変換装置であって、前記複数の画素の各々は、電荷を生成する光電変換部と、該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、さらに、前記制御部は、前記デジタル信号のビット数を可変とし、前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、被写体に顔が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、被写体に顔が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする光電変換装置である。
また、別の側面は、複数の画素と制御部とを有する光電変換装置であって、前記複数の画素の各々は、電荷を生成する光電変換部と、該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、さらに、前記制御部は、前記デジタル信号のビット数を可変とし、前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、被写体に人体が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、被写体に人体が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする光電変換装置である。
また、別の側面は、複数の画素と制御部とを有する光電変換装置であって、前記複数の画素の各々は、電荷を生成する光電変換部と、該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、さらに、前記制御部は、前記デジタル信号のビット数を可変とし、前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、前記光電変換部は、第1の期間と第2の期間とのそれぞれで前記電荷を生成し、前記第1のビット数のデジタル信号は、前記第1の期間に生成した前記電荷に基づくデジタル信号であり、前記第2のビット数のデジタル信号は、前記第2の期間に生成した前記電荷に基づくデジタル信号であることを特徴とする記載の光電変換装置である。
また、別の側面は、複数の画素と制御部とを有する光電変換装置であって、前記複数の画素の各々は、電荷を生成する光電変換部と、該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、さらに、前記制御部は、前記デジタル信号のビット数を可変とし、前記デジタル信号出力部は、クロック信号によって駆動されるカウンタを有し、前記制御部は、前記デジタル信号の前記ビット数の変更を、前記クロック信号の周波数の変更によって行うことを特徴とする光電変換装置である。
本発明によれば、信号を読み出す速度が低下することを抑制できる。
実施例1に係る光電変換装置の構成を示すブロック図である。 実施例1に係る光電変換装置の別の構成を示すブロック図である。 実施例1に係る動作を示すタイミング図である。 実施例1に係る画素の構成を示す図である。 実施例1に係る参照信号生成部の構成を示す図である。 実施例1に係る動作を示すタイミング図である。 実施例1に係る動作を示すフローチャートである。 実施例2に係る光電変換装置の構成を示すブロック図である。 実施例2に係る画素の構成を示す図である。 実施例3に係る画素の構成を示す図である。 実施例3に係る動作を示すタイミング図である。 実施例4に係る画素の構成を示す図である。 実施例5に係る撮像システムの構成を示すブロック図である。
(実施例1)
図面を参照しながら、本発明に係る実施例を説明する。
図1は、本実施例に係る光電変換装置の構成を示すブロック図である。光電変換装置1は、複数の画素101が行列状に配された画素アレイ100を有する。光電変換装置1はさらに、タイミング生成部200、ラインメモリ300、出力部400、参照信号生成部500、基準電位生成部600、およびカウンタ700を含む。
画素101は、光電変換部とAD変換部とを含んで成り、デジタル信号を出力する。本実施例において、デジタル信号出力部であるAD変換部は、制御部によって、出力するデジタル信号のビット数を切り替えることができる。
タイミング生成部200は、光電変換装置1の動作を制御するための信号を生成するものであり、制御信号供給ライン800を介して、制御信号を供給する。制御信号供給ラインは、図を簡単にするために1本の線で示しているが、複数の信号線を含んでよい。
ラインメモリ300は、画素アレイ100の列に対応して設けられ、垂直転送バス900を介して伝達されたデジタル信号を保持する。そして、不図示の列選択回路によって選択されると、保持したデジタル信号を出力する。ラインメモリ300から出力されたデジタル信号は、水平転送バス901を介して出力部400に伝達される。
垂直転送バス900ならびに水平転送バス901は、それぞれ1本の信号線で構成されていてもよい。この場合には、画素101およびラインメモリ300は、デジタル信号をシリアル化して出力する。また、垂直転送バス900ならびに水平転送バス901は複数の信号線で構成されてもよい。この場合には、画素101およびラインメモリ300は、デジタル信号の少なくとも一部のビットをパラレルに出力する。画素アレイ100内に配される垂直転送バス900を構成する信号線は、少ない本数であることが好ましい。つまり、垂直転送バス900を構成する信号線の数を、水平転送バス901を構成する信号線の数よりも少なくすることで、水平転送バス901と同等とする場合に比べて、画素アレイ100における光電変換部の面積を大きくすることができる。これにより、光電変換装置の感度や飽和電荷量を向上させることができる。
出力部400は、水平転送バス901を介して入力されたデジタル信号をバッファする。出力部400は、このほか、図2に示すように、同期用のクロック信号LVCLKとともに、デジタル信号DATAを差動信号として出力するLVDS(Low Voltage Differential Signaling)構成としてもよい。図2は、図1における出力部400を置換する出力部400’の構成を示すものである。クロック信号LVCLKは、例えば外部から与えられるクロック信号を、出力部400の内部で分周や逓倍することにより生成してもよい。
次に、光電変換装置1の動作タイミングを説明する。
図3(a)は、光電変換装置1の全体的な動作タイミングを説明するための図である。Line1、Line2、・・・、LineMは、画素アレイ100の1行目、2行目、・・・、M行目(Mは自然数)を意味している。
図3(a)において、各行の読み出し動作は垂直転送期間Vertical Readと水平転送期間Horizontal Readとを含む。垂直転送期間VerticalReadでは、画素101からデジタル信号を出力し、ラインメモリ300が当該デジタル信号を保持する動作が行われる。一方、水平転送期間Horizontal Readでは、ラインメモリ300から出力された信号を出力部400から出力する動作が行われる。
図3(b)は、垂直転送期間Vertical Readにおける動作を示す図である。画素101から出力されるデジタル信号DATAを12ビットのシリアル信号として最上位ビット(Most Significant Bit)から最下位ビット(Least Significant Bit)に向かって順にD(11)、D(10)、・・・、D(0)としている。デジタル信号DATAは、タイミング生成部200が生成するクロック信号PREADの立ち上がりに同期して、順次出力する。
図3(c)は、図3(b)で示した垂直転送期間Vertical Readに引き続いて行われる水平転送期間Horizontal Readの動作を示す図である。図2で示した出力部400の構成を用いて、2ビットのパラレル出力とした場合の動作例を示している。一方の出力ポートDATA1からは上位6ビットの信号を順次出力し、他方の出力ポートDATA0から下位6ビットの信号を順次出力する。ここでは、出力部400が、クロック信号LVCLKを2逓倍した信号を内部で生成し、これに同期してデジタル信号を出力させる場合を例示している。
図3(d)は、垂直転送期間Vertical Readにおける動作を示す別の図である。ここでは、画素101から出力されるデジタル信号DATAが4ビットであるとしている。
また、図3(e)は、図3(d)で示した垂直転送期間Vertical Readに引き続いて行われる水平転送期間Horizontal Readの動作を示す図である。図2で示した出力部400の構成を用いて、2ビットのパラレル出力とした場合の動作例を示している。一方の出力ポートDATA1からは上位2ビットの信号を順次出力し、他方の出力ポートDATA0から下位2ビットの信号を順次出力する。
次に、画素101の構成例を説明する。図4は、本実施例における画素101の構成を示す図である。
画素101は、光電変換部PD、トランジスタTX、SF、RES、C0R容量C0、コンパレータ102、ラッチ信号生成部103、および画素内メモリ104を含む。画素101はAD変換部を有し、AD変換部は少なくともコンパレータ102を含むものとする。本実施例では、さらに、ラッチ信号生成部103および画素内メモリ104を含んで成る。
光電変換部PDは、入射光量に応じて電荷を生成および蓄積する。トランジスタTXの導通を制御する信号PTXがアクティブになると、光電変換部PDに蓄積された電荷が、トランジスタSFの制御電極のノードに転送される。このノードを以下では浮遊拡散部(Floating Diffusion Portion;FD部)と称する。トランジスタSFは、定電流源Iconstとともにソースフォロワ回路として動作し、その出力は、容量C0を介してコンパレータ102の一方の入力端子に与えられる。トランジスタRESの導通を制御する信号PRESがアクティブになると、FD部の電位が、電源VDDに応じてリセットされる。
トランジスタC0Rを制御する信号PCRESがアクティブになると、コンパレータ102の一方の端子が基準電位Vrefに応じてリセットされる。
コンパレータ102は、一方の入力端子の電位と、他方の入力端子に与えられる参照信号Vrampのレベルとの比較を行う。コンパレータ102の両入力端子の電位の大小が逆転すると、コンパレータ102の出力のハイ/ローが逆転する。コンパレータ102の出力が逆転すると、ラッチ信号生成部103はラッチ信号を出力する。
画素内メモリ104は、ラッチ信号を受けて、その時刻におけるカウンタ700のカウント値を保持する。さらに、画素内メモリは、不図示の選択信号を受けて、デジタル信号を出力する。
次に、参照信号生成部500の構成例を説明する。図5は、本実施例における参照信号生成部500の構成例を示す図である。
参照信号生成部500は、カレントミラーCM、トランジスタM2、M3、容量Ci、積分部INTとを含む。
カレントミラーCMは、抵抗R、トランジスタM1、M5、M6、およびN1を含む。抵抗RとトランジスタM1とは、電源電圧VDDと接地電圧GNDとの間に直列に接続され、トランジスタM1の制御電極は、抵抗RとトランジスタM1の主電極との共通接点に接続される。トランジスタN1の一方の主電極は、接地電圧GNDに接続され、他方の主電極は、トランジスタM5の一方の主電極および制御電極に接続される。また、トランジスタN1の制御電極は、トランジスタM1の制御電極と接続される。トランジスタM5の他方の主電極は、電源電圧VDDと接続され、制御電極は、トランジスタM6の制御電極とも接続される。トランジスタM6の一方の主電極は、トランジスタM2およびM3の共通接点に接続される。
積分部INTは、差動増幅器Ampと帰還容量Cfとで構成される積分回路を含み、帰還容量CfをリセットするためのトランジスタM4をさらに含む。
カレントミラーCMと積分部INTとは、トランジスタM3と容量Ciとを介して接続される。また、トランジスタM3は、トランジスタM2の動作を制御する信号と逆相の信号で制御される。
次に、画素でデジタル信号を生成する動作を説明する。図6は、本実施例に係る画素101の動作を説明するタイミング図である。図4および図5における各トランジスタは、与えられる制御信号がHレベルになると、導通するものとする。また、図6において、コンパレータ102の一方の入力端子の電位をcomparator inputとして実線で、参照信号生成部の出力をVrampとして一点鎖線で、analog signalに示している。また、ラッチ信号生成部103が出力するラッチ信号をlatch pulseとして示し、カウンタ700のカウント値をcounterとして示している。
時刻t0に、信号PRESおよびPTXがHレベルになり、トランジスタTXおよびRESが導通する。これにより、光電変換部PDに蓄積された電荷が、FD部を介して電源VDDに排出される。トランジスタSFと定電流源Iconstとで構成するソースフォロワ回路の出力は、電源VDDに応じた出力となる。
時刻t0においては、信号PRSTがLレベルであるため、トランジスタM3が非導通、トランジスタM2が導通である。
時刻t0に、信号PCRESもまたHレベルになり、トランジスタC0Rが導通する。これにより、コンパレータ102の一方の入力端子がリセットされる。
時刻t0に、信号PRRESもまたHレベルになり、トランジスタM4が導通する。これにより、参照信号生成部の帰還容量Cfがリセットされる。
時刻t1に信号PRESおよびPTXがLレベルになり、トランジスタTXおよびRESが非導通となる。光電変換部PDは、浮遊拡散部から電気的に遮断され、電荷を蓄積できる状態となる。
時刻t2に信号PCRESがLレベルになると、トランジスタC0Rが非導通となる。これにより、容量C0には、FD部をリセットしたことによる電位と基準電位Vrefとの電位差が保持される。
時刻t2に、信号PRRESもまたLレベルになり、トランジスタM4が非導通となる。これにより帰還容量Cfのリセットが終了する。
時刻t3に信号PTXがHレベルになると、光電変換部に蓄積された電荷がFD部に転送される。これにより、ソースフォロワ回路の出力が変化する。この出力の変化分をSとすると、コンパレータ102の一方の入力端子の電位はVref−Sとなる。なお、時刻t1から、時刻t3にHレベルになる信号PTXがLレベルになるまでの期間が蓄積期間となる。
時刻t4に、信号PRSTがHレベルになることで、トランジスタM3が導通し、トランジスタM2が非導通となる。これにより、カレントミラーCMと容量Ciとの経路が導通するので、カレントミラーCMで供給する電流量に応じて、積分回路の出力RAMPが漸減する。
また、トランジスタM2およびM3の動作に同期して、カウンタ700がカウント動作を開始する。
時刻t5に、comparator inputとVrampとの大小関係が逆転すると、ラッチ信号生成部が、Hレベルのラッチ信号を出力する。これを受けて、画素内メモリ104は、この時点におけるカウント値を保持する。
時刻t6に信号PRSTがLレベルになると、参照信号Vrampの漸減が停止し、AD変換期間が終了する。
ここで、画素101が出力するデジタル信号のビット数をどのように切り替えるかを説明する。1つの手法としては、AD変換の解像度を切り替えることがある。具体的には、図6において、カウンタ700のカウント動作を制御するクロック信号の周波数を下げることで、カウント動作の速度を遅くする。これにより、時刻t4からt6までにカウント値が取り得る範囲を狭めることができる。また、別の手法としては、画素内メモリ104に保持されたカウント値のうち、上位のビットだけを垂直転送期間Vertical Readに転送することもできる。上記のビット数の切り替えは、不図示の制御部によって行われる。
次に、画素101が出力するビット数を切り替える動作について説明する。図7は、本実施例に係る動作を説明するフローチャートである。
ステップS1においては、光電変換装置1は、画素101が出力するビット数を少なくした第1の動作モードで動作する。第1の動作モードでは、出力するビット数が少ないために、得られる画像は低階調となるが、データ量が少ないので、フレームレートを高くすることができる。
ステップS2に進み、不図示のイベント検知部がイベントの発生の有無を検出する。ここで、イベントとは、撮影シーン内に動体、人体、顔などが検知されることや、あらかじめデータベースに登録された形状と一致する形状の物体が検知されること、また、あらかじめ設定された値以上の光量が検知されることを含む。
ステップS2において、イベントの発生が検知されない場合(No)には、ステップS1に戻って低階調画像撮影が行われる。一方、ステップS2においてイベントの発生が検知された場合(Yes)には、ステップS3に進む。
ステップS3においては、光電変換装置1は、ステップS1で画素101が出力するビット数よりも、多いビット数のデジタル信号を画素101から出力する、第2の動作モードで動作する。ステップS3で取得される画像は高階調となるが、データ量が多いので、フレームレートは第1の動作モードよりも低くなる。
図7に示した動作は、例えば監視カメラにおいて、通常は第1の動作モードで、高いフレームレートで低階調の画像を取得し、撮影シーン内でイベントが検知された場合に第2の動作モードに移行して、高階調の画像を取得するという用途が考えられる。また、デジタルカメラにおいて、撮影シーン内に人の顔が検出されるまでは第1の動作モードで動画像を取得し、人の顔が検出されたことを受けて、第2の動作モードで高階調の静止画像を取得するという用途も考えられる。
以上で説明したように、本実施例によれば、画素101が出力するデジタル信号のビット数を可変とすることで、用途に応じて、高速な読み出しを行うことができる。
(実施例2)
本発明に係る別の実施例を説明する。
図8は、本実施例に係る光電変換装置1’の構成を示すブロック図である。図1に示した光電変換装置1と共通する要素には同じ符号を付している。光電変換装置1は、画素から出力するデジタル信号を2値出力とすることができる。光電変換装置1’は、閾値電圧生成部1000を備える。
図9は、本実施例に係る画素101’の構成を示す図である。画素101との相違点は、コンパレータ102の入力端子に、トランジスタM5とM6とが並列に接続された点である。また、コンパレータ102の出力端子が、ラッチ信号生成部103と画素内メモリ104の入力とに選択的に接続される構成を有する点でも相違する。
トランジスタM5が、制御信号PSELによって導通すると、コンパレータ102の入力端子に、参照信号Vrampが供給される。一方、トランジスタM5が、制御信号/PSELによって導通すると、コンパレータ102の入力端子に、閾値電圧生成部1000から供給される閾値電圧Vthresが与えられる。制御信号PSELと/PSELとは、互いに逆相の信号である。
制御信号PSELがHレベルである場合には、コンパレータ102の出力はラッチ信号生成部103に導かれ、図6で示した動作が行われる。
一方、制御信号PSELがLレベルである場合の動作を説明する。この場合には、コンパレータ102の出力は、ラッチ信号生成部103ではなく、画素内メモリ104に導かれる。より具体的には、画素内メモリ104が持つ複数ビットのメモリのうちのいずれかのビットのメモリに接続される。したがって、図6に示した動作において、時刻t4からt6の期間に相当する期間では、コンパレータ102の出力がHかLかの2値となり、これが画素内メモリ104に保持される。なお、閾値電圧Vthresは固定値であって、外部からその値を可変できる。
本実施例によれば、画素101’から出力されるデジタル信号を2値化することで、撮影シーン内における被写体のエッジ検出を行うことができる。本実施例は、固定の閾値電圧Vthresを用いていることから、図6における時刻t4からt6の時間を短縮することができる。
本実施例においても、画素101が出力するデジタル信号のビット数を可変とすることで、用途に応じて、高速な読み出しを行うことができる。
(実施例3)
本発明に係る、さらに別の実施例を説明する。
図10は、本実施例に係る画素の構成を示す図である。ここでは、互いに隣接する2つの画素1011および1012を抜き出している。2つの画素が隣接する向きは特に指定しない。本実施例では、2つの画素間の差分演算を行える点で、先の実施例とは相違する。
画素1011と1012とは、互いに同じ構成を有するので、画素1011についての説明を行い、画素1012については説明を省略する。画素1011は、図9に示した画素101’に対して、トランジスタTXI、TXS、TXM、SRESおよび、容量CPを含む点で相違する。
画素1011において、トランジスタSFと定電流源とで構成されるソースフォロワ回路の出力端子が接続されるノードAに対して、トランジスタTXI、TXS、およびTXMが互いに並列に接続される。トランジスタTXIは、ノードAとノードSとの間に接続され、信号PTXIによってその導通が制御される。トランジスタTXMは、ノードAと、画素1012のノードMとの間に接続され、信号PTXMによってその導通が制御される。ノードSとノードMとの間には容量CPが接続され、ノードSには、トランジスタSRESがさらに接続される。つまり、トランジスタTXMを介して2つの画素が接続されている。
次に、本実施例の動作を説明する。
まず、信号PTXMをLレベルに維持すると、画素1011と1012とは電気的に遮断されるので、それぞれが独立に動作することができる。この状態では、信号PTXIをHレベルに維持することで、実施例2と同様に動作することができる。
次に、信号PTXMをHレベルにして、画素間での演算を行う場合の動作を説明する。この動作においては、信号PTXIをLレベルに維持する。
図11は、本実施例に係る動作を示すタイミング図である。コンパレータ102の入力端子の電位をcomparator input、ノードMおよびSの電位をそれぞれpoint Mおよびpoint Sとして示している。
時刻t0に、信号PRESおよびPTXがHレベルになり、トランジスタTXおよびRESが導通する。これにより、光電変換部PDに蓄積された電荷が、FD部を介して電源VDDに排出される。トランジスタSFと定電流源Iconstとで構成するソースフォロワ回路の出力は、電源VDDに応じた出力となる。
時刻t0に、信号PSRESがHレベルになることで、ノードSには、トランジスタSRESを介してGND電位が与えられる。
時刻t1に信号PRESおよびPTXがLレベルになり、トランジスタTXおよびRESが非導通となる。光電変換部PDは、浮遊拡散部から電気的に遮断され、電荷を蓄積できる状態となる。
時刻t2に信号PCRESがLレベルになると、トランジスタC0Rが非導通となる。これにより、容量C0には、GND電位と基準電位Vrefとの電位差が保持される。
時刻t3に信号PTXがHレベルになると、光電変換部に蓄積された電荷がFD部に転送される。時刻t1から、時刻t3にHレベルになる信号PTXがLレベルになるまでの期間が蓄積期間となる。
時刻t4に信号PTXMがHレベルになることで、トランジスタTXMが導通する。これにより、画素1011のノードAと画素1012のノードMとが導通する。このとき、画素1012の容量CPには、GND電位と画素1011のSとの電位差が与えられる。
時刻t5に、信号PSRESおよびPTXMがLレベルになることで、トランジスタSRESおよびTXMが非導通となる。これにより、時刻t4に与えられた電位差が、容量CPに保持される。
時刻t5に、信号PTXSがLレベルになることで、トランジスタTXSがHレベルになる。これにより、画素1012の容量CPは、画素1012のソースフォロワ回路と接続される。容量CPには、GND電位を基準として画素1011に基づく信号が保持されているので、時刻t5の動作により、画素1012のノードSには、画素1011と画素1012の、時刻t5における出力の差分が現れる。この差分を、コンパレータ102によって閾値電圧Vthresと比較することで、画素1011と1012との間の差分を2値化でき、結果としてエッジ検出ができる。言い換えると、2つの画素の間の信号レベルの差であるコントラストが、ある閾値を超えるか否かの判定を行える。なお、画素1011も、ノードMを介して接続された別の画素との間のエッジ検出を行える。
本実施例においても、図7に示したようなシーケンスで光電変換装置を動作させることができる。ステップS1においては、画素間のエッジ検出を行い、イベントが検出されたことを受けて、高階調の画像を取得する。エッジ検出時には2値化しているので、画素から出力されるビット数は1ビットとなる。このため、フレームレートを向上させることが容易になる。
本実施例においても、画素1011および1012が出力するデジタル信号のビット数を可変とすることで、用途に応じて、高速な読み出しを行うことができる。
(実施例4)
本発明に係るさらに別の実施例を説明する。
図12は、本実施例に係る画素の構成を示す図である。ここでは、互いに隣接する2つの画素1011’および1012’を抜き出している。2つの画素が隣接する向きは特に指定しない。本実施例では、実施例3と同様に、2つの画素間の差分演算を行える。実施例3では、アナログ信号で差分演算を行っていたのに対して、本実施例では、デジタル信号で差分演算を行う点で相違する。
画素1011’と1012’とは、互いに同じ構成を有するので、画素1011’についての説明を行い、画素1012’については説明を省略する。画素1011’は、図4に示した画素101に対して、デジタル信号出力部がデジタル演算部DPを含む点で相違する。
画素1011’でデジタル信号を得る動作は、実施例1と同様なので、説明を省略する。
デジタル演算部DPは、デジタル減算部105、デジタルコンパレータ106およびデジタルセレクタ107を含む。
画素1011’が有する画素内メモリ104の出力は、画素1011’のデジタル減算部105、画素1011’のデジタルセレクタ107、および、画素1012’のデジタル減算部105に与えられる。
画素1012’のデジタル減算部105は、画素1011’および画素1012’の画素内メモリ104から出力されたデジタル信号の差分を出力する。
デジタル減算部105から出力された差分は、デジタルコンパレータ106において、基準値Ref Valueと比較され、基準値Ref Valueとの大小関係を2値化して出力する。基準値Ref Valueは固定値として与えられるが、その大きさは、可変である。
デジタルセレクタ107は、不図示の制御信号によって、デジタルコンパレータ106の出力または画素内メモリ104の出力を選択的に出力する。つまり、デジタルセレクタ107によって、AD変換部が出力するデジタル信号のビット数を可変としている。
(実施例5)
次に、本実施形態に係る撮像システムの概略を、図13を用いて説明する。
撮像システム800は、例えば、光学部810、撮像装置1000、映像信号処理回路部830、記録・通信部840、タイミング制御回路部850、システムコントロール回路部860、および再生・表示部870を含む。撮像装置1000は、先述の各実施例で説明した光電変換装置が用いられる。ここでは、図1に示したタイミングジェネレータ106が、撮像装置ではなく、タイミング制御回路部850に含まれる場合を例示している。
レンズなどの光学系である光学部は810、被写体からの光を撮像装置1000の、複数の画素が2次元状に配列された画素アレイに結像させ、被写体の像を形成する。撮像装置1000は、タイミング制御回路部850からの信号に基づくタイミングで、画素部に結像された光に応じた信号を出力する。
撮像装置1000から出力された信号は、映像信号処理部である映像信号処理回路部830に入力され、映像信号処理回路部830が、プログラムなどによって定められた方法に従って、入力された電気信号に対して処理を行う。映像信号処理回路部での処理によって得られた信号は画像データとして記録・通信部840に送られる。記録・通信部840は、画像を形成するための信号を再生・表示部870に送り、再生・表示部870に動画や静止画像が再生・表示させる。記録通信部は、また、映像信号処理回路部830からの信号を受けて、システムコントロール回路部860とも通信を行うほか、不図示の記録媒体に、画像を形成するための信号を記録する動作も行う。
システムコントロール回路部860は、撮像システムの動作を統括的に制御するものであり、光学部810、タイミング制御回路部850、記録・通信部840、および再生・表示部870の駆動を制御する。また、システムコントロール回路部860は、例えば記録媒体である不図示の記憶装置を備え、ここに撮像システムの動作を制御するのに必要なプログラムなどが記録される。また、システムコントロール回路部860は、例えばユーザの操作に応じて駆動モードを切り替える信号を撮像システム内で供給する。具体的な例としては、読み出す行やリセットする行の変更、電子ズームに伴う画角の変更や、電子防振に伴う画角のずらしなどである。このほか、システムコントロール回路部860は、先の実施例における、動作モードの切り替えや実施例4におけるデジタルセレクタの出力の切り替えを行う。
タイミング制御回路部850は、制御部であるシステムコントロール回路部860による制御に基づいて撮像装置1000および映像信号処理回路部830の駆動タイミングを制御する。
以上で説明した各実施例は、本発明を説明するための例示的なものであって、本発明の技術的思想を逸脱しない範囲で様々に変更あるいは組み合わせることが可能である。
(その他)
上記の各実施例は、本発明を説明するための例示的なものに過ぎず、本発明の思想を逸脱しない範囲で構成を変えたり、他の実施例と組み合わせたりすることができる。

Claims (14)

  1. 複数の画素と制御部とを有する光電変換装置であって、
    前記複数の画素の各々は、
    電荷を生成する光電変換部と、
    該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、
    さらに、前記制御部は、前記デジタル信号のビット数を可変とし、
    前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    被写体に動体が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、
    被写体に動体が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする電変換装置。
  2. 複数の画素と制御部とを有する光電変換装置であって、
    前記複数の画素の各々は、
    電荷を生成する光電変換部と、
    該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、
    さらに、前記制御部は、前記デジタル信号のビット数を可変とし、
    前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    被写体に顔が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、
    被写体に顔が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする電変換装置。
  3. 複数の画素と制御部とを有する光電変換装置であって、
    前記複数の画素の各々は、
    電荷を生成する光電変換部と、
    該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、
    さらに、前記制御部は、前記デジタル信号のビット数を可変とし、
    前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    被写体に人体が含まれることを検出しない場合に、前記制御部は、前記デジタル信号出力部に前記第1のビット数の前記デジタル信号を出力させ、
    被写体に人体が含まれることを検出した場合に、前記制御部は、前記デジタル信号出力部に前記第2のビット数の前記デジタル信号を出力させることを特徴とする電変換装置。
  4. 複数の画素と制御部とを有する光電変換装置であって、
    前記複数の画素の各々は、
    電荷を生成する光電変換部と、
    該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、
    さらに、前記制御部は、前記デジタル信号のビット数を可変とし、
    前記制御部は、第1のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    さらに前記制御部は、前記第1のビット数よりも多いビット数の第2のビット数の前記デジタル信号を出力するように前記デジタル信号出力部を制御し、
    前記光電変換部は、第1の期間と第2の期間とのそれぞれで前記電荷を生成し、
    前記第1のビット数のデジタル信号は、前記第1の期間に生成した前記電荷に基づくデジタル信号であり、
    前記第2のビット数のデジタル信号は、前記第2の期間に生成した前記電荷に基づくデジタル信号であることを特徴とする載の光電変換装
  5. 前記第1のビット数が1であることを特徴とする請求項のいずれか1項に記載の光電変換装置。
  6. 前記第1のビット数のデジタル信号を用いて、被写体のエッジ検出を行うことを特徴とする請求項のいずれか1項に記載の光電変換装置。
  7. 複数の画素と制御部とを有する光電変換装置であって、
    前記複数の画素の各々は、
    電荷を生成する光電変換部と、
    該光電変換部の前記電荷に基づくデジタル信号を出力するデジタル信号出力部と、を有し、
    さらに、前記制御部は、前記デジタル信号のビット数を可変とし、
    前記デジタル信号出力部は、クロック信号によって駆動されるカウンタを有し、
    前記制御部は、前記デジタル信号の前記ビット数の変更を、前記クロック信号の周波数の変更によって行うことを特徴とする電変換装置。
  8. デジタル信号出力部は、AD変換部を有することを特徴とする、請求項1〜7のいずれか1項に記載の光電変換装置。
  9. 前記複数の画素の隣接する画素同士の各々の前記光電変換部の前記電荷に基づく前記デジタル信号の差を得ることによって、被写体のエッジ検出を行うことを特徴とする請求項1〜のいずれか1項に記載の光電変換装置。
  10. 前記デジタル信号出力部は、前記デジタル信号を保持するメモリを有し、
    前記制御部は、前記メモリが出力する前記デジタル信号のビット数を可変とすることを特徴とする請求項1〜のいずれか1項に記載の光電変換装置。
  11. 請求項1〜10のいずれか1項に記載の光電変換装置と、前記光電変換装置から出力された信号を処理して画像データを生成する映像信号処理部とを有することを特徴とする撮像システム。
  12. 電荷を生成する光電変換部を各々が有する複数の画素を有する光電変換装置の駆動方法であって、
    前記複数の画素の各々が、前記電荷に基づくデジタル信号を出力し、
    前記光電変換装置は、異なるビット数の前記デジタル信号を出力し、
    前記光電変換装置は、前記複数の画素の前記デジタル信号を第1のビット数として出力し、
    さらに前記複数の画素の前記デジタル信号を、前記第1のビット数よりも多い第2のビット数として出力し、
    前記光電変換部は、第1の期間と第2の期間とのそれぞれで前記電荷を生成し、
    前記光電変換装置は、前記第1の期間に生成した前記電荷に基づくデジタル信号を前記第1のビット数で出力し、前記第2の期間に生成した前記電荷に基づくデジタル信号を前記第2のビット数で出力することを特徴とする電変換装置の駆動方法。
  13. 前記複数の画素の隣接する画素同士の各々の前記光電変換部の前記電荷に基づく前記デジタル信号の差を得ることによって、被写体のエッジ検出を行うことを特徴とする請求項12に記載の光電変換装置の駆動方法。
  14. 前記被写体のエッジ検出を行う前記デジタル信号のビット数が1であることを特徴とする請求項13に記載の光電変換装置の駆動方法。
JP2012033359A 2012-02-17 2012-02-17 光電変換装置および撮像システム Expired - Fee Related JP6029286B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012033359A JP6029286B2 (ja) 2012-02-17 2012-02-17 光電変換装置および撮像システム
US13/763,991 US9325922B2 (en) 2012-02-17 2013-02-11 Photoelectric conversion apparatus and image pickup system
US15/136,757 US10362251B2 (en) 2012-02-17 2016-04-22 Photoelectric conversion apparatus and image pickup system
US16/439,500 US10708531B2 (en) 2012-02-17 2019-06-12 Photoelectric conversion apparatus and image pickup system
US16/892,052 US11558572B2 (en) 2012-02-17 2020-06-03 Photoelectric conversion apparatus and image pickup system
US18/060,912 US12160677B2 (en) 2012-02-17 2022-12-01 Photoelectric conversion apparatus and image pickup system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012033359A JP6029286B2 (ja) 2012-02-17 2012-02-17 光電変換装置および撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016203763A Division JP6351683B2 (ja) 2016-10-17 2016-10-17 光電変換装置および撮像システム

Publications (3)

Publication Number Publication Date
JP2013172205A JP2013172205A (ja) 2013-09-02
JP2013172205A5 JP2013172205A5 (ja) 2015-04-02
JP6029286B2 true JP6029286B2 (ja) 2016-11-24

Family

ID=48981992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012033359A Expired - Fee Related JP6029286B2 (ja) 2012-02-17 2012-02-17 光電変換装置および撮像システム

Country Status (2)

Country Link
US (5) US9325922B2 (ja)
JP (1) JP6029286B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム
JP6249881B2 (ja) * 2014-05-22 2017-12-20 オリンパス株式会社 固体撮像装置および撮像装置
KR102294599B1 (ko) * 2014-09-02 2021-08-27 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP2016092661A (ja) * 2014-11-07 2016-05-23 ソニー株式会社 撮像素子および駆動方法、並びに電子機器
US9497381B2 (en) * 2015-01-14 2016-11-15 Wisconsin Alumni Research Foundation Signal processing circuit with multiple power modes
WO2016147523A1 (ja) 2015-03-19 2016-09-22 パナソニックIpマネジメント株式会社 イメージセンサおよびそれを備えた撮像装置
EP3846449B1 (en) * 2016-04-15 2024-11-06 Sony Group Corporation Solid-state image sensor, electronic apparatus, and control method of solid-state image sensor
WO2018096955A1 (ja) * 2016-11-25 2018-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、駆動方法、および電子機器
WO2018122798A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
JP7358042B2 (ja) 2018-10-22 2023-10-10 キヤノン株式会社 光電変換装置、カメラ、移動体、および、信号処理装置
KR102160352B1 (ko) * 2019-01-02 2020-09-28 동국대학교 산학협력단 에지검출회로 및 방법
KR102695388B1 (ko) * 2019-02-12 2024-08-19 삼성전자주식회사 디지털 픽셀을 포함하는 이미지 센서
WO2020229980A1 (en) * 2019-05-10 2020-11-19 Sony Advanced Visual Sensing Ag Event-based vision sensor using on/off event and grayscale detection ramps
KR102898757B1 (ko) * 2019-05-10 2025-12-12 소니 어드밴스드 비주얼 센싱 아게 픽셀 내 디지털 변화 검출을 이용하는 다이내믹 비전 센서
KR102759366B1 (ko) * 2019-06-14 2025-01-24 삼성전자주식회사 Cis, 및 그 cis에서 픽셀별 ae 방법
JP6923240B1 (ja) * 2021-02-12 2021-08-18 株式会社SensAI 固体撮像装置、及び固体撮像装置の駆動方法
CN117678238A (zh) * 2021-07-14 2024-03-08 索尼半导体解决方案公司 摄像装置和摄像方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3360695B2 (ja) * 1993-06-17 2002-12-24 ソニー株式会社 画像データの量子化回路
US5461425A (en) 1994-02-15 1995-10-24 Stanford University CMOS image sensor with pixel level A/D conversion
US6757018B1 (en) * 1998-12-18 2004-06-29 Agilent Technologies, Inc. CMOS image sensor with pixel level gain control
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP2002247557A (ja) * 2001-02-20 2002-08-30 Fujitsu General Ltd 映像監視装置
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4589131B2 (ja) 2005-01-24 2010-12-01 株式会社フォトロン 画像センサおよびその画像読み出し方法
JP4524652B2 (ja) * 2005-07-06 2010-08-18 ソニー株式会社 Ad変換装置並びに半導体装置
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
AU2007296443B2 (en) * 2006-09-15 2011-09-22 The Nielsen Company (Us), Llc Methods and apparatus to identify images in print advertisements
JP5076568B2 (ja) 2007-03-12 2012-11-21 ソニー株式会社 データ処理方法、データ処理装置、固体撮像装置、撮像装置、電子機器
US8031961B2 (en) * 2007-05-29 2011-10-04 Hewlett-Packard Development Company, L.P. Face and skin sensitive image enhancement
JP2009159069A (ja) 2007-12-25 2009-07-16 Panasonic Corp 固体撮像装置およびカメラ
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
WO2010012448A2 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
JP5521721B2 (ja) 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
JP5384273B2 (ja) * 2009-09-30 2014-01-08 富士フイルム株式会社 カメラ及びカメラの記録方法
JP6029286B2 (ja) * 2012-02-17 2016-11-24 キヤノン株式会社 光電変換装置および撮像システム

Also Published As

Publication number Publication date
US20130215286A1 (en) 2013-08-22
US20230106496A1 (en) 2023-04-06
US20200296315A1 (en) 2020-09-17
US11558572B2 (en) 2023-01-17
US10362251B2 (en) 2019-07-23
US10708531B2 (en) 2020-07-07
US20160241803A1 (en) 2016-08-18
JP2013172205A (ja) 2013-09-02
US20190297296A1 (en) 2019-09-26
US12160677B2 (en) 2024-12-03
US9325922B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP6029286B2 (ja) 光電変換装置および撮像システム
CN104869330B (zh) 光电转换装置和图像捕获系统
JP5858695B2 (ja) 固体撮像装置及び固体撮像装置の駆動方法
CN104469202B (zh) 固态成像装置和成像系统
US20130214127A1 (en) Photoelectric conversion apparatus, method for driving the same, and photoelectric conversion system
CN106165401B (zh) 成像元件、增益控制方法和电子设备
CN105187740B (zh) 固态成像装置
CN107409179A (zh) 固态成像装置、固态成像装置的驱动方法和电子设备
JP2011004092A (ja) Ad変換装置、固体撮像装置および電子情報機器
JP2015056876A (ja) 固体撮像装置、その駆動方法及び撮像システム
JP2014165733A (ja) 撮像装置、撮像システム、撮像装置の駆動方法
JP6486001B2 (ja) Ad変換器、ad変換装置、光電変換装置、撮像システム、およびad変換方法
US10129496B2 (en) Imaging device and imaging system
US9219872B2 (en) Image pickup apparatus, driving method for image pickup apparatus, image pickup system, and driving method for image pickup system
JP2023053350A (ja) 光電変換装置および撮像システム
JP6797863B2 (ja) 光電変換装置および撮像システム
JP6351683B2 (ja) 光電変換装置および撮像システム
JP2014053838A (ja) 固体撮像装置
JP2013141144A (ja) A/d変換回路、撮像素子、および電子機器
Lee et al. Design of a configurable bit-resolution CMOS image sensor for the image depth extraction
JP2018148271A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2014217017A (ja) 固体撮像素子及び撮像装置
JP2016127450A (ja) 撮像装置、撮像システム、及び撮像装置の駆動方法
JP2013197866A (ja) 個体撮像装置および駆動方法、並びに、電子機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161018

R151 Written notification of patent or utility model registration

Ref document number: 6029286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees