JP7647797B2

JP7647797B2 - 撮像素子、および撮像装置

Info

Publication number: JP7647797B2
Application number: JP2023088370A
Authority: JP
Inventors: 繁松本
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-03-29
Filing date: 2023-05-30
Publication date: 2025-03-18
Anticipated expiration: 2040-03-27
Also published as: US20240305910A1; JP7294407B2; JP2023109978A; EP3952293B1; CN120075635A; CN120075636A; EP3952293A4; WO2020203799A1; EP3952293A1; US12010445B2; US20220182568A1; JP2025084925A; JPWO2020203799A1; CN113748670B; CN113748670A

Description

本発明は、撮像素子、および撮像装置に関する。

従来から、画素の受光量に対応したデジタル値を記憶する記憶部と、信号処理や水平転送制御のため一時的にデジタル値を記憶する記憶部と、を有する撮像素子が知られている（例えば特許文献１）。

国際公開第２０１７／１８２１５号

発明の第１の態様によると、撮像素子は、光を電荷に変換する第１光電変換部を有する第１画素と、光を電荷に変換する光電変換部であって行方向において前記第１光電変換部と並んで配置される第２光電変換部を有する第２画素と、前記第１画素と電気的に接続される第１信号線と、前記第２画素と電気的に接続される第２信号線と、前記第１信号線と電気的に接続される第１入力端子と、第１出力端子とを有する第１比較部と、前記第１出力端子と電気的に接続される第１記憶部と、前記第２信号線と電気的に接続される第２入力端子と、第２出力端子とを有する第２比較部と、前記第１出力端子および前記第２出力端子と電気的に接続される第２記憶部と、を備える。
発明の第２の態様によると、撮像装置は、第１の態様に記載の撮像素子を備える。

第１の実施の形態に係る撮像装置の構成例を示す図である。第１の実施の形態に係る撮像素子の構成例を示すブロック図である。第１の実施の形態に係る撮像素子の一部の構成例を示す回路図である。第１の実施の形態に係る撮像素子の読み出し処理を説明する図である。第１の実施の形態に係る撮像素子における画素の信号の加算方法の一例を説明する図である。第１の実施の形態に係る撮像素子の別の読み出し処理を説明する図である。第１の実施の形態に係る撮像素子の別の読み出し処理を説明する図である。第１の実施の形態に係る撮像素子の別の読み出し処理を説明する図である。第１の実施の形態に係る撮像素子の別の読み出し処理を説明する図である。第１の実施の形態に係る撮像素子の読み出し処理を比較する図である。

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の一例であるカメラ１の構成例を示す図である。カメラ１は、撮影光学系（結像光学系）２、撮像素子３、制御部４、メモリ５、表示部６、及び操作部７を備える。撮影光学系２は、焦点調節レンズ（フォーカスレンズ）を含む複数のレンズ及び開口絞りを有し、撮像素子３に被写体像を結像する。なお、撮影光学系２は、カメラ１から着脱可能にしてもよい。

撮像素子３は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子である。撮像素子３は、撮影光学系２を通過した光束を受光し、撮影光学系２により形成される被写体像を撮像する。撮像素子３には、光電変換部を有する複数の画素が二次元状（行方向及び列方向）に配置される。光電変換素子は、フォトダイオード（ＰＤ）によって構成される。撮像素子３は、受光した光を光電変換して信号を生成し、生成した信号を制御部４に出力する。

メモリ５は、メモリカード等の記録媒体である。メモリ５には、画像データ、制御プログラム等が記録される。メモリ５へのデータの書き込み、及びメモリ５からのデータの読み出しは、制御部４によって制御される。表示部６は、画像データに基づく画像、シャッター速度、絞り値等の撮影に関する情報、及びメニュー画面等を表示する。操作部７は、レリーズボタン、電源スイッチ、各種モードを切り替えるためのスイッチなどの各種設定スイッチ等を含み、それぞれの操作に基づく信号を制御部４へ出力する。

制御部４は、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ等のプロセッサ、及びＲＯＭ、ＲＡＭ等のメモリにより構成され、制御プログラムに基づきカメラ１の各部を制御する。制御部４は、撮像素子３を制御する信号を撮像素子３に供給して、撮像素子３の動作を制御する。また、制御部４は、撮像素子３から出力される信号に各種の画像処理を行って画像データを生成する。制御部４は、画像データを生成する画像生成部でもあり、撮像素子３から出力される信号に基づいて静止画像データ、動画像データを生成する。画像処理には、階調変換処理、色補間処理等の画像処理が含まれる。

制御部４は、撮像素子３の全ての画素の信号を個別に読み出す処理と、複数の画素の信号を混合（加算）して読み出す処理とを行う。制御部４は、撮像素子３を制御して、画素の信号の読み出し方法を選択（設定）する。例えば、制御部４は、表示部６に被写体のスルー画像（ライブビュー画像）を表示する場合、動画撮影を行う場合に、複数の画素の信号を混合して読み出す処理を行う。また、制御部４は、高解像度の静止画撮影を行う場合に、全画素の信号を個別に読み出す処理を行う。

図２は、第１の実施の形態に係る撮像素子の構成例を示すブロック図である。撮像素子３は、複数の画素１０が形成された第１基板１１１と、複数のアナログ／デジタル変換部（ＡＤ変換部）４０が形成された第２基板１１２とを積層して構成される。第１基板１１１及び第２基板１１２は、それぞれ半導体基板を用いて構成される。第１基板１１１に設けられた回路、及び第２基板１１２に設けられた回路は、バンプ、電極等により電気的に接続される。

第１基板１１１は、二次元状に配置される複数の画素１０を有する。画素１０は、後述する光電変換信号及びダーク信号を、第２基板１１２へ出力する。図２においては、左上隅の画素１０を第１行第１列の画素１０（１，１）とし、右下隅の画素１０を第４行第４列の画素１０（４，４）として、行方向４画素×列方向４画素の１６個の画素１０を図示している。なお、撮像素子に配置される画素の数及び配置は、図示した例に限られない。

第２基板１１２は、複数のＡＤ変換部４０を有する。本実施の形態では、ＡＤ変換部４０は、画素１０毎に設けられる。図２においては、ＡＤ変換部４０（１，１）からＡＤ変換部４０（４，４）までの１６個のＡＤ変換部４０を図示している。後述するが、ＡＤ変換部４０は、比較部と記憶部を含んで構成され、入力される光電変換信号及びダーク信号を、それぞれ所定のビット数のデジタル信号に変換する。

図３は、第１の実施の形態に係る撮像素子の一部の構成例を示す回路図である。撮像素子３は、複数の画素１０と、複数のＡＤ変換部４０と、読み出し制御部６０と、信号処理部７０と、入出力部８０とを有する。

画素１０は、光電変換部１１と、転送部１２と、リセット部１３と、フローティングディフュージョン（ＦＤ）１４と、増幅部１５と、電流源１６とを有する。光電変換部１１は、フォトダイオードＰＤであり、入射した光を電荷に変換し、光電変換された電荷を蓄積する。転送部１２は、信号ＴＸにより制御されるトランジスタＭ１から構成され、光電変換部１１で光電変換された電荷をＦＤ１４に転送する。トランジスタＭ１は、転送トランジスタである。ＦＤ１４は、ＦＤ１４に転送された電荷を蓄積（保持）する。電流源１６は、画素１０から信号を読み出すための電流を生成し、生成した電流を信号線１８及び増幅部１５に供給する。

増幅部１５は、ゲート（端子）がＦＤ１４に接続されるトランジスタＭ３から構成され、ＦＤ１４に蓄積された電荷による信号を増幅し、信号線１８に出力する。トランジスタＭ３は、増幅トランジスタである。リセット部１３は、信号ＲＳＴにより制御されるトランジスタＭ２から構成され、ＦＤ１４に蓄積された電荷を排出し、ＦＤ１４の電圧をリセットする。トランジスタＭ２は、リセットトランジスタである。

画素１０は、ＦＤ１４の電圧をリセットしたときの信号（ダーク信号）と、転送部１２により光電変換部１１からＦＤ１４に転送された電荷に応じた信号（光電変換信号）とを、信号線１８に順次出力する。ダーク信号は、光電変換信号に対する基準レベルを示すアナログ信号となる。また、光電変換信号は、光電変換部１１によって光電変換された電荷に基づいて生成されるアナログ信号である。画素１０から順次出力されるダーク信号及び光電変換信号は、信号線１８及びバンプ等を介してＡＤ変換部４０に入力される。

ＡＤ変換部４０は、比較部２０と、スイッチＳＷ１と、記憶部２５と、選択部３０とを有する。比較部２０は、コンパレータ回路を含んで構成される。比較部２０の第１端子２１には、不図示の信号生成回路から時間経過とともに変化する基準信号であるランプ信号ｒａｍｐが入力される。比較部２０の第２端子２２には、画素１０から信号線１８に出力される信号（光電変換信号、ダーク信号）が、直接又は不図示の増幅回路により増幅されて入力される。比較部２０は、画素１０から入力される信号と基準信号とを比較し、比較結果である出力信号を出力端子２３から出力する。

比較部２０は、スイッチＳＷ１を介して記憶部２５に接続される。スイッチＳＷ１は、トランジスタにより構成され、比較部２０と記憶部２５とを電気的に接続又は切断する。スイッチＳＷ１は、オン状態の場合に、比較部２０の出力信号を記憶部２５に出力する。

記憶部２５は、記憶されるデジタル信号のビット数に対応して複数のラッチ回路により構成される。各ラッチ回路の一方の入力端子（Ｇ端子）には、比較部２０による比較結果を示す出力信号がスイッチＳＷ１を介して入力される。各ラッチ回路の他方の入力端子（Ｄ端子）には、不図示のカウンタ回路からカウント値を示すクロック信号が入力される。図３に示す例では、各ラッチ回路の他方の入力端子（Ｄ端子）には、それぞれ、カウント値を示すｃｎｔ＜０＞～ｃｎｔ＜ｎ＞が入力され、ＡＤ変換部４０はｎビットＡＤ変換回路となる。

記憶部２５は、比較部２０の出力信号とカウンタ回路からのクロック信号とに基づいて、比較部２０による比較開始から比較結果が反転するまでの経過時間に応じたカウント値をデジタル信号として記憶する。換言すると、記憶部２５は、比較部２０から出力される信号に基づき、画素１０から出力された信号のレベルと基準信号のレベルとの大小関係が変化する（反転する）までの時間に応じたカウント値をデジタル信号として記憶する。

画素１０のダーク信号が比較部２０に入力されると、比較部２０は、ダーク信号と基準信号とを比較して、比較結果を記憶部２５に出力する。記憶部２５は、比較部２０による比較結果とクロック信号とに基づいて、比較部２０による比較開始時から比較結果の反転時までの経過時間に応じたカウント値をダーク信号に基づくデジタル信号として記憶する。また、画素１０の光電変換信号が比較部２０に入力されると、比較部２０は、光電変換信号と基準信号とを比較して、比較結果を記憶部２５に出力する。記憶部２５は、比較部２０による比較結果とクロック信号とに基づいて、比較部２０による比較開始時から比較結果の反転時までの経過時間に応じたカウント値を光電変換信号に基づくデジタル信号として記憶する。このように、ＡＤ変換部４０は、アナログ信号である光電変換信号を所定のビット数のデジタル信号に変換し、アナログ信号であるダーク信号を所定のビット数のデジタル信号に変換する。

選択部３０は、信号ＳＥＬにより制御されるマルチプレクサにより構成され、デジタル信号に変換された画素の信号（図３ではｎビットのデジタル信号）が記憶部２５から入力される。選択部３０は、記憶部２５から入力される画素の信号を信号線５０（以下、データ線と称する）に出力する。データ線５０は、ＡＤ変換部４０から出力されるデジタル信号のビット数に対応して複数の信号線により構成される。撮像素子３では、縦方向、即ち列方向（垂直方向）に並んだ複数のＡＤ変換部４０の列ごとに、データ線５０（図３ではｎ本の信号線）が設けられる。

信号処理部７０は、アンプ回路およびデコーダ回路等を含んで構成される。信号処理部７０には、データ線５０を介して、デジタル信号に変換された画素の信号（ダーク信号に基づくデジタル信号、光電変換信号に基づくデジタル信号）が入力される。処理部７０は、ＡＤ変換部４０からデータ線５０を介して入力された信号に対して、相関二重サンプリング、コードを変換する処理等の信号処理を行って、入出力部８０に出力する。入出力部８０は、ＳＬＶＳ、ＬＶＤＳ等の高速インタフェースに対応した入出力回路を有する。入出力部８０は、信号処理部７０から入力された信号を、カメラ１の制御部４に高速に出力（伝送）する。

読み出し制御部６０は、複数の画素１０及び複数のＡＤ変換部４０に共通に設けられる。読み出し制御部６０は、タイミングジェネレータを含む複数の回路により構成され、第１基板１１１と第２基板１１２に分けて配置される。なお、読み出し制御部６０は、第１基板１１１と第２基板１１２のいずれか一方に配置してもよいし、第１基板１１２と第２基板１１２とは異なる基板に配置してもよい。

読み出し制御部６０は、カメラ１の制御部４によって制御され、上述した信号ＴＸ、信号ＲＳＴなどの信号を各画素１０に供給して、各画素１０の動作を制御する。読み出し制御部６０は、画素１０の各トランジスタのゲートに信号を供給して、トランジスタをオン状態（接続状態、導通状態、短絡状態）又はオフ状態（切断状態、非導通状態、開放状態、遮断状態）とする。

読み出し制御部６０は、上述した信号ＳＥＬを各ＡＤ変換部４０の選択部３０に供給して、各ＡＤ変換部４０の選択部３０を制御する。選択部３０は、読み出し制御部６０によってイネーブル状態（オン状態）にされると、記憶部２５から入力されるデジタル信号に変換された画素の信号を、データ線５０を介して信号処理部７０に出力する。読み出し制御部６０は、各ＡＤ変換部４０の選択部３０を順次にオン状態とし、オン状態とされた選択部３０に接続される記憶部２５に記憶された画素の信号をデータ線５０に出力させる。読み出し制御部６０が、複数のＡＤ変換部４０を順次選択して、選択したＡＤ変換部４０からデジタル信号に変換された画素の信号を読み出すともいえる。信号処理部７０には、データ線５０毎に、デジタル信号に変換されたｎビットの画素の信号が入力される。

図４は、第１の実施の形態に係る撮像素子の読み出し処理を説明する図である。撮像素子３には、ＡＤ変換部４０の比較部２０と、そのＡＤ変換部４０とは異なるＡＤ変換部４０の記憶部２５とを接続又は切断するスイッチＳＷ２（図４ではスイッチＳＷ２ａ～スイッチＳＷ２ｈ）が設けられる。本実施の形態では、スイッチＳＷ２は、行方向で隣り合う２つのＡＤ変換部４０のうち、一方のＡＤ変換部４０の比較部２０の出力端子２３と、他方のＡＤ変換部４０の記憶部２５の入力端子（Ｇ端子）とを接続する。

図４に示す例では、奇数列目のＡＤ変換部４０の各々の比較部２０と、偶数列目のＡＤ変換部４０の各々の記憶部２５との間に、スイッチＳＷ２が設けられている。スイッチＳＷ２は、トランジスタにより構成される。例えば、スイッチＳＷ２ａは、接続部２ａであり、第１行目のＡＤ変換部４０のうち、ＡＤ変換部４０（１，１）の比較部２０とＡＤ変換部４０（１，２）の記憶部２５とを接続する。スイッチＳＷ２ｅは、接続部２ｅであり、第３行目のＡＤ変換部４０のうち、ＡＤ変換部４０（３，１）の比較部２０とＡＤ変換部４０（３，２）の記憶部２５とを接続する。読み出し制御部６０（図３参照）は、スイッチＳＷ２ａ～スイッチＳＷ２ｈの各スイッチに信号を供給して、各スイッチをオンオフ制御する。

読み出し制御部６０は、撮像素子３の各画素の信号を個別に読み出す処理（個別読み出し処理）と、複数の画素の信号を加算して読み出す処理（加算読み出し処理）とを行う。個別読み出し処理では、読み出し制御部６０は、撮像素子３のＡＤ変換部４０を行単位で、図４では第１行目から第４行目に向かって順次選択し、選択したＡＤ変換部４０から画素の信号を読み出す。

加算読み出し処理では、読み出し制御部６０は、図５（ａ）に示すように複数のスイッチＳＷを制御して、複数の画素１０の各々のＦＤ１４を互いに接続することで、複数の画素の信号を加算する。なお、読み出し制御部６０は、図５（ｂ）に示すように複数のスイッチＳＷを制御して、複数の画素１０の増幅部１５を同一の信号線１８に接続することで、複数の画素の信号を加算してもよい。読み出し制御部６０は、撮像素子３の複数のＡＤ変換部４０のうち、複数の画素の信号を加算して生成される信号が入力される一部のＡＤ変換部４０（以下、第１のＡＤ変換部と称する）を、１行又は複数行ずつ選択して画素の信号を読み出す処理を行う。

本実施の形態では、加算読み出し処理は、第１の読み出し方式と、第２の読み出し方式と、第３の読み出し方式とを有する。第１の読み出し方式は、第１のＡＤ変換部４０を１行毎に順次選択し、デジタル信号に変換された画素の信号を読み出す方式である。第１のＡＤ変換部４０は、全てのＡＤ変換部４０のうちの特定の行や列のＡＤ変換部４０を間引いて選択されるＡＤ変換部４０である。第１のＡＤ変換部４０は、加算された画素の信号が入力され、加算された画素の信号をデジタル信号に変換する。

第２の読み出し方式は、第１のＡＤ変換部４０を複数行毎に順次選択し、デジタル信号に変換された画素の信号を読み出す方式である。
第３の読み出し方式は、画素の信号（例えば光電変換信号）のＡＤ変換と、デジタル信号に変換された画素の信号（例えばダーク信号に基づくデジタル信号）の読み出しとを同時に（並列に）行う方式である。カメラ１の制御部４は、読み出し制御部６０を制御して、画素の信号の読み出し方法を切り替える。

（個別読み出し処理）
個別読み出し処理では、読み出し制御部６０は、撮像素子３の複数のＡＤ変換部４０のスイッチＳＷ１をそれぞれオン状態とし、各ＡＤ変換部４０にＡＤ変換を行わせる。読み出し制御部６０は、これら複数のＡＤ変換部４０を１行単位で順次選択し、選択したＡＤ変換部４０からデジタル信号に変換された画素の信号をデータ線５０に順次出力させる。

（加算読み出し処理の第１の読み出し方式）
第１の読み出し方式では、読み出し制御部６０は、複数の第１のＡＤ変換部４０のスイッチＳＷ１をそれぞれオン状態とし、複数の第１のＡＤ変換部４０の各々においてＡＤ変換を行わせる。読み出し制御部６０は、これら複数の第１のＡＤ変換部４０を１行単位で順次選択し、選択した第１のＡＤ変換部４０からデジタル信号に変換された画素の信号をデータ線５０に出力させる。このように、第１の読み出し方式の場合、読み出し制御部６０は、全てのＡＤ変換部４０のうちの第１のＡＤ変換部４０のみを用いる。第１のＡＤ変換部４０とは異なる他のＡＤ変換部４０（以下、第２のＡＤ変換部と称する）と、それらの第２のＡＤ変換部４０が接続されるデータ線５０とは、第１の読み出し方式の場合には使用されず、休止状態となる。

（加算読み出し処理の第２の読み出し方式）
第２の読み出し方式では、読み出し制御部６０は、スイッチＳＷ１及びスイッチＳＷ２を制御することにより、第１のＡＤ変換部４０に加えて、第２のＡＤ変換部４０の記憶部２５及び選択部３０と、第２のＡＤ変換部４０に接続されるデータ線５０も用いる。第２の読み出し方式では、互いに異なる列に対して設けられたデータ線５０を用いることにより、複数行のＡＤ変換部４０からデジタル信号に変換された画素の信号の読み出しを同時に行うことが可能となる。撮像素子３は、第１のＡＤ変換部４０を１行単位で選択して画素の信号をデータ線５０に順次読み出す場合よりも、短時間で画素の信号を読み出すことができる。

（加算読み出し処理の第３の読み出し方式）
第３の読み出し方式の場合も、読み出し制御部６０は、第１のＡＤ変換部４０に加えて、第２のＡＤ変換部４０の記憶部２５及び選択部３０と、第２のＡＤ変換部４０に接続されるデータ線５０とを用いる。読み出し制御部６０は、スイッチＳＷ１及びスイッチＳＷ２を制御して、第１のＡＤ変換部４０の比較部２０の出力信号を、第１のＡＤ変換部４０の記憶部２５及び第２のＡＤ変換部４０の記憶部２５のいずれに出力するかを制御する。読み出し制御部６０は、第１のＡＤ変換部４０の比較部２０による比較結果の出力先となる記憶部２５を切り替えるともいえる。

第３の読み出し方式では、読み出し制御部６０は、第１のＡＤ変換部４０の比較部２０にダーク信号が入力される場合と、第１のＡＤ変換部４０の比較部２０に光電変換信号が入力される場合とで、第１のＡＤ変換部４０の比較部２０の接続先を第１のＡＤ変換部４０の記憶部２５又は第２のＡＤ変換部４０の記憶部２５に切り替える。例えば、第１のＡＤ変換部４０の比較部２０にダーク信号が入力される場合、読み出し制御部６０は、第１のＡＤ変換部４０の比較部２０と第１のＡＤ変換部４０の記憶部２５とを接続する。第１のＡＤ変換部４０の比較部２０は、ダーク信号と基準信号との比較結果を示す出力信号を、スイッチＳＷ１を介して第１のＡＤ変換部４０の記憶部２５に出力する。第１のＡＤ変換部４０の記憶部２５は、比較部２０の出力信号に基づいて、ダーク信号に基づくデジタル信号を記憶する。

ダーク信号のＡＤ変換の終了後、読み出し制御部６０は、第１のＡＤ変換部４０の記憶部２５からのダーク信号に基づくデジタル信号のデータ線５０への読み出しを開始させる。また、読み出し制御部６０は、第１のＡＤ変換部４０の比較部２０と第２のＡＤ変換部４０の記憶部２５とを接続する。このとき、第１のＡＤ変換部４０の比較部２０に光電変換信号が入力されると、第１のＡＤ変換部４０の比較部２０は、光電変換信号と基準信号との比較結果を示す出力信号を、スイッチＳＷ２を介して第２のＡＤ変換部４０の記憶部２５に出力する。第２のＡＤ変換部４０の記憶部２５は、第１のＡＤ変換部４０の比較部２０の出力信号に基づいて、光電変換信号に基づくデジタル信号を記憶する。

このように、第３の読み出し方式では、ダーク信号のＡＤ変換を行う場合と、光電変換信号のＡＤ変換を行う場合とで、異なる記憶部２５を用いてＡＤ変換を行う。これにより、ダーク信号に基づくデジタル信号の読み出しと、光電変換信号のＡＤ変換とを並行して行うことができる。また、同様に、光電変換信号に基づくデジタル信号の読み出しと、ダーク信号のＡＤ変換とを並行して行うことができる。このため、撮像素子３は、画素の信号のデータ線５０への読み出し処理の完了を待って次のＡＤ変換処理を開始する必要はなく、短時間で画素の信号を読み出すことができる。以下では、図４～図１０を参照して、個別読み出し処理、及び加算読み出し処理の第１～第３の読み出し方式について、さらに説明する。

（個別読み出し処理）
読み出し制御部６０は、制御部４により個別読み出し処理が指示された場合、図４に示すように、ＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）の各スイッチＳＷ１をオン状態とし、スイッチＳＷ２ａ～スイッチＳＷ２ｈをオフ状態とする。

読み出し制御部６０は、画素１０（１，１）～画素１０（４，４）のリセット部１３をそれぞれオン状態とする。これにより、各画素１０において、それぞれのＦＤ１４の電圧がリセットされる。画素１０（１，１）～画素１０（４，４）の各々のダーク信号は、各々の画素１０に接続された信号線１８を介して、それぞれＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）に出力される。ＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）は、入力されたダーク信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）の各々の記憶部２５には、それぞれ、画素１０（１，１）～画素１０（４，４）のダーク信号に基づくデジタル信号が記憶される。

読み出し制御部６０は、第１行目のＡＤ変換部４０であるＡＤ変換部４０（１，１）～ＡＤ変換部４０（１，４）の選択部３０をそれぞれオン状態とし、第１行目以外の他の行のＡＤ変換部４０の選択部３０をそれぞれオフ状態とする。これにより、ＡＤ変換部４０（１，１）～ＡＤ変換部４０（１，４）の各々のダーク信号に基づくデジタル信号は、各々のＡＤ変換部４０の選択部３０を介して、それぞれデータ線５０ａ～５０ｄに出力される。

第１行目の各ＡＤ変換部４０からのダーク信号に基づくデジタル信号の読み出し後に、読み出し制御部６０は、第２行目のＡＤ変換部４０であるＡＤ変換部４０（２，１）～ＡＤ変換部４０（２，４）の選択部３０をそれぞれオン状態とし、第２行目以外の他の行のＡＤ変換部４０の選択部３０をそれぞれオフ状態とする。これにより、ＡＤ変換部４０（２，１）～ＡＤ変換部４０（２，４）の各々のダーク信号に基づくデジタル信号は、各々のＡＤ変換部４０の選択部３０を介して、それぞれデータ線５０ａ～５０ｄに出力される。また、同様に、読み出し制御部６０は、第３行目以降のＡＤ変換部４０を、第３行、第４行、第５行の順に１行ずつ順次選択し、選択した各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す。

読み出し制御部６０は、画素１０（１，１）～画素１０（４，４）の転送部１２をそれぞれオン状態とする。これにより、各画素１０において、それぞれのＰＤ１１で光電変換された電荷がＦＤ１４に転送される。画素１０（１，１）～画素１０（４，４）の各々の光電変換信号は、各々の画素１０に接続された信号線１８を介して、それぞれＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）に出力される。ＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）は、入力された光電変換信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）～ＡＤ変換部４０（４，４）の各々の記憶部２５には、それぞれ、画素１０（１，１）～画素１０（４，４）の光電変換信号に基づくデジタル信号が記憶される。

読み出し制御部６０は、各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す場合と同様にして、第１行、第２行、第３行、第４行、第５行の順に１行ずつ順次選択し、選択した各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出す。

このように、個別読み出し処理では、読み出し制御部６０は、撮像素子３の画素の信号を個別に読み出す。データ線５０ａ～５０ｄに順次出力されるダーク信号に基づくデジタル信号及び光電変換信号に基づくデジタル信号は、信号処理部７０（図３参照）によって相関二重サンプリング等の信号処理が施された後に、入出力部８０を介して制御部４に出力される。

（加算読み出し処理の第１～第３の読み出し方式）
加算読み出し処理の第１～第３の読み出し方式では、読み出し制御部６０は、複数の画素毎にそれら複数の画素の信号を加算する。なお、以下では、２画素×２画素の４つの画素毎に、それら４つの画素の信号が加算される場合の例について説明する。画素１０（１，１）の信号と画素１０（１，２）の信号と画素１０（２，１）の信号と画素１０（２，２）の信号とが加算された信号が、ＡＤ変換部４０（１，１）に入力される。画素１０（１，３）、画素１０（１，４）、画素１０（２，３）、及び画素１０（２，４）の各々の信号が加算された信号が、ＡＤ変換部４０（１，３）に入力される。また、画素１０（３，１）、画素１０（３，２）、画素１０（４，１）、及び画素１０（４，２）の各々の信号が加算された信号がＡＤ変換部４０（３，１）に入力され、画素１０（３，３）、画素１０（３，４）、画素１０（４，３）、及び画素１０（４，４）の各々の信号が加算された信号がＡＤ変換部４０（３，３）に入力される。

ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）は、上述した第１のＡＤ変換部として機能する。図６において、太線で囲まれたこれらのＡＤ変換部４０は、第１の読み出し方式の場合に使用されるＡＤ変換部の例である。なお、図７に太線で囲まれたＡＤ変換部４０は、第２の読み出し方式の場合に使用されるＡＤ変換部の例であり、図８及び図９に太線で囲まれたＡＤ変換部４０は、第３の読み出し方式の場合に使用されるＡＤ変換部の例である。

（加算読み出し処理の第１の読み出し方式）
読み出し制御部６０は、制御部４により第１の読み出し方式が指示された場合、図６に示すように、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）の各々のスイッチＳＷ１をオン状態とし、スイッチＳＷ２ａ～スイッチＳＷ２ｈをオフ状態とする。ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）は、加算されたダーク信号が入力されると、そのダーク信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）の各々の記憶部２５には、それぞれ、加算されたダーク信号に基づくデジタル信号が記憶される。

読み出し制御部６０は、第１行目のＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）の選択部３０をそれぞれオン状態とし、ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）とは異なる他のＡＤ変換部４０の選択部３０をそれぞれオフ状態とする。これにより、ＡＤ変換部４０（１，１）の加算されたダーク信号に基づくデジタル信号は、ＡＤ変換部４０（１，１）の選択部３０を介して、データ線５０ａに出力される。また、ＡＤ変換部４０（１，３）の加算されたダーク信号に基づくデジタル信号は、ＡＤ変換部４０（１，３）の選択部３０を介して、データ線５０ｃに出力される。

第１行目のＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）からのダーク信号に基づくデジタル信号の読み出し後に、読み出し制御部６０は、第３行目のＡＤ変換部４０（３，１）及びＡＤ変換部４０（３，３）の選択部３０をそれぞれオン状態とする。また、読み出し制御部６０は、ＡＤ変換部４０（３，１）及びＡＤ変換部４０（３，３）とは異なる他のＡＤ変換部４０の選択部３０をそれぞれオフ状態とする。これにより、ＡＤ変換部４０（３，１）の加算されたダーク信号に基づくデジタル信号は、ＡＤ変換部４０（３，１）の選択部３０を介して、データ線５０ａに出力される。また、ＡＤ変換部４０（３，３）の加算されたダーク信号に基づくデジタル信号は、ＡＤ変換部４０（３，３）の選択部３０を介して、データ線５０ｃに出力される。その後も同様にして、読み出し制御部６０は、１行置きにＡＤ変換部４０を順次選択し、選択した各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す。

ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）は、加算された光電変換信号が入力されると、その光電変換信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）の各々の記憶部２５には、それぞれ、加算された光電変換信号に基づくデジタル信号が記憶される。読み出し制御部６０は、各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す場合と同様にして、１行置きにＡＤ変換部４０を順次選択し、選択した各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出す。

このように、第１の読み出し方式では、読み出し制御部６０は、撮像素子３の全てのＡＤ変換部４０のうち一部のＡＤ変換部４０を１行ずつ順次選択し、デジタル信号に変換された画素の信号を読み出す。データ線５０ａ、５０ｃに順次出力されるダーク信号に基づくデジタル信号及び光電変換信号に基づくデジタル信号は、信号処理部７０によって信号処理が施された後に、入出力部８０によって制御部４に出力される。

（加算読み出し処理の第２の読み出し方式）
読み出し制御部６０は、制御部４により第２の読み出し方式が指示された場合、図７に示すように、ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）の各スイッチＳＷ１をオン状態とする。また、読み出し制御部６０は、スイッチＳＷ２ｅ及びスイッチＳＷ２ｆをオン状態とする。スイッチＳＷ２ｅがオン状態となることで、ＡＤ変換部４０（３，１）の比較部２０とＡＤ変換部４０（３，２）の記憶部２５とが電気的に接続される。また、スイッチＳＷ２ｆがオン状態となることで、ＡＤ変換部４０（３，３）の比較部２０とＡＤ変換部４０（３，４）の記憶部２５とが電気的に接続される。ＡＤ変換部４０（３，２）及びＡＤ変換部４０（３，４）は、上述した第２のＡＤ変換部として機能する。

ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）は、加算されたダーク信号が入力されると、そのダーク信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）の各々の記憶部２５には、それぞれ、加算されたダーク信号に基づくデジタル信号が記憶される。

ＡＤ変換部４０（３，１）の比較部２０は、加算されたダーク信号が入力されると、そのダーク信号と基準信号との比較結果を示す出力信号を、スイッチＳＷ２ｅを介してＡＤ変換部４０（３，２）の記憶部２５に出力する。ＡＤ変換部４０（３，２）の記憶部２５は、ＡＤ変換部４０（３，１）の比較部２０の出力信号に基づいて、加算されたダーク信号に基づくデジタル信号を記憶する。このように、ＡＤ変換部４０（３，１）の比較部２０に入力される加算されたダーク信号は、ＡＤ変換部４０（３，１）の比較部２０及びＡＤ変換部４０（３，２）の記憶部２５によってデジタル信号に変換される。

ＡＤ変換部４０（３，３）の比較部２０は、加算されたダーク信号が入力されると、そのダーク信号と基準信号との比較結果を示す出力信号を、スイッチＳＷ２ｆを介してＡＤ変換部４０（３，４）の記憶部２５に出力する。ＡＤ変換部４０（３，４）の記憶部２５は、ＡＤ変換部４０（３，３）の比較部２０の出力信号に基づいて、加算されたダーク信号に基づくデジタル信号を記憶する。このように、ＡＤ変換部４０（３，３）の比較部２０に入力される加算されたダーク信号は、ＡＤ変換部４０（３，３）の比較部２０及びＡＤ変換部４０（３，４）の記憶部２５によってデジタル信号に変換される。

読み出し制御部６０は、第１行目のＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）の各々の選択部３０と、第３行目のＡＤ変換部４０（３，２）及びＡＤ変換部４０（３，４）の各々の選択部３０とをそれぞれオン状態とする。また、読み出し制御部６０は、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，２）、及びＡＤ変換部４０（３，４）とは異なる他のＡＤ変換部４０の選択部３０をそれぞれオフ状態とする。

ＡＤ変換部４０（１，１）の比較部２０に入力される加算されたダーク信号は、矢印９０ａで模式的に示すように、ＡＤ変換部４０（１，１）によってデジタル信号に変換された後に、ＡＤ変換部４０（１，１）の選択部３０を介して、データ線５０ａに出力される。また、ＡＤ変換部４０（３，１）の比較部２０に入力される加算されたダーク信号は、矢印９０ｂで模式的に示すように、ＡＤ変換部４０（３，１）の比較部２０及びＡＤ変換部４０（３，２）の記憶部２５によってデジタル信号に変換された後に、ＡＤ変換部４０（３，２）の選択部３０を介して、データ線５０ｂに出力される。

ＡＤ変換部４０（１，３）の比較部２０に入力される加算されたダーク信号は、矢印９０ｃで模式的に示すように、ＡＤ変換部４０（１，３）によってデジタル信号に変換された後に、ＡＤ変換部４０（１，３）の選択部３０を介して、データ線５０ｃに出力される。また、ＡＤ変換部４０（３，３）の比較部２０に入力される加算されたダーク信号は、矢印９０ｄで模式的に示すように、ＡＤ変換部４０（３，３）の比較部２０及びＡＤ変換部４０（３，４）の記憶部２５によってデジタル信号に変換された後に、ＡＤ変換部４０（３，４）の選択部３０を介して、データ線５０ｄに出力される。その後も同様にして、読み出し制御部６０は、ＡＤ変換部４０を２行ずつ順次選択し、選択した各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す。

ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）は、加算された光電変換信号が入力されると、その光電変換信号をデジタル信号に変換する。ＡＤ変換部４０（１，１）及びＡＤ変換部４０（１，３）の各々の記憶部２５には、それぞれ、加算された光電変換信号に基づくデジタル信号が記憶される。ＡＤ変換部４０（３，１）の比較部２０に入力される加算された光電変換信号は、ＡＤ変換部４０（３，１）の比較部２０及びＡＤ変換部４０（３，２）の記憶部２５によってデジタル信号に変換されて、ＡＤ変換部４０（３，２）の記憶部２５に記憶される。また、ＡＤ変換部４０（３，３）の比較部２０に入力される加算された光電変換信号は、ＡＤ変換部４０（３，３）の比較部２０及びＡＤ変換部４０（３，４）の記憶部２５によってデジタル信号に変換されて、ＡＤ変換部４０（３，４）の記憶部２５に記憶される。

読み出し制御部６０は、各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出す場合と同様にして、２行ずつＡＤ変換部４０を順次選択し、選択した各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出す。

このように、第２の読み出し方式では、読み出し制御部６０は、スイッチＳＷ１及びスイッチＳＷ２を制御することにより、第１の読み出し方式の場合には休止状態となるＡＤ変換部４０及びそのＡＤ変換部４０に接続されるデータ線５０ｂ、５０ｄも用いる。このため、読み出し制御部６０は、ＡＤ変換部４０を２行ずつ順次選択し、デジタル信号に変換された画素の信号を読み出すことができる。これにより、ＡＤ変換部４０を１行ずつ順次選択して画素の信号を読み出す場合よりも、短時間で画素の信号を読み出すことができる。データ線５０ａ～５０ｄに順次出力されるダーク信号に基づくデジタル信号及び光電変換信号に基づくデジタル信号は、信号処理部７０によって信号処理が施された後に、入出力部８０によって制御部４に出力される。

（加算読み出し処理の第３の読み出し方式）
図８及び図９は、制御部４により第３の読み出し方式が指示された場合の撮像素子の読み出し処理を説明する図である。図８では、ＡＤ変換部４０の比較部２０に加算されたダーク信号が入力される場合におけるスイッチＳＷ１及びスイッチＳＷ２の接続状態を示している。図９では、ＡＤ変換部４０の比較部２０に加算された光電変換信号が入力される場合におけるスイッチＳＷ１及びスイッチＳＷ２の接続状態を示している。なお、図８及び図９に示す例では、ＡＤ変換部４０（１，２）、ＡＤ変換部４０（１，４）、ＡＤ変換部４０（３，２）、及びＡＤ変換部４０（３，４）は、上述した第２のＡＤ変換部として機能する。

ＡＤ変換部４０の比較部２０に加算されたダーク信号が入力される場合、読み出し制御部６０は、図８に示すように、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、ＡＤ変換部４０（３，３）の各スイッチＳＷ１をオン状態とする。また、読み出し制御部６０は、スイッチＳＷ２ａ～スイッチＳＷ２ｈをオフ状態とする。

読み出し制御部６０は、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）の各々に、加算されたダーク信号のＡＤ変換を行わせる。例えば、ＡＤ変換部４０（１，１）の比較部２０に入力される加算されたダーク信号は、矢印９１ａで模式的に示すように、ＡＤ変換部４０（１，１）によってデジタル信号に変換されて、ＡＤ変換部４０（１，１）の記憶部２５に記憶される。また、ＡＤ変換部４０（１，３）の比較部２０に入力される加算されたダーク信号は、矢印９１ｃで模式的に示すように、ＡＤ変換部４０（１，３）によってデジタル信号に変換されて、ＡＤ変換部４０（１，３）の記憶部２５に記憶される。

ダーク信号のＡＤ変換と同時に、読み出し制御部６０は、ＡＤ変換部４０（１，２）、ＡＤ変換部４０（１，４）、ＡＤ変換部４０（３，２）、及びＡＤ変換部４０（３，４）の各々の記憶部２５から、前回の光電変換信号のＡＤ変換時に記憶された光電変換信号に基づくデジタル信号の読み出しを行う。例えば、矢印９２ｂで模式的に示すように、ＡＤ変換部４０（１，２）の記憶部２５から、加算された光電変換信号に基づくデジタル信号がデータ線５０ｂに出力される。また、矢印９２ｄで模式的に示すように、ＡＤ変換部４０（１，４）の記憶部２５から、加算された光電変換信号に基づくデジタル信号がデータ線５０ｄに出力される。その後も同様にして、読み出し制御部６０は、１行置きにＡＤ変換部４０を順次選択し、選択した各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出す。

ＡＤ変換部４０の比較部２０に加算された光電変換信号が入力される場合、読み出し制御部６０は、図９に示すように、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、ＡＤ変換部４０（３，３）の各スイッチＳＷ１をオフ状態とする。また、読み出し制御部６０は、スイッチＳＷ２ａ、スイッチＳＷ２ｂ、スイッチＳＷ２ｅ、及びスイッチＳＷ２ｆをオン状態とする。

読み出し制御部６０は、ＡＤ変換部４０（１，１）の比較部２０及びＡＤ変換部４０（１，２）の記憶部２５と、ＡＤ変換部４０（１，３）の比較部２０及びＡＤ変換部４０（１，４）の記憶部２５と、ＡＤ変換部４０（３，１）の比較部２０及びＡＤ変換部４０（３，２）の記憶部２５と、ＡＤ変換部４０（３，３）の比較部２０及びＡＤ変換部４０（３，４）の記憶部２５の各々に、加算された光電変換信号のＡＤ変換を行わせる。例えば、ＡＤ変換部４０（１，１）の比較部２０に入力される加算された光電変換信号は、矢印９１ｂで模式的に示すように、ＡＤ変換部４０（１，１）の比較部２０及びＡＤ変換部４０（１，２）の記憶部２５によってデジタル信号に変換されて、ＡＤ変換部４０（１，２）の記憶部２５に記憶される。また、ＡＤ変換部４０（１，３）の比較部２０に入力される加算された光電変換信号は、矢印９１ｄで模式的に示すように、ＡＤ変換部４０（１，３）の比較部２０及びＡＤ変換部４０（１，４）の記憶部２５によってデジタル信号に変換されて、ＡＤ変換部４０（１，４）の記憶部２５に記憶される。

光電変換信号のＡＤ変換と同時に、読み出し制御部６０は、ＡＤ変換部４０（１，１）、ＡＤ変換部４０（１，３）、ＡＤ変換部４０（３，１）、及びＡＤ変換部４０（３，３）の各々の記憶部２５から、前回のダーク信号のＡＤ変換時に記憶されたダーク信号に基づくデジタル信号の読み出しを行う。例えば、矢印９２ａで模式的に示すように、ＡＤ変換部４０（１，１）の記憶部２５から、加算されたダーク信号に基づくデジタル信号がデータ線５０ａに出力される。また、矢印９２ｃで模式的に示すように、ＡＤ変換部４０（１，３）の記憶部２５から、加算されたダーク信号に基づくデジタル信号がデータ線５０ｃに出力される。その後も同様にして、読み出し制御部６０は、１行置きにＡＤ変換部４０を順次選択し、選択した各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出す。

このように、第３の読み出し方式では、読み出し制御部６０は、スイッチＳＷ１及びスイッチＳＷ２を制御することにより、ダーク信号のＡＤ変換を行う場合と、光電変換信号のＡＤ変換を行う場合とで、異なる記憶部２５を用いてＡＤ変換を行う。これにより、撮像素子３は、画素の信号のＡＤ変換と、デジタル信号に変換された画素の信号のデータ線５０への読み出しとを並列に行うことができる。このため、短時間で画素の信号を読み出すことができる。

（加算読み出し処理の第１～第３の読み出し方式の比較）
図１０は、第１の実施の形態に係る撮像素子の加算読み出し処理の第１～第３の読み出し方式を比較する図である。図１０（ａ）は第１の読み出し方式の場合の処理を示し、図１０（ｂ）は第２の読み出し方式の場合の処理を示し、図１０（ｃ）は第３の読み出し方式の場合の処理を示している。また、図１０（ａ）～図１０（ｃ）では、同一の時間軸上に、画素１０からのダーク信号の読み出し処理と、ダーク信号のＡＤ変換処理と、ダーク信号に基づくデジタル信号の読み出し処理と、画素１０からの光電変換信号の読み出し処理と、光電変換信号のＡＤ変換処理と、光電変換信号に基づくデジタル信号の読み出し処理とを並べて示している。

図１０（ｂ）の第２の読み出し方式の場合、読み出し制御部６０は、上述したように、ＡＤ変換部４０を２行ずつ順次選択し、ダーク信号に基づくデジタル信号、光電変換信号に基づくデジタル信号を読み出す。このため、読み出し制御部６０は、図１０（ａ）の第１の読み出し方式の場合と比較して、約１／２の時間で各ＡＤ変換部４０からダーク信号に基づくデジタル信号を読み出すことができ、また約１／２の時間で各ＡＤ変換部４０から光電変換信号に基づくデジタル信号を読み出すことができる。これにより、撮像素子３は、撮影時のフレームレートを向上させることが可能となる。

図１０（ｃ）の第３の読み出し方式の場合、読み出し制御部６０は、上述したように、画素から読み出したダーク信号（又は光電変換信号）のＡＤ変換と、デジタル信号に変換された光電変換信号（又はダーク信号）の読み出しとを並列に行う。このため、撮像素子３は、図１０（ｂ）の第２の読み出し方式の場合よりも更に、撮影時のフレームレートを向上させることが可能となる。

なお、ＡＤ変換用の記憶部とデータ線５０への信号読み出し用の記憶部とを画素１０毎に別々に設けることも考えられるが、この場合は撮像素子の面積が増大してしまう。本実施の形態では、ＡＤ変換用の記憶部とデータ線５０への信号読み出し用の記憶部とを別々に設ける必要はなく、撮像素子の面積が増大することを防ぐことができる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像素子３は、光電変換により電荷を生成する第１の光電変換部１１および第２の光電変換部１１と、第１の光電変換部１１で生成された電荷に基づく信号と基準信号とを比較した結果に基づく第１信号を出力する第１の比較部２０と、第１の比較部２０から第１信号が出力され、第１信号に基づく信号を記憶する第１の記憶部２５と、第２の光電変換部１１で生成された電荷に基づく信号と基準信号とを比較した結果に基づく第２信号を出力する第２の比較部２０と、第２の比較部２０から第２信号が出力され、第２信号に基づく信号を記憶する第２の記憶部２５と、第１の比較部２０と第２の記憶部２５とを接続または切断可能な第１の接続部（スイッチＳＷ２）と、第１の接続部を制御して、第１信号を第１の記憶部または第２の記憶部に出力するかを制御する制御部（読み出し制御部）と、を備える。このようにしたので、本実施の形態に係る読み出し制御部６０は、スイッチＳＷ２を制御して画素の信号の読み出し処理を行うことによって、画素の信号の読み出し時間を短縮することができる。

（２）本実施の形態では、撮像素子３は、スイッチＳＷ１及びスイッチＳＷ２を制御することにより、第２の読み出し方式及び第３の読み出し方式を行う。これにより、画素の信号の読み出し処理を高速に行うことができる。また、撮像時のフレームレートを向上させることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
上述した実施の形態では、読み出し制御部６０が、複数の画素の信号を加算して加算読み出し処理を行う場合の例について説明した。読み出し制御部６０は、全画素のうちの特定の行や列の画素を間引いて信号を読み出す処理（間引き読み出し処理）を行うようにしてもよい。間引き読み出し処理の場合も、読み出し制御部６０は、上述した第１～第３の読み出し方式と同様の読み出し方式を行うようにしてもよい。

（変形例２）
上述した実施の形態では、撮像素子３が第１基板１１１と第２基板１１２とを積層して構成される例について説明した。しかし、第１基板１１１と第２基板１１２とは積層されていなくてもよい。

（変形例３）
上述した実施の形態では、データ線５０が、ＡＤ変換部４０から出力されるデジタル信号のビット数に対応して複数の信号線により構成される例について説明した。データ線５０は、１本の信号線であってもよいし、任意の本数の信号線であってもよい。

（変形例４）
上述した実施の形態および変形例では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜（有機光電膜）を用いるようにしてもよい。

（変形例５）
上述の実施の形態及び変形例で説明した撮像素子及び撮像装置は、カメラ、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載されるカメラ等に適用されてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特願２０１９－６９１４５号（２０１９年３月２９日出願）

１…撮像装置、３…撮像素子、４…制御部、１０…画素、１１…光電変換部、２０…比較部、２５…記憶部、４０…ＡＤ変換部、６０…読み出し制御部

Claims

光を電荷に変換する第１光電変換部を有する第１画素と、
光を電荷に変換する光電変換部であって行方向において前記第１光電変換部と並んで配置される第２光電変換部を有する第２画素と、
前記第１画素と電気的に接続される第１信号線と、
前記第２画素と電気的に接続される第２信号線と、
前記第１信号線と電気的に接続される第１入力端子と、第１出力端子とを有する第１比較部と、
前記第１出力端子と電気的に接続される第１記憶部と、
前記第２信号線と電気的に接続される第２入力端子と、第２出力端子とを有する第２比較部と、
前記第１出力端子および前記第２出力端子と電気的に接続される第２記憶部と、
を備える撮像素子。
請求項１に記載の撮像素子において、
前記第１記憶部と電気的に接続される第１データ線と、
前記第２記憶部と電気的に接続される第２データ線と
を備える撮像素子。
請求項２に記載の撮像素子において、
前記第１データ線および前記第２データ線と電気的に接続される信号処理部を備える撮像素子。
請求項３に記載の撮像素子において、
前記信号処理部は、前記第１データ線に出力された信号と、前記第２データ線に出力された信号とを用いて相関二重サンプリング処理を行う、
撮像素子。
請求項２から請求項４のいずれか一項に記載の撮像素子において、
前記第１記憶部と前記第１データ線とを電気的に接続するための第１選択部と、
前記第２記憶部と前記第２データ線とを電気的に接続するための第２選択部と
を備える撮像素子。
請求項５に記載の撮像素子において、
前記第１記憶部は、第１ラッチ回路と第２ラッチ回路とを有し、
前記第２記憶部は、第３ラッチ回路と第４ラッチ回路とを有し、
前記第１選択部は、前記第１ラッチ回路と前記第１データ線との間の電気的な接続と、前記第２ラッチ回路と前記第１データ線との間の電気的な接続とを制御し、
前記第２選択部は、前記第３ラッチ回路と前記第２データ線との間の電気的な接続と、前記第４ラッチ回路と前記第２データ線との間の電気的な接続とを制御する、
撮像素子。
請求項１から請求項６のいずれか一項に記載の撮像素子において、
前記第１画素は、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョン部を有し、
前記第２画素は、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョン部を有する、
撮像素子。
請求項７に記載の撮像素子において、
前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続するための接続部を備える撮像素子。
請求項８に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する第１スイッチを有する、
撮像素子。
請求項９に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する第２スイッチを有し、
前記第２スイッチは、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項１０に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する第３スイッチを有し、
前記第３スイッチは、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部との間において前記第１スイッチおよび前記第２スイッチと直列に接続される、
撮像素子。
請求項１から請求項６のいずれか一項に記載の撮像素子において、
前記第１信号線と前記第２信号線とを電気的に接続するための接続部を備える撮像素子。
請求項１２に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第２信号線とを電気的に接続する第１スイッチを有する、
撮像素子。
請求項１３に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第２信号線とを電気的に接続する第２スイッチを有し、
前記第２スイッチは、前記第１信号線と前記第２信号線との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項１４に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第２信号線とを電気的に接続する第３スイッチを有し、
前記第３スイッチは、前記第１信号線と前記第２信号線との間において前記第１スイッチおよび前記第２スイッチと直列に接続される、
撮像素子。
請求項１から請求項１５のいずれか一項に記載の撮像素子において、
前記第１光電変換部と前記第２光電変換部とは、第１基板に配置され、
前記第１記憶部と前記第２記憶部とは、前記第１基板と積層された第２基板に配置される、
撮像素子。
請求項１６に記載の撮像素子において、
前記第１比較部と前記第２比較部とは、前記第２基板に配置される、
撮像素子。
請求項１から請求項１７のいずれか一項に記載の撮像素子において、
前記第１比較部は、前記第１入力端子に入力される信号の信号値と比較するための基準信号が入力される第３入力端子を有する、
撮像素子。
請求項１８に記載の撮像素子において、
前記第３入力端子は、前記基準信号として、時間経過とともに信号値が変化するランプ信号が入力される、
撮像素子。
請求項１から請求項１９のいずれか一項に記載の撮像素子において、
前記第２光電変換部は、前記行方向において前記第１光電変換部の隣に配置される、
撮像素子。
請求項１から請求項２０のいずれか一項に記載の撮像素子において、
前記第２比較部は、前記行方向において前記第１比較部と並んで配置される、
撮像素子。
請求項１に記載の撮像素子において、
光を電荷に変換する光電変換部であって列方向において前記第１光電変換部と並んで配置される第３光電変換部を有する第３画素と、
前記第３画素と電気的に接続される第３信号線と、
前記第３信号線と電気的に接続される第３入力端子と、第３出力端子とを有する第３比較部と、
前記第３出力端子と電気的に接続される第３記憶部と
を備える撮像素子。
請求項２２に記載の撮像素子において、
前記第１記憶部および前記第３記憶部と電気的に接続される第１データ線と、
前記第２記憶部と電気的に接続される第２データ線と
を備える撮像素子。
請求項２３に記載の撮像素子において、
前記第１データ線および前記第２データ線と電気的に接続される信号処理部を備える撮像素子。
請求項２４に記載の撮像素子において、
前記信号処理部は、前記第１データ線に出力された信号と、前記第２データ線に出力された信号とを用いて相関二重サンプリング処理を行う、
撮像素子。
請求項２３から請求項２５のいずれか一項に記載の撮像素子において、
前記第１記憶部と前記第１データ線とを電気的に接続するための第１選択部と、
前記第２記憶部と前記第２データ線とを電気的に接続するための第２選択部と、
前記第３記憶部と前記第１データ線とを電気的に接続するための第３選択部と
を備える撮像素子。
請求項２６に記載の撮像素子において、
前記第１記憶部は、第１ラッチ回路と第２ラッチ回路とを有し、
前記第２記憶部は、第３ラッチ回路と第４ラッチ回路とを有し、
前記第３記憶部は、第５ラッチ回路と第６ラッチ回路とを有し、
前記第１選択部は、前記第１ラッチ回路と前記第１データ線との間の電気的な接続と、前記第２ラッチ回路と前記第１データ線との間の電気的な接続とを制御し、
前記第２選択部は、前記第３ラッチ回路と前記第２データ線との間の電気的な接続と、前記第４ラッチ回路と前記第２データ線との間の電気的な接続とを制御し、
前記第３選択部は、前記第５ラッチ回路と前記第１データ線との間の電気的な接続と、前記第６ラッチ回路と前記第１データ線との間の電気的な接続とを制御する、
撮像素子。
請求項２２から請求項２７のいずれか一項に記載の撮像素子において、
前記第１画素は、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョン部を有し、
前記第２画素は、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョン部を有し、
前記第３画素は、前記第３光電変換部で変換された電荷が転送される第３フローティングディフュージョン部を有する、
撮像素子。
請求項２８に記載の撮像素子において、
前記第１フローティングディフュージョン部、前記第２フローティングディフュージョン部および前記第３フローティングディフュージョン部を電気的に接続するための接続部を備える撮像素子。
請求項２９に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第３フローティングディフュージョン部とを電気的に接続する第１スイッチを有する、
撮像素子。
請求項３０に記載の撮像素子において、
前記第１スイッチは、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する、
撮像素子。
請求項３０または請求項３１に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第３フローティングディフュージョン部とを電気的に接続する第２スイッチを有し、
前記第２スイッチは、前記第１フローティングディフュージョン部と前記第３フローティングディフュージョン部との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項３２に記載の撮像素子において、
前記第２スイッチは、前記第２フローティングディフュージョン部と前記第３フローティングディフュージョン部とを電気的に接続する、
撮像素子。
請求項３２または請求項３３に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する第３スイッチを有し、
前記第３スイッチは、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項３４に記載の撮像素子において、
前記第３スイッチは、前記第２フローティングディフュージョン部と前記第３フローティングディフュージョン部との間において前記第２スイッチと直列に接続される、
撮像素子。
請求項３４または請求項３５に記載の撮像素子において、
前記接続部は、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部とを電気的に接続する第４スイッチを有し、
前記第４スイッチは、前記第１フローティングディフュージョン部と前記第２フローティングディフュージョン部との間において前記第１スイッチおよび前記第３スイッチと直列に接続される、
撮像素子。
請求項３６に記載の撮像素子において、
前記第４スイッチは、前記第２フローティングディフュージョン部と前記第３フローティングディフュージョン部との間において前記第２スイッチおよび前記第３スイッチと直列に接続される、
撮像素子。
請求項２２から請求項２７のいずれか一項に記載の撮像素子において、
前記第１信号線、前記第２信号線および前記第３信号線を電気的に接続するための接続部を備える撮像素子。
請求項２９に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第３信号線とを電気的に接続する第１スイッチを有する、
撮像素子。
請求項３９に記載の撮像素子において、
前記第１スイッチは、前記第１信号線と前記第２信号線とを電気的に接続する、
撮像素子。
請求項３９または請求項４０に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第３信号線とを電気的に接続する第２スイッチを有し、
前記第２スイッチは、前記第１信号線と前記第３信号線との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項４１に記載の撮像素子において、
前記第２スイッチは、前記第２信号線と前記第３信号線とを電気的に接続する、
撮像素子。
請求項４１または請求項４２に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第２信号線とを電気的に接続する第３スイッチを有し、
前記第３スイッチは、前記第１信号線と前記第２信号線との間において前記第１スイッチと直列に接続される、
撮像素子。
請求項４３に記載の撮像素子において、
前記第３スイッチは、前記第２信号線と前記第３信号線との間において前記第２スイッチと直列に接続される、
撮像素子。
請求項４３または請求項４４に記載の撮像素子において、
前記接続部は、前記第１信号線と前記第２信号線とを電気的に接続する第４スイッチを有し、
前記第４スイッチは、前記第１信号線と前記第２信号線との間において前記第１スイッチおよび前記第３スイッチと直列に接続される、
撮像素子。
請求項４５に記載の撮像素子において、
前記第４スイッチは、前記第２信号線と前記第３信号線との間において前記第２スイッチおよび前記第３スイッチと直列に接続される、
撮像素子。
請求項２２から請求項４６のいずれか一項に記載の撮像素子において、
前記第１光電変換部、前記第２光電変換部および前記第３光電変換部は、第１基板に配置され、
前記第１記憶部、前記第２記憶部および前記第３記憶部は、前記第１基板と積層された第２基板に配置される、
撮像素子。
請求項４７に記載の撮像素子において、
前記第１比較部、前記第２比較部および前記第３比較部は、前記第２基板に配置される、
撮像素子。
請求項２２から請求項４８のいずれか一項に記載の撮像素子において、
前記第１比較部は、前記第１入力端子に入力される信号の信号値と比較するための基準信号が入力される第４入力端子を有する、
撮像素子。
請求項４９に記載の撮像素子において、
前記第４入力端子は、前記基準信号として、時間経過とともに信号値が変化するランプ信号が入力される、
撮像素子。
請求項２２から請求項５０のいずれか一項に記載の撮像素子において、
前記第２光電変換部は、前記行方向において前記第１光電変換部の隣に配置される、
撮像素子。
請求項５１に記載の撮像素子において、
前記第３光電変換部は、前記列方向において前記第１光電変換部の隣に配置される、
撮像素子。
請求項２２から請求項５０のいずれか一項に記載の撮像素子において、
前記第３光電変換部は、前記列方向において前記第１光電変換部の隣に配置される、
撮像素子。
請求項２２から請求項５３のいずれか一項に記載の撮像素子において、
前記第２比較部は、前記行方向において前記第１比較部と並んで配置される、
撮像素子。
請求項５４に記載の撮像素子において、
前記第３比較部は、前記列方向において前記第１比較部と並んで配置される、
撮像素子。
請求項２２から請求項５３のいずれか一項に記載の撮像素子において、
前記第３比較部は、前記列方向において前記第１比較部と並んで配置される、
撮像素子。
請求項２２から請求項５６のいずれか一項に記載の撮像素子において、
光を電荷に変換する光電変換部であって前記列方向において前記第２光電変換部と並んで配置される第４光電変換部を有する第４画素と、
前記第４画素と電気的に接続される第４信号線と、
前記第４信号線と電気的に接続される第４比較部と、
前記第４比較部と電気的に接続される第４記憶部と
を備える撮像素子。
請求項５７に記載の撮像素子において、
前記第４光電変換部は、前記列方向において前記第２光電変換部の隣に配置される、
撮像素子。
請求項５８に記載の撮像素子において、
前記第４光電変換部は、前記行方向において前記第３光電変換部の隣に配置される、
撮像素子。
請求項１から請求項５９のいずれか一項に記載の撮像素子を備える撮像装置。
請求項６０に記載の撮像装置において、
前記撮像素子から出力される信号に基づいて画像データを生成する生成部を備える撮像装置。
請求項６０または請求項６１に記載の撮像装置において、
前記撮像素子に被写体像を結像させる光学系を備える撮像装置。