JP7278039B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は撮像装置及びその制御方法に関する。

近年、露光期間中にフォトダイオードに入射した光子の数を計数し、その計数値を信号値として出力するフォトンカウンティング方式のイメージセンサが提案されている。

フォトンカウンティング方式を実現する手法として、例えば特許文献１には、アバランシェフォトダイオードと、カウンタを用いる方法が開示されている。アバランシェフォトダイオードに、降伏電圧より大きい逆バイアス電圧を印加すると、単一光子の入射による生成キャリアがアバランシェ増倍を起こし、大電流が発生する。

この電流をもとに生成したパルス信号を、カウンタ回路で計数することで、アバランシェフォトダイオードに入射した光子の数に応じた信号値を得ることができる。フォトンカウンティング方式のイメージセンサは、フォトダイオードに入射した光子の数をそのまま信号値として扱う。そのため、ＣＣＤやＣＭＯＳイメージセンサなどと比較して、信号への回路ノイズの影響が少なく、微弱な光環境においても画像を鮮明にとらえることができるという利点がある。

特開昭６１－１５２１７６号公報

しかしながら、この様なイメージセンサにおいては、複数の画素で光子が入射する都度、前述した大電流が発生する。とりわけ、多画素化されたイメージセンサに高輝度光が照射され続けると、多くの画素でこの様な電流が繰り返し発生し続けるため、消費電力の増大を招く。

本発明は上述した課題に鑑みてなされたものであり、その目的は、単一光子の検出が可能な撮像装置おいて、高輝度光の照射に伴う消費電力の増大を抑制することである。

本発明に係わる撮像装置は、入射した光子の数を計数する計数手段と、前記計数手段を、前記光子の数を計数する第１の状態と、前記光子の数を計数しない第２の状態とのいずれに設定するかを選択する選択手段と、をそれぞれ有する複数の画素と、１フレームの露光期間を等間隔に分割した複数の分割露光期間における画素毎の計数結果を混合する混合手段と、前記混合手段により混合された画素毎の計数結果に基づいて、前記複数の画素に入射した光に応じた画像を生成する生成手段と、を備え、前記選択手段は、前記複数の分割露光期間における第１の分割露光期間に前記複数の画素に入射する光量に応じて、前記第１の分割露光期間よりも後に行われる第２の分割露光期間において、前記計数手段を前記第１の状態に設定するか、前記第２の状態に設定するかを選択し、前記混合手段は、前記計数手段が前記第２の状態に設定されている分割露光期間における計数結果として、直前の前記計数手段が前記第１の状態に設定されている分割露光期間における計数結果を用いることを特徴とする。
また、本発明に係わる撮像装置は、入射した光子の数を計数する計数手段と、前記計数手段を、前記光子の数を計数する第１の状態と、前記光子の数を計数しない第２の状態とのいずれに設定するかを選択する選択手段と、をそれぞれ有する複数の画素と、それぞれの前記画素における前記計数手段による計数結果に基づいて、前記複数の画素に入射した光に応じた画像を生成する生成手段と、を備え、前記選択手段は、１フレームの露光期間を等間隔に分割した複数の分割露光期間における第１の分割露光期間における計数結果に応じて、前記第１の分割露光期間よりも後に行われる第２の分割露光期間において、前記計数手段を前記第１の状態に設定するか、前記第２の状態に設定するかを選択することを特徴とする。

本発明によれば、単一光子の検出が可能な撮像装置おいて、高輝度光の照射に伴う消費電力の増大を抑制することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態における固体撮像素子の構成を示す図。 第１の実施形態における単位画素の構成を示す図。 第１の実施形態における固体撮像素子のサブフレーム駆動を示すタイミングチャート。 第１の実施形態における固体撮像素子の駆動を示すタイミングチャート。 第１の実施形態における画素部の各領域における駆動を表す図。 第１の実施形態における固体撮像素子の半導体チップ構造を示す図。 第２の実施形態における単位画素の構成を示す図。 第２の実施形態における固体撮像素子のサブフレーム駆動を示すタイミングチャート。 第２の実施形態における固体撮像素子の駆動を示す図。 第３の実施形態における単位画素の構成を示す図。 第３の実施形態における固体撮像素子の駆動を示すタイミングチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１５０の構成を示すブロック図である。図１において、固体撮像素子１００は、撮影レンズ１０１により結像された被写体像を信号値に変換する。レンズ駆動部１０２は、全体制御演算部１０３からの指示により、撮影レンズ１０１が有するフォーカスレンズの駆動、及び絞りの駆動を行う。

全体制御演算部１０３は、固体撮像素子１００の制御、固体撮像素子１００から出力された信号の補正・現像を含む、撮像装置１５０の全体の制御を行う。メモリ部１０４は、画像データを一時的に保存し、表示部１０５は、各種情報や撮影画像の表示を行う。

記録部１０６は、画像データなどが記録される半導体メモリ等の着脱可能な記録媒体である。操作部１０７は、ユーザーが撮像装置１５０に各種の指示を入力するためのインターフェースである。操作部１０７から出力される信号に基づいて、全体制御演算部１０３は撮像装置１５０の各ブロックを制御する。

図２は、固体撮像素子１００の構成を示す図である。本実施形態の固体撮像素子１００は、露光期間において単位画素２００に入射した光に応じた信号値を出力する。その際に、露光期間を分割したサブフレームに入射した光に応じた信号値を内部で加算し、露光期間全体に対応する１フレームの信号値を生成する。この駆動方法の詳細については後述する。

固体撮像素子１００は、単位画素２００が行列状に多数配置された画素部２０１、列信号線２０２、加算回路２０３、メモリ２０４、信号処理回路２０５、タイミング制御回路２０６を備えて構成される。タイミング制御回路２０６は、画素部２０１に駆動信号を出力して画素部２０１の制御を行うとともに、加算回路２０３、メモリ２０４、信号処理回路２０５の制御も行う。

列信号線２０２は、単位画素２００の出力を加算回路２０３に伝送する信号線である。そして、タイミング制御回路２０６の制御により、画素部２０１に配置された複数の単位画素２００は、入射した光に応じた信号値を後述するサブフレームの間隔で繰り返し列信号線２０２に出力する。

加算回路２０３は、単位画素２００から出力された信号値を、単位画素２００毎に順次加算し、メモリ２０４に出力する。この加算処理は信号値を混合する処理に相当し、加算回路２０３は混合手段として機能する。

メモリ２０４は、加算回路２０３から出力された信号値を保持すると共に、保持した信号値を加算回路２０３及び信号処理回路２０５に出力することができる。

具体的には、画像の生成に用いられる１フレームの最初のサブフレームに応じた単位画素２００の出力が加算回路２０３に入力された際には、加算回路２０３はメモリ２０４にこの信号値を出力する。メモリ２０４は、この信号値を保持する。

以降のサブフレームに応じた単位画素２００の出力が加算回路２０３に入力された際には、メモリ２０４に保持した信号値が加算回路２０３に出力され、単位画素２００の出力とメモリ２０４に保持された信号値が加算され、再度メモリ２０４に保持される。

このような駆動を繰り返すことにより、単位画素２００毎に信号値を順次累積加算した信号が加算回路２０３により生成され、メモリ２０４に保持される。１フレームの信号値が生成された後に、メモリ２０４はこの１フレームの信号値を信号処理回路２０５に出力する。

信号処理回路２０５は、入力された１フレームの信号値に対し、黒レベル補正等の各種補正を行い、補正された画像信号を全体制御演算部１０３へと出力する。

次に、図３は、単位画素２００の構成を示す図である。また、図４は、固体撮像素子１００のサブフレーム駆動を示すタイミングチャートである。図３と図４を参照して、本実施形態における固体撮像素子１００の駆動タイミングについて説明する。

単位画素２００は、光子を検出する状態と、光子を検出しない状態のいずれかで選択的に駆動することが可能である。そして、光子を検出する「検出サブフレーム」と光子を検出しない「非検出サブフレーム」のどちらかがサブフレーム毎に選択される。複数のサブフレーム駆動を繰り返すことにより１フレーム（所定の露光期間）における単位画素２００の信号値を生成する。

図４（ａ）は、単位画素２００により光子を検出する「検出サブフレーム」における駆動を示し、図４（ｂ）は、単位画素２００により光子を検出しない「非検出サブフレーム」における駆動を示している。なお、１フレームの駆動については図５を用いて後述する。

図３に示すように、単位画素２００は、アバランシェフォトダイオード（以下、ＡＰＤとする）３００、クエンチトランジスタ３０１、波形整形回路３０２、カウンタ３０３を備える。さらに、ラッチ３０４、制御回路３０５、ＡＮＤ回路３０６、選択スイッチ３０７を備えて構成される。

また、図４において、「ＳｕｂＶＤ」、「ＲＳＴ」、「Ｌａｔｃｈ」は、タイミング制御回路２０６から画素部２０１内の単位画素２００に共通に入力される駆動信号を表している。「ＡＰＤ」は、ＡＰＤ３００とクエンチトランジスタ３０１の間のノードの電位を表している。「波形整形回路出力」は、波形整形回路３０２の出力を表している。「計数値」は、カウンタ３０３の計数値を表している。「ラッチＥＮ」は制御回路３０５の出力するラッチＥＮ信号を表している。さらに、「ラッチ出力」はラッチ３０４の出力を表している。

ＡＰＤ３００は、ＡＰＤ用電源ＶＡＰＤと接続されるとともに、クエンチトランジスタ３０１を介して電源電圧ＶＤＤと接続されており、逆バイアスを印加することが可能なように構成されている。ＡＰＤ３００は、逆バイアスの電位差が降伏電圧以上かかった状態では、光子が入射し光電変換による電荷が発生するとアバランシェ増倍による多数の電荷を発生させる。

発生した電荷は、クエンチトランジスタ３０１を介してある時間をもって排出される。この発生した電荷がクエンチトランジスタ３０１を介して排出されることにより生じる電流をアバランシェ電流と呼ぶ。この動作により、ＡＰＤ３００とクエンチトランジスタ３０１の間のノードにおいて、ＡＰＤに光子が入射するのに応じて電位が降下する変動が起きる。このようにして、ＡＰＤ３００とクエンチトランジスタ３０１は受光部として機能する。

波形整形回路３０２は、例えばインバータ回路により構成され、ＡＰＤ３００への光子の入射に応じた電荷の生成及び排出による電位の変化に対し、増幅およびエッジ検出を行うことにより、パルス信号を生成する。

カウンタ３０３は、計数部として機能し、波形整形回路３０２の出力するパルス信号を計数し、計数値（計数結果）を出力する。カウンタ３０３の計数値は、タイミング制御回路２０６から出力される駆動信号ＲＳＴにより０にリセットされる。ラッチ３０４は、ＡＮＤ回路３０６から出力されるパルスのタイミングに合わせてカウンタ３０３から出力された計数値の保持を行う。

制御回路３０５は、タイミング制御回路２０６から出力される駆動信号ＳｕｂＶＤ、全体制御演算部１０３から出力されるモード選択信号ｍｏｄｅに応じて、ラッチＥＮ信号と、電圧Ｖｑｎｃを出力する。

駆動信号ＳｕｂＶＤは、サブフレームの開始タイミングを示す信号であり、モード選択信号ｍｏｄｅは単位画素２００の駆動モードを設定する信号である。

制御回路３０５は、モード選択信号ｍｏｄｅに応じて、そのサブフレームが、「検出サブフレーム」であるか、或いは「非検出サブフレーム」であるのかを判断する。そして、判断結果に応じたラッチＥＮ信号とゲート電圧Ｖｑｎｃを出力する。この制御により、制御回路３０５は選択手段として機能する。

ラッチＥＮ信号は、カウンタ３０３の計数値をラッチ３０４が保持するか、しないかを制御する信号であり、サブフレーム毎にＨｉｇｈレベル（以下“Ｈ”とする）かＬｏｗレベル（以下“Ｌ”とする）が出力される。具体的には、「検出サブフレーム」において“Ｈ”を、「非検出サブフレーム」において“Ｌ”を出力する。

また、電圧Ｖｑｎｃは、クエンチトランジスタ３０１のゲートに供給する電圧である。制御回路３０５は、クエンチトランジスタ３０１のゲート電圧Ｖｑｎｃを制御することにより、ＡＰＤ３００について、光子に応じてアバランシェ電流が発生する状態と発生しない状態のどちらかを選択する。

具体的には、ゲート電圧Ｖｑｎｃを、クエンチトランジスタ３０１の閾値電圧を越える電圧にすることにより、クエンチトランジスタ３０１は導通状態となる。この状態において、ＡＰＤ３００で発生したアバランシェ増倍による電荷は、ある時間をもって電源電圧ＶＤＤに排出される。そして、電荷排出後は再びＡＰＤ３００に降伏電圧以上の逆バイアスがかかり、再度、光子に応じてアバランシェ電流が発生する状態になる。

一方、ゲート電圧Ｖｑｎｃを電源電圧ＶＤＤと同じ電圧に制御することにより、クエンチトランジスタ３０１は非導通状態となる。この状態においては、ＡＰＤ３００で一度発生したアバランシェ増倍による電荷は排出されず、ＡＰＤ３００とクエンチトランジスタ３０１の間のノードは低い電位に維持される。この状態では、ＡＰＤ３００にかかる逆バイアスは降伏電圧以上とならないので、光子が入射してもアバランシェ増倍が起きず、アバランシェ電流は発生しない。

このように、制御回路３０５は、ゲート電圧Ｖｑｎｃを制御することにより、ＡＰＤ３００について、光子の入射に応じてアバランシェ電流が発生する状態と、発生しない状態のどちらかを選択することができる。そして、「検出サブフレーム」では、アバランシェ電流が発生する状態に制御され、「非検出サブフレーム」ではアバランシェ電流が発生しない状態に制御される。

ＡＮＤ回路３０６には、制御回路３０５の出力するラッチＥＮ信号と、タイミング制御回路２０６の出力する駆動信号Ｌａｔｃｈが入力される。ラッチＥＮ信号が“Ｈ”であるサブフレームにおいて、駆動信号Ｌａｔｃｈが“Ｈ”レベルになるタイミングでＡＮＤ回路３０６は“Ｈ”を出力し、このタイミングにおいてラッチ３０４はカウンタ３０３の計数値を保持する。

選択スイッチ３０７には、タイミング制御回路２０６の出力する駆動信号ＳＥＬが入力される。駆動信号ＳＥＬが“Ｈ”のタイミングにおいてラッチ３０４が保持している計数値が、単位画素２００に入射した光に応じた信号値として列信号線２０２に出力される。

駆動信号ＳＥＬは、画素部２０１内の単位画素２００にそれぞれ個別の駆動信号として入力されており、順に駆動信号ＳＥＬが“Ｈ”になることにより、画素部２０１内の単位画素２００の信号値が順に列信号線２０２に出力される。

初めに、図４（ａ）を用いて、「検出サブフレーム」における固体撮像素子１００の駆動について説明する。

タイミングｔ４００では、駆動信号ＳｕｂＶＤが“Ｈ”となり、サブフレームが開始される。同時に、駆動信号ＲＳＴが“Ｈ”となりカウンタ３０３の計数値が０にリセットされ、ラッチＥＮ信号が“Ｈ”になる。駆動信号ＲＳＴは、カウンタ３０３の計数値のリセットに必要な時間が経過した後に“Ｌ”となり、リセットが解除される。また、このタイミングにおいて、ラッチ３０４の出力はこのサブフレーム以前に保持された計数値に設定されている。

タイミングｔ４０１では、ＡＰＤ３００に光子が入射し、アバランシェ電流が発生する。具体的には、アバランシェ増倍による電荷により、ＡＰＤ３００とクエンチトランジスタ３０１の間のノードの電位が降下し、その後クエンチトランジスタ３０１から電荷が徐々に排出され、ノードの電位は電源電圧ＶＤＤになる。波形整形回路３０２は、ノードの電位の降下によるエッジを検出し、信号レベル“Ｈ”を出力する。

そして、ノードの電位が上昇するのに応じて信号レベル“Ｌ”に遷移することにより、入射した光子に応じたパルスを出力する。カウンタ３０３では、このパルスを計数し、計数値は上昇し１となる。タイミングｔ４０１～ｔ４０２では、入射した光子に応じて生成されたパルスをカウンタ３０３が計数する状態が維持される。

サブフレーム期間が終了する直前のタイミングであるタイミングｔ４０３まで、上記の動作が、ＡＰＤ３００に光子が入射するたびに繰り返される。

タイミングｔ４０３では、駆動信号Ｌａｔｃｈが“Ｈ”となり、カウンタ３０３の計数値をラッチ３０４が取り込み、駆動信号Ｌａｔｃｈが“Ｌ”になることにより計数値をラッチ３０４が保持する。図４（ａ）の例では、光子は１０個検出されており、ラッチ３０４の出力は１０となる。駆動信号Ｌａｔｃｈが“Ｈ”になるタイミングは、次の駆動信号ＳｕｂＶＤが入力されるサブフレーム終了タイミングから、ラッチ３０４が計数値を保持するのに必要な時間を考慮し、予め定めた時間だけ前のタイミングであることが望ましい。

ラッチ３０４が保持する計数値は、駆動信号ＲＳＴが“Ｌ”となりリセットが解除されたタイミングから、駆動信号Ｌａｔｃｈが“Ｌ”となり保持が完了するタイミングまでの間の期間にＡＰＤ３００に入射した光子に応じた計数値となる。つまり、光子をカウントした期間は、サブフレームの期間に完全には一致していない。しかしながら、この期間とサブフレームの期間との差はサブフレームの期間に対して非常に小さいため、このサブフレームにおいて入射した光子に応じた計数値とみなすことができる。

続いて、図４（ｂ）を用いて、「非検出サブフレーム」における固体撮像素子１００の駆動について説明する。

タイミングｔ４０４では、駆動信号ＳｕｂＶＤが“Ｈ”となり、サブフレームが開始される。「検出サブフレーム」と異なり、ラッチＥＮ信号は“Ｌ”になる。更に、図示しないゲート電圧Ｖｑｎｃは電源電圧ＶＤＤとなり、クエンチトランジスタ３０１は非導通状態となる。

タイミングｔ４０５では、ＡＰＤ３００に光子が入射し、アバランシェ増倍による電荷が発生することで、ＡＰＤ３００とクエンチトランジスタ３０１の間のノードの電位が降下する。しかし、クエンチトランジスタ３０１は非導通状態なのでこの電荷は排出されず、アバランシェ電流は発生しない。

前述したように、ノードの電位は降下した状態から変化しないので、ＡＰＤ３００にかかる逆バイアスは降伏電圧以上とならず、光子が入射してもアバランシェ増倍が起きない状態になる。波形整形回路３０２は、ノードの電位の降下に応じて信号レベル“Ｈ”となり、カウンタ３０３の計数値は１となる。

タイミングｔ４０６では、駆動信号Ｌａｔｃｈが“Ｈ”となるが、ラッチＥＮ信号は“Ｌ”であるので、ＡＮＤ回路３０６の出力は“Ｌ”のままとなり、ラッチ３０４はこのサブフレーム以前に保持された計数値を引き続き保持する。

このように、「非検出サブフレーム」においては、光子の入射の有無によらず、アバランシェ電流は発生しない。これにより、「非検出サブフレーム」の駆動を行う単位画素２００では、光子の入射しない「検出サブフレーム」と同じく、光子の入射する条件において、単位画素２００で発生する消費電力を大幅に低減することが可能となる。

続いて、図５を参照して、本実施形態における固体撮像素子１００の駆動タイミングについてさらに説明する。図５は、固体撮像素子の１フレームの画像を取得する駆動を示すタイミングチャートである。

図５において、「ＶＤ」は、１フレームの開始タイミングを示す信号であり、全体制御演算部１０３から固体撮像素子１００に入力される。「Ｍｏｄｅ：Ａ」、「Ｍｏｄｅ：Ｂ」、「Ｍｏｄｅ：Ｃ」は、モード選択信号ｍｏｄｅがＡ、Ｂ、Ｃとなる単位画素２００の動作例を表す。

具体的には、画素部２０１をマトリクス状に複数の分割領域に分割し、入射光量（撮影条件）に応じて、各々の分割領域に、モードＡ、モードＢ、モードＣのいずれかのモードが割り当てられる。

すなわち、入射光量が少ない分割領域にはモードＡ、中間の入射光量の分割領域にはモードＢ、入射光量が多い分割領域にはモードＣが割り当てられる。分割領域とモードの設定に関しては、図６を用いて後述する。

また、図５において、「動作」は、各サブフレームにおいて、単位画素２００が「検出サブフレーム」と「非検出サブフレーム」のどちらで駆動されているかを表す。

「計数値」は、実線がカウンタ３０３の計数値を、破線がラッチ３０４の出力する信号値を表す。「ＳＥＬ」は、タイミング制御回路２０６の出力する駆動信号ＳＥＬにより、画素部２０１内の単位画素２００の信号値が順に出力される駆動を模式的に表している。

「加算処理」は、加算回路２０３により、単位画素２００の出力と、メモリ２０４に保持されたその同じ単位画素２００の累積加算された信号値との加算を行うタイミングを表している。さらに、「センサ出力」は、メモリ２０４に保持された１フレームの信号が信号処理回路２０５を介して固体撮像素子１００から全体制御演算部１０３に出力されるタイミングを表している。

続いて、図５に示す駆動タイミングに沿った固体撮像素子１００の動作について具体的に説明する。

タイミングｔ５００では駆動信号ＶＤが“Ｈ”となり１フレームの駆動が開始される。同時に駆動信号ＳｕｂＶＤも“Ｈ”となり、予め設定される１フレームの露光期間を等間隔に分割したサブフレーム（分割露光期間）のうち、最初のサブフレームが開始される。１フレームの開始にあたり、単位画素２００には、分割領域毎にそれぞれ全体制御演算部１０３からモード選択信号ｍｏｄｅが入力される。

１フレームの最初のサブフレームでは、モード選択信号ｍｏｄｅによらず全ての単位画素２００は「検出サブフレーム」で駆動される。それにより、カウンタ３０３の計数値は光子の入射に応じて上昇していく。

タイミングｔ５０１では、駆動信号ＳｕｂＶＤが再び“Ｈ”となり、最初のサブフレームが終了し、２回目のサブフレームが開始される。このタイミングにおいてラッチ３０４では、最初のサブフレームに単位画素２００に入射した光子に応じた信号値が保持されている。

そして、駆動信号ＳＥＬが順次“Ｈ”になることにより、画素部２０１内の単位画素２００の最初のサブフレームにおいて入射した光子に応じた信号値が順次列信号線２０２を介して加算回路２０３へと出力される。

最初のサブフレームの信号値が加算回路２０３に入力されるタイミングにおいては、加算回路２０３では、単位画素２００の信号値を加算することなくメモリ２０４へ出力し、メモリ２０４はこの信号値を保持する。

２回目のサブフレームにおいては、モード選択信号ｍｏｄｅによりモードＡが割り当てられた単位画素２００は、再び「検出サブフレーム」として駆動される。一方、モード選択信号ｍｏｄｅによりモードＢ及びモードＣが割り当てられた単位画素２００は、「非検出サブフレーム」として駆動される。

タイミングｔ５０２では、駆動信号ＳｕｂＶＤが再び“Ｈ”となり、２回目のサブフレームが終了し、３回目のサブフレームが開始される。
モードＡが割り当てられ、２回目のサブフレームで「検出サブフレーム」として駆動された単位画素２００では、ラッチ３０４に２回目のサブフレームで入射した光子に応じた信号値が保持される。

一方、モードＢ及びモードＣが割り当てられ、２回目のサブフレームが「非検出サブフレーム」として駆動された単位画素２００では、ラッチ３０４に最初のサブフレームで入射した光子に応じた信号値が保持され続ける。

そして、加算回路２０３では、単位画素２００の出力と、メモリ２０４に保持されていた単位画素２００の信号値が加算され、再度メモリ２０４に保持される処理が行われる。つまり、メモリ２０４に保持される、モードＡが割り当てられた単位画素２００に対応する信号値は、最初と２回目のサブフレームに入射した光子に応じた信号値である。

一方、メモリ２０４に保持される、モードＢ及びモードＣが割り当てられた単位画素２００に対応する信号値は、最初のサブフレームに入射した光子に応じた信号値の２倍の信号値になる。

３回目のサブフレームにおいては、モード選択信号ｍｏｄｅによりモードＡ及びモードＢが割り当てられた単位画素２００は、「検出サブフレーム」として駆動される。一方、モード選択信号ｍｏｄｅによりモードＣが割り当てられた単位画素２００は、「非検出サブフレーム」として駆動される。

タイミングｔ５０３では３回目のサブフレームが終了し、４回目のサブフレームが開始される。４回目のサブフレームにおいては、モード選択信号ｍｏｄｅによりモードＡ及びモードＣが割り当てられた単位画素２００は、「検出サブフレーム」として駆動される。一方、モード選択信号ｍｏｄｅによりモードＢが割り当てられた単位画素２００は、「非検出サブフレーム」として駆動される。

このように、モード選択信号ｍｏｄｅによりモードＡが割り当てられた単位画素２００は、常に「検出サブフレーム」で駆動される。また、モード選択信号ｍｏｄｅによりモードＢが割り当てられた単位画素２００は、「検出サブフレーム」と「非検出サブフレーム」を交互に繰り返すように駆動される。

さらに、モード選択信号ｍｏｄｅによりモードＣが割り当てられた単位画素２００は、「検出サブフレーム」で１回駆動された後、「非検出サブフレーム」で２回繰り返すように駆動される。つまり、単位画素２００に入射する光量が多いほど、アバランシェ電流の発生しない「非検出サブフレーム」の期間（累積時間）が長くなるように制御される。

タイミングｔ５０４では、予め設定された回数のサブフレームの繰り返しが終わり、露光期間が終了する。露光期間終了後は、モード選択信号ｍｏｄｅにかかわらず、単位画素２００は「非検出サブフレーム」で駆動される。最後のサブフレームで入射した光子に応じた信号値の累積加算が終わり保持された信号値は、メモリ２０４から順次信号処理回路２０５を介して固体撮像素子１００の外部へと出力される。これにより、固体撮像素子１００の１フレームの画像の出力が完了する。

続いて、図６を参照して、画素部２０１内の分割領域毎のモードの設定について説明する。図６は、画素部内の分割領域における駆動モードを表す図である。

図６における外枠の撮像領域６００が画素部２０１の領域と対応しており、背景の画像は撮影するシーンの例を示している。分割領域６０１は、撮像領域６００を分割した１つの領域を示している。分割領域６０１の中には、複数の単位画素２００が行列状に配置されている。

分割領域６０１内の記号Ａ、Ｂ、Ｃは、その分割領域６０１に配置される単位画素２００を制御するモード選択信号ｍｏｄｅによるモードの設定例を表している。分割領域６０１毎のモード選択信号ｍｏｄｅは、全体制御演算部１０３によって、撮像を行うフレームの直前に固体撮像素子１００から出力された前フレームの信号値から演算される。

具体的には、前フレームの画像の信号値に対して分割領域６０１毎に平均値を算出し、その領域において入射する光量を推測する。そしてその平均値を予め定められた閾値と比較することにより、その比較結果に応じて、分割領域６０１毎のモード選択信号ｍｏｄｅが決定される。全体制御演算部１０３は、撮像を行うフレーム開始前に上記演算を行い、固体撮像素子１００にモード選択信号ｍｏｄｅを出力する。

なお、本実施形態においては、前フレームの信号により、分割領域６０１毎のモード選択信号ｍｏｄｅを決定した。しかし、本発明はこれに限られるものでなく、例えば、図示しない測光センサを別途設け、この測光センサにおいて画素領域６０１毎に入射する光量を計測することにより、モード選択信号ｍｏｄｅにより各画素領域６０１に割り当てるモードを決定してもよい。

次に、図７を参照して、本実施形態における固体撮像素子の半導体チップ構造について説明する。

図７（ａ）は、固体撮像素子１００が、２つの半導体基板が互いに積層されることによって構成されていることを示す図である。また、図７（ｂ）は、単位画素２００の各構成要素が、２つの半導体基板のどちらに配置されているかを説明する図である。

固体撮像素子１００は、単位画素２００が多くの構成要素を含んでおり、特にカウンタ３０３は、多ｂｉｔのカウンタで構成されるため、回路規模が大きくなる。従って、撮像素子１００は、複数の半導体基板を画素単位で接続した積層構造で実現されることが好ましい。

図７（ａ）に示すように、固体撮像素子１００は、撮影レンズ１０１を通過した光を受ける上部半導体基板７００と、主にデジタル系の回路を含む下部基板７０１とから構成されている。

上部半導体基板７００側の上部画素７０２は、図７（ｂ）に示すように、単位画素２００のＡＰＤ３００と、クエンチトランジスタ３０１を含んでいる。一方、下部半導体基板７０１側の下部画素７０３は、単位画素２００の波形整形回路３０２と、カウンタ３０３と、ラッチ３０４と、制御回路３０５と、ＡＮＤ回路３０６と、選択スイッチ３０７とを含んでいる。また、加算回路２０３と、メモリ２０４と、信号処理回路２０５と、タイミング制御回路２０６は、下部半導体基板７０１に配置されている。

このように構成することで、固体撮像素子１００は、ＡＰＤ３００に光子を入射させるための十分な開口面積を上部半導体基板７００側の上部画素７０２に確保することができる。さらに、下部半導体基板７０１側では、カウンタ３０３を配置する回路面積を確保することができる。

ただし、固体撮像素子１００の半導体チップ構造は、目的、用途に応じて自由に変えることができる。例えば、３つ以上の半導体基板の積層構造としてもよく、あるいは単一チップで構成してもよい。更に、複数の各半導体基板は異なるプロセスルールに従って製造されてもよい。

本実施形態では、単位画素２００に入射する光量に応じて、周期的に単位画素２００をアバランシェ電流の発生しない「非検出サブフレーム」として駆動することにより、高照度光の照射に伴う消費電力の増大を抑制することができる。

また、消費電力が小さい、入射する光量の少ない単位画素２００では露光期間において常に光子を検出するため、単位画素２００の信号値により生成される画像は、画質を損うことがない。

一方、入射する光量の多い単位画素２００では、サブフレームの内の一部を「非検出サブフレーム」で駆動することにより、検出する光子数が少なくなる。これにより、光ショットノイズの影響が増し、単位画素２００の信号値により生成される画像は画質が悪化する。

しかしながら、単位時間当たりに計数する光子の数が多いため、入射する光量の少ない分割領域６０１に比べ、検出する光子の数が少なくなりすぎることはなく、画像のノイズとして視認されにくい。つまり、画質の劣化を抑制しつつ高輝度光の照射に伴う消費電力の増大を抑制することができる。

また、前述したように、「非検出サブフレーム」において、単位画素２００が以前の「検出サブフレーム」における信号値を出力し、加算回路２０３において累積加算を行う。これにより、「非検出サブフレーム」による光子を検出しない期間においても、時間的に近く相関性の高い直前の「検出サブフレーム」における信号値を出力し、単位画素２００間の光子を検出する時間の長さの差を補間することができる。

更に、入射する光量が多い単位画素２００において露光期間内に周期的に検出サブフレームの駆動を行うことにより、単位時間当たりに単位画素２００に入射する光量が変化しても相関性を高めることができる。結果として、「非検出サブフレーム」の駆動を行うことによる画質の劣化を抑制することができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態の撮像装置について説明する。第２の実施形態では、同一フレーム内の検出サブフレームにおいて入射した光子に応じた信号値に基づいて、単位画素２１０毎に「非検出サブフレーム」で駆動する回数を異ならせる。

加えて、第２の実施形態では、画像を保存する静止画モードと、画像を保存せず撮像装置の表示部１０５にリアルタイムで画像を表示するライブビューモードにおいて、入射する光量に応じた「非検出サブフレーム」の回数を異ならせる。

以下、本実施形態が第１の実施形態と異なる点について説明する。第２の実施形態における固体撮像素子は、単位画素２１０を除き、第１の実施形態の固体撮像素子１００と同じ構成である。

図８を参照して、本発明の第２の実施形態における単位画素２１０の構成について説明する。図８は、第２の実施形態における単位画素２１０の構成を示す図である。単位画素２１０の構成要素のうち、構成要素８００～８０７は、図３に示す第１の実施形態の単位画素の構成要素３００～３０７に対応し、それぞれの機能は第１の実施形態と同様である。

単位画素２１０は、閾値判定回路８０８を有する点が第１の実施形態の単位画素２００と異なる。閾値判定回路８０８は、「検出サブフレーム」においてラッチ８０４が保持する信号値と、予め定められた閾値を比較し、信号値の大きさに応じて、「検出サブフレーム」後に行われる「非検出サブフレーム」の回数を制御回路８０５に出力する。制御回路８０５は内部に図示しないカウンタを有し、「非検出サブフレーム」の回数に応じて「非検出サブフレーム」を繰り返すように制御を行う。

このように、単位画素２１０内に閾値判定回路８０８を設け、「検出サブフレーム」における信号値に応じて「非検出サブフレーム」を行う回数を制御する。これにより、単位画素２１０毎に入射する光量に合わせて、単位画素２１０で発生する消費電力の低減を行うことができる。

そのため、分割領域６０１毎に制御する第１の実施形態に比べて、分割領域６０１内の光量が不均一な被写体において、より画質の劣化を抑制することが可能となる。また、「非検出サブフレーム」の回数の判定に用いられる信号値が同一フレーム内の光量に応じた信号であるため、時間的な相関性が高い。そのため、単位時間当たりに入射する光量が変化する被写体に対しても、画質と消費電力のバランスをより望ましく設定することが可能である。

続いて、図９を参照して、第２の実施形態におけるサブフレーム駆動について説明する。図９（ａ）は、光子を検出する「検出サブフレーム」における駆動を示し、図９（ｂ）は、光子を検出しない「非検出サブフレーム」における駆動を示している。

図９において、「Ｃｓ１」、「Ｃｓ２」、「Ｃｓ３」は、閾値判定回路８０８の判定に用いられる閾値を表しており、詳細は図１０を用いて説明する。また、「閾値判定回路出力」は、閾値判定回路８０８の出力を表している。その他は、図４に示した第１の実施形態と同様である。

初めに、「検出サブフレーム」について説明する。タイミングｔ９００では、駆動信号ＳｕｂＶＤが“Ｈ”となり、サブフレームが開始される。ラッチ８０４は、以前の「検出サブフレーム」における信号値を保持しており、閾値判定回路８０８の出力もその信号値に応じた値となる。

その後、ＡＰＤ８００に１個目の光子が入射し、アバランシェ電流が発生する。具体的には、アバランシェ増倍による電荷により、ＡＰＤ８００とクエンチトランジスタ８０１の間のノードの電位が降下し、その後クエンチトランジスタ８０１から電荷が徐々に排出され、ノードの電位は電源電圧ＶＤＤになる。

波形整形回路８０２は、ノードの電位の降下によるエッジを検出し、信号レベル“Ｈ”を出力する。そして、ノードの電位が上昇するのに応じて信号レベル“Ｌ”に遷移することにより、入射した光子に応じたパルスを出力する。カウンタ８０３では、このパルスを計数し、計数値は上昇し１となる。

サブフレーム期間が終了する直前のタイミングであるタイミングｔ９０１まで、上記の動作が、ＡＰＤ８００に光子が入射するたびに繰り返される。

タイミングｔ９０１では駆動信号Ｌａｔｃｈが“Ｈ”となり、ラッチ８０４は、この「検出サブフレーム」に入射した光子に応じた信号値を保持する。これにより、閾値判定回路８０８は、この信号値と閾値の比較を行う。図９（ａ）に示す例では、信号値はＣｓ２より大きく、Ｃｓ３より小さいため、閾値判定回路８０８の出力は２となる。

この閾値判定結果をもって、次のサブフレームが「検出サブフレーム」で駆動されるか、「非検出サブフレーム」で駆動されるかが決まるため、駆動信号Ｌａｔｃｈが“Ｈ”となるタイミングは、サブフレームの終了タイミングより前の、制御に必要な時間を考慮したタイミングで行われる。

なお、本実施形態においても、ラッチ８０４が信号値を保持した後の光子が検出されない時間は、サブフレームの期間に対して非常に小さいため、ラッチ８０４が保持した信号値はそのサブフレームにおいて入射した光子に応じた信号値とみなすことができる。

なお、「非検出サブフレーム」においては、ラッチ８０４は、以前の「検出サブフレーム」における信号値を保持し続けるので、閾値判定回路８０８の出力もこの信号値に応じた値のまま変化しない。

続いて、図１０を参照して、本実施形態における固体撮像素子の駆動タイミングについて説明する。図１０は、固体撮像素子の１フレームの画像を取得する駆動を示すタイミングチャートである。

図１０（ａ）は、静止画モードにおける、「検出サブフレーム」の信号値と、閾値判定回路８０８の出力する、直後に行われる「非検出サブフレーム」の回数の関係を示す図である。図１０（ｂ）は、ライブビューモードにおける同関係を示す図である。そして、図１０（ｃ）は、非検出回数が異なる単位画素２１０における１フレームの駆動を示すタイミングチャートである。

図１０（ａ）に示すように、「検出サブフレーム」における信号値が大きくなるにつれて、直後に行われる「非検出サブフレーム」の回数が増加するように、閾値Ｃｓ１、Ｃｓ２、Ｃｓ３が設定される。このとき、閾値Ｃｓ１は、「非検出サブフレーム」の回数が１になる閾値であり、Ｃｓ２、Ｃｓ３も同様に、「非検出サブフレーム」の回数がそれぞれ２、３になる閾値を示している。

一方、図１０（ｂ）に示すように、ライブビューモードでは、静止画モードに比べ、「検出サブフレーム」における信号値が同じ大きさでも、より直後に行われる「非検出サブフレーム」の回数が増加するように、閾値Ｃｍ１、Ｃｍ２、Ｃｍ３、Ｃｍ４、Ｃｍ５が設定される。

ライブビューモードでは、静止画モードと異なり、画像は保存しないが、被写体の変化をよりリアルタイムに反映できるよう、高フレームレートが求められる。加えて、ライブビューモードでは連続して撮影される時間が長い。そのため、ライブビューモードでは、静止画モードに比べて画質より消費電力の低減が優先されることが望ましい。このことから、ライブビューモードでは、より「非検出サブフレーム」の回数が増加するように閾値を設定する。

図１０（ｃ）に示すように入射する光量が少なく、非検出回数が０の単位画素２１０では、露光期間において常に「検出サブフレーム」で駆動される。一方、非検出回数が１の単位画素２１０では、「検出サブフレーム」１回の後に「非検出サブフレーム」が１回行われるように駆動される。同様に、非検出回数が２の単位画素２１０では、「検出サブフレーム」１回の後に「非検出サブフレーム」が２回行われるように駆動される。また、非検出回数が３の単位画素２１０では、「検出サブフレーム」１回の後に「非検出サブフレーム」が３回行われるように駆動される。

このように、単位画素２１０に入射する光量が多いほど、蓄積期間に占める「非検出サブフレーム」の回数が増えるように制御される。

なお、図１０（ｃ）では、単位画素２１０に単位時間当たりに入射する光量が露光期間内で概ね変化しない例を示している。閾値判定回路８０８における非検出回数の判定は、「検出サブフレーム」毎に行われるので、単位時間当たりに単位画素２１０に入射する光量が露光期間内で変化した場合は、「非検出サブフレーム」が連続する回数も変化する。

本実施形態の撮像装置においても、第１の実施形態と同様に、画質の劣化を抑制しつつ、高輝度光の照射に伴う消費電力の増大を抑制することが可能である。加えて、単位画素２１０毎に同一フレーム内の信号値を用いて非検出サブフレームの回数を制御する。そのため、分割領域６０１内に入射する光量が不均一な被写体や、露光期間において単位時間当たりに入射する光量が変化する被写体において、第１の実施形態に比べて、より望ましい画質と消費電力のバランスをとることが可能となる。

さらに、静止画モードとライブビューモードにおいて、「非検出サブフレーム」の回数を判定する閾値を異ならせることにより、撮像装置の駆動するモードに応じて、より望ましい画質と消費電力のバランスをとることが可能となる。

＜第３の実施形態＞
以下、本発明の第３の実施形態の撮像装置について説明する。第３の実施形態では、単位画素２２０から加算回路２０３へ信号値を読み出す駆動を、複数のサブフレームに１回行うことにより、加算回路２０３やメモリ２０４での消費電力を低減する。

以下、本実施形態が第１及び第２の実施形態と異なる点について説明する。第３の実施形態における固体撮像素子は、単位画素２２０を除き、第１の実施形態の固体撮像素子１００と同じ構成である。

図１１を参照して、本発明の第３の実施形態における単位画素２２０の構成について説明する。図１１は、第３の実施形態における単位画素２２０の構成を示す回路図である。単位画素２２０の構成要素のうち、構成要素１１００～１１０８は、図８に示す第２の実施形態の単位画素の構成要素８００～８０８に対応し（ＡＮＤ回路８０６は除く）、それぞれの機能は第２の実施形態と同様である。

単位画素２２０は、閾値判定回路１１０８にタイミング制御回路２０６から出力される駆動信号Ｊｕｄｇｅが入力されていること、制御回路１１０４に駆動信号ＲＳＴが入力されていること、が第２の実施形態の単位画素２１０と異なる。

また、制御回路１１０４が「非検出サブフレーム」の駆動を行った回数である非検出総数をラッチ１１０５に出力すること、ラッチ１１０５は駆動信号Ｌａｔｃｈにより直接制御されること、が第２の実施形態の単位画素２１０と異なる。

さらに、ラッチ１１０５はカウンタ１１０４の計数値と共に非検出総数を保持し、選択スイッチ１１０７を介して加算回路２０３に信号値及び非検出回数を出力すること、が第２の実施形態の単位画素２１０と異なる。

制御回路１１０５は、図示しないカウンタを有し、「非検出サブフレーム」の駆動を行った回数を計数し、非検出総数として出力する。非検出総数は駆動信号ＲＳＴに応じて、非検出総数がラッチ１１０５に保持された後に０にリセットされる。

閾値判定回路１１０８は、駆動信号Ｊｕｄｇｅに応じてカウンタ１１０４の計数値の判定を行い、判定結果を保持する。計数値の判定は、１フレームにおける最初のサブフレーム及び、加算回路２０３に出力する信号値がラッチ１１０５に保持された直後のサブフレームにおいて行われる。

制御回路１１０５は、この判定結果に基づき、「非検出サブフレーム」の駆動が行われる回数を異ならせる。ラッチ１１０５は、駆動信号Ｌａｔｃｈに応じてカウンタ１１０４の計数値と共に非検出総数を保持し、出力する。

選択スイッチ１１０７が駆動信号ＳＥＬで制御されることにより、ラッチ１１０５の保持した信号値が加算回路２０３に出力されるのと同じタイミングで、非検出総数も加算回路２０３に出力される。加算回路２０３に出力された非検出総数は、信号値と同様に累積加算され、メモリ２０４に保持される。

そして、信号値と非検出総数の累積結果は各々信号処理回路２０５に出力される。信号処理回路２０５では非検出総数の累積結果に基づき、「非検出サブフレーム」の駆動を行うことにより生じる単位画素２２０間の光子を検出する時間の長さの差を補正する。

続いて、図１２を参照して、本実施形態における固体撮像素子の駆動タイミングについて説明する。図１２は、固体撮像素子の１フレームの画像を取得する駆動を示すタイミングチャートである。図１２では、サブフレーム６回に１回、単位画素２２０から加算回路２０３へ信号値を読み出す駆動を行う例を示している。

図１２において、「Ｊｕｄｇｅ」は、画素部２０１内の単位画素２２０に共通に入力される駆動信号である。「ラッチ出力非検出総数」は、ラッチ１１０５が保持する非検出総数を表している。

「非検出回数：０」は、単位画素２２０に入射する光量が少なく、閾値判定を行うタイミングにおいて、カウンタ１１０３の計数値が閾値Ｃｓ１より小さい単位画素２２０の駆動例を表している。

「非検出回数：１」はカウンタ１１０３の計数値が閾値Ｃｓ１以上かつ閾値Ｃｓ２より小さい単位画素２２０の駆動例を表している。

同様に、「非検出回数：２」はカウンタ１１０３の計数値が閾値Ｃｓ２以上かつ閾値Ｃｓ３より小さい単位画素２２０の駆動例を表している。

上記の駆動例は、入射する光量の異なる単位画素２２０の駆動の一例であり、閾値判定を行うタイミングにおいて、カウンタ１１０３の計数値に応じて、第２の実施形態における固体撮像素子と同様に、「非検出サブフレーム」の回数が設定される。そして、次に閾値判定を行うまで「検出サブフレーム」と「非検出サブフレーム」が設定に応じて繰り返される。

より具体的に一例を挙げると、カウンタ１１０３の計数値が閾値Ｃｓ３以上の単位画素２２０では、「検出サブフレーム」の後に「非検出サブフレーム」を３回繰り返す駆動が、次に閾値判定を行うまで繰り返される。

続いて、固体撮像素子の駆動についてさらに説明する。タイミングｔ１２００では、信号ＶＤが“Ｈ”となり１フレームの駆動が開始される。同時に駆動信号ＳｕｂＶＤも“Ｈ”となり、予め設定される露光期間を等間隔に分割したサブフレームの内、最初のサブフレームが開始される。最初のサブフレームでは、全ての単位画素２２０が「検出サブフレーム」で駆動される。また、最初のサブフレームの開始時に駆動信号ＲＳＴが“Ｈ”となり、カウンタ１１０３の計数値が０にリセットされる。

タイミングｔ１２０１では、駆動信号Ｊｕｄｇｅが“Ｈ”となり、閾値判定回路１１０８においてカウンタ１１０３の計数値の閾値判定が行われる。この閾値判定の判定結果に応じて、以降のサブフレームにおいて「非検出サブフレーム」の駆動の行われる回数が制御される。駆動信号Ｊｕｄｇｅが“Ｈ”になり閾値判定が行われるタイミングは、最初のサブフレームの終了タイミングより前の、閾値判定及び以降のサブフレームの制御の変更に必要な時間を考慮したタイミングで行われる。

タイミングｔ１２０２では、駆動信号ＳｕｂＶＤが再び“Ｈ”となり、最初のサブフレームが終了し、２回目のサブフレームが開始される。単位画素２２０毎、に最初のサブフレームにおける判定結果に応じて、「検出サブフレーム」と「非検出サブフレーム」のどちらかの駆動が行われる。

２回目のサブフレームの開始時には駆動信号ＲＳＴは“Ｈ”にならず、「検出サブフレーム」で駆動される単位画素２２０のカウンタ１１０３では、最初のサブフレームでの計数値に累積加算するように、入射した光子に応じて生成されるパルス信号を計数する。一方、「非検出サブフレーム」で駆動される単位画素２２０のカウンタ１１０３ではパルス信号は生成されないので、最初のサブフレームにおいて計数した計数値を保持する。

タイミングｔ１２０３では、駆動信号Ｌａｔｃｈが“Ｈ”となり、カウンタ１１０３の計数値と非検出総数をラッチ１１０５が保持する。非検出総数は、現在のサブフレームまでの「非検出サブフレーム」の駆動を行った回数を計数したものなので、常に「検出サブフレーム」駆動を行っている非検出回数：０の単位画素２２０では、０が保持される。

一方、非検出回数：１の単位画素２２０では３が、非検出回数：２の単位画素２２０では４が保持される。保持が完了した後に、ラッチ１１０５が保持した計数値及び非検出総数は、駆動信号ＳＥＬが順に“Ｈ”になることにより加算回路２０３に信号値として出力される。

この加算回路２０３への出力は１フレーム内の最初なので、加算回路２０３では単位画素２２０の信号値及び非検出総数を加算することなくメモリ２０４へ出力し、メモリ２０４はこの信号値及び非検出総数を保持する。

タイミングｔ１２０４では、駆動信号ＳｕｂＶＤが再び“Ｈ”となり、６回目のサブフレームが終了し、７回目のサブフレームが開始される。加算回路２０３に出力する単位画素２２０の信号値及び非検出総数がラッチ１１０５に保持された次のフレームでは、加算回路２０３への出力が並行して行われること以外は、最初のサブフレームと同様の駆動が行われる。

タイミングｔ１２０５では予め設定された回数のサブフレームの繰り返しが終わり、露光期間が終了する。露光期間終了後は、全ての単位画素２２０は「非検出サブフレーム」で駆動される。最後のサブフレームにおいてラッチ１１０５が保持した信号値及び非検出総数の累積加算が終わると、保持された信号値及び非検出総数はメモリ２０４から順次信号処理回路２０５へと出力される。

信号処理回路２０５では、非検出総数の累積加算結果に応じて、累積加算された信号値に対し補正が行われる。補正は、「非検出サブフレーム」で駆動したサブフレームにおいて、「検出サブフレーム」で駆動したサブフレームにおける信号値の平均と同じ信号値が出力されたと見なすように行われる。

例えば、図１２における非検出回数：１の単位画素２２０の累積加算された信号値に対しては、露光期間を分割したサブフレーム数が１２、「検出サブフレーム」の回数が６なので、１２／６＝２を乗算する。

同様に、非検出回数：２の単位画素２２０の累積加算された信号値に対しては、１２／４＝３を乗算する。信号処理回路２０５において補正された信号値は、固体撮像素子１００の外部へと順次出力され、これにより固体撮像素子１００の１フレームの画像の出力が完了する。

なお、図１２では、単位画素２２０に単位時間当たりに入射する光量が露光期間内で概ね変化しない例を示している。閾値判定回路１１０８における非検出回数の判定は、単位画素２２０の信号値及び非検出総数が加算回路２０３に出力される度に行われる。

そのため、単位画素２２０に単位時間当たりに入射する光量が露光期間内で変化した場合は、「非検出サブフレーム」が連続する回数も変化する。このような駆動にすることにより、第２の実施形態と同様に露光期間において単位時間当たりに入射する光量が変化する被写体において、より望ましい画質と消費電力のバランスをとることが可能となる。

本実施形態の撮像装置においても、第１及び第２の実施形態と同様に、画質の劣化を抑制しつつ高輝度光の照射に伴う消費電力の増大を抑制することが可能である。加えて、単位画素２２０から加算回路２０３へ信号値を読み出す駆動を、複数のサブフレームに１回行うことにより、加算回路２０３やメモリ２０４で発生する消費電力を低減することが可能である。

なお、本実施形態において、６回のサブフレームに１回、加算回路２０３への信号値の読み出しを行う駆動としたが、本発明はこれに限られるものではない。閾値と非検出回数の制御によって想定される複数サブフレーム経過後のカウンタ１１０３の計数値の最大値を考慮し、カウンタ１１０３のビット数により定まる最大値を越えない範囲で信号値を読み出すよう、予め設定されることが望ましい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：固体撮像素子、１０１：撮影レンズ、１０２：レンズ駆動部、１０３：全体制御演算部、１０４：メモリ部、１０５：表示部、１０６：記録部、１０７：操作部、２００，２１０，２２０：単位画素

Claims (9)

1. 入射した光子の数を計数する計数手段と、前記計数手段を、前記光子の数を計数する第１の状態と、前記光子の数を計数しない第２の状態とのいずれに設定するかを選択する選択手段と、をそれぞれ有する複数の画素と、
   １フレームの露光期間を等間隔に分割した複数の分割露光期間における画素毎の計数結果を混合する混合手段と、
   前記混合手段により混合された画素毎の計数結果に基づいて、前記複数の画素に入射した光に応じた画像を生成する生成手段と、を備え、
   前記選択手段は、前記複数の分割露光期間における第１の分割露光期間に前記複数の画素に入射する光量に応じて、前記第１の分割露光期間よりも後に行われる第２の分割露光期間において、前記計数手段を前記第１の状態に設定するか、前記第２の状態に設定するかを選択し、
   前記混合手段は、前記計数手段が前記第２の状態に設定されている分割露光期間における計数結果として、直前の前記計数手段が前記第１の状態に設定されている分割露光期間における計数結果を用いることを特徴とする撮像装置。
2. 前記計数手段は、光子の入射に伴いアバランシェ電流を発生する第１の発生手段と、前記アバランシェ電流の波形に基づいてパルスを発生する第２の発生手段と、該第２の発生手段が発生したパルスを計数するカウンタとを有することを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、前記第１の発生手段がアバランシェ電流を発生しない状態に設定することにより、前記計数手段を前記第２の状態に設定することを特徴とする請求項２に記載の撮像装置。
4. 前記選択手段は、前記第１の分割露光期間においては、前記計数手段を前記第１の状態に設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記選択手段は、前記第１の分割露光期間において前記画素に入射する光量が多いほど、前記第２の状態の累積時間が長くなるように、前記計数手段の状態を設定することを特徴とする請求項４に記載の撮像装置。
6. 前記選択手段は、前記複数の画素ごとに、前記計数手段を前記第１の状態と前記第２の状態のいずれに設定するかを選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 入射した光子の数を計数する計数手段と、前記計数手段を、前記光子の数を計数する第１の状態と、前記光子の数を計数しない第２の状態とのいずれに設定するかを選択する選択手段と、をそれぞれ有する複数の画素と、
   それぞれの前記画素における前記計数手段による計数結果に基づいて、前記複数の画素に入射した光に応じた画像を生成する生成手段と、を備え、
   前記選択手段は、１フレームの露光期間を等間隔に分割した複数の分割露光期間における第１の分割露光期間における計数結果に応じて、前記第１の分割露光期間よりも後に行われる第２の分割露光期間において、前記計数手段を前記第１の状態に設定するか、前記第２の状態に設定するかを選択することを特徴とする撮像装置。
8. 前記計数手段が前記第１の分割露光期間における計数結果を閾値と比較する比較手段をさらに備え、前記選択手段は、前記比較手段の比較結果に応じて、前記第２の分割露光期間において、前記計数手段を前記第１の状態に設定するか、前記第２の状態に設定するかを選択することを特徴とする請求項７に記載の撮像装置。
9. 前記比較手段は、撮影条件に応じて前記閾値を異ならせることを特徴とする請求項８に記載の撮像装置。

Images