JP5326751B2 - 固体撮像装置、固体撮像装置の信号処理方法および電子機器 - Google Patents

Description

本発明は、固体撮像装置、固体撮像装置の信号処理方法および電子機器に関する。

ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像装置において、単位画素は、多くの場合、格子状に縦横決まったピッチで配列されている（例えば、特許文献１参照）。

現在は、信号処理を行い易いという理由から、縦横同ピッチの画素配列が主流となっている。縦横同ピッチで配列された画素、即ち縦横のサイズが同じ画素は正方画素と呼ばれる。これに対して、縦横で異なるピッチで配列された画素、即ち縦横のサイズが異なる画素は長方画素と呼ばれる。

古いタイプのビデオカメラなどに用いられる固体撮像装置としては、縦のサイズが横のサイズよりも長いタイプの長方画素が多い。これは、テレビジョン放送の規格について、縦方向に並ぶ走査線の数は規定されているが、横方向は自由度があるため、テレビジョンに映す目的なら正方格子にするメリットが小さいという理由からである。

一方、パーソナルコンピュータで画像処理したり、マシンビジョンでリアルタイムに画像の特徴を抽出して認識したりする用途では、長方画素よりも正方画素の方が好ましい。したがって、ビデオカメラでもこのタイプの固体撮像装置、即ち正方画素を用いた固体撮像装置の使用が増えてきている。

また、固体撮像装置に新機能を持たせたり特性を上げたりするために、縦方向または横方向において互いに隣接する画素（以下、「隣接画素」と記述する）間で演算する手法が採られることがある。例えば、ダイナミックレンジ拡大の方法として、偶数行の画素と奇数行の画素で蓄積時間を異ならせる方法が知られている（例えば、特許文献２参照）。

しかし、このダイナミックレンジ拡大の方法では、１枚の画像からダイナミックレンジを拡大した場合に縦方向の解像度が半分になる。特許文献２では、２枚の画像を用いて縦方向の解像度を補っているが、その代わり、時間ずれによる動解像度の劣化を起こす。このように、縦方向または横方向の隣接画素間で演算をすると、その方向の解像度が異なり、長方画素からの出力と同等になる。

特開２００７−１８９０８５号公報 特開平１１−１５０６８７号公報

最近は、画素配列において、画素ピッチの小さい、２μｍ以下の画素ピッチが普通になってきている。２μｍ以下の画素ピッチは、カメラのレンズ（光学系）の解像度よりも小さい。画素ピッチがレンズの解像度よりも小さくなった場合には、従来の延長だと、画素の微細化によって画素の感度が減少したり、取り扱える信号量が減少したりするのに、画素の微細化によって本来上がる筈の解像度が上がらないということになる。すなわち、レンズの解像度が固体撮像装置の解像度の限界ということになる。

レンズの解像度は、一例として、図２７に示すようになる。すなわち、絞りを開く（Ｆ値を小さくする）と、レンズの収差が大きくなって解像度が低下する。また、絞りを絞る（Ｆ値を大きくする）と、光の波動性に起因する回折によってやはり解像度が低下する。波動性による限界は、レイリー限界という名称で呼ばれている。

図２７は、Ｆ４（Ｆ値＝４）程度がもっとも解像度の高いレンズの例である。Ｆ４でも２μｍ以下の画素ピッチは解像できない。一眼レフカメラのレンズでは、Ｆ８程度が最も解像度が高いためＦ８程度のものが多い。一眼レフカメラのレンズは、Ｆ８程度からレンズの収差の方が大きくなるということなので、５μｍ以下の画素ピッチは解像できない。さらに、レンズ系が光学ローパスフィルタを持つときは、レンズの解像度と光学ローパスフィルタの解像度のうち悪い方の解像度が光学系の解像度となる。

ここで、画素のサイズは光電変換素子のサイズで規定されるため、画素ピッチは光電変換素子のピッチのことである。入射光が空間的に縦横等間隔でサンプリングされれば正方画素、異なる間隔でサンプリングされれば長方画素ということである。したがって、必ずしも、画素のレイアウト形状が正方形や長方形でなくとも、例えばジグソーパズルのピースのように入り組んでいてもよい。

本発明は、隣接画素間で演算を行って特性を上げたり、機能を付加したりしながら、正方画素品とほぼ同等に扱え、画像処理を容易にしたり、システムを容易に組めるようにした固体撮像装置、固体撮像装置の信号処理方法および電子機器を提供することを目的とする。

本発明はさらに、画素の微細化が解像度の限界を超えたとしても、撮像特性を上げることができる固体撮像装置、固体撮像装置の信号処理方法および電子機器を提供することを目的とする。

上記目的を達成するために、本発明は、
縦横のサイズが異なる長方画素が複数配置され、当該長方画素を隣り合う複数個組み合わせることによって縦横のサイズが同じ正方画素となる画素アレイ部を有する固体撮像装置において、
前記複数個の長方画素を組として当該複数個の長方画素から信号を読み出し、
前記複数個の長方画素から読み出される複数の信号を処理して一つの信号として出力するようにする。

長方画素を複数個組として正方画素とし、これら複数個の長方画素から読み出される複数の信号を一つの信号として出力することで、一つの信号を正方格子（正方画素）の信号として扱うことができる。入射光が空間的に縦横等間隔でサンプリングされれば正方格子のように見せることができる。一つの信号を正方格子の信号として扱えることで、後段の正方格子対応の信号処理系の構成に変更を加える必要がなくなる。また、一つの信号を、複数個の長方画素の各信号の中から適宜選択した信号、またはこれらを合成した信号とすることで、後段の信号処理系で当該一つの信号を用いてダイナミックレンジを拡大する処理など、撮像特性を上げる処理を行うことができる。その結果、画素の微細化が解像度の限界を超えたとしても、画素の微細化に対応しつつ撮像特性の向上が可能になる。

本発明によれば、縦方向または横方向の隣接画素間で演算を行って特性を上げたり機能を付加したりしながら、正方画素品と同等に扱え、画像処理を容易にしたり、システムを容易に組めるようにすることができる。また、画素の微細化が解像度の限界を超え、画素ピッチが入射光を取り込む光学系の解像度よりも小さくなったとしても撮像特性を上げることができる。

本発明が適用されるＣＭＯＳイメージセンサのシステム構成の概略を示すシステム構成図である。 実施例１に係る画素アレイ部の画素配列の一例を示す構成図である。 実施例１に係る画素アレイ部の画素配列に対する走査方法の手順を示す概念図である。 実施例１に係るカラム回路の構成の一例を示すブロック図である。 感度が異なる３つの画素を組とする場合の画素アレイ部の画素配列の一例を示す構成図である。 実施例１の変形例１に係るカラム回路の構成例を示すブロック図である。 実施例１または変形例１に係るカラム回路の動作の時間的順序を示すタイミング図である。 実施例１の変形例２に係るカラム回路の動作の時間的順序を示すタイミング図である。 変形例２の具体例１に係るカラム回路の構成例を示すブロック図である。 変形例２の具体例２に係るカラム回路の構成例を示すブロック図である。 変形例２の具体例３に係るカラム回路の構成例を示すブロック図である。 具体例３に係るカラム回路の信号処理で用いる係数α₁とｉ行目の画素の信号Ｓ_iとの関係を示す図である。 具体例３に係るカラム回路の信号処理で用いる係数α₂とｉ＋１行目の画素の信号Ｓ_i+1との関係を示す図である。 変形例２の具体例３に係るカラム回路の動作の時間的順序を示すタイミング図である。 実施例１に係る画素回路の構成の一例を示す回路図である。 裏面入射型の画素構造の一例を示す断面図である。 実施例１の変形例を示す構成図である。 実施例２に係る画素アレイ部の画素配列の一例を示す構成図である。 実施例２に係る画素アレイ部の画素配列に対する走査方法の手順を示す概念図である。 実施例２に係る画素回路の構成の一例を示す回路図である。 実施例２に係るカラム回路の構成の一例を示すブロック図である。 実施例３に係る画素回路の構成の一例を示す回路図である。 実施例３に係る画素アレイ部の画素配列に対する走査方法の手順を示す概念図である。 実施例３に係るカラム回路の構成の一例を示すブロック図である。 信号読出し系の変形例を示す構成図である。 本発明による電子機器の一例である撮像装置の構成例を示すブロック図である。 レンズのＦ値と解像度限界の関係を示す図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。

１．本発明が適用される固体撮像装置（ＣＭＯＳイメージセンサの例）
２．本実施形態の特徴部分
３．変形例
４．電子機器（撮像装置の例）

＜１．本発明が適用される固体撮像装置＞
図１は、本発明が適用される固体撮像装置、例えばＸ−Ｙアドレス型固体撮像装置の一種であるＣＭＯＳイメージセンサのシステム構成の概略を示すシステム構成図である。ここで、ＣＭＯＳイメージセンサとは、ＣＭＯＳプロセスを応用して、または部分的に使用して作成されたイメージセンサである。

図１に示すように、本適用例に係るＣＭＯＳイメージセンサ１０は、半導体基板（以下、「チップ」と記述する場合もある）１１上に形成された画素アレイ部１２と、当該画素アレイ部１２と同じチップ１１上に集積された周辺回路部とを有する構成となっている。本例では、周辺回路部として、例えば、垂直駆動部１３、カラム処理部１４、水平駆動部１５、出力回路部１６およびシステム制御部１７が設けられている。

画素アレイ部１２には、入射光量に応じた電荷量の光電荷を発生して内部に蓄積する光電変換素子を有する単位画素（以下、単に「画素」と記述する場合もある）が行列状に２次元配置されている。単位画素の具体的な構成については後述する。

画素アレイ部１２にはさらに、行列状の画素配列に対して行ごとに画素駆動線１２１が横方向／行方向（画素行の画素の配列方向）に沿って配線され、列ごとに垂直信号線１２２が縦方向／列方向（画素列の画素の配列方向）に沿って配線されている。図１では、画素駆動線１２１について１本として示しているが、１本に限られるものではない。画素駆動線１２１の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。

垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１２の各画素を、全画素同時あるいは行単位等で駆動する画素駆動部である。この垂直駆動部１３はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１２の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。

この掃出し走査系による掃出し走査により、読出し行の単位画素の光電変換素子から不要な電荷が掃き出されることで、当該光電変換素子がリセットされる。そして、この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積期間（露光期間）となる。

垂直駆動部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１２２の各々を通してカラム処理部１４に供給される。カラム処理部１４は、画素アレイ部１２の画素列ごとに、選択行の各単位画素から垂直信号線１２２を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

具体的には、カラム処理部１４は、各単位画素の信号を受けて当該信号に対して、例えばＣＤＳ(Correlated Double Sampling;相関二重サンプリング）によるノイズ除去や、信号増幅や、ＡＤ（アナログ−デジタル）変換などの信号処理を行う。ノイズ除去処理により、リセットノイズや増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。なお、ここで例示した信号処理は一例に過ぎず、信号処理としてはこれらに限られるものではない。

水平駆動部１５は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１４の画素列に対応する単位回路を順番に選択する。この水平駆動部１５による選択走査により、カラム処理部１４で信号処理された画素信号が順番に水平バス１８に出力され、当該水平バス１８によって出力回路部１６に伝送される。

出力回路部１６は、水平バス１８によって伝送される信号を処理して出力する。出力回路部１６での処理としては、バッファリングだけの処理の場合もあるし、バッファリングの前に黒レベルを調整したり、列ごとのばらつきを補正したりするなど、各種のデジタル信号処理が挙げられる。

出力回路部１６は、例えば、その出力段が差動の信号を出力する差動出力構成となっている。すなわち、出力回路部１６の出力段は、水平バス１８によって伝送される信号を処理して正相の信号として出力するとともに、その極性を反転して逆相の信号として出力する。

正相の信号は正相の出力端子１９Ａを介してチップ１１の外部に出力され、逆相の信号は逆相の出力端子１９Ｂを介してチップ１１の外部に出力される。出力回路部１６の出力段を差動出力構成とした場合、チップ１１の外部に設けられる信号処理部、例えば信号処理ＩＣは、差動回路構成の入力段で正相および逆相の信号を受けることになる。

このように、出力回路部１６の出力段を差動出力構成とし、信号処理ＩＣの入力段を差動回路構成とすることで、出力回路部１６の出力段と信号処理ＩＣの入力段との間で電流によって情報を伝達することができる。これにより、出力回路部１６の出力段と信号処理ＩＣの入力段との間の伝送経路が長くなっても当該伝送経路での充放電がなくなるため、システムの高速化を図ることができる。

システム制御部１７は、チップ１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本ＣＭＯＳイメージセンサ１０の内部情報などのデータを出力する。システム制御部１７さらには、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１３、カラム処理部１４および水平駆動部１５などの周辺回路部の駆動制御を行う。

チップ１１の周縁部には、電源端子を含む入出力端子群２０，２１の各端子が設けられている。入出力端子群２０，２１は、チップ１１の内部と外部との間で電源電圧や信号のやり取りを行う。入出力端子群２０，２１の配設位置としては、チップ１１に対する信号の入る向きや出る向きなどを考慮して使い勝手のよい位置に決められる。

＜２．本実施形態の特徴部分＞
上述した構成のＣＭＯＳイメージセンサ１０において、本実施形態では、単位画素の縦横比を１：１（正方画素）以外、即ち単位画素の形状を縦横のサイズが異なる長方形（長方画素）にする。そして、当該単位画素を隣り合う複数個組み合わせることによって縦横のサイズが同じ正方画素となるようにし、これら組となる複数個の単位画素から一つの信号を出力することを特徴とする。

これにより、複数個の画素を単位として出力される一つの信号を正方格子（正方画素）の信号として扱うことができる。入射光が空間的に縦横等間隔でサンプリングされれば正方格子のように見せることができる。一つの信号を正方格子の信号として扱えることで、後段の周知の正方格子対応の信号処理系の構成に変更を加える必要がなくなる。

また、一つの信号を、複数個の画素の各信号の中から適宜選択した信号、またはこれらを合成した信号とすることで、後段の信号処理系で当該一つの信号を用いてダイナミックレンジを拡大する処理など、撮像特性を上げる処理を行うことができる。以下に、具体的な実施例について説明する。

［実施例１］
図２は、実施例１に係る画素アレイ部１２の画素配列の一例を示す構成図である。図２に示すように、画素アレイ部１２には、光電変換素子を含む単位画素３０が多数行列状に２次元配置されている。ここで、単位画素３０は、横（行方向）のサイズが縦（列方向）のサイズの２倍長い、即ち縦横のピッチ比が１：２のいわゆる横長の長方画素となっている。

本適用例に係るＣＭＯＳイメージセンサ１０は、カラー撮像対応の場合、単位画素３０の受光面上にカラーフィルタ、例えばオンチップカラーフィルタ４０を持つことになる。ここで、単位画素３０は、上下方向に並ぶ複数の画素、例えば２画素を組としている。そして、この組となる上下２画素には同じ色のオンチップカラーフィルタ４０が配されるものとする。

オンチップカラーフィルタ４０は、例えばＲ（赤色），Ｇ（緑色），Ｂ（青色）の各色が所定の関係で配置されている。ここでは、一例として、Ｇ，Ｂ，Ｇ，Ｂ，……の色配列と、Ｒ，Ｇ，Ｒ，Ｇ，……の色配列とが２行ごとに繰り返されるカラーコーディングとなっている。上下２画素が同じ色であるため、カラーフィルタは上下２画素分につき１枚でよい。

画素アレイ部１２の画素配列において、単位画素３０が縦：横のサイズ比が１：２の横長の長方画素であるため、図２に示すように、上下２画素を組とするカラーフィルタ４０の個々の形状は正方形になる。２行ごとに、Ｇ，Ｂ，Ｇ，Ｂ，……の色配列と、Ｒ，Ｇ，Ｒ，Ｇ，……の色配列とが繰り返される画素配列に対して、正方形のカラーフィルタ４０を配することで、全体として、オンチップカラーフィルタ４０の色配列はいわゆるベイヤー配列となる。

２画素を単位とした色配列のカラーフィルタ４０とすることで、次のような利点が得られる。すなわち、画素はＣＭＯＳプロセスの微細化が進展するとともにどんどん微細化されていくが、カラーフィルタについてはその微細化が画素の微細化に追いつきにくくなってきている。何故ならば、角の丸まりや剥がれを、分光特性を維持しながら微細化に対応させるのが難しいからである。

これに対して、上記構成例のカラーフィルタ４０の場合、２画素分の大きさでよいために、画素の微細化に対して有利である。すなわち、上述したように、画素個々にカラーフィルタを配置するとした場合、カラーフィルタが画素の微細化に追いつかないが、複数個の画素に対してカラーフィルタを配置する訳であるから、画素の微細化に対応できることになる。

（走査方法）
ここで、実施例１に係る画素アレイ部１２の画素配列、即ちＧ，Ｂ，Ｇ，Ｂ，……の色配列と、Ｒ，Ｇ，Ｒ，Ｇ，……の色配列とが２行ごとに繰り返される画素配列に対する走査方法について、図３を用いて説明する。この走査は、図１の垂直駆動部１３による駆動の下に実行される。なお、図３を用いて説明する走査方法は公知の走査方法である。

まず、奇数行のシャッタ走査、それから偶数行のシャッタ走査、それから読出し行の走査を行う。ここで、シャッタ走査とは、先述した電子シャッタと呼ばれる走査であり、画素の蓄積開始を規定する走査である。このシャッタ走査において、奇数行の各画素と偶数行の各画素でシャッタタイミングを違えるようにする。

具体的には、図３に示すように、奇数行の各画素は長い蓄積時間となるシャッタタイミングとし、偶数行の各画素は短い蓄積時間となるシャッタタイミングとする。すなわち、隣り合う２行を単位（組）とした場合、一方の行（本例では、奇数行）の各画素の蓄積時間を相対的に長く、他方の行（本例では、偶数行）の各画素の蓄積時間を相対的に短くする。

このようなシャッタ走査により、長い蓄積時間となる奇数行の各画素の信号は、長い蓄積時間に対応した高感度の信号となる。すなわち、奇数行の各画素には長い時間かけて光が入射することになるので、奇数行の各画素の信号は暗いところまで鮮明に捉えられる信号となる。ただし、奇数行の各画素、即ち高感度の画素は光電変換素子がすぐに飽和してしまう。一方、短い蓄積時間となる偶数行の各画素の信号は、短い蓄積時間に対応した低感度の信号となる。すなわち、偶数行の各画素に入射する光量が少ないので、偶数行の各画素の信号は、より明るいところまで飽和せずに捉えられる信号となる。

（カラム処理部）
続いて、上述した走査方法による走査の下に、実施例１に係る画素アレイ部１２の各画素３０から出力される信号を処理するカラム処理部１４について説明する。カラム処理部１４は、画素アレイ部１２の画素列に対応して設けられた単位回路の集合である。以下、カラム処理部１４を構成する単位回路の個々をカラム回路と呼ぶこととする。

図４は、実施例１に係るカラム回路１４Ａの構成の一例を示すブロック図である。図４に示すように、本実施例１に係るカラム回路１４Ａは、ＣＤＳ回路１４１と、判定回路１４２と、所定の信号処理、例えばＡＤ変換処理を行うＡＤ変換回路１４３と、ラッチ１４４とを有する構成となっている。

垂直駆動部１３による駆動の下に、画素アレイ部１２からカラム回路１４Ａに対して画素の信号が感度の高い画素の順に供給される。本例では、奇数行の画素が偶数行の画素よりも高感度であることから、奇数行の画素の信号が先にカラム回路１４Ａに入力され、次いで偶数行の画素の信号がカラム回路１４Ａに入力される。

カラム回路１４Ａにおいて、ＣＤＳ回路１４１は、周知のように、画素の信号が乗ったレベル（後述する信号レベル）と、当該信号が乗ってないレベル（後述するリセットレベル）との差をとって、オフセットを除いた信号量を算出するための信号処理を行う。

判定回路１４２は、システム制御部１７による制御の下に、画素アレイ部１２から順番に読み出される高感度の画素の信号と低感度の画素の信号が所定値よりも大きいか否かを判定する処理を、これら信号の読み出しの都度行う。判定回路１４２の判定基準となる所定値としては、例えば画素の飽和レベルが用いられる。

判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４は、奇数行の画素の信号と偶数行の画素の信号に対して以下のように異なる処理動作を行う。

〔奇数行に対して〕
判定回路１４２は、画素の飽和レベルを判定基準とし、奇数行の画素から来た信号が飽和していないかを判定し、飽和していないレベルのときはフラグＦＬに論理“０”を、飽和しているレベルのときはフラグＦＬに論理“１”を書き込む。そして、判定回路１４２は、ＣＤＳ回路１４１から受けた信号と共にフラグＦＬをＡＤ変換回路１４３に送る。

ＡＤ変換回路１４３は、フラグＦＬが論理“０”のとき（即ち、飽和していないレベルのとき）に動作し、画素の信号（アナログ信号）をＡＤ変換してラッチ１４４に渡す。フラグＦＬが論理“１”のとき（即ち、飽和しているレベルのとき）には、ＡＤ変換回路１４３はスタンバイ状態となってＡＤ変換処理は行わない。フラグＦＬの値は、ＡＤ変換回路１４３を経由してラッチ１４４の一部に書き込まれる。

〔偶数行に対して〕
判定回路１４２は、偶数行の画素から来た信号に対して判定処理を行わず、当該信号を奇数行の画素の信号に対する判定結果、即ちフラグＦＬの値と共にＡＤ変換回路１４３に送る。ＡＤ変換回路１４３は、判定回路１４２からフラグＦＬの値と共に偶数行の画素の信号を受け取ると、フラグＦＬが論理“１”のときにだけ動作し、偶数行の画素の信号をＡＤ変換してラッチ１４４に渡す。

具体的には、ＡＤ変換回路１４３は、判定回路１４２から受け取ったフラグＦＬが論理“０”のとき、即ち奇数行の画素の信号が飽和していないレベルのときは、偶数行の画素の信号に対してはスタンバイ状態となってＡＤ変換処理は行わない。また、フラグＦＬが論理“１”のとき、即ち奇数行の画素の信号が飽和しているレベルのときは、偶数行の画素の信号に対してＡＤ変換処理を行う。

このようにして、奇数行、偶数行の順に２行分の画素（即ち、上下２画素）の信号がカラム回路１４Ａで処理され、その後ラッチ１４４から画素の信号の値とフラグＦＬの値とが、図１に示す水平バス１８に読み出される。これにより、上下２画素のうちのどちらか一方の信号がＡＤ変換されて出力される。このとき、他方の信号に対しては、ＡＤ変換回路１４３はスタンバイ状態となってＡＤ変換処理を行わない。この上下２画素は、前に説明した同じ色のフィルタを持つものである。

長時間蓄積の高感度の画素の信号が飽和している場合には、短時間蓄積の低感度の画素の信号が採用されるようになっている。ここで、飽和というのは、入射光量に対して信号がほぼ線形に応答しなくなっているレベルの大きな信号ということである。本例の場合、奇数行の画素から読み出された高感度の信号が飽和していないときは、当該信号レベルとＦＬ＝“０”がカラム回路１４Ａから水平バス１８に出力される。奇数行の画素から読み出された信号が飽和しているときは、偶数行の画素から読み出された低感度の信号の信号レベルとＦＬ＝“１”がカラム回路１４Ａから水平バス１８に出力される。

そして、後段の信号処理部（例えば、図２６のＤＳＰ１０３）において、信号レベルとフラグＦＬの値を基に信号処理することでダイナミックレンジを拡大することができる。具体的には、後段の信号処理部において、フラグＦＬが高感度の画素の信号が飽和していないことを示すとき（ＦＬ＝“０”）は、当該フラグＦＬと対で与えられる高感度の画素の信号を用いて映像信号を生成する。

フラグＦＬが高感度の画素の信号が飽和していることを示すとき（ＦＬ＝“０”）は、当該フラグＦＬと対で与えられる低感度の画素の信号レベルを用いて映像信号を生成する。このような信号処理を行うことにより、光入力に対するダイナミックレンジを拡大できる。

上下２画素のピッチが、実用上レンズ解像度以下であれば、上下の解像度の低下は起こらず、あたかも正方画素からダイナミックレンジが拡大された信号が出力されてきたように捉えることができる。ここで、レンズ解像度というのは、入射光を取り込む光学系のレンズを通ってＣＭＯＳイメージセンサ１０の撮像面に結像している像の解像度ということである。

厳密には、光学ローパスフィルタなどのレンズ以外の構成要素で解像度が決まっている場合もあり得る。また、Ｘ線や透過光による直接撮像などの、いわゆる「レンズ」が使えないものまで含めると、ＣＭＯＳイメージセンサ１０の撮像面上に像を形成するための光学系の解像度ということである。

上下２画素の信号について、あたかも１つの画素から出力されてきた信号に見えるようにするためには、上下２画素は、オフセットや感度の特性ができるだけ近く、通常の画素ばらつき以下の小さな特性差であることが望ましい。そうでないと、２画素の信号を乗り換える部分で信号に飛びが生じる懸念があるからである。そのために、上下２画素間で画素回路を構成する回路素子の一部を共有する。この回路素子の一部についての画素共有については後述する。

一方、カラム回路１４Ａでは、先述したように、組となる２つの画素（本例では、高感度の画素と低感度の画素）のうちのどちらか一方の信号をＡＤ変換し、他方の信号についてはＡＤ変換回路１４３をスタンバイ状態にしてＡＤ変換を行わないようにしている。これにより、２つの画素のいずれの信号に対してもＡＤ変換処理を行う場合に比べて、ＡＤ変換回路１４３がスタンバイ状態になる分だけ消費電力を低減できる利点がある。

なお、ここで説明した信号処理の技術については、長方画素を複数個組として正方画素とし、これら複数個の長方画素から読み出される複数の信号を一つの信号として出力して正方画素の信号として扱う構成のＣＭＯＳイメージセンサ１０への適用に限られるものではない。すなわち、単位画素３０の形状を問わず、当該単位画素３０が行列状に２次元配置されてなるＣＭＯＳイメージセンサ全般に対して適用可能である。

また、本例では、高感度の画素と低感度の画素の２つの画素を組とする場合を例に挙げて説明したが、組となる画素数は２つに限られものではない。また、画素の信号に対する信号処理についても、ＡＤ変換処理に限られるものではない。

すなわち、画素アレイ部１２からｎ個（２≦ｎ）の画素（本例の場合には、ｎ＝２）を組として当該ｎ個の画素から順番に読み出されるｎ個の信号について、その読み出しの都度所定値以上か否かを判定回路１４２で判定する。そして、その判定結果を基にｎ個よりも少ないｍ個（１≦ｍ＜ｎ）の信号について所定の信号処理を行うようにする。これにより、（ｎ−ｍ）の信号について、所定の信号処理を行わない分だけ消費電力を低減できることになる。

《ｎ＝３の場合のカラム処理》
以下に、ｎ＝２以外、例えばｎ＝３の場合、即ち互いに感度が異なる３つの画素を組とする場合を例に挙げて、変形例１に係るカラム処理（カラム回路１４Ａの信号処理）として説明する。

図５に、感度が異なる３つの画素を組とする場合の画素アレイ部１２の画素配列の一例を示す。図５に示すように、本例の場合、Ｇ，Ｒ，Ｇ，Ｒ，……の色配列と、Ｂ，Ｇ，Ｂ，Ｇ，……の色配列とが３行ごとに繰り返されるカラーコーディングとなっている。そして、上下に隣接する同色の３つの画素を組みとし、これら３つの画素の内、例えば一番上の画素の感度が一番高く、一番下の画素の感度が一番低くなるような感度の高低関係となっている。

ただし、感度の高低関係はこの順番に限られるものではない。いずれの感度の高低関係の場合にも、垂直駆動部１３による駆動の下に、感度の高い画素から信号が読み出され、実施例１の変形例１に係るカラム回路１４Ａ−１に入力されるのが好ましい。

図６に、実施例１の変形例１に係るカラム回路１４Ａ−１の構成例を示す。本変形例に係るカラム回路１４Ａ−１は、基本的に、図４に示す実施例１に係るカラム回路１４Ａと同様の構成となっている。カラム回路１４Ａと相違する点は、ラッチ１４４´が２つのラッチ１，２から構成されている点である。

判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４′は、１行目、２行目、３行目の各画素の信号に対して以下のように異なる処理動作を行う。

〔１行目に対して〕
判定回路１４２は、画素の飽和レベルを判定基準とし、１行目の画素から来た信号が飽和していないかを判定し、飽和していないレベルのときはフラグＦＬに論理“０”を、飽和しているレベルのときはフラグＦＬに論理“１”を書き込む。そして、判定回路１４２は、ＣＤＳ回路１４１から受けた信号と共にフラグＦＬをＡＤ変換回路１４３に送る。

ＡＤ変換回路１４３は、フラグＦＬが論理“０”のとき（即ち、飽和していないレベルのとき）に動作し、アナログ信号である画素の信号をＡＤ変換してラッチ１４４´のラッチ１に書き込む。フラグＦＬが論理“１”のとき（即ち、飽和しているレベルのとき）は、ＡＤ変換回路１４３はスタンバイ状態となってＡＤ変換処理は行わない。フラグＦＬの値は、ＡＤ変換回路１４３を経由してラッチ１４４´の一部に書き込まれる。

〔２行目に対して〕
判定回路１４２は、２行目の画素から来た信号に対して判定処理を行わず、当該信号を１行目の画素の信号に対する判定結果、即ちフラグＦＬの値と共にＡＤ変換回路１４３に送る。ＡＤ変換回路１４３は、判定回路１４２からフラグＦＬの値と共に２行目の画素の信号を受け取ると、当該フラグＦＬの値に関わらず動作し、２行目の画素の信号をＡＤ変換する。このとき、ＡＤ変換回路１４３は、フラグＦＬが論理“０”のときにはＡＤ変換結果をラッチ１４４´のラッチ２に書き込み、フラグＦＬが論理“１”のときには、ラッチ１４４´のラッチ１が空き状態にあるために、当該ラッチ１にＡＤ変換結果を書き込む。

〔３行目に対して〕
判定回路１４２は、３行目の画素から来た信号に対して判定処理を行わず、当該信号を１行目の画素の信号に対する判定結果、即ちフラグＦＬの値と共にＡＤ変換回路１４３に送る。ＡＤ変換回路１４３は、判定回路１４２からフラグＦＬの値と共に３行目の画素の信号を受け取ると、フラグＦＬが論理“１”のときにだけ動作し、３行目の画素の信号をＡＤ変換する。

具体的には、ＡＤ変換回路１４３は、判定回路１４２から受け取ったフラグＦＬが論理“０”のとき、即ち１行目の画素の信号が飽和していないレベルのときは、３行目の画素の信号に対してはスタンバイ状態となってＡＤ変換処理は行わない。また、フラグＦＬが論理“１”のとき、即ち１行目の画素の信号が飽和しているレベルのときは、３行目の画素の信号に対してＡＤ変換処理を行い、そのＡＤ変換結果をラッチ１４４´のラッチ２に書き込む。

このようにして、３画素分の信号がカラム回路１４Ａ−１で処理され、その後ラッチ１４４´の２つのラッチ１，２から信号の値とフラグＦＬの値とが、図１に示す水平バス１８に読み出される。このカラム回路１４Ａ−１による信号処理により、３画素のうちの２画素の信号がＡＤ変換されて出力される。

より具体的には、最初に読み出される高感度の画素の信号が飽和している場合には、当該高感度の画素の信号に対するＡＤ変換処理が行われずに、中感度と低感度の画素の信号についてのＡＤ変換結果がラッチ１４４´の２つのラッチ１，２に書き込まれる。一方、最初に読み出される高感度の画素の信号が飽和していない場合には、当該高感度の画素の信号と中感度の画素の信号がＡＤ変換されてそのＡＤ変換結果がラッチ１４４´の２つのラッチ１，２に書き込まれ、低感度の画素の信号に対してはＡＤ変換処理が行われない。

ラッチ１４４´の２つのラッチ１，２に書き込まれたデジタル信号とフラグの値は、水平バス１８に出力される。そして、後段の信号処理部（例えば、図２６のＤＳＰ１０３）において、これらの信号とフラグＦＬの値を基に信号処理することでダイナミックレンジを拡大することができる。

上記の処理例では、組となる３つの画素の信号を順に読み出すが、判定回路１４２が信号のレベルを判定することで、ＡＤ変換回路１４３は２回しか動作せず、１回はスタンバイとなる。これにより、３つの画素の信号に対してＡＤ変換回路１４３が３回動作する場合に比べて、消費電力の低減を図ることができる。

ここでは、３画素中、常に２画素をＡＤ変換する例を示したが、２行目ついても判定回路１４２に信号レベルを判定させ、１行目に引き続いて２行目も飽和していた場合には、２行目についてもＡＤ変換回路１４３をスタンバイ状態にするようにすることもできる。このときはフラグＦＬを２ビットにするなど多少の変更は生ずるものの、設計者にとって十分推察できる範囲である。

このように、設計者の思想によってさまざまな応用が可能である。すなわち、本発明の技術的範囲は上記実施形態に記載の範囲には限定されるものではなく、発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。感度の異なる４つ以上の画素の信号への対応ができることについても、当業者にとっては自明である。

ここで、以上説明したｎ＝２，ｎ＝３の場合のカラム処理の概要について、動作の時間的順序を示す図７を用いて総括的に説明する。図７には、２つの処理例（Ａ），（Ｂ）を示している。

先ず図７（Ａ）に示すように、感度が一番高い第ｉ行の画素から信号を読み出す。これを受けて判定回路１４２は、第ｉ行の画素から読み出した信号が飽和しているか否かを判断する。このとき、飽和していないという判断結果であれば、第ｉ行のＡＤ変換期間に第ｉ行の画素の信号をＡＤ変換処理する。

一方、飽和しているという判断結果であれば、第ｉ行のＡＤ変換期間にＡＤ変換回路１４３をスタンバイ状態にしてＡＤ変換処理を行わない。ここで、画素の信号が飽和しているか否かの判定は画素列ごとに行われる。したがって、第ｉ行の画素の信号について、ＡＤ変換処理が行われる画素列も、ＡＤ変換処理が行われない画素列もある。

次に、第ｉ行の画素よりも感度が低い第ｉ＋１行の画素から信号を読み出す。この第ｉ＋１行についてのＡＤ変換期間において、第ｉ行でＡＤ変換処理が行われた画素列ではＡＤ変換回路１４３をスタンバイ状態にしてＡＤ変換処理を行わず、ＡＤ変換処理が行われなかった画素列ではＡＤ変換処理を行う。

このように、例えば実施例１に係るカラム処理の場合には、２行の画素の信号の読み出しに対して２回のＡＤ変換期間が設けられる。そして、ＡＤ変換回路１４３は、２回のＡＤ変換期間のうちの１回動作することになる。図７（Ｂ）に示すように、ある行の画素の信号についてのＡＤ変換期間に、次の行の画素からの信号の読み出しを並行して行う処理例の場合にも、ＡＤ変換回路１４３は、２回のＡＤ変換期間のうちの１回動作する。

２回のＡＤ変換期間のうちの１回、ＡＤ変換回路１４３が動作してＡＤ変換処理を行うということは、残りの１回はＡＤ変換回路１４３がスタンバイ状態にあるということである。その結果、ＡＤ変換回路１４３がスタンバイ状態になる分だけ消費電力を低減できるのである。

上述した実施例１または変形例１に係るカラム処理（カラム回路１４Ａの信号処理）では、ＡＤ変換回路１４３を常に動作状態にするのではなく、適宜にスタンバイ状態にすることによって消費電力の低減を図るとしている。この消費電力の低減に加えて、信号処理時間の短縮化を可能にするカラム処理について、以下に変形例２に係るカラム処理として説明する。

図８は、変形例２に係るカラム回路の動作の時間的順序を示すタイミング図である。図８には、２つの処理例（Ａ），（Ｂ）を示している。変形例２に係るカラム回路には、サンプルホールド（Ｓ／Ｈ）回路が設けられていることを前提とする。

先ず図８（Ａ）に示すように、例えば奇数行である第ｉ行の画素から信号を読み出す。これを受けて判定回路１４２は、第ｉ行の画素から読み出した信号が飽和しているか否かを判断する。飽和していないという判断結果であれば、第ｉ行の画素の信号をサンプルホールド回路に保持する。このとき、飽和していない信号についてはサンプルホールド回路に保持しなくとも良い。

次に、偶数行である第ｉ＋１行の画素から信号を読み出す。このとき、先ほどの第ｉ行の画素の信号が飽和していなかった場合は、第ｉ＋１行の画素の信号はサンプルホールド回路に入らないようブロックされる。逆に第ｉ行の画素の信号が飽和していた場合は、第ｉ＋１行の画素の信号がサンプルホールド回路に保持される。次いで、ＡＤ変換期間に入り、ＡＤ変換回路１４３は、サンプルホールド回路に保持されている信号に対してＡＤ変換処理を行う。

このように、変形例２に係るカラム処理で、例えばｎ＝２の場合には、２行の画素の信号の読み出しに対して１回のＡＤ変換期間が設けられる。すなわち、２行の読み出しに対してスタンバイ期間を設けないで、ＡＤ変換期間を減らすことができるために、２行の読み出しに対して２回のＡＤ変換期間が必要となる実施例１または変形例１のカラム処理に比べて、信号処理の高速化を図ることができる。

また、信号処理時間を実施例１または変形例１のカラム処理と同じ低速で良いとした場合には、低速処理での信号処理の精度、例えばＡＤ変換処理での変換精度の向上を図ることができる。また、２行の読み出しに対してＡＤ変換期間が１回で良いということは、２回必要となる場合よりも低消費電力化を図ることもできる。

図８（Ｂ）に示すように、例えば２行分の画素の信号についてのＡＤ変換期間に、次の２行分の画素からの信号の読み出しを並行して行う処理例の場合にも、２行の画素の信号の読み出しに対して１回のＡＤ変換期間を設けるだけで済む。

上述した変形例２に係るカラム処理を実現するカラム回路１４Ａの具体例について以下に説明する。

図９は、変形例２の具体例１に係るカラム回路１４−２の構成例を示すブロック図であり、図中、図４と同等部分には同一符号を付して示している。

図９に示すように、具体例１に係るカラム回路１４−２は、ＣＤＳ回路１４１´がサンプルホールド回路を含むとともに、判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４に加えて、マルチプレクサ（ＭＵＸ）１４５を有する構成となっている。以下、ＣＤＳ回路１４１´をＣＤＳ・Ｓ／Ｈ回路１４１´と記述する。

マルチプレクサ１４５は、垂直信号線１２２を通して入力される画素の信号を、ＣＤＳ回路１４１´に供給するか、容量素子Ｃを経由してグランドに捨てるかを適宜選択する。ＣＤＳ・Ｓ／Ｈ回路１４１´は、サンプルホールド回路を含む以外は、基本的に実施例１の場合と同じである。また、判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４についても、基本的に実施例１の場合と同じである。

続いて、上記構成の具体例１に係るカラム回路１４−２の信号処理について説明する。例えば奇数行である第ｉ行の画素の信号が到来するタイミングでは、判定回路１４２は、第ｉ行の画素の信号をＣＤＳ・Ｓ／Ｈ回路１４１´に与えるべく、マルチプレクサ１４５の制御を行う。これにより、第ｉ行の画素の信号はＣＤＳ・Ｓ／Ｈ回路１４１´でＣＤＳ処理され、Ｓ／Ｈ回路に保持される。

判定回路１４２は、ＣＤＳ・Ｓ／Ｈ回路１４１´に保持された第ｉ行の画素の信号について飽和しているか否かを判定し、その判定結果をフラグＦＬに書き込むとともに、第ｉ行の画素の信号であることを示す識別情報を保持する。このとき、飽和していないという判定結果の場合には、判定回路１４２は、マルチプレクサ１４５を容量素子Ｃ側に切り替える。また、飽和しているという判定結果の場合には、判定回路１４２は、マルチプレクサ１４５をそのまま（ＣＤＳ・Ｓ／Ｈ回路１４１´側）とする。

次に、偶数行である第ｉ＋１行の画素から信号が読み出される。先ほどの第ｉ行の画素の信号が飽和していなかった場合には、マルチプレクサ１４５が容量素子Ｃ側に切り替えられた状態にあるために、第ｉ＋１行の画素の信号は、ＣＤＳ・Ｓ／Ｈ回路１４１´には入力されず、容量素子Ｃを介してグランドに捨てられる。そして、ＣＤＳ・Ｓ／Ｈ回路１４１´には先ほどの第ｉ行の画素の信号が保持され続ける。第ｉ行の画素の信号が飽和していた場合には、第ｉ＋１行の画素の信号がＣＤＳ・Ｓ／Ｈ回路１４１´に入力され、当該ＣＤＳ・Ｓ／Ｈ回路１４１´でＣＤＳ処理され、サンプルホールドされる。

次に、ＡＤ変換期間となり、ＡＤ変換回路１４３は、ＣＤＳ・Ｓ／Ｈ回路１４１´から与えられる信号をＡＤ変換して、ラッチ１４４に渡す。このときに、ＡＤ変換回路１４３は、ＡＤ変換した信号が奇数行のものか偶数行のものかを示す識別情報を判定回路１４２から引き継いでラッチ１４４に渡す。また、判定回路１４２は、マルチプレクサ１４５をＣＤＳ・Ｓ／Ｈ回路１４１´側にする。そして、第ｉ＋２行以降の画素の信号に対して信号処理を同様に繰り返す。

以上の一連の信号処理により、先述したダイナミックレンジの拡大処理が可能な信号を得ることができる。因みに、上述した信号処理において、第ｉ＋１行の画素の信号が不要な場合に、垂直信号線１２２とＣＤＳ・Ｓ／Ｈ回路１４１´の接続を単純に切るのではなくて、容量素子Ｃにつなぎ変えるようにしているのは、垂直信号線１２２の容量を大きく変えないためである。

図１０は、変形例２の具体例２に係るカラム回路１４−３の構成例を示すブロック図であり、図中、図４と同等部分には同一符号を付して示している。

図１０に示すように、具体例２に係るカラム回路１４−３は、ＣＤＳ回路１４１とＡＤ変換回路１４３との間にＳ／Ｈ回路１４６を設け、当該Ｓ／Ｈ回路１４６に対して判定回路１４２を並列的に配置するとともに、ラッチ１４４に代えて演算回路１４７を設けた構成となっている。ＣＤＳ回路１４１、判定回路１４２およびＡＤ変換回路１４３については、基本的に実施例１の場合と同じである。演算回路１４７の機能の詳細については後述する。

続いて、上記構成の具体例２に係るカラム回路１４−３の信号処理について説明する。例えば奇数行である第ｉ行の画素の信号は、ＣＤＳ回路１４１に入力され、当該ＣＤＳ回路１４１でＣＤＳ処理される。判定回路１４２は、ＣＤＳ処理跡の第ｉ行の画素の信号について飽和しているか否かの判定を行い、その判定結果をフラグＦＬに書き込む。

このとき、判定回路１４２は、Ｓ／Ｈ回路１４６に対しての制御も行う。具体的には、判定回路１４２は、第ｉ行の画素の信号が飽和していなければ、当該信号をＳ／Ｈ回路１４６に保持させるように当該Ｓ／Ｈ回路１４６を動作させる。第ｉ行の画素の信号が飽和しているときは、判定回路１４２はＳ／Ｈ回路１４６を動作させても良いし、動作させなくても良い。

その後、偶数行である第ｉ＋１行の画素から信号が読み出され、ＣＤＳ回路１４１でＣＤＳ処理される。このとき、判定回路１４２はフラグＦＬを参照して、先ほど第ｉ行の画素の信号が飽和していた場合には、Ｓ／Ｈ回路１４６を動作させて第ｉ＋１行の画素の信号を保持させる。第ｉ行の画素の信号が飽和していなかった場合には、判定回路１４２はＳ／Ｈ回路１４６を動作させず、第ｉ行の画素の信号をＳ／Ｈ回路１４６に保持させ続ける。

次に、ＡＤ変換期間に入り、ＡＤ変換回路１４３は、Ｓ／Ｈ回路１４６からの信号をＡＤ変換して演算回路１４７に渡す。演算回路１４７は、ＡＤ変換回路１４３でのＡＤ変換結果と、判定回路１４２からのフラグＦＬの値を参照して、ダイナミックレンジの拡大処理を行う。演算回路１４７には、全画素列共通である、第ｉ行と第ｉ＋１行の蓄積時間の情報も入力されている。そして、演算回路１４７は、奇数行由来の信号に対してはそのまま保持し、偶数行由来の信号に対しては蓄積時間比を掛け算して保持する。

これにより、演算回路１４７の演算結果としてダイナミックレンジ拡大処理された信号を得ることができる。すなわち、具体例２に係るカラム回路１４−３によれば、当該カラム回路１４−３において先述したダイナミックレンジ拡大処理までも行うことができることになる。

図１１は、変形例２の具体例３に係るカラム回路１４−４の構成例を示すブロック図であり、図中、図１０と同等部分には同一符号を付して示している。具体例１，２に係るカラム回路１４−２，１４−３の場合は、感度が異なる２行（ｎ＝２）の画素の信号を扱う例であったのに対して、具体例３に係るカラム回路１４−４は、感度が異なる３行（ｎ＝３）の画素の信号を扱う例である。

図１１に示すように、具体例３に係るカラム回路１４−４は、１つの画素列につきサンプルホールド（Ｓ／Ｈ）回路１４６を２つ有する構成となっており、それ以外の構成要素については、基本的に具体例２の場合と同じである。以下、２つのＳ／Ｈ回路１．２をまとめてＳ／Ｈ回路１４６´と記述する。

画素アレイ部１２から読み出される画素の信号は、同じ色の画素の信号がｉ行目、ｉ＋１行目、ｉ＋２行目と３つ続けて読み出される（ｉは３の倍数）。そして、この３つの画素の中で最初に読み出すｉ行目の画素の感度が一番高く、最後に読み出すｉ＋２行目の画素の感度が一番低くなっている。

ＣＤＳ回路１４１の動作については実施例１と同じである。判定回路１４２、ＡＤ変換回路１４３および演算回路１４７は、ｉ，ｉ＋１，ｉ＋２行目の画素の信号に対して以下のように異なる処理動作を行う。

〔ｉ行目に対して〕
まず、判定回路１４２は、ＣＤＳ回路１４１でＣＤＳ処理されたｉ行目の画素の信号が飽和しているか否かを判定し、判定結果をフラグＦＬに書き込む。具体例２の場合と同様に、判定回路１４２は、Ｓ／Ｈ回路１４６′（Ｓ／Ｈ回路１，２）に対しての制御も行う。具体的には、ｉ行目の画素の信号が飽和していなければ、判定回路１４２はＳ／Ｈ回路１を動作させ、ｉ行目の画素の信号を保持させる。ｉ行目の画素の信号が飽和していれば、判定回路１４２はＳ／Ｈ回路１，２とも動作させない。

〔ｉ＋１行目に対して〕
判定回路１４２は、フラグＦＬの値を参照し、ｉ行目の画素の信号が飽和していた場合には、ＣＤＳ回路１４１でＣＤＳ処理されたｉ＋１行目の画素の信号をＳ／Ｈ回路１に取り込ませる。ｉ行目の画素の信号が飽和していなかった場合には、判定回路１４２は、ＣＤＳ回路１４１でＣＤＳ処理されたｉ＋１行目の画素の信号をＳ／Ｈ回路２に取り込ませる。

〔ｉ＋２行目に対して〕
判定回路１４２は、フラグＦＬの値を参照し、ｉ行目の画素の信号が飽和していた場合には、ＣＤＳ回路１４１でＣＤＳ処理されたｉ＋２行目の画素の信号をＳ／Ｈ回路２に取り込ませる。ｉ行目の画素の信号が飽和していなかった場合には、判定回路１４２は、Ｓ／Ｈ回路１，２とも動作させない。

〔ＡＤ変換以後〕
次に、ＡＤ変換回路１４３は、Ｓ／Ｈ回路１に保持されていた信号をＡＤ変換処理して演算回路１４７に渡す。次いで、ＡＤ変換回路１４３は、Ｓ／Ｈ回路２に保持されていた信号をＡＤ変換処理して演算回路１４７に渡す。

演算回路１４７は、判定回路１４２から渡されるフラグＦＬの値と、ＡＤ変換回路１４３での２回のＡＤ変換結果から、ダイナミックレンジ拡大処理を行う。演算回路１４７には、全列共通である、第ｉ行と第ｉ＋１行と第ｉ＋２行の蓄積時間の情報も入力されている。

そして、演算回路１４７は、演算対象の信号がｉ行目の画素の信号とｉ＋１行目の画素の信号の場合、
Ｓ_i×（１−α₁）＋Ｓ_i+1×ｒ₁×α₁
なる演算処理を行ってその演算結果を保持する。

ここで、Ｓ_iはｉ行目の信号、Ｓ_i+1はｉ＋１行目の信号、ｒ₁はｉ行目の画素とｉ＋１行目画素の感度比、α₁は係数である。係数α₁は、図１２に示すように、ｉ行目の信号Ｓ_iで決まる０〜１の値をとり、飽和レベルに近い領域では寄与率が高くなる値（１に近い値）に設定される。具体的には、飽和レベルの半分程度まではα₁＝０で、その以上の領域ではｉ行目の信号Ｓ_iに応じてα₁＝０からα₁＝１に向けてリニアに変化する。

演算回路１４７は、演算対象の信号がｉ＋１行目の画素の信号とｉ＋２行目の画素の信号の場合、
Ｓ_i+1×ｒ₁×（１−α₂）＋Ｓ_i+2×ｒ₂×α₂
なる演算処理を行ってその演算結果を保持する。

ここで、Ｓ_i+2はｉ＋２行目の信号、ｒ₂はｉ行目の画素とｉ＋２行目画素の感度比、α₂は係数である。係数α₂は、図１３に示すように、ｉ＋１行目の信号Ｓ_i+1で決まる０〜１の値をとり、飽和レベルに近い領域では寄与率が高くなる値（１に近い値）に設定される。具体的には、飽和レベルの半分程度まではα₂＝０で、その以上の領域ではｉ＋１行目の信号Ｓ_i+1に応じてα₂＝０からα₂＝１に向けてリニアに変化する。

このようにして、３画素分の信号がカラム回路１４Ａ−４で処理され、その処理結果である演算回路１４７の出力が、図１に示す水平バス１８に読み出される。これにより、３画素のうちの２画素の信号が合成されたものが読み出される。

最初に読み出される高感度の画素の信号が飽和している場合には、当該高感度の画素の信号に対するＡＤ変換処理が行われず、中感度と低感度の画素の信号が合成されて出力されるようになっている。また、最初に読み出される高感度の画素の信号が飽和していない場合には、当該高感度の画素の信号と中感度の画素の信号がＡＤ変換されて合成され、低感度の画素の信号についてはＡＤ変換処理が行われない。これにより、ＡＤ変換回路１４３の動作を、３つの信号に対して２回のＡＤ変換処理で済ませている。

図１４は、具体例３に係るカラム回路１４−４の動作の時間的順序を示すタイミング図である。図１４には、２つの処理例（Ａ），（Ｂ）を示している。

処理例１（Ａ）は、ｉ行目の画素からｉ+２行目の画素まで信号を読み出した後、ＡＤ変換を２回行う処理となっている。処理例２（Ｂ）も基本的に処理例１（Ａ）と同じである。ただし、処理例２（Ｂ）は、ｉ+２行目の画素まで読み出した後すぐｉ+３行目の画素を読み出しながら、ＡＤ変換処理をｉ+３行目の読み出し処理と並行して行う処理となっている。

ここで、飽和というのは、前にも述べたように、入射光量に対して信号がほぼ線形に応答しなくなっているレベルの大きな信号ということである。この具体例３に係るカラム処理では、感度が高い順に画素から信号を読み出しているが、感度が低い順の場合も同様に実現可能である。

以上説明したように、ＡＤ変換回路１４３の動作を、３つの信号に対して２回のＡＤ変換処理で済ますことで、ＡＤ変換処理の回数を減らすことができるために、３つの信号に対して３回のＡＤ変換処理を行う場合に比べて信号処理の高速化を図ることができる。また、３つの信号に対して３回のＡＤ変換処理を行う場合と同じ処理速度（低速）で良いとした場合には、低速処理での信号処理の精度、例えばＡＤ変換処理での変換精度の向上を図ることができる。ＡＤ変換処理の回数を低減できることで、低消費電力化を図ることもできる。

（画素回路）
図１５は、実施例１に係る画素回路の構成の一例を示す回路図である。図１５に示すように、上下２画素３０Ｕ，３０Ｌは、光電変換素子であるフォトダイオード（ＰＤ）３１Ｕ，３１Ｌと、転送トランジスタ３２Ｕ，３２Ｌとを別々に有している。そして、上下２画素３０Ｕ，３０Ｌは、回路素子の一部、例えばリセットトランジスタ３３、選択トランジスタ３４および増幅トランジスタ３５の３つのトランジスタを上下２画素間で共有する構成を採っている。

ここでは、画素トランジスタ３２Ｕ，３２Ｌ，３３〜３５として、例えばＮチャネルのＭＯＳトランジスタを用いているが、これに限られるものではない。また、転送トランジスタ３２Ｕ，３２Ｌ、リセットトランジスタ３３および選択トランジスタ３４の駆動制御のために、先述した画素駆動線１２１として、転送制御線１２１１Ｕ，１２１１Ｌ、リセット制御線１２１２および選択制御線１２１３が行ごとに配線されている。

転送トランジスタ３２Ｕ，３２Ｌは、フォトダイオード３１Ｕ，３１Ｌの各カソード電極とフローティングディフュージョン（ＦＤ；浮遊拡散容量）３６との間に接続されている。これら転送トランジスタ３２Ｕ，３２Ｌのゲート電極には、転送制御線１２１１Ｕ，１２１１Ｌを介してＨｉｇｈアクティブの転送パルスＴＲＧｕ，ＴＲＧｌが与えられる。これにより、転送トランジスタ３２Ｕ，３２Ｌは、フォトダイオード３１Ｕ，３１Ｌで光電変換され、その内部に蓄積された光電荷（ここでは、電子）をフローティングディフュージョン３６に転送する。フローティングディフュージョン３６は、光電荷を電圧信号に変換する電荷電圧変換部として機能する。

リセットトランジスタ３３は、電源電圧Ｖｄｄの電源配線にドレイン電極が、フローティングディフュージョン３６にソース電極がそれぞれ接続されている。このリセットトランジスタ３３のゲート電極には、フォトダイオード３１Ｕ，３１Ｌからフローティングディフュージョン３６への光電荷の転送に先立って、リセット制御線１２１２を介してＨｉｇｈアクティブのリセットパルスＲＳＴが与えられる。これにより、リセットトランジスタ３３は、フローティングディフュージョン３６の電位をリセットする。

選択トランジスタ３４は、電源電圧Ｖｄｄの電源配線にドレイン電極が、選択制御線１２１３にゲート電極がそれぞれ接続されている。この選択トランジスタ３４のゲート電極には、選択制御線１２１３を介してＨｉｇｈアクティブの選択パルスＳＥＬが与えられる。これにより、選択トランジスタ３４は単位画素３０を選択状態にする。

増幅トランジスタ３５は、フローティングディフュージョン３６にゲート電極が、選択トランジスタ３４のソース電極にドレイン電極が、垂直信号線１２２にソース電極がそれぞれ接続されている。この増幅トランジスタ３５は、選択トランジスタ３４によって画素３０が選択状態になることで、画素３０の信号を垂直信号線１２２に出力する。

具体的には、増幅トランジスタ３５は、リセットトランジスタ３３によってリセットされた後のフローティングディフュージョン３６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ３５は、転送トランジスタ３２Ｕ，３２Ｌによってフォトダイオード３１Ｕ，３１Ｌから光電荷が転送された後のフローティングディフュージョン３６の電位を信号レベルとして出力する。

なお、ここでは、転送トランジスタ３２Ｕ／３２Ｌ、リセットトランジスタ３３、選択トランジスタ３４および増幅トランジスタ３５を含む４トランジスタ構成をベースとする単位画素３０の場合を例に挙げたが、これは一例に過ぎない。すなわち、単位画素３０としては、４トランジスタ構成をベースとする画素構成に限られるものではなく、例えば、３トランジスタ構成をベースとする画素構成であってもよい。

また、上記構成の画素回路では、選択トランジスタ３４については、電源電圧Ｖｄｄの電源配線と増幅トランジスタ３５との間に接続するとしたが、増幅トランジスタ３５と垂直信号線１２２との間に接続する構成を採ることも可能である。

上記構成の画素回路によれば、フォトダイオード３１Ｕ，３１Ｌからフローティングディフュージョン３６に電荷を転送してから当該電荷を検出するため、２つの画素３０Ｕ，３０Ｌで転送先を同一のフローティングディフュージョン３６にすることで、２つの画素３０Ｕ，３０Ｌの感度の特性が揃う。フローティングディフュージョン３６は、増幅トランジスタ３５のゲート電極の接続先のノードであり、特に容量素子を作りこまなくても寄生容量を持っている。

上述したように、横長の長方画素である単位画素３０が行列状に配置されてなるＣＭＯＳイメージセンサ１０において、組となる上下２画素３０Ｕ，３０Ｌの各信号のうち、好ましい方を用いるようにすることで、次のような作用効果を得ることができる。通常、上下２画素３０Ｕ，３０Ｌの各信号のうちの一方の信号（または、合成した信号）を用いて映像信号を生成すると、縦方向（垂直方向）の解像度が低下する。

しかし、上記構成のＣＭＯＳイメージセンサ１０では、縦方向と横方向の解像度が等しく、正方画素とほぼ同様に扱える。画像の中で、信号量が上下２画素３０Ｕ，３０Ｌの切り替わりに当たる領域のみ縦方向のサンプリングピッチが等間隔でなくなるので、完全を期すにはその領域部分の軽微な処理を追加してもよい。

一方、画素の微細化に伴って縦方向の画素ピッチが入射光を取り込む光学系の解像度よりも小さくなった場合に、ＣＭＯＳイメージセンサ１０の解像度は、縦方向の画素ピッチではなく、光学系の解像度で決まることになる。したがって、縦方向の画素ピッチが入射光を取り込む光学系の解像度よりも小さい場合、上述した、信号量が上下２画素３０Ｕ，３０Ｌの切り替わりに当たる領域部分の軽微な処理もほぼ不要になる。

すなわち、画素の微細化が解像度の限界を超え、縦方向の画素ピッチが入射光を取り込む光学系の解像度よりも小さくなったとしても、上下２画素３０Ｕ，３０Ｌの各信号のうち好ましい方を用いることで、従来は解像度同等で低下していた撮像特性を上げることができる。一例として、上下２画素３０Ｕ，３０Ｌの一方の信号を高感度の信号とし、他方の信号を低感度の信号とする場合において、高感度の信号が飽和しているときに、低感度の信号を用いて映像信号を生成することで、光入力に対するダイナミックレンジを拡大できる。

（変形例）
ところで、ＣＭＯＳイメージセンサでは、感度を上げるために、オンチップカラーフィルタ４０の上にオンチップレンズを画素毎に置くことが多い。本実施例１の場合は、単位画素３０の形状が横長であるために、オンチップレンズで上手に集光することが難しい。その理由は、オンチップレンズは円形でないと作成が難しいことや、そもそもレンズというものは円形でないと集光が難しいことによる。

〔変形例１〕
このオンチップレンズによる集光の問題を解決するには、裏面入射型や光電変換膜積層型の画素構造として、開口率を１００％とし、オンチップレンズを用いない画素構造を採ることが好ましい。裏面入射型は、配線層と反対側から入射光を取り込む構造のものである。光電変換膜積層型は配線層よりも入射光側に積層された光電変換膜にて光電変換を行う構造のものである。以下に、一例として、裏面入射型の画素構造について説明する。

図１６は、裏面入射型の画素構造の一例を示す断面図である。ここでは、２画素分の断面構造を示している。

図１６において、シリコン部４１には、フォトダイオード４２や画素トランジスタ４３が形成される。すなわち、シリコン部４１は素子形成部である。ここで、フォトダイオード４２は図１５のフォトダイオード３１に相当する。また、画素トランジスタ４３は図１５のトランジスタ３２Ｕ，３２Ｌ，３３〜３５に相当する。

シリコン部４１の一方の面側には、層間膜４４を介してカラーフィルタ４５が作り込まれる。これにより、シリコン部４１の一方の面側から入射する光は、カラーフィルタ４５を経由してフォトダイオード４２の受光面に導かれる。シリコン部４１の他方の面側には、画素トランジスタ４３のゲート電極や金属配線が配線される配線部４６が形成される。配線部４６のシリコン部４１と反対側の面には、接着剤４７によって支持基板４８が貼り付けられる。

上記の画素構造において、フォトダイオード４２や画素トランジスタ４３が形成されるシリコン部４１の配線部４６側を表面側と呼び、シリコン部４１の配線部４６と反対側を裏面側と呼ぶこととする。このような定義の下に、本画素構造は、シリコン部４１の裏面側から入射光を取り込むことになるため裏面入射型の画素構造となる。

この裏面入射型の画素構造によれば、配線部４６と反対の面側から入射光を取り込むため、開口率を１００％とすることができる。また、入射光を取り込む側に配線部４６が存在しないため、オンチップレンズを用いなくても入射光をフォトダイオード４２の受光面に集光できる。その結果、単位画素３０を縦横のサイズが異なる長方画素とした場合のオンチップレンズによる集光の問題を解決できる。

〔変形例２〕
上記実施例１では、シャッタ走査を奇数行と偶数行とで違えて、蓄積時間の差によって上下２画素の感度を違えるとしたが、それ以外の感度を違える方法を採用してもよい。例えば、偶数行のみＮＤ（neutral density filter）フィルタを貼り付けたり、図１７に示すように、奇数行の単位画素３０のみにオンチップレンズ４９を設けたりすることで、上下２画素の感度を違えることができる。ここで、ＮＤフィルタとは、色に影響を与えずに、可視域の光量をほぼ均一に減光させる光量調整フィルタである。

［実施例２］
図１８は、実施例２に係る画素アレイ部１２の画素配列の一例を示す構成図である。図１８に示すように、画素アレイ部１２には、光電変換素子を含む単位画素３０が多数行列状に２次元配置されている。ここで、単位画素３０は、縦（列方向）のサイズが横（行方向）のサイズの２倍長い、即ち縦横のピッチ比が２：１のいわゆる縦長の長方画素となっている。

カラー撮像対応の場合、単位画素３０は、左右方向に並ぶ複数の画素、例えば２画素を組としている。そして、この組となる左右２画素には同じ色のオンチップカラーフィルタ４０が配される。具体的には、奇数行がＧ，Ｇ，Ｂ，Ｂ，Ｇ，Ｇ，Ｂ，Ｂ，……の色配列となり、偶数行がＲ，Ｒ，Ｇ，Ｇ，Ｒ，Ｒ，Ｇ，Ｇ，……の色配列となっている。左右２画素が同じ色であるため、カラーフィルタは左右２画素分につき１枚でよい。

画素アレイ部１２の画素配列において、単位画素３０が縦：横のサイズ比が２：１の縦長の長方画素であるため、図１８に示すように、左右２画素を組とするカラーフィルタ４０の個々の形状は正方形になる。２列ごとに、Ｇ，Ｒ，Ｇ，Ｒ，……の色配列と、Ｂ，Ｇ，Ｂ，Ｇ，……の色配列とが繰り返される画素配列に対して、正方形のカラーフィルタ４０を配することで、全体として、オンチップカラーフィルタ４０の色配列はベイヤー配列となる。

２画素を単位とした色配列のカラーフィルタ４０とすることで、実施例１の場合と同様の利点が得られる。すなわち、画素はＣＭＯＳプロセスの微細化が進展するとともにどんどん微細化されていくが、カラーフィルタについてはその微細化が画素の微細化に追いつきにくくなってきている。何故ならば、角の丸まりや剥がれを、分光特性を維持しながら微細化に対応させるのが難しいからである。これに対して、上記構成例のカラーフィルタ４０の場合、２画素分の大きさでよいため、画素の微細化に対して有利である。

（走査方法）
ここで、実施例２に係る画素アレイ部１２の画素配列、即ちＧ，Ｒ，Ｇ，Ｒ，……の色配列と、Ｂ，Ｇ，Ｂ，Ｇ，……の色配列とが２列ごとに繰り返される画素配列に対する走査方法について、図１９を用いて説明する。この走査は、図１の垂直駆動部１３による駆動の下に実行される。

本実施例２に係る走査では、偶数列と奇数列で異なる電子シャッタ行を走らせる。それにより、偶数列と奇数列で蓄積時間を違えて、両列間で感度を異ならせる。読出しは、１行を２回に分けて、まず奇数列を読み出し、それから偶数列を読み出す。ここでは、奇数列の各画素の信号が長時間蓄積の高感度の信号となり、偶数列の各画素の信号が短時間蓄積の低感度の信号となる。

（画素回路）
図２０は、実施例２に係る画素回路の構成の一例を示す回路図であり、図中、図１５と同等部分には同一符号を付して示している。

図２０に示すように、本実施例２に係る画素回路では、隣り合う同色の左右２画素間のオフセットや感度の特性を合わせるためと、奇数列と偶数列でシャッタや読み出しを別にするために、左右２画素間で回路の一部を共有させる構成を採っている。ここでは、左側の画素３０を奇数列の画素３０ｏと呼び、右側の画素３０を偶数列の画素３０ｅと呼ぶこととする。

具体的には、左右の２画素３０ｏ，３０ｅは、フォトダイオード（ＰＤ）３１ｏ，３１ｅと、転送トランジスタ３２ｏ，３２ｅを別々に有している。そして、２画素３０ｏ，３０ｅは、回路素子の一部、例えばリセットトランジスタ３３、増幅トランジスタ３４および選択トランジスタ３５の３つのトランジスタを２画素間で共有している。

実施例１の場合のように、通常は、同じ行の画素は同じ配線で駆動される。これに対して、本実施例２では、転送トランジスタ３２（３２ｏ，３２ｅ）のゲート電極を駆動する配線を奇数列と偶数列とで分けている。具体的には、奇数列の画素３０ｏの転送トランジスタ３２ｏのゲート電極を奇数列用の転送線１２１１ｏによって駆動し、偶数列の画素３０ｅの転送トランジスタ３２ｅのゲート電極を偶数列用の転送線１２１１ｅによって駆動するようにする。

リセットトランジスタ３３、選択トランジスタ３４および増幅トランジスタ３５の接続関係については、基本的に、実施例１に係る画素回路の場合と同じである。ただし、本実施例２に係る画素回路では、選択トランジスタ３４が増幅トランジスタ３５と垂直信号線１２２との間に接続されている。これに対して、実施例１に係る画素回路では、選択トランジスタ３４が電源電圧Ｖｄｄの電源配線と増幅トランジスタ３５との間に接続されている。実施例１に係る画素回路と同様に、選択トランジスタ３４を電源電圧Ｖｄｄの電源配線と増幅トランジスタ３５との間に接続する構成を採ることも可能である。

上記構成の画素回路において、奇数列のシャッタでは、リセットトランジスタ３３のゲート電極にＨｉｇｈアクティブのリセットパルスＲＳＴを与えるとともに、奇数列の転送トランジスタ３２ｏのゲート電極にＨｉｇｈアクティブの転送パルスＴＲＧｏを与える。これにより、フローティングディフュージョン３６の電荷を捨ててから奇数列の蓄積を開始する。一方、偶数列のシャッタでは、リセットトランジスタ３３のゲート電極にＨｉｇｈアクティブのリセットパルスＲＳＴを与えるとともに、偶数列の転送トランジスタ３２ｅのゲート電極にＨｉｇｈアクティブの転送パルスＴＲＧｅを与える。これにより、フローティングディフュージョン３６の電荷を捨ててから偶数列の蓄積を開始する。

（カラム処理部）
図２１は、実施例２に係るカラム回路１４Ｂの構成の一例を示すブロック図であり、図中、図４と同等部分には同一符号を付して示している。

実施例２では、隣り合う左右２画素３０ｏ，３０ｅを組としていることから、実施例２に係るカラム回路１４Ｂは隣り合う２列につき１つずつ設けられることになる。そして、本カラム回路１４Ｂは、ＣＤＳ回路１４１、判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４に加えて、入力部に奇数列と偶数列とを選択する例えばスイッチからなる選択部１４５を有する構成となっている。

選択部１４５は、先に奇数列の信号を選択し、後で偶数列の信号を選択する。この選択部１４５による選択により、奇数列の信号と偶数列の信号とが、ＣＤＳ回路１４１、判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４にて順番に処理される。ＣＤＳ回路１４１、判定回路１４２、ＡＤ変換回路１４３およびラッチ１４４は、実施例１の場合と同様の処理動作を行う。

上述したように、縦：横のサイズ比が２：１の縦長の長方画素である単位画素３０が行列状に配置されてなるＣＭＯＳイメージセンサ１０によれば、画素の微細化が解像度の限界を超え、横方向の画素ピッチが入射光を取り込む光学系の解像度よりも小さくなったとしても、撮像特性を上げることができる。一例として、左右２画素３０ｏ，３０ｅの一方の信号を高感度の信号とし、他方の信号を低感度の信号とする場合において、高感度の信号が飽和しているときに、低感度の信号を用いて映像信号を生成することで、光入力に対するダイナミックレンジを拡大できる。

［実施例３］
実施例２では、画素回路の一部を左右２画素３０ｏ，３０ｅ間で共有するとしたが、本実施例３では、大判のＣＭＯＳイメージセンサを前提として、左右２画素３０ｏ，３０ｅ間で画素回路の一部を共有しない構成を採る。大判のＣＭＯＳイメージセンサのようにプロセスに余裕がある場合には、画素回路の一部を共有しなくても、隣り合う左右２画素３０ｏ，３０ｅ間のオフセットや感度の特性を揃えることができる。画素の配列およびカラーコーディングについては実施例２の場合と同じである。

（画素回路）
図２２は、実施例３に係る画素回路の構成の一例を示す回路図であり、図中、図２０と同等部分には同一符号を付して示している。

図２２に示すように、本実施例３に係る画素回路は、左右２画素３０ｏ，３０ｅ間で画素回路の一部を共有しないが、転送トランジスタ３２ｏ，３２ｅのゲート電極を駆動する配線については、同じ行でも奇数列と偶数列とで別配線としている。具体的には、奇数列の画素３０ｏのゲート電極を奇数列用の転送線１２１１ｏによって駆動し、偶数列の画素３０ｅのゲート電極を偶数列用の転送線１２１１ｅによって駆動するようにする。左右２画素３０ｏ，３０ｅの各信号（信号レベルおよびリセットレベル）は、奇数列と偶数列で別々の垂直信号線１２２ｏ，１２２ｅに読み出される。

（走査方法）
同じ行でも奇数列と偶数列とで別配線の転送線１２１１ｏ，１２１１ｅにて転送駆動するようにすることで、シャッタについては奇数列と偶数列で別々に走査して、読み出しについては奇数列と偶数列で同時に行うことができる。図２３に走査手順を示す。図２３に示すように、シャッタについては奇数列と偶数列で別々に行われるが、読み出しについては１行同時に行われる。

（カラム処理部）
図２４は、実施例３に係るカラム回路１４Ｃの構成の一例を示すブロック図であり、図中、図４と同等部分には同一符号を付して示している。

本実施例３では、左右２画素３０ｏ，３０ｅの各画素ごとに、信号レベルとリセットレベルが別々の垂直信号線１２２ｏ，１２２ｅを通して供給される。したがって、実施例３に係るカラム回路１４Ｃは、奇数列と偶数列で別々のＣＤＳ回路１４１ｏ，１４１ｅを有する構成となっている。

このカラム回路１４Ｃにおいて、ＣＤＳ回路１４１ｏ，１４１ｅは、奇数列と偶数列で別々のノイズ除去処理を行い、ノイズ除去後の奇数列と偶数列の各信号を判定回路１４２に供給する。判定回路１４２は、奇数列と偶数列の各信号のどちらの信号を採用するかを判定する。例えば、奇数列の長時間蓄積の信号が飽和レベルに達していなければ奇数列の信号を採用し、飽和レベルに達していれば、偶数列の信号を採用する。そして、採用する方の信号を選択して、その信号と判定結果を出力する。

ＡＤ変換回路１４３は、判定回路１４２から供給される信号をＡＤ変換して、ラッチ１４４に書き込む。判定結果は、ＡＤ変換回路１４３を通ってラッチ１４４にフラグＦＬとして書き込まれる。そして、判定結果と信号を後段で処理することで、ダイナミックレンジを拡大した画像が得られる。実施例２と比べて、各行の読み出しが１回で済むので、高速化に有利である。

実施例３の場合にも、実施例２の場合と同様の作用効果を得ることができる。一例として、左右２画素３０ｏ，３０ｅの一方の信号を高感度の信号とし、他方の信号を低感度の信号とする場合において、高感度の信号が飽和しているときに、低感度の信号を用いて映像信号を生成することで、光入力に対するダイナミックレンジを拡大できる。

＜３．変形例＞
以上説明した実施例１〜３では、単位画素３０として、縦横のサイズ比が１：２（２：１）の長方画素を用い、上下または左右の２画素を組とするとしたが、これに限られるものではない。例えば、縦横のサイズ比が１：３、１：４、…とし、上下または左右の３画素、４画素、…を組として、３画素や４画素の信号を扱うことも可能である。

また、組となる２つの画素のうち、どちらかの信号を出力するとしたが、両方から一つの信号を合成するようにしても良い。このように、組となる複数画素から一つを選択、または一つの信号を作ることにより、擬似的に正方画素の場合のような信号を得ることができる。

また、実施例１〜３では、信号処理として、ダイナミックレンジの拡大を図る場合を例に挙げたが、この例に限られるものではない。例えば、２画素を組とする場合において、一方の画素の信号については、発光ダイオードなどの光源から物体検出のために被写体に光を当てたときの当該被写体からの光に基づく被写体信号とし、他方の画素の信号については、被写体の背景光に基づく背景信号とする。そして、２つの画素の信号を減算処理することにより、その減算結果として、背景光を除去した上で正方画素（正方格子）に見える信号を得ることができる。

このように、ダイナミックレンジの拡大の応用例の他にも、いろいろな応用が考えられる。いずれの場合にも、画素配列の縦方向の画素ピッチ、横方向の画素ピッチのうち、短い方のピッチが、入射光を取り込む光学系の解像度以下であることが、正方画素の信号として扱う上で好ましい。

また、実施例１〜３では、Ｒ，Ｇ，Ｂの各画素の信号を共通の垂直信号線１２２に読み出すとしたが、Ｒ，Ｇ，Ｂの各画素の信号を別々の垂直信号線に読み出すようにすることも可能である。例えば、図２５に示すように、Ｇの画素の信号とＢ，Ｒの画素の信号とを別の垂直信号線１２２ｇ，１２２ｂｒに読み出すようにする。

この場合、例えば、画素アレイ部１２の下側にＧ用のカラム回路１４ｇを配置し、上側にＢ，Ｒ用のカラム回路１４ｂｒを配置する。そして、Ｇの画素の信号を垂直信号線１２２ｇによって図の下側に読み出してカラム回路１４ｇで、Ｒ，Ｂの画素の信号を垂直信号線１２２ｂｒによって図の上側に読み出してカラム回路１４ｂｒでそれぞれノイズ除去等の信号処理を行うようにすればよい。

また、実施例１〜３では、カラー撮像対応のＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、モノクロ撮像対応のＣＭＯＳイメージセンサにも同様に適用可能である。

以上では、可視光の光量に応じた信号電荷を物理量として検知する単位画素が行列状に配置されてなるＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、本発明はＣＭＯＳイメージセンサへの適用に限られるものではなく、ＣＣＤイメージセンサなど固体撮像装置全般に対して適用可能である。

なお、固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。

＜４．電子機器＞
本発明に係る固体撮像装置は、画像取込部（光電変換部）に固体撮像装置を用いる電子機器全般に搭載して用いることができる。電子機器としては、デジタルスチルカメラやビデオカメラ等の撮像装置（カメラシステム）や、携帯電話機などの撮像機能を有する携帯端末装置や、画像読取部に固体撮像装置を用いる複写機などが挙げられる。なお、電子機器に搭載される上記モジュール状の形態、即ちカメラモジュールを撮像装置とする場合もある。

（撮像装置）
図２６は、本発明に係る電子機器の一つである例えば撮像装置の構成の一例を示すブロック図である。図２６に示すように、本発明に係る撮像装置１００は、レンズ群１０１等を含む光学系、撮像素子１０２、カメラ信号処理部であるＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８等を有している。そして、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６、操作系１０７および電源系１０８がバスライン１０９を介して相互に接続された構成となっている。

レンズ群１０１は、被写体からの入射光（像光）を取り込んで撮像素子１０２の撮像面上に結像する。撮像素子１０２は、レンズ群１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１０２として、先述した実施形態に係るＣＭＯＳイメージセンサ１０等の固体撮像装置を用いることができる。

ここで、撮像素子１０２の画素配列の縦方向／横方向の画素ピッチのうち、短い方の画素ピッチが、レンズ群１０１を含む光学系の解像度以下となっている。ＤＳＰ回路１０３は、撮像素子１０２から画素の信号と、その信号が長時間蓄積の高感度の信号か短時間蓄積の低感度の信号かを示す信号（図４、図２１、図２４のフラグＦＬ）を受け取り、ダイナミックレンジ拡大のための信号処理を行う。

具体的には、ＤＳＰ回路１０３は、撮像素子１０２から与えられるフラグＦＬが高感度の信号が飽和していないことを示すとき（ＦＬ＝“０”）は、当該フラグＦＬと対で与えられる高感度の信号を用いて映像信号を生成する。フラグＦＬが高感度の信号が飽和していることを示すとき（ＦＬ＝“０”）は、当該フラグＦＬと対で与えられる低感度の信号レベルを用いて飽和レベルに合成することで映像信号を生成する。このような信号処理を行うことにより、光入力に対するダイナミックレンジを拡大できる。

ＤＳＰ回路１０３の処理は、正方画素からの信号を処理する場合の信号処理と同じである。もちろん、画素の実際の配置を考慮した処理であっても構わない。ただし、正方画素からの信号に対する信号処理と同じ方が、画素の実際の配置を考慮した信号処理に変更する必要がないため、画素の実際の配置を考慮した信号処理を行う場合よりも低コストにてほぼ変りのない画像を生成できる。さらに、複数の画素から信号量を減らした上で、正方画素のように見せることができるため、低消費電力にて信号処理を実現できるとともに、汎用性が高い。

表示装置１０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置からなり、撮像素子１０２で撮像された動画または静止画を表示する。記録装置１０６は、撮像素子１０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。

操作系１０７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系１０８は、ＤＳＰ回路１０３、フレームメモリ１０４、表示装置１０５、記録装置１０６および操作系１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

上述したように、カメラシステム、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置において、その撮像素子５２として先述した実施形態に係るＣＭＯＳイメージセンサ１０を用いることで、次のような作用効果を得ることができる。すなわち、撮像素子１０２の画素配列の短い方の画素ピッチが、レンズ群１０１を含む光学系の解像度以下となっていても、撮像特性を上げることができる。

１０…ＣＭＯＳイメージセンサ、１１…半導体基板（チップ）、１２…画素アレイ部、１３…垂直駆動部、１４…カラム処理部、１４Ａ，１４Ａ−１〜１４Ａ−４，１４Ｂ，１４Ｃ…カラム回路、１５…水平駆動部、１６…出力回路部、１７…システム制御部、１８…水平バス、３０，３０Ｕ，３０Ｌ，３０ｏ，３０ｅ…単位画素、３１Ｕ，３１Ｌ，３１ｏ，３１ｅ…フォトダイオード（ＰＤ）、３２Ｕ，３２Ｌ，３２ｏ，３２ｅ…転送トランジスタ、３３…リセットトランジスタ、３４…選択トランジスタ、３５…増幅トランジスタ、３６…フローティングディフュージョン（ＦＤ）、４０，４５…オンチップカラーフィルタ、４９…オンチップレンズ

Claims (17)

1. 縦横のサイズが異なる長方画素が複数配置され、当該長方画素を隣り合う複数個組み合わせることによって縦横のサイズが同じ正方画素となる画素アレイ部と、
   前記複数個の長方画素を組として当該複数個の長方画素から読み出される複数の信号を一つの信号として出力する処理を行う信号処理部と、
   を備え、
   前記複数の信号は、高感度の画素の信号と低感度の画素の信号の２つの信号であり、
   高感度の画素と低感度の画素とは、オンチップレンズの有無によって互いに感度が異なる固体撮像装置。
2. 前記複数個の長方画素の縦横短い方の画素ピッチは、前記画素アレイ部へ入射光を取り込む光学系の解像度よりも小さい請求項１に記載の固体撮像装置。
3. 前記複数個の長方画素は、同色のカラーフィルタを持つ請求項１に記載の固体撮像装置。
4. 前記信号処理部は、前記高感度の画素の信号が飽和していないレベルのときは当該高感度の画素の信号を出力し、前記高感度の画素の信号が飽和しているレベルのときは前記低感度の画素の信号を出力する請求項１に記載の固体撮像装置。
5. 前記複数個の長方画素は、画素回路を構成する回路素子の一部を共有する請求項１に記載の固体撮像装置。
6. 前記複数個の長方画素は、配線が形成される層と反対側から入射光を取り込む裏面入射型の画素構造、または配線が形成される層よりも入射光側に積層された光電変換膜にて光電変換を行う光電変換膜積層型の画素構造である請求項１に記載の固体撮像装置。
7. 画素が行列状に２次元配置された画素アレイ部と、
   前記画素アレイ部からｎ個（２≦ｎ）の画素を組として当該ｎ個の画素から順番に読み出されるｎ個の信号が所定値以上か否かを前記ｎ個の信号の読み出しの都度判定する判定回路を有し、当該判定回路の判定結果を基にｎ個よりも少ないｍ個（１≦ｍ＜ｎ）の信号について所定の信号処理を行う信号処理部と、
   を備え、
   前記複数の信号は、高感度の画素の信号と低感度の画素の信号の２つの信号であり、
   高感度の画素と低感度の画素とは、オンチップレンズの有無によって互いに感度が異なる固体撮像装置。
8. 前記ｎ個の信号は、前記判定回路に対して感度の高い画素の信号から入力され、
   前記信号処理部は、前記ｎ個の信号のうち、前記判定回路によって前記所定値以上と判定された信号については前記所定の信号処理を行わない請求項７に記載の固体撮像装置。
9. 前記信号処理部は、前記ｍ個の信号が前記ｎ個の信号のうちどの信号に由来するかを識別する情報を保持する請求項７に記載の固体撮像装置。
10. 前記信号処理部は、前記画素アレイ部の画素列ごとに配されている請求項７に記載の固体撮像装置。
11. 前記信号処理部は、前記ｍ個の信号を保持し、前記ｎ個の信号を読み出した後に前記ｍ個の信号について前記所定の信号処理を行う請求項７に記載の固体撮像装置。
12. 前記信号処理部は、前記所定の信号処理を行った後の前記ｍ個の信号についてダイナミックレンジを拡大するための演算処理を行う請求項１１に記載の固体撮像装置。
13. 縦横のサイズが異なる長方画素が複数配置され、当該長方画素を隣り合う複数個組み合わせることによって縦横のサイズが同じ正方画素となる画素アレイ部を備え、
    前記複数の信号は、高感度の画素の信号と低感度の画素の信号の２つの信号であり、
    高感度の画素と低感度の画素とは、オンチップレンズの有無によって互いに感度が異なる固体撮像装置の信号処理に当たって、
    前記複数個の長方画素を組として当該複数個の長方画素から信号を読み出し、
    前記複数個の長方画素から読み出される複数の信号を処理して一つの信号として出力する固体撮像装置の信号処理方法。
14. 前記高感度の画素の信号が飽和していないレベルのときは当該高感度の画素の信号を用いて映像信号を生成し、
    前記高感度の画素の信号が飽和しているレベルのときは前記低感度の画素の信号を用いて映像信号を生成する請求項１３に記載の固体撮像装置の信号処理方法。
15. 前記一つの信号は、正方格子の信号である請求項１３に記載の固体撮像装置の信号処理方法。
16. 縦横のサイズが異なる長方画素が複数配置され、当該長方画素を隣り合う複数個組み合わせることによって縦横のサイズが同じ正方画素となる画素アレイ部を有し、前記複数個の長方画素を組として当該複数個の長方画素から読み出される複数の信号を処理して一つの信号として出力する固体撮像装置と、
    前記固体撮像装置の撮像面に入射光を取り込む光学系と、
    を具備し、
    前記複数の信号は、高感度の画素の信号と低感度の画素の信号の２つの信号であり、
    高感度の画素と低感度の画素とは、オンチップレンズの有無によって互いに感度が異なる電子機器。
17. 前記複数個の長方画素の縦横短い方の画素ピッチは、前記光学系の解像度よりも小さい請求項１６に記載の電子機器。

Images