本発明にかかる固体撮像素子は、2次元配列の画素から読み出した信号電荷を垂直方向へ転送するために前記画素の各列に対応して設けられた垂直転送部と、前記垂直転送部から受け取った信号電荷を水平方向に転送する水平転送部とを有し、前記垂直転送部における前記水平転送部に最も近い転送段である垂直最終段が、m(mは2以上の整数)列毎に同じ転送電極構成を有し、前記m列のうち、一つの列以外の垂直最終段あるいは全ての垂直最終段に、当該垂直最終段から前記水平転送部への転送動作を、当該m列における他の垂直最終段とは独立して制御するために、前記他の垂直最終段とは独立した転送電極が設けられた構成である(第1の構成)。
本発明の固体撮像素子における垂直転送部は、2次元配列の画素に対応する例えばフォトダイオードなどの光電変換部と複数の垂直転送段からなる垂直CCDによって構成されていても良いし、受光機能を有し複数の垂直転送段からなる垂直CCDによって構成されていても良い。
上述の第1の構成によれば、垂直最終段の全ての信号電荷は、m回に分けて水平転送部へ転送される。また、垂直最終段から水平転送部への転送と、水平転送部による水平方向への転送とを組み合わせれば、画素出力の並べ替えや混合が任意に可能となる。なお、垂直転送部および水平転送部の転送動作は、これらにそれぞれ設けられた転送電極へ所定の制御信号を与えることにより制御される。この制御信号を送出するための手段(制御部)は、固体撮像素子の外部にあっても良いし、固体撮像素子と一体に設けられていても良い。
本発明にかかる固体撮像素子において、前記mを2n+1(nは1以上の整数)としても良い(第2の構成)。さらに、この固体撮像素子において、水平方向において1画素おきの2n+1(nは1以上の整数)個ずつを第1の混合画素群とし、前記第1の混合画素群以外の画素から、1画素おきの2n+1個ずつの画素であって、その画素重心が前記第1の混合画素群の画素重心の間で等間隔になる画素を第2の混合画素群として、第1、第2の混合画素群のそれぞれに含まれる画素の信号電荷を水平転送部内で加算することが好ましい(第3の構成)。
この構成によれば、画素の信号電荷を捨てることなく、水平方向の画素数を1/(2n+1)に低減することができる。かつ、画素数を低減した後の混合画素間隔が均等なため、感度が高く、かつ、解像度が高くモワレが少ない画像信号を得ることができる。
前記固体撮像素子において、さらに、垂直最終段における前記第1、第2の混合画素群のそれぞれについて、(a1)前記2n+1個の画素からなる各混合画素群のうち、前記水平転送部の出力側から最も遠い画素の信号電荷のみを、垂直最終段から水平転送部へ転送し、(a2)水平転送部の信号電荷を順方向に2画素分転送し、(a3)前記2n+1個の画素群のうち、垂直最終段に信号電荷が残っている画素であって前記水平転送部の出力側から最も遠い画素の信号電荷のみを、垂直最終段から水平転送部へ転送し、(a4)前記a2およびa3の転送を、前記2n+1個の画素群の全ての信号電荷が垂直最終段から水平転送部へ転送されるまで繰り返して行うことが好ましい(第4の構成)。
これにより、1画素おきの2n+1画素を混合することができ、さらに、その間の画素も同時に2n+1画素で混合できる。
前記固体撮像素子において、さらに、(b1)前記a1〜a4の転送の最後として、前記2n+1個の画素群のうち最後の画素の信号電荷を垂直最終段から水平転送部へ転送した後、または転送すると同時に、全列の垂直転送部の信号電荷を1段転送し、(b2)前記b1により垂直最終段に転送された信号電荷について、a1〜a4の転送を行い、(b3)前記b1およびb2の転送を、2n+1段分の信号電荷が水平転送部へ転送されるまで繰り返して行うことが好ましい(第5の構成)。
これにより、水平転送部に空転送段が生じないため、水平転送スピードを上げずに、水平画素数を1/(2n+1)に低減できる。
前記固体撮像素子において、前記垂直転送部における前記水平転送部に最も近い垂直最終段が、3列毎に同じ転送電極構成を有し、前記3列のうち、少なくとも水平転送部の出力側から第2および第3列の垂直最終段に、当該垂直最終段から前記水平転送部への転送動作を、他の垂直最終段とはそれぞれ独立して制御するために、他の垂直最終段とは独立した転送電極が設けられたことが好ましい(第6の構成)。これにより、水平方向において3画素を混合することにより、水平画素数を1/3に低減できる。
前記第6の構成にかかる固体撮像素子において、水平転送部の出力側から第1列の前記垂直最終段は、当該列における垂直最終段以外の段と同じ電極構成を有することが好ましい(第7の構成)。
前記第6の構成にかかる固体撮像素子において、水平方向において1画素おきの3個ずつを第1の混合画素群とし、前記第1の混合画素群以外の画素から、1画素おきの3個ずつの画素であって、その画素重心が前記第1の混合画素群の画素重心の間で等間隔になる画素を第2の混合画素群とすることが好ましい(第8の構成)。これにより、画素の信号電荷を捨てることなく、水平方向の画素数を1/3に低減することができ、かつ、画素数低減後の混合画素間隔を均等にすることができる。
前記第6の構成にかかる固体撮像素子において、(c1)前記3列のうち、水平転送部の出力側から第2列の垂直最終段の信号電荷のみを水平転送部へ転送し、(c2)水平転送部の信号電荷を順方向に2画素分転送し、(c3)前記3列のうち、水平転送部の出力側から第3列の垂直最終段の信号電荷のみを水平転送部へ転送し、(c4)水平転送部の信号電荷を順方向に2画素分転送し、(c5)前記3列のうち、水平転送部の出力側から第1列の垂直最終段の信号電荷を水平転送部へ転送することが好ましい(第9の構成)。これにより、1画素おきの3画素とその間の3画素とをそれぞれ混合でき、かつ、画素数低減後の混合画素間隔を均等にすることができる。
前記第9の構成にかかる固体撮像素子において、(d1)前記c5において第1列の垂直最終段の信号電荷を水平転送部へ転送した後、または転送すると同時に、全列の垂直転送部の信号電荷を1段転送し、(d2)前記d1の最後に垂直最終段に転送された信号電荷について、c1〜c5の転送を行い、c5において第1列の垂直最終段の信号電荷を水平転送部へ転送した後、または転送すると同時に、全列の垂直転送部の信号電荷を1段転送し、(d3)前記d2の最後に垂直最終段に転送された信号電荷について、c1〜c5の転送を行うことが好ましい(第10の構成)。これにより、水平方向における3画素混合を行っても、水平転送部に空転送段が生じないため、水平転送スピードを上げなくても、水平画素数を1/3に低減できる。
また、前記第3の構成にかかる固体撮像素子において、前記第1および第2の混合画素群のそれぞれの、垂直方向において1行おきの2n+1行分の合計(2n+1)×(2n+1)画素を、1つの混合画素群として、各列に含まれる2n+1行分の画素の信号電荷を垂直転送部内で加算することが好ましい(第11の構成)。これにより、1画面のデータ数が、1/((2n+1)×(2n+1))となるため、単位時間毎のフレーム数を増やせる。また、捨てる画素がないので、感度が向上する。
前記第11の構成にかかる固体撮像素子において、水平方向において1画素おきの3画素の、垂直方向において1行おきの3行分の、合計9画素を、1つの混合画素群とすることが好ましい(第12の構成)。これにより、1画面のデータ数が1/9になるため、単位時間毎のフレーム数を増やせる。また、捨てる画素がないので、感度が向上する。
前記第3の構成にかかる固体撮像素子において、水平方向において1画素おきの3画素を、垂直方向において3行間隔を空けた2行分、合計6画素を、1つの混合画素群とすることが好ましい(第13の構成)。これにより、垂直方向に3行分の画素を混合する場合と比較して、リニアな信号範囲が広くなるという利点がある。
前記第3の構成にかかる固体撮像素子において、水平方向において1画素おきの3画素を、垂直方向における3行毎に1行、合計3画素を、1つの混合画素群とすることが好ましい(第14の構成)。これにより、垂直方向に3行分の画素を混合する場合と比較して、リニアな信号範囲がさらに広くなるという利点がある。
前記第2の構成にかかる固体撮像素子において、前記2次元配列の画素に、水平方向において2画素、垂直方向において2画素の合計4画素を1単位としたカラーフィルタを配したことが好ましい(第15の構成)。これにより、画素混合後も、水平2画素垂直2画素の合計4画素を1単位とした同一カラーフィルタ配列の画像が得られる。
前記第15の構成にかかる固体撮像素子において、前記カラーフィルタが、前記4画素の一対角線上の2画素に第1の色のフィルタを配し、他の2画素に第2および第3の色のフィルタをそれぞれ配したことが好ましい(第16の構成)。
前記第3の構成にかかる固体撮像素子において、前記2次元配列の画素に、水平方向において2画素、垂直方向において4画素の合計8画素を1単位としたカラーフィルタを配し、垂直方向において隣接する2画素を垂直転送部内で混合することが好ましい(第17の構成)。
また、本発明にかかる固体撮像素子において、垂直最終段に独立電極を少なくとも2枚設けた構成とすることが好ましい。
例えば、前記垂直最終段の各列を6個の転送電極で構成する場合、(1)隣接する3列の垂直転送部の全てにおいて、前記6個の転送電極のうち、水平転送部側から2番目および4番目が、他の列の垂直最終段とは独立した独立電極であり、1番目、3番目、5番目、および6番目が垂直転送部の他の段と共通した電極とした構成(第18の構成)、(2)隣接する3列の垂直転送部のうちの2列において、前記6個の転送電極のうち、水平転送部側から2番目および4番目が、他の列の垂直最終段とは独立した独立電極であり、1番目、3番目、5番目、および6番目が垂直転送部の他の段と共通した電極であり、隣接する3列の垂直転送部のうちの残りの1列において、1番目〜6番目の全ての転送電極が、垂直転送部の他の段と共通した電極である構成(第19の構成)、(3)隣接する3列の垂直転送部の全てにおいて、前記6個の転送電極のうち、水平転送部側から2番目、4番目、および6番目が、他の列の垂直最終段とは独立した独立電極であり、1番目、3番目、および5番目が垂直転送部の他の段と共通した電極である構成(第20の構成)、(4)隣接する3列の垂直転送部のうちの2列において、前記6個の転送電極のうち、水平転送部側から2番目、4番目、および6番目が、他の列の垂直最終段とは独立した独立電極であり、1番目、3番目、および5番目が垂直転送部の他の段と共通した電極であり、隣接する3列の垂直転送部のうちの残りの1列において、1番目〜6番目の全ての転送電極が、垂直転送部の他の段と共通した電極とした構成(第21の構成)、(5)隣接する3列の垂直転送部のうち少なくとも2列において、前記6個の転送電極のうち、水平転送部側から2番目および4番目が、他の列の垂直最終段とは独立した独立電極であり、隣接する3列の垂直転送部の全てにおいて、水平転送部側から1番目および3番目が、垂直転送部の他の段とは異なる構成(第22の構成)、あるいは、(6)隣接する3列の垂直転送部のうち少なくとも2列において、前記6個の転送電極のうち、水平転送部側から2番目、4番目、および6番目が、他の列の垂直最終段とは独立した独立電極であり、隣接する3列の垂直転送部の全てにおいて、水平転送部から1番目、3番目、および5番目が、垂直転送部の他の段とは異なる構成(第23の構成)、のいずれかであることが好ましい。
また、本発明の第1の構成にかかる固体撮像素子において、前記垂直転送部における各段が6個の転送電極で構成され、前記垂直転送部における垂直最終段以外の転送段は、水平転送部側から2番目、4番目、および6番目の転送電極が第1層の電極膜によって全列にわたる共通電極として形成され、水平転送部側から1番目、3番目、および5番目の転送電極が前記第1層より上層に形成される第2層の電極膜によって全列にわたる共通電極として形成され、垂直最終段においては、前記第2層の電極膜と同じ電極膜を、各列において島状に分離することによって、水平転送部側から2番目および4番目の電極が独立電極として形成された構成とすることも好ましい(第24の構成)。この構成によれば、上層の電極膜を島状にすることにより、配線が容易となるという利点がある。
あるいは、本発明の第1の構成にかかる固体撮像素子において、前記垂直転送部が少なくとも3層の電極膜を有し、前記垂直最終段において他の列と独立して設けられた転送電極が、最上層を含む少なくとも一層の電極膜で形成された構成とすることも好ましい(第25の構成)。最上層を用いて独立した転送電極を形成することにより、配線の後付けが不要となるという利点がある。
また、本発明の第1の構成にかかる固体撮像素子は、(e1)水平方向においてm個の画素から選択的に1個以上m−1個以下の画素の信号電荷を水平転送部へ転送し、(e2)水平転送部の信号電荷を少なくとも1画素分転送し、(e3)前記e1およびe2の転送を繰り返すことにより、m個の画素の信号電荷を水平転送部へすべて転送する構成とすることも好ましい(第26の構成)。
さらに、上記の第26の構成において、(e4)前記e3の後、全列の信号電荷を水平転送部側へ一段転送し、(e5)前記e4の転送により垂直最終段に移動した信号電荷に対して、前記e1〜e3の転送を行い、前記e4およびe5を繰り返すことにより、m段分の信号電荷を水平転送部へすべて転送する構成とすることもより好ましい(第27の構成)。
また、本発明の第1の構成にかかる固体撮像素子は、前記m列のうち一つの列以外の垂直最終段あるいは全ての列の垂直最終段において、他の列とは独立して設けられた転送電極を当該他の列とは独立して駆動することにより水平m個の画素混合を行うモードと、前記転送電極を他の列と同様に駆動することにより画素混合を行わないモードとの少なくとも2モード間で動作モードを選択的に切り替えられることが好ましい(第28の構成)。画素混合を行わずに高解像度な画像出力モードと、画素混合を行うことにより高感度かつ高フレームレートの画像出力モードとの切り替えが可能となるからである。
また、本発明にかかる固体撮像素子は、mがm1(m1は2以上の整数)とm2(m2は2以上の整数)との公倍数であり、水平m1個の画素混合を行うモードと水平m2個の画素混合を行うモードとの少なくとも2モード間で動作モードを選択的に切り替えられる構成とすることも好ましい(第29の構成)。
さらに、この第29の構成において、3色のフィルタが垂直方向に2色、水平方向に2色配置された繰り返しパターンのカラーフィルタをさらに備え、前記カラーフィルタの同色フィルタに相当する水平m1画素を混合するモードと、水平m2画素を混合するモードとの少なくとも2モード間で動作モードを選択的に切り替えられる態様としても良い(第30の構成)。
あるいは、前記の第29の構成において、3色のフィルタが垂直方向に2色、水平方向に2色配置された繰り返しパターンのカラーフィルタをさらに備え、前記カラーフィルタの同色フィルタに相当する水平2画素を混合するモードと、水平3画素を混合するモードと、水平4画素を混合するモードのうちの少なくとも2モード間で動作モードを選択的に切り替えられる態様としても良い(第31の構成)。
あるいは、前記第29〜第31の構成において、前記動作モードに、画素混合を行わないモードをさらに含む態様としても良い(第32の構成)。画素混合を行わずに高解像度な画像出力モードと、画素混合を行うことにより高感度かつ高フレームレートの画像出力モードとの切り替えが可能となるからである。
また、前記第26の構成において、m個の画素が、水平方向において連続する画素であっても良い(第33の構成)。あるいは、水平方向における前記m個の画素の組み合わせを段毎に変更しても良い(第34の構成)。画素の組み合わせを段毎に変更する場合、隣接する少なくとも二段において、前記m個の画素の組み合わせの重心位置が水平方向に等間隔であることが好ましい(第35の構成)。
また、本発明のカメラは、前述のいずれかの固体撮像素子を備えたカメラであり、特に、水平方向において連続する画素を混合する固体撮像素子の場合は、3板式カラーカメラとすることが好ましい。さらに、3板式カラーカメラの場合、m=2として、画素混合を行わない第1のモードと、垂直方向に隣接する2画素および水平方向に隣接する2画素を混合する第2のモードとの少なくとも2モード間で動作モードを選択的に切り替えられることが好ましい。
以下、本発明の具体的な実施形態について、図面を参照しながら説明する。
(第1の実施形態)
図1に、本実施形態にかかる固体撮像素子の概略構成を示す。本実施形態の固体撮像素子1は、全画素同時独立読み出し方式を採用し、画素に対応して二次元状に配列された光電変換部2と、垂直転送部3と、水平転送部4とを備えている。垂直転送部3および水平転送部4のそれぞれは、CCDにより構成される。光電変換部2としては、フォトダイオードが用いられる。光電変換部2の各々には、赤(R)、緑(G)、青(B)の三色のカラーフィルタが配置されている。本実施形態では、垂直・水平方向共に2画素おきにRGBのそれぞれのフィルタが周期的に配置されている。例えば、図1に示すように、垂直方向2画素×水平方向2画素の計4画素を単位とすれば、左下の画素がR、右下および左上の画素がG、右上の画素がBとなるように、カラーフィルタが配置されている。なお、垂直転送部3および水平転送部4の転送電極へ、図示しない制御部から制御信号が送られることにより、固体撮像素子1の動作が制御される。前記の制御部は、固体撮像素子1の外部に設けられており、信号線により固体撮像素子1に接続されている。あるいは、固体撮像素子1と一体的に形成されていても良い。
本実施形態では、垂直転送部3は、垂直方向における光電変換部2の3行分を、一つの転送段とする。このような構成とすることにより、垂直転送部3内で、1画素おきの3行分の画素を加算できる。また、転送段の容量を大きくできるという利点もある。
ここで、固体撮像素子1における水平方向の画素混合動作について説明する。
固体撮像素子1は、制御部(図示せず)が垂直転送部3および水平転送部4の転送動作を制御することにより、水平方向における1画素おきの3画素ごとの信号電荷を混合し、水平方向の画素数を1/3に削減する。図2に、信号電荷を混合する画素の組み合わせを示す。なお、混合される画素の組み合わせを、以下、混合画素群と称する。図2において、Rxyのように示した記号において、R、G、Bは当該画素のフィルタの色を表し、xは当該画素の垂直位置(水平転送部4に近い方から第1段,第2段,・・・とする)、yは混合画素群における当該画素の位置(水平転送部4の出力側に近い方から第1番目、第2番目、・・・とする)をそれぞれ表すものとする。
図2に示すように、固体撮像素子1は、例えば、G11、G12、G13のように、1画素おきに3つずつの緑の画素を、第1の混合画素群とする。さらに、この第1の混合画素群によって生成される混合画素の重心と等間隔になるように、青の画素による混合画素群が決定されている。すなわち、第1の混合画素群のG12とG13との間のB11と、このG13と隣りの混合画素群のG11との間の画素であるB12と、隣の混合画素群のG11とG12との間の画素であるB13との3つの画素を、第2の混合画素群とする。このように、水平方向において交互に配置された二色の画素を、1画素おきに3つずつ組み合わせて混合することにより、混合後の各色の画素重心が等間隔となるので、モワレや偽信号が生じない。
次に、図2に示す組み合わせで画素混合を行うための固体撮像素子1の駆動手順について、図3〜図13の状態遷移図を用いて説明する。
固体撮像素子1の垂直転送部3は、3列単位に構成されている。図3〜図13では、水平転送部4の信号電荷は向かって左側に出力されるものとし、この3列単位の垂直転送部3のそれぞれを、水平転送部4の出力側に近い方から順に、第1列、第2列、第3列とする(図中では、1列、2列、3列と表記する)。また、垂直転送部3において、水平転送部4に最も近い転送段を、以下、垂直最終段と称する。
上記3列単位に構成された垂直転送部3の垂直最終段のうち、第2列および第3列の垂直最終段は、同じ列の他の転送段並びに他の列の垂直最終段のいずれとも別個に独立して転送を行えるようにそれぞれ構成されている。すなわち、第1列および第3列の垂直最終段に信号電荷を保持したままで、第2列の垂直最終段の信号電荷のみを水平転送部4へ転送することができる。また、第1列および第2列の垂直最終段に信号電荷を保持したままで、第3列の垂直最終段の信号電荷のみを水平転送部4へ転送することができる。なお、このような転送を実現するための、垂直転送部3の具体的な電極構造例については後述する。
まず、図3に示すように、3列単位の垂直最終段のうち、第2列の垂直最終段のみを駆動することにより、図3中に矢印で表したように、この第2列の垂直最終段のみの信号電荷を、水平転送部4へ転送する。
次に、図4に示すように、水平転送部4の信号電荷を、順方向へ2画素分だけ転送する。
次に、図5に示すように、3列単位の垂直最終段のうち、第3列の垂直最終段のみを駆動することにより、図5中に矢印で表したように、この第3列の垂直最終段のみの信号電荷を、水平転送部4へ転送する。
これにより、図6に示すように、G12とG13、および、B12とB13の2画素ずつの信号電荷が、水平転送部4内でそれぞれ混合されることとなる。そして、さらに、図6に示すように、水平転送部4の信号電荷を、順方向へ2画素分だけ転送する。
次に、図7に示すように、全ての垂直転送部3に1段分の垂直転送を行わせることにより、図8に示すように、G11とG12とG13の3画素の信号電荷、および、B11とB12とB13の信号電荷が、水平転送部4内でそれぞれ混合される。このように、同じ段における二色の画素が、1画素おきに3画素ずつの組み合わせで混合されるので、水平方向における画素数が1/3に削減されることとなる。また、図8から分かるように、緑の混合画素と青の混合画素が等間隔になるので、モワレや偽信号が生じない。
さらに、図8に示した状態から、図3〜図7に示した動作と同じ転送動作を繰り返すことにより、図8に示した状態において垂直最終段にあった信号電荷が、図9に示すように、1画素おきに3画素ずつの組み合わせで、水平転送部4内で混合される。
さらに、図9に示した状態から、図3〜図7に示した動作と同じ転送動作を繰り返すことにより、図9に示した状態において垂直最終段にあった信号電荷が、図10に示すように、1画素おきに3画素ずつの組み合わせで、水平転送部4内で混合される。これにより、図2にaで示した3段分の全画素の信号電荷が、水平転送部4へ転送されたこととなる。
次に、図11に示すように、水平転送部4内の信号電荷を順次出力することにより、固体撮像素子1から、3行分の信号電荷が、水平方向の画素数が1/3に削減された状態で出力される。
この後、上述と同様の転送動作を繰り返すことにより、図2にbで示した3段分の全画素の信号電荷が、図12に示すような状態で水平転送部4へ転送され、図13に示すように、水平転送部4から順次出力される。
上述のように、固体撮像素子1の水平転送部4から出力される画像信号は、画素が1次元に配置されたものであるので、この信号を元の2次元配列に戻すために、固体撮像素子1の外部の画像処理装置において、水平転送部4からの出力信号を2次元的に再配置する処理が行われる。
例えば、図2にaおよびbで示した3段分の画素が、それぞれ、図14(a)に示すような順序で水平転送部4から出力されるものとする。なお、図14(a)において、ダミーと表記されている部分は、垂直CCD部3の周辺部に位置する画素であって、3画素分の信号電荷が混合されていないものを指す。また、図14(a)および(b)に示したa7〜a12、a13〜a18、b7〜b12、b13〜b18は、図11および図13にそれぞれ示したa1〜a6およびb1〜b6の繰り返しであるが、2次元配置した後の位置を分かりやすくするために、添え字を変更したものである。また、図14(b)のように配置された混合画素の色を、図14(c)にRGBの記号で示した。
図14(c)から分かるように、固体撮像素子1によれば、水平方向の画素数を1/3に削減した後も、画素の配置は元のとおりに保たれる。従って、画質を劣化させることなく、固体撮像素子1からの映像信号の出力スピードを向上させることができる。
なお、図15に示すように、水平方向に1画素おきの3画素を、垂直方向に1行おきの3行分、合計9画素を一つの混合画素群とすれば、全てのフォトダイオードの信号画素を捨てずに混合できるので、感度を向上させることができ、好ましい。この場合、RGBのそれぞれについての混合画素群の重心は、図15に示したように、等間隔となる。従って、解像度が高くモワレが少ない画像を得ることができる。
この場合、垂直方向において1行おきの3行分の信号電荷を混合する方法は、例えば、以下のとおりである。
(1)まず、2行おきの1/3の画素の信号電荷を垂直転送部3へ読み出し、2画素分垂直転送する。
(2)次に、前回読み出した画素から順方向に2画素目の画素の信号電荷を垂直転送部3へ読み出し、前回読み出した画素と混合し、2画素分垂直転送する。
(3)さらに、残りの画素の信号電荷を垂直転送部3へ読み出し、1画素おきの3画素の信号電荷を混合する。
なお、垂直転送段を3画素分とする電極構造(6相)の場合、上記動作が可能である。また、垂直転送段を2画素分とする電極構造(4相)の場合、3段を1単位として、含まれる6画素に対応する読み出し電極をすべて独立にする必要があるため、電極の総数は8相必要である。
例えば、図16に示すように、図15に示した9画素から、垂直方向における真ん中の行を間引いた、合計6画素を一つの混合画素群としても良い。この場合も、RGBのそれぞれについての混合画素群の重心が等間隔となるので、解像度が高くモワレが少ない画像を得ることができる。
また、図17に示すように、垂直方向における3行中の2行を間引き、水平方向における3画素のみを一つの混合画素群としても良い。
前述したように、行を間引くことによって垂直方向の画素数も削減することにより、さらに信号出力スピードを向上させることも可能である。垂直方向の画素数を削減する方法としては、例えば、画素を構成するフォトダイオードから垂直転送部3へ信号電荷を読み出す際に、不要な行の電荷を読み出さずにフォトダイオードに蓄積したままにしておくことにより、読み出さなかった行の画素を間引く方法がある。この場合、読み出されなかった信号電荷は、フォトダイオードから基板等に排出する構成とすれば良い。
ここで、上述した駆動を実現するための電極構造の一例を、図18に示す。図18に示す電極構造は、垂直転送部3の垂直転送段の各々を、V1〜V6の6相の転送電極(共通電極)で構成したものである。ただし、垂直最終段のみは、他の垂直転送段と電極構造が異なっている。すなわち、垂直最終段の第2列は、他の垂直転送段並びに垂直最終段における他の列(第1列および第3列)のいずれとも独立して転送動作を行わせるために、第3相および第5相が、前述の共通電極とは異なる独立電極(VC1、VC2)により構成されている。また、垂直最終段の第3列は、他の垂直転送段並びに垂直最終段における他の列(第1列および第2列)のいずれとも独立して転送動作を行わせるために、第3相および第5相が、前述の共通電極並びに第2列の独立電極のいずれとも異なる独立電極(VC3、VC4)により構成されている。なお、垂直最終段の第1列は、他の垂直転送段と同様に、V1〜V6の共通電極により構成されている。
このような電極構造をとることにより、3列ごとの垂直最終段の第2および第3列に独立して転送動作を行わせることが可能となり、図3〜図13に示したような転送動作を実現できる。
あるいは、図19に示すように、垂直最終段の第1列も、第3相および第5相を独立電極(VC5、VC6)により構成しても良い。この構成を採用した場合、図7に示した状態では全ての垂直転送部3に同時に転送動作を行わせたところを、第1列のみに転送動作を行わせてから、全垂直転送段による1段転送を行うようにしても良い。
なお、垂直転送部3が6相駆動の場合、垂直最終段の第2列および第3列(あるいは第1〜第3列の全て)における6枚の電極のうち、2枚あるいは3枚が、独立電極であることが好ましい。垂直最終段において3枚の転送電極を独立電極とする場合の構造例を、図20および図21に示す。これら2枚あるいは3枚の独立電極は、互いに隣接していてもかまわないが、製造プロセスを考慮すれば、独立電極間に少なくとも1枚の共通電極が介在している方が好ましい。
従って、6相駆動の場合は、例えば図18および図19にそれぞれ示すように、水平転送部4側に近い方から2番目および4番目を独立電極とした構成、あるいは、例えば図20および図21にそれぞれ示すように、水平転送部4側に近い方から2番目、4番目、および6番目を独立電極とした構成が好ましい。ただし、垂直最終段の電極構造は、これらの具体例に限定されない。
また、本実施形態では、6相駆動の電極構造を例示したが、3相または4相であっても構わない。ただし、3相または4相駆動の場合、独立電極の数は2枚となる。
なお、図22は、図18および図19に示すような電極構造におけるゲート電極の具体的配置の一例を示す図である。図22において、チャネルストップ51の間に形成された転送路52が、垂直転送部3となる。図22の例では、垂直転送部3における垂直最終段以外の転送段は、V2、V4、およびV6の3枚の転送電極が、同一層の電極膜(第1層目電極)によって全列にわたる共通電極として形成されている。同様に、V1、V3、およびV5の3枚の転送電極も、前記第1層目電極よりも上層に形成される同一層の電極膜(第2層目電極)により、全列にわたる共通電極として形成されている。一方、垂直最終段においては、前記第2層目電極と同じ電極膜を、各列において島状に分離したパターン形状とすることにより、第3相および第5相の転送電極(水平転送部4に近い側から2番目および4番目の電極)が、φV3A〜φV3CおよびφV5A〜φV5Cの独立電極として形成される。なお、図18に示すように、垂直最終段の第1列を独立して駆動させない場合は、図22に示すφV3AおよびφV5Aを、φV3およびφV5と同じ端子に接続すれば良い。
なお、図22のゲート電極構造は、ゲート電極が第1層目または第2層目の転送電極で形成される一例として示したが、図29に示すように、転送電極を第1層目〜第3層目の電極膜のいずれかで形成しても良い。図29の例では、垂直転送部3における垂直最終段以外の転送段では、V2、V4、およびV6の3枚の転送電極が、同一層の電極膜(第1層目電極)によって全列にわたる共通電極として形成されている。同様に、V1、V3、およびV5の3枚の転送電極も、前記第1層目電極よりも上層に形成される同一層の電極膜(第2層目電極)により、全列にわたる共通電極として形成されている。一方、垂直最終段においては、V1、V3C、V5A、V5Bの転送電極は第3層目の転送電極で形成され、V3A、V3B、V5Cの転送電極は第2層目の転送電極で形成され、V2、V4、V6は第1層目の転送電極で形成される。
この構成により、第3相および第5相の転送電極(水平転送部4に近い側から2番目および4番目の電極)が、φV3A〜φV3CおよびφV5A〜φV5Cの独立電極として形成される。なお、図18に示すように、垂直最終段の第1列を独立して駆動させない場合は、図29に示すφV3AおよびφV5Aを、φV3およびφV5と同じ端子に接続すれば良い。
なお、図29の例ではV1、V3C、V5A、V5Bを第3層目の電極膜で形成したが、各転送電極の電極膜を限定するものではない。なお、図29のゲート電極構造は、ゲート電極を第1層目〜第3層目のいずれかの電極膜で形成したが、第4層目以上の電極膜を使用してもよい。なお、図22のゲート電極構造においては転送電極が2層で済むため、電極膜形成が比較的容易であるが、独立電極が島状に分離したパターンとなるため、同一ゲートの独立電極同士を繋ぐための別配線が必要である。これに対し、第3層目以上の電極膜で転送電極を形成した場合は、同一ゲートの独立電極同士が同じ電極膜で繋がっているため、別配線が不要になるメリットがある。
ここで、図18に示した電極構造を例にとり、制御部(図示せず)から垂直転送部3および水平転送部4の各転送電極へ与えられる制御信号のタイミングチャートと、このタイミングチャートに応じた転送電荷の様子を、図23に示す。なお、この電極構造の場合、図24に示すように、光電変換部2から読み出された信号電荷は、転送電極のV3およびV4に蓄積されるようになっている。
図23において、V1〜V6、および、VC1〜VC4のそれぞれに与えられる駆動パルスが高レベルの場合に、当該電極はストレージ部となる。また、駆動パルスが低レベルの場合に、当該電極はバリア部となる。
図23に示すタイミングチャートに従って、垂直転送部3および水平転送部4を駆動することにより、本実施形態で説明したような画素混合が実現できる。なお、図23に示すように、φV4を低レベルにするタイミング(t2)よりも前に、φV2を高レベルにする(t1)ことが好ましい。時刻t1でφV2を高レベルとすることにより、信号電荷の蓄積電極が時刻t1以前においてはφV3、φV4となり、時刻t1〜t2の期間においてはφV2、φV3(φVC3)、φV4となり、時刻t2〜t3の期間においてはφV2、φV3(φVC3)となる。これにより、水平転送部4へ信号電荷を移動する期間に、転送しない垂直転送段の信号電荷の損失を防止できるという利点がある。
なお、図25は隣接する3列の垂直最終段のうち2列において、水平転送部側から2番目および4番目の転送電極が、他の列の垂直最終段とは独立した独立電極であり、隣接する3列の垂直最終段の全てにおいて、水平転送部側から1番目、3番目および5番目の転送電極が、垂直転送部の他の段とは異なる実施例である。各転送電極へ与えられる制御信号のタイミングチャートと、このタイミングチャートに応じた転送電荷の様子を、図26に示す。図23に示す動作と異なる点は、垂直最終段で1列目と2列目の電荷を選択的に水平CCDに転送する際には、垂直最終段の電極のうちVC1〜VC4、V2’、V4’、V6’のみを駆動し、3列目の電荷を選択的に水平CCDに転送するときのみ、全画面に共通なV1〜V6も含めた電極にパルスを印加し、電荷転送する。このことにより図23に示した構成例よりも、消費電力を削減することができる。
なお、図25の垂直最終段の電極V2‘は垂直転送部の他の段の電極V2と同じであっても良い。
図27は、水平空間周波数応答を示したグラフであり、g1は画素混合をしない全画素の場合の周波数応答である。全画素ナイキスト周波数Fは、全画素サンプリング周波数fと、F=1/2×fの関係がある。間引き等により通常の1/3の周波数でサンプリングする場合、ナイキスト周波数1/3Fを境に高域成分が折り返されるため、2/3Fの成分がDC成分に加わる。図27のg2は、前述した特許文献1のように水平3画素の両端の2画素を混合する場合の周波数応答である。この場合、ナイキスト周波数は1/3Fとなり、2/3Fの成分が約0.25のため、DCへ折り返り偽信号を発生する。図27のg3は、本発明における1画素おきの3画素混合の場合の周波数応答である。ナイキスト周波数は、1/3Fとなるが、2/3Fの成分が0であるため、DCへの折り返し成分はほとんどない。図27に示すように、固体撮像素子1によれば、モワレや偽信号が少ない高品質な画像信号を得ることができる。
なお、上述の実施形態では、水平方向に3画素を混合するための構成および駆動方法について説明したが、本発明は、3画素以上の奇数画素の混合に適用することが可能であり、5画素以上の混合を実現するための構成および駆動方法については、当業者であれば本実施形態の説明から理解できるであろう。
また、本発明は、図1に示したようなフィルタ配列の固体撮像素子に限定されるものではなく、他の配列にも適用可能である。さらに、カラーフィルタを用いないモノクロ画像の固体撮像素子にも適用できる。
また、本実施形態で説明した固体撮像素子をディジタルカメラに適用すれば、固体撮像素子から高速にデータが出力されるので、高速動作が可能であり、かつ、画質に優れたディジタルカメラを実現できる。本発明の高速動作と通常の全画素読み出し動作を切り替えて使用することができるため、動画(高速動作)モードと静止画(全画素読み出し動作)モードを兼ね備えたディジタルカメラを実現できる。図28に、本発明にかかるディジタルカメラの構成例を示す。本ディジタルカメラは、被写体からの入射光を固体撮像素子1の撮像面に結像するためのレンズなどを含む光学系31と、固体撮像素子1の駆動を制御する制御部32と、固体撮像素子1からの出力信号に対して様々な信号処理を施す画像処理部33とを備えている。
なお、本発明にかかるディジタルカメラは、固体撮像素子にカラーフィルタを設けず、水平方向において連続する画素を混合する場合は、ダイクロイックミラー等を用いることによってカラー化することができる(いわゆる3板式カラーカメラ)。さらに、3板式カラーカメラの場合、m=2として、画素混合を行わない第1のモードと、垂直方向に隣接する2画素および水平方向に隣接する2画素を混合する第2のモードとの少なくとも2モード間で動作モードを選択的に切り替えられることが好ましい。
(第2の実施形態)
本発明の第2の実施形態にかかる固体撮像素子について、以下に説明する。
本実施形態にかかる固体撮像素子の基本的な構造は、第1の実施形態にかかる固体撮像素子(図22参照)とほぼ同様である。ただし、垂直転送部3および水平転送部4の駆動方法が、第1の実施形態と異なっている。
また、本実施形態の固体撮像素子は、垂直最終段がm(mは2以上の整数)列毎に同じ転送電極構造を有し、上記m列の全ての垂直最終段に、水平転送部4への転送動作を他の列とは独立して制御するために、垂直最終段の他の列から独立した転送電極が設けられた構成である。ここで、m=3である場合を具体例としてあげて、本実施形態の固体撮像素子の構成および動作について説明する。m=3の場合、本固体撮像素子の構成は、第1の実施形態において図22に示したものと同様である。
ここで、図30〜図47を参照し、本実施形態の固体撮像素子の動作について説明する。図30〜図47では、垂直転送部3へ読み出された信号電荷のそれぞれに番号を付し、この番号によって信号電荷の移動を示した。なお、図30等では8×8画素のみを示したが、番号18,28,…88の列の右側に、番号19,29,…89の列があり、さらにその右側に番号110,210,…810の列、さらにその右側に番号111,211,…811の列が続いているものとする。
図30は、光電変換部2の各画素から、垂直転送部3へ信号電荷が読み出された状態を示す。この状態から、まず、垂直転送部3の垂直最終段の転送電極を、3列毎に1列だけ転送動作させることにより、図31に示すように、垂直転送部3の垂直最終段の信号電荷のうち、3列毎に1列の信号電荷を、水平転送部4へ転送する。次に、図32に示すように、水平転送部4内の信号電荷を、順方向へ1画素分だけ水平転送する。
さらに、図33に示すように、垂直転送部3の垂直最終段の転送電極を、3列毎に1列(図31において転送した列とは異なる列)だけ転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、3列毎に1列の信号電荷を、水平転送部4へ転送する。これにより、水平転送部4において、3列毎に2列分の信号電荷が混合されることとなる。次に、図34に示すように、水平転送部4内の信号電荷を、順方向へ1画素分だけ水平転送する。
次に、図35に示すように、垂直転送部3の垂直最終段の転送電極を、3列毎に1列(図31、図33において転送した列とは異なる列)だけ転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、3列毎に1列の信号電荷を、水平転送部4へ転送する。以上の転送動作により、図35に示すように、垂直転送部3の垂直最終段の信号電荷が、3列毎に、水平転送部4で混合されることとなる。
次に、図36に示すように、垂直転送部3の全ての転送段に、垂直最終段へ向けて1段分の垂直転送を行わせる。
そして、図36において垂直最終段に位置する信号電荷(21〜28)について、上記と同様の手順で垂直転送と水平転送とを繰り返すことにより(図37〜図41)、これらの信号電荷を3列毎に水平転送部4で混合する。
さらに、図42に示すように、垂直転送部3の全ての転送段に、垂直最終段へ向けて1段分の垂直転送を行わせ、上記と同様の手順で垂直最終段に位置する信号電荷(31〜38)について垂直転送と水平転送とを繰り返すことにより(図42〜図47)、これらの信号電荷を3列毎に水平転送部4で混合する。
図47に示すとおりに水平転送部4で混合された3段分の信号電荷は、この後、水平転送部4から順次出力される。
以上のように、本実施形態の固体撮像素子によれば、3画素混合を実現することができる。
なお、本実施形態では、水平方向に隣接する3画素ずつを水平転送部4内で混合する例を示したが、混合される画素は必ずしも隣接していなくとも良い。例えば、カラーフィルタが設けられている場合は、同色フィルタの画素同士を混合することが好ましい。逆に、カラーフィルタを用いない固体撮像素子の場合は、隣接画素を混合する方が、空間周波数特性が劣化しない点で好ましい。
本実施形態では、m=3の例を説明したが、m=2の場合あるいはmが4以上の場合であっても、m列中の1列の信号電荷の垂直転送と水平転送とを繰り返すことによってm画素混合を実現できることは、当業者であれば容易に理解できるであろう。
また、例えばm=6の場合、すなわち、垂直最終段の転送電極が6列毎に同じ転送電極構造を有し、前記6列中の5列あるいは全列が、他の列とは独立に水平転送部への転送動作が行えるように、他の列から独立した転送電極として構成されている場合、垂直転送部3および水平転送部4への制御信号のパターンを切り替えることにより、6画素混合、3画素混合、2画素混合、画素混合なし、の4種類のモードでの動作が可能である。すなわち、理論的には、垂直最終段の転送電極のうち、同じ構造をとる単位(本数)の約数に相当する画素を混合するモードを、任意に実現することができる。
上述の複数混合モードについて、例えば、図48に示すような、いわゆるベイヤ配列のカラーフィルタが設けられている場合を例にあげて説明する。図48において、R,G,Bの記号が各画素に対応するフィルタの色を表す。この場合、m=12、すなわち、垂直最終段の転送電極が12列毎に同じ転送電極構造を有し、前記12列中の11列あるいは全列が、他の列とは独立に水平転送部への転送動作が行えるように、他の列から独立した転送電極として構成されている固体撮像素子を用いて、9画素混合モードと4画素混合モードを実現できる。9画素混合モードでは、水平方向に1画素おきに3画素分、垂直方向に1段おきに3段分の合計9画素を混合することにより、R,G,Bの色別に9画素ずつが混合されることとなる。一方、4画素混合モードでは、水平方向に1画素おきに2画素分、垂直方向に1段おきに2段分の合計4画素を混合することにより、R,G,Bの色別に4画素ずつが混合されることとなる。
なお、上述の場合において、垂直方向の画素混合は、垂直転送段内で行っても良いし、水平転送部内で行っても良い。
(第3の実施形態)
本発明のさらに他の実施形態にかかる固体撮像素子について説明する。
本実施形態の固体撮像素子は、第2の実施形態と同様の構成を有するが、混合される画素の組み合わせが各段において異なっている点において、第2の実施形態と異なっている。
ここで、m=2の場合について、図49〜図57を参照しながら、具体的な動作を説明する。図49〜図57においても、垂直転送部3へ読み出された信号電荷のそれぞれに番号を付し、この番号によって信号電荷の移動を示した。なお、図49等では8×8画素のみを示したが、番号18,28,…88の列の右側に、番号19,29,…89の列があり、さらにその右側に番号110,210,…810の列が続いているものとする。
図49は、光電変換部2の各画素から、垂直転送部3へ信号電荷が読み出された状態を示す。この状態から、まず、垂直転送部3の垂直最終段の転送電極のうち、図50に示すように、偶数列の転送電極だけを転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、2列毎に1列の信号電荷を、水平転送部4へ転送する。次に、図51に示すように、水平転送部4内の信号電荷を、順方向へ1画素分だけ水平転送する。
そして、図52に示すように、垂直転送部3の垂直最終段の転送電極のうち、奇数列の転送電極だけを転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、2列毎に1列の信号電荷を、水平転送部4へ転送する。これにより、水平転送部4内で、垂直最終段の信号電荷が2列毎に混合されることとなる。
次に、図53に示すように、垂直転送部3の全ての転送段に、垂直最終段へ向けて1段分の垂直転送を行わせる。そして、図54に示すように、水平転送部4内の信号電荷を順方向へ1画素分だけ水平転送した後、図55に示すように、垂直転送部3の垂直最終段の転送電極のうち、奇数列の転送電極だけを転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、2列毎に1列の信号電荷を、水平転送部4へ転送する。そして、図56に示すように、水平転送部4内の信号電荷を、順方向へ1画素分だけ水平転送する。次に、図57に示すように、垂直転送部3の垂直最終段の転送電極のうち、偶数列の転送電極だけを転送動作させることにより、垂直転送部3の垂直最終段の信号電荷のうち、2列毎に1列の信号電荷を、水平転送部4へ転送する。これにより、水平転送部4内で、垂直最終段の信号電荷が2列毎に混合されることとなる。
以下、図49〜図57と同様の動作を繰り返す。
この手順により、本実施形態では、奇数段の信号電荷(図49に示した番号x1〜x8の信号電荷であって、xが奇数のもの)は、番号x1と番号x2、番号x3と番号x4、番号x5と番号x6、番号x7と番号x8の組み合わせで2画素毎に混合される。一方、偶数段の信号電荷(図49に示した番号x1〜x8の信号電荷であって、xが偶数のもの)は、番号x2と番号x3、番号x4と番号x5、番号x6と番号x7、番号x8と番号x9の組み合わせで2画素毎に混合される。
これにより、図58に丸印で示すように、奇数段で混合される2画素の重心位置と、偶数段で混合される2画素の重心位置とが、交互にバランス良く配置されることとなる。このように、混合される画素群の重心位置が水平方向に等間隔になるようにすることで、視覚的な解像度が向上し、より鮮明な画像が得られるという利点がある。
なお、第1の実施形態にかかる固体撮像素子と同様に、第2および第3の実施形態にかかる固体撮像素子をディジタルカメラに適用すれば(図28参照)、固体撮像素子から高速にデータが出力されるので、高速動作が可能であり、かつ、画質に優れたディジタルカメラを実現できる。また、本発明の高速動作と通常の全画素読み出し動作を切り替えて使用することができるため、動画(高速動作)モードと静止画(全画素読み出し動作)モードを兼ね備えたディジタルカメラを実現できる。
なお、第1〜第3の実施形態にかかる固体撮像素子であって、画素混合を行わずに全画素の信号電荷を出力するモードと、4画素混合を行うモードとを切り替え可能な固体撮像素子を用いてディジタルカメラを構成することも好ましい。このようなディジタルカメラでは、例えば、画素混合を行わないモードではHDTV動画モード(垂直方向1000画素×水平方向2000画素)での画像出力、4画素混合を行うモードではSDTV動画モード(垂直方向500画素×水平方向1000画素)での画像出力が可能となる。HDTV動画モードでは高解像度な画像を出力でき、SDTV動画モードでは高感度かつ高フレームレートの画像出力が可能である。
また、800万画素相当以上の固体撮像素子において、より具体的には垂直の画素数が2160画素以上、水平の画素数が3840画素以上有する固体撮像素子において、垂直3画素×水平3画素の合計9画素を混合することによる走査線数が720本のTVフォーマットの撮像モードと、垂直2画素×水平2画素の4画素を混合することによる走査線が1080本のTVフォーマットの撮像モードとの少なくとも2モードを選択的に切り替えられるように構成することにより、高解像度な画像出力モードと高感度かつ高フレームレートの画像出力モードの切り替えが可能である。
さらに、垂直4画素×水平4画素の16画素を混合する撮像モードを有することにより、走査線数が480本のNTSC方式あるいは575本のPAL方式の走査線数の撮像モードを実現することができる。
なお、このようなディジタルカメラは、固体撮像素子にカラーフィルタが設けられた構成であっても良いし、固体撮像素子にはカラーフィルタを設けずに、ダイクロイックミラーを用いて分光することによりカラー映像を得る、いわゆる三板式カメラであっても良い。前述したように、固体撮像素子にカラーフィルタが設けられている場合は、同色フィルタの画素同士を混合することが好ましく、三板式カメラの場合は、互いに隣接する複数画素を混合することが好ましい。