JP4333371B2 - 撮像装置および撮像素子 - Google Patents

Description

本発明は、画素を混合して読み出すことができる撮像素子およびその撮像素子を用いた撮像装置に係る。

上記技術分野の背景技術として、例えば下記に記載されたものが知られている。特許文献１の技術は、縦ストライプの色フィルタ配置を持った撮像素子を用いて、垂直方向に画素の信号を混合することにより、画素混合時の駆動周波数を下げたものである。特許文献２の技術は、奇数列と偶数列とで奇数行と偶数行のデータを分離して読み出し、かつ、受光素子から垂直ＣＣＤに電荷を転送する際に水平方向で２画素分の混合を施して該垂直ＣＣＤで垂直方向に電荷を転送する。更に、垂直ＣＣＤから水平ＣＣＤに電荷を転送する際に垂直方向に２画素分の混合を行うことで、４画素混合を実現して画素混合時の駆動周波数を下げたものである。

特許文献２では、２ライン４画素で繰り返す色フィルタとして、Ｎライン目にはＭｇ、Ｃｙ、Ｇ、Ｙｅを、Ｎ＋１ラインにはＧ、Ｙｅ、Ｍｇ、Ｃｙを配置している。このようなフィルタ配置を採用することで、画素混合時も画素を混合しない独立読出し時も（Ｍｇ＋Ｙｅ）、（Ｇ＋Ｙｅ）、（Ｇ＋Ｃｙ）、（Ｍｇ＋Ｃｙ）の順番で撮像素子から信号を出せるようにしている。（Ｍｇ＋Ｙｅ）と（Ｇ＋Ｃｙ）及び（Ｇ＋Ｙｅ）と（Ｍｇ＋Ｃｙ）が同一ラインの信号となり、（Ｍｇ＋Ｙｅ）（Ｇ＋Ｃｙ）と（Ｇ＋Ｙｅ）（Ｍｇ＋Ｃｙ）が異なるラインの信号となっている。

特開２０００−２９５５３１号公報

特開２０００−１８４３８５号公報

画素数の多い撮像素子（例えば、４００万から６００万画素）を用いて静止画と動画を撮像する場合に動画で画素混合することがある。また静止画と動画と兼用でない撮像装置であっても、例えば、画素数の多い撮像素子を用いて動画を撮像する場合や、暗い場面で感度を上げて静止画を撮像する場合など、画素混合することがある。静止画か動画かを問わず画素混合がされる。

特許文献１のように縦ストライプフィルタを用いた技術では水平混合ができないため、画素混合時の駆動速度が高くなってしまう。また、特許文献２のようなフィルタを配置した技術では、異なるラインの信号が点順次に出力されるため従来の画素混合された信号を処理するＬＳＩではそのまま処理することができない。また画素混合後の信号の重心位置が等間隔でない為折り返し雑音が発生しやすくなる。

本発明は、画素混合して読み出した際に良好な画質を得られる撮像素子およびその撮像素子を用いた撮像装置を提供することを目的とする。

上記課題を解決するため、本発明の撮像装置は、光電変換用の画素を水平方向及び垂直方向に複数個配列した受光部と、受光部の各画素で得られた信号を混合する混合手段と、混合手段からの出力信号を処理する信号処理手段とを有し、混合手段は、受光部における垂直方向に１画素おきに連続した３画素と水平方向に連続した２画素の信号を混合して出力する構成とした。

さらに、受光部の前面に各画素に対応し色を分離する色分離フィルタを設け、色分離フィルタは、垂直方向Ｎ番目ラインは、水平方向にグリーン、イエロー、マゼンタ、イエローの順で繰り返し配置し、垂直方向（Ｎ＋１）番目ラインは、水平方向にマゼンタ、シアン、グリーン、シアンの順で繰り返し配置するようにした。

本発明によれば、画素混合して読み出した際に良好な画質を得られる撮像素子およびその撮像素子を用いた撮像装置を提供することができる。

以下本発明の実施形態を図面を用いて説明する。

図１は本発明による撮像素子の第１の実施例を示す図、図２は図１の撮像素子の受光部の前面に配置される色分離フィルタの配置を示す図、図３は図１の撮像素子の垂直転送部の動作を示す図、図４は図３の垂直転送部に印加されるパルスを示す図である。

図１の撮像素子は、垂直転送部１、水平転送部２、電荷電圧変換３、出力バッファ４、Ｐ１１からＰｎｍまでｎ行ｍ列に配列された受光部５、垂直転送部から水平転送部に電荷を送る転送回路部分６から構成されている。垂直転送部１には電荷を転送する為の駆動パルスＶ１、Ｖ２、Ｖ３が印加され、水平転送部２には電荷を転送する為の駆動パルスＨ１、Ｈ２が印加され、電荷電圧変換３には電荷をリセットするパルスＲＧが印加されている。

本実施例は、受光部５で光電変換された電荷を、Ｎ行、Ｎ＋１行、Ｎ＋２行（Ｎは自然数）で分けられる行ごとに独立した読み出しパルスＲ１、Ｒ２、Ｒ３で垂直転送部１に読み出している。該受光部で光電変換された電荷は、該読み出しパルスＲ１でＮ行目の電荷を垂直転送部１に転送した後、該垂直転送部１を図面上で２ライン下方向に送る。次に、該読み出しパルスＲ２でＮ＋１行目の電荷を垂直転送部１に転送する。更に、該垂直転送部１を図面上で２ライン下方向に送る。最後に該読み出しパルスＲ３でＮ＋２行目の電荷を垂直転送部１に送っている。この動作により、該受光素子で光電変換された全ての電荷が垂直転送部１に送られる。

図３の読み出し部はこの転送動作を模式的に表す。図３の受光部Ｐ１１〜Ｐ１３，１は図１におけるＰ１１〜Ｐｎｍの最初の一列の一部分を示している。また、図３におけるＴ０からＴ１７は時間的な変化を表している。Ｔ０からＴ１７の右に示したパルス状図形は垂直転送部１のポテンシャル井戸を表したもので、電荷が転送されていく様子を表している。Ｔ１のタイミングで受光部５のＰ１１、Ｐ４１、Ｐ７１・・・で得られた電荷が垂直転送部１に転送される。Ｔ２からＴ５で２ライン送られる。Ｔ６で受光部５のＰ３１、Ｐ６１、Ｐ９１・・・で得られた電荷が垂直転送部１に転送され、２ライン混合電荷Ｐ１１＋Ｐ３１、Ｐ４１＋Ｐ６１、Ｐ７１＋Ｐ９１となる。同様にＴ７からＴ１０で２ライン送られる。Ｔ１１で受光部５のＰ５１、Ｐ８１、Ｐ１１，１・・・で得られた電荷が垂直転送部１に転送され、Ｐ１１＋Ｐ３１＋Ｐ５１、Ｐ４１＋Ｐ６１＋Ｐ８１、Ｐ７１＋Ｐ９１＋Ｐ１１，１となり３ライン分の電荷が垂直転送部１で混合される。

このようにして、受光部５で得られた全ての電荷を３ライン毎に混合し垂直転送部１に一度蓄え、該蓄えた電荷を水平帰線期間（ＨＢＬＫ）で受光部５のライン数で３ライン分を転送する。図１における垂直転送部１の一番下の電荷が水平転送部２に送られ、水平の映像期間で該水平転送部２から電荷電圧変換３及び出力バッファ４に順次電荷が転送され、撮像素子１０の出力に出力電圧として信号が読み出される。

上記の垂直転送部１から水平転送部２への電荷の転送は、奇数列と偶数列とで独立して行えるように転送回路部分６を設けている。垂直で３ラインを混合させる動画撮影時には、奇数列を水平転送部２に送り、更に、偶数列が奇数列の電荷に加算されるように水平転送部２に送り、その後、水平転送部２を動作させて信号を読み出している。

図３で「ＨＢＬＫで繰り返し」と記載してある部分は、上記水平帰線期間での垂直転送部１の転送様子を表し、図４では垂直転送部１に印加されるパルス及び読み出しパルスＲ１、Ｒ２、Ｒ３を具体的に表している。

本実施例では、動画を撮影する場合は垂直３画素、水平２画素を混合して読み出している。一方静止画を撮影する場合は、受光部５から垂直転送部への読み出しと垂直転送部から水平転送部への読み出しを１ライン１画素毎に独立して読み出せるようにしている。画素の混合を一切行わずに一連の動作を６フレーム行うことにより、全画素の情報を独立して読み出すことができる。また、静止画に対して動画は読み出し時間を１／６にすることが可能となる。更に、垂直転送部の転送段数を減らすことができるため撮像素子の小型化が実現可能となる。

次に、撮像素子からの電荷読み出しと受光部５の前面に設けた色分離フィルタとの関係を図２を用いて説明する。図２におけるＧ、Ｙｅ、Ｍｇ、Ｃｙの添字は図１におけるＰの添字と一致しており、画素の前面に配置される色フィルタの位置を表している。例えば、Ｇ１１はＰ１１の前面に設けたグリーンのフィルタであり、Ｙｅ１２、Ｍｇ１３、Ｃｙ２２はそれぞれＰ１２、Ｐ１３、Ｐ２２の前面に設けたイエロー、マゼンタ、シアンのフィルタである。

本実施例では、Ｎラインはグリーン、イエロー、マゼンタ、イエローの順番で繰り返し、Ｎ＋１ラインではマゼンタ、シアン、グリーン、シアンの順番で繰り返し、２ライン４画素繰り返しの色フィルタ配置になっている。

動画撮影時は（Ｇ１１＋Ｇ３１＋Ｇ５１＋Ｙｅ１２＋Ｙｅ３２＋Ｙｅ５２）、（Ｍｇ１３＋Ｍｇ３３＋Ｍｇ５３＋Ｙｅ１４＋Ｙｅ３４＋Ｙｅ５４）、・・・・で一水平走査期間において信号を読み出し、次の水平走査期間では（Ｍｇ４１＋Ｍｇ６１＋Ｍｇ８１＋Ｃｙ４２＋Ｃｙ６２＋Ｃｙ８２）、（Ｇ４３＋Ｇ６３＋Ｇ８３＋Ｃｙ４４＋Ｃｙ６４＋Ｃｙ８４）、・・・・で信号を読み出している。上記の出力は、混合後の撮像素子の出力で見た画素数及びラインで考えると、Ｇ＋Ｙｅ、Ｍｇ＋Ｙｅ、Ｍｇ＋Ｃｙ、Ｇ＋Ｃｙの４種類の信号は隣接する２ライン２画素から出力されている。この４種類の出力は図８に示した通常ムービーで使われている画素混合タイプの撮像素子と同一である。通常ムービーのカメラ処理では、上記４種類の信号を所定の定数で加算或いは減算を行うことでＲＧＢ信号を得ている。又、輝度信号は色信号を除くローパスフィルタ処理を施して得ているため、既存のカメラ回路の信号処理定数を変更するのみで処理が可能となる。

静止画の場合は、６フレームに渡って読み出し、一旦ＳＤＲＡＭ等のメモリに格納する必要がある。撮像素子での画素位置を考慮してリード又はライトを行うことにより、撮像素子の画素を順次スキャンした場合と同一の出力で信号を得ることができ、Ｇ、Ｙｅ、Ｍｇ、Ｃｙの４色が隣接する２ライン２画素から出力されている。これは、図８に示した通常ムービーで使われている画素混合タイプの撮像素子で画素混合を行わずに読み出し、一旦ＳＤＲＡＭにライトしてから撮像素子の画素順番で順次にＳＤＲＡＭから信号を読み出した際に得られる信号と同一となっている。従って、静止後も動画と同様に従来の信号処理の信号処理定数を変更するのみで処理が可能となる。

本実施例によると、従来の信号処理で撮像素子から信号を得ることができるため、大規模なＬＳＩ開発を行うことなく高画素撮像素子を使った動画及び静止画の撮像装置を実現することができる。また、動画時は６画素を混合するため実用的な読み出し周波数で動画像を得ることができる。

本発明の第２の実施例を図６及び図７により説明する。本実施例は撮像素子１０からの信号処理を具体的に表したものである。

図６は撮像素子の受光部を表しており、受光部には正方画素を用いている。図７は信号処理のブロックを示した図である。動画像を撮影する場合は、垂直方向でＴＶの有効ライン数の３倍である１４４０画素を使い、水平方向は垂直の４／３倍の１９２０画素を使用している。実際のカメラ処理では、フィルタ処理による過渡部分を含め、上記の１４４０及び１９２０を若干広げ信号を処理している。動画で使用する場合は、水平方向で２画素、垂直方向で３画素の混合が施される為、水平９６０画素、垂直４８０画素として撮像素子１０から出力される。この出力された信号からＣＤＳ、ＡＧＣ、ＡＤ部１１で信号成分を取り出しデジタル信号に変換した後、ＹＵＶ生成１２でカメラ処理を施し輝度及び色差信号を生成する。該輝度及び色差信号に対して電子ズーム１３で映像の拡大処理を施し、画素アスペクト比変換１４で水平９６０画素から７２０画素を生成する。記録される水平７２０×垂直４８０のフレーム映像データ、又はＯｄｄ及びＥｖｅｎフィールドで水平７２０×垂直２４０のインターレース映像を得ている。該生成した映像を映像記録部１８で記録すると共に、選択１５を介してＴＶ出力信号生成１６でＴＶ表示用の信号に変換して出力している。

一方、静止画の撮影では、撮像素子１０内では画素混合を行わず撮像素子を６回スキャンし、該スキャン結果を一旦メモリ２０に書き込み、水平１９２０＋α画素×垂直１４４０＋β画素映像を一旦メモリ２０に格納する。該蓄えた映像を撮像素子１０の画素配列の順番でメモリ２０から読み出し、動画と同様にＹＵＶ生成１２に入力してカメラ処理を施し記録する。ここで、α及びβは動画撮影時に手ぶれ補正処理用に設けた余裕画素であり、垂直及び水平画素の２０％から４０％程度分追加している。

本実施例では、６画素混合を施すことにより高画素の静止画が撮影できる撮像素子を用いても、動画時と静止画時とで大きな画角変化を伴うことがない。また、静止画の画素数としては、正方画素の撮像素子を採用した場合でも手ぶれ補正領域を±３０％とすると４６０万画素となり、高画素の静止画を得ることができる。更に、動画画質としても全画素を使用して処理できる為、折り返し雑音の発生を抑えることができる。更に、垂直を３画素混合しているのに対して水平を２画素混合とすることで、色信号のキャリア周波数自身を１．５倍高くできる。輝度信号を得る際に該キャリアを削除するフィルタ処理による周波数特性の劣化を抑えることができ、限界解像度の劣化を抑えることができ、折り返し雑音も含め従来のムービーと同等以上の動画画質を実現することができる。

図５は本発明の第３の実施例（色分離フィルタ）を示す図である。本実施例は図２における色分離フィルタを補色から原色に変更したものであり、第１及び第２の実施例と同一の構成及び動作となる為、本質的に等しく同等の効果を得ることができる。

以上のように本発明の実施例によれば、信号量を１／６に低減できるため、例えば、Ｈ×Ｖ＝６４０×４８０画素の動画を撮影する時の読み出し速度の１．５倍で、１９２０×１４４０の２７０万画素分の読み出しが可能となる。これに余裕画素を±１０％から２０％付加すれば静止画で４００万から５５０万画素が実現できる。動画と静止画の画角差も該余裕画素分のみになる為問題を生じることが無い。更に、異なるラインの信号が点順次に出ない為、従来の動画処理ＬＳＩでも処理することが可能になる。また、色フィルタの水平の繰り返しサイクルが従来の動画撮像素子の２画素に対して４画素になっているが、水平の画素数そのものが３倍になっている為、折り返しノイズで生じる画質劣化を抑えることができる。更に、撮像素子の受光面で４：３或いは１６：９のエリア部分から動画映像を作る際に、該撮像素子から読み出されるデータは、水平のサンプリング周波数が等価的に１．５倍した信号となる為、その出力の色信号のキャリア周波数が従来に対して１．５倍になる為、輝度信号の周波数特性の劣化を生じることなく該撮像素子出力信号から輝度と色を分離することができる。

以上の各実施例では、動画を撮影する場合は垂直３画素、水平２画素を混合して読み出す場合について説明した。しかし本発明はこれに限らず、垂直方向のＮ画素、水平方向のＭ画素（ただしＮ＞Ｍ、Ｍ≧２の整数）を混合して読み出す場合にも拡張でき、同様の作用効果を奏することができる。

本発明はビデオカメラ及びデジタルスチルカメラに利用可能である。

本発明による撮像素子の第１の実施例を示す図。 第１の実施例における色分離フィルタの配置を示す図。 第１の実施例における垂直転送部の動作を示す図。 第１の実施例における垂直転送部に印加されるパルスを示す図。 本発明の第３の実施例（色分離フィルタ）を示す図。 本発明の第２の実施例（信号処理の様子）を示す図。 第２の実施例における信号処理ブロック図。 従来の撮像素子の色分離フィルタの配列を示す図。

符号の説明

１・・・垂直転送部
２・・・水平転送部
３・・・電荷電圧変換
４・・・出力バッファ
５・・・受光部
６・・・転送回路部分
１０・・・撮像素子
１１・・・ＣＤＳ、ＡＧＣ、ＡＤ
１２・・・ＹＵＶ生成
１３・・・電子ズーム
１４・・・画素アスペクト比変換
１５・・・選択
１６・・・ＴＶ出力信号生成
１７・・・撮像素子駆動回路
１８・・・映像記録部
１９・・・同期信号生成部
２０・・・メモリ

Claims (6)

1. 光電変換用の画素を水平方向及び垂直方向に複数個配列した受光部と、
   該受光部の各画素で得られた信号を混合する混合手段と、
   該混合手段からの出力信号を処理する信号処理手段とを有し、
   前記混合手段は、前記受光部における垂直方向に１画素おきに連続した３画素と水平方向に連続した２画素の信号を混合して出力し、
   前記受光部の前面に前記各画素に対応し色を分離する色分離フィルタを設け、
   該色分離フィルタは、垂直方向Ｎ番目ラインは、水平方向にグリーン、グリーン、レッド、グリーンの順で繰り返し配置し、垂直方向（Ｎ＋１）番目ラインは、水平方向にレッド、ブルー、グリーン、ブルーの順で繰り返し配置すること
   を特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記混合手段を用いて複数画素の信号を混合して出力するモードと、
   前記混合手段を用いずに各画素の信号を独立で出力するモードと、を有することを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記信号処理手段は、前記混合手段にて混合された信号に対し、等価的に画素のアスペクト比を補正する手段を有することを特徴とする撮像装置。
4. 光電変換用の画素を水平方向及び垂直方向に複数個配列した受光部と、
   該受光部の各画素で得られた信号を混合する混合手段と、
   該混合手段からの出力信号を処理する信号処理手段とを有し、
   前記混合手段は、前記受光部における垂直方向のＮ画素と水平方向のＭ画素（ただしＮ＞Ｍ、Ｍ≧２の整数）の信号を混合して出力し、
   前記受光部の前面に前記各画素に対応し色を分離する色分離フィルタを設け、
   該色分離フィルタは、垂直方向Ｎ番目ラインは、水平方向にグリーン、グリーン、レッド、グリーンの順で繰り返し配置し、垂直方向（Ｎ＋１）番目ラインは、水平方向にレッド、ブルー、グリーン、ブルーの順で繰り返し配置すること
   を特徴とする撮像装置。
5. 光電変換用の画素を水平方向及び垂直方向に複数個配列した受光部と、
   該受光部の各画素で得られた信号を混合する混合手段と、
   前記受光部の前面に前記各画素に対応し色を分離する色分離フィルタを有し、
   該色分離フィルタは、垂直方向２ラインと水平方向４画素を単位に繰り返し配列され、
   前記混合手段は、前記受光部における各画素にて発生する電荷を、垂直方向Ｎライン、（Ｎ＋１）ライン、（Ｎ＋２）ラインごとに独立して垂直転送部に読み出し、該各ラインからの読み出しの間に、該垂直転送部上を垂直方向に２ラインずつシフトさせて電荷を読み出し、
   前記色分離フィルタは、垂直方向Ｎ番目ラインは、水平方向にグリーン、グリーン、レッド、グリーンの順で繰り返し配置し、垂直方向（Ｎ＋１）番目ラインは、水平方向にレッド、ブルー、グリーン、ブルーの順で繰り返し配置すること
   を特徴とする撮像素子。
6. 請求項５に記載の撮像素子において、
   前記混合手段は、垂直方向Ｎライン、（Ｎ＋１）ライン、（Ｎ＋２）ラインごとに独立して垂直転送部に読み出し、該各ラインからの読み出しの間に、前記垂直転送部上を垂直方向に２ラインずつシフトさせるとともに、水平方向に隣接する２列を同一水平転送部に送り電荷を読み出すことを特徴とする撮像素子。

Images