JP6320086B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に欠陥画素補正を行う撮像装置及びその制御方法に関する。

デジタルカメラなどの撮像装置に搭載されるＣＭＯＳ型撮像素子は、複数の画素が行及び列方向に配置された画素配列を有する。近年のデジタルカメラでは、数百万から数千万の画素を含む画素配列を有する撮像素子を搭載するものが多く存在している。画素配列の全ての画素が、入射光量に応じた適正な信号を出力するような撮像素子を常に製造することは非常に困難であり、通常、正常に動作しない「欠陥画素」がいくつか含まれている。

欠陥画素の発生原因には、温度や時間に応じて大きな暗電流が発生することや、そもそも画素自体が正しく形成されておらず適正な信号を出力しないことが考えられる。これらの現象は、同一の撮影条件下における撮影毎に発生する。

これに対して、撮像装置の製造工程の検査においては、画素毎に所定の条件下での出力信号レベルを評価し、所定の検出レベルを超えた画素を欠陥画素として検出している。さらに欠陥画素毎に、種類（黒キズ、白キズ等）、アドレス（水平方向座標ｘ、垂直方向座標ｙ）、及び欠陥レベルのデータを得て、撮像装置の記憶部に保存しておく。この方法によれば、撮像装置は、記憶部に保存されたアドレスを参照することにより、欠陥画素から出力された信号を、その周辺の正常画素の信号を用いた補間演算処理による補正をすることができる。欠陥画素を補正することで、画質劣化を抑えることができる。

しかしながら、上記のように製造工程の検査で検出された全ての欠陥画素を補正することは、撮像装置内の記憶部を圧迫し、さらには、撮像装置が補正に要する処理時間を多く必要とし操作性の悪化を招く。従って、撮像装置では撮影毎に、本当に補正が必要な欠陥画素のみを補正処理することが望ましい。

特許文献１では、補正する欠陥画素を適切に抽出する方法として、欠陥画素のアドレスと欠陥レベルに関するデータをもとに抽出する手法が開示されている。

一方、ＣＭＯＳ型撮像素子を駆動する手法として、特許文献２には、ＣＭＯＳ型撮像素子の画素毎に画素メモリを設ける構成とすることで、グローバル電子シャッタ方式で撮像素子を駆動する手法が開示されている。具体的には、撮像素子の各画素は、フォトダイオード（ＰＤ）などの光電変換素子と、フローティングデフュージョン部（ＦＤ）と、これらＰＤとＦＤの間に設けられ、電荷を一時的に保持するための画素メモリを含む。さらにＰＤを全画面一括にリセットすることが可能なリセットスイッチが設けられている。

この構成によれば、ＰＤを全画面一括でリセットした後、ＰＤに蓄積された信号電荷を、画素メモリに全画素一括で転送する。そして、画素メモリに保持された信号電荷を行毎に順次出力して読み出すことで、全画素のＰＤにおける電荷蓄積期間が同一となるグローバル電子シャッタで駆動することができる。

特開２００５−２６７９４号公報 特開２００２−６４７５１号公報

特許文献２に記載されているように、画素毎に画素メモリを設けられたＣＭＯＳ型撮像素子において、欠陥画素の暗電流の発生箇所がＰＤであった場合、ＰＤにおける電荷蓄積期間に発生した暗電流に応じた電荷が、適正な信号電荷に加算される。従って、欠陥画素の出力に含まれる暗電流に応じた電荷は、ＰＤにおける電荷蓄積期間に依存して大きくなる。

また、欠陥画素の暗電流の発生箇所が画素メモリであった場合、画素メモリで信号電荷を保持している期間に発生した暗電流に応じた電荷が、適正な信号に加算される。従って、欠陥画素の出力に含まれる暗電流に応じた電荷は、画素メモリでの信号電荷の保持期間に依存して大きくなる。

ＰＤにおける電荷蓄積期間及び画素メモリでの信号電荷の保持期間は、それぞれ撮影時のシャッタ速度や、撮影モードなどによって撮影の度に変化し得る。従って、撮影時のシャッタ速度や撮影モードが、撮像装置の製造工程の検査における条件と異なれば、補正が必要でない画素を補正してしまう「過補正」や、補正するべき欠陥画素を補正できない「補正残り」が容易に生じ得る。このような過補正や、補正残りは画質低下を招く。

本発明は上記問題点を鑑みてなされたものであり、画素メモリを含む画素が複数配置された撮像素子において、補正すべき欠陥画素を適切に抽出して補正し、過補正や補正残りによる画質低下を軽減した撮影画像を取得することを目的とする。

上記目的を達成するために、本発明の撮像装置は、それぞれの画素が、入射光量に応じて電荷を発生する光電変換部と、前記光電変換部から転送される電荷を保持する第１の保持部と、前記第１の保持部から転送される電荷を保持する第２の保持部と、前記第２の保持部に保持された電荷に対応する画像信号を出力する出力部とを有する複数の画素を有する撮像素子と、前記複数の画素のうち、前記光電変換部に欠陥のある第１の種類の欠陥画素と、前記第１の保持部に欠陥のある第２の種類の欠陥画素の情報を記憶する記憶手段と、前記記憶手段に記憶された前記欠陥画素の情報と、前記撮像素子により撮影を行ったときの撮影条件とに基づいて、各欠陥画素から出力された画像信号を補正するかどうか判断する判断手段と、前記欠陥画素のうち、前記判断手段により補正すると判断された欠陥画素から出力された画像信号を補正する補正手段とを有し、前記欠陥画素の情報は、該欠陥画素の位置と、前記撮像素子を遮光した状態において、前記光電変換部及び前記第１の保持部で発生する電荷のレベルとを含むことを特徴とする。

画素メモリを含む画素が複数配置された撮像素子において、補正すべき欠陥画素を適切に抽出して補正し、過補正や補正残りによる画質低下を軽減した撮影画像を取得することができる。

本発明の実施形態に係る撮像装置の構成を示すブロック図。 実施形態に係る撮像素子の構成を示す平面図。 実施形態に係る単位画素の概略構成を模式的に示す図。 第１の実施形態に係る単位画素と読み出し部の等価回路図。 第１の実施形態に係る欠陥画素検出処理のタイミングチャート。 第１の実施形態に係る欠陥画素検出処理のフローチャート。 第１の実施形態に係る静止画及び動画撮影処理のフローチャート。 第１の実施形態に係る静止画及び動画撮影の駆動シーケンスを示す図。 第１の実施形態に係る欠陥画素補正処理のフローチャート。 第１の実施形態に係る欠陥画素抽出処理のフローチャート。 第１の実施形態に係る抽出レベルテーブルを示す図。 第２の実施形態に係る単位画素の等価回路図。 第２の実施形態に係る静止画及び動画撮影の駆動シーケンスを示す図。 第３の実施形態に係る静止画撮影の駆動シーケンスを示す図。 第４の実施形態に係る静止画及び動画撮影の駆動シーケンスを示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
○撮像装置の構成
まず、本発明の第１の実施形態に係る撮像装置の構成について、図１〜４を用いて説明する。

図１は、撮像装置全体の構成を示すブロック図である。撮像素子１０１は、不図示の光学系で結像された光学像を受光し、光電変換により得られた画像信号を出力する。アナログフロントエンド（ＡＦＥ）１０２は、撮像素子１０１から出力された画像信号に対して基準レベルの調整（クランプ処理）及びアナログデジタル変換処理を行う。デジタルフロントエンド（ＤＦＥ）１０３は、ＡＦＥ１０２からの各画素のデジタル出力を受けて、画像信号の補正や画素の並び替え等のデジタル処理を行う。デジタル信号処理部１０４は、ＤＦＥ１０３からのデジタル出力に対して、現像処理や欠陥画素の補間処理等を行う。

記憶部１０５は、デジタル信号処理部１０４の作業用メモリとして、あるいは連続撮影等のバッファーメモリ等として使用される。また本実施形態では、記憶部１０５に、欠陥画素のアドレス、欠陥レベルなどの情報を示す欠陥画素データが保存される。制御部１０６は、周知のＣＰＵなどを内蔵し、撮像装置全体を統括的に制御する。操作部１０７は、電子カメラなどにある操作部材に対する操作を電気的に受け付けるものである。表示部１０８は、撮像素子１０１により撮影して得られた画像や、撮影条件等を表示する。記録部１０９は、メモリカードやハードディスク等の記録媒体である。タイミング発生回路（ＴＧ）１１０は、制御部１０６からの制御により、撮像素子１０１を駆動する各種タイミング信号を生成する。

図２は、撮像素子１０１の構成を示す図である。図２に示すように、撮像素子１０１は、画素部２０１、垂直走査回路２０２、読み出し部２０３、水平走査回路２０４を含む。画素部２０１は、複数の単位画素が行列状に配置されており、不図示の光学系により結像された光学像を受光する。垂直走査回路２０２が画素部２０１の複数の行を選択し、水平走査回路２０４が画素部２０１の複数の列を選択することによって、画素部２０１から読み出す画素を選択することができる。読み出し部２０３は、垂直走査回路２０２及び水平走査回路２０４によって選択された画素の信号を読み出し、読み出した信号をＡＦＥ１０２へ出力する。

図３は、画素部２０１を構成する単位画素３０１の概略構成を示す平面図であり、このような画素３０１が多数配置されて画素部２０１を構成する。図３に示すように、画素３０１は、マイクロレンズ３０２、フォトダイオード（ＰＤ）等の光電変換素子３０３（光電変換部）、第１転送スイッチ３０４、画素メモリ３０５（第１の保持部）を含む。画素３０１は、更に、第２転送スイッチ３０６、フローティングディフュージョン部（ＦＤ）３０７（第２の保持部）、出力部３０８、選択スイッチ３０９、リセットスイッチ３１０を含む。なお、単位画素３０１の各構成要素のレイアウトは、図３に示すものに限るものではなく、その機能を発揮する範囲で適切な位置に配置しても良い。

図４は、単位画素３０１と、１列分の読み出し部２０３の等価回路図である。なお、図３と同じ構成には同じ参照番号を付している。ＰＤ３０３は、入射した光を受光し、受光量に応じた電荷を生成して蓄積する。第１転送スイッチ３０４は、転送パルス信号φＴＸ１によって駆動され、ＰＤ３０３で発生した電荷を、画素メモリ３０５に転送する。画素メモリ３０５は、ＰＤ３０３から転送された電荷を保持する。第２転送スイッチ３０６は、転送パルス信号φＴＸ２によって駆動され、画素メモリ３０５に保持された電荷を、ＦＤ３０７に転送する。ＦＤ３０７は、画素メモリ３０５から転送された電荷を保持する。リセットスイッチ３１０は、リセットパルス信号φＲＥＳによって駆動され、ＦＤ３０７に基準電位ＳＶＤＤを供給する。

出力部３０８は、ＭＯＳトランジスタと定電流源４０１とともにソースフォロワ回路を形成し、ＦＤ３０７に保持された電荷に基づく電圧信号を増幅して、画素の信号として出力する。ここでは例として、を示している。選択スイッチ３０９は、垂直選択パルス信号φＳＥＬによって駆動され、出力部３０８から出力された信号が、垂直信号線４０２に出力される。垂直信号線４０２に出力された信号は、列毎の読み出し部２０３でサンプリングされたのち、さらにＡＦＥ１０２へ出力される。

なお、単位画素３０１を駆動するために用いられる、上述した転送パルス信号φＴＸ１及びφＴＸ２、リセットパルス信号φＲＥＳ、垂直選択パルス信号φＳＥＬは、垂直走査回路２０２から出力される。

読み出し部２０３は、各行毎に読み出しスイッチ４０３、４０４、４０５と、信号保持部４０６、４０７、４０８と、信号転送スイッチ４０９、４１０、４１１とを含む構成を有する。読み出しスイッチ４０３、４０４、４０５は、読み出しパルス信号φＳ２、φＳ１、φＮによって各々駆動され、垂直信号線４０２に出力された信号が対応する信号保持部４０６、４０７、４０８にサンプリングされる。

信号転送スイッチ４０９、４１０、４１１は、水平選択パルス信号φＨによって駆動され、信号保持部４０６、４０７、４０８にサンプリングされた信号を各々Ｎ信号、Ｓ１信号、Ｓ２信号として、ＡＦＥ１０２へ列順次出力する。読み出し部２０３は、上記構成の他に、信号を増幅するためのバッファアンプを含む構成としてもよい。

なお、読み出し部２０３を駆動するために用いられる、上述した読み出しパルス信号φＳ２、φＳ１、φＮ及び水平選択パルス信号φＨは、水平走査回路２０４から出力される。

ところで、ＣＭＯＳ型撮像素子において白キズと呼ばれる欠陥画素では、ＰＤ蓄積期間や、撮像素子の温度に依存する暗電流が多く発生している。この暗電流に伴う発生電荷は、ＰＤで入射光量に応じて蓄積された信号電荷に混入する。従って、白キズの出力信号は、ＰＤ蓄積期間に依存して大きくなる傾向がある。白キズで、単位時間当たりに発生する暗電流の量は欠陥の程度により様々である。

これに対し、上述したように画素毎に画素メモリ３０５を含む構成を有する撮像素子１０１の場合、信号電荷の読み出しは、画素メモリ３０５に一時的に保持された後行われる。従って、欠陥画素内部の暗電流の発生箇所によっては、欠陥画素の出力信号は必ずしもＰＤ蓄積期間のみに依存すると限らない。

撮像素子１０１をいわゆるグローバル電子シャッタ駆動した場合、ＰＤ３０３に信号電荷を蓄積するＰＤ蓄積期間は、一括リセット状態の解除から、画素メモリ３０５に信号電荷を一括転送するまでの時間である。このＰＤ蓄積期間は、全画面で同じ時間となる。一方で、画素メモリ３０５に一括転送された後、画素メモリ３０５に信号電荷が保持されている画素メモリ保持期間は、読み出しの順序によって行毎に異なり、１行目が最も短く、読み出しが後の行ほど長い。

ここで、撮像素子１０１の欠陥画素について、欠陥画素内の暗電流の発生箇所がＰＤ３０３であった場合は、ＰＤ蓄積期間中に発生した暗電流に応じた電荷が、適正な信号電荷に加算される。従って、この欠陥画素の出力はＰＤ蓄積期間に依存して大きくなる。同様に、欠陥画素内の暗電流の発生箇所が画素メモリ３０５であった場合では、画素メモリ保持期間中に発生した暗電流に応じた電荷が適正な信号に加算される。従って、この欠陥画素の出力は画素メモリ保持期間に依存して大きくなる。

以下の説明では、ＰＤ蓄積期間に依存して出力が大きくなる第１の種類の欠陥画素を特に「ＰＤキズ」と称して説明する。また画素メモリ保持期間に依存して出力が大きくなる第２の種類の欠陥画素を「画素メモリキズ」と称して説明する。但し、欠陥画素内のＰＤ３０３及び画素メモリ３０５が共に暗電流の発生箇所であることもあり得るため、ある１つの欠陥画素が、ＰＤキズであり、且つ、画素メモリキズであることもあり得る。

○欠陥画素検出処理
次に、第１の実施形態において撮像装置に適用される欠陥画素検出処理について、図５及び図６を用いて説明する。欠陥画素検出処理では、撮像素子１０１に含まれるＰＤキズと画素メモリキズを検出し、検出した欠陥画素のアドレスと欠陥レベルとを含む欠陥画素データを記憶部１０５に記録する。

図５は、欠陥画素検出処理における撮像素子１０１の駆動方法を示すタイミングチャートである。ここでは説明のため、ｎ行目から（ｎ＋２）行目までの信号パルスを示している。

期間５０１は一括リセット期間であり、画素部２０１内の全ての行に対して、信号パルスφＴＸ１、φＴＸ２、φＲＥＳ、φＳＥＬが印加される。リセット期間５０１では、ＰＤ３０３及び画素メモリ３０５の電荷は排出され、ＦＤ３０７の電位は基準電位ＳＶＤＤにリセットされる。

期間５０２はｎ行目の画素の電荷蓄積期間であり、一括リセット終了後、転送パルス信号φＴＸ１が印加されて、ＰＤ３０３で発生し蓄積された電荷が画素メモリ３０５に転送されるまでの期間を示す。なお、欠陥画素検出処理時は、暗電流によって発生する電荷を検出するために、画素部２０１内の全ての行の電荷蓄積期間において撮像素子１０１を遮光状態とする。遮光状態にするには、不図示のシャッタなどの遮光部材などによって遮光するか、或いは、暗室や遮光された箱の中に撮像装置を配置してもよい。また、電荷蓄積期間５０２は、暗電流が発生しやすい条件として、１秒以上の長い時間が設定されることが望ましい。電荷蓄積期間５０２の間、ＰＤ３０３と画素メモリ３０５の内部では、暗電流によって発生する電荷が蓄積され続ける。

期間５０３は、ｎ行目の垂直読み出し期間であり、垂直選択パルス信号φＳＥＬが印加され、選択されたｎ行目の信号の読み出し部２０３への読み出しを行う。期間５０３において、まず、期間５０４では、リセットパルス信号φＲＥＳが印加され、ＦＤ３０７の電位が基準電位ＳＶＤＤにリセットされる。そして、期間５０５では、読み出しパルス信号φＮが印加されて、リセットされた後のＦＤ３０７の電圧に応じたノイズ信号が、Ｎ信号として読み出し部２０３の信号保持部４０８にサンプリングされる。

期間５０６では、転送パルス信号φＴＸ２が印加され、一括リセット終了後に画素メモリ３０５で発生した電荷がＦＤ３０７に転送されると同時に、読み出し部２０３には読み出しパルス信号φＳ１が印加される。これにより、Ｎ信号に画素メモリ３０５内部の発生電荷を加えた信号が、Ｓ１信号として信号保持部４０７にサンプリングされる。この際、期間５０６では、転送パルス信号φＴＸ１はＬｏｗレベル（第１転送スイッチ３０４をオフ状態）であるので、ＰＤ３０３で発生した電荷は転送されずＰＤ３０３に蓄積されたままである。

期間５０７では、転送パルス信号φＴＸ１とφＴＸ２が同時に印加され、電荷蓄積期間５０２にＰＤ３０３で発生した電荷がＦＤ３０７に転送される。同時に、読み出し部２０３には読み出しパルス信号φＳ２が印加される。これにより、Ｓ１信号にＰＤ３０３内部の発生電荷を加えた信号が、Ｓ２信号として信号保持部４０６にサンプリングされる。

期間５０８は、ｎ行目の水平読み出し期間であり、水平選択パルスφＨが印加され、読み出し部２０３でサンプリングされた各信号が、順次ＡＦＥ１０２へ出力される。

ここで、期間５０５にサンプリングされたＮ信号と、期間５０６にサンプリングされたＳ１信号の、差分（Ｓ１−Ｎ）信号は、画素メモリ３０５で電荷蓄積期間中に発生した暗電流の電荷に応じた信号である。従って、この（Ｓ１−Ｎ）信号の出力信号レベルによって、該当画素が画素メモリキズであるかどうかを判定する。また、期間５０６にサンプリングされたＳ１信号と、期間５０７にサンプリングされたＳ２信号の、差分（Ｓ２−Ｓ１）信号は、ＰＤ３０３で電荷蓄積期間中に発生した暗電流電荷に応じた信号である。従って、この（Ｓ２−Ｓ１）信号の出力信号レベルによって、該当画素がＰＤキズであるかどうかを判定する。なお、これらの差分処理は、例えば、ＡＦＥ１０２、ＤＦＥ１０３、デジタル信号処理部１０４などで行う構成としても、読み出し部２０３内部で差分処理を行ってＡＦＥ１０２に出力する構成としてもよい。

ｎ行目の水平読み出し期間５０８が終わると、（ｎ＋１）行目、（ｎ＋２）行目と順に走査し、ｎ行目と同様にして順次読み出しが行われる。期間５０９が（ｎ＋１）行目の電荷蓄積期間、期間５１０が（ｎ＋２）行目の電荷蓄積期間となる。

上述したように、期間５０１において、画素部２０１内の全ての行に対してリセット動作を行っているが、読み出しの走査は行順次行うため、ｎ行目の電荷蓄積期間５０２よりも、ｎ＋１行目の電荷蓄積期間５０９の方が長い。また、ｎ＋１行目の電荷蓄積期間５０９よりもｎ＋２行目の電荷蓄積期間５１０の方が長い。同様に、後に読み出される行ほど、１行の読み出しに要する時間の分だけ電荷蓄積期間が長い。

この行毎に異なる電荷蓄積期間の差は、例えば、１行の読み出しに要する時間に対して蓄積期間全体の長さを十分長く設定することで無視してもよい。また例えば、出力信号レベルを欠陥画素として検出する検出レベルと比較する時、出力信号レベルを電荷蓄積期間に応じて行毎に補正したり、あるいは、出力信号レベルと比較する検出レベルとして、行毎に異なる検出レベルを設定してもよい。

図６は、欠陥画素検出処理の流れを示すフローチャートである。欠陥画素検出処理を開始すると、Ｓ６０１において制御部１０６は、ＩＳＯ感度、電荷蓄積期間等の欠陥画素検出用の検出条件を設定する。この欠陥画素検出処理では、主に暗電流によって増幅される欠陥画素の検出を目的とする。このため、ここで設定される検出条件は、より暗電流が発生しやすい条件として、電荷蓄積期間を１秒以上の長い時間とし、環境温度を４０℃〜６０℃等の高温とすることが望ましい。

Ｓ６０２で、制御部１０６はＳ６０１で設定された検出条件で、図５で説明したように撮像素子１０１を駆動するように各部を制御して、Ｎ信号、Ｓ１信号、Ｓ２信号の各信号を得る。

Ｓ６０３で、デジタル信号処理部１０４は、各画素の（Ｓ１−Ｎ）信号及び（Ｓ２−Ｓ１）信号に基づいて、各画素が、正常画素であるか、ＰＤキズであるか、または、画素メモリキズであるかの判定を行う。（Ｓ１−Ｎ）信号及び（Ｓ２−Ｓ１）信号を取得する差分処理は、ＡＦＥ１０２、またはＤＦＥ１０３、またはデジタル信号処理部１０４で行うことができる。欠陥画素の判定方法としては、例えば、対象画素と周辺画素と間の（Ｓ１−Ｎ）信号及び（Ｓ２−Ｓ１）信号の差を算出し、その差が所定値以上である場合に、対象画素をＰＤキズ及び／または画素メモリキズとして判定する。また例えば、検出条件に応じて予め設定された検出レベルと、（Ｓ１−Ｎ）信号及び（Ｓ２−Ｓ１）信号のレベルとを比較して判定してもよい。

ＰＤキズとして判定された画素の（Ｓ２−Ｓ１）信号は、該当ＰＤキズの欠陥レベルとしてＳ６０４で記憶部１０５に記録される。また、画素メモリキズとして判定された画素の（Ｓ１−Ｎ）信号は、該当画素メモリキズの欠陥レベルとしてＳ６０４で記憶部１０５に記録される。Ｓ６０４で、制御部１０６は、Ｓ６０３で検出されたＰＤキズと画素メモリキズ各々のアドレスと欠陥レベルを含む欠陥画素データを記憶部１０５に記録し、欠陥画素検出処理を終了する。

以上説明したように、欠陥画素検出処理では、撮像素子１０１に含まれるＰＤキズと画素メモリキズを検出し、これらのアドレスと欠陥レベルとを含む欠陥画素データを記憶部１０５に記録する。これにより、撮像装置では、撮影時に記憶部１０５に保存されたアドレスを参照することにより、撮影時のシャッタ速度や撮影モードに応じて、補正するべき欠陥画素を適切に抽出し、画像信号を補正することができる。

○欠陥画素補正処理
次に、第１の実施形態における欠陥画素補正処理について、図７〜図１１を用いて説明する。

図７は、第１の実施形態における撮影処理の流れを示すフローチャートである。撮影処理を開始すると、Ｓ７０１において、制御部１０６は、ＩＳＯ感度、シャッタ速度、等のユーザによって設定された撮影条件を設定する。Ｓ７０２で、制御部１０６はＳ７０１で設定された撮影条件で、撮像素子１０１を駆動させるように各部を制御して、画像信号を得る。

Ｓ７０３で、デジタル信号処理部１０４は、予め欠陥画素検出処理によって、記憶部１０５に保存されていた欠陥画素データを参照して、欠陥画素の画像信号に対して補間処理による補正を行う。なお、Ｓ７０３で行われる補正処理については、詳細に後述する。Ｓ７０４で、制御部１０６は、欠陥画素補正された撮影画像を、表示部１０８に表示し、記録部１０９に記録して、撮影処理を終了する。

図８は、Ｓ７０２で行われる本第１の実施形態におけるグローバル電子シャッタ駆動による静止画または動画撮影時の１フレームの駆動シーケンスを示している。横方向の１ラインは撮像素子の１行を示し、横軸は時間を示している。

図８に示すように、最初に撮像素子１０１の全画素に対して一括リセットを行う。一括リセット状態が解除されると同時に、ＰＤ蓄積期間が開始される。ＰＤ蓄積期間中、ＰＤ３０３では入射光量に応じた信号電荷の蓄積が行われる。ＰＤ蓄積期間終了と同時に、信号電荷を全画素一括に画素メモリ３０５へ転送（画素メモリ一括転送）することで、グローバル電子シャッタ駆動となる。

次に、ＰＤ３０３から転送されて画素メモリ３０５に保持されている信号電荷を読み出す。読み出しは順次各行が選択されて行われるが、画素メモリ一括転送後から、ある行が選択されるまで、信号電荷は画素メモリ３０５に保持され続けている（画素メモリ保持期間）。

上記のグローバル電子シャッタ駆動においては、ＰＤ３０３に信号電荷が蓄積されているＰＤ蓄積期間は、一括リセット状態の解除から画素メモリ一括転送までの時間であり、全画素で同じ時間となる。一方で、画素メモリ一括転送された後、画素メモリ３０５に信号電荷が保持されている画素メモリ保持期間は、読み出しの順序によって行毎に異なり、第１行が最も短く、読み出しが後の行ほど長い。従って、ＰＤキズでは、全画素で等しいＰＤ蓄積期間に応じた暗電流の電荷が信号電荷に混入する。一方、画素メモリキズでは、行毎に異なる画素メモリ保持期間に応じた暗電流の電荷が信号電荷に混入することになる。

次に、図７のＳ７０３で行われる撮影画像に対する欠陥画素補正処理について、図９のフローチャートを参照して説明する。Ｓ９０１で、欠陥画素検出処理で検出されたＰＤキズ及び画素メモリキズのうち、実際に画像信号に対して補正処理を行う欠陥画素を選択して抽出する。なお、Ｓ９０１における欠陥画素抽出処理については、図１０を参照して詳細に後述する。

Ｓ９０２で、デジタル信号処理部１０４は、Ｓ９０１で抽出された欠陥画素の欠陥画素データのうち、１画素分のアドレスを読み込む。このアドレスの参照により、記憶部１０５に書き込まれた撮影画像における該当画素のアドレスを特定することが可能である。Ｓ９０３で、デジタル信号処理部１０４は、Ｓ９０２で特定した該当画素に隣接する同色画素の画像信号を読み込む。

Ｓ９０４で、デジタル信号処理部１０４は、Ｓ９０３で得られた隣接画素の画像信号から、該当画素の補正量を算出する。Ｓ９０５で、デジタル信号処理部１０４は、Ｓ９０４で求められた補正量を、記憶部１０５における該当画素のアドレスに書き込む。これにより該当画素の補正処理は完了する。

Ｓ９０６で、Ｓ９０１で抽出された全てのＰＤキズ及び画素メモリキズについて、補正処理が完了したか否かを判定し、未完了の場合は、Ｓ９０２に戻って、上述した処理を繰り返す。Ｓ９０６で、抽出された全てのＰＤキズ及び画素メモリキズについて補正処理が完了したと判断した場合には、欠陥画素補正完了となる。

図１０は、図９のＳ９０１で行われる、欠陥画素補正処理時の欠陥画素抽出処理の詳細なフローチャートである。Ｓ１００１で、欠陥画素抽出処理で予め記憶部１０５に記録された欠陥画素データから、１画素分の欠陥画素のアドレス及び欠陥レベルを読み込む。

Ｓ１００２で、補正するべき欠陥画素を抽出する時に、欠陥レベルと比較する閾値を取得する。閾値となる信号レベルは、撮影条件に応じて欠陥画素毎に抽出レベルテーブルから選択して取得する。ＰＤ３０３と画素メモリ３０５は、図３から分かるように領域の大きさが異なる為、暗電流に伴って発生する電荷の量も異なる。このため、抽出レベルテーブルは、ＰＤキズ用と、画素メモリキズ用のものが各々記憶部１０５に記録されている。ＰＤキズの欠陥レベルと比較する閾値を取得する抽出レベルテーブルをＰＤキズ抽出レベルテーブル、また、画素メモリキズと比較される閾値を取得する抽出レベルテーブルを画素メモリキズ抽出レベルテーブルと呼ぶ。さらに以下の説明では、ＰＤキズ抽出レベルテーブルから取得された信号レベルをＰＤキズ抽出レベル、また、画素メモリキズ抽出レベルテーブルから取得された信号レベルを画素メモリキズ抽出レベルと呼ぶこととする。

ここで、抽出レベルテーブルについて、説明する。図１１（ａ）は、ＰＤキズ抽出レベルテーブルを示す。表はＩＳＯ感度とＰＤ蓄積期間毎のＰＤキズ抽出レベル（第１の判断基準）を示している。Ｓ１００２では、撮影時にＳ７０１で設定された撮影条件と、記憶部１０５に予め記録されたＰＤキズのアドレスに従って、ＰＤ蓄積期間を求める。図８に示すグローバル電子シャッタ駆動で撮像素子１０１を駆動した場合、ＰＤ蓄積期間は、全画素において、ユーザによって設定されたシャッタ速度と等しい。求められたＰＤ蓄積期間を用いて、ＰＤキズ抽出レベルテーブルから、ＰＤキズ毎に適切な抽出レベルを選択し、取得する。例えば、ＰＤ蓄積期間が５０ｍｓｅｃであり、ＩＳＯ感度がＩＳＯ４００であった場合、図１１（ａ）の表に従って、ＰＤキズ抽出レベルとして５０ｍＶが選択される。

図１１（ｂ）は、画素メモリキズ抽出レベルテーブルを示す。表はＩＳＯ感度と画素メモリ保持期間毎の画素メモリキズ抽出レベル（第２の判断基準）を示している。Ｓ１００２では、撮影時にＳ７０１で設定された撮影条件と、記憶部１０５に予め記録された画素メモリキズのアドレスに従って、画素メモリ保持期間を算出する。図８に示すグローバル電子シャッタで撮像素子１０１を駆動した場合、画素メモリ保持期間は、画素メモリ一括転送後から、該当画素の行の読み出し開始までの時間であり、行毎に異なる。算出された画素メモリ保持期間を用いて、画素メモリキズ抽出レベルテーブルから、画素メモリキズ毎に適切な抽出レベルを選択する。例えば、画素メモリ保持期間が１２０ｍＳであり、ＩＳＯ感度がＩＳＯ１６００であった場合、図１１（ｂ）の表に従って、画素メモリキズ抽出レベルとして０ｍＶが選択される。画素メモリキズ抽出レベルが０ｍＶということは、画素メモリキズの欠陥レベルに関わらず、撮影画像の該当画素を補正する画素として抽出することを意味する。

なお、図１１（ａ）では、ＰＤキズ抽出レベルテーブルの例として、３つのＰＤ蓄積期間と３つのＩＳＯ感度で分類された３×３マトリクスでＰＤキズ抽出レベルテーブルを示した。また、図１１（ｂ）では、３つの画素メモリ保持期間と３つのＩＳＯ感度で分類された３×３マトリクスで画素メモリキズ抽出レベルテーブルを示した。しかしながら、各抽出レベルテーブルの構成はこの限りでなく、例えば４×４マトリクスなど、さらに細分化された構成としてもよい。

また例えば、撮像素子１０１の温度に従って各抽出レベルを選択するように、各抽出レベルテーブルを構成してもよい。つまりデジタル信号処理部１０４は、撮像素子１０１のＰＤ蓄積時間における温度と、画素メモリ保持期間における温度を各々取得して、温度に応じたＰＤキズ抽出レベルと、画素メモリキズ抽出レベルを選択するように、抽出レベルテーブルを構成してもよい。撮像素子１０１の温度の取得には、撮像素子１０１の内部に構成された温度計を用いても、また、撮像素子１０１の実装基板上に構成された温度計を用いてもよい。

Ｓ１００２において上述したようにしてＰＤキズ抽出レベルまたは画素メモリキズ抽出レベルを取得すると、Ｓ１００３で、ＰＤキズの欠陥レベルとＰＤキズ抽出レベルとの比較を行う。Ｓ１００３で、ＰＤキズの欠陥レベルがＳ１００２で取得したＰＤキズ抽出レベルよりも大きい場合は、ここで読み込んだＰＤキズは補正処理を行う必要がある画素と判断して、Ｓ１００５で抽出される。一方、ＰＤキズの欠陥レベルがＰＤキズ抽出レベルを超えない場合には、ここで読み込んだＰＤキズは補正処理を行う必要が無い画素と判断して、Ｓ１００４に進む。

Ｓ１００４では、画素メモリキズの欠陥レベルと画素メモリ抽出レベルとの比較を行う。Ｓ１００４で、画素メモリキズの欠陥レベルがＳ１００２で取得した画素メモリキズ抽出レベルよりも大きい場合は、ここで読み込んだ画素メモリキズは補正処理を行う必要がある画素と判断して、Ｓ１００５で抽出される。一方、画素メモリキズの欠陥レベルが画素メモリキズ抽出レベルを超えない場合には、ここで読み込んだ画素メモリキズは補正処理を行う必要がない画素と判断して、Ｓ１００６に進む。

Ｓ１００６では、記憶部１０５に保存されている全ての欠陥画素データについて、処理が完了したか否かを判定し、未完了の場合は、Ｓ１００２に戻って、記録された次の欠陥画素データのアドレスを読み出し、上述した処理を繰り返す。Ｓ１００６で、全ての欠陥画素データについて処理が完了したと判断した場合には、欠陥画素抽出完了となる。

上記の通り本第１の実施形態によれば、撮影された画像信号から補正するべき欠陥画素を、撮影条件に応じて適切に抽出して補正を実行することで、過補正や補正残りによる画質低下を軽減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図１２及び図１３を用いて説明する。本第２の実施形態では、撮像素子１０１の駆動方法、及び、画素３０１に、ＰＤ３０３の電荷の排出を制御するオーバーフロードレイン領域を設けていることが、上述した第１の実施形態と異なる。以下、第１の実施形態と異なる点について説明する。

図１２は、第２の実施形態における単位画素３０１の等価回路図である。図１２において、第１の実施形態で説明した単位画素３０１と同様の機能を有する部分には同じ符号を付し、説明は省略する。

１２０１は、パルス信号φＯＦＤで駆動され、オーバーフロードレイン領域ＯＦＤとの導通を制御する電荷排出制御スイッチである。このオーバーフロードレイン領域ＯＦＤは縦型構造または横型構造を用いることができる。

図１３は、第２の実施形態における撮像素子１０１のグローバル電子シャッタ駆動のシーケンスを示す図であり、静止画及び動画撮影に適用することができる。横方向の１ラインは撮像素子１０１の１行を示し、横軸は時間を示している。

図１３に示すように、最初に撮像素子１０１の全画素に対して一括リセットを行う。一括リセット状態では、パルス信号φＯＦＤをＨｉレベルにし、電荷排出制御スイッチ１２０１がオンされている。この時、ＰＤ３０３で発生する電荷はオーバーフロードレイン領域ＯＦＤに排出される。つまり、撮像素子１０１の全画素は、電子シャッタの遮光状態に制御される。

一括リセット状態が解除されると同時に、全画素同時にＰＤ蓄積期間が開始される。ＰＤ蓄積期間中、φＯＦＤはＬｏｗレベルであり、電荷排出制御スイッチ１２０１はオフされている。つまり、全画素は電子シャッタの露光状態に制御されている。ＰＤ蓄積期間中、ＰＤ３０３では入射光量に応じた信号電荷が発生する。但し、第２の実施形態の駆動方法では、信号電荷をＰＤ３０３では蓄積しない。すなわち、ＰＤ蓄積期間中常に転送パルス信号φＴＸ１をＨｉレベルとすることで、第１転送スイッチ３０４がオンされて、ＰＤ３０３で発生した電荷を画素メモリ３０５に転送し続けるように駆動されている。

ＰＤ蓄積期間終了のタイミングで、φＴＸ１をＬｏｗレベル、φＯＦＤをＨｉレベルとして、全画素一括に電荷排出制御スイッチ１２０１をオンすることで、全画素が再び遮光状態に制御される。このタイミング以降、ＰＤ３０３で発生する入射光量に応じた信号電荷及び暗電流により発生した電荷は、オーバーフロードレイン領域ＯＦＤに排出される。一方、設定されたＰＤ蓄積期間中にＰＤ３０３で発生した信号電荷は、既に画素メモリ３０５に転送されて、画素メモリ３０５に保持（蓄積）されている。上記駆動は信号電荷の蓄積時刻が全画素で揃ったグローバル電子シャッタの駆動となっている。

次に、画素メモリ３０５に保持されている信号電荷を読み出す。読み出しは順次各行が選択されて行われるが、一括リセット状態の解除後から、ある行が選択されるまで、信号電荷は画素メモリ３０５に保持され続けている。

図１３に示すグローバル電子シャッタ駆動において、ＰＤ３０３で発生した信号電荷を画素メモリ３０５へ転送しているＰＤ蓄積期間は、一括リセット状態の解除から、第１行目の読み出し開始までの時間である。すなわち、電荷排出制御スイッチオンから電荷排出制御スイッチオフまでの時間であり、全画素で同じ時間となる。一方で、一括リセット状態が解除された後、画素メモリ３０５に信号電荷が保持されている画素メモリ保持期間は、読み出しの順序によって行毎に異なり、第１行が最も短く、読み出しが後の行ほど長い。従って、ＰＤキズでは、全画素で等しいＰＤ蓄積期間に応じた暗電流の電荷が信号電荷に混入する。一方、画素メモリキズでは、行毎に異なる画素メモリ保持期間に応じた暗電流の電荷が信号電荷に混入することになる。

この第２の実施形態においても、第１実施形態と同様に、欠陥画素補正処理では、欠陥画素検出処理によって得られた欠陥画素データを用いて、撮影された画像信号から補正するべき欠陥画素を、撮影条件に応じて適切に抽出することができる。さらに、抽出した画像信号を、補間処理による補正をすることで、過補正や補正残りによる画質低下を軽減した撮影画像を取得することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について、図１４を用いて説明する。第３の実施形態では、撮像素子１０１の駆動方法が第１の実施形態と異なる。特に、第３の実施形態では、撮像素子１０１の露光と遮光を、不図示のメカニカルシャッタなどで制御することに特徴がある。この駆動方法は静止画撮影に適用することができる。以下、第１の実施形態と異なる点について説明する。

図１４は、第３の実施形態における撮像素子１０１のグローバル電子シャッタ駆動のシーケンスを示す図である。横方向の１ラインは撮像素子１０１の１行を示し、横軸は時間を示している。

図１４では、最初にＰＤ３０３の残電荷を排除するために、一括リセットを行う。一括リセット後、ＰＤ３０３では入射光量に応じた信号電荷の蓄積（ＰＤ蓄積期間）が開始される。次に、所定のタイミングで不図示のシャッタが開き、撮像素子１０１が露光状態（露光期間）になる。その後、設定された露光期間終了のタイミングで、シャッタは閉じられる。さらに所定の時間を経過後、行毎に順次信号電荷の読み出しが行われる。

第３の実施形態においては、垂直走査回路２０２によって選択された該当行の読み出し動作の前に、行毎にＰＤ３０３から画素メモリ３０５へ信号電荷の転送を行う（画素メモリ転送）。直後の読み出しでは、垂直走査回路２０２により選択された該当行の全画素の信号電荷に応じた信号が、画素毎の出力部から各列の読み出し部２０３へ出力される。その後、水平走査回路２０４により、選択された列毎の信号が順次読み出される。

第３の実施形態の駆動方法において、一括リセットの解除後から画素メモリ転送までの時間は、該当行のＰＤ３０３は信号電荷を蓄積したままの状態にある。このＰＤ蓄積期間は、画面内での垂直走査の順序によって異なり、第１行が最も短く、読み出しが後の行ほど長くなる。つまり、読み出しが後の行ほど、ＰＤキズの出力に影響を与える。一方で、画素メモリ３０５では、ＰＤ３０３から信号電荷を転送された直後に、該当行の読み出しが開始され、信号電荷は画素３０１の出力部３０８に転送される。従って第３の実施形態の駆動においては、画素メモリ保持期間は非常に僅かな時間である。

この第３の実施形態においても、第１実施形態と同様に、欠陥画素補正処理では、欠陥画素検出処理によって得られた欠陥画素データを用いて、撮影された画像信号から補正するべき欠陥画素を、撮影条件に応じて適切に抽出することができる。さらに、抽出した画像信号を、補間処理による補正をすることで、過補正や補正残りによる画質低下を軽減した撮影画像を取得することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について、図１５を用いて説明する。第４の実施形態では、撮像素子１０１の駆動方法が第１の実施形態と異なる。特に、第４の実施形態では、撮像素子１０１はＣＭＯＳ型撮像素子をいわゆるローリングシャッタで駆動することに特徴がある。この駆動方法は、静止画及び動画撮影に適用することができる。以下、第１の実施形態と異なる点について説明する。

図１５は、第４の実施形態における撮像素子１０１のローリングシャッタのシーケンスを示す図である。横方向の１ラインは撮像素子の１行を示し、横軸は時間を示している。

図１５では、最初にＰＤ３０３の残電荷を排除するために、１行毎に順次時間差をもってリセット動作を行う。リセット動作後、該当行のＰＤ３０３では入射光量に応じた信号電荷の蓄積（ＰＤ蓄積期間）が開始される。次に、所定の露光時間が経過した後、ＰＤ３０３に蓄積された信号電荷を画素メモリ３０５に転送する。

第４の実施形態においては、垂直走査回路２０２によって選択された該当行の読み出し動作の前に、行毎にＰＤ３０３から画素メモリ３０５へ信号電荷の転送を行う（画素メモリ転送）。直後の読み出しでは、垂直走査回路２０２により選択された該当行の全画素の信号電荷に応じた信号が、画素毎の出力部から各列の読み出し部へ出力される。その後、水平走査回路２０４により、選択された列毎の信号が順次読み出される。

第４の実施形態の駆動方法において、リセット動作の解除後から画素メモリ転送までの時間は、該当行のＰＤ３０３は信号電荷を蓄積したままの状態にある。このＰＤ蓄積期間は、画面内での垂直走査の順序によらず一定である。つまり、ＰＤキズの出力に影響を与えるＰＤ蓄積時間は画面内で一定である。また、画素メモリ３０５では、ＰＤ３０３から信号電荷を転送された直後に、該当行の読み出しが開始され、信号電荷は画素３０１の出力部３０８に転送される。従って第４の実施形態の駆動においては、画素メモリ保持期間は非常に僅かな時間である。

この第４の実施形態においても、第１実施形態と同様に、欠陥画素補正処理では、欠陥画素検出処理によって得られた欠陥画素データを用いて、撮影された画像信号から補正するべき欠陥画素を、撮影条件に応じて適切に抽出することができる。さらに、抽出した画像信号を、補間処理による補正をすることで、過補正や補正残りによる画質低下を軽減した撮影画像を取得することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

1. それぞれの画素が、入射光量に応じて電荷を発生する光電変換部と、前記光電変換部から転送される電荷を保持する第１の保持部と、前記第１の保持部から転送される電荷を保持する第２の保持部と、前記第２の保持部に保持された電荷に対応する画像信号を出力する出力部とを有する複数の画素を有する撮像素子と、
   前記複数の画素のうち、前記光電変換部に欠陥のある第１の種類の欠陥画素と、前記第１の保持部に欠陥のある第２の種類の欠陥画素の情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記欠陥画素の情報と、前記撮像素子により撮影を行ったときの撮影条件とに基づいて、各欠陥画素から出力された画像信号を補正するかどうか判断する判断手段と、
   前記欠陥画素のうち、前記判断手段により補正すると判断された欠陥画素から出力された画像信号を補正する補正手段とを有し、
   前記欠陥画素の情報は、該欠陥画素の位置と、前記撮像素子を遮光した状態において、前記光電変換部及び前記第１の保持部で発生する電荷のレベルとを含むことを特徴とする撮像装置。
2. 前記記憶手段は、前記第１の種類の欠陥画素から出力された画像信号を補正するかどうかを判断するための、前記撮影条件に応じて異なる複数の第１の判断基準と、前記第２の種類の欠陥画素から出力された画像信号を補正するかどうかを判断するための、前記撮影条件に応じて異なる複数の第２の判断基準とを更に記憶し、
   前記判断手段は、判断する欠陥画素が前記第１の種類の場合に、前記撮影条件に対応する前記第１の判断基準を選択し、判断する欠陥画素が前記第２の種類の場合に、前記撮影条件に対応する前記第２の判断基準を選択し、該欠陥画素の電荷のレベルを前記選択した第１の判断基準または第２の判断基準と比較することで、該欠陥画素から出力された画像信号を補正するかどうかを判断することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影条件は、前記光電変換部における電荷蓄積期間及び前記第１の保持部における保持期間と、前記撮像素子の感度及び温度の少なくともいずれか１つと、を含むことを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像素子を駆動する駆動手段を更に有し、
   前記駆動手段は、前記複数の画素の前記光電変換部を一括リセットし、該一括リセットしてから予め決められた時間の経過後に前記複数の画素の光電変換部で発生した電荷を一括して前記第１の保持部に転送し、前記第１の保持部に転送された電荷を、行毎に順次、前記第２の保持部に転送して前記出力部から画像信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像素子を駆動する駆動手段を更に有し、
   前記駆動手段は、前記複数の画素の前記光電変換部を一括リセットし、該一括リセット後に前記光電変換部で発生した電荷を前記第１の保持部に転送し、前記第１の保持部に転送された電荷を、行毎に順次、前記第２の保持部に転送して前記出力部から画像信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記撮像素子を遮光するための遮光手段と、
   前記撮像素子を駆動する駆動手段とを更に有し、
   前記駆動手段は、前記複数の画素の前記光電変換部を一括リセットし、該一括リセット後の予め決められた時間、前記遮光手段による遮光を解除して前記光電変換部を露光し、前記遮光手段により遮光した後に前記光電変換部で発生した電荷を、行毎に順次、前記第１の保持部に転送し、前記第１の保持部に転送された電荷を、行毎に順次、前記第２の保持部に転送して前記出力部から画像信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 前記撮像素子を駆動する駆動手段を更に有し、
   前記駆動手段は、前記複数の画素の前記光電変換部を、行毎に順次、リセットし、該リセットしてから予め決められた時間が経過した後に前記光電変換部で発生した電荷を、行毎に順次、前記第１の保持部に転送し、前記第１の保持部に転送された電荷を、行毎に順次、前記第２の保持部に転送して前記出力部から画像信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
8. それぞれの画素が、入射光量に応じて電荷を発生する光電変換部と、前記光電変換部から転送される電荷を保持する第１の保持部と、前記第１の保持部から転送される電荷を保持する第２の保持部と、前記第２の保持部に保持された電荷に対応する画像信号を出力する出力部とを有する複数の画素を有する撮像素子を備える撮像装置の制御方法であって、
   読み出し手段が、記憶手段から、前記光電変換部に欠陥のある第１の種類の欠陥画素と、前記第１の保持部に欠陥のある第２の種類の欠陥画素の情報を順次読み出す読み出し工程と、
   判断手段が、前記読み出し工程で順次読み出された前記欠陥画素の情報と、前記撮像素子により撮影を行ったときの撮影条件とに基づいて、各欠陥画素から出力された画像信号を補正するかどうか判断する判断工程と、
   補正手段が、前記欠陥画素のうち、前記判断工程で補正すると判断された欠陥画素から出力された画像信号を補正する補正工程とを有し、
   前記欠陥画素の情報は、該欠陥画素の位置と、前記撮像素子を遮光した状態において、前記光電変換部及び前記第１の保持部で発生する電荷のレベルとを含むことを特徴とする撮像装置の制御方法。

Images