JP4429348B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、被写体像を撮像する撮像装置に関する。

ＣＣＤやＣＭＯＳセンサ等の固体撮像素子で撮像した静止画像や動画像を電子的、磁気的に各種メディアに記録及び再生するディジタルカメラ等の撮像装置がある。

それら撮像装置の低価格化や性能改善のため、撮像素子に用いられる半導体基板の光吸収係数が光の波長によって異なることに着目した米国特許第５９６５８７５号明細書に記載されている如き撮像素子（図６参照）がある。

同特許には、フォトダイオードをトリプルウエル構造で形成した、３層フォトダイオード構造の撮像素子の原理と画素回路が説明されている。同特許によれば、フォトダイオードはｐ型シリコン基板表面から順次拡散され、ｎ型層、ｐ型層、ｎ型層をこの順に深く形成することで、同一画素にｐｎ接合ダイオードがシリコンの深さ方向に３層形成される。ダイオードに表面側から入射した光は波長の長いものほど深く侵入する。入射波長と吸収係数はシリコン固有の値を示すので、上記３層のダイオードから別々に電流を検出することで、異なる波長帯の光信号を検出できる。

３層のフォトダイオードは可視光の波長帯をカバーするようにｐｎ接合の深さが設計される。３つの信号を演算処理することで、被写体像をＲ色、Ｇ色、Ｂ色の３色に色分解した信号を得ることが出来る。

このような撮像素子を用いることで、被写体像の色分解を行うためのカラーフィルタや空間的サンプリングによるモアレを防止する光学ローパスフィルタ等を削減する事が出来る。また、被写体像を色分解したそれぞれの色において、感度重心が一致しており色モアレが出難い利点がある。
米国特許第５９６５８７５号明細書

しかしながら、半導体の深さ方向で色分解を行う撮像素子においては、暗電流のように、その発生個所が半導体の深さ方向で一定でないノイズがあると、同一画素であっても色毎に異なったノイズとなり画像を劣化させる。

また、上記のような撮像素子においては同一画素のそれぞれの色に対応した３つのフォトダイオードのうち、上下方向に隣接している２つのフォトダイオードがｐｎ接合を通じて互いに容量結合している。また、光電変換により発生した電荷フォトダイオードに蓄積されるにつれ、フォトダイオードの容量が変化する。そのため、ある層フォトダイオードの電位は、他の層のフォトダイオードに蓄積されている電荷量にも影響を受けることになる。さらに、最上層のフォトダイオードが飽和すると、このダイオードで過剰になった電子は、上から２層目のｐ型層でできたポテンシャル障壁を乗り越えて、最下層のフォトダイオードのｎ型領域に流入する。したがって、半導体の局部的な結晶欠陥に起因する白キズ等がある場合、欠陥の無い深さの色の信号にも影響を及ぼし画像を劣化させる。

本発明の目的は、半導体の深さ方向で色分解行う固体撮像素子の暗電流ノイズや白キズ等による画質劣化を低減出来る固体撮像装置およびその制御方法を提供することである。

上記課題を解決するため、本願に係る発明は、半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域と、前記撮像領域の欠陥画素を検出する検出手段と、前記欠陥画素の補正を行う際に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々に対して補正を行う補正手段を有し、前記検出手段が同一画素内の一つの光電変換部からの信号に対して補正が必要であることを検出した場合に、前記補正手段が前記同一画素内の他の光電変換部からの信号に対しても補正を行うことを特徴とする撮像装置を提供するものである。

同様に上記課題を解決するため、本願に係る発明は、半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域の欠陥画素を検出する検出工程と、前記欠陥画素の補正を行う際に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々に対して補正を行う補正工程を有し、前記検出工程において同一画素内の一つの光電変換部からの信号に対して補正が必要であることを検出した場合に、前記補正工程において前記同一画素内の他の光電変換部からの信号に対しても補正を行うことを特徴とする撮像装置の制御方法を提供するものである。

本発明によれば、半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域を有する撮像装置にて、良好な画像を得ることが可能となる。

（第１の実施の形態）
図１に本発明の第１の実施の形態の撮像装置の構成を示す。

図１において１は撮影光学系、２はシャッター、３は撮像素子、４は増幅回路、５はＡ／Ｄ変換器、６は前信号処理部、７は色分離スイッチ、８は切替スイッチ、９は画像メモリ、１０は減算器、１１はキズデータメモリ、１２はキズ補正処理部、１３は後信号処理部、１４は記録部、１５は表示部である。

図１を用いて本発明の第１の実施の形態を説明する。

撮像素子３は図６のような半導体の深さ方向に複数の光電変換部であるフォトダイオ−ドを有する画素を複数配列した撮像領域を持つ撮像素子である。キズデータメモリ１１には、あらかじめ検出された撮像素子３のキズデータ（欠陥画素の位置）が記憶されている。このキズデータは例えば遮光状態で撮影した画像からある閾値を超えた画素の位置を検出することで求める。

撮影光学系１で結像された被写体像は、適切な露光量になるように制御駆動されるシャッター２を介して、撮像素子３で電気信号に変換される。増幅回路４では、Ａ／Ｄ変換器５の入力レンジに最適になるように増幅、あるいはレベルシフトされる。Ａ／Ｄ変換器５で、アナログ信号をデジタル化する。前信号処理部６では、デジタル化された画像データに対しクランプ等の黒レベル調整を行う。この時、３個の切替スイッチ８はそれぞれ、画像メモリ側に接続される。色分離スイッチ７は撮像素子３から出力される画像信号をそれぞれの色に対応した画像メモリに記憶するよう駆動される。つまり、深さ方向で１番浅い位置のフォトダイオ−ドからの信号は画像メモリＲに、深さ方向で２番浅い位置のフォトダイオ−ドからの信号は画像メモリＧに、深さ方向で一番深い位置のフォトダイオ−ドからの信号は画像メモリＢに、記憶される。これで、色分解された被写体像の画像データが画像メモリ９に記憶される。

その後、シャッター２が閉じた状態、すなわち撮像素子３が遮光された状態で被写体の撮影と同じ蓄積時間の撮影を行う。この時、３個の切替スイッチ８は画像メモリ９と反対方向すなわち減算器１０側に接続される。また、画像メモリ９は遮光された画像データと同じ位置の被写体像の画像データを減算器１０に出力する。このことにより、減算器１０からは撮像素子の暗電流に起因するムラや微小なキズが補正された被写体像の画像データが出力される。また、これらの補正は、撮像素子３で分解されたそれぞれの色毎に独立して行っている。つまり、深さ方向で１番浅い位置のフォトダイオ−ドからの暗電流信号は画像メモリＲに記憶された信号との差分処理、深さ方向で２番浅い位置のフォトダイオ−ドからの暗電流信号は画像メモリＧに記憶された信号との差分処理、深さ方向で一番深い位置のフォトダイオ−ドからの暗電流信号は画像メモリＢに記憶された信号との差分処理が行われる。

以上のように、本実施の形態の撮像装置は、半導体の深さ方向に少なくとも第１、第２、第３の光電変換部を有する画素を複数配列した撮像領域と、撮像領域を遮光した状態で前記第１の光電変換部で得られる信号と、撮像領域で被写体像を撮像することにより前記第１の光電変換部で得られる信号との差分処理と、撮像領域を遮光した状態で前記第２の光電変換部で得られる信号と、撮像領域で被写体像を撮像することにより前記第２の光電変換部で得られる信号との差分処理と、撮像領域を遮光した状態で前記第３の光電変換部で得られる信号と、撮像領域で被写体像を撮像することにより前記第３の光電変換部で得られる信号との差分処理とを行う９は画像メモリ及び１０は減算器からなる第１の補正手段とを有するため、それぞれの色に異なったノイズがある場合でも補正できる。

キズ補正処理部１２では、あらかじめキズデータメモリ１１に記憶されたキズデータに基づきキズ補正処理を行う。キズ補正された画像データは後信号処理部１１で色処理等を行った後、記録部１２、表示部１３に送られ記録、あるいは表示が行われる。

図２、図３、図４を用いてキズ補正処理を説明する。図２は色分解され画像メモリ９に記憶されている被写体像の画像信号のＲ色のｍ列ｎ行目付近である。この例では、ｍ列ｎ行目の画素のＲ色があらかじめキズとして検出されキズデータメモリ１１に記憶されている。キズ補正処理部１２では、キズデータメモリ１１がキズの位置情報を読み出し、キズ位置の画像データを周辺画素の同色の画像データで置き換え補間する。図２の場合、ｍ列ｎ行目の画素のＲ色がキズであるので、たとえばｍ−１列ｎ行目の画素のＲ色の画像データＲａとｍ＋１列ｎ行目の画素のＲ色の画像データＲｃを用い、その平均値をｍ列ｎ行目の画素のＲ色の画像データとする。

図３はＧ色の、図４Ｂ色の被写体像の画像信号のｍ列ｎ行目付近である。図３、図４のｍ列ｎ行目の画素Ｇｂ、Ｂｂは、あらかじめキズとして検出されていない。しかし、本発明では、図２のように同一画素の他の色がキズである場合、同様にすべての色の画像データにキズ補正を行う。したがって、Ｇ色の画像データＧｂはＧａとＧｃの平均値に置き換えられる。同様にＢ色の画像データＢｂはＢａとＢｃの平均値に置き換えられる。このように同一画素のどれか一つの色の画像信号があらかじめキズとして検出されている場合、すべて色の画像信号に対して同様なキズ補正処理を行うことによって、その構造上、欠陥の無い深さの色の信号にも影響を及ぼすことによる画像劣化を防ぐことが出来る。

以上のように、本実施の形態の撮像装置では、半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域と、欠陥画素の補正をする場合に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々の補正を行うキズデ−タメモリ１１とキズ補正処理部からなる第２の補正手段とを有するため、確実にキズ補正が可能となる。

上記で説明した実施の形態では、画像メモリ９の前段は、時系列的に信号が送られてくる構成となっているが、撮像素子から画像メモリＲ、画像メモリＧ、画像メモリＢに並列に出力されるように、４は増幅回路、５はＡ／Ｄ変換器、６は前信号処理部をそれぞれ並列に設ける構成であってもよい。この場合、撮像素子からは、同一画素の半導体の深さ方向の３つの光電変換部からの信号が並列に読み出される構成となる。

（第２の実施の形態）
図５に本発明第２の実施の形態の撮像装置の構成を示す。図５において、図１と同一の構成要素には、同一の番号を付し説明を省略する。１６はキズ検出回路、１７はキズデータ混合回路である。

図５を用いて本発明の第２の実施例を説明する。撮像素子３は従来例で示した３層フォトダイオード構造の撮像素子である。キズ検出回路１６は、シャッター２が閉じた状態、すなわち撮像素子３が遮光された状態で撮影された、遮光時の画像データから、暗電流に起因するキズを検出する。その方法は、例えば、検出対象画素の画像データ値と、周辺の画素の画像データの平均値との比あるいは差が規定値以上のものをキズと判断し、キズデータとして出力する。

それぞれの色毎に検出されたキズデータはキズデータ混合回路により、同一画素のどれか一つの色がキズである場合であっても、その画素位置がキズであるデータに合成される。

撮影光学系１で結像された被写体像は、適切な露光量になるように制御駆動されるシャッター２を介して、撮像素子３で電気信号に変換さる。増幅回路４では、Ａ／Ｄ変換器５の入力レンジに最適になるように増幅、あるいはレベルシフトされる。Ａ／Ｄ変換器５で、アナログ信号をデジタル化する。前信号処理部５では、デジタル化された画像データに対しクランプ等の黒レベル調整を行う。この時、３個の切替スイッチ８はそれぞれ、画像メモリ９側に接続される。色分離スイッチ７は撮像素子３から出力される画像信号をそれぞれの色に対応した画像メモリ９に記憶するよう駆動される。これで、色分解された被写体像の画像データが画像メモリ９に記憶される。その後、シャッター２が閉じた状態、すなわち撮像素子３が遮光された状態で被写体の撮影と同じ蓄積時間の撮影を行う。この時、３個の切替スイッチ８は画像メモリ９と反対方向すなわち減算器１０側に接続される。同時に、遮光された画像データは、それぞれの色毎にキズ検出回路１６に入力される。キズ検出回路１６は前述したキズ検出を行いそれぞれの色毎のキズデータを出力する。また、画像メモリ９は遮光された画像データと同じ位置の被写体像の画像データを減算器１０に出力する。このことにより、減算器１０からは撮像素子の暗電流に起因するムラや微小なキズが補正された被写体像の画像データが出力される。また、これらの補正は、撮像素子３で分解されたそれぞれの色毎に独立して行っているため、それぞれの色に異なったノイズがある場合でも補正できる。キズ補正処理部１２では、３個のキズ検出回路１６から出力されるキズデータをキズデータ混合回路１７で合成した後のキズデータに基づきキズ補正処理を行う。キズ補正された画像データは後信号処理部１１で色処理等を行った後、記録部１２、表示部１３に送られ記録、あるいは表示が行われる。すべての色のキズデータをキズデータ混合回路１７で合成した後、キズ補正処理部１２で補正を行うので、その構造上、欠陥の無い深さの色の信号にも影響を及ぼすことによる画像劣化を防ぐことが出来る。また、あらかじめ、キズデータを用意する必要が無く、キズ補正が行える。

以上のように、本実施の形態の撮像装置は、半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域と、欠陥画素の補正をする場合に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々の補正を行うキズ検出回路１６、キズデータ混合回路１７、及びキズ補正処理部１２からなる第２の補正手段とを有する撮像装置を持つため、確実にキズ補正が可能となる。

上記で説明した実施の形態では、画像メモリ９の前段は、時系列的に信号が送られてくる構成となっているが、撮像素子から画像メモリＲ、画像メモリＧ、画像メモリＢに並列に出力されるように、４は増幅回路、５はＡ／Ｄ変換器、６は前信号処理部をそれぞれ並列に設ける構成であってもよい。この場合、撮像素子からは、同一画素の半導体の深さ方向の３つの光電変換部からの信号が並列に読み出される構成となる。また、キズデータの検出は被写体画像撮影後としているが、例えば撮像装置の電源投入後、あるいは被写体の撮影前等、撮像装置の制御時間に余裕がある時に行っても良い。

なお、上記の実施の形態１、２においては、半導体の深さ方向で色分離する撮像素子の色分解数はＲ、Ｇ、Ｂの３色としているが、２色あるいは、それ以上何色であっても良い。つまり、半導体の深さ方向に少なくとも第１、第２の光電変換部を持つ構成の撮像素子である。

また、上記の実施の形態１、２においては、暗電流を補正する回路（第１の補正手段）及び欠陥画素を補正する回路（第２の補正手段）のいずれも有する回路を示したが、いずれか一方の回路を持つ構成であってもよい。

本発明の第１の実施の形態の撮像装置の構成図である。 Ｒ色のキズ補正を説明する図である。 Ｇ色のキズ補正を説明する図である。 Ｂ色のキズ補正を説明する図である。 本発明の第２の実施の形態の撮像装置の構成図である。 半導体の深さ方向にフォトダイオードを有する画素を説明する図である。

符号の説明

１ 撮影光学系
２ シャッター
３ 撮像素子
４ 増幅回路
５ Ａ／Ｄ変換器
６ 前信号処理部
７ 色分離スイッチ
８ 切替スイッチ
９ 画像信号メモリ
１０ 減算器
１１ キズデータメモリ
１２ キズ補正処理部
１３ 後信号処理部
１４ 記録部
１５ 表示部
１６ キズ検出回路
１７ キズデータ混合回路

Claims (2)

1. 半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域と、
   前記撮像領域の欠陥画素を検出する検出手段と、
   前記欠陥画素の補正を行う際に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々に対して補正を行う補正手段を有し、
   前記検出手段が同一画素内の一つの光電変換部からの信号に対して補正が必要であることを検出した場合に、前記補正手段が前記同一画素内の他の光電変換部からの信号に対しても補正を行うことを特徴とする撮像装置。
2. 半導体の深さ方向に複数の光電変換部を有する画素を複数配列した撮像領域の欠陥画素を検出する検出工程と、
   前記欠陥画素の補正を行う際に、同一画素内の深さ方向の前記複数の光電変換部からの信号の各々に対して補正を行う補正工程を有し、
   前記検出工程において同一画素内の一つの光電変換部からの信号に対して補正が必要であることを検出した場合に、前記補正工程において前記同一画素内の他の光電変換部からの信号に対しても補正を行うことを特徴とする撮像装置の制御方法。

Images