JP5401191B2

JP5401191B2 - 撮像装置及び信号処理方法

Info

Publication number: JP5401191B2
Application number: JP2009170565A
Authority: JP
Inventors: 慶洋里舘
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-07-21
Filing date: 2009-07-21
Publication date: 2014-01-29
Anticipated expiration: 2029-07-21
Also published as: US8379116B2; JP2011029722A; US20110019035A1

Description

本発明は、撮像装置及び信号処理方法に関する。

ＣＣＤイメージセンサ及びＣＭＯＳイメージセンサ等の撮像素子には、一般的に、光電変換素子の受光面上方にカラーフィルタが設けられている。例えば、このカラーフィルタの配列としてベイヤー配列を例にして説明する。

ベイヤー配列の場合、緑色（Ｇ）の光を透過するＧカラーフィルタは、その周囲に配置されるカラーフィルタのパターンに応じて２種類に分類することができる。１種類目は、その上下に赤色（Ｒ）の光を透過するＲカラーフィルタが配置され、その左右に青色（Ｂ）の光を透過するＢカラーフィルタが配置されたフィルタである。２種類目は、その上下にＢカラーフィルタが配置され、その左右にＲカラーフィルタが配置されたフィルタである。

このように、同色成分の光を透過するカラーフィルタであっても、隣接するフィルタの配置パターンが異なることにより、厚みのばらつきやカラーフィルタ形成時のマスクずれ等が発生し、光の透過特性に差が生じる。この透過特性の差により、２種類のＧカラーフィルタの各々の下方にある光電変換素子において感度差が生じ、この感度差によって出力信号レベルに差が生じてしまう。出力信号のレベルに差が生じてしまうことで、撮像により得られる画像には、格子状又は横筋状の固定パターンノイズが発生する。

図９は、上述した２種類のＧカラーフィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図である。図９に示すように、信号ＧＲと信号ＧＢは、同一の入射光量に対し、それぞれの出力信号レベルがｒ，ｂとなっており、出力信号レベルの差（ＧＲ・ＧＢ段差）が生じている。

ＧＲ・ＧＢ段差を補正するには、信号ＧＲと信号ＧＢの特性が同じになるように、信号ＧＲの出力信号レベル及び信号ＧＢの出力信号レベルの少なくとも一方に補正係数を乗じれば良い。例えば、補正係数をαとした以下の式（１）を演算する。

この演算により、図１０に示したように、信号ＧＢの特性を、信号ＧＲの特性とほぼ同じ特性を持つ信号ＧＢ’にすることができ、出力信号レベルの差をほぼなくすことができる。補正の方法としては、これ以外に、信号ＧＲと信号ＧＢの出力信号レベルの平均を求め、この平均値を目標として、信号ＧＲと信号ＧＢにそれぞれ補正係数を乗じる方法もある。

補正後の信号ＧＢのレベル＝α×（補正前の信号ＧＢのレベルｂ）・・・（１）
ただし、α＝ｒ／ｂ

上記出力信号レベルの差は光学特性に起因しており、撮影レンズからの光の入射角、絞り径、及び撮像素子の個体差等によってばらつく。このため、これまでは、撮像装置の製造者が、撮像装置の工場出荷前に、この撮像装置によって例えば一定光量での撮像を行い、これによって得られる撮像信号から出力信号レベルの差を求め、この差がなくなるような補正係数を求めて、これを撮像装置内のメモリに記憶して出荷していた。このようにすることで、撮像装置毎に適した補正係数で出力信号レベルの差を補正していた。

この出力信号レベルの差の補正とは別に、撮像装置では撮像信号のランダムノイズ成分を低減するためにノイズリダクション処理が行われている。この処理は、典型的にはロ−パスフィルタによる高周波成分のカットや隣接画素間での平均化処理、平滑化処理等である。

撮像装置に搭載されるＡＤ変換器では、撮像素子のオプティカルブラックから得られたＯＢ信号が目標レベルにクランプされ、撮像信号に対して所定のオフセットをのせた状態でデジタル変換が行われる。このため、上記ノイズリダクション処理を行うタイミングとしては、ＡＤ変換後の撮像信号からオフセットを減算するオフセット補正を行う前と、オフセット補正を行った後との２つが考えられる。

ノイズリダクション処理には、撮像信号にオフセットがのった状態で実施することで良好なノイズ低減特性を得られることが知られており（特許文献１、２参照）、近年の高ＩＳＯ感度化が進んだ撮像装置においては、オフセット補正を行う前にノイズリダクション処理を実施することが有効とされてきている。

一方で、上述したＧＲ・ＧＢ段差の補正は、信号ＧＲと信号ＧＢにオフセットがのった状態で行ってしまうと、正確な段差補正を実施できなくなる可能性がある。このため、ＧＲ・ＧＢ段差の補正は、オフセット補正の後に行うことが望ましい。つまり、撮像信号に対しては、ＡＤ変換、ノイズリダクション、オフセット補正、ＧＲ・ＧＢ段差補正の順に処理を行うことが有効となる。

しかし、ノイズリダクション処理は撮像信号を平均化等することでノイズ成分を低減するものであるため、上述したＧＲ・ＧＢ段差もノイズによる信号レベルのばらつきと見なされてしまい、ノイズリダクション処理の強度によってＧＲ・ＧＢ段差の大きさは変化する。このため、ノイズリダクション処理の後に従来の方法でオフセット補正を行うのでは、正確な補正を行うことができないという問題点が発生する。

この問題点について図面を参照して説明する。図１１は、上述した２種類のＧカラーフィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図であり、図９に示した信号ＧＲ，ＧＢを直線で簡略化していたのに対し、ノイズ成分を乗せた状態で図示している。図１２は、上述した２種類のＧカラーフィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図であり、図１１の場合に対して所定の強度でノイズリダクション処理を行ったときの図である。

図１２に示したように、ノイズリダクション強度を変えることでＧＲ・ＧＢ段差は変化してしまう。このため、図１１に示したＧＲ・ＧＢ段差を正確に補正できるように固定の補正係数αを決めてしまうと、図１２に示した信号ＧＢの補正後の特性は図１３に示す信号ＧＢ’のようになり、信号ＧＢ’が信号ＧＲのレベルを上回ってしまって過補正（誤補正）となってしまう。ノイズリダクションは、絞りやズーム等の光学特性には依存せず、ＩＳＯ感度等のアナログゲイン等に依存して強度を切り替えるため、ノイズリダクションが特に強くかかる高ＩＳＯ感度の撮影条件下では、このような誤補正が露見しやすい。

特許文献３，４には、同色画素の信号レベルが同じになるように、固定の補正係数で補正を行う方法が開示されている。しかしながら、これらの方法では、補正が常に固定の補正係数で行われるため、誤補正が発生するという問題を根本的に解決することができない。

特開２００７−１１０４８６号公報特開２００７−３１２０７６号公報特開平１１−１９１８８９号公報特開２０００−３４１７００号公報

本発明は、上記事情に鑑みてなされたものであり、光学特性に起因する同色画素の信号レベル差を精度良く補正することが可能な撮像装置及び信号処理方法を提供することを目的とする。

本発明の撮像装置は、少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子と、前記撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理部と、前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタ、の各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正部とを備え、前記レベル差補正部は、前記ノイズリダクション処理後の前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に補正係数を乗じて、前記レベル差を縮める補正を行い、更に、前記ノイズリダクション処理部で実施されるノイズリダクション処理の強度に応じて、前記補正係数を変更する。

本発明の信号処理方法は、少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理ステップと、前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタの各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正ステップとを備え、前記レベル差補正ステップでは、前記ノイズリダクション処理後の前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に補正係数を乗じて、前記レベル差を縮める補正を行い、更に、前記ノイズリダクション処理ステップで実施されるノイズリダクション処理の強度に応じて前記補正係数を変更する。

本発明によれば、光学特性に起因する同色画素の信号レベル差を精度良く補正することが可能な撮像装置及び信号処理方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示すブロック図図１に示す撮像装置における撮像素子の構成例を示した平面模式図図１に示す撮像装置における撮像素子の別の構成例を示した平面模式図撮像素子のＯＢ素子から得られた信号のレベルに応じて補正係数βを設定する場合の撮像装置の構成例を示した図図４に示す撮像装置におけるメモリに記憶しておくＬＵＴの一例を示す図図１に示す撮像装置が補正係数βを設定するまでの動作例を説明するためのフローチャート図１に示す撮像装置が補正係数βを設定するまでの別の動作例を説明するためのフローチャート図４に示す撮像装置が補正係数βを設定するまでの動作例を説明するためのフローチャート透過特性の異なる同色フィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図図９に示すＧＢ・ＧＲ段差を補正した状態を示す図透過特性の異なる同色フィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図図１１よりもノイズリダクション処理を強く施したときの、透過特性の異なる同色フィルタが上方に設けられた２つの光電変換素子の各々の出力特性を示した図図１１に示すＧＢ・ＧＲ段差を正確に補正できるような補正係数αで、図１２に示すＧＢ・ＧＲ段差を補正したときの状態を示す図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示すブロック図である。この撮像装置は、例えば、デジタルカメラ、ビデオカメラ、電子内視鏡及び携帯電話機等に搭載される撮像モジュール等として用いられる。

図１に示す撮像装置は、絞り１と、フォーカスレンズ２と、撮像素子３と、アナログ信号処理部４と、ＡＤ変換部５と、ノイズリダクション処理部６と、オフセット補正部７と、レベル差補正部８と、撮像装置全体を統括制御する制御部９と、レベル差補正制御部１０と、メモリ１１と、信号処理部１２と、絞り駆動部１Ａと、レンズ駆動部２Ａと、撮像素子駆動部３Ａと、撮影・再生切替スイッチ１３と、レリーズスイッチ１４とを備える。

絞り１は、フォーカスレンズ２に入射する光量を調整するものであり、絞り駆動部１Ａによって絞り値が制御される。フォーカスレンズ２は、撮像素子３に焦点を合わせるための光学系であり、レンズ駆動部２Ａによってその合焦位置が制御される。

撮像素子３は、例えばＣＣＤ型及びＣＭＯＳ型のイメージセンサであり、受光面上方にカラーフィルタが設けられた複数の光電変換素子（フォトダイオード）を含んでいる。撮像素子３には、複数の光電変換素子の他に、光学的黒レベルを検出するためのＯＢ領域も含まれている。ＯＢ領域は、例えば遮光された光電変換素子によって形成されている。撮像素子駆動部３Ａは、撮像素子３に所定のパルスを供給して撮像素子３を駆動し、撮像素子に含まれる光電変換素子及びＯＢ領域で発生した電荷に応じた撮像信号を外部に出力させる。

図２は、図１に示す撮像装置における撮像素子３の構成例を示した平面模式図である。図２に示した撮像素子は、基板上の水平方向及びこれに直交する垂直方向に二次元状（図の例では正方格子状）に配列された複数の光電変換素子３１を備える。

各光電変換素子の上方には、カラーフィルタが設けられており、このカラーフィルタの配列はベイヤー配列となっている。図２では、Ｒカラーフィルタが受光面上方にある光電変換素子３１には“Ｒ”の文字を付してある。また、Ｂカラーフィルタが受光面上方にある光電変換素子３１には“Ｂ”の文字を付してある。また、Ｇカラーフィルタのうち、水平方向の隣にＲカラーフィルタが配置されたＧカラーフィルタ（以下、Ｇｒカラーフィルタという）を受光面上方に有する光電変換素子３１（以下、Ｇｒ光電変換素子３１という）には“Ｇｒ”の文字を付し、水平方向の隣にＢカラーフィルタが配置されたＧカラーフィルタ（以下、Ｇｂカラーフィルタという）を受光面上方に有する光電変換素子３１（以下、Ｇｂ光電変換素子３１という）には“Ｇｂ”の文字を付してある。

このように、ベイヤー配列の場合、Ｇカラーフィルタを、その周囲に配置されるカラーフィルタＲ，Ｂの配置パターンによってＧｒカラーフィルタとＧｂカラーフィルタの２種類に分類することができる。このため、Ｇｒ光電変換素子３１から得られる信号と、Ｇｂ光電変換素子３１から得られる信号とには、撮像装置の光学特性に起因するレベル差が生じる。

図３は、図１に示す撮像装置における撮像素子３の別の構成例を示した平面模式図である。図３に示した撮像素子は、基板上の水平方向及びこれに直交する垂直方向に二次元状に配列された複数の光電変換素子３２を備える。複数の光電変換素子３２は、偶数行の光電変換素子が奇数行の光電変換素子に対して各光電変換素子配列ピッチの１／２水平方向にずれ、偶数列の光電変換素子が奇数列の光電変換素子に対して各光電変換素子配列ピッチの１／２垂直方向にずれた配置となっている。

各光電変換素子３２の上方にはカラーフィルタが設けられている。図３では、Ｒカラーフィルタが受光面上方にある光電変換素子３２には“Ｒ”の文字を付してある。また、Ｂカラーフィルタが受光面上方にある光電変換素子３２には“Ｂ”の文字を付してある。また、Ｇカラーフィルタのうち、斜め右４５度方向の隣にＢカラーフィルタが配置されたＧカラーフィルタを受光面上方に有する光電変換素子３１には“Ｇ１”の文字を付し、斜め右４５度方向の隣にＲカラーフィルタが配置されたＧカラーフィルタを受光面上方に有する光電変換素子３１には“Ｇ２”の文字を付してある。

このような構成であっても、Ｇカラーフィルタが、その周囲に配置されるカラーフィルタＲ，Ｂの配置パターンによって２種類に分類されるため、上述したレベル差が発生する。

なお、図２及び図３のいずれの構成でも、各行の光電変換素子のうちの端部は遮光されており、遮光された光電変換素子が光学的黒レベルを検出するための素子（以下、ＯＢ素子という）として機能する。以下では、撮像素子３が図２に示した構成であるものとして説明する。

図１に戻り、アナログ信号処理部４は、撮像素子３から出力されるアナログの撮像信号に所定のアナログ信号処理を施すものであり、図示しないＣＤＳ回路とＡＧＣ回路を有している。

ＣＤＳ回路は、撮像信号に対して相関二重サンプリング処理を施す。ＡＧＣ回路は、相関二重サンプリング処理後の撮像信号を所定のアナログゲイン（利得）で増幅する。このアナログゲインは、撮像装置の設定撮影感度（ＩＳＯ感度）に応じて、その値が制御部９によって自動で設定される。具体的に、制御部９は、ＩＳＯ感度が大きいほど、アナログゲインを大きく設定する。ＩＳＯ感度は、撮像装置のユーザによる操作によって外部から設定することもできるし、制御部９が撮影モード等に応じて自動で設定することもできる。

ＡＤ変換部５は、アナログ信号処理部４のＡＧＣ回路から出力された撮像信号をデジタル信号に変換する。ＡＤ変換部５は、撮像信号に含まれるＯＢ素子からの信号（以下、ＯＢ信号という）を目標レベルにクランプするクランプ処理も行う。このクランプ処理により、撮像信号にはオフセット成分が含まれた状態でデジタル変換が行われる。

ノイズリダクション処理部６は、ＡＤ変換部５から出力されたデジタルの撮像信号に対し、ノイズリダクション処理を施してランダムノイズを低減する。このノイズリダクション処理は、典型的にはロ−パスフィルタによる高周波成分のカットや隣接画素間での平均化処理、平滑化処理等である。

ノイズリダクション処理部６で行われるノイズリダクション処理の強度（例えば平均化の度合い）は、ＡＧＣ回路で設定されたアナログゲインに応じて、制御部９により設定される。具体的に、制御部９は、アナログゲインが大きいほどノイズリダクション処理の強度を大きく設定する。なお、ＡＧＣ回路で設定されるアナログゲインはＩＳＯ感度に応じて決まるため、ノイズリダクション処理の強度は、ＩＳＯ感度に応じて設定されるとも言うことができる。

オフセット補正部７は、ノイズリダクション処理後の撮像信号からＡＤ変換部５によるＡＤ変換時のオフセット成分を減算するオフセット補正処理（黒レベル補正処理）を行う。例えば、オフセット補正部７は、光電変換素子３１の任意の行のＯＢ素子から得られたＯＢ信号の値の平均を求めてこれを当該行の黒レベルとし、当該行の各光電変換素子３１から得られた信号の値から該黒レベルを減算することで、オフセット補正を行う。

レベル差補正部８は、オフセット補正後の撮像信号のうち、上述したレベル差が生じている同色成分の信号（Ｇｒ光電変換素子３１から得られた第一の信号及びＧｂ光電変換素子３１から得られた第二の信号）に対して、そのレベル差を縮める補正を行う。具体的には、第一の信号及び第二の信号の少なくとも一方に補正係数βを乗じて、それぞれの信号レベルがほぼ同じになるような処理を行う。

信号処理部１２は、レベル差補正部８で補正後の撮像信号に対して所定のデジタル信号処理を施し、表示装置への表示用、記録媒体への記録用の画像データを生成する。

レベル差補正制御部１０は、レベル差補正部８で使用する補正係数βを、制御部９が設定した、ノイズリダクション処理部６で実施するノイズリダクション処理の強度に応じて設定する。具体的に、レベル差補正制御部１０は、制御部９によって設定されたノイズリダクション処理の強度が大きいほど、補正係数βを小さくする。

この補正係数βを設定するために、メモリ１１には、ノイズリダクション処理の強度（例えば、ハード、スタンダード、ソフト）毎に補正係数βを対応付けて記憶したルックアップテーブル（ＬＵＴ）、又は、ノイズリダクション処理の強度を変数として補正係数βを算出するための関数が予め記憶されている。

レベル差補正制御部１０は、ノイズリダクション処理の強度が制御部９により設定されると、メモリ１１に記憶されているＬＵＴから、該設定されたノイズリダクション処理の強度に対応する補正係数βを読み出して、これをレベル差補正部８で使用する補正係数に設定する。または、レベル差補正制御部１０は、メモリ１１に記憶されている関数と、制御部９により設定されたノイズリダクション処理の強度とから補正係数βを算出して、これをレベル差補正部８で使用する補正係数に設定する。

なお、上述したように、ノイズリダクション処理の強度はＩＳＯ感度と相関がある。このため、レベル差補正制御部１０は、マニュアル操作又は制御部９によって自動で設定されたＩＳＯ感度に応じて補正係数βを設定しても良い。この場合も、この撮像装置で設定可能なＩＳＯ感度毎に補正係数βを対応付けて記憶したＬＵＴ、又は、ＩＳＯ感度を変数として補正係数βを算出するための関数をメモリ１１に記憶しておく。そして、レベル差補正制御部１０が、設定されたＩＳＯ感度に対応する補正係数βをＬＵＴから読み出して設定すれば良い。または、レベル差補正制御部１０が、メモリ１１に記憶されている関数と設定されたＩＳＯ感度とから補正係数βを算出して設定すれば良い。

また、上述したように、ＩＳＯ感度はＡＧＣ回路のアナログゲインとも相関がある。このため、レベル差補正制御部１０は、制御部９により設定されるＡＧＣ回路のアナログゲインに応じて補正係数βを設定しても良い。この場合も、この撮像装置で設定可能なアナログゲイン毎に補正係数βを対応付けて記憶したＬＵＴ、又は、アナログゲインを変数として補正係数βを算出するための関数をメモリ１１に記憶しておく。そして、レベル差補正制御部１０が、制御部９により設定されたアナログゲインに対応する補正係数βをＬＵＴから読み出して設定すれば良い。または、レベル差補正制御部１０が、メモリ１１に記憶されている関数と制御部９により設定されたアナログゲインとから補正係数βを算出して設定すれば良い。

また、撮像装置の中には、ノイズリダクション処理の強度をマニュアルで設定できるようなものも存在する。そこで、このような撮像装置の場合には、レベル差補正制御部１０が、ユーザによる操作によって設定されたノイズリダクション処理の強度に応じて補正係数βを設定すれば良い。この場合も、撮像装置で設定可能なノイズリダクション処理の強度毎に補正係数βを対応付けて記憶したＬＵＴ、又は、ノイズリダクション処理の強度を変数として補正係数βを算出するための関数をメモリ１１に記憶しておく。そして、レベル差補正制御部１０が、設定されたノイズリダクション処理の強度に対応する補正係数βをＬＵＴから読み出して設定すれば良い。または、レベル差補正制御部１０が、メモリ１１に記憶されている関数と制御部９により設定されたノイズリダクション処理の強度とから補正係数βを算出して設定すれば良い。

また、ＩＳＯ感度とＡＧＣ回路のアナログゲインはＯＢ信号のレベルとも相関がある。ＩＳＯ感度が高い、即ち、ＡＧＣ回路のアナログゲインが大きいということは、それだけノイズ成分も増幅されるということを意味する。このため、ＩＳＯ感度とＡＧＣ回路のアナログゲインが大きくなるほど、ＯＢ信号のレベルも大きくなる。そこで、レベル差補正制御部１０が、アナログ信号処理部４から出力された撮像信号のうちのＯＢ信号のレベルに応じて補正係数βを設定しても良い。

図４は、ＯＢ信号のレベルに応じて補正係数βを設定する場合の撮像装置の構成例を示した図である。図４に示す撮像装置２００は、図１に示す撮像装置１００にノイズ検出部１５を追加した構成となっている。

ノイズ検出部１５は、ノイズリダクション処理部６で処理後の撮像信号を取得し、この撮像信号に含まれるＯＢ信号のノイズレベルを検出する。例えば、全てのＯＢ信号の標準偏差を算出し、これをノイズレベルとして検出する。ここで検出されたノイズレベルは、レベル差補正制御部１０に通知される。

図４に示す撮像装置２００のレベル差補正制御部１０は、ノイズ検出部１５から入力されたノイズレベルに応じて補正係数βを設定する。この場合も、撮像装置で設定可能なＩＳＯ感度又はＡＧＣ回路のアナログゲイン毎にノイズレベルを予め求めておき、このノイズレベル毎に補正係数βを対応付けて記憶したＬＵＴ、又は、ノイズレベルを変数として補正係数βを算出するための関数をメモリ１１に記憶しておく。そして、レベル差補正制御部１０が、ノイズ検出部１５から入力されたノイズレベルに対応する補正係数βをＬＵＴから読み出して設定すれば良い。または、レベル差補正制御部１０が、メモリ１１に記憶されている関数とノイズ検出部１５から入力されたノイズレベルとから補正係数βを算出して設定すれば良い。

ノイズリダクション処理の強度、ＩＳＯ感度、又はアナログゲインと補正係数βのＬＵＴは、撮像装置の工場出荷前に、ノイズリダクション処理の強度、ＩＳＯ感度、又はアナログゲインを変えながら複数回の暗時撮像を行い、それぞれの暗時撮像で得られた第一の信号及び第二の信号のレベル差がほぼなくなるような補正係数βを求めることで作成することができる。

また、ノイズリダクション処理の強度、ＩＳＯ感度、又はアナログゲインと補正係数βの関数についても、ノイズリダクション処理の強度、ＩＳＯ感度、又はアナログゲインを変えながら複数回の暗時撮像を行い、それぞれの暗時撮像で得られた第一の信号及び第二の信号のレベル差がほぼなくなるような補正係数βを求め、この補正係数βと各暗時撮像時のノイズリダクション処理の強度、ＩＳＯ感度、又はアナログゲインとから作成することができる。

ノイズレベルと補正係数βのＬＵＴについても、撮像装置の工場出荷前に、ＩＳＯ感度又はアナログゲインを変えながら複数回の一定光量での撮像を行って各撮像時のノイズレベルを求めると共に、それぞれの撮像で得られた第一の信号及び第二の信号のレベル差がほぼなくなるような補正係数βを求めることで作成することができる。

また、ノイズレベルと補正係数βの関数についても、ＩＳＯ感度又はアナログゲインを変えながら複数回の一定光量での撮像を行って各撮像時のノイズレベルを求めると共に、それぞれの撮像で得られた第一の信号及び第二の信号のレベル差がほぼなくなるような補正係数βを求め、この補正係数βと各撮像時のノイズレベルとから作成することができる。

図５は、図４に示す撮像装置におけるメモリに記憶しておくＬＵＴの一例を示す図である。図５に示すＬＵＴには、ＩＳＯ感度（１００，２００，４００，・・・１２８００）と、各ＩＳＯ感度で暗時撮像したときに得られたノイズレベル（Ｎ_１，Ｎ_２，Ｎ_３，・・・Ｎ_８）とが記憶され、各ＩＳＯ感度及び各ノイズレベルのときに第一の信号と第二の信号のレベル差をほぼなくすことができる補正係数βが記憶されている。また、各ＩＳＯ感度及び各ノイズレベルに対応する補正係数βは、ノイズリダクション処理の強度（ＳＯＦＴ，ＳＴＤ，ＨＡＲＤの３種類）毎に３つ記憶されている。

図５に示すＬＵＴからわかるように、ＩＳＯ感度が高くなると、アナログゲインが大きくなり、ノイズリダクション処理の強度も大きくなるため、補正係数βは小さくなっている。また、ＩＳＯ感度が高くなると、ノイズレベルが大きくなり、ノイズリダクション処理の強度も大きくなるため、補正係数βは小さくなっている。また、同じＩＳＯ感度又はノイズレベルであっても、ノイズリダクション処理の強度が大きくなると、補正係数βが小さくなっている。このようなＬＵＴをメモリ１１に記憶しておくことで、様々な撮影条件下でも最適なレベル差補正を行うことができるようになる。

以下、上述してきた撮像装置が補正係数βを設定するまでの動作について説明する。

図６は、図１に示す撮像装置が補正係数βを設定するまでの動作例を説明するためのフローチャートである。ユーザ操作等によってＩＳＯ感度が設定されると、制御部９は、そのＩＳＯ感度に応じたアナログゲインをＡＧＣ回路に対して設定する（ステップＳ４１）。

次に、制御部９は、設定したアナログゲインに応じたノイズリダクション処理の強度を算出し（ステップＳ４２）、ノイズリダクション処理部６に対して設定する（ステップＳ４３）。

次に、レベル差補正制御部１０が、制御部９により設定されたノイズリダクション処理の強度に対応する補正係数βを、メモリ１１に記憶されているＬＵＴ又は関数を用いて取得し（ステップＳ４４）、この補正係数βをレベル差補正部８に設定する（ステップＳ４５）。

その後、撮像素子３により撮像が行われ、撮像信号に対して設定強度でノイズリダクション処理が実施される。続いてオフセット補正が実施され、補正係数βにしたがってレベル差補正が実施される。レベル差補正後の撮像信号は信号処理部１２でデジタル信号処理され、画像データとして記録媒体に記録される。

図７は、図１に示す撮像装置が補正係数βを設定するまでの別の動作例を説明するためのフローチャートである。ユーザ操作等によってＩＳＯ感度が設定されると、制御部９は、そのＩＳＯ感度に応じたアナログゲインをＡＧＣ回路に対して設定する（ステップＳ５１）。

次に、レベル差補正制御部１０が、設定されたアナログゲインに対応する補正係数βを、メモリ１１に記憶されているＬＵＴ又は関数を用いて取得し（ステップＳ５２）、この補正係数βをレベル差補正部８に設定する（ステップＳ５３）。

図７の動作例によれば、アナログゲインから補正係数βを直接求めることができるため、図６に示す動作例よりも補正係数βを速く設定することができる。

図８は、図４に示す撮像装置が補正係数βを設定するまでの動作例を説明するためのフローチャートである。ユーザ操作等によってＩＳＯ感度が設定されると、制御部９は、そのＩＳＯ感度に応じたアナログゲインをＡＧＣ回路に対して設定する（ステップＳ６１）。

次に、制御部９は、設定したアナログゲインに応じたノイズリダクション処理の強度を算出し（ステップＳ６２）、これをノイズリダクション処理部６に対して設定する（ステップＳ６３）。

次に、制御部９は撮像素子３により撮像を行い（ステップＳ６４）、撮像素子３から撮像信号を読み出す（ステップＳ６５）。撮像信号が読み出されると、この撮像信号に対して相関二重サンプリング処理と増幅処理が続けて実施され（ステップＳ６６）、その後、ＡＤ変換処理が実施される（ステップＳ６７）。

次に、ＡＤ変換後の撮像信号に対してノイズリダクション処理が実施され（ステップＳ６８）、その後、オフセット補正が実施され（ステップＳ６９）、オフセット補正後の撮像信号からノイズレベルが算出される（ステップＳ７０）。

次に、レベル差補正制御部１０が、算出されたノイズレベルに対応する補正係数βを、メモリ１１に記憶されているＬＵＴ又は関数を用いて取得し、この補正係数βをレベル差補正部８に設定する（ステップＳ７１）。

その後、オフセット補正後の撮像信号に対し、補正係数βにしたがってレベル差補正が実施される（ステップＳ７２）。レベル差補正後の撮像信号は信号処理部１２でデジタル信号処理され、画像データとして記録媒体に記録される。

上述してきた撮像装置によれば、ノイズリダクション処理の強度（ＩＳＯ感度、アナログゲイン、ノイズレベルとも同義）に応じて最適な強度でレベル差補正を実施することができる。このため、同色のカラーフィルタを受光面上方に持つ光電変換素子から得られる信号レベルを均一化することができ、格子状又は横筋状の固定パターンノイズの発生を抑制して、画質を向上させることができる。特に、高ＩＳＯ感度のように、同色画素のレベル差が大きく縮まってしまう撮影条件であっても、ノイズリダクション処理の効果はそのままにしてノイズを効果的に抑えながら、レベル差補正による過補正を防いで高画質化を図ることができる。

ノイズリダクション処理の強度に応じてレベル差補正の強度を変更する構成は、レベル差補正の前にノイズリダクション処理を行う方式において有効となる。上述してきた撮像装置では、この方式を採用すると共に、レベル差補正の前にオフセット補正を実施するようにしているため、レベル差補正の精度をより向上させることができる。

なお、上記説明では、３種類のカラーフィルタを含む撮像素子を例にしたが、４種類以上のカラーフィルタを含む撮像素子であっても、同様に、ノイズリダクション処理の強度に応じて同色画素のレベル差を補正すれば良い。また、カラーフィルタとしては原色に限らず、補色であっても良い。

また、上述してきたように、ＩＳＯ感度又はアナログゲインの大きさがノイズリダクション処理の強度と連動しているのであれば、補正係数βを決める際に、ノイズリダクション処理の強度を参照することは必須ではなく、ＩＳＯ感度又はアナログゲインの大きさのどちらかのみを参照して補正係数を決定すればよい。

以上説明したように、本明細書には以下の事項が開示されている。

開示された撮像装置は、少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子と、前記撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理部と、前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタ、の各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正部とを備え、前記レベル差補正部は、前記ノイズリダクション処理部で実施されるノイズリダクション処理の強度に応じて、補正強度を変更する。

この構成により、ノイズリダクション処理の強度に応じて補正強度が変更されるため、様々な撮影条件下であっても、第一の撮像信号と第二の撮像信号のレベル差を最適に縮めることができる。

開示された撮像装置は、前記ノイズリダクション処理部が、前記撮像装置の設定撮影感度が大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記レベル差補正部は、前記設定撮影感度に応じて前記補正強度を変更する。

この構成により、撮像装置の設定撮影感度に応じて最適な補正を行うことができ、ノイズが多くなる高感度の撮影条件下であっても、高画質の撮像が可能となる。

開示された撮像装置は、前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅部を備え、前記ノイズリダクション処理部が、前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記レベル差補正部は、前記所定のゲインに応じて前記補正強度を変更する。

この構成により、撮像信号を増幅する際のアナログゲインに応じて最適な補正を行うことができ、ゲインが大きくなってノイズが多くなる高感度の撮影条件下であっても、高画質の撮像が可能となる。

開示された撮像装置は、前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅部と、前記撮像信号に含まれる黒レベル信号のノイズレベルを検出する検出部とを備え、前記ノイズリダクション処理部が、前記撮像装置の設定撮影感度又は前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記黒レベル信号のノイズレベルは、前記撮像装置の設定撮影感度又は前記所定のゲインが大きいほど大きくなり、前記レベル差補正部は、前記黒レベル信号のノイズレベルに応じて前記補正強度を変更する。

この構成により、黒レベル信号のノイズレベルに応じて最適な補正を行うことができ、設定撮影感度又はゲインが大きくなってノイズが多くなる高感度の撮影条件下であっても、高画質の撮像が可能となる。

開示された撮像装置は、前記補正強度を決めるパラメータを前記ノイズリダクションの強度毎に記憶した記憶部を備え、前記レベル差補正部は、設定された前記ノイズリダクションの強度に応じた前記パラメータを前記記憶部から読み出し、前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記ノイズリダクション処理の強度を変数とする関数であって、前記補正強度を決めるパラメータを算出するための関数を記憶した記憶部を備え、前記レベル差補正部は、設定された前記ノイズリダクションの強度と前記関数とから求めた前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記補正強度を決めるパラメータを前記設定撮影感度毎に記憶した記憶部を備え、前記レベル差補正部は、前記設定撮影感度に応じた前記パラメータを前記記憶部から読み出し、前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記設定撮影感度を変数とする関数であって、前記補正強度を決めるパラメータを算出するための関数を記憶した記憶部を備え、前記レベル差補正部は、前記設定撮影感度と前記関数とから求めた前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記補正強度を決めるパラメータを前記所定のゲイン毎に記憶した記憶部を備え、前記レベル差補正部は、前記所定のゲインに応じた前記パラメータを前記記憶部から読み出し、前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記所定のゲインを変数とする関数であって、前記補正強度を決めるパラメータを算出するための関数を記憶した記憶部を備え、前記レベル差補正部は、前記所定のゲインと前記関数とから求めた前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記補正強度を決めるパラメータを前記黒レベル信号のノイズレベル毎に記憶した記憶部を備え、前記レベル差補正部は、前記黒レベル信号のノイズレベルに応じた前記パラメータを前記記憶部から読み出し、前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記黒レベル信号のノイズレベルを変数とする関数であって、前記補正強度を決めるパラメータを算出するための関数を記憶した記憶部を備え、前記レベル差補正部は、前記黒レベル信号のノイズレベルと前記関数とから求めた前記パラメータにしたがって補正を行う。

開示された撮像装置は、前記レベル差補正部が、前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に乗じる補正係数を変更することで、前記補正強度を変更する。

開示された撮像装置は、前記レベル差補正部が、前記ノイズリダクションの強度が大きいほど、前記補正係数を小さくする。

ノイズリダクション強度が大きいほど、第一の撮像信号と第二の撮像信号のレベル差が縮まるため、補正係数を小さくすることで、補正精度を上げることができる。

開示された撮像装置は、前記撮像素子から出力されるアナログの撮像信号をデジタル信号に変換するＡＤ変換部と、前記ノイズリダクション処理後の前記撮像信号から前記ＡＤ変換によるＡＤ変換時のオフセット成分を減算するオフセット減算部とを備え、前記レベル差補正部は、前記オフセット成分を減算後の前記撮像信号に対して前記レベル差を縮める補正を行う。

この構成により、オフセットを減算した後でレベル差を縮める補正を行うため、より正確な補正を行うことができる。

開示された信号処理方法は、少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理ステップと、前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタの各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正ステップとを備え、前記レベル差補正ステップでは、前記ノイズリダクション処理ステップで実施されるノイズリダクション処理の強度に応じて補正強度を変更する。

開示された信号処理方法は、撮像装置の設定撮影感度が大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記レベル差補正ステップでは、前記設定撮影感度に応じて前記補正強度を変更する。

開示された信号処理方法は、前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅ステップを備え、前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記レベル差補正ステップでは、前記所定のゲインに応じて前記補正強度を変更する。

開示された信号処理方法は、前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅ステップと、前記撮像信号に含まれる黒レベル信号のノイズレベルを検出する検出ステップとを備え、前記黒レベル信号のノイズレベルは、撮像装置の設定撮影感度又は前記所定のゲインが大きいほど大きくなり、前記設定撮影感度又は前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、前記レベル差補正ステップでは、前記黒レベル信号のノイズレベルに応じて前記補正強度を変更する。

開示された信号処理方法は、前記レベル差補正ステップでは、前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に乗じる補正係数を変更することで、前記補正強度を変更する。

開示された信号処理方法は、前記レベル差補正ステップでは、前記ノイズリダクションの強度が大きいほど前記補正係数を小さくする。

開示された信号処理方法は、前記撮像素子から出力されるアナログの撮像信号をデジタル信号に変換するＡＤ変換ステップと、前記ノイズリダクション処理後の前記撮像信号から前記ＡＤ変換によるＡＤ変換時のオフセット成分を減算するオフセット減算ステップとを備え、前記レベル差補正ステップでは、前記オフセット成分を減算後の前記撮像信号に対して前記レベル差を縮める補正を行う。

３撮像素子
６ノイズリダクション処理部
８レベル差補正部

Claims

少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子と、
前記撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理部と、
前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタ、の各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正部とを備え、
前記レベル差補正部は、前記ノイズリダクション処理後の前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に補正係数を乗じて、前記レベル差を縮める補正を行い、更に、前記ノイズリダクション処理部で実施されるノイズリダクション処理の強度に応じて、前記補正係数を変更する撮像装置。
請求項１記載の撮像装置であって、
前記ノイズリダクション処理部が、前記撮像装置の設定撮影感度が大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記レベル差補正部は、前記設定撮影感度に応じて前記補正係数を変更する撮像装置。
請求項１記載の撮像装置であって、
前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅部を備え、
前記ノイズリダクション処理部が、前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記レベル差補正部は、前記所定のゲインに応じて前記補正係数を変更する撮像装置。
請求項１記載の撮像装置であって、
前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅部と、
前記撮像信号に含まれる黒レベル信号のノイズレベルを検出する検出部とを備え、
前記ノイズリダクション処理部が、前記撮像装置の設定撮影感度又は前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記黒レベル信号のノイズレベルは、前記撮像装置の設定撮影感度又は前記所定のゲインが大きいほど大きくなり、
前記レベル差補正部は、前記黒レベル信号のノイズレベルに応じて前記補正係数を変更する撮像装置。
請求項１記載の撮像装置であって、
前記補正係数を前記ノイズリダクションの強度毎に記憶した記憶部を備え、
前記レベル差補正部は、設定された前記ノイズリダクションの強度に応じた前記補正係数を前記記憶部から読み出し、前記読み出した補正係数にしたがって補正を行う撮像装置。
請求項１記載の撮像装置であって、
前記ノイズリダクション処理の強度を変数とする関数であって、前記補正係数を算出するための関数を記憶した記憶部を備え、
前記レベル差補正部は、設定された前記ノイズリダクションの強度と前記関数とから求めた前記補正係数にしたがって補正を行う撮像装置。
請求項２記載の撮像装置であって、
前記補正係数を前記設定撮影感度毎に記憶した記憶部を備え、
前記レベル差補正部は、前記設定撮影感度に応じた前記補正係数を前記記憶部から読み出し、前記読み出した補正係数にしたがって補正を行う撮像装置。
請求項２記載の撮像装置であって、
前記設定撮影感度を変数とする関数であって、前記補正係数を算出するための関数を記憶した記憶部を備え、
前記レベル差補正部は、前記設定撮影感度と前記関数とから求めた前記補正係数にしたがって補正を行う撮像装置。
請求項３記載の撮像装置であって、
前記補正係数を前記所定のゲイン毎に記憶した記憶部を備え、
前記レベル差補正部は、前記所定のゲインに応じた前記補正係数を前記記憶部から読み出し、前記読み出した補正係数にしたがって補正を行う撮像装置。
請求項３記載の撮像装置であって、
前記所定のゲインを変数とする関数であって、前記補正係数を算出するための関数を記憶した記憶部を備え、
前記レベル差補正部は、前記所定のゲインと前記関数とから求めた前記補正係数にしたがって補正を行う撮像装置。
請求項４記載の撮像装置であって、
前記補正係数を前記黒レベル信号のノイズレベル毎に記憶した記憶部を備え、
前記レベル差補正部は、前記黒レベル信号のノイズレベルに応じた前記補正係数を前記記憶部から読み出し、前記読み出した補正係数にしたがって補正を行う撮像装置。
請求項４記載の撮像装置であって、
前記黒レベル信号のノイズレベルを変数とする関数であって、前記補正係数を算出するための関数を記憶した記憶部を備え、
前記レベル差補正部は、前記黒レベル信号のノイズレベルと前記関数とから求めた前記補正係数にしたがって補正を行う撮像装置。
請求項１〜１２のいずれか１項記載の撮像装置であって、
前記レベル差補正部が、前記ノイズリダクション処理の強度が大きいほど、前記補正係数を小さくする撮像装置。
請求項１〜１３のいずれか１項記載の撮像装置であって、
前記撮像素子から出力されるアナログの撮像信号をデジタル信号に変換するＡＤ変換部と、
前記ノイズリダクション処理後の前記撮像信号から前記ＡＤ変換によるＡＤ変換時のオフセット成分を減算するオフセット減算部とを備え、
前記レベル差補正部は、前記オフセット成分を減算後の前記撮像信号に対して前記レベル差を縮める補正を行う撮像装置。
少なくとも３種類のカラーフィルタ及び各カラーフィルタの下方に形成された光電変換素子を含む撮像素子から出力される撮像信号に対してノイズリダクション処理を実施するノイズリダクション処理ステップと、
前記撮像信号のうち、同一種類の２つの前記カラーフィルタであって、その周囲に配置される前記カラーフィルタの配置パターンがそれぞれ異なる２つの前記カラーフィルタの各々の下方に形成された前記光電変換素子から得られた第一の撮像信号及び第二の撮像信号の前記ノイズリダクション処理後のレベル差を縮める補正を行うレベル差補正ステップとを備え、
前記レベル差補正ステップでは、前記ノイズリダクション処理後の前記第一の撮像信号及び前記第二の撮像信号の少なくとも一方に補正係数を乗じて、前記レベル差を縮める補正を行い、更に、前記ノイズリダクション処理ステップで実施されるノイズリダクション処理の強度に応じて前記補正係数を変更する信号処理方法。
請求項１５記載の信号処理方法であって、
撮像装置の設定撮影感度が大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記レベル差補正ステップでは、前記設定撮影感度に応じて前記補正係数を変更する信号処理方法。
請求項１５記載の信号処理方法であって、
前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅ステップを備え、
前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記レベル差補正ステップでは、前記所定のゲインに応じて前記補正係数を変更する信号処理方法。
請求項１５記載の信号処理方法であって、
前記撮像素子から出力されたアナログの撮像信号を所定のゲインで増幅する増幅ステップと、
前記撮像信号に含まれる黒レベル信号のノイズレベルを検出する検出ステップとを備え、
前記黒レベル信号のノイズレベルは、撮像装置の設定撮影感度又は前記所定のゲインが大きいほど大きくなり、
前記設定撮影感度又は前記所定のゲインが大きいほど前記ノイズリダクション処理の強度を大きく設定し、
前記レベル差補正ステップでは、前記黒レベル信号のノイズレベルに応じて前記補正係数を変更する信号処理方法。
請求項１５〜１８のいずれか１項記載の信号処理方法であって、
前記レベル差補正ステップでは、前記ノイズリダクションの強度が大きいほど前記補正係数を小さくする信号処理方法。
請求項１５〜１９のいずれか１項記載の信号処理方法であって、
前記撮像素子から出力されるアナログの撮像信号をデジタル信号に変換するＡＤ変換ステップと、
前記ノイズリダクション処理後の前記撮像信号から前記ＡＤ変換によるＡＤ変換時のオフセット成分を減算するオフセット減算ステップとを備え、
前記レベル差補正ステップでは、前記オフセット成分を減算後の前記撮像信号に対して前記レベル差を縮める補正を行う信号処理方法。