JP4337356B2

JP4337356B2 - Signal processing apparatus, signal processing program, and signal processing method for reducing noise in image signal

Info

Publication number: JP4337356B2
Application number: JP2003030577A
Authority: JP
Inventors: 豊津田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-02-07
Filing date: 2003-02-07
Publication date: 2009-09-30
Anticipated expiration: 2023-02-07
Also published as: JP2004005424A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号のノイズを低減する信号処理装置、信号処理プログラム、および信号処理方法に関する。
【０００２】
【従来の技術】
従来、画像データのノイズ除去方法として次の２種類の方法が知られている。
第１の方法は、メディアンフィルタにより特異点を平滑化する方法である。具体的には、局所領域中の濃度のメディアン値を出力濃度として与える方法である。例えば、３×３の領域を用いた場合、９個の濃度値を小さい順に並べ、メディアン値である小さい方から５番目の濃度値を求めればよい。このようなメディアンフィルタを画像データに施すことにより、輝点状や黒点状のノイズを特異点として画像データから除去可能となる。
【０００３】
第２の方法は、被写界画像から固定パターンノイズ画像を画素単位に減算する方法である。この被写界画像は、被写体を撮像素子で撮影して得られる画像データである。一方、固定パターンノイズ画像は、暗黒状態などの受光環境下において、撮影素子から出力されるノイズのみの画像データである。この減算処理により、被写体画像中の固定パターンノイズを同相除去し、固定パターンノイズの除去された画像データを得ることができる。
【０００４】
以下、この第２の方法を、数式で説明する。
Ｓ（ｍ）：被写界画像の各画素の信号レベル
Ｓｏ（ｍ）：真の各画素の信号レベル
Ｎ（ｍ）：各画素のノイズレベル
ｍ：画素の番号
とすると、
Ｓ（ｍ）＝Ｓｏ（ｍ）＋Ｎ（ｍ）
と表すことができる。
【０００５】
また、ノイズレベルの内訳は、
Ｎ（ｍ）＝Ｎｒ（ｍ）＋Ｎｆ（ｍ）
Ｎｒ（ｍ）：ランダムノイズ
Ｎｆ（ｍ）：固定パターンノイズ
となる。
一般に、撮像素子の露光時間ｔが長くなるほど、固定パターンノイズは大きくなる。そのため、長時間露光では、Ｎｆ≫Ｎｒとなり、固定パターンノイズが支配的となる。このような場合、被写界画像から固体パターン画像を減算すると、
Ｓ0（ｍ）≒Ｓ（ｍ）−Ｎｆ（ｍ）
となる。すなわち、真の画素値に近い画像データを得ることができる。
【０００６】
従来、その他のノイズ除去技術として、下記の特許文献１が知られている。この特許文献１の従来装置は、固定パターンノイズ画像の画素値をレベル判定することによって、白キズ欠陥を検出する。一方、被写体画像の画素値をレベル判定することによって、飽和画素を検出する。この従来装置は、このような画素単位のノイズ状況判別に基づいて『白キズ』かつ『非飽和』の画素を選別し、選別した画素に限って上述した減算処理を実施する。
【０００７】
【特許文献１】
特開２００１−９４８８２（図１０のＳ５０，Ｓ５２）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した第１および第２の固定パターンノイズの除去方法では、固定パターンノイズをある程度除去することが可能であるが、次に挙げるような問題があった。
【０００９】
第１の方法では、膨大な画素数の一つ一つについて、局所領域内の複数の画素値を参照しつつ、メディアン値を求める必要がある。そのため、処理時間が膨大になる、或いは専用のハードウェアを用意しなければならないといった問題が生じる。
また、第１の方法では、全画素について、メディアン値との置換処理を実施するため、補間ミスが発生しやすく、偽色や偽パターンなどの弊害を生じやすい。
【００１０】
一方、第２の方法では、画素単位の単純な減算処理であるため、特別なハードウェアを用意することなく簡単に演算処理することができる。しかしながら、固定パターンノイズレベルが画像信号レベルと同程度になる場合には、固定パターンノイズを十分に取り除くことができないという問題があった。
【００１１】
さらに、特許文献１では、飽和画素に発生する白キズ欠陥に対して、ノイズ除去が有効に行われない。通常、白キズ欠陥の箇所は、白キズのノイズレベルが重畳するため、飽和画素となる可能性が高い。そのため、飽和画素のノイズ除去を単に禁止したのでは、白キズ欠陥が除去されずに多数残存ずるなどの支障を生じやすい。
本発明は、上述した問題に鑑みて、固定パターンノイズを的確に除去し、かつ新たなノイズを発生しにくいノイズ除去技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
以下、本発明について説明する。
【００１３】
本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１５】
また、本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１６】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求めるとともに、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１７】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求めるとともに、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１８】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された前記第１画像データと前記第２の記憶ステップにより記憶された前記第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１９】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された第１画像データと前記第２の記憶ステップにより記憶された第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が、前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が、前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、前そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
【００２８】
（第１の実施形態）
図１は、デジタルカメラに内蔵される信号処理装置１を示すブロック図である。
この信号処理装置１は、被写界からの光を受光して電気信号に変換する撮像素子であるＣＣＤ３と、撮影時を決定するレリーズ釦５とを有している。また、信号処理装置１は、信号処理装置１を制御するためのプログラムを記憶したＲＯＭ７を有している。
【００２９】
また、信号処理装置１は、被写界を撮影することにより得られた第１画像データである被写界画像データを記録する第１記憶部としてのＲＡＭ９と、被写界画像データとは異なる受光条件（例えば、シャッターを閉じた暗黒状態）で撮影して得られた第２画像データである暗黒画像データを記録する第２記憶部としてのＲＡＭ１１とを有している。
【００３０】
さらに、信号処理装置１は、ＣＰＵ１３を有している。ＣＰＵ１３は、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して演算処理する処理部であり、また、その他の信号処理装置１の制御をも統括している。
そして、信号処理装置１は、ＲＡＭ９とＲＡＭ１１とのデータを用いてＣＰＵ１３で演算した結果を記憶するＲＡＭ１５と、ＲＡＭ１５からの画像信号出力１７Ｓを記憶するためのＥＥＰＲＯＭ１９とを有している。
【００３１】
次に、信号処理装置１での演算処理の概略を説明する。
この信号処理装置１の特徴点は、被写界画像データから固定パターンノイズを除去するために暗黒画像データを引き算する際に、引き過ぎることなくノイズ成分を効果的に除去することができる点にある。
そして、そのために、暗黒画像データに基づいて画素毎に、被写界画像データの出力値を同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とを切り換える。
【００３２】
以下、数式を用いて具体的に説明する。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であり、同色画素は縦、横、斜め方向に１画素飛んだ位置に配置されている。そのため、ｍライン目の画像データは、次式のように配列されている。
すなわち、第１画像データである被写界画像データＳは、
...,B(n-3,m),G(n-2,m),B(n-1,m),G(n,m),B(n+1,m),G(n+2,m),B(n+3,m),...
・・・（１）
と表される。
【００３３】
また、第２画像データである暗黒画像データＮは、
...,B'(n-3,m),G'(n-2,m),B'(n-1,m),G'(n,m),B'(n+1,m),G'(n+2,m),B'(n+3,m),...
・・・（２）
と表される。
【００３４】
従って、固定パターンノイズＮｆを除去するために、Ｇ（ｎ，ｍ）に対してＧ'（ｎ，ｍ）を減算する際に、Ｇ'（ｎ，ｍ）がＣＣＤ３の飽和レベルに近い値の場合、真の信号レベルＳｏはクリップされている可能性が高く、そのまま減算すると差分が小さくなり、暗い点ノイズとなることが多い。
そこで、暗黒画像データの出力値が、所定の閾値Ｐを超える場合、すなわち、Ｇ'（ｎ，ｍ）＞Ｐになった場合には、当該画素を同じｍライン目の２つ前にある同色近接画素と置換する。一方、暗黒画像データの出力値が閾値Ｐ以下である場合、すなわち、Ｇ'（ｎ，ｍ）≦Ｐになった場合には、被写界画像データの出力値から暗黒画像データの出力値を減算する。
【００３５】
例えば、Ｂ'（ｎ−１，ｍ）＞Ｐ，Ｇ'（ｎ＋２，ｍ）＞Ｐであるとすると、（１）式から（２）式を減算した後のノイズ除去データＮＲは、
...NR(n-3,m),NR(n-2,m),B(n-3,m),NR(n,m),NR(n+1,m),G(n,m),NR(n+3,m),...
・・・（３）
となる。
【００３６】
なお、ＣＣＤ３からの電気信号２１Ｓが不図示のＡ／Ｄ変換器によりデジタル信号に変換される際に１２ｂｉｔのデータとなる場合は、階調表現性能が４０９６階調になるので、閾値Ｐの値としては、ＣＣＤ３の飽和レベルに近い値にすることが好ましい。例えば、Ｐ＝３８００程度にする。
図３は、信号処理装置１での演算処理の流れを示す説明図である。
【００３７】
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムの処理ルーチンは、次のような構成になっている。
【００３８】
先ず、ステップＳ１１において、ベイヤ配列の任意の列を示す記号ｉに０が代入される。
次いで、ステップＳ１２において、ｉに１が加算される。
次いで、ステップＳ１３において、ベイヤ配列の任意の行を示す記号ｊに０が代入される。
【００３９】
次いで、ステップＳ１４において、ｊに１が加算される。
次いで、ステップＳ１５において、ｊが２より大きいか否かが判断される。ｊが２より大きいときはステップＳ１６に進む。一方、ｊが１または２のときはステップＳ２０に進み、ステップＳ２０において、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。そして、ステップＳ１９に進む。
【００４０】
ステップＳ１６では、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きいか否かが判断される。Ｎｆ（ｉ，ｊ）が閾値Ｐより大きくない場合はステップＳ１７に進む。一方、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きい場合はステップＳ１８に進む。
ステップＳ１７では、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。すなわち、被写界画像データの出力値から暗黒画像データの出力値が引かれる。
【００４１】
ステップＳ１８では、Ｓ（ｉ−２，ｊ）がＳｏ（ｉ，ｊ）に代入される。すなわち、現在処理中の画素の出力値として、同じ行にある２つ前の画素の出力値が代入される。
ステップＳ１９では、ｊがｋより小さいか否かが判断される。ｊがｋより小さい場合は、ステップＳ１４に戻り、ｊに１が加算され、ｊがｋより小さくない場合は、ステップＳ２１に進む。
【００４２】
ステップＳ２１では、ｉがｐより小さいか否かが判断される。ｉがｐより小さい場合は、ステップＳ１２に戻り、ｉに１が加算され、ｉがｐより小さくない場合は、全ての画素の処理が終了したことになり、演算処理を終了する。
上述した実施形態では、被写界画像データの出力値を２つ前にある同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とに切り換える。このような切り換え動作により、固定パターンノイズが飽和レベル近くまで大きく、真の信号レベルを復元できないと推定される画素に対しては、置換処理が実施される。その結果、減算処理による弊害が生じず、的確に固定パターンノイズを除去することができる。ひいては、写真やモニターに映し出された画像において目立つノイズを、確実に低減できる。
【００４３】
また、上述した実施形態のデジタルカメラの信号処理装置および信号処理方法では、場合分けの条件を暗黒画像データの出力値が閾値Ｐを超えるか否か、すなわち、固定パターンノイズが真の信号レベルを復元できないほど大きいと推定されるか否かとしたので、適切な閾値Ｐを設定することで、容易かつ的確に固定パターンノイズを除去することができる。
【００４４】
なお、上述した実施形態では、閾値Ｐを超える場合に同じ行の２つ前にある画素の出力値と置換した例について説明したが、いずれか１つの近接画素の出力値と置換しても良い。このような構成にすることにより、画像中のノイズをより強く抑止することができる。
また、上述した実施形態では、閾値Ｐを超える場合に近接画素の出力値と置換した例について説明したが、近接画素が演算処理済みである場合は、演算処理後の当該近接画素の出力値と置換しても良い。この場合、ノイズ除去された画素によって置換されるため、画像中のノイズをより強く抑止することができる。
【００４５】
なお、上述した実施形態では、閾値Ｐを被写界画像データから暗黒画像データを減算する際の飽和レベルに近い値にした例について説明した。しかしながら、固定パターンノイズを除去することができる値であればよい。例えば、ガンマ処理の出力に対する飽和レベルに近い値にするようにしても良い。
次に、第２の実施形態について説明する。
【００４６】
（第２の実施形態）
第２の実施形態の信号処理装置は、第１の実施形態（図１）と同じため、ここでの重複説明を省略する。
第２の実施形態では、被写界画像データの出力値と暗黒画像データの出力値との差分をＣＰＵ１３で算出し、画素毎に同色近接画素の差分の最大値および最小値を算出し、この最大値および最小値を閾値として場合分けして演算処理を行う。
【００４７】
以下、数式を用いて具体的に説明する。
任意画素の被写界画像データの出力値をＳ（ｉ，ｊ）とすると、Ｓ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図４のように示される。
また、同様に、任意画素の暗黒画像データの出力値を固定パターンノイズの出力値Ｎｆ（ｉ，ｊ）とすると、Ｎｆ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図５のように示される。
【００４８】
被写界画像データから暗黒画像データを減算すると、
Ｓｏ（ｉ，ｊ）＝Ｓ（ｉ，ｊ）−Ｎｆ（ｉ，ｊ）
Ｓｏ（ｉ，ｊ）：真の各画素の信号レベル
となる。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であるため、同色画素は行方向、列方向ともに１画素飛びに配置されている。
【００４９】
そのため、Ｓ（ｉ，ｊ）がＲまたはＢ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）に対応する画素として、８個存在する。
一方、Ｓ（ｉ，ｊ）がＧ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）、Ｓ（ｉ−１，ｊ−１）、Ｓ（ｉ−１，ｊ＋１）、Ｓ（ｉ＋１，ｊ−１）、Ｓ（ｉ＋１，ｊ＋１）に対応する画素として、１２個存在する。
【００５０】
そして、この第２の実施形態では、被写界画像データから暗黒画像データを減算したときに、過剰に減算したり、過小に減算したりしてしまうのを防止するために、同色近接画素の真の信号レベル出力値（差分）の最大値Ｓｏｍａｘ（ｉ，ｊ）と最小値Ｓｏｍｉｎ（ｉ，ｊ）を求める。
そして、
Ｓｏ（ｉ，ｊ）＞（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ）Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（輝点ノイズ）となっている可能性が高いため、同色近接画素の最大値Ｓｏｍａｘ（ｉ，ｊ）と置換をする。
【００５１】
一方、
Ｓｏ（ｉ，ｊ）＜（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（黒点ノイズ）となっている可能性が高いため、同色近接画素の最小値Ｓｏｍｉｎ（ｉ，ｊ）と置換をする。
また、
（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）≦Ｓｏ（ｉ，ｊ）≦（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ）Ｋ：任意の定数
の場合は、正常であると判断し、Ｓｏ（ｉ，ｊ）＝Ｓｏ（ｉ，ｊ）とし、同じ出力値を使用する。
【００５２】
図６および図７は、信号処理装置での演算処理の流れを示す説明図である。
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムは、次のような構成になっている。
【００５３】
先ず、ステップＳ１１０において、ベイヤ配列の任意の行を示す記号ｉに０が代入される。
次いで、ステップ１２０において、ｉに１が加算される。
次いで、ステップＳ１３０において、ベイヤ配列の任意の列を示す記号ｊに０が代入される。
【００５４】
次いで、ステップＳ１４０において、ｊに１が加算される。
次いで、ステップＳ１５０において、被写界画像データの出力値Ｓ（ｉ，ｊ）から暗黒画像データの出力値Ｎｆ（ｉ，ｊ）が減算され、真の各画素の信号レベルＳｏ（ｉ，ｊ）に代入される。
次いで、ステップＳ１６０において、ｊがｐより小さいか否かが判断される。ｊがｐより小さいときはステップＳ１４０に戻る。一方、ｊがｐより小さくないときはステップＳ１７０に進む。
【００５５】
ステップＳ１７０では、ｉがｋより小さいか否かが判断される。ｉがｋより小さいときはステップＳ１２０に戻る。一方、ｉがｋより小さくないときはステップＳ１８０に進む。
ステップＳ１８０では、ｉに１が代入される。
次いで、ステップＳ１９０において、ｉに１が加算される。
【００５６】
次いで、ステップＳ２００において、ｊに１が代入される。
次いで、ステップＳ２１０において、ｊに１が加算される。
次いで、ステップＳ２２０において、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最大値を求めてＳｏｍａｘ（ｉ，ｊ）とする。同様に、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最小値を求めてＳｏｍｉｎ（ｉ，ｊ）とする。
【００５７】
次いで、ステップＳ２３０において、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいときはステップＳ２４０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きくないときはステップＳ２５０に進む。
ステップＳ２４０では、Ｓｏ（ｉ，ｊ）にＳｏｍａｘ（ｉ，ｊ）が代入され、ステップＳ２５０に進む。
【００５８】
ステップＳ２５０では、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいときはステップＳ２６０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さくないときはステップＳ２７０に進む。
ステップＳ２６０では、Ｓｏ（ｉ，ｊ）にＳｏｍｉｎ（ｉ，ｊ）が代入され、ステップＳ２７０に進む。
【００５９】
ステップＳ２７０では、ｊがｐ−２より大きいか否かが判断される。ｊがｐ−２より大きくないときはステップＳ２１０に戻る。一方、ｊがｐ−２より大きいときはステップＳ２８０に進む。
ステップＳ２８０では、ｉがｋ−２より大きいか否かが判断される。ｉがｋ−２より大きくないときはステップＳ１９０に戻る。一方、ｉがｋ−２より大きいときは、全ての画素の処理が終了したことになり、演算処理を終了する。
【００６０】
この第２の実施形態では、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して差分を算出し、画素毎に閾値を決めて、信号処理の場合分けを行う。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００６１】
また、上述した第２の実施形態では、同色近接画素の差分の最大値および最小値に基づいて閾値を決定するので、所定範囲からはみ出した出力値を的確に排除することができる。
さらに、上述した第２の実施形態では、固定パターンノイズが大き過ぎると推定される画素の出力値（輝点ノイズ）は、近接画素の差分の最大値と置換され、固定パターンノイズが小さ過ぎると推定される画素の出力値（黒点ノイズ）は、近接画素の差分の最小値と置換されるので、近接画素の出力値の範囲内で置換されることになり、近接画素の色に溶け込ませることが可能である。
【００６２】
（第３の実施形態）
この第３の実施形態は、最大差分Ｓｏｍａｘおよび最小差分Ｓｏｍｉｎに代えて、『二番目に大きな差分Ｓｏｍａｘ２』および『二番目に小さな差分Ｓｏｍｉｎ２』を使用する点のみが、第２の実施形態と異なる。
すなわち、ステップＳ２３０において、『二番目に大きな差分Ｓｏｍａｘ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて大き過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍａｘ２と置換する。
【００６３】
一方、ステップＳ２５０において、『二番目に小さな差分Ｓｏｍｉｎ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて小さ過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍｉｎ２と置換する。
そのため、第２の実施形態のように近接画素の出力値の最大値や最小値と置換する場合に比べ、近接画素に固定パターンノイズが発生していた場合の影響を受けにくいといった利点がある。その結果、固定パターンノイズＮｆ（ｉ，ｊ）の過小差し引きや過大差し引きを抑止することができる。
【００６４】
なお、上述した第２および第３の実施形態では、閾値を、同色近接画素の差分の最大値および最小値などに基づいて決定した例について説明したが、同色近接画素の差分の標準偏差に基づいて、Ｋの値などを決定しても良い。
また、上述した第２および第３の実施形態では、Ｇ画素における近接画素の出力値の最大値および最小値を求めるときに、１２個の近接画素の出力値を対象とした例について説明したが、Ｒ画素やＢ画素と同様に８個の近接画素の出力値を対象としても良い。
【００６５】
さらに、上述した第２および第３の実施形態では、同色近接画素の差分の最大値および最小値と置換する例や、２番目に大きい値および２番目に小さい値と置換する例について説明した。しかしながら、複数の近接画素における差分の平均値やメディアン値と置換しても良い。ここで、複数の近接画素の選択条件について、好ましい例を挙げる。
【００６６】
（１）同色近接画素の出力値の大きい方から３つの平均値と同色近接画素の出力値の小さい方から３つの平均値により行う。
【００６７】
（２）同色近接画素をいくつかのブロックに分けて平均値を求めて、出力値の変化の傾向を考慮した上で、いずれか１つのブロックの出力値を用いる。
【００６８】
（３）（２）において、ブロックの分け方を少しずつ変更しその都度平均値を求め、出力値の変化の傾向を十分に考慮した上で、いずれか１つのブロックの分け方におけるいずれか１つのブロックの出力値を用いる。
【００６９】
以上説明したように、第２および第３の実施形態では、被写界画像データ（第１画像データ）と暗黒画像データ（第２画素データ）とを読み出して処理部により差分を算出し、画素毎に閾値を決めて場合分けして信号処理をする。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理およびノイズ除去処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００７０】
なお、上述した実施形態では、本発明を電子カメラに適用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を単体の信号処理装置（ＩＣなど）として実現したり、コンピュータによって実行される信号処理プログラムとして実現してもよい。また、本発明の信号処理方法をインターネットなどを通じて画像処理サービスとして提供してもよい。
【００７１】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【００７２】
【発明の効果】
本発明では、撮像素子のノイズ状況を画素毎に判別し、そのノイズ状況に応じて減算処理／置換処理を画素単位に動的に切り換えることができる。したがって、同相除去により固定パターンノイズを除去できないノイズ状況に応じて、置換処理を選択的に実行することが可能になり、第１画像データ中のノイズをより確実に除去することが可能になる。特に、本発明のノイズ除去技術では、減算処理によって新たなノイズが重畳するといった事態を顕著に改善することが可能になる。
【図面の簡単な説明】
【図１】信号処理装置の一実施形態を示すブロック図である。
【図２】ＣＣＤに使用されるベイヤ配列を示す説明図である。
【図３】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図４】被写界画像データの出力値の配列を示す説明図である。
【図５】暗黒画像データの出力値の配列を示す説明図である。
【図６】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図７】図６のプログラムの続きを示す流れ図である。
【符号の説明】
１信号処理装置
３ＣＣＤ
５レリーズ釦
７ＲＯＭ
９ＲＡＭ
１１ＲＡＭ
１３ＣＰＵ
１５ＲＡＭ
１９ＥＥＰＲＯＭ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing device, a signal processing program, and a signal processing method for reducing noise in an image signal.
[0002]
[Prior art]
Conventionally, the following two types of methods are known as image data noise removal methods.
The first method is a method of smoothing a singular point by a median filter. Specifically, it is a method of giving the median value of the density in the local region as the output density. For example, when a 3 × 3 area is used, nine density values are arranged in ascending order, and the fifth density value from the smaller median value may be obtained. By applying such a median filter to the image data, bright spot-like or black spot-like noise can be removed from the image data as singular points.
[0003]
The second method is a method of subtracting a fixed pattern noise image from the object scene image in units of pixels. This scene image is image data obtained by photographing a subject with an image sensor. On the other hand, the fixed pattern noise image is image data of only noise output from the imaging element in a light receiving environment such as a dark state. By this subtraction processing, fixed pattern noise in the subject image can be removed in phase, and image data from which fixed pattern noise has been removed can be obtained.
[0004]
Hereinafter, this second method will be described using mathematical expressions.
S (m): signal level of each pixel of the object scene image
So (m): True signal level of each pixel
N (m): Noise level of each pixel
m: Pixel number
Then,
S (m) = So (m) + N (m)
It can be expressed as.
[0005]
The breakdown of noise level is
N (m) = Nr (m) + Nf (m)
Nr (m): random noise
Nf (m): Fixed pattern noise
It becomes.
In general, the fixed pattern noise increases as the exposure time t of the image sensor increases. Therefore, in the long exposure, Nf >> Nr and the fixed pattern noise becomes dominant. In such a case, subtracting the solid pattern image from the field image,
S0 (m) ≈S (m) -Nf (m)
It becomes. That is, image data close to the true pixel value can be obtained.
[0006]
Conventionally, Patent Document 1 below is known as another noise removal technique. The conventional device of Patent Document 1 detects a white flaw defect by determining the level of a pixel value of a fixed pattern noise image. On the other hand, saturated pixels are detected by determining the level of the pixel value of the subject image. This conventional apparatus selects “white scratches” and “non-saturated” pixels based on such a pixel-by-pixel noise situation determination, and performs the above-described subtraction processing only on the selected pixels.
[0007]
[Patent Document 1]
JP-A-2001-94882 (S50, S52 in FIG. 10)
[0008]
[Problems to be solved by the invention]
However, the above-described first and second fixed pattern noise removal methods can remove fixed pattern noise to some extent, but have the following problems.
[0009]
In the first method, it is necessary to obtain the median value for each of the enormous number of pixels while referring to a plurality of pixel values in the local region. Therefore, there arises a problem that the processing time is enormous or dedicated hardware must be prepared.
Further, in the first method, since replacement processing with median values is performed for all pixels, an interpolation error is likely to occur, and adverse effects such as false colors and false patterns are likely to occur.
[0010]
On the other hand, since the second method is a simple subtraction process in units of pixels, it can be easily processed without preparing special hardware. However, when the fixed pattern noise level is approximately the same as the image signal level, there is a problem that the fixed pattern noise cannot be sufficiently removed.
[0011]
Furthermore, in Patent Document 1, noise removal is not effectively performed for white defect generated in a saturated pixel. Normally, a white flaw defect portion is likely to be a saturated pixel because the noise level of the white flaw is superimposed. For this reason, if noise removal of saturated pixels is simply prohibited, troubles such as a large number of white defects remaining without being removed tend to occur.
In view of the above-described problems, an object of the present invention is to provide a noise removal technology that accurately removes fixed pattern noise and hardly generates new noise.
[0012]
[Means for Solving the Problems]
The present invention will be described below.
[0013]
  The present inventionSignal processing equipmentIs a signal processing device for image noise removal,A first storage unit for recording first image data obtained by receiving light from the object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel; A second storage unit that records second image data composed of noise data obtained by photographing darkness with the element, the first image data recorded in the first storage unit, and the second storage unit. A processing unit that reads and calculates the second image data, and the processing unit performs a subtraction process for subtracting the output value of the second image data from the output value of the first image data. After calculating the difference in step 1, the maximum value and the minimum value of the difference in the same color adjacent pixel of the predetermined pixel are obtained, and the difference in the predetermined pixel is added to the maximum value of the difference in the same color adjacent pixel and a predetermined constant. Exceeds the specified value The difference of the predetermined pixel is replaced with the maximum value of the difference in the adjacent pixels of the same color, and the difference in the predetermined pixel becomes less than the value obtained by adding the minimum value of the difference in the adjacent pixels of the same color and a predetermined constant. In this case, the difference between the predetermined pixels is replaced with the minimum value of the difference between the adjacent pixels of the same color, and if it is neither of them, the difference between the predetermined pixels is used as it is.It is characterized by that.
[0015]
The signal processing device of the present invention is a signal processing device for removing image noise, and the light from the object scene is received by an image sensor in which color filters of single color components are arranged corresponding to the respective pixels. A first storage unit that records first image data obtained by receiving light; a second storage unit that records second image data composed of noise data obtained by photographing darkness with the image sensor; and A processing unit that reads and processes the first image data recorded in the first storage unit and the second image data recorded in the second storage unit, the processing unit including the first image data After calculating the difference by performing a subtraction process that subtracts the output value of the second image data from the output value of the image data, the second largest difference and the second difference among the differences in the neighboring pixels of the same color of the predetermined pixel Find the small difference and the predetermined If the difference in pixels exceeds the value obtained by adding the second largest difference in the neighboring pixels of the same color and a predetermined constant, the difference between the predetermined pixels is replaced with the second largest difference, and the predetermined difference When the difference in the pixel is less than the value obtained by adding the second smallest difference in the neighboring pixels of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the second smallest difference, If it is neither, the difference between the predetermined pixels is used as it is.It is characterized by that.
[0016]
  The signal processing program of the present invention is a signal processing program for removing noise in image data, and a single color component color filter is arranged corresponding to each pixel for light from an object scene. A first storage unit that records first image data obtained by receiving light with the image sensor, and a second memory that records second image data including noise data obtained by photographing darkness with the image sensor. And calculating a difference by subtracting the output value of the second image data from the output value of the first image data, and then calculating a maximum value and a minimum value of the difference in the adjacent pixels of the same color of the predetermined pixel And when the difference in the predetermined pixel exceeds a value obtained by adding a maximum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is determined as the same color adjacent pixel. When the difference in the predetermined pixel is less than a value obtained by adding the minimum value of the difference in the adjacent pixels of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the maximum value of the difference in the same color. If it is replaced with the minimum value of the difference in the neighboring pixels and neither of them is the case, the computer is caused to function as a processing unit that uses the difference between the predetermined pixels as it is.
[0017]
  The signal processing program of the present invention is a signal processing program for removing noise in image data, and a single color component color filter is arranged corresponding to each pixel for light from an object scene. A first storage unit that records first image data obtained by receiving light with the image sensor, and a second memory that records second image data including noise data obtained by photographing darkness with the image sensor. And calculating the difference by subtracting the output value of the second image data from the output value of the first image data, and then calculating the second of the differences in the same color neighboring pixels of the predetermined pixel When a large difference and a second smallest difference are obtained, and a difference in the predetermined pixel exceeds a value obtained by adding the second largest difference and a predetermined constant in the neighboring pixels of the same color The difference of the predetermined pixel is replaced with the second largest difference, and the difference in the predetermined pixel is less than the value obtained by adding the second smallest difference in the same-color neighboring pixels and a predetermined constant. In addition, the difference between the predetermined pixels is replaced with the second smallest difference, and when neither is the difference, the computer is caused to function as a processing unit that uses the difference between the predetermined pixels as it is.
[0018]
  Further, the signal processing method of the present invention is a signal processing method for removing noise of image data, and an image pickup device in which light from an object scene is arranged with a color filter of a single color component corresponding to each pixel. And a second storage for recording second image data composed of noise data obtained by photographing dark images with the imaging device. A step of reading and calculating the first image data stored in the first storage step and the second image data stored in the second storage step, the calculation processing And subtracting the output value of the second image data stored in the second storage step from the output value of the first image data stored in the first storage step. After calculating the difference by performing the subtraction process, the maximum value and the minimum value of the difference in the same color adjacent pixel of the predetermined pixel are obtained, and the difference in the predetermined pixel is determined in advance as the maximum value of the difference in the same color adjacent pixel. The difference between the predetermined pixels is replaced with the maximum value of the difference in the same color neighboring pixels, and the difference in the predetermined pixels is the minimum value of the difference in the neighboring pixels of the same color. If the difference between the predetermined pixels is less than a value obtained by adding a predetermined constant, the difference between the predetermined pixels is replaced with the minimum difference between the adjacent pixels of the same color. It is characterized by using as it is.
[0019]
  Further, the signal processing method of the present invention is a signal processing method for removing noise of image data, and an image pickup device in which light from an object scene is arranged with a color filter of a single color component corresponding to each pixel. And a second storage for recording second image data composed of noise data obtained by photographing dark images with the imaging device. A step of reading and calculating the first image data stored in the first storage step and the second image data stored in the second storage step, and performing the calculation process. Is a subtraction process for subtracting the output value of the second image data stored in the second storage step from the output value of the first image data stored in the first storage step. After calculating the difference, the second largest difference and the second smallest difference among the differences in the same color neighboring pixels of the predetermined pixel are obtained, and the difference in the predetermined pixel is calculated in the same color neighboring pixel. When a value obtained by adding the second largest difference and a predetermined constant is exceeded, the difference of the predetermined pixel is replaced with the second largest difference, and the difference in the predetermined pixel is the same color proximity When the difference between the second pixel and the predetermined constant is less than a value added, the difference between the predetermined pixel is replaced with the second smallest difference, and if neither is the previous one, The difference between the predetermined pixels is used as it is..
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0028]
(First embodiment)
FIG. 1 is a block diagram showing a signal processing device 1 built in a digital camera.
The signal processing apparatus 1 includes a CCD 3 that is an image pickup element that receives light from an object scene and converts it into an electric signal, and a release button 5 that determines a shooting time. The signal processing device 1 has a ROM 7 that stores a program for controlling the signal processing device 1.
[0029]
Further, the signal processing device 1 is different from the field image data and the RAM 9 as the first storage unit for recording the field image data which is the first image data obtained by photographing the field. It has RAM11 as a 2nd memory | storage part which records the dark image data which is 2nd image data acquired by light-receiving conditions (for example, dark state which closed the shutter).
[0030]
Furthermore, the signal processing apparatus 1 has a CPU 13. The CPU 13 is a processing unit that reads and calculates the object scene image data recorded in the RAM 9 and the dark image data recorded in the RAM 11, and also supervises the control of other signal processing devices 1. .
The signal processing device 1 includes a RAM 15 that stores the result of calculation performed by the CPU 13 using the data of the RAM 9 and the RAM 11, and an EEPROM 19 that stores the image signal output 17S from the RAM 15.
[0031]
Next, an outline of arithmetic processing in the signal processing apparatus 1 will be described.
The feature point of the signal processing device 1 is that when subtracting dark image data to remove fixed pattern noise from the object scene image data, noise components can be effectively removed without being excessively subtracted. is there.
For this purpose, for each pixel based on the dark image data, a replacement process that replaces the output value of the scene image data with the output value of the scene image data of the adjacent pixels of the same color, and the output of the scene image data The subtraction processing for subtracting the output value of the dark image data from the value is switched.
[0032]
Hereinafter, it demonstrates concretely using numerical formula.
The CCD 3 has an RGB Bayer array of primary colors as shown in FIG. 2, and the same color pixels are arranged at positions where one pixel is jumped in the vertical, horizontal and diagonal directions. Therefore, the m-th line image data is arranged as shown in the following equation.
That is, the scene image data S which is the first image data is
..., B (n-3, m), G (n-2, m), B (n-1, m), G (n, m), B (n + 1, m), G (n + 2, m), B (n + 3, m), ...
... (1)
It is expressed.
[0033]
The dark image data N that is the second image data is
..., B '(n-3, m), G' (n-2, m), B '(n-1, m), G' (n, m), B '(n + 1, m ), G '(n + 2, m), B' (n + 3, m), ...
... (2)
It is expressed.
[0034]
Therefore, when G ′ (n, m) is subtracted from G (n, m) in order to remove fixed pattern noise Nf, G ′ (n, m) has a value close to the saturation level of the CCD 3. In this case, there is a high possibility that the true signal level So is clipped, and if it is subtracted as it is, the difference becomes small and dark point noise is often obtained.
Therefore, when the output value of the dark image data exceeds a predetermined threshold value P, that is, when G ′ (n, m)> P, the same color that is two pixels before the same m line is placed in the same color. Replace with neighboring pixels. On the other hand, when the output value of the dark image data is equal to or less than the threshold value P, that is, when G ′ (n, m) ≦ P, the output value of the dark image data is calculated from the output value of the object scene image data. Subtract.
[0035]
For example, assuming that B ′ (n−1, m)> P and G ′ (n + 2, m)> P, the noise removal data NR after subtracting Equation (2) from Equation (1) is
... NR (n-3, m), NR (n-2, m), B (n-3, m), NR (n, m), NR (n + 1, m), G (n, m), NR (n + 3, m), ...
... (3)
It becomes.
[0036]
Note that when the electric signal 21S from the CCD 3 is converted into a digital signal by an A / D converter (not shown), the gradation expression performance is 4096 gradations. Is preferably close to the saturation level of the CCD 3. For example, P = about 3800.
FIG. 3 is an explanatory diagram showing the flow of arithmetic processing in the signal processing apparatus 1.
[0037]
This figure shows the arithmetic processing when a CCD 3 having a Bayer array of k rows and p columns is used.
First, when the release button 5 is pressed, the object scene image data and the dark image data are fetched from the CCD 3, and the arithmetic processing program in the ROM 7 is activated. The processing routine of the program has the following configuration.
[0038]
  First, in step S11, an arbitrary Bayer array is selected.Column0 is substituted for the symbol i indicating.
  Next, in step S12, 1 is added to i.
  Next, in step S13, 0 is assigned to the symbol j indicating an arbitrary row of the Bayer array.
[0039]
Next, in step S14, 1 is added to j.
Next, in step S15, it is determined whether j is larger than 2. When j is larger than 2, the process proceeds to step S16. On the other hand, when j is 1 or 2, the process proceeds to step S20. In step S20, Nf (i, j) is subtracted from S (i, j), and So (i, j) is obtained. Then, the process proceeds to step S19.
[0040]
In step S16, it is determined whether Nf (i, j) is greater than a threshold value P. If Nf (i, j) is not greater than the threshold value P, the process proceeds to step S17. On the other hand, if Nf (i, j) is larger than the threshold value P, the process proceeds to step S18.
In step S17, Nf (i, j) is subtracted from S (i, j) to obtain So (i, j). That is, the output value of the dark image data is subtracted from the output value of the object scene image data.
[0041]
In step S18, S (i-2, j) is substituted for So (i, j). That is, the output value of the previous pixel in the same row is substituted as the output value of the pixel currently being processed.
In step S19, it is determined whether j is smaller than k. If j is smaller than k, the process returns to step S14, 1 is added to j, and if j is not smaller than k, the process proceeds to step S21.
[0042]
  In step S21, it is determined whether i is smaller than p. When i is smaller than p, the process returns to step S12, and 1 is added to i. When i is not smaller than p, the processing for all the pixels is completed, and the arithmetic processing is terminated.
  In the above-described embodiment, the replacement process for replacing the output value of the scene image data with the output value of the scene image data of the adjacent pixel of the same color two before, and the dark image from the output value of the scene image data Switch to the subtraction process to subtract the data output value. By such a switching operation, a replacement process is performed on a pixel in which the fixed pattern noise is large to near the saturation level and it is estimated that the true signal level cannot be restored. as a result,SubtractionDefects caused by processing do not occur, and fixed pattern noise can be accurately removed. As a result, it is possible to reliably reduce noticeable noise in images and images displayed on a monitor.
[0043]
In the signal processing apparatus and the signal processing method of the digital camera according to the above-described embodiment, whether the output value of the dark image data exceeds the threshold value P, that is, whether the fixed pattern noise has a true signal level is determined based on the case-classifying condition. Since it is determined whether or not it is estimated that it is too large to be restored, the fixed pattern noise can be easily and accurately removed by setting an appropriate threshold value P.
[0044]
  In the above-described embodiment, the example in which the output value of the pixel two previous in the same row is replaced when the threshold value P is exceeded has been described.But,You may replace with the output value of any one adjacent pixel. By adopting such a configuration, noise in the image can be more strongly suppressed..
MaIn the above-described embodiment, the example in which the output value of the neighboring pixel is replaced when the threshold value P is exceeded has been described. However, when the neighboring pixel has been subjected to the arithmetic processing, the output value of the neighboring pixel after the arithmetic processing It may be replaced. In this case, since the pixel is replaced by the noise-removed pixel, noise in the image can be more strongly suppressed.
[0045]
In the above-described embodiment, the example in which the threshold value P is set to a value close to the saturation level when the dark image data is subtracted from the scene image data has been described. However, any value that can remove the fixed pattern noise may be used. For example, a value close to the saturation level for the output of gamma processing may be used.
Next, a second embodiment will be described.
[0046]
(Second Embodiment)
Since the signal processing apparatus of the second embodiment is the same as that of the first embodiment (FIG. 1), a duplicate description is omitted here.
In the second embodiment, the CPU 13 calculates the difference between the output value of the object scene image data and the output value of the dark image data, and calculates the maximum value and the minimum value of the difference between adjacent pixels of the same color for each pixel. Arithmetic processing is performed by dividing the maximum value and the minimum value as threshold values.
[0047]
Hereinafter, it demonstrates concretely using numerical formula.
If the output value of the field image data of an arbitrary pixel is S (i, j), an array of output values of 5 × 5 pixels centered on S (i, j) is shown in FIG.
Similarly, if an output value of dark image data of an arbitrary pixel is an output value Nf (i, j) of fixed pattern noise, an array of output values of 5 × 5 pixels centering on Nf (i, j) is As shown in FIG.
[0048]
When dark image data is subtracted from the field image data,
So (i, j) = S (i, j) −Nf (i, j)
So (i, j): True signal level of each pixel
It becomes.
Since the CCD 3 has an RGB Bayer array of primary colors as shown in FIG. 2, the same color pixels are arranged so as to jump by one pixel in both the row direction and the column direction.
[0049]
Therefore, when S (i, j) is an R or B pixel, the same color pixels in the surrounding 5 × 5 pixels are S (i−2, j−2), S (i, j−2), and S (i + 2). , J-2), S (i-2, j), S (i + 2, j), S (i-2, j + 2), S (i, j + 2), S (i + 2, j + 2) There are eight.
On the other hand, when S (i, j) is a G pixel, the same color pixels in the surrounding 5 × 5 pixels are S (i−2, j−2), S (i, j−2), S (i + 2, j -2), S (i-2, j), S (i + 2, j), S (i-2, j + 2), S (i, j + 2), S (i + 2, j + 2), S (i-1, j -1), S (i-1, j + 1), S (i + 1, j-1), and 12 pixels as S (i + 1, j + 1).
[0050]
In the second embodiment, when dark image data is subtracted from the object scene image data, in order to prevent excessive subtraction or subtraction, it is necessary to reduce the proximity of adjacent pixels of the same color. The maximum value Somax (i, j) and the minimum value Somin (i, j) of the true signal level output value (difference) are obtained.
And
So (i, j)> (Somax (i, j) + K) K: Arbitrary constant
In this case, since it is highly possible that So (i, j) is a singular point (bright spot noise) with respect to other pixels, it is replaced with the maximum value Somax (i, j) of adjacent pixels of the same color.
[0051]
on the other hand,
So (i, j) <(Somin (i, j) + K) K: Arbitrary constant
In this case, since it is highly possible that So (i, j) is a singular point (black spot noise) with respect to other pixels, it is replaced with the minimum value Somin (i, j) of adjacent pixels of the same color.
Also,
(Somin (i, j) + K) ≦ So (i, j) ≦ (Somax (i, j) + K) K: Arbitrary constant
In the case of (2), it is determined that it is normal, So (i, j) = So (i, j), and the same output value is used.
[0052]
6 and 7 are explanatory diagrams showing the flow of arithmetic processing in the signal processing device.
This figure shows the arithmetic processing when a CCD 3 having a Bayer array of k rows and p columns is used.
First, when the release button 5 is pressed, the object scene image data and the dark image data are fetched from the CCD 3, and the arithmetic processing program in the ROM 7 is activated. The program has the following structure.
[0053]
First, in step S110, 0 is substituted for a symbol i indicating an arbitrary row of the Bayer array.
Next, in step 120, 1 is added to i.
Next, in step S130, 0 is substituted for a symbol j indicating an arbitrary column of the Bayer array.
[0054]
Next, in step S140, 1 is added to j.
Next, in step S150, the output value Nf (i, j) of the dark image data is subtracted from the output value S (i, j) of the object scene image data, and the true signal level So (i, j) of each pixel. Is assigned to
Next, in step S160, it is determined whether j is smaller than p. When j is smaller than p, the process returns to step S140. On the other hand, when j is not smaller than p, the process proceeds to step S170.
[0055]
In step S170, it is determined whether i is smaller than k. When i is smaller than k, the process returns to step S120. On the other hand, if i is not smaller than k, the process proceeds to step S180.
In step S180, 1 is substituted for i.
Next, in step S190, 1 is added to i.
[0056]
Next, in step S200, 1 is substituted for j.
Next, in step S210, 1 is added to j.
Next, in step S220, the maximum value of the difference So is obtained for a plurality of adjacent pixels at the pixel position (i, j) and set as Somax (i, j). Similarly, the minimum value of the difference So is obtained at a plurality of adjacent pixels at the pixel position (i, j) and is defined as Somin (i, j).
[0057]
Next, in step S230, it is determined whether So (i, j) is greater than Somax (i, j) + K. When So (i, j) is larger than Somax (i, j) + K, the process proceeds to step S240. On the other hand, if So (i, j) is not greater than Somax (i, j) + K, the process proceeds to step S250.
In step S240, Somax (i, j) is substituted for So (i, j), and the process proceeds to step S250.
[0058]
In step S250, it is determined whether So (i, j) is smaller than Somin (i, j) + K. When So (i, j) is smaller than Somin (i, j) + K, the process proceeds to step S260. On the other hand, if So (i, j) is not smaller than Somin (i, j) + K, the process proceeds to step S270.
In step S260, Somin (i, j) is substituted for So (i, j), and the process proceeds to step S270.
[0059]
  In step S270, it is determined whether j is larger than p-2. When j is not larger than p-2, the process returns to step S210. on the other hand,jWhen is larger than p-2, the process proceeds to step S280.
  In step S280,iIs greater than k-2.iIs not greater than k-2, step S190Return to. on the other hand,iWhen is larger than k−2, it means that the processing of all the pixels is finished, and the arithmetic processing is finished.
[0060]
In the second embodiment, the object scene image data recorded in the RAM 9 and the dark image data recorded in the RAM 11 are read to calculate a difference, and a threshold value is determined for each pixel, thereby classifying signal processing cases. Do. Therefore, a highly accurate interpolation process can be performed as compared with a method in which all pixels are classified according to one threshold value. As a result, even if the fixed pattern noise level is sufficiently high, the fixed pattern noise can be accurately removed.
[0061]
Further, in the second embodiment described above, the threshold value is determined based on the maximum value and the minimum value of the difference between adjacent pixels of the same color, so that an output value that protrudes from the predetermined range can be accurately excluded.
Furthermore, in the above-described second embodiment, the output value (bright spot noise) of a pixel that is estimated that the fixed pattern noise is too large is replaced with the maximum value of the difference between adjacent pixels, and the fixed pattern noise is too small. Since the estimated output value (black spot noise) of the pixel is replaced with the minimum value of the difference between the neighboring pixels, the pixel is replaced within the range of the output value of the neighboring pixel, and is merged with the color of the neighboring pixel. Is possible.
[0062]
(Third embodiment)
This third embodiment differs from the second embodiment only in that “second largest difference Somax2” and “second smallest difference Somin2” are used instead of the maximum difference Somax and the minimum difference Somin. .
That is, in step S230, the magnitude of So (i, j) is determined based on “second largest difference Somax2”. At this time, if it is determined that So (i, j) is too large compared to the neighboring pixels, So (i, j) is replaced with Somax2.
[0063]
On the other hand, in step S250, the magnitude of So (i, j) is determined based on “second smallest difference Somin2”. At this time, if it is determined that So (i, j) is too small compared to the neighboring pixels, So (i, j) is replaced with Somin2.
Therefore, there is an advantage in that it is less affected by the occurrence of fixed pattern noise in the neighboring pixels as compared with the case of replacing with the maximum value or the minimum value of the output value of the neighboring pixels as in the second embodiment. As a result, it is possible to suppress the under and over subtraction of the fixed pattern noise Nf (i, j).
[0064]
In the second and third embodiments described above, the example in which the threshold is determined based on the maximum value and the minimum value of the difference between the same color neighboring pixels has been described. However, based on the standard deviation of the difference between the same color neighboring pixels. Thus, the value of K or the like may be determined.
In the second and third embodiments described above, the example has been described in which the output values of 12 adjacent pixels are targeted when the maximum value and the minimum value of the output values of the adjacent pixels in the G pixel are obtained. Similarly to the R pixel and the B pixel, the output values of eight neighboring pixels may be targeted.
[0065]
Furthermore, in the second and third embodiments described above, the example of replacing with the maximum value and the minimum value of the difference between adjacent pixels of the same color and the example of replacing with the second largest value and the second smallest value have been described. However, an average value or a median value of differences in a plurality of adjacent pixels may be substituted. Here, a preferable example is given about the selection conditions for a plurality of adjacent pixels.
[0066]
(1) Three average values from the larger output value of the same color neighboring pixels and three average values from the smaller output value of the same color neighboring pixels are used.
[0067]
(2) Divide adjacent pixels of the same color into several blocks, obtain an average value, and use the output value of any one block after considering the tendency of the change of the output value.
[0068]
(3) In (2), the block division method is changed little by little, the average value is obtained each time, and after considering the tendency of the change of the output value, any one of the block division methods Use the output value of two blocks.
[0069]
As described above, in the second and third embodiments, the object scene image data (first image data) and the dark image data (second pixel data) are read, and the difference is calculated by the processing unit. A threshold is determined for each case, and signal processing is performed for each case. Therefore, it is possible to perform highly accurate interpolation processing and noise removal processing as compared with the method in which all the pixels are classified by one threshold value. As a result, even if the fixed pattern noise level is sufficiently high, the fixed pattern noise can be accurately removed.
[0070]
In the above-described embodiment, the case where the present invention is applied to an electronic camera has been described. However, the present invention is not limited to this. For example, the present invention may be realized as a single signal processing apparatus (such as an IC) or as a signal processing program executed by a computer. Further, the signal processing method of the present invention may be provided as an image processing service through the Internet or the like.
[0071]
It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. For this reason, the above-described embodiment is merely an example in all respects and should not be interpreted in a limited manner. The present invention is defined by the claims, and the present invention is not limited to the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
[0072]
【The invention's effect】
In the present invention, the noise situation of the image sensor can be determined for each pixel, and the subtraction / replacement process can be dynamically switched on a pixel-by-pixel basis in accordance with the noise situation. Therefore, the replacement process can be selectively executed according to the noise situation in which the fixed pattern noise cannot be removed by the in-phase removal, and the noise in the first image data can be more reliably removed. In particular, the noise removal technique of the present invention can remarkably improve the situation where new noise is superimposed by subtraction processing.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a signal processing apparatus.
FIG. 2 is an explanatory diagram showing a Bayer array used in a CCD.
FIG. 3 is an explanatory diagram showing a flow of a program stored in a ROM.
FIG. 4 is an explanatory diagram showing an array of output values of object scene image data.
FIG. 5 is an explanatory diagram showing an array of output values of dark image data.
FIG. 6 is an explanatory diagram showing a flow of a program stored in a ROM.
7 is a flowchart showing the continuation of the program of FIG.
[Explanation of symbols]
1 Signal processing equipment
3 CCD
5 Release button
7 ROM
9 RAM
11 RAM
13 CPU
15 RAM
19 EEPROM

Claims

A signal processing device for image noise removal,
A first storage unit that records first image data obtained by receiving light from an object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage unit for recording second image data composed of noise data obtained by photographing darkness with the imaging device;
A processing unit that reads and calculates the first image data recorded in the first storage unit and the second image data recorded in the second storage unit;
With
The processor is
After calculating the difference by performing a subtraction process for subtracting the output value of the second image data from the output value of the first image data, the maximum value and the minimum value of the difference in the same color neighboring pixels of the predetermined pixel are obtained. ,
When the difference in the predetermined pixel exceeds a value obtained by adding the maximum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the maximum value of the difference in the adjacent pixel of the same color And
When the difference in the predetermined pixel is less than a value obtained by adding the minimum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the minimum value of the difference in the adjacent pixel of the same color And
If neither of these is the case, the signal processing apparatus uses the difference between the predetermined pixels as it is.

A signal processing device for image noise removal,
A first storage unit that records first image data obtained by receiving light from an object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage unit for recording second image data composed of noise data obtained by photographing darkness with the imaging device;
A processing unit that reads and calculates the first image data recorded in the first storage unit and the second image data recorded in the second storage unit;
With
The processor is
After calculating the difference by performing a subtraction process for subtracting the output value of the second image data from the output value of the first image data, the second largest difference among the differences in the same color neighboring pixels of the predetermined pixel Find the second smallest difference,
When the difference in the predetermined pixel exceeds a value obtained by adding the second largest difference in the neighboring pixels of the same color and a predetermined constant, the difference in the predetermined pixel is replaced with the second largest difference. ,
When the difference in the predetermined pixel is less than the value obtained by adding the second smallest difference in the neighboring pixels of the same color and a predetermined constant, the difference between the predetermined pixels is replaced with the second smallest difference. ,
If neither of these is the case, the signal processing apparatus uses the difference between the predetermined pixels as it is.

A signal processing program for removing noise from image data,
A first storage unit that records first image data obtained by receiving light from the object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage unit that records second image data composed of noise data obtained by photographing darkness with the imaging device;
After calculating the difference by performing a subtraction process for subtracting the output value of the second image data from the output value of the first image data, the maximum value and the minimum value of the difference in the adjacent pixels of the same color of the predetermined pixel are obtained. In addition, when the difference in the predetermined pixel exceeds a value obtained by adding the maximum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is determined as the maximum value of the difference in the adjacent pixel of the same color. When the difference in the predetermined pixel is less than a value obtained by adding the minimum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is set to the difference of the difference in the adjacent pixel of the same color. A signal processing program for causing a computer to function as a processing unit that uses a difference between the predetermined pixels as it is when the value is replaced with a minimum value and neither is the case.

A signal processing program for removing noise from image data,
A first storage unit that records first image data obtained by receiving light from the object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage unit that records second image data composed of noise data obtained by photographing darkness with the imaging device;
After calculating the difference by performing a subtraction process for subtracting the output value of the second image data from the output value of the first image data, the second largest difference among the differences in the same color neighboring pixels of the predetermined pixel A difference between the predetermined pixels when the difference between the predetermined pixels exceeds a value obtained by adding the second largest difference between the adjacent pixels of the same color and a predetermined constant. Is replaced with the second largest difference, and the difference in the predetermined pixel is less than the value obtained by adding the second smallest difference in the adjacent pixels of the same color and a predetermined constant. If the difference is replaced with the second smallest difference and neither is the difference, the signal for causing the computer to function as the processing unit that uses the difference between the predetermined pixels as it is Management program.

A signal processing method for removing noise from image data,
A first storage step for recording first image data obtained by receiving light from an object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage step of recording second image data composed of noise data obtained by photographing darkness with the imaging device;
Reading and calculating the first image data stored in the first storage step and the second image data stored in the second storage step;
The arithmetic processing step includes
The difference is calculated by performing a subtraction process for subtracting the output value of the second image data stored in the second storage step from the output value of the first image data stored in the first storage step. After that, the maximum value and the minimum value of the difference in the same color neighboring pixels of the predetermined pixel are obtained,
When the difference in the predetermined pixel exceeds a value obtained by adding the maximum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the maximum value of the difference in the adjacent pixel of the same color And
When the difference in the predetermined pixel is less than a value obtained by adding the minimum value of the difference in the adjacent pixel of the same color and a predetermined constant, the difference of the predetermined pixel is replaced with the minimum value of the difference in the adjacent pixel of the same color And
If neither is the case, the difference between the predetermined pixels is used as it is.
And a signal processing method .

A signal processing method for removing noise from image data,
A first storage step for recording first image data obtained by receiving light from an object scene with an image sensor in which a color filter of a single color component is arranged corresponding to each pixel;
A second storage step of recording second image data composed of noise data obtained by photographing darkness with the imaging device;
Reading and calculating the first image data stored in the first storage step and the second image data stored in the second storage step;
The arithmetic processing step includes
The difference is calculated by performing a subtraction process for subtracting the output value of the second image data stored in the second storage step from the output value of the first image data stored in the first storage step. Later, among the differences in the neighboring pixels of the same color of the predetermined pixel, the second largest difference and the second smallest difference are obtained,
When the difference in the predetermined pixel exceeds a value obtained by adding the second largest difference in the neighboring pixels of the same color and a predetermined constant, the difference in the predetermined pixel is replaced with the second largest difference. And
When the difference in the predetermined pixel is less than a value obtained by adding the second smallest difference in the neighboring pixels of the same color and a predetermined constant, the difference in the predetermined pixel is replaced with the second smallest difference. And
If neither is the case, the difference between the predetermined pixels is used as it is.
And a signal processing method .