JP4237429B2 - 画像信号処理装置および欠陥画素補正方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置および欠陥画素補正方法に関し、特に、撮像素子の欠陥画素を補正する、たとえば、デジタルスチルカメラ等に用いて好適なものである。
【０００２】
【従来の技術】
たとえば、デジタルスチルカメラやビデオカメラには被写界の撮像用に固体撮像素子が搭載されている。固体撮像素子には、電荷結合素子（Charge Coupled Device ：以下、CCDという）が多く用いられている。従来、CCD素子を用いたデジタルスチルカメラ等においては、CCD素子の製造時または製造後に発生する、CCD素子の各画素の内、特異なレベルの信号を出力するいわゆる欠陥画素を補正する欠陥画素補正回路が用いられている。
【０００３】
この欠陥画素補正回路は、予め CCD素子の欠陥画素の位置データやその欠陥画素に関する種々のデータをROM等に記憶し、ビデオカメラの使用の際に、CCD素子からA/Dコンバータを介して供給された画素データの内、欠陥画素による画素データを、ROM から読みだした欠陥画素の位置に対応した画素データ（欠陥画素データ）の近傍の画素データで補正するものである。
【０００４】
たとえば、記憶手段に記憶した欠陥画素の位置データに基いて、位置データに対応する画素データに対して、この画素データの近傍の画素データの平均を算出し、平均値を欠陥画素の画素データとする技術がある。
【０００５】
【発明が解決しようとする課題】
上記の従来技術の場合、欠陥の補正が完全に行なわれるとは限らない。たとえば、被写体に黒白の縞模様がある場合、黒と白の境界に欠陥画素があるとき、欠陥画素の画素データは、黒もしくは白に対応するものでなければならない。しかし、従来技術では、黒と白の平均値を欠陥画素のデータとするため、欠陥画素補正回路の出力は、灰色に対応する画素データとなる。これは、ユーザから見ると画像中のノイズとなり、画質を損なうことになる。
【０００６】
このように従来、欠陥画素のデータを補正する場合、完全には補正しきれず、補正の結果、ノイズが発生することがあった。
【０００７】
本発明はこのような従来技術の欠点を解消し、欠陥画素補正がうまく行なわれない場合でも、画質の良いデータが得られるようにして画質を損なうことがない画像信号処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上述の課題を解決するために、欠陥画素情報記憶手段に記憶された撮像素子の欠陥画素を識別するための情報に基づいて、欠陥画素に対応する画像信号を生成もしくは補正して出力する画像信号処理装置において、この装置は，ノイズを低減することができるノイズ低減手段を含み、この手段により、生成もしくは補正された画像信号を処理することを特徴とする。
【０００９】
このように、欠陥画素に対して補正を行った後に、ノイズリダクション処理を行なうことにより、欠陥画素補正が不完全である場合にも、適正な画素データを生成することができる。
【００１０】
また、本発明の画像信号処理装置において、ノイズ低減手段は、複数種類のノイズ低減処理手段を含み、この装置は、欠陥画素を識別するための情報に基づいて、複数のノイズ低減処理手段のうちのいずれの手段によりノイズ低減処理を行なうかどうかを各画素に応じて判定する判定手段を含み、ノイズ低減手段は、この判定手段により判定されたノイズ低減処理手段によりノイズ低減処理を行なうこととしてもよい。これにより、欠陥画素であるかどうかに応じてノイズ低減の方法を適切に選ぶことができる。たとえば、欠陥画素に対してはローパスフィルタを用い、正常な画素に対しては、輪郭のつぶれが少ないノイズ低減の方法としてメディアンフィルタを用いることができる。
【００１１】
さらに、ノイズ低減手段は、複数種類のノイズ低減処理手段を含み、この装置は、欠陥画素を識別するための情報に基づいて、複数のノイズ低減処理手段の処理結果の重み付けを各画素に応じて判定する判定手段を含み、ノイズ低減手段は、この判定手段により判定された重み付けに従って、複数のノイズ低減処理手段の処理結果の重み付けを行なうこととしてもよい。
【００１２】
また本発明は、上述の課題を解決するために、撮像素子の欠陥画素を識別するための情報に基づいて、欠陥画素に対応する画像信号を生成もしくは補正して出力する欠陥画素補正方法において、この方法は、生成もしくは補正された画像信号に対して、ノイズを低減することができるノイズ低減処理を行なうことを特徴とする。
【００１３】
【発明の実施の形態】
次に添付図面を参照して本発明による画像信号処理装置の実施例を詳細に説明する。
【００１４】
本発明の画像信号処理装置は、ノイズリダクションとの組み合わせで欠陥画素データの不完全性を正すことに特徴がある。欠陥画素補正が不適切であるために、ノイズが発生したときでも、その後のノイズリダクション処理により、ノイズを低減することができる。
【００１５】
本発明を適用した実施例のデジタルスチルカメラ10の構成を図１に示す。なお、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。以下の実施例では静止画を例にして説明するが、本発明は、デジタルスチルカメラ10の動画にも適用できるものであり、また、ビデオカメラにも適用できるものである。
【００１６】
図１のデジタルスチルカメラ10では、光学レンズ系12に被写体からの入射光が入る。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置を調節して画面の画角を調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。光学レンズ系12には、後述する駆動信号発生回路20からこれらの機構を動作させる駆動信号20a が供給される。
【００１７】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構26にも駆動信号発生回路20から駆動信号20a が供給される。この駆動信号20a は、システム制御部44からの制御に応じて行う撮影動作のための信号である。システム制御部44は、撮像部30で光電変換され A/D変換部34でデジタル信号化された信号電荷34a を基にAE（Automatic Exposure :自動露出）処理として絞りと露光時間を算出している。システム制御部44は、この算出した値を信号44a として駆動信号発生回路20に送り、信号44a に対応する駆動信号20a が、絞り調節機構26に、駆動信号発生回路20から供給される。
【００１８】
撮像部30では、光電変換する撮像素子（受光素子）を、光学レンズ系12の光軸と直交する平面（撮像面）を形成するように配置する。また、撮像素子の入射光側には、色分解する色フィルタが配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタには種々の方式があるが、本発明は、特定の配列の色フィルタに限られるものではなく、原色フィルタであるベイヤー配列、ＧストライプR/B完全市松配列、ハニカム配列、補色フィルタであるフィールド色差順次配列等の任意の配列を用いることができる。
【００１９】
撮像素子には、 CCDや MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部30では、駆動信号発生回路20から供給されるタイミング信号20b に応じて光電変換によって得られた信号電荷を、所定のタイミングに従って、たとえば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出す。この垂直転送路をラインシフトした信号電荷が水平転送路に供給される。この水平転送路を経た信号電荷が、図示しない出力回路による電流／電圧変換によってアナログ電圧信号30a にされ、前処理部32に出力される。
【００２０】
前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。 CDS部は、たとえば、 CCD型の撮像素子を用いて、基本的にその素子により生じる各種のノイズを駆動信号発生回路20からの駆動信号20b によりクランプするクランプ回路と、タイミング信号20b により信号30a をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してアナログ出力信号32a を A/D変換部34に送る。
【００２１】
A/D変換部34は、供給されるアナログ信号32a の信号レベルを所定の量子化レベルにより量子化してデジタル信号34a に変換する A/D変換器を有する。 A/D変換部34は、タイミング信号20b により変換したデジタル信号34a を遅延回路14および補正回路16に出力する。
【００２２】
遅延回路14は、デジタル信号34a を補正することなく、補正回路16の処理時間分だけ遅延した後に、信号14a としてスイッチ18に出力する。
【００２３】
補正回路16は、デジタル信号34a を補正し、補正された信号16a をスイッチ18に出力する。補正回路16は、欠陥画素が出力する画素データを補正する機能を有する。本実施例における補正方法を図２により説明する。図２は、ベイヤ型配列の原色フィルタを用いたときの撮像素子を示す。R, G, Bは、それぞれ三原色の各色フィルタを表す記号である。添え字の数字は、同一色の識別用数字である。図２においては、G6が欠陥画素であるとする。
【００２４】
補正方法は、欠陥画素を中心にして対角線方向にある４個の画素の平均値を欠陥画素の画素データとするものである。図２の例では、G6が出力した画素データ34a を、G3, G4, G7, G8の画素データの平均値に置き換えて、信号16a として出力する。補正回路16は、３本の水平ラインにわたる画素の平均値を求めるため、水平ライン３本分の画素データを順次蓄積できるラインメモリを有する。蓄積した画素データから既述の位置にある４画素データを取り出して平均値を求める。
【００２５】
このような平均値を用いる補正方法の場合、次のような問題がある。図２において、被写体が黒白の横縞模様であり、領域19が黒の領域、領域21が白の領域の場合、この補正方法によると、G6は、白に対応した画素データであるべきにもかかわらず、灰色に対応した画素データとなる。その結果、白の領域21中に、黒に近い色が一点だけ現れて、ノイズが発生することになる。本発明では、信号16a に含まれるノイズを、後続するノイズリダクション部42により除去する。
【００２６】
スイッチ18は、入力された信号14a と信号16a のどちらかを、判定回路28からの判定信号28a に従って選択し、信号処理部40に信号18cとして出力する。判定信号28a は、欠陥画素が出力する画素データについては、補正回路16の出力16a を選択することを指示し、欠陥画素以外の画素が出力する画素データについては、遅延回路14の出力14a を選択することを指示する信号である。
【００２７】
判定回路28は撮影開始時に、欠陥画素データ部90から欠陥画素の位置を示す情報（欠陥画素を識別するための情報）を信号線90a を介して受け取り、画素データを処理しているときにＨカウンタ36およびＶカウンタ38から、現在処理している画素の水平位置および垂直位置を示す信号36a、38aを受け取る。
【００２８】
これらの情報から、現在処理している画素が欠陥画素であると判定したときに、補正回路16の出力16a を選択することを指示する判定信号28a をスイッチ18に出力する。
【００２９】
判定回路28は、また、ノイズリダクション部42に、欠陥画素位置およびその周辺の画素、すなわちノイズ処理対象画素であることを示す信号28bを出力する。ノイズ処理対象画素は、たとえば本実施例では、欠陥画素位置および欠陥画素の水平方向に前方５画素、後方５画素までの画素データである。これらの画素がノイズリダクショク部42において処理されるときに、信号28b により、ノイズ処理対象画素であることがノイズリダクション部42に知らされる。
【００３０】
上述の欠陥画素データ部90には、デジタルスチルカメラをメーカーが出荷する際に欠陥画素の位置データが記憶されるとともに、出荷の後には例えば欠陥画素検出回路(図示しない)が新たに検出した欠陥画素の位置データが記憶される。欠陥画素データ部90は、各欠陥画素について水平方向の位置データと垂直方向の位置データを記憶している。
【００３１】
欠陥画素を識別するための情報として本実施例では、欠陥画素の位置データを用いて、位置情報により欠陥画素を識別している。しかし、欠陥画素を識別するための情報は、位置データに限られるものではない。たとえば、欠陥画素の出力は異常に高い場合、もしくは異常に低い場合があるため、画素の出力レベルを示す情報を欠陥画素を識別するための情報として用いることができる。その場合は、判定回路は、信号34aを入力されて、画素の出力レベルに基づいて、欠陥画素であるかどうかを判定することができる。
【００３２】
判定回路28が指示する信号がスイッチ18で選択され、信号18c として信号処理部40に出力される。信号処理部40には、図示しないが、色の補正を行うガンマ補正回路、自動的にホワイトバランスの調整を行うAWB (Automatic White Balance)回路等がある。各色における画面全体のプレーンデータを作成するプレーン演算部も信号処理部40に含まれる。
【００３３】
プレーン演算部は、撮像素子から得られたRGBの各色データを用いて各色における全面のデータを作成する。すなわち、図２のような単板のベイヤパターンを用いていることから、実際には撮像素子の１画素からは１つの色データしか直接的には供給されないので他の２色の色データは存在しない。プレーン演算部では、各撮像素子に対応しないそれぞれの色のデータが演算により生成される。
【００３４】
このようにして得られた各画素位置における RGBの画素データが、それぞれ信号40a, 40b, 40c として、信号処理部40から出力される。信号処理部40におけるデータ処理においても、駆動信号発生回路20からのタイミング信号20b に同期して処理が行なわれる。
【００３５】
なお、本実施例では、信号処理部の出力はR, G, Bデータ40a, 40b, 40cの３個であるとしたが、本発明はこれに限られるものではなく、たとえば輝度データＹと色差データCr、 Cbの３個を出力することとしてもよい。その場合は、信号処理部内にR, G, Bデータから輝度データＹと色差データCr, Cbを生成するマトリックス部を設ければよい。
【００３６】
R, G, Bデータ40a, 40b, 40cを入力されたノイズリダクション部42は欠陥画素位置またはその周辺では、ノイズ低減フィルタで処理した信号42a,42b,42c をRGBごとに出力し、他の位置では、ノイズリダクション部42に入力された信号をそのまま信号42a,42b,42c として出力する。いずれを出力するかは、判定回路28からの信号28bによる。
【００３７】
ノイズ低減フィルタとしてはローパスフィルタを用いる。ローパスフィルタの一例を図３に示す。図３はR, G, Bデータ40a, 40b, 40cのうちの１つ、たとえばRデータ40aの処理を示すものである。他のG, Bデータ40b, 40cについても同様に処理される。本回路は、ノイズ低減処理の対象となる画素の画素データとして、当該画素の画素データx[n]と、水平方向の直前の４画素の画素データx[n-4], x[n-3], x[n-2], x[n-1]、計５画素の平均値y[n]を求めて出力することにより、ノイズ低減を行なう回路である。ｎは水平方向における画素の位置を表し、水平方向に左から右に向かってｎが大きくなる。
【００３８】
順次入力されるデータx[n-4], x[n-3], x[n-2], x[n-1], x[n]を４個の遅延回路42で遅延しながら、４個の加算器44で順次加算し、最終的に加算されたものに1/5 を乗算器46により乗算することにより、５画素の平均y[n]を求める。この処理によるノイズ低減効果の概念図およびフィルタの処理方式を図４に示す。
【００３９】
図4(a)は、図３のノイズ低減フィルタの入力を示すグラフであり、図4(b)は、図３のノイズ低減フィルタの出力を示すグラフである。図4(a)と図4(b)とを比較するとわかるように、このフィルタにより、入力に存在した小さな凹凸が出力では消えている。また図４に示すように、フィルタの処理方式は、画素データx[n]と、水平方向の直前の４画素の画素データx[n-4], x[n-3], x[n-2], x[n-1]、計５画素の平均値y[n]を、加算84と乗算86により求めて出力するものである。
【００４０】
なお、水平方向の左端付近の画素については、直前の４画素のすべてが存在するとは限らない。この場合は、ノイズ低減処理の対象となる画素の直後(右側)の画素を計算に取り込み、合計で５画素になるようにする。
【００４１】
本実施例では、ノイズリダクション部は、欠陥画素位置またはその周辺では、ノイズ低減フィルタで処理された信号を出力し、それ以外では、元の信号を出力することとした。
【００４２】
しかし、本発明のノイズリダクション部は、これに限られるものではなく、たとえばノイズリダクション部は、ノイズ低減フィルタで処理された信号と、元の信号との重み付き加重平均を求め、重み付けを画素位置に応じて変えることとしてもよい。すなわち欠陥画素位置またはその周辺では、ノイズ低減フィルタで処理された信号と元の信号との重み付けにおいて、ノイズ低減フィルタで処理された信号の重み付けを重くし、たとえば７割とし、元の信号を３割とする。それ以外の画素においては、元の信号を７割とする。これにより、欠陥画素位置またはその周辺では、ノイズ低減効果を出すことができる。
【００４３】
これを実施するために、図１の実施例と同様にノイズリダクション部は、欠陥画素位置またはその周辺であることを示す信号を判定回路28から受け取り、この信号により、ノイズリダクション部内に設けられている２種類の加重平均算出器の出力のうちのいずれを選択するかを決定すればよい。
【００４４】
さらにノイズリダクション部は、ノイズ低減フィルタであるローパスフィルタで処理された信号と、別のノイズ低減フィルタであるメディアンフィルタで処理された信号との重み付き加重平均を求め、重み付けを画素位置に応じて変えることとしてもよい。すなわち欠陥画素位置またはその周辺では、ローパスフィルタで処理された信号と、メディアンフィルタで処理された信号との重み付けにおいて、ローパスフィルタで処理された信号の重み付けを重くし、たとえば７割とし、メディアンフィルタで処理された信号を３割とする。それ以外の画素においては、メディアンフィルタで処理された信号を７割とする。
【００４５】
ローパスフィルタは、ノイズ低減効果があるが、画像の輪郭を弱める効果がある。一方メディアンフィルタは、画像の輪郭を弱めることなくノイズ低減効果がある。ただし、ランダムなノイズに対してはノイズ低減効果が低いという特性がある。
【００４６】
このノイズリダクション部により、欠陥画素位置またはその周辺では、ノイズ低減効果を出すことができるとともに、輪郭のつぶれを少なくすることができる。
【００４７】
これを実施するために、図１の実施例と同様にノイズリダクション部は、欠陥画素位置またはその周辺であることを示す信号を判定回路28から受け取り、この信号により、ノイズリダクション部内に設けられている２種類の加重平均算出器の出力のうちのいずれを選択するかを決定すればよい。
【００４８】
ノイズリダクション部42の出力は、図示しない画素データ記録部に送られる。また液晶モニター（図示しない）に表示するために、液晶モニターに送られる場合もある。
【００４９】
Ｈカウンタ36は、現在処理されている画素の水平方向の位置を判定回路28に出力するための回路である。Ｈカウンタ36は、撮影開始時にシステム制御部44から水平方向の画素サイズを信号線44b により入力され、その後、Ｈカウンタ36をリセットするための信号を同じく信号線44b により入力される。撮影開始後、駆動信号発生回路20から水平タイミング信号20c を受けて、水平タイミング信号20c のパルス数をカウントし、カウント結果を信号36aとして逐次、判定回路28に出力する。
【００５０】
カウントの結果が水平画素サイズに達すると、Ｈカウンタ36はリセットを行い、カウントを新たに始める。Ｈカウンタ36は、リセットしたことをシステム制御部44に信号線44bにより出力する。この情報は、後述するように、一画面分の処理が終わったかどうかをシステム制御部44aが判定するために用いる。
【００５１】
Ｖカウンタ38は、現在処理されている画素の垂直方向の位置を判定回路28に出力するための回路である。Ｖカウンタ38は、撮影開始時にシステム制御部44から垂直ライン数を信号線44c により入力され、その後、Ｖカウンタ38をリセットするための信号を信号線44c により入力される。撮影開始後、駆動信号発生回路20から垂直タイミング信号20d を受けて、垂直タイミング信号20d のパルス数をカウントし、カウント結果を信号38aとして逐次、判定回路28に出力する。カウントの結果が垂直ライン数に達すると、Ｖカウンタ38はカウントを終了する。
【００５２】
Ｖカウンタ38は、カウントが終了すると、終了したことをシステム制御部44に信号線44cにより出力する。システム制御部44aは、この情報と、Ｈカウンタ36からのリセットしたとの情報とを受けたときに、一画面分の処理が終わったと判定し、カメラ各部の動作を終了させる。
【００５３】
システム制御部44は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部44には、デジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部44は、 ROMの情報等を用いて各部の動作を制御する制御信号44a, 44b, 44c 等を生成する。
【００５４】
すなわちシステム制御部44は、信号電荷34a を基にAE処理として絞りと露光時間を算出し、算出した値を信号44a として駆動信号発生回路20に送り、信号44a に対応する駆動信号20a が、絞り調節機構26に駆動信号発生回路20から供給される。また、システム制御部44は、Ｈカウンタ36に水平方向の画素サイズを、信号線44b を介して出力し、その後、Ｈカウンタ36をリセットするための信号を信号線44b に出力する。Ｖカウンタ38に対しては、垂直ライン数を信号線44c に出力し、その後、Ｖカウンタ38をリセットするための信号を信号線44c に出力する。
【００５５】
なお、システム制御部44は撮影開始時に、カメラ各部に対して処理の開始を指示する信号（図示しない）を出力する。
【００５６】
駆動信号発生回路20は発振器を内蔵し、カメラ全体の動作の同期を取るための駆動信号およびタイミング信号を生成する回路である。本回路はＨカウンタ36に対しては水平タイミング信号20c を出力し、Ｖカウンタに対しては垂直タイミング信号20ｄ出力する。さらに、既述のように、光学レンズ系12や絞り調節機構26に対しては、駆動信号20aを出力し、撮像部30、前処理部32、A/D変換部に対しては、タイミング信号20bを出力する。
【００５７】
次にデジタルカメラ10における画像信号処理の手順について説明する。撮影時にシャッタボタン（図示しない）が半押しされたときに予備撮影を行ない、被写体との距離、絞り、露光時間をシステム制御部44は決定する。システム制御部44は、決定された値により決まる信号を、駆動信号発生回路20を経由して、光学レンズ系12と絞り調節機構26に供給する。その後シャッタボタンが全押しされたときに本撮影を行なう。
【００５８】
以下では、本撮影におけるデジタルカメラ10の欠陥画素補正およびノイズ低減処理の動作を、図5および図6 に示すフローチャートにより説明する。本撮影開始であるとシステム制御部が判断すると、各種の初期設定が行われる（ステップS10 ）。すなわち、システム制御部44は、Ｈカウンタ36に水平画素サイズを設定し、Ｖカウンタ38に垂直ライン数を設定する。そして、Ｈカウンタ36とＶカウンタ38をリセットする。同時にカメラ各部に処理の開始を指示する。
【００５９】
処理が開始されると、駆動信号発生回路20からの駆動信号20a に従った露光時間で撮像部30で露光が行われる。この露光後、撮像部30で得られた信号が、駆動信号発生回路20からの信号20b に従って内部を順次転送されて、出力される。出力された信号30a には、前処理部32で相関二重サンプリング処理が施された後、A/D 変換部34によりデジタル信号34a に変換される。このデジタル信号34a が撮像部30の受光素子に対応した画素データである。駆動信号発生回路20は、さらに、Ｈカウンタ36とＶカウンタ38に、それぞれ水平タイミング信号20cと垂直タイミング信号20Dの出力を開始する。一方、処理が開始されると、判定回路28は、欠陥画素データ部90から欠陥画素の位置データを読み出す。
【００６０】
Ｈカウンタ36とＶカウンタ38はそれぞれ、カウント結果を逐次、判定回路28に信号36a、信号38aとして出力する。判定回路28は、カウント結果と、欠陥画素位置データとを比較して欠陥画素位置であるかどうかを判定する（ステップＳ12）。判定の結果、欠陥画素の場合（YES）、ステップS16に進む。欠陥画素でない場合は（NO）、ステップS14に進む。
【００６１】
ステップS16では、欠陥画素補正が行なわれる。欠陥画素補正は、次のように行なわれる。A/D 変換部34が出力するデジタル信号34a は、遅延回路14と補正回路16に並行して送られる。補正回路16では、処理対象とする画素を中心にして対角線方向にある４個の画素の平均値を、処理対象の画素の画素データとして出力する。遅延回路14では、デジタル信号34a を補正することなく、補正回路16の処理時間分だけ遅延した後に、信号14a としてスイッチ18に出力する。
【００６２】
判定回路28は判定信号28a をスイッチ18に出力する。スイッチ18は、判定信号28a に従って、欠陥画素が出力する画素データについて、補正回路16の出力16a を選択して、信号18aとして出力する。
【００６３】
ステップS14 では画素をそのまま出力する。すなわちスイッチ18は、判定信号28a に従って、欠陥画素以外の画素が出力する画素データについて、遅延回路14の出力14a を選択して、信号18aとして出力する。
【００６４】
信号18a は信号処理部40に送られ、ガンマ補正等が行なわれ、R, G, Bデータ40a, 40b, 40cとして出力する。次に、判定回路28は、カウント結果と、欠陥画素位置データとを比較して欠陥画素位置、またはその周辺の画素であるかどうかを判定する（ステップS18）。判定の結果、欠陥画素またはその周辺の画素である場合（YES）、ステップS20に進む。欠陥画素またはその周辺の画素でない場合は（NO）、ステップS22に進む。
【００６５】
ステップS20は次のように行なわれる。R, G, Bデータ40a, 40b, 40cを入力されたノイズリダクション部42は欠陥画素位置またはその周辺では、判定回路28からの信号28bに従って、ノイズ低減フィルタで処理した信号42a, 42b, 42c をRGBごとに出力し（ステップS20）、他の位置では、判定回路28からの信号28bに従って、ノイズリダクション部42に入力された信号をそのまま信号42a, 42b, 42c として出力する。ノイズリダクション部42で処理された信号は画素データ記録部に送られる。
【００６６】
図６に示す次のステップS22, S24, S26, S28 では、Ｈカウンタ36およびＶカウンタ38の処理を行なう。すなわちＨカウンタ36は、次の水平タイミング信号を受けてカウンタをインクリメントする（ステップ22）。Ｈカウンタ36は、カウント値を判定回路28に出力した後、カウント値が水平画素サイズと一致するかどうかを判断する（ステップS24）。
【００６７】
一致するときは（YES）、ステップS26に進み、一致しないときは（NO）、ステップS12に進んで処理を繰り返す。ステップS26ではＨカウンタ36をリセットし、リセットしたという情報をシステム制御部44に送るとともに、カウントを繰り返す。
【００６８】
ステップS28ではＶカウンタ38は、Ｖカウンタ38のカウントが垂直ライン数と一致するかどうかを判断する。一致しないときは（NO）、ステップＳ30に進む。一致するときは（YES）、一画面分の画素データの処理が終了したことを意味する。一致したという情報をシステム制御部44に送る。システム制御部44は、Ｈカウンタ36からのリセット情報とＶカウンタ38からの一致情報とを受けたときにカメラ10の動作を終了させる。
【００６９】
ステップS30ではＶカウンタ38をインクリメントする。その後、ステップS12に進んで処理を繰り返す。
【００７０】
本実施例によれば、欠陥画素補正とノイズリダクションを組み合わせているため、欠陥画素補正のみでは完全に補正できなかった画素データがノイズとして残った場合でも、ノイズを除去したり、低減することができる。その結果、画質が向上する。
【００７１】
また、欠陥画素補正のみでは完全に補正できずノイズが発生するために、不良品として廃棄していた撮像素子を合格品とすることができるため、撮像素子の歩留りが上がり、ひいては撮像素子のコストを下げることができる。
【００７２】
次に、本発明に係わる画像信号処理装置の他の実施例を図７により説明する。以下の説明では、図１の実施例の構成要素およびステップと同一の機能を有するものについては同一の参照符号を用いることとし、その説明も一部省略する。
【００７３】
図７の実施例は、欠陥画素位置またはその周辺の画素に対して欠陥画素補正を行なう。さらに、欠陥画素位置またはその周辺の画素について輪郭出力（画素データの空間２次微分）を求め、輪郭出力が小さいときは、輪郭を弱くするノイズ低減フィルタ、たとえばローパスフィルタによるノイズリダクションの重み付けを大きくする。輪郭出力が大きいときは、輪郭を保持するノイズ低減フィルタ、たとえばメディアンフィルタによるノイズリダクションの重み付けを大きくする。
【００７４】
図７の実施例は、図１の実施例に、輪郭出力46aを算出する輪郭検出部46と、輪郭出力46から混合比（重み付け係数）を決定する混合比判定部48とを付加し、ノイズリダクション部50が、ローパスフィルタの出力とメディアンフィルタの出力とを混合比に応じて混合して出力する。
【００７５】
輪郭検出部46は、RGBデータ40a, 40b, 40cを信号処理部40から入力されて、RGBデータ40a, 40b, 40cから各画素位置における輪郭出力46aを算出し、混合比判定部48に出力する。輪郭検出部46の具体的構成の一例を図８に示す。本回路は画素データの２次微分を算出する回路である。２次微分は次式で求まる。
【００７６】
【数１】
f’’(n)=f(n-1)-(f(n)+f(n-2))/2
【００７７】
ここで、f’’(n)は、ｎ番目の画素の輪郭出力46a、f(n), f(n-1), f(n-2)は、それぞれｎ番目、n-1番目、n-2番目の画素（番号が小さいものが画面上で左側にあるとする）の画素データである。本実施例では、RGBデータ40a, 40b, 40cの和を用いて輪郭を算出することとする。
【００７８】
図８において、RGBデータ40a, 40b, 40cの和(f(n))を加算器52で求め、和を遅延回路54,56で１画素分ずつ遅延する。加算器58で(f(n)+f(n-2)を求め、この結果に乗算器60で1/2を乗算する。遅延回路54の出力（f(n-1)）から、乗算器60の出力を引くと輪郭出力46aが求まる。
【００７９】
なお、輪郭検出部46は、この処理を、処理対象画素が欠陥画素位置またはその周辺の画素であるときに行ない、そうでないときは、この処理を行なわない。処理対象画素が欠陥画素位置またはその周辺の画素であるかどうかを判断するために、判定回路28から信号28bが輪郭検出部46に入力される。
【００８０】
輪郭出力46aを入力される混合比判定部48は、輪郭出力46aが所定の値より大きいときに、当該画素は輪郭部分にあると判定して、メディアンフィルタの混合比ｋとして、0.5より大きい値、たとえば0.8を信号線48aを介してノイズリダクション部50に出力する。混合比判定部48は、輪郭出力46aが所定の値より小さいときは、当該画素は輪郭部分にないと判定して、メディアンフィルタの混合比ｋとして、0.5より小さい値、たとえば0.2を信号線48aを介してノイズリダクション部50に出力する。
【００８１】
ノイズリダクション部50は、RGBデータ40a, 40b, 40cと、混合比48aと、欠陥画素位置またはその周辺の画素であるかどうかという情報28bとを入力されて、欠陥画素位置またはその周辺の画素について、輪郭出力が小さいときは、ローパスフィルタによるノイズリダクションの重み付けを大きくし、輪郭出力が大きいときは、メディアンフィルタによるノイズリダクションの重み付けを大きくして出力する回路である。欠陥画素位置またはその周辺の画素でないときは、ノイズ低減フィルタによる処理を行なわずに、そのまま出力する。
【００８２】
ノイズリダクション部50の具体的構成の一例を図９に示す。ノイズリダクション部50は、入力された信号40aのノイズを低減するノイズ低減部62と、入力された信号40aをそのまま出力する遅延回路64と、両者の出力を選択するスイッチ66とを有する。
【００８３】
ノイズ低減部62は、入力された信号40aを２種類のノイズ低減フィルタ、すなわちローパスフィルタである巡回フィルタ68と、メディアンフィルタである非線形フィルタ70とにより処理し、両者の処理結果を混合比ｋで混合して、信号62aとして出力する。具体的には、信号70aから信号68aを減算器72で減算し、減算器72の出力72aに、混合比判定部48の出力である混合比ｋを乗算器74で乗算する。乗算器74の出力74aと信号68a とを加算器76で加算して出力62aを生成する。
【００８４】
ノイズ低減部62で行なっている処理は、ノイズ低減部62の出力62aをＳ、巡回フィルタ68の出力68aをS_L、非線形フィルタ70の出力70aをS_Mとすると、次式で表される。
【００８５】
【数２】
S＝(S_M-S_L)k+S_L＝KS_M+(1-K)S_L （0≦k≦1）
【００８６】
すなわち、非線形フィルタ70の出力70aにｋの重みを付け、巡回フィルタの出力68aに（1−k）の重みを付けて信号62aとして出力している。
【００８７】
遅延回路64は、ノイズ低減部62の処理に要する時間だけ信号40aを遅延させて出力64aとして出力する。信号62aと、遅延回路の出力64aは、スイッチ66の端子66a、66bにそれぞれ入力され、判定回路28からの信号28bに従って選択されて、信号50aとして出力される。信号28bは、図１の実施例と同様のものであり、処理対象である画素が、欠陥画素もしくはその周辺にある画素であるかどうかを示す情報である。
【００８８】
具体的には、スイッチ66は、処理対象である画素が、欠陥画素もしくはその周辺にある画素である場合は、端子66cを端子66aに接続し、そうでない場合は、端子66cを端子66bに接続する。
【００８９】
ノイズリダクション部50は以上のように構成されており、混合比ｋは、既述のように、輪郭出力の大きさに応じて変わり、スイッチ66の出力は、処理対象である画素が、欠陥画素もしくはその周辺にある画素であるかどうかにより変わる。したがって、ノイズリダクション部50の出力50aは、処理対象である画素が、欠陥画素もしくはその周辺にある画素であって、輪郭出力が大きいときはメディアンフィルタで処理された結果の重みを大きくしたものであり、欠陥画素もしくはその周辺にある画素であって、輪郭出力が小さいときはローパスフィルタで処理された結果の重みを大きくしたものであり、欠陥画素もしくはその周辺にある画素でないときは、ノイズ低減処理がされないものである。
【００９０】
ノイズリダクション部は図９の構成に限られるものではなく、図10のように構成することもできる。図10のノイズリダクション部50は、RGBデータ40a, 40b, 40cと、混合比48aと、欠陥画素位置またはその周辺の画素であるかどうかという情報28bとを入力されて、欠陥画素位置またはその周辺の画素について、輪郭出力が小さいときは、フィルタによるノイズリダクションの重み付けを大きくし、輪郭出力が大きいときは、入力信号40a, 40b, 40cの重み付けを大きくして出力する回路である。欠陥画素位置またはその周辺の画素でないときは、ノイズ低減フィルタによる処理を行なわずに、そのまま出力する。
【００９１】
図10のノイズリダクション部50は、入力された信号40aのノイズを低減するノイズ低減部78と、入力された信号40aをそのまま出力する遅延回路80と、両者の出力を選択するスイッチ66とを有する。
【００９２】
ノイズ低減部78は、入力された信号40aをフィルタ82により処理し、その出力82aと、信号40aとを混合比ｋで混合して、信号78aとして出力する。具体的には、信号82aから信号40aを減算器72で減算し、減算器72の出力72aに、混合比判定部48の出力である混合比ｋを乗算器74で乗算する。乗算器74の出力74aと信号40a とを加算器76で加算して出力78aを生成する。フィルタ82としては、図９に示す巡回フィルタもしくは非線形フィルタを用いる。
【００９３】
ノイズ低減部78で行なっている処理は、信号40aをS₁、ノイズ低減部62の出力78aをＳ、フィルタ82の出力82aをS_Fとすると、次式で表される。
【００９４】
【数３】
S＝(S_F-S₁)k+S₁＝KS_F+(1-K)S₁ （0≦k≦1）
【００９５】
すなわち、フィルタ82の出力にｋの重みを付け、入力された信号40aに（1−k）の重みを付けて信号78aとして出力している。
【００９６】
遅延回路80は、ノイズ低減部78の処理に要する時間だけ信号40aを遅延させて出力80aとして出力する。信号78aと、遅延回路の出力80aは、スイッチ66の端子66a、66bにそれぞれ入力され、判定回路28からの信号28bに従って選択されて、信号50aとして出力される。
【００９７】
図10のノイズリダクション部50は以上のように構成されており、混合比ｋは、輪郭出力の大きさに応じて変わり、スイッチ66の出力は、処理対象である画素が、欠陥画素もしくはその周辺にある画素であるかどうかにより変わる。したがって、ノイズリダクション部50の出力50aは、処理対象である画素が、欠陥画素もしくはその周辺にある画素であって、輪郭出力が大きいときはフィルタで処理された結果の重みを大きくしたものであり、欠陥画素もしくはその周辺にある画素であって、輪郭出力が小さいときは、入力信号40aの重みを大きくしたものであり、欠陥画素もしくはその周辺にある画素でないときは、ノイズ低減処理がされないものである。
【００９８】
次に図７のデジタルカメラ10における画像信号処理の手順について説明する。以下では、本撮影におけるデジタルカメラ10の欠陥画素補正およびノイズ低減処理の動作を、図11に示すフローチャートにより説明する。図11に示す処理に続いて図６に示す処理が行なわれる。図６に示す処理のすべて、および図11と図５に示す処理で同じ処理内容であるステップ（ステップ番号が同じもの）については説明を省略する。したがって、図11のステップS18以降について説明する。
【００９９】
ステップS18において、判定回路28は、Ｈカウンタ36とＶカウンタ38のカウント結果と、欠陥画素データ部90から読み出した欠陥画素位置データとを比較して欠陥画素位置、またはその周辺の画素であるかどうかを判定する。判定の結果、欠陥画素またはその周辺の画素である場合（YES）、ステップS32に進む。欠陥画素またはその周辺の画素でない場合は（NO）、図６のステップS22に進む。
【０１００】
ステップS32は次のように行なわれる。輪郭検出部46は、判定回路28の出力する信号28bを入力されて、処理対象の画素が、欠陥画素またはその周辺の画素であるときは、信号処理部40から入力されたR, G, Bデータ40a, 40b, 40cから、これらのデータの和を求め、和の２次微分（輪郭データ）を算出し、信号46aとして混合比判定部48に出力する。
【０１０１】
次に、ステップS34において、混合比判定部48は、信号46aの大きさを閾値と比較する。輪郭データが閾値より大きいときは、混合比ｋとして、0.8を設定する。閾値より小さいときは、混合比ｋとして、0.2を設定する。混合比ｋは信号48aとしてノイズリダクション部50に出力される。
【０１０２】
R, G, Bデータ40a, 40b, 40cおよび混合比ｋを入力されたノイズリダクション部42は、ノイズ低減部62において、処理対象である画素が、欠陥画素もしくはその周辺にある画素であって、輪郭出力が大きいときは非線形フィルタ（メディアンフィルタ）70で処理された結果の重みを大きくしたものを求め（ステップS36）、欠陥画素もしくはその周辺にある画素であって、輪郭出力が小さいときは巡回フィルタ（ローパスフィルタ）68で処理された結果の重みを大きくしたものを求める（ステップS38）。
【０１０３】
次に、欠陥画素位置またはその周辺では、判定回路28からの信号28bに従って、ノイズ低減部62で処理した信号をRGBごとに信号50a, 50b, 50cとして出力し、他の位置では、判定回路28からの信号28bに従って、ノイズリダクション部50に入力された信号をそのまま信号50a, 50b, 50cとして出力する。ノイズリダクション部50で処理された信号は画素データ記録部に送られる。
【０１０４】
この後、図６に示すステップS22, S24, S26, S28 を行なう。
【０１０５】
本実施例によれば、図１の実施例と同様の効果を達成することができるとともに、輪郭を考慮したノイズリダクションを行なうことができ、輪郭を弱めることがない。
【０１０６】
【発明の効果】
このように本発明によれば、欠陥画素補正がうまく行なわれない場合でも、画質の良いデータが得られるようにして画質を損なうことがない画像信号処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像信号処理装置を適用したデジタルカメラの概略的な構成を示すブロック図である。
【図２】欠陥画素補正の問題点を示す図である。
【図３】ローパスフィルタの構成の一例を示すブロック図である。
【図４】図３のローパスフィルタの処理結果と、処理方式を示す図である。
【図５】図１のデジタルカメラの動作を説明するためのフローチャートである。
【図６】図１のデジタルカメラの動作を説明するためのフローチャートである。
【図７】本発明の画像信号処理装置の他の実施例を適用したデジタルカメラの概略的な構成を示すブロック図である。
【図８】輪郭検出部の構成の一例を示すブロック図である。
【図９】図７のデジタルカメラで用いられるノイズリダクション部の構成の一例を示すブロック図である。
【図１０】図７のデジタルカメラで用いられるノイズリダクション部の構成の他の例を示すブロック図である。
【図１１】図７のデジタルカメラの動作を説明するためのフローチャートである。
【符号の説明】
10 デジタルカメラ
14 遅延回路
16 補正回路
28 判定回路
36 Ｈカウンタ
38 Ｖカウンタ
40 信号処理部
42 ノイズリダクション部
46 輪郭検出部
48 混合比判定部
68 巡回フィルタ
70 非線形フィルタ
90 欠陥画素データ部

Claims (13)

1. 欠陥画素情報記憶手段に記憶された撮像素子の欠陥画素を識別するための情報に基づいて、欠陥画素を補正する画像信号を生成もしくは補正して出力する画像信号処理装置において、該装置は、
   補正しきれずに残った欠陥画素すなわちノイズを低減することができるノイズ低減手段を含み、
   該手段により、前記生成もしくは補正された画像信号を処理することを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記ノイズ低減手段は、複数種類のノイズ低減処理手段を含み、
   該装置は、前記欠陥画素を識別するための情報に基づいて、前記複数のノイズ低減処理手段の処理結果の重み付けを各画素に応じて判定する判定手段を含み、
   前記ノイズ低減手段は、該判定手段により判定された重み付けに従って、前記複数のノイズ低減処理手段の処理結果の重み付けを行なうことを特徴とする画像信号処理装置。
3. 請求項２に記載の画像信号処理装置において、
   前記複数種類のノイズ低減処理手段は、ローパスフィルタとメディアンフィルタであることを特徴とする画像信号処理装置。
4. 請求項１に記載の画像信号処理装置において、該装置は、前記欠陥画素であると識別するための情報に基づいて、各画素に対して、前記ノイズ低減手段による処理を行なうかどうかを各画素に応じて判定する判定手段を含み、
   前記ノイズ低減手段は、該判定手段によりノイズ低減処理を行なうと判定された画素に対してノイズ低減処理を行なうことを特徴とする画像信号処理装置。
5. 請求項１に記載の画像信号処理装置において、該装置は、前記欠陥画素であると識別するための情報に基づいて、各画素に対して、前記ノイズ低減手段による処理結果の重み付けを各画素に対して判定する判定手段を含み、
   前記ノイズ低減手段は、該判定手段により判定された重み付けに従って、前記ノイズ低減処理手段の処理結果の重み付けを行なうことを特徴とする画像信号処理装置。
6. 請求項２から５までのいずれかに記載の画像信号処理装置において、前記判定手段は、前記欠陥画素が画像の輪郭部に位置するかどうかを考慮して低減信号の判定を行なうことを特徴とする画像信号処理装置。
7. 請求項６に記載の画像信号処理装置において、欠陥画素位置またはその周辺の画素であるときに輪郭検出を行ない、そうでないときには輪郭検出を行なわないことを特徴とする画像信号処理装置。
8. 欠陥画素情報記憶手段に記憶された撮像素子の欠陥画素を識別するための情報に基づいて、欠陥画素を補正する画像信号を生成もしくは補正して出力する欠陥画素補正方法において、該方法は，
   前記生成もしくは補正された画像信号に対して、補正しきれずに残った欠陥画素すなわちノイズを低減することができるノイズ低減処理を行なうことを特徴とする欠陥画素補正方法。
9. 請求項８に記載の欠陥画素補正方法において、
   前記ノイズ低減処理として、複数種類のノイズ低減処理方法を含み、
   前記欠陥画素であると識別するための情報に基づいて、前記複数のノイズ低減処理手段の処理結果の重み付けを各画素に応じて判定し、
   該判定された重み付けに従って、前記複数のノイズ低減処理方法による処理結果の重み付けを行なうことを特徴とする欠陥画素補正方法。
10. 請求項９に記載の欠陥画素補正方法において、
    前記複数種類のノイズ低減処理方法は、ローパスフィルタによる方法とメディアンフィルタによる方法であることを特徴とする欠陥画素補正方法。
11. 請求項８に記載の欠陥画素補正方法において、前記欠陥画素であると識別するための情報に基づいて、各画素に対して、前記ノイズ低減処理を行なうかどうかを各画素に応じて判定し、
    該判定によりノイズ低減処理を行なうと判定された画素に対してノイズ低減処理を行なうことを特徴とする欠陥画素補正方法。
12. 請求項９から11までのいずれかに記載の欠陥画素補正方法において、前記判定は、画像の輪郭部に位置するかどうかを考慮して判定を行なうことを特徴とする欠陥画素補正方法。
13. 請求項12に記載の欠陥画素補正方法において、欠陥画素位置またはその周辺の画素であるときに輪郭検出を行ない、そうでないときには輪郭検出を行なわないことを特徴とする欠陥画素補正方法。

Images