JP4557795B2

JP4557795B2 - データ補正処理装置及びデータ補正処理方法

Info

Publication number: JP4557795B2
Application number: JP2005145799A
Authority: JP
Inventors: 充岩脇
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-05-18
Filing date: 2005-05-18
Publication date: 2010-10-06
Anticipated expiration: 2025-05-18
Also published as: JP2006324908A

Description

本発明は、半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子から得られる多数の画素データの補正処理を行うデータ補正処理装置に関する。

半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子が知られている。このような固体撮像素子に含まれる光電変換素子には、その製造工程等に起因して、入射光に反応しない光電変換素子や、入射光がなくても異常に多い暗電流を発生する光電変換素子等の欠陥素子が含まれていることがしばしばある。これら欠陥素子は、例えばそれぞれ「黒キズ」および「白キズ」と称され、固体撮像素子ではこれら欠陥素子自体を完全に除去することが困難である。

そこで、固体撮像素子から出力される多数の画素データにおいて、これらの欠陥素子にて生成される欠陥画素データを、その周囲の光電変換素子から得られる画素データを利用して補正する欠陥画素データの補正方式が提案されている。欠陥画素データを補正する場合、例えば、その欠陥素子の周囲に隣接する複数の光電変換素子からの画素データを単純平均して、その平均値を当該欠陥画素データに置き換える方式があった。

しかしながら、上述のような補正方式では、例えば複数の欠陥素子が隣接して存在する場合には、処理対象となる欠陥素子に隣接する他の欠陥素子からの欠陥画素データを用いて欠陥補正を行うことになってしまい、適切な欠陥補正が行われているとは言えなかった。そこで、このような不具合を解消するために、特許文献１記載の方法が提案されている。

特開２０００−２４４８２３号公報

特許文献１記載の方法では、固体撮像素子から得られた多数の画素データを一旦フレームメモリに蓄積してから欠陥補正処理を行うため、高速処理が必要な動画撮影や連写撮影等には適さない。又、フレームメモリを必要とするため回路規模が大きくなってしまう。

本発明は、上記事情に鑑みてなされたものであり、欠陥のある光電変換素子から得られる欠陥画素データの欠陥補正を高速に行い且つ回路規模を小さくすることが可能なデータ補正処理装置を提供することを目的とする。

本発明のデータ補正処理装置は、半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子から得られる多数の画素データの補正処理を行うデータ補正処理装置であって、前記画素データを一時的に保持し、前記固体撮像素子に含まれる第１の光電変換素子と、前記第１の光電変換素子の周辺に二次元状に配列されている第２の光電変換素子とを含む光電変換素子群から得られる画素データである二次元画素データを同時に出力する二次元画素データ保持出力手段と、前記第１の光電変換素子が欠陥素子である場合に、前記二次元画素データのうち、前記第１の光電変換素子とは異なる色を検出する光電変換素子以外から得られた画素データと、該画素データに含まれる前記欠陥素子から得られた欠陥画素データの位置及び数とで決まる欠陥パターンを判別する欠陥パターン判別手段と、前記欠陥パターンに基づいて欠陥補正処理用の演算式を決定する演算式決定手段と、前記二次元画素データと前記演算式とを用いて、前記第１の光電変換素子から得られる画素データである第１画素データの欠陥補正処理を行う欠陥補正処理手段とを備える。

この構成により、欠陥のある光電変換素子から得られる欠陥画素データの欠陥補正を高速に行い且つ回路規模を小さくすることが可能となる。

本発明のデータ補正処理装置は、前記演算式決定手段が、前記欠陥パターンと、前記欠陥パターンを構成する画素データのうち前記欠陥画素データを除く画素データの輝度値とに基づいて前記演算式を決定する。

この構成により、輝度の急激な変化を考慮した欠陥補正が可能となる。

本発明のデータ補正処理装置は、前記画素データ保持出力手段に入力する画素データのうちの前記欠陥画素データを、前記欠陥素子周辺の光電変換素子から得られた画素データで置換する画素データ置換手段を備える。

この構成により、欠陥補正の信頼性をより向上させることができる。

本発明のデータ補正処理装置は、前記第１の光電変換素子が前記欠陥素子でない場合に、前記二次元画素データを用いて、前記第１画素データのノイズ低減処理を行うノイズ低減処理手段を備える。

本発明のデータ補正処理装置は、前記欠陥補正処理手段が、複数の演算器を含み、前記複数の演算器の中から前記演算式に必要な演算器を選択して使用する。

この構成により、回路規模を削減することができる。

本発明のデータ補正処理装置は、前記ノイズ低減処理手段が、前記欠陥補正処理手段に含まれる前記複数の演算器の少なくとも一部を利用して前記ノイズ低減処理を行う。

この構成により、回路規模を削減することができる。

本発明のデータ補正処理方法は、半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子から得られる多数の画素データの補正処理を行うデータ補正処理方法であって、前記画素データを一時的に保持し、前記固体撮像素子に含まれる第１の光電変換素子と、前記第１の光電変換素子の周辺に二次元状に配列されている第２の光電変換素子とを含む光電変換素子群から得られる画素データである二次元画素データを同時に出力する二次元画素データ保持出力工程と、前記第１の光電変換素子が欠陥素子である場合に、前記二次元画素データのうち、前記第１の光電変換素子とは異なる色を検出する光電変換素子以外から得られた画素データと、該画素データに含まれる前記欠陥素子から得られた欠陥画素データの位置及び数とで決まる欠陥パターンを判別する欠陥パターン判別工程と、前記欠陥パターンに基づいて欠陥補正処理用の演算式を決定する演算式決定工程と、前記二次元画素データと前記演算式とを用いて、前記第１の光電変換素子から得られる画素データである第１画素データの欠陥補正処理を行う欠陥補正処理工程とを含む。

本発明によれば、欠陥のある光電変換素子から得られる欠陥画素データの欠陥補正を高速に行い且つ回路規模を小さくすることが可能なデータ補正処理装置を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態を説明するためのデジタルカメラの要部概略構成を示す図である。
図１に示すデジタルカメラ１００は、半導体基板上の行方向及びこれに直交する列方向に配列された多数の光電変換素子を有するＣＣＤ型やＭＯＳ型の固体撮像素子１と、固体撮像素子１の多数の光電変換素子から出力された多数の画素データをデジタル変換するＡ／Ｄ変換部２と、バッファ３と、タイミングジェネレータ（ＴＧ）４と、固体撮像素子１に含まれる多数の光電変換素子のうち欠陥のある光電変換素子（以下、欠陥素子という）から得られる欠陥画素データを、欠陥素子の周囲にある光電変換素子から得られる画素データで置換する置換部５と、Ｈ／Ｖカウンタ６と、予めテスタ装置等によって検査して得られている固体撮像素子１の欠陥素子の位置を示す欠陥位置情報を記憶するルックアップテーブル（ＬＵＴ）７と、置換部５から出力された画素データを一時的に保持し、データ補正対象の光電変換素子である第１の光電変換素子と、その周辺に二次元状に配列されている複数の光電変換素子である第２の光電変換素子とを含む光電変換素子群から得られる画素データである二次元画素データを同時に出力する二次元画素データ保持出力部８と、二次元画素データ保持出力部８から出力された二次元画素データのうち、第１の光電変換素子から得られた第１画素データに対して欠陥補正処理又はノイズリダクション（ＮＲ）処理等のデータ補正を行うデータ補正部９と、データ補正部９から出力された多数の画素データに対し、補間処理、同時化処理、ＹＣ変換処理、ガンマ補正処理、及びＯＢ補正処理等の信号処理を施す信号処理部１０とを備える。尚、置換部５、二次元画素データ保持出力部８、データ補正部９、及び信号処理部１０のいずれにおいてもパイプライン処理がなされているものとし、これによって画素データの高速逐次処理が可能となる。

固体撮像素子１は、多数の光電変換素子が正方格子状に配列されたものや、多数の光電変換素子が特開平１０−１３６３９１号公報に記載されたようないわゆるハニカム状に配列されたもの等を用いることができる。以下の説明では、固体撮像素子１に含まれる多数の光電変換素子はハニカム状に配列されているものとする。又、本実施形態では、１つの光電変換素子から出力されるデータのことを画素データと定義している。

又、固体撮像素子１は原色系のカラーフィルタを有しており、多数の光電変換素子には、例えば赤色（Ｒ）を検出する光電変換素子と、緑色（Ｇ）を検出する光電変換素子と、青色（Ｂ）を検出する光電変換素子とが含まれる。尚、カラーフィルタは補色系のものであっても良い。又、カラーフィルタの配列は規則配列（一意にＲＧＢの相対位置を定めた配列）であれば特に限定されない。

バッファ３は、固体撮像素子１と、置換部５、二次元画素データ保持出力部８、データ補正部９、及び信号処理部１０との駆動速度差を吸収するものであり、一般的なＦＩＦＯ等によって構成される。バッファ３は、ＴＧ４からの同期信号に応じて、設定された位置の画素データを取り込み、有効データを示すｅｎａｂｌｅ信号と共に置換部５に出力する。

Ｈ／Ｖカウンタ６は、ｅｎａｂｌｅ信号とＴＧ４からの同期信号に応じて、置換部５に入力された画素データの色成分と、その画素データの出力元の光電変換素子の位置とを特定する。

置換部５は、Ｈ／Ｖカウンタ６で特定された光電変換素子の位置を示す情報とＬＵＴ７に記憶されている欠陥素子の位置を示す情報とを比較し、双方が一致する場合は、該画素データを欠陥画素データと判断し、その欠陥画素データを、該光電変換素子の周辺の同色成分を検出する光電変換素子から得られる画素データで置換すると共に、置換後の画素データに、その画素データが欠陥画素データであることを示す欠陥情報を付加して出力する。置換部５は、特許請求の範囲の画素データ置換手段に該当する。

図２は、図１に示す置換部内部の概略構成を示すブロック図である。
図２に示すように、置換部５は、Ｒ成分の画素データを保持するｆｌｉｐ−ｆｌｏｐ等の画素データ保持素子５２と、Ｇ成分の画素データを保持するｆｌｉｐ−ｆｌｏｐ等の画素データ保持素子５３と、Ｂ成分の画素データを保持するｆｌｉｐ−ｆｌｏｐ等の画素データ保持素子５４と、画素データ保持素子５２，５３，５４のいずれかに保持されている画素データと、置換部５に入力された画素データのいずれかを出力させるマルチプレクサ（ＭＵＸ）５５と、画素データ保持素子５２，５３，５４に画素データを保持させるか否かの判断を行うデータ保持判断部５１とを備える。データ保持判断部５１は、ＭＵＸ５５から出力させる画素データを指定するデータ選択判断部５１ａと、ＭＵＸ５５から出力された画素データが欠陥画素データであるか否かを示す欠陥情報を付加する欠陥情報付加部５１ｂとを含む。

欠陥情報は、例えば欠陥の在り無しが１ビットにて示される情報であり、この１ビットデータが画素データのＭＳＢやＬＳＢのいずれかに付加される。尚、欠陥情報は、欠陥の在り無しだけでなく、より詳細な情報、例えば、画素データが置換済みであるのか否かを示す情報や、どのような置換方法をとったのかを示す情報や、前後の画素データにも欠陥画素データが含まれているか否かを示す情報等を示す複数ビットの情報であっても良い。又、置換部５から出力される画素データには、その色成分を示す色情報も付加されているものとする。

データ保持判断部５１に入力された画素データは、Ｈ／Ｖカウンタ６により色成分及びその出力元の光電変換素子の位置が特定され、その光電変換素子の位置情報と、ＬＵＴ７に記憶されている欠陥素子の位置情報とが比較される。そして、双方が一致しない場合、入力された画素データは欠陥画素データではないと判断され、この画素データは上記特定された色成分に応じた画素データ保持素子５２，５３，５４に保持されると共に、ＭＵＸ５５からそのまま外部へと出力され、出力された画素データには欠陥画素データではないことを示す欠陥情報が付加される。

一方、双方が一致した場合、入力された画素データは画素データ保持素子５２，５３，５４には保持されず、ＭＵＸ５５からは、画素データ保持素子５２，５３，５４のいずれかに保持されている、該入力された画素データの色成分と同色成分の画素データが出力され、出力された画素データには欠陥画素データであることを示す欠陥情報が付加される。

例えば、置換部５にＲ成分の画素データとＢ成分の画素データが交互に入力され、３番目〜５番目に入力された３つの画素データが欠陥画素データである場合を例にすると、図２に示すように、１番目と２番目に入力された画素データは欠陥画素データないことを示す欠陥情報が付加されてそのまま出力され、３番目に入力された欠陥画素データは１番目に入力されたＲ成分の画素データで置換されてから、欠陥画素データであることを示す欠陥情報が付加されて出力される。同様に、４番目に入力された欠陥画素データは２番目に入力されたＢ成分の画素データで置換され、５番目に入力された欠陥画素データは１番目に入力されたＲ成分の画素データで置換されてから、欠陥画素データであることを示す欠陥情報が付加されて出力される。

図１に戻り、二次元画素データ保持出力部８は、固体撮像素子１から得られた画素データを一時的に保持し、固体撮像素子１に含まれる多数の光電変換素子のうち、図３に示すように、第１の光電変換素子３０と、その周辺に二次元状に配列されている第２の光電変換素子３１とを含む例えば５行×５列分の光電変換素子群から得られる１３個の画素データ（以下、二次元画素データとも言う）をデータ補正部９に同時に出力する。二次元画素データ保持出力部８は、４つのラインメモリ８１と、フリップフロップからなる１３個の遅延素子８２とが図示したように接続された構成になっている。

図４は、図１に示すデータ補正部の概略構成を示すブロック図である。
データ補正部９は、二次元画素データ保持出力部８から出力された１３個の画素データの各々に付加されている色情報と欠陥情報を取得し、これらに基づいて第１の光電変換素子３０から得られた第１画素データに対して行うべきデータ処理内容を決定するデータ処理内容決定部９１と、データ処理内容決定部９１で決定された内容でデータ処理を行うように指示を出すデータ処理内容指示部９２と、データ処理内容指示部９２からの指示にしたがって第１画素データに対して欠陥補正処理又はＮＲ処理等のデータ補正処理を行うデータ補正処理部９３とを備える。

データ補正処理部９３は、欠陥補正処理やＮＲ処理に用いる加算器、減算器、乗算器、及び比較器等を含む複数の演算器を含み、データ補正処理の内容に応じて最適な演算器を選択して演算処理を実行する。尚、データ補正処理部９３は、欠陥補正処理を行うために必要な演算器と、ＮＲ処理を行うために必要な演算器とを別々に持っていていても良い。データ補正処理部９３は、特許請求の範囲の欠陥補正処理手段及びノイズ低減処理手段に該当する。

図５は、図４に示すデータ処理内容決定部９１の概略構成を示す図である。
データ処理内容決定部９１は、二次元画素データに含まれる欠陥画素データの個数を欠陥情報に基づいて判別する欠陥画素データ個数判別部９１ａと、二次元画素データに含まれる欠陥画素データの二次元画素データ上での位置を欠陥情報に基づいて判別する欠陥画素データ位置判別部９１ｂと、欠陥画素データ個数判別部９１ａ及び欠陥画素データ位置判別部９１ｂの判別結果と色情報とに基づいて欠陥補正処理を指示するための欠陥補正処理指示情報を生成して出力する欠陥補正処理選択部９１ｃと、上記判別結果と色情報とに基づいてＮＲ処理を指示するためのＮＲ処理指示情報を生成して出力するＮＲ処理選択部９１ｄとを備える。

ＮＲ処理選択部９１ｄは、二次元画素データに含まれる第１画素データが欠陥画素データであった場合、ＮＲ処理指示情報を生成せず、二次元画素データに含まれる第１画素データが欠陥画素データでなかった場合、ＮＲ処理指示情報を生成して出力する。ＮＲ処理指示情報は、どのような演算式にどのような入力を行ってＮＲ処理を行うべきかを指定する情報である。

欠陥補正処理選択部９１ｃは、二次元画素データに含まれる第１画素データが欠陥画素データでなかった場合、欠陥補正処理指示情報を生成せず、二次元画素データに含まれる第１画素データが欠陥画素データであった場合、欠陥補正処理指示情報を生成して出力する。欠陥補正処理指示情報は、どのような演算式にどのような入力を行って欠陥補正処理を行うべきかを指定する情報である。

欠陥補正選択処理部９１ｃは、二次元画素データに含まれる第１画素データが欠陥画素データであった場合、二次元画素データのうち、第１画素データと、これと同色成分の画素データと、これらの画素データに含まれる欠陥画素データの位置及び数とで決まる欠陥パターンを判別し、判別した欠陥パターンに基づいて最適な演算式を決定し、欠陥補正処理指示情報を生成する。欠陥補正処理選択部９１ｃは、特許請求の範囲の欠陥パターン判別手段及び演算式決定手段に該当する。欠陥パターンの判別は、内部のルックアップテーブル（ＬＵＴ）９１１に記憶してある欠陥パターン判別用パターンのどれと一致するかによって判別する。

ここで、二次元画素データのパターンについて説明する。以下の説明で用いる図面（図６〜図１０）において、“Ｒ”を付した要素はＲ成分の画素データを示し、“Ｇ”を付した要素はＧ成分の画素データを示し、“Ｂ”を付した要素はＢ成分の画素データを示し、黒く塗りつぶしてある要素は欠陥画素データを示している。

図６に示すように、多数の光電変換素子の一部に、３つ連続して欠陥素子が含まれている場合を例にして説明する。この場合、多数の光電変換素子の配列と欠陥素子の配列との組み合わせのパターンは図６（ａ）〜（ｄ）に示すような４つが考えられる。

更に、図６（ａ）に示すパターンの場合は、カラーフィルタパターンとの組み合わせで図７（ａ）〜（ｄ）に示すような４つのパターンが考えられる。又、二次元画素データ保持出力部８から出力される１３個の画素データだけに注目した場合、図７（ａ）に示すパターンからは図８（ａ）〜（ｃ）に示す３つのパターンを抽出することができ、図７（ｂ）に示すパターンからは、図９（ａ）〜（ｃ）に示す３つのパターンを抽出することができる。

図７（ｃ），（ｄ）に示すパターンからも同様に３つのパターンを抽出することができるため、図６（ａ）に示すパターンだけで１２通りのパターンが考えられることになる。図６（ｂ）〜（ｄ）のそれぞれについても１２通りのパターンが考えられるため、図６に示すような３つ連続した欠陥素子を持つ固体撮像素子１は、二次元画素データ保持出力部８から出力される１３個の画素データだけに注目した場合、１３個の画素データのパターンとして全部で４８通りのパターンが存在することになる。

欠陥補正処理選択部９１ｃが、これら４８通りのパターンを欠陥パターン判別用パターンとして内部メモリ９１１に記憶しておき、欠陥パターン判別用パターンと、実際に画素データ保持出力部８から出力される１３個の画素データのパターンとを比較して、その１３個の画素データの欠陥パターンを判別しても良いが、これだと欠陥パターンの判別に時間がかかってしまうと共に、内部メモリ９１１の容量を大きくしなければならず、回路規模が拡大してしまう。

そこで本実施形態では、４８通りのパターンを図１０（ａ）〜（ｅ）に示すような５つのパターンに集約し、これを内部メモリ９１１に記憶しておくようにしている。第１画素データが欠陥画素データであった場合の欠陥補正処理は、１３個の画素データのうち、第１画素データと、第１画素データと同色成分の画素データとを用いて行うものである。このため、図８（ａ）に示すパターンと、図９（ａ）に示すパターンとは全く同じ演算式を用いて欠陥補正処理を行うことになる。図８（ｂ）に示すパターンと、図９（ｂ）に示すパターンも同様である。図８（ｃ）に示すパターンと図９（ｃ）に示すパターンは、処理対象となる欠陥画素データの色成分が異なるが、欠陥補正処理に用いる演算式は同一である。

このような考えに立つと、欠陥パターン判別用パターンは、第１画素データと、それと同色成分の画素データと、これら画素データに含まれる欠陥画素データの位置及び数とで決まる図１０に示す５通りのパターンだけを用意しておくだけで十分となる。これにより、回路規模を削減することができる。

尚、図１０に示す５通りのパターンとのパターンマッチングで欠陥パターンを判別する代わりに、ＬＵＴ９１１に、１３個の画素データのうちの同一色成分の画素データのパターンにおける欠陥画素データの個数及び位置をインデックスとして複数パターン記憶しておき、このＬＵＴ９１１に、１３個の画素データに付属している欠陥情報を入力することで、どのインデックスと一致するか判別して、欠陥パターンの判別を行っても良い。このような処理を行うことで、パイプライン処理が可能となり、高速処理が可能となる。

図１１は、欠陥素子が５つ連続して存在する場合（ａ）と、欠陥素子が７つ連続して存在する場合（ｂ）を示す図である。このような場合は、図１０に示すパターンに加え、図１２にしめすような欠陥パターン判別用パターンを追加するだけで、全ての欠陥パターンの判別が可能となる。

データ補正処理部９３は、欠陥補正処理指示情報で指定されている演算式と、入力された二次元画素データとを用いて欠陥補正処理を行う。具体的には、欠陥補正処理指示情報で指定されている演算式に必要な演算器を選択し、演算器に二次元画素データを入力して欠陥補正処理を行う。これにより、欠陥パターンに応じて最適な欠陥処理を行うことができ、欠陥素子が連続して存在する固体撮像素子であっても、高精度の欠陥補正が可能となる。

以下、データ補正処理部９３の行うデータ補正処理の具体例について説明する。
まず、ＮＲ処理時の動作について説明する。
図１３（ａ）に示すような１３個の画素データが二次元画素データとして出力された場合を例にする。図１３（ａ）では、第１画素データがＧ成分の例を示し、Ｇ成分以外の画素データには符号を付していない。この場合は、第１画素データｇ５が欠陥画素データではないため、ＮＲ処理選択部９１ｄは、第１画素データｇ５に対してＮＲ処理を行うための演算式を決定し、ＮＲ処理指示情報を生成する。

ＮＲ処理選択部９１ｄは、図１３（ａ）に示した演算式Gnr_nm11と演算式Gnr_nm12のいずれかを演算式として決定する。そして、データ補正処理部９３が、該決定された演算式に必要な演算器を選択し、選択した演算器を用いて第１画素データｇ５に対してＮＲ処理を行う。

演算式Gnr_nm11は、画素データｇ２，ｇ４，ｇ５，ｇ６，ｇ８を小さい順に並べたときの中間に位置する画素データを出力値とするもので、メディアンフィルタと呼ばれる処理である。

演算式Gnr_nm12は、加重平均処理によってローパスフィルタ処理を行うもので、ここでは４入力加算器と２入力加算器の２つの演算器からなる構成としている。

ＮＲ処理選択部９１ｄは、例えば、画素データｇ２，ｇ４，ｇ５，ｇ６，ｇ８の最大値と最小値を求めてその差分をとり、その値が閾値より大きければGnr_nm11を、閾値より小さければGnr_nm12を演算式として決定する。尚、ここでは、２つの演算式のいずれかを選択して決定するものとしたが、回路を簡略化するために、Gnr_nm11及びGnr_nm12のいずれかだけを常に演算式として決定するようにしても良い。

演算式Gnr_nm11又は演算式Gnr_nm12を用いてＮＲ処理を行うだけでも十分にノイズを低減させることはできるが、このＮＲ処理においても、欠陥画素データの位置及び数を考慮した処理を行うことで、より効果的にノイズを低減させることができる。

この場合は、二次元画素データに含まれる第１画素データと、その同色成分の画素データと、これら画素データに含まれる欠陥画素データの位置及び数とで決まるＮＲ用欠陥パターンをＮＲ処理選択部９１ｄが判別し、判別したＮＲ用欠陥パターンに応じた最適な演算式を決定すれば良い。尚、このＮＲ用欠陥パターンを判別するための判別用パターンの数は、上述した欠陥パターン判別用パターンと同様の考え方を用いることで、その数を減らすことが可能である。

ＮＲ用欠陥パターンが図１３（ｂ）に示すようなパターンになっている例で説明する。尚、図１３（ｂ）では、Ｇ成分以外の画素データには符号を付していない。この例では、画素データが８ビットとすると、演算式Gnr_nm11の入力を画素データｇ４，ｇ５，ｇ６、０、２５５に変更した演算式Gnr_dg1と、演算式Gnr_nm12の４入力加算器の入力を画素データｇ１，ｇ３，ｇ７，ｇ９に変更した演算式Gnr_dg2のいずれかを、ＮＲ処理選択部９１ｄが演算式として決定する。

演算式Gnr_dg1に用いる演算器は演算式Gnr_nm11に用いる演算器を全て利用することができ、演算式Gnr_dg2に用いる演算器は演算式Gnr_nm12に用いる演算器を全て利用することができる。このように、使用する演算器は変更せず、その入力を変更するだけでＮＲ処理内容を変更することができるため、欠陥画素データを考慮したＮＲ処理を行う場合でも、データ補正処理部９３の回路規模を大きくする必要はない。

次に、欠陥補正処理時の動作について説明する。
欠陥補正処理選択部９１ｃが判別した欠陥パターンが図１３（ｃ）に示すものであったときを例にする。図１３（ｃ）では、Ｇ成分以外の画素データには符号を付していない。この例では、画素データが８ビットとすると、演算式Gnr_nm11の入力のうち、画素データｇ５を０に変更し、画素データｇ６を２５５に変更した演算式Gdc_spg1と、演算式Gdc_spg2とのいずれかを、欠陥補正処理選択部９１ｃが演算式として決定する。そして、データ補正処理部９３が、該決定された演算式に必要な演算器を選択し、選択した演算器を用いて第１画素データｇ５に対して欠陥補正処理を行う。

演算式Gdc_spg1に用いる演算器は演算式Gnr_nm11に用いる演算器を全て利用することができ、演算式Gdc_spg2に用いる演算器は演算式Gnr_nm12に用いる演算器の一部を利用することができる。このように、ＮＲ処理に用いる演算器の少なくとも一部と欠陥補正処理に用いる演算器の少なくとも一部とを兼用することができるため、データ補正処理部９３の回路規模を削減することが可能である。

以上のように、本実施形態のデジタルカメラ１００によれば、固体撮像素子１に欠陥素子が複数連続して存在している場合でも、その欠陥素子の位置及び数と、カラーフィルタパターンとで決まる欠陥パターンを判別し、判別した欠陥パターンに応じた最適な演算式を用いて欠陥補正処理を行うため、高精度の欠陥補正が可能となる。

又、本実施形態では、パイプライン処理によって上述した最適な欠陥補正やＮＲ補正が可能なため、高速処理が必要な動画撮影モード等を有するデジタルカメラに特に有効である。

又、本実施形態のデジタルカメラ１００によれば、内部メモリ９１１に記憶しておく欠陥パターン判別用パターンを可能な限り少なくすることができるため、回路規模を削減することができる。

又、本実施形態のデジタルカメラ１００によれば、ＮＲ処理時は欠陥補正処理を行わず、欠陥補正処理時はＮＲ処理を行わない構成とし、ＮＲ処理時には複数の演算器の中から必要なものだけを選択して使用し、欠陥補正処理時には該複数の演算器の中から必要なものだけを選択して使用するため、データ補正処理部９３にＮＲ処理に必要な演算器と、欠陥補正処理に必要な演算器とを独立して持っておく必要がなく、回路規模を大幅に削減することができる。

又、本実施形態のデジタルカメラ１００によれば、仮に、欠陥画素データの欠陥補正処理が正常に行われなかった場合でも、欠陥画素データは置換部５によって正常な画素データで置換したデータとなっているため、画質が大幅に低下するといった事態を避けることができる。

（第二実施形態）
本発明の第二実施形態を説明するためのデジタルカメラは、第一実施形態で説明したデジタルカメラ１００において、データ処理内容決定部９１の構成を若干変更したものである。

図１４は、本発明の第二実施形態を説明するためのデジタルカメラのデータ処理内容決定部の概略構成を示す図である。図１４において図５と同じ構成には同一符号を付してある。

図１４に示すデータ処理内容決定部９１は、図５に示すデータ処理内容決定部９１の構成に、二次元画素データの輝度情報を生成し、これを欠陥補正処理又はＮＲ処理用の演算式の決定条件情報として出力する輝度情報生成部９１ｅを加え、欠陥補正処理選択部９１ｃを９１ｃ’に変更し、ＮＲ処理選択部９１ｄをＮＲ処理選択部９１ｄ’に変更したものである。

欠陥補正処理選択部９１ｃ’は、欠陥パターンと、輝度情報生成部９１ｅから出力された輝度情報とに基づいて最適な演算式を決定する。

ＮＲ処理選択部９１ｄ’は、ＮＲ用欠陥パターンと、輝度情報生成部９１ｅから出力された輝度情報とに基づいて最適な演算式を決定する。尚、ＮＲ処理選択部９１ｄ’をＮＲ処理選択部９１ｄのままとし、輝度情報生成部９１ｅからＮＲ処理選択部９１ｄに輝度情報が出力されないような構成としても良い。

以下、データ補正処理部９３の行うデータ補正処理の具体例について説明する。
まず、ＮＲ処理時の動作について説明する。
図１５（ａ）に示すような１３個の画素データが二次元画素データとして出力された場合を例にする。図１５（ａ）では、Ｇ成分以外の画素データには符号を付していない。輝度情報生成部９１ｅは、画素データｇ１の輝度値と画素データｇ３の輝度値を加算した値と、画素データｇ７の輝度値と画素データｇ９の輝度値を加算した値との差分の絶対値Ａと、画素データｇ１の輝度値と画素データｇ７の輝度値を加算した値と、画素データｇ３の輝度値と画素データｇ９の輝度値を加算した値との差分の絶対値Ｂを算出し、絶対値Ａ及び絶対値ＢをＮＲ処理選択部９１ｄ’に入力する。

ＮＲ処理選択部９１ｄ’は、ＮＲ用欠陥パターンを判別し、判別したＮＲ用欠陥パターンに基づいて図１５（ａ）に示す３つの演算式（演算式Gnr_dg3、演算式Gdc_spg2、演算式Gnr_dg4）を決定し、この中から最適な演算式を上記絶対値Ａ及び絶対値Ｂに基づいて決定する。

具体的にＮＲ処理選択部９１ｄ’は、絶対値Ａが絶対値Ｂよりも大きく、且つ、絶対値Ａが閾値Ｔｈ１より大きい場合、演算式Gnr_dg3を演算式として決定し、絶対値Ａが絶対値Ｂよりも大きく、且つ、絶対値Ａが閾値Ｔｈ１より小さい場合、演算式Gdc_spg2を演算式として決定する。又、絶対値Ｂが絶対値Ａよりも大きく、且つ、絶対値Ｂが閾値Ｔｈ１より大きい場合、演算式Gnr_dg4を演算式として決定し、絶対値Ｂが絶対値Ａよりも大きく、且つ、絶対値Ｂが閾値Ｔｈ１より小さい場合、演算式Gdc_spg2を演算式として決定する。そして、データ補正処理部９３が、該決定された演算式に必要な演算器を選択し、選択した演算器を用いて第１画素データｇ５に対してＮＲ処理を行う。

このようにすることで、図１５（ａ）に示す二次元画素データにおいて、１列目と５列目で画素データの輝度が大きく変化している場合や、１行目と５行目で画素データの輝度が大きく変化している場合でも、その変化を考慮した最適なＮＲ処理が可能となる。

次に、欠陥補正処理時の動作について説明する。
図１５（ｂ）に示すような１３個の画素データが二次元画素データとして出力された場合を例にする。図１５（ｂ）では、Ｇ成分以外の画素データには符号を付していない。輝度情報生成部９１ｅは、上述した絶対値Ａと絶対値Ｂを算出し、これらを欠陥補正処理選択部９１ｃ’に入力する。

欠陥補正処理選択部９１ｃ’は、欠陥パターンを判別し、判別した欠陥パターンに基づいて図１５（ｂ）に示す３つの演算式（演算式Gdc_spg1、演算式Gdc_spg2、演算式Gdc_spg3）を決定し、この中から最適な演算式を上記絶対値Ａ及び絶対値Ｂに基づいて決定する。

具体的に欠陥補正処理選択部９１ｃ’は、絶対値Ａが絶対値Ｂよりも大きく、且つ、絶対値Ａが閾値Ｔｈ２より大きい場合、演算式Gdc_spg1を演算式として決定し、絶対値Ａが絶対値Ｂよりも大きく、且つ、絶対値Ａが閾値Ｔｈ２より小さい場合、演算式Gdc_spg2を演算式として決定する。又、絶対値Ｂが絶対値Ａよりも大きく、且つ、絶対値Ｂが閾値Ｔｈ２より大きい場合、演算式Gdc_spg3を演算式として決定し、絶対値Ｂが絶対値Ａよりも大きく、且つ、絶対値Ｂが閾値Ｔｈ２より小さい場合、演算式Gdc_spg2を演算式として決定する。そして、データ補正処理部９３が、該決定された演算式に必要な演算器を選択し、選択した演算器を用いて第１画素データｇ５に対して欠陥補正処理を行う。

このようにすることで、図１５（ｂ）に示す二次元画素データにおいて、１列目と５列目で画素データの輝度が大きく変化している場合や、１行目と５行目で画素データの輝度が大きく変化している場合でも、その変化を考慮した最適な欠陥補正処理が可能となる。

以上の説明では、データ補正対象となる第１画素データと同色の画素データの輝度値を参考にして、演算式を最適なものに決めているが、これに限らない。例えば、データ補正対象となる第１画素データがＲ成分やＢ成分であるときは、その同色成分のＲ成分やＢ成分の画素データの輝度値を参考にするよりも、輝度に与える影響の大きいＧ成分の画素データの輝度値を参考にした方が、より最適なデータ補正が可能である。以下、このような場合の欠陥補正処理動作について説明する。

図１５（ｃ）に示すような１３個の画素データが二次元画素データとして出力された場合を例にする。輝度情報生成部９１ｅは、Ｇ成分の画素データｇｒ１〜ｇｒ３のうち輝度値が最小の画素データの輝度値ＭＩＮと、Ｇ成分の画素データｇｒ１〜ｇｒ３のうち輝度値が最大の画素データの輝度値ＭＡＸとを抽出し、これらを欠陥補正処理選択部９１ｃ’に入力する。

欠陥補正処理選択部９１ｃ’は、欠陥パターンを判別し、判別した欠陥パターンに基づいて図１５（ｃ）に示す５つの演算式（演算式Rdc_sprb1、演算式Rdc_sprb2、演算式Rdc_sprb3、演算式Rdc_sprb4、演算式Rdc_sprb5）を決定し、この中から最適な演算式を上記輝度値ＭＡＸ及び輝度値ＭＩＮに基づいて決定する。

具体的には、欠陥補正処理選択部９１ｃ’は、輝度値ＭＡＸと輝度値ＭＩＮとの差が閾値Ｔｈ３より小さい場合、演算式Rdc_sprb5を最適な演算式として決定する。又、輝度値ＭＡＸと輝度値ＭＩＮとの差が閾値Ｔｈ３より大きく、且つ、輝度値ＭＡＸが画素データｇｒ２かｇｒ３のいずれかの輝度値で、画素データｇｒ２とｇｒ３の輝度値の差分の絶対値が閾値Ｔｈ４よりも小さかった場合、演算式Rdc_sprb1を最適な演算式として決定する。又、輝度値ＭＡＸと輝度値ＭＩＮとの差が閾値Ｔｈ３より大きく、且つ、輝度値ＭＡＸが画素データｇｒ１の輝度値であった場合、演算式Rdc_sprb2を最適な演算式として決定する。又、輝度値ＭＡＸと輝度値ＭＩＮとの差が閾値Ｔｈ３より大きく、且つ、輝度値ＭＡＸが画素データｇｒ２の輝度値であった場合、演算式Rdc_sprb3を最適な演算式として決定する。又、輝度値ＭＡＸと輝度値ＭＩＮとの差が閾値Ｔｈ３より大きく、且つ、輝度値ＭＡＸが画素データｇｒ３の輝度値であった場合、演算式Rdc_sprb4を最適な演算式として決定する。そして、データ補正処理部９３が、該決定された演算式に必要な演算器を選択し、選択した演算器を用いて第１画素データｒ５に対して欠陥補正処理を行う。

このようにすることで、より精度の高い欠陥補正処理が可能となる。

尚、第一及び第二実施形態で説明した欠陥補正処理やＮＲ処理に用いる演算式は一例であり、その他様々な演算式を用いることも可能である。

又、第一及び第二実施形態では、３つの異なる色を検出する多数の光電変換素子を持つ固体撮像素子を例にしたが、２つ又は４つ以上の異なる色を検出する多数の光電変換素子を持つ固体撮像素子を搭載するデジタルカメラにおいても、同様の欠陥補正処理及びＮＲ処理が可能である。

本発明の第一実施形態を説明するためのデジタルカメラの要部概略構成を示す図図１に示す置換部内部の概略構成を示すブロック図図１に示す二次元画素データ保持出力部から出力される画素データの生成元の光電変換素子の配列を示す図図１に示すデータ補正部の概略構成を示すブロック図図４に示すデータ処理内容決定部９１の概略構成を示す図欠陥パターンを説明するための図欠陥パターンを説明するための図欠陥パターンを説明するための図欠陥パターンを説明するための図欠陥パターン判別用パターンを示す図欠陥パターンの変形例を示す図図１１の欠陥パターンの場合に追加する欠陥パターン判別用パターンを示す図第一実施形態のデジタルカメラにおけるＮＲ処理時，欠陥補正処理時の動作を説明するための図本発明の第二実施形態を説明するためのデジタルカメラのデータ処理内容決定部の概略構成を示す図第二実施形態のデジタルカメラにおけるＮＲ処理時，欠陥補正処理時の動作を説明するための図

符号の説明

１固体撮像素子
２Ａ／Ｄ変換部
３バッファ
４タイミングジェネレータ
５置換部
６Ｈ／Ｖカウンタ
７ＬＵＴ
８二次元画素データ保持出力部
９データ補正部
１０信号処理部
９３データ補正処理部
９１データ処理内容決定部
９１ａ欠陥画素データ個数判別部
９１ｂ欠陥画素データ位置判別部
９１ｃ欠陥補正処理選択部
９１ｄノイズリダクション処理選択部

Claims

半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子から得られる多数の画素データの補正処理を行うデータ補正処理装置であって、
前記画素データを一時的に保持し、前記固体撮像素子に含まれる第１の光電変換素子と、前記第１の光電変換素子の周辺に二次元状に配列されている第２の光電変換素子とを含む光電変換素子群から得られる画素データである二次元画素データを同時に出力する二次元画素データ保持出力手段と、
前記第１の光電変換素子が欠陥素子である場合に、前記二次元画素データのうち、前記第１の光電変換素子とは異なる色を検出する光電変換素子以外から得られた画素データと、該画素データに含まれる前記欠陥素子から得られた欠陥画素データの位置及び数とで決まる欠陥パターンを判別する欠陥パターン判別手段と、
前記欠陥パターンに基づいて欠陥補正処理用の演算式を決定する演算式決定手段と、
前記二次元画素データと前記演算式とを用いて、前記第１の光電変換素子から得られる画素データである第１画素データの欠陥補正処理を行う欠陥補正処理手段とを備えるデータ補正処理装置。
請求項１記載のデータ補正処理装置であって、
前記演算式決定手段は、前記欠陥パターンと、前記欠陥パターンを構成する画素データのうち前記欠陥画素データを除く画素データの輝度値とに基づいて前記演算式を決定するデータ補正処理装置。
請求項１又は２記載のデータ補正処理装置であって、
前記画素データ保持出力手段に入力する画素データのうちの前記欠陥画素データを、前記欠陥素子周辺の光電変換素子から得られた画素データで置換する画素データ置換手段を備えるデータ補正処理装置。
請求項１〜３のいずれか記載のデータ補正処理装置であって、
前記第１の光電変換素子が前記欠陥素子でない場合に、前記二次元画素データを用いて、前記第１画素データのノイズ低減処理を行うノイズ低減処理手段を備えるデータ補正処理装置。
請求項１〜３のいずれか記載のデータ補正処理装置であって、
前記欠陥補正処理手段は、複数の演算器を含み、前記複数の演算器の中から前記演算式に必要な演算器を選択して使用するデータ補正処理装置。
請求項４記載のデータ補正処理装置であって、
前記欠陥補正処理手段は、複数の演算器を含み、前記複数の演算器の中から前記演算式に必要な演算器を選択して使用するデータ補正処理装置。
請求項６記載のデータ補正処理装置であって、
前記ノイズ低減処理手段は、前記欠陥補正処理手段に含まれる前記複数の演算器の少なくとも一部を利用して前記ノイズ低減処理を行うデータ補正処理装置。
半導体基板上の行方向とこれに直交する列方向に配列された多数の光電変換素子を含む固体撮像素子から得られる多数の画素データの補正処理を行うデータ補正処理方法であって、
前記画素データを一時的に保持し、前記固体撮像素子に含まれる第１の光電変換素子と、前記第１の光電変換素子の周辺に二次元状に配列されている第２の光電変換素子とを含む光電変換素子群から得られる画素データである二次元画素データを同時に出力する二次元画素データ保持出力工程と、
前記第１の光電変換素子が欠陥素子である場合に、前記二次元画素データのうち、前記第１の光電変換素子とは異なる色を検出する光電変換素子以外から得られた画素データと、該画素データに含まれる前記欠陥素子から得られた欠陥画素データの位置及び数とで決まる欠陥パターンを判別する欠陥パターン判別工程と、
前記欠陥パターンに基づいて欠陥補正処理用の演算式を決定する演算式決定工程と、
前記二次元画素データと前記演算式とを用いて、前記第１の光電変換素子から得られる画素データである第１画素データの欠陥補正処理を行う欠陥補正処理工程とを含むデータ補正処理方法。