JP4284628B2 - 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

Description

本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、各注目画素の画素値を変換してノイズを除去した後、元の画素値に逆変換することにより、画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができるようにする。

従来、デジタルスチルカメラでは、撮像素子の画素配列で順次得られるＲＡＷデータをデモザイク処理してフルカラー画像を生成した後、輝度信号、色差信号の画像データに変換して記録媒体に記録している。このようなカラー画像のノイズは、輝度信号成分のノイズである輝度ノイズと、輝度信号成分を除いた色信号成分のノイズである色ノイズとに分類され、色ノイズを除去することにより画質を格段に向上できることが知られている。

デジタルスチルカメラに関して、特開２００５−３１１４５５公報には、ノイズリダクション処理に適切な周辺画素を選択し、この選択した周辺画素を用いてノイズリダクション処理することにより、ＲＡＷデータの段階で効率良くノイズを除去する方法が提案されている。

また特開２００４−２２１８３８公報には、エッジの延長方向に沿った所定範囲の画素値を用いて注目画素の画素値を補間演算処理することにより、デモザイク処理等において、エッジを精度良く再現する方法が提案されている。

ところでＲＡＷデータの段階で色ノイズ除去すると、輝度信号成分にまで影響を与え、各色信号の輝度値までも変化する問題がある。その結果、エッジ部分等が誤った色で表示され、著しく画質が劣化する場合がある。

この問題を解決する１つの方法として、輝度信号、色差信号の段階でノイズ除去することが考えられる。この方法によれば、輝度信号に影響を与えることなく、色ノイズを除去することができると考えられる。

しかしながらこの方法では、ノイズが混入したままの状態でデモザイク処理することになり、ノイズの混入が多い場合に、デモザイク処理に影響を与える問題がある。具体的に、例えば特開２００４−２２１８３８公報に開示された手法により、デモザイク処理等においてエッジを再現する場合には、ノイズにより誤ってエッジを再現することになり、エッジ部分等が誤った色で表示され、また却って色ノイズが発生し、著しく画質が劣化する場合がある。また輝度信号及び色差信号の段階では、ＲＡＷデータからの一連の処理によりノイズの特性が複雑に変化しており、その結果、色ノイズを除去しきれない問題もある。また信号処理回路等の構成上の制約から、ノイズ除去回路の構成を設けられない場合もあり、この場合には、適用できない問題もある。
特開２００５−３１１４５５公報 特開２００４−２２１８３８公報

本発明は以上の点を考慮してなされたもので、画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができる撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１又は請求項８の発明は、撮像装置に適用して、ＲＡＷデータを出力する撮像部と、前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部と、前記逆変換部で処理した画像値によるモザイク画像をデモザイク処理して、フルカラーの画像データを生成するデモザイク部とを備えるようにする。また前記ＲＡＷデータによるモザイク画像の画素が、赤色、緑色、青色の画素であり、請求項１の発明は、前記処理基準の画素値が、前記赤色及び青色の画素の空間位置における緑色の画素値であり、請求項８の発明は、前記処理基準の画素値が、前記各画素の空間位置における輝度値であるようにする。

また請求項９の発明は、撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理装置に適用して、前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部とを備えるようにする。また前記ＲＡＷデータによるモザイク画像の画素が、赤色、緑色、青色の画素であり、前記処理基準の画素値が、前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値であるようにする。

また請求項１０の発明は、撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法に適用して、前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。また前記ＲＡＷデータによるモザイク画像の画素が、赤色、緑色、青色の画素であり、前記処理基準の画素値が、前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値であるようにする。

また請求項１１の発明は、撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法のプログラムに適用して、前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。また前記ＲＡＷデータによるモザイク画像の画素が、赤色、緑色、青色の画素であり、前記処理基準の画素値が、前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値であるようにする。

また請求項１２の発明は、撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。また前記ＲＡＷデータによるモザイク画像の画素が、赤色、緑色、青色の画素であり、前記処理基準の画素値が、前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値であるようにする。

請求項１、請求項８、請求項９、請求項１０、又は請求項１１の構成によれば、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値において、ノイズを除去していることから、輝度信号への影響を十分に低減して色ノイズを抑圧することができる。従って画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができる。

本発明によれば、画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例のデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ１において、撮像素子３は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等により構成される。撮像素子３は、図示しないレンズユニットにより撮像面に形成された光学像を光電変換処理し、赤色、青色、緑色の画素値をベイヤー配列に対応する順序で順次出力する。

前処理部４は、撮像素子３の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、ＲＡＷデータＤ１を出力する。

光学補正部５は、この前処理部４から出力されるＲＡＷデータＤ１を欠陥補正処理、ホワイトバランス調整処理し、ＲＡＷデータＤ２を出力する。またさらに光学補正部５は、所定時間以下の短い電荷蓄積時間で撮影する場合等の、十分なＳＮ比によりＲＡＷデータＤ１を取得できない場合、又はユーザーが色ノイズの除去処理を指示した場合、色ノイズの除去処理を実行し、ＲＡＷデータＤ２を出力する。

画像処理部６は、このＲＡＷデータＤ２をデモザイク処理、解像度変換処理、ガンマ補正処理、画質補正処理等し、輝度信号及び色差信号の画像データＤ３に変換して出力する。このデジタルスチルカメラ１は、この画像処理部６で処理した画像データＤ３を図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。

エンコーダ（ＥＮＣ）７は、例えばＪＰＥＧ（Joint Photographic Coding Experts Group ）等の静止画像の符号化方式により、画像処理部６から出力される画像データＤ３をデータ圧縮して出力する。

インターフェース（ＩＦ）８は、このエンコーダ７の出力データ、又は光学補正部５から出力されるＲＡＷデータＤ２を記録媒体９に記録する。なお記録媒体９は、この実施例ではメモリカードであり、インターフェース８から出力される各種のデータを記録する。なおこの記録媒体９は、メモリカードに限らず、光ディスク、磁気ディスク等、種々の記録媒体を広く適用することができる。

図１は、光学補正部５及び画像処理部６の色ノイズの除去に関する構成を示すブロック図である。この図１において、光学補正部５は、ＲＡＷデータＤ１をバッファ（Ｂ）１１に入力する。ここでこのＲＡＷデータＤ１は、撮像素子３のベイヤー配列の順序で順次各画素の画素値が連続する画像データであり、図３は、この撮像素子３のベイヤー配列を示す平面図である。撮像素子３は、奇数ラインに緑色及び赤色の画素Ｇｒ、Ｒが交互に配置され、続く偶数ラインに青色及び緑色の画素Ｂ、Ｇｂが交互に配置され、２画素×２画素のブロックの繰り返しにより形成される。なお以下において、この１つのブロックにおける２つの緑色の画素を符号Ｇｒ、Ｇｂにより表す。従ってＲＡＷデータＤ１は、このベイヤー配列に対応して奇数ラインでは緑色、赤色の画素値が交互に繰り返されてバッファ１１に格納され、偶数ラインでは青色、緑色の画素値が繰り返されてバッファ１１に格納される。なお以下において、緑色、赤色、青色の画素値及び画像データは、適宜、対応する画素の符号Ｇｒ、Ｇｂ、Ｒ、Ｂを用いて示す。

周辺画素参照部１２は、一定領域分のバッファにより構成され、バッファ１１に格納されているＲＡＷデータＤ１から順次、所定のサイズ毎に画像データＧｒ、Ｇｂ、Ｒ、Ｂを読み出して出力する。周辺画素参照部１２は、この画像データＧｒ、Ｇｂ、Ｒ、Ｂの処理によりＲＡＷデータＤ１によるモザイク画像上に順次注目画素を設定し、この注目画素の画像値と周辺画素の画素値とを順次出力する。

４色分離部１３は、この周辺画素参照部１２から順次出力される画像データＧｒ、Ｇｂ、Ｒ、Ｂを、図３について上述した２画素×２画素のブロックの配置における４種類の画像データに分離して出力する。

ホワイトバランス部（ＷＢ）３０は、この４色分離部１３から出力される画像データＧｒ、Ｇｂ、Ｒ、Ｂをホワイトバランス調整して出力する。ノイズ除去部１４は、このホワイトバランス部３０から出力される画像データＧｒ、Ｇｂ、Ｒ、Ｂから色ノイズを除去して出力する。すなわちノイズ除去部１４において、簡易デモザイク部１５は、画像処理部６におけるデモザイク処理に比して簡易な演算処理により、４色分離部１３から出力される画像データＧｒ、Ｇｂ、Ｒ、Ｂをデモザイク処理する。より具体的に、ノイズ除去部１４は、注目画素の近傍画素から、各注目画素で同一の色信号成分を有する処理基準の画素値を注目画素毎に生成する。

この実施例では、この処理基準の画素値に、緑色の画素値が適用され、簡易デモザイク部１５は、赤色、青色の画素Ｒ、Ｂについてのみ、処理基準の画素値を生成する。すなわち簡易デモザイク部１５は、隣接する緑色の画素Ｇｒ、Ｇｂの画素値を用いた補間演算処理により、それぞれ赤色、青色の画素Ｒ、Ｂの空間位置における緑色の画素値を計算し、これら赤色、青色の画素Ｒ、Ｂについて、それぞれ処理基準の画素値を生成する。

すなわち図３及び図４に示すように、ノイズ除去部１４は、注目画素が赤色の画素Ｒ２の場合、この赤色の画素Ｒ２に隣接する緑色の画素Ｇｂ０、Ｇｒ２、Ｇｒ３、Ｇｂ２の画素値を平均値化し、注目画素Ｒ２の空間位置における緑色の画素値Ｇｘ２を求める。ノイズ除去部１４は、この計算した緑色の画素値Ｇｘ２を、この赤色の画素Ｒ２の処理基準の画素値に設定する。また青色の画素Ｂについても、同様にして、隣接する緑色の画素の画素値を平均値化して、青色の画素Ｂ１の空間位置における緑色画素の画素値を計算して処理基準の画素値Ｇｙに設定する。簡易デモザイク部１５は、この計算した赤色、青色の画素Ｒ、Ｂの位置における緑色の画素値Ｇｘ、Ｇｙを、４色分離部１３から出力される画素値Ｇｒ、Ｇｂ、Ｒ、Ｂと共に出力する。

色差計算部１６は、簡易デモザイク部１５から出力される画素値Ｇｒ、Ｇｂ、Ｒ、Ｂ、Ｇｘ、Ｇｙを用いて、処理基準の画素値を基準にして赤色画素、青色画素の画素値を表すノイズ除去用の画素値を生成する。より具体的に、この実施例において、色差計算部１６は、簡易デモザイク部１５から出力される画素値Ｇｒ、Ｇｂ、Ｒ、Ｂ、Ｇｘ、Ｇｙから色差を計算し、この実施例では、この色差の画素値がノイズ除去用の画素値に適用される。なおこの処理基準の画素値を基準にした色差の画素値は、輝度信号及び色差信号における色差の画素値だけを示すものではなく、広義に、処理基準に含まれる色信号成分との対比により、注目画素の色相を表す画素値である。

ここでこの実施例では、処理基準の画素値に緑色の画素値が適用されることから、色差計算部１６は、赤色、青色の画素Ｒ、Ｂの画素値についてのみ、緑色の画素値に対する色差を計算する。すなわち図３及び図４との対比により図５に示すように、赤色画素Ｒ２の色差Ｃｒ２については、この赤色画素Ｒ２の位置で計算された処理基準の画素値Ｇｘ２を、この赤色画素Ｒ２の画素値Ｒ２から減算し、その結果得られる減算値（Ｒ２−Ｇｘ２）を赤色画素Ｒ２の色差に設定する。また図６に示すように、青色画素Ｂ１の色差Ｃｂ１については、同様に、この青色画素Ｂ１の位置で計算された処理基準の画素値Ｇｙ２を、この青色画素Ｂ１の画素値から減算して、減算値（Ｂ１−Ｇｙ１）を青色画素Ｂ１の色差Ｃｂ１に設定する。

色差計算部１６は、赤色及び青色の画素Ｒ及びＢの全てで、この色差の計算を実行し、その結果、図３との対比により図７に示すように、赤色画素Ｒ及び青色画素Ｂの画素値を、それぞれ緑色の画素値を基準にした色差の画素値Ｃｒ、Ｃｂに変換する。

ノイズ除去部１７は、色差計算部１６で計算した赤色及び青色の色差毎に、それぞれノイズ除去処理を実行して出力する。具体的にこの実施例では、図８に示すように、９画素×９画素のεフィルタを用いてノイズを除去する。ここで例えば赤色画素の色差Ｃｒｃをノイズ除去する場合、この赤色画素を中心とした９画素×９画素の領域には、ハッチングで示すように、２５個の赤色画素の色差が含まれていることになる。そこでノイズ除去部１７は、この２５画素の色差をεフィルタで処理して注目画素のノイズを除去する。また同様にして、青色画素の色差を処理してノイズを除去する。なおこの場合に、元の緑色の画素値Ｇｒ、Ｇｂについても、又はこの元の緑色の画素値Ｇｒ、Ｇｂと簡易デモザイク部１５で計算した緑色の画素値Ｇｘ、Ｇｙについても、ノイズ除去処理を実行するようにしてもよい。

簡易デモザイク部１８は、簡易デモザイク部１５と同様の補間演算処理により、赤色の画素、青色の画素の空間位置における緑色の画素値Ｇｘ、Ｇｙを計算する。

すなわち簡易デモザイク部１８は、図９に示すように、注目画素が赤色の画素Ｒ２の場合、この赤色の画素に隣接する緑色の画素Ｇｂ０、Ｇｒ２、Ｇｒ３、Ｇｂ２の画素値を平均値化し、平均値を注目画素Ｒ２の空間位置における緑色の画素値Ｇｘに設定する。また青色の画素Ｂについても、同様にして、隣接する緑色の画素の画素値を平均値化して、青色の画素Ｂの空間位置における緑色の画素値Ｇｙに設定する。

ＲＢ計算部１９は、簡易デモザイク部１８で計算した緑色の画素値Ｇｘ、Ｇｙを用いて、赤色画素Ｒ、青色画素Ｂの画素値を計算する。すなわちＲＢ計算部１９は、簡易デモザイク部１８で計算した赤色画素Ｒの空間位置における緑色の画素値Ｇｘを、当該画素の色差Ｃｒ２に加算し、赤色画素Ｒの画素値を計算する。従って図９に示す赤色画素Ｒ２の画素値Ｒ２は、Ｃｒ２＋Ｇｘ２で表される。

また図１０及び図１１に示すように、青色の画素Ｂ１についても、隣接する緑色の画素Ｇｒ１、Ｇｂ０、Ｇｂ１、Ｇｒ３の平均値による緑色の画素値Ｇｙ１を、この青色の画素Ｂ１の色差Ｃｂ１に加算して、当該青色の画素Ｂ１の画素値を計算する。赤色及び青色の画素Ｒ及びＢの全てで、この色差の計算を実行することにより、図９との対比により図１２に示すように、撮像素子３のベイヤー配列に対応する順序で緑色、赤色、青色の色信号が繰り返されるＲＡＷデータＤ２が生成され、光学補正部５は、このＲＡＷデータＤ２を画像処理部６、インターフェース８に出力する。なお例えば赤色及び青色の色差についてのみノイズ除去処理を実行する場合には、簡易デモザイク部１５で生成した処理基準の画素値Ｇｘ、Ｇｙを、ＲＢ計算部１９の処理で使用するようにして、簡易デモザイク部１８における処理を省略するようにしてもよい。

画像処理部６において、エッジ判別デモザイク部２０は、この光学補正部５から出力されるＲＡＷデータＤ２をデモザイク処理し、撮像素子３の各画素の空間位置で赤色、緑色、青色の色データＲ、Ｇ、Ｂを有しているフルカラーの画像データを生成する。この処理において、エッジ判別デモザイク部２０は、エッジの延長方向の画素値を用いて注目画素の画素値を補間演算処理することにより、エッジを精度良く再現する。

すなわち図１３は、エッジ判別デモザイク部２０の構成を示すブロック図である。エッジ判別デモザイク部２０は、光学補正部５から出力されるＲＡＷデータＤ２を注目画素決定部２１に入力し、ここで注目画素を順次切り換えながら、各注目画素を中心とした局所領域の画素値を出力する。ここでこの実施例では、この局所領域は、例えば注目画素を中心とした７画素×７画素の領域に設定される。

エッジ方向算出部２２は、局所領域毎に、この注目画素決定部２１から出力される画素値から画像勾配を計算し、エッジの延長する方向を示すエッジ方向ベクトルＶ１を計算する。またエッジ方向ベクトルＶ１で決まる方向と直交する方向の画像勾配の大きさからエッジの強さを検出して出力する。

重み算出部２３は、エッジ方向算出部２２で計算されたエッジ方向ベクトルＶ１により、補間演算処理に使用する画素値を選択し、さらに各画素値の重み係数を計算する。すなわち図１４に示すように、重み算出部２３は、エッジ方向ベクトルＶ１で決まる方向の、注目画素を通る直線Ｌに対して、各画素の距離ｄ１、ｄ２、ｄ３、ｄ４、……を計算する。またこの距離ｄ１、ｄ２、ｄ３、ｄ４、……を所定のしきい値Ｔｈ１で判定し、この距離ｄ１、ｄ２、ｄ３、ｄ４、……がしきい値Ｔｈ１以下の画素を補間演算処理に使用する画素に選択する。またこの距離ｄ１、ｄ２、ｄ３、ｄ４、……が短くなるに従って値が大きくなるように、この選択した各画素をそれぞれ重み付けする第１の重み係数Ｗ１を生成する。また図１５に示すように、エッジ方向ベクトルＶ１で決まる方向の、注目画素から選択した各画素の距離Ｉ１、Ｉ２、Ｉ３、Ｉ４、……を計算し、この距離Ｉ１、Ｉ２、Ｉ３、Ｉ４、……が短くなるに従って値が大きくなるように、選択した各画素をそれぞれ重み付けする第２の重み係数Ｗ２を生成する。

第１補間部２４は、それぞれ第１及び第２の重み係数Ｗ１及びＷ２を用いた対応する画素値の重み付け加算により、注目画素の画素値を補間演算処理により計算する。またこの第１及び第２の重み係数Ｗ１及びＷ２を用いた重み付け加算結果を平均値化し、平均値を出力する。

第２補間部２５は、エッジ方向算出部２２で求めたエッジの強さを所定のしきい値で判定し、エッジの強さが所定値以下の場合、何らエッジの方向を考慮しない、注目画素を中心とした所定範囲の画素値から、注目画素の画素値を計算して出力する。

セレクタ２６は、第１補間部２４から出力される平均値を、注目画素の画素値として出力する。またエッジ方向算出部２２で求めたエッジの強さを所定のしきい値で判定し、エッジの強さが所定値以下の場合、この第１補間部２４から出力される平均値に代えて、第２補間部２５の出力値を選択して出力する。

ＹＣＣ変換部２８（図１）は、次式の演算処理により、エッジ判別デモザイク部２０から出力されるフルカラーの画像データＤ４を演算処理し、この画像データＤ４を輝度信号、色差信号の画像データＤ５に変換して出力する。

なおＹＣＣ変換部２８は、この（１−１）〜（１−３）式における係数を補正して併せて色変換マトリクスを適用した色味調整処理等を実行する。また生成した画像データＤ５のガンマを設定する。

ＹＣＣ合成部２９は、ＹＣＣ変換部２８から出力される画像データＤ５からＹＣＣの画像データＤ３を生成してエンコーダ７、外部機器等に出力する。

（２）実施例の動作
以上の構成において、このデジタルスチルカメラ１では（図２）、撮像素子３において、撮像素子３のベイヤー配列に対応する順序で赤色、青色、緑色の画素値が順次連続する撮像信号が生成され、この撮像信号が前処理部４でアナログディジタル変換処理されてＲＡＷデータＤ１が生成される。デジタルスチルカメラ１では、光学補正部５において、このＲＡＷデータＤ１のノイズが抑圧される。また続く画像処理部６において、ＲＡＷデータＤ２がデモザイク処理されてフルカラーの画像データが生成され、このフルカラーの画像データＤ３が輝度信号及び色差信号による画像データＤ３に変換され、エンコーダ７によりデータ圧縮されて記録媒体９に記録される。またユーザーがＲＡＷデータによる記録を指示した場合には、光学補正部５から出力されるＲＡＷデータＤ２が記録媒体９に記録される。

ＲＡＷデータＤ２は、画像処理部６におけるデモザイク処理において（図１３）、エッジの方向の画素が選択され、この選択された画素の画素値を用いた補間演算処理によりフルカラーの画像データＤ４が生成される。すなわちこの場合、例えば緑色の画素については、それぞれ赤色及び青色の近傍画素からエッジ方向が検出され、このエッジ方向の画素を用いた補間演算処理により赤色及び青色の画素値が求められる。また赤色の画素については、それぞれ緑色及び青色の近傍画素からエッジ方向が検出され、このエッジ方向の画素を用いた補間演算処理により緑色及び青色の画素値が求められる。また青色の画素については、それぞれ赤色及び緑色の近傍画素からエッジ方向が検出され、このエッジ方向の画素を用いた補間演算処理により赤色及び緑色の画素値が求められる。

従ってこのデジタルスチルカメラ１では、エッジの方向に応じて注目画素毎に補間演算処理対象の画素が切り換えられてデモザイク処理され、その結果、ＲＡＷデータＤ２に混入したノイズは、複雑に特性が変化してフルカラーの画像データＤ４に混入していることになる。従ってこのようにデモザイク処理した後では、簡単には色ノイズを除去できなくなる。

またデモザイク処理した後にノイズ除去する場合には、そもそもＲＡＷデータＤ２を直接記録媒体９に記録する場合に、ノイズを除去できなくなる。

またさらにデモザイク処理の処理対象であるＲＡＷデータＤ２にノイズが混入している場合、エッジを誤検出し、デモザイク処理後のフルカラーの画像データＤ４において、不自然にエッジが強調されてしまうことになる。また却って色ノイズが発生し、著しく画質が劣化する恐れもある。

従ってこの実施例のように画像処理部６を構成する場合には、画像処理部６でデモザイク処理する前の、ＲＡＷデータの段階でノイズを除去することが必要になるが、単に、各色の画素毎にノイズ除去処理を実行したのでは、輝度信号が影響を受け、エッジ部分等が誤った色で表示され、著しく画質が劣化する恐れがある。

そこでこの実施例では、光学補正部５において（図１）、ＲＡＷデータＤ１は、周辺画素参照部１２により、順次注目画素が設定され、この注目画素と周辺画素との画素値が４色分離部１３を介して簡易デモザイク部１５に入力される。ＲＡＷデータＤ１は、この簡易デモザイク部１５において、注目画素毎に、同一の色信号成分を有している処理基準の画素値が計算される。また続く色差計算部１６において、この処理基準の画素値を基準にしたノイズ除去用の画素値に変換され、このノイズ除去用の画素値がノイズ除去部１７でノイズ除去される。またその後、元の画素値に変換される。

従ってデジタルスチルカメラ１では、直接各画素の色信号をそれぞれノイズ除去する場合に比して、格段的に、輝度信号に影響を与えることなく、色ノイズのみを除去することができ、従来に比して画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができる。

またノイズを除去した後には、元のＲＡＷデータに変換されていることにより、他のＲＡＷデータに対するノイズ除去処理と容易に組み合わせて、ノイズ除去効果を一段と高めることもできる。

より具体的に、この実施例では、撮像素子３のベイヤー配列が、２つの緑色画素Ｇｒ、Ｇｂと、赤色、青色の画素Ｒ、Ｂとによる２画素×２画素のブロックの繰り返しで形成され、光学補正部５では、これらの画素のうちの緑色画素の画素値がこの処理基準の画素値に設定されて、各注目画素の色差がノイズ除去用の画素値として求められる。従ってＲＡＷデータＤ２において最も画素数の多い緑色の画素値については、何ら色差を求めなくても、ノイズ除去処理を実行することができる。従ってこのデジタルスチルカメラ１では、処理基準の画素値を緑色の画素値に設定して緑色の画素については処理基準の計算を省略し、全体構成が簡略化される。

（３）実施例の効果
以上の構成によれば、注目画素の近傍画素から同一の色信号成分を有している処理基準の画素値を生成し、この処理基準の画素値を基準にしたノイズ除去用の画素値に各注目画素の画素値を変換してノイズを除去した後、元の画素値に変換することにより、画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することができる。

またＲＡＷデータを構成する赤色、緑色、青色の画素のうちの、緑色画素の画素値を処理基準の画素値に設定し、この処理基準の画素値と赤色又は緑色の画素値との差分値により色差の画素値を生成してノイズ除去用の画素値に設定することにより、緑色の画素については処理を省略して構成を簡略化することができる。

またＲＡＷデータを構成する緑色画素の画素値、若しくはこの緑色の画素の画素値と生成した処理基準の画素値とからノイズを除去することにより、一段とノイズを低減することができる。

この実施例では、処理基準である緑色の画素値Ｇｘ、Ｇｙに、近傍緑色画素のメディアン値を適用する。この実施例のデジタルスチルカメラは、この処理基準の画素値を生成する構成が異なる点を除いて、上述の実施例１のデジタルスチルカメラ１と同一に構成される。

すなわちこの実施例において、簡易デモザイク部１５は、図３に示すように、赤色画素Ｒ２については、この赤色画素に隣接する緑色画素Ｇｂ０、Ｇｒ２、Ｇｒ３、Ｇｂ２の画素値を値の小さい順にソートし、ソート結果の２番目の画素値と３番目の画素値との平均値を計算する。簡易デモザイク部１５は、この平均値をメディアン値としてこの赤色画素Ｒ２の位置における緑色の画素値に設定する。また同様にして、青色画素について、隣接画素の画素値をソートしてメディアン値を求め、緑色の画素値に設定する。なおこの処理において、隣接する４画素のメディアン値に代えて、さらに広い範囲の画素のメディアン値を適用するようにしてもよい。

この簡易デモザイク部１５の処理に対応して、簡易デモザイク部１８は、同様の演算処理により赤色画素及び青色画素の位置における緑色の画素値を計算し、元のＲＡＷデータを生成する。

この実施例のように、処理基準である緑色の画素値を生成する際に、近傍緑色画素のメディアン値を適用するようにしても、実施例１と同様の効果を得ることができる。

この実施例では、赤色画素及び対応する青色画素の空間位置が同一であるとして、赤色画素及び青色画素の空間位置における緑色の画素値を計算する。なおこの実施例では、この計算方法が異なる点を除いて、上述の実施例と同一に構成される。

すなわち撮像素子３は、ベイヤー配列が２画素×２画素のブロックの繰り返しにより形成されており、この２画素×２画素のブロックの画素の配置が図１６（Ａ）に示すように構成されているものとする。ここでこの図１４における赤色画素Ｒ及び青色画素Ｂの空間位置が、点Ｐにより示すこの２画素×２画素のブロックの中央位置であると仮定する。この仮定に従って簡易デモザイク部１５、１８は、図１６（Ａ）及び（Ｂ）に示すように、この２画素×２画素のブロックの緑色画素Ｇｒ、Ｇｂの平均値を、赤色画素Ｒ及び青色画素Ｂの空間位置における緑色の画素値に設定する。

この実施例によれば、赤色画素Ｒ及び青色画素Ｂの空間位置が同一であると仮定して緑色画素値を計算することにより、計算量を低減して上述の実施例と同様の効果を得ることができる。

この実施例では、処理基準である緑色の画素値Ｇｘ、Ｇｙをそれぞれ赤色及び青色の画素の画素値Ｒ及びＢから減算してノイズ除去用の画素値を生成する代わりに、これら緑色の画素値Ｇｘ、Ｇｙと対応する赤色及び青色の画素の画素値Ｒ及びＢとの比によりノイズ除去用の画素値を生成する。なおこの実施例のデジタルスチルカメラは、この色差に関す構成が異なる点を除いて、上述の実施例のデジタルスチルカメラ１と同一に構成される。

すなわちこの実施例において、色差計算部１６は、赤色画素Ｒの色差Ｃｒについては、この赤色画素Ｒの位置で計算された処理基準の画素値Ｇｘで、この赤色画素Ｒの画素値Ｒを割り算し、割り算した値Ｒ／Ｇｘをこの赤色画素Ｒのノイズ除去用の画素値に設定する。また同様に、この青色画素Ｂについては、この青色の画素Ｂの位置で計算された処理基準の画素値Ｇｙで、この青色画素Ｂの画素値Ｂを割り算して、割り算した値Ｂ／Ｇｙをこの青色画素Ｂのノイズ除去用の画素値に設定する。

またこの色差の生成処理に対応するように、ＲＢ計算部１９は、ノイズ除去処理した色差Ｃｒ、Ｃｂにそれぞれ対応する緑色画素値Ｇｘ、Ｇｙを乗算して、元の画素値Ｒ、Ｂに変換する。

この実施例のように、処理基準の画素値と、赤色又は緑色の画素値との比率により、ノイズ除去用の画素値を生成するようにしても、実施例１と同様の効果を得ることができる。

この実施例では、緑色の画素値に代えて、輝度値を処理基準の画素値に適用する。この実施例のデジタルスチルカメラは、この処理基準の画素値に関する構成が異なる点を除いて、上述の実施例のデジタルスチルカメラ１と同一に構成される。

この実施例において、簡易デモザイク部１５は、緑色画素については、隣接する赤色画素及び青色画素の画素値を用いた補間演算処理により、各緑色画素の空間位置における赤色画素及び青色画素の画素値を計算する。また同様に、赤色画素については、隣接する緑色画素及び青色画素の画素値を用いた補間演算処理により、各赤色画素の空間位置における緑色画素及び青色画素の画素値を計算する。また同様に、青色画素については、隣接する赤色画素及び緑色画素の画素値を用いた補間演算処理により、各青色画素の空間位置における赤色画素及び緑色画素の画素値を計算する。

簡易デモザイク部１５は、この計算結果に基づいて画素毎に輝度値を計算する。なおこの輝度値の計算は、単に赤色、緑色、青色の画素値を加算して簡易的に輝度値を計算してもよく、さらには（１−１）式の演算処理を実行して正確に各画素の輝度値を計算してもよい。

色差計算部１６は、この処理基準の画素値Ｙを用いて、画素毎に、色差の画素値（Ｒ−Ｙ）及び（Ｂ−Ｙ）を計算する。なおこの場合に、（１−２）及び（１−３）式を用いて色差の画素値を計算してもよい。

ノイズ除去部１７は、この色差の画素値をノイズ除去処理する。簡易デモザイク部１８、ＲＢ計算部１９は、このノイズ除去処理した色差の画素値を元のモザイク画像の画素値に変換する。なおこの場合に、（１−２）及び（１−３）式を用いて色差の画素値を計算した場合には、次式の演算処理により、各画素値を計算する。

なおこれらの処理において、（１−１）式の演算処理を省略して、直接（１−２）及び（１−３）式を用いて色差の画素値を計算してもよい。また緑色の画素については処理を省略して、赤色画素、青色画素についてのみ一連の処理を実行するようにしてもよい。

この実施例によれば、輝度値を処理基準の画素値に設定して色差の画素値を求めるようにしても、上述の実施例と同様の効果を得ることができる。

この実施例のデジタルスチルカメラは、エッジ判別デモザイク部２０における第２補間部２５を用いて簡易デモザイク部１５、１８を構成する。

この実施例のように、本来のデモザイク処理の構成を利用して、簡易デモザイク部１５、１８を構成すれば、全体構成を簡略化して上述の実施例と同様の効果を得ることができる。

なお上述の実施例においては、εフィルタで色ノイズを除去する場合について述べたが、本発明はこれに限らず、ウェーブレット変換等を使用して色ノイズを除去する場合、高周波成分と低周波成分とに帯域分離して色ノイズを除去する場合、バイラテラルフィルタ、トリラテラルフィルタ等を用いてノイズ除去する場合等、種々のノイズ除去手法を広く適用することができる。

また上述の実施例においては、単にノイズ除去部１７でＲＡＷデータのノイズを除去する場合について述べたが、本発明はこれに限らず、他の種々のノイズ除去方法と組み合わせてノイズを除去するようにしてもよい。

また上述の実施例においては、本発明をデジタルスチルカメラに適用する場合について述べたが、本発明はこれに限らず、動画を撮影するビデオカメラ、さらにはＲＡＷデータを処理する各種画像処理装置、各種画像処理プログラムに広く適用することができる。なおこの画像処理プログラムは、コンピュータ、画像処理装置等に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

本発明は、例えばデジタルスチルカメラに適用することができる。

本発明の実施例１のデジタルスチルカメラにおける光学補正部及び画像処理部の構成を示すブロック図である。 本発明の実施例１のデジタルスチルカメラを示すブロック図である。 図２のデジタルスチルカメラにおける撮像素子の画素の配置を示す平面図である。 図１の光学補正部における簡易デモザイク部１５の処理の説明に供する平面図である。 図４の続きを示す平面図である。 図１の光学補正部における簡易デモザイク部１５の青色画素の処理の説明に供する平面図である。 図６の続きを示す平面図である。 図１の光学補正部におけるノイズ除去部の説明に供する平面図である。 図１の光学補正部における簡易デモザイク部１８の赤色画素の処理の説明に供する平面図である。 図１の光学補正部における簡易デモザイク部１８の青色画素の処理の説明に供する平面図である。 図１０の続きを示す平面図である。 図１１の続きを示す平面図である。 図１の画像処理部におけるエッジ判別デモザイク部を示すブロック図である。 図１３のエッジ判別デモザイク部の重み算出部２３の説明に供する平面図である。 図１４の続きの説明に供する平面図である。 他の実施例における簡易デモザイク部１５、１８の処理の説明に供する平面図である。

符号の説明

１……デジタルスチルカメラ、３……撮像素子、５……光学補正部、６……画像処理部、１５、１８……簡易デモザイク部、１６……色差計算部、１７……ノイズ除去部、１９ＲＢ計算部、２０……エッジ判別デモザイク部、２８……ＹＣＣ変換部

Claims (19)

1. ＲＡＷデータを出力する撮像部と、
   前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、
   前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、
   前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部と、
   前記逆変換部で処理した画像値によるモザイク画像をデモザイク処理して、フルカラーの画像データを生成するデモザイク部とを備え、
   前記ＲＡＷデータによるモザイク画像の画素が、
   赤色、緑色、青色の画素であり、
   前記処理基準の画素値が、
   前記赤色及び青色の画素の空間位置における緑色の画素値である
   ことを特徴とする撮像装置。
2. 前記ノイズ除去用の画素値が、
   前記処理基準の画素値と、前記赤色又は青色の画素の画素値との差分値である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記ノイズ除去部は、
   さらに前記モザイク画像の緑色の画素の画素値、若しくは前記モザイク画像の緑色の画素の画素値及び前記赤色及び青色の画素の空間位置における緑色の画素値からノイズを除去する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記処理基準の画素値が、
   前記赤色及び青色の画素近傍の緑色の画素の画素値のメディアン値である
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記ＲＡＷデータによるモザイク画像が、
   同一の画素の配置によるブロックの繰り返しで形成され、
   前記処理基準の画素値が、
   １つの前記ブロック内における赤色の画素及び青色の画素の空間位置が同一であると仮定して生成された、前記ブロック内における緑色画素値の平均値である
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記ノイズ除去用の画素値が、
   前記処理基準の画素値と、前記赤色又は青色の画素の画素値との比で表される画素値である
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記ノイズ除去用の画素値が、
   色差の画素値である
   ことを特徴とする請求項１に記載の撮像装置。
8. ＲＡＷデータを出力する撮像部と、
   前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、
   前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、
   前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部と、
   前記逆変換部で処理した画像値によるモザイク画像をデモザイク処理して、フルカラーの画像データを生成するデモザイク部とを備え、
   前記ＲＡＷデータによるモザイク画像の画素が、
   赤色、緑色、青色の画素であり、
   前記処理基準の画素値が、
   前記各画素の空間位置における輝度値である
   ことを特徴とする撮像装置。
9. 撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理装置において、
   前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、
   前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、
   前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部とを備え、
   前記ＲＡＷデータによるモザイク画像の画素が、
   赤色、緑色、青色の画素であり、
   前記処理基準の画素値が、
   前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値である
   ことを特徴とする画像処理装置。
10. 撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法において、
    前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、
    前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、
    前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備え、
    前記ＲＡＷデータによるモザイク画像の画素が、
    赤色、緑色、青色の画素であり、
    前記処理基準の画素値が、
    前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値である
    ことを特徴とする画像処理方法。
11. 撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法のプログラムにおいて、
    前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、
    前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、
    前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備え、
    前記ＲＡＷデータによるモザイク画像の画素が、
    赤色、緑色、青色の画素であり、
    前記処理基準の画素値が、
    前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値である
    ことを特徴とする画像処理方法のプログラム。
12. 撮像素子の画素配列で順次得られるＲＡＷデータのノイズを抑圧する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、
    前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、
    前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備え、
    前記ＲＡＷデータによるモザイク画像の画素が、
    赤色、緑色、青色の画素であり、
    前記処理基準の画素値が、
    前記赤色及び青色の画素の空間位置における緑色の画素値、又は、前記各画素の空間位置における輝度値である
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
13. 第１の色信号成分を有する第１の画素と、第２の色信号成分を有する第２の画素とを含むＲＡＷデータを出力する撮像部と、
    前記第１の画素に基づいて生成された前記第２の画素の空間位置における処理基準の画素に基づいて、前記第２の画素をノイズ除去用の画素に変換する第１の変換部と、
    前記ノイズ除去用の画素からノイズを除去するノイズ除去部と、
    前記ノイズ除去部でノイズが除去された前記ノイズ除去用の画素を、前記第２の色信号成分を有する画素に変換する第２の変換部と、
    前記第２の変換部で変換された画素と、前記第１の画素とに基づいて、フルカラーの画像データを生成するフルカラー画像生成部と
    を備ることを特徴とする撮像装置。
14. 前記ノイズ除去用の画素が、
    色差を表す画素である
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記第１の色信号成分が、緑色の色信号成分であり、
    前記第２の色信号成分が、赤色及び青色の色信号成分である
    ことを特徴とする請求項１３に記載の撮像装置。
16. 前記ノイズ除去用の画素が、
    前記処理基準の画素と、赤色又は青色の画素の画素との比で表される画素である
    ことを特徴とする請求項１５に記載の撮像装置。
17. 第１の色信号成分を有する第１の画素と、第２の色信号成分を有する第２の画素とを含むＲＡＷデータのノイズを抑圧する画像処理装置において、
    前記第１の画素に基づいて生成された前記第２の画素の空間位置における処理基準の画素に基づいて、前記第２の画素をノイズ除去用の画素に変換する第１の変換部と、
    前記ノイズ除去用の画素からノイズを除去するノイズ除去部と、
    前記ノイズ除去部でノイズが除去された前記ノイズ除去用の画素を、前記第２の色信号成分を有する画素に変換する第２の変換部と、
    前記第２の変換部で変換された画素と、前記第１の画素とに基づいて、フルカラーの画像データを生成するフルカラー画像生成部と
    を備ることを特徴とする画像処理装置。
18. 第１の色信号成分を有する第１の画素と、第２の色信号成分を有する第２の画素とを含むＲＡＷデータのノイズを抑圧する画像処理方法において、
    前記第１の画素に基づいて生成された前記第２の画素の空間位置における処理基準の画素に基づいて、前記第２の画素をノイズ除去用の画素に変換する第１の変換ステップと、
    前記ノイズ除去用の画素からノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された前記ノイズ除去用の画素を、前記第２の色信号成分を有する画素に変換する第２の変換ステップと、
    前記第２の変換ステップで変換された画素と、前記第１の画素とに基づいて、フルカラーの画像データを生成するフルカラー画像生成ステップと
    を備ることを特徴とする画像処理方法。
19. 第１の色信号成分を有する第１の画素と、第２の色信号成分を有する第２の画素とを含むＲＡＷデータのノイズを抑圧する画像処理方法のプログラムにおいて、
    前記第１の画素に基づいて生成された前記第２の画素の空間位置における処理基準の画素に基づいて、前記第２の画素をノイズ除去用の画素に変換する第１の変換ステップと、
    前記ノイズ除去用の画素からノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された前記ノイズ除去用の画素を、前記第２の色信号成分を有する画素に変換する第２の変換ステップと、
    前記第２の変換ステップで変換された画素と、前記第１の画素とに基づいて、フルカラーの画像データを生成するフルカラー画像生成ステップと
    を備ることを特徴とする画像処理方法のプログラム。

Images