JP4831941B2 - 撮像処理システム、プログラム及び記憶媒体 - Google Patents

Description

本発明は、撮像素子系に起因するノイズの低減処理に関し、個々の被写体に最適化されたノイズ低減を可能とする撮像処理システム、プログラム及び記憶媒体に関する。

撮像素子やそれに付随するアナログ回路及びＡ／Ｄコンバータから得られるデジタル化された信号中にはノイズ成分が含まれる。このノイズ成分には、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子やアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。ランダムノイズを抑圧するための手法としては、例えば特許文献１には、ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対するノイズ量を推定し、ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。

また、特許文献２には、所定のフィルタ領域の画像データをローパスフィルタとハイパスフィルタに別々に入力し、ハイパスフィルタの出力のノイズを除去すると共にエッジ強調を行うノイズ除去・エッジ強調手段と、ローパスフィルタの出力と記ノイズ除去・エッジ強調手段の出力とを合成する合成回路とを備える画像処理装置が開示され、ノイズ除去・エッジ強調手段を選択使用される複数個のルックアップテーブルで構成し、注目画素の濃度と該注目画素のフィルタ領域に関して求めた濃度差に応じて、ノイズ除去・エッジ強調手段で選択使用するルックアップテーブルを決める手法が提案されている。

特開２００１-１５７０５７号公報 特開平８-７７３５０号公報

しかしながら、ノイズ量に応じたノイズ低減処理を行っても、肌などの平坦な被写体とテクスチャ構造を有する被写体では主観的な評価が異なる。すなわち、上記従来技術では撮影時の状況や被写体の差異に対応することができず、主観的に最適なノイズ低減処理が行えないという課題がある。また、文字画像と写真画像の区別だけでは、肌や空等の被写体の違いに応じた処理が行えないという課題がある。

そこで、本発明の目的は、信号レベルのみならず被写体の情報から主観的なノイズ推定を行い、主観的に好ましいノイズ低減処理を可能とする撮像処理システム、プログラム及び記憶媒体を提供することにある。

本発明の他の目的は、撮像素子系に起因するノイズの低減処理及び主観的に高品位な画像を得るための主観的なノイズの低減処理を可能とする撮像処理システム、プログラム及び記憶媒体を提供することにある。

本発明の更に他の目的は、ノイズの発生量と被写体の推定に基づいて個々の被写体に最適化されたノイズの低減を可能とする撮像処理システム、プログラム及び記憶媒体を提供することにある。

前述の課題を解決するため、本発明による撮像処理システム、プログラム及び記憶媒体は以下のような特徴的な構成を採用している。

（１）画像中における予め定められた被写体の領域の面積及び画素値の平均値と主観的ノイズ量との関係の情報が格納されたＲＯＭと、撮像素子から得られる映像信号から成る画像中において、前記予め定められた被写体の領域の面積及び画素値の平均値を求める手段と、当該手段により求められた前記予め定められた被写体の領域の面積及び画素値の平均値と前記ＲＯＭに格納された前記情報とから前記主観的ノイズ量と前記領域のノイズ量として標準偏差とを求める手段と、当該手段により求められた前記主観的ノイズ量と前記ノイズ量の前記標準偏差との比較結果に応じて平滑化処理を行うか否かを制御し、前記映像信号に含まれるノイズを低減する手段とを有する撮像処理システム。
（２）前記被写体の領域は、前記被写体の領域について予め用意した画素信号のパターンと、前記映像信号から前記被写体について得られた前記画素信号のパターンとを比較するパターンマッチング処理により求める上記（１）の撮像処理システム。
（３）前記映像信号の周波数情報を求め、前記周波数情報に基づいて前記被写体の領域を抽出する上記（１）の撮像処理システム。
（４）前記ノイズを低減する処理を実行するフィルタリング処理のパラメータを予め前記ＲＯＭに格納し、前記予め定められた被写体の領域の面積及び画素値の平均値に基づいて前記ＲＯＭから読み出した前記パラメータで前記フィルタリング処理を実行する上記（１）の撮像処理システム。
（５）撮像素子から得られる画素信号から成る映像信号の画素値と、前記画素値に対する撮像素子ノイズ量との関係を表す関数、又は前記映像信号の画素値と、前記画素値に対する前記撮像素子ノイズ量との関係を記憶したテーブルから前記撮像素子に起因する撮像素子ノイズ量を推定し、前記映像信号から予め定められた被写体の領域の面積及び画素値の平均値を求め、前記予め定められた被写体の領域の面積及び画素値の平均値とＲＯＭに格納された画像中における予め定められた被写体の領域の面積及び画素値の平均値と主観的ノイズ量との関係の情報とから所定の主観的ノイズを推定し、前記推定された主観的ノイズに基づいて前記撮像素子ノイズ量を補正するためのゲインを算出し、前記算出されたゲインに基づいて前記撮像素子ノイズ量を補正し、前記補正された前記撮像素子ノイズ量に基づいて前記映像信号のノイズを低減する撮像処理システム。
（６）上記（１）乃至（５）のうちいずれか１つの処理をコンピュータに実行させるコンピュータプログラム。
（７）上記（６）の前記コンピュータプログラムが格納されている記憶媒体。

本発明によれば、少なくとも以下のような格別顕著な効果が得られる。
（１）主観的に好ましい高品位な画像を得ることができる。
（２）撮像素子ノイズばかりでなく、主観的ノイズを低減することにより、主観的に好ましい高品位な画像を得ることができる。
（３）被写体の状況に応じて補正が行われるため主観的に好まれる高品位な画像が得られる。
（４）特定色の情報を用いて被写体の推定を行うため、空、肌、緑等の推定が高精度に行える。
（５)パターン情報を用いて被写体の推定を行うため、パターンに起因した被写体の推定が高精度に行える。
（６)周波数特性を用いて被写体の推定を行うため、周波数に起因した被写体の推定が高精度に行える。
（７)映像信号から得られる複数の情報を用いて被写体の推定を行うため、被写体の推定が高精度に行える。
（８）被写体情報に応じてフィルタ係数を変化させるため、主観的に好ましい平滑化処理が行える。
（９）撮像素子ノイズと主観的ノイズを比較し、どちらか一方のノイズ量を用いるため処理が早くなる。

以下、本発明による撮像処理システム、プログラム及び記憶媒体の実施例について図面を参照しながら説明する。図１は、本発明による撮像処理システムについて第１の実施例の構成ブロック図である。

図１において、外部Ｉ/Ｆ部９を介してＩＳＯ感度などの撮影条件が、システム全体を制御する制御部８に入力され、設定された後、シャッターボタンの押下により映像信号が取り込まれる。レンズ系１、ＣＣＤ２を介して撮影され、電気信号に変換された映像信号は、前処理部３でＧａｉｎ増幅やＡ／Ｄ変換及びＡＦ、ＡＥ制御等の前処理が施されてバッファ４に転送される。バッファ４から読み出された信号は信号処理部５に転送される。

信号処理部５は、制御部８による制御の下、バッファ４から転送された映像信号に対して、公知のホワイトバランス処理や色変換処理を施した後、処理結果を主観的ノイズ推定部６及び主観的ノイズ低減部７に転送する。

主観的ノイズ推定部６は、制御部８による制御の下、信号処理部５から転送される映像信号の注目画素を中心とした局所領域を抽出し、主観的ノイズの推定及び被写体の推定を行う。推定された主観的ノイズの量及び被写体の情報は、主観的ノイズ低減部７に転送される。主観的ノイズ推定部６は、また、局所領域のノイズ量として標準偏差を算出し、算出された標準偏差は主観的ノイズ低減部７に転送される。

主観的ノイズ低減部７は、制御部８による制御の下、局所領域の主観的ノイズの低減処理を行う。この主観的ノイズ低減処理では、主観的ノイズ推定部６から転送された局所領域の標準偏差と推定された主観的ノイズ量とを比較し、局所領域の標準偏差が推定された主観的ノイズ量より小さければ、局所領域内で公知の平滑化処理が行われ、注目画素の値が更新され、局所領域の標準偏差が推定された主観的ノイズ量より大きければ処理は行われない。

上述のように、本実施例では、主観的ノイズ推定部６で主観的ノイズの推定を行い、この推定された情報に基づいて、主観的ノイズ低減部７にて画像の主観的ノイズの低減を行っているので 主観的に好ましい高品位な画像を得ることができる。主観的ノイズ低減処理としては、図９に示すようなフィルタ処理を行う処理があるが、詳細は後述する。

主観的ノイズ低減処理は全注目画素に対して行われ、主観的ノイズが低減された後の映像信号は、出力部１０に転送される。出力部１０ではメモリカード等へ映像信号を記録保存する。

図２は、図１に示す主観的ノイズ推定部６の第１構成例を示すブロック図で、特定色抽出部６１１、画像領域分割部６１２、被写体認識部６１３、局所領域抽出部６１４、バッファ６１５、ゲイン算出部６１６、被写体情報算出部６１７、ノイズ算出部６１８及びパラメータ用ＲＯＭ６１９を備えて構成される。

ゲイン算出部６１６は、制御部８による制御の下、外部Ｉ／Ｆ部９を介して設定されたＩＳＯ感度に基づき前処理部３で処理されたゲイン増幅の増幅率を求め、求められた増幅率をノイズ算出部６１８に転送する。

特定色抽出部６１１は、制御部８による制御の下、信号処理部５から転送された映像信号を１画素ずつ読み込み、図３(ａ)のような色空間にマッピングする。全画素についてこの処理を行った後、色空間内において予め指定された特定色領域に含まれる画素を抽出する。図３(ａ)では点線で囲まれた網掛けの部分がそれに相当する。特定色は、例えば、肌色、青色、緑色等が考えられる。ここで、信号処理部５において、映像信号はＲＧＢやL^＊ａ^＊b^＊等の色信号に変換されているとする。

次に、画像領域分割部６１２は、制御部８による制御の下、特定色として抽出された画素を図３(b)のように実空間へマッピングする。特定色として抽出されたすべての画素に対してこの処理を行った後、実空間内においてある一定以上の領域を持った画素の集合を被写体として抽出する。図３(b)では点線で囲まれた領域がそれに相当する。

被写体認識部６１３は、制御部８による制御の下、画像領域分割部６１２で抽出された被写体の認識を行う。

図４は、被写体の認識を行うために用いられる画像の領域分割パターンの説明例を示す図である。被写体がａ１０またはａ１１の領域に存在し、かつ青色であった場合、その被写体は空であると認識される。ａ１２またはａ１３の領域に存在する場合は海であると認識される。被写体がａ４、ａ６またはａ７の領域に存在し、かつ肌色であった場合、その被写体は顔であると認識される。被写体がａ４、ａ６、ａ７、ａ１０またはａ１１の領域に存在し、かつ緑色であった場合、木であると認識される。ａ５、ａ８、ａ９、ａ１２またはａ１３の領域に存在する場合は芝生や草であると認識される。

被写体認識部６１３での処理の結果、例えば空である場合は１、顔である場合は２といったように、被写体として抽出された全ての画素に対してラベル付けが行われる。また、特定色抽出部６１１から被写体認識部６１３までの処理において、被写体として認識されなかった画素のラベルは０とする。上記処理の結果、すべての画素に対してラベル付けが行われ、ラベル付けされた画素の情報は被写体情報算出部６１７に転送される。

局所領域抽出部６１４は、制御部８による制御の下、信号処理部５から転送された映像信号の注目画素を中心とした所定サイズの領域、例えば５×５画素単位の局所領域を抽出し、バッファ６１５に転送する。

被写体情報算出部６１７は、バッファ６１５から転送される局所領域の信号及び被写体認識部６１３から転送されるラベル付けされた画素に基づいて被写体の情報、例えば、被写体の面積を算出する。面積の算出は、以下のようにして行われる。被写体認識部６１３から転送されるラベル情報を用いて、ラベルｉ(ｉは自然数)を持つ画素の個数ａｉを算出し、それを画像全体の総画素数Tで割った値ａi／Ｔをその被写体の面積とする。すべてのラベルに対して同様の処理を行い、そのラベルが持つ面積の情報はノイズ算出部６１８に転送される。

バッファ６１５から転送された注目画素を中心とする局所領域の信号に対して、被写体認識部６１３から転送される注目画素に対するラベル情報が０以外であった場合、すなわち被写体として認識された画素に対して、注目画素を中心とする局所領域の平均値、分散(標準偏差)を算出し、ノイズ算出部６１８に転送する。

ノイズ算出部６１８は、制御部８による制御の下、ゲイン算出部６１６から送出される増幅率及び、被写体情報算出部６１７からのラベル情報及び被写体の面積の情報に基づきパラメータ用ＲＯＭ６１９から後述するような主観的ノイズ量算出に用いる関数情報を求める。なお、主観的ノイズの算出は、例えば、グレーチャートのノイズ量を基準とし、それと同じノイズ量を持つ肌色等の特定色チャート及び空や海等の実写を、輝度や面積を変化させ被験者に提示する。被験者は、主観評価実験を行い、その結果算出された評価値と、グレーチャートの評価値とを比較し、被験者が感じる特定色のノイズ量がグレーチャートのノイズ量の何倍であるかを算出し、それを主観的ノイズ量とする。

図５は、パラメータ用ＲＯＭ６１９に記録されている主観的ノイズ量算出に用いる関数情報を説明する図である。図示の如く、この関数の形状は被写体のラベル情報及び面積によって決まり、主観的ノイズ量Ｍは局所領域の平均値Xに対して変化する。主観的ノイズは、前述したように、主観実験により求められ、主観的ノイズ量は被写体情報、面積、輝度に応じて変化する。図５に示す３本のグラフはそれぞれ被写体情報がｉで、面積がＳ１、被写体情報がｉで、面積がＳ２、及び被写体情報がｊで、面積がＳ１における主観的ノイズ量Ｍと平均値Ｘの関係を示す。

ノイズ算出部６１８は、被写体情報算出部６１７から転送された局所領域の平均値Ｘを用いて主観的ノイズ量を算出し、ゲイン算出部６１６から得られた増幅率を乗算することによって注目画素における主観的ノイズ量が算出される。算出された主観的ノイズ量及び各画素の被写体情報は主観的ノイズ低減部７に転送される。上記主観的ノイズ量は、局所領域抽出部６１４で抽出された領域の中心画素の主観的ノイズ量と仮定される。制御部８は、局所領域抽出部６１４に対して０以外のラベルを持つ画素全体に対して上述の如き主観的ノイズ量を算出するように制御を行う。

図２に示す構成例においては、特定色抽出部６１１で信号中の特定色を抽出し、画像領域分割部６１２にて画像中の、ある程度の大きさを持った領域を抽出し、被写体認識部６１３にて被写体の情報を認識し、ノイズ算出部６１８にて主観的ノイズを推定している。したがって、映像信号から特定色領域を抽出し、それをもとに被写体を推定し、主観的ノイズの算出を行い、特定色の情報を用いて被写体の推定を行っているため、空、肌、緑等の推定が高精度に行える。

図６〜図８は、それぞれ主観的ノイズ推定部６の第２、第３及び第４の構成例を示すブロック図であり、図６及び図７では、図２における特定色抽出部６１１がパターン情報抽出部６２０及び周波数特性抽出部６２１に置き換わっており、図８は、図２の特定色抽出部６１１の箇所にパターン情報抽出部６２０と周波数特性抽出部６２１が追加されている構成例である。

図６〜図８の基本構成は、図２の構成と同等であり、同一の構成には同一の名称と番号を割り当てている。信号の流れについても基本的に図２の構成図と同等であり、異なる部分のみ説明する。

図６において、パターン情報抽出部６２０は、制御部８による制御の下、信号処理部５から転送された映像信号の注目画素を中心とした所定の領域だけ読み込み、予め用意された顔、空、木々等のパターンと公知のパターンマッチング処理を実行する。全画素についてこのパターンマッチング処理を行った後、顔、空、木々等のパターンとして認識された画素を実空間へマッピングする。

その後、図３(b)に示すように、実空間内において、ある一定の領域をもった画素の集合を被写体として抽出する。被写体認識部６１３は、制御部８による制御の下、画像領域分割部６１２で抽出された被写体の認識を行う。被写体の認識は、上述図４のように行われる。

被写体がａ１０またはａ１１の領域に存在し、かつ空のパターンであった場合、その被写体は空であると認識される。ａ１２またはａ１３の領域に存在し、かつ海のパターンであった場合は海であると認識される。被写体がａ４、ａ６またはａ７の領域に存在し、かつ顔のパターンであった場合、その被写体は顔であると認識される。被写体がａ４、ａ６、ａ７、ａ１０またはａ１１の領域に存在し、かつ木々のパターンであった場合、木であると認識される。ａ５、ａ８、ａ９、ａ１２またはａ１３の領域に存在し、かつ芝生のパターンであった場合は芝生であると認識される。

上記処理の結果、例えば空である場合は１、顔であった場合は２といったように、被写体として抽出された全ての画素に対してラベル付けが行われる。また、パターン情報抽出部６２０から被写体認識部６１３までの処理において、被写体として認識されなかった画素のラベルは０とする。その結果すべての画素に対してラベル付けが行われ、ラベル付けされた画素の情報は被写体情報算出部６１７に転送される。その後の処理は図２の構成例と同様である。

上述のように、図６の構成においては、パターン情報抽出部６２０にて信号中のパターン情報を抽出し、画像領域分割部６１２にて画像中の、ある程度の大きさを持った領域を抽出し、被写体認識部６１３にて被写体の情報を認識し、ノイズ算出部６１８にて主観的ノイズを推定している。したがって、映像信号からパターン情報を抽出し、それをもとに被写体を推定し、主観的ノイズの算出を行い、パターン情報を用いて被写体の推定を行っているので、パターンに起因した被写体の推定が高精度に行える。

次に、図７に示す構成例について説明する。周波数特性抽出部６２１は、制御部８による制御の下、信号処理部５から転送された映像信号を読み込み、公知のフーリエ変換処理により周波数変換を行う。周波数帯域を低周波から高周波までいくつかの周波数範囲に区切ってグループ分けを行う。周波数空間においてグループ分けされた映像信号は実空間へマッピングされる。

その後、図３(b)に示すように、実空間内において、ある一定の領域をもった画素の集合を被写体として抽出する。被写体認識部６１３は、制御部８による制御の下、画像領域分割部６１２で抽出された被写体の認識を行う。被写体の認識は上述図４に基づいて行われる。被写体がａ１０またはａ１１の領域に存在し、かつ低周波であった場合、その被写体は空であると認識される。被写体がａ４、ａ６またはａ７の領域に存在し、かつ低周波であった場合、その被写体は顔であると認識される。被写体がａ４、ａ６、ａ７、ａ１０またはａ１１の領域に存在し、かつ高周波であった場合、木であると認識される。

この処理の結果、例えば空である場合は１、顔であった場合は２といったように、被写体として抽出された全ての画素に対してラベル付けが行われる。また、周波数特性抽出部６２１から被写体認識部６１３までの処理において、被写体として認識されなかった画素のラベルは０とする。その結果すべての画素に対してラベル付けが行われ、ラベル付けされた画素の情報は被写体情報算出部６１７に転送される。その後の処理は図２の構成と同様である。

上述のように、図７においては、周波数特性抽出部６２１にて信号中の周波数特性を抽出し、画像領域分割部６１２にて画像中の、ある程度の大きさを持った領域を抽出し、被写体認識部６１３にて被写体の情報を認識し、ノイズ算出部６１８にて主観的ノイズを推定している。したがって、映像信号から周波数特性を抽出し、それをもとに被写体を推定し、主観的ノイズの算出を行い、周波数特性を用いて被写体の推定を行っているので、周波数に起因した被写体の推定が高精度に行える。

続いて、図８に示す構成について説明する。特定色抽出部６１１、パターン情報抽出部６２０及び周波数特性抽出部６２１は制御部８による制御の下、信号処理部５から転送された映像信号を用い、前述した方法により特定色、パターン情報及び周波数特性を抽出する。

画像領域分割部６１２は、制御部８による制御の下、特定色として抽出された箇所、顔、空、木々等のパターンとして抽出された箇所、周波数帯域毎に抽出された箇所を実空間にそれぞれマッピングする。映像信号に対してこの処理を行った後、実空間内において、上記特定色、パターン情報、周波数帯域の３種類の情報が共通に存在し、かつある一定以上の領域を持った画素の集合を被写体として抽出する。

被写体認識部６１３は、制御部８による制御の下、画像領域分割部６１２で抽出された被写体の認識を行う。被写体の認識は、上述図４を用いて行われる。

被写体がａ１０またはａ１１の領域に存在し、かつ青色であり、かつ空のパターンであり、かつ低周波であった場合、その被写体は空であると認識される。ａ１２またはａ１３の領域に存在し、かつ青色で、かつ海のパターンであり、かつ高周波であった場合は海であると認識される。被写体がａ４、ａ６またはａ７の領域に存在し、かつ肌色であり、かつ顔のパターンであり、かつ低周波であった場合、その被写体は顔であると認識される。被写体がａ４、ａ６、ａ７、ａ１０またはａ１１の領域に存在し、かつ緑色であり、かつ木々のパターンであり、かつ高周波であった場合、木であると認識される。ａ５、ａ８、ａ９、ａ１２またはａ１３の領域に存在し、かつ緑色であり、かつ芝生のパターンであり、かつ低周波であった場合は芝生であると認識される。

この処理の結果、例えば空である場合は１、顔であった場合は２といったように、被写体として抽出された全ての画素に対してラベル付けが行われる。また、上記の処理において、被写体として認識されなかった画素のラベルは０とする。その結果すべての画素に対してラベル付けが行われ、ラベル付けされた画素の情報は被写体情報算出部６１７に転送される。その後の処理は図２の構成例と同様である。

上述のように、図８においては、特定色抽出部６１１、パターン情報抽出部６２０及び周波数特性抽出部６２１にて信号中の特徴量を抽出し、画像領域分割部６１２にて画像中の、ある程度の大きさを持った領域を抽出し、被写体認識部６１３にて被写体の情報を認識し、ノイズ算出部６１８にて主観的ノイズを推定している。したがって、映像信号から特定色情報、パターン情報及び周波数特性を抽出し、それをもとに被写体を推定し、主観的ノイズの算出を行い、映像信号から得られる複数の情報を用いて被写体の推定を行っているので、被写体の推定が高精度に行える。

図９は、主観的ノイズ低減部７の構成例を示すブロック図で、局所領域抽出部７１１、バッファ７１２、スムージング部７１３、ゲイン算出部７１４、フィルタ算出部７１６及びフィルタ係数用ＲＯＭ７１５を備えて構成される。

ゲイン算出部７１４は、制御部８による制御の下、外部Ｉ／Ｆ部９を介して設定されたＩＳＯ感度に基づき前処理部３において処理されたゲインの増幅率を求め、これをフィルタ算出部７１６に転送する。フィルタ算出部７１６は、制御部８による制御の下、主観的ノイズ推定部６から転送された被写体情報をもとにフィルタ係数用ＲＯＭ７１５からフィルタ処理に用いる係数を読み込む。上記過程は、ラベルごとに行われる。次に、制御部８は、局所領域抽出部７１１を制御し、信号処理部５から転送される映像信号から注目画素を中心とした所定サイズの領域、例えば５×５画素単位の局所領域を抽出しバッファ７１２に転送させる。

スムージング部７１３は、制御部８による制御の下、バッファ７１２の領域に関して、フィルタ算出部７１６から転送されるゲイン及びフィルタ係数の情報を用いて公知の平滑化処理を行う。この平滑化処理はラベルが０以外の画素に対して行われる。制御部８は、局所領域抽出部７１１に対して所定サイズの領域を水平及び垂直方向に１画素単位で移動しながらフィルタ処理を行うように制御を行う。

上記構成により、撮像素子のノイズ低減の他に主観的なノイズ低減を行うため、高品位な画像が得られる。また、主観的ノイズの推定において、最初に特定色等の情報を用いて分類を行い、次に画像中の位置情報に基づき被写体の情報を算出するため、精度の高い被写体推定が可能となる。また、ノイズ量に関する情報を関数化して保存するため、保存するＲＯＭ容量が少なくなり低コスト化ができる。また、被写体の情報に応じてノイズ量に関する関数を変化させるため、被写体に応じた最適な主観的ノイズ低減が行え、高品位な画像が得られる。

上述のように、図９においては、局所領域抽出部７１１にて信号中の注目画素を中心とした局所領域を抽出し、フィルタ算出部７１６にて被写体情報に応じてフィルタ係数を変化させ、スムージング部７１３にて平滑化処理を行っている。したがって、映像信号から抽出された被写体情報に応じてフィルタ係数を変化させ、平滑化処理を行い、被写体情報に応じてフィルタ係数を変化させているので、主観的に好ましい平滑化処理が行える。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ２からの信号を未処理のままの生（Ｒａｗ）データとして、ＩＳＯ感度情報や画像サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１０には上記第１の実施例のソフトウェアによる処理手順を示すフローチャートが示されている。ステップＳ１において、ＩＳＯ感度や画像サイズの情報が含まれたヘッダ情報を読み込み、画像を読み込む（ステップＳ２）。ホワイトバランス処理や色変換処理等を行い（ステップＳ３）、主観的ノイズ量の推定を行う（ステップＳ４）。注目画素を中心としたブロック読み出し、例えば、５×５画素領域を読み込む（ステップＳ５）。次に、注目画素単位ごとに主観的ノイズ低減処理を行い（ステップＳ６）、ステップＳ７にてすべての注目画素について処理が行われたかを判断し、すべての注目画素において処理が行われた場合、処理を終了する。

また、上記実施例におけるＣＣＤとしては、原色系の単板ＣＣＤや、補色系の単板ＣＣＤや二板、三板ＣＣＤ等の他にＣＭＯＳ等を用いることができる。主観的ノイズ量の算出に関して関数化した手法を前提としていたが、このような構成に限定される必要はない。例えば、ノイズ量をテーブルとして記録する構成も可能で、この場合はノイズ量の算出が高精度かつ高速化できる。

図１１は、本発明による撮像処理システムの第２の実施例の構成ブロック図である。第１の実施例と同一の構成には同一の名称と番号を割り当てている。以下の説明は、主に第１の実施例と異なる箇所について説明する。レンズ系１、ＣＣＤ２を介して撮影され、電気信号に変換された映像信号は、Ｇａｉｎ増幅やＡ／Ｄ変換及びＡF、ＡE制御等の処理を行う前処理部３を経てデジタル信号へ変換される。

撮像素子ノイズ推定部１１は、制御部８による制御の下、バッファ４から出力される映像信号から注目画素を中心とした所定サイズの領域、例えば５×５画素単位のような局所領域を抽出し、撮像素子ノイズ量の推定を行う。推定された撮像素子ノイズ量は撮像素子ノイズ低減部１２に転送される。撮像素子ノイズ推定部１１は、また、局所領域のノイズ量として標準偏差を算出し、算出された標準偏差は撮像素子ノイズ低減部１２に転送される。

撮像素子ノイズ低減部１２は、制御部８による制御の下、局所領域の撮像素子ノイズ低減処理を行う。撮像素子ノイズ推定部１１から転送された局所領域の標準偏差と推定された撮像素子ノイズ量とを比較し、局所領域の標準偏差が、推定された撮像素子ノイズ量より小さければ、局所領域内で公知の平滑化処理が行われ注目画素の値が更新される。また、局所領域の標準偏差が、推定された撮像素子ノイズ量より大きければ処理は行われない。

この撮像素子ノイズ低減処理は、全画素に対して行われ、撮像素子ノイズ低減後の映像信号は信号処理部５に転送される。信号処理部５は、制御部８による制御の下、撮像素子ノイズ低減後の映像信号に対して、公知のホワイトバランス処理や色変換処理を行い、主観的ノイズ推定部６及び主観的ノイズ低減部７に転送する。

主観的ノイズ推定部６は、制御部８による制御の下、撮像素子ノイズ低減後の映像信号から注目画素を中心とした局所領域を抽出し、主観的ノイズの推定を行う。前述撮像素子ノイズ推定部１１と同様に、推定された主観的ノイズ量と局所領域の標準偏差は主観的ノイズ低減部７に転送される。

主観的ノイズ低減部７は、制御部８による制御の下、局所領域の主観的ノイズ低減処理を行う。この主観的ノイズ低減処理は、全注目画素に対して行われ、主観的ノイズ低減後の映像信号は出力部１０に転送される。出力部１０はメモリカード等へ映像信号を記録保存する。

上述のように、図１１においては、撮像素子ノイズ推定部１１にて撮像素子ノイズを推定し、撮像素子ノイズ低減部１２にて撮像素子ノイズの低減を行い、主観的ノイズ推定部６にて主観的ノイズの推定を行い、主観的ノイズ低減部７にて画像の主観的ノイズの低減を行っているので、撮像素子ノイズばかりでなく、主観的ノイズを低減することにより、主観的に好ましい高品位な画像を得ることができる。

図１２は撮像素子ノイズ推定部１１の構成の一例を示すもので、局所領域抽出部１１１、バッファ１１２、平均分散算出部１１３、ゲイン算出部１１４、ノイズ算出部１１５及びパラメータ用ＲＯＭ１１６を備えて構成される。

ゲイン算出部１１４は、制御部８による制御の下、外部Ｉ/Ｆ部９を介して設定されたＩＳＯ感度に基づき前処理部３においてなされたゲインの増幅率を求め、求められた増幅率をノイズ算出部１１５に転送する。本実施例では、例えばＩＳＯ感度は１００、２００、４００の三段階を想定し、各々の増幅率を１、２、４倍と設定する。

ノイズ算出部１１５は、制御部８による制御の下、ゲイン算出部１１４からの増幅率に基づきパラメータ用ＲＯＭ１１６から撮像素子ノイズ量算出に用いる関数情報を求める。

図１３はパラメータ用ＲＯＭ１１６に記録されている撮像素子ノイズ量算出に用いる関数情報を説明する図である。撮像素子ノイズ量Ｎは、信号値Ｙに対してべき乗の形態で増加する。これを関数でモデル化すると(１)式のようになる。
Ｎ=αＹ^β+γ (１)
ここで、α、β、γは定数である。さらに、撮像素子ノイズ量は前処理部３内のゲイン処理における増幅率により増減することになる。図１３に示す３本のグラフは、ＩＳＯ感度１００、２００、４００の三段階に関する撮像ノイズ量Nと信号値Yの関係を示す。増幅率による差を考慮して(１)式を拡張すると(２)式のようになる。
Ｎ_ｉ=α_ｉＹ^βi+γ_ｉ (２)
ここで、ｉは増幅率を示すパラメータで、本実施例ではｉ=１、２、４となる。パラメータ用ＲＯＭ１１６にはα_ｉ、β_ｉ、γ_ｉの定数項が記録される。

ノイズ算出部１１５は、ゲイン算出部１１４からの増幅率に基づきパラメータ用ＲＯＭ１１６から上記α_ｉ、β_ｉ、γ_ｉの定数項を読み出す。上記処理は、１枚の映像信号に関して一回のみ行われる。

次に、制御部８は、局所領域抽出部１１１を制御し、バッファ４上にある映像信号から注目画素を中心とした所定サイズの領域、例えば５×５画素単位の局所領域を抽出しバッファ１１２に転送させる。

平均分散算出部１１３は、制御部８による制御の下、バッファ１１２上の領域に関して平均値及び分散(標準偏差)を算出する。これらの値はノイズ算出部１１５に転送される。

ノイズ算出部１１５は、転送された平均値Ｙから(２)式に基づき撮像素子ノイズ量を算出して、撮像素子ノイズ低減部１２に転送する。また、ノイズ算出部１１５にてノイズ量として算出された分散(標準偏差)も撮像素子ノイズ低減部１２に転送される。上記撮像素子ノイズ量は、局所領域抽出部１１１で抽出された領域の中心画素の撮像素子ノイズ量と仮定される。制御部８は、局所領域抽出部１１１に対して所定サイズの領域を水平及び垂直方向に１画素単位で移動しながら全映像信号から撮像素子ノイズ量を算出するように制御を行う。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ２からの信号を未処理のままの生（Ｒａｗ）データとして、ＩＳＯ感度情報や画像サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１４には上記第２の実施例のソフトウェアによる処理手順を示すフローチャートが示されている。ステップＳ１にてＩＳＯ感度や画像サイズの情報が含まれたヘッダ情報を読み込み、画像を読み込む（ステップＳ２）。次に、注目画素を中心としたブロック読み出し、例えば、５×５画素領域を読み込み（ステップＳ３）、注目画素単位ごとに撮像素子ノイズ推定を行い（ステップＳ４）、注目画素単位ごとに撮像素子ノイズ低減処理を行う（ステップＳ５）。続いて、すべての画素について処理が行われたかを判断し（ステップＳ６）、すべての画素において処理が行われた場合、ステップＳ７にてホワイトバランス処理や色変換処理等を行い、主観的ノイズの推定を行う（ステップＳ８）。そして、注目画素を中心としたブロック読み出し、例えば、５×５画素領域を読み込み（ステップＳ９）、注目画素単位ごとに主観的ノイズ低減処理を行い（ステップＳ１０）、ステップＳ１１にてすべての画素について処理が行われたかを判断し、すべての画素において処理が行われた場合、処理を終了する。

また、上記実施例におけるＣＣＤは、原色系の単板ＣＣＤや、補色系の単板ＣＣＤや二板、三板ＣＣＤ等の他にＣＭＯＳ等も考えられる。撮像素子ノイズ量の算出に関して関数化した手法を前提としていたが、このような構成に限定される必要はない。例えば、ノイズ量をテーブルとして記録する構成も可能で、この場合はノイズ量の算出が高精度かつ高速化できる。

図１５は、本発明による撮像処理システムの第３の実施例の構成ブロック図である。第１の実施例と同一の構成には同一の名称と番号を割り当てている。以下、主に第１の実施例と異なる箇所のみ説明する。

レンズ系１、ＣＣＤ２を介して撮影された映像は、Ｇａｉｎ増幅やＡ／Ｄ変換及びＡＦ、ＡＥ制御等の処理を行う前処理部３を経てデジタル信号へ変換される。

図１５において、外部Ｉ／Ｆ部９を介してＩＳＯ感度などの撮影条件を設定した後、シャッターボタンを押すことで映像信号が取り込まれる。制御部８の制御により、撮像素子ノイズ推定部１１と主観的ノイズ推定部６はバッファ４の映像信号から注目画素を中心とした所定サイズの領域、例えば５×５画素単位のような局所領域を抽出し、それぞれのノイズ量の推定を行う。

撮像素子ノイズ推定部１１は、第１の実施例と同様な処理で局所領域の標準偏差及び撮像素子ノイズ量を推定し、補正部１４に転送する。

主観的ノイズ推定部６は、第１の実施例と同様な処理を実行して主観的ノイズ量を推定し、補正部１４に転送する。補正部１４は、主観的ノイズ推定部６からのノイズ量に基づき、転送された撮像素子ノイズ量を補正するためのゲインを算出し、算出されたゲインに基づき撮像素子ノイズ量の補正を行う。補正されたノイズ量はノイズ低減部１３に転送される。あるいは、補正部１４は、転送された撮像素子ノイズ量と主観的ノイズ量を比較し、大きい値をもつノイズ量をノイズ低減部１３に転送する。

ノイズ低減部１３は、制御部８による制御の下、局所領域のノイズ低減処理を行う。撮像素子ノイズ推定部１１から転送された局所領域の標準偏差と補正部１４から転送されたノイズ量を比較し、局所領域の標準偏差がノイズ量より小さければ、局所領域内で公知の平滑化処理が行われ注目画素の値が更新される。また、局所領域の標準偏差が推定された撮像素子ノイズ量より大きければ処理は行われない。

撮像素子ノイズ推定部１１、主観的ノイズ推定部６及び補正部１４の処理は、制御部８による制御の下、ノイズ低減部１３の処理と同期して行われる。ノイズ低減処理は全画素に対して行われ、ノイズ低減後の映像信号は出力部１０に転送される。出力部１０はメモリカード等へ映像信号を記録保存する。

上述のように、図１５に示す実施例では、撮像素子ノイズ推定部１１にて撮像素子のノイズを推定し、主観的ノイズ推定部６にて主観的なノイズを推定し、補正部１４にて上記２種類のノイズ量を用いてノイズ量の補正を行い、ノイズ低減部１３にて信号のノイズ低減を行う撮像処理システムである。つまり、撮像素子ノイズ量を推定し、被写体の状況に応じて補正を行い、ノイズ低減処理を行っているので、被写体の状況に応じて補正が行われるため主観的に好まれる高品位な画像が得られる。

図１５においては、補正部１４にて撮像素子ノイズと主観的ノイズの比較を行い、どちらか一方のノイズ量を用いる撮像処理システムである。すなわち、撮像素子ノイズと主観的ノイズを比較し、どちらかの一方のノイズ量を用いるため処理が早くなる。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ２からの信号を未処理のままの生（Ｒａｗ）データとして、ＩＳＯ感度情報や画像サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１６には上記第３の実施例のソフトウェアによる処理手順を示すフローチャートが示されている。ステップＳ１にてＩＳＯ感度や画像サイズの情報が含まれたヘッダ情報を読み込み、画像を読み込む（ステップＳ２）。次に、色変換等の前処理を行い（ステップＳ３）、主観的ノイズ推定を行い（ステップＳ４）、注目画素を中心としたブロック読み出し、例えば、５×５画素領域を読み込む（ステップＳ５）。続いて、注目画素単位ごとに撮像素子ノイズ推定を行い（ステップＳ６）、推定された撮像素子ノイズ量と主観的ノイズ量をもとに補正処理が行われ（ステップＳ７）、注目画素単位ごとにノイズ低減処理を行う（ステップＳ８）。そして、ステップＳ９にてすべての画素について処理が行われたかを判断し、すべての画素において処理が行われた場合、処理を終了する。

上記構成により、被写体の情報に基づき、主観的に好ましい画像になるようにノイズ量の補正を行い、補正されたノイズ量以下の信号のみ平滑化処理が行われるため、高精度かつ主観的に好ましいノイズ低減処理が可能となる。

以上、本発明による撮像処理システムの好適実施例の構成及び動作を詳述した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。

本発明による撮像処理システムの第１実施例の構成ブロック図である。 図１における主観的ノイズ推定部の第１の構成ブロック図である。 本発明の実施例における画像領域分割を説明するための図である。 本発明の実施例における画像の領域分割パターンを説明するための図である。 本発明の実施例における主観的ノイズ量の関数化に関する説明図である。 本発明の実施例における主観的ノイズ推定部の第２の構成ブロック図である。 本発明の実施例における主観的ノイズ推定部の第３の構成ブロック図である。 本発明の実施例における主観的ノイズ推定部の第４の構成ブロック図である。 本発明の実施例における主観的ノイズ低減部の構成ブロック図である。 本発明の第１実施例の処理手順を示すフローチャートである。 本発明による撮像処理システムの第２実施例の構成ブロック図である。 本発明の実施例における撮像素子ノイズ推定部の構成ブロック図である。 本発明の実施例における撮像素子ノイズ量の関数化に関する説明図である。 本発明の第２実施例の処理手順を示すフローチャートである。 本発明による撮像処理システムの第３実施例の構成ブロック図である。 本発明の第３実施例の処理手順を示すフローチャートである。

符号の説明

１ レンズ系
２ ＣＣＤ
３ 前処理部
４ バッファ
５ 信号処理部
６ 主観的ノイズ推定部
７ 主観的ノイズ低減部
８ 制御部
９ 外部I/F部
１０ 出力部
１１ 撮像素子ノイズ推定部
１２ 撮像素子ノイズ低減部
１３ ノイズ低減部
１４ 補正部
１１１ 局所領域抽出部
１１２ バッファ
１１３ 平均分散算出部
１１４ ゲイン算出部
１１５ ノイズ算出部
１１６ パラメータ用ＲＯＭ
６１１ 特定色抽出部
６１２ 画像領域分割部
６１３ 被写体認識部
６１４ 局所領域抽出部
６１５ バッファ
６１６ ゲイン算出部
６１７ 被写体情報算出部
６１８ ノイズ算出部
６１９ パラメータ用ＲＯＭ
６２０ パターン情報抽出部
６２１ 周波数特性抽出部
７１１ 局所領域抽出部
７１２ バッファ
７１３ スムージング部
７１４ ゲイン算出部
７１５ フィルタ係数用ＲＯＭ
７１６ フィルタ算出部

Claims (7)

1. 画像中における予め定められた被写体の領域の面積及び画素値の平均値と主観的ノイズ量との関係の情報が格納されたＲＯＭと、
   撮像素子から得られる映像信号から成る画像中において、前記予め定められた被写体の領域の面積及び画素値の平均値を求める手段と、
   当該手段により求められた前記予め定められた被写体の領域の面積及び画素値の平均値と前記ＲＯＭに格納された前記情報とから前記主観的ノイズ量と前記領域のノイズ量として標準偏差とを求める手段と、
   当該手段により求められた前記主観的ノイズ量と前記ノイズ量の前記標準偏差との比較結果に応じて平滑化処理を行うか否かを制御し、前記映像信号に含まれるノイズを低減する手段と、
   を有することを特徴とする撮像処理システム。
2. 前記被写体の領域は、前記被写体の領域について予め用意した画素信号のパターンと、前記映像信号から前記被写体について得られた前記画素信号のパターンとを比較するパターンマッチング処理により求めることを特徴とする請求項１に記載の撮像処理システム。
3. 前記映像信号の周波数情報を求め、前記周波数情報に基づいて前記被写体の領域を抽出することを特徴とする請求項１に記載の撮像処理システム。
4. 前記ノイズを低減する処理を実行するフィルタリング処理のパラメータを予め前記ＲＯＭに格納し、前記予め定められた被写体の領域の面積及び画素値の平均値に基づいて前記ＲＯＭから読み出した前記パラメータで前記フィルタリング処理を実行することを特徴とする請求項１に記載の撮像処理システム。
5. 撮像素子から得られる画素信号から成る映像信号の画素値と、前記画素値に対する撮像素子ノイズ量との関係を表す関数、又は前記映像信号の画素値と、前記画素値に対する前記撮像素子ノイズ量との関係を記憶したテーブルから前記撮像素子に起因する撮像素子ノイズ量を推定し、
   前記映像信号から予め定められた被写体の領域の面積及び画素値の平均値を求め、前記予め定められた被写体の領域の面積及び画素値の平均値とＲＯＭに格納された画像中における予め定められた被写体の領域の面積及び画素値の平均値と主観的ノイズ量との関係の情報とから所定の主観的ノイズを推定し、
   前記推定された主観的ノイズに基づいて前記撮像素子ノイズ量を補正するためのゲインを算出し、
   前記算出されたゲインに基づいて前記撮像素子ノイズ量を補正し、
   前記補正された前記撮像素子ノイズ量に基づいて前記映像信号のノイズを低減する、
   ことを特徴とする撮像処理システム。
6. 請求項１乃至５のうちいずれか１項の処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
7. 請求項６の前記コンピュータプログラムが格納されていることを特徴とする記憶媒体。

Images