JP4200745B2 - 信号処理装置および信号処理方法 - Google Patents
信号処理装置および信号処理方法 Download PDFInfo
- Publication number
- JP4200745B2 JP4200745B2 JP2002336918A JP2002336918A JP4200745B2 JP 4200745 B2 JP4200745 B2 JP 4200745B2 JP 2002336918 A JP2002336918 A JP 2002336918A JP 2002336918 A JP2002336918 A JP 2002336918A JP 4200745 B2 JP4200745 B2 JP 4200745B2
- Authority
- JP
- Japan
- Prior art keywords
- specific color
- signal processing
- color area
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、撮像手段により撮像された画像データに対してノイズ除去やアパーチャ補正等の信号処理を施す信号処理装置および信号処理方法に関するものである。
【０００２】
【従来の技術】
近年ではデジタルカメラの小型化、高性能化にともない撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で被写体を撮像できる画素数が増えることにより、１画素を構成するセルサイズが小さくなっており、このため、ＣＣＤのセンサー出力信号に対するノイズの割合が大きくなっている。
【０００３】
これにより、肌色や空色といった特定色に対して、ＣＣＤの暗電流に基づくノイズ除去やアパーチャ補正等の技術が必要となっており、ディジタルカラー画像の分野において、肌色等の特定色の検出、および検出した特定色の領域に対するノイズ除去、アパーチャ補正等の技術が一般的によく知られている（特許文献１〜特許文献６）。
【０００４】
【特許文献１】
特開平８−２１０９１６号公報
【特許文献２】
特開平１１−１４６４０５号公報
【特許文献３】
特開平８−２１０９１６号公報
【特許文献４】
特開平１１−１４６４０５号公報
【特許文献５】
特開２０００−１５２２６８号公報
【特許文献６】
特開平１１−１４６４０５号公報
【特許文献７】
特開平１０−２９３８４０号公報
【０００５】
【発明が解決しようとする課題】
上述した従来の特定色の検出技術としては特許文献３があり、ＲＧＢの各信号レベルの上限値と下限値を用いて特定色を検出するが、この手法では座標変換テーブルが必要となるため、特定色の検出のためにメモリの記憶容量が増大するという不都合があった。
【０００６】
また、特許文献４でも色差信号をアドレスとしてメモリ内のテーブルに書き込むためハードウェア規模が増大するという不都合があった。
【０００７】
また、ノイズ除去技術としては特許文献５があり、ノイズを判断するレベルを色によって変えて、ノイズスライスレベルを用いてノイズ除去をする手法であるため、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化するが、本発明では特定色の周辺の画素情報をもとにノイズ除去を行うことにより、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化しないようにすることを課題とする。
【０００８】
また、アパーチャ補正技術には特許文献６があり、周波数特性の異なるＢＰＦ( Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ) を用いてアパーチャ補正信号のゲインを変えることなく周波数特性を変更しているため、アパーチャ補正信号のゲインを変えることができず、回路構成が複雑になるが、本発明では特定色に対する注目画素周辺の情報をもとに、アパーチャ補正信号のゲインを算出しているので、より簡易な回路で適正なゲインのアパーチャ補正信号を生成することを課題とする。なお、特許文献７には、撮像画像の２値化した顔領域を正規化する技術が開示されているが、本発明では色差信号に基づく色差平面でノイズ除去、アパーチャ補正を行うために特定色領域を検出することを課題とする。
【０００９】
そこで、本発明は、かかる点に鑑みてなされたものであり、メモリの記憶容量が増大することなく特定色の検出を行い、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化しないようにすると共に、より簡易な回路でアパーチャ補正を行うことができる信号処理装置および信号処理方法を提供することを課題とする。
【００１０】
【課題を解決するための手段】
本発明の信号処理装置は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減手段とを備え、特定色領域における信号処理を行うようにしたものである。
【００１１】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができる。
【００１２】
また、本発明の信号処理装置は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正手段とを備え、特定色領域における信号処理を行うようにしたものである。
【００１３】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、アパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができる。
【００１４】
また、本発明の信号処理方法は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減ステップとを備え、特定色領域における信号処理を行うようにしたものである。
【００１５】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができる。
【００１６】
また、本発明の信号処理方法は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正ステップとを備え、特定色領域における信号処理を行うようにしたものである。
【００１７】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、アパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜図面を参照しながら説明する。
図１にデジタルスチルカメラのブロック図を示す。
まず、デジタルスチルカメラの構成を説明する。
図１において、レンズ１は、被写体の反射光を集光し、画像センサー４に導く。絞り２は、光が通過する面積を変化させることにより画像センサー４に当たる光量を制御する。シャッター３は、光の通過を遮断することにより露光を制御する。上述の絞り２がこのシャッター３の機能を兼ねるようにしてもよい。画像センサー４は、ＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の画像センサーであり、被写体の光情報を電気情報に変換する。センサー表面には色を識別するために複数の色フィルタが配置されている。
【００１９】
フロントエンド（Ｓ／Ｈ（Ｓａｍｐｌｅ ａｎｄ Ｈｏｌｄ）６−１、ＧＣ（Ｇａｉｎ Ｃｏｎｔｒｏｌ）６−２、Ａ／Ｄ( Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ) ６−３）６部分は、画像センサー４の出力のアナログ信号をデジタル信号に変換するものであり、内部では、ノイズ成分を除去する相関二重サンプリング、ゲインコントロール、Ａ／Ｄコンバートが行われる。タイミングジェネレータ（ＴＧ）５は、画像センサー４を水平、および垂直に駆動して、高速・低速電子シャッター等の露光制御も行う。カメラシステムＬＳＩ( Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ) ７は、デジタル化された画像センサー４からの情報を元に各種デジタル信号処理を行い、輝度信号・色信号を生成すると共に、データの圧縮を行い、圧縮データを生成する。
【００２０】
画像メモリ８は、デジタルの画像データを格納するための記憶素子であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＤＲＡＭ（Ｓｙｎｃｒｏｎｏｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等があり、カメラシステムＬＳＩ７でのデジタル信号処理で用いられる。マイクロコンピュータ（以下、マイコンという。））９は、カメラブロック全体の制御を行い、具体的には、絞り２による露光制御、シャッター３の開閉制御、ＴＧ５での電子シャッター制御、フロントエンド６でのゲインコントロール、カメラシステムＬＳＩ７の各種モード制御、パラメータ制御等の制御を行う。
【００２１】
外部記憶媒体１０は、圧縮されたデータ、例えばＪＰＥＧ（Ｊｐｉｎｔ Ｐｈｏｔｏｇｒａｐｈ Ｅｘｐｅｒｔｓ ｇｒｏｕｐ）データを格納する記憶媒体であり、デジタルスチルカメラ本体に対して着脱可能で、取り出して、持ち運べるように構成される。画像モニター１１は、撮影画像を確認するためのモニターであり、ＬＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）パネル等である。
【００２２】
このように構成されたデジタルスチルカメラの動作を以下に説明する。
図２は、カメラシステムＬＳＩのブロック図である。
図２において、画像検波部２１は、オートフォーカス（ＡＦ）、オートエキスポージャー（ＡＥ）、オートホワイトバランス（ＡＷＢ）の各種カメラ制御の基準となるカメラ撮影画像の検波処理を行う。マイコンＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）２５は、カメラシステムＬＳＩ７をコントロールするマイコン９とのバスＩ／Ｆを行い、マイコン９とシステムＬＳＩ７との間の制御データや画像データの受け渡しを行う。メモリーＩ／Ｆ２３は、システムＬＳＩ７での信号処理の際に用いる画像メモリ８とのＩ／Ｆを行い、画像データや圧縮データの受け渡しを行う。
【００２３】
メモリーコントローラ２４は、各種信号処理ブロック間または信号処理ブロックとメモリ間での画像データの受け渡しを行うと共にデータが流れるデータパスを制御する。画像圧縮・解凍部２６は、画像データを圧縮し、または圧縮された画像データを解凍するもので、例えばＪＰＥＧエンコーダ等である。モニターＩ／Ｆ２７は、画像データを外部モニターやディスプレイに表示すために各種表示フォーマットに変換するものであり、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）モニターに表示するためのＮＴＳＣエンコーダである。カメラ信号処理部２２は、フロントエンド部６においてデジタル化されたセンサー画像情報を元に補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理を行い、輝度・色信号からなる画像信号を生成する。
【００２４】
図１で、タイミングジェネレータ（ＴＧ）５から駆動パルスをうけた画像ＣＣＤセンサー４の出力信号に対し、Ｓ／Ｈ６−１、ＧＣ６−２、Ａ／Ｄ６−３部分（フロントエンド６）でノイズの成分を除去する相関二重サンプリング、ゲインコントロール、Ａ／Ｄコンバートを行い、アナログ信号をデジタル信号に変換する。その後、カメラシステムＬＳＩ７（図２）のカメラ信号処理部分２２で、デジタルクランプ、ホワイトバランス、ガンマ補正、補間処理等をし、ＲＧＢ値を作り出した後に輝度、色差信号に変換する。
【００２５】
本願の処理はカメラ信号処理部分２２に含まれ、輝度、色差信号を入力として、特定色領域検出、ノイズ削減、アパーチャ補正の処理を行った後、ＪＰＥＧエンコード回路に輝度、色差信号を出力する。本願の信号処理部のブロック図を図３に示す。特定色領域検出回路３１では、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂ、楕円領域情報Ｉ、抽出半径ｒの情報をもとに肌色等の特定色領域の検出を判定する特定色判定フラグＦを出力する。ディレーライン（ＤＬ）３２は垂直方向の信号を同時化する。その後この輝度信号Ｙ、特定色判定フラグＦの情報をもとにノイズリダクション部（ＮＲ）３３で周辺の画素情報をもとにノイズを削減し、アパーチャ補正部（ＡＰ）３４でアパーチャ補正を行い、補正後の輝度信号Ｙを後段のＪＰＥＧエンコード回路に出力する。
【００２６】
まず第１に特定色領域検出技術について説明する。
一般に肌色等の特定色の色差信号によるＣｒ、Ｃｂの平面上において色差分布は図４のようになっており、例えば、楕円状領域（肌色）４１や、楕円状領域（空色）４２が楕円状に分布している。そのため特定色領域の検出は円を対象として行うよりも楕円を対象として行ったほうが誤検出が少なくなることが実験で確認された。特定色領域の検出は、色差信号が図４の楕円状領域（肌色）４１や、楕円状領域（空色）４２の内部に含まれるかどうか判定することで実現できる。
【００２７】
しかし、楕円による領域検出をハードウェアで実現しようとすると、回路規模が増大してしまうため、処理の工夫が必要となる。そこで、ハードウェアで簡易に実現可能な楕円状の距離計算手法を提案する。
【００２８】
図５に示す楕円状領域Ｃ１にある画素（ｘ, ｙ）が含まれるかどうかの判定は、ある画素（ｘ, ｙ）および楕円状領域Ｃ１の座標移動５１をし、回転５２、５３、拡大または圧縮５４の処理を施した値を比較することによって実現できる。
【００２９】
楕円状領域Ｃ１の中心座標を( α, β) とし、円領域Ｃ２の半径（領域の抽出半径）をr と仮定し、Ｃ２はＣ1 を平行移動５１および回転５２、５３させた後、Ｃｂ方向にＡ，Ｃｒ方向にＢだけ拡大または圧縮した円であると考える。つまり、図５において楕円状の距離e を移動５１、回転５２、５３、拡大および圧縮５４の処理を施した距離e ”が抽出半径ｒより小さいかどうか判定すればよい。
【００３０】
ある画素の平行移動５１は、以下の数１式のように示すことができる（ｘ方向へα、ｙ方向へβ移動した場合）。
【００３１】
【数１】
【００３２】
一方、座標の回転は以下の数２式で表される。
【００３３】
【数２】
【００３４】
よって、図５に示す通り、ある画素について考えると移動５１および回転５２、５３は以下の数３式のように示される。
【００３５】
【数３】
【００３６】
次にＣｂ方向にＡ，Ｃｒ方向にＢ、拡大または圧縮すると、（ｘ”, ｙ”）は以下の数４式のように示される。
【００３７】
【数４】
【００３８】
以上より、ｘ" およびｙ" は以下の数５式のように示される。
【００３９】
【数５】
【００４０】
数５式を用いると、楕円状の距離e を移動、回転、拡大および圧縮した距離e ”は以下の数６式のように示すことができる。
【００４１】
【数６】
【００４２】
数６式では距離の計算に平方根の展開が必要となる。ここでは距離の比較に、距離を２乗した値を用いることで平方根の展開をなくすことができる。Ｃｂ方向およびＣｒ方向の拡大率（圧縮率）をＡ, Ｂとすると、数５式および数６式より楕円状距離計算ブロックは図６のように、ｘ、α、ｙ、β、Ａ，Ｂ、ｃｏｓθ、ｓｉｎθを入力として、減算器６１−1 〜６１−２、６３−１、加算器６３−２、６６、乗算器６２−１〜６２−４、６４−1 〜６４−２、６５−１〜６５−２で構成して、近時距離e ”2 を出力することができることになる。
【００４３】
ここで、Ａを2 のａ乗、Ｂを２のｂ乗と限定すれば、拡大、圧縮のための乗算器６４−1 〜６４−２を削減することができ、楕円状の距離計算ブロックは図７に示すように、ａ、ｂのビットシフト演算を行うシフタ７４−１〜７４−２および簡単な乗算器７２−１〜７２−４、７５−１〜７５−２、減算器７１−1 〜７１−２、７３−１、加算器７３−２、７６、で実現できる。
【００４４】
さらに、回転角を３０度、６０度、１２０度、１５０度等に限定すれば、より簡単な乗算器およびシフタで回路を実現できる。例えば回転角が３０度の場合、回転行列は数７式となる。
【００４５】
【数７】
【００４６】
よって数５式は以下の数８式のようになる。
【００４７】
【数８】
【００４８】
図６と同様にＡを２のａ乗、Ｂを２のｂ乗とした場合、数８式より回転角が３０度の場合、楕円状の距離計算ブロックは図８のようにｘ、α、ｙ、β、√３を入力として、減算器８１−1 〜８１−２、８３−１、加算器８３−２、８６、乗算器８２−１〜８２−２、８５−１〜８５−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ８４−1 〜８４−２で構成して、近時距離e ”2 を出力するようにして実現できる。
【００４９】
回転角を３０ｎ度（ただしｎは３ｍではなく、ｍ, ｎは任意の整数）とすると、図７の入力のｃｏｓθ，ｓｉｎθは、±√３/ ２または±１/ ２となるため、楕円状距離計算ブロックはセレクタＳ１（９２−１）、セレクタＳ２（９２−２）を用いて、図９のように、ｘ、α、ｙ、β、√３、１、―√３、―１を入力として、セレクタＳ１（９２−１）、セレクタＳ２（９２−２）、減算器９１−1 〜９１−２、９４−１、加算器９４−２、９７、乗算器９３−１〜９３−４、９６−１〜９６−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ９５−1 〜９５−２で構成して、近時距離e ”2 を出力するようにして実現することが可能である。セレクタＳ１（９２−１）は図９のｃｏｓθの値を出力するように動作し、セレクタＳ２（９２−２）は図９のｓｉｎθの値を出力するように動作する。
【００５０】
ここで、図９に含まれるセレクタＳ１（９２−１）およびセレクタＳ２（９２−２）の動作について説明する。
図９は回転角を３０ｎ度（ただしｎは３ｍと等しくなく、ｍ, ｎは任意の整数である）とした場合の楕円状の距離計算ブロックであり、セレクタＳ１（９２−１）は図７のｃｏｓθ×２の値を出力するように動作し、セレクタＳ２（９２−２）は図７のｓｉｎθ×２の値を出力するように動作します。ここでは、後段の、ａ−１、ｂ−１のビットシフト演算を行うシフタ９５−1 〜９５−２でビットシフトしているためである。
【００５１】
具体的には、以下の表１に示すように、セレクタＳ１（９２−１）およびセレクタＳ２（９２−２）は、−√３, −１, １, √３の４つの値の中からｎの値によって１つの値を選択して出力する。
【００５２】
【表１】
【００５３】
さらに、図９において、図１０に示すセレクタＳ’（１０２−１，１０２−２）を用いると図１０のように乗算器９３−１〜９３−４を削減して、ｘ、α、ｙ、β、√３を入力として、セレクタＳ’（１０２−１，１０２−２）、減算器１０１−1 〜１０１−２、１０４−１、加算器１０４−２、１０７、乗算器１０３−１〜１０３−２、１０６−１〜１０６−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ１０５−1 〜１０５−２で構成して、近時距離e ”2 を出力するようにして構成することが可能である。
【００５４】
ただし、セレクタＳ‘（１０２−１，１０２−２）は図１０に示すｓｉｇ１〜ｓｉｇ４を以下の値、具体的には、sig1: ｘ―α、sig2: ｙ―β、sig3: √３（ｘ―α）、sig4: √３（ｙ―β）に設定した場合に表２に示すｎの値によって表２のような動作をするセレクタである。
【００５５】
【表２】
【００５６】
また、ｎ= ３ｍの場合には、楕円状距離計算ブロックは図１１のように、セレクタＳ’（１０２−１，１０２−２）、乗算器１０３−１〜１０３−２、減算器１０４−１、加算器１０４−２、を削減して、ｘ、α、ｙ、βを入力として、減算器１１１−1 〜１１１−２、ａ、ｂのビットシフト演算を行うシフタ１１２−1 〜１１２−２、１１３−１〜１１３−２乗算器、加算器１１４で構成して、近時距離e ”2 を出力するようにして実現することが可能である。
【００５７】
以上に示した図６〜図１１の楕円状距離計算ブロックを用いると、特定色領域検出回路は図１２のように実現できる。図１２において、図６〜図１１の楕円状距離計算ブロック１２１は、画素情報Ｐおよび楕円領域情報Ｉから近時距離e ”2 を算出し、乗算器１２２は抽出半径ｒの2 乗ｒ2 を算出し、比較器（ｃｏｍｐ）１２３は近時距離e ”2 と抽出半径Ｒの２乗ｒ2 とを比較して、判定フラグＦを出力する。
【００５８】
ただし、図１２の楕円領域情報Ｉは色差信号Ｃｂ, Ｃｒ方向の拡大率およびＣ１の中心座標であり、比較器（ｃｏｍｐ）１２３のブロックは近時距離e ”2 と抽出半径ｒの２乗ｒ2 との値の大小を比較し、抽出半径ｒ2 より楕円状距離e ”2 の方が小さければ１を出力し、抽出半径ｒ2 より楕円状距離e ”2 の方が大きければ０を出力するブロックである。
【００５９】
本実施の形態では、楕円状の距離計算をし、距離比較をする際に平方根の展開をさけるために距離を２乗した値を比較に用いたが、必ずしも距離を用いて比較する必要はなく、距離に比例する値を使えばかまわない。よって、距離計算には例えば以下の数９式で示される１６角形近似（特開２００２−２１６１３６号公報参照）などの手法を用いてもかまわない。
【００６０】
【数９】
【００６１】
つぎに、第２のノイズ削減技術について説明する。
デジタル画像中に含まれるノイズを削減させる際に、例えば肌色のような特定色の画像に対してはフィルタのろ過作用を強めにかけてディテールを失わせることによって皺や肌荒れ等の肌領域のトラブルを目立たせにくくすることが考えられる。この場合特定色領域と特定色領域以外の境界部分で処理を急激に変化させると違和感のある画像となってしまうという問題がある。
【００６２】
そこで、注目画素のフィルタのろ過作用を変化させるためにフィルタ係数の重み付けを周辺画素の色情報を用いて行うことによって、特定色領域には強いろ過作用に対応する係数のフィルタをかけ、特定色以外の領域には弱いろ過作用に対応する係数のフィルタをかけ、さらに、特定色領域と特定色以外の領域との境界でノイズ削減レベルをなだらかに変化させることが可能となる。
【００６３】
ノイズの削減には、図１３Ａまたは図１３Ｂのような２次元のタップ係数をもつディジタルフィルタを用いる。図１３Ａまたは図１３Ｂのαが注目画素のフィルタ係数であり、注目画素の周辺画素が全て特定色であった場合にはαは最小値になり、最もフィルタのろ過作用が強くかかる。図１３には３×３フィルタと５×５フィルタを示したが、同等の特性が得られるものであれば、フィルタの係数、大きさは問わない。
【００６４】
図１４にフィルタ係数の導出のための特性図を示す。各特性Ｌ１、Ｌ２、Ｌ３について、縦軸に注目画素のフィルタ係数αを示し、横軸に周辺画素の特定色の数（ｃｏｕｎｔ）を示す。
【００６５】
図１４において、周辺画素が全て特定色でない場合には縦軸に示すフィルタ係数αはＦ＿ｍａｘになり、周辺画素が全て特定色の場合にはフィルタ係数はＦ＿ｍｉｎとなる。
【００６６】
図１４より横軸に示すように周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）とすると、縦軸に示す注目画素のフィルタ係数αは横軸に示すカウント（ｃｏｕｎｔ）の値に依存するため、以下の数１０式のように表すことができる。
【００６７】
【数１０】
【００６８】
ここで、横軸に示す周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のフィルタ係数αを求めるフィルタ係数算出ブロックをf ＿ｎｒ（ｃｏｕｎｔ）ブロック１５２とすると、ノイズ削減ブロックは図１５のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１５１、特定色判定フラグＦに基づいて周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のフィルタ係数αを求めるフィルタ係数算出ブロックのf ＿ｎｒ（ｃｏｕｎｔ）ブロック１５２、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１５３で構成して、実現することが可能である。
【００６９】
例えば、図１４中の特性L ２を例にとって考えると上述した数１０式は以下の数１１式のように示すことができる。
【００７０】
【数１１】
【００７１】
数１１式で２項目の分母のＦｉｌｔｅｒ＿ｓｉｚｅはフィルタの要素数であり、ｃｏｕｎｔは周辺画素の特定色の個数である。数１１式をハードウエアで実現するとノイズ削減ブロックは図１６のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１６１、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器１６４、Ｆ＿ｍａｘからＦ＿ｍｉｎを減算して減算値を出力する減算器１６２、減算値をＦｉｌｔｅｒ＿ｓｉｚｅで除算して除算値を出力する除算器１６３、周辺画素の特定色個数ｘと除算値とを乗算して乗算値を出力する乗算器１６５、乗算値とＦ＿ｍａｘを加算して注目画素のフィルタ係数αを出力する加算器１６６、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１６７で構成して、実現することが可能でなる。しかし、図１６のノイズ削減ブロックでは除算器１６３を使っているためハードウェア規模が大きくなってしまう。
【００７２】
そこで、例えば、３×３フィルタを用いてＦ＿ｍａｘの値を１０、Ｆ＿ｍｉｎの値を１とした場合について考える。
このとき数１１式は以下の数１２式のようになる。
【００７３】
【数１２】
【００７４】
フィルタ係数αが数１２式で表される場合、ノイズ削減ブロックは図１７のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１７１、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器１７２、周辺画素の特定色個数ｘからＦ＿ｍａｘを減算して注目画素のフィルタ係数αを出力する減算器１７３、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１７４で構成して、実現することができ、これにより除算器１６３をなくし、簡単な回路構成とすることが可能である。
【００７５】
ここでは例として回路構成を簡単にするため、数１２式について説明したが、フィルタ係数αを求める数式は図１４の特性Ｌ１〜Ｌ３のように数１０式で示される一般的な式であればかまわない。
例えば、以下の数１３式のような式でもかまわない。
【００７６】
【数１３】
【００７７】
ただし、αｍａｘは周辺画素が全て特定色でなかった場合のαの値とする。
【００７８】
さらに、第３の特定色領域と特定色以外の領域の境界部分でゲインがなめらかに変化するアパーチャ補正技術について説明する。
デジタル画像信号処理では、画像の解像感、解像度を補正し、見映えを良くするためにアパーチャ補正（f 特補正( 周波数特性補正) ）を行うことが多い。
【００７９】
例えば、図１８のように、ディレーライン（ＤＬ）１８１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化する画像本線１８４に対して、ハイパスフィルタ( ＨＰＦ) １８２により輝度信号Ｙ、色差信号Ｃｒ、Ｃｂから画像の高域周波数成分１８５を抜き出して、加算器１８３により再び画像本線１８４の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに足す手法が知られている。
【００８０】
しかし、肌色のような特定色領域では、ディテールを失わせることによって皺や肌荒れ等の肌領域のトラブルを目立たせにくくするために、アパーチャ補正信号を小さくする必要がある。
【００８１】
しかし、全領域に対してアパーチャ補正信号を小さくしてしまうと、ボケた画像になってしまうので特定色領域のアパーチャ補正信号のみを小さくして、特定色以外の領域のアパーチャ補正信号は変更しないことが望ましい。さらに、出力画像に違和感を与えないためには、特定色領域と特定色以外の領域でアパーチャ補正信号がなめらかに変化している必要がある。
【００８２】
そこで、図１９のように、ディレーライン（ＤＬ）１９１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化し、垂直ローパスフィルタ( Ｖ−ＬＰＦ) １９２により輝度信号Ｙの垂直方向の低域周波数成分を抜き出し、水平バンドパスフィルタ( Ｈ−ＢＰＦ) １９４により輝度信号Ｙの水平方向の所定帯域周波数成分を抜き出し、垂直バンドパスフィルタ( Ｖ−ＢＰＦ) １９３により輝度信号Ｙの垂直方向の所定帯域周波数成分を抜き出し、水平ローパスフィルタ( Ｈ−ＬＰＦ) １９５により輝度信号Ｙの水平方向の低域周波数成分を抜き出し、加算器１９７によりアパーチャ補正信号を出力し、特定色判定フラグＦの注目画素周辺の色情報をもとに、ゲイン算出ブロック１９６により周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のゲインを求め、アパーチャ補正信号にゲインを与え、乗算器１９８によりアパーチャ補正信号にゲインを乗算する。
【００８３】
周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）とした場合に、注目画素のアパーチャ補正信号のゲインは、カウント（ｃｏｕｎｔ）の値に依存するため、数１４式のように表すことができる。
【００８４】
【数１４】
【００８５】
数１４式をハードウエアで実現したものが、図１９に示したゲイン算出ブロック１９６となる。
【００８６】
ここで、図２０のアパーチャ補正信号のゲインの導出図で示す特性Ｌ１、Ｌ２、Ｌ３のように、横軸の周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）としたとき、縦軸のゲインをなめらかに変化させることで、特定色領域のみのアパーチャ補正信号を小さくし、特定色以外の領域との境界でアパーチャ補正信号をなめらかに変化させることが可能となる。
【００８７】
ここで、図２０の特性Ｌ２を例にとって考えると、アパーチャ補正信号のゲインを算出する式は以下の数１５式のようになる。
【００８８】
【数１５】
【００８９】
数１５式をハードウエアで実現すると、図１９に示したゲイン算出ブロック１９６は図２１のように、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器２１１、Ｇ＿ｍａｘからＧ＿ｍｉｎを減算して減算値を出力する減算器２１２、減算値をＦｉｌｔｅｒ＿ｓｉｚｅで除算して除算値を出力する除算器２１３、周辺画素の特定色個数ｘと除算値とを乗算して乗算値を出力する乗算器２１４、乗算値とＧ＿ｍａｘを加算して注目画素のアパーチャ補正信号のゲインＧを出力する加算器２１５で構成して、実現することが可能である。この図２１では除算器２１３が必要となるが、ここで、図２０のＸ＿ｖａｌｕｅを２のｘ’乗とすると、数１５式は数１６式のように変形することができる。
【００９０】
【数１６】
【００９１】
Ｘ＿ｖａｌｕｅは２のｘ' 乗であるので、数１６式中の除算はｘ' のビットシフトを行うシフタで実現できることになる。数１６式中の除算をｘ' のビットシフトを行うシフタで実現した場合のゲイン算出ブロックを図２２に示すと、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器２２１、Ｇ＿ｍａｘのｘ' のビットシフトを行ってビットシフト値を出力するシフタ２２４、周辺画素の特定色個数ｘとＧ＿ｍａｘのｘ' のビットシフト値を乗算して乗算値を出力する乗算器２２２、乗算値とＧ＿ｍａｘを加算して注目画素のアパーチャ補正信号のゲインＧを出力する加算器２２３で構成して、実現することが可能である。
【００９２】
アパーチャ補正信号のゲイン導出についてここでは例として数１６式を説明したが、図１５の特性Ｌ１〜Ｌ３のように数１４式で示される一般的な式であればかまわない。
例えば、以下の数１７式のような式でもかまわない。
【００９３】
【数１７】
【００９４】
ただし、数１７式中のｇｍａｘは周辺画素が全て特定色でなかった場合のｇ（ゲイン）の値とする。
【００９５】
以上より、アパーチャ補正ブロックは図２３のように、ディレーライン（ＤＬ）２３１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化し、垂直ローパスフィルタ( Ｖ−ＬＰＦ) ２３２により輝度信号Ｙの垂直方向の低域周波数成分を抜き出し、水平バンドパスフィルタ( Ｈ−ＢＰＦ) ２３４により輝度信号Ｙの水平方向の所定帯域周波数成分を抜き出し、垂直バンドパスフィルタ( Ｖ−ＢＰＦ) ２３３により輝度信号Ｙの垂直方向の所定帯域周波数成分を抜き出し、水平ローパスフィルタ( Ｈ−ＬＰＦ) ２３５により輝度信号Ｙの水平方向の低域周波数成分を抜き出し、加算器２３６によりアパーチャ補正信号を出力し、特定色判定フラグＦの注目画素周辺の色情報をもとに、ゲイン算出ブロック２３７により周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のゲインを求め、アパーチャ補正信号にゲインを与え、乗算器２３８によりアパーチャ補正信号にゲインを乗算し、加算器２３９によりこの乗算値を輝度信号ｙ、色差信号Ｃｒ、Ｃｂに加算する。
【００９６】
図２３中の「Ｖ−ＬＰＦ」２３２は垂直方向のローパスフィルタであり、「Ｖ−ＢＰＦ」２３３は垂直方向のバンドパスフィルタである。同様に「 Ｈ−ＬＰＦ」 ２３５、「 Ｈ−ＢＰＦ」 ２３４はそれぞれ水平方向のローパスフィルタ、水平方向のバンドパスフィルタを示す。なお、図示はしないが、乗算器２３８の後段にコアリング（ｃｏｒｉｎｇ）部として微少振幅をノイズとみなし、ノイズとみなした部分のアパーチャ信号は０にするという処理をするブロックを付加してもよい。
【００９７】
また、第４に図１２に示した特定色領域検出回路における特定色領域検出において比較器（ｃｏｍｐ）１２３部分の判定フラグＦの出力を距離に応じた多ビットの信号にした場合について説明する。
【００９８】
特定色領域検出において、特定色領域に含まれているかどうかの判定結果を多ビットで表現することにより、図２４に示すように「特定色らしさ」を示すことが可能となる。ある画素が特定色領域の中心に近ければ近いほど、特定色に近いということになる。
【００９９】
例えば、図２４で判定フラグＦの特定色らしさを２ビットで表現すると仮定した場合について説明する。中心に最も近い領域に含まれる場合には重み付けを３とし、中心から次に近い領域に含まれる場合には２とし、図２２中の楕円状領域の中で最も外側の領域に含まれる場合を1 とし、楕円状領域に含まれていない場合には０とする。このようにある画素が特定色領域の中心に近ければ近いほど大きい値を割り当てることで、判定結果の値の大きさを用いてどのくらい楕円状領域の中心に近いのかを判定することが可能となる。
【０１００】
例として、特定色らしさを2 ビットで表現する場合について説明したが、特定色らしさを表現するには何ビットでもかまわない。
【０１０１】
特定色領域検出ブロックの判定結果を多ビットで表現すると、1 ビットで表現した場合に比べてノイズ削減部で注目画素のフィルタ係数がなめらかに変化し、アパーチャ補正部でアパーチャ補正信号のゲインがなめらかに切り替わることになる。そのため、図１２や図１５等に示した特定色判定フラグＦが多ビットになるが、その他のブロックの構成は変更しなくても、特定色判定結果を1 ビットで表現した場合に比べて、特定色領域と特定色以外の領域の境界でよりなめらかな処理の実現が可能となる。
【０１０２】
上述した本実施の形態によれば、例えば肌色などの特定色のノイズを削減することができ、ノイズがほとんどない領域に対しても、故意にノイズ削減（ＮＲ）を強くかけアパーチャ補正信号を弱くしてディテールを失わせることによって、例えば、肌色領域ならば「にきび」や「しみ」といった肌のトラブルを目立ちにくくし、綺麗な肌を再現することが可能となる。しかも、他の色領域については変化させないようにすることができる。
【０１０３】
上述した本実施の形態に限らず、本発明の特許請求の範囲を逸脱しない範囲で適宜他の構成をとりうることができることは言うまでもない。
【０１０４】
【発明の効果】
この発明の信号処理装置は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするノイズ削減手段とを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べて注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができるので、例えば肌色などの特定色のノイズを削減して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１０５】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出手段を簡単な回路で実現できるという効果を奏する。
【０１０６】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出手段をより簡単な回路で実現できるという効果を奏する。
【０１０７】
また、この発明の信号処理装置は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正手段とを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べてアパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができるので、例えば肌色などの特定色をアパーチャ補正して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１０８】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出手段を簡単な回路で実現できるという効果を奏する。
【０１０９】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出手段をより簡単な回路で実現できるという効果を奏する。
【０１１０】
また、この発明の信号処理方法は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減ステップとを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べて注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができるので、例えば肌色などの特定色のノイズを削減して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１１１】
また、この発明の信号処理方法は、上述において、特定色領域検出ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出ステップを行うブロックを簡単な回路で実現できるという効果を奏する。
【０１１２】
また、この発明の信号処理方法は、上述において、特定色領域ステップは、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出ステップを行うブロックをより簡単な回路で実現できるという効果を奏する。
【０１１３】
また、この発明の信号処理方法は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正ステップとを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べてアパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができるので、例えば肌色などの特定色をアパーチャ補正して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１１４】
また、この発明の信号処理方法は、上述において、特定色領域検出ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出ステップを行うブロックを簡単な回路で実現できるという効果を奏する。
【０１１５】
また、この発明の信号処理方法は、上述において、特定色領域ステップは、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出ステップを行うブロックをより簡単な回路で実現できるという効果を奏する。
【図面の簡単な説明】
【図１】デジタルスチルカメラのブロック図である。
【図２】カメラシステムＬＳＩのブロック図である。
【図３】本発明の実施の形態に適用されるカメラ信号処理部のブロック図である。
【図４】特定色（肌色）の色差分布を示す図である。
【図５】楕円状の距離計算手順を示す図である。
【図６】楕円状距離計算ブロックを示す図である。
【図７】拡大、圧縮をシフトで実現した楕円状の距離計算ブロックを示す図である。
【図８】回転角が３０度の場合の楕円状の距離計算ブロックを示す図である。
【図９】回転角を3 ０ｎ度（ただしｎ≠３ｍ：ｍ, ｎは任意の整数）とした場合の楕円状の距離計算ブロックを示す図である。
【図１０】セレクタＳ’を用いた楕円状の距離計算ブロックを示す図である。
【図１１】ｎ= ３ｍの場合の楕円状距離計算ブロックを示す図である。
【図１２】特定色領域検出回路を示す図である。
【図１３】ＮＲフィルタを示す図であり、図１３Ａは３×３フィルタ、図１３Ｂは５×５フィルタである。
【図１４】フィルタ係数αの導出を示す図である。
【図１５】ノイズ削減ブロック（１）を示す図である。
【図１６】ノイズ削減ブロック（２）を示す図である。
【図１７】ノイズ削減ブロック（３）を示す図である。
【図１８】一般的なアパーチャ補正を示す図である。
【図１９】アパーチャ補正信号の導出を示す図である。
【図２０】アパーチャ補正信号のゲインの導出を示す図である。
【図２１】ゲイン算出ブロック（１）を示す図である。
【図２２】ゲイン算出ブロック（２）を示す図である。
【図２３】アパーチャ補正ブロックを示す図である。
【図２４】特定色らしさを示す図である。
【符号の説明】
１……レンズ、２……絞り、３……シャッター、４……画像センサー、５……ＴＧ（タイミングジェネレーター）、６……フロントエンド、７……カメラシステムＬＳＩ、８……画像メモリ、９……マイコン、１０……外部記憶媒体、１１……画像モニター、２１……画像検波部、２２……カメラ信号処理部、２３……メモリＩ／Ｆ、２４……メモリコントローラ、２５……マイコンＩ／Ｆ、２６……画像圧縮・解凍部、２７……モニターＩ／Ｆ、３１……特定色領域検出部、３２……ＤＬ（ディレイライン）、３３……ＮＲ（ノイズリダクション）部、３４……ＡＰ（アパーチャ―）補正部、４１……楕円状領域( 肌色) 、４２……楕円状領域( 空色) 、５１……移動、５２、５３……回転、５４……拡大・圧縮、１２１……楕円状距離計算ブロック
【発明の属する技術分野】
本発明は、例えば、撮像手段により撮像された画像データに対してノイズ除去やアパーチャ補正等の信号処理を施す信号処理装置および信号処理方法に関するものである。
【０００２】
【従来の技術】
近年ではデジタルカメラの小型化、高性能化にともない撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で被写体を撮像できる画素数が増えることにより、１画素を構成するセルサイズが小さくなっており、このため、ＣＣＤのセンサー出力信号に対するノイズの割合が大きくなっている。
【０００３】
これにより、肌色や空色といった特定色に対して、ＣＣＤの暗電流に基づくノイズ除去やアパーチャ補正等の技術が必要となっており、ディジタルカラー画像の分野において、肌色等の特定色の検出、および検出した特定色の領域に対するノイズ除去、アパーチャ補正等の技術が一般的によく知られている（特許文献１〜特許文献６）。
【０００４】
【特許文献１】
特開平８−２１０９１６号公報
【特許文献２】
特開平１１−１４６４０５号公報
【特許文献３】
特開平８−２１０９１６号公報
【特許文献４】
特開平１１−１４６４０５号公報
【特許文献５】
特開２０００−１５２２６８号公報
【特許文献６】
特開平１１−１４６４０５号公報
【特許文献７】
特開平１０−２９３８４０号公報
【０００５】
【発明が解決しようとする課題】
上述した従来の特定色の検出技術としては特許文献３があり、ＲＧＢの各信号レベルの上限値と下限値を用いて特定色を検出するが、この手法では座標変換テーブルが必要となるため、特定色の検出のためにメモリの記憶容量が増大するという不都合があった。
【０００６】
また、特許文献４でも色差信号をアドレスとしてメモリ内のテーブルに書き込むためハードウェア規模が増大するという不都合があった。
【０００７】
また、ノイズ除去技術としては特許文献５があり、ノイズを判断するレベルを色によって変えて、ノイズスライスレベルを用いてノイズ除去をする手法であるため、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化するが、本発明では特定色の周辺の画素情報をもとにノイズ除去を行うことにより、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化しないようにすることを課題とする。
【０００８】
また、アパーチャ補正技術には特許文献６があり、周波数特性の異なるＢＰＦ( Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ) を用いてアパーチャ補正信号のゲインを変えることなく周波数特性を変更しているため、アパーチャ補正信号のゲインを変えることができず、回路構成が複雑になるが、本発明では特定色に対する注目画素周辺の情報をもとに、アパーチャ補正信号のゲインを算出しているので、より簡易な回路で適正なゲインのアパーチャ補正信号を生成することを課題とする。なお、特許文献７には、撮像画像の２値化した顔領域を正規化する技術が開示されているが、本発明では色差信号に基づく色差平面でノイズ除去、アパーチャ補正を行うために特定色領域を検出することを課題とする。
【０００９】
そこで、本発明は、かかる点に鑑みてなされたものであり、メモリの記憶容量が増大することなく特定色の検出を行い、特定色領域と特定色以外の領域の境界部分でノイズレベルが急激に変化しないようにすると共に、より簡易な回路でアパーチャ補正を行うことができる信号処理装置および信号処理方法を提供することを課題とする。
【００１０】
【課題を解決するための手段】
本発明の信号処理装置は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減手段とを備え、特定色領域における信号処理を行うようにしたものである。
【００１１】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができる。
【００１２】
また、本発明の信号処理装置は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正手段とを備え、特定色領域における信号処理を行うようにしたものである。
【００１３】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、アパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができる。
【００１４】
また、本発明の信号処理方法は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減ステップとを備え、特定色領域における信号処理を行うようにしたものである。
【００１５】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができる。
【００１６】
また、本発明の信号処理方法は、画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正ステップとを備え、特定色領域における信号処理を行うようにしたものである。
【００１７】
従って本発明によれば、以下の作用をする。
画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現すると、１ビットで表現した場合に比べて、アパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜図面を参照しながら説明する。
図１にデジタルスチルカメラのブロック図を示す。
まず、デジタルスチルカメラの構成を説明する。
図１において、レンズ１は、被写体の反射光を集光し、画像センサー４に導く。絞り２は、光が通過する面積を変化させることにより画像センサー４に当たる光量を制御する。シャッター３は、光の通過を遮断することにより露光を制御する。上述の絞り２がこのシャッター３の機能を兼ねるようにしてもよい。画像センサー４は、ＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の画像センサーであり、被写体の光情報を電気情報に変換する。センサー表面には色を識別するために複数の色フィルタが配置されている。
【００１９】
フロントエンド（Ｓ／Ｈ（Ｓａｍｐｌｅ ａｎｄ Ｈｏｌｄ）６−１、ＧＣ（Ｇａｉｎ Ｃｏｎｔｒｏｌ）６−２、Ａ／Ｄ( Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ) ６−３）６部分は、画像センサー４の出力のアナログ信号をデジタル信号に変換するものであり、内部では、ノイズ成分を除去する相関二重サンプリング、ゲインコントロール、Ａ／Ｄコンバートが行われる。タイミングジェネレータ（ＴＧ）５は、画像センサー４を水平、および垂直に駆動して、高速・低速電子シャッター等の露光制御も行う。カメラシステムＬＳＩ( Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ) ７は、デジタル化された画像センサー４からの情報を元に各種デジタル信号処理を行い、輝度信号・色信号を生成すると共に、データの圧縮を行い、圧縮データを生成する。
【００２０】
画像メモリ８は、デジタルの画像データを格納するための記憶素子であり、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＤＲＡＭ（Ｓｙｎｃｒｏｎｏｕｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等があり、カメラシステムＬＳＩ７でのデジタル信号処理で用いられる。マイクロコンピュータ（以下、マイコンという。））９は、カメラブロック全体の制御を行い、具体的には、絞り２による露光制御、シャッター３の開閉制御、ＴＧ５での電子シャッター制御、フロントエンド６でのゲインコントロール、カメラシステムＬＳＩ７の各種モード制御、パラメータ制御等の制御を行う。
【００２１】
外部記憶媒体１０は、圧縮されたデータ、例えばＪＰＥＧ（Ｊｐｉｎｔ Ｐｈｏｔｏｇｒａｐｈ Ｅｘｐｅｒｔｓ ｇｒｏｕｐ）データを格納する記憶媒体であり、デジタルスチルカメラ本体に対して着脱可能で、取り出して、持ち運べるように構成される。画像モニター１１は、撮影画像を確認するためのモニターであり、ＬＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）パネル等である。
【００２２】
このように構成されたデジタルスチルカメラの動作を以下に説明する。
図２は、カメラシステムＬＳＩのブロック図である。
図２において、画像検波部２１は、オートフォーカス（ＡＦ）、オートエキスポージャー（ＡＥ）、オートホワイトバランス（ＡＷＢ）の各種カメラ制御の基準となるカメラ撮影画像の検波処理を行う。マイコンＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）２５は、カメラシステムＬＳＩ７をコントロールするマイコン９とのバスＩ／Ｆを行い、マイコン９とシステムＬＳＩ７との間の制御データや画像データの受け渡しを行う。メモリーＩ／Ｆ２３は、システムＬＳＩ７での信号処理の際に用いる画像メモリ８とのＩ／Ｆを行い、画像データや圧縮データの受け渡しを行う。
【００２３】
メモリーコントローラ２４は、各種信号処理ブロック間または信号処理ブロックとメモリ間での画像データの受け渡しを行うと共にデータが流れるデータパスを制御する。画像圧縮・解凍部２６は、画像データを圧縮し、または圧縮された画像データを解凍するもので、例えばＪＰＥＧエンコーダ等である。モニターＩ／Ｆ２７は、画像データを外部モニターやディスプレイに表示すために各種表示フォーマットに変換するものであり、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）モニターに表示するためのＮＴＳＣエンコーダである。カメラ信号処理部２２は、フロントエンド部６においてデジタル化されたセンサー画像情報を元に補間演算、フィルタ演算、マトリクス演算、輝度生成演算、色生成演算等のデジタル信号処理を行い、輝度・色信号からなる画像信号を生成する。
【００２４】
図１で、タイミングジェネレータ（ＴＧ）５から駆動パルスをうけた画像ＣＣＤセンサー４の出力信号に対し、Ｓ／Ｈ６−１、ＧＣ６−２、Ａ／Ｄ６−３部分（フロントエンド６）でノイズの成分を除去する相関二重サンプリング、ゲインコントロール、Ａ／Ｄコンバートを行い、アナログ信号をデジタル信号に変換する。その後、カメラシステムＬＳＩ７（図２）のカメラ信号処理部分２２で、デジタルクランプ、ホワイトバランス、ガンマ補正、補間処理等をし、ＲＧＢ値を作り出した後に輝度、色差信号に変換する。
【００２５】
本願の処理はカメラ信号処理部分２２に含まれ、輝度、色差信号を入力として、特定色領域検出、ノイズ削減、アパーチャ補正の処理を行った後、ＪＰＥＧエンコード回路に輝度、色差信号を出力する。本願の信号処理部のブロック図を図３に示す。特定色領域検出回路３１では、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂ、楕円領域情報Ｉ、抽出半径ｒの情報をもとに肌色等の特定色領域の検出を判定する特定色判定フラグＦを出力する。ディレーライン（ＤＬ）３２は垂直方向の信号を同時化する。その後この輝度信号Ｙ、特定色判定フラグＦの情報をもとにノイズリダクション部（ＮＲ）３３で周辺の画素情報をもとにノイズを削減し、アパーチャ補正部（ＡＰ）３４でアパーチャ補正を行い、補正後の輝度信号Ｙを後段のＪＰＥＧエンコード回路に出力する。
【００２６】
まず第１に特定色領域検出技術について説明する。
一般に肌色等の特定色の色差信号によるＣｒ、Ｃｂの平面上において色差分布は図４のようになっており、例えば、楕円状領域（肌色）４１や、楕円状領域（空色）４２が楕円状に分布している。そのため特定色領域の検出は円を対象として行うよりも楕円を対象として行ったほうが誤検出が少なくなることが実験で確認された。特定色領域の検出は、色差信号が図４の楕円状領域（肌色）４１や、楕円状領域（空色）４２の内部に含まれるかどうか判定することで実現できる。
【００２７】
しかし、楕円による領域検出をハードウェアで実現しようとすると、回路規模が増大してしまうため、処理の工夫が必要となる。そこで、ハードウェアで簡易に実現可能な楕円状の距離計算手法を提案する。
【００２８】
図５に示す楕円状領域Ｃ１にある画素（ｘ, ｙ）が含まれるかどうかの判定は、ある画素（ｘ, ｙ）および楕円状領域Ｃ１の座標移動５１をし、回転５２、５３、拡大または圧縮５４の処理を施した値を比較することによって実現できる。
【００２９】
楕円状領域Ｃ１の中心座標を( α, β) とし、円領域Ｃ２の半径（領域の抽出半径）をr と仮定し、Ｃ２はＣ1 を平行移動５１および回転５２、５３させた後、Ｃｂ方向にＡ，Ｃｒ方向にＢだけ拡大または圧縮した円であると考える。つまり、図５において楕円状の距離e を移動５１、回転５２、５３、拡大および圧縮５４の処理を施した距離e ”が抽出半径ｒより小さいかどうか判定すればよい。
【００３０】
ある画素の平行移動５１は、以下の数１式のように示すことができる（ｘ方向へα、ｙ方向へβ移動した場合）。
【００３１】
【数１】
一方、座標の回転は以下の数２式で表される。
【００３３】
【数２】
よって、図５に示す通り、ある画素について考えると移動５１および回転５２、５３は以下の数３式のように示される。
【００３５】
【数３】
次にＣｂ方向にＡ，Ｃｒ方向にＢ、拡大または圧縮すると、（ｘ”, ｙ”）は以下の数４式のように示される。
【００３７】
【数４】
以上より、ｘ" およびｙ" は以下の数５式のように示される。
【００３９】
【数５】
数５式を用いると、楕円状の距離e を移動、回転、拡大および圧縮した距離e ”は以下の数６式のように示すことができる。
【００４１】
【数６】
数６式では距離の計算に平方根の展開が必要となる。ここでは距離の比較に、距離を２乗した値を用いることで平方根の展開をなくすことができる。Ｃｂ方向およびＣｒ方向の拡大率（圧縮率）をＡ, Ｂとすると、数５式および数６式より楕円状距離計算ブロックは図６のように、ｘ、α、ｙ、β、Ａ，Ｂ、ｃｏｓθ、ｓｉｎθを入力として、減算器６１−1 〜６１−２、６３−１、加算器６３−２、６６、乗算器６２−１〜６２−４、６４−1 〜６４−２、６５−１〜６５−２で構成して、近時距離e ”2 を出力することができることになる。
【００４３】
ここで、Ａを2 のａ乗、Ｂを２のｂ乗と限定すれば、拡大、圧縮のための乗算器６４−1 〜６４−２を削減することができ、楕円状の距離計算ブロックは図７に示すように、ａ、ｂのビットシフト演算を行うシフタ７４−１〜７４−２および簡単な乗算器７２−１〜７２−４、７５−１〜７５−２、減算器７１−1 〜７１−２、７３−１、加算器７３−２、７６、で実現できる。
【００４４】
さらに、回転角を３０度、６０度、１２０度、１５０度等に限定すれば、より簡単な乗算器およびシフタで回路を実現できる。例えば回転角が３０度の場合、回転行列は数７式となる。
【００４５】
【数７】
よって数５式は以下の数８式のようになる。
【００４７】
【数８】
図６と同様にＡを２のａ乗、Ｂを２のｂ乗とした場合、数８式より回転角が３０度の場合、楕円状の距離計算ブロックは図８のようにｘ、α、ｙ、β、√３を入力として、減算器８１−1 〜８１−２、８３−１、加算器８３−２、８６、乗算器８２−１〜８２−２、８５−１〜８５−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ８４−1 〜８４−２で構成して、近時距離e ”2 を出力するようにして実現できる。
【００４９】
回転角を３０ｎ度（ただしｎは３ｍではなく、ｍ, ｎは任意の整数）とすると、図７の入力のｃｏｓθ，ｓｉｎθは、±√３/ ２または±１/ ２となるため、楕円状距離計算ブロックはセレクタＳ１（９２−１）、セレクタＳ２（９２−２）を用いて、図９のように、ｘ、α、ｙ、β、√３、１、―√３、―１を入力として、セレクタＳ１（９２−１）、セレクタＳ２（９２−２）、減算器９１−1 〜９１−２、９４−１、加算器９４−２、９７、乗算器９３−１〜９３−４、９６−１〜９６−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ９５−1 〜９５−２で構成して、近時距離e ”2 を出力するようにして実現することが可能である。セレクタＳ１（９２−１）は図９のｃｏｓθの値を出力するように動作し、セレクタＳ２（９２−２）は図９のｓｉｎθの値を出力するように動作する。
【００５０】
ここで、図９に含まれるセレクタＳ１（９２−１）およびセレクタＳ２（９２−２）の動作について説明する。
図９は回転角を３０ｎ度（ただしｎは３ｍと等しくなく、ｍ, ｎは任意の整数である）とした場合の楕円状の距離計算ブロックであり、セレクタＳ１（９２−１）は図７のｃｏｓθ×２の値を出力するように動作し、セレクタＳ２（９２−２）は図７のｓｉｎθ×２の値を出力するように動作します。ここでは、後段の、ａ−１、ｂ−１のビットシフト演算を行うシフタ９５−1 〜９５−２でビットシフトしているためである。
【００５１】
具体的には、以下の表１に示すように、セレクタＳ１（９２−１）およびセレクタＳ２（９２−２）は、−√３, −１, １, √３の４つの値の中からｎの値によって１つの値を選択して出力する。
【００５２】
【表１】
さらに、図９において、図１０に示すセレクタＳ’（１０２−１，１０２−２）を用いると図１０のように乗算器９３−１〜９３−４を削減して、ｘ、α、ｙ、β、√３を入力として、セレクタＳ’（１０２−１，１０２−２）、減算器１０１−1 〜１０１−２、１０４−１、加算器１０４−２、１０７、乗算器１０３−１〜１０３−２、１０６−１〜１０６−２、ａ−１、ｂ−１のビットシフト演算を行うシフタ１０５−1 〜１０５−２で構成して、近時距離e ”2 を出力するようにして構成することが可能である。
【００５４】
ただし、セレクタＳ‘（１０２−１，１０２−２）は図１０に示すｓｉｇ１〜ｓｉｇ４を以下の値、具体的には、sig1: ｘ―α、sig2: ｙ―β、sig3: √３（ｘ―α）、sig4: √３（ｙ―β）に設定した場合に表２に示すｎの値によって表２のような動作をするセレクタである。
【００５５】
【表２】
また、ｎ= ３ｍの場合には、楕円状距離計算ブロックは図１１のように、セレクタＳ’（１０２−１，１０２−２）、乗算器１０３−１〜１０３−２、減算器１０４−１、加算器１０４−２、を削減して、ｘ、α、ｙ、βを入力として、減算器１１１−1 〜１１１−２、ａ、ｂのビットシフト演算を行うシフタ１１２−1 〜１１２−２、１１３−１〜１１３−２乗算器、加算器１１４で構成して、近時距離e ”2 を出力するようにして実現することが可能である。
【００５７】
以上に示した図６〜図１１の楕円状距離計算ブロックを用いると、特定色領域検出回路は図１２のように実現できる。図１２において、図６〜図１１の楕円状距離計算ブロック１２１は、画素情報Ｐおよび楕円領域情報Ｉから近時距離e ”2 を算出し、乗算器１２２は抽出半径ｒの2 乗ｒ2 を算出し、比較器（ｃｏｍｐ）１２３は近時距離e ”2 と抽出半径Ｒの２乗ｒ2 とを比較して、判定フラグＦを出力する。
【００５８】
ただし、図１２の楕円領域情報Ｉは色差信号Ｃｂ, Ｃｒ方向の拡大率およびＣ１の中心座標であり、比較器（ｃｏｍｐ）１２３のブロックは近時距離e ”2 と抽出半径ｒの２乗ｒ2 との値の大小を比較し、抽出半径ｒ2 より楕円状距離e ”2 の方が小さければ１を出力し、抽出半径ｒ2 より楕円状距離e ”2 の方が大きければ０を出力するブロックである。
【００５９】
本実施の形態では、楕円状の距離計算をし、距離比較をする際に平方根の展開をさけるために距離を２乗した値を比較に用いたが、必ずしも距離を用いて比較する必要はなく、距離に比例する値を使えばかまわない。よって、距離計算には例えば以下の数９式で示される１６角形近似（特開２００２−２１６１３６号公報参照）などの手法を用いてもかまわない。
【００６０】
【数９】
つぎに、第２のノイズ削減技術について説明する。
デジタル画像中に含まれるノイズを削減させる際に、例えば肌色のような特定色の画像に対してはフィルタのろ過作用を強めにかけてディテールを失わせることによって皺や肌荒れ等の肌領域のトラブルを目立たせにくくすることが考えられる。この場合特定色領域と特定色領域以外の境界部分で処理を急激に変化させると違和感のある画像となってしまうという問題がある。
【００６２】
そこで、注目画素のフィルタのろ過作用を変化させるためにフィルタ係数の重み付けを周辺画素の色情報を用いて行うことによって、特定色領域には強いろ過作用に対応する係数のフィルタをかけ、特定色以外の領域には弱いろ過作用に対応する係数のフィルタをかけ、さらに、特定色領域と特定色以外の領域との境界でノイズ削減レベルをなだらかに変化させることが可能となる。
【００６３】
ノイズの削減には、図１３Ａまたは図１３Ｂのような２次元のタップ係数をもつディジタルフィルタを用いる。図１３Ａまたは図１３Ｂのαが注目画素のフィルタ係数であり、注目画素の周辺画素が全て特定色であった場合にはαは最小値になり、最もフィルタのろ過作用が強くかかる。図１３には３×３フィルタと５×５フィルタを示したが、同等の特性が得られるものであれば、フィルタの係数、大きさは問わない。
【００６４】
図１４にフィルタ係数の導出のための特性図を示す。各特性Ｌ１、Ｌ２、Ｌ３について、縦軸に注目画素のフィルタ係数αを示し、横軸に周辺画素の特定色の数（ｃｏｕｎｔ）を示す。
【００６５】
図１４において、周辺画素が全て特定色でない場合には縦軸に示すフィルタ係数αはＦ＿ｍａｘになり、周辺画素が全て特定色の場合にはフィルタ係数はＦ＿ｍｉｎとなる。
【００６６】
図１４より横軸に示すように周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）とすると、縦軸に示す注目画素のフィルタ係数αは横軸に示すカウント（ｃｏｕｎｔ）の値に依存するため、以下の数１０式のように表すことができる。
【００６７】
【数１０】
ここで、横軸に示す周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のフィルタ係数αを求めるフィルタ係数算出ブロックをf ＿ｎｒ（ｃｏｕｎｔ）ブロック１５２とすると、ノイズ削減ブロックは図１５のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１５１、特定色判定フラグＦに基づいて周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のフィルタ係数αを求めるフィルタ係数算出ブロックのf ＿ｎｒ（ｃｏｕｎｔ）ブロック１５２、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１５３で構成して、実現することが可能である。
【００６９】
例えば、図１４中の特性L ２を例にとって考えると上述した数１０式は以下の数１１式のように示すことができる。
【００７０】
【数１１】
数１１式で２項目の分母のＦｉｌｔｅｒ＿ｓｉｚｅはフィルタの要素数であり、ｃｏｕｎｔは周辺画素の特定色の個数である。数１１式をハードウエアで実現するとノイズ削減ブロックは図１６のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１６１、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器１６４、Ｆ＿ｍａｘからＦ＿ｍｉｎを減算して減算値を出力する減算器１６２、減算値をＦｉｌｔｅｒ＿ｓｉｚｅで除算して除算値を出力する除算器１６３、周辺画素の特定色個数ｘと除算値とを乗算して乗算値を出力する乗算器１６５、乗算値とＦ＿ｍａｘを加算して注目画素のフィルタ係数αを出力する加算器１６６、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１６７で構成して、実現することが可能でなる。しかし、図１６のノイズ削減ブロックでは除算器１６３を使っているためハードウェア規模が大きくなってしまう。
【００７２】
そこで、例えば、３×３フィルタを用いてＦ＿ｍａｘの値を１０、Ｆ＿ｍｉｎの値を１とした場合について考える。
このとき数１１式は以下の数１２式のようになる。
【００７３】
【数１２】
フィルタ係数αが数１２式で表される場合、ノイズ削減ブロックは図１７のように、上述した図３に示す特定色領域検出回路から出力される肌色等の特定色領域の検出を判定する特定色判定フラグＦ、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化するディレーライン（ＤＬ）１７１、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器１７２、周辺画素の特定色個数ｘからＦ＿ｍａｘを減算して注目画素のフィルタ係数αを出力する減算器１７３、注目画素のフィルタ係数αの２次元のタップ係数により輝度信号ｙに対してろ過作用を施す２次元ディジタルフィルタ１７４で構成して、実現することができ、これにより除算器１６３をなくし、簡単な回路構成とすることが可能である。
【００７５】
ここでは例として回路構成を簡単にするため、数１２式について説明したが、フィルタ係数αを求める数式は図１４の特性Ｌ１〜Ｌ３のように数１０式で示される一般的な式であればかまわない。
例えば、以下の数１３式のような式でもかまわない。
【００７６】
【数１３】
ただし、αｍａｘは周辺画素が全て特定色でなかった場合のαの値とする。
【００７８】
さらに、第３の特定色領域と特定色以外の領域の境界部分でゲインがなめらかに変化するアパーチャ補正技術について説明する。
デジタル画像信号処理では、画像の解像感、解像度を補正し、見映えを良くするためにアパーチャ補正（f 特補正( 周波数特性補正) ）を行うことが多い。
【００７９】
例えば、図１８のように、ディレーライン（ＤＬ）１８１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化する画像本線１８４に対して、ハイパスフィルタ( ＨＰＦ) １８２により輝度信号Ｙ、色差信号Ｃｒ、Ｃｂから画像の高域周波数成分１８５を抜き出して、加算器１８３により再び画像本線１８４の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに足す手法が知られている。
【００８０】
しかし、肌色のような特定色領域では、ディテールを失わせることによって皺や肌荒れ等の肌領域のトラブルを目立たせにくくするために、アパーチャ補正信号を小さくする必要がある。
【００８１】
しかし、全領域に対してアパーチャ補正信号を小さくしてしまうと、ボケた画像になってしまうので特定色領域のアパーチャ補正信号のみを小さくして、特定色以外の領域のアパーチャ補正信号は変更しないことが望ましい。さらに、出力画像に違和感を与えないためには、特定色領域と特定色以外の領域でアパーチャ補正信号がなめらかに変化している必要がある。
【００８２】
そこで、図１９のように、ディレーライン（ＤＬ）１９１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化し、垂直ローパスフィルタ( Ｖ−ＬＰＦ) １９２により輝度信号Ｙの垂直方向の低域周波数成分を抜き出し、水平バンドパスフィルタ( Ｈ−ＢＰＦ) １９４により輝度信号Ｙの水平方向の所定帯域周波数成分を抜き出し、垂直バンドパスフィルタ( Ｖ−ＢＰＦ) １９３により輝度信号Ｙの垂直方向の所定帯域周波数成分を抜き出し、水平ローパスフィルタ( Ｈ−ＬＰＦ) １９５により輝度信号Ｙの水平方向の低域周波数成分を抜き出し、加算器１９７によりアパーチャ補正信号を出力し、特定色判定フラグＦの注目画素周辺の色情報をもとに、ゲイン算出ブロック１９６により周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のゲインを求め、アパーチャ補正信号にゲインを与え、乗算器１９８によりアパーチャ補正信号にゲインを乗算する。
【００８３】
周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）とした場合に、注目画素のアパーチャ補正信号のゲインは、カウント（ｃｏｕｎｔ）の値に依存するため、数１４式のように表すことができる。
【００８４】
【数１４】
数１４式をハードウエアで実現したものが、図１９に示したゲイン算出ブロック１９６となる。
【００８６】
ここで、図２０のアパーチャ補正信号のゲインの導出図で示す特性Ｌ１、Ｌ２、Ｌ３のように、横軸の周辺画素の特定色の個数をカウント（ｃｏｕｎｔ）としたとき、縦軸のゲインをなめらかに変化させることで、特定色領域のみのアパーチャ補正信号を小さくし、特定色以外の領域との境界でアパーチャ補正信号をなめらかに変化させることが可能となる。
【００８７】
ここで、図２０の特性Ｌ２を例にとって考えると、アパーチャ補正信号のゲインを算出する式は以下の数１５式のようになる。
【００８８】
【数１５】
数１５式をハードウエアで実現すると、図１９に示したゲイン算出ブロック１９６は図２１のように、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器２１１、Ｇ＿ｍａｘからＧ＿ｍｉｎを減算して減算値を出力する減算器２１２、減算値をＦｉｌｔｅｒ＿ｓｉｚｅで除算して除算値を出力する除算器２１３、周辺画素の特定色個数ｘと除算値とを乗算して乗算値を出力する乗算器２１４、乗算値とＧ＿ｍａｘを加算して注目画素のアパーチャ補正信号のゲインＧを出力する加算器２１５で構成して、実現することが可能である。この図２１では除算器２１３が必要となるが、ここで、図２０のＸ＿ｖａｌｕｅを２のｘ’乗とすると、数１５式は数１６式のように変形することができる。
【００９０】
【数１６】
Ｘ＿ｖａｌｕｅは２のｘ' 乗であるので、数１６式中の除算はｘ' のビットシフトを行うシフタで実現できることになる。数１６式中の除算をｘ' のビットシフトを行うシフタで実現した場合のゲイン算出ブロックを図２２に示すと、特定色判定フラグＦに基づいて周辺画素の特定色の個数を加算して周辺画素の特定色個数ｘを出力する加算器２２１、Ｇ＿ｍａｘのｘ' のビットシフトを行ってビットシフト値を出力するシフタ２２４、周辺画素の特定色個数ｘとＧ＿ｍａｘのｘ' のビットシフト値を乗算して乗算値を出力する乗算器２２２、乗算値とＧ＿ｍａｘを加算して注目画素のアパーチャ補正信号のゲインＧを出力する加算器２２３で構成して、実現することが可能である。
【００９２】
アパーチャ補正信号のゲイン導出についてここでは例として数１６式を説明したが、図１５の特性Ｌ１〜Ｌ３のように数１４式で示される一般的な式であればかまわない。
例えば、以下の数１７式のような式でもかまわない。
【００９３】
【数１７】
ただし、数１７式中のｇｍａｘは周辺画素が全て特定色でなかった場合のｇ（ゲイン）の値とする。
【００９５】
以上より、アパーチャ補正ブロックは図２３のように、ディレーライン（ＤＬ）２３１により入力信号の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂを、垂直方向に同時化し、垂直ローパスフィルタ( Ｖ−ＬＰＦ) ２３２により輝度信号Ｙの垂直方向の低域周波数成分を抜き出し、水平バンドパスフィルタ( Ｈ−ＢＰＦ) ２３４により輝度信号Ｙの水平方向の所定帯域周波数成分を抜き出し、垂直バンドパスフィルタ( Ｖ−ＢＰＦ) ２３３により輝度信号Ｙの垂直方向の所定帯域周波数成分を抜き出し、水平ローパスフィルタ( Ｈ−ＬＰＦ) ２３５により輝度信号Ｙの水平方向の低域周波数成分を抜き出し、加算器２３６によりアパーチャ補正信号を出力し、特定色判定フラグＦの注目画素周辺の色情報をもとに、ゲイン算出ブロック２３７により周辺画素の特定色の個数のカウント（ｃｏｕｎｔ）の値から注目画素のゲインを求め、アパーチャ補正信号にゲインを与え、乗算器２３８によりアパーチャ補正信号にゲインを乗算し、加算器２３９によりこの乗算値を輝度信号ｙ、色差信号Ｃｒ、Ｃｂに加算する。
【００９６】
図２３中の「Ｖ−ＬＰＦ」２３２は垂直方向のローパスフィルタであり、「Ｖ−ＢＰＦ」２３３は垂直方向のバンドパスフィルタである。同様に「 Ｈ−ＬＰＦ」 ２３５、「 Ｈ−ＢＰＦ」 ２３４はそれぞれ水平方向のローパスフィルタ、水平方向のバンドパスフィルタを示す。なお、図示はしないが、乗算器２３８の後段にコアリング（ｃｏｒｉｎｇ）部として微少振幅をノイズとみなし、ノイズとみなした部分のアパーチャ信号は０にするという処理をするブロックを付加してもよい。
【００９７】
また、第４に図１２に示した特定色領域検出回路における特定色領域検出において比較器（ｃｏｍｐ）１２３部分の判定フラグＦの出力を距離に応じた多ビットの信号にした場合について説明する。
【００９８】
特定色領域検出において、特定色領域に含まれているかどうかの判定結果を多ビットで表現することにより、図２４に示すように「特定色らしさ」を示すことが可能となる。ある画素が特定色領域の中心に近ければ近いほど、特定色に近いということになる。
【００９９】
例えば、図２４で判定フラグＦの特定色らしさを２ビットで表現すると仮定した場合について説明する。中心に最も近い領域に含まれる場合には重み付けを３とし、中心から次に近い領域に含まれる場合には２とし、図２２中の楕円状領域の中で最も外側の領域に含まれる場合を1 とし、楕円状領域に含まれていない場合には０とする。このようにある画素が特定色領域の中心に近ければ近いほど大きい値を割り当てることで、判定結果の値の大きさを用いてどのくらい楕円状領域の中心に近いのかを判定することが可能となる。
【０１００】
例として、特定色らしさを2 ビットで表現する場合について説明したが、特定色らしさを表現するには何ビットでもかまわない。
【０１０１】
特定色領域検出ブロックの判定結果を多ビットで表現すると、1 ビットで表現した場合に比べてノイズ削減部で注目画素のフィルタ係数がなめらかに変化し、アパーチャ補正部でアパーチャ補正信号のゲインがなめらかに切り替わることになる。そのため、図１２や図１５等に示した特定色判定フラグＦが多ビットになるが、その他のブロックの構成は変更しなくても、特定色判定結果を1 ビットで表現した場合に比べて、特定色領域と特定色以外の領域の境界でよりなめらかな処理の実現が可能となる。
【０１０２】
上述した本実施の形態によれば、例えば肌色などの特定色のノイズを削減することができ、ノイズがほとんどない領域に対しても、故意にノイズ削減（ＮＲ）を強くかけアパーチャ補正信号を弱くしてディテールを失わせることによって、例えば、肌色領域ならば「にきび」や「しみ」といった肌のトラブルを目立ちにくくし、綺麗な肌を再現することが可能となる。しかも、他の色領域については変化させないようにすることができる。
【０１０３】
上述した本実施の形態に限らず、本発明の特許請求の範囲を逸脱しない範囲で適宜他の構成をとりうることができることは言うまでもない。
【０１０４】
【発明の効果】
この発明の信号処理装置は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするノイズ削減手段とを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べて注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができるので、例えば肌色などの特定色のノイズを削減して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１０５】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出手段を簡単な回路で実現できるという効果を奏する。
【０１０６】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出手段をより簡単な回路で実現できるという効果を奏する。
【０１０７】
また、この発明の信号処理装置は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、特定色領域検出手段の判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正手段とを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べてアパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができるので、例えば肌色などの特定色をアパーチャ補正して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１０８】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出手段を簡単な回路で実現できるという効果を奏する。
【０１０９】
また、この発明の信号処理装置は、上述において、特定色領域検出手段は、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出手段をより簡単な回路で実現できるという効果を奏する。
【０１１０】
また、この発明の信号処理方法は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についてのこの多ビットの信号のカウント値が大きいほど小さくするノイズ削減ステップとを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べて注目画素のフィルタ係数がなめらかに変化する。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにノイズ削減を行うことができるので、例えば肌色などの特定色のノイズを削減して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１１１】
また、この発明の信号処理方法は、上述において、特定色領域検出ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出ステップを行うブロックを簡単な回路で実現できるという効果を奏する。
【０１１２】
また、この発明の信号処理方法は、上述において、特定色領域ステップは、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出ステップを行うブロックをより簡単な回路で実現できるという効果を奏する。
【０１１３】
また、この発明の信号処理方法は、撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、特定色領域検出ステップの判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正ステップとを備え、特定色領域における信号処理を行うようにしたので、画像処理を行う際に、肌色や空色等の特定色領域に含まれるか否かの判定結果を多ビットで表現することにより、１ビットで表現した場合に比べてアパーチャ補正信号のゲインがなめらかに切り替わる。これにより、特定色領域と特定色領域以外の境界部分で処理をなめらかに変化させ、画質に違和感を与えないようにアパーチャ補正を行うことができるので、例えば肌色などの特定色をアパーチャ補正して滑らかな画像を生成して、画像品質を向上させることができるという効果を奏する。
【０１１４】
また、この発明の信号処理方法は、上述において、特定色領域検出ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行うので、特定色領域検出ステップを行うブロックを簡単な回路で実現できるという効果を奏する。
【０１１５】
また、この発明の信号処理方法は、上述において、特定色領域ステップは、圧縮・拡大の比率を２の累乗に限定するか、回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行うので、特定色領域検出ステップを行うブロックをより簡単な回路で実現できるという効果を奏する。
【図面の簡単な説明】
【図１】デジタルスチルカメラのブロック図である。
【図２】カメラシステムＬＳＩのブロック図である。
【図３】本発明の実施の形態に適用されるカメラ信号処理部のブロック図である。
【図４】特定色（肌色）の色差分布を示す図である。
【図５】楕円状の距離計算手順を示す図である。
【図６】楕円状距離計算ブロックを示す図である。
【図７】拡大、圧縮をシフトで実現した楕円状の距離計算ブロックを示す図である。
【図８】回転角が３０度の場合の楕円状の距離計算ブロックを示す図である。
【図９】回転角を3 ０ｎ度（ただしｎ≠３ｍ：ｍ, ｎは任意の整数）とした場合の楕円状の距離計算ブロックを示す図である。
【図１０】セレクタＳ’を用いた楕円状の距離計算ブロックを示す図である。
【図１１】ｎ= ３ｍの場合の楕円状距離計算ブロックを示す図である。
【図１２】特定色領域検出回路を示す図である。
【図１３】ＮＲフィルタを示す図であり、図１３Ａは３×３フィルタ、図１３Ｂは５×５フィルタである。
【図１４】フィルタ係数αの導出を示す図である。
【図１５】ノイズ削減ブロック（１）を示す図である。
【図１６】ノイズ削減ブロック（２）を示す図である。
【図１７】ノイズ削減ブロック（３）を示す図である。
【図１８】一般的なアパーチャ補正を示す図である。
【図１９】アパーチャ補正信号の導出を示す図である。
【図２０】アパーチャ補正信号のゲインの導出を示す図である。
【図２１】ゲイン算出ブロック（１）を示す図である。
【図２２】ゲイン算出ブロック（２）を示す図である。
【図２３】アパーチャ補正ブロックを示す図である。
【図２４】特定色らしさを示す図である。
【符号の説明】
１……レンズ、２……絞り、３……シャッター、４……画像センサー、５……ＴＧ（タイミングジェネレーター）、６……フロントエンド、７……カメラシステムＬＳＩ、８……画像メモリ、９……マイコン、１０……外部記憶媒体、１１……画像モニター、２１……画像検波部、２２……カメラ信号処理部、２３……メモリＩ／Ｆ、２４……メモリコントローラ、２５……マイコンＩ／Ｆ、２６……画像圧縮・解凍部、２７……モニターＩ／Ｆ、３１……特定色領域検出部、３２……ＤＬ（ディレイライン）、３３……ＮＲ（ノイズリダクション）部、３４……ＡＰ（アパーチャ―）補正部、４１……楕円状領域( 肌色) 、４２……楕円状領域( 空色) 、５１……移動、５２、５３……回転、５４……拡大・圧縮、１２１……楕円状距離計算ブロック
Claims (12)
- 撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、上記特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、
上記特定色領域検出手段の判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についての上記多ビットの信号のカウント値が大きいほど小さくするノイズ削減手段と
を備え、特定色領域における信号処理を行うようにした信号処理装置。 - 請求項１記載の信号処理装置において、
上記特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で上記楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行う信号処理装置。 - 請求項２記載の信号処理装置において、
上記特定色領域検出手段は、上記圧縮・拡大の比率を２の累乗に限定するか、上記回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行う信号処理装置。 - 撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、上記特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出手段と、
上記特定色領域検出手段の判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての上記多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正手段と
を備え、特定色領域における信号処理を行うようにした信号処理装置。 - 請求項４記載の信号処理装置において、
上記特定色領域検出手段は、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で上記楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行う信号処理装置。 - 請求項５記載の信号処理装置において、
上記特定色領域検出手段は、上記圧縮・拡大の比率を２の累乗に限定するか、上記回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行う信号処理装置。 - 撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、上記特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、
上記特定色領域検出ステップの判定結果に基づき、注目画素のノイズを削減するフィルタのフィルタ係数を、周辺画素についての上記多ビットの信号のカウント値が大きいほど小さくするノイズ削減ステップと
を備え、特定色領域における信号処理を行うようにした信号処理方法。 - 請求項７記載の信号処理方法において、
上記特定色領域ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で上記楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行う信号処理方法。 - 請求項８記載の信号処理装置において、
上記特定色領域検出ステップは、上記圧縮・拡大の比率を２の累乗に限定するか、上記回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行う信号処理方法。 - 撮像手段により撮像された画像データの輝度信号および色差信号に基づき、色差平面で各画素の色差値が特定色領域に含まれるか否かの判定結果を、上記特定色領域の中心に近いほど値の大きい多ビットの信号で表現する特定色領域検出ステップと、
上記特定色領域検出ステップの判定結果に基づき、注目画素に対するアパーチャ補正信号のゲインを、周辺画素についての上記多ビットの信号のカウント値が大きいほど小さくするアパーチャ補正ステップと
を備え、特定色領域における信号処理を行うようにした信号処理方法。 - 請求項１０記載の信号処理方法において、
上記特定色領域ステップは、色差平面で楕円状の特定色領域に対する各画素の距離を移動、回転させた後に縦横を圧縮・拡大した距離の２乗の値と、色差平面で上記楕円状の特定色領域を移動、回転させた後に縦横を圧縮・拡大した円の半径の２乗の値とを比較して判定を行う信号処理方法。 - 請求項１１記載の信号処理装置において、
上記特定色領域検出ステップは、上記圧縮・拡大の比率を２の累乗に限定するか、上記回転角度を３０度、６０度、１２０度、１５０度に限定するかの少なくとも一方の限定をして計算を行う信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002336918A JP4200745B2 (ja) | 2002-11-20 | 2002-11-20 | 信号処理装置および信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002336918A JP4200745B2 (ja) | 2002-11-20 | 2002-11-20 | 信号処理装置および信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004172987A JP2004172987A (ja) | 2004-06-17 |
| JP4200745B2 true JP4200745B2 (ja) | 2008-12-24 |
Family
ID=32700613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002336918A Expired - Fee Related JP4200745B2 (ja) | 2002-11-20 | 2002-11-20 | 信号処理装置および信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4200745B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006041946A (ja) * | 2004-07-27 | 2006-02-09 | Sony Corp | 画像補正装置及び撮像装置 |
| JP4779536B2 (ja) * | 2005-09-27 | 2011-09-28 | ソニー株式会社 | 撮像装置 |
| JP4635916B2 (ja) * | 2006-03-09 | 2011-02-23 | セイコーエプソン株式会社 | 画像データの色の補正 |
| KR100860965B1 (ko) | 2006-12-11 | 2008-09-30 | 삼성전자주식회사 | 노이즈 저감기능을 갖는 적응적 채도 향상 장치 및 방법 |
| JP5290734B2 (ja) * | 2008-12-25 | 2013-09-18 | 三星電子株式会社 | ノイズ低減装置及びノイズ低減方法 |
| JP5529424B2 (ja) * | 2009-03-11 | 2014-06-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
| JP5882576B2 (ja) * | 2010-12-01 | 2016-03-09 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法、並びにプログラム |
| CN115242968B (zh) * | 2022-06-10 | 2024-08-02 | 浙江大华技术股份有限公司 | 一种摄像设备的聚焦方法、装置和计算机可读存储介质 |
-
2002
- 2002-11-20 JP JP2002336918A patent/JP4200745B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004172987A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7796814B2 (en) | Imaging device | |
| TWI606728B (zh) | 用於處理影像信號的系統及方法 | |
| JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
| CN103477626B (zh) | 图像处理设备以及图像处理方法 | |
| US20090310885A1 (en) | Image processing apparatus, imaging apparatus, image processing method and recording medium | |
| TWI658731B (zh) | 鬼偽影去除系統和方法 | |
| US8860798B2 (en) | Image-capturing device and image processing method | |
| TW201225631A (en) | Image signal processor line buffer configuration for processing raw image data | |
| JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| CN102045490A (zh) | 图像处理装置以及图像处理方法 | |
| JP4200745B2 (ja) | 信号処理装置および信号処理方法 | |
| JP5474586B2 (ja) | 画像処理装置 | |
| JP5649927B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
| JP3817635B2 (ja) | カラ−画像処理装置および処理方法 | |
| US20090324127A1 (en) | Method and System for Automatic Red-Eye Correction | |
| JP2003123063A (ja) | 画像処理装置 | |
| US7956907B2 (en) | Image capture device with low-frequency noise suppression | |
| US20110228161A1 (en) | Focus-adjustment signal generating apparatus and method, and imaging apparatus and method, with manual focus adjustments | |
| EP2645702B1 (en) | Image capturing apparatus, control method therefor, and program | |
| JP2002218480A (ja) | 画像撮影装置 | |
| CN119624803A (zh) | 一种基于参数可调的图像质量增强方法 | |
| JP2010213105A (ja) | 撮像装置 | |
| KR20110026754A (ko) | 광역 역광 보정 장치 | |
| JP2006148230A (ja) | 欠陥検出補正装置、撮像装置および欠陥検出補正方法 | |
| JP2005347935A (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051018 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080929 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |