JP5451782B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像信号に生じる折り返し信号を抑圧する画像処理に関するものである。

ＣＣＤやＣＭＯＳセンサー等の撮像素子の色フィルタには様々な種類が存在し、原色（赤、緑、青）や補色（シアン、マゼンタ、イエロー）の色の組み合わせを有するものが代表的である。

図１３は、撮像素子の原色ベイヤー配列を示す図である。２×２の４つの画素に対して、１つの赤（Ｒ）および１つの青（Ｂ）が斜めに配置され、残りの２つの画素に対して緑（Ｇ１、Ｇ２）が配置されるパターンが繰り返される。

被写体に、撮像素子の分解能を超える高周波成分が含まれていると、その高周波成分の影響によって、撮像素子で生成された画像信号には折り返し信号が生じてしまうため、この折り返し信号を抑圧するための方法が、色々と提案されている。例えば、折り返し信号を抑圧するために、生成方法の異なる２つの輝度信号を組み合わせて用いる方法がある。

一方の輝度信号は、図１３に示す原色ベイヤー配列のうち、ＲおよびＢ画素の信号を用いずに、Ｇ（Ｇ１、Ｇ２）画素の信号のみを用いて生成される。まず、原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号のうち、Ｇ画素以外の信号の値を０とする。次に、垂直方向の帯域を制限する垂直ローパスフィルタ（Ｖ−ＬＰＦ）処理、および、水平方向の帯域を制限する水平ローパスフィルタ（Ｈ−ＬＰＦ）処理を行う。こうすることで、各画素に対して、Ｇ画素の信号を用いて補間を行った信号が生成され、Ｇの輝度信号が得られる。以下、このように、ある特定の色に対応していない画素に対して、この特定の色に対応する信号を補間することで得られた輝度信号を第１輝度信号という。

あるいは、Ｒ画素以外の信号の値を０として、同様にＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施してＲの輝度信号を生成する。同様に、Ｂ画素以外の信号の値を０として、同様にＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施してＢの輝度信号を生成する。そして、これらをＲの輝度信号とＢの輝度信号をＧの輝度信号に加えることで得られる信号を第１輝度信号としてもよい。

また、他方の輝度信号は、図１３に示す原色ベイヤー配列の全ての色の信号を用いて生成される。原色ベイヤー配列の撮像素子の出力をデジタル化したＲＧＢの各画素の信号を、色を区別することなく、全色の画素の信号を用いて、垂直方向の帯域を制限するＶ−ＬＰＦ処理、および、水平方向の帯域を制限するＨ−ＬＰＦ処理を行い、新たな信号を得る。以下、このように、色を区別することなく、それぞれの色の信号を用いて得られた輝度信号を第２輝度信号という。

図１４は、第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。ｘ軸は被写体の水平（Ｈ）方向の周波数空間を、ｙ軸は垂直（Ｖ）方向の周波数空間を示し、中央のｘ軸とｙ軸の交点から遠ざかるほど空間周波数が高くなる。

Ｇ画素の信号のみを用いて生成した第１輝度信号の水平および垂直方向の解像限界は、Ｇ画素の配列のナイキスト周波数（π／２）に等しい。しかし、斜め方向はＧの画素が存在しないラインが存在するため、斜め方向の限界解像周波数は、水平および垂直方向に比べて低くなり、図１４のひし形領域１４０１の内部が解像可能な空間周波数となる。Ｒ、Ｇ、Ｂの輝度信号のうち、最も解像度の高い輝度信号がＧ画素の信号のみから生成したＧの輝度信号であるため、Ｒ、Ｇ、Ｂの輝度信号を合成して第１輝度信号を生成する場合も、この解像可能な空間周波数は同様になる。

一方、第２輝度信号は、全色の画素の信号を用いて輝度信号を生成するため、被写体が無彩色の場合、図のような外側の正方形領域１４０２が解像可能な空間周波数となる。第１輝度信号と異なり、斜め方向においても全てのラインにいずれかの色の画素が存在することになるため、斜め方向の解像可能な空間周波数は第１輝度信号よりも高くなる。しかしながら、例えば赤い被写体においては、Ｒ画素以外の画素からは信号がほとんど出力されないため、被写体が無彩色のときの４分の１の範囲の領域１４０３の解像度しか得られなくなってしまう。

このような第１輝度信号、第２輝度信号の特性を考慮して、輝度信号を生成することで、画像信号に含まれる折り返し信号を抑圧する構成が提案されている。例えば、被写体が白黒なのか、カラーなのかに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献１）。また、被写体が図１４における斜め方向の相関が強いの否かに応じて、第１輝度信号と第２輝度信号の混合比率を変化させて輝度信号を生成するものが提案されている（特許文献２）。

しかしながら、これらの方法は、折り返し信号を抑圧するという点では優れているが、それ以外のノイズ信号を抑圧するものではない。例えば、近年は撮像素子の画素の微小化が進んでいる。この画素の微小化に起因してノイズが増加する場合もある。このノイズを信号処理により抑圧する様々な方法が知られているが、ノイズを抑圧することにより、画像がぼけるという影響を与えることが知られている。

そこで、これを回避する方法として、画像信号を複数の周波数成分に分割してノイズを抑圧する方法が知られている（特許文献３）。また、画像信号を縮小した縮小画像信号を生成し、この縮小画像信号と元の画像信号を合成することでノイズを抑圧する方法が知られている（特許文献４）。

具体的には、例えば、入力された画像信号に対して、縮小処理を行うことで、入力された画像よりも低周波成分で構成された縮小画像を生成する。そして、低周波成分の縮小画像信号からエッジ強度を検出し、このエッジ強度に基づいて、エッジ成分を維持すべき領域を求める。そして、このエッジ成分を維持すべき領域の画像がぼけないように、領域ごとに重み付けを変えて、元の画像信号と、低周波成分の縮小画像信号を合成し、新たな画像信号を生成する。

特開２００３−３４８６０９号公報 特開２００８−０７２３７７号公報 特開２００８−０１５７４１号公報 特開２００９−１９９１０４号公報

しかしながら、この複数の周波数帯域の画像信号を合成することによってノイズを抑圧する方法は、折り返し信号については考慮していない。

ここで、原色ベイヤー配列のような単板センサの場合、帯域分割の際に行うダウンサンプリング処理により、それぞれの色において信号がゼロの画素に対して補間を行うことなく、各画素がすべての色信号を有することが可能となる。ベイヤー配列の撮像素子のある行に着目すると、図１５のように、色フィルタがＲ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・の順に配列されており、これを水平方向に半分の画素数にダウンサンプリング処理する例について説明する。この行において、Ｒ信号のみに注目すると、元々２画素に１つの周期で並んでいるＲ信号がダウンサンプリング処理により１画素毎の信号となる。また、Ｇ信号のみに注目した場合も、元々２画素に１つ存在するＧ信号がダウンサンプリング処理により１画素毎の信号となっている。ただし、Ｇ信号のダウンサンプリング処理では、Ｇ信号の重心位置をＲ信号に合わせるため両隣の画素値から平均値を演算することより値を求めている。このように、ダウンサンプリング処理を行うことで、それぞれの色において信号がゼロの画素に対して補間を行うことなく、１つの画素位置にＲＧＢすべての色信号が生成されることになる。そのため、このようにダウンサンプリングして生成した画像信号では折り返し信号を抑えることができる。なお、同じ画素に対して複数種類の色の信号が生成されることを同時化と呼ぶ。

ダウンサンプリング処理した画像信号は同時化されているため、元の画像信号をこのダウンサンプリング処理した画像信号と合成するためには、元の画像信号も同時化する必要がある。しかしながら、元の画像信号は１つの画素が１つの色にしか対応していないため、１つの画素に全ての色の信号を持たせるためには、それぞれの色において信号が０の画素に対して補間を行う必要がある。そのため、ダウンサンプリング処理によってノイズを抑圧したにも関わらず、この元の画像信号を同時化することによって、これらを合成した画像信号には、折り返し信号が含まれてしまうことになる。

本発明は、上記問題に鑑みてなされたもので、入力信号を複数の帯域に分割することによりノイズ処理などを行う画像処理装置において、撮像素子のサンプリングによる画像信号の折り返し信号も抑圧することが可能な画像処理装置を提供することを目的とする。

上記課題を解決ため、本願請求項１に係る発明は、複数の色に対応する色信号が配列された画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、前記生成手段で生成された前記複数の画像信号を合成する合成手段と、前記合成手段で合成されて得られた画像信号から、それぞれの色に対応する色信号を、前記配列に沿ってサンプリングして色毎の画像信号を生成するサンプリング手段と、前記サンプリング手段でサンプリングされた色毎の画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力する輝度混合手段と、を有する画像処理装置を提供するものである。

同様に、上記課題を解決するため、本願請求項に記載の発明は、複数の色に対応する色信号が配列された画像信号を縮小して縮小画像信号を生成する縮小手段と、前記縮小画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、前記生成手段で生成された前記複数の画像信号を合成する合成手段と、前記合成手段にて合成された画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、前記合成手段にて合成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、前記合成手段で合成されて得られた画像信号を用いて第３輝度信号を生成する第３輝度信号生成手段を有し、前記複数の色に対応する色信号が配列された画像信号に対する前記縮小画像信号の画素数の比が閾値より大きい場合には、前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力し、前記比が閾値以下である場合には、前記第３輝度信号を出力する輝度混合手段と、を有する画像処理装置を提供するものである。

以上説明したように、本発明によれば、画像信号を複数の帯域に分割することによるノイズ抑圧処理を実行しつつ、折り返し信号を抑圧することが可能となる。

本発明の実施形態におけるデジタルカメラの概略構成を示す図である。 本発明の第１の実施形態における画像処理回路１０５の概略構成の一部を示す図である。 図２の画像処理回路１０５における処理内容を説明するためのフローチャートである。 図２の同時化回路２０５による同時化処理の過程を説明するための図である。 図２の合成率算出回路２０７におけるエッジ検出のフィルタ係数の例を示す図である。 エッジ成分に対する高域階層画像信号の混合率αを示す図である。 図２の第１輝度信号生成回路２１２が第１輝度信号Ｙ_Ａを生成する過程を説明するための図である。 図２の第２輝度信号生成回路２１３が第２輝度信号Ｙ_Ｂを生成する過程を説明するための図である。 彩度Ｓに対する第１輝度信号Ｙ_Ａの混合率βを示す図である。 本発明の第２の実施形態における画像処理回路１０５の概略構成の一部を示す図である。 本発明の第３の実施形態における画像処理回路１０５の概略構成の一部を示す図である。 図１１の画像処理回路１０５における処理内容を説明するためのフローチャートである。 撮像素子の原色ベイヤー配列を示す図である。 第１輝度信号と第２輝度信号の解像可能な空間周波数特性を示す図である。 ダウンサンプリング処理により各画素がすべての色信号を有する例を説明するための図である。

（第１の実施形態）
図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示す図である。本発明は、画像信号に対して画像処理を施すことができる画像処理装置であれば、デジタルカメラに限らず、デジタルビデオカメラや、画像処理に関するアプリケーションを搭載したパーソナルコンピュータなどでも実現することが可能である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では、撮像素子１０２は、ＲＧＢに対応した色フィルタを備えたベイヤー配列のＣＣＤで構成されているものとする。

前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。

画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラの動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダーとして機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。記録媒体１０９は、このデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよく、画像信号を記憶することができる。

操作部材１１０は、ユーザーがデジタルカメラに指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラの撮影時の動作の一例について説明する。

ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。

画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、電子的なビューファインダーとして機能する。

ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて、光学系１０１の動作を再調整して、静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を行う。そして、記録媒体１０９が画像処理回路１０５から出力された画像信号を記録する。なお、画像処理回路１０５は静止画だけでなく、撮影した動画に対してもノイズ抑圧処理を含む種々の画像処理を行う。

ここで、本発明の特徴である、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明を行う。図２は、画像処理回路１０５の概略構成の一部を示す図である。

本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、帯域処理回路２０２、サンプリング回路２０３、および、輝度色生成回路２０４を含む。帯域処理回路２０２は、同時化回路２０５、ノイズ抑圧回路２０６、合成率算出回路２０７、縮小回路２０８、ノイズ抑圧回路２０９、拡大回路２１０、および、画像合成回路２１１で構成されている。輝度色生成回路２０４は、第１輝度信号生成回路２１２、第２輝度信号生成回路２１３、輝度混合回路２１４、および、色生成回路２１５で構成されている。

図３は、画像処理回路１０５のホワイトバランス回路２０１、帯域処理回路２０２、サンプリング回路２０３、および、輝度色生成回路２０４における処理内容を説明するためのフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、この図３のフローチャートに示す処理を行う。

ステップＳ３０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。この時点では、画像信号はＲＡＷ形式で構成されており、１画素につき、ＲＧＢのいずれか１色の信号を有している。ホワイトバランス回路２０１は、白とみなせる被写体に対するＲＧＢの信号レベルがほぼ等しくなるように、色信号別にゲイン係数を算出する。なお、ゲイン係数の算出は一般的な方法によって算出すればよいので、詳細は省略する。

ステップＳ３０２において、同時化回路２０５は、ホワイトバランス回路２０１から出力された画像信号に対して同時化処理を行う。図４は、同時化回路２０５による同時化処理の過程を説明するための図である。

ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号が同時化回路２０５に入力され、同時化回路２０５はこのＲＡＷ形式の画像信号を色毎の画像信号に分離する。具体的には、Ｇ画素以外の画素の信号として０を挿入したＧ信号からなる画像信号、Ｒ画素以外の画素の信号として０を挿入したＲ信号からなる画像信号、Ｂ画素以外の画素の信号として０を挿入したＢ信号からなる画像信号を生成する。

次に、同時化回路２０５は、Ｇ信号、Ｒ信号、および、Ｂ信号のそれぞれからなる画像信号に対し、同時化処理を行い、全ての画素にＧ信号、Ｒ信号、および、Ｂ信号を持たせる。例えば、Ｒ信号からなる画像信号において、座標（ｍ，ｎ）における補間前の信号をＲ（ｍ，ｎ）、補間後の信号をＲ_Ｐ（ｍ，ｎ）とすると、補間後の信号Ｒ_Ｐ（ｍ，ｎ）を式（１）〜式（４）のように算出することができる。
Ｒ_Ｐ（１，１）=Ｒ（１，１）・・・（１）
Ｒ_Ｐ（１，２）=｛Ｒ（１，１）＋Ｒ（１，３）｝／２・・・（２）
Ｒ_Ｐ（２，１）=｛Ｒ（１，１）＋Ｒ（３，１）｝／２・・・（３）
Ｒ_Ｐ（２，２）=｛Ｒ（１，１）＋Ｒ（１，３）＋Ｒ（３，１）＋Ｒ（３，３）｝／４・・・（４）
Ｂ信号からなる画像信号における補間後の信号Ｂ_Ｐ（ｍ，ｎ）も、同様の方法で算出する。

また、Ｇ信号からなる画像信号においては、補間後の信号Ｇ_Ｐ（ｍ，ｎ）を式（５）〜式（８）のように算出することができる。
Ｇ_Ｐ（２，２）＝｛Ｇ（１，２）＋Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）｝／４・・・（５）
Ｇ_Ｐ（２，３）＝Ｇ（２，３）・・・（６）
Ｇ_Ｐ（３，２）＝Ｇ（３，２）・・・（７）
Ｇ_Ｐ（３，３）＝｛Ｇ（２，３）＋Ｇ（４，３）＋Ｇ（３，２）＋Ｇ（３，４）｝／４・・・（８）

ステップＳ３０３において、縮小回路２０８が、同時化回路２０５で生成されたＧ_Ｐ信号からなる画像信号、Ｒ_Ｐ信号からなる画像信号、および、Ｂ_Ｐ信号からなる画像信号を受け取り、これらを用いて帯域を落とした画像信号を生成する。

縮小回路２０８は、Ｇ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号のそれぞれからなる画像信号に対し、［１、２、１］で示されるフィルタ係数を有するＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施す。それから縮小回路２０８は、水平および垂直方向において画素数が１／２となるように、ＬＰＦ処理後の画像信号にダウンサンプリング処理を施して、Ｇ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号のそれぞれからなる画像信号を生成する。ダウンサンプリング前のＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号のそれぞれからなる画像信号を高域階層画像信号とし、ダウンサンプリング後のＧ_Ｐ１号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号のそれぞれからなる画像信号を低域階層画像信号とする。

本実施形態では、低域階層画像信号の最も高い周波数帯域は、高域階層画像信号の最も高い周波数帯域の半分となり、高域階層画像信号の低域側の周波数帯域が、低域階層画像信号の周波数帯域と重畳している。

なお、縮小回路２０８は、同時化回路２０５を介さずに、ホワイトバランス回路２０１から出力されたベイヤー配列のＲＡＷ形式の画像信号を間引いてからＬＰＦ処理することで、低域階層画像信号を生成するようにしても構わない。

ステップＳ３０４において、ノイズ抑圧回路２０６が高域階層画像信号に対してノイズ抑圧処理を行い、ノイズ抑圧回路２０９が低域階層画像信号に対してノイズ抑圧処理を行う。ノイズ抑圧回路２０６とノイズ抑圧回路２０９の処理内容は同じなので、ここではノイズ抑圧回路２０６を例に挙げて、ノイズ抑圧処理の中身について説明する。

ノイズ抑圧回路２０６は、それぞれの色の画像信号別に、画像信号における注目画素と、その注目画素を中心とした５×５画素の範囲に含まれる周辺画素の信号を用いて、ノイズ抑圧処理を行う。

Ｇ_Ｐ信号からなる画像信号を例にあげると、ノイズ抑圧回路２０６は、注目画素と周辺画素の信号レベルの差分の絶対値を演算し、閾値と比較する。すなわち、注目画素の信号レベルをＧ_Ｐ（ｓ，ｔ）、周辺画素の信号レベルをＧ_Ｐ（ｉ，ｊ）、閾値をＴＨとすると、式（９）を満たす信号レベルＧ_Ｐ（ｉ，ｊ）を求める。
｜Ｇ_Ｐ（ｉ，ｊ）−Ｇ_Ｐ（ｓ，ｔ）｜＜ＴＨ ただし、ｓ−２≦ｉ≦ｓ＋２、ｔ−２≦ｊ≦ｔ＋２・・・（９）

そして、この式（９）を満たすＧ_Ｐ（ｉ，ｊ）を抽出し、その平均値を注目画素の輝度信号Ｇ_Ｐ（ｓ，ｔ）の値として置き換える。ノイズ抑圧回路２０６は、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号で構成されるそれぞれの高域階層画像信号に対しても同様の処理を行う。

ノイズ抑圧回路２０６は、これらのＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号に対する処理を全ての画素に対して行うことで、高域階層画像信号のノイズを抑圧する。なお、画像信号の端部の画素については５×５画素の範囲を設定できないため、このような画素については周辺画素の設定方法を適宜変更してノイズの抑圧を行うようにする。

ノイズ抑圧回路２０９も、同様の処理を低域階層画像信号のＧ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号に対して行うことで、低域階層画像信号のノイズを抑圧する。勿論、ノイズを抑圧する方法はこれに限られるものではなく、一般的に知られている他の様々なノイズの抑圧方法を適用することが可能である。

そして、ノイズ抑圧回路２０９によってノイズ抑圧処理が行われた低域階層画像信号は、拡大回路２１０に出力される。拡大回路２１０は、ノイズ抑圧処理が行われた低域階層画像信号に対してアップサンプリング処理を行い、低域階層画像信号の画素数を、高域域階層画像信号の画素数と等しくする。具体的には、低域階層画像信号の画素数を２倍に増やすとともに、新たに生成された画素の信号を０とする。それから、例えば、０の値とされた画素に対し、周囲にある画素の値を用いて線形補間を行うことで、全ての位置の画素に対して信号を持たせることができる。これらの処理を、Ｇ_Ｐ１信号、Ｒ_Ｐ１信号、Ｂ_Ｐ１信号のそれぞれに対して行う。

ステップＳ３０５において、合成率算出回路２０７が、高域階層画像信号と低域階層画像信号の合成率を算出する。具体的には、合成率算出回路２０７は高域階層画像信号のＧ_Ｐ信号に対して、図５に示すフィルタを用いて各画素におけるエッジ成分を求める。そして、合成率算出回路２０７は、このエッジ成分に応じた混合率αを不図示のメモリから読み出す。図６は、エッジ成分に対する高域階層画像信号の混合率αを示す図である。図６に示すように、合成率算出回路２０７は、エッジ成分の高い画素においては混合率αを大きくして高域階層画像信号の混合率を大きくし、エッジ成分の低い画素においては混合率αを小さくして低域階層画像信号の混合率を大きくする。

ステップＳ３０６において、画像合成回路２１１が、合成率算出回路２０７で求められた混合率αを用いて、高域階層画像信号のＧ_Ｐ信号と低域階層画像信号のＧ_Ｐ１信号を合成し、新たなＧ信号を得る。具体的には、各画素において、ノイズ抑圧回路２０６でノイズ抑圧処理が施された高域階層画像信号のＧ_Ｐ信号と、拡大回路２１０で拡大処理された低域階層画像信号のＧ_Ｐ１信号を、式（１０）を用いて加算する。
Ｇ＝α×Ｇ_Ｐ＋（１−α）×Ｇ_Ｐ１・・・（１０）

同様に、各画素において、ノイズ抑圧回路２０６でノイズ抑圧処理が施された高域階層画像信号のＲ_Ｐ信号、Ｂ_Ｐ信号と、拡大回路２１０で拡大処理された低域階層画像信号のＲ_Ｐ１信号、Ｂ_Ｐ１信号を、式（１１）、式（１２）を用いて加算する。
Ｒ＝α×Ｒ_Ｐ＋（１−α）×Ｒ_Ｐ１・・・（１１）
Ｂ＝α×Ｂ_Ｐ＋（１−α）×Ｂ_Ｐ１・・・（１２）

そして、画像合成回路２１１から出力されるこれらの加算後のＧ信号、Ｒ信号、および、Ｂ信号は、サンプリング回路２０３に入力される。

ステップＳ３０７において、サンプリング回路２０３は、ベイヤー配列に従ってＧ信号、Ｒ信号、および、Ｂ信号をサンプリングすることで、ベイヤー配列に従った１つの画像信号を生成する。すなわち、サンプリング回路２０３は、１つのＲ信号および１つのＢ信号が斜めに配置され、残りの２つの画素に対してＧ信号が配置される２×２の４つの信号からなるパターンが繰り返される画像信号を生成する。そして、サンプリング回路２０３は、このサンプリングにより得られた再ベイヤー化された画像信号を、第１輝度信号生成回路２１２、第２輝度信号生成回路２１３、および、色生成回路２１５へ出力する。

続いて、ステップＳ３０８において、第１輝度信号生成回路２１２が、第１輝度信号Ｙ_Ａを生成する。図７は、第１輝度信号生成回路２１２が第１輝度信号Ｙ_Ａを生成する過程を説明するための図である。

第１輝度信号生成回路２１２は、図７に示すように、サンプリング回路２０３から出力された画像信号を色毎の画像信号に分離し、補間処理によって各画素におけるそれぞれの色信号を生成することで、同時化処理を行う。

例えば、Ｒ信号からなる画像信号において、座標（ｍ，ｎ）における補間前の信号をＲ（ｍ，ｎ）、補間後の信号をＲ_Ａ（ｍ，ｎ）とすると、補間後の信号Ｒ_Ａ（ｍ，ｎ）を式（１３）〜式（１６）のように算出することができる。
Ｒ_Ａ（１，１）=Ｒ（１，１）・・・（１３）
Ｒ_Ａ（１，２）=｛Ｒ（１，１）＋Ｒ（１，３）｝／２・・・（１４）
Ｒ_Ａ（２，１）=｛Ｒ（１，１）＋Ｒ（３，１）｝／２・・・（１５）
Ｒ_Ａ（２，２）=｛Ｒ（１，１）＋Ｒ（１，３）＋Ｒ（３，１）＋Ｒ（３，３）｝／４・・・（１６）
Ｂ信号からなる画像信号における補間後の信号Ｂ_Ａ（ｍ，ｎ）も、同様の方法で算出する。

また、Ｇ信号からなる画像信号においては、補間後の信号Ｇ_Ａ（ｍ，ｎ）を式（１７）〜式（２０）のように算出することができる。
Ｇａ（２，２）＝｛Ｇ（１，２）＋Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）｝／４・・・（１７）
Ｇａ（２，３）＝｛４×Ｇ（２，３）＋Ｇ（１，２）＋Ｇ（１，４）＋Ｇ（３，２）＋Ｇ（３，４）｝／８・・・（１８）
Ｇａ（３，２）＝｛４×Ｇ（３，２）＋Ｇ（２，１）＋Ｇ（２，３）＋Ｇ（４，１）＋Ｇ（４，３）｝／８・・・（１９）
Ｇａ（３，３）＝｛Ｇ（２，３）＋Ｇ（４，３）＋Ｇ（３，２）＋Ｇ（３，４）｝／４・・・（２０）

もちろん、これらの補間方法は一例であって、これ以外の公知の様々な補間方法を適用することが可能である。例えば、元の信号の高域の特性劣化を抑止するため、被写体の方向毎の相関をあらかじめ判定しておき、最も相関の高い方向に位置する信号の重み付けを大きくして、補間を行うようにしてもよい。具体的には、補間の対象となる画素の上下に隣接するＧ画素の信号の相関と、左右に隣接するＧ画素の信号の相関を比較し、相関の高いほうのＧ画素の信号の比率を大きくして、補間の対象となる画素の信号Ｇ_Ａ（ｍ，ｎ）を求めてもよい。あるいは相関の高いほうのＧ画素の信号のみを用いて、補間の対象となる画素の信号Ｇ_Ａ（ｍ，ｎ）を求めてもよい。

ステップＳ３０２では、同時化回路２０５は、図１３の画素にはノイズ成分が重畳されており、周囲に位置する画素の相関を正確に求めることができないため、単純な線形補間によって、補間の対象となる画素の信号を求めていた。これに対し、第１輝度信号生成回路２１２は、帯域処理回路２０２によってノイズ成分が抑圧された信号を用いて補間を行うため、上述のように、補間の対象となる画素の周囲に位置する画素の相関に応じた補間を行うことが可能となる。

このようにして求めたＲ_Ａ信号、Ｇ_Ａ信号、Ｂ_Ａ信号を式（２１）に当てはめることにより、座標（ｍ，ｎ）の画素における第１輝度信号Ｙ_Ａ（ｍ，ｎ）を求めることができる。
Ｙ_Ａ（ｍ，ｎ）＝０．３×Ｒ_Ａ（ｍ，ｎ）＋０．６×Ｇ_Ａ（ｍ，ｎ）＋０．１×Ｂ_Ａ（ｍ，ｎ）・・・（２１）

そして、第１輝度信号生成回路２１２は、求めた第１輝度信号Ｙ_Ａを、輝度混合回路２１４へ出力する。

なお、ここではＲ_Ａ信号、Ｇ_Ａ信号、Ｂ_Ａ信号を用いて第１輝度信号Ｙ_Ａを求める例を挙げて説明を行ったが、Ｇ_Ａ信号をそのまま第１輝度信号Ｙ_Ａとしても良い。この第１輝度信号Ｙ_Ａは、少なくとも第１の色信号であるＧ信号からなる画像信号を補間することによって得ることができる輝度信号であればよい。

ステップＳ３０９において、第２輝度信号生成回路２１３が、第２輝度信号Ｙ_Ｂを生成する。第２輝度信号Ｙ_Ｂは、第１の輝度信号Ｙ_Ａと異なり、色信号を区別することなく、全色の画素の信号を均等に扱って生成される輝度信号である。図５は、第２輝度信号生成回路２１３が第２輝度信号Ｙ_Ｂを生成する過程を説明するための図である。

第２輝度信号生成回路２１３は、図８に示すように、サンプリング回路２０３から出力された画像信号が入力される。第２輝度信号生成回路２１３は、この画像信号に対して垂直ローパスフィルタ（Ｖ−ＬＰＦ）処理、および、水平ローパスフィルタ（Ｈ−ＬＰＦ）処理を行い、第２輝度信号Ｙ_Ｂとする。このＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理では、例えば、［１、２、１］で表すことのできるフィルタ係数を用いればよい。あるいは、画像信号のエッジの状態や周囲の画素との相関レベルに応じて、フィルタの方向やフィルタ係数を適応的に変更してもよい。

なお、第２輝度信号生成回路２１３における処理を省略し、ＲＡＷ形式の画像信号を、第２輝度信号Ｙ_Ｂとして扱うようにしてもよい。すなわち、式（２２）〜式（２５）のように、画素ごとに第２輝度信号Ｙ_Ｂを求めることができる。
Ｙ_Ｂ（１，１）＝Ｒ（１，１）・・・（２２）
Ｙ_Ｂ（１，２）＝Ｇ（１，２）・・・（２３）
Ｙ_Ｂ（２，１）＝Ｇ（２，１）・・・（２４）
Ｙ_Ｂ（２，２）＝Ｂ（２，２）・・・（２５）

ステップＳ３１０において、輝度混合回路２１４は、第１輝度信号Ｙ_Ａと第２輝度信号Ｙ_Ｂを混合し、輝度信号Ｙを生成する。輝度混合回路２１４は、輝度信号Ｙに対する第１輝度信号の混合率をβとすると、画素ごとに第１輝度信号Ｙ_Ａおよび第２輝度信号Ｙ_Ｂを式（２６）に当てはめることで、画素ごとの輝度信号Ｙを求めている。
Ｙ＝β×Ｙ_Ａ＋（１−β）×Ｙ_Ｂ・・・（２６）

ここで、本実施形態では、輝度混合回路２１４は、被写体の彩度Ｓに応じて、輝度信号Ｙに対する第１輝度信号Ｙ_Ａの混合率βを決定する。この混合率βの求めた方について説明する。輝度混合回路２１４は、第１輝度信号生成回路２１２と同様に、ＲＡＷ形式の画像信号を色毎に分離して同時化を行う。そして、式（２７）のように、各画素におけるＲ信号とＧ信号の差分の絶対値とＢ信号とＧ信号の差分の絶対値を加算することで、各画素における彩度Ｓを求める。
Ｓ＝｜Ｒ−Ｇ｜＋｜Ｂ−Ｇ｜・・・（２７）

輝度混合回路２１４は、この彩度Ｓに応じた混合率βを不図示のメモリから読み出す。図９は、彩度Ｓに対する第１輝度信号の混合率βを示す図である。図９に示すように、輝度混合回路２１４は、彩度の高い画素においては混合率βを大きくして第１輝度信号Ｙ_Ａの混合率を大きくし、彩度の低い画素においては混合率βを小さくして第２輝度信号Ｙ_Ｂの混合率を大きくする。

なお、第１輝度信号Ｙ_Ａと第２輝度信号Ｙ_Ｂの混合率の求め方はこの限りではなく、Ｒ信号とＧ信号の差分の絶対値から求めた混合率と、Ｂ信号とＧ信号の差分の絶対値から求めた混合率を乗算して、最終的な混合率を決定しても良い。また、第１輝度信号Ｙ_Ａと第２輝度信号Ｙ_Ｂを加算して合成するのではなく、混合率が高いほうの輝度信号のみを選択するようにしてもよい。あるいは、斜め方向の相関が閾値よりも高いと判断された領域が存在する場合には、その領域のみに対して第２輝度信号Ｙ_Ｂを用いるように構成しても良い。また、第１輝度信号Ｙ_Ａおよび第２輝度信号Ｙ_Ｂの高域成分に含まれる色の構成比が異なるため、被写体の色が偏っていると、第１輝度信号Ｙ_Ａと第２輝度信号Ｙ_Ｂの値に大きな差が出る。そこで、第１輝度信号Ｙ_Ａの低域成分と第２輝度信号Ｙ_Ｂの高域成分を求めて、これらを合成して得られる輝度信号と第１輝度信号Ｙ_Ａとを上記の混合率で混合するようにしてもよい。

ステップＳ３１１において、色生成回路２１５は、サンプリング回路２０３から出力されたＲＧＢ信号を用いて色差信号Ｕ、Ｖを生成する。色生成回路２１５は、ＲＧＢ信号に対して色補間処理、偽色除去処理、および、マトリックス変換などを行って色差信号Ｕ、Ｖを生成する。色差信号Ｕ、Ｖの生成の仕方は一般的な方法を用いればよく、その方法自体は公知であるため、詳細な説明は省略する。

このような処理によって、輝度色生成回路２０４の内部で、折り返し信号が抑圧された輝度信号Ｙと、色差信号Ｕ、Ｖが生成される。

以上説明したように、本実施形態の構成によれば、帯域処理回路２０２によって、画像信号を複数の帯域に分割することによるノイズ抑圧処理を実行しつつ、輝度色生成回路２０４によって、折り返し信号を抑圧する処理を実行することが可能となる。

なお、本実施形態では１つの階層の低域階層画像信号しか生成しない構成を例にあげて説明を行ったが、これに限られるものではない。縮小回路２０８、ノイズ抑圧回路２０９および拡大回路２１０をそれぞれ複数設け、異なる周波数帯域で多階層化した低域階層画像信号のそれぞれに対してノイズ抑圧処理を行い、それらを画像合成回路２１１で合成するようにしても良い。

また、高域階層画像信号に対するノイズ抑圧処理と、低域階層画像信号に対するノイズ抑圧処理とで、その方法を異ならせてもよい。例えば、高域階層画像信号に対しては、ステップＳ３０４で説明した方法でノイズ抑圧処理を行い、低域階層画像信号に対しては、Ｖ−ＬＰＦ処理およびＨ−ＬＰＦ処理によるノイズ抑圧処理を行うようにしても良い。

あるいは、縮小回路２０８が低域階層画像信号を生成する際に、ＬＰＦ処理等のノイズ抑圧処理を施しているのならば、低域階層画像信号に対するノイズ抑圧回路２０９を省略することも可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、帯域処理回路２０２において、元の画像信号よりも周波数帯域を低くした別の画像信号を生成したが、本実施形態では、元の画像信号を周波数帯域が重ならない複数の周波数成分に分離する点で異なる。

図１０は、画像処理回路１０５の別の概略構成の一部を示す図である。図１０のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、帯域処理回路１００１、サンプリング回路２０３、および、輝度色生成回路２０４を含む。

帯域処理回路１００１の同時化回路１００２は、ホワイトバランス回路２０１から出力された画像信号に対して、図２の同時化回路２０５と同様の方法で同時化処理を行い、Ｇ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号のそれぞれからなる画像信号を生成する。同時化回路１００２から出力される画像信号は、全ての画素がＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号を有している。

これらＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号のそれぞれからなる画像信号は、まずローパスフィルタ（ＬＰＦ）１００３およびハイパスフィルタ（ＨＰＦ）１００４に入力される。

ＬＰＦ１００３は、図２の縮小回路２０８と同様にＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号のそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、Ｇ_ＰＬ信号、Ｒ_ＰＬ信号、および、Ｂ_ＰＬ信号を生成する。

ＨＰＦ１００４は、同時化回路１００２より出力されたＧ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号から、ＬＰＦ１００３で生成されたＧ_ＰＬ信号、Ｒ_ＰＬ信号、および、Ｂ_ＰＬ信号を減算する。その結果、ＨＰＦ１００４は、Ｇ_Ｐ信号、Ｒ_Ｐ信号、および、Ｂ_Ｐ信号の高周波成分であるＧ_ＰＨ信号、Ｒ_ＰＨ信号、および、Ｂ_ＰＨ信号を抽出することができる。

Ｇ_ＰＨ信号、Ｒ_ＰＨ信号、および、Ｂ_ＰＨ信号はノイズ抑圧回路１００５に入力され、図２のノイズ抑圧回路２０６と同様の方法でノイズ抑圧処理が施される。また、Ｇ_ＰＨ信号、Ｒ_ＰＨ信号、および、Ｂ_ＰＨ信号は合成率算出回路１００６に入力され、図２の合成率算出回路２０７と同様の方法で合成率が算出される。

ＬＰＦ１００３で生成されたＧ_ＰＬ信号、Ｒ_ＰＬ信号、および、Ｂ_ＰＬ信号は、ダウンサンプリング（ＤＳ）回路１００７に入力される。ＤＳ回路１００７は、水平および垂直方向において画素数が１／２となるように、Ｇ_ＰＬ信号、Ｒ_ＰＬ信号、および、Ｂ_ＰＬ信号にダウンサンプリング処理を施して、Ｇ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号を生成する。

ＤＳ回路１００７から出力されたＧ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号は、ＬＰＦ１００８およびＨＰＦ１００９に入力される。

ＬＰＦ１００８は、図２の縮小回路２０８と同様にＧ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号のそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、Ｇ_ＰＬ１信号、Ｒ_ＰＬ１信号、および、Ｂ_ＰＬ１信号を生成する。

ＨＰＦ１００９は、ＤＳ回路１００７より出力されたＧ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号から、ＬＰＦ１００８で生成されたＧ_ＰＬ１信号、Ｒ_ＰＬ１信号、および、Ｂ_ＰＬ１信号を減算する。その結果、ＨＰＦ１００９は、Ｇ_Ｐ１信号、Ｒ_Ｐ１信号、および、Ｂ_Ｐ１信号の高周波成分であるＧ_ＰＨ１信号、Ｒ_ＰＨ１信号、および、Ｂ_ＰＨ１信号を抽出することができる。

Ｇ_ＰＨ１信号、Ｒ_ＰＨ１信号、および、Ｂ_ＰＨ１信号はノイズ抑圧回路１０１０に入力され、図２のノイズ抑圧回路２０６と同様の方法でノイズ抑圧処理が施される。また、Ｇ_ＰＨ１信号、Ｒ_ＰＨ１信号、および、Ｂ_ＰＨ１信号は合成率算出回路１０１１に入力され、図２の合成率算出回路２０７と同様の方法で合成率が算出される。

ＬＰＦ１００８で生成されたＧ_ＰＬ１信号、Ｒ_ＰＬ１信号、および、Ｂ_ＰＬ１信号は、ＤＳ回路１０１２に入力される。ＤＳ回路１０１２は、水平および垂直方向において画素数が１／２となるように、Ｇ_ＰＬ１信号、Ｒ_ＰＬ１信号、および、Ｂ_ＰＬ１信号にダウンサンプリング処理を施して、Ｇ_Ｐ２信号、Ｒ_Ｐ２信号、および、Ｂ_Ｐ２信号を生成する。

ＤＳ回路１０１２から出力されたＧ_Ｐ２信号、Ｒ_Ｐ２信号、および、Ｂ_Ｐ２信号は、ＬＰＦ１０１３およびＨＰＦ１０１４に入力される。ＬＰＦ１０１３は、図２の縮小回路２０８と同様に、Ｇ_Ｐ２信号、Ｒ_Ｐ２信号、および、Ｂ_Ｐ２信号のそれぞれに対してＶ−ＬＰＦ処理およびＨ−ＬＰＦ処理を施し、Ｇ_ＰＬ２信号、Ｒ_ＰＬ２信号、および、Ｂ_ＰＬ２信号を生成する。

ＨＰＦ１０１４は、ＤＳ回路１０１２より出力されたＧ_Ｐ２信号、Ｒ_Ｐ２信号、および、Ｂ_Ｐ２信号から、ＬＰＦ１０１３で生成されたＧ_ＰＬ２信号、Ｒ_ＰＬ２信号、および、Ｂ_ＰＬ２信号を減算する。その結果、ＨＰＦ１０１４は、Ｇ_Ｐ２信号、Ｒ_Ｐ２信号、および、Ｂ_Ｐ２信号の高周波成分であるＧ_ＰＨ２信号、Ｒ_ＰＨ２信号、および、Ｂ_ＰＨ２信号を抽出することができる。

Ｇ_ＰＨ２信号、Ｒ_ＰＨ２信号、および、Ｂ_ＰＨ２信号はノイズ抑圧回路１０１５に入力され、図２のノイズ抑圧回路２０６と同様の方法でノイズ抑圧処理が施される。また、Ｇ_ＰＨ２信号、Ｒ_ＰＨ２信号、および、Ｂ_ＰＨ２信号は合成率算出回路１０１６に入力され、図２の合成率算出回路２０７と同様の方法で合成率が算出される。

ＬＰＦ１０１３で生成されたＧ_ＰＬ２信号、Ｒ_ＰＬ２信号、および、Ｂ_ＰＬ２信号は、ＤＳ回路１０１７に入力される。ＤＳ回路１０１７は、水平および垂直方向において画素数が１／２となるように、Ｇ_ＰＬ２信号、Ｒ_ＰＬ２信号、および、Ｂ_ＰＬ２信号にダウンサンプリング処理を施して、Ｇ_Ｐ３信号、Ｒ_Ｐ３信号、および、Ｂ_Ｐ３信号を生成する。

Ｇ_Ｐ３信号、Ｒ_Ｐ３信号、および、Ｂ_Ｐ３信号はノイズ抑圧回路１０１８に入力され、図２のノイズ抑圧回路２０６と同様の方法でノイズ抑圧処理が施される。

Ｇ_ＰＨ信号、Ｇ_ＰＨ１信号、Ｇ_ＰＨ２信号、および、Ｇ_Ｐ３信号は互いの周波数帯域が重畳しておらず、Ｇ_ＰＨ信号からＧ_Ｐ３信号に向かってその周波数帯域が低くなる。これはＲ_ＰＨ信号乃至Ｒ_Ｐ３信号、Ｂ_ＰＨ信号乃至Ｂ_Ｐ３信号についても同様である。

拡大回路１０１９は、ノイズ抑圧回路１０１８から出力されたそれぞれの信号に対してアップサンプリング処理を行い、ノイズ抑圧回路１０１８から出力された信号の画素数を、ノイズ抑圧回路１０１５から出力された信号の画素数と等しくする。画像合成回路１０２０は、合成率算出回路１０１６で求められた合成率を用いて、図２の画像合成回路２１１と同様の方法で、拡大回路１０１９から出力された信号とノイズ抑圧回路１０１５から出力された信号を色毎に合成する。

拡大回路１０２１は、画像合成回路１０２０から出力された信号に対してアップサンプリング処理を行い、画像合成回路１０２０から出力された信号の画素数を、ノイズ抑圧回路１０１０から出力された信号の画素数と等しくする。画像合成回路１０２２は、合成率算出回路１０１１で求められた合成率を用いて、図２の画像合成回路２１１と同様の方法で、拡大回路１０２１から出力された信号とノイズ抑圧回路１０１０から出力された信号を色毎に合成する。

さらに、拡大回路１０２３は、画像合成回路１０２２から出力された信号に対してアップサンプリング処理を行い、画像合成回路１０２２から出力された信号の画素数を、ノイズ抑圧回路１００５から出力された信号の画素数と等しくする。画像合成回路１０２４は、合成率算出回路１００６で求められた合成率を用いて、図２の画像合成回路２１１と同様の方法で、拡大回路１０２３から出力された信号とノイズ抑圧回路１００５から出力された信号を色毎に合成する。

つまり、ＬＰＦ１００３、１００８、１０１３、および、ＤＳ回路１００７、１０１２、１０１７における処理が図３のステップＳ３０３に相当し、ノイズ抑圧回路１００５、１０１０、１０１５、１０１８における処理が図３のステップＳ３０４に相当する。また、合成率算出回路１００６、１０１１、１０１６の処理が図３のステップＳ３０５に相当し、拡大回路１０１９、１０２１、１０２３、および、画像合成回路１０２０、１０２２、１０２４における処理が図３のステップＳ３０６に相当する。

そして、画像合成回路１０２４から出力された画像信号はサンプリング回路２０３において、ベイヤー配列に従ってＧ信号、Ｒ信号、および、Ｂ信号がサンプリングされ、サンプリングされた画像信号が輝度色生成回路２０４に入力される。

以上のように、帯域処理回路を、元の画像信号を周波数帯域が重ならない複数の周波数成分に分離してノイズ抑圧処理を行う構成としても、第１の実施形態と同様の効果を得ることが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では、画像処理回路１０５から出力する画像信号のサイズを変更する（リサイズする）ことが可能であり、この出力する画像信号のサイズに応じて、輝度信号Ｙの生成方法を異ならせる点で、第１の実施形態と異なる。

図１１は、画像処理回路１０５の別の概略構成の一部を示す図である。図１１のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。本実施形態の画像処理回路１０５は、ホワイトバランス回路２０１、帯域処理回路１１０１、サンプリング回路１１０２、および、輝度色生成回路１１０３を含む。

帯域処理回路１１０１は、図２の同時化回路２０５に代えて、同時化／縮小回路１１０４を備えている。第１、第２の実施形態では、画像処理回路１０５は入力される画像信号と出力する画像信号の画素数は同じであった。これに対し、本実施形態では、同時化／縮小回路１１０４によって、画像処理回路１０５から出力する画像信号の画素数を、画像処理回路１０５に入力される画像信号の画素数よりも小さくすることができる。ユーザーは操作部材１１０を用いて、出力する画像信号のサイズを指定することができ、制御回路１０６は、ユーザーの指定したサイズに応じて、画像処理回路１０５から出力される画像信号のサイズを変更するよう、同時化／縮小回路１１０４に指示を出す。

また、サンプリング回路１１０２は、同時化／縮小回路１１０４の動作に応じて、画像合成回路２１１から出力された画像信号から、ベイヤー配列に従ってＧ信号、Ｒ信号、および、Ｂ信号をサンプリングする再ベイヤー化の処理を行うか否かを切り替える。

また、輝度色生成回路１１０３は、第３輝度信号生成回路１１０５を備えるともに、図２の輝度混合回路２１４に代えて、輝度混合回路１１０６を備えている。この輝度色生成回路１１０３は、同時化／縮小回路１１０４の動作に応じて、輝度信号Ｙの生成方法を切り替える。

図１２は、画像処理回路１０５のホワイトバランス回路２０１、帯域処理回路１１０１、サンプリング回路１１０２、および、輝度色生成回路１１０３における処理内容を説明するためのフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、この図１２のフローチャートに示す処理を行う。なお、図１２のフローチャートのうち、図３と同じ処理を行う工程には、図２と同じステップ番号を付与している。

ステップＳ３０１において、ホワイトバランス回路２０１が、Ａ／Ｄ変換器１０４から受け取った画像信号に対して、ホワイトバランス処理を行う。

ステップＳ１２０１において、同時化／縮小回路１１０４は、制御回路１０６から指示された画像信号のサイズに応じて、ホワイトバランス回路２０１から出力された画像信号から縮小画像信号を生成する。

ステップＳ１２０２において、同時化／縮小回路１１０４が、制御回路１０６から指示されている画像信号のサイズの、画像処理回路１０５に入力されるＲＡＷ形式の画像信号のサイズに対する比が、閾値以下であるか否かを判定する。本実施形態では、ベイヤー配列の撮像素子１０２から得られた画像信号を用いているため、閾値として１／２が設定されている。同時化／縮小回路１１０４は、制御回路１０６から指示されている画像信号のサイズが、画像処理回路１０５に入力される画像信号のサイズの１／２以下であれば、ステップＳ１２０２に進む。

なお、画像信号のサイズが１／２であるとは、画像信号の縦および横の画素数がともに１／２であることを示す。縮小画像信号の、画像処理回路１０５に入力される画像信号に対するサイズの比が、１／２以下であれば、色毎の画像信号に分離した場合であっても、各色の画像信号において信号の値が０となる画素が生じないため、折り返し信号を抑えることができる。

ステップＳ１２０３において、縮小回路２０８が、同時化／縮小回路１１０４から出力された縮小画像信号を受け取り、図３のステップＳ３０３と同様の方法で、この縮小画像信号から低域階層画像信号を生成する。

ステップＳ１２０４において、ノイズ抑圧回路２０６が同時化／縮小回路１１０４から出力された画像信号、すなわち高域階層画像信号に対して、図３のステップＳ３０４と同様の方法で、ノイズ抑圧処理を行う。

ステップＳ１２０５において、合成率算出回路２０７が、図３のステップＳ３０５と同様の方法で、高域階層画像信号と低域階層画像信号の合成率を算出する。

ステップＳ１２０６において、画像合成回路２１１が、図３のステップＳ３０６と同様の方法で、高域階層画像信号と低域階層画像信号を合成し、新たなＧ信号、Ｒ信号、および、Ｂ信号のそれぞれで構成された画像信号を得る。この画像合成回路２１１で生成された画像信号はサンプリング回路１１０２に入力される。

ここで、サンプリング回路１１０２は、縮小画像信号のサイズが、画像処理回路１０５に入力される画像信号のサイズの１／２以下である場合は、サンプリングを行うことなく、画像信号をそのまま第３輝度信号生成回路１１０５へ出力する。

ステップＳ１２０７において、第３輝度信号生成回路１１０５が、第１の実施形態における式（２１）を用いて、輝度信号Ｙを生成する。第３輝度信号生成回路１１０５に入力される画像信号はすでに同時化されているため、第３輝度信号生成回路１１０５は、第１輝度信号生成回路２１２と異なり、同時化処理を行う必要はない。

そして、輝度混合回路１１０６が、この第３輝度信号生成回路１１０５で生成された輝度信号を、そのまま輝度信号Ｙとして出力する。

ステップＳ１２０８において、色生成回路２１５が、図３のステップＳ３１１と同様の方法で、色差信号Ｕ、Ｖを生成し、出力する。

このように、縮小画像信号のサイズの、画像処理回路１０５に入力される画像信号のサイズに対する比が１／２以下である場合は、同時化／縮小回路１１０４から出力される縮小画像信号が、折り返し信号の影響を抑えた同時化された画像信号となっている。つまり、この縮小画像信号を周波数帯域の異なる複数の画像信号に分離し、それらを合成したとしても、折り返し信号の影響が増えるわけではない。したがって、第３輝度信号生成回路１１０５が画像合成回路２１１から出力された画像信号から輝度信号Ｙを生成すれば、生成方法の異なる複数の輝度信号を混合せずとも、折り返し信号の影響を抑えた輝度信号を得ることができる。

よって、サンプリング回路１１０２は、縮小画像信号のサイズが、画像処理回路１０５に入力される画像信号のサイズの１／２以下である場合は、サンプリングを行うことなく、入力された画像信号をそのまま第３輝度信号生成回路１１０５に出力している。

ここで、ステップＳ１２０２に戻り、縮小画像信号のサイズが、画像処理回路１０５に入力される画像信号のサイズの１／２以下でない場合は、同時化／縮小回路１１０４はステップＳ３０２に進む。

そして、このデジタルカメラは、ステップＳ３０２乃至ステップＳ３１１において、図３と同様の処理を行う。このとき、同時化／縮小回路１１０４は図２の同時化回路２０５と、サンプリング回路１１０２は図２のサンプリング回路２０３と、輝度混合回路１１０６は図２の輝度混合回路２１４と、それぞれ同様の処理を行う。

以上のように、本実施形態のデジタルカメラは、画像処理回路１０５において、画像信号が折り返し信号の影響が抑えられるサイズに縮小されるのであれば、生成方法の異なる複数の輝度信号を合成する処理を行わないようにしている。このようにすることで、必要とされるときのみ折り返し信号の抑圧処理を行うことになるため、デジタルカメラの処理負荷を軽減することが可能となる。

なお、ユーザーが操作部材１１０を用いて出力する画像信号のサイズを指示する例をあげて説明を行ったが、これに限られるものではない。動画撮影における画像信号のサイズが、ＲＡＷ形式の静止画撮影における画像信号のサイズの１／２以下となる構成であるならば、動画撮影であることを条件として、自動的にステップＳ１２０１からステップＳ１２０２に進むようにしても構わない。

もちろん、画像処理回路１０５におけるノイズ抑圧処理を実現するための構成として、図１０に示すように、元の画像信号を周波数帯域が重ならない複数の周波数成分に分離する構成を採用することも可能である。

なお、上述した各実施形態では、元の画像信号を縮小することで低域階層画像信号を生成していたが、画像信号を縮小せずに、元の画像信号にＬＰＦ処理を施すことで低域階層画像信号を生成するようにしてもよい。

また、いずれの実施形態においても、説明を容易にするため、処理内容ごとに別の回路を設けた図面を用いて説明を行ったが、これら複数の回路を１つの回路にまとめたり、あるいは、１つの回路における処理を複数の回路で分担して行うように構成してもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ ホワイトバランス部
２０２、１００１、１１０１ 帯域処理回路
２０３、１１０２ サンプリング回路
２０４、１１０３ 輝度色生成回路
２０５、１００２、１１０４ 同時化回路
２０６、２０９、１００５、１０１０、１０１５、１０１８ ノイズ抑圧回路
２０７、１００６、１０１１、１０１６ 合成率算出回路
２０８ 縮小回路
２１０、１０１９、１０２１、１０２３ 拡大回路
２１１、１０２０、１０２２、１０２４ 画像合成回路
２１２、１１０５ 第１輝度信号生成回路
２１３ 第２輝度信号生成回路
２１４、１１０６ 輝度混合回路
２１５ 色生成回路
１００３、１００８、１０１３ ローパスフィルタ（ＬＰＦ）
１００４、１００９、１０１４ ハイパスフィルタ（ＨＰＦ）
１００７、１０１２、１０１７ ダウンサンプリング（ＤＳ）回路

Claims (11)

1. 複数の色に対応する色信号が配列された画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、
   前記生成手段で生成された前記複数の画像信号を合成する合成手段と、
   前記合成手段で合成されて得られた画像信号から、それぞれの色に対応する色信号を、前記配列に沿ってサンプリングして色毎の画像信号を生成するサンプリング手段と、
   前記サンプリング手段でサンプリングされた色毎の画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、
   前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、
   前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力する輝度混合手段と、を有することを特徴とする画像処理装置。
2. 前記生成手段は、入力された画像信号よりも周波数帯域の低い画像信号を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段にて生成された周波数帯域の異なる複数の画像信号のそれぞれに対して、ノイズ抑圧処理を行うノイズ抑圧手段を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１輝度信号生成手段および前記第２輝度信号生成手段は、ベイヤー配列の撮像素子で生成された赤、緑、および、青の色信号で構成された画像信号が入力され、
   前記第１の色信号が緑の色信号であることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記複数の色に対応する色信号が配列された画像信号を縮小して縮小画像信号を生成する縮小手段と、
   前記合成手段で合成されて得られた画像信号を用いて第３輝度信号を生成する第３輝度信号生成手段を有し、
   前記生成手段は、前記縮小手段にて前記縮小画像信号が生成された場合には、前記縮小画像信号から周波数帯域の異なる複数の画像信号を生成し、
   前記輝度混合手段は、前記複数の色に対応する色信号が配列された画像信号に対する前記縮小画像信号のサイズの比が閾値以下である場合には、前記第３輝度信号を出力することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記サンプリング手段は、前記複数の色に対応する色信号が配列された画像信号に対する前記縮小画像信号のサイズの比が閾値以下である場合には、前記合成手段で合成されて得られた画像信号からサンプリングを行わないことを特徴とする請求項５に記載の画像処理装置。
7. 複数の色に対応する色信号が配列された画像信号を縮小して縮小画像信号を生成する縮小手段と、
   前記縮小画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成手段と、
   前記生成手段で生成された前記複数の画像信号を合成する合成手段と、
   前記合成手段にて合成された画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成手段と、
   前記合成手段にて合成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成手段と、
   前記合成手段で合成されて得られた画像信号を用いて第３輝度信号を生成する第３輝度信号生成手段を有し、
   前記複数の色に対応する色信号が配列された画像信号に対する前記縮小画像信号のサイズの比が閾値より大きい場合には、前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力し、前記比が閾値以下である場合には、前記第３輝度信号を出力する輝度混合手段と、を有することを特徴とする画像処理装置。
8. 複数の色に対応する色信号が配列された画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、
   前記生成工程で生成された前記複数の画像信号を合成する合成工程と、
   前記合成工程で合成されて得られた画像信号から、それぞれの色に対応する色信号を、前記配列に沿ってサンプリングして色毎の画像信号を生成するサンプリング工程と、
   前記サンプリング工程でサンプリングされた色毎の画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、
   前記第１の色信号を含む複数の色信号で構成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、
   前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力する輝度混合工程と、を有することを特徴とする画像処理方法。
9. 複数の色に対応する色信号が配列された画像信号を縮小して縮小画像信号を生成する縮小工程と、
   前記縮小画像信号が入力され、前記画像信号から、周波数帯域の異なる複数の画像信号を生成する生成工程と、
   前記生成工程で生成された前記複数の画像信号を合成する合成工程と、
   前記合成工程にて合成された画像信号が入力され、入力された画像信号のうちの第１の色信号に応じていない画素に対して、前記第１の色信号を補間することで得られる画像信号を用いて第１輝度信号を生成する第１輝度信号生成工程と、
   前記合成工程にて合成された画像信号が入力され、前記複数の色信号を区別することなく、前記複数の色信号を用いて第２輝度信号を生成する第２輝度信号生成工程と、
   前記合成工程で合成されて得られた画像信号を用いて第３輝度信号を生成する第３輝度信号生成工程を有し、
   前記複数の色に対応する色信号が配列された画像信号に対する前記縮小画像信号のサイズの比が閾値より大きい場合には、前記第１輝度信号と前記第２輝度信号を合成した輝度信号、あるいは、いずれかを選択した輝度信号を生成して出力し、前記比が閾値以下である場合には、前記第３輝度信号を出力する輝度混合工程と、を有することを特徴とする画像処理装置。
10. 請求項８または９に記載の画像処理方法をコンピュータに実行させるために前記コンピュータが読み出すことが可能なプログラム。
11. 請求項１０に記載のプログラムを記憶した記憶媒体。

Images