JP6415094B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理に関し、特にカラー画像信号において各画素で欠落しているカラー信号を補間するデモザイキングする技術に関する。

従来、ＣＣＤやＣＭＯＳセンサを用いた単板の撮像素子においては、図１７に示されるようなベイヤー配列のカラーフィルタが用いられている。この場合、カラーフィルタとしては、一般に、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３原色、又はＣｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗの３つの補色のフィルタが用いられている。

しかし、ベイヤー配列では、各画素において１色に対応する信号しか得られないので、各画素において欠落している他の２色のカラー信号をデモザイキング（補間）する処理が行われる。このデモザイキング法としては、従来、多数の方法が知られており、基本的なデモザイキング法として、バイリニアやバイキュービック補間がある。

バイリニアやバイキュービック補間では、低周波成分を多く含む画像などにおいては良好な補間結果が得られるが、高周波成分を含む画像には偽解像や偽色（色モアレ）と呼ばれる実際の被写体には存在しない線や色を発生させてしまう。これらの偽解像や偽色は、被写体像が本来持つエッジ方向とは異なる方向の画素を用いてデモザイキングすることにより発生するものである。

そこで、被写体像が本来有しているエッジ方向に沿った画素を用いてデモザイキングすることで偽解像や偽色の発生を十分に抑制する方法が提案されている。このエッジ方向に沿った画素を用いるデモザイキング法は、２つの方法に大別でき、特許文献１ではエッジ方向を周囲の画素を使用して判別し、エッジを跨ぐような補間をせずエッジに沿うように補間する方法が提案されている。

また、特許文献１では、まず方向毎に補間を行い数種類の補間結果を生成し、その後どの方向で補間した結果が適切か判定し選択する補間方法が提案されている。補間方向の適切性の判断においては、周辺類似度という補間対象画素を含めた周辺画素からその近辺の均質性を示す評価値を導入し、均質性の高い方向がエッジの方向として判定して選択する補間方法が提案されている。

特開２００８−０３５４７０号公報

しかしながら、特許文献１の方法は、撮像センサの画素ピッチと被写体の細かなピッチが一致するような解像限界付近では、均質性を示す評価値が適切に得られない場合があるため、適切な補間方向を選択することができずに偽解像が発生することが懸念される。

本発明は、このような技術的な背景の下になされたもので、その目的は、画像信号に対するデモザイキング処理を高精度に行えるようにすることにある。

上記目的を達成するため、本発明に係る画像処理装置は、画素ごとに複数のカラーフィルタのいずれかの色に対応した画像信号を出力する撮像素子によって生成されたモザイク画像信号に対し、複数の規定方向でそれぞれ補間処理を行う補間手段と、補間手段により補間処理が行われた画像信号の画素ごとに、各規定方向における相関を示す評価値を得る評価手段と、注目画素が孤立点であること、および、注目画素の評価値と周辺画素の評価値において、複数の規定方向のいずれの方向においても相関性がないことを含む所定の条件を満たす場合に、周辺画素の評価値に基づいて注目画素の評価値を補正し、補正された評価値に基づいて注目画素の補間後の画像信号を出力する出力手段を有することを特徴とする。

本発明によれば、モザイク画像信号に対するデモザイキング処理において、偽解像の発生を低減させた良好な画像を生成することが可能になる。

第１、第２の実施の形態に係る撮像装置の概略構成を示すブロック図である。 第１、第２の実施の形態に係る撮像装置のデモザイキング部の構成を示すブロック図である。 図２のデモザイキング部のＨ方向補間部、及びＶ方向補間部の構成を示すブロック図である。 方向別補間処理を説明するためのベイヤー配列の画素配置構成を示す図である。 評価値算出処理を示すフローチャートである。 評価値算出処理を説明するための３×３画素領域を示す図である。 注目画素がＨ方向評価値−Ｖ方向評価値＞０の場合における孤立点判定処理を示すフローチャートである。 注目画素がＨ方向評価値−Ｖ方向評価値＜０の場合における孤立点判定処理を示すフローチャートである。 第１の実施形態におけるＨ方向評価値を扱う相関性判定処理を示すフローチャートである。 Ｈ方向評価値を扱う相関性判定処理の説明するための図である。 孤立点補正処理を示すフローチャートである。 孤立点補正処理における補正の一例を説明するための図である。 画像生成処理を示すフローチャートである。 第２の実施形態におけるＨ方向評価値を扱う相関性判定処理を示すフローチャートである。 第２の実施形態におけるＶ方向評価値を扱う相関性判定処理を示すフローチャートである。 テンプレートマップの一例を示す図である。 ベイヤー配列の画素配置構成を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施の形態に係る画像処理装置の概略構成を示すブロック図である。ここでは、画像処理装置としてデジタルカメラやデジタルビデオカメラといった撮像装置を例にあげて説明を行う。

被写体を反映した光学像（被写体像）は、撮影レンズ１０１を介して撮像素子１０２上に結像されて光電変換される。

撮像素子１０２は、一般的な３原色カラーフィルタを備える単板の撮像素子として構成されている。この３原色カラーフィルタは、それぞれ６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３原色カラーフィルタからなり、これら３原色の各バンドに対応するカラープレーンを生成する。

単板カラー撮像素子では、これら複数の色に対応するカラーフィルタを図１７のように画素毎に空間的に配列し、各画素では各々単一のカラープレーンにおける光強度を得ることしかできない。このため、撮像素子１０２からは、モザイク画像信号、すなわち、各画素において３原色の内の２色が欠落した画像信号が出力される。Ａ／Ｄ変換部１０３は、撮像素子１０２からアナログ電圧として出力されるモザイク画像信号をカラーのデジタル画像データに変換する。

ホワイトバランス部１０４は、ホワイトバランス処理を行う。具体的には、白くあるべき領域のＲ、Ｇ、Ｂが等色になるようにＲ、Ｇ、Ｂの各色にゲインをかける。

デモザイキング部１０５は、各画素において欠落している３原色の内の２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂのカラー画像データが揃ったカラー画像を生成する。

各画素のカラー画像データは、マトリクス変換部１０６でマトリクス変換処理が施され、ガンマ変換部１０７でガンマ補正処理が施されて、基本的なカラー画像データが生成される。

そして、この基本的なカラー画像データに対して、色調整部１０８で画像の見栄えを改善するための処理が各種の処理が施される。例えば、色調整部１０８は、ノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。圧縮部１０９は、色調整されたカラー画像データをＪＰＥＧ等の方法で圧縮し、記録時のデータサイズを小さくする。

これら撮像素子１０２から圧縮部１０９までの各デバイスの処理動作は、制御部１１１により、バス１１３を介して制御される。この制御を行う際、制御部１１１は、メモリ１１２を適宜利用する。圧縮部１０９により圧縮されたデジタル画像データは、制御部１１１の制御の下に記録部１１０によりフラッシュメモリ等の記録媒体に記録される。

次に、デモザイキング部１０５でのデモザイキング処理を図２に基づいて説明する。デモザイキング部１０５では、まず注目画素に対してその周辺の画素を用いて、複数の規定方向のそれぞれで補間を行い、その後、方向選択を行うことで、各画素について補間処理結果としてＲ、Ｇ、Ｂの３原色のカラー画像信号を生成する。

具体的には、入力されたベイヤー画像データ２０１に対し、Ｈ方向補間部２０２、Ｖ方向補間部２０３により、それぞれ、Ｈ（水平）方向、Ｖ（垂直）方向で欠落色の画素データを補間することで各画素のＨ方向及びＶ方向のＲ、Ｇ、Ｂ画像データを生成する。次に、各画素の水平方向、垂直方向の補間処理後の各画素のＲ、Ｇ、Ｂ画像データについて、それぞれ、Ｈ方向分散度算出部２０４、Ｖ方向分散度算出部２０５により画素毎に分散度を算出する。

そして、評価値算出部２０６により、水平方向、垂直方向それぞれの分散度から方向の評価値を算出する。評価値算出部２０６の出力結果に基づいて孤立点判定部２０７により、画素毎に評価値の孤立点判定を行う。孤立点判定を行った後、相関性判定部２０８により、評価値の相関性判定処理を行い、孤立点補正部２０９により、評価値の孤立点判定と相関性判定した結果を用いて、孤立点の補正を行う。

画像生成部２１０は、水平方向の最終的な評価値と、垂直方向の最終的な評価値を比較し、水平方向又は垂直方向のうち評価値の高い方向を選択する。そして、画像生成部２１０は、選択した方向に係る補間処理後のＲ、Ｇ、Ｂ画像データに基づいて最終的な補間画像データを生成し、補間後のＲＧＢ画像データ２１１、すなわち、デモザイキングデータとして出力する。

ここで、Ｈ方向補間部２０２、Ｖ方向補間部２０３における方向別の補間処理を、図３に基づいて説明する。図３に示したように、Ｈ方向補間部２０２は、Ｈ方向Ｇ補間部２０２ａ、Ｈ方向ＲＢ補間部２０２ｂを有し、Ｖ方向補間部２０３は、Ｖ方向Ｇ補間部２０３ａ、Ｖ方向ＲＢ補間部２０３ｂを有している。Ｈ方向補間部２０２では、Ｈ方向Ｇ補間部２０２ａにより、まず、周波数帯域の高いＧ信号（データ）を補間し、次に、Ｈ方向ＲＢ補間部２０２ｂにより、Ｒ、Ｂデータを補間する。同様に、Ｖ方向補間部２０３では、Ｖ方向Ｇ補間部２０３ａにより、まず、周波数帯域の高いＧデータを補間し、次に、Ｖ方向ＲＢ補間部２０３ｂにより、Ｒ、Ｂデータを補間する。

次に、具体的な補間の方法を図４に基づいて説明する。Ｇ色を補間する場合、注目画素がＧ色のフィルタに係る画素であれば、当該画素のＧデータをそのまま出力する（数式１）。Ｒ色のフィルタに係る画素、及びＢ色のフィルタに係る画素について、Ｇ色を補間する場合は、Ｈ方向においては数式２を、Ｖ方向においては数式３を用いて補間データを算出する。なお、数式１、２、３におけるＧ３３、Ｇ３４、Ｇ４３、Ｇ４４は、図４に便宜的に示した画素符号に対応している。例えば、Ｇ３３は図４のＲ３３のデータを有する画素における補間後のＧデータを示し、Ｇ４４は図４のＢ４４のデータを有する画素における補間後のＧデータを示す。

Ｒ色を補間する場合は、注目画素がＲ色フィルタに係る画素であれば、当該画素のＲデータをそのまま出力する（数式４）。Ｇ色のフィルタに係る画素について、Ｒ色を補間する場合は、数式５を用いて補間データを算出する。Ｂ色のフィルタに画素について、Ｒ色を補間する場合は、数式６を用いて補間データを算出する。Ｒ色を補間する場合は、Ｈ方向とＶ方向とで同じ数式を用いる。

Ｂ色の補間は、Ｒ色を補間する場合と同様の手法を用いる。

次に、評価値算出処理を図５のフローチャートに基づいて説明する。

図２のＨ方向分散度算出部２０４は、各画素について欠落した色を補間した図３のＨ方向ＲＧＢ画像データ２０２ｃを、所定の色空間の色信号（値）に変換する（Ｓ５０１）。本実施の形態では、均質性を表す尺度として色差の分散度を算出するために、Ｇ、Ｒ−Ｇ、Ｂ−Ｇ色空間を使用する。ここで、Ｇ、Ｒ−Ｇ、Ｂ−Ｇ色空間ではなくＬ＊ａ＊ｂ＊均等色空間を用いても良いが、Ｌ＊ａ＊ｂ＊値への変換処理は計算量が多いため、Ｌ＊の代わりにＧ信号をそのまま用い、ａ＊、ｂ＊の代わりにＲ−Ｇ、Ｂ−Ｇを色差信号としている。

次に、Ｈ方向分散度算出部２０４は、Ｇ、Ｒ−Ｇ、Ｂ−Ｇ信号に対してそれぞれ分散度を算出する（Ｓ５０２）。ここで、注目画素を中心とした３×３領域の画素を用いて算出する。本実施の形態では３×３領域の画素を用いるが、５×５、７×７領域の画素でも良くこの限りではない。また、注目画素と隣接する８画素の計９画素を用いて分散を算出するのではなく、図６のように、Ｈ方向に並んだｈ１１〜ｈ１３、ｈ２１〜ｈ２３、ｈ３１〜ｈ３３の各々３画素を用いて、３つの分散を算出する。なお、Ｇの３つの分散をσ_Ｇ１ ^２、σ_Ｇ２ ^２、σ_Ｇ３ ^２とし、それらの中で最も大きい分散値σ_Ｇｈ ^２をＧの分散値とする。Ｒ−Ｇ信号、Ｂ−Ｇ信号についてもＧ信号の分散度算出と同様の処理を行い、Ｒ−Ｇの分散値σ_Ｒ−Ｇｈ ^２とＢ−Ｇの分散値σ_Ｂ−Ｇｈ ^２を求める。

Ｖ方向分散度算出部２０５は、Ｖ方向に並んだｈ１１〜ｈ３１、ｈ１２〜ｈ３２、ｈ１３〜ｈ３３の各々３画素を用いて、Ｈ方向と同様に、Ｇの分散値σ_Ｇｖ ^２、Ｒ−Ｇの分散値σ_Ｒ−Ｇｖ ^２およびＢ−Ｇの分散値σ_Ｂ−Ｇｖ ^２を求める（Ｓ５０４〜Ｓ５０６）。

評価値算出部２０６は、各方向の評価値を算出する。Ｈ方向による分散度を下記の数式７により算出する（Ｓ５０７）。Ｖ方向分散度算出部２０５は、Ｈ方向と同様に数式８によりＶ方向による分散度を算出する。

Ｈ方向分散度算出部２０４、評価値算出部２０６は、図３のＨ方向のＲＧＢ画像データ２０２ｃの全画素について、Ｓ５０１〜Ｓ５０３の処理を全画素について行う。また、Ｖ分散度算出部２０５、評価値算出部２０６は、図３のＶ方向のＲＧＢ画像データ２０３ｃの全画素について、Ｓ５０４〜Ｓ５０６の処理を全画素について行う。

次に、評価値算出部２０６は、Ｈ方向とＶ方向による評価値を下記の数式９により算出する。

ここで、Ｃｈ、Ｃｖは、分散度による評価値を表す。なお、Ａは正の定数である。

以上の処理により、画素毎に評価値ＣｈもしくはＣｖが算出され、結果として評価値の２次元プレーンが生成される（Ｓ５０７）。

次に、孤立点判定処理を図７のフローチャートに基づいて説明する。

孤立点判定部２０７は、評価値算出部２０６で算出された各方向の評価値に基づいて評価値の孤立点判定を行う。以下より、注目画素がＨ方向評価値−Ｖ方向評価値＞０の場合の孤立点判定処理について説明する。孤立点判定部２０７は、注目画素を含めた周辺画素の中で画素毎にＨ方向評価値−Ｖ方向評価値を算出する（Ｓ７０１）。ここで、注目画素を中心とした３×３領域の画素を用いて上記を算出する。本実施の形態では３×３領域を用いるが、この限りではなく、５×５、７×７領域の画素でも良い。算出結果から、注目画素がＨ方向評価値−Ｖ方向評価値＞０であるならば、その注目画素の周辺画素の中で、Ｈ方向評価値−Ｖ方向評価値＜０である画素の数をカウントする（Ｓ７０２）。そのカウント回数をＶｎｕｍとし、Ｖｎｕｍが所定のしきい値以上か否かを判別する（Ｓ７０３）。その結果、Ｖｎｕｍが所定のしきい値以上であれば、注目画素が孤立点であると判定する（Ｓ７０４）。孤立点判定部２０７は、Ｓ７０１〜Ｓ７０４の処理を全画素について行う。また、図８に示すように、孤立点判定部２０７は、注目画素がＨ方向評価値−Ｖ方向評価値＜０の場合においては、図８のように、周辺画素の中でＨ方向評価値−Ｖ方向評価値＞０である画素の数をカウントする（Ｓ８０１〜Ｓ８０３）。そのカウントした結果であるＨｎｕｍが所定のしきい値以上であれば、注目画素が孤立点であると判定する（Ｓ８０４）。

次に、相関性判定処理を図９のフローチャートに基づいて説明する。相関性判定部２０８は、孤立点判定処理の後、各方向の評価値に基づいて評価値の相関性判定処理を行う。

相関性判定部２０８は、図１０に示すように、注目画素を含めた周辺画素の中で水平方向を走査し、画素毎にＨ方向評価値−Ｖ方向評価値を算出する（Ｓ９０１）。本実施の形態では水平方向５画素を用いるが、この限りではなく、７画素や９画素でも良い。算出結果から、Ｈ方向評価値−Ｖ方向評価値＞０の画素が連続するときの回数をカウントする（Ｓ９０２）。そのカウント回数をＨｆｎｕｍとし、Ｈｆｎｕｍが所定のしきい値以上か否かを判別する（Ｓ９０３）。その結果、Ｈｆｎｕｍが所定のしきい値以上であれば、注目画素水平方向に相関性があると判定する（Ｓ９０４）。

本実施の形態では、画素値が正で連続するときの回数をカウントして相関性を判定しているが、評価値の分散度を算出し、分散度が所定のしきい値以下であれば相関性があると判定をしても良い。相関性判定部２０８は、このＳ９０１〜Ｓ９０４の処理を全画素について行う。

同様に、相関性判定部２０８は、注目画素を含めた周辺画素の中で垂直方向を走査し、画素毎にＨ方向評価値−Ｖ方向評価値を算出する（Ｓ９０５）。算出結果から、Ｈ方向評価値−Ｖ方向評価値＞０の画素が連続するときの回数をカウントする（Ｓ９０６）。そのカウント回数をＶｆｎｕｍとし、Ｖｆｎｕｍが所定のしきい値以上か否かを判別する（Ｓ９０７）。その結果、Ｖｆｎｕｍが所定のしきい値以上であれば、注目画素垂直方向に相関性があると判定する（Ｓ９０８）。相関性判定部２０８は、このＳ９０５〜Ｓ９０８の処理を全画素について行う。なお、本実施の形態では水平方向と垂直方向の相関性をそれぞれ判定しているが、斜め方向の相関性を判定しても良い。

相関性判定部２０８は、Ｓ９０１、Ｓ９０２、Ｓ９０５およびＳ９０６の処理のＨ方向評価値とＶ方向評価値を入れ替えて、さらに図９に示す処理を全画素について行う。

次に、孤立点補正処理を図１１のフローチャートに基づいて説明する。

孤立点補正部２０９は、各方向の評価値の孤立点判定と相関性判定した結果を用いて、孤立点の補正を行う。

孤立点補正部２０９は、まず、注目画素が、孤立点判定部２０７よって孤立点であると判定されており、かつ、相関性判定部２０８によって相関性があると判定されていないかを判別する（Ｓ１１０１）。その結果、上記を満たすのであれば、孤立点補正部２１１は、孤立点判定部２０７において周辺画素の中で孤立点判定されていない画素の評価値の中央値を求め、注目画素の評価値とする（Ｓ１１０２）。図１２は評価値算出の例を示している。例では、注目画素ｈ２２の評価値は、孤立点であると判定されていない画素であるｈ１１、ｈ１２、ｈ２１、ｈ２３、ｈ３３の評価値を用いて求められる。これらの評価値はｈ１１＝１、ｈ１２＝２、ｈ２１＝３、ｈ２３＝４、ｈ３３＝５であるから、中央値は３となる。本実施の形態では中央値を補正結果としているが、平均値や重み付きフィルタ処理を用いても良い。また、孤立点補正部２０９は、Ｈ方向評価値と同様に、Ｖ方向評価値についても、Ｓ１１０１〜Ｓ１１０２の処理と同様の処理を全画素について行う。

そして、画像生成部２１０は、この孤立点補正部２０９により算出される評価値を基に、水平方向補間、垂直方向補間の何れかを選択する。これにより、画像生成部２１０は、全画素においてそれぞれＲ、Ｇ、Ｂの色成分の画像データが存在する最終的なＲＧＢ補間画像データを生成して、補間後ＲＧＢ画像データ２１１（デモザイキングデータ）として出力する。

次に、具体的な補間画像生成の方法について、図１３を用いて説明する。

画像生成部２１０は、各画素について、まず、Ｈ方向の補間に対する評価値ＣｈとＶ方向の補間に対する評価値Ｃｖを比較し、評価値Ｃｈ＞評価値Ｃｖであるか否かを判別する（Ｓ１３０１）。その結果、評価値Ｃｈ＞評価値Ｃｖであれば、画像生成部２１０は、Ｈ方向の補間に係るＲ、Ｇ、Ｂ補間データを選択し（Ｓ１３０２）、補間後ＲＧＢ画像データ２１１として出力する。評価値Ｃｈ＞評価値Ｃｖでなければ、次に、評価値Ｃｖ＞評価値Ｃｈであるか否かを判別する（Ｓ１３０３）。その結果、評価値Ｃｖ＞評価値Ｃｈであれば、画像生成部２１０は、Ｖ方向の補間に係るＲ、Ｇ、Ｂ補間データを選択し（Ｓ１３０４）、補間後ＲＧＢ画像データ２１１として出力する。一方、評価値Ｃｖ＞評価値Ｃｈでなければ、画像生成部２１０は、Ｈ方向とＶ方向の補間に係る各Ｒ、Ｇ、Ｂ補間データを、Ｒ、Ｇ、Ｂの色、それぞれにおいて平均値を算出し、（Ｓ１３０５）、算出結果を補間後ＲＧＢ画像データ２１１として出力する。

本実施の形態では、Ｈ方向評価値とＶ方向評価値の大小で判定を行い、Ｈ方向補間の補間データ、Ｖ方向補間の補間データ、Ｈ方向とＶ方向の補間の平均値のいずれかを選択し、補間後ＲＧＢ画像データとして出力しているが、これに限られるものではない。例えば、Ｈ方向評価値とＶ方向評価値の差分が閾値以上であるか否かを判定する構成としてもよい。具体的には、評価値Ｃｈ−評価値Ｃｖ＞閾値Ａであれば、Ｈ方向補間の補間データを選択し、評価値Ｃｖ−評価値Ｃｈ＞閾値Ａであれば、Ｖ方向補間の補間データを選択するようにしてもよい。この場合、上記２つの条件以外であれば、Ｈ方向評価値とＶ方向評価値に基づいた加重加算の算出結果を補間後ＲＧＢ画像データとして出力すればよい。

このように、第１の実施の形態では、偽解像が発生する箇所の判定手段として、該画素における周辺画素の評価値の相関性を用いている。また、評価値の相関性がない場合においては、該画素の周辺画素を用いて該画素の評価値の補正を行う。このため、評価値の誤算出により発生する偽解像をより適切に補正することができる。

（第２の実施形態）
第１の実施形態では、相関性判定部２０８において、注目画素を含めた周辺画素の中で、各方向の評価値の大小関係が連続しているか否かで相関性の判定を行っていた。これに対し、第２の実施の形態では、予め用意されたテンプレートマップを用いて相関性の判定を行う構成としている。

以下、本発明の第２の実施形態について、第１の実施形態と異なる点を中心に説明する。

本実施形態における撮像装置とデモザイキング部の信号ユニットの構成は、第１の実施形態において図１、２を参照して説明したものと同様であるため、ユニット毎の説明は省略する。第２の実施形態の処理の流れは、相関性判定処理を除いて、第１の実施形態と同様である。

本実施形態に係る相関性判定処理を図１４のフローチャートに基づいて説明する。相関性判定部２０８は、孤立点判定処理の後、各方向の評価値に基づいて評価値の相関性判定処理を行う。相関性判定部２０８は、まず、注目画素を含めた周辺画素の中で、画素毎にＨ方向評価値−Ｖ方向評価値の値を算出する（Ｓ１４０１）。次に、算出結果から、Ｈ方向評価値−Ｖ方向評価値＞０であるか否かを判別する（Ｓ１４０２）。本実施の形態では５×５領域を用いるが、３×３、７×７でも良くこの限りではない。
その結果、Ｈ方向評価値−Ｖ方向評価値＞０であれば、相関性判定部２０８は、走査画素をＨ方向画素と判定し、ｈｄｅｔ＝１とする（Ｓ１４０３）。一方、Ｈ方向評価値−Ｖ方向評価値≦０であれば、相関性判定部２０８は、走査画素をＨ方向画素と判定せず、ｈｄｅｔ＝０とする（Ｓ１４０４）。相関性判定部２０８は、各画素のｈｄｅｔ値と予めメモリ１１２に記憶されている所定のテンプレートマップを用いて、５×５の領域において値が一致するか否かを判断する（Ｓ１４０５）。図１６にテンプレートマップのデータを表す例を示す。本実施の形態では水平方向、垂直方向、斜め方向二種をテンプレートマップに用いているが、テンプレートマップの方向性や数に制限は無くこの限りではない。その結果、図１６（ａ）〜（ｄ）いずれかのテンプレートマップと画素値が一致すれば、注目画素の評価値は相関性があると判定する（Ｓ１４０６）。

相関性判定部２０８は、Ｓ１４０１〜Ｓ１４０６の処理を全画素について行う。また、相関性判定部２０８は、Ｈ方向評価値と同様に、Ｖ方向評価値の全画素について、Ｓ１４０１〜Ｓ１４０６の処理と同様の処理を全画素について行う（図１５のＳ１５０１〜Ｓ１５０６）。

以降の処理は、第１の実施形態と同じであるため省略する。このように、第２の実施の形態では、予め用意されたテンプレートマップを用いて相関性の判定を行う構成としている。また、評価値の相関性がない場合においては、該画素の周辺画素を用いて該画素の評価値の補正を行う。これにより、第１の実施形態と同様に、評価値の誤算出により発生する偽解像をより適切に補正することができる。

（変形例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０１ ベイヤー画像データ
２０２ Ｈ方向補間部
２０３ Ｖ方向補間部
２０４ Ｈ方向分散度算出部
２０５ Ｖ方向分散度算出部
２０６ 評価値算出部
２０７ 孤立点判定部
２０８ 相関性判定部
２０９ 孤立点補正部
２１０ 画像生成部
２１１ 補間後ＲＧＢ画像データ

Claims (12)

1. 画素ごとに複数のカラーフィルタのいずれかの色に対応した画像信号を出力する撮像素子によって生成されたモザイク画像信号に対し、複数の規定方向でそれぞれ補間処理を行う補間手段と、
   前記補間手段により前記補間処理が行われた画像信号の画素ごとに、各規定方向における相関を示す評価値を得る評価手段と、
   注目画素が孤立点であること、および、前記注目画素の前記評価値と前記注目画素の周辺画素の前記評価値において、前記複数の規定方向のいずれの方向においても相関性がないことを含む所定の条件を満たす場合に、前記周辺画素の前記評価値に基づいて前記注目画素の前記評価値を補正し、補正された前記評価値に基づいて前記注目画素の補間後の画像信号を出力する出力手段を有することを特徴とする画像処理装置。
2. 前記注目画素が孤立点であるか否かを判定する孤立点判定手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記孤立点判定手段は、前記注目画素の前記評価値と、前記周辺画素の前記評価値との間の相関が低いと判定された場合に、前記注目画素が孤立点であると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記孤立点判定手段は、画素ごとに各規定方向における前記評価値の大きさを比較し、前記注目画素において、第１の規定方向における前記評価値が他の規定方向における前記評価値よりも大きく、かつ、前記周辺画素のうち閾値以上の数の画素において、前記他の規定方向における前記評価値が前記第１の規定方向における前記評価値よりも大きい場合に、前記注目画素が孤立点であると判定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記注目画素の前記評価値と前記周辺画素の前記評価値において、前記複数の方向のいずれかの方向において相関性があるか、あるいは、いずれの方向においても相関性がないかを判定する相関性判定手段を有することを特徴とする請求項１乃至４のいずれか１項記載の画像処理装置。
6. 前記相関性判定手段は、前記複数の規定方向のうちのいずれかの方向において、第１の規定方向における前記評価値が他の規定方向における前記評価値よりも大きくなる画素が連続する数が閾値以上である場合に、前記複数の規定方向のいずれかの方向において相関性があると判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記出力手段は、前記注目画素が前記所定の条件を満たす場合に、前記周辺画素のうち前記孤立点判定手段によって孤立点であると判定されていない画素の前記評価値に基づいて、前記注目画素の前記評価値を補正することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記周辺画素のうち前記孤立点判定手段によって孤立点であると判定されていない画素の前記評価値の中央値あるいは平均値を用いて、前記注目画素の前記評価値を補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記出力手段は、前記注目画素の前記複数の規定方向における前記評価値を比較し、前記補間手段により前記複数の規定方向のそれぞれで前記補間処理が行われた画像信号のうち、前記評価値が大きい規定方向において前記補間処理が行われた画像信号を出力することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記撮像素子と、
    請求項１乃至９のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
11. 画素ごとに複数のカラーフィルタのいずれかの色に対応した画像信号を出力する撮像素子によって生成されたモザイク画像信号に対し、複数の規定方向でそれぞれ補間処理を行う補間工程と、
    前記補間工程において前記補間処理が行われた画像信号の画素ごとに、各規定方向における相関を示す評価値を得る評価工程と、
    注目画素が孤立点であること、および、前記注目画素の前記評価値と前記注目画素の周辺画素の前記評価値において、前記複数の規定方向のいずれの方向においても相関性がないことを含む所定の条件を満たす場合に、前記周辺画素の前記評価値に基づいて前記注目画素の前記評価値を補正し、補正された前記評価値に基づいて前記注目画素の補間後の画像信号を出力する出力工程を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。