JP5032914B2 - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Description

本発明は、ＲＧＢベイヤ配列画像を処理する画像処理装置、画像処理プログラム、画像処理方法に関する。

光学像を撮像して電気的なカラー画像を取得する撮像装置は、１つの画素位置において３つの色（例えば、ＲＧＢ３原色）信号を得ることができる３板撮像素子構成のものと、１つの画素位置毎に３つの色信号の内の１つの色信号しか得ることができない単板撮像素子構成のものと、に大別される。

現在市販されているデジタルカメラは、単板撮像素子構成のものが一般的である。一方、現在市販されているデジタルビデオカメラについては、３板撮像素子構成のものと、単板撮像素子構成のものと、が混在した状態にある。

撮像装置を３板撮像素子構成にすると、撮像時点で撮像画像の各画素位置において３つの色信号を得ることができるために、一般的に高画質であるが、構造が複雑となって部品点数も多くなるために高価格となる。

一方、撮像装置を単板撮像素子構成にすると、３板撮像素子構成に比して構造が簡単となる利点があるが、３種類の色信号を得るためには画素毎にＲ，Ｇ，Ｂフィルタをモザイク状（本発明の図５に示すようなベイヤ配列参照）に配置する必要があり、撮像画像の各画素位置において単一色の信号だけしか得ることができない。そこで、このようなベイヤ配列の単板撮像素子構成の撮像素子では、各画素位置において欠落している色信号を周辺の画素位置の色信号を用いて補間することにより、画素当り３つの色信号を得るようにしている。

ところで、上述したようなベイヤ配列は、２×２画素を画素配列の基本単位として、この２×２画素中の一方の対角方向にＧフィルタを２画素分、他方の対角方向にＲフィルタとＢフィルタとを１画素ずつ、ぞれぞれ配置したものとなっている。従って、Ｇ画素のサンプリング密度は、Ｒ画素のサンプリング密度およびＢ画素のサンプリング密度の２倍の密度である。このような、色信号によってサンプリング密度の異なる撮像素子を用いて撮像を行うと、エッジなどの高い空間周波数をもった撮像領域においては、Ｇ信号で表現可能な高い空間周波数が、Ｒ信号とＢ信号とでは低周波数側に折り返してしまうことになる。従って、それぞれの色信号毎に補間処理を行うと、エッジ部およびその近傍等において、偽色（本来は存在しない色）が発生する場合があることが知られている。

こうした偽色を低減する最も簡単な手段は、ベイヤ配列のＲ信号またはＢ信号のサンプリング間隔を再現することができる空間周波数まで、レンズまたは光学ローパスフィルタの特性を落として、該空間周波数の光学像を撮像素子上に結像させることである。ただし、この手段を採用すると、再現可能な空間周波数の半分の空間周波数の撮像画像しか得ることができず、解像度の低いボケた画像となってしまうことになる。そこで、撮像素子上に結像させる光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが発生しない空間周波数特性となるように、光学系を設計するのが一般的である。

このように設計された光学系を用いて、かつ偽色低減を行う技術は、従来より種々のものが提案されている。

例えば特開平８−２３７６７２号公報には、３つの色（ＲとＧとＢ）信号の補間位置を、水平方向および垂直方向ともに画素同士の中間の位置とする補間処理を施す技術が記載されている。この技術は、上記位置への補間処理を行うと、ナイキスト周波数の半分の周波数でＲ，Ｇ，Ｂの各周波数特性を近似させることができることに着目したものである。該公報に記載の技術は、このようにして偽色低減を図っているものの、ナイキスト周波数に近い周波数成分を含んだエッジ領域での偽色抑圧は十分とはいえなかった。さらに、該公報に記載の技術は、水平、垂直ともに半画素位置に画素を補間するものとなっており、高周波成分の減衰が生じるのは避けられないが、この補間フィルタの周波数特性はナイキスト周波数の半分の周波数でＲ，Ｇ，Ｂの各周波数特性を近似させることを要求するために、その周波数帯域をナイキスト周波数ギリギリまで持たせることができず、解像度が低下してしまっていた。

また、上述した特開平８−２３７６７２号公報のような各色信号の補間処理を画像内で均一の特性のフィルタで実現するのとは異なる、他の偽色低減の技術としては、画像の局所領域のＧ信号類似度、Ｇ信号とＲ信号の色信号間類似度、Ｇ信号とＢ信号の色信号間類似度、の内の少なくとも１つの方向依存に適応して、補間フィルタを切り替える方法が提案されている。

例えば特開平７−５９０９８号公報には、欠落しているＧ信号の画素位置に対して、該画素位置の周辺の４つのＧ信号間の水平方向の類似度および垂直方向の類似度（本発明に係る図１９〜図２１を参照して説明すると、垂直類似度＝｜Ｇ1−Ｇ2｜、および水平類似度＝｜Ｇ3−Ｇ4｜）を算出して、算出した類似度と予め決定された閾値とを比較することにより、本発明に係る図１９〜図２１に示すようなＧ信号を用いた３つの線形補間方法により得られるＧ画素補間候補｛（Ｇ1＋Ｇ2）／２、（Ｇ3＋Ｇ4）／２、（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４｝の中から、１つのＧ画素補間候補を欠落しているＧ信号の補間値として選択するものとなっている。

ただし、この技術においては、画素間隔の２倍のＧ信号間の類似度を使用しているために、水平方向または垂直方向にナイキスト周波数の１／２よりも高い周波数でＧ画素値が変化すると、補間方法の選択判定エラーを起こす可能性が高くなり、判定エラーによる偽色の発生が問題となる場合がある。

また、特開平１１−２７５３７３号公報に記載されている技術は、補間Ｇ信号を作成する画素位置のＲ信号またはＢ信号と、周辺の４つのＧ信号（本発明に係る図２１に示すようなＧ1、Ｇ2、Ｇ3、Ｇ4）と、の類似度｛垂直類似度＝｜Ｘ−Ｇ1｜＋｜Ｘ−Ｇ2｜、水平類似度＝｜Ｘ−Ｇ3｜＋｜Ｘ−Ｇ4｜、（ここに、Ｘは、Ｒ信号またはＢ信号である）｝に応じて、垂直補間と、水平補間と、これら２つの補間を重み付け平均した補間と、の中から１つを選択するものとなっている。この技術を用いると、無彩色のエッジ領域の偽色を効果的に低減することができる利点がある一方で、彩度が高い領域では彩度が低下する場合があるという問題が発生する。

偽色は、無彩色のエッジ領域において、より目立って検知されるものである。無彩色領域は、Ｒ信号とＧ信号とＢ信号とがほぼ同じ値をとる領域であり、Ｇ信号に対するＲ信号の比、およびＧ信号に対するＢ信号の比が、ほぼ１となる領域を意味している。偽色は、これらＲ信号とＧ信号とＢ信号との比が、補間処理を行った結果、本来とるべき比である１と異なってしまう、つまり該比が１から離れてしまうことにより発生するものである。

上記特開平１１−２７５３７３号公報に記載された技術は、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間を、複数用意された補間候補の中から選択する技術であるといえるために、無彩色領域での偽色の発生は必然的に抑制される。

しかしこの技術を用いると、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比が元来１とは異なる有彩色領域についても、無彩色領域と同様に、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間が選択されてしまうために、有彩色領域では本来再現されるべき彩度が低下してしまうという課題がある。

この課題について、簡単な例を挙げて説明する。すなわち、ここでは、水平方向の色は同一であって、垂直方向には色が変化するような領域について考えるものとする。

ベイヤ配列におけるＲ信号を含むある１ラインについて、Ｒ信号の値が全て２００、Ｇ信号の値が全て１０の一定値をとるものとする。さらに、この着目ラインの上のラインに位置するＧ信号の値が全て５の一定値をとり、該着目ラインの下のラインに位置するＧ信号の値が全て４５の一定値をとるものとする。なお、着目ラインの上下のラインにおけるＢ信号については、説明を簡単にするために考慮しない。

このような具体的な数値例に対して、上記特開平１１−２７５３７３号公報に記載された技術を適用すると、垂直類似度が｜２００−５｜＋｜２００−４５｜＝３５０、水平類似度が｜２００−１０｜＋｜２００−１０｜＝３８０となり、垂直類似度の方が水平類似度よりも高いと判定される。従って、本来は水平補間が選択されるべきであるにも関わらず、垂直補間が選択されることになってしまい、着目ラインのＲ信号位置において得られるＧ信号補間値は（５＋４５）／２＝２５となってしまう。この場合には、この着目ラインの色差Ｒ−Ｇは２００−２５＝１７５となり、本来再現されるべき色差Ｒ−Ｇ＝２００−１０＝１９０に対して小さい値となるために、彩度が低下してしまうことになる。
特開平８−２３７６７２号公報 特開平７−５９０９８号公報 特開平１１−２７５３７３号公報

上述したような従来の技術では、単板撮像素子により撮像された各画素１色のベイヤ配列画像に対して、欠落色信号を周辺の色信号に基づき補間し、各画素について複数色の色信号を備えるカラー画像を生成する際に、エッジ部分において偽色が発生したり、この偽色を低減しようとして解像度の低下が生じたり、これら偽色や解像度低下を抑制するための画素相関を利用した適応補間方法を適用するときに適応誤りによる画質劣化が生じたりすることがあった。こうして、従来の技術は、偽色の発生、解像度の低下、および彩度の低下を抑制するについては不十分なものであった。

本発明は上記事情に鑑みてなされたものであり、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色と解像度低下とを十分に抑制しつつ、彩度低下がさらに発生しないようにすることができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理装置は、複数の色信号のうち少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号のうち少なくとも第１の色信号が補間された画素を含む画像を生成する画像処理装置であって、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出手段と、上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段と、上記画素補間候補算出手段により算出されたＭ種類の上記第１の色信号Ｇｔに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出手段と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内のｐ種類の上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）またはｑ種類の上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択手段と、 上記Ｘ（ｘ0，ｙ0）から上記最適色差選択手段により選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出手段と、を具備したものである。

第１の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ったカラー画像を得ることができる。

また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置の上記第１の色信号を有する画素と、に基づいて、複数の色信号を含む画素を算出する画素算出手段と、をさらに具備したものである。

第２の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ちつつ、高解像度のカラー画像を得ることができる。

さらに、第３の発明による画像処理装置は、上記第１の発明による画像処理装置において、所定位置の周辺の同一色の色差に基づいて、該所定位置に対する補間色差を算出する色差補間手段と、上記所定位置の周辺の上記第１の色信号を有する画素に基づいて、該所定位置に対して補間された上記第１の色信号を算出する補間手段と、上記所定位置に算出された補間色差と上記補間された第１の色信号とに基づいて、該所定位置において、複数の色信号を含む画素を算出する画素算出手段と、をさらに具備したものである。

第３の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ちつつ、高解像度のカラー画像を得ることができるとともに、エッジ境界のガタツキを減らしてより滑らかなエッジを再現することができる。さらに、補間画素数を変更することができ、補間画素数に見合った帯域制限補間フィルタ係数を選ぶことにより、所定解像度の画像を作成することができる。

第４の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。

第４の発明によれば、画像のエッジ方向に合ったＧ画素補間により算出した色差を選択することができる。

第５の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^L（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。

第５の発明によれば、画像のエッジ方向に合ったＧ画素補間により算出した色差を選択することができる。

第６の発明による画像処理装置は、上記第４または第５の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の上記色差類似度の内の最小値を与える色差類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。

第６の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することができる。

第７の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段によって選択された色差がＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）である場合に、該色差を所定の閾値と比較することにより高色差であるか否かを判定する高色差判定手段と、上記高色差判定手段により高色差であると判定された位置（ｘ0，ｙ0）に対するＧ（ｘ0，ｙ0）をＧt（ｘ0，ｙ0）に変更する変更手段と、をさらに具備したものである。

第７の発明によれば、高色差でかつ斜めエッジ領域においてジャギーの発生を抑制することができる。

第８の発明による画像処理装置は、上記第１の発明による画像処理装置において、位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、上記飽和状態判定手段により飽和状態にあると判定された場合には、上記最適色差選択手段によってＭ種類の色差候補から選択される色差を、上記飽和状態に基づいて予め決定された１種類の色差に固定化する固定化手段と、をさらに具備したものである。

第８の発明によれば、Ｒ画素またはＢ画素の飽和状態を判定し、複数選択可能な色差候補を予め決められた１つの種類に絞ることにより、Ｒ画素またはＢ画素においてブルーミングにより周辺Ｇ画素に不均一に電荷が漏れた場合であっても不自然なアーティファクトの発生を抑制することができる。

第９の発明による画像処理装置は、上記第１から第８の発明による画像処理装置において、上記第１の色信号はＧ成分、上記第２の色信号はＢ成分またはＲ成分である。

第１０の発明よる画像処理装置は、上記第１から第９の発明による画像処理装置において、上記画像はＲＧＢベイヤ配列画像である。

第１１の発明による画像処理装置は、上記第９の発明による画像処理装置において、上記画素補間候補算出手段は、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第３の補間算出手段と、
を有して構成されたものである。

第１２の発明による画像処理装置は、上記第１１の発明による画像処理装置において、上記最適色差選択手段は、Ｇ成分信号を有する画素が欠落している位置を示すＧ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ成分信号に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。

第１３の発明による画像処理装置は、上記第１２の発明による画像処理装置において、位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、上記飽和状態判定手段により飽和状態にあると判定された場合には、上記Ｇ画素変動量算出手段により算出される重み係数を最小値に変更する重み係数変更手段と、をさらに具備したものである。

第１３の発明によれば、Ｒ画素またはＢ画素の飽和状態を判定し、複数選択可能な色差候補を予め決められた１つの種類に絞ることにより、Ｒ画素またはＢ画素においてブルーミングにより周辺Ｇ画素に不均一に電荷が漏れた場合であっても不自然なアーティファクトの発生を抑制することができる。

第１４の発明による画像処理プログラムは、コンピュータに、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理させて、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成させるための画像処理プログラムであって、コンピュータに、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ₀，ｙ₀）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ₀，ｙ₀）としたときに、このＸ（ｘ₀，ｙ₀）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、上記Ｘ（ｘ₀，ｙ₀）に対して周辺の同種色信号を用いて帯域制限したＸ_L（ｘ₀，ｙ₀）を算出する帯域制限ステップと、上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇ_tに基づいて、色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）でなるＭ種類の色差候補を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、または、上記色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸ_Lの複数の色差候補Ｘ_L（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）の内の１つの種類ｐの上記第１の色信号Ｇ_p（ｘ₀，ｙ₀）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇ_q（ｘ₀，ｙ₀）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を色差として選択する最適色差選択ステップと、上記Ｘ（ｘ₀，ｙ₀）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を減算することにより、位置（ｘ₀，ｙ₀）に対する上記第１の色信号Ｇ（ｘ₀，ｙ₀）を算出する算出ステップと、を実行させるためのプログラムである。

第１４の発明によれば、第１の発明とほぼ同様の効果を奏することができる。

第１５の発明による画像処理方法は、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成するための画像処理方法であって、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ₀，ｙ₀）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ₀，ｙ₀）としたときに、このＸ（ｘ₀，ｙ₀）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、上記Ｘ（ｘ₀，ｙ₀）に対して周辺の同種色信号を用いて帯域制限したＸ_L（ｘ₀，ｙ₀）を算出する帯域制限ステップと、上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇ_tに基づいて、色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）でなるＭ種類の色差候補を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、または、上記色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸ_Lの複数の色差候補Ｘ_L（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）の内の１つの種類ｐの上記第１の色信号Ｇ_p（ｘ₀，ｙ₀）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇ_q（ｘ₀，ｙ₀）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を色差として選択する最適色差選択ステップと、上記Ｘ（ｘ₀，ｙ₀）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を減算することにより、位置（ｘ₀，ｙ₀）に対する上記第１の色信号Ｇ（ｘ₀，ｙ₀）を算出する算出ステップと、を有する方法である。

第１５の発明によれば、第１の発明とほぼ同様の効果を奏することができる。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色と解像度低下とを十分に抑制しつつ、彩度低下がさらに発生しないようにすることができる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７および図１９から図２９は本発明の実施形態１を示したものであり、図１は画像処理装置の全体的な構成を示すブロック図である。

この画像処理装置は、図１に示すように、撮像部１０１と、Ｇ補間色差算出部１０２と、色差補間処理部１０３と、ＲＧＢ算出部１０４と、圧縮記録部１０５と、を有している。

撮像部１０１は、図示はしないが、レンズと、ＩＲカットフィルタと、光学ローパスフィルタと、単板撮像素子（以下では単に「撮像素子」などと省略する。）と、増幅器と、Ａ／Ｄ変換器と、撮像素子コントローラと、を有して構成されている。ここに、レンズは、被写体の光学像を撮像素子上に結像するためのものである。ＩＲカットフィルタは、レンズを通過する光束から赤外領域の光をカットするためのものである。光学ローパスフィルタは、レンズにより撮像素子上に結像される光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが許容レベル以上に発生しない空間周波数特性となるように帯域制限を行う光学フィルタである。撮像素子は、図５に示すようなベイヤ配列のカラーフィルタを備える単板式の撮像素子であり、例えばＣＣＤやＣＭＯＳ等により構成されている。ここに図５は、撮像部１０１の単板撮像素子により撮像された色信号のベイヤ配列を示す図である。増幅器は、この撮像素子から出力される信号をアナログ的に増幅するものである。Ａ／Ｄ変換器は、この増幅器により増幅されたアナログ信号をデジタル信号に変換するものである。撮像素子コントローラは、撮像素子を制御しながら駆動して撮像を行わせ、撮像後にＡ／Ｄ変換器から出力されるデジタル信号を色成分に応じてＧ補間色差算出部１０２へ後述するように出力するものである。

このような構成において、レンズ、ＩＲカットフィルタ、光学ローパスフィルタを介して単板撮像素子上に結像した光は、図５に示すようにベイヤ配列された色フィルタ付き画素により光電変換される。こうして光電変換された各画素の電気信号は、増幅器によって増幅され、Ａ／Ｄ変換器によってデジタル信号に変換されて、デジタルの色信号Ｒs，Ｇs，Ｂsとして出力される。撮像素子コントローラは、Ａ／Ｄ変換器から出力される色信号Ｒs，Ｇs，Ｂsを、ＲsおよびＢsと、Ｇsと、にそれぞれ分けて、Ｇ補間色差算出部１０２へ出力する。さらに、撮像素子コントローラは、各色信号Ｒs，Ｇs，Ｂsに対するノイズ低減処理機能およびホワイトバランス処理機能等を備えており、Ｇ補間色差算出部１０２へ出力されるＲs，Ｇs，Ｂsにはこれらの処理が施されている。

Ｇ補間色差算出部１０２は、入力された色信号Ｒs，Ｂsの画素位置に対応する補間Ｇ画素であるＧiと、この画素位置における色差信号Ｒ−Ｇi，Ｂ−Ｇiと、を算出する。そして、Ｇ補間色差算出部１０２は、色差信号Ｒ−Ｇi，Ｂ−Ｇiについては図７に示すような２次元配列として、この２次元配列の色差信号をラスタスキャン順に色差補間処理部１０３へ出力する。ここに図７は、Ｇ補間色差算出部１０２から出力されるＲ−Ｇi，Ｂ−Ｇi信号（Ｘ−Ｇi信号の一例）の２次元配列を示す図である。また、Ｇ補間色差算出部１０２は、Ｇ信号については図６に示すような２次元配列として、この２次元配列のＧ信号をラスタスキャン順にＲＧＢ算出部１０４へ出力する。ここに図６は、Ｇ補間色差算出部１０２から出力されるＧ信号の２次元配列を示す図である。このＧ補間色差算出部１０２については、後でより詳しく説明する。

色差補間処理部１０３は、色差補間手段であって、図７に示すような２次元配列中において、全画素の中で欠落している色差Ｒ−Ｇ、および全画素の中で欠落している色差Ｂ−Ｇを、周辺の同一色に係る色差Ｒ−ＧiまたはＢ−Ｇiを用いてそれぞれ補間し、補間して得られた全画素位置の色差Ｒ−Ｇと全画素位置の色差Ｂ−Ｇとを、ＲＧＢ算出部１０４へそれぞれ出力する。

ＲＧＢ算出部１０４は、ＲＧＢ画素算出手段であって、色差補間処理部１０３から入力される２種類の色差信号Ｒ−Ｇ，Ｂ−Ｇと、Ｇ補間色差算出部１０２から入力されるＧ信号と、に基づいて、ＲＧＢ信号を算出し、該算出したＲＧＢ信号に対してカラーマッチング処理とγ補正処理とを行ってＲγ，Ｇγ，Ｂγ信号を算出し、算出したＲγ，Ｇγ，Ｂγ信号を圧縮記録部１０５へ出力する。

圧縮記録部１０５は、ＲＧＢ算出部１０４から入力されたＲγ，Ｇγ，Ｂγ信号をＹ，Ｕ，Ｖ信号に変換し、さらに、このＹ，Ｕ，Ｖ信号をＪＰＥＧやＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換して、この圧縮データを記録媒体（例えば、フラッシュメモリやハードディスク、磁気テープや光ディスク等）に保存する。

次に、図２は、Ｇ補間色差算出部１０２の構成を示すブロック図である。この図２に示すＧ補間色差算出部１０２の構成は、後述する他の実施形態のＧ補間色差算出部１０２の構成の基本形となっている。

このＧ補間色差算出部１０２は、メモリ２０１と、メモリ２０２と、縦補間Ｇ算出部２０３と、横補間Ｇ算出部２０４と、４画素平均Ｇ算出部２０５と、ローパスフィルタ２０６と、減算部２０７と、減算部２０８と、減算部２０９と、メモリ２１０と、メモリ２１１と、メモリ２１２と、周辺類似度算出部２１３と、周辺類似度算出部２１４と、周辺類似度算出部２１５と、Ｇ変動量算出部２１６と、メモリ２１７と、乗算部２１８と、判定部２１９と、色差選択部２２０と、メモリ２２１と、メモリ２２２と、減算部２２３と、を有している。

撮像部１０１から出力された色信号Ｒs、Ｂsはメモリ２０１に、色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理を実施可能とする画素が揃うまでの遅延を得るために、所定ライン分だけ格納される。図２に示す例においては、メモリ２０１およびメモリ２０２に格納されるライン数は、少なくとも３ラインである。

ここで、欠落Ｇ画素位置にはＲ画素またはＢ画素が配置されていることになるが、これら２つの色信号をまとめてＸ、あるいはＸ画素などと記載して、以後は説明することにする。

縦補間Ｇ算出部２０３は、図１９に示すような縦方向の近傍Ｇ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２によりＧ画素補間候補を算出し、減算部２０７へ出力するＧ画素補間候補算出手段、第１の補間算出手段である。ここに図１９は、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

横補間Ｇ算出部２０４は、図２０に示すような横方向の近傍Ｇ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２によりＧ画素補間候補を算出し、減算部２０８へ出力するＧ画素補間候補算出手段、第２の補間算出手段である。ここに図２０は、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

４画素平均Ｇ算出部２０５は、図２１に示すような縦横４方向の近傍Ｇ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４によりＧ画素補間候補を算出し、減算部２０９へ出力するＧ画素補間候補算出手段、第３の補間算出手段である。ここに図２１は、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。

また、メモリ２０１に格納されている欠落Ｇ画素と同一位置にあるＸ画素は、減算部２０７，２０８に入力されるとともに、さらに帯域制限手段たるローパスフィルタ２０６を介してＸL画素として減算部２０９に入力される。

ここでローパスフィルタ２０６は、図２７に示すように、処理対象となっている欠落Ｇ画素Ｘ（ｉ，ｊ）と、その上下左右に位置する同種Ｘ画素Ｘ（ｉ，ｊ＋２），Ｘ（ｉ，ｊ−２），Ｘ（ｉ−２，ｊ），Ｘ（ｉ＋２，ｊ）と、に基づき、位置（ｉ，ｊ）におけるＸL画素を算出する。ここに、図２７は、ローパスフィルタ２０６においてローパスフィルタを構成するために使用する色信号Ｘのベイヤ配列上の位置を示す図である。このとき、ローパスフィルタの周波数特性は、後述する図２８の曲線ｆｃに示すようになる。そして、上記ローパスフィルタは、以下の通りである。
ＸL（ｉ，ｊ）＝αＸ（ｉ，ｊ）＋β｛Ｘ（ｉ，ｊ＋２）＋Ｘ（ｉ，ｊ−２）
＋Ｘ（ｉ−２，ｊ）＋Ｘ（ｉ＋２，ｊ）｝
ここに、α，βは、ＸL画素の空間周波数特性を、欠落Ｇ画素の周辺４画素平均で算出したＧaの斜め４５度方向の空間周波数特性に近似させる重み値である。

色差候補算出手段たる減算部２０７，２０８，２０９によりそれぞれ算出される色差信号Ｘ−Ｇv，Ｘ−Ｇh，ＸL−Ｇaは、メモリ２１０，２１１，２１２にそれぞれ格納される。

メモリ２１０，２１１，２１２は、後段の周辺類似度算出部２１３，２１４，２１５により類似度算出処理を実施することができるだけの遅延を得るために設けられたものである。本実施形態においては、周辺類似度算出部２１３，２１４，２１５は、図２２、図２３、図２４に示すように、色差信号が３行３列分含まれる近傍領域を用いて類似度を算出するようになっているために、メモリ２１０，２１１，２１２に格納されるライン数は少なくとも５ラインとなっている。

ここに、図２２は欠落Ｇ信号位置において縦方向補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図、図２３は欠落Ｇ信号位置において横方向補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図、図２４は欠落Ｇ信号位置において隣接４画素補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図である。

こうして、メモリ２１０，２１１，２１２に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１０，２１１，２１２から色差信号Ｘ−Ｇv，Ｘ−Ｇh，ＸL−Ｇaが周辺類似度算出部２１３，２１４，２１５へそれぞれ出力される。

周辺類似度算出部２１３は、最適色差選択手段、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｖ（ｋ，ｌ）を、図２２に示すように、中央の色差信号（Ｘ−Ｇv）k,l（ここに、「（Ｘ−Ｇv）k,l」は、「Ｘ（ｋ，ｌ）−Ｇv（ｋ，ｌ）」を省略して記載したものである。以下同様。）とその周辺位置の８つの色差（Ｘ−Ｇv）k-2,l-2、（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k+2,l-2、（Ｘ−Ｇv）k-2,l、（Ｘ−Ｇv）k+2,l、（Ｘ−Ｇv）k-2,l+2、（Ｘ−Ｇv）k,l+2、（Ｘ−Ｇv）k+2,l+2とに基づくＳｖ1（ｋ，ｌ）と、（Ｘ^−Ｇv）k-1,l-1、（Ｘ^−Ｇv）k+1,l-1、（Ｘ^−Ｇv）k-1,l+1、（Ｘ^−Ｇv）k+1,l+1に基づくＳｖ2（ｋ，ｌ）と、の和として定義し算出する。
Ｓｖ（ｋ，ｌ）＝Ｓｖ1（ｋ，ｌ）＋Ｓｖ2（ｋ，ｌ）
Ｓｖ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×ＷｖcX
＋｛｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k-2,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k+2,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k+2,l｜｝×ＷｖaX
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇv）k-1,l-1−（Ｘ^−Ｇv）k-1,l+1｜
＋｜（Ｘ^−Ｇv）k+1,l-1−（Ｘ^−Ｇv）k+1,l+1｜｝×ＷｖX^
ここに、算出に用いられる重みであるＷｖcXとＷｖaXとＷｖX^とは、
ＷｖcX＋２×ＷｖaX＝ＷｖX^
の関係にある。

同様に、周辺類似度算出部２１４は、最適色差選択手段、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｈ（ｋ，ｌ）を、図２３に示すように、中央の色差信号（Ｘ−Ｇh）k,lとその周辺位置の８つの色差（Ｘ−Ｇh）k-2,l-2、（Ｘ−Ｇh）k,l-2、（Ｘ−Ｇh）k+2,l-2、（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,l、（Ｘ−Ｇh）k-2,l+2、（Ｘ−Ｇh）k,l+2、（Ｘ−Ｇh）k+2,l+2とに基づくＳｈ1（ｋ，ｌ）と、（Ｘ^−Ｇh）k-1,l-1、（Ｘ^−Ｇh）k+1,l-1、（Ｘ^−Ｇh）k-1,l+1、（Ｘ^−Ｇh）k+1,l+1に基づくＳｈ2（ｋ，ｌ）と、の和として定義し算出する。
Ｓｈ（ｋ，ｌ）＝Ｓｈ1（ｋ，ｌ）＋Ｓｈ2（ｋ，ｌ）
Ｓｈ1（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×ＷｈcX
＋｛｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l-2｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l+2｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l+2｜｝×ＷｈaX
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ^−Ｇh）k-1,l-1−（Ｘ^−Ｇh）k+1,l-1｜
＋｜（Ｘ^−Ｇh）k-1,l+1−（Ｘ^−Ｇh）k+1,l+1｜｝×ＷｈX^
ここに、算出に用いられる重みであるＷｈcXとＷｈaXとＷｈX^とは、
ＷｈcX＋２×ＷｈaX＝ＷｈX^
の関係にある。

さらに、周辺類似度算出部２１５は、最適色差選択手段、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓａ（ｋ，ｌ）を、図２４に示すように、中央の色差信号（ＸL−Ｇa）k,lとその周辺位置の８つの色差（ＸL−Ｇa）k-2,l-2、（ＸL−Ｇa）k,l-2、（ＸL−Ｇa）k+2,l-2、（ＸL−Ｇa）k-2,l、（ＸL−Ｇa）k+2,l、（ＸL−Ｇa）k-2,l+2、（ＸL−Ｇa）k,l+2、（ＸL−Ｇa）k+2,l+2とに基づくＳａ1（ｋ，ｌ）と、（Ｘ^L−Ｇa）k-1,l-1、（Ｘ^L−Ｇa）k+1,l-1、（Ｘ^L−Ｇa）k-1,l+1、（Ｘ^L−Ｇa）k+1,l+1に基づくＳａ2（ｋ，ｌ）と、の和として定義し算出する。
Ｓａ（ｋ，ｌ）＝Ｓａ1（ｋ，ｌ）＋Ｓａ2（ｋ，ｌ）
Ｓａ1（ｋ，ｌ）＝｛｜（ＸL−Ｇa）k-2,l-2−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k,l-2−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k+2,l-2−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k-2,l−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k+2,l−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k-2,l+2−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k,l+2−（ＸL−Ｇa）k,l｜
＋｜（ＸL−Ｇa）k+2,l+2−（ＸL−Ｇa）k,l｜｝×ＷａX
Ｓａ2（ｋ，ｌ）＝｛｜（Ｘ^L−Ｇa）k-1,l-1−（Ｘ^L−Ｇa）k+1,l+1｜
＋｜（Ｘ^L−Ｇa）k-1,l+1−（Ｘ^L−Ｇa）k+1,l-1｜｝×ＷａX^
ここに、算出に用いられる重みであるＷａXとＷａX^とは、
４×ＷａX＝ＷａX^
の関係にある。

このようにして算出された３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）の内の、Ｓｖ（ｋ，ｌ）およびＳｈ（ｋ，ｌ）はそのまま直接、Ｓａ（ｋ，ｌ）は最適色差選択手段であり乗算手段たる乗算部２１８によりメモリ２１７に格納されているＧ変動量重み係数ｗ（ｋ，ｌ）と乗算された後に、それぞれ判定部２１９に入力される。

ここで、Ｇ変動量重み係数ｗ（ｋ，ｌ）について説明する。

Ｇ変動量算出部２１６は、最適色差選択手段、Ｇ画素変動量算出手段であって、メモリ２０２に格納されているＧs信号の内の、図２５に示すような欠落Ｇ画素位置（ｉ，ｊ）の周辺に配置されたＧs信号を読み込んで、次に示すようにＧ変動量（ｉ，ｊ）を算出する。ここに、図２５はＧ変動量算出部２１６によって使用するＧ信号のベイヤ配列上の位置を示す図である。
Ｇ変動量（ｉ，ｊ）＝Ｄc（ｉ，ｊ）／Ｐ
＋｛Ｄr1（ｉ，ｊ）＋Ｄr2（ｉ，ｊ）＋Ｄr3（ｉ，ｊ）＋Ｄr4（ｉ，ｊ）｝／Ｑ
ここに、Ｐは中央部分の変動量の重み係数、Ｑは周辺部分の変動量の重み係数であり、Ｐ＞０、Ｑ＞０を満たす任意の定数である。そして、
Ｄc（ｉ，ｊ）＝｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
＋Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）＋Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）＋Ｇs（ｉ，ｊ＋１）｜
Ｄr1（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
＋Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）＋Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ−１，ｊ）｜
Ｄr2（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
＋Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）＋Ｇs（ｉ＋１，ｊ）｜
Ｄr3（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
＋Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）＋Ｇs（ｉ＋１，ｊ＋２）｜
Ｄr4（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
＋Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）＋Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ−１，ｊ＋２）｜
である。

Ｇ変動量算出部２１６は、このように算出した上記Ｇ変動量（ｉ，ｊ）に基づいて、図２６に示すような形状の関数を用いて、重み係数ｗ（ｉ，ｊ）を算出する。ここに、図２６は、Ｇ変動量算出部２１６において算出するＧ変動量と、隣接４画素補間を用いて算出した周辺類似度に対する重み係数と、の関係を示す線図である。この図２６に示す関数は、Ｇ変動量が所定の閾値Ｔｈ以上である場合には重みを１とし、Ｇ変動量がこの閾値Ｔｈ未満である場合にはＧ変動量に比例するような（つまり、Ｇ変動量が小さくなるに従って、重みが小さくなるような）、関数となっている。このようなＧ変動量に対する重み係数ｗ（ｉ，ｊ）の関係は、所定の計算式に基づき算出されるか、あるいは予め記憶されているルックアップテーブルを参照することにより変換されるようになっている。

Ｇ変動量算出部２１６が算出した重み係数ｗ（ｉ，ｊ）は、メモリ２１７に出力されて格納される。

このように、４画素補間Ｇaを使用して求めた色差ＸL−Ｇaの周辺類似度Ｓａに１以下の重み係数ｗを乗算することにより、Ｇ変動量が所定閾値Ｔｈ未満の場合（すなわち、ｗ＜１の場合）にはＳａ×ｗはＳａ単体よりも小さい値となるために、判定部２１９の判定においてＳａ×ｗが最小値となる可能性が増大することになる。つまり、Ｇ変動量が小さい平坦な領域においては、縦補間Ｇや横補間Ｇが選択される可能性が低減され、４画素補間Ｇがより高い確率で選択されて、ノイズによる影響がキャンセルされるようになっている。

最適色差選択手段たる判定部２１９は、上述したような３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部２２０へ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部２１９は、例えばＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。

色差選択部２２０は、最適色差選択手段、選択手段であって、判定部２１９から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１０に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１１に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２１２に記憶されている色差候補（ＸL−Ｇa）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部２２０は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（ＸL−Ｇa）k,lを、減算部２２３と色差補間処理部１０３とへそれぞれ出力するようになっている。なお、色差信号は、図７に示したような２次元配列における左上から右下へのラスタスキャン順で出力される。

色差選択部２２０から色差補間処理部１０３へ出力された色差信号は、色差補間処理部１０３においてＲ−ＧiとＢ−Ｇiとに分けられ、Ｒ−Ｇiが欠落している画素位置については周辺のＲ−Ｇiを用いて補間され、同様に、Ｂ−Ｇiが欠落している画素位置については周辺のＢ−Ｇiを用いて補間される。

さらに、メモリ２２１は、撮像画素として存在するＸ画素値の一時退避用であって、上述した色差信号Ｘ−Ｇv、またはＸ−Ｇh、またはＸL−Ｇaの何れか１つが選択され出力されるタイミングに合わせるためのものである。

続いて、減算部２２３は、色差選択部２２０から出力される色差Ｘ−Ｇv、またはＸ−Ｇh、またはＸL−Ｇaと、この色差と同一画素位置のＸと、に基づき以下に示すような減算処理を行い、欠落Ｇ画素位置のＧi信号を算出する減算手段である。
色差Ｘ−Ｇvが選択された場合 ：Ｇi＝Ｘ−（Ｘ−Ｇv）
色差Ｘ−Ｇhが選択された場合 ：Ｇi＝Ｘ−（Ｘ−Ｇh）
色差ＸL−Ｇaが選択された場合 ：Ｇi＝Ｘ−（ＸL−Ｇa）

また、メモリ２２２は、撮像画素として存在するＧs画素の一時退避用であって、上述した欠落Ｇ画素位置に対するＧiが算出され出力されるタイミングに合わせるためのものである。

こうして、図６に示すような欠落のない２次元配列のＧ信号が、左上から右下へのラスタスキャン順でＲＧＢ算出部１０４へ出力される。

次に、図３は、色差補間処理部１０３の構成を示すブロック図である。

色差補間処理部１０３は、色差選別部３０１と、メモリ３０２と、メモリ３０３と、補間算出部３０４と、補間算出部３０５と、を有している。

Ｇ補間色差算出部１０２からの色差信号Ｘ−Ｇiは、色差補間処理部１０３の色差選別部３０１に入力されるようになっている。色差選別部３０１は、色差信号Ｘ−Ｇiが入力されると、該色差信号Ｘ−ＧiがＲ−Ｇiである場合にはメモリ３０２へ、色差信号Ｘ−ＧiがＢ−Ｇiである場合にはメモリ３０３へ、それぞれ分けて出力する。

メモリ３０２は、色差選別部３０１から色差信号Ｒ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０２は、色差信号Ｒ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。

同様に、メモリ３０３は、色差選別部３０１から色差信号Ｂ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０３は、色差信号Ｂ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。

こうして、補間処理が開始可能となった時点で、メモリ３０２，３０３から、補間処理に必要な画素データが、補間算出部３０４，３０５へそれぞれ出力される。

補間算出部３０４は、例えば次に示すような線形補間式を用いることにより色差信号Ｒ−Ｇの補間を行い、全ての画素位置における色差信号Ｒ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。

ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｒ−Ｇiの数である。なお、欠落位置におけるＲ−Ｇiの値はゼロである。

同様に、補間算出部３０５は、例えば次に示すような線形補間式を用いることにより色差信号Ｂ−Ｇの補間を行い、全ての画素位置における色差信号Ｂ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。

ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｂ−Ｇiの数である。なお、欠落位置におけるＢ−Ｇiの値はゼロである。

次に、図４は、ＲＧＢ算出部１０４の構成を示すブロック図である。

ＲＧＢ算出部１０４は、メモリ４０１と、加算部４０２と、加算部４０３と、カラーマトリックス処理部４０４と、γ補正部４０５と、γ補正部４０６と、γ補正部４０７と、を有している。

Ｇ補間色差算出部１０２からのＧ信号は、ＲＧＢ算出部１０４のメモリ４０１に入力されて格納される。このメモリ４０１は、色差補間処理部１０３からＧ信号と同一画素位置の色差信号Ｒ−Ｇ、および色差信号Ｂ−Ｇが入力されるまで、該Ｇ信号を保持しておくためのものである（つまり、遅延用として機能するものである）。

また、色差補間処理部１０３からの色差信号Ｒ−Ｇは、ＲＧＢ算出部１０４の加算部４０２に入力される。すると、加算部４０２は、入力された色差信号Ｒ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｒ−ＧとＧ信号とを加算することによりＲ信号を生成し、カラーマトリックス処理部４０４へ出力する。

さらに、色差補間処理部１０３からの色差信号Ｂ−Ｇは、ＲＧＢ算出部１０４の加算部４０３に入力される。すると、加算部４０３は、入力された色差信号Ｂ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｂ−ＧとＧ信号とを加算することによりＢ信号を生成し、カラーマトリックス処理部４０４へ出力する。

そして、メモリ４０１は、加算部４０２により算出されたＲ信号および加算部４０３により算出されたＢ信号と同一画素位置のＧ信号を、カラーマトリックス処理部４０４へ出力する。

このような処理を行うことにより、各画素位置におけるＲ信号、Ｇ信号、Ｂ信号が復元されることになる。

カラーマトリックス処理部４０４は、復元されたＲ信号、Ｇ信号、およびＢ信号が入力されると、これらを例えばｓＲＧＢ空間等の所定の色空間の信号に変換する。そして、カラーマトリックス処理部４０４は、変換したＲ信号をγ補正部４０５へ、変換したＢ信号をγ補正部４０６へ、変換したＧ信号をγ補正部４０７へ、それぞれ出力する。

γ補正部４０５，４０６，４０７は、カラーマトリックス処理部４０４から入力される変換後のＲ，Ｂ，Ｇ信号が例えば１２ビットの信号であるとすると、これらの信号をそれぞれγ補正して８ビットに変換されたＲγ信号、Ｂγ信号、Ｇγ信号をそれぞれ生成し、圧縮記録部１０５へ出力する。

その後の圧縮記録部１０５による処理は、上述した通りである。

次に、図２９は、図２に示す構成のＧ補間色差算出部１０２により行われる処理を示すフローチャートである。

このＧ補間色差算出部１０２には、撮像部１０１により撮像されてメモリに格納されている単板ベイヤ配列画像が、ラスタスキャン順に入力されるようになっている。そして、Ｇ補間色差算出部１０２は、上述したように、ラスタスキャン順に入力される単板ベイヤ配列画像の内の、Ｒs信号およびＢs信号をメモリ２０１に、Ｇs信号をメモリ２０２に、所定データ分だけそれぞれ格納するようになっている。

このように、メモリ２０１，２０２に所定データ分が格納されている状態において、欠落Ｇ信号の補間候補値と色差候補値とをメモリに格納するライン数×ライン画素数＝Ｎ画素数を所定の初期値（本実施形態ではライン数の初期値＝５）にセット（ステップＳ２９００）する。

次に、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１９に示すような上下に隣接するＧ信号の平均値Ｇv（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）と該補間候補Ｇv（ｉ，ｊ）とに基づき色差（Ｘ−Ｇv）i,jを算出して、メモリ２１０に格納する（ステップＳ２９０１）。

続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、図２０に示すような左右に隣接するＧ信号の平均値Ｇh（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）と該補間候補Ｇh（ｉ，ｊ）とに基づき色差（Ｘ−Ｇh）i,jを算出して、メモリ２１１に格納する（ステップＳ２９０２）。

さらに、Ｇ信号欠落位置（ｉ，ｊ）に対して、図２１に示すような上下左右に隣接するＧ信号の平均値Ｇa（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）とその周辺上下左右のＸ（ｉ−２，ｊ），Ｘ（ｉ＋２，ｊ），Ｘ（ｉ，ｊ−２），Ｘ（ｉ，ｊ＋２）とを用いて斜め４５度方向の周波数特性を該平均値Ｇa（ｉ，ｊ）算出時の補間フィルタの特性に近似させる帯域制限処理（ローパスフィルタ）を実施し、算出したＸL（ｉ，ｊ）と該補間候補Ｇa（ｉ，ｊ）とに基づき色差（ＸL−Ｇa）i,jを算出して、メモリ２１２に格納する（ステップＳ２９０３）。

そして、Ｇ信号欠落位置（ｉ，ｊ）に対して周辺１２画素のＧ信号に基づいてＧ変動量を算出し、該Ｇ変動量に対応する重み係数ｗ（ｉ，ｊ）に変換して、メモリ２１７に格納する（ステップＳ２９０４）。

この時点で、Ｎ画素分の処理が終了したか否かを判定する（ステップＳ２９０５）。

ここで、Ｎ画素分の処理がまだ終了していない場合には上述したステップＳ２９０１に戻って、（Ｘ−Ｇv）i,j、（Ｘ−Ｇh）i,j、（ＸL−Ｇa）i,j、ｗ（ｉ，ｊ）を算出してメモリに格納する処理を続けて行う。

一方、ステップＳ２９０５において、Ｎ画素分の処理が終了したと判定された場合には、Ｎを１にセットする（ステップＳ２９０６）。

そして、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であってかつＧの種類が同一のＧvである）により算出された色差（Ｘ−Ｇv）k,lと、その近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、に基づいて周辺類似度Ｓｖ1（ｋ，ｌ）を算出するとともに、色差（Ｘ−Ｇv）k,lの周辺異種色差、つまり色がＸとは異なる色Ｘ^であってかつＧの種類が同一のＧvである色差（Ｘ^−Ｇv）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓｖ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓｖ1（ｋ，ｌ）とＳｖ2（ｋ，ｌ）とを加算して周辺類似度Ｓｖ（ｋ，ｌ）を算出する（ステップＳ２９０７）。

続いて、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であってかつＧの種類が同一のＧhである）により算出された色差（Ｘ−Ｇh）k,lとその近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、に基づいて周辺類似度Ｓｈ1（ｋ，ｌ）を算出するとともに、色差（Ｘ−Ｇh）k,lの周辺異種色差、つまり色がＸとは異なる色Ｘ^であってかつＧの種類が同一のＧhである色差（Ｘ^−Ｇh）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓｈ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓｈ1（ｋ，ｌ）とＳｈ2（ｋ，ｌ）とを加算して周辺類似度Ｓｈ（ｋ，ｌ）を算出する（ステップＳ２９０８）。

さらに、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（ＸLが同一色であってかつＧの種類が同一のＧaである）により算出された色差（ＸL−Ｇa）k,lとその近傍８方向の同種色差（ＸL−Ｇa）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、に基づいて周辺類似度Ｓａ1（ｋ，ｌ）を算出するとともに、色差（ＸL−Ｇa）k,lの周辺異種色差、つまり色がＸLとは異なる色Ｘ^LであってかつＧの種類が同一のＧaである色差（Ｘ^L−Ｇa）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓａ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓａ1（ｋ，ｌ）とＳａ2（ｋ，ｌ）とを加算して周辺類似度Ｓａ（ｋ，ｌ）を算出し、さらに、メモリ２１７に格納されているＧ変動量重み係数ｗ（ｋ，ｌ）と乗算する（ステップＳ２９０９）。

このようにして算出される各周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）は、値が小さい程、類似性が高いことを示す量となっている。そして、続く処理において、類似性が最大（類似度の値としては最小）となる色差候補を１つ選択する処理を行う。

すなわち、上述したようにして３つの周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が算出されたところで、まず、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓｈ（ｋ，ｌ）とを比較する（ステップＳ２９１０）。

ここで、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）よりも小さいと判定された場合には、さらに、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ２９１２）。

一方、ステップＳ２９１０において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｈ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ２９１１）。

そして、上述したステップＳ２９１２において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（Ｘ−Ｇv）k,lに決定して、メモリに格納する（ステップＳ２９１３）。

また、上述したステップＳ２９１２において周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合、または、上述したステップＳ２９１１において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（ＸL−Ｇa）k,lに決定して、メモリに格納する（ステップＳ２９１４）。

さらに、上述したステップＳ２９１１において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（Ｘ−Ｇh）k,lに決定して、メモリに格納する（ステップＳ２９１５）。

こうして、ステップＳ２９１３、ステップＳ２９１４、またはステップＳ２９１５の何れかの処理を行った後に、上記決定された色差（ｋ，ｌ）をＸ（ｋ，ｌ）から減算することによりＧ（ｋ，ｌ）を算出して、算出したＧをメモリに格納する（ステップＳ２９１６）。

その後、出力画像としての総画素数の処理を終了したか否かを判定する（ステップＳ２９１７）。

ここで、総画素数の処理がまだ終了していないと判定された場合には、上述したステップＳ２９０１に戻って、メモリに格納されている不必要となった（Ｘ−Ｇv）、（Ｘ−Ｇh）、（ＸL−Ｇa）、ｗ、Ｓｖ、Ｓｈ、Ｓａを新しく算出される値で置き換えながら、上述したような処理を続けて行う。

一方、ステップＳ２９１７において、総画素数の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。

ここで、Ｇ補間色差算出部１０２を上述したように構成した理由について、詳細に説明する。

３つの色差候補（Ｘ−Ｇv）、（Ｘ−Ｇh）、（ＸL−Ｇa）は、周辺色差類似性が最大（類似度の値としては最小）となる１つを選択することにより、それぞれ垂直エッジ領域、水平エッジ領域、斜めエッジを含むその他の領域に概ね割り当てられる。その理由は、局所領域内の色差信号は空間的に類似性が高い（つまり色の変化が少ない）と仮定すると、その局所領域に含まれているエッジ方向と同じ方向で補間されたＧtに基づき算出した複数色差Ｘ−Ｇtと、異なった方向で補間されたＧt’に基づき算出した複数色差Ｘ−Ｇt’とを比べた場合に、前者の方が被写体が本来もつＧ信号を近似的に再現することができるために、その色差が被写体が本来もっている色差により近くなり、周辺の色差類似度がより高くなることにある。ここで斜めエッジを担う色差に（Ｘ−Ｇa）ではなく（ＸL−Ｇa）を用いる理由を、図２８を参照して説明すると、以下のようになる。ここに、図２８は、撮像画像および補間画素等の水平方向に対して斜め４５度方向の周波数特性を示す図である。

この図２８において、曲線ｆａは、レンズおよび光学ローパスフィルタを経由して撮像素子上に結像された画像の、水平画素配列方向を０度としたときの斜め４５度方向の空間周波数特性を示している。また、曲線ｆｂは、欠落Ｇ画素位置に周辺の上下左右Ｇの平均により作成したＧaの、斜め４５度方向の空間周波数特性を示している。さらに、曲線ｆｃは、Ｘに対して周辺の同種Ｘを用いて帯域制限したＸLの斜め４５度方向の空間周波数特性を示している。

斜めエッジに色差（Ｘ−Ｇa）を用いると、第１に、ＸとＧaの斜め方向の周波数特性が図２８の曲線ｆａと曲線ｆｂとのように異なるために、この周波数特性の違いにより偽色を多く含む色差を生成してしまうことになる。

第２に、欠落Ｇ画素位置に生成されるＧiがＧi＝Ｘ−（Ｘ−Ｇa）＝Ｇaとなるために、斜め方向の周波数特性が図２８の曲線ｆｂとなる一方で、撮像素子上のＧ画素の周波数特性は図２８の曲線ｆａとなって曲線ｆｂとは異なるために、斜めエッジ領域においてコントラストが低い画素値と高い画素値とが交互に混在して現れてしまい、斜めエッジ境界が滑らかにつながらないことが課題として挙げられる。

これらに対して、色差（ＸL−Ｇa）を使用した場合には、ＸLとＧaの斜め４５度方向の周波数特性がそれぞれ図２８の曲線ｆｃと曲線ｆｂとなり、近似した帯域をもつために、斜めエッジ領域での偽色の発生をより抑制することができることになる。

さらに、欠落Ｇ画素位置に生成されるＧiは、Ｇi＝Ｘ−（ＸL−Ｇa）＝Ｇa＋（Ｘ−ＸL）となり、第１項は図２８の曲線ｆｂに示すような周波数特性をもち、第２項は原信号帯域である図２８の曲線ｆａから帯域制限した図２８の曲線ｆｃを除いた高域成分となるために、これらの加算であるＧiは図２８の曲線ｆａに近似した周波数特性を得ることになる。つまり、斜めエッジ領域において撮像素子上のＧ画素と同等の画素値となり、斜めエッジ領域をより自然に再現することができることになる。

従って、斜めエッジの再現性を向上することができ、さらに斜めエッジ用に別途のＧ補間を用意する必要がなくなるために回路規模も小さくすることができる。

ちなみに、縦エッジ領域に割り当てられる（Ｘ−Ｇv）、または横エッジ領域に割り当てられる（Ｘ−Ｇh）により欠落Ｇ画素位置に生成されるＧiは、Ｇi＝Ｘ−（Ｘ−Ｇv）＝Ｇv、またはＧi＝Ｘ−（Ｘ−Ｇh）＝Ｇhとなる。これらＧv，Ｇhは、エッジに直交する周波数特性がそれぞれ保存されるために、Ｇ画素と同等の画素値となり、縦、横エッジ領域において不自然なアーティファクトが発生することはなく、綺麗なエッジを再現することができる。

また、Ｇ補間色差算出部１０２において欠落Ｇ画素位置に３つの補間候補により作成した３つの色差候補（Ｘ−Ｇv）、（Ｘ−Ｇh）、（ＸL−Ｇa）から周辺色差類似性が最大（類似度の値としては最小）となる１つを選択する例を示したが、回路規模の増加を許す場合には４つ以上の色差候補を作成したとしても同様の処理を行うことが可能であるのはいうまでもない。すなわち、上記（ＸL−Ｇa）のＸLは図２８の曲線ｆｃに示すように斜め４５度の周波数特性を近似させる帯域制限がなされた信号であったが、この場合には、４５度以外の適宜のθ度方向の周波数特性を、Ｇaの同一方向の周波数特性に近似させるように帯域制限がなされたＸLθを作成して、色差候補（ＸLθ−Ｇa）として追加するようにしても良い。この場合には、ＸLθを算出するのに必要な同色Ｘ画素は｛Ｘ（ｉ，ｊ），Ｘ（ｉ，ｊ−２），Ｘ（ｉ，ｊ＋２），Ｘ（ｉ−２，ｊ），Ｘ（ｉ＋２，ｊ）｝だけでなく、さらに周辺の同色Ｘ画素を使ってローパスフィルタを設計する必要があると考えられる。こうすることにより、斜め４５度方向以外の斜めエッジに対しても更なる偽色低減を行うことができる。

このような実施形態１によれば、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、複数種類のＧ画素補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、エッジ部の解像度劣化を抑制しつつ、回路規模を小さくすることができる。

［実施形態２］
図８から図１８は本発明の実施形態２を示したものであり、図８は画像処理装置の全体的な構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、実施形態１に対して微小エッジ領域での色差判定エラーや、Ｒ，Ｇ，Ｂ信号のノイズレベルの違いによる画質劣化改善をさらに可能とし、加えて記録する画像サイズを変更可能とするものとなっている。

本実施形態の画像処理装置は、図８に示すように構成されていて、図１に示した実施形態１との違いは色差補間処理部１０３が補間処理部８０１に置き換わったことにある。この違いは、ＲＧＢ算出部１０４へ出力される補間されたＧ、Ｒ−Ｇ、Ｂ−Ｇの画素位置の違いに起因する。すなわち、実施形態１ではこれらの画素位置は撮像素子によって撮像された画素と同一位置となるが、この実施形態２では撮像素子の画素位置に対して任意の位置に生成可能となっている。特に、補間後の画像の解像度が撮像素子の解像度と同一である場合には、水平、垂直ともに１／２画素ずれた位置に生成するようになっている。そして、これに伴って、Ｇ補間色差算出部１０２から出力されるＧ信号は、ＲＧＢ算出部１０４に代えて補間処理部８０１へ入力されるようになっている。また、補間処理部８０１からは、色差Ｒ−Ｇ，Ｂ−Ｇに加えて、さらにＧ信号がＲＧＢ算出部１０４へ出力されるようになっている。さらに、補間処理部８０１には、記録画像サイズが入力されるようになっている。

図９は、補間処理部８０１の構成を示すブロック図である。

この補間処理部８０１は、色差選別部３０１と、メモリ９０１と、メモリ９０２と、メモリ９０３と、補間算出部９０４と、補間算出部９０５と、補間算出部９０６と、補間係数算出部９０７と、制御部９０８と、メモリ９０９と、を有している。

補間処理部８０１には、Ｇ補間色差算出部１０２から出力される図６に示すような２次元配列構造をもったＧ信号と、図７に示すような２次元配列構造をもった色差Ｘ−Ｇi信号と、が入力される。

Ｇ補間色差算出部１０２からの色差Ｘ−Ｇi信号は、色差選別部３０１に入力されてＲ−ＧiとＢ−Ｇiとに分離され、メモリ９０１，９０２にそれぞれ格納される。ここに、メモリ９０１，９０２には、所定位置への補間処理に必要なライン数分のＲ−ＧiとＢ−Ｇiとがそれぞれ格納される。

そして、補間処理が開始可能となった時点で、その補間処理に必要な画素が色差補間手段たる補間算出部９０４，９０５にそれぞれ入力され、制御部９０８から出力される補間フィルタ係数に基づいて補間画素である色差Ｒ−Ｇ、Ｂ−Ｇが算出され、ＲＧＢ算出部１０４へ出力される。

一方、Ｇ補間色差算出部１０２からのＧ信号は、メモリ９０３に格納される。メモリ９０３には、所定位置への補間処理に必要なライン数分のＧがそれぞれ格納される。

そして、補間処理が開始可能となった時点で、その補間処理に必要な画素がＧ補間手段たる補間算出部９０６に入力され、制御部９０８から出力される補間フィルタ係数に基づいて補間画素Ｇが算出され、ＲＧＢ算出部１０４へ出力される。

制御部９０８は、ユーザーが決定した記録画像サイズが図示しないシステムコントローラから入力されると、補間係数算出部９０７に対して、該記録画像サイズに対応する補間フィルタを作用させる画素位置とそのフィルタ係数の算出とを指示する。

補間係数算出部９０７は、補間フィルタ係数を算出して、算出した補間フィルタ係数をその補間画素位置に応じてメモリ９０９に格納する。

制御部９０８は、メモリ９０９に格納されているフィルタ係数を補間処理する画素位置に応じて読み出し、補間算出部９０４，９０５，９０６へ出力する。

なお、上述においては、記録画像サイズが入力された時点でフィルタ係数を作成する例について説明したが、複数種類の記録画像サイズに対応したフィルタ係数を予めメモリ９０９に格納しておいても良い。この場合には、補間係数算出部９０７が不要となる。そして、制御部９０８は、ユーザーにより指定された記録画像サイズに基づいてメモリ９０９に格納されている係数ルックアップテーブルを読み出し、補間算出部９０４，９０５，９０６へ供給することになる。

補間算出部９０４，９０５，９０６における補間算出処理は、例えば図１０〜図１２に示すような８×８画素の領域に対するものとなっている。ここに、図１０は補間処理部８０１におけるＧ信号の補間処理単位の一例を示す図、図１１は補間処理部８０１におけるＲ−Ｇi信号の補間処理単位の一例を示す図、図１２は補間処理部８０１におけるＢ−Ｇi信号の補間処理単位の一例を示す図である。そして、補間算出部９０４，９０５，９０６は、撮像素子と同一解像度の画像サイズを指定した場合の例として、水平、垂直ともに１／２画素位置（図１０〜図１２において、中央の×印で示す位置）に画素を作成するものとなっている。

この補間算出処理において使用する補間フィルタの例としては、Ｌａｎｃｚｏｓフィルタ等の畳み込みフィルタを挙げることができる。このときのフィルタ処理は、水平方向に処理した１次元フィルタの結果に垂直方向の１次元フィルタを施して、補間画素を算出する処理となる。

なお、ここでは１次元のフィルタについて述べたが、これに代えて２次元フィルタとすることも可能である。図１３および図１５〜図１８は、８×８タップの２次元フィルタの例を示す図である。ここに、図１３は、Ｇ信号に対するフィルタ係数を示す図、図１５〜図１８はＲ−Ｇi信号またはＢ−Ｇi信号に対する補間フィルタ係数を示す図である。これら図１５〜図１８に示す４つのフィルタ係数は、補間画素位置と処理対象の色差Ｒ−ＧiまたはＢ−Ｇiの位置関係とに応じて、切換えて使用されるようになっている。

ここで、Ｇ信号に対する補間フィルタ係数ｆijと色差に対する補間フィルタ係数ｆ*ijとは同一係数ｆij＝ｆ*ijであっても良いし、あるいは色差に対してはより帯域制限をかけた異なるフィルタ係数ｆ*ij≠ｆijを用いるようにしても構わない。

また、上述では補間フィルタのタップ数を８×８タップとしたが、ハードウェア規模とフィルタ特性の設計自由度とのトレードオフでＮ×Ｎタップ（ここに、Ｎは４の倍数）としても良い。このときには当然にして、Ｇ信号と色差信号とで異なるタップ数としても良いのはいうまでもなく、この場合のＧ信号はＮが２の倍数のタップ数のフィルタでも構わない。

特に、記録画像サイズが撮像素子と同一解像度となるＧ信号に対する補間フィルタの周波数特性は、図１４の実線に示すように、ナイキスト周波数（ＮＦ）でレスポンスがゼロ、もしくはほぼゼロとなるローパスフィルタを用いることになる。ここに、図１４は、補間処理部８０１において用いられる補間フィルタの周波数特性を示す線図である。

また、画像を拡大する場合には、画素間に複数の補間画素位置を設けて、この補間画素位置に応じて上記補間フィルタ係数を変更することにより、上記補間フィルタと同等の周波数特性の画素補間を実現することができる。

一方、画像を縮小する場合には、画素間引きに対応して発生する折り返し歪みを抑圧するために、縮小画像のサンプリング間隔に対応するナイキスト周波数でカットするローパス特性の補間フィルタ係数を用いて、補間画素位置に応じて補間フィルタ係数を変更しながら補間画素（Ｇ、Ｒ−Ｇ、Ｂ−Ｇ）を作成することにより、実現することができる。上述した図１４における破線は、一例として、水平、垂直ともに１／２に縮小する場合の周波数帯域のフィルタ特性を示したものである。この場合の補間画素位置は、図１０〜図１２に示した位置と同様に、水平、垂直ともに１／２画素位置（図１３，図１５〜図１８において、中央の×印で示す位置）に作成される。そして当然にして、補間画素は、水平、垂直方向ともに撮像素子の画素間隔の２倍の間隔で作成されることになる。

こうして補間処理部８０１で同時化された補間画素（Ｇ、Ｒ−Ｇ、Ｂ−Ｇ）は、ＲＧＢ算出部１０４により、上述した実施形態１と同様にカラーマトリックス処理、および非線形なトーンカーブによりγ補正されたＲγ、Ｇγ、Ｂγ信号が作成されて、圧縮記録部１０５によって画像圧縮されフラッシュメモリやハードディスク、磁気テープ等の所定の記録媒体に記録される。

このような実施形態２によれば、上述した実施形態１とほぼ同様に偽色の発生と彩度低下とを抑制することができるとともに、リサイズ画像を作成することができ、さらに一般的に行われている従来の技術に比べて回路規模を小さく抑制することができる。ここに、一般的に行われる画像リサイズ処理とは、実施形態１のＲＧＢ算出部１０４から出力される撮像素子の画素数と同数の画素をもったＲＧＢ画像に対して別途のリサイズ処理をする場合を指している。

さらに、この実施形態２によれば、以下に説明するような実施形態１の点をさらに改善することができる。

まず第１に、実施形態１は、特定方向の微小エッジ領域に撮像素子のノイズ等に起因して色差選択エラーが発生した場合に、欠落Ｇ画素位置に生成されるＧ画素値と本来の撮像素子上のＧ画素位置のＧ画素値とが大きく異なることになり、エッジが刃こぼれしたようなナイキスト周波数近辺の周波数成分をもった劣化パターンとなって現れる場合がある。このような劣化パターンは、実施形態２の上記補間フィルタの特性（図１４）がナイキスト周波数でレスポンスゼロとなることにより抑圧することができ、エッジを綺麗に再現することができるようになる。

第２に、Ｇ補間色差算出部１０２に入力されるＲＧＢ各画素は、Ｇ画素に比べてＲ，Ｂ画素の感度が低いことが一般的である。このような場合には、ホワイトバランスを取るために、Ｒ，Ｂ画素をＧ画素よりも大きいゲイン値で増幅することになるために、Ｇ画素に比べてＲ，Ｂ画素のノイズは大きくなることになる。このような条件下において実施形態１の技術を用いると、欠落Ｇ画素位置のＧ画素値を、ノイズを多く含むＲまたはＢ画素値を用いて生成することになるために、Ｇ画素位置のＧ画素値に比べてより大きなノイズを含むことになる。このような場合であっても、本実施形態２の技術によれば、上記補間フィルタによりノイズレベルが平均化されるために、ＳＮ比を改善できることになる。

第３に、撮像素子自体の特性により奇数ラインのＧ画素と偶数ラインのＧ画素とにゲインバラツキが発生する場合があるが、このようなゲインバラツキは特に平坦部においてナイキスト周波数近傍の成分をもった段差となって目立って現れる。このような場合にも、この実施形態２によれば、上述した補間フィルタを用いることにより、この段差を抑圧することができるために、平坦部において滑らかな階調変化を得ることができる。

以上のように、この実施形態２によれば、エッジ部分では上述した実施形態１と同様に偽色の発生を抑制しつつ、さらにエッジ境界や平坦部における不自然なパターンの発生を抑制することができるとともに、ユーザーが指定した任意サイズの画像を作成することができる。

［実施形態３］
図３０から図３２は本発明の実施形態３を示したものであり、図３０はＧ補間色差算出部の構成を示すブロック図である。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態３は、上述した実施形態１の構成が最適に機能しない条件下における画質改善を可能にするものとなっている。ここに、実施形態１の構成が最適に機能しない条件の領域とは、例えば、撮像素子のブルーミング発生領域や、ＲまたはＢとＧとの相関が低く特にＲまたはＢがＧより大きい値を取る領域、などが挙げられる。

ここに、ブルーミング発生領域とは、撮像素子の各画素に許容量よりも強い光が入射した場合に、各画素に発生する電荷量が蓄積可能な電荷量を超えて飽和状態になり、飽和量以上の電荷が周囲の画素に漏れ出している領域である。例えば赤の波長の強い光が入射されるとＲ画素が飽和し、周囲のＧ画素、Ｂ画素に電荷が漏れ出す。このようなブルーミング発生領域において特に問題となるのは、撮像素子の構造に起因して、飽和したＲ画素の水平方向に隣接するＧｒ画素と垂直方向に隣接するＧｂ画素とに漏れる電荷が等しくなくなる場合である。この場合には、図３１に示すように、Ｇ信号は水平、垂直ともにナイキスト周波数のパターンをもつことになる。ここで、図３１は、Ｘ画素に対するブルーミング発生領域での周辺Ｇ画素に不均一に電荷が漏れた状態を示す図である。また、この図３１におけるＸはＲ画素、Ｘ^はＢ画素、ＧXはＧｒ画素、ＧX^はＧｂ画素にそれぞれ対応し、ＧXとＧX^のハッチングの濃さの違いがブルーミングに伴う階調レベルの違いを示している。

このような場合に、実施形態１の技術を用いて３種類の色差値を算出すると、これら３種類の色差値は水平方向と垂直方向との電荷漏れ量の差の影響を受けることになる。具体例として、垂直方向に漏れる電荷量が水平方向に漏れる電荷量よりも多い場合には、３種類の色差値の大小関係は、
（Ｘ−Ｇv）＜（ＸL−Ｇa）＜（Ｘ−Ｇh）
などとなる。この場合における３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の大小関係は、該類似度を算出するエリア内の撮像素子のランダムノイズや、漏れる電荷量の不確定な違いにより決まることになり、一意に確定しない状態となる。ここでＳａ（ｋ，ｌ）に対するＧ変動量重み係数ｗ（ｋ，ｌ）は、上記ＧXとＧX^との差が大きい領域ではＧ変動量が大きい値となり、重み係数値は１となるために、Ｓａ（ｋ，ｌ）のプライオリティを上げることができない。

このように３つの色差周辺類似度が一意に確定しない領域において、かつ色差値が大きく異なると、同時化されたＲＧＢ画像には色が不規則な斑状に変化する模様（主観的に汚い模様）が現れることになる。

また、Ｘ画素に蓄積される電荷が飽和しない場合であっても、ＸがＧに対して大きな値を取るような、ＸとＧとの間の相関が低い条件において、かつ斜め方向にエッジが存在する場合には、以下のような状態が発生することがある。

すなわち、実施形態１においても説明したように、斜めエッジでは色差周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の類似度が一番高くなり、この場合の色差（ＸL−Ｇa）とＸとを用いて、欠落Ｇ画素位置における補間値Ｇiを次のように算出することになる。
Ｇi＝Ｘ−（ＸL−Ｇa）＝Ｇa＋（Ｘ−ＸL）＝Ｇa＋ΔＸ
ここに、ΔＸは、Ｘの高周波成分に対応する。

上記Ｇi算出式は、ＸとＧとの相関が高い場合には欠落Ｇ画素位置でのＧ信号の未知の高周波成分予測値ΔＧがΔＸと等しい、つまりΔＧ＝ΔＸであると仮定することができるために、斜め方向のエッジの鈍りが抑制されて再現性が向上する。しかし、ＸとＧとの相関が低い場合には、上記仮定が成り立たずΔＧ≠ΔＸとなるために、特にＸがＧよりも十分に大きい領域では本来補正されるべきＧ信号の未知の高周波成分予測値ΔＧに対してΔＸが必要以上に大きくなる可能性が高くなり、この場合には斜め方向のエッジでジャギーが現れる結果となる。

この実施形態３は、上述した実施形態１のＧ補間色差算出部１０２に対して、このような点をさらに改善するものとなっている。

この実施形態３のＧ補間色差算出部１０２は、図３０に示すように、上述した実施形態１の図２に示したＧ補間色差算出部１０２に対して、Ｇ変動量算出部２１６をＧ変動量算出部３００１に変更し、飽和領域判定部３００２、高色差判定部３００３、４画素平均Ｇ算出部３００４、Ｇ補間選択部３００５を追加し、メモリ２１７を省略したものとなっている。

メモリ２２１は、飽和領域判定部３００２へも接続されている。メモリ２２２と飽和領域判定部３００２は、Ｇ変動量算出部３００１へ接続されている。Ｇ変動量算出部３００１は、乗算部２１８へ接続されている。メモリ２１２は、高色差判定部３００３を介してＧ補間選択部３００５へ接続されている。判定部２１９は高色差判定部３００３へも接続されている。メモリ２２２は、４画素平均Ｇ算出部３００４を介してＧ補間選択部３００５へ接続されている。減算部２２３はＧ補間選択部３００５へ接続されている。そして、メモリ２２２またはＧ補間選択部３００５から、Ｇ信号がＲＧＢ算出部１０４へ出力されるようになっている。

次に、本実施形態における作用の、上述した実施形態１との差異について説明する。

飽和状態判定手段たる飽和領域判定部３００２は、メモリ２２１に格納されている図３１に示すようなＸ（ＲまたはＢ）を入力として、以下の飽和領域判定を行う。

この飽和領域の判定条件の一例としては、図３１に示すような５×５画素の領域に対して、撮像素子の飽和レベル値にホワイトバランス係数を考慮した閾値ＴＨsatXとＴＨsatX^とに基づき、
Ｍｉｎ｛Ｘ（ｋ，ｌ），Ｘ（ｋ−２，ｌ），Ｘ（ｋ，ｌ−２）
，Ｘ（ｋ＋２，ｌ），Ｘ（ｋ，ｌ＋２）｝≧ＴＨsatX
または
Ｍｉｎ｛Ｘ^（ｋ−１，ｌ−１），Ｘ^（ｋ＋１，ｌ−１）
，Ｘ^（ｋ＋１，ｌ＋１），Ｘ^（ｋ−１，ｌ＋１）｝≧ＴＨsatX^
を満たす場合に、Ｘ（ｋ，ｌ）は飽和領域内にある状態（飽和状態にある）と判定することが挙げられる。

ここで撮像素子の飽和レベル値は最大階調値である必要はなく、ブルーミング発生確率が十分に低い階調値に設定しても良い。また、閾値ＴＨsatXは、ＴＨsatX＝飽和レベル値×ホワイトバランス係数Ｘであり、最大階調値でクリッピングされた値となる。

飽和領域判定部３００２によるこの判定結果は、Ｇ変動量算出部３００１へ出力される。

Ｇ変動量算出部３００１は、最適色差選択手段でありＧ画素変動量算出手段であって、上述した実施形態１において説明したのと同様に、メモリ２２２から図２５に示したような欠落Ｇ画素位置（ｋ，ｌ）の周辺に配置されたＧs信号を読み込んで、Ｇ変動量（ｋ，ｌ）を算出し、図２６に示したような重み係数ｗ（ｋ，ｌ）をＧ変動量（ｋ，ｌ）に対応して、所定の計算式、またはルックアップテーブルを用いて導き出す。ただし、本実施形態のＧ変動量算出部３００１は、さらに、Ｘ（ｋ，ｌ）が上記飽和領域判定結果に基づき飽和領域内にある状態であると判定された場合には、この重み係数ｗ（ｋ，ｌ）を強制的に０（最小値）に変更する（すなわち、重み係数変更手段であって、固定化手段として機能する）ようになっている。このような処理を行うことにより、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）＝０となるために、飽和領域内に位置する画素Ｘ（ｋ，ｌ）の色差は、判定部２１９によって強制的に（ＸL−Ｇa）が選択されることになり、飽和領域における色差選択を一意に確定させることが可能となる。この結果、上述したような色斑の発生を抑制することができる。

なお、上述においては、３つの色差候補から１つを選択する場合を例に挙げて説明したが、実施形態１においても説明したような第４の（ＸLθ−Ｇa）、またはそれ以上の色差候補を用意した場合にも、上述した技術を同様に適用することができる。そしてこの場合であっても、１つの色差（ＸL−Ｇa）が選択されるように重み係数を０とすれば良い。

また、上述においては、色差（ＸL−Ｇa）を強制的に選択する手段として、重み係数ｗ（ｋ，ｌ）を０にする手段を説明したが、これに限るものではない。例えば、判定部２１９に飽和領域判定結果を入力して、複数色差候補の類似度の如何に関わらず強制的に色差（ＸL−Ｇa）を選択する（すなわち、判定部２１９を固定化手段として用いる）という構成を採用しても、同様の結果が得られることになる。

さらに、高色差判定手段たる高色差判定部３００３は、メモリ２１２に格納されている色差（ＸL−Ｇa）を入力して、予め決定されている閾値ＴＨc（この閾値ＴＨcの一例としては、最大階調値の１／１０程度の値）と比較する。そして、高色差判定部３００３は、色差（ＸL−Ｇa）が閾値ＴＨcよりも大きく、つまり（ＸL−Ｇa）＞ＴＨcとなって、さらに判定部２１９からの出力である選択信号が色差（ＸL−Ｇa）を選択する信号である場合に、Ｇ補間を変更するための変更要求信号（オン／オフ）を変更手段たるＧ補間選択部３００５へ出力する。

一方、４画素平均Ｇ算出部３００４は、メモリ２２２に格納されているＧ信号から画素Ｘ（ｋ，ｌ）の上下左右に隣接するＧ（ｋ−１，ｌ）、Ｇ（ｋ，ｌ−１）、Ｇ（ｋ＋１，ｌ）、Ｇ（ｋ，ｌ＋１）の平均値を欠落Ｇ画素位置（ｋ，ｌ）の補間Ｇaとして作成し、作成した補間ＧaをＧ補間選択部３００５へ出力する。

Ｇ補間選択部３００５は、減算部２２３からの出力である欠落Ｇ画素位置（ｋ，ｌ）のＧ信号補間値Ｇiと、４画素平均Ｇ算出部３００４からの出力である欠落Ｇ画素位置（ｋ，ｌ）のＧaとを、高色差判定部３００３からの入力である変更要求信号に基づき選択する。すなわち、Ｇ補間選択部３００５は、変更要求がオンである場合には４画素平均Ｇ算出部３００４により算出されたＧaを選択し、変更要求がオフである場合には減算部２２３により算出されたＧ補間値を選択する。

これにより、Ｇ信号よりも大きなＸ信号をもつ領域であってかつ斜め方向のエッジ部ではＧ信号補間値Ｇi＝Ｇaとなり、Ｘの高周波成分ΔＸを加算しないために、ジャギーの発生を抑制することができる。

そして、色差（ＸL−Ｇa）≦ＴＨcの場合には、Ｘ信号とＧ信号との相関が高いか、またはＧ信号に対してＸ信号が小さく、ΔＸの影響を無視することができるものと見なして、斜めエッジ部において欠落Ｇ画素位置（ｋ，ｌ）の補間値Ｇiを
Ｇi＝Ｘ−（ＸL−Ｇa）＝Ｇa＋ΔＸ
とすることにより、Ｘ信号とＧ信号との相関が高い領域の斜めエッジの解像度を向上することができる。

なお、上記閾値判定において、色差（ＸL−Ｇa）の絶対値、または偶数乗（例えば、２乗、４乗等）と、上記閾値ＴＨcとを比較して、判定を行うようにしても良い。ここに、絶対値、または偶数乗を取ることにより、Ｘ信号がＧ信号に対して小さい場合にも判定することになるために、Ｘ信号とＧ信号との相関性の有無をより厳密に閾値判定することが可能となる。ただし、Ｘ信号がＧ信号に対して小さい場合にはΔＸもＧ信号に対して小さいために、Ｇ信号に与える影響度は小さい。

また、縦補間または横補間を用いて算出された色差（Ｘ−Ｇv）または（Ｘ−Ｇｈ）については、欠落Ｇ画素位置（ｉ，ｊ）のＧ信号補間値Ｇiは、Ｇi＝Ｘ−（Ｘ−Ｇv）＝Ｇv、またはＧi＝Ｘ−（Ｘ−Ｇh）＝Ｇｈとなり、ΔＸの項が存在しないために、これら２つの色差が選択された場合には上述したような問題が発生することはない。従って、色差（Ｘ−Ｇv）または（Ｘ−Ｇｈ）が選択された場合には、上記高色差判定と、補間値の変更とを行う必要はない。

さらに、上述では、３つの色差候補から１つを選択する場合を例に挙げて説明したが、実施形態１においても説明したような第４の（ＸLθ−Ｇa）、またはそれ以上の色差候補を用意した場合にも、上述した技術を同様に適用することができる。そして、この場合であっても、欠落Ｇ画素位置（ｉ，ｊ）のＧ信号補間値Ｇiに、Ｇi＝Ｇa＋ΔＸ＝Ｇa＋（Ｘ−ＸLθ）に示すように第２項のΔＸが存在する場合には、高色差であると判定された位置において補間値ＧiをＧi＝Ｇaとすることにより、縦横以外のエッジに対するジャギーの発生を抑圧することができる。

次に、図３２は、図３０に示す構成のＧ補間色差算出部１０２により行われる処理を示すフローチャートである。

このＧ補間色差算出部１０２には、撮像部１０１により撮像されてメモリに格納されている単板ベイヤ配列画像が、ラスタスキャン順に入力されるようになっている。そして、Ｇ補間色差算出部１０２は、上述したように、ラスタスキャン順に入力される単板ベイヤ配列画像の内の、Ｒs信号およびＢs信号をメモリ２０１に、Ｇs信号をメモリ２０２に、所定データ分だけそれぞれ格納するようになっている。

このように、メモリ２０１，２０２に所定データ分が格納されている状態において、欠落Ｇ信号の補間候補値と色差候補値とをメモリに格納するライン数×ライン画素数＝Ｎ画素数を所定の初期値（本実施形態ではライン数の初期値＝５）にセット（ステップＳ３２００）する。

次に、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１９に示すような上下に隣接するＧ信号の平均値Ｇv（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）と該補間候補Ｇv（ｉ，ｊ）とに基づき色差（Ｘ−Ｇv）i,jを算出して、メモリ２１０に格納する（ステップＳ３２０１）。

続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、図２０に示すような左右に隣接するＧ信号の平均値Ｇh（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）と該補間候補Ｇh（ｉ，ｊ）とに基づき色差（Ｘ−Ｇh）i,jを算出して、メモリ２１１に格納する（ステップＳ３２０２）。

さらに、Ｇ信号欠落位置（ｉ，ｊ）に対して、図２１に示すような上下左右に隣接するＧ信号の平均値Ｇa（ｉ，ｊ）を補間候補として算出し、Ｇ信号欠落位置（ｉ，ｊ）にあるＸ（ｉ，ｊ）（ＸはＲ信号またはＢ信号を示す）とその周辺上下左右のＸ（ｉ−２，ｊ），Ｘ（ｉ＋２，ｊ），Ｘ（ｉ，ｊ−２），Ｘ（ｉ，ｊ＋２）とを用いて斜め４５度方向の周波数特性を該平均値Ｇa（ｉ，ｊ）算出時の補間フィルタの特性に近似させる帯域制限処理（ローパスフィルタ）を実施し、算出したＸL（ｉ，ｊ）と該補間候補Ｇa（ｉ，ｊ）とに基づき色差（ＸL−Ｇa）i,jを算出して、メモリ２１２に格納する（ステップＳ３２０３）。

この時点で、Ｎ画素分の処理が終了したか否かを判定する（ステップＳ３２０４）。

ここで、Ｎ画素分の処理がまだ終了していない場合には上述したステップＳ３２０１に戻って、（Ｘ−Ｇv）i,j、（Ｘ−Ｇh）i,j、（ＸL−Ｇa）i,jを算出してメモリに格納する処理を続けて行う。

一方、ステップＳ３２０４において、Ｎ画素分の処理が終了したと判定された場合には、Ｎを１にセットする（ステップＳ３２０５）。

そして、Ｇ信号欠落位置（ｋ，ｌ）に対して周辺１２画素のＧ信号に基づいてＧ変動量を算出し、さらに周辺５画素のＸ信号と周辺４画素のＸ^信号とに基づき飽和状態を算出して、該Ｇ変動量と該飽和状態とに対応する重み係数ｗ（ｋ，ｌ）に変換する（ステップＳ３２０６）。

そして、上述したステップＳ３２０１からステップＳ３２０４の処理ループを行ったことによりメモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であってかつＧの種類が同一のＧvである）により算出された色差（Ｘ−Ｇv）k,lと、その近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０とはならない。）と、に基づいて周辺類似度Ｓｖ1（ｋ，ｌ）を算出するとともに、色差（Ｘ−Ｇv）k,lの周辺異種色差、つまり色がＸとは異なる色Ｘ^であってかつＧの種類が同一のＧvである色差（Ｘ^−Ｇv）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓｖ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓｖ1（ｋ，ｌ）とＳｖ2（ｋ，ｌ）とを加算して周辺類似度Ｓｖ（ｋ，ｌ）を算出する（ステップＳ３２０７）。

続いて、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であってかつＧの種類が同一のＧhである）により算出された色差（Ｘ−Ｇh）k,lとその近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、に基づいて周辺類似度Ｓｈ1（ｋ，ｌ）を算出するとともに、色差（Ｘ−Ｇh）k,lの周辺異種色差、つまり色がＸとは異なる色Ｘ^であってかつＧの種類が同一のＧhである色差（Ｘ^−Ｇh）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓｈ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓｈ1（ｋ，ｌ）とＳｈ2（ｋ，ｌ）とを加算して周辺類似度Ｓｈ（ｋ，ｌ）を算出する（ステップＳ３２０８）。

さらに、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（ＸLが同一色であってかつＧの種類が同一のＧaである）により算出された色差（ＸL−Ｇa）k,lとその近傍８方向の同種色差（ＸL−Ｇa）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、に基づいて周辺類似度Ｓａ1（ｋ，ｌ）を算出するとともに、色差（ＸL−Ｇa）k,lの周辺異種色差、つまり色がＸLとは異なる色Ｘ^LであってかつＧの種類が同一のＧaである色差（Ｘ^L−Ｇa）k+n,l+m（ここに、ｎ＝−１，１、ｍ＝−１，１）に基づいて周辺類似度Ｓａ2（ｋ，ｌ）を算出して、これら２つの周辺類似度Ｓａ1（ｋ，ｌ）とＳａ2（ｋ，ｌ）とを加算して周辺類似度Ｓａ（ｋ，ｌ）を算出し、さらに、ステップＳ３２０６によって算出したＧ変動量重み係数ｗ（ｋ，ｌ）と乗算する（ステップＳ３２０９）。

このようにして算出される各周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）は、値が小さい程、類似性が高いことを示す量となっている。そして、続く処理において、類似性が最大（類似度の値としては最小）となる色差候補を１つ選択する処理を行う。

すなわち、上述したようにして３つの周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が算出されたところで、まず、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓｈ（ｋ，ｌ）とを比較する（ステップＳ３２１０）。

ここで、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）よりも小さいと判定された場合には、さらに、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ３２１２）。

一方、ステップＳ３２１０において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｈ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）とを比較する（ステップＳ３２１１）。

そして、上述したステップＳ３２１２において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（Ｘ−Ｇv）k,lに決定して、メモリに格納する（ステップＳ３２１３）。

また、上述したステップＳ３２１２において周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合、または、上述したステップＳ３２１１において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）以上であると判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（ＸL−Ｇa）k,lに決定して、メモリに格納する（ステップＳ３２１４）。

さらに、上述したステップＳ３２１１において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の色差を（Ｘ−Ｇh）k,lに決定して、メモリに格納する（ステップＳ３２１５）。

こうして、ステップＳ３２１３、ステップＳ３２１４、またはステップＳ３２１５の何れかの処理を行った後に、上記決定された色差（ｋ，ｌ）をＸ（ｋ，ｌ）から減算することによりＧ（ｋ，ｌ）を算出して、算出したＧをメモリに格納する（ステップＳ３２１６）。

さらに、Ｇ信号欠落位置（ｋ，ｌ）の周辺４画素Ｇ（ｋ−１，ｌ）、Ｇ（ｋ＋１，ｌ）、Ｇ（ｋ，ｌ−１）、Ｇ（ｋ，ｌ＋１）の平均値Ｇaを算出する（ステップＳ３２１７）。

そして、Ｇ信号欠落位置（ｋ，ｌ）において決定された色差（ｋ，ｌ）が（ＸL−Ｇa）k,lであり、かつその値が閾値ＴＨcよりも大きいか否かを判定する（ステップＳ３２１８）。

ここで、色差（ｋ，ｌ）が（ＸL−Ｇa）k,lであって、かつその値が閾値ＴＨcよりも大きいと判定された場合には、メモリに格納されているＧ（ｋ，ｌ）を周辺４画素平均値Ｇaに置き換える（ステップＳ３２１９）。

ステップＳ３２１８において色差（ｋ，ｌ）が（ＸL−Ｇa）k,lでないか、もしくは色差（ｋ，ｌ）の値が閾値ＴＨc以下であると判定された場合、またはステップＳ３２１９の処理を行った場合には、その後、出力画像としての総画素数の処理を終了したか否かを判定する（ステップＳ３２２０）。

ここで、総画素数の処理がまだ終了していないと判定された場合には、上述したステップＳ３２０１に戻って、メモリに格納されている不必要となった（Ｘ−Ｇv）、（Ｘ−Ｇh）、（ＸL−Ｇa）、Ｓｖ、Ｓｈ、Ｓａを新しく算出される値で置き換えながら、上述したような処理を続けて行う。

一方、ステップＳ３２２０において、総画素数の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。

なお、この実施形態３の技術は、上述した実施形態２の技術と全く問題なく組み合わせることが可能であるのはいうまでもない。

このような実施形態３によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、実施形態１よりも広い撮像条件下における画質劣化を抑制して、高画質なカラー画像を復元することができる。

また、上述した各実施形態においては、ＲＧＢベイヤ配列画像からサンプリング位置を同時化したカラー画像を生成する画像処理装置についてを主として説明したが、汎用の処理回路等に同様の処理を行う画像処理方法を適用するようにしても良いし、画像処理プログラムをコンピュータに実行させて同様の処理を行うようにすることも可能である。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、ＲＧＢベイヤ配列画像を処理する画像処理装置、画像処理プログラム、画像処理方法に好適に利用することができる。

本発明の実施形態１における画像処理装置の全体的な構成を示すブロック図。 上記実施形態１のＧ補間色差算出部の構成を示すブロック図。 上記実施形態１の色差補間処理部の構成を示すブロック図 上記実施形態１のＲＧＢ算出部の構成を示すブロック図。 上記実施形態１において、撮像部の単板撮像素子により撮像された色信号のベイヤ配列を示す図。 上記実施形態１において、Ｇ補間色差算出部から出力されるＧ信号の２次元配列を示す図。 上記実施形態１において、Ｇ補間色差算出部から出力されるＲ−Ｇi，Ｂ−Ｇi信号（Ｘ−Ｇi信号の一例）の２次元配列を示す図。 本発明の実施形態２における画像処理装置の全体的な構成を示すブロック図。 上記実施形態２の補間処理部の構成を示すブロック図。 上記実施形態２の補間処理部におけるＧ信号の補間処理単位の一例を示す図。 上記実施形態２の補間処理部におけるＲ−Ｇi信号の補間処理単位の一例を示す図。 上記実施形態２の補間処理部におけるＢ−Ｇi信号の補間処理単位の一例を示す図。 上記実施形態２の補間処理部におけるＧ信号に対する８×８タップの２次元補間フィルタ係数を示す図。 上記実施形態２の補間処理部において用いられる補間フィルタの周波数特性を示す線図。 上記実施形態２の補間処理部におけるＲ−Ｇi信号またはＢ−Ｇi信号に対する第１の８×８タップの２次元補間フィルタ係数を示す図。 上記実施形態２の補間処理部におけるＲ−Ｇi信号またはＢ−Ｇi信号に対する第２の８×８タップの２次元補間フィルタ係数を示す図。 上記実施形態２の補間処理部におけるＲ−Ｇi信号またはＢ−Ｇi信号に対する第３の８×８タップの２次元補間フィルタ係数を示す図。 上記実施形態２の補間処理部におけるＲ−Ｇi信号またはＢ−Ｇi信号に対する第４の８×８タップの２次元補間フィルタ係数を示す図。 上記実施形態１において、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図。 上記実施形態１において、欠落Ｇ信号位置において縦方向補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図。 上記実施形態１において、欠落Ｇ信号位置において横方向補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図。 上記実施形態１において、欠落Ｇ信号位置において隣接４画素補間により算出した色差の内の周辺類似度算出に使用する色差信号のベイヤ配列上の位置を示す図。 上記実施形態１において、Ｇ変動量算出部によって使用するＧ信号のベイヤ配列上の位置を示す図。 上記実施形態１において、Ｇ変動量算出部において算出するＧ変動量と、隣接４画素補間を用いて算出した周辺類似度に対する重み係数と、の関係を示す線図。 上記実施形態１において、ローパスフィルタを構成するために使用する色信号Ｘのベイヤ配列上の位置を示す図。 上記実施形態１において、撮像画像および補間画素等の水平方向に対して斜め４５度方向の周波数特性を示す図。 上記実施形態１の図２に示す構成のＧ補間色差算出部により行われる処理を示すフローチャート。 本発明の実施形態３のＧ補間色差算出部の構成を示すブロック図。 上記実施形態３において、Ｘ画素に対するブルーミング発生領域での周辺Ｇ画素に不均一に電荷が漏れた状態を示す図。 上記実施形態３の図３０に示す構成のＧ補間色差算出部により行われる処理を示すフローチャート。

符号の説明

１０１…撮像部
１０２…Ｇ補間色差算出部
１０３…色差補間処理部（色差補間手段）
１０４…ＲＧＢ算出部（ＲＧＢ画素算出手段）
１０５…圧縮記録部
２０１，２０２…メモリ
２０３…縦補間Ｇ算出部（Ｇ画素補間候補算出手段、第１の補間算出手段）
２０４…横補間Ｇ算出部（Ｇ画素補間候補算出手段、第２の補間算出手段）
２０５…４画素平均Ｇ算出部（Ｇ画素補間候補算出手段、第３の補間算出手段）
２０６…ローパスフィルタ（帯域制限手段）
２０７，２０８，２０９…減算部（色差候補算出手段）
２１０，２１１，２１２…メモリ
２１３，２１４，２１５…周辺類似度算出部（最適色差選択手段、選択手段）
２１６…Ｇ変動量算出部（最適色差選択手段、Ｇ画素変動量算出手段）
２１７…メモリ
２１８…乗算部（最適色差選択手段、乗算手段）
２１９…判定部（最適色差選択手段、固定化手段）
２２０…色差選択部（最適色差選択手段、選択手段）
２２１，２２２…メモリ
２２３…減算部（減算手段）
３０１…色差選別部
３０２，３０３…メモリ
３０４，３０５…補間算出部
４０１…メモリ
４０２，４０３…加算部
４０４…カラーマトリックス処理部
４０５，４０６，４０７…γ補正部
８０１…補間処理部
９０１，９０２，９０３…メモリ
９０４，９０５…補間算出部（色差補間手段）
９０６…補間算出部（Ｇ補間手段）
９０７…補間係数算出部
９０８…制御部
９０９…メモリ
３００１…Ｇ変動量算出部（最適色差選択手段、Ｇ画素変動量算出手段、固定化手段、重み係数変更手段）
３００２…飽和領域判定部（飽和状態判定手段）
３００３…高色差判定部（高色差判定手段）
３００４…４画素平均Ｇ算出部
３００５…Ｇ補間選択部（変更手段）

Claims (15)

1. 複数の色信号のうち少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号のうち少なくとも第１の色信号が補間された画素を含む画像を生成する画像処理装置であって、
   上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出手段と、
   上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段と、
   上記画素補間候補算出手段により算出されたＭ種類の上記第１の色信号Ｇｔに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出手段と、
   上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、
   または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、
   この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内のｐ種類の上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）またはｑ種類の上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択手段と、
   上記Ｘ（ｘ0，ｙ0）から上記最適色差選択手段により選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出手段と、
   を具備したことを特徴とする画像処理装置。
2. 上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を行う色差補間手段と、
   上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置の上記第１の色信号を有する画素と、に基づいて、複数の色信号を含む画素を算出する画素算出手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
3. 所定位置の周辺の同一色の色差に基づいて、該所定位置に対する補間色差を算出する色差補間手段と、
   上記所定位置の周辺の上記第１の色信号を有する画素に基づいて、該所定位置に対して補間された上記第１の色信号を算出する補間手段と、
   上記所定位置に算出された補間色差と上記補間された第１の色信号とに基づいて、該所定位置において、複数の色信号を含む画素を算出する画素算出手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
4. 上記最適色差選択手段は、上記色差類似度を、
   上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、
   上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、
   に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
5. 上記最適色差選択手段は、上記色差類似度を、
   上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、
   上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^L（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、
   に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
6. 上記類似度は、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、
   上記最適色差選択手段は、Ｍ種類の上記色差類似度の内の最小値を与える色差類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 上記最適色差選択手段によって選択された色差がＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）である場合に、該色差を所定の閾値と比較することにより高色差であるか否かを判定する高色差判定手段と、
   上記高色差判定手段により高色差であると判定された位置（ｘ0，ｙ0）に対するＧ（ｘ0，ｙ0）をＧt（ｘ0，ｙ0）に変更する変更手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
8. 位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、
   上記飽和状態判定手段により飽和状態にあると判定された場合には、上記最適色差選択手段によってＭ種類の色差候補から選択される色差を、上記飽和状態に基づいて予め決定された１種類の色差に固定化する固定化手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
9. 上記第１の色信号はＧ成分、上記第２の色信号はＢ成分またはＲ成分であることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 上記画像はＲＧＢベイヤ配列画像であることを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 上記画素補間候補算出手段は、
    上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第１の補間算出手段と、
    該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第２の補間算出手段と、
    該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第３の補間算出手段と、
    を有して構成されたものであることを特徴とする請求項９に記載の画像処理装置。
12. 上記最適色差選択手段は、
    Ｇ成分信号を有する画素が欠落している位置を示すＧ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
    上記第３の補間算出手段により算出されたＧ成分信号に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
    を有して構成されたものであることを特徴とする請求項１１に記載の画像処理装置。
13. 位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、
    上記飽和状態判定手段により飽和状態にあると判定された場合には、上記Ｇ画素変動量算出手段により算出される重み係数を最小値に変更する重み係数変更手段と、
    をさらに具備したことを特徴とする請求項１２に記載の画像処理装置。
14. コンピュータに、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理させて、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成させるための画像処理プログラムであって、コンピュータに、
    上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ₀，ｙ₀）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ₀，ｙ₀）としたときに、このＸ（ｘ₀，ｙ₀）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、
    上記Ｘ（ｘ₀，ｙ₀）に対して周辺の同種色信号を用いて帯域制限したＸ_L（ｘ₀，ｙ₀）を算出する帯域制限ステップと、
    上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇ_tに基づいて、色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）でなるＭ種類の色差候補を算出する色差候補算出ステップと、
    上記色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、
    または、上記色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸ_Lの複数の色差候補Ｘ_L（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、Ｍ種類の色差類似度を算出し、
    この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）の内の１つの種類ｐの上記第１の色信号Ｇ_p（ｘ₀，ｙ₀）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇ_q（ｘ₀，ｙ₀）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を色差として選択する最適色差選択ステップと、
    上記Ｘ（ｘ₀，ｙ₀）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を減算することにより、位置（ｘ₀，ｙ₀）に対する上記第１の色信号Ｇ（ｘ₀，ｙ₀）を算出する算出ステップと、
    を実行させるための画像処理プログラム。
15. 複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成するための画像処理方法であって、
    上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ₀，ｙ₀）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ₀，ｙ₀）としたときに、このＸ（ｘ₀，ｙ₀）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、
    上記Ｘ（ｘ₀，ｙ₀）に対して周辺の同種色信号を用いて帯域制限したＸ_L（ｘ₀，ｙ₀）を算出する帯域制限ステップと、
    上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇ_tに基づいて、色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）でなるＭ種類の色差候補を算出する色差候補算出ステップと、
    上記色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、
    または、上記色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）を算出する際に用いた上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）と同一種類ｔの、周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）に基づき、該周辺位置（ｘ₀＋ｎ，ｙ₀＋ｍ）に対して算出されたＸ_Lの複数の色差候補Ｘ_L（ｘ₀＋ｎ，ｙ₀＋ｍ）−Ｇ_t（ｘ₀＋ｎ，ｙ₀＋ｍ）と、該色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_t（ｘ₀，ｙ₀）とに基づいて、Ｍ種類の色差類似度を算出し、
    この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇ_t（ｘ₀，ｙ₀）の内の１つの種類ｐの上記第１の色信号Ｇ_p（ｘ₀，ｙ₀）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇ_q（ｘ₀，ｙ₀）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差候補Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を色差として選択する最適色差選択ステップと、
    上記Ｘ（ｘ₀，ｙ₀）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ₀，ｙ₀）−Ｇ_p（ｘ₀，ｙ₀）または色差Ｘ_L（ｘ₀，ｙ₀）−Ｇ_q（ｘ₀，ｙ₀）を減算することにより、位置（ｘ₀，ｙ₀）に対する上記第１の色信号Ｇ（ｘ₀，ｙ₀）を算出する算出ステップと、
    を有することを特徴とする画像処理方法。

Images