JP6131546B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

単一の撮像光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報

この種の撮像装置においては、視差画素と単一の光学系との組み合せで生じる固有の現象として、視差画像間に照度の不一致等のアンバランスが生じていた。視差画像を利用して画像処理するにあたって、この視差画像間のアンバランスが悪影響を及ぼしていた。

本発明の第１の態様における画像処理装置は、被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、複数の色成分のうち第２成分色の第２フィルタおよび基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、第２フィルタおよび一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得部と、第２画素の画素位置に対し、当該画素位置における第２画素値と、周辺の第３画素の第３画素値を用いて算出した仮想的な第３画素値とを平均化処理した第４画素値と、第３画素の画素位置に対し、当該画素位置における第３画素値と、周辺の第２画素の第２画素値を用いて算出した仮想的な第２画素値とを平均化処理した第５画素値とを算出する算出部と、第１画素値、第４画素値および第５画素値を用いて、少なくとも第１成分色と第２成分色の色情報を含む基準方向における２Ｄ画像データである第２画像データを生成する画像生成部とを備える。

本発明の第２の態様における撮像装置は、被写体像を撮像する撮像素子と、上述の画像処理装置とを備える撮像装置であって、第１画像データは、撮像素子の出力に基づいて生成される。

本発明の第３の態様における画像処理プログラムは、被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、複数の色成分のうち第２成分色の第２フィルタおよび基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得ステップと、第２画素の画素位置に対し、当該画素位置における第２画素値と、周辺の第３画素の第３画素値を用いて算出した仮想的な第３画素値とを平均化処理した第４画素値と、第３画素の画素位置に対し、当該画素位置における第３画素値と、周辺の第２画素の第２画素値を用いて算出した仮想的な第２画素値とを平均化処理した第５画素値とを算出する算出ステップと、第１画素値、第４画素値および第５画素値を用いて、少なくとも第１成分色と第２成分色の色情報を含む基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

Bayer型G視差画素配列およびこの配列の周波数空間における分解能を示す図である。 左右の視差画素の間での照度不一致の問題を説明するための図である。 ボケた被写体像を説明するための図である。 画素配列図およびこの配列の周波数空間における分解能を示す図である。 画素配列図およびこの配列の周波数空間における分解能を示す図である。 視差なし画素を全開口から半開口に変える説明図である。 デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面の構成を説明する図である。 撮像素子１００の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。 視差画素の種類が２つである場合の繰り返しパターン１１０のバリエーションの一例を示す図である。 ゲイン値の算出を説明するための図である。 ゲイン補正を説明するための図である。 仮の視差画像の生成を説明するための図である。 ゲイン値の算出を説明するための図である。 ローカル・ゲイン補正を説明するための図である。 Ｇ成分の補間を説明する図である。 カラー視差プレーンデータの生成処理を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

特許文献１には、単板式のBayer配列型のカラー固体撮像素子に、半分の画素には左開口のみの視差画素を敷き詰め、残りの半分の画素には右開口のみの視差画素を敷き詰めて、一台のカメラで一度の撮像により立体画像を形成することのできる撮像方式を開示している。しかしながら、特許文献１には撮像データから左目用と右目用のカラー画像を生成する具体的な方法が明示されておらず、半開口の視差画素の撮像素子がどのようなセンサー特性を持ち、高解像な立体画像を得るためにはどのような課題に遭遇し、対処していかなければならないかについて何ら記述がなされていないという問題があった。

本発明では、光学系とセンサー特性を踏まえた高解像な立体画像を生成する方法を提供することを目的とする。本発明により、左目用と右目用の半開口の視差画素を持つ単板撮像素子を用いて、立体画像を撮像したときの左目用と右目用の画素の間で発生する照度分布不一致の問題を適切に対処して、高解像な右目用と左目用の画像を生成することができる。

まず、単板撮像素子に左開口マスクと右開口マスクを備えた視差画素を持つセンサーの特性に関する実験事実と高解像な立体画像を得るためのアルゴリズムの思想を述べる。

図１（上段）に示すようなBayer型G視差画素配列の場合を考えてみる。すなわち、カラーフィルタ配列はBayer配列構造をとり、一方のG画素には左開口の視差画素が、もう一方のG画素には右開口の視差画素が開口マスクとして設けられている。更に、R画素とB画素には全開口の視差なし画素が設けられている。

この配列の空間周波数に関する分解能を図１（下段）に示す。画素間隔をaとすると、センサー画素が持つ限界解像周波数は、点線で囲われたナイキスト周波数kx=[-π/a,+π/a]、ky=[-π/a,+π/a]の範囲の解像力を持つ。しかしながら、１つのセンサー面にカラーフィルタと開口マスクの種類を多重化しているために、特定の開口マスクの特定色に分解して、限界解像周波数を見ると、それらは本来の画素が持つナイキスト周波数には全く届かない解像力しか保持していない。すなわち、左視点のG成分の画像、右視点のG成分の画像、視差なしの中間視点のR成分の画像、視差なしの中間視点のB成分の画像はそれぞれ、センサー画素のx,y両方向共に僅か半分の領域の、kx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]の範囲の解像力しか持たない。このような状況から、左視点のRGBカラー画像と右視点のRGBカラー画像を生成したとしても、およそ期待できるのは、kx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]の範囲の解像力程度の画像ができるだけであって、画素が本来持つナイキスト限界性能kx=[-π/a,+π/a]、ky=[-π/a,+π/a]まで上げることはできない。

このような課題に対して、仮に左視差画素と右視差画素のG成分が共に、視差なしのG成分を捉えているような状況が作ることができれば、構造的に視差なしの通常のBayer配列と同じ状況が生まれ、既存のBayer補間のテクニックを動員して、視差なしの中間画像として画像本来のナイキスト周波数kx=[-π/a,+π/a]、ky=[-π/a,+π/a]の範囲にまで解像力を持つカラー画像を作り出すことができる。そうした後に、周波数空間で小さな面積の解像力しか持たない左視点の画像と視差なしの中間画像を重畳することによって、最終的な左視点のカラー画像が画像本来のナイキスト周波数まで解像した形で出力することができる。右視点のカラー画像についても同様である。

上で述べた視差ありのG成分からなるBayer配列から全てが視差なしのBayer配列に移行するためには、左視差と右視差に相当する位置ずれを検知した上で、視差なしの状態に持ってくるのに必要な変位処理が必要になるという厄介な処理手続きが１つ増えることが予想される。すなわち、視差を消滅させるための視差検出と変位処理が必要になる。通常、位置ずれ検知には精度限界があり、実現する上でそれも大きな障害の１つに数えられる。

仮に視差消滅のための変位処理がうまくいったとしても、実際はもう１つ大きな障害に遭遇することなる。すなわち、視差画素の仮想瞳位置は中央からずれているため、左視差画素は被写体像を捉えた画像の右側が明るくなり左側が暗くなる。反対に右視差画素は画像の左側が明るくなり右側が暗くなる。すなわち、同じ被写体像であっても右視差画素と左視差画素では全く異なる照度の画像として捉えていることになる。これがBayer配列として交互に並べると、ゲインバランスの全く異なるG画素が並んでいるため、通常のBayer補間を行うと、チェックパターン状の偽構造が発生することになる。実験的に、光学系の絞り値が大きくなればなるほど左右の視差画素の間での照度分布の不一致が大きくなることが判明している。したがって、事前に光学条件に応じて一様面を撮影して、照度ムラの特性を把握するような対策も、あらゆるレンズ毎に全ての補正データを備えている必要に迫られ、現実的に困難を伴う。これらの様子を図２に示す。

実際に、撮像したデータの視差を無視して、それを視差なしのBayer配列と仮定して通常のBayer補間をしてみた実験結果は、G画素のゲイン不一致によって画像全面にチェックパターンが発生し、更に、視差ずれのためか、あるいはゲインの不一致性のためか画像の至る所に視差ずれ量に相当するような帯状の色斑偽色の発生を伴ってしまうことが確認されている。

このように、視差画素の間での照度不一致の問題と、視差による被写体位置の不一致の問題を、単眼瞳分割方式の被写体像の特性を踏まえて同時に解決する方法を提案する。すなわち、図１４に示されるように、単眼瞳分割方式の撮像では、焦点の合った被写体像は、左右の視差画素では視差ずれが発生せず、非合焦位置の被写体像のみで、左右の視差ずれを生じる。すなわち、視差はボケの中にのみ含まれる。図３に示すようにボケた被写体像は、単純に平均をとることによって視差のない像を生成することができる。したがって、一画素単位の画像構造の変化を捉えるような焦点位置では、左右間の視差平均をとっても撮像信号がそのまま不変のままの構造を保って生成され、一方でボケた被写体像の位置では、左右間の視差平均をとることによって視差が完全に消滅し、かつ、照度ムラによるゲイン不一致の問題も完全に消滅し、同時に解決することができるようになる。実験的に驚くほど完璧に２つの問題を解決することを確認している。こうして、高解像な視差なしの中間画像を生成するための道が開けることになる。すなわち、事前に一様面の撮影をする煩わしさもなく、被写体像そのもののデータを直接利用して左右間の照度ムラを補正する、単眼瞳分割方式特有の非常に単純な解決策が実現できる。

なお、平均の取り方として相加平均と相乗平均の２つの取り方があり、相加平均の場合は、２つに分離したボケ幅の合計の太いボケ幅の被写体像を中間位置に生成し、相乗平均の場合は、２つに分離したボケ幅と同じボケ幅の被写体像を中間位置に生成する。相加平均の場合は、全開口の視差なし画素と同じボケ幅を持つ被写体像を形成し、相乗平均の場合は、半開口の視差画素と同じボケ幅の被写体像を形成する。

なお、視差なしの中間画像は、従来の高解像の２次元画像としてモニタ表示やプリント出力に使うこともできる。

＜実施形態1＞
−−−Bayer型G視差画素配列−−−
図１の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。周波数をfとすると、k=2πfで表される波数kのk空間で記述している。周波数解像域は、逆格子空間の単位胞（ウィグナー・ザイツ・セル）を表す第一ブリルアンゾーンによって記述される。以下の処理によって、視差なしの中間画像（基準画像）で周波数解像が外側に伸びてナイキスト周波数に近づく効果を得ることができる。
フローチャート
１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）出力色空間への変換

詳細説明
１）色・視差多重化モザイク画像データ入力
図１の色と視差の多重化された単板式モザイク画像：M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。すなわち、光量に比例した画素値を持つ。これをRAWデータと呼ぶこともある。

本実施形態では、相加平均を採用する。こうして左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。なお、本ステップはステップ４のローカル・ゲイン補正を行うだけでも同時に実現できるので、場合によっては省いてもよい。

３）仮の視差画像の生成
空間周波数解像度の低い分解能の左視差画像と右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。隣接に存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を生成する。
仮の左視差画像：Lt(x,y)
仮の右視差画像：Rt(x,y)
なお、仮の左視差画像Lt(x,y)と仮の右視差画像Rt(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、画面内の左視差画素と画面内の右視差画素の照度を合わせる。そうして、ゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。
この場合も、各画素の基準点として揃える目標値の設定方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。

各画素にローカル・ゲイン補正を掛けている処理は、実際には最初に求めた各画素の平均値を代入するだけでよい。この意味で、ローカル・ゲイン補正は視差消滅させるための変調処理であるということができる。本実施形態では、相加平均を採用する。このように左視点の画像と右視点の画像の平均値を新たなG画素位置の視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

５）視差なし基準画像の生成
こうしてG成分の照度バランスが揃い、視差の消滅したBayer面M_N(x,y)から、従来の色補間の技術を用いてセンサーが持つ画素数相当のナイキスト周波数にまで分解能をもつ視差なしのカラー画像を中間画像として生成することができる。例えば、公知のBayer補間技術の最も優れた例として、本出願人と同一発明者のUS公開2010/021853に示される補間アルゴリズムがある。この技術には、本出願人と同一発明者の方向判定の分解能を上げて縦横のナイキスト周波数を解像する技術USP6,836,572や、補間値算出時の斜め方向の分解能を上げる技術USP7,236,628、色判定法による適応的偽色対策技術と方向判定の分解能を上げる技術USP7,565,007、色勾配判定法による適応的偽色対策技術USP7,391,903と方向判定の分解能を上げる技術への適用が総合的に用いられた最良の高性能デモザイク技術が導入されている。

以下ではそれらの全てを示さずに、輝度を担うG成分の縦横ナイキスト解像と斜め解像を上げていく部分とR,B成分の分解能を上げるために色差補間を用いる部分だけを取り出して記述する。

５−１）階調変換によるガンマ空間への移行
上述の高解像なBayer補間を行うために、更に均等ノイズ空間を実現する階調変換を行って、補間用のガンマ空間（画像処理空間）で、補間値の予測を行う。これは本出願人と同一発明者のUSP7,957,588によって導入された方法である。

入力信号をx、出力信号をyとし、入力信号の階調と出力信号の階調が共に、[0,1]の範囲で定義されるものとする。入出力特性は(x,y)=(0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Xの最大値をXmax、出力階調Yの最大値をYmaxとすると、x=X/Xmax、y=Y/Ymaxであり、階調変換は
によって行われる。
ここに、y=f(x)の階調特性は、
である。正のオフセット値εは、暗電流ノイズ成分が増える高感度の撮影条件になるほど大きな値を設定する。

５−２）色補間処理
色補間処理の部分については、本出願人と同一発明者のUSP7,957,588（WO2006/006373）に示された簡易な処理だけをもう一度、書き写す。ただし、(x,y)は[i,j]の記号を用いて説明する。また、階調変換後のM_N面上のG成分はG、R,B成分はZの記号を用いて参照する。

ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で表すことにする。

（方向判定）
ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。
ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。 第一項は、２画素間隔の同色間の類似度を表す同色間類似度を、第二項は、隣接画素間隔の異色間の類似度を表す異色間類似度である。異色間類似度は、縦横のナイキスト周波数を解像する能力がある。

上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出するものである。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出するものである。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］における縦横の類似度に基づいて次式（５）により類似性の方向を判定する。

ただし、Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。

（Ｇ補間）
ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。すなわち、周辺のＧ成分の内分点補間だけでは予測できない外分点に補間すべきか否かの情報を補間対象位置に存在する他の色成分の情報と近傍に位置するそれと同じ色成分の情報を見て、画像構造が上に凸なのか下に凸なのかを判断することによって得ることができる。すなわち、他の色成分のサンプリングによって得られた高周波成分の情報を補間対象色成分に重畳する。Ｇ色補完は、WO2006/006373のたとえば図４で示される中央のＲ画素の位置［i,j］に対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、WO2006/006373の図５によって示される。

ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。第一項の補間対象の色成分の平均値に対して、第二項の他の色成分による二次微分の補正項を加えることによって、斜め方向の空間分解能を上げる作用をする。

上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことから、便宜的に外挿補間と呼ぶことにする。

上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。
ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。

（Ｒ補間）
Ｒ色補間は、WO2006/006373のたとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)〜(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図７）の凸凹情報が利用される。

上式(１１)〜(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)〜(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ−Ｇを生成し、この色差面内で平均補間する方式と等価である。

（Ｂ補間）
Ｂ成分補間についてもＲ成分と同様に補間処理を行う。WO2006/006373のたとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)〜(１６)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（WO2006/006373の図９）の凸凹情報が利用される。

上式(１４)〜(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ−Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ−Ｇ、色差Ｂ−Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。

５−３）逆階調変換による元の線形階調空間への移行
Bayer補間されたRGB各色面に対して、ステップ５−１の逆階調変換を施し、線形階調のRGBデータに戻す。
こうして、得られた視差なしのRGBカラー画像をR_N(x,y)、G_N(x,y)、B_N(x,y)によって表す。これらは線形階調で表されたRGBデータである。

６）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)を生成する。これは、仮の視差画像が持つ視差成分を重畳することによって変位処理を実現するため、視差変調と呼ぶことができる。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用するのがよい。したがって、本実施形態では相加平均を基準点とする方式を用いる。

このように、ステップ６で定義した視差変調演算式と、ステップ４で定義した左右間の照度ムラ補正のための視差消滅演算式（ローカル・ゲインバランス補正）とがちょうど逆比の関係にある項を掛けて変調を加えていることがわかる。したがって、ステップ６では視差が加わる方向に働き、ステップ４では視差が消滅する方向に働く。

７）出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)と高解像の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)、高解像の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)のそれぞれをセンサーの分光特性のカメラRGBから標準的なsRGB色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

効果１
単眼瞳分割方式特有の特性を踏まえた解決策として、左右間の照度分布の不一致と視差の存在による被写体位置の不一致を同時に消滅させる効果。すなわち、ボケの中にだけ視差が発生するという被写体像の性質をうまく利用して、平均操作によって空間解像をできるだけ落とすことなく、視差ずれと照度差の２つの問題を一致させて、視差なしの中間画像を生成することができる。
効果２
従来のデモザイク技術の資産をそのまま引き継いで利用することができ、高解像な画像を生成することができる。

尚書き１
視差なし画素を全開口から半開口に変える説明図。図６。
実施形態１〜３では視差なし画素が、左視差画素と右視差画素の開口面積の和である全開口のときのボケ幅を持っているので、視差あり画素において視差なし画素値を生成するための照度分布補正では、左と右の視差画素値の相加平均をとることによって、撮像された視差なし画素の被写体像のボケ幅と一致させる方策をとった。更に、最後に視差変調を加えるとき、視差なしカラー画像が全開口のボケ幅と一致する被写体像を形成しているので、比を一定に保つ視差変調の分母には左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右のカラー画像が再度、半開口のボケ幅をもつ像となるように変調を加えた。

これに対し、実施形態１〜３の視差なし画素が、左視差画素と右視差画素と同じ形状で同じ開口面積の開口マスクが、画素の中央に配置されているとき、視差あり画素において視差なし画素値を生成するための照度分布補正では、左と右の視差画素値の平均値として相乗平均を用いて、撮像された視差なし画素の被写体像のボケ幅と一致させる対策をとる。更に、最後に視差変調を加えるとき、視差なしカラー画像が半開口のボケ幅と一致する被写体像を形成しているので、比を一定に保つ視差変調の分母には左視点像と右視点像の相乗平均による半開口のボケ幅を持った像を基準点にとり、視差変調後の左右のカラー画像も再度、半開口のボケ幅をもつ像となるように変調を加える。

すなわち、視差なし画素が全開口のマスク面積を持つときは、照度ムラ補正のための視差消滅処理のときも最後に視差変調を加える処理のときも全て相加平均を基準点とした演算を行うのがよい。一方で、視差なし画素が半開口のマスク面積を持つときは、照度ムラ補正のための視差消滅処理のときも最後に視差変調を加える処理のときも全て相乗平均を基準点とした演算を行うのがよい。
この考え方は、以下の実施形態でも全て共通である。

＜実施形態２＞
−−−Bayer型RGB疎な視差画素配列−−−
図４の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各色と各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をした撮像素子である。視差なし画素も視差あり画素もBayer配列を基本構造としており、左視差画素にも右視差画素にもR:G:B=1:2:1のカラーフィルタを配置した構造をしている。すなわち、実施形態１よりも更に原信号で捉える視差なしの中間画像の解像力を重視し、その高周波成分を視差変調によって、左視差画素と右視差画素に重畳することによって高解像な立体画像を得ようとするものである。したがって、非合焦域においても高解像な２D画像と３D画像を得る能力をもつ色・視差配列である。
フローチャート：実施形態１と同じ。

詳細説明
１）色・視差多重化モザイク画像データ入力
図４の色と視差の多重化された単板式モザイク画像：M(x,y)
階調はA/D変換によって出力された線形階調であるものとする。

便宜的にモザイク画像M(x,y)の内、
R成分の視差なし画素の信号面をR_{N_mosaic}(x,y)、
R成分の左視差画素の信号面をR_{Lt_mosaic}(x,y)、
R成分の右視差画素の信号面をR_{Rt_mosaic}(x,y)、
G成分の左視差画素の信号面をG_{N_mosaic}(x,y)、
G成分の視差なし画素の信号面をG_{Lt_mosaic}(x,y)、
G成分の右視差画素の信号面をG_{Rt_mosaic}(x,y)、
B成分の視差なし画素の信号面をB_{N_mosaic}(x,y)、
B成分の左視差画素の信号面をB_{Lt_mosaic}(x,y)、
B成分の右視差画素の信号面をB_{Rt_mosaic}(x,y)
と表すことにする。

全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めたG色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたG色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたG色面内の単純平均補間を行う。同様の処理をR,G,Bの各々について行う。すなわち、R_{Lt_mosaic}(x,y)からR_Lt(x,y)を、R_{Rt_mosaic}(x,y)からR_Rt(x,y)を、R_{N_mosaic}(x,y)からR_N(x,y)を、G_{Lt_mosaic}(x,y)からG_Lt(x,y)を、G_{Rt_mosaic}(x,y)からG_Rt(x,y)を、G_{N_mosaic}(x,y)からG_N(x,y)を、B_{Lt_mosaic}(x,y)からB_Lt(x,y)を、B_{Rt_mosaic}(x,y)からG_Rt(x,y)を、B_{N_mosaic}(x,y)からG_N(x,y)を生成する。
仮のR成分の視差なし画像：R_N(x,y)
仮のG成分の視差なし画像：G_N(x,y)
仮のB成分の視差なし画像：B_N(x,y)
仮のR成分の左視差画像：R_Lt(x,y)
仮のG成分の左視差画像：G_Lt(x,y)
仮のB成分の左視差画像：B_Lt(x,y)
仮のR成分の右視差画像：R_Rt(x,y)
仮のG成分の右視差画像：G_Rt(x,y)
仮のB成分の右視差画像：B_Rt(x,y)
なお、仮の視差なし画像R_N(x,y)、G_N(x,y)、B_N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しいBayer面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したBayer面が出来上がる。これをM_N(x,y)と書くことにする。

この場合も、各画素の基準点として揃える目標値の設定方法に、左右間の視差を消滅させる方法に、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶ必要がある。一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶ必要がある。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているから、そのボケ幅を保存する必要がある。したがって、このときには共通に相乗平均をとらなければならない。以下にそれらの具体式を挙げる。

このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Bayer面のデータを書き換え、視差なしBayer面の画像M_N(x,y)を出力する。

５）視差なし基準画像の生成
実施形態１と同様である。
６）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差のカラー画像R_Lt(x,y)、G_Lt(x,y)、B_Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い左視差のカラー画像R'_Lt(x,y)、G'_Lt(x,y)、B'_Lt(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像R_Rt(x,y)、G_Rt(x,y)、B_Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像R_N(x,y)、G_N(x,y)、B_N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像R'_Rt(x,y)、G'_Rt(x,y)、B'_Rt(x,y)を生成する。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。

７）出力色空間への変換
実施形態１と同様である。
＜実施形態３＞
−−−モノクロ疎な視差画素配列−−−
図５の上段の配列図を基本格子として、周期的に配置された撮像素子を用いた例を示す。その逆格子空間の周波数解像領域も各視差の組み合わせについて示す。この配列は、単眼瞳分割方式のボケた被写体領域にしか視差を生じないという性質を捉えて、視差画素の密度を疎な配置にし、残りの画素を視差なし画素にできるだけ割り当てた構造をしたモノクロ撮像素子である。

フローチャート
１）視差多重化モザイク画像データ入力
２）視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
５）実際の視差画像の生成
７）出力空間への変換

全ての視差なし画素が全開口のマスクを持っているとき相加平均型の方式を採用する。全ての視差なし画素が半開口のマスクを持っているとき相乗平均型の方式を採用する。従って、本実施形態では相加平均型を採用する。こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をM'(x,y)として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能の仮の左視差画像と仮の右視差画像を生成する。
左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Lt_mosaic(x,y)からLt(x,y)を、Rt_mosaic(x,y)からRt(x,y)を、N_mosaic(x,y)から N(x,y)を生成する。
仮の視差なし画像：N(x,y)
仮の左視差画像：Lt(x,y)
仮の右視差画像：Rt(x,y)
なお、仮の視差なし画像N(x,y)を作るときは、信号面内での方向判定を導入して高精細に行ってもよい。

４）左右の照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間で更に照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをN(x,y)と書くことにする。

このように左視点の画像と右視点の画像の平均値を更に視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像N(x,y)を出力する。

５）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差画像Lt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い左視差のモノクロ画像Lt'(x,y)を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Rt(x,y)とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像N(x,y)を用いて、実際に出力する解像力の高い右視差のカラー画像Rt'(x,y)を生成する。

視差変調の方式として、相加平均を基準点にとる方法と相乗平均を基準点にとる方法の２通りが考えられる。どちらも視差変調効果を得ることができるが、撮像素子の視差なし画素の開口マスクが全開口のとき相加平均を基準点とした方式を採用し、視差なし画素の開口マスクが視差あり画素と同じ半開口のとき相乗平均を基準点とした方式を採用する。したがって、本実施形態では相加平均を基準点とする方式を用いる。

６）出力色空間への変換
こうして得られた高解像な視差なしの中間モノクロ画像N(x,y)と高解像の左視差のモノクロ画像Lt'(x,y)、高解像の右視差のモノクロ画像Rt'(x,y)のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。
＜尚書き＞
−−−従来の全て視差画素配列−−−
従来技術の特許文献１に示された左視差画素と右視差画素のみが敷き詰められたBayer配列の撮像素子に対しても、実施形態１で示したG視差画素と同様の処理をR視差画素とB視差画素に対しても行い、視差のないBayer配列を作ることができる。それに対して、従来のBayer補間を施したものを中間画像として生成し、R,G,B各々から得られる解像度の低い視差画像を利用して、実施形態２と同様の手法を用いて視差変調を加えて、高解像の左視差カラー画像と右視差カラー画像を作ることができる。こうして従来型の撮像素子で生じる左右の視差画素の間での照度ムラ問題に対処することができる。

なお、実施形態１〜３では、左右の視差画素の説明を行ってきたが、これらの撮像素子を９０°回転して上下に視差が得られるようにしても、照度ムラ補正は全く同様に行うことができる。また、４５°回転して斜めに視差がつく撮像素子でも全く同様である。

＜実施形態４＞
図７は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図７の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図７では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、カラー画像データおよび視差画像データの対象画素位置から画素値を抽出する画素値抽出部２３１、抽出した画素値を用いて対象画素位置におけるカラー画像データとしての画素値を算出する算出部２３３を有する。それぞれの処理の詳細については、後述する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図８は、撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図９は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図９に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。

図１０は、視差画素と被写体の関係を説明する概念図である。特に図１０（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図１０（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図１０（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図１０（ｃ）は、図１０（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図１０（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図１０（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図１０の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図１０（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図１０（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図１０（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図１１は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
このようにモノクロ６視差の場合、視差なしの２Ｄ中間画像を作成するために、視差消滅と照度ムラに対処する方法は実施形態３の延長線上で考えることができる。すなわち、視差を消滅させるためにＩｍ＿ｆとＩｍ＿ａとの間で相加平均をとった画像データをＩｍ＿ａｆとする。同様にＩｍ＿ｅとＩｍ＿ｂとの間で相加平均をとったものをＩｍ＿ｂｅとする。更に、Ｉｍ＿ｄとＩｍ＿ｃとの間で相加平均をとったものをＩｍ＿ｃｄとする。これら視差の消滅した３つの画像の照度レベルを合わせるため最終出力画像Ｉｍ＿ｏｕｔとして、３つの画像の相加平均をとる。すなわち、Ｉｍ＿ｏｕｔ＝（Ｉｍ＿ａｆ+Ｉｍ＿ｂｅ+Ｉｍ＿ｃｄ）／３。こうして得られる出力画像Ｉｍ＿ｏｕｔは、照度差の影響が取り除かれた視差なしの２Ｄ画像で、６視差に亘るボケ幅を全て１つに合わせた広いボケ幅、すなわち全開口マスクを備えた視差なし画素と同じボケ幅の被写体の画像が得られる。

＜実施形態１の追加説明＞
カラーフィルタ１０２と視差画像について説明する。図１２は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、さらにＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。ただし、この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、さらにＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。ただし、この場合、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。繰り返しパターン１１０において、例えば２種類の視差画素が割り当てられている場合には、それぞれの視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素と想定することができる。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図１３は、視差なし画素におけるデフォーカスの概念を説明する図である。図１３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図１３（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

また、図１３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図１４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。

図１４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図１４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図１４（ｃ）に示すように、さらに物点が焦点位置からずれると、図１４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。

図１３で説明した光強度分布の変化と、図１４で説明した光強度分布の変化をそれぞれグラフ化すると、図１５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

図１５（ａ）は、図１３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図１３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図１３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図１３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図１５（ｂ）は、図１４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図１４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図１４（ｂ）に対して同等のデフォーカス状態である図１３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図１４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図１４（ｃ）に対して同等のデフォーカス状態である図１３（ｃ）の分布曲線１８０３と相似形状を示す。

図１６は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図１６（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図１６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。また、開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、基準方向に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図１６（ｂ）は、図１６（ａ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図１５（ｂ）の分布曲線１８０４、曲線Ｒｔは図１５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図１５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図１５（ｂ）の合成分布曲線１８０６で示される、Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図１６（ｃ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状と、視差Ｃ画素の開口部１０４ｃの形状とが、全て同形状である例を示している。ここで、視差Ｃ画素は、偏心のない画素をいう。視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で、厳密には、視差画像を出力する視差画素である。しかしながら、ここでは、基準方向に対応する開口部を有する画素を視差なし画素と定義する。したがって、基準方向として、図１６（ａ）の視差なし画素と同様に光電変換素子の中央に開口部を有する図１６（ｃ）の視差Ｃ画素は、視差なし画素である。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図１６（ａ）で示した開口部１０４ｎの半分の面積である。図１６（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。

図１６（ｄ）は、図１６（ｃ）で示した各開口部を有する画素において、物点が焦点位置からずれた場合の光強度分布を示す。図中において、曲線Ｌｔは図１５（ｂ）の分布曲線１８０４、曲線Ｒｔは図１５（ｂ）の分布曲線１８０５にそれぞれ相当する。また、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差Ｃ画素のボケ幅は、視差Ｌｔ画素および視差Ｒｔ画素のボケ幅と同程度となる。

図１７は、視差画素の種類が２つである場合の繰り返しパターン１１０の一例を示す図である。デジタルカメラ１０の座標系は、Ｘ軸、Ｙ軸、Ｚ軸で定義したが、撮像素子１００においては、左端かつ上端の画素を基準に右方向にｘ軸を、下方向にｙ軸を定義する。図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。この繰り返しパターン１１０は、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。また、この例では、図１６（ａ）で説明したように、視差なし画素が全開口の開口部であり、視差Ｌｔ画素および視差Ｒｔ画素が半開口の開口部であるとする。なお、画素ピッチをａとする。

図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。なお、詳しくは後述するが、本実施の形態においては、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、変換演算によって比較的簡易な処理により取得する。

図１（下段）は、図１７に示す繰り返しパターン１１０が採用された撮像素子で撮像された画像の空間周波数に関する分解能を示す図である。図１（下段）では、空間周波数に関する分解能は、ｋ＝２πｆで表される波数ｋのｋ空間（ｋ−ｓｐａｃｅ）で記述されている。ただし、ｆは周波数を示す。周波数解像域は、逆格子空間の単位胞（ウィグナー・ザイツ・セル）を表す第一ブリルアンゾーンによって記述される。

上述のように画素ピッチをａとすると、カラーフィルタおよび開口マスクが配置されていなければ、撮像された画像は、点線で囲われたナイキスト周波数ｋ_ｘ＝［−π／ａ，＋π／ａ］、ｋ_ｙ＝［−π／ａ，＋π／ａ］の範囲の解像力を持つ。つまり、点線で囲われた範囲が、画像が持つ限界解像周波数となる。ただし、本実施の形態においては、カラーフィルタと開口マスクが、１つのセンサ面に重ね合わせて配置されている。１つのセンサ面で捉えられる情報は一定であるので、機能を分けることによってそれぞれの情報量が減ることになる。例えば、開口マスクによって視差画素が形成されることにより、相対的に視差なし画素数は減少するので、視差なし画素により得られる情報量は減ることになる。カラーフィルタについても同様であり、Ｒ，Ｇ，Ｂの３つに分けた分だけ、個々の情報量は減ることになる。

したがって、特定の開口マスクにおける特定色の画像に着目すると、当該画像の限界解像周波数は、本来有するナイキスト周波数に達しない。具体的には、図示するように、例えば左側視点のＧ成分の画像Ｇ_Ｌｔは、ｋ_ｘ軸、ｋ_ｙ軸の両方向に対して、本来有するナイキスト周波数の半分の領域である、ｋ_ｘ＝［−π／（２ａ），＋π／（２ａ）］、ｋ_ｙ＝［−π／（２ａ），＋π／（２ａ）］の範囲の解像力しか持たない。右側視点のＧ成分の画像Ｇ_Ｒｔ、視差がない中間視点のＲ成分の画像Ｒ_Ｎ、視差がない中間視点のＢ成分の画像Ｂ_Ｎについても同様である。

したがって、このままでは、左側視点のＲＧＢのカラー画像と右側視点のＲＧＢのカラー画像を生成したとしても、これらの画像の解像力は、ｋ_ｘ＝［−π／（２ａ），＋π／（２ａ）］、ｋ_ｙ＝［−π／（２ａ），＋π／（２ａ）］の範囲である。つまり、これらの画像は、本来有するナイキスト周波数ｋ_ｘ＝［−π／ａ，＋π／ａ］、ｋ_ｙ＝［−π／ａ，＋π／ａ］の範囲の解像力を持たない。

本実施の形態においては、画像処理部２０５が、機能を分けることによって減少した情報量を補うべく、解像度を上げるための処理を行う。具体的には、視差画素であるＧ_Ｌｔ画素およびＧ_Ｒｔ画素を、仮想的な視差なし画素Ｇ_Ｎで置き換えることで、視差なし画素のみからなるベイヤー配列を生成する。そうすると、既存のベイヤー補間の技術を利用して、視差がない中間画像として、本来のナイキスト周波数ｋ_ｘ＝［−π／ａ，＋π／ａ］、ｋ_ｙ＝［−π／ａ，＋π／ａ］の範囲の解像力を持つカラー画像を生成することができる。さらにその後、周波数空間において小さな解像力しか持たない左側視点の画像と視差がない中間画像を重畳することによって、最終的には、本来のナイキスト周波数の範囲の解像力を持つ左側視点のカラー画像を生成することができる。右側視点のカラー画像についても同様のことが言える。

なお、図１７に示した画素配列における各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素が、さまざまに組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図１１を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データであるモザイク画像データＭ_{ｍｏｓａｉｃ}（ｘ，ｙ）を受け取る。ここで、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けている画像をモザイク画像といい、モザイク画像を形成するデータをモザイク画像データという。ただし、各画素においてＲ、Ｇ、Ｂの少なくとも一つの情報が欠けていたとしても、そもそも画像として扱わない場合、例えば画像データが単色の画素の画素値によって構成させる場合には、モザイク画像として扱わない。なお、各出力値は、撮像素子１００の各光電変換素子が受光する受光量に比例した線形階調の値である。

本実施の形態においては、画像処理部２０５が、この段階で左右間の全体的な明るさの整合をとるためのゲイン補正を行う。左視差画素に入射する光の照度と右視差画素に入射する光の照度には、開口絞りを絞るほど、左右間の相対的な分布だけではなく、画像全体の平均信号レベルとしても大きな差が生じるためである。本実施形態において、左右間の全体的な明るさの整合をとるためのゲイン補正を、グローバル・ゲイン補正という。

図１８は、ゲイン値の算出を説明するための図である。便宜的に、モザイク画像データＭ_{ｍｏｓａｉｃ}（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）と表し、図１８においても、左右の視差画素のみを抽出して図示している。ただし、図においては、図１７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

図１９は、ゲイン補正を説明するための図である。画像処理部２０５の算出部２３３は、左右の視差画素に対するゲイン値を算出すると、図示するように、Ｌｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）およびＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）の各画素に対して、算出したゲイン値を用いてゲイン補正を行う。具体的には、以下の（数１）により左視差画素に対するゲイン補正を、（数２）により右視差画素に対するゲイン補正を行う。なお、便宜的に、モザイク画像データＭ' _{ｍｏｓａｉｃ}（ｘ，ｙ）の内、Ｇ成分の左視差画素のモザイク画像データをＬｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素のモザイク画像データをＲｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）と表す。
これにより、画像処理部２０５の算出部２３３は、図示するように、Ｍ_{ｍｏｓａｉｃ}（ｘ，ｙ）内の左視差画素および右視差画素がそれぞれ１つのゲイン係数で補正されたモザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を生成することができる。次に、画像処理部２０５は、仮の視差画像として、空間周波数解像度の低い左視差画像と右視差画像を生成する。

図２０は、仮の視差画像の生成を説明するための図である。画像処理部２０５は、まず、モザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を複数のプレーンデータに分離する。この時点における各プレーンデータは、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。そこで、画像処理部２０５は、各プレーンデータを基に補間処理を行い、空格子が埋められたプレーンデータを生成する。

図２０において、上図の左側は、モザイク画像データＭ'_{ｍｏｓａｉｃ}（ｘ，ｙ）から左視差画素のみを抽出したプレーンデータであるＬｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を示す図、右側は、右視差画素のみを抽出したプレーンデータであるＲｔ'_{ｍｏｓａｉｃ}（ｘ，ｙ）を示す図である。各図においては、図１７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

空間周波数解像度の低い左視差画像データであるＬｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の算出部２３３は、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_Ｌ１の画素値は、斜め方向に隣接する４つの左視差画素の画素値を平均化演算して算出される。画像処理部２０５の算出部２３３は、全ての空格子に対して、周辺の左視差画素の画素値を平均化演算し補間処理を行うことによって、図２０の下左図に示すように、空格子が埋められたプレーンデータであるＬｔ'（ｘ，ｙ）を生成する。なお、画像処理部２０５の算出部２３３は、補間処理により算出された画素値を用いて、さらに補間処理を行ってもよいし、ＲＡＷ元画像データの段階で存在する出力値のみを用いて補間処理を行ってもよい。

同様に、空間周波数解像度の低い右視差画像データであるＲｔ'（ｘ，ｙ）を生成するにあたり、画像処理部２０５の算出部２３３は、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_Ｒ１の画素値は、斜め方向に隣接する４つの右視差画素の画素値を平均化演算して算出される。画像処理部２０５の算出部２３３は、全ての空格子に対して、周辺の右視差画素の画素値を平均化演算し補間処理を行うことによって、図２０の下右図に示すように、空格子が埋められたプレーンデータであるＲｔ'（ｘ，ｙ）を生成する。

次に、画像処理部２０５の算出部２３３は、Ｌｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行い、同様に、Ｒｔ'（ｘ，ｙ）の各画素に対して、それぞれ算出されたゲイン値を用いてゲイン補正を行う。これにより、同一の画素位置における左視差画素と右視差画素の照度を合わせる。本実施形態において、このように、画素単位に算出されたゲイン値を用いたゲイン補正を、上述のグローバル・ゲイン補正に対し、ローカル・ゲイン補正という。

図２１は、ゲイン値の算出を説明するための図である。図示するように、画像処理部２０５の算出部２３３は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）から、画素毎の平均値を算出する。ローカル・ゲイン補正を行うにあたり、ここでも、平均値の算出方法として相加平均と相乗平均の２通りが考えられる。ここでは、視差が消滅したＧ成分の視差なし画素における被写体像のボケ幅を、視差なし画素の被写体像のボケ幅に一致させるべく、相加平均を採用する。この場合、具体的には、画像処理部２０５の算出部２３３は、以下の（数３）により平均値を算出する。

図２２は、ローカル・ゲイン補正を説明するための図である。上述のように、各画素に対してローカル・ゲイン補正を行う処理によって平均値が得られる。したがって、画像処理部２０５の算出部２３３は、図示するように、繰り返しパターン１１０の左右の視差画素の画素値をそれぞれ、（数３）で算出したｍ（ｘ_ｍ、ｙ_ｎ）、ｍ（ｘ_ｍ＋１、ｙ_ｎ＋１）に置き換えるだけで、ローカル・ゲイン補正を行うことができる。この意味で、ローカル・ゲイン補正は、視差を消滅させるための変調処理であると言える。これにより、視差Ｇｂ画素および視差Ｇｒ画素の画素値が視差なしＧ画素の画素値に置き換えられたベイヤー配列を得ることができる。

画像処理部２０５の算出部２３３は、全ての左右の視差画素の画素値を（数３）で算出した対応する平均値に置き換えることによって、Ｍ_Ｎ（ｘ、ｙ）を生成する。なお、ローカル・ゲイン補正は、Ｌｔ'（ｘ，ｙ）およびＲｔ'（ｘ，ｙ）の全ての画素ではなく、ベイヤー配列における左視差画素および右視差画素の位置に対応する画素について行ってもよい。

次に、画像処理部２０５は、既存の色補間の技術を用いて、Ｍ_Ｎ（ｘ、ｙ）から、各画素がナイキスト周波数までの分解能を持つ視差なしのカラー画像データを、中間画像データとして生成する。

図２３は、Ｇ成分の補間を説明する図である。Ｇ色補間は、図２３左図で示される中央のＲ画素の位置［ｉ，ｊ］に対して、図中の画素を参照して算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は、図２３右図によって示される。

本実施形態においては、画像処理部２０５は、Ｌｔ'（ｘ、ｙ）、Ｒｔ'（ｘ、ｙ）、Ｒ_Ｎ（ｘ、ｙ）、Ｇ_Ｎ（ｘ、ｙ）、Ｂ_Ｎ（ｘ、ｙ）の５つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的には、画像処理部２０５は、仮の視差画像が持つ視差成分を視差なし画像に重畳することによって、左右のカラー画像データを生成する。この生成処理を視差変調処理という。

左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲ_Ｌｔ（ｘ、ｙ）、緑色プレーンデータであるＧ_Ｌｔ（ｘ、ｙ）、および青色プレーンデータであるＢ_Ｌｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲ_Ｒｔ（ｘ、ｙ）、緑色プレーンデータであるＧ_Ｒｔ（ｘ、ｙ）、および青色プレーンデータであるＢ_Ｒｔ（ｘ、ｙ）の３つのカラー視差プレーンデータによって構成される。

図２４は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、Ｒ_Ｌｔ（ｘ、ｙ）とＲ_Ｒｔ（ｘ、ｙ）の生成処理について示す。

以上の説明においては、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。

上述においては、例えば画像処理部２０５が含む画素値抽出部２３１および算出部２３３などは、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。また、制御部２０１および画像処理部２０５を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。また、カラー画像データを生成するこれらの処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、例えばＲＡＷ元画像データを取得してカラー画像データを生成する。画像処理装置は、ＲＡＷ元画像データを取得した場合は、上述のプレーン分離処理、プレーンデータの補間処理も実行する。また、画像処理装置は、撮像装置側で補間処理が施されたプレーンデータを取得しても良い。パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体、インターネットなどのデータ信号を通じて提供することができる。

以上の実施形態２に関する説明では、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作に、ボケ幅を共通にする目的で相乗平均を用いた。視差なし画素の画素値と左右の視差画素の平均値との相乗平均を算出する場合に、当該画素値に対する重みと当該平均値に対する重みの配分は均等であった。一方、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。上述したように、例えば視差なし画像であるＲ_Ｎ、Ｂ_Ｎのナイキスト限界性能がkx=[-π/(2a),+π/(2a)]、ky=[-π/(2a),+π/(2a)]であるのに対し、視差画像であるＲ_Ｌｔ、Ｂ_Ｌｔ、Ｒ_Ｒｔ、Ｂ_Ｒｔのナイキスト限界性能は、kx=[-π/(8a),+π/(8a)]、ky=[-π/(8a),+π/(8a)]である。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、実施形態２で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差画素には７／８乗の重みを、視差なし画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。

上述したように、左右間の視差を消滅させる方法には、相加平均を選ぶ方法と相乗平均を選ぶ方法の２種類が存在する。全ての視差なし画素が全開口のマスク面積を持っている場合には、左右間で視差消滅させた被写体像のボケ幅が全開口のボケ幅と一致させるために相加平均型を選ぶとよい。以下のａ）は、相加平均型を選んだ場合について示す。

一方、全ての視差なし画素が半開口のマスク面積を持っているとき、左右間で視差消滅させた被写体像のボケ幅が半開口のボケ幅と一致させるために相乗平均型を選ぶとよい。以下のｂ）は、相乗平均型を選んだ場合について示す。

また、視差変調を行うときも、撮像素子上の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとることもできる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。以下のａ）は、相加平均を基準点とした視差変調について示す。

以下のｂ）は、相乗平均を基準点とした視差変調について示す。

モノクロ撮像素子を用いた場合も撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れた相乗平均をとることができる。具体的には、実施形態３で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比はＮ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差なし画素には７／８乗の重みを、視差画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。以下のａ）は、左右間の視差を消滅させる方法として相加平均型を選んだ場合について示す。

以下のｂ）は、左右間の視差を消滅させる方法として相乗平均型を選んだ場合について示す。

撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相加平均をとることもできる。特に上述した各実施形態で説明した演算をハードウェアで実現する場合に有効である。ここでは、一例として、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる場合について示す。視差変調を行う場合、モノクロ撮像素子を用いた場合についても同様に相加平均をとることができる。以下のａ）は、左右間の視差を消滅させる方法として相加平均型を選んだ場合について示す。

以下のｂ）は、左右間の視差を消滅させる方法として相乗平均型を選んだ場合について示す。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 画素値抽出部、２３３ 算出部、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (22)

1. 第１〜第n（n≧２）の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなり、第１の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と右方向の視差を生み出す開口マスクを備えた右視差画素の少なくとも２種類の画素を配置し、第２〜第nの色成分を有する画素には、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも１種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
   前記各々の画素に対して、基準方向の視点に関する第１〜第nの色成分の色情報を有する第２の画像に変換する画像処理方法であって、
   第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第１色成分の色情報と、前記生成された左方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
   前記算出された第１の色成分の２視点の間の平均値の色情報と、第１の画像の第２〜第nの色成分の色情報を合わせて、１つの画素に１つの色成分の色情報を有する第３の画像を出力する手順と、
   前記第３の画像の色情報に基づいて、前記第２の画像を生成する手順と
   を備えたことを特徴とする画像処理方法。
2. 第１〜第n（n≧１）の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなり、第１の色成分を有する画素には、基準方向に対して左方向の視差を生み出す開口マスクを備えた左視差画素と、右方向の視差を生み出す開口マスクを備えた右視差画素と、基準方向の視点を生み出す開口マスクを備えた視差なし画素の少なくとも３種類の画素を配置した画素配列からなる撮像素子を用いて、１つの光学系を通して被写体像を左方向の視点と右方向の視点と基準方向の視点を同時にそれぞれ異なる画素に撮像した第１の画像を入力し、
   前記各々の画素に対して、基準方向の視点に関する第１〜第nの色成分の色情報を有する第２の画像に変換する画像処理方法であって、
   第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の左視差画素の位置に、撮像された第１の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の左視差画素の位置上で、撮像素子によって撮像された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の左視差画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、前記生成された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の右視差画素の位置に、撮像された第１の色成分の視差なし画素の色情報を用いて、基準方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の右視差画素の位置上で、撮像素子によって撮像された右方向の視点に関する第１色成分の色情報と、前記生成された左方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の右視差画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、前記生成された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の視差なし画素の位置に、撮像された第１の色成分の左視差画素の色情報を用いて、左方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の視差なし画素の位置に、撮像された第１の色成分の右視差画素の色情報を用いて、右方向の視点に関する第１の色成分の色情報を生成する手順と、
   第１の画像の第１の色成分の視差なし画素の位置上で、戦記生成された左方向の視点に関する第１色成分の色情報と、前記生成された右方向の視点に関する第１色成分の色情報との２視点の間の平均値を算出する手順と、
   第１の画像の第１の色成分の視差なし画素の位置上で、前記算出された左方向の視点と右方向の視点の２視点の間の第１色成分の平均値の色情報と、撮像素子によって撮像された基準方向の視点に関する第１色成分の色情報との３視点の間の平均値を算出する手順と、
   前記算出された第１の色成分の３視点の間の平均値の色情報と、第１の画像のその他の色成分の色情報を合わせて、１つの画素に１つの色成分の色情報を有する第３の画像を出力する手順と、
   前記第３の画像の色情報に基づいて、前記第２の画像を生成する手順と
   を備えたことを特徴とする画像処理方法。
3. 請求項１、２に記載の画像処理方法は更に、
   第１の色成分の左視差画素の色情報を用いて、各々の画素に第１の色成分の左方向の視点の画像を生成する手順と、
   第１の色成分の右視差画素の色情報を用いて、各々の画素に第１の色成分の右方向の視点の画像を生成する手順と、
   前記生成された第１の色成分の左方向の視点の画像と、前記第１〜第nの色成分の基準方向の視点の第２の画像を少なくとも用いて、第１〜第nの色成分を有した左方向の視点の画像を新たに生成する手順と、
   前記生成された第１の色成分の右方向の視点の画像と、前記第１〜第nの色成分の基準方向の視点の第２の画像を少なくとも用いて、第１〜第nの色成分を有した右方向の視点の画像を新たに生成する手順と
   を備えたことを特徴とする。
4. 請求項１、２に記載の画像処理方法において、
   前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクを合わせた２倍の開口面積を有しているとき、前記左方向の視点と前記右方向の視点の２視点の間の平均値は相加平均を算出することを特徴とする。
5. 請求項１、２に記載の画像処理方法において、
   前記撮像素子の視差なし画素の開口マスクが、左視差画素の開口マスク及び右視差の開口マスクと同一の開口面積を有しているとき、前記左方向の視点と前記右方向の視点の２視点の間の平均値は相乗平均を算出することを特徴とする。
6. 請求項２に記載の画像処理方法において、
   前記３視点の間の平均値は相乗平均を算出することを特徴とする。
7. 請求項１、２に記載の画像処理方法において、
   前記第３の画像から第２の画像を生成する手順は、
   前記第３の画像の色情報を用いて、少なくとも２方向に関する類似度を算出する類似度算出手順と、
   前記類似度の大きさを比較して類似性の高い方向を判定する類似性判定手順と、
   前記類似性の高い方向の色情報を用いて第３の画像に欠落する色成分を補間する補間手順と
   を備えることを特徴とする。
8. 請求項７に記載の画像処理方法において、
   前記類似度算出手順は、同じ色成分の間の類似度を算出する同色間類似度算出部と、異なる色成分間の類似度を算出する異色間類似度算出部を備える。
9. 請求項１、２に記載の画像処理方法において、
   前記第３の画像から第２の画像を生成手順は、
   第３の画像に欠落する色成分を、欠落する色成分の色情報の他に、欠落する色成分とは異なる他の色成分の色情報も同時に用いて補間値を算出する補間手順を備えることを特徴とする。
10. 被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得部と、
    前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第４画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値とを平均化処理した第５画素値とを算出する算出部と、
    前記第１画素値、前記第４画素値および前記第５画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成部と
    を備える画像処理装置。
11. 被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値と、前記第２フィルタおよび前記基準方向に対応する視差なし開口部を有する第４画素の第４画素値とを含む第１画像データを取得する取得部と、
    前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第５画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第６画素値と、前記第４画素の画素位置に対し、当該画素位置における前記第４画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第７画素値とを算出する算出部と、
    前記第１画素値、前記第５画素値、前記第６画素値および前記第７画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成部と
    を備える画像処理装置。
12. 前記画像生成部は、前記第２画素値と前記算出部が算出した仮想的な前記第２画素値とを含む第１視差画像データ、前記第３画素値と前記算出部が算出した仮想的な前記第３画素値とを含む第２視差画像データ、および前記第２画像データを用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む、前記一方向と前記他方向における３Ｄ画像データである第３画像データを生成する請求項１０または１１に記載の画像処理装置。
13. 前記算出部は、前記平均化処理として相加平均を用いる請求項１０から１２のいずれか１項に記載の画像処理装置。
14. 前記算出部は、前記第１画素の視差なし開口部の開口面積が、前記第２画素の視差開口部の開口面積と前記第３画素の視差開口部の開口面積の和に等しい場合に、前記平均化処理として相加平均を用いる請求項１３に記載の画像処理装置。
15. 前記算出部は、前記平均化処理として相乗平均を用いる請求項１０から１２のいずれか１項に記載の画像処理装置。
16. 前記算出部は、前記第１画素の視差なし開口部の開口面積が、前記第２画素の視差開口部の開口面積、前記第３画素の視差開口部の開口面積と等しい場合に、前記平均化処理として相乗平均を用いる請求項１５に記載の画像処理装置。
17. 前記画像生成部は、各々の画素位置に前記複数の色成分のそれぞれに対する画素値を有する前記第２画像データを生成する場合は、対象画素位置に対して少なくとも２方向の画素位置に存在する画素の画素値を用いて演算される類似度に基づいて補間処理に用いる補間処理画素を定め、前記補間処理画素の画素値を用いて前記対象画素位置において欠落する色成分の画素値を算出する請求項１０から１６のいずれか１項に記載の画像処理装置。
18. 前記画像生成部は、前記類似度を、前記複数の色成分のうち同じ色成分の画素値を用いて演算する請求項１７に記載の画像処理装置。
19. 前記画像生成部は、前記類似度を、前記複数の色成分のうち異なる色成分の画素値を用いて演算する請求項１７に記載の画像処理装置。
20. 前記被写体像を撮像する撮像素子と、
    請求項１０から１９のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記第１画像データは、前記撮像素子の出力に基づいて生成される撮像装置。
21. 被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値とを含む第１画像データを取得する取得ステップと、
    前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第４画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値とを平均化処理した第５画素値とを算出する算出ステップと、
    前記第１画素値、前記第４画素値および前記第５画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップと
    をコンピュータに実行させる画像処理プログラム。
22. 被写体像のカラーを構成する複数の色成分のうち第１成分色の第１フィルタおよび基準方向に対応する視差なし開口部を有する第１画素の第１画素値と、前記複数の色成分のうち第２成分色の第２フィルタおよび前記基準方向に対する一方向に視差を生じさせる視差開口部を有する第２画素の第２画素値と、前記第２フィルタおよび前記一方向とは反対の他方向に視差を生じさせる視差開口部を有する第３画素の第３画素値と、前記第２フィルタおよび前記基準方向に対応する視差なし開口部を有する第４画素の第４画素値とを含む第１画像データを取得する取得ステップと、
    前記第２画素の画素位置に対し、当該画素位置における前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第５画素値と、前記第３画素の画素位置に対し、当該画素位置における前記第３画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第４画素の前記第４画素値を用いて算出した仮想的な前記第４画素値とを平均化処理した第６画素値と、前記第４画素の画素位置に対し、当該画素位置における前記第４画素値と、周辺の前記第２画素の前記第２画素値を用いて算出した仮想的な前記第２画素値と、周辺の前記第３画素の前記第３画素値を用いて算出した仮想的な前記第３画素値とを平均化処理した第７画素値とを算出する算出ステップと、
    前記第１画素値、前記第５画素値、前記第６画素値および前記第７画素値を用いて、少なくとも前記第１成分色と前記第２成分色の色情報を含む前記基準方向における２Ｄ画像データである第２画像データを生成する画像生成ステップと
    をコンピュータに実行させる画像処理プログラム。