JP5837463B2 - 画像処理装置および画像処理システム - Google Patents

Description

本発明の実施形態は、画像処理装置および画像処理システムに関する。

近年、携帯電話等のモバイル機器の多くにカメラが搭載されるようになってきており、このカメラの高解像度化が望まれている。ところが一般に、解像度が高いカメラは大型である。そのため、大型ではあるが高解像度のカメラを有するモバイル機器を実現するか、低解像度のカメラを有する小型なモバイル機器を実現するか、いずれかを選択せざるを得ないのが現状である。

特開２００６−１７１１４９号公報 特開２０１１−９７２８８号公報 米国特許出願公開第２０１１／８０４８７号明細書

小型な撮像装置を用いて解像感が高い画像を生成可能な画像処理装置および画像処理システムを提供する。

実施形態によれば、画像処理装置は、ずれ推定部と、デモザイク部とを備えている。前記ずれ推定部は、第１の撮像装置により撮影された第１の画像における第１の画素と、前記第１の撮像装置とフォーカス位置が異なる第２の撮像装置により撮像された第２の画像において対応する第２の画素と、のずれ量を推定する。前記デモザイク部は、前記第１の画像の各画素に対し、前記ずれ量に基づいて、前記第１の画素のピントが合っていると判断される場合には、前記対応する第２の画素の画素値を用いてデモザイク処理を行い、第１のデモザイク画像を生成する。

第１の実施形態に係る画像処理システムの概略構成を示すブロック図。 撮像装置１ａ，１ｂの画素配列を模式的に示す図。 撮像装置１ａ，１ｂの錯乱円サイズと、被写体と撮像装置１ａ，１ｂとの距離との関係を示す図。 ずれ推定部２１の内部構成の一例を示すブロック図。 ずれ推定部２１の処理動作の一例を示すフローチャート。 縮小部３１の処理動作を説明する図。 低解像度視差マップ生成部３２の処理動作を説明する図。 ＬＰＦ制御部３３の処理動作を説明する図。 ＬＰＦ部３４の処理動作を説明する図。 デモザイク部２２の内部構成の一例を示すブロック図。 デモザイク部２２の処理動作の一例を示すフローチャート。 判定部４１の処理動作を説明する図。 第２の実施形態に係る画像処理システムの概略構成を示すブロック図。 フォーカス変換部２４の内部構成の一例を示すブロック図。 フォーカス変換部２４の処理動作の一例を示すフローチャート。 フォーカス変換部２４の処理動作を説明する図。 フォーカス変換部２４の処理動作を説明する図。 フォーカス変換部２４の内部構成の一例を示す図。 フォーカス変換部２４の処理動作の一例を示すフローチャート。 フォーカス変換部２４の処理動作を説明する図。 オートフォーカス機能を有する撮像装置を用いる場合の、フォーカス位置調整の様子を示す図。 撮像装置の配置例を示す図。

以下、実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、複数の撮像装置１ａ，１ｂと、画像処理装置２とを備えている。撮像装置１ａ，１ｂは例えばＣＭＯＳカメラであり、これらと画像処理装置２とを同一の半導体チップ上に形成してカメラモジュールを形成してもよい。これにより、撮像装置１ａ，１ｂの位置ずれを抑制できる。あるいは、撮像装置１ａ，１ｂとは別個の装置で画像処理装置２の機能を実現してもよい。

撮像装置１ａ，１ｂは水平方向に８ｍｍ離れて配置されると仮定する。また、撮像装置１ａ，１ｂに共通する仕様として、以下を仮定する。

・焦点距離ｆ＝３．１ｍｍ
・Ｆ値＝２．２
・有効口径Ｄ＝１．４ｍｍ
・ピクセルサイズ＝１．４μｍ
・カラーフィルタ：ベイヤー配列
・画素数：２５６０ｘ１９２０＝約４．９Ｍ画素。

但し、両撮像装置１ａ，１ｂのフォーカス位置は互いに異なっており、それぞれ６０ｃｍおよび２０ｃｍの固定フォーカス（ＦＦ：Fixed Foucus）であると仮定する。すなわち、撮像装置１ａ，１ｂは、そのレンズからそれぞれ６０ｃｍおよび２０ｃｍ離れた被写体を、ピントが合った状態で撮影できる。なお、以上の仮定は例示にすぎず、本実施形態を何ら限定するものではない。

このように本実施形態では、約４．９Ｍ画素というそれほど高解像度ではなく、かつ、固定フォーカスの撮像装置１ａ，１ｂを用いる。よって画像処理システムを小型化できる。

図２は、撮像装置１ａ，１ｂにおける撮像素子の配列を模式的に示す図である。撮像装置１ａ，１ｂはそれぞれ、Ｒ撮像素子、Ｇ撮像素子およびＢ撮像素子を有する。各撮像素子は、半導体基板上に形成されるフォトダイオードのような光電変換素子上にカラーフィルタを配置したものであり、特定の波長の光の強度をサンプリングする。より具体的には、Ｒ撮像素子は可視光のうち長波長の光を、Ｇ撮像素子は中程度の波長の光を、Ｂ撮像素子は短波長の光をサンプリングする。

ベイヤー配列では、同図の一点鎖線で示す１単位に、１つずつのＲ撮像素子およびＢ撮像素子、ならびに、２つのＧ撮像素子が含まれる。そして各撮像素子によりサンプリングされた光の強度が、１つの画素値に対応する。このようなベイヤー配列では、位置ごとにサンプリングできる色が異なる。例えば、図２の位置１１では赤のみをサンプリングでき、緑および青をサンプリングできない。よって、位置１１に対応する画素では、緑および青の画素値を推測しなければならない。同様に、位置１２，１３の赤および青の画素値、位置１４の赤および緑の画素値を推測しなければならない。この推測処理はデモザイク処理と呼ばれ、図１の画像処理装置２によって行われる。

サンプリング定理から明らかなように、高周波パターンに対してデモザイク処理を行うと、偽色やモアレ（以下、アーティファクトという）が生じる。そこで、本実施形態では、フォーカス位置が異なる２つの撮像装置１ａ，１ｂを用いて、アーティファクトを抑え、かつ、解像感が高い画像を生成するものである。

ここで、撮像装置１ａ，１ｂの錯乱円について説明する。被写体が極めて小さな点である場合、ピントがぴったり合った状態では、１あるいは少数の撮像素子により被写体が撮影される。これに対し、ピントが合っていない状態では、１つの撮像素子を中心とし、ある半径内の複数の撮像素子により被写体が撮影される。この円を錯乱円といい、その半径を錯乱円サイズという。このように、ピントがあっていれば錯乱円サイズは小さく、ピントがずれるほど錯乱円サイズは大きくなる。以下では、ピントが合っている状態をインフォーカス、ピントが合っていない状態をアウトオブフォーカスともいう。

図３は、撮像装置１ａ，１ｂの錯乱円サイズと、被写体と撮像装置１ａ，１ｂとの距離（以下、奥行きＤという）との関係を示す図である。横軸は奥行きの逆数１／Ｄであり、縦軸は奥行きがＤのときの錯乱円サイズＢｏｋｅｈＡ（Ｄ），ＢｏｋｅｈＢ（Ｄ）である。撮像装置１ａはフォーカス位置が２０ｃｍである。よって、奥行きが２０ｃｍ（すなわち１／Ｄが０．０５）のときに撮像装置１ａの錯乱円サイズＢｏｋｅｈＡ（Ｄ）は最小となり、奥行きが２０ｃｍから離れるにつれて錯乱円サイズは大きくなる。撮像装置１ｂについてもの錯乱円サイズＢｏｋｅｈＢ（Ｄ）も同様である。

図３の関係は、上記撮像装置１ａ，１ｂの仕様から定まる。より具体的には、カメラのレンズと撮像素子との距離に応じて錯乱円サイズの最小値が定まり、レンズの形状に応じて傾きが定まる。

図１に戻り、画像処理装置２は、ずれ推定部２１と、デモザイク部２２と、記憶部２３とを有する。ずれ推定部２１は、撮像装置１ａにより撮影された画像（以下、Ａ画像という）における画素と、撮像装置１ｂにより撮影された画像（以下、Ｂ画像という）における対応画素とのずれ量（以下、視差ともいう）を、Ａ画像内の画素（または複数の画素からなるブロック）ごとに推定する。デモザイク部２２は、推定されたずれ量に基づいて、Ａ画像に対してデモザイク処理を行う。記憶部２３は図３に示す錯乱円サイズＢｏｋｅｈＡ（Ｄ），ＢｏｋｅｈＢ（Ｄ）と奥行きＤとの関係を記憶している。

ここで、奥行きＤが大きいほど、被写体のＡ画像における位置とＢ画像における位置とのずれ量は小さくなる。逆に、奥行きＤが小さいほど、被写体のＡ画像における位置とＢ画像における位置とのずれ量は大きくなる。すなわち、奥行きＤと、Ａ画像における位置とＢ画像における位置とのずれ量との関係は、ほぼ反比例である。この理由により、図３の横軸をずれ量と考えることもできる。以下、説明を簡略化するために比例係数を１とし、奥行きの逆数をずれ量とする。

続いて、ずれ推定部２１について詳しく説明する。

ずれ推定部２１は、Ａ画像およびＢ画像に対してステレオマッチング処理を行い、Ａ画像内の各画素と対応するＢ画像内の画素を探索することで、ずれ量を検出できるようにも思える。

ところが、両画像はフォーカス位置が異なるため、ぼけ量が異なっている。例えばＡ画像におけるある画素がインフォーカスである場合、Ｂ画像における対応する画素はアウトオブフォーカスである。そのため、単純なステレオマッチングでは、必ずしも正確なずれ量が推定できないこともある。そこで、ずれ推定部２１は、以下のような処理を行って、高精度に奥行きを推定するのが望ましい。

図４は、ずれ推定部２１の内部構成の一例を示すブロック図である。ずれ推定部２１は、縮小部３１と、低解像度視差マップ生成部３２と、ＬＰＦ制御部３３と、ＬＰＦ部３４と、高解像度視差マップ生成部３５とを有する。

縮小部３１はＡ画像およびＢ画像を予め定めた一定の縮小率で縮小し、縮小されたＡ画像およびＢ画像（以下、それぞれ縮小Ａ画像および縮小Ｂ画像という）を生成する。低解像度視差マップ生成部３２は、縮小Ａ画像および縮小Ｂ画像に対してステレオマッチング処理を行って、縮小Ａ画像の低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）を生成する。低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）は、縮小Ａ画像における位置（ｙ，ｘ）（画像における垂直方向ｙ番目かつ水平方向ｘ番目の位置を意味する。以下同じ）の画素の、これと対応する縮小Ｂ画像における画素に対するずれ量を示す。

ＬＰＦ制御部３３は、低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）および記憶部２３に記憶された図３の関係を用いて、ＬＰＦ部３４を制御する。ＬＰＦ部３４は、Ａ画像およびＢ画像に対して、ＬＰＦ制御部３３の制御に応じた低域通過処理を行い、高周波成分がカットされたＡ画像およびＢ画像（以下、ＬＰＦ（Ａ）画像およびＬＰＦ（Ｂ）画像という）を生成する。高解像度視差マップ生成部３５は、ＬＰＦ（Ａ）画像およびＬＰＦ（Ｂ）に対してステレオマッチング処理を行って、Ａ画像の高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を生成する。高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）は、Ａ画像における位置（Ｙ，Ｘ）の画素の、これと対応するＢ画像における画素に対するずれ量を示す。

図５は、ずれ推定部２１の処理動作の一例を示すフローチャートである。なお、同図の処理に先立って、予めＡ画像およびＢ画像に対してレンズ歪を補正したり、フォーカス位置の差に起因する両画像の画角の差を補正したりしておいてもよい。

まず、縮小部３１は、Ａ画像およびＢ画像を予め定めた一定の縮小率で縮小し、縮小Ａ画像および縮小Ｂ画像を生成する（Ｓ１）。

図６は、縮小部３１の処理動作を説明する図である。縮小部３１、例えば縮小率を１／４として、２５６０ｘ１９２０画素の解像度であるＡ画像およびＢ画像を縮小し、６４０ｘ４８０画素の解像度である縮小Ａ画像および縮小Ｂ画像を生成する。

続いて、低解像度視差マップ生成部３２はステレオマッチング処理を行って、縮小Ａ画像についての低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）を生成する（Ｓ２）。撮像装置１ａ，１ｂが水平方向に並んで配置される場合、ステレオマッチング処理では水平方向のみ探索すればよいため、ラインメモリを削減できる。縮小Ａ画像および縮小Ｂ画像においては、Ａ画像およびＢ画像のぼけ量の差はほとんど問題にならない。

図７は、低解像度視差マップ生成部３２の処理動作を説明する図である。縮小Ａ画像における位置（ｙ０，ｘ０）を中心とするブロックが、縮小Ｂ画像における位置（ｙ０，ｘ０＋ｋ）を中心とするブロックと対応する場合、ＤｉｓＬｏｗＲｅｓ（ｙ０，ｘ０）＝ｋと設定する。対応するブロックを探索するには、例えば縮小Ａ画像におけるブロック内の各画素と、縮小Ｂ画像におけるブロック内の各画素との差分絶対値の総和（ＳＡＤ：Sum of Absolute Difference）が最小となる、縮小Ｂ画像におけるブロックを探索すればよい。また、ＳＡＤに代えて、例えば縮小Ａ画像におけるブロック内の各画素と、縮小Ｂ画像におけるブロック内の各画素との差分２乗値の総和（ＳＳＤ：Sum of Squared Difference）等、他の指標を用いて探索を行ってもよい。対応するブロックが見つからない場合は周囲から補間する等、適宜例外処理を行ってもよい。

このような処理を縮小Ａ画像における全ての位置（ｙ，ｘ）について行うことで、縮小Ａ画像における位置（ｙ，ｘ）の画素の、縮小Ｂ画像における対応画素に対するずれ量を示す、解像度６４０ｘ４８０の低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）が生成される。上述のように、低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）が示すずれ量は奥行きと反比例する。

この低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）は、縮小Ａ画像および縮小Ｂ画像を用いて生成されたものであるため、必ずしもずれ量の精度は高くない。そこで、ずれ推定部２１は生成された低解像度視差マップＤｉｓＬｏｗＲｅｓ（ｙ，ｘ）および図３の関係を用い、高解像度かつずれ量の精度が向上した、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を以下のように生成する。

まず、ＬＰＦ制御部３３はＡ画像における１つの位置（Ｙ，Ｘ）を選択する（Ｓ３）。位置（Ｙ，Ｘ）を選択する順序は任意でよいが、例えば画像の左上から右下へ向かうラスタースキャン順とする。

ここで、低解像度視差マップＤｉｓＲｏｗＲｅｓ（ｙ，ｘ）のずれの誤差を±Ｓｅｒｒとする。この誤差Ｓｅｒｒの値は予め定められている。縮小率が１／４である場合、Ａ画像における位置（Ｙ，Ｘ）のずれ量を示すＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）は下記（１）式に示すように、Ｓｍｉｎ〜Ｓｍａｘの範囲内と考えられる（Ｓ４）。

Ｓｍｉｎ≦ＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）≦Ｓｍａｘ
Ｓｍｉｎ＝ＤｉｓＬｏｗＲｅｓ（Ｙ／４，Ｘ／４）−Ｓｅｒｒ
Ｓｍａｘ＝ＤｉｓＬｏｗＲｅｓ（Ｙ／４，Ｘ／４）＋Ｓｅｒｒ ・・・（１）

さらに、ずれ量が奥行きＤの逆数と対応することを利用し、ずれ推定部２１は上記範囲内での撮像装置１ａ，１ｂの錯乱円サイズ（図３）の最大値ＢｏｋｅｈＡＭａｘ，ＢｏｋｅｈＢＭａｘを取得する。

図８は、ＬＰＦ制御部３３の処理動作を説明する図である。同図に示すＳｍｉｎ〜Ｓｍａｘの範囲の例では、撮像装置１ａでは、ずれ量が最小値Ｓｍｉｎの場合に錯乱円サイズが最大値ＢｏｋｅｈＡＭａｘとなり、撮像装置１ｂでは、ずれ量が最大値Ｓｍａｘの場合に錯乱円サイズが最大値ＢｏｋｅｈＢＭａｘとなる。

そして、ＬＰＦ制御部３３は、ＢｏｋｅｈＡＭａｘ，ＢｏｋｅｈＢＭａｘの最大値をＢｏｋｅｈＭａｘとする（Ｓ６）。このＢｏｋｅｈＭａｘに基づいて、ＬＰＦ制御部３３はＡ画像およびＢ画像に適用するＬＰＦを選択する（Ｓ７）。より具体的には、ＬＰＦ制御部３３は、低域通過処理により得られるＬＰＦ（Ａ）画像およびＬＰＦ（Ｂ）画像の錯乱円がＢｏｋｅｈＭａｘと近似した空間周波数特性となるよう、ＬＰＦを選択する。例えば、ＬＰＦ制御部３３は半径ＢｏｋｅｈＭａｘのガウシアンフィルタをＡ画像およびＢ画像用に選択する。あるいは、Ａ画像およびＢ画像に異なるＬＰＦを選択してもよい。例えばＢｏｋｅｈＡＭａｘ＞ＢｏｋｅｈＢＭａｘであってＡ画像のほうがぼけている場合、Ｂ画像にはより強いＬＰＦを選択してもよい。

続いて、ＬＰＦ部３４は、選択されたＬＰＦを用いて、Ａ画像およびＢ画像に低域通過処理を行い、それぞれＬＰＦ（Ａ）画像およびＬＰＦ（Ｂ）画像を生成する（Ｓ８）。

図９は、ＬＰＦ部３４の処理動作を説明する図である。ＬＰＦ部３４は、Ａ画像の一部に対して低域通過処理を行い、位置（Ｙ，Ｘ）を中心とする所定サイズ（同図では７ｘ７画素）のブロックのＬＰＦ（Ａ）画像を生成する。もちろん、低域通過処理にはＡ画像におけるブロックの外側の画素を用いても構わない。一方、ＬＰＦ部３４は、Ｂ画像の一部に対して低域通過処理を行い、位置（Ｙ，Ｘ）を含み、垂直方向がブロックサイズと等しい画素数であり（同図では７画素）、水平方向が探索範囲に相当する画素数のＬＰＦ（Ｂ）画像を生成する。

高解像度視差マップ生成部３５は、生成されたＬＰＦ（Ａ）画像およびＬＰＦ（Ｂ）画像に対してステレオマッチング処理を行って、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を生成する（Ｓ９）。図９に示すように、ＬＰＦ（Ａ）画像における位置（Ｙ，Ｘ）を中心とするブロックが、ＬＰＦ（Ｂ）画像における位置（Ｙ，Ｘ＋ｍ）を中心とするブロックと対応する場合、ＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）＝ｍと設定する。対応するブロックを探索するには、例えばＬＰＦ（Ａ）画像におけるブロック内の各画素と、ＬＰＦ（Ｂ）画像におけるブロック内の各画素との差分絶対値の総和（ＳＡＤ）が最小となる、ＬＰＦ（Ｂ）画像におけるブロックを探索すればよい。対応するブロックが見つからない場合は周囲から補間する等、適宜例外処理を行ってもよい。

以上の処理を、Ａ画像におけるすべての位置の画素について行う（Ｓ１０）。このようにして、ずれ推定部２１は、解像度がＡ画像と等しく２５６０ｘ１９２０画素である、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を生成できる。

なお、上記の処理をＡ画像およびＢ画像そのものに対して行ってもよいが、ずれ推定部２１の処理に先立って、低解像度視差マップ生成部３２および高解像度視差マップ生成部３５でのステレオマッチング処理を行いやすい画像に変換しておいてもよい。例えば、ずれ推定部２１は、Ａ画像およびＢ画像の輝度信号Ｙを生成し、輝度信号Ｙのみを含むＡ画像およびＢ画像に対して処理してもよい。輝度信号Ｙは、例えば３ｘ３画素に対して下式の畳み込みを行って生成できる。

Ｙ＝Σａ_ｉｊ＊ｋ_ｉｊ／１６
ここで、ａ_ｉｊ（ｉ，ｊ＝０〜２）は各画素の画素値、ｋ_ｉｊは所定の係数であり、例えば（ｋ_００，ｋ_０１，ｋ_０１２，ｋ_１０，ｋ_１１，ｋ_１２，ｋ_２０，ｋ_２１，ｋ_２２）＝（１，２，１，２，４，２，１，２，４）とする。上式によれば、３ｘ３画素内でＲ，Ｇ，Ｂ画素がどのように配置されていても、Ｒの重みとＢの重みは等しく、かつ、Ｇの重みの１／２となる。

あるいは、ずれ推定部２１は、Ａ画像およびＢ画像に対して（アーティファクトの発生や解像感を考慮せずに）簡易的なデモザイク処理を行ったＡ画像およびＢ画像に対して、処理してもよい。

各画素にＲ，ＧおよびＢ画素のいずれかしか存在しないベイヤー配列に比べて、デモザイク処理された画像や輝度信号を用いることで、より高精度にステレオマッチングを行うことができる。

続いて、デモザイク部２２について詳しく説明する。

一般に、インフォーカス画像に対してデモザイク処理を行うと、アーティファクトが発生することがある。インフォーカス画像は高周波成分を含んでいるためである。そこで、高周波成分を除去した後にデモザイク処理を行うことで、アーティファクトを抑制できる。しかしながら、生成されるデモザイク処理された画像は高周波成分が失われており、解像感が低下してしまう。

そこで、本実施形態では、以下のようにインフォーカス画像およびアウトオブフォーカス画像を用いることで、アーティファクトを抑制し、かつ、高周波成分が失われないデモザイク処理を行う。

図１０は、デモザイク部２２の内部構成の一例を示すブロック図である。デモザイク部２２は、判定部４１と、Ｂ画像デモザイク部４２と、Ａ画像デモザイク部４３とを有する。

判定部４１は、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）および記憶部２３に記憶された図３の関係を用いて、デモザイク処理を行う対象のＡ画像における画素（以下、デモザイク対象画素という）がインフォーカスであるかアウトオブフォーカスであるかを判定する。

Ｂ画像デモザイク部４２はＢ画像に対してデモザイク処理を行う。Ａ画像デモザイク部４３はＡ画像に対してデモザイク処理を行う。Ａ画像に対するデモザイク処理において、Ａ画像デモザイク部４３は、デモザイク対象画素がアウトオブフォーカスであればＢ画像のデモザイク結果を用いず、インフォーカスであればＢ画像のデモザイク結果を用いる。

図１１は、デモザイク部２２の処理動作の一例を示すフローチャートである。同図のフローチャートは、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を生成したＡ画像についてデモザイク処理（例えば、図２の位置１１の緑および青の画素値、位置１２，１３の赤および青の画素値および位置１４の緑および青の画素値を推測する処理）を行うものである。

まず、判定部４１は、デモザイク処理を行う対象となる、Ａ画像における位置（Ｙ，Ｘ）を選択する（Ｓ１１）。位置（Ｙ，Ｘ）を選択する順序は任意でよいが、例えば画像の左上から右下へ向かうラスタースキャン順とする。位置（Ｙ，Ｘ）は、例えば図２の位置１１等、いずれかの撮像素子の位置に対応している。

続いて、判定部４１は、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）を取得する。これは位置（Ｙ，Ｘ）における奥行きＤ（Ｙ，Ｘ）の逆数に対応する。さらに、判定部４１は、記憶部２３に記憶されている図３の関係を用いて、１／奥行きＤ（Ｙ，Ｘ）における錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））を取得する。以上のようにして、判定部４１は位置（Ｙ，Ｘ）からＡ画像の錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））を取得できる（Ｓ１２）。

さらに、判定部４１は錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））と予め定めた閾値ＢｏｋｅｈＴＨとを比較する（Ｓ１３）。

図１２は、判定部４１の処理動作を説明する図である。同図の点Ｅに示すように、錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））が閾値ＢｏｋｅＴｈより大きい場合（Ｓ１３のＹＥＳ）、Ａ画像はピントが合っていない（アウトオブフォーカス）と判断される。言い換えると、位置（Ｙ，Ｘ）近辺に空間周波数が高い情報は含まれていない。よって、通常のデモザイク処理（Ｓ１４）でもアーティファクトはほとんど生じない。通常のデモザイク処理とは、例えば適応型カラープレーン補間（Advanced Color Plane Interpolation：ＡＣＰＩ）や線形補間等、公知の手法であって、Ｂ画像を用いずにデモザイク処理するものである。

一方、図１２の点Ｆに示すように、錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））が閾値ＢｏｋｅｈＴＨ以下である場合（Ｓ１３のＮＯ）、Ａ画像はピントが合っていると判断される。言い換えると、位置（Ｙ，Ｘ）近辺に空間周波数が高い情報が含まれる可能性がある。よって、通常のデモザイク処理ではアーティファクトが発生するおそれがある。ここで、撮像装置１ａ，１ｂはフォーカス位置が互いに異なるため、Ａ画像がインフォーカスであれば、Ｂ画像はアウトオブフォーカスである。そこで、デモザイク部２２はアウトオブフォーカスであるＢ画像を用いてデモザイク処理を行う。

ずれ推定部２１により生成された高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ、Ｘ）を考慮すると、Ａ画像の位置（Ｙ，Ｘ）に対応するＢ画像の位置は（Ｙ，Ｘ＋ＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ））である（以下、この位置を（Ｙ，Ｘ’）と表記する）。Ｂ画像デモザイク部４２は、まずＢ画像における位置（Ｙ，Ｘ’）の画素に対して、通常のデモザイク処理を行う（Ｓ１５）。これにより、Ｂ画像における位置（Ｙ，Ｘ’）における赤の画素値Ｒｂ、緑の画素値Ｇｂおよび青の画素値Ｂｂが得られる。

Ｂ画像はアウトオブフォーカスであるため、これら画素値Ｒｂ，ＧｂおよびＢｂにはアーティファクトが生じにくい。ただし、Ｂ画像は錯乱円サイズが大きく、高周波成分が失われている。

続いて、Ａ画像デモザイク部４３は、得られたＢ画像の画素値Ｒｂ，ＧｂおよびＢｂを用い、Ａ画像における位置（Ｙ，Ｘ）の画素に対してデモザイク処理を行う（Ｓ１６）。例えば、位置（Ｙ，Ｘ）にＧ撮像素子があってその画素値がＧａである場合、Ａ画像デモザイク部４３は、赤の画素値Ｒａおよび青の画素値Ｂａを下記（１）式により算出する。

Ｒａ＝Ｒｂ＊（Ｇａ／Ｇｂ）
Ｂａ＝Ｂｂ＊（Ｇａ／Ｇｂ） ・・・（１）

ただし、分母Ｇｂが０である場合や、０でなくてもＧａ／Ｇｂが大きい場合、正しく画素値Ｒａ，Ｂａを算出できないこともある。そのため、このような場合には通常のデモザイク処理や下記（２）式等の例外処理を行ってもよい。

Ｒａ＝Ｒｂ−Ｇｂ＋Ｇａ
Ｂａ＝Ｂｂ−Ｇｂ＋Ｇａ ・・・（２）

より具体的な例として、Ｇａ／Ｇｂが４以下であれば上記（１）式を用い、４≦Ｇａ／Ｇｂ≦２０であれば、上記（１）式の結果と上記（２）式の結果とを、（２０−Ｇａ／Ｇｂ）：（Ｇａ／Ｇｂ−４）の比率でブレンドし、Ｇａ／Ｇｂが２０以上であれば上記（２）式を用いてもよい。

同様にして、デモザイク部２２は、位置（Ｙ，Ｘ）にＲ撮像素子がある場合の緑の画素値Ｇａおよび青の画素値Ｂａ、ならびに、位置（Ｙ，Ｘ）にＢ撮像素子がある場合の赤の画素値Ｒａおよび緑の画素値Ｇａを算出する。

以上の処理を、すべてのＡ画像における位置（Ｙ，Ｘ）について行う（Ｓ１７）。

上記の処理において、Ａ画像がインフォーカスである場合、Ａ画像の画素値Ｒａ〜Ｂａを（高周波成分をカットすることなく）そのまま使用するため、解像感の低下を抑制できる。また、アウトオブフォーカスのＢ画像の画素値Ｒｂ〜Ｂｂを使用するため、アーティファクトを抑制できる。

以上のデモザイク処理により、各画素がＲ，ＧおよびＢの画素値を含む、デモザイクされた画像が生成される。デモザイク部２２は、デモザイク処理により得られた画像を拡大し、その後画素を適宜間引いて、ベイヤー配列の画素から構成される画像を生成してもよい。通常の撮像装置の出力はベイヤー配列だからである。一旦拡大しておくことで、その後の信号処理でアーティファクトが発生するのを低減できる。

なお、上記の閾値ＢｏｋｅｈＴＨは、図１２に示すように、撮像装置１ａの錯乱円サイズＢｏｋｅｈＡ（Ｄ）と撮像装置１ｂの錯乱円サイズＢｏｋｅｈＢ（Ｄ）とが一致する値あるいはそれより小さい値としてもよい。このように設定することで、Ａ画像がインフォーカスである場合、Ｂ画像は必ずＡ画像よりピントが外れていることになり、デモザイクの精度を向上できる。

このように、第１の実施形態では、フォーカス位置が異なる２つの画像を用いてデモザイク処理を行う。そのため、アーティファクトを抑えて像度感が高い画像を得られる。また、それほど解像度が高くない２つの撮像装置１ａ，１ｂを用いるため、小型化が図れる。

なお、図１の画像処理システムでは２つの撮像装置１ａ，１ｂを用いる例を示したが、フォーカス位置が互いに異なる３つ以上の撮像装置を用いてもよい。この場合、任意の２つの撮像装置により撮影された画像をＡ画像およびＢ画像として処理すればよい。Ａ画像は、例えばピントが最も合っている画像とし、Ｂ画像は、例えばＡ画像に次いでピントが合っている画像とすることができる。

また、図２ではベイヤー配列の撮像素子を例示したが、撮像素子の配列はこれに限定されるものではない。そして、ベイヤー配列でない場合のデモザイク処理とは、撮像素子によって撮影された１つの画素値があって、他の画素値が存在しない場合に、存在しない画素値を推測する処理をいう。

（第２の実施形態）
以下に説明する第２の実施形態では、ぼけサイズを変換し、撮像装置１ａ，１ｂに近い被写体から遠い被写体まで広い範囲にわたってピントが合ったディープフォーカスな出力画像を生成すものである。

図１３は、第２の実施形態に係る画像処理システムの概略構成を示すブロック図である。図８では、図１と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。

第１の実施形態では、Ａ画像についてのみデモザイク処理を行う例を示したが、本実施形態のデモザイク部２２は、Ｂ画像に対しても同様にデモザイク処理を行っているものとする。すなわち、Ｂ画像内の各画素のうち、ピントが合っていない場合は当該画素に対して通常のデモザイク処理を行い、ピントが合っている場合はＡ画像内の対応画素をも用いて、デモザイク処理を行う。以下では、デモザイク処理後のＡ画像およびＢ画像をそれぞれ、デモザイクＡ画像およびデモザイクＢ画像という。なお、デモザイクＡ画像の解像度はＡ画像の解像度と等しい。

また、同１３の画像処理システムにおける画像処理装置２ａは、さらにフォーカス変換部２４を有する。フォーカス変換部２４は、デモザイクＡ画像およびデモザイクＢ画像のうち、画素ごとにピントがあっている画像を選択することにより、ディープフォーカスな出力画像を生成する。

図１４は、フォーカス変換部２４の内部構成の一例を示すブロック図である。フォーカス変換部２４は、制御部５１と、選択部５２とを有する。制御部５１は、ずれ推定部２１により生成された高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）および記憶部２３に記憶された図３の関係を用いて、デモザイクＡ画像およびデモザイクＢ画像のいずれがぼけが少ない画像であるかを判定し、選択部５２を制御する。選択部５２は、ぼけが少ない画像の画素を選択して、出力画像の画素とする。

図１５は、フォーカス変換部２４の処理動作の一例を示すフローチャートである。また、図１６は、フォーカス変換部２４の処理動作を説明する図である。

まず、制御部５１は位置（Ｙ，Ｘ）を選択する（Ｓ２１）。位置（Ｙ，Ｘ）を選択する順序は任意でよいが、例えば画像の左上から右下のラスタースキャン順とする。ここで、第１の実施形態で説明したように、Ａ画像における位置（Ｙ，Ｘ）は、Ｂ画像における位置（Ｙ，Ｘ＋ＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ））＝（Ｙ，Ｘ’）と対応する。

続いて、制御部５１は、高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）から、Ａ画像における位置（Ｙ，Ｘ）の奥行きＤ（Ｙ，Ｘ）を取得する。この奥行きＤ（Ｙ，Ｘ）はＢ画像における位置（Ｙ，Ｘ’）の奥行きでもある。そして、制御部５１は、図３の関係を用いて、１／奥行きＤ（Ｙ，Ｘ）における錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ）），ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））を取得する（Ｓ２２）。

図１６のＰで示すように、ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））＞ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））の場合（Ｓ２３のＹＥＳ）、デモザイクＢ画像の方がピントが合っている。よって、選択部５２は、デモザイクＢ画像の位置（Ｙ，Ｘ’）の画素値を選択して、出力画像の位置（Ｙ，Ｘ）の画素値に設定する（Ｓ２５）。ここでの画素値はデモザイク処理後であるため、Ｒ，ＧおよびＢの画素値を含む。

一方、図１６のＱで示すように、ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））の場合（Ｓ２３のＮＯ）、デモザイクＡ画像の方がピントが合っている。よって、選択部５２は、デモザイクＡ画像の位置（Ｙ，Ｘ）の画素値を選択して、出力画像の位置（Ｙ，Ｘ）の画素値に設定する（Ｓ２４）。

以上の処理が図１６に概略的に示されている。ＢｏｋｅｈＡ（Ｄ）とＢｏｋｅｈＢ（Ｄ）との交点Ｒの横軸値より１／奥行きＤが小さい場合はデモザイクＢ画像の位置（Ｙ，Ｘ’）の画素値が選択され、交点Ｒの横軸値より１／奥行きＤが大きい場合はデモザイクＡ画像の位置（Ｙ，Ｘ）の画素値が選択されて、出力画像が形成される。

なお、デモザイクＡ画像とデモザイクＢ画像との輝度やカラーバランスが異なる場合、フォーカス変換部２４は、これらを予め調整してから、出力画像を形成してもよい。

Ｓ２１〜Ｓ２５に示す処理を、すべての位置（Ｙ，Ｘ）について行う（Ｓ２６）。これにより、出力画像の位置（Ｙ，Ｘ）に、Ａ画像の位置（Ｙ，Ｘ）またはＢ画像の位置（Ｙ，Ｘ’）の画素値が移植され、広い奥行き範囲にわたってピントが合った出力画像が得られる。

以上は、２つの撮像装置１ａ，１ｂを用いることを念頭に置いていた。これより多く、例えば３つの撮像装置１ａ〜１ｃを用いることで、さらにディープフォーカスな出力画像が得られる。図１７は、フォーカス位置が１２ｃｍである撮像装置１ｃをさらに用いる場合の、フォーカス変換部２４の処理動作を説明する図である。同図において、点ＳはＢｏｋｅｈＡ（Ｄ）とＢｏｋｅｈＢ（Ｄ）との交点であり、点ＴはＢｏｋｅｈＡとＢｏｋｅｈＣとの交点である。この場合、フォーカス変換部２４は、１／奥行きＤが点Ｓの横軸値以下であればデモザイクＢ画像を用い、Ｓの横軸値〜Ｔの横軸値であればデモザイクＡ画像を用い、Ｔの横軸値以上であればＣ画像を用いる。その結果、ほとんどの奥行きにわたって、錯乱円サイズが１．５画素以下となり、極めてフォーカスが深い出力画像が生成される。

このように、第２の実施形態では、フォーカス位置が異なる複数の画像から、最もピントが合った画像を選択するため、ディープフォーカスな出力画像を生成できる。

（第３の実施形態）
上述した第２の実施形態におけるフォーカス変換部２４はディープフォーカスな画像を生成するものであった。これに対し、第３の実施形態におけるフォーカス変換部２４はデモザイクＡ画像およびデモザイクＢ画像のフォーカスを、予め定めた目標フォーカスへ変換するリフォーカス処理を行うものである。以下、第２の実施形態との相違点を中心に説明する。

図１８は、フォーカス変換部２４の内部構成の一例を示す図である。フォーカス変換部２４は、制御部６１と、切替部６２と、ぼけ復元部６３と、ＬＰＦ部６４と、出力部６５とを有する。

制御部６１は、ずれ推定部２１により生成された高解像度視差マップＤｉｓＨｉｇｈＲｅｓ（Ｙ，Ｘ）および記憶部２３に記憶された図３の関係を用いて、デモザイクＡ画像およびデモザイクＢ画像のいずれの画像を用いるかを判定し、切替部６２を制御する。切替部６２は制御部６１の制御に応じてデモザイクＡ画像またはデモザイクＢ画像を選択し、これをぼけ復元部６３またはＬＰＦ部６４へ出力する。ぼけ復元部６３は、選択された画像が目標フォーカスよりぼけている場合に、ぼけを復元する処理を行う。ＬＰＦ部は、選択された画像が目標フォーカスよりピントが合っている場合に、ぼかす（ピントをずらす）ための低域通過処理を行う。出力部６５は、ぼけ復元部６３またはＬＰＦ部６４の処理後の画素を用いて、出力画像を生成する。

図１９は、フォーカス変換部２４の処理動作の一例を示すフローチャートである。また、図２０は、フォーカス変換部２４の処理動作を説明する図である。図２０に示すように、目標フォーカス、すなわち、錯乱円サイズと奥行きとの関係ＢｏｋｅｈＴ（Ｄ）が予め設定され、記憶部２３に記憶されている。同図は、フォーカス位置を１／０．０７＝１４．２ｃｍに変換する例である。なお、同図において、点Ｐ１はＢｏｋｅｈＴ（Ｄ）とＢｏｋｅｈＢ（Ｄ）との交点であり、点ＰはＢｏｋｅｈＡ（Ｄ）とＢｏｋｅｈＢ（Ｄ）との交点であり、点Ｐ３，Ｐ４はＢｏｋｅｈＴ（Ｄ）とＢｏｋｅｈＡ（Ｄ）との交点である。

まず、制御部６１は、第２の実施形態と同様にして、位置（Ｙ，Ｘ）を選択するとともに（Ｓ３１）、この位置での錯乱円サイズＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ）），ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））を取得する（Ｓ３２）。さらに、図２０の関係を用いて、Ａ画像の位置（Ｙ，Ｘ）における奥行きＤ（Ｙ，Ｘ）に対応する錯乱円サイズＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））を取得する（Ｓ３２）。そして、ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ）），ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））およびＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））との大小関係に応じて、以下の処理を行う（Ｓ３３）。

（Ｉ）ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））≦ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））またはＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））である場合（図２０のＰ３〜Ｐ４）
このとき、デモザイクＡ画像は、目標フォーカスよりピントが合っており、かつ、デモザイクＢ画像より目標フォーカスに近い。そのため、制御部６１の制御により、切替部６２はデモザイクＡ画像をＬＰＦ部６４に出力する。そして、ＬＰＦ部６４はデモザイクＡ画像における位置（Ｙ，Ｘ）の周辺に対して低域通過処理を行ってデモザイクＡ画像をぼかす（Ｓ３４ａ）。例えば、ＬＰＦ部６４は、デモザイクＡ画像に対して、デモザイクＡ画像の錯乱円サイズとＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））の錯乱円サイズとの差を半径とするガウシアンフィルタ処理を行う。これにより、錯乱円サイズがＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））に近づいた画像が得られる。

（ＩＩ）ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））≦ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））またはＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））≦ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））である場合（図２０のＰ１以下）
このとき、デモザイクＢ画像は、目標フォーカスよりピントが合っており、かつ、デモザイクＡ画像より目標フォーカスに近い。そのため、制御部６１の制御により、切替部６２はデモザイクＢ画像をＬＰＦ部６４に出力する。そして、ＬＰＦ部６４はデモザイクＢ画像における位置（Ｙ，Ｘ’）の周辺に対して低域通過処理を行ってデモザイクＢ画像をぼかす（Ｓ３４ｂ）。例えば、ＬＰＦ部６４は、デモザイクＢ画像に対して、デモザイクＢ画像の錯乱円サイズとＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））の錯乱円サイズとの差を半径とするガウシアンフィルタ処理を行う。これにより、錯乱円サイズがＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））に近づいた画像が得られる。

（ＩＩＩ）ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））である場合（図２０のＰ２〜Ｐ３，Ｐ４以上）
このとき、目標フォーカスよりピントが合っている画像はないが、デモザイクＡ画像の方が目標フォーカスに近い。そのため、制御部６１の制御により、切替部６２はデモザイクＡ画像をぼけ復元部６３に出力する。ぼけ復元部６３は、例えばデモザイクＡ画像における位置（Ｙ，Ｘ）の周辺に対して、ＰＳＦ（Point Spread Function）逆変換、超解像変換あるいは高域強調処理を行って、ぼけを復元する。

（ＩＶ）ＢｏｋｅｈＴ（Ｄ（Ｙ，Ｘ））≦ＢｏｋｅｈＢ（Ｄ（Ｙ，Ｘ’））≦ＢｏｋｅｈＡ（Ｄ（Ｙ，Ｘ））である場合（図２０のＰ１〜Ｐ２）
このとき、目標フォーカスよりピントが合っている画像はないが、デモザイクＢ画像の方が目標フォーカスに近い。そのため、制御部６１の制御により、切替部６２はデモザイクＢ画像をぼけ復元部６３に出力する。ぼけ復元部６３は、例えばデモザイクＢ画像における位置（Ｙ，Ｘ’）の周辺に対して、ＰＳＦ（Point Spread Function）逆変換、超解像変換あるいは高域強調処理を行って、ぼけを復元する。

以上のようにして得られた、ぼけ復元部６３またはＬＰＦ部６４により処理されたデモザイクＡ画像における位置（Ｙ，Ｘ）の画素値またはデモザイクＢ画像における位置（Ｙ，Ｘ’）の画素値を、出力部６５は出力画像における位置（Ｙ，Ｘ）の画素値とする（Ｓ３５）。

以上の処理を全位置について行う（Ｓ３６）ことで、フォーカス位置が変換された出力画像が得られる。

本実施形態でも、フォーカス位置が互いに異なる３以上の撮像装置を用いてもよい。この場合も、各撮像装置の錯乱円サイズと目標フォーカスとの関係に応じて１つの画像を選択し、ロウパスフィルタよるぼかす処理またはぼけ復元処理を行って、出力画像を形成すればよい。

このように、第３の実施形態では、フォーカス位置が互いに異なる複数の撮像装置で取得された画像を用いて、フォーカスを変換した画像を生成できる。これにより、固定フォーカスの撮像装置１ａ，１ｂを用いるにも拘らず、オートフォーカス機能を実現できる。

なお、上述した第１〜第３の実施形態は、いずれも固定フォーカスの撮像装置を用いる例を示した。これに対し、複数の撮像装置のそれぞれがオートフォーカス（ＡＦ：Auto Focus）機能を有してもよい。

図２１は、オートフォーカス機能を有する撮像装置を用いる場合の、フォーカス位置調整の様子を示す図である。この場合、１つの撮像装置は被写体に合わせてフォーカス位置を自動調整する。他の撮像装置は、上記撮像装置のフォーカス位置と連動し、当該フォーカス位置の近傍であり、かつ、アーティファクトを生じない位置にフォーカス位置を調整する。アーティファクトを抑えるためには、例えば他の撮像装置との錯乱円サイズが２画素以上となるようにすればよい。オートフォーカス機能を有する撮像装置を用いることで、フォーカス変換部２４を設けなくてもオートフォーカス機能を実現でき、ステレオマッチング処理により推定した奥行き（ずれ量）を用いて高速にオートフォーカスを行うことができるほか、立体映像撮影などにも適用できる。

図２２は、撮像装置の配置例を示す図である。上述した実施形態では、同図（ａ）に示すように、水平方向に複数の撮像装置を配置する例を示した、他にも種々の配置が考えられる。例えば、２つの撮像装置を垂直方向（同図（ｂ））に配置したり、３つの撮像装置をＬ字形状（同図（ｃ））に配置してもよい。あるいは、垂直方向に２つおよび水平方向に２つ撮像装置を配置したり（同図（ｄ））、３つの撮像装置を水平方向に配置し、中央の撮像装置の上方に１つの撮像装置を配置してもよい（同図（ｅ））。また、２つの撮像装置を水平方向に配置し、これらの中央の上方に１つの撮像装置を配置してもよい。同図（ａ）〜（ｆ）では、撮像装置同士は近接しており、例えば８ｍｍの間隔を隔てて配置される。これに対し、同図（ｇ）に示すように、垂直方向に近接して配置される２つの撮像装置の組を、水平方向に少し離れて例えば３〜４ｃｍの間隔を隔てて配置してもよい。これによりステレオ撮影に適用することもできる。同様に、同図（ｈ）に示すように、水平方向に近接して配置される２つの撮像装置の組を、垂直方向に少し離れて例えば３〜４ｃｍの間隔を隔てて配置してもよい。

上述した実施形態で説明した情報処理ステムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、情報処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、情報処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ａ，１ｂ 撮像装置
２ 画像処理装置
２１ ずれ推定部
２２ デモザイク部
２３ 記憶部
２４ フォーカス変換部

Claims (4)

1. 第１の撮像装置により撮影された第１の画像における第１の画素と、前記第１の撮像装置とフォーカス位置が異なる第２の撮像装置により撮像された第２の画像において対応する第２の画素と、のずれ量を推定するずれ推定部と、
   前記ずれ量に基づいて、前記第１の画素のピントが合っていると判断される場合には、デモザイク処理された前記対応する第２の画素の画素値を用いて前記第１の画素に対してデモザイク処理を行い、第１のデモザイク画像を生成するデモザイク部と、を備えることを特徴とする画像処理装置。
2. 前記デモザイク部は、前記第１の画素のずれ量における、前記第１の撮像装置の錯乱円サイズが第１の値より小さい場合、前記第１の画素のピントが合っていると判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記デモザイク部は、前記ずれ量に基づいて、前記第２の画素のピントが合っていると判断される場合には、前記対応する前記第１の画素の画素値を用いて前記第２の画素に対してデモザイク処理を行って、第２のデモザイク画像を生成し、
   当該画像処理装置は、前記第１のデモザイク画像および前記第２のデモザイク画像を用いて、前記第１の画像および前記第２の画像とはフォーカスが異なる出力画像を生成するフォーカス変換部を備えることを特徴とする請求項１に記載の画像処理装置。
4. 第１の画像を撮像する第１の撮像装置と、
   前記第１の撮像装置とフォーカス位置が異なる第２の画像を撮像する第２の撮像装置と、
   前記第１の画像における第１の画素と、前記第２の画像において対応する第２の画素と、のずれ量を推定するずれ推定部と、
   前記ずれ量に基づいて、前記第１の画素のピントが合っていると判断される場合には、デモザイク処理された前記対応する第２の画素の画素値を用いて前記第１の画素に対してデモザイク処理を行い、第１のデモザイク画像を生成するデモザイク部と、を備えることを特徴とする画像処理システム。

Images