JP6308748B2

JP6308748B2 - 画像処理装置、撮像装置及び画像処理方法

Info

Publication number: JP6308748B2
Application number: JP2013224443A
Authority: JP
Inventors: 伸田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-10-29
Filing date: 2013-10-29
Publication date: 2018-04-11
Anticipated expiration: 2033-10-29
Also published as: US20150116464A1; JP2015088833A; US10306210B2

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関する。

撮影画像と、その撮影画像から距離情報の分布を表す距離マップを取得または算出する手法が提案されている。その距離マップを用いて三次元画像の生成が行われている。ただし、取得された距離情報はエラーを含んでいる場合が多く、そのために距離マップの各画素の距離情報を補正する手法が提案されている。特許文献１では、補正対象画素の演算範囲内の複数の画素の画素値及び距離値を用いて、クラスタリングを行い、そのクラスタリング結果に基づいて、補正対象画素の距離値を算出することで、各画素の距離情報を補正している。また、非特許文献１では、補正対象画素において、周辺画素との画素間の距離及び画素値の距離、さらに算出した距離情報の信頼度の情報を用いて、似た距離を持つであろう指標を表す重みを決定し、重み付き平滑化処理を行うことで、距離情報を補正している。

特開２０１２−７８９４２号公報

竹中晴香、外４名、「ＫｉｎｅｃｔのためのＢｉｌａｔｅｒａｌＦｉｌｔｅｒｉｎｇを用いた距離画像とカラー画像の整合法」、信学技報、２０１３年１月、ｖｏｌ．１１２、ｎｏ．３８５、ＰＲＭＵ２０１２−１１９、ｐ．３１１−３１６

特許文献１、非特許文献１では、対象画素の周辺の画素の距離情報等を用いて、対象画素の距離情報の補正を行っている。距離情報を精度よく補正するためには、広範囲の周辺の画素を用いて補正する必要があり、計算量が大きくなる。

本発明の目的は、少ない計算量で精度良く距離情報を補正する画像処理装置を提供することである。

本発明に係る画像処理装置の一つの態様は、撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得手段と、前記取得手段で取得された前記画像データを、前記距離マップデータのデータ量に応じて縮小する縮小手段と、前記縮小手段によって縮小された画像データを用いて、前記距離マップデータを補正する第１の補正手段と、前記第１の補正手段によって補正された距離マップデータを拡大する拡大手段と、前記取得手段で取得された画像データを用いて、前記拡大手段によって拡大された距離マップデータを補正する第２の補正手段と、を有することを特徴とする。

本発明に係る画像処理装置の別の一つの態様は、撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得手段と、前記取得手段で取得された前記画像データ及び前記距離マップデータを縮小する縮小手段と、前記縮小手段によって縮小された画像データを用いて、前記縮小手段によって縮小された前記距離マップデータをフィルタ処理によって補正する第３の補正手段と、前記第３の補正手段によって補正された距離マップデータを拡大する拡大手段と、前記取得手段によって取得された画像データを用いて、前記拡大手段によって拡大された距離マップデータを補正する第２の補正手段と、を有することを特徴とする。

本発明に係る画像処理方法の一つの態様は、撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得工程と、前記取得工程にて取得された前記画像データを、前記距離マップデータのデータ量に応じて縮小する縮小工程と、前記縮小工程にて縮小された画像データを用いて、前記距離マップデータを補正する第１の補正工程と、前記第１の補正工程にて補正された距離マップデータを拡大する拡大工程と、前記取得工程にて取得された画像データを用いて、前記拡大工程にて拡大された距離マップデータを補正する第２の補正工程と、を有することを特徴とする。

本発明に係る画像処理方法の一つの態様は、撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得工程と、前記取得工程にて取得された前記画像データ及び前記距離マップデータを縮小する縮小工程と、前記縮小工程にて縮小された画像データを用いて、前記縮小工程にて縮小された前記距離マップデータをフィルタ処理によって補正する第３の補正工程と、前記第３の補正工程にて補正された距離マップデータを拡大する拡大工程と、前記取得工程にて取得された画像データを用いて、前記拡大工程によって拡大された距離マップデータを補正する第２の補正工程と、を有することを特徴とする。

本発明によれば、少ない計算量で精度良く距離情報の補正を行うことができる。

実施形態１に係る画像処理装置を含む撮像装置の一例を示す模式図。実施形態１における画像処理方法のフローチャートの一例。実施形態２における画像処理方法のフローチャートの一例。実施形態３に係る画像処理装置を含む撮像装置の一例を示す模式図。実施形態３における画像処理方法のフローチャートの一例。実施形態３のデータ選択の決定方法を説明する図。

本発明における距離情報とは、２画像のフォーカス位置の中間位置から被写体までの相対的な距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対的な距離、撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量で表されていてもよい。

本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を適宜組み合わせてもよい。

（実施形態１）
図１は、本発明の実施形態１に係る撮像装置の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

画像処理装置１３は、処理部１３０、メモリ１３１、取得部１３２、縮小部１３３、補正部１３４、拡大部１３５を有している。処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離マップデータの生成などに使用される。なお、距離マップデータとは、距離情報の分布を表すものであり、画像データの形式であってもよいし、そうでなくてもよい。

取得部１３２は、処理部１３０から出力される信号から撮影画像データを取得し、その撮影画像データから被写体の距離情報、距離マップデータを取得する。被写体の距離情報を取得する方法は、撮影条件を変えて撮影したぼけ方の異なる撮影画像データを用いる方法（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ法：ＤＦＤ法）や、視差の異なる撮影画像データを用いる方法（ステレオ法）が挙げられる。その他にもＴｉｍｅｏｆＦｌｉｇｈｔ法やＤｅｐｔｈＦｒｏｍＦｏｃｕｓの方法が挙げられる。取得部１３２で取得された距離マップデータは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。

縮小部１３３は、画像データを縮小する機能を有する。縮小とは、画像の解像度を小さくするように、画像データのデータ量を減らすことである。具体的な縮小方法としては、解像度を半分にする場合には、画像データ内の全データから半分のデータを均一に抽出して、新たな画像データを作成すればよい。また、画像データ内の全データのうち複数のデータを重み付き平均化して１つのデータとすることで、画像データの解像度を縮小する方法も挙げられる。

縮小部１３３は、取得部１３２によって取得された距離マップデータと同じデータ量を有するように撮影画像データを縮小する。本実施形態では、撮影画像データは撮像素子１１のベイヤー配列のＲＧＧＢ−ｃｈから補間によりカラーの画像データが生成される。そして、距離マップデータはそのうちの補間前の一つのＧ−ｃｈだけを使って生成されるため、解像度（データ量）が撮影画像データよりも小さい。そのため、後処理のために、撮影画像データのデータ量と距離マップデータのデータ量とを揃える。

補正部１３４は、縮小部１３３で縮小された画像データと、距離マップデータと、を用いて、距離マップデータの各画素の距離情報を補正する機能を有する。補正の方法は後述する。

拡大部１３５は、補正部１３４で補正された距離マップデータを拡大する機能を有する。拡大とは、縮小とは反対で、画像の解像度を大きくするように、画像データのデータ量を増やすことである。拡大部１３５は、元の撮影画像データと同じデータ量を有するように、補正部１３４で補正された距離マップデータを拡大する。この拡大処理は、後処理で必要となるため、元の撮影画像データのデータ量と補正された距離マップデータのデータ量とを揃える。

記憶部１４は、撮影画像データ、距離マップデータ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。入力部１５はユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

次に、距離マップデータ上に現れるエラーについて説明する。１つ目は、距離情報が取得できないエラー（データ欠損）である。このエラーは、距離取得方法に依って異なるが、ステレオ法を例に挙げると、被写界側において、模様（テクスチャ）がない箇所や、暗い領域の箇所、また視差の違いにより片側から見えない領域（オクルージョン領域）などが原因で生じる。またこうした箇所は連続した複数の画素に対応する距離情報で発生することが多い。

２つ目は、距離情報が大きく変化する箇所（距離境界部という）において生じるエラーである。これは、前側と後側に物体があって、その物体同士が重なる部分に現れる。ＤＦＤ法などの画像の類似度から距離を算出するような手法を用いた場合には、距離境界部では、距離算出時に前側と後側の情報が混ざっているために、算出された距離情報の誤差が大きくなる。

３つ目は、距離情報にノイズが発生して生じるエラーである。これは、同じ距離にある物体だが、何らかの理由によって、その物体内の距離情報がばらつくものである。

上記エラーを踏まえ、それらを補正する画像処理方法について、図２のフローチャートを用いながら、本実施形態の画像処理方法とともに説明する。

まず、取得部１３２は、撮影画像データＤ２０ａ、距離マップデータＤ２０ｂ、信頼度マップデータＤ２０ｃを取得する（Ｓ２０）。信頼度マップデータＤ２０ｃは、距離マップデータＤ２０ｂ内の画素の各距離情報の信頼度の分布を表している。距離情報として上記のエラーが発生している可能性が高い場合には、信頼度の値が低くなる。また、信頼度マップデータは画像データの形式で保持されている必要はない。距離マップデータと撮影画像データの各画素との対応関係が取れたデータ群であればよい。

次に、縮小部１３３は、撮影画像データＤ２０ａの縮小処理を行う（Ｓ２１）。縮小率の決定方法は、例えばデータ欠損領域の大きさで決定する方法が挙げられる。これは後述する距離マップデータＤ２０ｂの補正処理と縮小率によって、データ欠損領域を補間する量が決定されるためである。また最終的に生成される距離マップデータの利用用途に依っては必ずしもデータ欠損領域を全て補間する必要はない。

また、縮小部１３３は、縮小された撮影画像データＤ２１ａのデータ量が、距離マップデータＤ２０ｂのデータ量と同じになるように、元の撮影画像データＤ２０ａを縮小する。

次に、補正部１３４は、Ｓ２１で縮小された撮影画像データＤ２１ａと信頼度マップデータＤ２０ｃとを用いて、距離マップデータＤ２０ｂの補正処理を行う（Ｓ２２）。補正処理の一例として、下記の式１を用いたフィルタ処理が挙げられる。

式１において、Ｄは補正前の距離情報、Ｄ’は補正後の距離情報である。Ｉは縮小された撮影画像データ内の画素の輝度値（色）である。ｐは距離マップデータ内の補正対象画素の位置、ｑは補正対象画素ｐの周辺画素の位置である。Ｇはガウス関数（σは分散値）で、Ｇ_σｓ、Ｇ_σｒは異なるガウス関数でもよいし、同じガウス関数でもよい。Ｓは計算範囲であり、Ｓが大きいと、周辺画素ｑの数も大きくなる。ｃは信頼度を表す。Ｔは距離情報の信頼度が高い場合には１、距離情報の低い場合には０に設定される。例えば、ｃが０以上１以下の数値範囲の場合、ｃが０．５以上のときにＴは１に設定され、ｃが０．５未満の場合にＴは０に設定されるようにする。なお、ｃが０と１の２値の値しかとらない場合には、Ｔ（ｃ）はｃと置換してもよい。

上記式１を用いたフィルタ処理は、補正前の距離情報に対応する縮小された撮影画像データ内の画素の輝度値（色）がその周辺の画素の輝度値と近く、かつ信頼度が高い距離情報のみを用いて、重み付き平均化処理を行なうことを意味している。つまり、まず、信頼度マップデータを用いることによりデータ欠損を補間する。そして、ガウス関数Ｇ_σｒの導入で補正対象画素の輝度値（色）と近い画素の輝度値を用いることにより、距離境界部を精度よく補正する。さらに、平均化処理によりノイズ除去を行なっている。このフィルタ処理方法では、補正対象画素のデータとその周辺画素のデータを比較し、重みを決定している。周辺画素のデータをどの範囲まで比較計算するかによって、計算量やデータ欠損及び距離境界部の補正量に影響を与える。そのため、重みを適正に決定する必要がある。Ｓ２１で縮小処理を行なっていることにより、縮小処理を行わなかった場合に比べ、データ欠損などのエラーの範囲が小さくなるため、計算に使用する周辺画素の範囲を小さくすることができ、計算量が削減される。上記計算を距離マップデータ全体で行うことにより、距離マップデータＤ２２を補正する。

次に、拡大部１３５は、補正処理を行った距離マップデータＤ２２の拡大処理を行う（Ｓ２３）。拡大処理による補間方法には、ニアレストネイバー法、バイリニア法、バイキュービック法といったものがあるがこれらに限らずどのような方法でも構わない。拡大率は、拡大された距離マップデータＤ２３のデータ量が元の撮影画像データＤ２０ａのデータ量と同じになるように設定すると、最も高解像度な距離マップデータＤ２３が得られるため好ましい。それ以上に拡大する場合は、後工程のために、元の撮影画像データＤ２０ａも拡大する必要があり、拡大によるデータ補間の影響にで、距離境界部の距離精度が低下する。また、拡大された距離マップデータＤ２３のデータ量を元の撮影画像データＤ２０ａのデータ量と縮小された撮影画像データのデータ量との間のデータ量とするようにしてもよい。この場合、縮小部１３３が、後工程のために、拡大された距離マップデータＤ２３のデータ量と同じになるように、元の撮影画像データＤ２０ａを縮小してもよい。

最後に、補正部１３４は、元の撮影画像データＤ２０ａあるいは、縮小または拡大された撮影画像データを用いて、拡大された距離マップデータＤ２３の補正処理を行い（Ｓ２４）、最終的な距離マップデータＤ２４が生成される。これはＳ２３の拡大処理により、距離マップデータＤ２３内の距離境界部で補間処理が行われたために生じる、距離情報の誤差を補正するためである。具体的には、下記の式２を用いて補正処理が行われる。

式２は式１から信頼度に関係のある因子Ｔを除いたものである。これは欠損している情報はすでに補正されているため、再び信頼度を用いる必要がないためである。Ｓ２２において、欠損している距離情報が補正しきれていない場合には、再度、この処理によって信頼度を考慮して補正することも可能である。その場合には、Ｓ２３の拡大処理後の距離マップデータＤ２３のデータ量に対応した信頼度情報を用意し、式１を用いて同様に処理を行う。

このＳ２４の補正処理における計算範囲Ｓ’は、Ｓ２２の補正処理と同様に計算量やデータ欠損及び距離境界部の補正量に影響を与える。特にデータ欠損や距離境界部がＳ２２の補正処理において既に補正されている場合では、拡大処理による距離境界部の誤差に応じて計算範囲を決定すればよい。その場合は、計算範囲Ｓ’は、Ｓ２２の補正処理の計算範囲Ｓよりも小さくなる。

次に、Ｓ２１の縮小処理における撮影画像データＤ２０ａの縮小率、Ｓ２２の補正処理での計算範囲Ｓ、Ｓ２３の拡大処理における距離マップデータＤ２２の拡大率、Ｓ２４の補正処理での計算範囲Ｓ’について述べる。

Ｓ２２の補正処理の計算範囲Ｓは、上述したようにデータ欠損及び距離境界部の補正量によって決定される。例えば、縮小処理の前の撮影画像データＤ２０ａに対して、データ欠損及び距離境界部の補正に必要なデータ量をＮとする。そして縮小率をＣとすると、距離マップデータＤ２０ｂと縮小した撮影画像データＤ２１ａが同じデータ量であるため、Ｓ２２の補正処理で必要となるデータ量Ｎ’は、Ｎに縮小率Ｃを掛けた以下の式３で表され、Ｎ’はＮより小さくなる。
Ｎ’＝ＣＮ・・・式３

Ｓ２３の拡大処理における拡大率Ｕは、拡大後の距離マップデータＤ２３をどのようなデータ量にするかによって決められる。例えば、元の撮影画像データＤ２０ａに合わせるのであれば、以下の式４になる。
Ｕ＝１／Ｃ・・・式４

また、Ｓ２４の補正処理の計算範囲（フィルタサイズ）Ｌは、Ｓ２３の拡大処理によって生じた距離境界部の誤差を補正するためには、以下のように設定される。
Ｌ≧２Ｕ・・・式５

次に、計算量について説明する。本実施形態の工程における計算量は、計算するデータ数と計算範囲の積に概ね比例する。上記フローでの計算量Ｐは、元の撮影画像データの横画素数をＨ、縦画素数をＶとすると、以下の式６で表される。
Ｐ∝（Ｎ’^２Ｃ^２ＨＶ＋Ｌ^２Ｕ^２Ｃ^２ＨＶ）・・・式６

式６の第１項は、Ｓ２２の補正処理の計算量を表し、第２項は、Ｓ２４の補正処理の計算量を表している。元の撮影画像データＤ２０ａを縮小せずに、本実施形態と同等の精度の距離マップデータを得るために、データ欠損及び距離境界部の補正処理を行った場合の計算量Ｐ_ｎは、以下の式７で表される。
Ｐｎ∝Ｎ^２ＨＶ・・・式７

式３、６、７から、計算範囲Ｎ、縮小率Ｃ、拡大率Ｕが以下の式８を満たすことで計算量の削減の効果を得られる。
Ｌ^２＜Ｎ^２（１−Ｃ^４）／Ｕ^２Ｃ^２・・・式８

具体的な数値を基に効果を考える。Ｎが１２０であったとし、縮小率Ｃを０．５、拡大率Ｕを２とすると、式３よりＮ’は６０、式５よりＬは最小で４となる。その場合には、式６、７より、計算量Ｐは、Ｐ_ｎに対しておよそ１６分の１まで削減できる。

本実施形態によれば、少ない計算量で精度のよい距離マップデータを取得することができる。

（実施形態２）
実施形態１では、画像データを、距離マップデータと同じデータ量にする縮小処理を行っていた。それに対して、本実施形態では、画像データ、距離マップデータ、さらには信頼度マップデータを縮小する処理を行っている点が、実施形態１と異なっている。つまり、本実施形態では、画像データのデータ量を距離マップデータのデータ量と揃えるように画像データを縮小するのではなく、縮小された距離マップデータのデータ量と揃えるように画像データを縮小している。図３は、本実施形態の画像処理方法のフローチャートの一例を示す。図３を用いて本実施形態の画像処理方法を、実施形態１と異なる点を中心に説明する。なお、本実施形態の画像処理装置は、実施形態１の画像処理装置と同じである。

まず、取得部１３２は、撮影画像データＤ３０ａ、距離マップデータＤ３０ｂ、信頼度マップデータＤ３０ｃを取得する（Ｓ３０）。本実施形態は、撮影画像データＤ３０ａのデータ量と距離マップデータＤ３０ｂのデータ量とが異なる場合でも、撮影画像データＤ３０ａのデータ量と距離マップデータＤ３０ｂのデータ量とが同じ場合でもよい。

次に、縮小部１３３は、撮影画像データＤ３０ａ、距離マップデータＤ３０ｂ、信頼度マップデータＤ３０ｃの縮小処理を行う（Ｓ３１）。撮影画像データＤ３０ａ、距離マップデータＤ３０ｂ、信頼度マップデータＤ３０ｃは、縮小された撮影画像データＤ３１ａ、縮小された距離マップデータＤ３１ｂ、縮小された信頼度マップデータＤ３１ｃの各データ量が同じになるように縮小される。

次に、補正部１３４は、縮小された撮影画像データＤ３１ａと縮小された信頼度マップデータＤ３１ｃとを用いて、縮小された距離マップデータＤ３１ｂの補正処理を行う（Ｓ３２）。補正処理は、実施形態１と同様の方法を取ることができる。この結果、補正された距離マップデータＤ３２が生成される。

次に、拡大部１３５は、補正処理を行った距離マップデータＤ３２の拡大処理を行い（Ｓ３３）、拡大された距離マップデータＤ３３を生成する。最後に、補正部１３４は、撮影画像データＤ３０ａあるいは、縮小または拡大された撮影画像データを用いて、拡大された距離マップデータＤ３３の補正処理を行い（Ｓ３４）、最終的な距離マップデータＤ３４が生成される。拡大処理（Ｓ３３）、補正処理（Ｓ３４）は実施形態１と同様の方法を適用することができる。

本実施形態でも、実施形態１の式８を満たすことで、計算量を低減し、精度の高い距離マップデータを取得することができる。ただし、本実施形態では、縮小率の制約はない。縮小率をどんどん大きくすると、ある程度までは全体の計算量が削減される。しかし、その場合、距離情報の補正を十分に行うためにはＳ３４での補正処理の計算範囲が大きくなり、縮小率がある値以上からは全体の計算量が増える可能性がある。また、縮小率を小さくしていくと、細かい構造が失われてしまうため、距離情報の算出精度が低下するため、縮小率は小さくし過ぎない範囲で設定する。具体的には、縮小率は、０．０１乃至０．７０の範囲で設定することが特に好ましく、さらには０．０５乃至０．５０が好ましい。

（実施形態３）
実施形態１では、縮小処理によって補正計算する計算量を削減していた。本実施形態では、縮小処理ではなく、撮影画像データ、距離マップデータ及び信頼度マップデータの対応関係を一致させつつ、使用するデータ量を低減することで計算量の削減を行う。

図４は、本実施形態に係る画像処理装置２３を備える撮像装置２の一例を示している。実施形態１の画像処理装置１３とは、縮小部１３３が無い点が異なっている。また、図５は、本実施形態の画像処理方法のフローチャートの一例を示す。図５を用いて本実施形態の画像処理方法を、実施形態１と異なる点を中心に説明する。

まず、取得部１３２は、撮影画像データＤ５０ａ、距離マップデータＤ５０ｂ、信頼度マップデータＤ５０ｃを取得する（Ｓ５０）。実施形態１と同じく、距離マップデータＤ５０ｂのデータ量が撮影画像データＤ５０ｂのデータ量よりも小さい場合を例にして説明する。

次に、補正部１３４は、撮影画像データＤ５０ａと信頼度マップデータＤ５０ｃとを用いて、距離マップデータＤ５０ｂの補正処理が行なわれる（Ｓ５２）。補正処理の一例として、下記の式９を用いたフィルタ処理が挙げられる。

式９において、Ｄは補正前の距離情報、Ｄ’は補正後の距離情報である。Ｉは撮影画像データ内の画素の輝度値（色）である。ｐは距離マップデータ内の補正対象画素の位置、ｑは補正対象画素ｐの周りの周辺画素の位置である。Ｇはガウス関数（σは分散値）で、Ｇ_σｓ、Ｇ_σｒは異なるガウス関数でもよいし、同じガウス関数でもよい。Ｓ”は計算範囲であり、Ｓ”が大きいと周辺画素ｑの数が大きくなる。ｃは信頼度を表す。Ｔは距離情報の信頼度が高い場合には１、距離情報が低い場合には０に設定される。なお、距離情報Ｄや輝度値Ｉはｐやｑに応じた値を使用するが、必ずしもそのデータ値でなければならないわけではなく、周辺のデータとの重み付け平均等によって算出されたデータを用いてもよい。

式９は式１とほぼ同様であるが、補正対象画素の位置ｐ及び周辺画素の位置ｑの取り方が異なる。また、Ｅ（ｘ）は、距離マップデータＤ５０ｂ内の画素ｘに対応する撮影画像データＤ５０ａ内の画素を表す変換関数である。つまり、輝度値Ｉ（Ｅ（ｘ））は、距離マップデータＤ５０ｂ内の画素ｘに対応した撮影画像データＤ５０ａ内の画素の輝度値の値を意味する。ただし、ｘはｐ又はｑである。距離マップデータＤ５０ｂのデータ量が撮影画像データＤ５０ａのデータ量よりも小さい場合を例に挙げて、図６を用いて詳しく説明する。

図６は、距離マップデータＤ５０ｂ内の補正対象画素ｐ、周辺画素ｑと、撮影画像データＤ５０ａ内の画素との対応関係を示している。図６は、距離マップデータＤ５０ｂのデータ量が撮影画像データＤ５０ａのデータ量の縦、横ともに半分のデータ量の場合である。図６において、距離マップデータＤ５０ｂ内の補正対象画素ｐと、撮影画像データＤ５０ａ内の補正対象画素ｐに対応する画素と、を両方とも黒色で表している。また、距離マップデータＤ５０ｂ内の複数の周辺画素ｑと、撮影画像データＤ５０ａ内の複数の周辺画素ｑそれぞれに１対１で対応する複数の画素と、を灰色で表している。なお、図６（ａ）、（ｂ）の違いは、周辺画素ｑの範囲の違いだけである。より具体的には、図６（ｂ）の場合の方が、図６（ａ）よりもより遠くの周辺画素を計算に使用することになる。

図６（ａ）、（ｂ）のように距離マップデータ内のすべての画素を補正対象画素ｐとしても、画像データでは飛び飛びに選択することになる。さらに、１つの着目画素の計算に使用する周辺画素ｑも、対応する画像データ内の画素では飛び飛びになる。そのため、本実施形態でも、画像データを縮小しなくても、実施形態１と同様に計算するデータ量を削減することができる。なお、距離マップデータ内の画素と画像データ内の画素とは、必ずしも規則的に対応付けされる必要はない。

なお、周辺画素ｑは、着目画素に近い画素を多くし、遠い画素を少なくするようにしてもよい。ｐ、ｑのデータの選択は、実施例１と同様に、データ欠損及び距離境界部の補正量と計算量によって決定される。

次に、拡大部１３５は、補正処理を行った距離マップデータＤ５２の拡大処理を行い（Ｓ５３）、拡大された距離マップデータＤ５３を生成する。最後に、補正部１３４は、撮影画像データＤ５０ａあるいは、縮小または拡大された撮影画像データを用いて、拡大された距離マップデータＤ５３の補正処理を行い（Ｓ５４）、最終的な距離マップデータＤ５４が生成される。拡大処理（Ｓ５３）、補正処理（Ｓ５４）は実施形態１と同様の方法を適用することができる。

本実施形態における計算量について説明する。距離マップデータ内の着目画素ｐに対応する画像データ内の画素の選択によるデータ削減量をＢとすると、式６の右辺の第１項Ｐ’は以下のようになる。
Ｐ’＝Ｎ’^２Ｂ^２ＨＶ・・・式１０

Ｓ５２の補正処理で必要となる補正量の大きさＮ’は、周辺画素ｑの選択によるデータ削減量をＢ’とすると、以下の式１１のようになる。
Ｎ’＝Ｂ’Ｎ・・・式１１

よって、式６の右辺の第２項を考慮すると、以下の式１２を満たすことで計算量の削減の効果を得られる。
Ｌ^２＜Ｎ^２（１−Ｂ’^２Ｂ^２）／Ｕ^２Ｂ^２・・・式１２

本実施形態の方法によれば、実施形態１と比較し、計算に利用する周辺画素ｑを任意に選択することができ、よりロバストである。

（実施形態４）
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置などに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

デジタルカメラやデジタルビデオカメラ、監視カメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装され、撮影画像に対する各種画像処理（被写体切出し、背景ぼかし、ぼけ効果付与等）に利用される。

１撮像装置
１３画像処理装置
１３２取得部
１３３縮小部
１３４補正部

Claims

撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得手段と、
前記取得手段で取得された前記画像データを、前記距離マップデータのデータ量に応じて縮小する縮小手段と、
前記縮小手段によって縮小された画像データを用いて、前記距離マップデータを補正する第１の補正手段と、
前記第１の補正手段によって補正された距離マップデータを拡大する拡大手段と、前記取得手段で取得された画像データを用いて、前記拡大手段によって拡大された距離マップデータを補正する第２の補正手段と、を有することを特徴とする画像処理装置。
撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得手段と、
前記取得手段で取得された前記画像データ及び前記距離マップデータを縮小する縮小手段と、
前記縮小手段によって縮小された画像データを用いて、前記縮小手段によって縮小された前記距離マップデータをフィルタ処理によって補正する第３の補正手段と、
前記第３の補正手段によって補正された距離マップデータを拡大する拡大手段と、
前記取得手段によって取得された画像データを用いて、前記拡大手段によって拡大された距離マップデータを補正する第２の補正手段と、
を有することを特徴とする画像処理装置。
前記第３の補正手段は、前記縮小手段による縮小の縮小率に応じて前記フィルタ処理のフィルタサイズを決定することを特徴とする請求項２に記載の画像処理装置。
前記第２の補正手段は、前記拡大手段によって拡大された距離マップデータをフィルタ処理によって補正することを特徴とする請求項２または３に記載の画像処理装置。
前記第２の補正手段は、前記拡大手段による拡大の拡大率に応じて前記フィルタ処理のフィルタサイズを決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
補正に必要なデータ量をＮ、前記縮小手段による撮影画像データの縮小率をＣ、前記拡大手段よる距離マップデータの拡大率をＵ、前記第２の補正手段による前記拡大された距離マップデータの補正に用いるフィルタサイズをＬとすると、下記の式を満たすことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
Ｌ^２＜Ｎ^２（１−Ｃ^４）／Ｕ^２Ｃ^２
前記距離マップデータのデータ量とは、前記距離マップデータの有する前記距離情報の量であり、各距離情報は前記取得手段により取得された画像データの複数の画素にそれぞれ対応していることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記縮小手段は、前記取得手段で取得された前記画像データの画素数が、前記距離マップデータのデータ量と同じになるように縮小することを特徴とする請求項２に記載の画像処理装置。
前記第１の補正手段は、前記距離情報の信頼度の分布を表す信頼度マップデータを用いて、前記距離マップデータを補正することを特徴とする請求項１に記載の画像処理装置。
請求項１乃至９のいずれか１項に記載の画像処理装置と、前記撮像手段と、を有する撮像装置。
撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得工程と、
前記取得工程にて取得された前記画像データを、前記距離マップデータのデータ量に応じて縮小する縮小工程と、
前記縮小工程にて縮小された画像データを用いて、前記距離マップデータを補正する第１の補正工程と、
前記第１の補正工程にて補正された距離マップデータを拡大する拡大工程と、前記取得工程にて取得された画像データを用いて、前記拡大工程にて拡大された距離マップデータを補正する第２の補正工程と、を有することを特徴とする画像処理方法。
撮像手段で撮像された画像データと、前記画像データに対応する、被写体の距離情報の分布を表す距離マップデータと、を取得する取得工程と、
前記取得工程にて取得された前記画像データ及び前記距離マップデータを縮小する縮小工程と、
前記縮小工程にて縮小された画像データを用いて、前記縮小工程にて縮小された前記距離マップデータをフィルタ処理によって補正する第３の補正工程と、
前記第３の補正工程にて補正された距離マップデータを拡大する拡大工程と、
前記取得工程にて取得された画像データを用いて、前記拡大工程によって拡大された距離マップデータを補正する第２の補正工程と、
を有することを特徴とする画像処理方法。
請求項１１または１２に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。