JP6789677B2 - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Description

本発明は、視点画像を用いた画像処理技術に関する。

撮影によって得られた、同じ被写体画像を含む複数の視点画像を用いた画像処理がいくつか提案されている。特許文献１には、多視点での撮影画像から、それらの合成比率の調節によって、任意の（仮想的）視点の撮影画像を生成する技術の開示がある。特許文献２には、１つのマイクロレンズに対して複数の光電変換部が割り当てられた撮像素子から取得される複数の視差像を、相対的にシフトして合成することで仮想的な像面にリフォーカスした画像を生成する技術の開示がある。

特開２０１２−１８６７９０号公報 特開２０１４−２２８５８６号公報

このような複数の視点画像を用いた画像処理をユーザ操作に基づいてアプリケーション上で実施する場合、撮影条件によってパラメータの変更に対する画像効果の程度が異なってしまうので、設定が難しい。

上記課題に鑑み、本発明は、複数の視点画像を用いた画像処理を行う画像処理装置およびその制御方法であって、ユーザが簡便な操作で所望の画像効果が得られる画像処理装置及びその制御方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、複数の視点画像と、該複数の視点画像に対応する、撮像時のＩＳＯ感度を含む撮影情報とを取得する取得手段と、前記視点画像に基づく画像データに画像処理を施す画像処理手段と、前記画像処理手段による画像処理におけるパラメータをユーザ操作に基づいて設定する設定手段と、前記ＩＳＯ感度に基づいて、前記画像処理において前記設定手段によりユーザが設定可能なパラメータを制限する制限手段と、を備えることを特徴とする。

また、本発明の画像処理装置の制御方法は、複数の視点画像と、撮像時のＩＳＯ感度を含む撮影情報とを取得する取得ステップと、前記ＩＳＯ感度に基づいて、画像処理手段による画像処理においてユーザが設定可能なパラメータを制限する制限ステップと、前記画像処理手段による画像処理におけるパラメータをユーザ操作及び前記制限に基づいて設定する設定ステップと、前記視点画像に基づく画像データに画像処理手段により前記画像処理を施す画像処理ステップと、を備えることを特徴とする。

複数の視点画像を用いた画像処理を行う画像処理装置およびその制御方法であって、ユーザが簡便な操作で所望の画像効果が得られる。

第１の実施形態における画像処理装置の構成を示すブロック図。 第１の実施形態における解像感調整処理のフローチャート図。 第１の実施形態における視点画像を分離する修正処理の効果を示す図。 第１の実施形態におけるリフォーカス処理を説明するイメージ図。 第１の実施形態におけるアプリケーションのＧＵＩ及びフローチャート図。 第１の実施形態における画像処理の撮影条件との対応を示すテーブルを示す図。

以下、本発明にかかる実施例を、図面を参照して詳細に説明する。

［第１の実施形態］
本実施形態〜視点画像図１は、本発明の実施形態に係る画像処理装置１００の概略構成を示すブロック図である。画像処理装置１００は、制御部（ＣＰＵ）１０１、信号処理部１０２、ＲＡＭ１０３、外部記憶装置１０４、操作部１０５及び表示部１０６を有し、これらはバス１０７により相互に通信可能に接続されている。

制御部１０１は、ＣＰＵを有し、ＲＯＭ１０８に格納された各種のプログラムをＲＡＭ１０３に展開し、画像処理装置１００の各部の動作を制御することにより、画像処理装置１００の全体的な制御を行う。

信号処理部１０２は、外部記憶装置１０４などから読み出され、ＲＡＭ１０３に展開された画像データに対して行われる一般的な画像処理と、本実施形態に特徴的な画像処理を行う。一般的な画像処理とは、例えば撮像素子から出力された状態のベイヤ−配列等の画像信号の同時化、シェーディング補正などの各種補正処理、ホワイトバランス、ガンマ補正や色変換処理などの現像処理、符号化、復号化、圧縮処理などである。本実施形態における特徴的な処理とは、複数の視点画像に対してピントが合って見える位置を調整するとともに全体的な解像感を調整する解像感の調整処理と、複数の視点画像の合成比率を制御する処理である。複数の視点画像の合成比率を制御する処理は、合成比率を制御することで視点を変更し、ボケをシフトさせるボケシフト処理、画像に生じるゴーストを低減させるゴースト低減処理と分けている。処理の詳細には後述する。

ＲＡＭ１０３は、例えば、ＤＲＡＭであり、制御部１０１が実行するプログラムの展開領域を有し、また、制御部１０１が算出する各種の演算データ等を記憶する。外部記憶装置１０４は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像データや制御部１０１の動作に必要な各種のパラメータ等を記憶する。ＲＯＭ１０８は、制御部１０１が実行する制御プログラムやアプリケーションプログラム等の各種のプログラムを格納する。

操作部１０５は、例えば、マウスやキーボード、タッチパネルなどの入力デバイスを含み、ユーザによる操作に応じてユーザが所望する処理の実行を制御部１０１に対して指示する。表示部１０６は、例えば、液晶ディスプレイ（ＬＣＤ）等であり、画像データやグラフィカルユーザインターフェース（ＧＵＩ）を表示する。表示部１０６での表示制御は、制御部１０１によって行われる。バス１０７は、アドレスバス、データバス及びコントロールバスを含み、各部間の通信を可能とする。

ここで、本実施形態で外部記憶装置１０４などから読み出され、処理される視点画像は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換素子（光電変換部）が形成されている２次元撮像素子を用いて撮像されているものとする。複数に分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部によって受光した視点画像の画像信号を加算することで、撮影レンズの射出瞳全体に対応する通常の撮像信号を生成することが出来る。撮影された画像に関する複数の視点画像の画像信号は、光強度の空間分布および角度分布の情報であるライトフィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。すなわち、複数の視点画像の取得方法としてはこれに限らず、多眼の撮像装置で得られたものや、単眼、同一の撮像素子であっても、時分割に複数回異なる視点で撮像され、得られた視点画像などでもよい。

次に、信号処理部１０２にて行われる、本実施形態における特徴的な処理である解像感の調整処理について説明する。解像感の調整処理は、視点画像を相対的にシフトして合成することでピント位置を修正するリフォーカス処理と、視点画像間の視差（像ずれ量）に基づいて、シャープネス／アンシャープネスを掛けるシャープネス／アンシャープネス処理の２つから構成される。

図２に解像感の調整処理のフローチャートを示す。制御部１０１あるいは制御部１０１の指示により各部で処理が行われる。

ステップＳ１で制御部１０１は外部記憶装置１０４に記憶された複数の視点画像を読み出す。

［像ずれ量分布］
本実施形態では、リフォーカス処理をより効果的に行うため、またシャープネス／アンシャープネスを掛ける領域を判定するために、視点画像間の像ずれ量の分布を算出する。

ステップＳ２では、制御部１０１は、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ１から生成された第１視点輝度信号Ｙ１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、第２視点画像Ｉ２から、生成された第２視点輝度信号Ｙ２に対して、視差のある方向（瞳分割方向、列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１、５、８、８、８、８、５、１、−１、−５、−８、−８、−８、−８、−５、−１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整しても良い。

次に、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを相対的に視差のある方向（列方向）にシフトさせ、信号の一致度を表す相関量を算出する。所定値とは、例えば、０．２とする。そして、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化してもよい。

位置（ｊ，ｉ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）を、式（１Ａ）により算出し、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）を、式（１Ｂ）により算出する。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１シフトずらした相関量である。

相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

別途各領域のコントラストなどを検出し、２像のコントラストの差が大きい領域など、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＳ（ｊ，ｉ）＝０としてもよい。

以上のように本実施形態では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。

２回目以降の処理で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を、記録される画像データと関連付けて外部記憶装置１０４の記録媒体などに記録することが望ましい。

必要に応じて、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離などに応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換しても良い。

［像ずれ差分量分布］
図２のステップＳ４で、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を生成する。

ステップＳ４において、まず、本実施形態のリフォーカス処理により修正を行いたい像ずれ量を、所定像ずれ量ｐとして設定する。

ステップＳ４において、次に、σ_ｐ＞０として、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を、式（２）により算出する。

像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布ＭＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐの差分の絶対値｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布ＭＣＯＮ（ｊ，ｉ）とを、かけ合わせた分布である。像ずれ差分量分布ＭＤＩＦＦ（ｊ，ｉ）は、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＜σｐで正、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＝σｐで０、｜ＭＤＩＳ（ｊ，ｉ）−ｐ｜＞σｐで負となる。

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であり、像ずれ量の算出から除外された領域は、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）とする。必要に応じて、他の値を設定しても良い。

［修正視点画像］
図２のステップＳ５で、第１視点画像と第２視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、第１の先鋭化および第１の平滑化の処理を行う。そして、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）を生成する。

本実施形態では、第１視点画像と第２視点画像（複数の視点画像）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理を行う。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理を行う。上記処理を行い、第１修正視点画像と第２修正視点画像（複数の修正視点画像）を生成する。

図２のステップＳ５において、まず、第１視点画像と第２視点画像（複数の視点画像）に対して、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理の強さを指定する第１の強度パラメータｋ_ｃｔ≧０を設定する。または、視点画像間の差を縮小して視差を平滑化する（クロストーク、第１の平滑化）処理の強さを指定する第１の強度パラメーターｋ_ｃｔ≧０を設定する。

ステップＳ５において、次に、第１の強度パラメーター分布Ｋ_ｃｔ（ｊ，ｉ）を、式（３）により設定する。第１の強度パラメーター分布Ｋ_ｃｔ（ｊ，ｉ）は、ｋ_ｃｔを比例係数として、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に比例する。

ステップＳ５において、次に、第１視点画像Ｉ１（ｊ，ｉ）と第２視点画像Ｉ２（ｊ，ｉ）（第１視点画像から第ＮＬＦ視点画像）に対して、式（４Ａ）、および、式（４Ｂ）の処理を行う。そして、第１修正視点画像ＭＩ１（ｊ，ｉ）と第２修正視点画像ＭＩ２（ｊ，ｉ）（第１修正視点画像から第ＮＬＦ修正視点画像）を生成する。

式（４Ａ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する処理である。一方、式（４Ｂ）は、第１の強度パラメーター分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域で、第１視点画像と第２視点画像（複数の視点画像）間の差を縮小して視差を平滑化する処理である。

図３は、第１視点画像と第２視点画像（複数の視点画像）間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理例をグラフで示した図である。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図３では、先鋭化する（クロストーク補正、第１の先鋭化）処理前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例を、破線のグラフで示す。また、式（４Ａ）により、先鋭化する（クロストーク補正、第１の先鋭化）処理後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）の例を、実線のグラフで示す。視点画像間の差を拡大して視差を先鋭化する（クロストーク補正、第１の先鋭化）処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に視点画像間の差が小さい部分はあまり変化しない。このように、視点画像間の視差が先鋭化されることがわかる。

一方、式（４Ｂ）の平滑化する（クロストーク、第１の平滑化）処理では、第１視点画像と第２視点画像（複数の視点画像）間の差が縮小され、視点画像間の視差が平滑化される。

以上のように本実施形態では、複数の視点画像に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行う。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでも良い。

本実施形態では、式（７Ａ）、式（７Ｂ）、式（２）、式（３）、式（４Ａ）、式（４Ｂ）より、視点画像毎のコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、各視点画像への先鋭化や平滑化などの画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、各視点画像への先鋭化や平滑化などの画像処理が強く行われる。

本実施形態では、式（２）、式（３）、式（４Ａ）および式（４Ｂ）より、像ずれ量分布の所定シフト量（基準）からの差が小さい領域は、先鋭化の処理を行い、差が大きい領域は、平滑化の処理を行う。本実施形態では、式（２）、式（３）、式（４Ａ）より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。

本実施形態では、式（２）、式（３）、式（４Ｂ）より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。

また、本実施形態では、式（４Ａ）および式（４Ｂ）より、複数の視点画像の画素毎に、複数の視点画像間の差を拡大して視差を先鋭化、または、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式（４Ａ）の第１の先鋭化の処理および式（４Ｂ）の第２の平滑化の処理は、各（ｊ，ｉ）画素に含まれる第１光電変換部の出力信号である第１視点画像Ｉ_１（ｊ，ｉ）と、第２光電変換部の出力信号である第２視点画像Ｉ_２（ｊ，ｉ）間の演算処理である。

［シフト合成処理によるリフォーカス］
図２のステップＳ６で、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）毎に重み係数をかけて、瞳分割方向（ｘ軸方向）に相対的にシフトして加算する処理（シフト合成処理）を行う。そして、複数の視点画像による合成画像である中間画像を生成する。

図４は、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）による瞳分割方向（ｘ軸方向）のシフト合成処理によるリフォーカスについて概要を示す説明図である。図４では、紙面の上下方向にｘ軸を設定して下方をｘ軸の正方向と定義し、紙面に垂直な方向をｙ軸に設定して手前側をｙ軸の正方向と定義し、紙面の左右方向にｚ軸を設定して左方をｚ軸の正方向と定義する。図４では、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を模式的に表している。

第１修正視点画像ＭＩ１（ｊ，ｉ）と第２修正視点画像ＭＩ２（ｊ，ｉ）（複数の修正視点画像）は、光強度分布情報だけでなく、入射角度情報も有している。したがって、以下の平行移動および加算処理で仮想結像面６１０でのリフォーカス画像を生成できる。第１に、第１修正視点画像ＭＩ１（ｊ，ｉ）を主光線角度θ１に沿って仮想結像面６１０まで平行移動させ、第２修正視点画像ＭＩ２（ｊ，ｉ）を主光線角度θ２に沿って仮想結像面６１０まで平行移動させる。第２に、それぞれ平行移動させた第１修正視点画像ＭＩ１（ｊ，ｉ）と第２修正視点画像ＭＩ２（ｊ，ｉ）を加算する。

第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させることは、列方向への−１画素分のシフトに対応する。また、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させることは、列方向への＋１画素分のシフトに対応する。したがって、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を相対的に＋２画素分シフトさせ、ＭＩ_１（ｊ，ｉ）とＭＩ_２（ｊ，ｉ＋２）を対応させて加算することで、仮想結像面６１０でのリフォーカス信号を生成できる。

図２のステップＳ７において、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）を、式（１４）により、仮想結像面でのリフォーカス画像であるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を生成する。所定像ずれ量ｐに最も近い偶数をｐｅとする。ここで、所定像ずれ量ｐに最も近い偶数ｐｅは、ＲＯＵＮＤを四捨五入の関数として、ｐｅ＝２×ＲＯＵＮＤ（ｐ／２））により算出する。

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）（複数の修正視点画像）のシフト合成処理は、偶数シフトや加算処理に限定されず、必要に応じて、実数シフトや、より一般的な合成処理を用いても良い。また、必要に応じて、後述する図２のステップＳ８の処理を省略し、式（５）により、第１修正視点画像と第２修正視点画像（複数の修正視点画像）をシフト加算して生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を出力画像としても良い。

［シャープ／アンシャープ制御］
図２のステップＳ７で、第１修正視点画像と第２修正視点画像（第１修正視点画像から第Ｎ_ＬＦ修正視点画像）より生成されたシフト合成画像（中間画像）に対し、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じた第２の先鋭化および第２の平滑化の処理を行う。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ／アンシャープ制御された出力画像を生成する。

本実施形態では、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、第２の先鋭化処理を行う。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、第２の平滑化処理を行う。そして、出力画像を生成する。

図２のステップＳ７において、まず、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、第２の先鋭化処理、もしくは、第２の平滑化処理の強さを指定する第２の強度パラメーターｋ_ＵＳＭ≧０を設定する。

ステップＳ７において、次に、２次元ローパスフィルタ｛Ｆ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）｜−ｎ_ＬＰＦ≦ｊ_ＬＰＦ≦ｎ_ＬＰＦ、−ｍ_ＬＰＦ≦ｉ_ＬＰＦ≦ｍ_ＬＰＦ｝を、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に作用させる。式（６）により、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を算出する。２次元ローパスフィルタＦ_ＬＰＦ（ｊ_ＬＰＦ、ｉ_ＬＰＦ）には、例えば、^ｔ［１、０、２、０、１］×［１、０、２、０、１］などの２次元フィルタを用いることができる。必要に応じて、２次元ガウシアン分布などを用いても良い。

ステップＳ７において、最後に、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、式（７）により、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を作用させて、第２の先鋭化、または第２の平滑化処理を行う。そして、出力画像であるリフォーカス画像Ｉ_ＲＦ（ｊ，ｉ）を生成する。

式（７）は、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、以下の処理を表す。すなわち、正係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて先鋭化する（第２の先鋭化）処理である。

一方、式（７）は、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、以下の処理を表す。すなわち、負係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて平滑化する（第２の平滑化）処理である。

シフト合成処理によるリフォーカスでは、ＬＦデータを用いて光学的な原理に基づいたリフォーカスを行うことができる。シフト合成処理によるリフォーカスは、像ずれ差分量分布を検出できない領域に対しても、処理を行うことができる利点がある。しかしながら、本実施形態（Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２）の瞳分割のように、瞳分割方向がｘ軸方向（ｙ軸方向）の１方向のみである場合、以下の場合がある。すなわち、瞳分割方向のｘ軸方向（ｙ軸方向）にはリフォーカス効果が得られるが、瞳分割方向と直交するｙ軸方向（ｘ軸方向）には、リフォーカス効果が十分に得られない場合がある。一方、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御では、瞳分割方向に関係なくリフォーカス効果を得ることができる。したがって、本実施形態では、シフト合成処理によるリフォーカスと、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御と、を組み合わせた解像感の調整を行う解像感調整処理を行う。これにより、瞳分割方向と直交する方向に対しても、リフォーカス効果を得ることができる。

以上のように本実施形態では、複数の修正視点画像の合成画像Ｉ_Ｓ（ｊ，ｉ）に、像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成する。より具体的には、式（５）においてシフト量を調整することで解像感を最も強くする奥行き方向の位置を調整する。さらに、式（３）、式（７）にあるｋ_ｃｔ、ｋ_ＵＳＭをユーザ操作に応じて変更することで、出力画像（表示画像）の解像感の強さを調整することが可能になっている。

また、本実施形態では、画像撮像時のＩＳＯ感度によって上記解像感の強さの調整幅を変更している。なぜなら、ＩＳＯ感度が大きいとそれだけＳ／Ｎ比が低下するため、当該画像に解像感の調整を強く掛けると画質がさらに低下してしまうからである。設定値の例を、図６のテーブルに示す。このテーブルは、あらかじめＲＯＭ１０３に記憶されているが、ユーザ設定により変更可能なものであってもよい。このとき、視点画像間のシフト量については特に影響はないので、ＩＳＯ感度には依らず一定幅で調整可能とする。

次に、本実施形態における特徴的な処理である複数の視点画像の合成比率を制御することで視点を変更する処理を説明する。この処理は、合成比率を制御することで視点を変更し、ボケをシフトさせることで主被写体をより鮮明に写す効果がある。基本的には、指定された領域において指定された合成比率で複数の視点画像を合成し、元の合成画像に重畳して表示する。すなわち、座標（ｊ，ｉ）での合成画像Ｊ（ｊ，ｉ）は式（８）で表される。

ｋ_ｖｉｅｗを調整することにより他の被写体によるボケの影響を調整することができる。

本実施形態では、視点画像の合成比率は手動で設定するものとしたが、これにかぎらない。例えば合成比率を複数振って合成画像を生成してみて、合成画像の変化を検出し、ボケシフトに効果のある最適な合成比率に自動で設定するなど、自動で合成比率を決めても良い。

次に、本実施形態における特徴的な処理である複数の視点画像によるゴーストの影響の違いを利用したゴースト低減処理について説明する。本実施形態では、複数の視点画像間で領域ごと（画素ごとでもよい）に差分を取り、差分の正値のみを取り出すことで不要光成分（ゴースト成分）を検出する。検出された不要光成分を、表示、記録対象とする画像（本実施形態では複数の視点画像の合成画像）から引くことで、ゴースト低減処理を行う。複数の視点画像が３以上あり、複数組み合わせ分、差分値（差分画像）が得られる場合は、差分（の最大値や積算値）が最大となる組み合わせを選び処理することで、より最大限の効果でゴースト低減処理が行える。

また、ゴースト低減処理については、レンズの特性によってはゴーストの発生しにくいものがある。そこで、本実施形態では、視点画像撮像時のレンズ情報に基づいて、ゴースト低減処理の有効、無効を制御する。具体的には、ゴーストの発生しにくいレンズについては、ゴースト低減処理の設定を変更できないように無効にする制御を行う。ゴーストの発生しにくいレンズかどうかは、ゴースト調整の必要なレンズかどうかを後述する図６（ｂ）のテーブルで保持する。

上記のような本実施形態に特徴的な解像感の調整処理、視点変更によるボケシフト処理、ゴースト低減処理について、画像データに適用するためのＧＵＩの例を図５（ａ）に示す。ウインドウ５００は上記処理を画像データに適用するためのアプリケーション全体の表示を示すものである。表示画像５０１は、処理対象となる画像が表示されているものである。表示画像５０１は、アプリケーション上で設定された各種パラメータを用いて画像処理が適用されると、表示画像が更新され、適用後の画像データが表示される。

パレット５０２は、本実施形態に特徴的な画像処理を含む画像処理のパラメータや適用範囲を設定するためのＧＵＩである。本実施形態では、解像感調整とボケシフトは重ねがけを可能とし、ゴースト低減処理はそれらの処理と排他的に適用可能なものとする。しかし、これに限らず、各処理を全て排他的にしか実行できないようにして各処理の精度を確保、維持しやすくしても良いし、全ての処理を重ねがけ可能として処理の自由度を上げても良い。そこで、パレット５０２は、解像感調整／ボケシフトとゴースト低減とのいずれを選ぶかを選択するＵＩを有する。図５（ａ）では、解像感調整／ボケシフトが選択されている。

解像感調整のためのパラメータの設定画面としては、下記のものが表示されている。解像感調整を行うか否かを設定するチェックボックス、奥行き方向に解像感が一番強くなる位置を調整する（視点画像間のシフト量を調整する）ためのバー５０３と指標５０３ｐ、解像感調整の強さを調整するためのバー５０４と指標５０４ｐである。

バー５０３には対応して上下にそれぞれ「奥（０）」「手前（０）」と方向が判るようにしており、隣の数字は基準をバー５０３の真ん中として、どれだけ調整（シフト）が行われたかを数字で示すものである。本実施形態では奥、手前それぞれ５段階、計１１段階の設定が可能とする。設定可能な調整段数や、１段に割り当てられる実際の画素のシフト量は適宜設定可能である。

また、パレット５０２には、バー５０４に対応して強さの設定段数が「強さ（５）」と表示されているが、本実施形態では、左端をゼロとして、０〜１０の整数１１段階で強さを設定可能とする。強さの各段階に対応して、前述したように、ｋ_ｃｔ、ｋ_ＵＳＭが設定される。大きい数字であるほど、より解像感を強く表現するために、ｋ_ｃｔを２像の分離性能が高くなるように設定し、ｋ_ＵＳＭをエッジがより強く、ぼかし処理がよりぼけるように設定する。

次に、ボケシフトのためのパラメータの設定画面としては、下記のものが表示されている。ボケシフトを行うか否かを設定するチェックボックス、ボケシフトを適用する領域を選択する選択処理に入るための釦５０５を表示する。釦５０５を操作する指示（カーソルでの指定やタッチ操作）がなされると、画像内で適用する領域を選択する操作が可能となる。また、選択した領域の境界を表示するか否かを設定するためのチェックボックス５０６と、合成比率を設定するバー５０７及び指標５０７ｐも設定画面として表示される。合成比率の設定によってどの方向の視点から見た画像を生成しているかを示すために、バー５０７にあわせて左側に「左（０）」、右側に「右（０）」と表示する。隣の数字は基準をバー５０７の真ん中（１：１の視点画像の合成）として、どれだけ片方の視点寄りの画像合成が行われたかを数字で示すものである。

ゴースト低減処理のための設定画面としては、下記のものが表示されている。ゴースト低減を行うかどうかを設定するためのチェックボックス、ゴースト低減を適用する領域を選択する選択処理に入るための釦５０８と、選択した領域の境界を表示するか否かを設定するためのチェックボックス５０９である。

なお、上記のパレット５０２や表示画像５０１への各種操作は、キーボード、マウス等の入力デバイスからの指示に応じて操作されても良いし、タッチパネル等で指標や釦をタッチするタッチ操作によって操作されても良い。

本実施形態の特徴的な画像処理のパラメータの調整範囲、調整の可否を決定する処理フローを図５（ｂ）のフローチャートで説明する。各ステップは制御部１０１あるいは制御部１０１が各部に指示を行い実行される。図５（ｂ）は、ユーザが操作部１０５を操作し、制御部１０１がプログラムに基づいてソフトウェアを起動し、外部記憶装置１０４から視点画像を含む画像ファイルを読み出し、ＲＡＭ１０３に展開することで処理を開始する。

ステップＳ５０１０では、制御部１０１が、読み出した視点画像ファイルからメタデータに記録されている撮影情報を取得する。本実施形態では、撮影情報として撮像時に設定されたＩＳＯ感度を参照する。

ステップＳ５０２０では、制御部１０１が、読み出した視点画像ファイルからメタデータに記録されている撮像装置の機種に対応するＩＤ情報を取得する。

ステップＳ５０３０では、制御部１０１が、ＲＯＭ１０２に記録されている図６（ａ）のようなテーブルを参照し、ＩＳＯ感度に対応する解像感調整の強さの調整可能範囲を設定する。図６（ａ）に基づけば、例えばＩＳＯ感度が１６００で撮像された複数の視点画像（及び合成画像）であった場合、８００≦（画像のＩＳＯ感度）≦３２００なので、対応する係数ｋ_ｃｔ、ｋ_ＵＳＭに補正係数０．８が掛かり、効果が制限される。本実施形態では、バー５０４が示す調整可能な段数としては１１段階で変わらず、内部で対応するパラメータに補正係数を掛ける構成にしているが、これに限らず、バー５０４が調整可能な段数を絶対的な効果の強さを示すものとして減らすことで対応してもよい。

ステップＳ５０４０では、制御部１０１が、ＲＯＭ１０２に記録されている図６（ｂ）のようなテーブルを参照し、メタデータから取得したレンズの種類に対応してゴースト低減処理の適用可否を設定する。図６（ｂ）のテーブルに基づけば、レンズＡであった場合には、ゴーストが発生しにくい光学系になっているか、現在取得されている視点画像間の視差では消えないようなゴーストしか発生しない。そこで、本実施形態で規定するゴースト低減処理は適用出来ないように設定する。このとき、例えば、パレット５０２におけるゴースト低減処理の設定部分をグレーアウトする。あるいは、ユーザがゴースト低減処理のチェックボックスにチェックを入れて適用と設定した場合でも、内部ではゴースト低減処理を適用しないようにする。

本実施形態では、リフォーカスの強さスライダ（視差強調の強さの最大値）は、ＩＳＯ感度でのみ変化するようにしたが、ＩＳＯ感度だけでなく、レンズの絞り値（Ｆ値）や焦点距離などの撮影条件（撮影情報）でも可変になるようにしてもよい。解像感調整の強さは、ＩＳＯ感度によって調整幅が可変のもの、リフォーカス処理のシフト量は、調整幅が固定のものとしたが、その他の、例えば撮像素子の特性や他の撮影条件（絞り値、焦点距離）などに応じて固定、可変を設定してもよい。ゴースト低減についても、ゴーストが発生しにくいレンズで見た目に分からないような処理になろうとも調整値を設定できるような実装でもよい。

また、本実施形態のように１つのマイクロレンズに複数の画素を割り当てた撮像素子によって得られた複数の視点画像では、特にケラレによるシェーディングの影響を受けやすい。そこで、予め複数の視点画像それぞれにシェーディング補正を行う。各視点画像に生じるシェーディングを検出するための補正関数をその画素値から検出する際に、入射光により信号が飽和した画素やその周辺に電荷が漏れ込んだ画素の影響により、正しくシェーディング関数が検出できない場合がある。このとき、シェーディング補正を正しく行うことができないため、シェーディング補正を無効に設定するが、各視点画像へのシェーディング補正が正しく行われていない視点画像では、適切なボケシフト処理やゴースト低減処理が行えない場合がある。そこで、撮影情報として、シェーディング補正が行えたか否かの情報、あるいは有効か無効か（シェーディング補正はまだ画像に掛かっていないとして）を示す情報を画像ファイルのメタデータに記録しておく。そしてボケシフト処理あるいはゴースト低減処理を設定する設定画面の際に、シェーディング補正が行えてない、あるいは無効であったという情報に基づいて、各処理を適用できないように制御部１０２は制限する。制限の方法としては、ボケシフト処理及びゴースト低減処理を設定出来ないようにグレー表示してチェックボックスを無効にしても良いし、チェックボックスをオンにして各指標を動かしたとしても、指標の位置にかかわらず処理を適用しない（無効とする）よう設定してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクラアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ 画像処理装置
１０１ 制御部
１０２ 信号処理部
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 操作部
１０６ 表示部
１０７ バス
１０８ ＲＯＭ

Claims (13)

1. 複数の視点画像と、該複数の視点画像に対応する、撮像時のＩＳＯ感度を含む撮影情報とを取得する取得手段と、
   前記視点画像に基づく画像データに画像処理を施す画像処理手段と、
   前記画像処理手段による画像処理におけるパラメータをユーザ操作に基づいて設定する設定手段と、
   前記ＩＳＯ感度に基づいて、前記画像処理において前記設定手段によりユーザが設定可能なパラメータを制限する制限手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影情報は、前記視点画像の撮像時の焦点距離、撮像に用いられたレンズ及び撮像時の絞り値の少なくともいずれか１つの情報をさらに含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段により設定される前記画像処理手段の施す画像の解像感を調整する調整処理のパラメータは、処理の強さであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記設定手段により設定される前記画像処理手段の施す画像のボケの位置をシフトさせるボケシフト処理のパラメータは、各視点画像を合成する際の合成比率であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記視点画像は、１つのマイクロレンズに複数の光電変換素子が割り当てられた撮像素子から得られた画像であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記視点画像は、多眼の撮像装置から得られた画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記設定手段により設定される、前記画像処理手段の施す画像の解像感を調整する調整処理における前記調整処理の強さは、前記制限手段によって前記撮影情報により調整幅が可変であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記設定手段により設定される、前記複数の画像処理のうちの画像のボケの位置をシフトさせるボケシフト処理における前記視点画像のシフト量は、前記制限手段によって前記撮影情報により調整幅が可変であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像処理手段は前記視点画像に基づく画像データに複数の画像処理を施すことが可能であり、
   前記設定手段により設定される、前記複数の画像処理のうち画像のボケの位置をシフトさせるボケシフト処理における前記視点画像のシフト量は、前記撮影情報によらず調整幅が固定であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記画像処理手段の施す画像内のゴーストを低減するゴースト低減処理は、前記撮影情報により調整の有効、無効が切り替わることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記ゴースト低減処理の有効、無効が切り替わる撮影情報は、前記視点画像の撮像時のレンズ情報であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像処理手段は前記視点画像に基づく画像データに複数の画像処理を施すことが可能であり、
    前記複数の画像処理のうちの画像内のゴーストを低減するゴースト低減処理は、前記撮影情報によらず常に有効であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
13. 複数の視点画像と、撮像時のＩＳＯ感度を含む撮影情報とを取得する取得ステップと、
    前記ＩＳＯ感度に基づいて、画像処理手段による画像処理においてユーザが設定可能なパラメータを制限する制限ステップと、
    前記画像処理手段による画像処理におけるパラメータをユーザ操作及び前記制限に基づいて設定する設定ステップと、
    前記視点画像に基づく画像データに画像処理手段により前記画像処理を施す画像処理ステップと、
    を備えることを特徴とする画像処理装置の制御方法。

Images