JP6317635B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

例えば、露光中に焦点（ピント）の位置を変化させて撮像した画像を処理することで全焦点画像を得る画像処理方法、画像処理装置及び画像処理プログラムがある。このような、複数のピントの位置に対応した画像において、高画質が望まれる。

特開２０１３−１１０７００号公報

本発明の実施形態は、高画質な画像を提供する画像処理装置、画像処理方法及び画像処理プログラムを提供する。

本発明の実施形態によれば、撮像部と、画像処理部と、を含む画像処理装置が提供される。前記撮像部は、撮像素子と、前記撮像素子へ向かう光が通過するレンズと、を含む。前記撮像素子と前記レンズとの相対的位置関係は、可変である。前記画像処理部は、前記撮像素子と前記レンズとの前記相対的位置関係が第１範囲にあるときに前記撮像素子によって撮像された第１画像、及び、前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲とは異なる第２範囲にあるときに前記撮像素子によって撮像された第２画像を取得すると、前記第１画像に少なくとも前記第２画像の一部を加算して第１蓄積画像を導出し、前記第１蓄積画像の導出後であって前記撮像素子と前記レンズとの相対位置関係が前記第１範囲及び前記第２範囲とは異なる範囲にあるときに前記撮像素子によって撮像された別の画像を取得するたびに、前記第１蓄積画像に前記別の画像の少なくとも一部を加算して前記第１蓄積画像を更新する。

第１の実施形態に係る画像処理装置を示すブロック図である。 第１の実施形態に係る画像処理装置を示す模式的断面図である。 第１の実施形態に係る画像処理装置を示す模式図である。 第１の実施形態に係る画像処理装置の動作を示すフローチャートである。 ＰＳＦを示す模式図である。 ＰＳＦを示す模式図である。 ＰＳＦを示す模式図である。 ＰＳＦを示す模式図である。 参考例の画像処理装置の特性を示す模式図である。 第１の実施形態に係る画像処理装置の特性を示す模式図である。 第２の実施形態に係る画像処理装置を示すブロック図である。 第２の実施形態に係る画像処理装置の動作を示すフローチャートである。 第３の実施形態に係る画像処理装置を示すブロック図である。 図１４（ａ）〜図１４（ｅ）は、第３の実施形態に係る画像処理装置の動作を示す模式図である。 第３の実施形態に係る画像処理装置の動作を示す模式図である。 第４の実施形態に係る画像処理装置を示すブロック図である。 実施形態に係る画像処理装置を示すブロック図である。

以下に、各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を例示するブロック図である。
図２は、第１の実施形態に係る画像処理装置を例示する模式的断面図である。
図１に表したように第１の実施形態に係る画像処理装置１００は、フォーカス位置決定部１０（位置決定部）と、撮像部２０と、画像処理部３０と、を含む。図２に表したように撮像部２０は、レンズ２２と、撮像素子２５と、を含む。

レンズ２２は、撮像素子２５へ向かって入射した光を通過させる撮像レンズである。撮像素子２５に対するレンズ２２の相対的位置（フォーカス位置）は、可変である。撮像部２０において、フォーカス位置を変更することで、被写体にピントを合わせたり、ピントをずらしたりすることができる。

撮像部２０において、複数の画像が撮像される。撮像された複数の画像は、画像処理部３０に時々刻々と入力される。画像処理部３０は、入力された複数の画像を蓄積し、蓄積した複数の画像に基づいて出力画像を導出する。このように複数の画像を用いることで、例えばノイズを抑制した高画質な出力画像を得ることができる。

図１に表したフォーカス位置決定部１０は、撮像素子２５に対するレンズ２２の相対的位置を決定する。撮像部２０は、決定された位置にフォーカス位置を変更して画像を撮像（撮影）する。画像処理部３０の蓄積部３２は、撮像された画像を蓄積バッファに記憶された蓄積画像に蓄積する。さらに、撮像部２０は、フォーカス位置決定部１０によって決定された別の位置にフォーカス位置を変更して画像を撮像する。撮像された画像は、蓄積画像にさらに蓄積加算される。実施形態においては、このようにフォーカス位置の変更と撮像とを繰り返し、それらの画像を加算した蓄積画像を得る。

蓄積画像は、異なる複数のピントの位置に対応した情報を含み、画面内で暈けた画像となる。画像処理部３０（復元部３３）は、このような蓄積画像に対して暈け除去処理を施す。これにより、高画質な出力画像を得ることができる。撮像素子からの距離が互いに異なる被写体のそれぞれに合焦した画像（例えば全焦点画像）を得ることができる。

図２において、撮像素子２５からレンズ２２へ向かう方向をＺ軸方向とする。
この例では、撮像素子２５には、撮像領域２１と、半導体基板２４と、が設けられている。撮像領域２１は、例えば、Ｚ軸方向から見てレンズ２２と重なる位置に配置される。

レンズ２２は、レンズ保持部２３によって保持されている。レンズ２２の光軸がＺ軸方向に沿うように配置される。例えば、レンズ保持部２３に設けられた調整機構によって、フォーカス位置が調整される。

例えば、フォーカス位置決定部１０及び画像処理部３０は、半導体基板２４に設けられる。フォーカス位置決定部１０及び画像処理部３０の少なくとも一部が、半導体基板２４とは別に設けられてもよい。回路基板２６がさらに設けられ、フォーカス位置決定部１０及び画像処理部３０の少なくとも一部が回路基板２６に設けられてもよい。

撮像領域２１には、例えば、フォトダイオード層２１ａと、マイクロレンズ層２１ｂと、カラーフィルタ層２１ｃと、が設けられる。カラーフィルタ層２１ｃは、フォトダイオード層２１ａとマイクロレンズ層２１ｂとの間に配置されている。
フォトダイオード層２１ａには、Ｚ軸方向に対して垂直な平面内において並ぶ複数のフォトダイオードが設けられる。マイクロレンズ層２１ｂには、Ｚ軸方向に対して垂直な平面内において並ぶ複数のマイクロレンズが設けられる。カラーフィルタ層２１ｃには、Ｚ軸方向に対して垂直な平面内において並ぶ複数のカラーフィルタが設けられる。例えば、１つのフォトダイオードと１つのマイクロレンズとの間に、１つのカラーフィルタが設けられる。

なお、図２に示した構成は一例であり、実施形態において、フォーカス位置決定部１０、撮像部２０及び画像処理部３０などは、上記の例に限られない。実施形態においては、種々の変形が可能である。例えば、撮像素子２５には、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなど一般的な撮像素子を用いることができる。フォーカス位置の変更において、撮像素子２５を動かす機構を用いてもよい。

図３は、第１の実施形態に係る画像処理装置を例示する模式図である。
ここで、フォーカス位置（撮像素子２５に対するレンズ２２の相対的位置）をｖと表す。この例では、フォーカス位置ｖは、レンズ２２の位置である。なお、撮像素子２５を動かす機構を用いた場合、フォーカス位置は、撮像素子２５の位置である。

スイープ範囲Ｒｓは、フォーカス位置ｖを変化（移動）させる範囲を表す。スイープ範囲Ｒｓは、フォーカス位置ｖが変化可能な、予め設定された範囲である。スイープ範囲Ｒｓが広いほど全焦点画像の奥行きも広がることになる。スイープ範囲Ｒｓを以下のように定義する。

すなわち、フォーカス位置ｖは、位置ｖ_０から位置ｖ_ｅの間において変化可能である。

図４は、第１の実施形態に係る画像処理装置の動作を例示するフローチャートである。 画像処理装置１００における画像処理方法は、ステップＳ１０〜ステップＳ１７を含む。

ステップＳ１０において、フォーカス位置決定部１０によって撮像時におけるフォーカス位置が決定される。フォーカス位置決定部１０は、フォーカス位置が第１位置であるときに撮像を行うことを決定する。そして、後述のステップＳ１１〜Ｓ１５を実施した後、再びステップＳ１０において、フォーカス位置が第２位置であるときに撮像を行うことを決定する。第２位置は、第１位置とは異なるフォーカス位置である。
なお、図４に表したステップＳ１０〜Ｓ１５の繰り返し処理を、ステップＳ１１〜Ｓ１５の繰り返し処理としてもよい。この場合には、ステップＳ１０において、フォーカス位置決定部１０は、複数のフォーカス位置において、画像を撮像することを決定する。

フォーカス位置の決定には、色々なバリエーションを用いることができる。例えば、スイープ範囲Ｒｓ内でランダムに、フォーカス位置を決定しても良い。すなわち、第１位置及び第２位置のそれぞれは、スイープ範囲Ｒｓにおいて無作為に選ばれた位置であってもよい。

適当な刻み幅を与えて、それに従ってスイープ範囲Ｒｓ内でフォーカス位置を決定してもよい。すなわち、第１位置及び第２位置のそれぞれは、スイープ範囲Ｒｓにおいて互いに等間隔に並ぶ複数の位置のいずれかであってもよい。

スイープ範囲Ｒｓ内において、複数のフォーカス位置ｖが適度にばらついていることが好ましい。例えば、レンズ２２の光軸方向における中心と撮像素子２５との間の距離が、レンズ２２の焦点距離となるフォーカス位置を、第１位置とする。このとき、撮像部２０のピントは、無限遠に対応する。さらに、レンズ２２の光軸方向における中心と撮像素子２５との間の距離が、レンズ２２の焦点距離よりも短くなるフォーカス位置を第２位置とする。例えば、第２位置は、撮像部２０の最短撮影距離に対応する。このような第１位置と第２位置との間の複数のフォーカス位置において、入力画像を撮像する。なお、実施形態においては、複数の入力画像は、互いに同じフォーカス位置において撮像された入力画像を含んでいてもよい。

上記の例では、撮像中は、フォーカス位置を固定している。実施形態においては、露光中にフォーカス位置を移動させても構わない。例えば、フォーカス位置が第１範囲にあるときに撮像素子２５によって第１画像が撮像される。第１範囲は第１位置を含み、第１画像を撮像する間に、フォーカス位置を第１範囲内で変化させる。同様に、フォーカス位置が第１範囲とは異なる第２範囲にあるときに、撮像素子２５によって第２画像が撮像される。第２範囲は第２位置を含み、第２画像を撮像する間に、フォーカス位置を第２範囲内で変化させる。

ステップＳ１１において、フォーカス位置決定部１０によって決定されたフォーカス位置にレンズ２２（または撮像素子２５）を移動させる。例えば、フォーカス位置が、第１位置となる位置にレンズ２２を移動させる。

ステップＳ１２において、撮像素子２５によって画像を撮像する。例えば、フォーカス位置が第１位置であるときに撮像素子２５によって第１画像が撮像される。後述するステップＳ１３〜Ｓ１５の後に、再びステップＳ１０〜Ｓ１２が繰り返され、フォーカス位置が第２位置であるときに撮像素子２５によって第２画像が撮像される。

ここで、任意のフォーカス位置ｖで撮像された画像（入力画像）の座標（ｘ、ｙ）における画素値を、Ｉ_ｓｒｃ（ｘ，ｙ；ｖ）と定義する。入力画像の値は、輝度値のようなスカラーでも良いし、カラー画像に用いられるベクトル（例えばＲＧＢやＹＵＶ）でも良い。

ステップＳ１３では、画像処理部３０において動き推定が行われる。動き推定において、入力画像から基準画像への動きベクトルを検出する。ここで、基準画像は、蓄積の基準となる画像を表す。基準画像には、入力画像の内の１つの画像を用いることができる。例えば、処理の開始時には、最初の入力画像を基準画像として用いる。基準画像の座標（ｘ、ｙ）における画素値を、Ｉ_ｒｅｆ（ｘ，ｙ）と定義する。

例えば、第１位置において撮像された第１画像を基準画像とする。その後、第２位置において撮像された第２画像を入力画像として、第２画像から第１画像への動きベクトルが検出される。動きベクトルは、第１画像内における被写体（対象物）の位置と、第２画像内における被写体の位置との差に応じたベクトルである。

動きベクトルの検出には、様々な方法を用いることができる。例えば、ブロックマッチングを用いることができる。ただし、動きベクトルの検出方法は、それに限られない。
ブロックマッチングは、入力画像を複数の矩形のブロックに分割し、ブロック毎に対応するブロックを基準画像上から探索する方法である。１つのブロックの大きさをＭ_１×Ｍ_２とする。ブロックの位置を（ｉ、ｊ）とする。動きを求めるための誤差関数として平均絶対値差分（Mean Absolute Difference：ＭＡＤ）などを用いることができる。

ここで、ベクトルｕ＝（ｕ_ｘ、ｕ_ｙ）^Ｔは、評価したい動きベクトルである。Ｔは、転置を表す。

探索範囲を、−Ｗ≦ｘ≦Ｗかつ−Ｗ≦ｙ≦Ｗの矩形領域とすると、位置（ｉ、ｊ）における動きベクトルｕ（ｉ、ｊ）を求めるブロックマッチングアルゴリズムは、以下のようになる。

ここで、

は、誤差関数Ｅを最小とするｕ_ｘ及びｕ_ｙを探すことを表す。

ブロック内の動きベクトルは、ブロックの動きベクトルと同一とする。すなわち、

座標が小数で表される位置を含む精度でマッチングを行ってもよい。例えば等角直線フィッティングなどを用いることができる。
動きベクトルをここで検出しなくても、例えばＭＰＥＧ２のような動画像符号化における圧縮のために用いられている動きベクトルを用いても良い。デコーダによってデコードされた動きベクトルを用いることができる。

動きベクトルの検出において、画面全体の動きを表現したパラメトリックモーションを求めても良い。例えば、ＬｕｃａｓＫａｎａｄｅ法を使って画面全体のパラメトリックモーションを求める。求められたパラメトリックモーションから動きベクトルを求める。

パラメトリックモーションはパラメータ化された射影で動きを表現するものである。座標（ｘ、ｙ）における動きは、例えばアフィン変換を用いて、以下のようにあらわすことができる。

ここで、ベクトルａ＝（ａ_０、ａ_１、ａ_２、ａ_３、ａ_４、ａ_５）^Ｔは、動きのパラメータである。このような動きパラメータを、画面全体からＬｕｃａｓＫａｎａｄｅ法を用いて推定する。ＬｕｃａｓＫａｎａｄｅ法においては、以下の手順１〜４が実施される。

手順１
勾配

を計算する。

手順２
ヘッセ行列

を計算する。

手順３

を計算する。

手順４
更新

を計算する。規定数に達するまで手順２〜４を繰り返す。ここで上付きのｔは、反復回数を表す。

パラメータが求まれば、

によって、任意の座標位置の動きベクトルを求めることができる。これ以外にも、例えば、２つのフレームのそれぞれにおいて特徴点を算出し、特徴点どうしの対応付けからパラメトリックモーションを求めても良い。

ステップＳ１４において、画像処理部３０は、入力画像を蓄積バッファに蓄積する。
蓄積バッファは、基準画像に対して位置合わせされた入力画像を蓄積していくためのバッファである。蓄積バッファに記憶された蓄積画像に入力画像が蓄積される。蓄積画像の解像度は、入力画像の解像度と同じでなくてもよい。例えば、蓄積画像は、入力画像に対して、縦方向及び横方向に２倍、縦方向及び横方向に３倍、または、縦方向及び横方向に４倍、の解像度を有していてもよい。例えば、解像度を増加させることで超解像効果が生じる。これにより、高画質の画像を生成することができる。なお、蓄積画像の解像度は、入力画像の解像度よりも小さくてもよい。

蓄積画像の座標を（Ｘ、Ｙ）とする。蓄積画像の座標（Ｘ、Ｙ）における画素値を、Ｂ（Ｘ、Ｙ）とする。前述のように、蓄積画像の解像度は、入力画像の解像度と異なる場合がある。このため、蓄積に際して、入力画像の解像度で求めた動きベクトルが蓄積画像の解像度に対応するように、スケールを変換する。

ここで、ベクトルＵ（ｘ、ｙ）は、スケール変換された動きベクトルである。ρは、入力画像の解像度と蓄積画像の解像度との比である。

次に、入力画像の画素の値Ｉ_ｓｒｃ（ｘ，ｙ；ｖ）を蓄積する位置を求める。スケール変換された動きベクトルを用いると、蓄積画像上の蓄積位置座標は、

である。ここで、ρは、入力画像の解像度と蓄積画像の解像度との比である。

蓄積画像に入力画像の画素Ｉ_ｓｒｃ（ｘ，ｙ；ｖ）を蓄積する。
蓄積位置座標は、座標Ｄ（ｘ、ｙ）であるが、これは少数である可能性がある。そこで、蓄積位置座標の近傍離散座標を求める。

ここで、

は、近傍離散座標を表す。

は、蓄積位置座標に対して要素毎に四捨五入することを表す。

以下のように、近傍離散座標において、蓄積画像に入力画像の画素値を加算することで、蓄積が実施される。

ここで、ｚ＋＝ａは、ａをｚに加算することを表す。

実施形態においては、後述するように、蓄積画像から出力画像を導出する際に、蓄積画像の画素のそれぞれについての重みが考慮される。重みは、蓄積重みバッファに保持された蓄積重み画像に蓄積される。蓄積重み画像の解像度は、蓄積画像の解像度と同じである。蓄積重み画像の座標（Ｘ，Ｙ）における画素値を、Ｗ（Ｘ，Ｙ）と定義する。

ステップＳ１４において、重みの蓄積も実施する。蓄積重み画像に、蓄積画像の画素のそれぞれについて、蓄積の重みを蓄積する。すなわち、

を実施する。この例では、蓄積の重みＷ（Ｘ，Ｙ）は、蓄積画像の画素のそれぞれにおいて、入力画像が加算された回数に対応している。

なお、蓄積画像に入力画像を加算する際には、入力画像の全てではなく、一部を加算してもよい。例えば、ユーザは、画像の中央部分などを処理対象領域として指定することができる。この場合、処理対象領域に対応する入力画像の一部が、蓄積画像に加算される。
以上説明したように、入力画像から基準画像への動きベクトルを推定し、推定された動きベクトルに基づいて入力画像を位置合わせする。位置合わせされた入力画像を蓄積して蓄積画像が導出される。
例えば、前述の第２画像から第１画像への動きベクトルに基づいて、第１画像に第２画像の少なくとも一部を加算して、蓄積画像（第１蓄積画像）を導出する。すなわち、動きベクトルに基づいて、第２画像の位置（画像内における被写体の位置）を移動し、移動後の第２画像の画素値を第１画像の画素値に加算し、蓄積画像を導出する。なお、第１蓄積画像は、第１画像に少なくとも第２画像の一部が加算された画像であり、さらに別の入力画像が加算されてもよい。

実施形態に係る画像処理の方法においては、図４に示すようにステップＳ１０からステップＳ１４までが複数回繰り返される。ステップＳ１５において、繰り返しを終了するか否かが判断される。繰り返しを終了しない場合には、ステップＳ１０〜Ｓ１４を再び実施する。例えば、フォーカス位置をさらに変更し、画像を撮像する。このようにして、画像処理部３０は、第１画像と第２画像とを含む複数の入力画像を取得する。複数の入力画像のそれぞれが撮像されたときのフォーカス位置は、互いに異なる。画像処理部３０は、取得した複数の入力画像の少なくとも一部を加算して第１蓄積画像を導出する。

ステップＳ１５において、例えば、所定の回数だけ入力画像が蓄積された場合には、繰り返しを終了する。繰り返しを終了した場合には、ステップＳ１６が実施される。

蓄積画像は、異なる複数のフォーカス位置の情報を含み、画面内で暈けた画像である。ステップＳ１６及びステップＳ１７において、蓄積画像に対して暈け除去処理を実施し、出力画像が導出される。例えば、画像処理部３０は、第１画像及び第２画像が加算蓄積された第１蓄積画像に対して暈け除去処理を実施し、出力画像を導出する。暈け除去処理においては、第１位置及び第２位置に対応した点拡がり関数に基づいて、第１蓄積画像が変換される。ここで出力画像における座標（Ｘ，Ｙ）の画素値をＯ（Ｘ，Ｙ）と定義する。

なお、出力画像Ｏ（Ｘ，Ｙ）の導出において、重み正規化が行われる。すなわち、蓄積画像の画素値を、重みで除する。これは、蓄積画像の各画素によって、蓄積の重みが異なるからである。Ｂ（Ｘ，Ｙ）を、Ｗ（Ｘ，Ｙ）で除する。

ステップＳ１６において、蓄積画像のＰＳＦ（Point Spread Function：暈け関数、点拡がり関数）を推定する。ある範囲においてフォーカス位置をスイープさせて撮像した画像のＰＳＦは、被写体の奥行きに依らず画面内で均一となることが知られている。（H.Nagahara, S.Kuthirummal, C.Zhou, and S.K.Nayer, "Flexible Depth of Field Photography," Proc.European Conf. Computer Vision, pp.60-73,2008）。

図５〜７は、ＰＳＦの推定方法を例示する模式図である。
まず、フォーカススイープを行って撮像された画像のＰＳＦについて説明する。フォーカススイープでは、一度の撮像において、露光中にフォーカス位置を近いところから遠いところまで変化させて、１つの画像が撮像される。フォーカススイープを行った場合、画面内が一様に暈けた画像が撮像される。

図５は、フォーカス位置ｖにおけるＰＳＦを例示している。例えば、レンズの焦点距離をｆ、レンズのｆ値をｆ_ｎｕｍ、とすると開口幅は、ａ＝ｆ/ｆ_ｎｕｍと計算できる。ピントの合っているフォーカス位置をｐ、あるフォーカス位置をｖとすると、暈け直径は、

と計算できる。暈け直径ｂ（ｖ）は、フォーカス位置ｖが位置ｐから離れるほど大きくなる。

例えば、図６に表したような状況におけるＰＳＦを考える。ここで、スイープ範囲Ｒｓは、１７（ｍｍ）から１９（ｍｍ）までであるとする。

このとき、フォーカス位置ｖが位置ｖ７１であるときに、被写体ｂ７１にピントが合っているとする。ここで被写体ｂ７１は、撮像素子２５からＺ軸方向に沿って２００（ｍｍ）離れた位置に配置されている。

同様に、フォーカス位置ｖ７２のときに被写体ｂ７２、フォーカス位置ｖ７３のときに被写体ｂ７３、フォーカス位置ｖ７４のときに被写体ｂ７４、フォーカス位置ｖ７５のときに被写体ｂ７５にピントがあっているとする。被写体ｂ７２〜ｂ７５のそれぞれと撮像素子２５との間のＺ軸方向に沿った距離は、それぞれ４５０（ｍｍ）、７５０（ｍｍ）、１１５０（ｍｍ）、２０００（ｍｍ）である。

このような状況において、フォーカス位置ｖを細かく動かしながら、図５において説明した位置毎のＰＳＦを加算する。これにより、図７のようになる。ここで、ＰＳＦは、暈け直径内において一様に畳み込まれるとしている（ピルボックス）。図７は、フォーカススイープを行って撮像された画像のＰＳＦを推定したものである。図７の縦軸はＰＳＦの値を表し、横軸は、ある画素からの距離Ｌｎを表している。

図７では、ピントが合っているフォーカス位置を変化させたときのＰＳＦを複数重ねて表示している。すなわち、複数のＰＳＦ（ｆ７１〜ｆ７５）を重ねて表示している。ｆ７１〜ｆ７５のそれぞれは、被写体ｂ７１〜ｂ７５のそれぞれの像に対応する画素についてのＰＳＦである。このように、ＰＳＦは互いに重なっており、画像の奥行きに依存しないことが分かる。

図５〜図７において説明した例は、フォーカス位置を連続してスイープさせるフォーカススイープについての例である。これに対して、実施形態においては、既に説明したように、フォーカス位置の変更と撮像とを繰り返し、撮像された複数の画像を加算蓄積した蓄積画像を導出する。実施形態は、いわば離散的なフォーカススイープである。そこで、フォーカス位置の変更を１０ステップとした離散的な場合のＰＳＦを図８に示す。図８に示したＰＳＦは、図７に示したＰＳＦに比べて滑らかではないが、近似的に画像の奥行きに依存しないことが分かる。

ステップＳ１７において、画像処理部３０は、推定されたＰＳＦを用いて蓄積画像から画像を復元する。復元には、例えばWiener Filterなどを用いることができる。推定されたＰＳＦの行列表現を行列ｈとする。

出力画像をフーリエ変換したものを

とし、復元画像のフーリエ変換を

とし、ＰＳＦのフーリエ変換を

とすると、Wiener Filterは、

によって計算できる。これを逆フーリエ変換すれば復元画像となる。ここで、σ_ｎ ^２／σ_ｓ ^２は、ノイズ信号比である。

以上説明したように、フォーカス位置を変更して撮影し、またフォーカス位置を変更して撮影するということを繰り返し、それらの画像を加算することで高画質な画像を得ることができる。例えば、スマートフォンなどの携帯端末に搭載されたカメラにおいては、カメラの絞りを細かく調整することができず、被写界深度が浅い場合がある。このようなカメラにおいても、実施形態に係る画像処理方法または画像処理装置を用いることで、例えば全焦点画像を得ることができる。

図９は、参考例の画像処理装置の特性を例示する模式図である。
前述のフォーカススイープのように、露光中にフォーカス位置を変化（スイープ）させて、画面内が一様に暈けた画像を取得し、その画像に暈け除去処理を施して全焦点画像を得る、という参考例の方法がある。

図９は、フォーカススイープによって画像を撮像した場合における、電荷Ｑと時間Ｔとの関係を例示している。図９の縦軸は、撮像素子の画素に蓄積される電荷Ｑを表す。図９の横軸は、時間Ｔを表す。例えば、Ｔ＝０からＴ＝Ｔｓまでの期間をスイープ時間とする。スイープ時間において、時間の経過とともにフォーカス位置ｖ（スイープ位置）をｖ_０からｖ_ｅまで変化させて、画像が撮像される。この例では、スイープ時間中は露光し続けている。

通常の被写体（例えば屋内の被写体）ｂ７６を撮像した場合に比べて、明るい被写体ｂ７７を撮像した場合は、より速く画素（例えばフォトダイオード）に電荷が蓄積される。明るい被写体ｂ７７を撮像した場合、フォーカス位置のスイープが完了する前に、電荷Ｑが飽和Ｑｓａｔに達してしまう。フォーカススイープにおいては、屋外などの明るい被写体を撮像したときに、すぐに画素が飽和し、スイープが間に合わない場合がある。

これに対して、実施形態においては、フォーカス位置の変更と撮像とを繰り返す。このように露光とスイープとを分離することにより、画素の飽和を気にすることなく、例えば全焦点画像を生成することができる。

図１０は、第１の実施形態に係る画像処理装置の特性を例示する模式図である。
図１０においても、縦軸は電荷Ｑを表し、横軸は時間Ｔを表す。図１０の下方のドットは、画像が撮像される時刻と、その時のフォーカス位置ｖを表す。スイープ時間（Ｔ＝０からＴ＝Ｔｓまで）のうち、図中のドットで示した時刻Ｔ１、Ｔ２…Ｔｎにおいて撮像が行われる。それぞれの時刻におけるフォーカス位置は、互いに異なる。この例では、露光中はフォーカス位置を固定している。但し、実施形態においては、露光中にフォーカス位置を移動させても構わない。

図１０に表したように、画素に蓄積された電荷は、撮像の度にリセットされる。これにより、明るい被写体ｂ７７を撮像しても、画素が飽和しにくい。例えば、明るい被写体に対しても、高画質の全焦点画像を得ることができる。

（第２の実施形態）
図１１は、第２の実施形態に係る画像処理装置を例示するブロック図である。
図１２は、第２の実施形態に係る画像処理装置の動作を例示するフローチャートである。
図１１に表したように、第２の実施形態に係る画像処理装置１０１は、画像処理装置１００に対してオートフォーカス検出部１１をさらに含む。オートフォーカス検出部１１は、カメラのオートフォーカス（ＡＦ）機能を有する。オートフォーカス機能は、様々な方法で実現することが可能である。例えば、画像のコントラストが最大となる位置にピントを合わせるコントラストＡＦや、位相差を取得することによってピントを合わせる位相差ＡＦなどを用いることができる。実施形態においては、ＡＦの方式を特に限定しない。

図１２に表したように、画像処理装置１０１における画像処理方法は、第１の実施形態において説明したステップＳ１０〜ステップＳ１７に加えて、ステップＳ０９をさらに含む。

ステップＳ０９において、オートフォーカス機能によって、任意の被写体へピントを合わせる。オートフォーカス検出部１１は、ピントが合うフォーカス位置を検出する。

ステップＳ１０において、オートフォーカスによって検出されたフォーカス位置に基づいてスイープ範囲Ｒｓを設定する。オートフォーカスによって検出されたフォーカス位置をｖ_ＡＦとすると、スイープ範囲Ｒｓを次のように、ｖ_ＡＦの前後に設定する。

ｖ_０＝ｖ_ＡＦ−Δｖ
ｖ_ｅ＝ｖ_ＡＦ＋Δｖ
ここで、Δｖは、あらかじめ定められた前後スイープ幅である。第１の実施形態においては、スイープ範囲Ｒｓの全体は、あらかじめ定められた範囲である。本実施形態では、スイープ範囲Ｒｓは、撮像時に動的に決定される。

例えば、撮像部２０のピントを被写体に合わせた状態におけるフォーカス位置を、第１位置として、第１位置において入力画像が撮像される。第１位置を基準として、その前後を第２位置とし、第２位置において、さらに入力画像が撮像される。

このように、第２の実施形態においては、カメラのオートフォーカスも併用する。オートフォーカスによってピントの合った位置から前後に、フォーカス位置をスイープさせる。これによって、全奥行位置に対応した全焦点画像だけでなく、任意の被写体を中心とした範囲に対応した画像を得ることができる。

（第３の実施形態）
図１３は、第３の実施形態に係る画像処理装置を例示するブロック図である。
図１４（ａ）〜図１４（ｅ）及び図１５は、第３の実施形態に係る画像処理装置の動作を例示する模式図である。
図１３に表したように、第３の実施形態に係る画像処理装置１０２においては、第１の実施形態に係る画像処理装置１００に対して、蓄積部３２における処理が異なる。本実施形態において、蓄積部３２は、区分決定部３２ａと合成部３２ｂとを含む。

図１４（ａ）に表した例では、図６において説明した状況と同様に、被写体ｂ７１〜ｂ７５が配置されている。図１４（ａ）に表したように、本実施形態では、スイープ範囲Ｒｓを複数に区分けし、フォーカス位置がスイープ範囲Ｒｓを区分的にスイープする（区分スイープ）。フォーカス位置は、スイープ範囲Ｒｓの全体を一度にスイープしない。この例では、スイープ範囲Ｒｓは、第１〜第４スイープ範囲Ｒｓ１〜Ｒｓ４に分けられている。例えば、第１の実施形態と同様の蓄積画像を、それぞれのスイープ範囲ごとに導出する。導出された複数の蓄積画像を合成し、合成した画像に暈け除去処理を施すことで、高画質な出力画像が得られる。

フォーカス位置が変化可能な範囲は、第１スイープ範囲Ｒｓ１と第２スイープ範囲Ｒｓ２と、を含む。第１スイープ範囲Ｒｓ１は、第１位置Ｐ１（第１範囲）と、第２位置Ｐ２（第２範囲）と、を含む。第２スイープ範囲Ｒｓ２は、第１スイープ範囲Ｒｓ１とは異なり、第３位置Ｐ３（第３範囲）を含む。

画像処理部３０は、第１位置Ｐ１に対応した第１画像と、第２位置Ｐ２に対応した第２画像と、を加算して第１蓄積画像を導出する。

さらに画像処理部３０は、フォーカス位置が第３位置Ｐ３（第３範囲）にあるときに撮像素子２５によって撮像された第３画像を取得し、少なくとも第３画像が加算された第２蓄積画像を導出し、第１蓄積画像と第２蓄積画像とを合成する。このようにして合成された画像に暈け除去処理を施すことで、高画質な出力画像が得られる。

スイープ範囲Ｒｓの全体をＫ個に区分するとき、Ｋ個の区分のそれぞれの中央値を、
ｖ_ｋ、（ｋ＝１，…，Ｋ）
とする（ｋは、Ｋ以下の自然数）。

区分に合わせて、区分の数だけ蓄積画像を用意する。

Ｂ_ｋ（Ｘ、Ｙ）、（ｋ＝１，…，Ｋ）
同様にして区分の数だけ蓄積重み画像を用意する。

Ｗ_ｋ（Ｘ、Ｙ）、（ｋ＝１，…，Ｋ）
入力画像の撮像時のフォーカス位置をｖとする。区分決定部３２ａは、入力画像が、どの区分に属するのかを決定する。入力画像が属する区分（ｋハット）は、例えば以下のような最近傍探索によって決定される。

ここで、

は、Ｅを最小とするｋを探すことを表す。

区分決定部３２ａによって決定された区分に対応する蓄積画像に入力画像を蓄積する。

ここでｚ＋＝ａは、ａをｚに加算することを意味する。

同様にして蓄積重み画像にも重みを蓄積する。

その後、重み正規化が行われる。すなわち、蓄積画像の画素値を、重みで除する。これは、蓄積画像の各画素によって、蓄積の重みが異なるためである。すると蓄積出力画像は以下のように計算できる。

このようにして、区分ごとに導出された複数の蓄積画像（蓄積出力画像）が得られる。蓄積が完了したら、合成部３２ｂにおいて、これらの蓄積出力画像を合成する。合成には、例えば、周波数が最も高いものを選択すればよい。すなわち、

ここで、∇は、画像内の画素値の勾配を算出するオペレータである。最も簡単な例では、∇は、画像内で縦方向に並ぶ画素の画素値の差、及び横方向に並ぶ画素の画素値の差、を算出する。上記の最適化式によって、勾配が最大となる蓄積出力画像が選択される。

図１４（ｂ）は、第１スイープ範囲Ｒｓ１（第１区分）に対応する蓄積画像Ｂ_１におけるＰＳＦを例示している。同様に、図１４（ｃ）〜図１４（ｅ）は、第２〜第４スイープ範囲Ｒｓ２〜区分Ｒｓ４（第２〜第４区分）に対応する蓄積画像Ｂ_２〜Ｂ_４におけるＰＳＦを例示している。

図１４（ｂ）〜図１４（ｅ）及び図１５の縦軸はＰＳＦの値を表し、横軸はある画素からの距離Ｌｎを表している。図１４（ｂ）〜図１４（ｅ）及び図１５では、図７と同様に、複数のＰＳＦ（ｆ７１〜７５）を重ねて表示している。

例えば、広いスイープ範囲Ｒｓを用いた場合、ピントが外れたときの暈けが大きくなる。その大きな暈けがＰＳＦに加算される。このため、ＰＳＦのテールにおける値が大きくなる。従って、広いスイープ範囲Ｒｓを用いた場合、画像の暈けは、コントラストが低下したような暈けとなる。これが出力画像の画質の低下につながる。

これに対して、実施形態においては、図１４（ａ）〜図１４（ｅ）のように、スイープ範囲Ｒｓを区分けして、複数の蓄積画像を取得する。式（３０）のように、蓄積画像のそれぞれから最適な部分を選択して合成する。これにより、例えば、ピントが大きく外れた画像は加算されないため、ＰＳＦの形状が大きく改善する。

例えば、図１４（ｂ）において、被写体ｂ７３、ｂ７４及びｂ７５のそれぞれに対応するＰＳＦは、テールにおける値が小さい良好な形状である。このため、蓄積画像の合成において、被写体ｂ７３〜ｂ７５については、蓄積画像Ｂ_１の画像が選択される。一方、区分Ｒｓ３に対応した位置には被写体が存在していないため、蓄積画像Ｂ_３は、ピントが大きく外れた画像となる。図１４（ｄ）に表したＰＳＦはテールが長い。蓄積画像の合成において、蓄積画像Ｂ_３は選択されない。

図１５は、上記のように、蓄積画像Ｂ_１〜Ｂ_４を合成した画像におけるＰＳＦ（ＰＳＦ３）を例示している。図１５では、参考として、スイープ範囲Ｒｓを区分けせず、広いスイープ範囲Ｒｓを用いた場合のＰＳＦ（ＰＳＦ１）も重ねて表示している。ＰＳＦ３に比べて、ＰＳＦ１においてはテールが長く、これがフレアなどの原因となることがある。これに対して、ＰＳＦ３では、区分スイープによって、テールの形状が改善し、より高画質な出力画像を得ることができる。

（第４の実施形態）
図１６は、第４の実施形態に係る画像処理装置を例示するブロック図である。
図１６に表したように、第４の実施形態に係る画像処理装置１０３においては、画像処理部３０は、重み算出部３４をさらに含む。これ以外は、画像処理装置１０３は、画像処理装置１００と同様である。

重み算出部３４において、蓄積の重みは、入力画像のエッジ強度に応じて定められる。画像処理装置１００においては、蓄積の重みは、式（１８）によって定められる。これに対し、本実施形態においては、画像のエッジ強度を元に、エッジ強度が高い領域はピントが合っているとして蓄積の重みを大きくし、エッジ強度が低い領域は、ピントが外れているとして蓄積の重みを小さくする。このようにすることで、ピントの合っている画像の重みが相対的に大きくなる。これにより、区分スイープと同様にＰＳＦの形状を改善することができ、より高画質な画像を得ることができる。

重み算出ステップで算出されるエッジ強度として、例えばラプラシアンを用いることができる。

ここで、ｄ（ｘ、ｙ）をエッジ強度とする。他にも画像の勾配（例えば、画素のそれぞれにおける画素値の微分）などを用いてもよい。

重みとして、例えば、

を用いることができる。または、重みとして、

を用いてもよい。これにより、エッジ強度が高いときに、蓄積の重みを大きくすることができる。但し、実施形態において、エッジ強度としては色々なものが考えられる。エッジ強度は、入力画像上の濃淡、すなわち画素値の変化の大きさに対応する。例えば、ある画素の画素値と、その周囲に配置された画素の画素値と、の差に対応する。実施形態において、エッジ強度は、上記のエッジ強度に限られない。

蓄積画像への蓄積においては、次のように、重みをつけて入力画像を蓄積する。

すなわち、画像処理部３０は、入力画像（例えば第１画像）の画素のそれぞれの重みに基づいて、蓄積画像（第１蓄積画像）を導出する。重みは、入力画像中のエッジ強度に応じて定められる。

蓄積重み画像への蓄積においては、次のように、重みを蓄積する。

このような蓄積画像に対して、第１の実施形態と同様に暈け除去処理を施す。これにより、高画質の画像を得ることができる。本実施形態によれば、一枚の蓄積画像を用いて、第３の実施形態において説明した区分スイープと同様に、画質を向上させることができる。

図１７は、実施形態に係る画像処理装置を例示するブロック図である。
図１７は、画像処理装置１００のハードウェア構成を例示するブロック図である。なお、図１７に表した例は、実施形態に係る表示装置の一例であり、必ずしも実際のモジュールとは一致しない場合がある。
画像処理装置１００は、例えば、光学素子（レンズ２２）と、撮像素子２５と、処理回路８３と、記憶媒体（メモリ８４）と、を含む。

撮像部（レンズ２２及び撮像素子２５）によって、被写体から入射した光に対応した信号が検出される。処理回路８３及びメモリ８４によって、フォーカス位置決定部１０や画像処理部３０について説明した処理が実施される。

メモリ８４には、非一過性のＲＯＭやＲＡＭなどの記憶装置を用いることができる。ＨＤＤやＳＳＤなどの外部記憶装置を用いてもよい。メモリ８４は、撮像部によって検出された信号、すなわち入力画像を記憶する。また、蓄積画像、蓄積重み画像及び出力画像などを記憶する。

メモリ８４は、実施形態に係る画像処理方法をコンピュータなどに実行させる画像処理プログラム２００を記憶する。例えば、処理回路８３において、プログラム２００が読み込まれ、画像処理が実行される。プログラム２００は、予めメモリ８４に記憶された状態で提供されてもよいし、外部の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。

処理回路８３には、例えば、ＣＰＵ（Central Processing Unit）などの制御装置、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットなどを用いることができる。処理回路８３及びメモリ８４は、一つの基板に設けられていてもよいし、少なくとも一部が別に設けられていてもよい。ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。処理回路８３及びメモリ８４には、通常のコンピュータを利用したハードウェア構成を用いてもよい。実施形態に係る画像処理装置の前述した各部を、ソフトウェアとしてもハードウェアとしてもよい。実施形態は、各機能ブロックの一部の処理を、コンピュータに実施させるプログラムであってもよい。

画像処理装置１００は、インターフェース８５をさらに含んでもよい。例えば、出力画像に関するデータがインターフェース８５を介して、外部の表示装置などに出力される。外部との接続には、有線及び無線のいずれの方法を用いてもよい。

実施形態によれば、高画質な画像を提供する画像処理装置、画像処理方法及び画像処理プログラムが提供できる。

なお、本願明細書において、「垂直」は、厳密な垂直だけではなく、例えば製造工程におけるばらつきなどを含むものであり、実質的に垂直であれば良い。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、撮像素子、レンズ、撮像部、位置決定部、画像処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した画像処理装置、画像処理方法及び画像処理プログラムを基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置、画像処理方法及び画像処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…フォーカス位置決定部、 １１…オートフォーカス検出部、 ２０…撮像部、 ２１…撮像領域、 ２１ａ…フォトダイオード層、 ２１ｂ…マイクロレンズ層、 ２１ｃ…カラーフィルタ層、 ２２…レンズ、 ２３…レンズ保持部、 ２４…半導体基板、 ２５…撮像素子、 ２６…回路基板、 ３０…画像処理部、 ３２…蓄積部、 ３２ａ…区分決定部、 ３２ｂ…合成部、 ３３…復元部、 ３４…重み算出部、 ８３…処理回路、 ８４…メモリ、 ８５…インターフェース、 １００〜１０３…画像処理装置、 ２００…プログラム、 Ｂ１〜Ｂ４…蓄積画像、 Ｌｎ…距離、 Ｐ１〜Ｐ３…位置、 Ｑ…電荷、 Ｑｓａｔ…飽和電荷、 Ｒｓ…スイープ範囲、 Ｒｓ１〜Ｒｓ４…第１〜第４スイープ範囲、 Ｓ０９〜Ｓ１７…ステップ、 Ｔ…時間、 Ｔ１〜Ｔｎ…時刻、 ｆ…焦点距離、 ｆｎｕｍ…ｆ値、 ｐ、ｖ、ｖ１〜ｖ４、ｖ７１〜ｖ７５、ｖＡＦ、ｖｏ、ｖｅ…フォーカス位置

Claims (20)

1. 撮像素子と、
   前記撮像素子へ向かう光が通過するレンズと、
   を含み、前記撮像素子と前記レンズとの相対的位置関係が可変である撮像部と、
   前記撮像素子と前記レンズとの前記相対的位置関係が第１範囲にあるときに前記撮像素子によって撮像された第１画像を取得し、
   前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲とは異なる第２範囲にあるときに前記撮像素子によって撮像された第２画像を取得すると、前記第１画像に少なくとも前記第２画像の一部を加算して第１蓄積画像を導出し、
   前記第１蓄積画像の導出後であって前記撮像素子と前記レンズとの相対位置関係が前記第１範囲及び前記第２範囲とは異なる範囲にあるときに前記撮像素子によって撮像された別の画像を取得するたびに、前記第１蓄積画像に前記別の画像の少なくとも一部を加算して前記第１蓄積画像を更新する画像処理部と、
   を備えた画像処理装置。
2. 前記画像処理部は、前記第１画像内における対象物の位置と、前記第２画像内における前記対象物の位置との差に応じた動きベクトルを算出し、前記動きベクトルに基づいて前記第１画像に前記第２画像を加算する請求項１記載の画像処理装置。
3. 前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲にあるときに撮像を行うことを決定する位置決定部をさらに備えた請求項１または２記載の画像処理装置。
4. 前記画像処理部は、前記第１蓄積画像に対して暈け除去処理を実施し、出力画像を導出する請求項１〜３のいずれか１つに記載の画像処理装置。
5. 前記第１画像を撮像する間に、前記撮像素子と前記レンズとの前記相対的位置関係を変化させる請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記第１画像は、前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲中の第１位置であるときに撮像され、
   前記第２画像は、前記撮像素子と前記レンズとの前記相対的位置関係が前記第２範囲中の第２位置であるときに撮像される請求項１〜４のいずれか１つに記載の画像処理装置。
7. 前記第１位置は、前記撮像部のピントを対象物に合わせた状態における前記撮像素子と前記レンズとの前記相対的位置関係であり、
   前記第２位置は、前記第１位置を基準として定められる請求項６記載の画像処理装置。
8. 前記第１位置は、前記レンズの光軸方向における中心と前記撮像素子との間の距離が前記レンズの焦点距離となる前記撮像素子と前記レンズとの前記相対的位置関係であり、
   前記第２位置は、前記中心と前記撮像素子との間の距離が、前記焦点距離よりも短くなる前記撮像素子と前記レンズとの前記相対的位置関係である請求項６記載の画像処理装置。
9. 前記第１位置及び前記第２位置のそれぞれは、前記撮像素子と前記レンズとの前記相対的位置関係が変化可能な範囲において、等間隔に並ぶ複数の位置のいずれかである請求項６記載の画像処理装置。
10. 前記撮像素子と前記レンズとの前記相対的位置関係が変化可能な範囲は、
    前記第１範囲と前記第２範囲とを含む第１スイープ範囲と、
    第１スイープ範囲とは異なり第３範囲を含む第２スイープ範囲と、
    を含み、
    前記画像処理部は、前記撮像素子と前記レンズとの前記相対的位置関係が第３範囲にあるときに前記撮像素子によって撮像された第３画像を取得し、少なくとも前記第３画像が加算された第２蓄積画像を導出し、
    前記第１蓄積画像と前記第２蓄積画像とを合成して出力画像を導出する請求項１〜９のいずれか１つに記載の画像処理装置。
11. 前記画像処理部は、前記第１画像の画素のそれぞれの重みに基づいて、前記第１蓄積画像を導出し、
    前記重みは、前記第１画像中のエッジ強度に応じて定められる請求項１〜９のいずれか１つに記載の画像処理装置。
12. 撮像素子と、前記撮像素子へ向かう光が通過するレンズとの相対的位置関係が第１範囲にあるときに前記撮像素子によって撮像された第１画像を取得し、
    前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲とは異なる第２範囲にあるときに前記撮像素子によって撮像された第２画像を取得すると、前記第１画像に少なくとも前記第２画像の一部を加算して第１蓄積画像を導出し、
    前記第１蓄積画像の導出後であって前記撮像素子と前記レンズとの相対位置関係が前記第１範囲及び前記第２範囲とは異なる範囲にあるときに前記撮像素子によって撮像された別の画像を取得するたびに、前記第１蓄積画像に前記別の画像の少なくとも一部を加算して前記第１蓄積画像を更新する画像処理方法。
13. 前記第１画像内における対象物の位置と、前記第２画像内における前記対象物の位置と、差に応じた動きベクトルを算出し、
    前記第１蓄積画像は、前記動きベクトルに基づいて前記第１画像に前記第２画像を加算して導出される請求項１２記載の画像処理方法。
14. 前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲にあるときに撮像を行うことを決定する請求項１２または１３記載の画像処理方法。
15. 前記第１蓄積画像に対して暈け除去処理を実施し、出力画像を導出する請求項１２〜１４のいずれか１つに記載の画像処理方法。
16. 撮像素子と、前記撮像素子へ向かう光が通過するレンズとの相対的位置関係が第１範囲にあるときに前記撮像素子によって撮像された第１画像を取得し、
    前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲とは異なる第２範囲にあるときに前記撮像素子によって撮像された第２画像を取得すると、前記第１画像に少なくとも前記第２画像の一部を加算して第１蓄積画像を導出し、
    前記第１蓄積画像の導出後であって前記撮像素子と前記レンズとの相対位置関係が前記第１範囲及び前記第２範囲とは異なる範囲にあるときに前記撮像素子によって撮像された別の画像を取得するたびに、前記第１蓄積画像に前記別の画像の少なくとも一部を加算して前記第１蓄積画像を更新する処理をコンピュータに実行させる画像処理プログラム。
17. 前記第１画像内における対象物の位置と、前記第２画像内における前記対象物の位置と、差に応じた動きベクトルを算出し、
    前記第１蓄積画像は、前記動きベクトルに基づいて前記第１画像に前記第２画像を加算して導出される請求項１６記載の画像処理プログラム。
18. 前記撮像素子と前記レンズとの前記相対的位置関係が前記第１範囲にあるときに撮像を行うことを決定する処理をコンピュータに実行させる請求項１６または１７記載の画像処理プログラム。
19. 前記第１蓄積画像に対して暈け除去処理を実施させ、出力画像を導出する処理をコンピュータに実行させる請求項１６〜１８のいずれか１つに記載の画像処理プログラム。
20. 撮像素子とレンズとの相対的位置関係が第１範囲にあるときに前記撮像素子によって撮像された第１画像を取得し、
    前記撮像素子と前記レンズとの相対的位置関係が前記第１範囲と異なる第２範囲にあるときに前記撮像素子によって撮像された第２画像を取得すると、前記第１画像に少なくとも前記第２画像の一部を加算して第１蓄積画像を導出し、
    前記第１蓄積画像の導出後であって前記撮像素子と前記レンズとの相対位置関係が前記第１範囲及び前記第２範囲とは異なる範囲にあるときに前記撮像素子によって撮像された別の画像を取得するたびに、前記第１蓄積画像に前記別の画像の少なくとも一部を加算して前記第１蓄積画像を更新する、画像処理部を備えた画像処理装置。

Images