JP7277321B2 - 画像処理装置、画像処理方法、撮像装置およびプログラム - Google Patents

Description

本発明は、画像処理装置に関するものであり、特に同じ画角に対して露出を順次変化させながら撮像した画像を合成することで、ダイナミックレンジが拡大した画像、すなわちＨＤＲ画像を作成する画像処理装置に関するものである。

露出の異なる複数の画像を合成することにより、ダイナミックレンジが拡大した画像を生成するＨＤＲ合成技術が知られている。ＨＤＲ合成では、画像間の位置合わせを行う必要がある。位置合わせの１つの方法としては、画像間において、対応する特徴点を検出し、特徴点を用いて位置合わせを行うことが考えられる（特許文献１）。

特開平０７－１３５５９９号公報

しかしながら、ＨＤＲ合成では、露出の異なる画像を用いるため、露出の影響で検出した特徴点の位置が誤ってしまう可能性がある。とくに、高露出の画像における飽和に近い領域では、特徴点の検出の精度が低下し、その結果、画像の位置合わせの精度も低下してしまう。

本発明は、上記の課題を鑑みてなされたものであり、ＨＤＲ合成を行う画像処理装置において、露出の影響による画像の位置合わせの精度の低下を防ぐことができる画像処理装置を提供するものである。

上記課題を解決するため、本願発明は、露出の異なる複数の画像の間の位置ずれの補正を行う補正手段と、前記複数の画像から不適正領域を検出する第１の検出手段と、前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第２の検出手段と、前記補正手段が前記補正を行った後の前記複数の画像に対して合成を行う合成手段と、を有し、前記不適正領域は、飽和している領域であり、前記第１の検出手段は、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理装置を提供する。

本発明の構成によれば、ＨＤＲ合成における画像の位置合わせの精度を高める画像処理装置を提供することができる。

本発明の実施形態におけるデジタルカメラの基本構成を示すブロック図である。 第１の実施形態におけるＨＤＲ合成を説明するためのフローチャートである。 本発明の実施形態における不適正領域を説明するための図である。 本発明の実施形態における不適正領域の検出について説明するための図である。 第１の実施形態における特徴点の検出を説明するためのフローチャートである。 第１の実施形態における特徴点の検出を説明するための図である。 本発明の実施形態における画像の位置ずれの検出を説明するための図である。 本発明の実施形態におけるＨＤＲ画像の生成の一例を説明するための図である。 第２の実施形態における特徴点の検出を説明するためのフローチャートである。 本発明の実施形態における特徴点の検出を説明するための図である。 第２の実施形態における特徴点の検出のもう１つの例を説明するためのフローチャートである。 本発明の実施形態における不適正領域のエッジと不適正領域以外の領域のエッジとが隣り合うことを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
図１は、本実施形態におけるデジタルカメラの基本構成を示すブロック図である。

デジタルカメラ１００は、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。光学系１０１は、レンズ、シャッタ、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。

ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、デジタルカメラ１００を構成する各部を制御することで、デジタルカメラ１００の機能を実現させる。一次記憶部１０４は、例えばＲＡＭのような揮発性記憶装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶部１０４に記憶されている情報は、画像処理部１０５で利用されたり、記録媒体１０６へ記録されたりもする。二次記憶部１０７は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、デジタルカメラ１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。

記録媒体１０６は、一次記憶部１０４に記憶されている撮像により得られた画像のデータなどを記録する。なお、記録媒体１０６は、例えば半導体メモリカードのようにデジタルカメラ１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、デジタルカメラ１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。表示部１０８は、撮像時のビューファインダー画像の表示、撮像した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。センサー１１０は、デジタルカメラ１００自体の移動情報を取得する。例えば、ジャイロや加速度センサーといった入力機器が挙げられる。ＣＰＵ１０３で演算することにより、デジタルカメラ１００自体の移動量や角速度の取得が可能である。

なお、本実施形態のデジタルカメラ１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮像モードに応じた色調の調整なども行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３が兼用で機能しても良い。

次に、図面を用いて、本実施形態におけるＨＤＲ合成のフローについて説明する。

図２は、本実施形態におけるＨＤＲ合成を説明するためのフローチャートである。

ステップＳ２０１で、撮像素子１０２が、ＣＰＵ１０３の指示に基づいて、異なる露出条件で同じ画角に対して複数の画像を撮像する。ここでＣＰＵ１０３の指示には、予め設定された露出差が含まれている。

ステップＳ２０２で、画像処理部１０５は、ステップＳ２０１で撮像素子１０２が撮像した複数の画像に対して現像を行う。

ステップＳ２０３で、画像処理部１０５は、ステップＳ２０２で現像されたそれぞれの画像から不適正領域を検出する。

ここでいう不適正領域は、高露出画像における飽和、または飽和に近い高輝度により、特徴点の検出が誤る可能性があると判断される領域である。次に、図を用いて不適正領域について詳細に説明する。

図３は、本実施形態における不適正領域を説明するための図である。図３（ａ）と図３（ｂ）は、同じ被写体に対して撮像された低露出画像と高露出画像との現像後の画像を示している。図３（ｃ）と図３（ｄ）とは、図３（ａ）と図３（ｂ）との高輝度被写体を拡大表示しているものである。図３（ｃ）と図３（ｄ）とを比較すれば、高輝度被写体の範囲が不一致であることがわかる。高輝度被写体の不一致は、検出する特徴点が正しい位置からずれてしまい、位置ずれの補正が正しく行えないことにつながる。

飽和領域では、上記のように特徴点が正しく検出されないという現象が起こる。飽和まで達していない高輝度画素についても、ガンマカーブが飽和値に収束するに従って階調性が低下し、低露出画像と高露出画像との階調性が異なるため、飽和領域と同様、位置ずれの補正の低下につながる。

図４は、本実施形態における不適正領域の検出について説明するための図である。図４（ａ）と図４（ｂ）とは、低露出画像と高露出画像との同じ位置にある画素の画素値を示したものである。低露出画像と高露出画像との露出差が、ステップＳ２０１で設定されたものである。露出差を利用し、低露出画像の画素値から、飽和を考慮しない場合の高露出画像の同じ位置の画素値を算出することができる。図４における点線は、飽和を考慮しない場合の高露出画像での画素値の算出値を占めている。次に、高露出画像での画素値の測定値を、算出値と比較する。高露出画像の該当領域は、飽和していなければ、画素値の算出値と測定値とが等しくなるはずである。算出値が測定値より高ければ、ＣＰＵ１０３が、高露出画像において飽和していると判断する。

前述の方法を用いて、高露出画像における飽和となる画素値を特定することができる。飽和値まで達していない高輝度領域も不適正領域として判断されるようにするために、飽和値より小さい値を閾値として設定し、高露出画像における画素値と閾値との比較により不適正領域を検出することができる。このような閾値は、あらかじめ設定されたものでもよい。

したがって、ステップＳ２０３で、画像処理部１０５は、高露出画像の画素の画素値と設定した閾値と比較し、不適正領域を検出する。あるいは、画像処理部１０５は、低い露出画像の画素の画素値と露出差とから高露出画像の画素の画素値を算出し、算出した高露出画像の画素値と閾値とを比較し、不適正領域を検出する。

なお、上述の処理では、画素値のかわりに、輝度値を用いてもよい。

ステップＳ２０４で、画像処理部１０５は、ステップＳ２０２で現像されたそれぞれの画像から特徴点を検出する。ステップＳ２０４での特徴点検出では、画像処理部１０５は、ステップＳ２０３で検出した不適正領域以外の領域から特徴点を検出する。

図５は、本実施形態における特徴点の検出を説明するためのフローチャートである。図６は、本実施形態における特徴点の検出を説明するための図である。以下では、図５と図６とを用いて、特徴点の検出について説明する。

ステップＳ５０１で、画像処理部１０５は、ステップＳ２０３で検出した不適正画像のマップ画像を作成する。図６（ａ）では、不適正画像のマップ画像の例を示している。

ステップＳ５０２で、画像処理部１０５は、ステップＳ２０２で現像された後の画像からエッジを検出し、エッジ画像を作成する。図６（ｂ）では、エッジ画像の例を示している。エッジ画像の生成方法としては、微分フィルタやプリューウィットフィルタなどが考えられる。なお、ステップＳ５０１とステップＳ５０２との順番が逆でもよい。

ステップＳ５０３で、画像処理部１０５は、マップ画像を用いて、エッジ画像に対してマスク処理を行う。例えば、図６では、画像処理部１０５が、図６（ｃ）に示したようなエッジ画像がマスク処理された後に、図６（ｄ）に示したようなエッジ画像になったことが示されている。

ステップＳ５０４で、画像処理部１０５は、ステップＳ５０３でのマスク処理の後の画像から特徴点を検出する。ここでは、画像処理部１０５は、ステップＳ５０３での処理の後の画像を、縦横１画素以上で構成されるブロックに分割し、各々のブロックから特徴点を検出する。特徴点の検出の方法としては、たとえば、Ｈａｒｒｉｓコーナー検出器やＳｈｉ ａｎｄ Ｔｏｍａｓｉなどの方法があげられる。

「Ｈａｒｒｉｓコーナー検出器の方法は、以下の公知文献に記載されている。
Ｃｈｒｉｓ Ｈａｒｒｉｓ ＆ Ｍｉｋｅ Ｓｔｅｐｈｅｎｓ，Ａ ＣＯＭＢＩＮＥＤ ＣＯＮＥＲ ＡＮＤ ＥＤＧＥ ＤＥＴＥＣＴＯＲ，Ｐｌｅｓｓｅｙ Ｒｅｓｅａｒｃｈ Ｒｏｋｅ Ｍａｎｏｒ，１９８８」

Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの方法は、以下の公知文献に記載されている。
「Ｊｉａｎｂｏ Ｓｈｉ ＆ Ｃａｒｌｏ Ｔｏｍａｓｉ，Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ，ＣＶＰＲ，１９９４」

前述の方法で、画像処理部１０５は、ブロック内の画素ごとの特徴量が算出され、特徴量の大きい画素が該ブロックの特徴点として検出される。その結果、画像間の位置ずれ量の検出に好適な座標を検出することができる。

以上は、特徴点の検出の説明であった。

ステップＳ２０５で、画像処理部１０５は、画像の位置ずれを検出する。位置ずれの検出は、ステップＳ５０４で分割されたブロックごとに行われる。

図７は、本実施形態における画像の位置ずれの検出を説明するための図である。画像処理部１０５は、図７（ａ）に示した画像と図７（ｂ）に示した画像とから位置ずれを検出するとする。図７（ａ）は、ステップＳ５０４での処理を経て、特徴点が検出されたとする。テンプレート領域７０１は、ステップＳ５０１で検出された特徴点を中心とする領域である。図７（ｂ）に示した画像におけるサーチ領域７０２は、テンプレート領域７０１と同じ位置の領域を上下左右均等に包含する領域である。サーチ領域７０２に、テンプレート領域７０１と同じ大きさの相関値算出領域７０３が配置されている。ＣＰＵ１０３は、サーチ領域７０２の全域に相関値算出領域７０３を移動させながら、テンプレート領域７０１との相関値を算出する。相関値の算出方法としては、差分絶対値和（ＳＡＤ）があげられる。ＳＡＤの小さいほど、テンプレート領域７０１と相関値算出領域７０３とのテクスチャの類似度が高い。ＳＡＤが最小となる相関値算出領域とテンプレート領域との位置関係を用いて、動きベクトルを算出することができる。なお、相関値は、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）を用いても算出されてもよい。

ＣＰＵ１０３は、上述の動きベクトルの算出を、ステップＳ５０４で検出したすべての特徴点に対して行う。次に、位置ずれを補正するための変換係数を算出する。例えば、線形返還と並行移動とを組み合わせたアフィン変換に用いられるアフィン係数を算出する。１つの動きベクトルから、位置ずれの補正前の座標（ｘ，ｙ）と仮定し、位置ずれの補正後の座標（ｘ´，ｙ´）が得られる。アフィン係数をＡとすると、下記の（式１）が成り立つ。

すべての特徴点から得られる動きベクトルが対応する補正前後の座標を（式１）に代入し、複数の行列方程式を連立し、最小二乗法を利用して最小となるアフィン係数Ａを算出する。

ステップＳ２０６で、画像処理部１０５は、アフィン係数Ａを用いて位置ずれを補正する。

以上に説明した処理では、画像処理部１０５は、図７（ａ）に示した画像に対してエッジを検出し、マスク処理を行い、特徴点の検出を行う。一方、上述の方法を用いては、図７（ｂ）に示した画像に対して、エッジの検出、マスク処理などを行わなくてもよい。位置ずれの補正の対象画像が３枚以上である場合も同様である。画像処理部１０５は、位置ずれの補正の対象画像のうちの１枚に対して特徴点の検出を行えば、上述した方法を用いて位置ずれの補正を行うことができる。

ステップＳ２０７で、画像処理部１０５は、ステップＳ２０６で位置ずれが補正された画像に対してＨＤＲ合成を行い、ＨＤＲ画像を生成する。図８は、本実施形態におけるＨＤＲ画像の生成の一例を説明するための図である。画像処理部１０５は、アンダー画像とオーバー画像との２枚の画像に対してＨＤＲ合成を行うとする。図８のグラフの縦軸は、アンダー画像またはオーバー画像の合成比率を表し、横軸は、基準となる画像の輝度値を表す。ここでいう基準となる画像は、アンダー画像またはオーバー画像のどちらかでもよく、ただし横軸の閾値ｔ１とｔ２はアンダー画像またはオーバー画像のどちらかに基準画像として使われているかによって変わる。図８では、基準画像の輝度値が閾値ｔ１より低い領域でオーバー画像が合成画像に使われ、基準画像の輝度値が閾値ｔ２より高い場合でアンダー画像が合成画像に使われる。輝度値が閾値ｔ１と閾値ｔ２との間の領域の場合で、輝度値に応じた合成比率で、画像処理部１０５は、アンダー画像とオーバー画像とを合成する。

第１の実施形態では、輝度の高い不適正領域を検出して不適正領域において特徴点の検出を行わないことによって、ＨＤＲ合成のための位置ずれの補正の精度を高めることができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、場合によって不適正領域に位置する特徴点も位置ずれの補正に用いる。以下では、第１の実施形態との違いを中心に、第２の実施形態について説明する。

第１の実施形態と異なり、不適正領域の特徴点を、位置ずれの補正に使われないようにしている。ただし、不適正領域の特徴点を使わない結果、位置ずれの補正に使われる動きベクトルの数が少なくなり、その分、位置ずれの補正の精度が低下する。特に、たとえばアフィン係数を用いて位置ずれの補正を行う場合、アフィン係数の算出のために、少なくとも互いに平行しない３つの動きベクトルが必要である。不適正領域の特徴点を完全に排除するというのは、アフィン係数自体が算出できず、位置ずれの補正ができないことにつながる可能性もある。

第２の実施形態におけるＨＤＲ合成のフローはステップＳ２０４以外が第１の実施形態と同様であるが、ステップＳ２０４での特徴点の検出の処理が異なる。

図９は、本実施形態における特徴点の検出を説明するためのフローチャートである。

ステップＳ９０１で、画像処理部１０５は、ステップＳ５０１と同様に、不適正領域のマップ画像を作成する。

ステップＳ９０２で、画像処理部１０５は、ステップＳ５０２と同様に、エッジ画像を作成する。

ステップＳ９０３で、画像処理部１０５は、ステップＳ９０２で作成されたエッジ画像から特徴点を検出する。ここで、画像処理部１０５が、エッジ画像の全体から特徴点を検出し、不適正領域を考慮しない。

図１０は、本実施形態における特徴点の検出を説明するための図である。図１０（ａ）では、ステップＳ９０２で作成されたエッジ画像を示している。図１０（ａ）における斜線の部分は、不適正領域を示している。図１０（ｂ）は、画像処理部１０５が検出した特徴点を示している。

ステップＳ９０４で、ＣＰＵ１０３は、不適正領域に位置しない特徴点が所定数以上かどうかを判断する。例えば、図１０（ｂ）では、特徴点１と特徴点２とが不適正領域に位置しなく、特徴点３が不適正領域に位置するものである。ここでたとえば所定数を３とすると、図１０（ｂ）に示した画像は、不適正領域に位置しない特徴点が所定数以上でない画像である。不適正領域に位置しない特徴点が所定数以上であれば、フローが終了し、ここで検出した不適正領域に位置する特徴点を位置ずれの補正に使用する。不適正領域に位置しない特徴点が所定数以上でなければ、ステップＳ９０５に進み、画像処理部１０５が特徴点を追加選択する。追加選択の方法は、特徴量の高い順から、選択された特徴点の数が所定数になるように選択する。たとえば、所定数が３であり、不適正領域に位置しない特徴点が２つである場合、不適正領域に位置する特徴点のうち、もっとも高い特徴量をもつ特徴点を追加選択する。

ここで、アフィン係数を算出するために最低でも３つの特徴点が必要であることから、アフィン変換で位置ずれの補正を行う場合、上述の所定数は最低でも３と設定されなければならない。

または、本実施形態は以下のような方法で実施してもよい。図１１は、本実施形態における特徴点の検出のもう１つの例を説明するためのフローチャートである。

ステップＳ１１０１ないしステップＳ１１０３での処理は、ステップＳ９０１ないしステップＳ９０３での処理と同様である。

ステップＳ１１０４で、ＣＰＵ１０３は、不適正領域に位置する特徴点の特徴量に１より小さい重みづけを与え、特徴量を下げる。

ステップＳ１１０５で、画像処理部１０５が重みづけの後の特徴量の高い順に所定数の特徴点を選択し、位置ずれの補正に用いる特徴点とする。

なお、不適正領域のエッジと不適正領域以外の領域のエッジとが隣り合う場合、不適正領域以外の特徴点に基づいてテンプレート領域を設定しても不適正領域まで含んでしまう可能性がある。図１２は、本実施形態における不適正領域のエッジと不適正領域以外の領域のエッジとが隣り合うことを説明するための図である。図１２のような場合、もし意図的に不適正領域を排除したければ、テンプレート領域の位置をずらしたり、テンプレート領域の大きさいを変更したりすることが考えられる。

第２の実施形態によれば、不適正領域以外の領域に位置する特徴点が少なくても、不適正領域以外の領域に位置する特徴点を優先的に用いることで位置ずれの補正の精度を保ちながら位置ずれの補正を行うことができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、ＨＤＲ撮像および合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 光学系
１０２ 撮像素子
１０３ ＣＰＵ
１０４ 一次記憶部
１０５ 画像処理部
１０６ 記録媒体
１０７ 二次記憶部
１０８ 表示部
１０９ 操作部
１１０ センサー

Claims (16)

1. 露出の異なる複数の画像の間の位置ずれの補正を行う補正手段と、
   前記複数の画像から不適正領域を検出する第１の検出手段と、
   前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第２の検出手段と、
   前記補正手段が前記補正を行った後の前記複数の画像に対して合成を行う合成手段と、を有し、
   前記不適正領域は、飽和している領域であり、
   前記第１の検出手段は、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理装置。
2. 前記複数の画像は、前記露出を異ならせて同じ画角に対して撮像されたことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の検出手段は、前記複数の画像のうちの第１の画像において、前記不適正領域を検出し、前記第２の検出手段は、前記第１の画像において前記特徴点を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の画像は、前記複数の画像のうち、前記露出の最も高い画像であることを特徴とする請求項３に記載の画像処理装置。
5. 前記補正手段は、前記第１の画像において、テンプレート領域を設定し、前記テンプレート領域を用いて前記補正を行うことを特徴とする
   請求項３または４に記載の画像処理装置。
6. 前記補正手段は、前記テンプレート領域が前記不適正領域を含まないように、前記テンプレート領域を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の検出手段は、前記不適正領域から前記特徴点を検出しないことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記第２の検出手段は、前記不適正領域以外の領域から検出した前記特徴点が所定数より小さいとき、前記不適正領域から前記特徴点を検出することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
9. 前記第２の検出手段は、前記不適正領域以外の領域と前記不適正領域とから検出した前記特徴点の数が前記所定数であることを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の検出手段は、前記不適正領域から、前記特徴点の特徴量の大きい順に前記特徴点を検出することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記第２の検出手段は、前記不適正領域以外の領域と前記不適正領域とから前記特徴点を検出し、
    前記補正手段は、前記不適正領域から検出した前記特徴点の特徴量を下げるように重みづけを与え、前記不適正領域以外の領域から検出した前記特徴点の前記特徴量と前記不適正領域から検出した前記特徴点の前記重みづけを与えた後の前記特徴量との、大きい順に所定数の前記特徴点を前記補正に用いることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
12. 前記合成手段が前記合成で合成画像を作成し、
    前記合成画像は、前記複数の画像よりもダイナミックレンジが広いことを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
13. 露出を異ならせて複数の画像を撮像する撮像手段と、
    前記複数の画像の間の位置ずれの補正を行う補正手段と、
    前記複数の画像から不適正領域を検出する第１の検出手段と、
    前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第２の検出手段と、
    前記補正手段が前記補正を行った後の前記複数の画像に対して合成を行う合成手段と、を有し、
    前記不適正領域は、飽和している領域であり、
    前記第１の検出手段は、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理装置。
14. 露出の異なる複数の画像の間の位置ずれの補正を行う補正ステップと、
    前記複数の画像から不適正領域を検出する第１の検出ステップと、
    前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第２の検出ステップと、
    前記補正ステップにおいて前記補正を行った後の前記複数の画像に対して合成を行う合成ステップと、を有し、
    前記不適正領域は、飽和している領域であり、
    前記第１の検出ステップにおいて、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出することを特徴とする画像処理方法。
15. 画像処理装置のコンピュータに作動させるコンピュータのプログラムであって、
    露出の異なる複数の画像の間の位置ずれの補正を行う補正ステップと、
    前記複数の画像から不適正領域を検出する第１の検出ステップと、
    前記複数の画像の前記不適正領域以外の領域を優先的に用いてから前記補正のための特徴点を検出する第２の検出ステップと、
    前記補正ステップにおいて前記補正を行った後の前記複数の画像に対して合成を行う合成ステップと、を有し、
    前記不適正領域は、飽和している領域であり、
    前記第１の検出ステップにおいて、前記複数の画像間の画素値または輝度値と前記複数の画像間の露出差とに基づいて前記不適正領域を検出させることを特徴とするコンピュータのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images