JP7572822B2 - 画像処理装置、撮像装置、画像処理装置の制御方法、プログラム - Google Patents

Description

本発明は、デジタルカメラやデジタルビデオカメラ等の撮像装置における像ブレ補正技術に関する。

短い露光時間で撮影した複数枚の画像を位置合わせして合成し、手振れによる像ブレの無い長秒時露光と等しい画像を得る技術（以下、画像合成像ブレ補正と呼ぶ）が特許文献１に記載されている。

また、複数枚の画像の位置合わせ技術が特許文献２に記載されている。この技術では、ベイヤ配列の撮像素子から得たＲＡＷ画像を並進移動させることによりＰｉｔｃｈ軸とＹａｗ軸の角度ブレおよびＸ方向とＹ方向の並進ブレのブレ補正を行い、さらにＲＡＷ画像をＹＵＶ画像に変換してからＲｏｌｌ軸の回転ブレ補正を行う。

特許第４４１８６３２号公報 特許第０５９７６３１５号公報

しかしながら、特許文献１に開示されている技術により大量の画像を用いて画像合成像ブレ補正を行う場合に、特許文献２に開示されている技術を用いて位置合わせ補正を行うと処理時間が長くなる恐れがある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像合成像ブレ補正における画像の位置合わせ処理時間の短縮と位置合わせ精度の両立を図ることである。

本発明に係わる画像処理装置は、連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択手段と、前記選択手段で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、を備え、前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせし、前記第２の位置合わせ手段は、前記第１の画像を各画素に複数の色情報を持つ第２の画像に変換し、該第２の画像に、サブ画素精度で並進移動および回転を含む幾何変換を行い、複数の画像を位置合わせすることを特徴とする。

また、本発明に係わる画像処理装置は、連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択手段と、前記選択手段で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、を備え、前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせし、前記撮影条件は、前記複数の画像のそれぞれの露光時間、または連続して撮影する画像の枚数、または撮像装置の振れ、または撮影開始からの経過時間の少なくとも一つを含むことを特徴とする。

本発明によれば、画像合成像ブレ補正における画像の位置合わせ処理時間の短縮と位置合わせ精度の両立を図ることが可能となる。

本発明の第１の実施形態に係わる像ブレ補正装置を備える撮像装置の構成を示すブロック図。 第１の実施形態における像ブレ補正動作を示すフローチャート。 第１及び第２の位置合わせ部を使い分ける判定項目を示す図。 第２の実施形態における合成部の動作を説明する図。 第２の実施形態における像ブレ補正動作を示すフローチャート。 第３の実施形態における合成部の動作を説明する図。 第３の実施形態における像ブレ補正動作を示すフローチャート。 第４の実施形態における合成部の動作を説明する図。 第４の実施形態における像ブレ補正動作を示すフローチャート。 第４の実施形態における動作変形例を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜全体構成の説明＞
図１は、本発明の第１の実施形態に係わる像ブレ補正装置を備える撮像装置１１の構成を示すブロック図である。なお、以下の説明では、撮像装置１１自体の振れを「振れ」と表現し、撮像装置１１の振れによって引き起こされる撮像面上での被写体像の振れを「ブレ」と表現する。

撮像装置１１は、被写体像を撮像する撮像素子１２を備える。撮像素子１２は、ベイヤ配列のカラーフィルタを有し、この撮像素子１２から取得される画像信号は、各画素に１つの色情報を持つＲＡＷ画像信号である。合成部１３は、撮像素子１２が時系列に出力する各画像を位置合わせし、合成する。

合成部１３における画像の位置合わせは、第１の位置合わせ部１３ａと第２の位置合わせ部１３ｂを用いて行われる。第１の位置合わせ部１３ａは、ＲＡＷ画像を画像間の動きベクトルを用いて、２画素の周期単位の精度の並進移動で位置合わせする（第１の位置合わせ）。第２の位置合わせ部１３ｂは、ＲＡＷ画像を各画素に複数の色情報を持つＹＵＶ画像に変換し、ＹＵＶ画像に対して、画像間の動きベクトルを用いてサブ画素精度で並進成分および回転成分を含む幾何変換を行い、位置合わせする（第２の位置合わせ）。第２の位置合わせ部１３ｂでの処理は、第１の位置合わせ部１３ａでの処理と比較して、ＹＵＶ画像への変換処理および幾何変換処理が追加されている。そのため、第１の位置合わせ部１３ａの処理速度は第２の位置合わせ部１３ｂの処理速度よりも速く、第１の位置合わせ部１３ａの処理時間は第２の位置合わせ部１３ｂの処理時間よりも短い。一方、第２の位置合わせ部１３ｂでの位置合わせ処理は時間はかかるが、その精度は、第１の位置合わせ部１３ａでの位置合わせ処理の精度よりも高い。そして、合成部１３は、第１の位置合わせ部１３ａまたは第２の位置合わせ部１３ｂのいずれか一方で位置合わせされた画像を合成する。

制御部（撮像制御部、補正制御部）１４は、撮影条件取得部１５から取得した撮像装置１１の撮影条件、および後述の被写体検出部１７および振れ検出部１８の検出結果に基づいて、合成部１３の第１の位置合わせ部１３ａと第２の位置合わせ部１３ｂのいずれかを選択する。そして選択した位置合わせ部に画像の位置合わせを行わせ、合成部１３に位置合わせされた画像の合成を行わせる。合成部１３で合成された画像は記録部１６に記録される。なお、制御部１４は、撮像装置１００の全体を制御する機能も有する。

被写体検出部１７は、被写体の大きさと被写体の回転ブレの大きさを検出する。被写体認識の手法は公知の技術を用いればよく、認識結果に基づいて被写体の大きさを検出すればよい。また、被写体の回転ブレの大きさは被写体の動きベクトルから算出される。被写体検出部１７による検出結果は制御部１４へ出力される。

振れ検出部１８は、撮像装置１１に加わる振れを検出する。振れ検出部１８の出力は制御部１４へ出力される。また、振れ検出部１８の出力は演算部１９により像ブレ補正に適した信号に変換される。演算部１９から出力されるブレ補正目標値の信号は駆動部２０に入力され、駆動部２０により撮像素子１２が矢印１２ａの方向などに移動される。すなわち、検出した振れに応答して撮像素子１２を移動させることにより、撮像素子１２の撮像面での像ブレを打ち消す。すなわち撮像素子１２は、被写体を撮像する撮像手段と像ブレ補正手段を兼ねている。このように光学的に像ブレを補正する手法を、光学式像ブレ補正と定義し、画像合成部１３を用いる像ブレ補正を画像像ブレ補正と定義する。

光学式像ブレ補正においては、振れ検出部１８の振れ検出精度や撮像素子１２の移動精度が高くない場合は、十分な像ブレ補正ができない。そこで光学式像ブレ補正を行った後に撮像面に残るブレ補正残りに対して、画像処理による画像像ブレ補正を行うことにより像ブレ補正精度を高めることができる。

＜フローチャートの説明＞
図２は、合成部１３および制御部１４の動作を説明するフローチャートである。このフローチャートの動作は、撮像装置１１のレリーズボタンの操作などの撮影開始指示により開始される。

ステップＳ２０１では、制御部１４は、撮影条件取得部１５から撮影条件を受け取る。撮影条件は撮影枚数、各画像の露光時間、回転手振れ量などである。撮影枚数および各画像の露光時間はユーザが直接設定してもよいし、撮像装置内で算出して設定してもよい。撮像装置内で算出して設定する場合、ユーザが設定した全体露光時間と手振れ量や光学式像ブレ補正性能をもとに各項目を決定する。手振れ量が小さいほど、また光学式像ブレ補正性能が高いほど各画像の露光時間を長く設定する。撮影枚数はユーザ設定の全体露光時間を各画像の露光時間で割って算出する。回転振れ量は、振れ検出部１８により検出される。

ステップＳ２０２では、制御部１４は、ステップＳ２０１で設定された撮影枚数と露光時間で複数枚の画像の連続撮影を行う（画像を複数連続して撮影する）。

ステップＳ２０３では、制御部１４は、振れ検出部１８から複数枚の画像の連続撮影における全撮影中の回転振れ量を取得する。

ステップＳ２０４では、制御部１４は、撮影条件取得部１５から取得した撮影条件、及び、被写体検出部１７により検出した被写体情報を用いて第１の位置合わせ部１３ａを用いる条件を満たしているかを判定する。条件を満たしていると判定した場合はＳ２０５へ進み、満たしていないと判定した場合はＳ２０６へ進む。

ここで、ステップＳ２０４における判定について説明する。図３は、合成部１３での画像合成のための位置合わせにおいて、第１の位置合わせ部１３ａを用いるか第２の位置合わせ部１３ｂを用いるかの判定項目（撮影条件の変化の判定項目）を示す図である。

（判定条件：各画像の露光時間）
各画像の露光時間が所定時間以下の場合は、処理時間を短縮するために、第１の位置合わせ部１３ａを用いる。一方、各画像の露光時間が所定時間より長い場合は各画像に表れるブレ量が大きくなる。ブレ量が大きいＲＡＷ画像のまま動きベクトルの検出をすると誤差が生まれやすくなるが、この場合は、第２の位置合わせ部１３ｂを用いて、ＹＵＶ画像に変換することで精度よく動きベクトルを検出することができる。よって、露光時間が所定時間以下のときのみ、第１の位置合わせ部１３ａを用いて、位置合わせ精度を維持しつつ時間短縮を図る。所定時間は、各画像１枚当たりの許容ブレ量と光学式像ブレ補正性能から決定する。許容ブレ量が大きいほど、また、光学式像ブレ補正性能が高いほど、所定時間を長く設定する。

（判定条件：撮影枚数）
撮影枚数が所定枚数以上の場合は、処理時間を短縮するために、第１の位置合わせ部１３ａを用いる。第２の位置合わせ部１３ｂは、ＲＡＷ画像からＹＵＶ画像へ変換する処理を撮影枚数分行うため処理時間が長いが、第１の位置合わせ部１３ａは、ＲＡＷ画像のまま位置合わせを行い、最後に１回だけＹＵＶ画像への変換を行うので、処理時間が短い。よって撮影枚数が多い場合は、第１の位置合わせ部１３ａを用いることにより、処理時間を大幅に短縮することができる。撮影枚数が所定枚数より少ない場合は、第１及び第２の位置合わせ部１３ａ，１３ｂの処理時間差は小さいため、より位置合わせ精度の高い第２の位置合わせ部１３ｂを用いる。また、所定枚数は位置合わせ処理の許容時間とＲＡＷ画像からＹＵＶ画像へ変換する処理時間とから決定する。許容時間が長いほど、また、ＲＡＷ画像からＹＵＶ画像へ変換する処理時間が短いほど、所定枚数は多くなる。

（判定条件：全撮影中の回転振れ量）
全撮影中の回転振れ量が所定量以下の場合は、処理時間を短縮するために、第１の位置合わせ部１３ａを用いる。回転振れ量が所定量以下の場合、回転成分を含む幾何変換を行う第２の位置合わせ部１３ｂによる位置合わせ精度よりも、第１の位置合わせ部１３ａによる時間短縮を優先する。一方、全撮影中の回転振れ量が所定量よりも大きい場合、並進移動のみの位置合わせだと回転ブレが目立つため、位置合わせ精度を優先して、第２の位置合わせ部１３ｂを用いる。許容回転ブレ量が大きいほど所定量は大きくなる。

全撮影中の回転振れ量は、実際の撮影中の振れ量を検出してもよいし、撮影直前のエーミング中の回転振れ量から推定してもよい。撮影前に推定した結果に基づいて位置合わせ制御を行うことにより、各画像の露光直後から随時位置合わせを開始することができ、処理時間の短縮を図ることができる。

（判定条件：被写体の大きさかつ全撮影中の回転振れ量）
被写体の大きさが所定値以下または全撮影中の回転振れ量が所定量以下の場合は、処理時間を短縮するために第１の位置合わせ部１３ａを用いる。逆に被写体の大きさが所定値より大きくかつ全撮影中の回転振れ量が所定量より大きい場合は、被写体の回転ブレが目立つため、位置合わせ精度を優先して第２の位置合わせ部１３ｂを用いる。

被写体の大きさについての所定値は、一例として画面の半分の大きさが考えられる。被写体が大きいと、画面全体の動きベクトルから位置合わせ移動量を算出する際に、被写体のブレが優位になるためである。また、回転振れ量についての所定量は、合成後の被写体の許容回転ブレ量によって決まる。被写体の許容回転ブレ量が大きいほど所定量は大きくなる。

全撮影中の回転振れ量は、実際の撮影中の振れ量を検出してもよいし、撮影直前のエーミング中の回転振れ量から推定してもよい。撮影前に推定した結果に基づいて位置合わせ制御を行うことにより、各画像の露光直後から随時位置合わせを開始することができ、処理時間の短縮を図ることができる。

各画像の露光時間、撮影枚数、全撮影中の回転振れ量、被写体の大きさかつ全撮影中の回転振れ量の４つの判定項目は必ずしも全てを使用しなくてもよく、少なくともどれか１つの判定項目を使用すればよい。複数の判定項目を使用する場合の最終的な判定は、論理積や論理和をとってもよいし、判定項目に優先順位をつけて最終的な判定を行ってもよい。

ステップＳ２０５では、第１の位置合わせ部１３ａが、画像の位置合わせを行う。ステップＳ２０６では、第２の位置合わせ部１３ｂが、画像の位置合わせを行う。

ステップＳ２０７では、合成部１３は、第１の位置合わせ部１３ａまたは第２の位置合わせ部１３ｂで位置合わせされた画像を合成する。

このように、処理速度の速い第１の位置合わせ部と位置合わせ精度の高い第２の位置合わせ部を撮影条件に応じて切り替えることにより、処理時間と位置合わせ精度の両立を図ることが可能となる。

［第２の実施形態］
本実施形態における撮像装置の構成は図１に示す第１の実施形態の構成と同様であるため、説明を省略する。ただし、本実施形態の制御部１４は撮影条件出力部１５からの撮像装置の撮影条件に基づいて合成部１３における第１の位置合わせ部１３ａと第２の位置合わせ部１３ｂのいずれかを選択、或いは両者を組み合わせるため、被写体検出部１７はなくてもよい。

図４は、第２の実施形態における合成部１３の動作を説明する図である。なお、図４においては、撮像素子１２から出力される各画像２０ａ～２０ｃおよび２１ａ～２１ｃの配置を各々紙面上下方向に異ならせることにより、各画像間の構図ズレを表現している。

図４において、制御部１４の指示に従って、合成部１３は撮影開始から所定の期間が経過する前までに取得された画像２０ａ～２０ｃまでは第１の位置合わせ部１３ａを用いて各画像の構図ズレの位置合わせを行う。そして、所定の期間終了後に取得された画像２１ａからは第２の位置合わせ部１３ｂを用いて各画像の構図ズレの位置合わせを行う。この理由について以下に説明する。

撮像装置１１が撮影を開始する前には、光学系の合焦動作やシャッタ幕の走行、停止などの撮像装置１１の構成要素が駆動されることによる反力や衝撃が発生する。そしてこの反力や衝撃と撮影者の手振れが、撮像装置１１に第１の振れを発生させる。このように、撮像装置１１の機構部に起因する振れが手振れに加わって生じる振れのことを第１の振れと呼び、手振れのみによる振れのことを第２の振れと呼ぶこととする。

振れ検出部１８は、一般的に第１の振れの検出精度が第２の振れの検出精度よりも低い。上述した反力や衝撃による撮像装置１１の振れは、例えば３０Ｈｚ程度の高周波の振れであり、１Ｈｚから１０Ｈｚに分布する撮影者の手振れより高周波な振れである。つまり、反力や衝撃によるカメラの振れを含む第１の期間である第１の振れ発生期間では、３０Ｈｚのブレ補正残りを画像の位置合わせで補正する必要がある。そのため、３０分の１秒周期より十分に短い周期、例えば９０分の１秒の露光時間で画像２０ａ～２０ｃを取得し、それらを位置合わせして合成する。

各画像の露光時間が短いため、位置合わせは高速に行う必要があり、第１の位置合わせ部１３ａを用いて画像間の位置合わせを行う。第１の位置合わせ部１３ａは第１の精度の位置合わせを行うが、第１の精度は動きベクトルのみを用いるため、位置合わせに必要な時間が短くて済む。そのため９０分の１秒という短い露光時間で撮影される各画像を遅れなく位置合わせすることができる。合成部１３は第１の位置合わせ部１３ａで位置合わせされた画像を順次合成していく。

第１の振れ発生期間は短いため、第１の精度で位置合わせを行っても画像劣化は起きにくい。撮像装置１１が発生する第１の振れが収まると、第１の期間から第２の期間である第２の振れ発生期間へ移行する。第２の期間では高周波の振れを含まないため、例えば３０分の１秒の露光時間で画像２１ａ～２１ｃを取得し、それらを位置合わせして合成する。

各露光時間が長いため、位置合わせのための時間に余裕ができる。そこで第２の置合わせ部１３ｂを用いて画像間の位置合わせを行う。第２の位置合わせ部１３ｂは第２の精度の位置合わせを行うが、第２の精度は、動きベクトルおよび幾何変換を用いて位置合わせが行われるため高精度である。合成部１３は、第１の位置合わせ部１３ａで位置合わせされた画像に続き、第２の位置合わせ部１３ｂで位置合わせされた画像を順次合成していく。

第２の振れ発生期間は第１の振れ発生期間より長いが、精度の高い第２の位置合わせ部１３ｂで位置合わせが行われるため、画像劣化は起きにくい。

このように、第１の振れ発生期間は第１の位置合わせ部１３ａを用い、第２の振れ発生期間は第２の位置合わせ部１３ｂを用いて画像の位置合わせを行う。ここで第１の振れは撮影開始直後に発生するため、撮影開始から所定の期間は第１の位置合わせ部１３ａを用い、所定の期間より後は、第２の位置合わせ部１３ｂを用いて画像の位置合わせを行う構成としてもよい。

図５は、合成部１３及び制御部１４の動作を説明するフローチャートである。このフローチャートの動作は、撮像装置１１のレリーズボタンの操作などの撮影開始指示により開始される。

ステップＳ３０１では、制御部１４は、撮影条件出力部１５から撮影条件を受け取る。撮影条件は撮影時間、シャッタ幕速度、焦点調節、手振れの量などである。

ステップＳ３０２では、制御部１４は、得られた撮影条件から各画像の露光時間と撮影枚数を設定する。撮影条件（各要素の駆動状態）に基づく各画像の露光時間と撮影枚数の設定について以下に説明する。

（１）シャッタ幕速度
シャッタ幕速度が速い場合は、シャッタ幕の走行による反力やシャッタ幕停止時の衝撃が大きくなるため、第１の振れが大きくなると共に第１の振れが継続する時間も長くなる恐れがある。そこで第１の振れの発生期間における各画像（図４の２０ａ～２０ｃ）の露光時間を短くする。また、第１の振れが継続する時間を予測する。

（２）焦点調節
ピント合わせのためのレンズが高速で長距離を移動する場合は、レンズ駆動の反力やレンズ停止時の衝撃が大きくなるため、第１の振れが大きくなると共に第１の振れが継続する時間も長くなる恐れがある。そこで第１の振れの発生期間における各画像（図４の２０ａ～２０ｃ）の露光時間を短くする。また、第１の振れが継続する時間を予測する。

上記のシャッタ幕速度と焦点調節の条件で設定された各画像の露光時間の短い方である第１の露光時間と、第１の振れが継続される時間の長い方である第１の撮影時間との関連から、第１の撮影時間における第１の撮影枚数を設定する。具体的には、第１の露光時間が１／９０秒で、第１の撮影時間が０．０９秒であれば、第１の撮影枚数は１０枚程度に設定される。本実施形態では、撮影開始から第１の撮影時間が経過するまでの期間に取得された画像は、第１の位置合わせ部により位置合わせされ、合成される。

（３）手振れ
撮影前までに振れ検出部１８が検出した手振れの大きさが大きい場合は、撮影中も第２の振れが大きくなる恐れがあり、第２の振れの発生期間における各画像（図４の２１ａ～２１ｃ）の露光時間（第２の露光時間）を短くする。

（４）撮影時間
被写体の明るさから求まる撮影時間、或いは撮影者が設定した撮影時間から上記で求められた第１の撮影時間を差し引いて、第２の振れの発生期間である第２の撮影時間を求める。そして第２の露光時間と第２の撮影時間の関連から第２の撮影枚数を設定する。

ステップＳ３０３では、制御部１４は、ステップＳ３０２で設定された第１の露光時間で撮影を行うと共に、第１の位置合わせ部１３ａを用いて前の画像との位置合わせを行う。第１の位置合わせ部１３ａは、第１の位置合わせ精度で迅速に画像間の構図ズレの位置合わせを行う。

ステップＳ３０４では、合成部１３は、位置合わせされた画像を合成する。

ステップＳ３０５では、制御部１４は、ステップＳ３０２で設定された第１の撮影枚数までの位置合わせと合成が完了するまで、ステップＳ３０３、Ｓ３０４を繰り返す。これにより図４における画像２０ａ～２０ｃまでの位置合わせと合成が行われる。

ステップＳ３０６では、制御部１４は、ステップＳ３０２で設定された第２の露光時間で撮影を行うと共に、第２の位置合わせ部１３ｂを用いて前の画像との位置合わせを行う。第２の位置合わせ部１３ｂは、第２の位置合わせ精度で精度良く画像間の構図ズレの位置合わせを行う。

ステップＳ３０７では、合成部１３は、位置合わせされた画像を合成する。なお、第２の撮影時間における最初の画像は、第１の撮影時間における合成された画像に第２の位置合わせ部１３ｂで位置合わせされて合成される。

ステップＳ３０８では、制御部１４は、ステップＳ３０２で設定した第２の撮影枚数までの位置合わせと合成が完了するまで、ステップＳ３０６、Ｓ３０７を繰り返す。これにより図４における画像２１ａ～２１ｃまでの位置合わせと合成が行われる。

このように、撮影開始時に発生する第１の振れに対して、各画像を第１の露光時間で撮影すると共に第１の位置合わせ部１３ａを用いて迅速に位置合わせを行う。これにより高周波の像ブレを補正することができる。そして、その後発生する第２の振れに対して、各画像を第２の露光時間で撮影すると共に第２の位置合わせ部１３ｂを用いて精度良くブレを補正する。

［第３の実施形態］
図６は、第３の実施形態における合成部１３の動作を説明する図である。図４と異なるのは、第２の振れ発生期間においても各画像の露光時間は第１の振れ発生期間と同じに設定されている点である。以下、第１の振れ発生期間の制御は第２の実施形態と同様であるため、第２の振れ発生期間の制御についてのみ説明する。

第２の実施形態では、第１の振れ発生期間における各画像の露光時間は９０分の１秒であり、第２の振れ発生期間における各画像の露光時間は３０分の１秒であった。これに対し、第３の実施形態では、第２の振れ発生期間においても、各画像の露光時間は９０分の１秒に設定される。この理由は露光時間を揃えることにより制御負荷が少なくなるためである。

そして、本実施形態では、図６から分かるように、第２の振れ発生期間における画像４１ａ～４１ｃは位置合わせを行わないで合成され、画像４１が生成される。画像４１の露光時間は３０分の１秒になるが、第２の振れ発生期間では、３０分の１秒でも手振れによる画像劣化は少ない。同様に、画像４２ａ～４２ｃおよび画像４３ａ～４３ｃも位置合わせしないで合成され、画像４２，４３が生成される。画像４１～４３は、図４と同様に、第２の位置合わせ部１３ｂを用いて精度良く位置合わせされる。

図７は、合成部１３と制御部１４の動作を説明するフローチャートであり、図５のフローチャートと異なるのは、ステップＳ５０１，Ｓ５０２が追加されている点である。そのため、このステップについてのみ説明する。また、第１、第２の露光期間など各撮影条件は第２実施形態と同様に求められているものとする。

ステップＳ５０１では、合成部１３は、第２の露光期間で撮影された露光時間が９０分の１秒の画像（例えば、図６の例では画像４１ａ）を位置合わせしないで合成する。

ステップＳ５０２では、第１の露光期間と第２露光期間の比から第３の撮影枚数（図６の場合は、画像４１ａ～４１ｃの３枚）を求め、その撮影枚数が終了するまでステップＳ５０１とＳ５０２を繰り返す。

つまり、ステップＳ５０１とＳ５０２を繰り返すことにより、例えば、図６の画像４１ａ～４１ｃが合成されて画像４１が生成される。

画像４１の合成が終了すると、ステップＳ３０６に進む。なお、第２の実施形態では、ステップＳ３０８からステップＳ３０６に戻っていたが、第３の実施形態ではステップＳ５０１に戻る。ステップＳ５０１～Ｓ３０８のループを繰り返すことにより、図６の画像４１～４３の合成が行われる。なお、第２の振れ発生期間における画像４１～４３の合成画像は、第１の振れ発生期間における合成された画像に第２の位置合わせ部１３ｂで位置合わせされて合成される。

以上説明したように、第３実施形態では、第１の振れ発生期間及び第２の振れ発生期間において、同じ露光時間で各画像を得ることができるため、制御を簡素化することが可能となる。

［第４の実施形態］
図８は、本発明の第４の実施形態における合成部１３の動作を説明する図であり、図４と異なるのは、第１の振れ発生期間において光学式像ブレ補正をオフにしている点である。

光学式像ブレ補正をオフにする理由について以下に説明する。

振れ検出部１８は、一般的に振動ジャイロ（角速度センサ）を用いることが多いが、振動ジャイロの欠点として、特定の周波数の振動に対して検出精度が著しく低下するという問題がある。そのため、シャッタ幕の走行や焦点調整に伴う駆動で生じる振動、つまり主として高周波の振動に対して、感度が低い場合があり、そのような振動が生じる場合に、光学式像ブレ補正の精度が低下し、画像劣化を発生させる可能性がある。そこで、シャッタ幕の走行や焦点調整に伴う駆動が生じる第１の振れ発生期間では、光学式像ブレ補正をオフにすることにより、光学式像ブレ補正による画像劣化を防ぐ。

第１の振れ発生期間では、第１の露光時間で得られた画像を第１の位置合わせ部１３ａで位置合わせし、合成部１３が画像合成を行うことにより像ブレ補正を行う。第１の振れ発生期間は撮影時間全体に占める割合が少ないため、光学式像ブレ補正を行わずに画像の位置合わせによるブレ補正のみを行っても、大きなブレ補正精度の低下を起こすことはない。第１の振れ発生期間が終了した後の第２の振れ発生期間では、光学式像ブレ補正を開始すると共に、光学式像ブレ補正の補正残りを第２の位置合わせ部１３ｂにより補正する。

図９は、合成部１３と制御部１４の動作を説明するフローチャートであり、図５のフローチャートと異なるのは、ステップＳ７０１，Ｓ７０２が追加されている点である。そのため、このステップについてのみ説明する。また、第１、第２の露光期間など各撮影条件は第２実施形態と同様に求められているものとする。

ステップＳ７０１では、光学式像ブレ補正をオフにすることにより、第１の振れ発生期間で撮影された各画像に画像劣化が発生しないようにする。

ステップＳ７０２では、光学式像ブレ補正をオンにすることにより、第２の振れ発生期間中の画像に発生する撮影者の手振れに起因する像ブレを補正する。

このように、撮影開始時に発生する第１の振動に対して光学式像ブレ補正をオフにした状態で各画像を第１の露光時間で撮影すると共に、第１の位置合わせ部１３ａを用いて迅速に各画像の位置合わせを行う。これにより、高周波のブレを補正することができる。そしてその後発生する第２の振れに対して光学式像ブレ補正をオンにする。その状態で、各画像を第２の露光時間で撮影すると共に、第２の位置合わせ部１３ｂを用いて精度よくブレを補正する。

なお、第２の振れ発生期間における光学式像ブレ補正の精度が期待できる場合には、第２の振れ発生期間では画像の位置合わせによる像ブレ補正を行わなくてもよい。すなわち、図１０に示すように、撮影開始時に発生する第１の振動に対して光学式像ブレ補正をオフにした状態で各画像を第１の露光時間で撮影すると共に、第１の位置合わせ部１３ａを用いて迅速に位置合わせを行う。これにより高周波のブレを補正することができる。そして、その後発生する第２の振動に対して、光学式像ブレ補正をオンにした状態で撮影を行う。

（第５の実施形態）
第１の実施形態では、撮影条件と被写体情報との少なくともいずれかに応じて第１の位置合わせ部と第２の位置合わせ部のいずれか一方を選択して位置合わせを行った。一方、第２～第４の実施形態では、撮影開始から所定の期間（所定の枚数分を撮影する期間）は第１の位置合わせ部１３ａで位置合わせを行い、所定の期間の経過後に、第２の位置合わせ部１３ｂで位置合わせを行った。第１の実施形態と第２～第４実施形態は、組み合わせることも可能である。

例えば、第１の実施形態のステップＳ２０４で、第１の位置合わせ部の条件を満たすと判断されず、ステップＳ２０６へ進んだ場合であっても、第２～第４の実施形態のように、撮影開始から所定の期間は第１の位置合わせ部で位置合わせを行う。これにより、撮像装置の機構部の駆動により生じる高周波な振動の影響を軽減することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１１：撮像装置、１２：撮像素子、１３：合成部、１４：制御部、１５：撮影条件出力部、１７：被写体検出部、１８：振れ検出部

Claims (21)

1. 連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、
   前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、
   前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択手段と、
   前記選択手段で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、
   を備え、
   前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせし、
   前記第２の位置合わせ手段は、前記第１の画像を各画素に複数の色情報を持つ第２の画像に変換し、該第２の画像に、サブ画素精度で並進移動および回転を含む幾何変換を行い、複数の画像を位置合わせすることを特徴とする画像処理装置。
2. 前記撮影条件は、前記複数の画像のそれぞれの露光時間、または連続して撮影する画像の枚数、または撮像装置の振れ、または撮影開始からの経過時間の少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
3. 連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、
   前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、
   前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択手段と、
   前記選択手段で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、
   を備え、
   前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせし、
   前記撮影条件は、前記複数の画像のそれぞれの露光時間、または連続して撮影する画像の枚数、または撮像装置の振れ、または撮影開始からの経過時間の少なくとも一つを含むことを特徴とする画像処理装置。
4. 前記選択手段は、前記複数の画像のそれぞれの露光時間が所定時間以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記選択手段は、連続して撮影する画像の枚数が所定枚数以上の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記複数の画像を撮影する撮像装置に加わる振れを検出する振れ検出手段をさらに備えることを特徴とする請求項２又は３に記載の画像処理装置。
7. 前記選択手段は、前記振れ検出手段により検出された全撮影中の回転振れ量が所定量以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像から被写体を検出する被写体検出手段をさらに備えることを特徴とする請求項２又は３に記載の画像処理装置。
9. 前記選択手段は、前記被写体検出手段により取得された被写体の大きさが所定値以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記選択手段は、前記撮影条件の変化に応じて前記第１の位置合わせ手段と前記第２の位置合わせ手段の選択を変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記選択手段は、第１の期間では、前記第１の位置合わせ手段を選択し、前記第１の期間とは異なる第２の期間では、前記第２の位置合わせ手段を選択することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の期間は、撮影開始から所定の期間であり、前記第２の期間は、前記第１の期間に続く期間であることを特徴とする請求項１１に記載の画像処理装置。
13. 振れ検出手段の出力に基づいて、像ブレを補正する補正手段を制御する補正制御手段をさらに備え、
    前記補正制御手段は、前記第１の期間は、前記補正手段を駆動させずに、前記合成手段に前記複数の画像の合成を行わせ、前記第２の期間は、前記補正手段を駆動させて像ブレ補正を行わせることを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 撮像装置のそれぞれの要素の駆動状態に基づいて、前記第１の位置合わせ手段で用いるそれぞれの画像の露光時間を設定する制御手段をさらに備えることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記複数の画像を撮影する撮像装置のそれぞれの要素の駆動状態を取得し、前記駆動状態に基づいて、前記第１の位置合わせ手段で用いる画像の撮影枚数を設定する制御手段をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記合成手段は、前記複数の画像を位置合わせして合成するか、位置合わせしないで合成するかを選択することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記合成手段は、位置合わせしないで合成した画像をさらに合成することを特徴とする請求項１６に記載の画像処理装置。
18. 画像を複数連続して撮影することが可能な撮像手段と、
    請求項１乃至１７のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
19. 連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、を備え、前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせし、前記第２の位置合わせ手段は、前記第１の画像を各画素に複数の色情報を持つ第２の画像に変換し、該第２の画像に、サブ画素精度で並進移動および回転を含む幾何変換を行い、複数の画像を位置合わせする画像処理装置を制御する方法であって、
    前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択工程と、
    前記選択工程で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成工程と、
    を有することを特徴とする画像処理装置の制御方法。
20. 連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、を備え、前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせする画像処理装置を制御する方法であって、
    前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択工程と、
    前記選択工程で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成工程と、
    を有し、
    前記撮影条件は、前記複数の画像のそれぞれの露光時間、または連続して撮影する画像の枚数、または撮像装置の振れ、または撮影開始からの経過時間の少なくとも一つを含むことを特徴とする画像処理装置の制御方法。
21. 請求項１９又は２０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images