JP6764308B2 - 補正装置及びその制御方法、撮像装置、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、撮影時に発生する構図ズレを補正する撮影制御技術に関する。

近年、所定の時間間隔で断続的に撮影し、得られた静止画を時系列順につないで動画を生成するタイムラプス撮影機能を有する撮像装置が知られている。タイムラプス撮影は、撮影が長時間に亘るため、撮像装置を固定する三脚のゆるみや撮像装置に発生する振動（振れ）の影響を受けやすく、タイムラプス撮影を開始したときの構図からずれてしまう構図ズレが発生し、所望の構図が得られないことがある。

特許文献１には、タイムラプス撮影中やインターバル撮影中に失敗撮影を回避する手法として、所定の時間間隔における撮影で複数の静止画を撮影し、その中から使用する画像を選択することで、失敗撮影を回避する撮像装置が提案されている。

特開２０１４−１３１１２０号公報

しかしながら、上記従来技術では、複数の静止画を撮影し、その中から使用する画像を選択するため、撮影回数が膨大になってしまう。また、複数の静止画を撮影したとしても撮影中に発生した構図ズレを補正することはできないため、構図ズレが発生した後は所望の構図が得られない。

本発明は、上記課題に鑑みてなされ、その目的は、所定の時間間隔で画像を繰り返し撮影するときに発生する構図ズレを補正することができる撮影制御技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の補正装置は、所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御手段と、構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御手段と、を有し、撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮影制御手段は前記撮像手段による撮影を行わないように制御し、前記構図制御手段は、前記補正手段による構図の補正を行わないように制御し、前記撮影制御手段は、前記振れ検出手段により振れが所定時間以上継続して検出された場合には、前記振れが収束するのを待たずに前記撮影を開始し、画像に振れ量を付加する。
また、本発明の補正装置は、所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御手段と、構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御手段と、を有し、撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮影制御手段は前記撮像手段による撮影を行わないように制御し、前記構図制御手段は、前記補正手段による構図の補正を行わないように制御し、前記構図制御手段は、過去に検出された構図のズレ量を記憶する記憶手段を有し、前記記憶手段に記憶している構図のズレ量の推移から将来の構図のズレ量を予測し、前記構図の補正が可能な範囲を超えるまでの時間を算出する。

本発明によれば、所定の時間間隔で画像を繰り返し撮影するときに発生する構図ズレを補正することができ、無駄な撮影を抑えることができる。

本実施形態のデジタルカメラの構成を示すブロック図。 本実施形態の撮影レンズおよびカメラ本体の光学系を示す側面透視図。 本実施形態による構図ズレ補正方法を説明する図。 本実施形態のタイムラプス撮影制御処理を示すフローチャート。 本実施形態のデジタカメラの３次元座標系を示す図。 本実施形態の構図ズレ量の算出方法と補正方法を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、本発明の補正装置を含む撮像装置を、静止画や動画を撮影可能なデジタル一眼レフカメラに適用した実施の形態について、添付図面を参照して詳細に説明する。

＜装置構成＞図１を参照して、本実施形態のデジタルカメラ１００の構成および機能の概略について説明する。

図１において、撮影レンズ１０１はズームレンズやフォーカスレンズを含み、交換レンズユニットとしてカメラ本体２００に内蔵又は着脱可能とされる。ＡＦ（オートフォーカス）駆動回路１０２は、例えばＤＣモータや超音波モータを備え、マイクロコンピュータ（以下、マイコン）１１７の制御指令に応じてフォーカスレンズ位置を変化させることによりピントを合わせる。

ズーム駆動回路１０３は、例えばＤＣモータや超音波モータを備え、マイコン１１７の制御指令に応じてズームレンズ位置を変化させることにより焦点距離を変化させる。

１０４は絞りであり、絞り駆動回路１０５は、マイコン１１７の制御指令に応じて絞り１０４を駆動し、光学的な絞り値を変化させる。絞り１０４の光学的な絞り値はマイコン１１７によって算出される。

主ミラー１０６は、撮影レンズ１０１から入射した光束をファインダー側又は撮像素子側へ導く光路を切り替える。主ミラー１０６は常にファインダー側へと光束を導くミラーダウン位置にあるように付勢されているが、撮影時やライブビュー時には、不図示のミラー駆動回路により撮像素子側へ光束を導くように上方に跳ね上がり光軸中から待避したミラーアップ位置に変化する。また、主ミラー１０６はその中央部が光束の一部を透過できるようにハーフミラーとなっており、光束の一部を焦点検出を行うためのＡＦセンサに入射する。なお、ＡＦセンサは、焦点検出回路１０９内に配置されている。サブミラー１０７は主ミラー１０６から透過した光束をＡＦセンサ側へ反射させる。

ペンタプリズム１０８はファインダーを構成する。ファインダーは、ペンタプリズム１０８の他に、図２で後述するピント板２０１および接眼レンズ２０２を備え、主ミラー１０６により反射された光束が入射され、ファインダーへ導く。

焦点検出回路１０９は、例えばレンズを通して結像された２つの像の位相差により焦点検出を行うもので、本例では一対のＡＦセンサを含むものとする。主ミラー１０６の中央部を透過し、サブミラー１０７で反射された光束は、焦点検出回路１０９の内部に配置された光電変換を行うための一対のＡＦセンサに到達する。被写体に対する撮影レンズ１０１の焦点調節状態を示すデフォーカス量は、一対のＡＦセンサの出力を演算することによって求められる。マイコン１１７は、演算結果を評価してＡＦ駆動回路１０２に制御指令を出し、フォーカスレンズを駆動させる。

１１０はフォーカルプレーンシャッターである。シャッター駆動回路１１１は、マイコン１１７の制御指令に応じたシャッター速度で、フォーカルプレーンシャッター１１０を駆動する。

撮像素子１１２は、ＣＣＤやＣＭＯＳ等の光電変換素子を用いたイメージセンサであり、撮影レンズ１０１によって結像された被写体像を光電変換して、アナログ画像信号を生成する。

クランプ回路１１３およびＡＧＣ回路１１４は、撮像素子１１２から得られるアナログ画像信号に対して基本的なアナログ信号処理を行い、マイコン１１７により、クランプレベルやＡＧＣ基準レベルの変更が行われる。

ＡＤ変換器１１５は、撮像素子１１２から得られアナログ信号処理後のアナログ画像信号をデジタル信号に変換し、信号処理回路１１６へ出力する。

信号処理回路１１６は、ゲートアレイ等のロジックデバイスにより実現される。信号処理回路１１６は、ＡＤ変換器１１５からのデジタル画像信号、またはメモリ１２０から読み出した画像データに対して、フィルタ処理、色変換処理、ガンマ処理を施すと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１１９に出力する。メモリコントローラ１１９はメモリ１２０やバッファメモリ１２２と信号処理回路１１６との間で画像データの書き込みや読み出しを行う。また、信号処理回路１１６は、必要に応じて撮像素子１１２から得られた画像信号を用いて露出（ＡＥ）やホワイトバランス（ＷＢ）等の情報を演算し、演算結果をマイコン１１７に出力する。マイコン１１７は、その演算結果に基づいてホワイトバランスやゲイン調整を行う。

連続撮影時には、一旦、未処理画像のままバッファメモリ１２２に画像信号を格納し、メモリコントローラ１１９を介して未処理の画像信号を読み出し、信号処理回路１１６にて画像処理や圧縮処理を行う。連続撮影枚数はバッファメモリ１２２の容量に左右される。

メモリコントローラ１１９は、信号処理回路１１６から入力された未処理のデジタル画像信号をバッファメモリ１２２に格納し、処理済みのデジタル画像信号をメモリ１２０に格納する。また、メモリコントローラ１１９は、バッファメモリ１２２やメモリ１２０から読み出した画像データを信号処理回路１１６へ出力する。メモリ１２０はカメラ本体２００に対して取り外し可能である場合もある。メモリコントローラ１１９は、通信Ｉ／Ｆ（インタフェース）１２１を介してメモリ１２０に記憶されている画像データを外部機器１４０に出力可能である。

通信Ｉ／Ｆ１２１は、外部機器１４０との間で制御信号や画像信号などを送受信する機能を有し、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、通信方式を特に限定するものではない。ここで、外部機器１４０は、デジタルカメラ１００と通信可能な機器であれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであっても良い。通信Ｉ／Ｆ１２１が無線ＬＡＮによる通信を行う場合、アンテナ、ＲＦ部、ベースバンド部などを備え、サポートする無線ＬＡＮ規格に適合したパケットを送受信することが可能である。

マイコン１１７は、装置全体を統括して制御する演算処理装置であって、不揮発性メモリ１１８に格納されたプログラムを実行することで、後述する処理シーケンスを実行する。

操作部材１２３は、ユーザ操作を受け付けるボタンやダイヤル、タッチパネル等を含む。マイコン１１７は、操作部材１２３の状態変化に応じて各部を制御する。また、操作部材１２３は、レリーズボタンの操作でオンオフする第１スイッチ１２４および第２スイッチ１２５を含む。

第１スイッチ１２４は、カメラに設けられたレリーズボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１スイッチ信号ＳＷ１を発生する。マイコン１１７は、第１スイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＷＢ処理等の動作を開始する。

第２スイッチ１２５は、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２スイッチ信号ＳＷ２を発生する。マイコン１１７は、第２スイッチ信号ＳＷ２により、撮像素子１１２からの信号読み出しからメモリ１２０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

また、第１スイッチ信号ＳＷ１および第２スイッチ信号ＳＷ２が共にオンし続けている間は、連続撮影動作が行われる。

操作部材１２３には、他に、メインスイッチ、撮影モードダイアル、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニューや再生画像移動のための移動＋（プラス）ボタン、移動−（マイナス）ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞りボタン、消去ボタン、撮影や再生に関する情報表示ボタンなどを含む。

表示部駆動回路１２６は、マイコン１１７の制御指令に従い、カメラボディ背面のファインダー外表示部１２７やファインダー内のファインダー内表示部１２８を駆動する。また、ファインダー内表示部１２８には、表示部駆動回路１２６により駆動されるＬＥＤなどからなるバックライト（不図示）が配置されている。マイコン１１７は予め設定されたＩＳＯ感度、画像サイズ、画質に応じた画像データの予測値に基づきメモリコントローラ１１９を介してメモリ１２０の容量を確認する。そして、マイコン１１７は、メモリ１２０の容量から撮影可能残枚数を演算し、必要に応じてファインダー外表示部１２７やファインダー内表示部１２８に表示するように制御する。

不揮発性メモリ１１８は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭなどである。不揮発性メモリ１１８には、マイコン１１７の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する処理シーケンスを実行するためのプログラムのことである。

電源部１３０は、アルカリ電池やリチウム電池などの一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池などの二次電池、ＡＣアダプタなどからなり、各部に必要な電力を供給する。

位置／方位取得部１２９はＧＰＳ受信機と方位検出部を含む。ＧＰＳ受信機は、ＧＰＳ衛星からの電波を受信するアンテナを含み、受信電波を解析して位置情報と時刻情報を取得する。方位検出部は、地磁気センサや方位センサ等を有し、デジタルカメラ１００の向きを検出する。

ジャイロセンサ１３１、デジタルカメラ１００の振動（振れ）や傾きを検出するための角度、角速度、角加速度を測定する。

加速度センサ１３２は、デジタルカメラ１００の振動（振れ）や傾きを検出するための３軸方向の加速度を測定する。

補正部１３３は、マイコン１１７によって制御され、撮像素子１１２を光軸に対して垂直でそれぞれ直交に交わる軸方向に並進すること、および、撮像素子１１２を光軸に対してロール、ピッチ、ヨー方向に回転することができる。

手持ち撮影時には、マイコン１１７がジャイロセンサ１３１によって手振れを検出すると、振れに応じて補正部１３３が撮像素子１１２をシフトさせることで、手振れ補正を行う。

次に、図２を参照して、本実施形態の撮影レンズ１０１およびカメラ本体２００の光学系の構成について説明する。

まず、カメラ本体２００の構成を説明する。

主ミラー１０６は撮影光路内に傾斜して設けられ、ファインダー観察状態では光束をファインダー側に導き、撮影状態では光束を撮像素子１１２へ導く。主ミラー１０６の中央部がハーフミラーとなっていることで、ミラーダウン位置にあるときに光束の一部（約半分）を焦点検出回路１０９に入射する。

サブミラー１０７は主ミラー１０６と同様に、ファインダー観察状態では主ミラー１０６を透過した光束を焦点検出回路１０９へ反射させ、撮影状態では主ミラー１０６とともに撮影光路外に退避する。

ペンタプリズム１０８は主ミラー１０６とサブミラー１０７の上方に配置される。

焦点検出回路１０９は主ミラー１０６とサブミラー１０７の下方に配置される。

フォーカルプレーンシャッター１１０は、撮像素子１１２と主ミラー１０６の間に配置される。

撮像素子１１２は撮影レンズ１０１の予定結像面に配置される。

補正部１３３は撮像素子１１２へ入射する光束を遮らないように撮像素子１１２を保持する位置に配置され、撮像素子１１２を並進あるいは回転させる。

ピント板２０１は、ファインダー光学系の一部を構成し、撮影レンズ１０１の予定結像面に配置される。

撮影者は接眼レンズ２０２からファインダー内のピント板２０１を観察することで撮影画面を視認可能となる。

測光センサ２０４は、被写体輝度を測定する。結像レンズ２０３はペンタプリズム１０８を介してピント板２０１と測光センサ２０４を共役に関係付けている。

次に、撮影レンズ１０１の構成を説明する。

撮影レンズ１０１は、フォーカスレンズ２０５、ズームレンズ２０６、固定レンズ２０７が光軸上に配置されている。

フォーカスレンズ２０５は光軸上を前後に移動することで、撮影画面のピント位置を調整するレンズ群である。

ズームレンズ２０６は光軸上を前後に移動することで、撮影レンズ１０１の焦点距離を変更し、撮影画像の変倍を行うレンズ群である。

レンズマウント２０８は、カメラ本体２００のレンズマウント１３４と接続される接点群であり、カメラ本体２００と通信するインタフェースとなる。

ＡＦ駆動回路１０２は、フォーカスレンズ２０５を光軸方向へ移動させる。

ズーム駆動回路１０３は、ズームレンズ２０６を光軸方向へ移動させる。

絞り駆動回路１０５は、絞り１０４の開口径を変化させる。

上記構成を有するデジタルカメラ１００は、カメラ本体２００を三脚等で固定した状態で所定の時間間隔で連続して被写体を定点撮影するタイムラプス撮影（インターバル撮影）を行い、得られた複数の画像をつなぎ合わせてタイムラプス動画を生成する機能を有する。

＜構図ズレの補正および撮影タイミングの制御＞図３を参照して、本実施形態のデジタルカメラ１００による構図ズレの補正方法および撮影タイミングの制御方法について説明する。

以下では、デジタルカメラ１００を三脚等で固定した状態でタイムラプス撮影を行う場合について説明する。

図３の横軸は時刻、縦軸は構図のズレ量（振れ量）を示し、ズレ量の時間的な変化を示している。タイムラプス撮影は、図中二重丸印のタイミングで画像を撮影し取得する。また、図３では、理解の容易化のためズレ量を１次元の変数で示しているが、実際には複数次元の変数を持っている。

図３（ａ）は、デジタルカメラ１００を固定する三脚のネジのゆるみ等によって生じる重力沈下による構図ズレを例示している。

固定ネジ等のゆるみから生じる微小なずれは、短時間では構図ズレにはつながらないが、タイムラプス撮影のように長時間に亘る撮影では微小なずれの積み重ねによって大きなずれとなり、図示のように構図がズレた画像が撮影されてしまう。このように定常的に発生する構図ズレは、時間経過に伴い撮影開始時の構図からの差異（ズレ）が大きくなる傾向があるため、各フレーム撮影の直前に適宜構図ズレを補正する必要がある。

図３（ｂ）は、図３（ａ）の撮影時に予期しない振動が発生したことにより構図ズレが加わった状態を例示している。予期しない振動、例えば地震動、他の物体が近くを通過したことによる振動、大音量による空気の振動等によって、デジタルカメラ１００に振れが生じて構図ズレとなる。図中ではｔ＝３のズレ量が上下に振幅している振動３０１となる。ここで、ｔ＝３の振動３０１のように振動期間がタイムラプス撮影のタイミングと重なった場合には、構図ズレのみならず、撮影画像のブレ（像ブレ）も発生する。そのため、振動の収束後に生じる構図ズレを補正するだけでなく、振動を回避するための撮影タイミングの補正も必要となる。

図３（ｃ）は、図３（ｂ）の構図ズレを補正した状態を例示している。時刻ｔ＝０からタイムラプス撮影が開始され、この構図が基準となり、以降、この基準構図と一致するように補正が行われる。ｔ＝１までに発生したズレ量は、そのまま撮影すると構図ズレになるため構図を補正する必要がある。そこで、ｔ＝１の撮影直前に、後述する構図補正方法によってズレ量を算出し、算出したズレ量を相殺するカメラの位置・姿勢に撮像素子１１２をシフトさせるように補正部１３３を制御して構図ズレを補正する（３０２）。このように撮影直前に構図ズレの補正を行うことで基準構図と一致した画像が取得できるようになる。同様の処理をｔ＝２においても繰り返し行う（３０３）。

次に、ｔ＝３の撮影前に発生した振動３０１に関する撮影タイミングの制御方法について説明する。振動３０１は、振れ検出手段としての加速度センサ１３２によって検出され、ｔ＝３になっても振動が継続している（加速度を検出し続けている）ため、ｔ＝３でのタイムラプス撮影を延期し、振動が収束するまで待つ（３０４）。その後、振動が収束したことを検出すると、ズレ量を算出し、補正部１３３を制御して上記と同様に構図を補正する（３０５）。タイムラプス撮影は撮影間隔が振動期間に対して十分に長いため、各フレームの撮影を延期したとしても、タイムラプス撮影により生成された動画の見え方に与える影響は少ない。これにより、予期せぬ振動に対しても、振動の影響を回避した上で適切な構図補正と撮影画像の取得が可能となる。

また、不図示であるが、振動が撮影タイミングと重なっていない場合には、振動が収束した直後に構図補正処理を行ってもよいし、収束直後には補正を行わず、各フレーム撮影の直前に行ってもよい。

ここで、本実施形態の振れ検出方法について説明する。マイコン１１７は加速度センサ１３２から得られた３軸の加速度情報を用いて振動値を算出する。振動値の大きさと変位によって振動の発生、収束の判別を行う。また、加速度センサ１３２の代わりにジャイロセンサ１３１または振動音センサ、ライブビュー等の画像比較、またはその他の手段を使用してもよいし、これらの手段を組み合わせてもよい。

＜撮影処理＞図４を参照して、本実施形態のデジタルカメラ１００によるタイムラプス撮影制御処理について説明する。

なお、図４の処理は、不揮発性メモリ１１８に格納されたプログラムをマイコン１１７が実行することで実現される。

図４（ａ）は本実施形態の構図補正処理を含むタイムラプス撮影制御処理を示し、デジタルカメラ１００が動画記録モードにおいて、撮影者が操作部材１２３を介してタイムラプス撮影を開始する操作を行ったことに応じて処理が開始される。

Ｓ４０１では、マイコン１１７はタイムラプス撮影を開始し、Ｓ４０２へ進む。

Ｓ４０２では、マイコン１１７は振れ検出を開始し、タイムラプス撮影が終了するまでの間、検出された振動値に変化があった場合に行われる割り込み処理を許可し、Ｓ４０３へ進む。割り込み処理は、後述するＳ４２０からＳ４２５の振動値変化割り込み処理であり、振動の有無を示す振動フラグ（振動発生中は１、それ以外は０）を設定する処理と、構図補正処理を担う。

Ｓ４０３では、マイコン１１７は第１フレーム（ｎ＝１）撮影処理が実施され静止画がバッファメモリ１２２に格納され、Ｓ４０４へ進む。

Ｓ４０４では、マイコン１１７は一定間隔で撮影するためのインターバルタイマーを開始し、Ｓ４０５へ進む。

Ｓ４０５では、マイコン１１７はインターバルタイマーがタイムアップするまで待ち、Ｓ４０６へ進む。

Ｓ４０６では、マイコン１１７は振動フラグの設定値を判定し、振動フラグが０であった場合、振動発生中でないとして、Ｓ４０７へ進む。振動フラグが１であった場合、振動フラグが０になるまで、つまり振動が収束するまで待つ。

なお、Ｓ４０６では、振動が所定時間を経過しても収束せず所定時間以上継続して検出された場合には、振動が収束するのを待たずにＳ４１０に進み、強制的に撮影可能な状態とし、該当するフレームが撮影できない状況を回避するように制御してもよい。この場合、撮影時に検出された振動値を画像に付加するなどして画像とともに保存しておき、動画生成時の補正処理に使用してもよい。

Ｓ４０７では、マイコン１１７は後述する構図ズレ量算出方法により構図ズレ量を算出し（構図検出）、Ｓ４０８へ進む。

Ｓ４０８では、マイコン１１７は構図ズレ量が閾値より大きい場合、Ｓ４０９へ進み、閾値以下の場合、Ｓ４１０へ進む。

Ｓ４０９では、マイコン１１７は補正部１３３によって撮像素子１１２をシフトさせることで構図ズレを補正し、Ｓ４１０へ進む。

Ｓ４１０では、マイコン１１７はフレーム数ｎをインクリメントして、第ｎフレーム撮影処理を行い、Ｓ４１１へ進む。

Ｓ４１１では、マイコン１１７はフレーム数ｎが所定の枚数に達した場合はＳ４１２へ進み、所定の枚数に満たない場合はＳ４０４へ進む。

Ｓ４１２では、マイコン１１７はバッファメモリ１２２に格納されたフレーム数ｎの静止画を時系列順に結合しタイムラプス動画を生成しメモリ１２０に格納し、処理を終了する。

次に、図４（ｂ）を参照して、Ｓ４０２の振れ検出中に割り込み許可される、振動値変化割り込み処理を説明する。

割り込み処理は、所定の時間における振動値の変化量が閾値より大きい場合に開始される。

Ｓ４２０では、マイコン１１７は振動値が閾値以下の値になり、振動が収束する変化をしたか否かを判定し、振動が収束する変化をした場合はＳ４２１へ進み、それ以外の変化の場合はＳ４２５へ進む。

Ｓ４２１では、マイコン１１７は振動が収束したとして振動フラグを０にし、Ｓ４２２へ進む。

Ｓ４２２では、マイコン１１７は後述する構図ズレ量算出方法により構図ズレ量を算出し（構図検出）、Ｓ４２３へ進む。

Ｓ４２３では、マイコン１１７は構図ズレ量が閾値より大きい場合はＳ４２４進み、閾値以下の場合は割り込み処理を終了する。

Ｓ４２４では、マイコン１１７は補正部１３３を制御して撮像素子１１２をシフトさせることで構図ズレを補正し（構図制御）、割り込み処理を終了する。

Ｓ４２５では、マイコン１１７は振動が発生中として振動フラグを１にして、割り込み処理を終了する。

図５は、本実施形態のデジタルカメラ１００の３次元座標系を示している。

カメラ座標系は撮像素子１１２の画素領域の中心を原点とし、それぞれ直交する座標軸をＸ、Ｙ、Ｚとする。Ｘ軸は、撮像素子１１２に平行な平面内で左から右へ向かう軸であり、Ｙ軸は撮像素子１１２に平行な平面内で下から上に向かう軸であり、Ｚ軸は撮像素子１１２に平行な平面に垂直で図奥から手前に向かう軸である。カメラの初期状態においてはＺ軸と光軸方向が一致する。またＺ軸周りの回転度合いをロール角、Ｘ軸周りの回転度合いをピッチ角、Ｙ軸周りの回転度合いをヨー角とする。ここでカメラの位置姿勢とは、現実世界に対して任意の場所に世界座標系として３次元座標を設定したときに、その座標系に対してカメラ座標系がどのような相対的な位置関係にあるかで示される。つまりカメラの位置姿勢は、位置にあたるカメラ座標系の並進と、姿勢にあたるカメラ座標系の回転で表される。したがって、構図ズレはカメラ位置姿勢の差異、つまりカメラ座標系の並進と回転の差として考えることができる。この構図ズレ量の算出方法および補正方法については図６を用いて後述する。

＜構図ズレ量の算出および補正＞図６を参照して、本実施形態の構図ズレ量の算出方法および補正方法を説明する。

図６（ａ）はタイムラプス撮影における第１フレーム画像（基準構図）に相当し、図６（ｂ）は第ｎフレーム直前の構図ズレ補正前のプレ撮影画像を示している。構図ズレはこの２枚の画像間の対応関係から算出される。

図６（ｃ）は、ブロックマッチング法等により算出された上記２枚の画像間のオプティカルフローである。このオプティカルフローから基準構図のカメラ姿勢に対して第ｎフレームのカメラ運動パラメータを算出することができるため、これが構図ズレ量となる。次に、図６（ｄ）のように補正部１３３によって、カメラ運動パラメータを相殺する位置姿勢になるように撮像素子１１２をシフトし固定することで、構図ズレが補正され、基準構図と構図が一致する。

構図ズレ量は、信号処理回路１１６で算出されマイコン１１７に送信される。マイコン１１７では、構図ズレを補正するための撮像素子１１２の移動量を算出し、その値をもとに補正部１３３を制御し補正する。

ここで、構図ズレ量算出は画像間のオプティカルフローによって算出したが、別の算出アルゴリズムを用いてもよい。

また、補正部１３３で撮像素子１１２をシフトさせることで構図ズレを補正したが、撮影レンズ１０１に補正レンズを組み込み、補正レンズをシフトさせることで構図ズレを補正してもよい。また、撮像素子１１２と補正レンズの両方をシフトさせることで構図ズレを補正してもよい。

以上の実施形態によれば、タイムラプス撮影において、無駄な撮影を行うことなく、構図ズレを補正することが可能となる。また、振動が収束するまで撮影タイミングを待つことで、振動の影響も回避可能となる。さらに、構図ズレの補正方法は、画像のトリミング等を使用しない光学的な振れ補正方法であるため、画角を小さくすることなく、撮像素子１１２の有効画素全てをタイムラプス動画生成に使用することが可能となる。

［実施形態２］次に、実施形態２の構図補正処理について説明する。

本実施形態では、上述した実施形態１において、過去の構図補正処理において算出された構図ズレ量を記憶し、これらの推移から将来において補正部１３３で補正可能な撮像素子１１２の可動範囲を超えるまでの時間を予測し、撮影者にカウントダウン表示する。

なお、本実施形態のデジタルカメラの構成は、実施形態１の図１および図２と同様である。以下では、実施形態１との共通部分は説明を省略し、実施形態と相違する部分を中心に説明する。

本実施形態は、実施形態１の構図補正処理（Ｓ４０９）に、構図ズレ量の記憶、撮像素子１１２の可動範囲を超えるまでの時間を予測、撮影者に提示する処理が追加される。

図４のＳ４０９において、マイコン１１７は、構図ズレを補正した後、補正部１３３による補正量の絶対値を現在時刻ともにバッファメモリ１２２に格納する。そして、予測に必要なフレーム数以上が格納された場合、マイコン１１７は、カルマンフィルタ等の推定手法を用い、直近までに保存された上記情報に基づいて、将来の補正量を推定する。将来の推定補正量が、補正部１３３で補正できる撮像素子１１２の可動範囲を超えるまでの時間を算出し、ファインダー外表示部１２７やファインダー内表示部１２８にカウントダウン表示する。

以上の実施形態によれば、撮影者は、構図ズレが補正限界を超えるまでの時間を予め知ることができ、残時間に応じた対処が可能となる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮影レンズ、１１２…撮像素子、１１７…マイクロコンピュータ、１３１…ジャイロセンサ、１３２…加速度センサ、１３３…補正部、２００…カメラ本体

Claims (17)

1. 所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御手段と、
   構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御手段と、を有し、
   撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮影制御手段は前記撮像手段による撮影を行わないように制御し、前記構図制御手段は、前記補正手段による構図の補正を行わないように制御し、
   前記撮影制御手段は、前記振れ検出手段により振れが所定時間以上継続して検出された場合には、前記振れが収束するのを待たずに前記撮影を開始し、画像に振れ量を付加することを特徴とする補正装置。
2. 所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御手段と、
   構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御手段と、を有し、
   撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮影制御手段は前記撮像手段による撮影を行わないように制御し、前記構図制御手段は、前記補正手段による構図の補正を行わないように制御し、
   前記構図制御手段は、過去に検出された構図のズレ量を記憶する記憶手段を有し、前記記憶手段に記憶している構図のズレ量の推移から将来の構図のズレ量を予測し、前記構図の補正が可能な範囲を超えるまでの時間を算出することを特徴とする補正装置。
3. 前記撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は当該振れが収束するまで、前記撮影制御手段は前記撮影を行うタイミングを遅らせ、前記構図制御手段は前記構図のズレを補正するタイミングを遅らせるように制御することを特徴とする請求項１または２に記載の補正装置。
4. 前記撮影制御手段は、前記振れ検出手段により検出された振れ量が閾値以下の場合には、前記構図の補正が実行された後、前記撮影を行うように制御することを特徴とする請求項３に記載の補正装置。
5. 前記撮影制御手段は、前記振れ検出手段により検出された振れ量が閾値より大きい場合には、前記振れ量が閾値以下になるまで撮影を延期し、振れが収束してから前記構図の補正が実行された後、前記撮影を行うように制御することを特徴とする請求項３または４に記載の補正装置。
6. 前記構図制御手段は、前記振れ検出手段により検出された振れ量が閾値より大きくなった後、閾値以下になった場合には、直ちに前記構図の補正を行うことを特徴とする請求項５に記載の補正装置。
7. 前記構図制御手段は、撮像手段または撮影レンズの少なくともいずれかをシフトまたは回転することにより前記構図の補正を行うこと特徴とする請求項１から６のいずれか１項に記載の補正装置。
8. 前記構図制御手段は、前記構図のズレ量が閾値より大きい場合には、構図のズレを相殺するように前記構図を補正することを特徴とする請求項７に記載の補正装置。
9. 前記振れ検出手段は、加速度センサ、ジャイロセンサ、振動音および画像比較の少なくともいずれかを用いて撮像装置の振れにより生じる振動を検出することを特徴とする請求項１から８のいずれか１項に記載の補正装置。
10. 前記構図制御手段は、過去に検出された構図のズレ量を記憶する記憶手段を有し、前記記憶手段に記憶している構図のズレ量の推移から将来の構図のズレ量を予測し、前記構図の補正が可能な範囲を超えるまでの時間を算出することを特徴とする請求項１に記載の補正装置。
11. 前記構図制御手段は、前記時間を提示する提示手段を有することを特徴とする請求項１０に記載の補正装置。
12. 所定の時間間隔で画像を繰り返し撮影する撮像手段と、
    構図の変化を検出する構図検出手段と、
    前記構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段と、
    撮像装置の振れを検出する振れ検出手段と、
    請求項１から１１のいずれか１項に記載の補正装置と、を有することを特徴とする撮像装置。
13. 前記撮像手段により得られた複数の画像をつなぎ合わせて動画を生成する動画生成手段をさらに有することを特徴とする請求項１２に記載の撮像装置。
14. 所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御ステップと、
    構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御ステップと、を有し、
    撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮像手段による撮影を行わないように制御し、前記補正手段による構図の補正を行わないように制御し、
    前記振れ検出手段により振れが所定時間以上継続して検出された場合には、前記振れが収束するのを待たずに前記撮影を開始し、画像に振れ量を付加することを特徴とする補正装置の制御方法。
15. 所定の時間間隔で画像を繰り返し撮影するように撮像手段を制御する撮影制御ステップと、
    構図の変化を検出する構図検出手段により得られた構図のズレ量に基づき前記構図のズレを補正する補正手段を制御する構図制御ステップと、を有し、
    撮像装置の振れを検出する振れ検出手段により振れが検出されている場合は、前記撮像手段による撮影を行わないように制御し、前記補正手段による構図の補正を行わないように制御し、
    過去に検出された構図のズレ量を記憶する記憶手段に記憶している構図のズレ量の推移から将来の構図のズレ量を予測し、前記構図の補正が可能な範囲を超えるまでの時間を算出することを特徴とする補正装置の制御方法。
16. 請求項１４または１５に記載された制御方法を、コンピュータに実行させるためのプログラム。
17. 請求項１４または１５に記載された制御方法を、コンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。