JP6858059B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、パノラマ画像を撮像可能な撮像装置に関する。

従来より、例えば特許文献１に開示されているように、撮像装置をパンニングさせながら静止画を連続撮影し、連続撮影した静止画を合成することによりパノラマ画像を生成する手法が提案されている。

特開２０１０−２８７６４号公報

特許文献１に記載された撮像装置では、フォーカス、絞り、シャッター速度等の撮影条件を１枚目の画像を撮影する前に決定した撮影条件に固定して連続撮影を行う。しかしながら、パンニング撮影中に最初にピントを合わせた被写体の距離とは異なる距離にある被写体が入ってきた場合には、ピントの合っていない被写体が含まれるパノラマ画像となってしまう。例えば、主要な被写体にピントを合わせてからパンニング撮影を始めた場合は良い結果が得られる場合もある。しかし、主要な被写体ではないパンニング開始位置の被写体にピントを合わせてしまった場合などでは、撮影したかった主要な被写体にピントが合っていないパノラマ画像となってしまうことが考えられる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写界全体にピントの合ったパノラマ画像の生成が可能な撮像装置を提供することである。

本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、撮影光学系の焦点状態を検出する焦点検出手段と、前記焦点検出手段により検出された焦点状態に基づいて、前記撮影光学系の焦点を調節する焦点調節手段と、撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成手段と、前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定手段と、前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告手段と、を備えることを特徴とする。

本発明によれば、被写界全体にピントの合ったパノラマ画像の生成が可能な撮像装置を提供することができる。

本発明の一実施形態に係わる撮像装置の外観を示す図。 本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 撮像素子の１画素の構成を示す概略図。 物体の結像関係を模式的に示す図。 パンニングの方向と画像の切り抜き領域を示す図。 パノラマ撮影の処理の流れと画像データとの対応関係を示す図。 パノラマ撮影の動作を示すフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の外観図である。

図１において、表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材から成る操作部である。電源スイッチ７２は、電源のオン、オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。

図２は、デジタルカメラ１００の構成を示すブロック図である。図２において、撮影レンズ１０３（撮影光学系）はズームレンズ、フォーカスレンズを含むレンズ群を有し、被写体像を結像させる。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子と、ＡＦ評価値検出部２３とを有する。撮像素子は、二次元状に配置された画素のそれぞれが複数の光電変換領域を有する。そして、各画素内で同じ位置に存在する光電変換領域群の出力から１つの視点の画像がそれぞれ形成されるため、１つの撮像素子で視点の異なる複数の視差画像を取得することができる。また、同時に画素ごとに複数の光電変換領域の出力を加算することで、各画素が１つの光電変換領域を有する通常の撮像素子で得られる撮像画像を取得することができる。

本実施形態では、各画素が独立した２つの光電変換領域（フォトダイオード）Ａ，Ｂを有して構成されている。光電変換領域Ａの出力と、光電変換領域Ｂの出力とをそれぞれ独立した画像として取得することにより、２つの視差画像Ａ，Ｂを取得することができる。また、光電変換領域ＡとＢの出力を画素ごとに加算することにより、通常の撮像画像を取得することができる。なお、撮像画像は、例えば後述する画像処理部２４でそれぞれの画素の複数の光電変換部の信号を加算合成して得られる例について説明するが、撮像部２２で加算合成を行って取得してもよい。このように、視差画像Ａ，Ｂと撮像画像は一度の撮影（露光）で取得できる。

なお、本実施形態の説明においては２つの視差画像を同時に取得する場合について説明するが、撮像面近傍に入射する光束をより多数の画素（例えば３×３画素）で受光してより多くの視差画像を同時に取得する構成であってもよい。また撮像部２２はＡ／Ｄ変換処理機能を備えている。

ＡＦ評価値検出部（焦点検出部）２３ではデジタル画像信号から得られるコントラスト情報や視差画像から得られる位相差からＡＦ評価値（焦点状態）を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、又はメモリ制御部１５からの画像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では被写体の距離情報を取得することができる。入力した２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像部２２から被写体までの距離情報を画素ごとに取得することが可能である。さらに、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４ではＡＦ（オートフォーカス）処理が行われるが、このとき撮像部２２に備えるＡＦ評価値検出部２３の出力が用いられることもある。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理部２４では、複数回の撮像により得られた複数枚の画像を合成する処理を行い、パノラマ画像の生成も行う。

撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、表示部２８が電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述するフローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６３、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード、パノラマ撮影モード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。

第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部４１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部４１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部４０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

検出部８０は、ジャイロセンサやその他のセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパンニング撮影時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図３は撮像部２２に含まれる撮像素子２２ａの１画素の構成を概略的に示した図である。３０１は画素を表す。１つの画素は、マイクロレンズ３０２を有する。また一つの画素は、複数の光電変換領域としての複数のフォトダイオード（以下、ＰＤ）を有する。図３では、１つの画素が２つのＰＤ３０３，３０４を有する例を示しているが、２つ以上であれば個数に限定はない。

図４は、撮影レンズ１０３の射出瞳４０６から出射した光束が撮像素子２２ａに入射する様子を概念的に示した図である。図４において、４０１は画素アレイの断面、３０２はマイクロレンズ、４０３はカラーフィルタ、３０３，３０４は図３に示したＰＤである。４０６は撮影レンズ１０３の射出瞳を示す。

ここではマイクロレンズ３０２を有する画素に対して、射出瞳４０６から出射した光束の中心を光軸４０９とする。射出瞳４０６から出射した光は光軸４０９を中心として撮像素子２２ａに入射される。４０７，４０８は撮影レンズ１０３の射出瞳の一部領域を示す。射出瞳４０６の一部領域４０７を通過する光の最外周の光線を４１０，４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２，４１３で示す。

図４からわかるように、射出瞳４０６から出射する光束のうち、光軸４０９を境にして、上側の光束はＰＤ３０４に入射し、下側の光束はＰＤ３０３に入射する。つまり、ＰＤ３０３，３０４はそれぞれ撮影レンズ１０３の射出瞳４０６の異なる領域の光を受光している。ここでＰＤ３０３で受光した信号をＡ像、ＰＤ３０４で受光した信号をＢ像とすると、Ａ像とＢ像の対の信号の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。

次にパンニングによるパノラマ画像の撮影方法とその画像合成方法の詳細について、図５、図６を用いて説明する。

図５の間隔の広い斜線のハッチング領域は画像データの切り抜き領域を示し、狭い斜線のハッチング領域は次の撮影時のフォーカス位置を決定するための距離情報評価領域を示し、黒く塗りつぶされた矢印はパンニングの方向を示す。

図５（ａ）は、撮像素子２２ａの有効画像領域を示しており、Ｗvが水平方向の有効画素数で、Ｈvが垂直方向の有効画素数である。図５（ｂ）は、画像データの切り抜き領域を示しており、Ｗcropが水平方向の切り抜き画素数で、Ｈcropが垂直方向の切り抜き画素数である。図５（ｃ）は右方向に、図５（ｄ）は左方向に、図５（ｅ）は上方向に、図５（ｆ）は下方向にパンニングした場合の画像の切り抜き領域および距離情報評価領域を示している。右または左方向にパンニングした場合の水平方向の画像データの切り抜きは、Ｗv＞Ｗcropとし、垂直方向の画像データの切り抜きは、Ｈv＝Ｈcropとする。上または下方向にパンニングした場合の水平方向の画像データの切り抜きは、Ｗv＝Ｗcropとし、垂直方向の画像データの切り抜きは、Ｈv＞Ｈcropとする。

撮影した画像データの切り抜き領域は、画像データ毎に異なる大きさの切り抜き領域としてもよい。また、パンニング開始時とパンニング終了時の画像データは、画角を広くするために切り抜き領域を広くしてもよい。画像データの切り抜き領域の決定方法は、例えば撮影直後のカメラの角度と１フレーム前のカメラの角度の差などにより決定する。このように画像データを切り抜いてパノラマ合成処理に必要な画像データ領域を保存することで、メモリ容量を節約することができる。

距離情報評価領域はパンニングの進行方向前方側かつ画像の切り抜き領域の外側の領域を含むように設定する。つまり、距離情報評価領域は図５（ｃ）のように右方向にパンニングした場合、画像の切り抜き領域の右側を含むように、図５（ｄ）のように左方向にパンニングした場合、画像の切り抜き領域の左側を含むようにする。また、図５（ｅ）のように上方向にパンニングした場合、画像の切り抜き領域の上側を含むように、図５（ｆ）のように下方向にパンニングした場合、画像の切り抜き領域の下側を含むようにする。このように、距離情報評価領域をパンニングの進行方向に応じて設定することで、次の撮影における画像データの切り抜き領域に含まれる被写体の距離情報に基づいてフォーカス位置を決定することができる。そして、被写界全体にピントの合ったパノラマ画像を生成することができる。

次にパノラマ画像の合成方法について説明する。システム制御部５０は、パンニング撮影時に切り抜かれて保存された画像データをメモリ３２から読み出し、読み出した画像データに対応する画像間の位置ずれを検出する。位置ずれの検出は、切り抜き領域を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出して動きベクトルを算出する方法等により行うことができる。なお、動きベクトルの算出は、検出部８０によって検出される角速度情報あるいは位置情報、姿勢情報等を用いて行ってもよいし、両方の情報を総合して算出するようにしてもよい。続いて、システム制御部５０は、隣り合う切り抜き領域の画像間で算出した動きベクトルに基づいて、切り抜き領域の画像間の位置ずれを補正し、切り抜き領域の画像間の重複部を加重加算等により合成する。

図６は、本実施形態における合成処理の流れと、画像データとの対応関係を示す図である。図６の６０１，６０２は、被写界にある近距離の被写体（家および木）を、６０３は遠距離の被写体（並木）を示す。また、図５と同様に、広い斜線のハッチング領域は画像データの切り抜き領域を示し、狭い斜線のハッチング領域は次の撮影時のフォーカス位置を決定するための距離情報評価領域を示し、黒く塗りつぶされた矢印はパンニングの方向を示す。さらに、大きいドットで示された領域はピントの合っている領域、小さいドットで示された領域はピントの合っていない領域を模式的に表す。

図６（ａ）は、第１シャッタースイッチ６２および第２シャッタースイッチ６３が押された場所とする。ユーザは、合成しようとしているパノラマ画像の一方の端に被写界を設定している。図６（ｂ）、図６（ｃ）は、合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００をパンニングさせながら、連続撮影を行っている状態を模式的に示している。図６（ｂ）においては、近距離の被写体６０１，６０２にピントが合っている状態で撮影が行われる。このとき、パンニングの進行方向、つまり画像データの切り抜き領域の右側の距離情報評価領域における距離情報から、次の撮影での画像データの切り抜き領域の被写体の距離を判定する。図６（ｂ）では、距離情報評価領域、つまり、次の撮影での画像データの切り抜き領域の被写体が遠距離の被写体６０３であるため、遠距離の被写体６０３にピントを合わせて、図６（ｃ）においては、遠距離の被写体６０３にピントが合っている状態で撮影が行われる。図６（ｄ）は、設定された角度までデジタルカメラ１００のパンニングが行われ、連続撮影が終了した状態を示している。図６（ｆ）は、撮影された複数の画像（静止画）から合成されたパノラマ画像を示している。

このように、撮影時にパンニングの進行方向に位置する距離情報評価領域における距離情報に基づき、次の撮影時のフォーカス位置を決定することで、被写界全体にピントの合ったパノラマ画像を生成することができる。

図７は、本実施形態の処理の流れを示すフローチャートである。ユーザがモード切替スイッチ６０によりパノラマ撮影モードを選択した場合に図７の処理が実行される。図７の各ステップの処理は、システム制御部５０が、不揮発性メモリ５６から読み出した所定のプログラムをシステムメモリ５２上に展開し、デジタルカメラ１００を構成する各部の動作や処理を制御することによって実現される。

ステップＳ１０１において、システム制御部５０は、操作部７０が操作されたことによってパンニング条件設定ボタンが押下されたか否かを判定する。なお、パンニング条件設定ボタンは、操作部７０により実現される機能ボタンの１つである。システム制御部５０は、パンニング条件設定ボタンが押下された場合（Ｓ１０１でＹＥＳ）、処理をステップＳ１０２へ進め、パンニング条件設定ボタンが押下されない場合（Ｓ１０１でＮＯ）、処理をステップＳ１０３へ進める。

システム制御部５０は、ステップＳ１０２においてユーザによるパンニング撮影の撮影条件（パンニングの方向や角度、ＡＦの固定／追従（焦点設定））の変更を受け付け、受け付けた条件を不揮発性メモリ５６に記憶し、その後、処理をステップＳ１０３へ進める。なお、パンニング条件設定ボタンが押下されなかった場合であって、パンニング撮影を初めて行う場合には、デフォルトの設定条件が適用される。

ステップＳ１０３においてシステム制御部５０は、シャッターボタン６１の第１シャッタースイッチ６２がオンした否か（第１シャッタースイッチ信号ＳＷ１が発生したか否か）を判定する。システム制御部５０は、第１シャッタースイッチ６２がオンした場合（Ｓ１０３でＹＥＳ）、処理をステップＳ１０４へ進め、第１シャッタースイッチ６２がオンしていない場合（Ｓ１０３でＮＯ）、処理をステップＳ１０１へ戻す。

ステップＳ１０４においてシステム制御部５０は、ＡＥ処理とＡＦ処理（自動焦点調節処理）を行う。続くステップＳ１０５においてシステム制御部５０は、ステップＳ１０４でのＡＥ処理結果に基づき撮影条件（露出、撮影感度、ＷＢ等）を決定する。なお、後のステップＳ１０９では、ステップＳ１０２においてＡＦの固定設定がなされていた場合、ステップＳ１０４のＡＦ処理で被写体にフォーカスを合わせたときのレンズ位置に撮影レンズ１０３が固定された状態で撮影が行われる。

次に、ステップＳ１０６においてシステム制御部５０は、第２シャッタースイッチ６３がオンしたか否か（第２シャッタースイッチ信号ＳＷ２が発生したか否か）を判定する。システム制御部５０は、第２シャッタースイッチ６３がオンしない場合（Ｓ１０６でＮＯ）、処理をステップＳ１０７へ進め、第２シャッタースイッチ６３がオンした場合（Ｓ１０６でＹＥＳ）、処理をステップＳ１０８へ進める。

ステップＳ１０７においてシステム制御部５０は、第１シャッタースイッチ６２がオンされたままか否かを判定する。システム制御部５０は、第１シャッタースイッチ６２がオンしたままの場合（Ｓ１０７でＹＥＳ）、ステップＳ１０６に戻りステップＳ１０６で第２シャッタースイッチ６３がオンされるまで繰り返す。第１シャッタースイッチ６２がオフされていた場合（Ｓ１０７でＮＯ）、ステップＳ１０１に戻る。

ステップＳ１０８においてシステム制御部５０は、デジタルカメラ１００の各部を制御して撮影処理（１枚の画像の撮影）を実行する。その際、撮像画像と同時に視差画像Ａ，Ｂを一度の撮影（露光）で取得し、メモリ３２に保存する。

そして、ステップＳ１０９においてシステム制御部５０は、撮影された画像データを画像処理部２４によりパンニングの方向に応じて短冊状に切り抜き、逐次、合成することによりパノラマ画像を合成する。このとき、各回の撮影が行われる度に、前回までの撮影によって得られた合成画像の端部に、今回の撮影で得られた画像から切り抜いた短冊状の切り抜き領域の画像を付加するように合成することにより、パノラマ画像を合成していく。

この際、前回の撮影後にフォーカス移動があったか否かに応じて、合成処理における画像間の位置ずれの検出方法を変更するようにしてもよい。前回の撮影後にフォーカス移動がなかった、つまり、前回の撮影からフォーカス位置が変わってない場合、合成処理における画像間の位置ずれの検出を輝度のＳＡＤに基づき算出した動きベクトルを用いて行う。一方、前回の撮影後にフォーカス移動があった、つまり、前回の撮影からフォーカス位置が変わった場合、検出部８０によって検出される角速度情報に基づき算出した動きベクトルを用いて行う。このようにすることで、撮影間でフォーカス移動があった、つまり、ピントの変動がある場合には、画像間の位置ずれの検出を信頼度の低下する画像情報からではなく、検出部８０によって検出される情報を用いて行うことができる。こうして合成されるパノラマ画像の画像データは、メモリ３２に保存される。

次に、ステップＳ１１０においてシステム制御部５０は、デジタルカメラ１００のパンニングの方向の角度（以下「カメラ角度」という）を検出する。続いて、ステップＳ１１１においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度から、デジタルカメラ１００のパンニング角度を算出する。具体的には、撮影時のカメラ角度と１フレーム前の撮影時のカメラ角度から撮影間の角度変化量を求め、それをパンニング角度とする。

次に、ステップＳ１１２においてシステム制御部５０は、ステップＳ１１１で算出したデジタルカメラ１００のパンニング角度が閾値以上か否かを判定する。システム制御部５０は、デジタルカメラ１００のパンニング角度が閾値以上と判定した場合（Ｓ１１２でＹＥＳ）、処理をステップＳ１１３へ進め、パンニング角度が閾値未満と判定した場合（Ｓ１０６でＮＯ）、処理をステップＳ１１４へ進める。なお、パンニング角度の閾値は、連続した画像間で画像データの切り抜き領域、すなわちパノラマ画像の合成に用いられる領域の重複部分が十分確保できるような角度になるよう、撮影間隔や焦点距離に応じて決定する。

システム制御部５０は、デジタルカメラ１００のパンニング角度が閾値以上と判定した場合（Ｓ１１２でＹＥＳ）、ステップＳ１１３において表示部２８にゆっくりパンニングするように警告するメッセージを表示する。このようにすることで、画像の合成に失敗しない条件で撮影するようユーザに報知することができる。つまり、連続した画像間で画像データの切り抜き領域、すなわちパノラマ画像の合成に用いられる領域の重複部分が少なくなり、画像の合成に失敗することを防ぐことができる。またその際、ステップＳ１０２で設定した撮影条件のＡＦ設定がＡＦ追従設定かＡＦ固定設定かに応じて閾値を変えるようにする。具体的には、ステップＳ１１２におけるパンニング角度の閾値を、ＡＦ追従設定にはＡＦ固定設定時より小さくなるようにする。このようにすることで、ＡＦ追従設定時にも、ＡＦ固定設定時に比べて画像の合成に失敗することが多くならないように、画像の合成に失敗しない条件で撮影するようユーザに報知することができる。つまり、ＡＦ追従設定時は、次の撮影におけるフォーカス位置の決定やフォーカスレンズ移動処理の分、ＡＦ固定設定時に比べて撮影間隔が長くなる。そのため、同じパンニング速度でも撮影間のパンニング角度が大きくなり、画像の合成に失敗しやすくなる。これをユーザに報知することにより、画像の合成に失敗することを防ぐことができる。また、撮影間でのフォーカス移動量つまりピント変動量が大きくなり、画像の合成に失敗することも防ぐことができる。

次に、ステップＳ１１４においてシステム制御部５０は、ステップＳ１０２で設定した撮影条件のＡＦ設定がＡＦ追従設定か否かを判定する。システム制御部５０は、ＡＦ設定がＡＦ追従設定であった場合（Ｓ１１４でＹＥＳ）、処理をステップＳ１１５へ進め、ＡＦ設定がＡＦ固定設定であった場合（Ｓ１１４でＮＯ）、処理をステップＳ１２０へ進める。

ステップＳ１１５においてシステム制御部５０は、ステップＳ１０８で撮影した視差画像Ａ，Ｂを用いて、画像処理部２４で被写体の距離情報を取得する。具体的には、入力した２つの視差画像から位相差を検出することで被写体までの距離を取得し、撮像部から被写体までの距離情報を画素ごとに取得する。

次に、ステップＳ１１６においてシステム制御部５０は、ステップＳ１１５で取得した被写体の距離情報に基づき次の撮影におけるフォーカス位置を決定する。ここで、次の撮影におけるフォーカス位置を決定するために距離情報を評価する領域として、図５、図６を用いて前述したように、パンニングの進行方向に応じた領域を設定する。また、フォーカス位置は、撮影間のパンニング角度変動量、すなわちパンニング速度とステップＳ１１５で取得した被写体の距離情報に基づき決定する。具体的には、ピントを合わせたい被写体がパノラマ画像の合成に用いられる画像データの切り抜き領域に入っている度合いに応じて、１回の撮影におけるフォーカス移動量を決定する。つまり、パンニング速度が遅い場合には、パンニング速度が速い場合に比べて、ピントを合わせたい被写体が画像データの切り抜き領域内に捉えられるまでの撮影回数が多くなり、１回の撮影におけるフォーカス移動量を小さくできる。このようにすることで、パンニングしながらの連続撮影において所望の被写体にＡＦ追従が可能となり、被写界全体にピントの合ったパノラマ画像を生成することができる。

ステップＳ１１７においてシステム制御部５０は、ステップＳ１１６で決定した次の撮影におけるフォーカス位置へのフォーカス移動量が閾値以上であるか否かを判定する。システム制御部５０は、フォーカス移動量が閾値以上であると判定した場合（Ｓ１１７でＹＥＳ）、処理をステップＳ１１８へ進め、フォーカス移動量が閾値未満であると判定した場合（Ｓ１１７でＮＯ）、処理をステップＳ１１９へ進める。

システム制御部５０は、次の撮影におけるフォーカス位置へのフォーカス移動量が閾値以上と判定した場合（Ｓ１１７でＹＥＳ）、ステップＳ１１８において表示部２８にゆっくりパンニングするように警告するメッセージを表示する。ここでは、警告メッセージを表示する例について説明したが、次の撮影までの間隔を短くするように制御してもよい。つまり、撮影間隔を短くすることで、相対的にパンニング速度が遅くでき、１回の撮影におけるフォーカス移動量を小さくできるようにしてもよい。

ステップＳ１１９においてシステム制御部５０は、ステップＳ１１６で決定した次の撮影におけるフォーカス位置へ、撮影レンズ１０３に含まれるフォーカスレンズを移動させる。

ステップＳ１２０においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度が、パンニング終了角度であるか否かを判定する。システム制御部５０は、カメラ角度がパンニング終了角度である場合（Ｓ１２０でＹＥＳ）、本フローの処理を終了させ、カメラ角度がパンニング終了角度でない場合（Ｓ１２０でＮＯ）、処理をステップＳ１２１へ進める。なお、ステップＳ１２０の判定がＹＥＳとなることで、所望するパノラマ画像が得られたことになる。

ステップＳ１２１においてシステム制御部５０は、ステップＳ１１０で検出したカメラ角度からパンニングが終了されたか否かを判定する。具体的には、撮影時のデジタルカメラ１００の角度と１フレーム前の撮影時のデジタルカメラ１００の角度とを比較し、パンニングの方向に角度が増加しているか否かを判定することにより行う。その結果、パンニングの方向に角度が増加していない場合には、パンニング終了と判定される。

システム制御部５０は、パンニングが終了されたと判定した場合（Ｓ１２１でＹＥＳ）、処理をステップＳ１２２へ進め、ステップＳ１２２において表示部２８に撮影が失敗したことを示す通知を表示し、本フローの処理は終了となる。システム制御部５０は、パンニングが終了されていないと判定した場合（Ｓ１２１でＮＯ）、処理をステップＳ１０８へ戻す。これにより、ステップＳ１０８〜Ｓ１２０の処理が撮影終了まで繰り返されることで、パンニングしながらの連続撮影が行われる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

２２：撮像部、２３：ＡＦ評価値検出部、２４：画像処理部、２８：表示部、３２：メモリ、５０：システム制御部、５２：システムメモリ、８０：検出部、１００：デジタルカメラ、１０３：撮影レンズ

Claims (12)

1. 被写体像を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて、撮影光学系の焦点状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された焦点状態に基づいて、前記撮影光学系の焦点を調節する焦点調節手段と、
   撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成手段と、
   前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定手段と、
   前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告手段と、
   を備えることを特徴とする撮像装置。
2. 前記焦点調節手段は、前記一部領域の撮像を行った次の撮像において、前記焦点の評価領域において検出された焦点状態に基づいて、前記撮影光学系の焦点を調節することを特徴とする請求項１に記載の撮像装置。
3. 前記警告手段は、ユーザに前記パンニングの速度を遅くするように警告する表示を行う表示手段であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が前記所定の閾値以上である場合に、前記複数回の撮像の間隔を短くするように制御する制御手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記生成手段は、前記複数回の撮像のうちの連続する２つの撮像の間で前記焦点調節手段による焦点の移動があったか否かに基づいて、前記複数の画像のそれぞれの一部領域の合成方法を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記一部領域の合成方法を変更する場合に、前記複数の画像間での動きベクトルに基づいて前記複数の画像間の位置ずれを補正するか、撮像装置の動きを検出する検出手段により検出された撮像装置の動きに基づいて前記複数の画像間の位置ずれを補正するかを判定する判定手段をさらに備えることを特徴とする請求項５に記載の撮像装置。
7. 前記焦点調節手段は、前記パンニングの速度と、前記焦点検出手段により前記焦点の評価領域で得られる被写体の距離の情報とに基づいて、前記撮影光学系の焦点を調節することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記警告手段は、前記パンニングの速度が第２の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記焦点調節手段により焦点の調節を行わせるか、前記撮影光学系の焦点の位置を固定するかを設定する焦点設定手段をさらに備え、該焦点設定手段の設定に応じて、前記第２の閾値を変更することを特徴とする請求項８に記載の撮像装置。
10. 被写体像を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、撮影光学系の焦点状態を検出する焦点検出手段と、前記焦点検出手段により検出された焦点状態に基づいて、前記撮影光学系の焦点を調節する焦点調節手段と、を備える撮像装置を制御する方法であって、
    撮像装置をパンニングさせながら前記撮像手段により複数回の撮像を行って得られた複数の画像のそれぞれから一部領域を切り出して、前記複数の画像のそれぞれの一部領域を合成してパノラマ画像を生成する生成工程と、
    前記撮像装置をパンニングさせるときに、前記それぞれの画像の前記一部領域よりも前記パンニングの進行方向前方側に前記焦点検出手段による焦点の評価領域を設定する設定工程と、
    前記複数回の撮像のうちの連続する２つの撮像の間の前記焦点調節手段による焦点調節の移動量が所定の閾値以上である場合に、ユーザに前記パンニングの速度を遅くするように警告する警告工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images