JP6312460B2 - 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、移動被写体の流し撮りが可能な撮像装置に関する。

従来から、移動している被写体に関して、被写体までの距離および被写体の構図を一定に保持するため、撮像装置を平行移動または回転させながら撮影する「流し撮り」を行う方法が知られている。また、撮像装置に接近または離脱するように移動する被写体、すなわち一定の角速度で距離が変化する被写体に対して構図（画角）を一定に保持するため、撮像装置のズーム機能を用いて撮影する「ズーミング流し撮り」を行う方法が知られている。

「流し撮り」や「ズーミング流し撮り」による撮影は、被写体が躍動的に移動しているように撮影することが可能である。しかし、良好な流し撮り（ズーミング流し撮り）を行うには、通常の撮影時よりも長い露光時間を設定し、露光中において被写体の構図（画角）を保持する必要があるため、撮影技術が要求される。

特許文献１には、移動被写体を連続撮影して複数の画像を取得し、これらの複数の画像を合成することにより流し撮り画像を生成する方法が開示されている。

特開２０１２−１０９８９９号公報

しかしながら、特許文献１の方法では、複数の画像を合成するため、撮影者が意図した構図が保たれず、または、被写体と周辺画像とが不自然に合成される場合がある。また、ズーミング流し撮りの際に得られた複数の画像では、撮影開始時の画像に含まれる被写体と撮影後半の画像に含まれる被写体の大きさは異なることが多い。このため、良好な画像合成を行うことができない可能性がある。

そこで本発明は、移動被写体の良好な流し撮り撮影が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、撮影光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像データに基づいて被写体の動きを検出する動き検出手段と、前記被写体の動きに基づいて、該被写体が画面内における所定の領域内に収まるように前記撮影光学系を駆動しながら露光を行う制御手段とを有し、前記制御手段は、露光前に検出された前記被写体の動きに基づいて予測された予測被写体情報を用いて、露光中における前記撮影光学系を駆動し、前記予測被写体情報と、露光終了後の被写体情報とを比較して、前記被写体が前記所定の領域内に収まっているか否かを判定する。

本発明の他の側面としての撮像装置の制御方法は、撮影光学系を介して形成された光学像を光電変換して画像データを出力するステップと、前記画像データに基づいて被写体の動きを検出するステップと、前記被写体の動きに基づいて、該被写体が画面内における所定の領域内に収まるように前記撮影光学系を駆動しながら露光を行うステップとを有し、前記露光を行うステップは、露光前に検出された前記被写体の動きに基づいて予測された予測被写体情報を用いて、露光中における前記撮影光学系を駆動し、前記予測被写体情報と、露光終了後の被写体情報とを比較して、前記被写体が前記所定の領域内に収まっているか否かを判定する。

本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、移動被写体の良好な流し撮り撮影が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置の外観図である。 各実施例における撮像装置のブロック図である。 各実施例におけるフォーカスレンズと撮像部に含まれる一画素との光学特性の模式図である。 各実施例における手振れ補正機能の説明図である。 各実施例において、構図を一定に保つ手法の説明図である。 各実施例において、「流し撮りモード」に設定した場合における動作タイミングである。 各実施例において、「流し撮りモード」に設定した場合におけるシステム制御部の動作を示すフローチャートである。 実施例１における露光開始以降の撮影動作を示すフローチャートである。 実施例２における露光開始以降の撮影動作を示すフローチャートである。 各実施例における表示部の表示状態を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置（デジタルカメラ１００）の外観図である。

図１において、２８は、画像や各種情報を表示する表示部である。６１は、シャッターボタンであり、撮影指示を行うための操作部である。６０は、モード切替スイッチであり、各種モードを切り替えるための操作部である。モード切替スイッチ６０は、再生モードと各種撮影モードとの切り替えが可能である。また、各種撮影モードとして、「流し撮りモード」（または「ズーミング流し撮り」モード）が選択可能である。コネクタ１１５は、接続ケーブル１１０とデジタルカメラ１００とを接続するコネクタ（接続部）である。７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、または、タッチパネルなどの操作部材からなる操作部である。７３は、コントローラホイールであり、操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源のオン／オフを切り替える。２００は、メモリカードやハードディスクなどの記録媒体である。２０１は、記録媒体２００を格納するためのスロット（記録媒体スロット）である。スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能である。２０２は、スロット２０１の蓋である。

続いて、図２を参照して、本実施例におけるデジタルカメラ１００の内部構成について説明する。図２は、デジタルカメラ１００のブロック図である。図２において、１０４はフォーカスレンズ、１０３はズームレンズ、１０２は手振れを光学的に補正するためのシフトレンズ（補正光学系）である。フォーカスレンズ１０４、ズームレンズ１０３、および、シフトレンズ１０２により撮影光学系が構成される。１０１は、絞り機能を備えるシャッターである。

２２は撮像部である。撮像部２２は、ＣＭＯＳセンサなどの撮像素子を有し、撮影光学系を介して形成された光学像を光電変換して画像データ（電気信号）を出力する。フォーカスレンズ１０４、ズームレンズ１０３、および、シフトレンズ１０２のそれぞれに対して、位置検出を行うためのセンサ（不図示）が取り付けられている。システム制御部５０は、各センサにより検出された各レンズの位置情報に基づいて、モータで構成されたアクチュエータ（不図示）を制御することにより、各レンズを駆動する。

ここで、図３を参照して、フォーカスレンズ１０４と撮像部２２との光学特性について説明する。図３は、フォーカスレンズ１０４と撮像部２２に含まれる一画素との光学特性の模式図である。本実施例において、撮像部２２に含まれる一画素は、二つのフォトダイオード２２３、２２４（二つの光電変換部）および一つのマイクロレンズ２２２を備えて構成されている。二つのフォトダイオード２２３、２２４は、一つのマイクロレンズ２２２（同一のマイクロレンズ）を共有している。このような構成において、二つのフォトダイオード２２３、２２４は、マイクロレンズ２２２を透過した光を受光することにより、位相差（像面位相差）を検出して像面位相差情報を取得することができる。システム制御部５０は、撮像部２２より検出された位相差に応じて被写体を測距することが可能である。すなわちシステム制御部５０は、位相差が小さくなるように（位相差が無くなる位置の方向に）フォーカスレンズ１０４を光軸方向に移動させることにより、ＡＦ（オートフォーカス）処理を行うことができる。図３に示される一画素（画素構造）を、撮像部２２の内部に複数配置することにより、撮像部２２の各点（複数の画素領域）において、撮像信号の出力および測距（焦点検出信号の出力）を同時に（並行して）行うことが可能である。

図２において、２３はＡ／Ｄ変換器である。Ａ／Ｄ変換器２３は、撮像部２２からの画像データ（アナログ信号）をデジタル信号に変換する。２４は画像処理部である。画像処理部２４は、Ａ／Ｄ変換器２３からのデータまたはメモリ制御部１５からのデータに対して、所定の画素補間、縮小などのリサイズ処理、および、色変換処理を行う。また画像処理部２４は、撮像して得られた画像データ（撮像信号）に基づいて所定の演算処理を行う。システム制御部５０は、画像処理部２４の演算結果に基づいて、露光制御および測距制御を行う。これによりシステム制御部５０は、ＡＥ（自動露出）処理およびＥＦ（フラッシュプリ発光）処理を行う。また画像処理部２４は、撮像して得られた画像データ（撮像信号）に基づいて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２３からの出力データ（デジタル信号）は、画像処理部２４およびメモリ制御部１５を介して、または、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２から出力されてＡ／Ｄ変換器２３により変換された画像データ（デジタル信号）や、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

１３はＤ／Ａ変換器である。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して、表示部２８に供給する。このように、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤなどの表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によりＡ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号は、Ｄ／Ａ変換器１３によりアナログ変換され、表示部２８に逐次転送されて表示される。これにより、スルー画像表示を行う電子ビューファインダ（ＥＶＦ）が構成される。

９０は手振れ検出部である。手振れ検出部９０は、デジタルカメラ１００の振動を検出することが可能なジャイロセンサなどを備えて構成されている。手振れ検出部９０は、振動に応じた信号をシステム制御部５０へ送信する。システム制御部５０（振れ検出手段５０ｃ）は、手振れ検出部９０から送信された信号に応じた演算を行うことにより、デジタルカメラ１００の手振れ（振動）を検出する。本実施例において、手振れ検出部９０が実際に演算（手振れの検出）を行ってもよい。この場合、振れ検出手段は手ぶれ検出部９０に含まれることになる。手振れ検出部９０またはシステム制御部５０は、手振れ（振動）の検出する際に、複数の振動方向（例えば３方向）のそれぞれにおける振動の大きさ、振動の周期、および、振動の振幅を検出（算出）することができる。

５６は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭである。不揮発性メモリ５６は、システム制御部５０の動作用の定数やプログラムなどを記憶している。ここでプログラムとは、例えば、本実施例にて後述する各種フローチャートを実行するためのプログラムである。

５０はシステム制御部であり、デジタルカメラ１００の全体を制御する。システム制御部５０は、前述の不揮発性メモリ５６に記憶されたプログラムを実行することにより、後述する本実施例の各処理を実行する。システム制御部５０は、動き検出手段５０ａ、制御手段５０ｂ、および、振れ検出手段５０ｃを有する。動き検出手段５０ａは、撮像部２２からの画像データに基づいて、被写体の動き（被写体の速度などの被写体の動きに関する信号）を検出する。制御手段５０ｂは、動き検出手段５０ａにより検出された被写体の動きに基づいて、被写体が画面内（表示部２８の画面内）における所定の領域内に収まるように撮影光学系を駆動しながら露光（撮影中の露光）を行う。

５２はシステムメモリであり、例えばＲＡＭである。システムメモリ５２には、システム制御部５０の動作用の定数、変数、および、不揮発性メモリ５６から読み出されたプログラムなどが展開される。またシステム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、および、表示部２８などを制御することで表示制御を行う。５３は、システムタイマーである。システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、および、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、または、再生モードなどのいずれかに切り替える。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１が発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、および、ＥＦ（フラッシュプリ発光）処理などの動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２が発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えば、メニューボタンが押されると、各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて、直感的に各種設定を行うことができる。

図１に示されるコントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生する。システム制御部５０は、このパルス信号に基づいてデジタルカメラ１００の各部を制御する。またシステム制御部５０は、このパルス信号により、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は、回転操作が検出可能な操作部材であれば他の構成を用いてもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。また操作部７０は、表示部２８に対する接触を検知可能なタッチパネルを含む。

８０は電源制御部である。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、および、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、および、電池残量を検出する。また電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。３０は電源部である。電源部３０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、または、Ｌｉ電池などの二次電池、または、ＡＣアダプターなどを含む。１８は、メモリカードやハードディスクなどの記録媒体２００とのインターフェース（Ｉ／Ｆ）である。記録媒体２００は、メモリカードなどの記録媒体であり、半導体メモリで構成される。

本実施例のデジタルカメラ１００は、中央１点ＡＦや動体追尾ＡＦを用いた撮影を実行可能である。中央１点ＡＦとは、撮影画面内の中央位置１点に対してＡＦを行うことである。動体追尾ＡＦとは、動体検出機能により検出された撮影画面内の動体に対して、追尾しながらＡＦを行うことである。

ここで、動体検出機能について説明する。システム制御部５０は、動体検出対象の画像データを、順次、画像処理部２４に送る。画像処理部２４は、システム制御部５０の制御に基づいて、システム制御部５０から送られた画像の差分を検出する（すなわち、差分画像データを生成する）。そして画像処理部２４は、差分画像データに水平方向バンドパスフィルタおよび垂直方向バンドパスフィルタを作用させる。水平方向バンドパスフィルタおよび垂直方向バンドパスフィルタにより、差分画像データからエッジ成分が検出される。その後、システム制御部５０は、検出されたエッジ成分に関して、色成分や輝度情報に基づいて被写体の特長を抽出し、抽出した被写体の特長をターゲットオブジェクトとしてシステムメモリ５２に記憶させる。

以上のように、システム制御部５０は、ライブビュー表示される画像データを画像解析して、画像データの特徴量を抽出して移動する被写体（移動被写体）を検出することが可能である。本実施例では、被写体情報として動体情報を例に挙げているが、これに限定されるものではない。被写体情報として、人物の顔の特徴からパターンマッチングを行う顔検出などの様々な被写体検出により得られる情報を含む。システム制御部５０は、検出した被写体に関し、順次更新される画像情報に対してターゲットオブジェクトとのパターンマッチングを行うことにより、撮影画像内を移動する被写体（移動被写体）を追尾してとらえ続けることができる。

続いて、図４を参照して、デジタルカメラ１００の手振れ補正機能について説明する。図４は、デジタルカメラ１００の手振れ補正機能の説明図である。図４（Ａ）において、手振れが発生する前の光軸を（ａ）、手振れが発生した後の光軸を（ｂ）とする。手振れ検出部９０は、デジタルカメラ１００の振動を検出する。そしてシステム制御部５０は、デジタルカメラ１００の手振れの状態（振動の状態）を演算により求める。続いてシステム制御部５０は、デジタルカメラ１００の手振れに応じて、アクチュエータ１２１（駆動手段）を駆動制御し、シフトレンズ１０２を物理的に光軸に直交な方向に（光軸直交面内において）移動させ、手振れを打ち消すように光軸を補正する。アクチュエータ１２１は、振れ検出手段５０ｃからの信号に基づいて撮影光学系の光軸を光学的に補正する振れ補正手段である。このような構成により、撮像部２２に到達する光（光学像）の動きを抑制することで、手振れを低減することができる。図４（Ａ）における手振れ補正は、シフトレンズ１０２を用いて光軸を補正するため、シフトレンズ方式といわれる。

一方、シフトレンズ方式以外の光学手振れ方式として、イメージセンサシフト方式がある。図４（Ｂ）において、手振れが発生する前の光軸を（ａ）、手振れが発生した後の光軸を（Ｂ）とする。イメージセンサシフト方式は、アクチュエータ２２１が、手振れが発生した後の光軸（ｂ）を追従するように撮像部２２自体を駆動し、手振れ補正を行う方式である。アクチュエータ２２１は、撮像部２２を光軸に直交する方向である２軸方向に加えて、光軸を回転軸とする回転方向に駆動することで、ローリング方向（回転方向）の手振れを補正することも可能となる。このようにアクチュエータ２２１は、振れ検出手段５０ｃからの信号に基づいて撮影光学系の光軸を光学的に補正する振れ補正手段である。

図５は、ズームレンズ１０３を制御することで、被写体３００とデジタルカメラ１００との間の距離が変化した場合でも構図を一定に保つ手法の説明図である。図５において、ズームレンズ１０３と撮像部２２との間の距離、すなわち焦点距離をｆ、撮影可能な画角をθとすると、撮影可能なイメージサークルの直径ｄは、以下の式（１）のように表される。

また、撮像部２２（ＣＭＯＳセンサ）の水平方向の長さをｘ、垂直方向の長さをｙとして、イメージサークルの直径ｄをＣＭＯＳセンサの対角に設計する場合、ピタゴラスの定理より、以下の式（２）で表されるようにイメージサークルの直径ｄを算出できる。

システム制御部５０は、被写体３００に対して、撮像面位相差情報に基づいて、ズームレンズ１０３から被写体３００までの距離Ｆを算出する。またシステム制御部５０は、被写体３００の画角δに基づいて、以下の式（３）で表されるように被写体３００の高さＨを算出することができる。

撮像部２２に射影される被写体の高さをｈ、ズームレンズ１０３から被写体３００までの距離をＦとすると、被写体３００の合焦面における仮想的なイメージサークル３１０の直径Ｄは、以下の式（４）のように表される。

ズームレンズ１０３から被写体３００までの距離ＦがΔＦだけ変化した場合、構図を一定に保つには、仮想的なイメージサークルの直径Ｄが一定に保たれるように、すなわち焦点距離ｆがΔｆだけ変化するように、ズームレンズ１０３を制御すればよい。これを式で表すと、以下の式（５）のようになる。

続いて、図６（Ａ）を参照して、モード切替スイッチ６０を「流し撮りモード」（または「ズーミング流し撮りモード」）に設定した場合におけるデジタルカメラ１００の動作について説明する。図６（Ａ）は、「流し撮りモード」に設定されたときのデジタルカメラ１００の動作タイミングである。図６（Ａ）において、撮像部２２、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータ、および、シャッターボタン６１（ＳＷ１、ＳＷ２）の動作タイミングが示されている。

まず、時刻ｔ１において、第１シャッタースイッチ６２を押下すると、システム制御部５０は、撮像部２２から得られた像面位相差情報に基づいて測距を行う。そしてシステム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータを駆動して、フィードバック制御であるサーボ制御（フォーカス・ズームサーボ動作）を行う。このサーボ制御により、フォーカスレンズ１０４は被写体３００へのフォーカス動作を行うように移動し、ズームレンズ１０３は被写体３００の構図を一定に保つように移動する。

続いて、時刻ｔ２において、第２シャッタースイッチ６４を押下すると、システム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータを引き続き制御する。ただし、本実施例の撮像部２２（ＣＭＯＳセンサ）は、露光中の画像読み出しを行うことができないため、システム制御部５０は、露光中における測距を行うことができない。このためシステム制御部５０は、第１シャッタースイッチ６２を押下中の制御に基づいて、フォーカスレンズ１０４およびズームレンズ１０３の予測動作（フォーカス・ズーム予測動作）を行う。ここで予測動作とは、被写体３００が等速度で移動していると仮定し、フォーカスレンズ１０４およびズームレンズ１０３を駆動制御する動作である。

続いて、第１シャッタースイッチ６２をオフした後の露光終了時刻ｔ３において、システム制御部５０は、再び取得した像面位相差情報に基づいて被写体３００の測距を行う。そしてシステム制御部５０は、露光中のフォーカスレンズ１０４およびズームレンズ１０３の各制御が予測動作通りであったかのチェック（判定）を行い、初期の動作へ戻る。システム制御部５０は、そのチェック結果（判定結果）に応じて、ＮＧ表示を行い、例えば画像のメタデータへ失敗画像であることを示すフラグを追加する。

続いて、図７を参照して、「流し撮りモード」に設定した場合におけるシステム制御部５０の動作について説明する。図７は、「流し撮りモード」に設定した場合におけるシステム制御部５０の動作を示すフローチャートである。図７の各ステップは、主に、システム制御部５０により実行される。

まずステップＳ１０１において、システム制御部５０は、撮影が開始されるまで、第１シャッタースイッチ６２が押下されて第１シャッタースイッチ信号ＳＷ１が検出されたか否かを判定する。第１シャッタースイッチ信号ＳＷ１が検出されるまで、ステップＳ１０１を繰り返す。一方、ステップＳ１０１にてシステム制御部５０が第１シャッタースイッチ信号ＳＷ１を検出すると、ステップＳ１０２へ移行する。

ステップＳ１０２において、システム制御部５０は、撮像部２２から得られた像面位相差情報に基づいて、被写体までの距離（距離情報）を計測（算出）する。そしてステップＳ１０３において、システム制御部５０（制御手段５０ｂ）は、被写体の相対速度（デジタルカメラ１００と被写体との間の相対速度）を計測（算出）する。被写体の相対速度は、前回に計測された距離（第１のタイミングでの被写体の第１の距離）と今回の距離（第２のタイミングでの被写体の第２の距離）との差、および、露光間隔に基づいて算出される。続いてステップＳ１０４において、システム制御部５０は、被写体の構図を一定に保つための焦点距離を算出する。このときの焦点距離の算出方法は、図５を参照して説明したとおりである。

続いてステップＳ１０５において、システム制御部５０は、ズームレンズ１０３を制御し、被写体の構図を保つための動作を行う。またステップＳ１０６において、システム制御部５０は、ステップＳ１０２にて求めた被写体までの距離情報に基づいて、フォーカスレンズ１０４を駆動してフォーカス制御を行う。続いてステップＳ１０７において、システム制御部５０は、合焦判定（合焦状態または非合焦状態の判定）を行う。ステップＳ１０７にてシステム制御部５０が合焦状態でないと判定した場合、ステップＳ１０１へ戻る。一方、ステップＳ１０７にてシステム制御部５０が合焦状態であると判定した場合、ステップＳ１０８へ進む。

ステップＳ１０８において、システム制御部５０は、第２シャッタースイッチ６４が押下されて第２シャッタースイッチ信号ＳＷ２が検出されたか否かを判定する。ステップＳ１０８にてシステム制御部５０が第２シャッタースイッチ信号ＳＷ２を検出すると、ステップＳ１０９へ移行する。ステップＳ１０９において、システム制御部５０は撮影（露光開始以降の動作）を行う。一方、ステップＳ１０８にてシステム制御部５０が第２シャッタースイッチ信号ＳＷ２を検出しない場合、ステップＳ１０１へ戻る。ステップＳ１０１〜Ｓ１０８の間（ＳＷ１が検出されてからＳＷ２が検出されるまでの間）、システム制御部５０は、被写体までの距離を計測しながら、随時、サーボ制御（フィードバック制御）を行う。サーボ制御は、フォーカスレンズ１０４およびズームレンズ１０３を被写体までの距離に応じて行われる。

続いて、図８を参照して、図７のステップＳ１０９について詳述する。図８は、「流し撮りモード」に設定した場合における、システム制御部５０による露光開始以降の撮影動作（ステップＳ１０９）を示すフローチャートである。

まずステップＳ２０１において、システム制御部５０は露光を開始する。続いてステップＳ２０２において、システム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の予測動作を行う。すなわちシステム制御部５０（制御手段５０ｂ）は、露光前（撮影前）に検出された被写体の動きに基づいて予測された予測被写体情報を用いて、露光中（撮影中）における撮影光学系（フォーカスレンズ１０４およびズームレンズ１０３）を駆動する。そしてステップＳ２０３において、システム制御部５０は露光を終了する。続いてＳ２０４において、システム制御部５０は、露光中における被写体までの距離を計測（算出）する。そしてステップＳ２０５において、システム制御部５０は、ステップＳ２０４にて計測された被写体までの距離が予測通りの距離であるか否かを判定する。

ステップＳ２０５にて被写体までの距離が予測通りの距離であると判定された場合、ステップＳ２０６に移行する。ステップＳ２０６において、システム制御部５０は、被写体の画像内の位置を検出する。システム制御部５０は、例えば動体検出機能を用いて、被写体の画像内の位置を検出する。続いてステップＳ２０７において、システム制御部５０は被写体の位置が予測通りの位置であるか否かを判定する。ステップＳ２０７にて被写体の位置が予測通りの位置である場合、本フローを終了する。このように本実施例において、システム制御部５０（制御手段５０ｂ）は、ステップＳ２０２にて得られた予測被写体情報と、露光終了後（撮影後）の被写体情報とを比較する。そして制御手段５０ｂは、被写体が表示部２８の画面における所定の領域内に収まっているか否かを判定する（ステップＳ２０５、Ｓ２０７）。

一方、ステップＳ２０５にて被写体までの距離が予測通りでない場合、または、ステップＳ２０７にて被写体の位置が予測通りの位置にない場合、ステップＳ２０８へ移行する。このとき、被写体がシステム制御部５０による予測とは異なるように移動し（予測とは異なる動作を行い）、被写体の構図が変化したものと判定される。このためシステム制御部５０は、表示部２８にＮＧ表示を行ってから、本フローを終了する。このとき、画像のメタデータへ失敗画像であることを示すフラグを追加することが好ましい。なお露光時間の設定は、例えば、予測動作により制御可能なアクチュエータの可動範囲から逆算することができる。

続いて、図１０を参照して、「流し撮りモード」の実行中おける表示部２８について説明する。図１０は、「流し撮りモード」の実行中における表示部２８の表示状態（画面）を示す図である。図１０（Ａ）において、被写体３００および建造物１１１が画面内に存在する。被写体３００は、画面内の位置を画面上の左方向に移動しながら、かつ、接近している。一方、建造物１１１は静止している。

図１０（Ａ）に示される状態から露光を開始し、一定期間が経過すると、図１０（Ｂ）に示される状態となる。なお、図１０（Ｂ）中の表示部２８は、図１０（Ａ）中の表示部２８よりも大きく描かれているが、表示部２８自体が大きくなるわけではない。被写体３００が接近しており、それに応じてテレ側からワイド側へズーム機能が実行されるためである。ズーム機能を実行しない場合、図に示される割合のように被写体３００が大きくなる。しかしながら本実施例では、ズーム機能を実行して、被写体３００の構図を保つように制御するため、表示部２８と被写体３００の構図（表示部２８と被写体３００との位置関係）は変化しない。必要に応じて、被写体３００の構図を保つため、システム制御部５０は、左方向に光軸を振りながらズーム処理を行うようにしてもよい。光軸を振る操作として、例えば、図４を参照して説明したように手振れ補正機構を利用することができる。システム制御部５０は、通常の手振れ補正を行う際、手振れ検出部９０により検出された手振れを補正するのみである。「流し撮りモード」の実行中において、システム制御部５０は、被写体３００の構図を保つためにブレを加算させて、光軸を補正することが好ましい。

一方、建造物１１１は、画面中において建造物１１２へ移動している。更に、一定期間経過し、露光を続けると、図１０（Ｃ）に示されるように、建造物１１２は建造物１１３の位置へ移動する。このように被写体３００の構図を一定に保つことにより、建造物１１１は、建造物１１２、更には建造物１１３の位置へ移動し、ズーミング撮影により流れた画像が得られる（流し撮りを行うことができる）。なお、図１０（Ａ）、（Ｂ）、（Ｃ）には各タイミングの瞬間に像面がとらえた画像が示されているが、連続露光を行う場合、建造物に関しては、建造物１１１〜１１３のように変化するズーミング効果によるブレ画像となる。一方、被写体３００は構図を保っていたため、鮮明に撮影することができる。

このように本実施例において、制御手段５０ｂは、被写体の動きに基づいて、被写体が画面内における所定の領域内に収まるように撮影光学系を駆動しながら露光（撮影中の露光）を行う。所定の領域とは、被写体の構図が保たれる範囲である。好ましくは、制御手段５０ｂは、露光中に被写体の画角が一定に保たれるように撮影光学系を駆動する。また好ましくは、制御手段５０ｂは、露光中において被写体に合焦させた状態を維持するように撮影光学系を駆動する。より好ましくは、動き検出手段５０ａは、被写体の動きとして被写体の速度（好ましくは、デジタルカメラ１００との相対速度）を検出する。そして制御手段５０ｂは、被写体の速度に基づいて撮影光学系を駆動する。

好ましくは、撮影光学系は、フォーカスレンズ１０４およびズームレンズ１０３を含む。そして制御手段５０ｂは、フォーカスレンズ１０４を駆動して被写体に対してフォーカシングを行い、ズームレンズ１０３を駆動してズーミングを行う。また好ましくは、撮像部２２（撮像素子）は、一つのマイクロレンズを共有する複数の光電変換素子を含む。そして複数の光電変換素子は、撮影光学系の互いに異なる瞳領域を通過する光を受光するように構成されている。また制御手段５０ｂは、複数の光電変換素子からの信号に基づいて、第１のタイミングにおける被写体の第１の距離、および、第２のタイミングにおける被写体の第２の距離を算出する。そして制御手段５０ｂは、第１の距離と第２の距離との差に基づいて被写体の速度を算出する。

好ましくは、制御手段５０ｂは、露光前（撮影前）に検出された被写体の動きに基づいて予測された予測被写体情報を用いて、露光中（撮影中）における撮影光学系を駆動する。より好ましくは、制御手段５０ｂは、予測被写体情報と、露光終了後（撮影後）の被写体情報とを比較して、被写体が所定の領域内に収まっているか否かを判定する。

次に、本発明の実施例２について説明する。実施例１では、図６（Ａ）に示されるように、システム制御部５０は、露光後に画像の読み出しおよび被写体の測距を行うように撮像部２２（ＣＭＯＳセンサ）を制御する。一方、本実施例では、図６（Ｂ）に示されるように、露光中に画像の読み出しおよび被写体の測距を行うことが可能なＣＭＯＳセンサを用いる。

まず、図６（Ｂ）を参照して、モード切替スイッチ６０を「流し撮りモード」に設定した場合におけるデジタルカメラ１００の動作について説明する。図６（Ｂ）は、本実施例において「流し撮りモード」に設定されたときのデジタルカメラ１００の動作タイミングである。図６（Ｂ）において、撮像部２２、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータ、および、シャッターボタン６１（ＳＷ１、ＳＷ２）の動作タイミングが示されている。

まず、時刻ｔ１において、第１シャッタースイッチ６２を押下すると、システム制御部５０は、撮像部２２から得られた像面位相差情報に基づいて測距を行う。そしてシステム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータを駆動して、サーボ制御（フォーカス・ズームサーボ動作）を行う。

続いて、時刻ｔ２において、第２シャッタースイッチ６４を押下すると、システム制御部５０（撮像部２２）は露光を開始する。システム制御部５０（撮像部２２）は、露光開始後も、定期的に画像の読み出しおよび測距を行う。またシステム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータを駆動して、サーボ制御を継続する。その後、露光終了時刻ｔ３において、第２シャッタースイッチ６４がオフされると、システム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の制御を終了する。

本実施例において、「流し撮りモード」に設定された場合のシステム制御部５０による撮影動作は、図７を参照して説明した実施例１と同様である。ここで、図９を参照して、本実施例における露光開始以降の撮影動作（図７中のステップＳ１０９）について説明する。図９は、「流し撮りモード」に設定した場合における、システム制御部５０による露光開始以降の撮影動作（ステップＳ１０９）を示すフローチャートである。

まずステップＳ３０１において、システム制御部５０（撮像部２２）は露光を開始する。続くステップＳ３０２〜Ｓ３０６は、図７中のステップＳ１０２〜Ｓ１０６とそれぞれ同様であるため、ここでの説明は省略する。続いてステップＳ３０７において、システム制御部５０は、フォーカスレンズ１０４およびズームレンズ１０３の制御に関して、サーボ追従が可能であるか否かを判定する。サーボ追従を行うには、被写体の移動範囲がフォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータの可動範囲内に収まっている必要がある。このためシステム制御部５０は、被写体の移動範囲がフォーカスレンズ１０４およびズームレンズ１０３の各アクチュエータの可動範囲内であるか否か、すなわちサーボ追従が可能であるか否かを判定する。ステップＳ３０７にてサーボ追従が可能であると判定された場合、ステップＳ３０８に移行する。ステップＳ３０８において、システム制御部５０は、露光が終了したか否か、すなわち事前に設定された露光時間に達しているか否かを判定する。露光が終了していない場合にはステップＳ３０２に戻り、露光が終了した場合には本フローを終了する。

一方、ステップＳ３０７にてサーボ追従が不可能であると判定された場合、すなわち被写体の移動範囲がアクチュエータの可動範囲を超える場合、被写体の構図を保つことができない。この場合、ステップＳ３０９へ移行する。ステップＳ３０９において、システム制御部５０は、露光を終了する。ステップＳ３０９における露光終了時には、事前に設定された露光時間に達していない。このため続くステップＳ３１０において、システム制御部５０（画像処理部２４）は、現像処理を行い、ゲインをかけて適切な露出が得られるように画像補正処理を実施する。そして本フローを終了する。

また本実施例において、露光中（撮影中）に画像の読み出しおよび被写体の測距が可能なＣＭＯＳセンサを用いると、等速度で移動していない被写体に対して、手振れ補正機能の光軸補正機能を利用して随時追従することができる。このような構成によれば、ステップＳ３０７にてフォーカスレンズ１０４およびズームレンズ１０３の駆動制御によってサーボ追従が不可能であっても、手振れ補正機能を利用してサーボ追従が可能となる場合がある。本実施例では、手振れ補正機能を利用してサーボ追従が可能であるか否かの判定ステップを追加することができる。また、被写体の動き（移動範囲）が撮像光学系（フォーカスレンズ１０４、ズームレンズ１０３、または、シフトレンズ１０２）または撮像部２２（撮像素子）のアクチュエータの可動範囲を超える場合、即時に露光を中止する。このとき画像処理部２４は、不足の露出ゲインを与える。これにより、失敗画像になる可能性を低減することができる。

このように本実施例において、制御手段５０ｂは、露光中（撮影中）において被写体の動きを検出するように構成されている（Ｓ３０２、Ｓ３０３）。また制御手段５０ｂは、被写体の動きに基づいて、被写体が画面内における所定の領域内に収まるように撮影光学系を駆動することができるか否かを判定する（Ｓ３０７）。

好ましくは、デジタルカメラ１００は、振れを検出する振れ検出手段５０ｃと、振れ検出手段５０ｃからの信号に基づいて撮影光学系の光軸を光学的に補正する振れ補正手段（アクチュエータ１２１またはアクチュエータ２２１）を有する。また好ましくは、制御手段５０ｂは、被写体が画面内における所定の領域内に収まるように撮影光学系を駆動することができないと判定した場合、振れ補正手段を用いて被写体が所定の領域内に収まるように制御する。より好ましくは、撮影光学系はシフトレンズ１０２を含む。そして振れ補正手段は、被写体が所定の領域内に収まるように、シフトレンズ１０２を光軸に直交する面内において移動させる。また好ましくは、振れ補正手段は、被写体が所定の領域内に収まるように、撮像部２２（撮像素子）を光軸に直交する面内において移動させる。より好ましくは、制御手段５０ｂは、シフトレンズ１０２または撮像部２２（撮像素子）の可動範囲、および、被写体の動きに基づいて露光時間を決定する。

好ましくは、デジタルカメラ１００は、画像データを処理する画像処理手段（画像処理部２４）を有する。制御手段５０ｂは、被写体が画面内における所定の領域内に収まるように撮影光学系を駆動することができないと判定した場合、露光を停止する（Ｓ３０９）。そして画像処理手段は、画像データの露光不足を補うように画像処理を行う（Ｓ３１０）。

また、上述の各実施例の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

各実施例によれば、移動被写体の良好な流し撮り撮影が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述の実施例の一部を適宜組み合わせてもよい。

２２ 撮像部（撮像素子）
５０ａ 動き検出手段
５０ｂ 制御手段
５０ｃ 振れ検出手段
１００ デジタルカメラ（撮像装置）

Claims (17)

1. 撮影光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
   前記画像データに基づいて被写体の動きを検出する動き検出手段と、
   前記被写体の動きに基づいて、該被写体が画面内における所定の領域内に収まるように前記撮影光学系を駆動しながら露光を行う制御手段と、を有し、
   前記制御手段は、
   露光前に検出された前記被写体の動きに基づいて予測された予測被写体情報を用いて、露光中における前記撮影光学系を駆動し、
   前記予測被写体情報と、露光終了後の被写体情報とを比較して、前記被写体が前記所定の領域内に収まっているか否かを判定することを特徴とする撮像装置。
2. 前記制御手段は、露光中に前記被写体の画角を一定に保つように前記撮影光学系を駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、露光中において前記被写体に合焦させた状態を維持するように前記撮影光学系を駆動することを特徴とする請求項１または２に記載の撮像装置。
4. 前記動き検出手段は、前記被写体の動きとして該被写体の速度を検出し、
   前記制御手段は、前記被写体の速度に基づいて前記撮影光学系を駆動することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮影光学系は、フォーカスレンズおよびズームレンズを含み、
   前記制御手段は、
   前記フォーカスレンズを駆動して前記被写体に対してフォーカシングを行い、
   前記ズームレンズを駆動してズーミングを行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、一つのマイクロレンズを共有する複数の光電変換素子を含み、
   前記複数の光電変換素子は、前記撮影光学系の互いに異なる瞳領域を通過する光を受光し、
   前記制御手段は、
   前記複数の光電変換素子からの信号に基づいて、第１のタイミングにおける前記被写体の第１の距離、および、第２のタイミングにおける該被写体の第２の距離を算出し、
   前記第１の距離と前記第２の距離との差に基づいて前記被写体の速度を算出する、ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記被写体の動きに基づいて、該被写体が前記画面内における前記所定の領域内に収まるように前記撮影光学系を駆動することができるか否かを判定することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 振れを検出する振れ検出手段と、
   前記振れ検出手段からの信号に基づいて前記撮影光学系の光軸を光学的に補正する振れ補正手段と、を更に有し、
   前記制御手段は、前記被写体が前記画面内における前記所定の領域内に収まるように前記撮影光学系を駆動することができないと判定した場合、前記振れ補正手段を用いて該被写体が該所定の領域内に収まるように制御することを特徴とする請求項７に記載の撮像装置。
9. 前記撮影光学系はシフトレンズを含み、
   前記振れ補正手段は、前記被写体が前記所定の領域内に収まるように、前記シフトレンズを前記光軸に直交する面内において移動させることを特徴とする請求項８に記載の撮像装置。
10. 前記振れ補正手段は、前記被写体が前記所定の領域内に収まるように、前記撮像素子を前記光軸に直交する面内において移動させることを特徴とする請求項８に記載の撮像装置。
11. 前記制御手段は、前記シフトレンズまたは前記撮像素子の可動範囲、および、前記被写体の動きに基づいて露光時間を決定することを特徴とする請求項９に記載の撮像装置。
12. 前記画像データを処理する画像処理手段を更に有し、
    前記制御手段は、前記被写体が前記画面内における前記所定の領域内に収まるように前記撮影光学系を駆動することができないと判定した場合、前記露光を停止し、
    前記画像処理手段は、前記画像データの露光不足を補うように画像処理を行うことを特徴とする請求項７乃至１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、撮影中に前記露光を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記制御手段は、前記被写体のズーミング流し撮りを行うように制御することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 撮影光学系を介して形成された光学像を光電変換して画像データを出力するステップと、
    前記画像データに基づいて被写体の動きを検出するステップと、
    前記被写体の動きに基づいて、該被写体が画面内における所定の領域内に収まるように前記撮影光学系を駆動しながら露光を行うステップと、を有し、
    前記露光を行うステップは、
    露光前に検出された前記被写体の動きに基づいて予測された予測被写体情報を用いて、露光中における前記撮影光学系を駆動し、
    前記予測被写体情報と、露光終了後の被写体情報とを比較して、前記被写体が前記所定の領域内に収まっているか否かを判定することを特徴とする撮像装置の制御方法。
16. コンピュータに、請求項１５に記載の撮像装置の制御方法を実行させることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。