JP6525724B2 - パンニング情報表示装置、パンニング情報の表示処理を実行する方法およびパンニング情報表示プログラム - Google Patents

Description

本発明は、カメラ等の撮像装置におけるライブビュー映像の表示を制御する装置に関し、特にパンニング撮像（流し撮り）時のガイダンス表示を行うパンニング情報表示装置に関する。

自動車等の動いている被写体を追って撮像装置（以下、カメラという）をパンニングしながら通常よりも遅いシャッター速度で撮像する流し撮りという撮像手法がある。流し撮りを行うことで、主たる被写体が静止して背景が流れているスピード感のある撮像画像（静止画像）を取得することができる。カメラには、このような流し撮りにおけるユーザによるパンニングをアシストする機能を有するものがある。具体的には、ジャイロセンサ等の動きセンサによりカメラのパンニング速度を検出するとともに、撮像により生成された映像信号にて検出した動きベクトルから画面内での主被写体の動き速度を取得する。そして、これらパンニング速度と動き速度との差分に応じて画面内での主被写体の位置ずれ（像ぶれ）を打ち消すようにレンズを撮像光軸に対してシフトさせる。これにより、ユーザによるパンニングの速度が変動しても、主被写体の像ぶれが抑えられた流し撮りを可能とすることができる。

また、流し撮りの対象である主被写体には、自動車のように移動方向が水平方向に決まっているものばかりではなく、例えば空中を様々な角度で上昇していく飛行機のように移動方向が定まっていないものもある。このような主被写体を流し撮りする場合には、ユーザによるパンニングの速度だけではなく方向も変動した結果、主被写体の像ぶれが発生する。

特許文献１には、実際のパンニング方向と予め設定された基準パンニング方向との差分に応じてライブビュー映像を基準パンニング方向に近づくように補正してモニタに表示するカメラが開示されている。

特開２００６−１１５３２２号公報

しかしながら、特許文献１にて開示されたカメラでは、主被写体のぶれを抑えた流し撮りを行えるパンニング方向が基準パンニング方向に限定される。

本発明は、流し撮りを行うユーザに対して適切なパンニングの速度や方向を認識させるためのガイダンス表示を行えるようにしたパンニング情報表示装置を提供する。

本発明の一側面としてのパンニング情報表示装置は、パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得するパンニング情報取得手段と、前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得する動きベクトル取得手段と、前記パンニング情報と前記被写体移動情報に基づいて、光軸方向とは異なる方向に光学素子の駆動を制御する制御手段と、前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報を表示手段に表示させる表示制御手段とを有し、前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含むことを特徴とする。

また、本発明の他の一側面としてのパンニン情報の表示処理を実行する方法は、パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得するステップと、前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得するステップと、前記パンニング情報と前記被写体移動情報に基づいて光軸とは異なる方向に光学素子を駆動するステップとを有し、前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報が表示手段に表示され、前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含むことを特徴とする。

また、本発明の他の一側面としてのパンニング情報表示プログラムは、コンピュータにパンニング情報の表示処理を実行させるコンピュータプログラムである。該表示処理は、パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得し、前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得し、前記パンニング情報と前記被写体移動情報に基づいて光軸とは異なる方向に光学素子を駆動させる処理であり、前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報が表示手段に表示され、前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含む
ことを特徴とする。

本発明では、流し撮りを行うユーザに対して、パンニングの方向や速度と主被写体の移動の方向や速度との差を少なくさせる、つまりは適切なパンニングの速度や方向を視認させるためのガイダンス表示を行う。このため、本発明によれば、主被写体の移動の速度や方向にかかわらず、主被写体の像ぶれを抑えた良好な流し撮りを行えるようにすることができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における流し撮りアシスト処理を示すフローチャート。 実施例１における角速度信号算出処理を示す図。 実施例１におけるガイダンス表示処理を示すフローチャート。 実施例１におけるガイダンス表示を示す図。 本発明の実施例２におけるガイダンス表示処理を示すフローチャート。 実施例２におけるガイダンス表示を示す図。 実施例２における画角算出処理を示す図。 実施例２におけるガイダンス表示の例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるパンニング指標表示装置を含む撮像装置１００の基本構成を示している。撮像装置１００は、デジタルカメラ、デジタルビデオカメラ等のいわゆるカメラだけでなく、カメラ機能付き携帯電話、カメラ付きコンピュータ等のようにカメラ機能を備えた電子機器も含む。

光学系１０１は、レンズ、シャッターおよび絞りを含み、ＣＰＵ１０３による制御に応じて被写体からの光を撮像素子１０２上に結像させて被写体の光学像を形成する。また、光学系１０１は、その少なくとも一部として、該光学系１０１の光軸方向に対して直交する方向にシフトして撮像素子１０２上（像面上）での光学像の変位を抑制するシフトレンズを含む。本実施例では、光学系１０１の一部がシフトレンズにより構成されている場合について説明するが、光学系１０１の全体をシフトレンズとシフトさせてもよい。また、「光学系」には、広義には、撮像素子１０２も含まれ、撮像素子１０２を光軸に対してシフトさせてもよい。

光学系１０１は撮像素子１０２を備えた撮像装置本体に対して着脱が可能な交換レンズに設けられていてもよい。この場合、交換レンズと撮像装置本体とにより撮像装置が構成される。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、光学系１０１により形成された光学像を電気信号（撮像信号）に変換する。

動き検出手段としての角速度センサ１０５は、ジャイロセンサ等により構成され、撮像装置１００の角速度を検出して該角速度に対応する電気信号（検出情報）をＣＰＵ１０３に出力する。ＣＰＵ１０３は、この検出された角速度を用いて、撮像装置１００のパンニングの角速度や方向を含むパンニングに関する情報を取得する。

ＣＰＵ１０３は、入力された信号や予め記憶されたコンピュータプログラムに従って撮像装置１００を構成する各部の動作を制御する。また、ＣＰＵ１０３は、後述するガイダンス表示処理を含む流し撮りアシスト処理を行う。ＣＰＵ１０３は、パンニング情報取得手段、動きベクトル取得手段および表示制御手段を含むパンニング指標表示装置に相当する。

一次記憶部１０４は、ＲＡＭ等の揮発性メモリであり、一時的にデータを記憶する等のＣＰＵ１０３の作業用に用いられる。また、一次記憶部１０４に記憶された各種データは、画像処理部１０６で利用されたり、記録媒体１０７に記録されたりする。二次記憶部１０８は、ＥＥＰＲＯＭ等の不揮発性メモリであり、ＣＰＵ１０３によって利用される撮像装置１００の動作制御用のプログラム（ファームウェア）や各種設定情報を記憶している。

記録媒体１０７は、記録用撮像により得られた画像データ等の記録用データを記録する。記録媒体１０７は、撮像装置１００に対して着脱が可能な半導体メモリ等により構成され、これに記録されたデータはパーソナルコンピュータ等で読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機能と記録媒体１０７に対するデータ読み書き機能とを有する。

表示部（表示手段）１０９は、記録用撮像前の表示用撮像により生成されたビューファインダ映像であるライブビュー映像や記録用撮像により生成された画像（撮像画像）の表示を行う。また、表示部１０９は、ユーザに対話的な操作を行わせるためのＧＵＩ画像等の表示を行う。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３に入力情報を伝達する入力デバイス群であり、ボタン、レバー、タッチパネル等の接触式操作部材だけでなく、音声や視線等を用いた非接触入力デバイスをも含む。

動きベクトル検出手段としての動きベクトル検出部１１１は、表示用撮像により生成されたライブビュー映像用の映像信号（以下、ライブビュー映像信号という）から動きベクトルを検出する。具体的には、ライブビュー映像信号を構成する複数のフレームにおける対応点間での移動方向と移動量を示す動きベクトルを検出する。なお、動きベクトル検出部１１１の機能をＣＰＵ１０３が実行してもよい。

画像処理部１０６は、撮像素子１０２から出力された撮像信号に対して各種処理を行うことでライブビュー映像信号を生成したり、記録用画像としての静止画像または動画像を生成したりする。撮像素子１０２および画像処理部１０６により撮像系が構成される。なお、画像処理部１０６の機能の少なくとも一部を、ＣＰＵ１０３が実行してもよい。

次に、図２を用いて、ＣＰＵ１０３が行う流し撮りアシスト処理について説明する。ＣＰＵ１０３は、この流し撮りアシスト処理を、操作部１１０を通じてユーザにより流し撮りアシストモードが選択されたことに応じて、二次記憶部１０８に記憶されたコンピュータプログラムである流し撮りアシストプログラムに従って実行する。

まずステップＳ２０１において、ＣＰＵ１０３は、パンニング中に生成されたライブビュー映像信号から撮像対象である主被写体を抽出する。ここでの主被写体の抽出は、動きベクトル検出部１１１がライブビュー映像信号から検出した動きベクトルを用いて、ライブビュー映像信号中において主被写体の画像（以下、主被写体画像という）が含まれる主被写体エリアを抽出する手法により行う。動きベクトルを用いて主被写体エリアを抽出する手法については、従来提案されている様々な手法を用いることができる。主被写体の抽出ができなかった場合は、後に説明する主被写体の角速度の算出が行えないため、ＣＰＵ１０３は流し撮りアシスト処理を続行しない。この場合、ステップＳ２０７において後述するシフトレンズを駆動しない通常の撮像に切り替えることが可能である。

次に、ＣＰＵ１０３は、ステップＳ２０２において、角速度センサ１０５により検出された撮像装置１００のパンニングの角速度（パンニング速度：以下、パンニング角速度という）の情報を取得し、ステップＳ２０３に進む。

ステップＳ２０３において、ＣＰＵ１０３は、主被写体エリアでの動きベクトルを用いて、実際の主被写体の移動速度（角速度）としての実被写体角速度を算出する。本実施例では、まず撮像素子１０２上での主被写体の光学像の移動速度（角速度）である被写体像角速度を、図３に示すように光学系１０１の主点を中心とした角速度として算出する。

図３には、実際の主被写体がｔ秒間に点Ａから点Ｂへと移動し、それに応じて光学系１０１により撮像素子１０２（図にはセンサと記す）上に形成された主被写体の光学像が点Ｃから点Ｄへと移動したことを示す。センサ上におる点Ｃと点Ｄとの間の距離をν［ｐｉｘｅｌ］とし、光学系１０１の焦点距離をｆ［ｍｍ］とし、センサの画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とするとき、像面であるセンサ上での被写体像角速度ω［ｒａｄ／ｓｅｃ］は以下の式（１）で表わされる。

撮像装置１００をパンニングしていた場合に、センサ上での被写体像角速度ωは、以下の式（２）に示すように、実被写体角速度ω_ｓからパンニング角速度ω_ｐを減算したものとなる。

そこで、ＣＰＵ１０３は、以下の式（３）に示すように、被写体像角速度ωに角速度センサ１０５で検出された撮像装置１００のパンニング角速度ω_ｐを加算することで実被写体角速度ω_ｓを算出する。

なお、実被写体角速度ω_ｓは、前述した計算方法以外の方法で算出することもできる。また、実被写体角速度ω_ｓとして、予め操作部１１０を通じてユーザが指定された値を使用してもよい。

次に、ＣＰＵ１０３は、ステップＳ２０４において、流し撮り時のガイダンス表示処理を行う。具体的には、ＣＰＵ１０３は、図４に示す処理を行うことでパンニング用のガイダンス表示を更新する。

そして、ＣＰＵ１０３は、ステップＳ２０５において、操作部１１０に含まれるシャッターボタンの全押しがなされた（以下、Ｓ２ＯＮと記す）か否か、すなわち記録用撮像のための撮像素子１０２の露光動作を行うか否かを判定する。Ｓ２ＯＮでなければ、ＣＰＵ１０３は、ステップＳ２０１からステップＳ２０４までの動作を繰り返し行う。一方、Ｓ２ＯＮであれば、ＣＰＵ１０３はステップＳ２０６に進む。

ステップＳ２０６では、ＣＰＵ１０３は、光学系１０１に含まれるシャッターを制御してシャッターを走行させ、記録用撮像のための撮像素子１０２の露光を行う。この際、ＣＰＵ１０３は、ステップＳ２０７において、光学系１０１のシフトレンズを、実被写体角速度とパンニング角速度との差に応じたシフト速度でシフト駆動する。こうして、ＣＰＵ１０３は、記録用撮像中における撮像素子１０２上での主被写体の光学像の変位を抑制し、記録用画像中に像ぶれを発生させないようにする流し撮りアシストを行う。

最後にステップＳ２０８において、ＣＰＵ１０３は、記録用撮像のための露光が終了したか否かを判定する。ＣＰＵ１０３は、露光が終了していなければステップＳ２０７でのシフトレンズのシフト駆動を継続し、露光が終了すると本処理を終了する。

図４には、ステップＳ２０４で行われるガイダンス表示処理の流れを示している。ＣＰＵ１０３は、このガイダンス表示処理を、コンピュータプログラムであるパンニング指標表示プログラムに従って実行する。また、図５（ａ），（ｂ）には、流し撮り時に表示部１０９に表示されるガイダンス表示の例を示している。

ＣＰＵ１０３は、まずステップＳ４０１において、動きベクトル検出部１１１で検出された主被写体エリアでの動きベクトルから、撮像素子１０２上での主被写体の垂直方向への移動成分を含む移動方向θを取得する。

次に、ステップＳ４０２において、ＣＰＵ１０３は、図５（ａ）に示すように、表示部１０９にステップＳ４０１にて取得した主被写体の移動方向θに対応するガイダンス（第２の指標）としての被写体ガイダンスバー５０１を表示する。ここでは、水平方向をθ＝０度とし、上方向を正の角度として、水平方向に対してθ度だけ傾いた被写体ガイダンスバー５０１を、表示部１０９の画面中央に表示する。

次に、ステップＳ４０３において、ＣＰＵ１０３は、角速度センサ１０５により撮像装置１００の垂直方向へのパンニング（チルティング）の角速度であるチルティング角速度を検出する。そして、ＣＰＵ１０３は、該チルティング角速度を用いて撮像装置１００のパンニングの方向（以下、パンニング方向という）θ′を算出する。パンニング方向θ′は、水平方向をθ′＝０度とするときの該水平方向に対する角度である。

ここで、パンニング方向θ′は、チルティング角速度をω_ｒとし、時間をｔとすると、以下の式（４）で表される。

時間ｔは、ライブビュー映像の表示更新（フレーム書き換え）の頻度をｎ［１／ｓｅｃ］とすると、以下の式（５）により表される。

例えば、ライブビュー映像を３０ｆｐｓのフレームレートで表示更新する場合は、ｔ＝１／３０［ｓｅｃ］となり、撮像装置１００のチルティング角速度が２４［ｄｅｇ／ｓｅｃ］であると、パンニング方向θ′は以下の式（６）で表される。

次に、ＣＰＵ１０３は、ステップＳ４０４において、図５（ｂ）に示すように、パンニング方向θ′に対応するガイダンス（第１の指標）としてのパンニングガイダンスバー５０２を表示部１０９に表示する。図５（ｂ）には、表示部１０９に、空中を上昇している飛行機を主被写体として含むライブビュー映像に重畳させて被写体ガイダンスバー５０１とパンニングガイダンスバー５０２とを常時点灯の表示態様（点灯表示）で表示している例を示している。

次に、ＣＰＵ１０３は、ステップＳ４０５において、チルティング角速度と動きベクトルを用いて算出した垂直方向での実被写体角速度との差に記録用撮像のための露光時間を乗じる。これにより、シフトレンズのシフト駆動によって実際の主被写体の移動方向に対するパンニング方向のずれを補正する角度（以下、補正角度という）を算出する。

次に、ＣＰＵ１０３は、ステップＳ４０６において、補正角度がシフトレンズの最大シフト量のシフトによって得られる補正角度である最大補正可能角度θ_ｍａｘ［ｄｅｇ］よりも大きいか否かを判定する。最大補正可能角度θ_ｍａｘを二次記憶部１０８に予め記憶させておき、それを読み出して本ステップでの判定を行ってもよい。光学系１０１が交換レンズに設けられている場合には、該交換レンズから最大補正可能角度の情報を通信により取得して本ステップでの判定を行ってもよい。補正角度が最大補正可能角度より大きくない場合は、ＣＰＵ１０３は、図２を用いて説明したステップＳ２０５に進む。

一方、補正角度が最大補正可能角度より大きい場合は、ＣＰＵ１０３は、ステップＳ４０７に進む。この場合は、被写体ガイダンスバー５０１により表示中の被写体の移動方向θとパンニングガイダンスバー５０２により表示中のパンニング方向θ′との差がシフトレンズのシフト駆動によって補正可能な大きさ（所定の大きさ）よりも大きい場合である。

ステップＳ４０７では、ＣＰＵ１０３は、流し撮りアシストが不完全になる（または不可能である）ことをユーザに通知するため、被写体およびパンニングガイダンスバー５０１，５０２のうち少なくとも一方の表示態様を常時点灯から点滅表示に変更する。つまり、被写体およびパンニングガイダンスバー５０１，５０２のうち一方または両方を点滅表示することで、警告表示を行う。

このように、本実施例では、流し撮りにおける記録用撮像前のライブビュー映像の表示中に主被写体の移動方向と撮像装置１００のパンニング方向とのずれをユーザに視覚により認識させるためのガイダンスバー５０１，５０２をライブビュー映像とともに表示する。これにより、ユーザはライブビュー映像を見ながらパンニング方向を調整することが可能となり、主被写体の像ぶれが抑えられた良好な流し撮りを行うことができる。

なお、被写体の角速度（実被写体角速度）と撮像装置１００のパンニング角速度との差分もガイダンスバーにより表現してもよい。例えば、被写体ガイダンスバー５０１の長さを基準にとして、パンニングガイダンスバー５０２を角速度の差分に応じて長さを異ならせて（パンニング角速度の方が遅ければ長さを短くして、パンニング角速度の方が速ければ長さを長くして）表示してもよい。

また、記録用撮像のための露光中に該露光前の最後に生成されたライブビュー映像のフレーム画像を表示し続ける場合でも、そのフレーム画像とともにガイダンスバー５０１，５０２を表示し続けることが好ましい。これにより、記録用撮像のための露光中にもユーザは主被写体の動きに合わせてパンニング方向やパンニング速度を調節することが可能となる。

また、図５（ａ），（ｂ）にはガイダンスバー５０１，５０２を表示部１０９の画面の中央に表示する場合を例示したが、画面内のいずれの領域に表示してもよい。例えば、表示部１０９の画面内の四隅のいずれかに表示したり、タッチパネルを用いて画面内で表示する領域をユーザが自由に選択することができるようにしたりしてもよい。

次に、本発明の実施例２のパンニング指標表示装置を含む撮像装置について説明する。本実施例における撮像装置の構成は、実施例１（図１）にて示した撮像装置１００と同じ基本構成を有しており、本実施例において実施例１と共通する構成要素には実施例１と同符号を付す。

本実施例でも、ＣＰＵ１０３は、パンニング指標表示装置に相当する。ＣＰＵ１０３は、表示部１０９に、主被写体の移動方向とパンニング方向との差や主被写体の移動速度とパンニング速度との差を示すための被写体ガイダンスと、最大補正可能角度θ_ｍａｘを示すための補正ガイダンスを表示させる。さらに、記録用撮像時の露光時間や光学系１０１の焦点距離等の撮像条件に応じて被写体ガイダンスを変更する。これにより、実施例１よりも、良好な流し撮りを行い易くする。

図６には、実施例１で図４を用いて説明した流し撮りアシスト処理のうちステップＳ２０４で行われるガイダンス表示処理の流れを示している。ＣＰＵ１０３は、このガイダンス表示処理を、コンピュータプログラムであるパンニング指標表示プログラムに従って実行する。また、図７（ａ）〜（ｅ）には、流し撮り時に表示部１０９に表示されるガイダンスの例を示している。

図６のステップＳ６０１において、ＣＰＵ１０３は、図７（ａ）に示すように表示部１０９にシフトレンズの最大シフト量のシフト駆動により得られる最大補正可能角度θ_ｍａｘ［ｄｅｇ］を示す補正ガイダンス（第１の指標）７０１を表示する。補正ガイダンス７０１は、撮像装置がその光学系１０１の少なくとも一部を移動させることで像面上における被写体の光学像の変位を抑制する流し撮りアシスト機能において該変位の抑制が可能な範囲を示す指標である。本実施例では、補正ガイダンス７０１を、表示部１０９の画面中央を原点（０，０）とした直径Ｒ［ｐｉｘｅｌ］の円として表示する。直径Ｒは、表示部１０９の解像度に対して小さい値であればよく、ユーザに予め設定させてもよい。

次に、ＣＰＵ１０３は、ステップＳ６０２において、画角を算出する。画角の算出方法について、図８を用いて説明する。画角Φ［ｒａｄ］は、撮像素子１０２上の点Ｅおよび点Ｆのそれぞれを通り、光学系１０１の光軸上において撮像素子１０２から焦点距離ｆ［ｍｍ］だけ離れた位置で交差する２本の直線がなす角度である。画角Φは、撮像素子１０２上での点Ｅと点Ｆとの間の長さ（以下、対角長という）をＬ［ｍｍ］として、以下の式（７）で表される。

この際、ＣＰＵ１０３は、光学系１０１の焦点距離の情報を不図示のズーム検出器を通じて取得したり、光学系１０１が交換レンズに設けられている場合は該交換レンズとの通信により取得したりする。また、式（７）を用いた画角の算出に代えて、二次記憶部１０８に予め焦点距離に対応付けて記憶しておいた画角を読み出して取得してもよい。

次に、ＣＰＵ１０３は、ステップＳ６０３において、位置補正係数を算出する。補正係数αは、以下の式（８）により求められる。

次に、ＣＰＵ１０３は、ステップＳ６０４において、被写体ガイダンスの表示位置ν′を算出する。具体的には、まずＣＰＵ１０３は、撮像素子１０２（像面）上での被写体像角速度ωを図２のステップＳ２０２で取得したパンニング角速度ω_ｐとステップＳ２０３で動きベクトルを用いて算出した実被写体角速度ω_ｓとを用いて式（２）により算出する。さらに、式（１）から導かれる以下の式（９）と被写体像角速度ωとを用いて、像面上で主被写体の光学像が移動した距離ν［ｐｉｘｅｌ］を求める。時間ｔ［ｓｅｃ］は、ライブビュー映像の表示更新の頻度ｎ［１／ｓｅｃ］から式（５）により求める。

そして、ＣＰＵ１０３は、被写体ガイダンスの表示位置ν′を、表示部１０９の解像度をＷ［ｐｉｘｅｌ］として、以下の式（１０）で求める。

このように算出した被写体ガイダンスの表示位置ν′は、被写体像角速度ω（実被写体角速度ω_ｓとパンニング角速度ω_ｐとの差：以下、パンニング速度差ともいう）に対応した位置となる。

次に、ＣＰＵ１０３は、ステップＳ６０５において、撮像補正係数を算出する。具体的は、撮像補正係数βを、像面上での被写体像角速度ω［ｒａｄ／ｓｅｃ］と、記録用撮像のための露光時間ｔとから、以下の式（１１）により算出する。

式（１１）の分母はシフトレンズにより得られる最大補正可能角度θ_ｍａｘであり、分子は像面上での主被写体の光学像の移動角度、つまりはシフトレンズにより得られる補正角度である。したがって、βはシフトレンズのシフト駆動による流し撮りアシストの効果が得られる可能性（以下、アシスト可能性）を示す。βが小さければ、最大補正可能角度θ_ｍａｘが補正角度に対して余裕が小さく、アシスト可能性が低くなる。一方、βが小さければ、最大補正可能角度θ_ｍａｘが補正角度に対して余裕が大きく、アシスト可能性が高くなる。

次に、ＣＰＵ１０３は、ステップＳ６０６において、主被写体の移動方向（角度）θｓを取得する。

さらに、ＣＰＵ１０３は、ステップＳ６０７において、角速度センサ１０５により検出された撮像装置１００のパンニング方向θ_ｐを取得する。

次に、ＣＰＵ１０３は、ステップＳ６０８において、ステップＳ６０６およびステップＳ６０７で取得したθｓとθ_ｐの差分（以下、パンニング方向差という）Ｔを算出する。

次に、ＣＰＵ１０３は、ステップＳ６０９にて、図７（ｂ）に示すように表示部１０９の画面中央（原点（０，０））からパンニング方向差Ｔに対応する角度方向にステップＳ６０４で算出したν′だけ離れた位置に被写体ガイダンス（第２の指標）７０２を表示する。ここでは、画面内の水平方向をパンニング方向差Ｔ＝０度とし、ステップＳ６０１で表示した直径Ｒ［ｐｉｘｅｌ］の円を基準として、ステップＳ６０３〜Ｓ６０８で求めた値に基づいて被写体ガイダンス７０２を表示する。被写体ガイダンス７０２は、直径Ｒ′を有する円であり、Ｒ′は以下の式（１３）で求められる。

このようにして、図７（ｂ）に示すように、補正ガイダンス７０１によって最大補正可能角度を表示しつつ、補正ガイダンス７０１に対する被写体ガイダンス７０２の表示位置や大きさによってパンニング方向差、パンニング速度差およびアシスト可能性を表示する。なお、図７（ａ）〜（ｃ）にはライブビュー映像が記載されていないが、実際にはライブビュー映像に重畳するように補正ガイダンス７０１と被写体ガイダンス７０２とが表示される（これについては後に図９を用いて説明する）。

また、ここでは被写体の移動方向とパンニング方向との差分であるパンニング方向差を求める場合について説明した。しかし、水平方向および垂直方向のそれぞれでの主被写体の角速度を用いて、図７（ｃ）に示すように、それぞれの方向での被写体ガイダンス７０２の表示位置ν_ｈ′，ν_ｖ′［ｐｉｘｅｌ］を求めるようにしてもよい。この場合は、ステップＳ６０６からステップＳ６０８に代えて、ステップＳ６０４を水平方向および垂直方向のそれぞれについて行う。

また、式（１０）および式（１３）の演算結果によって、表示される被写体ガイダンスの一部が表示部１０９の画面外となる場合には、図７（ｄ）に示すように、被写体ガイダンスのうち画面内に収まっている部分のみを表示すればよい。また、図７（ｅ）に示すように、画面の端からＲ′／２だけずらした位置に表示した上で、点滅表示等の警告表示を行うことによって本来は画面外に存在する被写体ガイダンスであることをユーザに知らせるようにしてもよい。

このように、本実施例では、ライブビュー映像に、撮像装置のパンニングに関する情報と被写体の移動に関する情報との差（パンニング速度差およびパンニング方向差）やアシスト可能性を表示する被写体ガイダンスが追加表示される。これにより、被写体の動きに合わせてユーザが適切に撮像装置をパンニングできているか否かや良好な流し撮りアシスト効果が得られるか否かをユーザが視覚的に認識することができる。

ここで、図９（ａ）〜（ｄ）を用いて、本実施例におけるガイダンスの表示例について説明する。図９（ａ）〜（ｄ）には、表示部１０９に、空中を上昇している飛行機を主被写体として含むライブビュー映像に重畳させて補正ガイダンス９０１と被写体ガイダンス９０２とが表示されている例を示している。

実際の被写体の移動速度よりもパンニング速度の方が速い場合には、ν′が０以上になる。このため、図９（ａ）に示すように、補正ガイダンス９０１に対して被写体ガイダンス９０２が右側にずれた（遅れた）位置に表示される。逆に、被写体の移動速度よりもパンニング速度の方が遅い場合には、ν′が０より小さくなるため、図９（ｂ）に示すように、補正ガイダンス９０１に対して被写体ガイダンス９０２が左側にずれた（先行する）位置に表示される。

また、記録用撮像時の露光時間が長いとＲ′が大きくなるため、図９（ｃ）に示すように、被写体ガイダンス９０２が補正ガイダンス９０１とほぼ同じ大きさで表示され、アシスト可能性が低いことを示す。逆に、記録用撮影時の露光時間が短いとＲ′が小さくなるため、図９（ｄ）に示すように補正ガイダンス９０１に対して被写体ガイダンス９０２が小さく表示され、アシスト可能性が高いことを示す。

さらに、焦点距離に応じて最大補正可能角度θ_ｍａｘが変化する場合には、該焦点距離の変更によってθ_ｍａｘが小さくなることでＲ′が大きくなる（式（１１），（１３）参照）。このため、図９（ｃ）に示すように被写体ガイダンス９０２とほぼ同じ大きさで表示され、アシスト可能性が低いことを示す。逆に、焦点距離の変更によって最大補正可能角度θ_ｍａｘが大きくなることでＲ′が小さくなるため、図９（ｄ）に示すように補正ガイダンス９０１に対して被写体ガイダンス９０２が小さく表示され、アシスト可能性が高いことを示す。

なお、本実施例では、表示部１０９の左方向を正の方向としているが、パンニング方向と同じ方向を正の方向としてもよい。

また、シャッターボタンの全押し（Ｓ２ＯＮ）からシャッターが実際に走行を開始するまでの時間をレリーズタイムラグという。本実施例でも、補正角度を算出する際に、露光時間だけでなくレリーズタイムラグも考慮する（パラメータとする）ことで、補正角度の算出精度を高めることができ、より良好な流し撮りを行い易くすることができる。また、動きベクトル検出部１１１の処理レートを考慮して、最新の検出結果を得た時間からシャッターボタンの全押しまでの時間を、補正角度の算出におけるパラメータとしてもよい。

また、記録用撮像のための露光中に該露光前の最後に生成されたライブビュー映像のフレーム画像を表示し続ける場合でも、実施例１で説明した理由により、そのフレーム画像とともに両ガイダンス９０１，９０２を表示し続けることが好ましい。さらに、実施例１でも述べたように、両ガイダンス９０１，９０２を表示部１０９の画面のうちいずれの領域に表示してもよいし、その領域をユーザにより自由に選択することができるようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像装置
１０１ 光学系
１０２ 撮像素子
１０３ ＣＰＵ
１０５ 角速度センサ
１０９ 表示部
５０１，５０２ ガイダンスバー
７０１，９０１ 補正ガイダンス
７０２，９０２ 被写体ガイダンス

Claims (7)

1. パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得するパンニング情報取得手段と、
   前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得する動きベクトル取得手段と、
   前記パンニング情報と前記被写体移動情報に基づいて、光軸方向とは異なる方向に光学素子の駆動を制御する制御手段と、
   前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報を表示手段に表示させる表示制御手段とを有し、
   前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、
   前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含むことを特徴とするパンニング情報表示装置。
2. 前記表示制御手段は、前記表示手段に、前記撮像素子によって取得される画像信号に基づいて画像を表示させ、かつ、前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される前記流し撮り可能な範囲であるか否かの情報を表示させることを特徴とする請求項１に記載のパンニング情報表示装置。
3. 前記表示制御手段は、前記表示手段に、前記パンニング方向と前記被写体移動方向との差分が前記流し撮り可能な範囲であるか否かの情報を表示させることを特徴とする請求項１または２に記載のパンニング情報表示装置。
4. 前記表示制御手段は、前記表示手段に、前記被写体移動量が前記流し撮り可能な範囲であるか否かの情報を表示させることを特徴とする請求項１乃至３のいずれか一項に記載のパンニング情報表示装置。
5. 前記パンニング情報と前記被写体移動情報との関係を示す情報を焦点距離及び露光時間の少なくとも１つにより変更することを特徴とする請求項１乃至４のいずれか一項に記載のパンニング情報表示装置。
6. パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得するステップと、
   前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得するステップと、
   前記パンニング情報と前記被写体移動情報に基づいて光軸とは異なる方向に光学素子を駆動するステップとを有し、
   前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報が表示手段に表示され、
   前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、
   前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含むことを特徴とするパンニング情報の表示処理を実行する方法。
7. コンピュータにパンニング情報の表示処理を実行させるコンピュータプログラムであって、
   前記表示処理は、
   パンニングされる撮像装置の動きを検出する動き検出手段の出力から前記撮像装置のパンニング情報を取得し、
   前記パンニング中に撮像素子の出力を用いて生成された動きベクトルから被写体像の移動を示す被写体移動情報を取得し、
   前記パンニング情報と前記被写体移動情報に基づいて光軸とは異なる方向に光学素子を駆動させる処理であり、
   前記パンニング情報と前記被写体移動情報との関係が前記光学素子の駆動によって決定される流し撮り可能な範囲であるか否かの情報が表示手段に表示され、
   前記パンニング情報はパンニング方向及びパンニング量に関する情報の少なくとも１つを含み、
   前記被写体移動情報は被写体移動方向及び被写体移動量に関する情報の少なくとも１つを含むことを特徴とするパンニング情報表示プログラム。