JP7851144B2 - システム並びに装置、制御方法 - Google Patents

Description

本発明は、カメラの撮影を制御する技術に関し、特に、ウェアラブルデバイスを用いて撮影をするカメラのシステム並びに装置、制御方法に関する。

加速度センサや人感センサ等のセンシング結果によりカメラの撮影を制御する技術が知られている。

例えば、特許文献１では携帯可能な装置（ウェアラブルデバイス）の状況に応じて、離れたところにあるカメラのオート撮影を制御することが開示されている。

特開２０１６－０７２６７３号公報

しかしながら、上述の特許文献に開示された従来技術では、センシング結果に基づいてオート撮影のタイミング制御を行うことが主であり、カメラに写る被写体の動き状態を含めてカメラの撮影設定を自動で行うところまで考慮されていない。そのため、撮影のタイミングは制御できても、被写体の動きが速い場合には撮影した被写体がブレてしまう可能性がある。そこで本発明の目的は、被写体の動き状態をカメラの解析結果と携帯可能な装置によるセンシング結果を連携させることで、被写体の動き状態に合わせたカメラの撮影設定を自動で決定することを可能にしたシステムを提供する。

上記目的を達成するために、本発明に係る撮像システムの１つは、被写体を撮像する撮像手段と、前記撮像手段で撮像した画像を用いて被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出手段と、前記被写体の動きベクトルの精度について信頼度を算出する算出手段と、外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信手段と、撮像時の露出を制御する露出制御手段と、を備えた撮像装置と、被写体の情報を取得するセンサ手段と、前記センサ手段の前記センシング結果を前記撮像装置に送信する送信手段と、を備えた前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置からなる撮像システムであって、前記撮像装置は、前記送信手段により送信され前記受信手段により受信された前記センシング結果と、前記被写体動き検出手段の結果を用いて前記撮像手段の露出制御を行い、前記露出制御手段は前記信頼度が閾値以上の動きベクトルを用いて、前記撮像手段の露出制御を行うことを特徴とする。

本発明によれば、より好適に被写体の動きに考慮して、被写体ブレを減らせるカメラ制御を行うことを提供することができる。

本発明の構成例を示す図 撮像システム１００の外観としての一例を示す図 実施例１のカメラ１０１の動作を説明するフローチャート 実施例２のカメラ１０１の動作を説明するフローチャート ウェアラブルデバイス１０２の動作を説明するフローチャート ブロックマッチングを説明する図 準備撮影画像の撮影条件を決定する動作を説明するフローチャート 被写体の動きを示した図 動きベクトルの算出処理を示すフローチャート 被写体の動きベクトルの補正する図 被写体の動きベクトルと被写体動きブレ量との関係を示した図 デジタルゲインを掛けて露光量を補正する処理を説明する図 実施例２の本露光の処理の詳細を説明するフローチャート 電子先幕シャッタの構成を説明する図 電子先幕シャッタの動作を説明する図 露光打ち切り制御を行う方法を説明する図 被写体が複数人の場合のイメージ図 ウェアラブルデバイス１０２が複数の場合を説明するフローチャート 主要なウェアラブルデバイス１０２を決定するフローチャート ウェアラブルデバイス１０２の優先順位を設定する設定画面例 ウェアラブルデバイス１０２の優先度決め項目について説明する図 ウェアラブルデバイス１０２の優先度順位の算出方法について説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は特許請求に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、そのすべてが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。本実施形態では、スマートフォンや、リストバンド型端末等のウェアラブルデバイスとカメラを連携させ、カメラの露光制御操作をオートで実現する。

これにより無人撮影や、自分撮りのようなユースケースでも、被写体の動きを所望のブレ以下に抑えるように露光制御を行うことを実現し、オートの利用シーンを広げるものである。

図１は本実施例で説明する撮像システム１００の一例である。図１の撮像システム１００は、カメラ１０１とウェアラブルデバイス１０２の二つの装置で実現する。ウェアラブルデバイス１０２の一例としては、スマートフォンやリストバンド型端末等が挙げられ、その形態については問わない。図２は、本発明の一実施の形態の外観を示す図である。図２（ａ）はカメラ１０１としてデジタルカメラ２０１と、ウェアラブルデバイス１０２としてスマートフォン２０２の二つを接続している撮像システム１００を表している。

制御部１１２は、例えばＣＰＵであり、カメラ１０１が備える各ブロックに対する制御プログラムを後述のＲＯＭ１１３より読み出し、後述のＲＡＭ１１４に展開して実行する。これにより、制御部１１２は、カメラ１０１が備える各ブロックの動作を制御する。

ＲＯＭ１１３は、電気的に消去・記録可能な不揮発性メモリであり、カメラ１０１が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１１４は、書き換え可能な揮発性メモリであり、制御部１１２等が実行するプログラムの展開や、カメラ１０１が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

通信部１１５は、所定の無線通信規格に応じて通信を行う。例えば、無線通信規格として、ＩＥＥＥ８０２．１１規格の所謂Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＮＦＣなどがあり、少なくとも１つをサポートしていればよい。

光学系１２１は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像素子１２２の撮像面上に結像する。

撮像素子１２２は、例えばＣＣＤやＣＭＯＳセンサ等で構成される。撮像素子１２２の各画素は、光学系１２１により撮像素子１２２の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を後述のＡ／Ｄ変換部１２３に出力する。

Ａ／Ｄ変換部１２３は、入力されたアナログ画像信号をデジタル画像データに変換し、Ａ／Ｄ変換部１２３から出力されたデジタル画像データは、ＲＡＭ１１４に一時的に記憶される。

画像処理部１２４は、ＲＡＭ１１４に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１２４は、記録された画像間の動きベクトルの算出や、被写体の検出なども行う。これらの詳細については後述する。

記録部１２５は、着脱可能なメモリカード等であり、画像処理部１２４で処理された画像データを、ＲＡＭ１１４を介し、記録画像として記録する。

パルス発生部１２６は、非撮影状態から撮影状態に移行した際に、撮像素子１２２に走査クロック（水平駆動パルス）や所定の制御パルスを供給する。パルス発生部１２６で発生した走査クロックのうち、垂直走査用のクロックは、後述の垂直駆動変調部１１１に入力する。

垂直駆動変調部１１１は、パルス発生部１２６で発生した走査クロック信号のうち、垂直走査用のクロックを所定のクロック周波数に変調し、撮像素子１２２に入力する。この垂直駆動変調部１１１によって、複数の画素からなる撮像素子１２２のライン毎に行われるリセット走査の走査パターンが決定される。この撮像素子１２２のライン毎のリセット走査により、電子先幕シャッタとしての機能を実現する。

ジャイロセンサ１１９は、角速度を検出する動き検知センサであり、カメラの振れの大きさを判別する。

メカシャッタ１１８は、物理的に光を遮る遮光機構を実現する開閉式のシャッタ機構で構成される（以降、メカシャッタ）。また、メカシャッタ１１８は、複数の遮光羽根で構成された後幕（以降、メカ後幕）として働く。制御部１１２は、メカ後幕の走行を開始させるタイミングを調整することで露光時間（シャッタースピード）を制御する。一方、電子先幕の機能は、所定のタイミングで撮像素子１２２の画素をライン毎に順次リセット走査することで実現する。

表示部１２７は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１１４に記憶されている画像や記録部１２５に記録されている画像の表示、ユーザの指示を受け付けるための操作ユーザインターフェイスの表示等を行う。また、表示部１２７は、準備撮影中に構図合わせ等のために撮像素子１２２が撮像した画像を表示する。

以上、カメラ１０１の構成について説明した。

続いてウェアラブルデバイス１０２の構成について図１を用いて説明する。ウェアラブルデバイス１０２はタッチスクリーンディスプレイ１４１を備えており、液晶ディスプレイ１４２には文字、画像、およびアイコンなどが表示される。タッチスクリーン１４３はジェスチャー操作を検知することでできる。

インカメラ１３４は、レンズと光学像を電気信号に変換するＣＣＤ又はＣＭＯＳなどの撮像素子とを備えている。このインカメラ１３４はＡＦ（オートフォーカス）、絞り、およびシャッタースピード調整機能などを備える小型のカメラモジュールである。そして、インカメラ１３４はタッチスクリーンディスプレイ１４１に対面する物体を撮像する。

照度センサ１４５はインカメラ１３４や、アウトカメラ１３５で集光する被写体の照度情報を取得し、撮影時の露光時間やＩＳＯ感度の調整に用いる。

制御部１３８は、例えばＣＰＵであり、ウェアラブルデバイス１０２が備える各ブロックに対する制御プログラムを後述のＲＯＭ１５１より読み出し、後述のＲＡＭ１５２に展開して実行する。これにより、制御部１３８は、ウェアラブルデバイス１０２が備える各ブロックの動作を制御する。制御部１３８はタッチスクリーン１４３、スイッチ１４４、インカメラ１３４、照度センサ１４５、アウトカメラ１３５、およびライト１３６などを制御してカメラ機能を提供する。

ＲＯＭ１５１は、電気的に消去・記録可能な不揮発性メモリであり、ウェアラブルデバイス１０２が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１５２は、書き換え可能な揮発性メモリであり、制御部１１２等が実行するプログラムの展開や、ウェアラブルデバイス１０２が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

スピーカー１３９からは、スイッチ１４４において音出力オンの場合に、撮像の際のシャッタ音および警告音を出力する。

コネクタ１３３はウェアラブルデバイス１０２と外部装置とを接続する際に用いられる。例えば、コネクタ１３３には、後述する電源モジュール１３２に備えられたバッテリーを充電するためのＡＣアダプタが接続される。また、コネクタ１３３は、外部から接続される不揮発性メモリに対する画像データおよび音声データなどの入出力の際に用いられる。なお、コネクタ１３３はＤｏｃｋコネクタのような専用に設計された端子であってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような汎用的な端子であってもよい。

アウトカメラ１３５は、インカメラ１３４と同様の小型のカメラモジュールである。アウトカメラ１３５はインカメラ１３４の反対側の被写体を撮像する。ライト１３６は発光モジュールであり、アウトカメラ１３５による撮像の際にはフラッシュとして機能する。

通信モジュール１３１は、所定の無線通信規格に応じて通信を行う。例えば、無線通信規格として、ＩＥＥＥ８０２．１１規格の所謂Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＮＦＣなどがあり、通信モジュール１３１は少なくとも１つをサポートしていればよい。具体的な通信としては、撮像によって得られた画像データの入出力およびウェアラブルデバイス１０２に対する機能追加プログラムモジュールのダウンロードが該当する。また、カメラ１０１へ後述するセンサ群（照度センサ１４５、加速度センサ１４６、ジャイロセンサ１４７、奥行きセンサ１４８）の情報を送信などの際に用いられる。

電源モジュール１３２は充電可能なバッテリーを備えており、ウェアラブルデバイス１０２全体に電源を供給する。電源モジュール１３２に備えられたバッテリーとして、例えば、リチウムイオン電池又はニッケル水素電池が用いられる。

加速度センサ１４６は、ウェアラブルデバイス１０２に作用する加速度の方向と大きさを検知する。加速度センサ１４６はＸＹＺ方向の３軸における検知が可能である。

ジャイロセンサ１４７はウェアラブルデバイス１０２の角度および角速度を検知する。

奥行きセンサ１４８は、カメラから撮影する被写体までの距離を計測する。距離の計測する方式としては、赤外線や光や超音波などを物体に反射して跳ね返ってくるまでの時間を測定する方式や、複数台のカメラや画素を平行に並べ、視差画像から被写体の奥行情報を取得する方法がある。

図２は、撮像システム１００の外観としての一例を示している。図２の（ａ）～（ｃ）は、それぞれ撮像システム１００として連携するカメラ１０１とウェアラブルデバイス１０２の組合せを表している。カメラ１０１と、ウェアラブルデバイス１０２間の接続は例えばＢｌｕｅｔｏｏｔｈ（商標登録）等で無線接続し、通信を行い撮像システム１００と連携する。２０１は、カメラ１０１の一例としてデジタルカメラを示す。２０２は、ウェアラブルデバイス１０２の一例としてスマートフォンを示しており、このスマートフォンにはカメラ機能が搭載されている場合が多い。そのため、図２（ｃ）のスマートフォン２０４に搭載するインカメラ１３４やアウトカメラ１３５のように、カメラ機能を使うことでウェアラブルデバイス１０２側ではなく、カメラ１０１側として使うことも可能である。また、ウェアラブルデバイス１０２は、スマートフォン以外にもリストバンド型端末２０３等の形態を使用することも可能である。

以上、撮像システム１００の外観とシステム構成について説明を行った。

（第１の実施形態）
以下、図３と図５のフローチャートを参照して、本発明の第１の実施形態（実施例１）に係る、撮像システム１００の処理について説明する。実施例１では、ウェアラブルデバイス１０２を撮影対象である被写体が装着し、カメラ１０１は外部に配置したリモートカメラの構成をとる。そして、ウェアラブルデバイス１０２を通して被写体動き情報をセンシングし、ウェアラブルデバイス１０２が取得した被写体動き情報を補助情報として、カメラ１０１の撮影条件を決定する。

まずは、ウェアラブルデバイス１０２の動作について、図５を用いて処理について説明する。なお、以下の処理は、ＲＯＭ１５１に記憶されたプログラムに従って、制御部１３８が装置の各部を制御することにより実現される。

ステップＳ５０１では、まずウェアラブルデバイス１０２の電源をユーザが入れる。そしてウェアラブルデバイス１０２は被写体動き情報を検出するためセンサ（加速度センサ１４６、ジャイロセンサ１４７、奥行きセンサ１４８等）からウェアラブルデバイス１０２のセンシング信号を受信するための待機動作を行う。

ステップＳ５０２において、カメラ１０１の通信部１１５は、ステップＳ５０１で取得したセンシング信号を一定の時間の間隔で取得する。例えば、センシング信号として、ウェアラブルデバイス１０２の加速度情報を取得する。加速度情報を取得するためには、加速度センサ１４６からの出力を所定時刻ごとに定期的に取得する。以上により、ウェアラブルデバイス１０２を装着した部位の被写体の加速度情報を得ることが可能となる。これは、加速度センサ１４６でなくとも、他の被写体の動き状態を検出できるセンサを使っても間接的にウェアラブルデバイス１０２装着部位の被写体の加速度情報を取得することも可能である。一例としては、奥行きセンサ１４８によるカメラ１０１からウェアラブルデバイス１０２までの距離変化を取得することで単位時間当たりに被写体の動き速度や加速度情報を算出することができる。

ステップＳ５０３において、まずユーザは、ウェアラブルデバイス１０２を特定の位置、例えば動きの邪魔にならない手首などに装着する。ウェアラブルデバイス１０２は、被写体に装着されたことを触感センサ（不図示）などにより感知する。また、ウェアラブルデバイス１０２は、被写体の動きが分かる位置であれば自由に取り付けることも可能である。その場合、ウェアラブルデバイス１０２の装着部位の特定方法としては、装着しているデバイスをカメラ１０１側が取得した画像データから検出してもよい。また、事前にウェアラブルデバイス１０２の被写体に装着する部位を設定する方法や、事前に所定時間内における特定部位の加速度、速度の大きさなどを記録しておき、実際の動きを基に動いている被写体部位を特定する技術が知られている（特許第６３２５５８１号）。例えば、ステップＳ５０２でウェアラブルデバイス１０２の加速度センサ１４６から加速度情報を取得している。したがって、事前に装着部位ごとの所定時間当たりに記録した加速度変化と取得した加速度情報を照らし合わせてウェアラブルデバイス１０２の装着部位を特定することができる。

ステップＳ５０４において、ウェアラブルデバイス１０２の通信モジュールＡ１３１は、ステップＳ５０２で求めた加速度情報や、ウェアラブルデバイス１０２の装着部位情報を被写体動き情報としてカメラ１０１に送信する。

以上が、ウェアラブルデバイス１０２の処理である。続いて、カメラ１０１の動作について図３のフローチャートを用いて説明する。なお、図３のフローチャートの処理は、撮像システム１００のカメラ１０１にて、ＲＯＭ１１３に記憶されたプログラムに従って、制御部１１２がカメラ１０１の各部を制御することで実現される。

ステップＳ３０１では、カメラ１０１の通信部１１５はウェアラブルデバイス１０２から送信された被写体動き情報を受信する。

ステップＳ３０２において、ユーザはカメラ１０１を用いて構図合わせなどの準備撮影を開始する。この準備撮影期間中は、カメラ１０１は連続的に画像を撮像し、記録した画像を表示部１２７に表示する。ユーザは表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するステップＳ３０３、ステップＳ３０４及びステップＳ３０５の処理は準備撮影期間中に行う。

ステップＳ３０３において、カメラ１０１の制御部１１２は、構図内の被写体の動きベクトルを検出するために撮像する準備撮影画像の撮影条件を決定する。詳しくは後述するが、準備撮影を初期撮影条件で行なった際の構図内の被写体動き量と、ウェアラブルデバイス１０２の通信モジュールＡ１３１から送信された被写体動き情報を用いて、ウェアラブルデバイス１０２を装着している部位（被写体注目部位）の被写体ブレが少なくなるシャッタースピードを設定する。

ステップＳ３０４において、表示部１２７に構図内の被写体と、撮影設定条件（シャッタースピード、ＩＳＯ感度、Ｆ値等）を表示する。

ステップＳ３０５では、カメラ１０１の制御部１１２は、リモートレリーズが発動したかを判断する。リモートレリーズとは、ユーザがカメラと接続しているウェアラブルデバイス１０２を通して、カメラ１０１で露光を開始するタイミングシグナルを発信する制御である。リモートレリーズの発動は、ウェアラブルデバイス１０２を装着したユーザが所定のジェスチャーを行ったときの、ジャイロセンサ１４７の出力や、ウェアラブルデバイス１０２のレリーズボタン（不図示）を押すことで発生させることができる。もしくは、撮影者（ユーザ）が直接カメラ１０１のシャッターボタン（不図示）を押したかどうかを判定する。その場合にはユーザは表示部１２７に表示した被写体を見ながらシャッタータイミングに合わせてカメラ１０１のシャッターボタンを押す。カメラ１０１のシャッターボタンが押された場合には、ステップＳ３０６の本露光処理に進む。逆に、シャッタータイミングでない場合には、ステップＳ３０１にもどることで、再度撮影設定をやり直すことが可能である。

ステップＳ３０６では、カメラ１０１の制御部１１２は、画像を撮影するために上記のステップの処理で行った撮影設定で露光処理を行い、撮影が完了した画像は、ＲＯＭ１１３に記録する。

このように、準備撮影中において、ユーザは表示部１２７に表示される動きブレ報知画像を確認しながら、好みの動きブレになるまで本撮影の露光時間の設定を繰り返し、シャッターチャンス時にシャッターボタンを押下する。

ステップＳ３０５においてユーザによってカメラ１０２のシャッターボタンが押下されると、カメラ１０１は本撮影を行い、本撮影画像をＲＯＭ１１３に記録する。

次に、本発明の特徴であるステップＳ３０３の処理について図７のフローチャートを参照して説明する。

図７のステップＳ７０１において、カメラ１０１の制御部１１２は、初期撮影条件を設定し、カメラ１０１が準備撮影画像を連続して撮像する。ここでいう初期撮影条件とは、主にフレームレート、シャッタースピードを示す。そして、ＡＥ（オートエクスポージャー）やＡＦ（オートフォーカス）制御などの一般的なカメラで行うオート機能の制御に用いられる評価値を算出する処理に影響を与えない範囲で、最も高フレームレート、高速シャッタースピードの設定を行う。また、シャッタースピードを高速に設定した際にも、適正の露出条件で撮影ができるように、シャッタースピードに合わせて光学系１２１を制御する。例えば、光学系１２１のレンズの絞りや、カメラ１０１のＩＳＯ感度設定を制御することで、適切な露出条件で撮影ができるように制御（露出制御）を行う。カメラ１０１では、以上のように設定された初期撮影条件で時系列的に連続する画像の撮影を行う。なお、撮影した画像は、移動被写体の蓄積ブレがほとんど無く、また、撮像した連続画像間での被写体の移動量がなるべく小さい条件で撮影されるのが望ましい。ただし、そのような条件はＩＳＯ感度が上がりやすく、高感度でノイズの多い画像データが取得されることが多くなるなどの弊害もある。一方で、被写体の移動量が小さいので、速い被写体でも動きを捉えやすくなるという利点がある。

ステップＳ７０２では、カメラ１０１の画像処理部１２４は、ステップＳ７０１で撮影した時系列的に連続する準備撮影画像から被写体の動きベクトルを算出する。

まず、図８を用いて準備撮影画像から算出される動きベクトルについて説明する。図８は、被写体の動きを示した図である。図８（ａ）は、左に走っている犬８０１と止まっている犬８０２のシーンを撮影している例である。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量を表したものである。この動きベクトルの例を図８（ｂ）に示す。

図８（ｂ）は、図８（ａ）の準備撮影画像の動きベクトルの例を示す図である。図８（ｂ）の例では、走っている犬８０１は左方向の動きベクトルとして検出し、それ以外の止まっている犬８０２や背景の柵は動きベクトル０として検出するため、動きベクトルを図示していない。

続いて動きベクトルの算出方法について、図９及び図６を参照して詳しく説明する。図９は、動きベクトルの算出処理を示すフローチャートである。以下のフローチャートではＲＯＭ１１３に記憶されたプログラムに従って、制御部１１２がカメラ１０１の各部を制御することで実現される。なお、本発明では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法等でもよい。

図９のステップＳ９０１において、カメラ１０１の画像処理部１２４に時間的に隣接する２枚の準備撮影画像が入力される。そして、画像処理部１２４はＭ番目フレームの準備撮影画像を基準フレームに設定し、Ｍ＋１番目フレームの準備撮影画像を参照フレームに設定する。

ステップＳ９０２において、画像処理部１２４は、図６のように、基準フレーム６０１において、Ｎ×Ｎ画素の基準ブロック６０２を配置する。

ステップＳ９０３において、画像処理部１２４は、図６のように、参照フレーム６０３に対し、基準フレーム６０１の基準ブロック６０２の中心座標と同座標６０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲６０５として設定する。

ステップＳ９０４において、画像処理部１２４は、基準フレーム６０１の基準ブロック６０２と、参照フレーム６０３の探索範囲６０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック６０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック６０２及び参照ブロック６０６の画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図６の例では、参照ブロック６０６が最も相関が高いことを示しているとする。

ステップＳ９０５において、画像処理部１２４はステップＳ９０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図６の例の場合、参照フレーム６０３の探索範囲６０５の中で、基準フレーム６０１の基準ブロック６０２の中心座標に対応した同座標６０４と、参照ブロック６０６の中心座標に基づき動きベクトルが求められる。つまり、同座標６０４から参照ブロック６０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。

ステップＳ９０６において、画像処理部１２４は、基準フレーム６０１の全画素について動きベクトルを算出したか否か判定する。画像処理部１２４は、ステップＳ９０６において全画素の動きベクトルを算出していないと判定した場合には、ステップＳ９０２に処理を戻す。そして、ステップＳ９０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム６０１にＮ×Ｎ画素の基準ブロック６０２が配置され、以下前述同様に、ステップＳ９０３からステップＳ９０５の処理が行われる。すなわち、画像処理部１２４は、図６の基準ブロック６０２を移動させながら、ステップＳ９０２からステップＳ９０５までの処理を繰り返して、基準フレーム６０１の全画素の動きベクトルを算出する。動きベクトルを算出する単位としては、画素単位でも画像を所定の分割数に分割した単位ごとに算出してもよい。以上の処理を撮像時間が近い準備撮影画像間で行うことで動きベクトルを算出する。

続いてステップＳ７０３は、ウェアラブルデバイス１０２から取得した被写体動き情報とカメラ１０１で求めた被写体の動きベクトルを用いて画像処理部１２４が被写体の主要部位に対応するベクトルを算出する。

画像処理部１２４はウェアラブルデバイス１０２で求めた被写体動き情報を用いて、ユーザが被写体ブレを軽減したい被写体の主要部位に対応するベクトルを特定した後、更に該当する主要部位の被写体の動きベクトルの補正する処理を行う。図１０を用いて具体的に説明する。

まず、被写体の主要部位に対応するベクトルの特定を行うため、画像処理部１２４は候補となる被写体の動きベクトル群を見つける。これについて図１０（ａ）を用いて説明する。図１０（ａ）では、主要部位となる候補の被写体の動きベクトル群（１０１１、１０１２、１０１３、１０１４）を示した図である。主要部位情報は、ステップＳ５０４で送信された被写体動き情報のウェアラブルデバイス１０２の装着部位に該当する情報である。被写体の主要部位と被写体の動きベクトルとの対応は、被写体の動きベクトルを求める準備撮影画像の中から、画像処理部１２４が主要部位に対応する被写体の動きベクトルを選択することで実現する。準備撮影画像から主要部位を検出する方法としては、一般的な被写体認識技術などの手法を用いてよい。例えば、ウェアラブルデバイス１０２の装着部位が犬の頭の場合、画像処理部１２４は準備撮影画像中の被写体の動きベクトルが求まっている範囲の中で、ウェアラブルデバイス１０２が装着されている犬の頭を検出する。そして、画像処理部１２４は検出した犬の頭部領域から所定の距離内に存在する被写体の動きベクトル群（１０１１、１０１２、１０１３、１０１４）を選択し、更にその中から、最も動き量が大きい被写体の動きベクトル（１０１１）を検出し、これを主要部位の被写体の動きベクトルとする。

続いて、該当する主要部位の被写体の動きベクトルの補正する処理について、図１０の（ｂ）、（ｃ）を用いて詳しく説明を行う。主要部位の被写体の動きベクトルの補正とは、出力の更新レートが遅い動きベクトル算出処理に対して、出力の更新レートが速いウェアラブルデバイス１０２から送信する装着部位の加速度情報を用いて被写体の動きベクトルを補正することで被写体の動きベクトルの更新レートを疑似的に向上させ、被写体の動き変化に対応する被写体の動きベクトルを得る処理である。

図１０の（ｂ）は、被写体の動きベクトルと被写体動き情報の取得タイミングを示した図である。

被写体の動きベクトルは時系列的に連続する２フレーム以上の準備撮影画像を用いて、被写体の動きベクトルに用いる準備撮影画像間の移動量を求めるものである。例えば、被写体の動きベクトル１０３１を求めるためには、少なくとも準備撮影画像１０２１と１０２２の２フレームをカメラ１０１が取得するまで求めることができない。また、次の被写体の動きベクトル１０３２を求めるためには、準備撮影画像１０２３を取得するまで算出することができない。この、被写体の動きベクトル１０３１から被写体の動きベクトル１０３２を算出するまでのブランク期間１０４１の間に被写体の動きが急に変わった場合には、被写体の動きベクトルの更新レートが遅いため、そのタイミングの被写体の動きが正しく検出できない。一方ウェアラブルデバイス１０２で検出される被写体動き情報としての加速度情報は、準備撮影画像に依存せず、デバイスの動きを直接検出することができるため、一般的に高速な検出が可能である（１０５１）。

一般的なカメラ１０１であるデジタルカメラで取得できる準備撮影画像は高速でも１２０ｆｐｓ程度であるため、被写体の動きベクトルは１２０ｆｐｓ以下の更新レートとなる。一方、一般的なウェアラブルデバイス１０２であるスマートフォンに搭載されている加速度センサ１４６の出力更新レートは被写体の動きベクトルの出力更新レートの１０～１００倍以上である。

そのため、ウェアラブルデバイス１０２で検出した加速度情報を用いて画像処理部１２４が被写体の動きベクトルを補正することでより、被写体の動きベクトルが更新されない期間においても精度が高い被写体の動きベクトルを求めることができる。また、被写体の動きベクトルは準備撮影画像に依存するので、低コントラストの被写体や、蓄積ブレやピンボケが発生している画像からでは被写体の動きベクトルが求まらない場合がある。すなわち、カメラ１０１のみでは被写体動き情報を取得できない場合があり、ベクトルの更新レートが遅くなる可能性がある。したがって、更新レートの早いウェアラブルデバイス１０２によるセンサ情報を用いて被写体の動きベクトルを補正して更新することは有効である。

続いて、図１０（ｃ）を用いて、主要部位の動きベクトルの補正処理について説明する。図１０（ｃ）は、主要部位の被写体の動きベクトル１０６１、被写体の動きベクトルの更新前に被写体の動きが遅くなった時に補正した被写体の動きベクトル１０６２、被写体の動きが早くなった時に補正した被写体の動きベクトル１０６３を表している。

なお、画像に対しての主要部位の動きベクトルは、角度と複数方向の大きさを持つため式１を用いてベクトルの大きさに変換する。一般的に画像に用いる動きベクトルは２次元座標上の方向性を持つため、式１を適用することで、スカラーとしてベクトルの大きさに変換できる。

被写体の動きベクトルの補正の方法は、被写体の動きベクトルが更新された時点までの主要部位の加速度変化に対応するゲイン処理を行うことで可能である。従って、ウェアラブルデバイス１０２が検出した主要部位の加速度情報を用いて、算出した加速度変化量をα（加速度が変化無しの場合は１）とすると、被写体の動きベクトルの補正は式２のように表すことができる。
補正後の被写体の動きベクトル＝α×被写体の動きベクトル…式２

上記式１の式を用いて主要部位の被写体の動きベクトルを補正すると、加速度変化量αが１より小さい場合は１０６２となり、逆に加速度変化量αが１より大きい場合は１０６３のように補正前の被写体の動きベクトルから換算する。このような被写体の動きベクトルの補正を行い、リアルタイムの被写体の動きと極力時間差が発生しない様に主要部位のブレ量を求める。

続いてステップＳ７０４において、制御部１０１の指示の下、カメラ１００の不図示のブレ量推定部が、上記ステップの処理で算出した主要部位の被写体の動きベクトルと、ユーザの設定するシャッタースピードにおいて被写体で発生する動きブレ量を推定する。この被写体動きブレ量は、被写体の動きベクトルを算出する準備撮影画像の撮像フレームレートと、ユーザがカメラ１０１に設定するシャッタースピードと、被写体の動きベクトルを用いて以下の式で算出する。
被写体動きブレ量＝被写体の動きベクトル＊
（フレームレート（ｆｐｓ）／シャッタースピード（ｓ））…式３

上記式３に関して被写体の動きベクトルと、被写体動きブレ量の関係について図１１を用いて説明する。図１１は、被写体の動きベクトルと被写体動きブレ量との関係を示した図である。例えば、フレームレート６０ｆｐｓで更新する準備撮影画像の前後フレームを用いて被写体の動きベクトルを算出するため、被写体の動きベクトル１１０１も更新フレームレートは６０ｆｐｓとなる。一方、被写体動きブレ量は、露光中に被写体が動いたブレ量のため、ユーザが設定したシャッタースピードに対応する。例えばユーザがシャッタースピードを１／１２０秒に設定した場合、被写体の動きベクトルを求める準備撮影画像の前後フレーム間は、１／６０秒となる。したがって、被写体の動きベクトル１１０１が１０ｐｉｘとすると、その半分の長さの５ｐｉｘが被写体動きブレ量１１０２となる。

続いて、ステップＳ７０５においてカメラ１０１は、ステップＳ７０４で算出した被写体動きブレ量と許容動き量を比較し、許容動き量以下の被写体ブレ量になるように次に撮影する準備撮影画像のシャッタースピード変更し、準備撮影画像の撮影条件を変更する。許容動き量とは、所定のシャッタースピードで撮影した場合に動きブレとして目立たない程度に収まる動きブレ量である。許容動き量の大きさはＣＣＤやＣＭＯＳセンサ等の撮像素子のサイズ、画素数、そして、表示するディスプレイの解像度によって決まる。例えば、撮像素子が、ＡＰＳ－Ｃで、画素数が２０万画素、フルＨＤ（１９２０×１０８０画素）のＰＣディスプレイにおける許容動き量を５ｐｉｘｅｌ以下とする。許容動き量以下の動きブレ量になるようにカメラ１０１が準備撮影画像を撮像するには、以下の式４、式５を用いてシャッタースピードを決定する。
ｎ＝被写体動きブレ量／許容動き量・・・式４

この時、式４によって求めたｎが１よりも大きければ、現在設定しているシャッタースピードで撮影すると、被写体ブレが発生する可能性が高いことを示し、１以下であれば、被写体ブレが発生する可能性が低いシャッタースピードであることを意味する。そのため、被写体ブレの発生が少なくなる適切なシャッタースピードは、以下の式５を用いて算出する。
更新シャッタースピード（ｓ）≦設定シャッタースピード（ｓ）＊１／ｎ・・・式５

具体的な数値を用いて説明すると、図１１の動きブレ量１１０２は５ｐｉｘであり、許容動き量も５ｐｉｘである。そのため、式４によりｎ＝１となり、現在設定しているシャッタースピードは被写体ブレの影響が小さいことが分かる。そのため、式５により準備撮影画像の撮影条件（そのまま変更しない場合実際露光する撮影条件となる）としてのシャッタースピードは、１／１２０より速い露光時間を設定すればよい（今回の場合は１／１２０ｓから変更しない）。また、撮影に十分な光量がある場合には、ＩＳＯ感度や、絞りとの兼ね合いでシャッタースピードを更に１／２５０より早く設定しても良い。

以上、準備撮影画像の撮影条件としてシャッタースピードを更新する例について説明した。なお、より被写体の動きベクトルを検出する精度を上げるために、準備撮影画像を撮影するフレームレートを上げ、被写体の動きベクトルを算出する更新レートを早くしても良い。更新レートを速くする条件は以下のようになる。

更新フレームレート（ｆｐｓ）≧設定フレームレート（ｆｐｓ）＊ｎ・・・式６
上記のフレームレートやシャッタースピードは、動き検出を行うために重要な撮影条件である。また、適正の明るさで撮像するために、フレームレートやシャッタースピードの変更に伴い、絞り値、ＩＳＯ感度も変更し、露出値が変わらないように制御する。

ステップＳ３０３の詳細な処理について、図７のステップＳ７０１～ステップＳ７０５の処理を用いて準備撮影画像の撮影条件（そのまま変更しなければ本番撮影も同じ撮影条件のまま）を決定する処理について説明を行った。

以上、実施例１における撮像システム１００の処理について説明を行った。具体的には、ウェアラブルデバイス１０２を通して被写体動き情報をセンシングする。そして、ウェアラブルデバイス１０２が取得した被写体動き情報を補助情報として、被写体の動きベクトルを更新し、カメラ１０１の撮影条件を決定する。本発明によると、ウェアラブルデバイス１０２と連携し、カメラ１０１で算出した被写体の動きベクトルの検出精度を高め、被写体ブレが少なくなるシャッタースピードを設定することが可能となる。これにより撮影者はカメラに触れることなく撮影者が望む被写体の動きを所望のブレ以下に抑えるようにシャッタースピードを設定し、撮影の露光調整を行うことを実現できる。本発明により、オート撮影の利用シーンを広げることが可能である。

実施例１において、動きブレ量を算出する場合に、被写体の動きベクトルをユーザの設定しているシャッタースピードに合わせて換算することで、動きブレ量を算出する方法に関して説明した。なお、動きブレ量の算出は、シャッタースピードに合わせて換算しなくても良い。たとえば、被写体の動きベクトルに対して、予め設定した閾値を比較して、閾値を超えた場合にシャッタースピードを現在の設定値よりも速い値に変更することで、簡易的に同様の処理が実現可能である。

実施例１では、被写体の主要部位を特定し、主要部位における被写体の動きベクトルを選択する方法を説明した。なお、準備撮影画像から求めた被写体の動きベクトルから最も動きが速い被写体の動きベクトルを選択しても良い。

実施例１では、被写体の主要部位を特定し、主要部位における被写体の動きベクトルを選択する方法を説明した。なお、カメラ１０１にウェアラブルデバイス１０２に搭載している加速度センサ１４６同様の加速度センサが搭載されている場合には、カメラ１０１に搭載されている加速度センサの動きとは別の被写体の動きベクトルを選択しても良い。カメラ１０１に搭載される加速度センサにはカメラ１０１を動かした本体の動き情報が得られるため、それと異なる動きベクトルを選択することで主要な動き被写体以外の動き情報を振るい落とすことが可能となる。

実施例１では、被写体の主要部位を特定し、主要部位における被写体の動きベクトルを選択する方法を説明した。なお、算出した被写体の動きベクトルのうち、カメラ１０１で撮影する際の画角の中央に写る範囲や、画像内でオートフォーカスの対象となっている領域付近の被写体の動きベクトルを選択しても良い。

実施例１では、被写体の主要部位を特定し、主要部位における被写体の動きベクトルを選択する方法を説明した。なお、準備撮影画像にウェアラブルデバイス１０２が映っている場合には、画像から直接ウェアラブルデバイス１０２の位置を検出しても良い。

また、主要部位の被写体の動きベクトルを選択する前に、準備撮影画像から求めた被写体の動きベクトルに対して、選別処理を行っても良い。例えば、被写体の動きベクトルを求める過程で行うテンプレートマッチングなどの演算では、相関値演算などを行う。その際相関値が予め定めた閾値よりも低くなったベクトルに対しては、信頼度が低い（信頼度が閾値以下）被写体の動きベクトルと判定する。これにより、相関値が閾値以上（信頼度が閾値以上）の、より精度が高い被写体の動きベクトルだけを抽出することが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態（実施例２）について図面を参照して詳細に説明する。実施例２では、本露光処理中の被写体動きブレ量を基に露光制御を行うことで、被写体の動きブレ量を軽減した画像を取得することができる。なお、実施例２の撮像システム１００のウェアラブルデバイス１０２側の処理は、実施例１と同様のため説明を省略する。実施例２の特徴となるカメラ１０１の制御部１１２で行う動作を図１３のフローチャートを用いて説明を行う。なお、以下の処理は、撮像システム１００としてカメラ１０１は、ＲＯＭ１１３に記憶されたプログラムに従って、制御部１１２が装置の各部を制御することで実現される。また、ウェアラブルデバイス１０２は、ＲＯＭ１５１に記録されたプログラムに従って、制御部１３８が装置の各部を制御することによって実現される。実施例１と同じステップの処理については同符号を付与し、詳細な説明は省略する。

まず、図４を用いてカメラ１０１の撮影動作を説明する。図４のステップＳ３０１～ステップＳ３０５までの処理は、実施例１の図３のステップＳ３０１～ステップＳ３０５の処理と同じため説明を省略する。実施例２では、ステップＳ４０１の本露光の処理が実施例１と異なる。

ステップＳ４０１では、カメラ１０１は、露光中の被写体の着目部位に対する動きブレ量に基づいて、露光の中断処理を行い被写体ブレの発生を抑えた撮影を行う。

続いて、露光中の被写体の着目部位に対する動きブレ量に基づいて、カメラ１０１の制御部１１２が行うステップＳ４０１の本露光処理の制御について図１３のフローチャートを用いて詳しく説明する。

図１３のステップＳ３０６は、実施例１のステップＳ３０６と同様にカメラ１０１は本露光処理を開始する。

具体的に本露光処理を行う際の電子先幕シャッタの構成と撮影動作について図１４、図１５を用いて詳細に説明する。

図１４は、撮像素子１２２およびメカ後幕１４０３をレンズ側から光軸方向に沿ってみた様子を示す正面図である。撮影が開始された後の撮像素子１２２で行われるリセット走査及び、メカ後幕１４０３の走行が途中である時の状態を示している。矢印１４０１は、リセット走査の操作方向（電子先幕１４０７の走行方向）とメカ後幕１４０３の走行方向を示している。図１のメカシャッタ１１８で構成されるメカ後幕１４０３が、撮像素子１２２の一部の領域を遮光している状態が示されている。更にリセットライン１４０８は、撮像素子１２２で行われるリセット走査のライン（リセットライン）であり、画素の電荷蓄積量がゼロにリセットする動作として、電子先幕１４０７の端部に相当する。リセットライン１４０８とメカ後幕１４０３の端部１４０５との間のスリットによって形成される領域１４０６は、電子先幕１４０７とメカ後幕１４０３の走行にしたがって矢印１４０１の方向へ移動していくように制御する。リセットライン１４０８が通過してから、つまり画素が矢印１４０１の方向ヘライン毎に順次リセットされてから、メカ後幕１４０３によって遮光状態となるまでの時間が、画素の露光による電荷蓄積時間となる。このように、リセットライン１４０８が矢印１４０１の方向へ走行してライン毎の電荷蓄積が開始されるので、電荷蓄積の開始タイミングは撮像素子１２２のライン毎にも異なる。

図１５を用いて電荷蓄積のタイミングを詳しく説明する。図１５（ａ）は、電荷のリセットと読み出し開始の概念図、図１５（ｂ）は、ライン毎の電荷のリセットと読み出しのタイミング説明図となっている。図１５（ｂ）のライン１５０１～ライン１５１０は、ライン毎に電荷をリセット処理されるタイミングを表しており、最初に端部のライン１５０１が電荷を読み出した後、電荷をリセットする動作を行う。逆に、端部のライン１５１０が最後にリセットされるラインである。このように、ライン毎にリセットのタイミングを制御している。ライン毎にリセットのタイミングが異なるため、電荷の蓄積時間が各ラインで揃うように、電荷の読み出し時間もライン１５１１～ライン１５２０でライン毎に同じ露光時間になるように制御部１１２が制御する。

図１３のステップＳ１３０１において、制御部１１２は、図４のステップＳ３０３で検出した本露光直前のカメラ１０１の画像処理部１２４で算出した被写体の動きベクトルに対して補正を行う。被写体の動きベクトルの補正は露光中のウェアラブルデバイス１０２からの被写体動き情報に含まれる加速度センサ１４６の出力を基に行う。本露光が始まると、カメラ１０１は撮像素子１２２が複数存在しない限り、準備撮影画像を撮像することができなくなる。したがって、本露光中は被写体の動きベクトルを更新できない。そのため、ここでは本露光直前までに算出した着目部位における被写体の動きベクトルに対して推定を行う。推定には加速度センサ１４６の加速度情報を用いて、実施例１のステップＳ７０３の処理に相当する主要部位の被写体の動きベクトルの補正を行い、その後動きブレ量に変換する処理を行う。以上の処理により、カメラ１０１の本露光中においても動きブレ量を推定することが可能となる。

ステップＳ１３０２において、カメラ１０１の制御部１１２は、ステップＳ１３０１で推定した動きブレ量が許容動き量を超えるかを判断する。許容動き量を超えた場合には、ステップＳ１３０３の処理に進む。逆に許容ブレ量を超えなかった場合にはステップＳ１３０４の処理に進む。

ステップＳ１３０４において、カメラ１０１の制御部１１２は、図４のステップＳ３０３で求める撮影条件を満たしているかを判断する。撮影条件とは主に、露光中の蓄積ブレに影響するかを判断する。これは、本露光前に設定したシャッタースピードに対応する露光時間を満たしたかどうかで判断が可能である。撮影条件を満たしている場合には、ステップＳ１３０５の処理に進み露光を終了する。

ステップＳ１３０３で、カメラ１０１の制御部１１２は撮像素子１２２にこれ以上の露光が継続すると画像に被写体ブレが発生すると判断し、撮影条件に設定されている露光時間よりも早く、メカシャッタ１１８を閉じる。これにより、撮像素子１２２への入光が遮断される。続いてステップＳ１３０５の処理に進み露光を終了する。ステップＳ１３０３における露光打ち切り制御を行う方法については図１６を用いて詳しく説明する。

図１６は、本露光処理中に被写体動きブレ量が許容動き量（許容閾値）を超えた場合に、カメラ１０１の制御部１１２がメカ後幕を制御し、露光中断を行う処理のタイミングチャートを示したものである。本露光中の画像に被写体ブレが発生しそうな状況になった場合にメカ後幕を制御し、露光時間の制御を行うことで、被写体ブレの軽減を実現する。

図１６のライン１５０１～ライン１５１０（図１５（ｂ）と撮影条件は同じ）は、リセットラインである。ライン１５０１のリセット処理を開始した後に外光が撮像素子１２２に届き、電荷の蓄積が開始される。露光中のカメラ１０１本体の動きによって画像に蓄積ブレが発生しない場合には、次のリセット処理のライン１５１１～ライン１５２０（図１５（ｂ）と撮影条件は同じ）まで電荷が蓄積される。今回は、露光中に被写体動きブレ量が許容動き量を超えた場合に電荷の蓄積を制御する方法を説明する。

制御部１１２は、図１６の先頭リセットライン１５０１のリセット処理を実行し露光を開始する。この時、被写体動きブレ量が大きくなり、図１６の１６１１のタイミングで被写体動きブレ量の許容閾値を超えることを検出すると、制御部１１２はメカ後幕を駆動し、撮像素子１２２に外光が届かないようにメカシャッタ１１８を閉じる。メカシャッタ１１８の働きにより、図１６の１６０１～１６１０の間が実際の露光時間となる。つまり、１６０１～１６１０からライン１５１１～ライン１５２０の間の時間は露光されないため、撮像素子１２２に電荷が蓄積されない。したがって、被写体の動きによって発生する写体ブレを防ぐことができる。メカシャッタ１１８の制御で電荷の蓄積をストップしたが、メカシャッタ１１８が搭載されていないシャッタに関しては、パルス発生部１２６よりリセットパルスを発生させて電荷の蓄積を中断させることで同様の処理が可能である。

続いて図１３のステップＳ１３０６において制御部１１２は、設定した露光時間になったかどうかを判断する。まだ設定した露光時間よりも短いと判断した場合には、ステップＳ１３０７の処理に進む。

ステップＳ１３０７で、制御部１１２は画像データ取得時に不足した露光時間に対し、画像データが本来の露光時間の明るさになるように差分の露光時間分をデジタルゲインとして、取得した画像データに掛ける信号処理を行う。なお、露光時間の差分から求めるデジタルゲインは、以下の式から求められる。

デジタルゲイン＝撮像開始時に設定した露光時間／（撮像開始時に設定した露光時間－
露光開始からメカシャッタを切った時間）・・・式７
式７で算出したデジタルゲインを画像データに掛けることで、画像データの明るさを期待していた露光時間相当の明るさに補正する。より厳密にゲイン補正を行う場合には、画像データの水平ライン毎にデジタルゲインを算出し、画像データに水平ライン毎のデジタルゲインを掛けてもよい。

一方、設定した露光時間になった場合には、制御部１１２は、ライン毎の電荷の読み出しを行い、読み出しが終わったラインから電荷のリセット処理を行うことで、カメラ１０１の露光を終了し、画像データを取得する。

続いて、画像処理部１２４が行うステップＳ１３０７にて不足した露光量に対する補正処理について図１２を用いて詳しく説明する。一例として、図１２の画像信号１２０１は目標露光量で撮像した際の画像信号、画像信号１２０２は途中で露光を中断したため、露光時間が不足し目標露光量に届かない画像信号を示す。図１２は、横軸を被写体輝度とし、横軸の被写体輝度の際の画像信号レベルを縦軸で示している。例えば、画像信号１２０２は目標露光量となる１２０１に比べ、露光時間が半分で撮像した場合の画像信号となっている。カメラ１０１が撮像するときの露光量は、一般的にＦ値、ＩＳＯ感度とシャッタースピード（露光時間）によって決まる。そのため、露光を途中で中断することで露光量は、露光時間が短くなった分だけ目標露光量と比べ不足する。露光時間が半分になった場合には、露光量は半分となる。よって、２倍のデジタルゲインをかけることで、画像信号１２０２は、画像信号１２０１と同じ露光量に調整することができ、本来の目標露光量を取得できる。以上の処理を撮像素子１２２のライン単位で補正していくことで、露光が中断された場合でも、本来の目標露光量の明るさで被写体を撮影することが可能となる。

以上、実施例２の撮像システム１００が、露光中に被写体のブレの大きさに基づいて露光を制御する方法について図１３のフローチャートを用いて説明を行った。これらの処理により、露光中でシャッタースピードを変えることが難しい状況でも、露光時間を制御することで、被写体ブレを軽減した画像を取得することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態（実施例３）について図面を参照して詳細に説明する。実施例３では、撮影対象である複数人の被写体がウェアラブルデバイス１０２を装着し、カメラ１０１は外部に設定した構成をとる。複数人の被写体がウェアラブルデバイス１０２を装着しているシーン例を図１７に示す。図１７は、被写体Ａ～被写体Ｆの６人の被写体が、１７０１～１７０８のウェアラブルデバイス１０２を装着している例を示している。被写体Ａは１７０１、被写体Ｂは１７０２、１７０３、１７０４、被写体Ｃは１７０５、被写体Ｄは１７０６、被写体Ｅは１７０７、被写体Ｆは１７０８のウェアラブルデバイス１０２を装着している例である。これらウェアラブルデバイス１０２を通して各々の被写体の被写体動き情報をセンシングし、取得した被写体動き情報を補助情報として、カメラ１０１の撮影条件を決定する。なお、実施例３の撮像システム１００のウェアラブルデバイス１０２側の処理は、実施例１と同様のため説明を省略する。実施例３の特徴となるカメラ１０１の制御部１１２で行う動作を図１８のフローチャートを用いて説明を行う。なお、以下の処理は、撮像システム１００としてカメラ１０１は、ＲＯＭ１１３に記憶されたプログラムに従って、制御部１１２が装置の各部を制御することで実現される。また、ウェアラブルデバイス１０２は、ＲＯＭ１５１に記録されたプログラムに従って、制御部１３８が装置の各部を制御することによって実現される。実施例１と同じステップの処理については同符号を付与し、詳細な説明は省略する。

カメラ１０１の撮影動作については、実施例１の図３のステップＳ３０１～ステップＳ３０６の処理と同じため説明を省略する。実施例３の特徴であるステップＳ３０３の処理について図１８のフローチャートを参照して説明するが、実施例１の図７のステップＳ７０１～ステップＳ７０５の処理と同じ処理をする部分については説明を省略する。

図１８のステップＳ７０１において、カメラ１０１の制御部１１２は、初期撮影条件をカメラ１０１のＲＯＭ１１３から読み出し、条件に従って準備撮影画像を連続して撮像する。

ステップＳ７０２では、ステップＳ７０１で撮影した時系列的に連続する準備撮影画像からカメラ１０１の画像処理部１２４が被写体の動きベクトルを算出する。

ステップＳ１８０１では、ステップＳ７０１で撮影した時系列的に連続する準備撮影画像からカメラ１０１の画像処理部１２４において被写体を検出する。被写体を検出する方法としては、一般的な被写体検出技術などの手法を用いる。例えば、顔・顔器官検出や頭部検出などが挙げられる。顔・顔器官検出や頭部検出は、撮影された画像から、パターン認識や機械学習に基づく手法により、人物の顔及び器官や頭部が存在する領域を検出する方法である。

ステップＳ１８０２では、画像処理部１２４がステップＳ１８０１において検出された被写体が１人なのか複数人なのかを判定する。１人と判定された場合はステップＳ１８０４に進み、複数人と判定された場合は、ステップＳ１８０３に進む。

ステップＳ１８０３では、ステップＳ１８０２において検出された被写体が複数人であったため、ウェアラブルデバイス１０２を装着している人の中から、カメラ１０１の画像処理部１２４において主要被写体を検出する。主要被写体の検出方法としては、一般的な主要被写体検出の手法を用いてよい。例えば、準備撮影画像において、画角における被写体の占める面積が一番大きい人や、準備撮影画像の中心に一番近い人を主要被写体として検出する。もしくは、ユーザが予め主要被写体としてカメラ１０１のＲＯＭ１１３に登録している人を主要被写体として検出する構成としてもよい。

ステップＳ１８０４では、カメラ１０１の制御部１１２はステップＳ１８０３で主要被写体と検出された人が装着しているウェアラブルデバイス１０２が１つなのか複数個なのかを判定する。１つと判定された場合はステップＳ１８０６に進み、複数個と判定された場合はステップＳ１８０５に進む。ウェアラブルデバイス１０２の個数の判定方法としては、予めユーザが各々の被写体が装着するウェアラブルデバイス１０２をカメラ１０１のＲＯＭ１１３に登録してもよい。また、実施例１における図５のステップＳ５０３で説明したように、ステップＳ１８０１において検出された各々の被写体のどこの部位にウェアラブルデバイス１０２が装着されているかをカメラ１０１の画像処理部１２４において特定することにより、ウェアラブルデバイス１０２の個数を判定する方法でもよい。また、カメラ１０１の通信部１１５とウェアラブルデバイス１０２の通信モジュール１３１が通信を行うことで個数を判定する方法も可能である。

ステップＳ１８０５では、ステップＳ１８０２、ステップＳ１８０３を通して主要被写体と検出された人が装着しているウェアラブルデバイス１０２がステップＳ１８０４において複数個であると判定されたため、複数個のウェアラブルデバイス１０２の中で主要なウェアラブルデバイス１０２を検出する。主要なウェアラブルデバイス１０２の検出方法について図１９のフローチャートを用いて詳細に説明する。

ステップＳ１９０１において、カメラ１０１の制御部１１２は、ユーザにより予めウェアラブルデバイス１０２の優先度が設定されているか否かを判定する。優先度が設定されていると判定された場合は、ステップＳ１９０４に進み、優先度が設定されていないと判定された場合は、ステップＳ１９０２に進む。

予めユーザによって優先度が設定されている例として、図２０にカメラ１０１の表示部１２７のユーザが設定可能なウェアラブルデバイス１０２の優先順位の設定画面例を示す。表示部１２７は、表示部だけでなく、タッチパネルとしてユーザが設定値を入力することも可能な構成にしてもよい。図２０において２０００は、ウェアラブルデバイス１０２の優先順位を設定する設定画面例である。２００１は被写体ＩＤであり、図１７のイメージ図の被写体Ａ～被写体Ｆを示す。２００２は、ウェアラブルデバイス１０２ＩＤであり、図１７のイメージ図の１７０１～１７０８のウェアラブルデバイス１０２を示す。２００３は、ウェアラブルデバイス１０２の優先順位を示している。この設定画面例では、ユーザが被写体Ｂの１７０４のウェアラブルデバイス１０２の優先順位を１番高く設定している例である。

ステップＳ１９０２において、カメラ１０１の制御部１１２は準備撮影画像の所定領域内に一定期間位置しているウェアラブルデバイス１０２を検出する。例えば、所定領域内として準備撮影画像の画角を１００％とした場合に、準備撮影画像の中心座標を中心とした９０％の矩形範囲内に任意に設定した閾値の時間以上存在しているウェアラブルデバイス１０２を検出する。

ステップＳ１９０３において、カメラ１０１の制御部１１２はステップＳ１９０２で検出されたウェアラブルデバイス１０２の不図示の優先度算出部において、優先度を算出する。優先度の算出はユーザによって、優先度決めする項目が予め設定されており、その設定内容に従って優先度を算出する。設定画面例を図２１に示す。２１００は、ウェアラブルデバイス１０２の優先度決めの項目を設定する設定画面である。２１０１は、優先度決めの項目内容であり、例えば、「加速度の速さ順」、「装着部位（頭・胴体・手・足）の設定」、「画角内における顔の面積」、「画角内における装着部位の面積」、「画角中心とウェアラブルデバイス１０２との距離順」、「顔中心とウェアラブルデバイス１０２との距離順」、「顔検出信頼度」などの項目がある。「加速度の速さ順」とは、加速度の速さの順序が速いウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。「装着部位」とは、頭・胴体・手・足の部位の中で、どの部位に装着しているウェアラブルデバイス１０２の優先度を高くするかを設定する項目である。「画角内における顔の面積」とは、画角内に存在する顔検出された顔の面積比率が大きい人が装着しているウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。「画角内における装着部位の面積」とは、画角内に存在する頭・胴体・手・足の部位の面積比率が大きいウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。「画角中心とウェアラブルデバイス１０２との距離順」とは、画角の中心座標と各装着されているウェアラブルデバイス１０２の中心座標の距離が短いウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。「顔中心とウェアラブルデバイス１０２との距離順」とは、顔中心座標と各装着されているウェアラブルデバイス１０２の中心座標の距離が短いウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。「顔検出信頼度」とは、顔検出の信頼度が高い人が装着しているウェアラブルデバイス１０２の優先度を高くしたい場合に設定する項目である。２１０２は、主要ウェアラブルデバイス１０２の優先度決めの基準とする項目であり、２１０１の項目内容に対し、ユーザが選択した項目にチェックが入っている。

優先度の算出方法について図２２（ａ）を用いて説明する。例えば、図２１で説明したように優先度決めの項目を設定した場合、設定した各々の項目に対してスコアを算出した後に、各々のスコアを加算した合計値を算出する。合計値のスコアが高いものから順にウェアラブルデバイス１０２の優先順とし、ステップＳ１９０１で説明した図２０と同様に各々のウェアラブルデバイス１０２に対する優先順位を決定する。

合計値のスコアの算出方法について図２２（ａ）を用いて説明する。

図２２（ａ）において、２２０１は、被写体ＩＤであり、図１７のイメージ図の被写体Ａ～被写体Ｆを示す。２２０２は、ウェアラブルデバイス１０２ＩＤであり、図１７のイメージ図の１７０１～１７０８のウェアラブルデバイス１０２を示す。２２０３は、「加速度の速さ順」のスコア値であり、速さの順位が高いウェアラブルデバイス１０２ほどスコア値が高くなる。２２０４は、「装着部位」であり、図２１では手を選択している為、手に装着したウェアラブルデバイス１０２のスコア値が高くなる。２２０５は、「画角中心とウェアラブルデバイス１０２との距離順」であり、画角中心とウェアラブルデバイス１０２の距離が近いほど、スコア値が高くなる。２２０６は、「顔検出信頼度順」であり、各々の被写体の顔検出の信頼度が高いほど、スコア値が高くなる。２２０７は、合計スコア値であり、２２０３～２２０６で算出したスコア値の合計値である。例えば、ステップＳ１８０３において、主要被写体が被写体Ｂと検出された場合を考える。被写体Ｂは、１７０２、１７０３、１７０４の３つのウェアラブルデバイス１０２を装着している。そして、優先度決めの項目として「装着部位」が手に設定されている場合、１７０３のウェアラブルデバイス１０２の合計スコア値が１番大きくなり、優先順位が１番高くなる。算出した合計スコア値を基に優先順位を付けた場合の優先順位の結果を図２２（ｂ）に示す。図２２（ｂ）において、２２０８は、被写体ＩＤであり図１７のイメージ図の被写体Ａ～被写体Ｆを示す。２２０９は、ウェアラブルデバイス１０２ＩＤであり、図１７のイメージ図の１７０１～１７０８のウェアラブルデバイス１０２を示す。２２１０は、ウェアラブルデバイス１０２の優先順位を示している。

仮に、被写体Ｂが右手・左手の２つにウェアラブルデバイス１０２を付けていた場合は、「装着部位」のスコア値は共に同じ１００になるので、その他の項目のスコア値が高い方ほど優先度が高くなる。

ステップＳ１９０４において、カメラ１０１の制御部１１２は、ステップＳ１９０１もしくはステップＳ１９０３で算出された優先順位に応じて、優先順位が１番高いウェアラブルデバイス１０２を主要なウェアラブルデバイス１０２（主要センサ装置）と仮決定する。

ステップＳ１９０５において、カメラ１０１の制御部１１２は、ステップＳ１９０４で仮決定されたウェアラブルデバイス１０２が、準備撮影画像において所定領域内に一定期間位置しているか判定する。例えば、所定領域内として準備撮影画像の画角を１００％とした場合に、準備撮影画像の中心座標を中心とした９０％の矩形範囲内に任意に設定した閾値の時間以上存在していれば、ステップＳ１９０７に進む。存在していなければ、ステップＳ１９０６に進む。

ステップＳ１９０６において、カメラ１０１の制御部１１２は、ステップＳ１９０４で仮決定したウェアラブルデバイス１０２の次に優先度が高いウェアラブルデバイス１０２を主要なウェアラブルデバイス１０２と仮決定する。その後、ステップＳ１９０５へと進み、主要なウェアラブルデバイス１０２が決定されるステップＳ１９０７に進むまでこの判定を繰り返す。仮にこの判定を繰り返した後に、ステップＳ１９０１もしくはステップＳ１９０３で決定した優先順位のウェアラブルデバイス１０２のうち、いずれのウェアラブルデバイス１０２も準備撮影画像の所定領域内に一定期間位置していないと判定された場合は、カメラ１０１は、デフォルトとして予め設定していたウェアラブルデバイス１０２を次のステップＳ１９０７で主要ウェアラブルデバイス１０２として決定する。

ステップＳ１９０７において、カメラ１０１の制御部１１２は、ステップＳ１９０４もしくは、ステップＳ１９０６で仮決めされたウェアラブルデバイス１０２を主要ウェアラブルデバイス１０２として検出する。

続いて図１８のステップＳ１８０６では、カメラ１０１の制御部１１２は、図１９のフローの検出結果に基づき、次のステップでウェアラブルデバイス１０２の情報を取得するために、主要なウェアラブルデバイス１０２を決定する。

ステップＳ７０３において、実施例１のステップＳ７０３と同様にカメラ１０１は、ステップＳ１８０６で決定した主要なウェアラブルデバイス１０２から取得した被写体動き情報とカメラ１０１で求めた被写体の動きベクトルを用いて被写体の主要部位に対応するベクトルを算出する。

ステップＳ７０４では、実施例１のステップＳ７０４と同様に、制御部１０１の指示の下、カメラ１００の不図示のブレ量推定部は、上記ステップの処理で算出した主要部位の被写体の動きベクトルと、ユーザの設定するシャッタースピードにおいて被写体で発生する動きブレ量を推定する。

ステップＳ７０５では、実施例１のステップＳ７０５と同様にカメラ１０１は、ステップＳ７０４で算出した被写体動きブレ量と許容動き量を比較し、許容動き量以下の被写体ブレ量になるように次に撮影する準備撮影画像のシャッタースピード変更し、準備撮影画像の撮影条件を変更する。

以上、実施例３の撮像システム１００の処理について説明を行った。具体的には、被写体が複数人のシーンにおいても、装着されている複数個のウェアラブルデバイス１０２から主要なウェアラブルデバイス１０２を決定し、主要なウェアラブルデバイス１０２を通して被写体動き情報をセンシングし、ウェアラブルデバイス１０２が取得した被写体動き情報を補助情報として、被写体の動きベクトルを更新し、カメラ１０１の撮影条件を決定し、被写体ブレを軽減した画像を取得することが可能となる。

なお、ウェアラブルデバイス１０２の優先度決めの項目として「加速度の速さ順」、「装着部位（頭・胴体・手・足）の設定」、「画角内における顔の面積」、「画角内における装着部位の面積」、「画角中心とウェアラブルデバイス１０２との距離順」、「顔中心とウェアラブルデバイス１０２との距離順」、「顔検出信頼度」の項目で説明したがこれに限るものではない。例えば、「カメラと被写体の距離」や「カメラとウェアラブルデバイス１０２の距離」が近いほどスコアを高く算出し、優先順位を高くする構成にしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像システム
１０１ カメラ
１２１ 光学系
１２２ 撮像素子
１２３ Ａ／Ｄ変換部
１２４ 画像処理部
１２５ 記録部
１２６ パルス発生部
１２７ 表示部
１１８ メカシャッタ
１１９ ジャイロセンサ
１１１ 垂直駆動変調部
１１２ 制御部
１１３ ＲＯＭ
１１４ ＲＡＭ
１１５ 通信部
１０２ ウェアラブルデバイス
１３２ 電源モジュール
１３１ 通信モジュール
１３３ コネクタ
１３４ インカメラ
１３５ アウトカメラ
１３６ ライト
１３７ システムメモリ
１３８ 制御部
１３９ スピーカー
１４１ タッチスクリーンディスプレイ
１４２ 液晶ディスプレイ
１４３ タッチスクリーン
１４４ スイッチ
１４５ 照度センサ
１４７ ジャイロセンサ
１４８ 奥行きセンサ
１５１ ＲＯＭ
１５２ ＲＡＭ
１４６ 加速度センサ

Claims (16)

1. 被写体を撮像する撮像手段と、
   前記撮像手段が撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出手段と、
   前記被写体の動きベクトルの精度について信頼度を算出する算出手段と、
   外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信手段と、
   前記撮像手段の露出の設定を制御する露出制御手段と、を備えた撮像装置と、
   被写体の情報を取得するセンサ手段と、
   前記センサ手段の前記センシング結果を前記撮像装置に送信する送信手段と、を備えた
   前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置からなる撮像システムであって、
   前記撮像装置は、前記送信手段により送信され前記受信手段により受信された前記センシング結果と、前記被写体動き検出手段の結果を用いて前記撮像手段の露出制御を行い、
   前記露出制御手段は前記信頼度が閾値以上の動きベクトルを用いて、前記撮像手段の露出制御を行うことを特徴とする撮像システム。
2. 前記センサ手段は装着した被写体の動きに関する情報を前記センシング結果として出力することを特徴とする請求項１に記載の撮像システム。
3. 前記センサ手段は、前記センサ装置を装着した部位の被写体の動き量、被写体の動きの変化量、被写体の位置の変化、のいずれかに基づく装着した被写体の動きに関する情報をセンシングすることを特徴とする請求項１または２に記載の撮像システム。
4. 前記センサ手段は、前記センサ装置を装着した部位情報を更に取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
5. 前記撮像装置は、前記センサ手段のセンシング結果を基に前記動きベクトルを補正する補正手段をさらに有し、
   前記露出制御手段は前記補正手段が補正した前記動きベクトルを用いて、前記撮像手段の露出制御を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
6. 前記撮像装置は、前記被写体動き検出手段の動きベクトルの算出と、前記露出制御手段で設定する露光時間に基づいて、撮影した際の画像のブレ量を推定するブレ量推定手段を備え、
   前記露出制御手段は前記ブレ量推定手段の結果に基づいて、前記撮像手段の露出制御を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
7. 被写体を撮像する撮像手段と、
   前記撮像手段が撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出手段と、
   外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信手段と、
   前記センシング結果を基に前記動きベクトルを補正する補正手段と、
   前記撮像手段の露出の設定を制御する露出制御手段と、を備えた撮像装置と、
   被写体の情報を取得するセンサ手段と、
   前記センサ手段の前記センシング結果を前記撮像装置に送信する送信手段と、を備えた
   前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置からなる撮像システムであって、
   前記露出制御手段は前記補正手段が補正した前記動きベクトルを用いて、前記撮像手段の露出制御を行うことを特徴とする撮像システム。
8. 被写体を撮像する撮像手段と、
   前記撮像手段が撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出手段と、
   外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信手段と、
   前記撮像手段の露出の設定を制御する露出制御手段と、
   前記被写体動き検出手段の動きベクトルの算出と、前記露出制御手段で設定する露光時間に基づいて、撮影した際の画像のブレ量を推定するブレ量推定手段と、を備えた撮像装置と、
   被写体の情報を取得するセンサ手段と、
   前記センサ手段の前記センシング結果を前記撮像装置に送信する送信手段と、を備えた
   前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置からなる撮像システムであって、
   前記露出制御手段は前記ブレ量推定手段の結果に基づいて、前記撮像手段の露出制御を行うことを特徴とする撮像システム。
9. 前記センサ手段の出力の更新は、前記被写体動き検出手段の出力の更新よりも速いことを特徴とする請求項１乃至８のいずれか１項に記載の撮像システム。
10. 前記露出制御手段は、前記撮像手段で露光を開始した後に、電荷の蓄積量を制御することを特徴とする請求項１乃至９のいずれか１項に記載の撮像システム。
11. 前記撮像装置は、前記センサ装置が複数ある場合に、複数のセンサ装置の優先度に関する情報を取得することで、前記センシング結果を取得するセンサ装置を決定する決定手段をさらに有し、
    前記露出制御手段は、前記決定されたセンサ装置のセンシング結果と、前記被写体動き検出手段の結果を用いて前記撮像装置の露出を制御することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像システム。
12. 前記決定手段は、前記複数のセンサ装置それぞれに対する優先度を算出し、
    前記優先度は、センサ装置の加速度が大きい、画像の中心からの距離が近い、カメラからの距離が近い、センサ装置を装着している被写体の面積が大きい、センサ装置を装着している部位の面積が大きいほど高く算出されることを特徴とする請求項１１に記載の撮像システム。
13. 撮像装置とセンサ装置からなる撮像システムの制御方法であって、
    被写体を撮像する撮像ステップと、
    前記撮像ステップにて撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出ステップと、
    前記被写体の動きベクトルの精度について信頼度を算出する算出ステップと、
    外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信ステップと
    前記撮像装置が備える撮像手段の露出の設定を制御する露出制御ステップと、を備えた前記撮像装置の制御ステップと、
    被写体の情報を取得するセンシングステップと、
    前記センサ装置のセンシング結果を前記撮像装置に送信する送信ステップと、を備えた前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置の制御ステップと、を有し、
    前記露出制御ステップにおいて、前記センシングステップのセンシング結果と、前記被写体動き検出ステップの結果を用いて前記撮像手段の露出制御が実行され、
    前記露出制御ステップでは、前記算出ステップにて算出された前記信頼度が閾値以上の動きベクトルを用いて、前記撮像手段の露出制御を実行することを特徴とする撮像システムの制御方法。
14. 撮像装置とセンサ装置からなる撮像システムの制御方法であって、
    被写体を撮像する撮像ステップと、
    前記撮像ステップにて撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出ステップと、
    外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信ステップと、
    前記センシング結果を基に前記動きベクトルを補正する補正ステップと、
    前記撮像装置が備える撮像手段の露出の設定を制御する露出制御ステップと、を備えた前記撮像装置の制御ステップと、
    被写体の情報を取得するセンシングステップと、
    前記センサ装置のセンシング結果を前記撮像装置に送信する送信ステップと、を備えた前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置の制御ステップと、を有し、
    前記露出制御ステップにおいて、前記補正ステップにて補正した前記動きベクトルを用いて、前記撮像手段の露出制御を行うことを特徴とする撮像システムの制御方法。
15. 撮像装置とセンサ装置からなる撮像システムの制御方法であって、
    被写体を撮像する撮像ステップと、
    前記撮像ステップにて撮像した画像を用いて前記被写体の動きを検出し、前記被写体の動きベクトルを算出する被写体動き検出ステップと、
    外部のセンサ装置が取得し、前記センサ装置から送信されたセンシング結果を受信する受信ステップと、
    前記撮像装置が備える撮像手段の露出の設定を制御する露出制御ステップと、
    前記被写体動き検出手段の動きベクトルの算出と、前記撮像手段に設定される露光時間に基づいて、撮影した際の画像のブレ量を推定するブレ量推定ステップと、を備えた前記撮像装置の制御ステップと、
    被写体の情報を取得するセンシングステップと、
    前記センサ装置のセンシング結果を前記撮像装置に送信する送信ステップと、を備えた前記撮像装置とは異なる、撮影する被写体に装着する前記センサ装置の制御ステップと、を有し、
    前記露出制御ステップにおいて、前記ブレ量推定ステップの結果に基づいて前記撮像手段の露出制御を実行することを特徴とする撮像システムの制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。