JP6485490B2

JP6485490B2 - カメラ

Info

Publication number: JP6485490B2
Application number: JP2017107465A
Authority: JP
Inventors: 英樹石原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2017-05-31
Filing date: 2017-05-31
Publication date: 2019-03-20
Anticipated expiration: 2033-08-06
Also published as: JP2017195617A

Description

本発明は、カメラに関する。

入力画像から継続的にテンプレート画像を生成することにより、追尾精度を向上する技術が知られている（特許文献１参照）。

特開２００９−１１１７１６号公報

従来技術では、被写体の動きに対してテンプレート画像の生成が間に合わなくなると、追尾性能が低下する。

本発明の一態様によるカメラは、第１の撮影範囲を撮像する第１撮像部と、前記第１撮像部によって撮像された第１画像に基づいて追尾する被写体を検出し、第１追尾情報を生成する第１追尾部と、前記第１の撮影範囲と少なくとも一部重複する第２撮影範囲を撮像する第２撮像部によって前記第１撮像部と異なるタイミングで撮像された第２画像に基づいて、第２追尾部によって前記被写体が検出されて、生成された第２追尾情報を取得する取得部と、を備え、前記第１追尾部は、前記第２追尾部で検出される前記被写体の移動量が所定値より大きい場合に前記第２追尾情報と前記第１画像とに基づいて前記被写体を検出する。

本発明によれば、従来技術に比べて、被写体の動きに対する追尾性能を高めることができる。

デジタルカメラによって構成されるカメラシステムの使用場面を例示する図である。デジタルカメラの構成例を説明するブロック図である。第一の実施形態における追尾処理シーケンスを説明する図である。ＣＰＵが実行する処理の流れを説明するフローチャートである。第二の実施形態における追尾処理シーケンスを説明する図である。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
＜使用場面の説明＞
図１は、本発明の第一の実施形態によるデジタルカメラ１０、およびデジタルカメラ２０によって構成されるカメラシステムの使用場面を例示する図である。図１において、第１のデジタルカメラ１０と第２のデジタルカメラ２０とが、それぞれ三脚に固定されている。デジタルカメラ１０およびデジタルカメラ２０が設置される位置は、デジタルカメラ１０による撮影範囲１０Ａと、デジタルカメラ２０による撮影範囲２０Ａとの間に重複する領域５１を有する位置である。デジタルカメラ１０およびデジタルカメラ２０は、重複領域５１を広く確保するように、近い位置に設置される。領域５３および領域５４は、撮影範囲１０Ａおよび撮影範囲２０Ａのいずれにも含まれない領域を表す。

撮影者は、あらかじめデジタルカメラ１０およびデジタルカメラ２０を設置し、デジタルカメラ１０側に陣取ってデジタルカメラ１０に対して撮影指示を行う。デジタルカメラ１０およびデジタルカメラ２０はそれぞれ、ライブビュー画像を取得しながら追尾対象物である主要被写体６０に対する追尾処理を行う。ライブビュー画像は、撮影指示前において所定のフレームレート（例えば６０ｆｐｓ）で撮像されるモニタ用の画像のことをいう。

デジタルカメラ１０およびデジタルカメラ２０は、互いの追尾情報（撮影範囲における主要被写体６０の位置等）を他方のデジタルカメラへ送信する。デジタルカメラ１０およびデジタルカメラ２０間において相互に追尾情報を送信するのは、デジタルカメラ１０とデジタルカメラ２０との間で追尾情報を共有し、各デジタルカメラが継続して追尾処理を行うためである。

＜ブロック図の説明＞
図２は、デジタルカメラ１０およびデジタルカメラ２０の構成例を説明するブロック図である。本実施形態では、デジタルカメラ１０およびデジタルカメラ２０を同一の構成とする。図２において、デジタルカメラ１０は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、ＬＣＤモニタ１５と、ＲＡＭ１６と、フラッシュメモリ１７と、ＣＰＵ１８と、通信制御回路１９と、操作部材２０とを備える。

画像処理回路１４、ＬＣＤモニタ１５、通信制御回路１９、ＲＡＭ１６、フラッシュメモリ１７、およびＣＰＵ１８は、それぞれがバス２１を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図２を簡単にするため、撮影光学系１１を単レンズとして図示している。

撮像素子１２は、受光面に受光素子が二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による被写体像を光電変換し、アナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。

ＡＦＥ回路１３は、アナログ画像信号に対して所定のアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。

ＬＣＤモニタ１５は液晶パネルによって構成され、ＣＰＵ１８からの指示に応じて画像や操作メニュー画面などを表示する。ＲＡＭ１６はＣＰＵ１８のワークメモリとして使用される。また、ＲＡＭ１６は、画像処理回路１４による画像処理工程におけるデジタル画像データを一時的に記憶する。フラッシュメモリ１７は、ＣＰＵ１８が実行するプログラムを記憶する。

ＣＰＵ１８は、フラッシュメモリ１７が記憶するプログラムを実行することにより、デジタルカメラ１０の動作を制御する。ＣＰＵ１８は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、例えば、追尾対象物に対応する画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。ＣＰＵ１８は、上述したライブビュー画像に基づいて逐次コントラスト情報を取得し、フォーカス調節を行う。露出（ＡＥ）演算は、例えば、追尾対象物が検出されている領域の画像信号に基づいて演算を行う。

操作部材２０は、メインスイッチ、レリーズボタンおよびメニュースイッチなどを含む。操作部材２０は、メインスイッチ操作やレリーズ操作、メニュー選択操作など、各操作に応じた操作信号をＣＰＵ１８へ送出する。ＣＰＵ１８は、操作部材２０からの操作信号の入力を監視する。

ＣＰＵ１８は、レリーズボタンの押下（全押し）操作を示す操作信号を受けると、図２の各ブロックへ指示を送って撮影処理を開始させる。通信制御回路１９は、ＣＰＵ１８からの指示に応じて外部機器との間で無線通信を行う。通信制御回路１９は、アンテナ１９ａを介して電波を送受信する。本実施形態では、デジタルカメラ１０と同様の構成を有するデジタルカメラ２０との間で無線通信を行う。

＜連動する追尾処理＞
上述したように、デジタルカメラ１０およびデジタルカメラ２０は、相互に追尾情報を共有し、各デジタルカメラが継続して追尾処理を行う。追尾情報を共有することによって、例えば、一方のデジタルカメラにおいて主要被写体６０が撮影範囲の外へ移動した場合でも、他方のデジタルカメラの撮影範囲に主要被写体６０が含まれていれば、他方のデジタルカメラから受けた追尾情報を用いて主要被写体６０の位置推定を行う。また、他方のデジタルカメラから受けた追尾情報を用いることで、追尾処理性能を高める。詳細については後述する。

なお、追尾情報の共有は、相互に追尾情報を送信する場合に限らず、一方のデジタルカメラのみが他方のデジタルカメラに追尾情報を送信する場合も含まれる。すなわち、例えばデジタルカメラ１０は、自身の追尾情報をデジタルカメラ２０に送信せず、デジタルカメラ２０の追尾情報の受信のみを行っても良い。これにより、少なくともデジタルカメラ１０の追尾性能は向上する。

第一の実施形態においては、デジタルカメラ１０およびデジタルカメラ２０が、フレーム間（現フレーム画像と前フレーム画像との間）における主要被写体６０の移動量が所定値より大きい場合に、他方のデジタルカメラに対して追尾情報を送信する。

デジタルカメラ１０およびデジタルカメラ２０は、同一のフレームレート（例えば６０ｆｐｓ）でライブビュー画像を取得する。そして、デジタルカメラ１０によるフレーム画像の取得タイミングとデジタルカメラ２０によるフレーム画像の取得タイミングとを半周期ずらすことにより、一方のデジタルカメラによる一のフレーム画像の取得と次のフレーム画像の取得の間に、他方のデジタルカメラによるフレーム画像の取得が行われるようにする。なお、半周期は一例であり、所定の周期がずれていれば、２／５周期であっても３／７周期であってもよい。デジタルカメラ１０およびデジタルカメラ２０は、あらかじめ基準時刻が合わせられている。そして、例えば基準時刻から所定時間（オフセット）が経過したタイミングでフレーム画像の取り込みを開始するように構成されている。デジタルカメラ１０およびデジタルカメラ２０において、取り込み開始時刻（オフセット）を異なる値に設定することにより、互いのフレーム画像の取得タイミングをずらすことができる。

また、デジタルカメラ１０およびデジタルカメラ２０は、共通の主要被写体６０を追尾対象物とし、相互に追尾情報を共有する。このためにデジタルカメラ１０およびデジタルカメラ２０で共通の座標系が用いられる。デジタルカメラ１０の撮影範囲１０Ａおよびデジタルカメラ２０の撮影範囲２０Ａとの間に重複する領域５１が存在するので、例えば、領域５１内のいずれかの位置（例えば中央）を原点とする座標系を共通の座標系として用いる。デジタルカメラ１０およびデジタルカメラ２０は、この座標原点を基準に主要被写体６０の位置を表す。

＜追尾処理シーケンスの説明＞
図３は、追尾処理シーケンスを説明する図である。図３において上段は、デジタルカメラ１０によるフレーム画像の取得タイミングを表す。図３において中段は、デジタルカメラ２０によるフレーム画像の取得タイミングを表す。デジタルカメラ１０は、時刻ｔ１、ｔ３、ｔ５、…においてフレーム画像を取得する。デジタルカメラ２０は、デジタルカメラ１０によるフレーム画像の取得タイミングと半周期ずらした時刻ｔ２、ｔ４、ｔ６、…においてフレーム画像を取得する。

主要被写体６０は、例えば、当初は撮影範囲１０Ａのうち領域５２（図１）に位置し、領域５２から重複領域５１内へ移動し、さらに重複領域５１から撮影範囲２０Ａ内の領域５５へ移動するものとする。図３において下段は、主要被写体６０が含まれる領域を表す。

デジタルカメラ１０は、取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物（主要被写体６０）と類似する領域を、後から取得されたフレーム画像から検出（追尾）する。なお、テンプレート画像（追尾対象画像）は必ずしも毎フレームごとに更新する必要はない。すなわち、複数のフレームについて同じテンプレート画像を用いてテンプレートマッチング処理を行っても良い。これにより追尾演算の負荷を軽減できる。

テンプレートマッチング処理とは、テンプレート画像（追尾対象物）と類似する領域を検出対象のフレーム画像の中から探索する処理である。探索は検出対象のフレーム画像の全領域で行ってもよいし、検出対象のフレーム画像の一部である所定の探索領域でのみ行ってもよい。所定の探索領域でのみ探索を行う場合、探索領域の設定が必要になる。探索領域は、例えば先のフレーム画像のテンプレートマッチング処理の結果に基づいて、設定されるようにしてもよい。

デジタルカメラ１０は、後から取得されたフレーム画像における追尾対象物の位置と、先に取得されたフレーム画像における追尾対象物の位置との間の相対距離が所定値を超えている場合に、主要被写体６０が大きく移動した（移動量：大）と判断する。デジタルカメラ１０は、後から取得されたフレーム画像における追尾対象物の位置と、先に取得されたフレーム画像における追尾対象物の位置との間の相対距離が所定値を超えていない場合には、主要被写体６０が大きく移動していない（移動量：小）と判断する。

デジタルカメラ１０は、主要被写体６０の移動量大を判断した場合、直近に取得したフレーム画像（図３の例では時刻ｔ５において取得したフレーム画像）を用いて得た追尾情報をデジタルカメラ２０へ送信する。追尾情報は、例えば主要被写体６０の位置座標、主要被写体６０のサイズ、主要被写体６０が移動する向き、テンプレートマッチング処理用のテンプレート画像、フレーム画像の取得時刻を含む。主要被写体６０のサイズは、例えば画面内の面積によって表される。テンプレート画像の代わりに、テンプレート画像の生成に用いる特徴量を含めてもよい。特徴量は、フレーム画像のうち主要被写体６０を含む所定領域内の画像データから抽出される情報であり、例えば色情報などである。

デジタルカメラ１０は、検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。通常、テンプレート画像は、デジタルカメラ１０の撮像素子１２が検出対象のフレーム画像を取得する前に取得したフレーム画像から生成される画像である。ここで、追尾情報をデジタルカメラ２０から受信している場合は、デジタルカメラ２０から受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。上述したように、追尾情報には、例えば、主要被写体６０の位置座標、主要被写体６０のサイズ、主要被写体６０が移動する向き、テンプレートマッチング処理用のテンプレート画像、フレーム画像の取得時刻等、様々な情報が含まれており、デジタルカメラ１０は追尾情報の中から必要な情報を用いて追尾演算をすることにより追尾性能を向上することができる。例えば、探索領域の設定に、主要被写体６０の位置座標を用いることができる。

デジタルカメラ２０から受信した追尾情報に、デジタルカメラ１０の撮像素子１２で取得したフレーム画像から生成されるテンプレート画像が含まれている場合、デジタルカメラ１０は、検出対象フレーム画像と、デジタルカメラ２０から受信した追尾情報に含まれるテンプレート画像とに基づいて追尾演算を行う。なお、デジタルカメラ２０から受信した追尾情報は、必ずしもテンプレート画像を含んでいる必要はない。また、デジタルカメラ２０から受信した追尾情報がテンプレート画像を含んでいたとしても、デジタルカメラ１０は、デジタルカメラ２０から受信した追尾情報に含まれるテンプレート画像を用いずに、デジタルカメラ１０の撮像素子１２が取得したフレーム画像から生成されるテンプレート画像を用いてもよい。

検出対象のフレーム画像と、例えば、時刻ｔ６に対応する追尾情報（時刻ｔ６で取得したフレーム画像の追尾演算の結果得られた追尾情報）をデジタルカメラ２０から受けている場合、検出対象のフレーム画像（時刻ｔ７）と、デジタルカメラ２０から受信した最新の追尾情報（時刻ｔ６）とに基づいて追尾演算をし、新たな追尾情報を得る。

デジタルカメラ１０は、主要被写体６０が領域５５内へ進んだ時刻ｔ９以降は、デジタルカメラ１０自身で主要被写体６０が含まれるフレーム画像を取得できない。しかしながら、デジタルカメラ２０から受信した追尾情報が存在する場合には、検出対象のフレーム画像（時刻ｔ９）に対応する追尾情報を、例えば直近にデジタルカメラ２０から受信した追尾情報（時刻ｔ１０）と、デジタルカメラ２０から受信した前フレームに相当する追尾情報（時刻ｔ８）とに基づいて推定するようにしても良い。

一方、デジタルカメラ２０は、主要被写体６０が領域５２内に存在する時刻ｔ２においては、デジタルカメラ２０自身で主要被写体６０が含まれるフレーム画像を取得できないが、主要被写体６０が領域５１内へ進んだ時刻ｔ４以降は、デジタルカメラ２０自身で主要被写体６０が含まれるフレーム画像を取得できる。
なお、図３は実施形態の一例であり、主要被写体６０が領域５２内に存在する場合に、デジタルカメラ２０は、常にデジタルカメラ１０から追尾情報を受信するようにしても良い。また、主要被写体６０が領域５５内に存在する場合に、デジタルカメラ１０は、常にデジタルカメラ２０から追尾情報を受信するようにしても良い。

デジタルカメラ２０は、主要被写体６０の移動量大を判断した場合、上述したデジタルカメラ１０の場合と同様に、直近に取得したフレーム画像（図３の例では時刻ｔ６、ｔ８、ｔ１０においてそれぞれ取得したフレーム画像）に基づいて得られる追尾情報を、その都度デジタルカメラ１０へ送信する。

デジタルカメラ２０は、デジタルカメラ２０の撮像素子１２が取得した検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。通常、テンプレート画像は、デジタルカメラ２０の撮像素子１２が検出対象のフレーム画像を取得する前に取得したフレーム画像から生成される画像である。デジタルカメラ１０の場合と同様に、追尾情報をデジタルカメラ１０から受信している場合は、デジタルカメラ１０から受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。例えば、時刻ｔ５に対応する追尾情報（時刻ｔ５で取得したフレーム画像の追尾演算の結果得られた追尾情報）をデジタルカメラ１０から受けている場合、直近に取得したフレーム画像（時刻ｔ６）と、デジタルカメラ１０から受信した最新の追尾情報（時刻ｔ５）とに基づいて追尾演算をし、新たな追尾情報を得る。

＜フローチャートの説明＞
デジタルカメラ１０のＣＰＵ１８が実行する処理の流れについて、図４に例示するフローチャートを参照して説明する。ＣＰＵ１８は、連動する追尾処理モードに設定されている場合において、図４の処理を行うプログラムを実行する。連動する追尾処理モードへの切替えは、例えばメニュー設定処理によって行われる。

図４のステップＳ１０において、ＣＰＵ１８は、初期化処理を行ってステップＳ３０へ進む。初期化処理では、デジタルカメラ１０およびデジタルカメラ２０間で追尾情報を共有するための準備として、両デジタルカメラ間で共通する座標系の座標原点を合わせ、ズームレンズの画角を合わせ、ライブビュー画像の取得周期を合わせ、基準時刻を合わせる。デジタルカメラ１０とデジタルカメラ２０との間でライブビュー画像の取得周期が異なる場合は、遅い方の周期に合わせるものとする。また、設定されている撮影条件（シャッタースピード、絞り値、ＩＳＯ感度など）が異なる場合は、デジタルカメラ１０側の条件に揃えるものとする。

ステップＳ３０において、ＣＰＵ１８は、撮像素子１２にライブビュー画像を取得させてステップＳ４０へ進む。これにより、新たなフレーム画像が取得される。ステップＳ４０において、ＣＰＵ１８は、補間追尾情報が存在するか否かを判定する。ここで、デジタルカメラ２０から受信した追尾情報を補間追尾情報と呼ぶことにする。ＣＰＵ１８は、デジタルカメラ２０から受信した補間追尾情報を有している場合に、ステップＳ４０を肯定判定してステップＳ５０へ進む。ＣＰＵ１８は、デジタルカメラ２０から補間追尾情報を受信していない場合には、ステップＳ４０を否定判定してステップＳ６０へ進む。

ステップＳ５０において、ＣＰＵ１８は、ステップＳ３０にて取得した検出対象のフレーム画像と、デジタルカメラ２０から受信した補間追尾情報とに基づいて追尾演算をし、新たな追尾情報を得てステップＳ７０へ進む。なお、テンプレート画像は、補間追尾情報に含まれるテンプレート画像を用いてもよいし、前フレーム画像から生成されたテンプレート画像を用いてもよい。

ステップＳ６０において、ＣＰＵ１８は、ステップＳ３０にて取得した検出対象のフレーム画像と、前フレーム画像の追尾情報とに基づいて追尾演算をし、新たな追尾情報を得てステップＳ７０へ進む。なお、テンプレート画像は、前フレーム画像から生成されたテンプレート画像を用いる。前フレーム画像から生成されたテンプレート画像は、前フレーム画像の追尾情報に含まれていてもよい。

ステップＳ７０において、ＣＰＵ１８は、追尾演算によって追尾対象物（主要被写体６０）を検出できたか否かを判定する。ＣＰＵ１８は、追尾対象物を検出できた場合にステップＳ７０を肯定判定してステップＳ８０へ進み、追尾対象物を検出できなかった場合にはステップＳ７０を否定判定してステップＳ１００へ進む。

ステップＳ８０において、ＣＰＵ１８は、追尾対象物（主要被写体６０）の移動量が所定値より大きいか否かを判定する。ＣＰＵ１８は、上述したように主要被写体６０の移動量大を判断した場合に、ステップＳ８０を肯定判定してステップＳ９０へ進む。ＣＰＵ１８は、主要被写体６０の移動量大を判断しない場合には、ステップＳ８０を否定判定してステップＳ１００へ進む。

ステップＳ９０において、ＣＰＵ１８は通信制御回路１９へ指示を送り、最新の追尾情報をデジタルカメラ２０へ送信させてステップＳ１００へ進む。デジタルカメラ１０から送信する追尾情報は、デジタルカメラ２０にとって補間追尾情報となる。

ステップＳ１００において、ＣＰＵ１８は、全押し操作されたか否かを判定する。ＣＰＵ１８は、操作部材２０からレリーズボタンの全押し操作信号が入力された場合にステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１８は、操作部材２０からレリーズボタンの全押し操作信号が入力されていない場合には、ステップＳ１００を否定判定してステップＳ３０へ戻る。ステップＳ３０へ戻る場合は、上述した処理を繰り返す。

ステップＳ１１０において、ＣＰＵ１８は、設定されている撮影条件（シャッタースピード、絞り値、ＩＳＯ感度など）に基づいて撮影処理を実行させて、図４による処理を終了する。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）カメラシステムは、第１の撮影範囲１０Ａを例えば６０ｆｐｓで撮像して得られる第１画像に基づいて主要被写体６０を検出し、第１追尾情報を生成するＣＰＵ１８、およびデジタルカメラ２０と通信する通信制御回路１９を有するデジタルカメラ１０と、第１の撮影範囲１０Ａと略等しい第２撮影範囲２０Ａを例えば６０ｆｐｓかつデジタルカメラ１０と異なるタイミングで撮像して得られる第２画像に基づいて主要被写体６０を検出し、第２追尾情報を生成するＣＰＵ１８、およびデジタルカメラ１０と通信する通信制御回路１９を有するデジタルカメラ２０と、を備え、デジタルカメラ２０の通信制御回路１９は、ＣＰＵ１８で生成された第２追尾情報をデジタルカメラ１０の通信制御回路１９へ送信するようにした。これにより、デジタルカメラ１０のみで追尾を行う場合に比べて、被写体の動きに対する追尾性能を高めることができる。例えば、少なくともデジタルカメラ２０の撮影範囲に主要被写体６０が含まれていれば、デジタルカメラ１０はデジタルカメラ２０から受けた追尾情報を用いて追尾を継続できる。また、フレーム画像の取得タイミングを半周期ずらすことによって、みかけ上のフレームレートを２倍（１２０ｆｐｓ）に速めることができる。これにより、追尾演算を行うフレーム間隔が短くなり、追尾精度を向上することができる。

（２）デジタルカメラ１０のＣＰＵ１８は、第１画像または第２追尾情報に基づいて主要被写体６０を検出し、デジタルカメラ２０のＣＰＵ１８は、第２画像または第１追尾情報に基づいて主要被写体６０を検出するようにした。互いの追尾情報を共有することで、被写体の動きに対する追尾性能を高めることができる。

（３）デジタルカメラ１０の通信制御回路１９は、デジタルカメラ１０のＣＰＵ１８で検出された主要被写体６０の移動量が所定値より大きい場合に第１追尾情報をデジタルカメラ２０の通信制御回路１９へ送信し、デジタルカメラ２０の通信制御回路１９は、デジタルカメラ２０のＣＰＵ１８で検出された主要被写体６０の移動量が所定値より大きい場合に第２追尾情報をデジタルカメラ１００の通信制御回路１９へ送信する。追尾情報の送信を限定的にしたので、追尾情報を常に送信する場合に比べて、処理負担を軽減できる。

（４）デジタルカメラ１０のＣＰＵ１８は、主要被写体６０を前回検出した以降に取得された第２追尾情報がデジタルカメラ１０の通信制御回路１９で受信されている場合に、第２追尾情報を用いて主要被写体６０を検出し、デジタルカメラ２０のＣＰＵ１８は、主要被写体６０を前回検出した以降に取得された第１追尾情報がデジタルカメラ２０の通信制御回路１９で受信されている場合に、第１追尾情報を用いて主要被写体６０を検出するようにした。直近の追尾情報を共有することで、被写体の動きに対する追尾性能を、適切に高めることができる。

（第二の実施形態）
上述した第一の実施形態においては、デジタルカメラ１０（デジタルカメラ２０）が、主要被写体６０の移動量大を判断した場合に、検出対象のフレーム画像を用いて得た追尾情報をデジタルカメラ２０へ送信する例を説明した。第二の実施形態では、デジタルカメラ１０（デジタルカメラ２０）が、検出対象のフレーム画像を用いて得た追尾情報を、主要被写体６０の移動量にかかわらずデジタルカメラ２０へ送信する。

図５は、第二の実施形態における追尾処理シーケンスを説明する図である。図５において上段は、デジタルカメラ１０によるフレーム画像の取得タイミングを表す。図５において中段は、デジタルカメラ２０によるフレーム画像の取得タイミングを表す。図５において下段は、主要被写体６０が含まれる領域を表す。

デジタルカメラ１０が、時刻ｔ１、ｔ３、ｔ５、…においてフレーム画像を取得する点、デジタルカメラ２０が、デジタルカメラ１０によるフレーム画像の取得タイミングと半周期ずらした時刻ｔ２、ｔ４、ｔ６、…においてフレーム画像を取得する点、および、主要被写体６０が、当初撮影範囲１０Ａのうち領域５２（図１）に位置し、領域５２から重複領域５１内へ移動し、さらに重複領域５１から撮影範囲２０Ａ内の領域５５へ移動する点も、図３の場合と同様であるものとする。
図５より明らかなように、一方のデジタルカメラが、検出対象のフレーム画像を用いて得た追尾情報を、主要被写体６０の移動量にかかわらず他方のデジタルカメラへ送信する。

以上説明した第二の実施形態によれば、第一の実施形態と同様に、デジタルカメラ１０または２０のみで追尾を行う場合に比べて、被写体の動きに対する追尾性能を高めることができる。

また、デジタルカメラ１０の通信制御回路１９は、デジタルカメラ１０のＣＰＵ１８によって第１追尾情報が取得されるごとに第１追尾情報をデジタルカメラ２０の通信制御回路１９へ送信し、デジタルカメラ２０の通信制御回路１９は、デジタルカメラ２０のＣＰＵ１８によって第２追尾情報が取得されるごとに第２追尾情報をデジタルカメラ１０の通信制御回路１９へ送信するようにしたので、デジタルカメラ１０およびデジタルカメラ２０間で追尾情報を共有する頻度が高まり、被写体の動きに対する追尾性能を、適切に高めることができる。

（変形例１）
デジタルカメラ１０とデジタルカメラ２０とでカメラシステムを構成する例を説明したが、デジタルカメラ１０と、デジタルカメラ２０と、デジタルカメラ３０とでカメラシステムを構成してもよい。デジタルカメラ１０、デジタルカメラ２０、およびデジタルカメラ３０は、同一のフレームレート（例えば６０ｆｐｓ）でライブビュー画像を取得する。そして、デジタルカメラ１０によるフレーム画像の取得タイミングと、デジタルカメラ２０によるフレーム画像の取得タイミングと、デジタルカメラ３０によるフレーム画像の取得タイミングとを、それぞれ１／３周期ずらすことにより、各デジタルカメラが順番にフレーム画像を取得するようにする。このためにデジタルカメラ１０、デジタルカメラ２０、およびデジタルカメラ３０は、あらかじめ基準時刻が合わせられる。

また、デジタルカメラ１０、デジタルカメラ２０、およびデジタルカメラ３０は、共通の主要被写体６０を追尾対象物とし、相互に追尾情報を共有する。このためにデジタルカメラ１０、デジタルカメラ２０、およびデジタルカメラ３０は、あらかじめ主要被写体６０の位置を表す座標の基準点が合わせられる。例えばデジタルカメラ１０の撮影範囲１０Ａ、デジタルカメラ２０の撮影範囲２０Ａ、デジタルカメラ３０の撮影範囲３０Ａとの間に重複する領域５１を確保し、領域５１内のいずれかの位置（例えば中央）を原点とする座標系の原点を基準に主要被写体６０の位置を表す。

各デジタルカメラは、検出対象のフレーム画像と、テンプレート画像とに基づいて追尾演算をし、新たな追尾情報を得る。ここで、追尾情報を他のデジタルカメラから受信している場合は、他のデジタルカメラから受信した最新の追尾情報を用いて追尾演算をし、新たな追尾情報を得る。

以上説明した変形例１の場合は、３台のデジタルカメラで追尾情報を共有することによって、少なくとも１台のデジタルカメラの撮影範囲に主要被写体６０が含まれていれば、そのデジタルカメラから受けた追尾情報を用いて主要被写体６０の位置推定を行うことができる。また、フレーム画像の取得タイミングを例えば１／３周期ずつずらすことによって、各デジタルカメラが順番にフレーム画像を取得するようにする。他のデジタルカメラから受けた追尾情報を用いることで、みかけ上のフレームレートを約３倍（１８０ｆｐｓ）に速めることが可能になる。それにより、追尾演算を行うフレーム間隔が短くなり、追尾精度を向上することができる。

（変形例２）
上記実施形態では、主要被写体を人物として説明しているが、人物以外の複数の移動体を主要被写体としてもよい。例えば、犬や猫などの動物を主要被写体としてもよいし、あるいは車などの移動体を主要被写体としてもよい。周知の手法（例えばテンプレートマッチング等の手法）を用いて主要被写体を特定できるのであれば、どのような移動体にも適用可能である。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１０、２０…デジタルカメラ
１０Ａ、２０Ａ…撮影範囲
１２…撮像素子
１４…画像処理回路
１５…ＬＣＤモニタ
１８…ＣＰＵ
１９…通信制御回路
２０…操作部材
５１…重複領域
５２、５５…領域
６０…主要被写体

Claims

第１の撮影範囲を撮像する第１撮像部と、
前記第１撮像部によって撮像された第１画像に基づいて追尾する被写体を検出し、第１追尾情報を生成する第１追尾部と、
前記第１の撮影範囲と少なくとも一部重複する第２撮影範囲を撮像する第２撮像部によって前記第１撮像部と異なるタイミングで撮像された第２画像に基づいて、第２追尾部によって前記被写体が検出されて、生成された第２追尾情報を取得する取得部と、を備え、
前記第１追尾部は、前記第２追尾部で検出される前記被写体の移動量が所定値より大きい場合に前記第２追尾情報と前記第１画像とに基づいて前記被写体を検出するカメラ。
請求項１に記載のカメラにおいて、
前記取得部は、前記被写体の移動量が所定値より大きい場合に前記第２追尾情報を取得するカメラ。
請求項１または２に記載のカメラにおいて、
前記第１追尾情報は前記第１画像から生成したテンプレート画像を含み、
前記第２追尾情報は前記第２画像から生成したテンプレート画像を含むカメラ。