JP7769671B2 - 表示制御装置および表示制御方法、ならびに撮像システム - Google Patents

Description

本発明は表示制御装置および表示制御方法、ならびに撮像システムに関し、特には複数の撮像装置を制御する技術に関する。

特許文献１には、複数のカメラをメインカメラとサブカメラとに分け、メインカメラの被写体と同じ被写体を撮影するようにサブカメラを制御する撮像システムが記載されている。また、特許文献１に記載の撮像システムでは、リモートコントロール画面で各カメラの撮影方向および画角を確認することができる。

特開２０２０－２５２４８号公報

特許文献１に記載の撮像システムは、サブカメラの撮影を自動制御可能であるため、省力化が実現できる。しかしながら、各カメラが撮影している被写体を確認するには、リモートコントロール画面を操作して各カメラが撮影中の映像を表示させる必要があった。

そこで、本発明はその一態様において、複数のカメラを用いる自動撮像システムの使い勝手を向上させる情報を提示可能な表示制御装置および表示制御方法を提供する。

本発明はその一態様において、第１の撮像装置および第２の撮像装置を含む撮像システムであって、第１の撮像装置に関する情報と、第２の撮像装置に設定された役割とに基づいて第２の撮像装置の追尾対象とする被写体が制御される撮像システム、で用いられる表示制御装置であって、第１の撮像装置の注目被写体と、第２の撮像装置に設定された役割とに基づいて、第２の撮像装置の追尾対象とする被写体を決定する決定手段と、第１の撮像装置で撮像された画像および第２の撮像装置で撮像された画像とは異なる、表示用画像を生成する生成手段と、表示用画像を出力する出力手段と、を有し、生成手段は、表示用画像として、決定手段が決定した第２の撮像装置が追尾対象としている被写体を示す画像を生成する、ことを特徴とする表示制御装置を提供する。

本発明によれば、複数のカメラを用いる自動撮像システムの使い勝手を向上させる情報を提示可能な表示制御装置および表示制御方法を提供することができる。

第１実施形態に係る撮像システムの模式図 第１実施形態に係る撮像システムの各装置の機能構成例を示すブロック図 第１および第２実施形態に係る撮影制御装置を主要な動作と信号の流れに着目して表した図 実施形態においてサブカメラに設定可能な役割と制御内容の例を示す図 第１実施形態における役割決定処理に関するフローチャート 第１および第２実施形態に係る撮像システムの各装置の動作に関するフローチャート 実施形態における座標変換を説明するための図 実施形態における被写体検出と座標変換に関する図 第１実施形態におけるサブカメラの動作制御の模式図 第１実施形態におけるサブカメラの別の動作制御の模式図 実施形態におけるパン値算出を説明するための図 実施形態におけるチルト値算出を説明するための図 第１実施形態におけるメインカメラとサブカメラとのズーム値のマッピング例を示す図 第１実施形態におけるサブカメラの役割に応じた制御内容の決定処理に関するフローチャート 第１実施形態におけるサブカメラの役割に応じた制御の模式図 第１実施形態におけるサブカメラの役割に応じた制御の模式図 第１実施形態の変形例における複数被写体の追尾動作の模式図 第２実施形態に係る撮像システムの模式図 第２実施形態で設定可能な役割と制御内容の例を示す図 第２実施形態におけるサブカメラの追尾被写体に関する制御の例を示す模式図 第３実施形態に係る撮像システムの模式図 第３実施形態に係る撮像システムの各装置の機能構成例を示すブロック図 第３実施形態に係る撮影制御装置を主要な動作と信号の流れに着目して表した図 第３実施形態における撮影制御装置の動作に関するフローチャート 第３および第４実施形態において被写体の識別ＩＤに関連づけられる情報を示す図 第３実施形態における俯瞰画像の例を示す図 第３実施形態において生成される俯瞰画像の例を示す図 第３実施形態において生成される俯瞰画像の例を示す図 第４実施形態に係る撮影制御装置を主要な動作と信号の流れに着目して表した図 第４実施形態における撮影制御装置の動作に関するフローチャート 第４実施形態において生成される画像の例を示す図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

●＜第１実施形態＞
（マルチカメラ撮像システムの概要）
図１は、本実施形態に係るマルチカメラ撮像システム１０（以下、単に撮像システムという）の構成例を示す模式図である。撮像システム１０は、複数のカメラ３００、４００、５００と、撮影制御装置１００と、役割制御装置６００とを有する。複数のカメラ３００、４００、５００、撮影制御装置１００、および役割制御装置６００は、通信ネットワーク７００を通じて通信可能に接続されている。

通信ネットワーク７００は、ＩＥＥＥ８０２．３シリーズ、１ＥＥＥ８０２．１１シリーズなど公知の有線または無線通信規格に準拠している。また、複数のカメラ３００、４００、５００のそれぞれと、撮影制御装置１００と、役割制御装置６００とは、通信ネットワーク７００の規格に準拠した通信インタフェースを有する。

複数のカメラ３００、４００、５００のうち、カメラ３００は予め定められた撮影範囲の全体を撮影する。撮影範囲は例えばスタジオにおいて撮影対象の被写体が存在しうる範囲として設定されている。したがって、カメラ３００の映像には、撮影範囲内の被写体がすべて撮影されている。

カメラ３００の目的は、撮影範囲内に存在する撮影対象の被写体を検出するための画像を撮影することである。したがって、カメラ３００の撮影方向および画角はカメラ３００の位置と撮影範囲とに応じて定まり、撮影中は基本的に固定である。さらに、撮影範囲のパンフォーカス影像を得るために、合焦距離も基本的に固定であってよい。また、カメラ３００は、撮影範囲の全体を、撮影範囲外の物体で隠されないように撮影することが好ましい。そのため、ここではカメラ３００を撮影範囲の全体を俯瞰する位置に設けている。撮影中の撮影方向や画角が基本的に固定でない他のカメラ４００および５００と区別するため、以下ではカメラ３００を俯瞰カメラと呼ぶ。ただし、カメラ３００の設置位置は、撮影範囲を俯瞰する位置に限定されない。俯瞰カメラ３００の動作は撮影制御装置１００から制御可能である。

カメラ４００および５００は例えばＰＴＺカメラであり、撮影方向（パンおよびチルト角度）、画角（ズーム）を含む動作を外部装置から制御可能である。ここではカメラ５００の動作を撮像システムのユーザが制御し、カメラ４００の動作を撮影制御装置１００が制御するものとする。以下では、撮影制御装置１００が、カメラ５００の状態に基づいてカメラ４００の動作を制御するため、カメラ５００をメインカメラ、カメラ４００をサブカメラと呼ぶ。説明および理解を容易にするため、サブカメラ４００を１台のみ示しているが、サブカメラは２台以上であってよい。なお、メインカメラ５００はユーザが直接操作してもよい。また、カメラ４００および５００は、カメラ本体を雲台に取り付けることで撮影方向（パンおよびチルト角度）を制御可能にした構成であってもよい。また、カメラ４００および５００は、カメラ本体にズーム可能な交換レンズを装着した構成であってもよい。

ここで、本実施形態では、役割制御装置６００には操作者が存在するものとする。また、撮影制御装置１００にも操作者（ユーザ）が存在してもよいが、必須ではない。役割制御装置６００の操作者が撮影制御装置１００のユーザであってもよい。俯瞰カメラ３００およびサブカメラ４００の撮影は撮影制御装置１００が制御するため、撮影者は不要である。メインカメラ５００は操作者または撮影者が存在するものとする。このように、いくつかの装置の操作者または撮影者を必要としない構成により、省力化を実現することができる。

なお、図１では通信ネットワーク７００ですべての信号が通信されるように記載しているが、例えば映像信号と制御信号とは別の方法で通信されてもよい。例えば、複数のカメラ３００、４００、５００のそれぞれは、映像信号をケーブルで撮影制御装置１００に直接供給してもよい。カメラ３００、４００、５００および撮影制御装置１００は、映像信号の規格に応じた通信回路を有する。映像信号の規格は、例えばＳＤＩ(Serial Digital Interface)規格やＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）などがあるが、これらに限定されない。

撮影制御装置１００は、俯瞰カメラ３００から受信した映像信号から被写体を検出する。撮影制御装置１００は、被写体の検出結果と、メインカメラ５００の状態と、サブカメラに設定された役割とに基づいて、サブカメラの撮影方向および画角を決定する。撮影制御装置１００は、決定した撮影方向および画角を含んだ制御コマンドをサブカメラ４００に送信する。役割の設定を変更することにより、サブカメラ４００の撮影方向および画角の決定方法を異ならせることができ、サブカメラ４００の動作制御の自由度を高めることができる。

（各装置の機能構成例）
図２は、図１に示したマルチカメラ撮像システム１０を構成する各機器の機能構成例を示すブロック図である。なお、図面において機能ブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つの機能ブロックが複数の集積回路パッケージによって実現されてもよいし、複数の機能ブロックが１つの集積回路パッケージによって実現されてもよい。また、同一の機能ブロックが、動作環境や要求される能力などに応じて異なる構成で実施されてもよい。

（撮影制御装置１００）
まず、撮影制御装置１００の機能構成例について説明する。撮影制御装置１００は、例えばパーソナルコンピュータやワークステーションといった汎用コンピュータ機器であってよい。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、推論部１０４、ネットワークインタフェース（Ｉ／Ｆ）１０５、ユーザ入力部１０６、表示部１０８が内部バス１１０を介して相互に接続された構成を有する。

ＣＰＵ１０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ１０１は、例えば、ＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０２に読み込んで実行することにより、後述する撮影制御装置１００の機能を実現する。ＣＰＵ１０１は、例えば、基本ソフト（ＯＳ）上で稼働する撮影制御アプリケーションを実行することにより、撮影制御装置１００の機能を実現することができる。

ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムをロードしたり、ＣＰＵ１０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ１０２の一部は表示部１０８のビデオメモリとして用いられてもよい。

ＲＯＭ１０３は書き換え可能な不揮発性メモリであり、ＣＰＵ１０１が実行するプログラム（ＯＳおよびアプリケーション）、ユーザデータなどを記憶する。

推論部１０４は、俯瞰カメラ３００の映像に対して、機械学習モデルを用いた被写体領域の検出処理を実行する。推論部１０４は例えばＧＰＵ(Graphics Processing Unit)、ＮＰＵ(Neural network Processing Unit)など、機械学習モデルの演算を高速に実行可能なハードウェア回路を用いて実施することができる。あるいは推論部１０４はＦＰＧＡ(Field-Programmable Gate Array)といった再構成可能な論理回路を用いて実施してもよい。ＣＰＵ１０１がプログラムを実行して推論部１０４の機能を実現してもよい。

機械学習モデルは、検出する被写体の種類に応じて学習した畳み込みニューラルネットワーク（ＣＮＮ）であってよい。ここでは推論部１０４が、入力画像から人体領域または人間の顔領域を被写体領域として検出するものとする。また、推論部１０４は、検出した被写体領域ごとに、被写体領域が内接する矩形領域の位置および大きさ、検出信頼度を出力するものとする。なお、複数種の機械学習モデルを用い、同一の入力画像に対して種類の異なる被写体領域の検出処理を実行してもよい。なお、推論部１０４は、機械学習モデルを使用しない公知の方法で被写体領域の検出処理を実施してもよい。推論部１０４は、例えば、SIFTやSURFといった局所特徴量を用いる方法や、パターンマッチングを用いる方法などを用いて被写体領域を検出することができる。

ネットワークＩ／Ｆ１０５は撮影制御装置１００を通信ネットワーク７００に接続するためのインタフェースである。撮影制御装置１００（ＣＰＵ１０１）は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００など、通信ネットワーク７００上の外部装置と通信することができる。なお、撮影制御装置１００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を通じて外部装置と通信してもよい。

ＣＰＵ１０１は、通信ネットワーク７００上の各装置（俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００）と通信するため、各装置のネットワークアドレスを任意のタイミングで取得し、ＲＡＭ１０２に記憶する。また、ＣＰＵ１０１は、各装置の情報（装置の種類、機種名など）も、任意のタイミング（例えば最初の通信時）に取得し、ＲＡＭ１０２に記憶する。このように、ＣＰＵ１０１は、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、役割制御装置６００について、少なくとも識別情報と装置の種類について既知であるものとする。なお、ユーザが個々の装置に任意の名称を付与できるようにしてもよい。

ユーザ入力部１０６は、マウス、キーボード、タッチパネルなどの入力デバイスである。撮影制御装置１００は、ユーザ入力部１０６を通じてユーザの指示を受け付ける。

表示部１０８は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部１０８は、ＯＳや撮影制御アプリケーションなどが提供するＧＵＩ画面を表示する。

（俯瞰カメラ３００）
次に、俯瞰カメラ３００の機能構成例について説明する。
ＣＰＵ３０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ３０１は、例えば、ＲＯＭ３０３に記憶されたプログラムをＲＡＭ３０２に読み込んで実行することにより、各機能ブロックの動作を制御し、後述する俯瞰カメラ３００の機能を実現する。

ＲＡＭ３０２は、ＣＰＵ３０１が実行するプログラムをロードしたり、ＣＰＵ３０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ３０２は撮影で得られた映像信号のバッファとして用いられてもよい。

ＲＯＭ３０８は書き換え可能な不揮発性メモリである。ＲＯＭ３０８は、ＣＰＵ３０１が実行するプログラム、俯瞰カメラ３００の設定値、ユーザデータなどを記憶する。なお、ＲＯＭ３０８は、映像信号の記録先としても用いることができる。ＲＯＭ３０８は、内蔵メモリと着脱可能なメモリカードとを含んでもよい。

画像センサ３０７は、撮影光学系と撮像素子とを有する。撮像素子は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像素子は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像面に形成された被写体像を表す画素信号群（アナログ画像信号）が得られる。

画像処理部３０６は、画像センサ３０７が出力するアナログ画像信号に対して予め定められた信号処理および画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。

画像処理部３０６が適用する処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、画像センサ３０７にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補間処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、撮像光学系の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系の周辺減光の影響の補正、色補正などの処理が含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。外部に出力する映像信号や、ＲＯＭ３０８に記録する映像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。ＡＦやＡＥはＣＰＵ３０１が実行する。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部３０６が適用可能な処理の例示であり、画像処理部３０６が適用する処理を限定するものではない。
画像処理部３０６は、取得もしくは生成した情報やデータを、用途に応じてＣＰＵ３０１、ＲＡＭ３０２などに出力する。

なお、画像処理部３０６で適用する処理の種類や設定は、撮影制御装置１００から俯瞰カメラ３００にコマンドを送信することによって制御可能である。

ネットワークＩ／Ｆ３０５は、俯瞰カメラ３００を通信ネットワーク７００に接続するためのインタフェースである。俯瞰カメラ３００（ＣＰＵ３０１）は、ネットワークＩ／Ｆ３０５を通じて、撮影制御装置１００、サブカメラ４００、メインカメラ５００、役割制御装置６００など、通信ネットワーク７００上の外部装置と通信することができる。なお、俯瞰カメラ３００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。

（サブカメラ４００）
次に、サブカメラ４００の機能構成例について説明する。サブカメラ４００と俯瞰カメラ３００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。

上述の通り、サブカメラ４００はＰＴＺカメラであり、撮影の方向および画角を外部から制御可能である。そのため、サブカメラ４００は、パンおよびチルト動作とズーム動作が可能な駆動部４０９と、駆動Ｉ／Ｆ４０８とを有している。駆動Ｉ／Ｆ４０８は駆動部４０９とＣＰＵ４０１との通信インタフェースである。

駆動部４０９は、サブカメラ４００をパンおよびチルト可能に支持するパン／チルト機構と、撮影光学系の画角を変化させるズーム機構と、これらの機構を駆動するモータなどを有する。ズーム機構は画像処理部４０６による画像の拡大・縮小を用いてもよい。駆動部４０９は駆動Ｉ／Ｆ４０８を通じてＣＰＵ４０１から受信する指示に従ってモータを駆動し、撮影光学系の光軸方向および画角を調整する。

（メインカメラ５００）
次に、メインカメラ５００の機能構成例について説明する。メインカメラ５００とサブカメラ４００とで同じ名称の機能ブロックは同じ機能を有するものとし、説明を省略する。メインカメラ５００はユーザが操作する。ここでは、ユーザが通信ネットワーク７００を通じてコマンドを送信することによりメインカメラ５００を遠隔操作するものとする。しかし、メインカメラ５００がＰＴＺカメラでない場合などには、メインカメラ５００をユーザが直接操作してもよい。

撮影制御装置１００（ＣＰＵ１０１）は、サブカメラ４００およびメインカメラ５００の撮影方向や画角の情報を、ネットワークＩ／Ｆ５０５を通じてサブカメラ４００およびメインカメラ５００から取得可能である。なお、撮影方向は、予め定められた基準方向を０°とした、駆動部４０９および５０９のパンおよびチルト角度であってよい。基準方向は、撮影範囲に正対する方向であってよい。

（役割制御装置６００）
次に、役割制御装置６００の機能構成例について説明する。
ＣＰＵ６０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ６０１は、例えば、ＲＯＭ６０３に記憶された役割設定プログラムをＲＡＭ６０２に読み込んで実行することにより、各機能ブロックの動作を制御し、役割制御装置６００の機能を実現する。

ＲＡＭ６０２は、ＣＰＵ６０１が実行するプログラムをロードしたり、ＣＰＵ６０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ６０２の一部は表示部６０８のビデオメモリとして用いられてもよい。

ＲＯＭ６０３は書き換え可能な不揮発性メモリであり、ＣＰＵ６０１が実行するプログラム、役割制御装置６００の設定値、ユーザデータなどを記憶する。

ユーザ入力部６１１は、例えばボタン、ダイヤル、ジョイスティック、タッチパネルなどの入力デバイスである。役割制御装置６００は、ユーザ入力部６１１を通じて、サブカメラ４００の役割の設定に関するユーザの指示を受け付ける。

ネットワークＩ／Ｆ６０５は、役割制御装置６００を通信ネットワーク７００に接続するためのインタフェースである。役割制御装置６００（ＣＰＵ６０１）は、ネットワークＩ／Ｆ６０５を通じて、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、撮影制御装置１００など、通信ネットワーク７００上の外部装置と通信することができる。なお、役割制御装置６００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈなど）を通じて外部装置と通信してもよい。

表示部６０８は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部６０８は、ＯＳや役割設定アプリケーションなどが提供するＧＵＩ画面を表示する。

役割制御装置６００は、例えばＲＯＭ６０３に、役割設定情報を記憶している。役割設定情報は、サブカメラ４００の識別情報と、設定されている役割を示す情報とが対応付けられた情報である。ＣＰＵ６０１は、役割設定アプリケーションを実行することにより、表示部６０８に役割設定画面を表示する。役割設定画面には、例えば、サブカメラ４００の識別情報（ネットワークアドレス、ユーザが設定した名称など）と、現在設定されている役割の名称とが対応付けて表示される。現在設定されている役割の初期値は予め設定されたデフォルトの役割であってよい。ユーザは所望のサブカメラ４００に関連付けられて表示されている現在の役割を、ユーザ入力部６１１を操作して変更することができる。

役割設定画面に含まれるＯＫボタンの操作など、設定動作の終了を示すユーザ操作を検出すると、ＣＰＵ６０１は、役割設定画面の内容に従って、ＲＯＭ１０３に記憶されている役割設定情報を更新する。

ＣＰＵ６０１は、ネットワークＩ／Ｆ６０５を通じて役割取得コマンドを受信すると、ＲＯＭ１０３に記憶されている役割設定情報を読み出し、役割取得コマンドの送信元に送信する。

なお、図１および図２では、役割制御装置６００を独立した装置として記載しているが、例えば撮影制御装置１００で実行する撮影制御アプリケーションが役割制御装置６００と同様の機能を提供してもよい。また、サブカメラ４００に役割を直接設定し、撮影制御装置１００が、サブカメラ４００に割り当てられている役割をサブカメラ４００から取得してもよい。

サブカメラ４００に設定可能な役割とは、メインカメラ５００から得られる情報をサブカメラ４００の動作制御にどのように利用するかを予め定めたものである。ここでは一例として、サブカメラ４００の追尾被写体およびズーム動作の制御にメインカメラの情報を利用するものとする。

図４に、サブカメラ４００に設定可能な役割の種類と役割に関連付けられた制御内容との例を示す。役割ごとの制御内容は、例えば図４に示すテーブル形式で役割制御装置６００のＲＯＭ６０３および撮影制御装置１００のＲＯＭ１０３に記憶しておくことができる。ここでは役割ＲＯＬＥとして、「メインフォロー（ＭＦ）」、「メインカウンター（ＭＣ）」、「アシストフォロー（ＡＦ）」、「アシストカウンター（ＡＣ）」のいずれかを設定可能であるものとする。サブカメラ４００が複数ある場合、役割はサブカメラごとに設定可能である。

役割ＲＯＬＥが「メインフォロー」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と同じ追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００にも同位相のズーム制御を行う。ここで、同位相とはズームの方向（望遠方向または広角方向）が等しいこと、すなわち画角変化の方向が等しいことを示す。一方、逆位相とはズームの方向（望遠方向または広角方向）が反対方向であること、すなわち画角変化の方向が反対方向であることを示す。なお、ズームの方向が同位相であっても画角はメインカメラ５００と等しくなくてもよいし、同位相および逆位相のいずれでもズームの変化度合（変化速度や変化率など）はメインカメラ５００と等しくなくてもよい。

役割ＲＯＬＥが「メインカウンター」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と同じ追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００には逆位相のズーム制御を行う。したがって、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００でズームアップ操作された場合、この役割のサブカメラ４００についてはズームダウンするように制御する。なお、ズームアップするとは望遠方向（テレ端方向）へズームを変化させることを示し、ズームダウンするとは広角方向（ワイド端方向）へズームを変化させることを示す。画像処理部４０６によるズーム制御を行う場合、ズームアップするとは画像から切り出す領域を小さくし切り出した領域の拡大率を領域変更前より大きくすることを示す。一方、ズームダウンするとは画像から切り出す領域を大きくし切り出した領域の拡大率を領域変更前より小さくすることを示す。

役割ＲＯＬＥが「アシストフォロー」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と別の追尾被写体を設定し、かつメインカメラ５００がズーム操作された際には、サブカメラ４００にも同位相のズーム制御を行う。

役割ＲＯＬＥが「アシストカウンター」のサブカメラ４００について、撮影制御装置１００（ＣＰＵ１０１）は、メインカメラ５００と別の追尾被写体を設定する。また、撮影制御装置１００は、メインカメラ５００がズーム操作された際には、サブカメラ４００には逆位相のズーム制御を行う。

ここでは、役割ＲＯＬＥが「アシストフォロー」および「アシストカウンター」のサブカメラ４００には、画像中、メインカメラ５００の注目被写体とは別の被写体のうち、左側（左端）に存在する被写体を、サブカメラ４００の追尾被写体として設定する。なお、サブカメラ４００の追尾被写体は別の条件に従って設定してもよい。例えば、画像中、メインカメラ５００の注目被写体とは別の被写体のうち、右側（右端）、上側（上端）、または下側（下端）に存在する被写体をサブカメラの追尾被写体としてもよい。あるいは、メインカメラ５００の注目被写体とは別の被写体のうち、最も手前または奥に存在する被写体をサブカメラ４００の追尾被写体としてもよい。

また、追尾被写体の設定とズーム制御の一方のみを実行したり、さらに別の制御項目を追加してもよい。

役割制御装置６００がＲＯＭ６０３に記憶する役割設定情報には、役割ＲＯＬＥを示す情報（上述した種類の名称、または種類に割り当てられた番号など）が、サブカメラ４００の識別情報と関連付けられている。撮影制御装置１００のＣＰＵ１０１は、役割制御装置６００から役割設定情報を取得し、サブカメラ４００に設定された役割ＲＯＬＥの種類に応じたサブカメラ４００の動作制御を実行する。

なお、役割制御装置６００は、サブカメラ４００に対する役割の設定に変更があった場合、外部装置（例えば撮影制御装置１００）に通知してもよい。これにより、役割の設定の変更を、直ちにサブカメラ４００の動作制御に反映させることができる。

＜各装置の動作の説明＞
続いて、マルチカメラ撮像システムにおける各装置の動作について説明する。ここでは、撮影制御装置１００が、俯瞰カメラ３００の映像、メインカメラ５００から得られる情報、およびサブカメラ４００に設定された役割に基づいて、サブカメラ４００の撮影動作を自動制御するものとする。

図３は、撮影制御装置１００がサブカメラ４００の動作を制御する際に実施する一連の処理を、主要な動作と信号の流れに着目して表した図である。撮影制御装置１００内に示される機能ブロックは主要な動作を模式的に示しており、撮影制御アプリケーションが提供する主要な機能に相当する。図３における各機能ブロックは、撮影制御アプリケーションを実行するＣＰＵ１０１と、図２に示した撮影制御装置１００の機能ブロックの１つ以上との組み合わせによって実現される。

図５は、役割決定部１２０としてのＣＰＵ１０１の動作を示すフローチャートである。また、図６（ａ）～図６（ｄ）はそれぞれ、撮影制御装置１００、俯瞰カメラ３００、メインカメラ５００、サブカメラ４００の動作に関するフローチャートである。

以下の説明において、俯瞰カメラ３００の視点位置の３次元座標値および撮影方向（光軸方向）が撮影制御装置１００に既知であるものとする。また、サブカメラ４００およびメインカメラ５００の視点位置の３次元座標値、撮影範囲に配置されたマーカの座標値など、既知の位置情報は、既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。なお、位置の座標系は位置の種類によって予め定められているものとする。

（役割決定部１２０の動作）
まず、図３における役割決定部１２０としてのＣＰＵ１０１の動作について図５に示すフローチャートを参照して説明する。以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。

なお、図５のフローチャートに示す動作を開始するタイミングに特に制限は無いが、少なくともサブカメラ４００の撮影動作の制御を開始する前に実行する。また、役割制御装置６００から、サブカメラ４００に対する役割の設定が変更された旨の通知をネットワークＩ／Ｆ１０５を通じて受信した場合にも実行するものとする。

Ｓ１０１で役割決定部１２０としてのＣＰＵ１０１は、サブカメラ４００に対応する役割ＲＯＬＥ（役割設定情報）を役割制御装置６００から取得する。ＣＰＵ１０１は、例えばネットワークＩ／Ｆ１０５を通じて役割制御装置６００に役割取得コマンドを送信することにより、役割制御装置６００から上述した役割設定情報を取得することができる。ＣＰＵ１０１は、取得した役割設定情報をＲＡＭ１０２に記憶する。

Ｓ１０３でＣＰＵ１０１は、ＲＡＭ１０２に記憶された役割設定情報をサブカメラ４００の識別情報に基づいて参照し、サブカメラ４００に対する動作制御内容を取得する。そして、役割決定部１２０としてのＣＰＵ１０１は、取得した動作制御内容（ＣＡＭＥＲＡ＿ＲＯＬＥ）を追尾被写体決定部１２３へ送信する。実際には、ＣＰＵ１０１は動作制御内容をＲＡＭ１０２の特定領域に記憶し、追尾被写体決定部１２３として機能する際に参照する。

Ｓ１０４で役割決定部１２０としてのＣＰＵ１０１は、取得した動作制御内容（ＣＡＭＥＲＡ＿ＲＯＬＥ）をズーム値算出部１２５へ送信する。実際には、ＣＰＵ１０１は動作制御内容をＲＡＭ１０２の特定領域に記憶し、ズーム値算出部１２５として機能する際に参照する。

（撮影制御装置１００の動作）
次に、撮影制御装置１００がサブカメラ４００による撮影を制御する動作について、図３および図６（ａ）を参照して説明する。以下に説明する動作は、図３における認識部１２１、注目被写体決定部１２２、追尾被写体決定部１２３、パン・チルト値算出部１２４、およびズーム値算出部１２５としてのＣＰＵ１０１の動作に相当する。なお、以下に説明する動作は、ＣＰＵ１０１が撮影制御アプリケーションを実行することによって実現される。

Ｓ２０１でＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じて、俯瞰カメラ３００に、予め定められたプロトコルで撮影指示コマンドを送信する。このコマンドに応答して、俯瞰カメラ３００から、映像入力部１０７に対する映像信号（動画データ）ＩＭＧの供給が開始される。ＣＰＵ１０１は映像入力部１０７で受信した映像信号のＲＡＭ１０２への格納を開始したのち、Ｓ２０２を実行する。

Ｓ２０２でＣＰＵ１０１は、メインカメラ５００から撮影方向を示す情報ＡＮＧＬＥを取得する。具体的にはＣＰＵ１０１はネットワークＩ／Ｆ１０５を通じて、メインカメラ５００に、予め定められたプロトコルで撮影方向取得コマンドを送信する。メインカメラ５００のＣＰＵ５０１は、撮影方向取得コマンドに応答して、メインカメラ５００の現在の撮影方向を示す情報ＡＮＧＬＥを撮影制御装置１００に送信する。情報ＡＮＧＬＥは例えば駆動部５０９のパンおよびチルト角度であってよい。ＣＰＵ１０１は取得した情報ＡＮＧＬＥをＲＡＭ１０２に記憶する。

Ｓ２０３で、認識部１２１は以下の処理を実行する。
（１）入力されたフレーム画像に対して被写体領域の検出処理を適用し、検出結果を記憶する
（２）検出された被写体領域ごとに、位置情報（画像座標）を座標変換する
（３）検出された被写体領域ごとに識別処理を適用し、識別情報を特定する（新たな被写体の場合には識別処理用の情報を追加する）
（４）検出された被写体領域ごとに識別情報ＩＤ[ｎ]と位置情報ＰＯＳＩＴＩＯＮ[ｎ]とを関連付けて記憶する

認識部１２１は、主にＣＰＵ１０１と推論部１０４とによって実現される。ＣＰＵ１０１は、俯瞰カメラ３００から受信した映像の１フレームをＲＡＭ１０２から読みだして推論部１０４に入力する。

以下、認識部１２１の動作を順を追って説明する。
（１）まず、推論部１０４は、フレーム画像を機械学習モデルに入力し、被写体領域を検出する。推論部１０４は、検出結果として機械学習モデルが出力する、検出された被写体領域ごとの位置および大きさと、検出信頼度とをＲＡＭ１０２に記憶する。被写体領域の位置および大きさは、被写体領域が内接する矩形領域の位置と大きさを特定可能な任意の情報であってよい。ここでは、矩形領域の下辺の中央座標と、幅および高さを、被写体領域の位置および大きさとして用いる。

また、推論部１０４は、最初のフレーム画像に対する検出結果については、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。ここで、ｎは被写体の番号であり、１から、検出した被写体領域の総数までの値を取る整数である。さらに、推論部１０４は、最初のフレーム画像から検出された被写体領域を、個々の被写体を識別するためのテンプレートとして、被写体の識別情報ＩＤ［ｎ］と関連付けてＲＡＭ１０２に記憶する。被写体の識別にテンプレートマッチングを用いない場合は、テンプレートを記憶しなくてもよい。

図８（ａ）は、図７（ａ）に示す俯瞰カメラ３００の映像に対する推論部１０４による被写体検出処理の結果の一例を示している。ここでは、撮影範囲２０内に存在する人物被写体Ａ～Ｃの領域が検出され、被写体領域が内接する矩形領域の下辺の中央の座標（足元座標）が位置として出力される。

なお、後述する座標変換のために、例えば図７（ｂ）に示すように撮影範囲２０内の既知の位置にマーカ(Mark)を配置している場合、ＣＰＵ１０１はフレーム画像（図７（ａ））に含まれるマーカの画像を検出し、位置をＲＡＭ１０２に記憶する。マーカ画像の検出も推論部１０４が実行するように構成してもよい。マーカ画像の検出は、マーカのテンプレートを用いたパターンマッチングなど、任意の公知の方法で実施することができる。予め記憶したマーカ検出用の機械学習モデルを用いてマーカ画像を検出してもよい。

（２）次に、推論部１０４が実行する座標変換について説明する。図７（ａ）は俯瞰カメラ３００の映像を、図７（ｂ）は撮影範囲２０をその中心直上から見た状態をそれぞれ模式的に示している。推論部１０４は、俯瞰カメラの座標系における被写体領域の位置を、撮影範囲２０をその中心直上から見た際の座標系（平面座標系）の値に座標変換する。

ここで、平面座標系の値に座標変換するのは、サブカメラ４００に特定の被写体を撮影させるためのパン値（水平面内の移動角度）を算出する上で都合がよいためである。なお、ここでは、駆動部４０９が撮影範囲２０の床と平行した水平面内でパン動作をするようにサブカメラ４００が設置されていることを前提としている。

座標変換は様々な方法で実行可能であるが、ここでは、撮影範囲２０の床の既知の複数の位置にマーカを配置し、俯瞰カメラ３００で得られた映像中のマーカ位置に基づいて、俯瞰カメラ座標系から平面座標系に座標変換する。なお、俯瞰カメラ３００の視点位置と撮影方向を用いるなど、マーカを用いずに座標変換してもよい。

座標変換は、ホモグラフィー変換行列Ｈを用いて、以下の式１に従って実行することができる。
式１において、右辺のｘ、ｙは俯瞰カメラ座標系における水平座標および垂直座標であり、左辺のＸ、Ｙは平面座標系の水平座標および垂直座標である。

ホモグラフィー変換行列は、映像から検出された４つのマーカの座標と、撮影範囲２０に配置された４つのマーカの座標（既知）とを、式１に代入し、連立方程式を解くことにより、算出することができる。撮影範囲２０と俯瞰カメラ３００との位置関係が固定である場合、予めテスト撮影時にホモグラフィー変換行列Ｈを算出しておき、例えばＲＯＭ１０３に保存しておくことができる。

ＣＰＵ１０１は、ＲＡＭ１０２から被写体領域の位置を順次読み出し、平面座標系の値に座標変換する。図８（ｂ）は、図８（ａ）に示す俯瞰カメラ３００映像で検出された各被写体領域の足元座標(x, y)を、式１とＲＯＭ１０３に保存したホモグラフィー変換行列Ｈを用いて平面座標系の座標値(X, Y)に座標変換した状態を模式的に示している。ＣＰＵ１０１は、座標変換した足元座標をＰＯＳＩＴＩＯＮ［ｎ］としてＲＡＭ１０２に記憶する。

（３）次に、推論部１０４が被写体の識別情報ＩＤ［ｎ］を特定する動作について説明する。ここでは、テンプレートマッチングを用いて被写体を識別するものとする。被写体の識別は、２回目以降の被写体検出の処理結果に対して実施する。最初の処理結果については、被写体領域に対して識別情報ＩＤ［ｎ］を新規に割り当てればよい。

推論部１０４は、ＲＡＭ１０２に記憶されたテンプレートを用いたテンプレートマッチングにより、検出された被写体領域の識別情報ＩＤ［ｎ］を特定する。これにより、撮影範囲内の被写体が識別される。推論部１０４は例えば、検出された被写体領域ごとに、個々のテンプレートの相関を表す評価値を算出する。そして、推論部１０４は、一定以上の相関を有し、かつ最も相関が高いテンプレートに対応する識別情報ＩＤ［ｎ］を、被写体領域の識別情報ＩＤ［ｎ］として特定する。評価値は例えば画素値の差分絶対値和など、公知の値を用いることができる。

なお、推論部１０４は、すべてのテンプレートに対して一定以上の相関を有しない被写体領域については、新たな識別情報ＩＤ［ｎ］を割り当て、被写体領域の画像をテンプレートに追加する。

また、推論部１０４は、直近のフレーム画像で検出された被写体領域を用いて既存のテンプレートを更新したり、一定以上の相関を有する被写体領域が一定期間存在しないテンプレートを削除したりしてもよい。さらに、推論部１０４は、頻繁に登場する識別情報ＩＤ［ｎ］に対応したテンプレートについてはＲＯＭ１０３に記憶してもよい。

なお、テンプレートマッチング以外の方法で被写体を識別してもよい。例えば直前の検出位置および大きさの少なくとも一方が最も近い被写体領域と同じ識別情報ＩＤ［ｎ］と特定してもよい。また、同一の識別情報に関連付けられた過去複数回の検出結果における位置の推移から現在のフレーム画像における位置をカルマンフィルタ等により予測し、予測位置に最も近い被写体領域に同じ識別情報ＩＤを特定してもよい。また、これらの方法を組み合わせてもよい。テンプレートマッチングを用いないことで、見た目が似ている異なる被写体の識別精度を高めることができる。

（４）推論部１０４は、特定した識別情報ＩＤ［ｎ］と、対応する被写体領域の位置（平面座標系）ＰＯＳＩＴＩＯＮ［ｎ］とを関連付けて、ＲＡＭ１０２に記憶する。

なお、（１）～（４）の処理のうち、被写体検出以外の処理については、推論部１０４の代わりにＣＰＵ１０１が実行してもよい。

ここでは、俯瞰カメラ３００の映像を用いて、撮影範囲２０内の被写体に関する識別情報ＩＤ［ｎ］と位置ＰＯＳＩＴＩＯＮ［ｎ］を求めた。しかし、サブカメラ４００の映像を用いてもよい。サブカメラ４００が複数の場合、ＣＰＵ１０１は、サブカメラ４００ごとに図６（ａ）のフローチャートに示した動作を実行する。被写体領域の位置はサブカメラ４００ごとの座標系における値で出力する。このように、俯瞰カメラ３００は必須ではないが、俯瞰カメラ３００を用いた方が被写体の検出精度はよいと考えられる。

図６（ａ）の説明に戻り、Ｓ２０４では、図３の注目被写体決定部１２２としてのＣＰＵ１０１が、メインカメラ５００の追尾被写体としての注目被写体を判定する。ＣＰＵ１０１は、Ｓ２０３で検出された被写体のうち、Ｓ２０２で取得したメインカメラ５００の撮影方向に基づいて、メインカメラ５００の注目被写体を判定することができる。ＣＰＵ１０１は、メインカメラ５００の注目被写体として判定した被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。

例えばＣＰＵ１０１は、平面座標系においてメインカメラ５００の撮影方向に最も近い被写体を、メインカメラ５００の注目被写体と判定することができる。なお、メインカメラ５００の撮影方向との距離が閾値以下の被写体が複数存在する場合には、その中から注目被写体をユーザに選択させてもよい。

注目被写体をユーザに選択させる場合、ＣＰＵ１０１は、表示部１０８または外部表示装置に、Ｓ２０２で被写体検出処理を適用したフレーム画像を、撮影方向を示す指標と、注目被写体の候補となる被写体領域を示す指標と共に表示させる。被写体領域の指標は、例えば図８（ａ）に示すような被写体領域の外縁を示す矩形枠であってよいが、他の指標であってもよい。また、ＣＰＵ１０１は、画像内の注目被写体を選択するように促すメッセージなども表示部１０８に表示させてもよい。

ユーザは、ユーザ入力部１０６（入力デバイス）を操作して、所望の注目被写体に対応する被写体領域を選択することができる。選択方法に特に制限はないが、マウスやキーボードを操作して、所望の被写体領域を指定する操作であってよい。

ＣＰＵ１０１は、被写体領域を指定するユーザ操作を検出すると、指定された被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。

次にＳ２０５で図３の追尾被写体決定部１２３としてのＣＰＵ１０１は、サブカメラ４００に設定されている役割に応じた制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを取得する。具体的にはＣＰＵ１０１は、図５を用いて説明した役割決定処理で取得され、ＲＡＭ１０２に記憶されている制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを読み出す。なお、サブカメラ４００が複数の場合、ＣＰＵ１０１はＳ２０５～Ｓ２０７の処理はサブカメラごとに実行する。

Ｓ２０６で、追尾被写体決定部１２３としてのＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに従って、サブカメラ４００に追尾撮影させる被写体を決定する。ＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる追尾被写体の規定（図４）に従って、サブカメラ４００の追尾被写体を決定する。

サブカメラ４００の追尾被写体をメインカメラ５００の注目被写体と同じにする場合、ＣＰＵ１０１は、Ｓ２０３で決定した注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴをサブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤとして設定する。

サブカメラ４００の追尾被写体を、メインカメラ５００の注目被写体とは別の被写体のうち左側に位置する被写体とする場合、ＣＰＵ１０１は、Ｓ２０３で検出された被写体領域のうち、注目被写体以外の被写体領域の左端に位置する被写体領域を検出する。そして、ＣＰＵ１０１は、検出した被写体領域に対応する識別情報ＩＤ［ｎ］を、サブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤとして設定する。

ＣＰＵ１０１は、決定した追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、ＲＡＭ１０２に書き出す。サブカメラによって追尾被写体が異なり得る場合、ＣＰＵ１０１は、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤをサブカメラの識別情報と関連付けて記憶する。なお、追尾被写体が変化した場合、ＣＰＵ１０１は、以前の追尾被写体の情報は消去せずにＲＡＭ１０２に保持しておく。

ここで、サブカメラ４００に設定されている役割が「メインフォロー」の場合の動作について、図９を用いて説明する。役割「メインフォロー」が設定されているサブカメラ４００について撮影制御装置１００は、メインカメラ５００の注目被写体を追尾するように制御する。

従って、図９（ａ）に示すようにメインカメラ５００の注目被写体が被写体Ｂと判定された場合、ＣＰＵ１０１は、被写体Ｂをサブカメラ４００の追尾被写体に決定する。その後、図９（ｂ）に示すようにメインカメラ５００の注目被写体が被写体Ａに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ａに変更する。同様に、図９（ｃ）に示すようにメインカメラ５００の注目被写体が被写体Ｃに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ｃに変更する。

サブカメラ４００に設定されている役割が「アシストフォロー」の場合の動作について、図１０を用いて説明する。役割「アシストフォロー」が設定されているサブカメラ４００について撮影制御装置１００は、メインカメラ５００の注目被写体とは別の被写体のうち、左側に位置する被写体を追尾するように制御する。

従って、図１０（ａ）に示すようにメインカメラ５００の注目被写体が被写体Ｂと判定された場合、ＣＰＵ１０１は、被写体Ａ、Ｃのうち左側の被写体Ａをサブカメラ４００の追尾被写体に決定する。その後、図１０（ｂ）に示すようにメインカメラ５００の注目被写体が被写体Ａに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ｂ、Ｃのうち左側の被写体Ｂに変更する。また、図１０（ｃ）に示すようにメインカメラ５００の注目被写体が被写体Ｃに変化したと判定された場合、ＣＰＵ１０１はサブカメラ４００の追尾被写体を被写体Ａ、Ｂのうち左側の被写体Ａに変更する。

役割制御装置６００により、サブカメラ４００に設定する役割を動的に変更することで、サブカメラ４００の追尾被写体を変更することができ、柔軟な自動撮影が可能になる。

図６（ａ）に戻り、Ｓ２０７で、パン・チルト値算出部１２４としてのＣＰＵ１０１は、サブカメラ４００がＳ２０６で決定された追尾被写体を追尾撮影するために必要なパン角およびチルト角の変更量を算出する。また、ズーム値算出部１２５としてのＣＰＵ１０１は、メインカメラ５００の画角変化に応じたサブカメラ４００のズーム値を算出する。以下ではサブカメラ４００が１台の場合について説明するが、サブカメラ４００が複数の場合、サブカメラごとにパン角およびチルト角の変更量の算出と、ズーム値の算出とを実行する。

まず、パン・チルト値算出部１２４としてのＣＰＵ１０１の動作について説明する。ここでは、サブカメラ４００ごとに、以下の情報が既定位置情報ＲＥＦ＿ＰＯＳＩとしてＲＯＭ１０３に予め格納されているものとする。
・設置位置の３次元座標（平面座標系での値）
・駆動部のパン角度およびチルト角度の初期値に対応する撮影方向
・パンおよびチルト角の制御可能範囲

ＣＰＵ１０１は、サブカメラ４００の追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨをＲＡＭ１０２から読み出す。そして、ＣＰＵ１０１は、位置情報ＰＯＳＩＴＩＯＮ＿ＯＨとサブカメラ４００の設置位置とから、まずパン角度を決定する。

図１１は、サブカメラ４００と追尾被写体との位置関係の一例を平面座標系で示した図である。ここでは、サブカメラ４００の光軸方向を被写体位置に向けるパン角度θを決定するものとする。ＣＰＵ１０１は、パン角度θを以下の式２を用いて算出する。

式２におけるｐｘ、ｐｙは、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤに対応する位置情報ＰＯＳＩＴＩＯＮ＿ＯＨの水平座標および垂直座標である。また、ｓｕｂｘ、ｓｕｂｙはサブカメラの設置位置の水平座標および垂直座標である。ここでは、現在のパン角が初期値０°であり、光軸方向が垂直方向（Ｙ軸方向）であるものとする。現在の光軸方向が垂直方向でない場合、式２で得られた角度に、現在の光軸方向と垂直方向との角度差を反映させればよい。また、パンの方向はsubx＞pxであれば反時計方向、subx＜pxであれば時計方向である。

次に、図１２を用いて、チルト角の決定方法について説明する。図８は、サブカメラと追尾被写体とを側方から見た状態を示している。サブカメラ４００の現在の光軸が水平方向であり高さがｈ１であり、光軸を向ける追尾被写体の顔の高さがｈ２であるものとする。現在の光軸方向と目標の光軸方向との高さ方向の角度差（チルト角）をρとする。ＣＰＵ１０１はチルト角ρを以下の式３および式４を用いて算出する。

式４に用いる座標値は、式２に用いる座標値と同じである。ｈ１およびｈ２は、予め撮影制御アプリケーションに入力され、ＲＡＭ１０２に記憶されているものとする。この場合、被写体ごとのｈ２に関連付ける識別番号と、被写体検出処理で割り当てる識別番号とが等しくなるようにする。あるいは、ｈ２は不図示のセンサを用いてリアルタイムに測定した値を用いてもよい。

ここでは、現在のチルト角が初期値０°であり、光軸方向が水平方向（高さが一定）であるものとする。現在の光軸方向が水平方向でない場合、式４で得られた角度に、現在の光軸方向と水平方向との角度差を反映させればよい。また、チルトの方向はh1＞h2であれば下方向、h1＜h2であれば上方向である。

ＣＰＵ１０１は、サブカメラ４００と通信ネットワーク７００を通じて周期的に通信し、現在の光軸方向（駆動部のパン角およびチルト角）を取得してＲＡＭ１０２に記憶する。なお、通信周期は例えばフレームレートの逆数以下とすることができる。あるいは、ＣＰＵ１０１が、サブカメラ４００について初期状態から制御したパン角およびチルト角の合計値をＲＡＭ１０２に保持しておき、現在の光軸方向として用いてもよい。

ＣＰＵ１０１は、このようにしてサブカメラ４００のパン角およびチルト角の変更量を算出し、ＲＡＭ１０２に記憶する。なお、サブカメラ４００が複数の場合、ＣＰＵ１０１はサブカメラごとにパン角およびチルト角の変更量を算出する。

パン角およびチルト角の変更量は、サブカメラ４００が追尾被写体の方向に回動するための角速度としてもよい。例えば、ＣＰＵ１０１は、通信ネットワーク７００を通じてサブカメラ４００から現在のパン角およびチルト角を取得する。そして、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したパン角θと、現在のパン角との差に比例したパンの角速度を求める。また、ＣＰＵ１０１は、ＲＡＭ１０２から読み出したチルト角ρと現在のチルト角との差に比例したチルトの角速度を求める。このように算出した角速度を、ＣＰＵ１０１はＲＡＭ１０２に記憶する。

なお、俯瞰カメラ３００の映像の代わりにサブカメラ４００の映像を用いてパン角およびチルト角の変更量を算出してもよい。この場合ＣＰＵ１０１は、サブカメラ４００の座標系における現在の光軸方向と追尾被写体方向との水平方向の差からパン角の変化量を算出し、垂直方向の差からチルト角の変化量を算出してもよい。また、追尾被写体を追尾撮影するための撮影方向の変更をパン方向及びチルト方向の一方だけで行う撮像システムであってもよく、そのような撮像システムではパン角およびチルト角の一方の変更量だけを算出するようにしてもよい。

次に、ズーム値算出部１２５としてのＣＰＵ１０１の動作について説明する。ズーム値算出部１２５としてのＣＰＵ１０１は、メインカメラ５００の画角を示す情報ＭＡＩＮ＿ＺＯＯＭを周期的に取得し、ＲＡＭ１０２に記憶する。そして、情報ＭＡＩＮ＿ＺＯＯＭが変化した場合、ＣＰＵ１０１はサブカメラ４００に設定されている役割に応じた制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに従って、サブカメラ４００に対するズーム値Ｚ＿ＶＡＬＵＥを算出する。

なお、ＣＰＵ１０１は、メインカメラ５００のズーム操作およびその位相を、例えばメインカメラ５００の映像の画角変化を検出することによって判定することができる。例えば、被写体領域の大きさや間隔の経時変化などから画角の変化を検出してもよい。

図１３は、メインカメラとサブカメラのズーム値のマッピング例を示す。ここではメインカメラ５００およびサブカメラ４００が光学的に画角を変更する（撮影光学系がズーム機能を有する）ものとする。しかし、画像処理部４０６、５０６を用いたデジタルズームで同様の機能を実現してもよい。

なお、ズーム値は、画角と対応した値を有するパラメータであり、本実施形態では画角が小さい（狭い）ほどズーム値は小さい値となり、望遠側のズーム値は広角側のズーム値よりも小さい。サブカメラ４００およびメインカメラ５００は、ズーム値を指定したコマンドを送信することにより、撮影光学系をズーム値に対応した画角に制御可能であるものとする。すなわち、ズーム値は画角に関する情報であってズーム状態を表す情報である。ズーム値は例えば３５ｍｍフルサイズの撮像素子に対応した撮影光学系の焦点距離(mm)であってもよく、その場合は望遠側のズーム値は広角側のズーム値よりも大きくなる。

図１３において、メインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭの範囲はｍａｉｎ＿ｍｉｎ～ｍａｉｎ＿ｍａｘである。また、サブカメラ４００のズーム範囲はｓｕｂ＿ｍｉｎ～ｓｕｂ＿ｍａｘである。ｍａｉｎ＿ｍｉｎ、ｓｕｂ＿ｍｉｎは、それぞれメインカメラ５００およびサブカメラ４００の望遠端、ｍａｉｎ＿ｍａｘ、ｓｕｂ＿ｍａｘは、それぞれメインカメラ５００およびサブカメラ４００の広角端に対応するズーム値である。図１３では、メインカメラ５００のズーム値の範囲が望遠端および広角端の両方についてサブカメラ４００のズーム値の範囲より広い例を示している。

サブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭをメインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭと同位相に制御する場合、ＣＰＵ１０１は、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを以下の式５を用いて算出する。

一方、サブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭをメインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭと逆位相に制御する場合、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを以下の式６を用いて算出する。具体的にはＣＰＵ１０１は、式５で算出したＳＵＢ＿ＺＯＯＭを以下の式６の右辺に代入することにより、現在のＭＡＩＮ＿ＺＯＯＭに対応するＳＵＢ＿ＺＯＯＭを算出する。
SUB_ZOOM=sub_max-(SUB_ZOOM-sub_min) ・・・（式６）

メインカメラ５００がデジタルズームを行いクロッピングによって画角を制御する場合、ＣＰＵ１０１は、メインカメラ５００でクロップする範囲のサイズにしたがってサブカメラ４００のズーム値ＳＵＢ＿ＺＯＯＭを決定することができる。具体的には、ＣＰＵ１０１はメインカメラ５００でクロップする範囲のサイズが小さいほどズーム値ＳＵＢ＿ＺＯＯＭを小さく（高倍率に）、サイズが大きい程ズーム値ＳＵＢ＿ＺＯＯＭを大きく（低倍率に）設定する。

また、サブカメラ４００の役割と関連付けるズーム制御の内容は、メインカメラ５００と同相または逆位相の制御に限定されない。例えば、メインカメラ５００の画角変化とは独立したズーム動作を役割に関連付けてもよい。例えば追尾被写体の大きさを一定に維持するようなオートズーム動作を役割に関連付けてもよい。また、サブカメラ４００の画角を特定の画角に固定させるようにしてもよい。図４に示した、役割ごとの制御内容に、これらのズーム制御を関連付けた役割を追加するか、図４に示した役割のズーム制御の内容を変更することで、サブカメラ４００に対する様々なズーム制御が可能になる。

図６（ａ）に戻り、Ｓ２０７でＣＰＵ１０１は、ＲＡＭ１０２からＳ２０６で算出したパンおよびチルト角の変更量と、ズーム値とを読み出す。そして、ＣＰＵ１０１は、サブカメラ４００に、これらの変更量に相当するパン角およびチルト角の変更を指示する制御コマンドＰＴ＿ＶＡＬＵＥを生成する。また、ＣＰＵ１０１は、サブカメラ４００に、ズーム値に相当する画角の変更を指示する制御コマンドＺ＿ＶＡＬＵＥを生成する。制御コマンドの形式は予め定められているものとする。ＣＰＵ１０１は、生成した制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥをＲＡＭ１０２に記憶する。なお、追尾被写体が静止している場合や、メインカメラ５００の画角が変わらない場合など、制御コマンドを生成する必要がない場合には、Ｓ２０７をスキップしてもよい。

そして、ＣＰＵ１０１は、制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥをＲＡＭ１０２から読み出し、ネットワークＩ／Ｆ１０５を通じて通信ネットワーク７００に送信する。サブカメラ４００は、ネットワークＩ／Ｆ４０５を通じて制御コマンドＰＴ＿ＶＡＬＵＥおよびＺ＿ＶＡＬＵＥを受信する。

ＣＰＵ１０１は、俯瞰カメラ３００の映像の次のフレーム画像について、Ｓ２０１からの処理を実行する。なお、図６（ａ）に示した処理は、必ずしも毎フレーム実行しなくてもよい。

（俯瞰カメラ３００の動作）
次に、俯瞰カメラ３００の動作について、図６（ｂ）を参照して説明する。以下に説明する動作は、ＣＰＵ３０１がプログラムを実行することによって実現される。

俯瞰カメラ３００の電源が投入されると、ＣＰＵ３０１により各機能ブロックが初期化されたのち、撮影スタンバイ状態となる。撮影スタンバイ状態でＣＰＵ３０１は、ライブビュー表示用の動画撮影処理を開始し、画像処理部３０６で生成された表示用画像データをネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に出力してもよい。

撮影スタンバイ状態においてＣＰＵ３０１は、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ３０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影制御装置１００から制御コマンドとして撮影コマンドを受信した場合の動作について説明する。

Ｓ３０１でＣＰＵ３０１はネットワークＩ／Ｆ３０５を通じて撮影制御装置１００から撮影コマンドを受信する。

なお、撮影コマンドにはフレームレートや解像度などの撮影パラメータが指定されていてもよい。また、画像処理部３０６で適用する処理に関する設定が含まれていてもよい。

Ｓ３０２でＣＰＵ３０１は、撮影コマンドの受信に応答して、撮影制御装置１００に供給するための動画撮影処理を開始する。この動画撮影処理では、ライブビュー表示用の動画撮影処理よりも高画質な動画を撮影する。例えば、動画の解像度および撮影フレームレートの少なくとも一方がライブビュー表示用の動画よりも高い。画像処理部３０６は、撮影制御装置１００に供給する動画用の設定に基づいて画像に処理を適用する。画像処理部３０６は、生成した動画データをＲＡＭ３０２に順次格納する。

Ｓ３０３でＣＰＵ１０１は、動画データをＲＡＭ３０２から読み出し、ネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に送信する。以降、撮影停止の制御コマンドを受信するまで、撮影から動画データの供給までの処理を継続する。

（メインカメラ５００の動作）
次に、メイン５００の動作について、図６（ｃ）を参照して説明する。以下に説明する動作は、ＣＰＵ５０１がプログラムを実行することによって実現される。

メインカメラ５００の電源が投入されると、ＣＰＵ５０１により各機能ブロックが初期化されたのち、撮影制御装置１００に供給するための動画撮影処理を開始する。画像処理部５０６は、画像センサ５０７から得られるアナログ画像信号に対して、撮影制御装置１００に供給する動画用の設定に基づいて処理を適用する。画像処理部５０６は、生成した動画データをＲＡＭ５０２に順次格納する。ＣＰＵ５０１は、動画データをＲＡＭ５０２から読み出し、ネットワークＩ／Ｆ５０５を通じて撮影制御装置１００に供給する。

ＣＰＵ５０１は、動画データを撮影制御装置１００に供給しながら、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ５０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影方向取得コマンドを受信した場合の動作について説明する。なお、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥ、ズームの制御コマンドＺ＿ＶＡＬＵＥを受信した場合、ＣＰＵ５０１はコマンドに応じて駆動部５０９を駆動させる。

Ｓ５０１でＣＰＵ５０１は、ネットワークＩ／Ｆ５０５を通じて撮影方向取得コマンドを受信する。ＣＰＵ５０１は、受信した撮影方向取得コマンドをＲＡＭ５０２に記憶する。

Ｓ５０２でＣＰＵ５０１は、撮影方向取得コマンドの受信に応答して、現在のパン角およびチルト角を駆動部５０９から駆動Ｉ／Ｆ５０８を通じて取得し、ＲＡＭ５０２に記憶する。

Ｓ５０３でＣＰＵ５０１は、現在のパン角およびチルト角をＲＡＭ５０２から読み出し、撮影方向の情報ＡＮＧＬＥとして、ネットワークＩ／Ｆ３０５を通じて撮影制御装置１００に送信する。

（サブカメラ４００の動作）
次に、サブカメラ４００の動作について、図６（ｄ）を参照して説明する。以下に説明する動作は、ＣＰＵ４０１がプログラムを実行することによって実現される。

サブカメラ４００の電源が投入されると、ＣＰＵ４０１により各機能ブロックが初期化されたのち、撮影制御装置１００に供給するための動画撮影処理を開始する。画像処理部４０６は、画像センサ４０７から得られるアナログ画像信号に対して、撮影制御装置１００に供給する動画用の設定に基づいて処理を適用する。画像処理部４０６は、生成した動画データをＲＡＭ４０２に順次格納する。ＣＰＵ４０１は、動画データをＲＡＭ４０２から読み出し、ネットワークＩ／Ｆ４０５を通じて撮影制御装置１００に供給する。

ＣＰＵ４０１は、動画データを撮影制御装置１００に供給しながら、ネットワークＩ／Ｆ３０５を通じた制御コマンドの受信を待機する。ＣＰＵ４０１は、制御コマンドを受信すると、制御コマンドに応じた動作を実行する。ここでは、撮影制御装置１００からパン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥおよびズームの制御コマンドＺ＿ＶＡＬＵＥを受信した場合の動作について説明する。

Ｓ４０１でＣＰＵ４０１はネットワークＩ／Ｆ４０５を通じて撮影制御装置１００からパン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥおよびズームの制御コマンドＺ＿ＶＡＬＵＥの少なくとも一方を受信する。ＣＰＵ４０１は受信した制御コマンドをＲＡＭ４０２に記憶する。

Ｓ４０２でＣＰＵ４０１は、ＲＡＭ４０２に記憶した制御コマンドから操作方向と対応する操作量とを読み出し、ＲＡＭ４０２に記憶する。ここで、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥの場合、操作方向はパンおよび／またはチルトの方向、操作量は目標角度である。また、ズームの制御コマンドＺ＿ＶＡＬＵＥの場合、操作量はズーム値であり、ズーム値から操作方向を特定できるため操作方向の読み出しおよび記憶は不要である。

Ｓ４０３でＣＰＵ４０１は、Ｓ４０３で読み出した操作方向および操作量に基づいて、駆動部４０９の駆動パラメータを生成する。ＣＰＵ４０１は例えば操作方向と操作量との組み合わせに応じた駆動パラメータを、予めＲＯＭ４０３に保持されたテーブルを用いて取得してもよい。なお、操作量が目標値（目標角度やズーム値）で与えられる場合、ＣＰＵ４１０は現在の値との差分から駆動パラメータを取得する。

Ｓ４０４でＣＰＵ４０１は、Ｓ４０４にて取得した駆動パラメータに基づいて、駆動Ｉ／Ｆ４０８を通じて駆動部４０９を制御する。これにより、駆動部４０９が、パン・チルトの制御コマンドＰＴ＿ＶＡＬＵＥで指定された操作方向および角度にサブカメラ４００の撮影方向を変更する。また、駆動部４０９は、ズームの制御コマンドＺ＿ＶＡＬＵＥで指定されたズーム値に撮影光学系の画角を変更する。

次に、図１４に示すフローチャートを用いて、撮影制御装置１００がサブカメラ４００に設定された役割に応じてサブカメラの撮影方向（パンおよびチルト）および画角（ズーム値）を制御する動作について、より詳細に説明する。図１４のフローチャートに示す動作は図６（ａ）におけるＳ２０５～Ｓ２０７の動作の一部として実行される。

Ｓ６０１はＳ２０５に相当し、ＣＰＵ１０１は、図５のＳ１０３でＲＡＭ１０２に記憶した制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを読み出す。

Ｓ６０２～Ｓ６０７は例えばＳ２０６で実施される。
Ｓ６０２でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体（注目被写体）を示しているかどうか判定する。例えば、サブカメラ４００の追尾被写体の規定が「メインと同じ」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していると判定してＳ６０３を実行する。一方、サブカメラ４００の追尾被写体の規定が「メインと別（左側）」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００の追尾被写体の規定が、メインカメラ５００の追尾被写体を示していないと判定してＳ６０４を実行する。

Ｓ６０３でＣＰＵ１０１は、サブカメラ４００の撮影方向を、メインカメラ５００の追尾被写体（注目被写体）を追尾するように制御することを決定する。
Ｓ６０４でＣＰＵ１０１は、サブカメラ４００の撮影方向を、メインカメラ５００の注目被写体とは別の被写体のうち、左側に位置する被写体を追尾するように制御することを決定する。

Ｓ６０５でＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示しているかどうか判定する。例えば、サブカメラ４００のズーム制御の規定が「メインと同位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していると判定してＳ６０６を実行する。一方、サブカメラ４００のズーム制御の規定が「メインと逆位相」を示す値を有する場合、ＣＰＵ１０１は、サブカメラ４００のズーム制御の規定が、メインカメラ５００と同位相の制御を示していないと判定してＳ６０７を実行する。

Ｓ６０６でＣＰＵ１０１は、サブカメラ４００のズーム値（画角）を、メインカメラ５００のズーム値の変化と同位相で制御することを決定する。
Ｓ６０７でＣＰＵ１０１は、サブカメラ４００のズーム値（画角）を、メインカメラ５００のズーム値の変化と逆位相で制御することを決定する。

図１５を用いて、サブカメラ４００に設定された役割が「メインフォロー」の場合のサブカメラの制御の例を説明する。図１５は、撮影中、時間の経過とともにメインカメラ５００の注目被写体および画角が変化する場合に、撮影制御装置１００がサブカメラ４００の撮影方向および画角をどのように制御するかを模式的に示している。図中、時間は左から右方向に経過している。なお、図１５においてズーム状態を「望遠端」、「中間」、「広角端」の３段階で示している。これは、図１３に示したように、サブカメラとメインカメラとでズーム値の範囲が異なりうるためである。「望遠端」が望遠端までズームアップした状態、「広角端」が広角端までズームダウンした状態、「中間」が望遠端と広角端の中間のズーム状態に対応するが、実際のズーム値はサブカメラとメインカメラでは異なり得る。例えば、ズーム状態が「望遠端」のとき、メインカメラのズーム値はｍａｉｎ＿ｍｉｎ、サブカメラのズーム値はｓｕｂ＿ｍｉｎとなる。

当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂ、ズーム状態は「中間」である。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂに決定し、サブカメラ４００が被写体Ｂを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「中間」に制御する。

その後、メインカメラ５００の注目被写体が被写体Ｂから被写体Ａに、ズーム状態が「望遠端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂから被写体Ａに変更し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「望遠端」に制御する。

その後、メインカメラ５００の注目被写体が被写体Ａから被写体Ｃに、ズーム状態が「広角端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ａから被写体Ｃに変更し、サブカメラ４００が被写体Ｃを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態を「広角端」に制御する。

このように、サブカメラ４００の役割が「メインフォロー」の場合、ＣＰＵ１０１は、メインカメラ５００の注目被写体および画角（ズーム値）の変化に追従するようにサブカメラ４００の追尾被写体およびズーム値を自動で変更する。なお、図１５に示す例ではサブカメラ４００のズーム状態の変化度合がメインカメラ５００のズーム状態の変化度合と同等になるように制御しているが、ズーム値の変化方向が同位相であれば実際のズーム値は異なってもよい。例えば、メインカメラ５００のズーム状態が望遠端のときにサブカメラ４００のズーム状態が望遠端でなくてもよい。サブカメラ４００のズーム値をメインカメラ５００のズーム値に合わせるかどうかは、役割設定情報を用いて設定可能としてもよい。

次に、サブカメラ４００に設定された役割が「アシストカウンター」の場合のサブカメラの制御の例を、図１５と同様の図１６を用いて説明する。

当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂ、ズーム状態は「望遠端」である。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂ以外の被写体Ａ、Ｃのうち、左側の被写体Ａに決定し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、サブカメラ４００のズーム状態をメインカメラ５００と逆位相となる「広角端」に制御する。

その後、メインカメラ５００の注目被写体が被写体Ｂから被写体Ａに、ズーム状態が「中間」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ａ以外の被写体Ｂ、Ｃのうち、左側の被写体Ｂに変更し、サブカメラ４００が被写体Ｂを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、メインカメラ５００のズーム状態が「望遠端」から「中間」に変化したため、サブカメラ４００のズーム状態を「広角端」から「中間」に（逆位相に）制御する。

その後、メインカメラ５００の注目被写体が被写体Ａから被写体Ｃに、ズーム状態が「広角端」に変更される。これに応じてＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｃ以外の被写体Ａ、Ｂのうち、左側の被写体Ａに変更し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。また、ＣＰＵ１０１は、メインカメラ５００のズーム状態が「中間」から「広角端」に変化したため、サブカメラ４００のズーム状態を「中間」から「望遠端」に（逆位相に）制御する。

このように、サブカメラ４００の役割が「アシストカウンター」の場合、ＣＰＵ１０１は、メインカメラ５００の注目被写体の変化に応じてサブカメラ４００の追尾被写体をメインカメラ５００の注目被写体とは別の被写体の中で自動で変更する。また、ＣＰＵ１０１は、メインカメラ５００の画角（ズーム値）の変化と逆方向にサブカメラ４００のズーム値を自動で変更する。

なお、図１６に示す例ではサブカメラ４００のズーム状態をメインカメラ５００のズーム状態の変化度合と同等の変化度合で制御しているが、ズーム値の変化方向が逆位相であればズーム値の変化量は異なってもよい。例えば、例えば、メインカメラ５００のズーム状態が望遠端のときにサブカメラ４００のズーム状態が広角端でなくてもよい。メインカメラ５００のズーム状態の変化度合に対するサブカメラ４００のズーム状態の変化度合は、役割設定情報を用いて設定可能としてもよい。

（変形例）
ここまで、メインカメラ５００の注目被写体およびズーム値に基づいてサブカメラ４００の追尾被写体およびズーム値を自動制御する例を説明した。上述した例では、サブカメラが単一の被写体を追尾するように自動制御するものであったが、撮影範囲内の複数の被写体を追尾するように自動制御することもできる。

サブカメラ４００に設定された役割が「アシストフォロー」の場合に、サブカメラ４００で単一の被写体を追尾させる場合と、複数の被写体を追尾させる場合の制御の例を、図１７を用いて説明する。ここでは理解および説明を容易にするため、メインカメラ５００の画角が変化せず、追尾被写体の制御だけが実行される場合について説明する。また、サブカメラ４００の画角が、撮影方向に係わらず撮影範囲２０内の全被写体を常に撮影可能であるものとする。なお、図１７の最上段に示したサブカメラ４００の撮影方向は、単一の被写体を追尾させる場合の撮影方向を示している。

図１６と同様、当初、メインカメラ５００の注目被写体（追尾被写体）は被写体Ｂである。そのため、ＣＰＵ１０１は、サブカメラ４００の追尾被写体を被写体Ｂ以外の被写体Ａ、Ｃのうち、左側の被写体Ａに決定し、サブカメラ４００が被写体Ａを追尾するように撮影方向を制御する。追尾被写体が画面の中心に位置するように撮影方向を制御すると、下から２段目に示すように、サブカメラ４００の映像は被写体Ａ～Ｃが右に寄った映像になり、バランスが悪い。そのため、サブカメラ４００の映像に追尾被写体を含む複数の被写体が存在する場合、それら複数の被写体を追尾するように撮影方向を制御することができる。例えばＣＰＵ１０１は、サブカメラ４００の映像に含まれる複数の被写体Ａ～Ｃの位置の重心を追尾するように撮影方向を制御することができる。この結果、サブカメラ４００では最下段に示すような映像が撮影される。

図１７に示す例では、サブカメラ４００が被写体Ａ～Ｃのいずれを追尾しても、すべての被写体Ａ～Ｃが撮影されるため、メインカメラ５００の注目被写体が変化しても、サブカメラ４００の撮影方向はほぼ一定になる。

（変形例２）
また、サブカメラ４００の追尾被写体を決定した後、ＣＰＵ１０１は、追尾被写体に合焦するようにサブカメラ４００を制御してもよい。基本的にサブカメラ４００では指定された追尾被写体に合焦するようにＣＰＵ４０１が継続的に合焦距離を制御しているが、撮影制御装置１００からサブカメラ４００のＡＦ枠を追尾被写体の位置に設定することができる。これにより、サブカメラ４００を、素早く、また確実に追尾被写体に合焦させることができる。なお、パンの速度が遅く（閾値以下に）なった際にＡＦ枠を設定すると、追尾対象が画面の中央に位置する可能性が高いため、合焦に要する時間を短縮できる可能性がある。

（変形例３）
また、俯瞰カメラ３００を用いなくてもサブカメラ４００の制御は可能である。この場合、メインカメラ５００とサブカメラ４００の設置位置と、メインカメラ５００の撮影方向（追尾被写体に対するメインカメラ５００の向き）とから、サブカメラ４００の撮影方向を決定することができる。メインカメラ５００で被写体検出処理を実行し、その結果をＣＰＵ１０１が取得して用いることで、サブカメラ４００を制御することができる。例えばＣＰＵ１０１は被写体検出処理の結果として被写体領域の画像をメインカメラ５００から取得する。そして、ＣＰＵ１０１は、取得した画像をテンプレートとして用いた被写体追尾処理を実行するようにサブカメラ４００を制御することができる。あるいは、ＣＰＵ１０１は、取得した画像をテンプレートとして用い、テンプレートの相関度が低い被写体領域を追尾するようにサブカメラ４００を制御してもよい。

（変形例４）
撮影制御装置１００と役割制御装置６００とをメインカメラ５００とを独立した装置として説明したが、メインカメラ５００内に撮影制御装置１００と役割制御装置６００の機能を組み込むこともできる。この場合、俯瞰カメラ３００の映像をメインカメラ５００に供給する。このような構成により、マルチカメラ撮像システムを実現するために必要な機器を削減することができる。

以上説明したように、本実施形態によれば、メインカメラの状態や映像に基づいてサブカメラの動作を自動制御する際、サブカメラに設定された役割に応じた自動制御を実行するようにした。そのため、本実施形態の撮影制御装置は、省力化を実現しつつ、より自由度の高い自動撮影制御を実現することができる。

●＜第２実施形態＞
次に本発明の第２実施形態について説明する。本実施形態ではメインカメラの状態または映像に基づく情報と、サブカメラに設定されている役割とに加え、サブカメラの映像を考慮してサブカメラの追尾被写体を決定する。

図１８は、本実施形態に撮像システム１０’の構成例を示す模式図である。図１８において第１実施形態の撮像システム１０と同様の構成には図１と同じ参照数字を付して説明を省略する。本実施形態の撮像システム１０’は、２台のサブカメラＡ８００およびサブカメラＢ９００を有する。サブカメラＡ８００およびサブカメラＢ９００の機能構成は第１実施形態で説明したサブカメラ４００と同様であるため説明を省略する。

本実施形態では、役割が役割制御装置６００から撮影制御装置１００に設定され、役割設定情報がサブカメラごとに異なる制御内容を含む。ＣＰＵ１０１は、撮影制御装置１００に設定された役割にしたがって、サブカメラごとに動作を制御する。

図１９は、本実施形態における役割設定情報の例を示す図である。ここでは一例として役割「アシストフォロー」と対応するサブカメラごとの制御内容のみを示している。しかし、撮影制御装置１００に設定可能な役割の種類および役割の種類に対応する制御内容は図１９に示す例に限定されない。

ここでは、サブカメラＡ８００については、メインカメラの追尾被写体と異なる被写体のうち左側の被写体を追尾被写体とし、かつ追尾被写体に合焦するように制御することが規定されている。また、サブカメラＢ９００については、メインカメラの追尾被写体と異なる被写体のうち右側の被写体を追尾被写体とし、かつ追尾被写体に合焦するように制御することが規定されている。ここでは被写体の総数が３であることが事前に分かっているため、２人のうち左側または右側と規定されているが、単に左側、右側と規定してもよい。なお、第１実施形態と同様にズーム制御について規定してもよいが、説明の簡略化のためズーム制御については省略する。

図１９に示す役割設定情報は、撮影制御装置１００のＲＯＭ１０３に予め記憶されている。あるいは役割設定情報は役割制御装置６００から撮影制御装置１００に供給され、ＣＰＵ１０１がＲＡＭ１０２に記憶してもよい。

図２０を用いて、撮影制御装置１００が役割設定情報に基づいてサブカメラＡ８００およびサブカメラＢ９００をどのように制御するかを説明する。

図２０（ａ）は、撮影開始時における撮影範囲２０とメインカメラ５００、サブカメラＡ８００、サブカメラＢ９００の位置関係と、撮影範囲２０内の被写体Ａ～Ｃとを示している。図２０（ｂ）は、撮影開始後、被写体Ａが被写体Ｂの左側から右側に移動し、被写体Ｃが被写体Ｂの右側から左側に移動した状態を示している。

図２０（ａ）の段階で撮影制御装置１００のＣＰＵ１０１は、図１９に示した役割設定情報に基づいて、サブカメラＡ８００およびサブカメラＢ９００の動作を制御する。すなわち、ＣＰＵ１０１は、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち左側の被写体ＡをサブカメラＡ８００の追尾被写体に、右側の被写体ＣをサブカメラＢ９００の追尾被写体に、それぞれ決定する。

ＣＰＵ１０１は、決定した追尾被写体を追尾するようにサブカメラＡ８００およびサブカメラＢ９００の撮影方向を制御する。また、ＣＰＵ１０１は、決定した追尾被写体に合焦するよう、サブカメラＡ８００およびサブカメラＢ９００を制御する。

図２０（ｂ）の状態になると、サブカメラＡ８００が追尾している被写体Ａは、（メインカメラ５００の注目被写体以外の）「左側の被写体」という条件を満たさない。そのため、ＣＰＵ１０１は、サブカメラＡ８００の追尾被写体を、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち左側の被写体Ｃに変更する。同様に、サブカメラＢ９００が追尾している被写体Ｃも「右側の被写体」という条件を満たさない。そのため、ＣＰＵ１０１は、サブカメラＢ９００の追尾被写体を、メインカメラ５００の注目被写体（被写体Ｂ）以外の被写体Ａ、Ｃのうち右側の被写体Ａに変更する。また、ＣＰＵ１０１は、決定した追尾被写体に合焦するよう、サブカメラＡ８００およびサブカメラＢ９００を制御する。

図２０（ｂ）のように被写体が大きく移動した場合、手前に他の被写体が存在する可能性が高くなるため、追尾対象の被写体が隠されやすくなる。撮影範囲２０に対して左よりに配置されたサブカメラは左側に存在する被写体を追尾するように設定することで、追尾被写体が右方向に大きく移動した場合に追尾被写体が効果的に変更されることが規定できる。撮影範囲２０に対して右よりに配置されたサブカメラについても同様である。

本実施形態では、同じ役割についてサブカメラごとに異なる被写体を追尾するような制御内容を規定できるようにした。そのため、本実施形態の撮影制御装置１００によれば、メインカメラの状態や映像から得られる情報に基づきつつ、様々な被写体を追尾した映像を撮影するようにサブカメラを自動制御することが可能になる。

（変形例）
本実施形態では、俯瞰カメラ３００の映像から検出された被写体領域の位置を座標変換することにより、特定の被写体を追尾するためのサブカメラの撮影方向を推定する。しかし、サブカメラＡ８００、サブカメラＢ９００の映像に基づいて同様の推定を行ってもよい。この場合、撮影制御装置１００の処理負荷は増えるが、座標変換が不要であるため、サブカメラの撮影方向の制御の精度を高めることができる。

（変形例２）
また、本実施形態でサブカメラＡ８００およびサブカメラＢ９００を制御するパン・チルト値は、追尾対象を自動追尾するように算出されていた。しかし、自動追尾は必須でない。例えば、役割設定情報において、メインカメラ５００のズーム値に応じて、サブカメラＡ８００およびサブカメラＢ９００のパン値を制御するように規定してもよい。

一例として、メインカメラ５００のズーム状態が「広角端」の場合に、サブカメラＡ８００は左斜め４５度の方向を向き、サブカメラＢ９００は右斜め４５度の方向を向くように制御することができる。一方で、メインカメラ５００のズーム状態が「望遠端」の場合には、サブカメラＡ８００およびサブカメラＢ９００が、どちらも中央０度の方向を向くように制御することができる。

このような制御を行うことで、複数のサブカメラの撮影方向をメインカメラ５００のズーム状態に同期させて制御することが可能になり、演出効果を高めることができる。例えば、メインカメラ５００が特定の被写体にズームアップしていくと、それに連動して、サブカメラＡ８００とサブカメラＢ９００が同じ被写体をズームアップしながら撮影方向を変更することも可能になる。このような制御を行うことで、複数台のカメラ画像を、複数台のモニターに表示するような演出において、複数カメラが同期制御された複数の撮影画像を同時に視聴することが可能になる。また、同じ役割を持たせて各カメラを自動制御することで、個々のカメラを手動操作する場合に比べて、カメラ間の画角の時間変化のばらつきが小さく、画角変化の一体感が強くなり、より臨場感を高めるような演出上の効果が望める。

（変形例３）
また、本実施形態では、メインカメラ５００を主、サブカメラＡ８００およびサブカメラＢ９００を従として制御する例を示したが、メインカメラ５００とサブカメラＡ８００の主従関係を動的に変更可能としてもよい。例えば、メインカメラ５００、サブカメラＡ８００、サブカメラＢ９００のうち、本線映像を撮影しているカメラを主とし、他のカメラを従として制御するようにしてもよい。この場合、撮影制御装置１００はどのカメラの映像が本線映像をとして選択されているかを示す情報を、映像を選択するスイッチャなどの外部装置から取得するか、タリー信号に基づいて判別すればよい。本線映像に限らず、記録用の映像など、視聴者の視聴や記録に関わる映像として選択された際にも同様の制御を実行してもよい。

また、サブカメラＡ８００もしくはサブカメラＢ９００が手動操作された際にカメラ間の主従関係を切り換えてもよい。この場合、サブカメラのいずれかをユーザが手動操作した時点で、そのサブカメラを主とした他のカメラの制御か開始されるため、使い勝手がよい。

●＜第３実施形態＞
次に本発明の第３実施形態について説明する。本実施形態に係る撮像システムは、メインカメラおよびサブカメラの撮影状態を可視化した情報をユーザに提供することで、撮像システムの使い勝手を向上させる。

図２１は、本発明の第３実施形態に係る撮像システム１０”の構成例を示す模式図である。ここでは、説明および理解を容易にするため、第１実施形態に係る撮像システム１０をベースにした構成例を示した。表示装置８００以外の構成については第１実施形態での説明を援用する。

表示装置８００は、サブカメラ４００とメインカメラ５００の情報、特に撮影中の被写体に関する情報を、撮像システムを利用するユーザに提示する。本実施形態では表示装置８００を撮影制御装置１００や役割制御装置６００と別個の構成として説明するが、表示装置８００の機能を撮影制御装置１００と役割制御装置６００の少なくとも一方で実施してもよい。

表示装置８００は、撮影制御装置１００で生成された撮影情報を表示する。撮影制御装置１００が表示用画像データを生成する場合、表示装置８００は液晶ディスプレイのようなもっぱら表示機能を提供する装置、あるいは撮影制御装置１００の外部表示装置として機能可能な任意の電子機器であってよい。また、表示装置８００は、撮影制御装置１００と通信可能な、表示機能を有する任意の電子機器（情報処理装置、スマートフォン、タブレット端末など）であってもよい。撮影制御装置１００から得られる撮影情報に基づいて表示装置８００が表示用画像データを生成し、表示してもよい。

図２２は、図２１に示した撮像システム１０”を構成する各機器の機能構成例を示すブロック図である。表示装置８００以外の機器については図２に関する第１実施形態での説明を援用する。

表示装置８００は、ＣＰＵ８０１、ＲＡＭ８０２、ＲＯＭ８０３、ユーザ入力部８０４，ネットワークインタフェース（Ｉ／Ｆ）８０５、画像処理部８０６、表示部８１１が内部バス８１０を介して相互に接続された構成を有する。

ＣＰＵ８０１は、プログラムされた命令を実行可能なマイクロプロセッサである。ＣＰＵ８０１は、例えば、ＲＯＭ８０３に記憶されたプログラムをＲＡＭ８０２に読み込んで実行することにより、後述する表示装置８００の機能を実現する。ＣＰＵ８０１は、例えば、基本ソフト（ＯＳ）上で稼働する表示制御アプリケーションを実行することにより、表示装置８００の機能を実現することができる。

ＲＡＭ８０２は、ＣＰＵ８０１が実行するプログラムをロードしたり、ＣＰＵ８０１が処理するデータ、処理中のデータなどを一時的に格納したりするために用いられる。また、ＲＡＭ８０２の一部は表示部８１１のビデオメモリとして用いられてもよい。

ＲＯＭ８０３は書き換え可能な不揮発性メモリであり、ＣＰＵ８０１が実行するプログラム（ＯＳおよびアプリケーション）、ユーザデータなどを記憶する。

ユーザ入力部８０４は、マウス、キーボード、タッチパネルなどの入力デバイスである。表示装置８００は、ユーザ入力部８０４を通じてユーザの指示を受け付ける。

ネットワークＩ／Ｆ８０５は表示装置８００を通信ネットワーク７００に接続するためのインタフェースである。表示装置８００（ＣＰＵ８０１）は、ネットワークＩ／Ｆ８０５を通じて、撮影制御装置１００など、通信ネットワーク７００上の外部装置と通信することができる。なお、表示装置８００は、不図示の他の通信インタフェース（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を通じて外部装置と通信してもよい。

ＣＰＵ８０１は、通信ネットワーク７００上の装置との通信に必要な情報（例えばネットワークアドレス）を任意のタイミングで取得し、ＲＡＭ８０２に記憶する。

画像処理部８０６は、ネットワークＩ／Ｆ８０５を介して取得した画像データから、表示部８１１に表示するための画像データ（表示用画像データ）を生成する。また、画像処理部８０６は、撮影制御装置１００から受信したメインカメラ５００およびサブカメラ４００の撮影状態に基づいて表示用画像データを生成する。画像処理部８０６は、生成した表示用画像データをＲＡＭ８０２に格納する。なお、画像処理部８０６は表示用画像データに必要に応じて圧縮処理を適用してデータ量を削減してもよい。また、画像処理部８０６は受信した画像データに対して色補正、露出制御、シャープネス補正などの画質調整を適用してもよい。

表示部８１１は、液晶ディスプレイ（ＬＣＤ）などの表示装置である。表示部８１１は、ＯＳや表示制御アプリケーションなどが提供するＧＵＩ画面を表示する。表示部８１１はまた、メインカメラ５００およびサブカメラ４００の撮影状態を示す画像を表示する。

表示装置８００の動作は、ユーザ入力部８０４を通じて与えられるユーザ指示、撮影制御装置１００などからネットワークＩ／Ｆ８０５を通じて受信する指示（コマンド）によって制御される。

図２３は、図３と同様にして、撮影制御装置１００がサブカメラ４００の動作を制御する際に実施する一連の処理を、主要な動作と信号の流れに着目して表した図である。撮影制御装置１００内に示される機能ブロックは主要な動作を模式的に示しており、撮影制御アプリケーションが提供する主要な機能に相当する。図２３における各機能ブロックは、撮影制御アプリケーションを実行するＣＰＵ１０１と、図２２に示した撮影制御装置１００の機能ブロックの１つ以上との組み合わせによって実現される。

図２３と図３との対比からわかるように、本実施形態の撮影制御装置１００は、被写体情報重畳部１２６および画角情報重畳部１２７の機能を有する。被写体情報重畳部１２６は、俯瞰カメラ３００から取得した映像に、メインカメラ５００およびサブカメラ４００のそれぞれにおける追尾被写体を示す情報を重畳する。また、画角情報重畳部１２７は、俯瞰カメラ３００から取得した映像に、メインカメラ５００およびサブカメラ４００のそれぞれの画角を示す情報を重畳する。被写体情報重畳部１２６および画角情報重畳部１２７の動作は、個別かつ動的に有効および無効を切り替え可能である。なお、被写体情報重畳部１２６および画角情報重畳部１２７を撮影制御装置１００とは異なる表示制御装置が有し、撮影制御装置１００から表示制御装置が種々の情報を受信し、表示制御装置で生成された画像を表示装置８００に出力する構成でもよい。

次に、図２４に示すフローチャートを用いて、本実施形態における撮影制御装置１００が実行する動作のうち、メインカメラ５００およびサブカメラ４００の撮影情報を重畳した画像を生成する動作について説明する。撮影制御装置１００は、ここで説明する動作をサブカメラの自動撮影制御動作などの他の動作と並列して実行することができる。

図２４（ａ）は、俯瞰カメラ３００からの映像に、撮影情報の１つである追尾被写体の情報を重畳する動作に関するフローチャートである。また、図２４（ｂ）は、俯瞰カメラ３００からの映像に、撮影情報の１つである画角の情報を重畳する動作に関するフローチャートである。ここでは、被写体情報重畳部１２６によって追尾被写体の情報を重畳し、さらに画角情報重畳部１２７によって画角の情報を重畳するものとする。ただし、重畳の順序は逆でもよいし、重畳の有無は個別に制御可能である。

また、図２４（ａ）および図２４（ｂ）のフローチャートに示す動作は、俯瞰カメラ３００の映像の所定数フレームごと（例えば１フレームごと、２フレームごとなど）に実行する。

Ｓ７０１でＣＰＵ１０１は、Ｓ２０１と同様にして、俯瞰カメラ３００から映像信号（画像データ）ＩＭＧの取得を開始する。

Ｓ７０２でＣＰＵ１０１は、Ｓ２０２と同様にして、メインカメラ５００から撮影方向を示す情報ＡＮＧＬＥを取得する。

Ｓ７０３でＣＰＵ１０１（認識部１２１）は、ＲＡＭ１０２から１フレーム分の画像データＩＭＧを読み出し、Ｓ２０３で説明した被写体検出処理を実行する。そして、ＣＰＵ１０１は、被写体検出結果に基づいて、被写体領域ごとに、指標を重畳する位置を決定する。ここでは、図８（ａ）で示した、被写体領域が内接する矩形領域を示す枠を指標として重畳するものとする。したがって、ＣＰＵ１０１は、矩形領域の位置を特定する情報として、推論部１０４の出力に基づいて被写体領域ごとに矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩを決定し、ＲＡＭ１０２に格納する。

矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩは、具体的には、矩形領域の対角頂点の画像座標であってよい。ここでは、左上頂点の座標（ｘｕｌ、ｙｕｌ）と右下頂点の座標（ｘｄｒ、ｙｄｒ）とする。

Ｓ７０４で注目被写体決定部１２２としてのＣＰＵ１０１は、Ｓ２０４と同様に、メインカメラ５００の注目被写体を判定する。ＣＰＵ１０１は、メインカメラ５００の注目被写体として判定した被写体領域に対応する識別情報ＩＤ［ｎ］を、注目被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴとしてＲＡＭ１０２に記憶する。

Ｓ７０５で追尾被写体決定部１２３としてのＣＰＵ１０１は、Ｓ２０５と同様に、サブカメラ４００に設定されている役割に応じた制御内容ＣＡＭＥＲＡ＿ＲＯＬＥを取得する。具体的には、ＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥをＲＡＭ１０２から読み出す。

Ｓ７０６で、追尾被写体決定部１２３としてのＣＰＵ１０１は、Ｓ２０６と同様に、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに従って、サブカメラ４００に追尾撮影させる被写体を決定する。ＣＰＵ１０１は、制御内容ＣＡＭＥＲＡ＿ＲＯＬＥに含まれる追尾被写体の規定（図４）に従って、サブカメラ４００の追尾被写体を決定する。

被写体領域に対する指標およびカメラごとの追尾被写体の指標を表示せず、追尾被写体の撮影画角を示す指標を表示する場合、ＣＰＵ１０１は、Ｓ７０６の処理が終了した後、図２４（ｂ）のＳ８０１を実行する。

Ｓ７０７で、被写体情報重畳部１２６としてのＣＰＵ１０１は、ＲＡＭ１０２からＳ７０３で読み出したものと同じ画像データＩＭＧを読み出す。そして、ＣＰＵ１０１は、ＲＡＭ１０２から被写体領域ごとの矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩを読み出し、矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩに基づく指標を画像データＩＭＧに重畳する。上述したように、指標は矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩが示す座標を対角頂点とした矩形枠である。また、ここでは矩形枠の色を被写体領域ごとに異ならせる。ＣＰＵ１０１（被写体情報重畳部１２６）は、被写体領域の指標を重畳した画像データを、ＲＡＭ１０２に格納する。

図２５は、俯瞰カメラ３００の映像のフレーム画像から検出された被写体の識別ＩＤと、矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩと、被写体領域ごとの指標の表示色との関係例を示す図である。識別ＩＤが「ＩＤ１」の被写体の領域に外接する矩形領域の位置情報（矩形情報ＤＥＴＥＣＴ＿ＰＯＳＩ）が、（ｘｕｌ１、ｙｕｌ１）、（ｘｄｒ１、ｙｄｒ１）であり、指標の色「赤」が関係づけられている。これは、識別ＩＤがＩＤ１と判定された被写体に対して、画像中の矩形情報に示される位置に、赤色で指標（ここでは矩形枠）を重畳することを示している。他の識別ＩＤのＩＤ２、ＩＤ３に関しても同様である。なお、識別ＩＤに割り当てる色は予め定めておくことができる。

図２６は、被写体領域の指標を重畳した画像データが表す画像の例を示している。ここでは俯瞰画像から３人の被写体Ａ～Ｃが検出され、それぞれ識別ＩＤとしてＩＤ１～ＩＤ３が付与されているものとする。俯瞰画像は、俯瞰カメラ３００からの映像の１フレームである。

図２５に示すように指標の色が規定されている場合、被写体Ａ～Ｃの領域には、それぞれ赤、緑、青の矩形枠状の指標２６１～２６３が重畳される。

なお、被写体ごとの指標は、例示した矩形枠状の指標に限定されない。例えば、矩形枠は被写体領域の少なくとも一部を含んでいればよい。また、矩形枠の内の、被写体領域以外の領域を枠と同じ色で塗りつぶしてもよい。また、例えば指標を半透明としてもよい。指標を半透明とすることで、指標が被写体領域に重複する場合でも、被写体領域を視認することが可能になる。被写体ごとの指標は、被写体領域との対応関係が明確であれば、関連付けられる被写体領域に接していても接していなくてもよい。

Ｓ７０８でＣＰＵ１０１は、ＲＡＭ１０２からＳ７０７で生成した画像データを読み出す。そして、ＣＰＵ１０１は、メインカメラ５００およびサブカメラ４００の追尾被写体の領域の近傍に、その被写体を追尾被写体としているカメラの識別情報を重畳した画像データＳＵＢＪＥＣＴ＿ＩＭＧを生成する。

まず、ＣＰＵ１０１は、ＲＡＭ１０２から、メインカメラ５００の注目被写体（追尾被写体）ＩＤを示すＭＡＩＮ＿ＳＵＢＪＥＣＴと、サブカメラ４００の追尾被写体ＩＤを示すＳＵＢＪＥＣＴ＿ＩＤを読み出す。ＣＰＵ１０１は、ＭＡＩＮ＿ＳＵＢＪＥＣＴの識別ＩＤに対応する被写体領域の近傍に、メインカメラ５００の識別情報（ここでは文字「メインカメラ」とする）を重畳する。同様にＣＰＵ１０１は、ＳＵＢＪＥＣＴ＿ＩＤに対応する被写体領域の近傍に、サブカメラ４００の識別情報（ここでは文字「サブカメラ」とする）を重畳する。

なお、サブカメラ４００の識別情報に加え、サブカメラ４００に設定されている役割の識別情報を重畳してもよい。例えばサブカメラ４００に役割「メインフォロー」が設定されている場合には、文字「サブカメラ（ＭＦ）」を重畳することができる。

カメラの識別情報を重畳する位置は、例えば矩形枠状の被写体指標の直上であってよい。この場合ＣＰＵ１０１は、カメラの識別情報を重畳する位置を矩形情報から決定することができる。なお、ＣＰＵ１０１は、カメラの識別情報を重畳する位置を、被写体領域の位置情報から決定してもよい。また、カメラの識別情報も半透明とすることができる。

カメラの識別情報を重畳する位置は対応する被写体領域の位置などに応じて個別に決定してもよい。例えば、被写体領域が画像の端に近い場合は、表示位置を変更してもよい。具体的には、画像の上端に近い被写体領域については被写体領域の下部に、左端に近い被写体領域については被写体領域の右に、カメラの識別情報を重畳することができる。また、被写体領域間の距離や重複などを考慮して位置を動的に変更してもよい。

また、カメラの識別情報は、カメラの役割（メインまたはサブ）に限らない。例えば、カメラのＩＰアドレスや、機種名など、カメラを識別可能な任意の情報であってよい。また、複数種の識別情報を同時に、あるいは切り替え可能に重畳してもよい。

さらに、カメラの識別情報の色は、対応する被写体に対応付けられた色、すなわち、被写体領域ごとの指標と同じ色としてもよい。あるいは、メインカメラ、サブカメラごとに、あらかじめ定められた固定色としてもよい。

ＣＰＵ１０１は、被写体領域の指標およびカメラごとの追尾被写体を示す情報を俯瞰画像に重畳した画像のデータを、ＳＵＢＪＥＣＴ＿ＩＭＧとしてＲＡＭ１０２へ書き込む。なお、画角情報を重畳しない場合、ＣＰＵ１０１は、画像データＳＵＢＪＥＣＴ＿ＩＭＧを表示用画像データＯＵＴ＿ＩＭＡＧＥとして表示装置８００に出力してもよい。

図２７（ａ）～図２７（ｃ）は、撮影範囲内に存在する人物の被写体Ａ～Ｃについて、メインカメラ５００およびサブカメラ４００の追尾被写体が異なる場合の例を示している。具体的には、サブカメラ４００が役割「アシストフォロー」または「アシストカウンター」に従って自動撮影している場合である。また、図２７（ｄ）～図２７（ｆ）は、それぞれ図２７（ａ）～図２７（ｃ）に対応して生成される画像データＳＵＢＪＥＣＴ＿ＩＭＧを示している。

メインカメラ５００およびサブカメラ４００の追尾被写体にかかわらず、俯瞰画像における被写体Ａ～Ｃの領域には、図２５に示した関係に基づいた色を有する矩形枠状の指標が重畳される。

図２７（ａ）は、メインカメラ５００が被写体Ｂを、サブカメラ４００が被写体Ａを追尾している状態である。そのため、メインカメラ５００の追尾被写体である被写体Ｂの領域の近傍には、「メインカメラ」の文字２７２が重畳される。また、サブカメラ４００の追尾被写体である被写体Ａの領域の近傍には、「サブカメラ」の文字２７１が重畳される。

図２７（ｂ）は、メインカメラ５００が被写体Ａを、サブカメラ４００が被写体Ｂを追尾している状態である。そのため、メインカメラ５００の追尾被写体である被写体Ａの領域の近傍には、「メインカメラ」の文字２７２が重畳される。また、サブカメラ４００の追尾被写体である被写体Ｂの領域の近傍には、「サブカメラ」の文字２７１が重畳される。

図２７（ｃ）は、メインカメラ５００が被写体Ｃを、サブカメラ４００が被写体Ａを追尾している状態である。そのため、メインカメラ５００の追尾被写体である被写体Ｃの領域の近傍には、「メインカメラ」の文字２７２が重畳される。また、サブカメラ４００の追尾被写体である被写体Ａの領域の近傍には、「サブカメラ」の文字２７１が重畳される。

次に、図２４（ｂ）に示したフローチャートを用いて、俯瞰画像に追尾被写体の撮影画角を示す指標を追加する処理について説明する。

Ｓ８０１で画角情報重畳部１２７としてのＣＰＵ１０１は、Ｓ７０８で生成した、被写体領域の指標およびカメラごとの追尾被写体の指標が重畳された俯瞰画像のデータＳＵＢＪＥＣＴ＿ＩＭＧをＲＡＭ１０２から読み出す。なお、被写体領域の指標およびカメラごとの追尾被写体の指標を重畳しない場合、ＣＰＵ１０１は、ＲＡＭ１０２からＳ７０３で読み出したものと同じフレームの画像データＩＭＧを読み出す。

Ｓ８０２でＣＰＵ１０１は、メインカメラ５００およびサブカメラ４００の現在のズーム値を取得する。メインカメラ５００のズーム値ＭＡＩＮ＿ＺＯＯＭは、ズーム値算出部１２５がメインカメラ５００から直近に取得してＲＡＭ１０２に記憶した値を用いることができる。また、サブカメラ４００のズーム値は、Ｓ２０７でズーム値算出部１２５が直近に決定してＲＡＭ１０２に記憶したズーム値Ｚ＿ＶＡＬＵＥを用いることができる。なお、ＣＰＵ１０１は、ネットワークＩ／Ｆ１０５を通じてズーム値の取得コマンドを送信することにより、メインカメラ５００とサブカメラ４００からズーム値を取得してもよい。

Ｓ８０３でＣＰＵ１０１は、撮影画角を表す指標に用いる画像データを例えばＲＯＭ１０３から読み出す。ここでは、特定の画像を画角に応じた大きさにスケーリングして、撮影画角を表す指標として用いるものとする。なお、撮影画角を表す指標は、ズーム値を文字で表す指標など、他の形態であってもよい。

Ｓ８０４でＣＰＵ１０１は、Ｓ８０２で取得したメインカメラ５００のズーム値に応じて、Ｓ８０３で取得した画像をリサイズし、メインカメラ５００の追尾被写体の撮影画角を示す指標を生成する。ＣＰＵ１０１は、サブカメラ４００についても同様にして追尾被写体の撮影画角を示す指標を生成する。

画像のリサイズ率は、ズーム値が小さい（画角が狭い）ほど大きなサイズにリサイズされ、ズーム値が大きい（画角が広い）ほど小さなサイズにリサイズされるよう、予めリサイズ率とズーム値の対応関係がＲＯＭ１０３に記憶されている。 また、本実施形態では、俯瞰画像に追尾被写体の撮影画角を示す指標を重畳する画像上の位置ＤＲＡＷ＿ＰＯＳＩが予めＲＯＭ１０３に記憶されている。位置ＤＲＡＷ＿ＰＯＳＩは、メインカメラ５００およびサブカメラ４００のそれぞれについて、指標を表示するための矩形領域の対角頂点の座標を規定する。なお、サブカメラ４００の台数に応じて個別の位置ＤＲＡＷ＿ＰＯＳＩが記憶されていてもよい。

ここでは、図２８（ｄ）および図２８（ｅ）に示すように、俯瞰画像の下部に撮影画角を示す指標を表示するものとする。この場合、位置ＤＲＡＷ＿ＰＯＳＩには、メインカメラ５００の撮影画角の指標を表示する矩形領域の左上頂点の座標（ｄｒａｗＭ_Ｘｓ、ｄｒａｗＭ_Ｙｓ）と右下頂点の座標（ｄｒａｗＭ_Ｘｅ、ｄｒａｗＭ_Ｙｅ）が含まれる。また、位置ＤＲＡＷ＿ＰＯＳＩには、サブカメラ４００の撮影画角の指標を表示する矩形領域の左上頂点の座標（ｄｒａｗＳ_Ｘｓ、ｄｒａｗＳ_Ｙｓ）と右下頂点の座標（ｄｒａｗＳ_Ｘｅ、ｄｒａｗＳ_Ｙｅ）も含まれる。

ＣＰＵ１０１は、スケーリングされた画像を、俯瞰画像の、位置ＤＲＡＷ＿ＰＯＳＩで示される矩形領域内に重畳する。

図２８を用いて、撮影画角を示す指標の生成および重畳に関する動作について、より具体的に説明する。図２８（ａ）は、撮影範囲内に存在する人物の被写体Ａ～Ｃについて、メインカメラ５００の追尾被写体が被写体Ｂであり、サブカメラ４００の追尾被写体が被写体Ａである状態を示している。具体的には、サブカメラ４００が役割「アシストフォロー」に従って自動撮影している場合である。図２８（ｂ）はメインカメラ５００の映像、図２８（ｃ）はサブカメラ４００の映像をそれぞれ示している。

図２８（ｄ）は、図２８（ａ）の状態で、メインカメラ５００およびサブカメラ４００の撮影画角がいずれも広角である場合の、撮影画角を示す指標の表示例を示している。また、図２８（ｅ）は、図２８（ａ）の状態で、メインカメラ５００およびサブカメラ４００の撮影画角がいずれも望遠である場合の、撮影画角を示す指標の表示例を示している。

ここでは人体の胴部と頭部を模した単純な形状の図形の画像（人体モデル画像）を指標の生成に用いている。また、理解および説明を容易にするため、メインカメラ５００とサブカメラ４００のズーム値の範囲が同一であり、役割「アシストフォロー」により、サブカメラ４００のズーム値がメインカメラ５００のズーム値と等しくなるように制御されているものとする。図２８（ｄ）および図２８（ｅ）に示すように、撮影画角が広角の場合には小さい指標が表示され、撮影画角が望遠の場合には大きい指標が表示される。

Ｓ８０５でＣＰＵ１０１は、撮影画角の指標が、どのカメラに対する指標であるのかを明確にするための処理を実行する。具体的には、ＣＰＵ１０１は、指標を表示する矩形領域の輪郭を、図２５に示した識別ＩＤと指標色との関係に従った色とする。具体的には、ＣＰＵ１０１は、指標を表示する矩形領域の輪郭の少なくとも一部を、その指標が示す被写体の識別ＩＤに対応した色で提示する。あるいは、ＣＰＵ１０１は、指標を表示する矩形領域の輪郭の少なくとも一部に、その指標が示す被写体の識別ＩＤに対応した色の画像を重畳する。

図２８（ａ）に示した例では、メインカメラ５００の追尾被写体は被写体Ｂである。また、図２５に示すように、被写体Ｂ（識別ＩＤ２）に対する指標の色は緑色である。そのため、ＣＰＵ１０１は、被写体Ｂの撮影画角を表す指標を表示する矩形領域の輪郭を緑色とする。同様に、ＣＰＵ１０１は、被写体Ａ（識別ＩＤ１）の撮影画角を表す指標を表示する矩形領域の輪郭を赤色とする。

なお、撮影画角を表す指標を表示する領域にも、指標に対応する被写体を追尾被写体とするカメラの識別情報を含めてもよい。カメラの識別情報を含めることにより、より直接的にどのカメラの撮影画角であるかを把握できる。

ＣＰＵ１０１は、図２８（ｄ）や図２８（ｅ）に示すような、撮影画角を示す指標と、指標に対応する被写体の識別情報とを含んだ画像のデータを表示用画像データＯＵＴ＿ＩＭＡＧＥとして生成する。そして、ＣＰＵ１０１は、表示用画像のデータＯＵＴ＿ＩＭＡＧＥを、表示装置８００に送信する。表示用画像データＯＵＴ＿ＩＭＡＧＥには、（１）図２７に示した被写体領域の指標およびカメラごとの追尾被写体を示す情報と、（２）撮影画角を示す指標および指標に対応する被写体の識別情報との少なくとも一方が含まれる。なお、ＣＰＵ１０１は、表示用画像データＯＵＴ＿ＩＭＡＧＥを表示部１０８に表示してもよい。

表示装置８００のＣＰＵ８０１は、ネットワークＩ／Ｆ８０５を通じて表示用画像データＯＵＴ＿ＩＭＡＧＥを受信すると、ＲＡＭ８０２に記憶する。そして、ＣＰＵ８０１は、表示用画像データＯＵＴ＿ＩＭＡＧＥを表示部８１１に表示する。ＣＰＵ８０１は、表示用画像データＯＵＴ＿ＩＭＡＧＥを必要に応じて表示部８１１での表示に適したデータに変換してもよい。例えば、ＣＰＵ８０１は、表示部８１１の解像度に合わせて表示用画像データＯＵＴ＿ＩＭＡＧＥをスケーリングすることができる。

胴部と頭部とをデフォルメした形状の画像をズーム値に応じてスケーリングすることにより、サイズで画角を表す指標を生成した。しかし、サイズ以外で画角を表す指標を生成してもよい。例えば、予め定められた画像（例えば人体の全身をデフォルメした画像）のうち、指標として用いる範囲の大きさをズーム値に応じて異ならせてもよい。具体的には、撮影画角が広角の場合は画像全体（全身）を指標とし、撮影画角が望遠の場合は画像の上半身のみを指標とするといったように、画角が狭いほど指標として用いる範囲を狭めることができる。

また、被写体を模した画像を指標に用いなくてもよい。例えば、胴部と頭部とをデフォルメした形状の画像の代わりに、果物（例えばリンゴ）や、楽器（例えばギター）などの画像をスケーリングして撮影画角の指標としてもよい。あるいは、俯瞰画像から切りだした被写体の画像を用いてもよい。スケーリングする代わりに、予め用意したサイズの異なる複数の画像の１つを、ズーム値に基づいて選択してもよい。任意の公知の方法を用いて、ズーム値に応じてサイズが異なる指標を生成することができる。

サブカメラ４００が複数存在する場合には、サブカメラ４００ごとに指標を表示すればよい。撮影画角を示す指標については、左端の矩形領域からメインカメラ／サブカメラ１／サブカメラ２...という順番で表示することができる。あるいは、メインカメラの撮像画角を表す指標を水平方向の中心に位置する矩形領域に表示し、左右の矩形領域に所定の順序で各サブカメラの撮影画角の指標を表示してもよい。

また、本実施形態では、各カメラの追尾被写体が１人であるものとした。しかし、追尾被写体が複数人であってもよい。追尾被写体が複数人のカメラの撮影画角を表す指標は、人数に応じた画像を用いて生成することができる。例えば、図２６に示した３人の被写体（被写体Ａ～被写体Ｃ）をまとめて追尾するカメラについては、３人が並んだ状態の画像をスケーリングして撮影画角を示す指標を生成することができる。他の人数でも同様である。

あるいは、複数の被写体をグループ分けし、グループ単位で追尾する場合には、１人の画像をスケーリングした後、グループの識別情報（例えばグループ名）を重畳して指標を生成してもよい。この場合、被写体のグループに対して個々の被写体とは異なる指標の色を割り当ててもよい。あるいは、個々の被写体に割り当てられている色をすべて含んだ指標を用いて、同一グループに属する被写体を表してもよい。例えば、図２５に示した例であれば、被写体Ａ～Ｃが同一グループに属する場合、赤、緑、青の３色から構成される指標（例えば矩形枠）を、被写体Ａ～Ｃのそれぞれの領域に重畳してもよい。

また、本実施形態では、同じカメラについての追尾被写体と撮影画角との視覚的な関連付けに、被写体に関連付けられた色の矩形枠を用いたが、他の方法を用いてもよい。例えば、同じカメラについての追尾被写体の領域と、撮影画角を表す指標の表示領域とを接続する実線、点線、破線、二重線などの画像を用いてもよい。矩形枠に限らず、被写体領域を示す矢印や、被写体領域を囲む円や台形などの図形枠を用いてもよい。

また、撮影画角を表す指標と関連付けて、対応するカメラのアイコンを表示してもよい。例えばカメラ外観形状が異なる場合、どのカメラの撮影画角かをより分かりやすく示すことができる。例えば、メインカメラ５００が横長のビデオカメラで、サブカメラ４００が丸型のＰＴＺカメラである場合、カメラの外観を模したアイコンを撮影画角を示す指標に関連付けて表示することで、どのカメラの撮影画角であるのかを一目で認識可能になる。また、カメラの種類もアイコンから把握することができる。

また、文字情報によって撮影画角を提示してもよい。例えば、ズーム値を表す数字、「引き」（広角）／「寄り」（望遠）などの文字を表す画像を、撮影画角を表す指標として用いてもよい。撮影画角を示すことが可能な他の任意の表現を用いてもよい。

また、本実施形態では、撮影情報としてカメラごとの追尾被写体と撮影画角を可視化した指標を例示した。しかし、撮影情報はこれらに限定されない。例えば、各カメラのタリー状態を可視化してもよい。具体的には、タリー状態が放送中もしくは配信中であるカメラの追尾被写体および撮影画角の指標に対しては、タリーランプの色と同じ色のマークや、「放送中」もしくは「配信中」といった文字情報を関連付けて表示してもよい。スイッチャを用いて撮像システムから出力する映像を選択する場合、タリー状態を俯瞰画像に重畳して表示することで、個々のカメラの被写体および画角に加え、現在出力されている映像の被写体および画角を容易に把握することが可能になる。

以上説明したように、本実施形態によれば、メインカメラに連携して自動撮影するサブカメラを有する撮像システムにおいて、各カメラが撮影している被写体や撮影画角といった撮影情報をリアルタイムで把握することが可能になる。そのため、メインカメラを切り替えたり、各カメラの画角を適切に変更したりといった遠隔操作を容易に実行することが可能になる。

●＜第４実施形態＞
次に、本発明の第４実施形態について説明する。第３実施形態では、各カメラの撮影情報を俯瞰画像に重畳してユーザに提示する例を説明した。第４実施形態では、各カメラの撮影情報を俯瞰画像に重畳する方法とは異なる方法でユーザに提示する。

図２９は、図３および図２３と同様にして、撮影制御装置１００がサブカメラ４００の動作を制御する際に実施する一連の処理を、主要な動作と信号の流れに着目して表した図である。撮影制御装置１００内に示される機能ブロックは主要な動作を模式的に示しており、撮影制御アプリケーションが提供する主要な機能に相当する。図２９における各機能ブロックは、撮影制御アプリケーションを実行するＣＰＵ１０１と、図２２に示した撮影制御装置１００の機能ブロックの１つ以上との組み合わせによって実現される。

図２９と図２３との対比からわかるように、本実施形態の撮影制御装置１００は、第３実施形態における構成に加え、ＧＵＩ生成部１２９の機能を有する。ＧＵＩ生成部１２９は、各カメラの撮影情報をユーザに提示するための第２の表示用画像としてのＧＵＩ(Graphical User Interface)を生成する。撮影情報をユーザに提示するためのＧＵＩを生成することで、俯瞰画像に撮影情報を重畳した第１の表示用画像とは別の表現を用いることが可能になる。そのため、ユーザが各カメラの撮影情報を把握するための別の手段を提供することが可能になる。

次に、図３０に示すフローチャートを用いて、本実施形態における撮影制御装置１００が実行する動作のうち、メインカメラ５００およびサブカメラ４００の撮影情報を提示するためのＧＵＩ画像を生成する動作について説明する。撮影制御装置１００は、ここで説明する動作を、サブカメラの自動撮影制御動作や、第３実施形態で説明した動作などと並列に実行することができる。

ここでは一例として、各カメラの追尾被写体および撮影画角に加え、設定された役割に従ったサブカメラの連係内容を撮影情報として提示するＧＵＩ画像を生成するものとする。生成するＧＵＩの種類はどのようなものであってもよいが、ここでは一例として撮影情報を提示するウィンドウを生成するものとする。

Ｓ９０１でＣＰＵ１０１は、図２４のＳ７０７と同様にして、被写体領域の周囲に、被写体の識別ＩＤに応じた色の矩形枠の画像を重畳した俯瞰画像のデータを生成する。ＣＰＵ１０１は、生成した画像データをＲＡＭ１０２に格納する。

Ｓ９０２でＣＰＵ１０１は、Ｓ７０８と同様にして、Ｓ９０１で生成した画像データに、メインカメラ５００とサブカメラ４００の追尾被写体に該当する被写体領域の近傍に重畳するカメラの識別情報の画像を追加する。ここでは、文字「メインカメラ」および「サブカメラ」の画像を、カメラの識別情報の画像として追加する。ＣＰＵ１０１は、Ｓ９０１およびＳ９０２の工程によって得られた、撮影情報が重畳された俯瞰画像（第１の表示用画像）のデータを、ＲＡＭ１０２に記憶する。

Ｓ９０３でＣＰＵ１０１は、Ｓ７０５と同様にして、サブカメラ４００に設定されている役割ＣＡＭＥＲＡ＿ＲＯＬＥを取得する。

Ｓ９０４でＣＰＵ１０１は、Ｓ８０２と同様にして各カメラのズーム値を取得する。

Ｓ９０５でＧＵＩ生成部１２９としてのＣＰＵ１０１は、撮影情報を提示するためのＧＵＩ画像の生成を開始する。まず、ＣＰＵ１０１は、予め定められた大きさのウィンドウの画像にカメラごとの領域を描画する。ここでは一例として、各カメラの追尾被写体の識別ＩＤに関連付けられた色で、各カメラに対応した矩形を描画する。図３１（ｅ）に、ウィンドウ３１０と各カメラに対応した矩形枠３１１、３１２の例を示す。図３１（ｅ）は、図３１（ａ）に示すように、メインカメラ５００とサブカメラ４００との追尾被写体がいずれも被写体Ｂである。そのため、ＣＰＵ１０１は、メインカメラ５００に対応した矩形枠３１１と、サブカメラ４００に対応した矩形枠３１２とをいずれも緑色で描画する。

また、ＣＰＵ１０１は、領域がどのカメラに対応しているかを示すために、矩形枠３１１、３１２の上部にカメラの識別情報３１３、３１４を描画する。図３１（ｅ）では一例として「メインカメラ」「サブカメラ」という文字情報を描画しているが、上述したようにカメラの外観形状のアイコンなど、他の種類の画像を描画してもよい。

さらに、ＣＰＵ１０１は、サブカメラ４００に対応する領域に、サブカメラ４００に設定されている役割ＣＡＭＥＲＡ＿ＲＯＬＥに応じた制御内容のうち、追尾被写体の制御内容を示す情報を描画する。

図３１（ｅ）に示す例では、各カメラに対応する領域（矩形内の領域）が、上下に分割されている。そして、上部に追尾被写体の制御内容を、下部に撮影画角の情報を、それぞれ描画する。なお、領域内をどのように分割するか、また分割された領域にどのような撮影情報を提示するかは、提示する撮影情報の種類や数に応じて適宜定めることができる。

図３１（ｅ）に示す例では、サブカメラに役割「メインフォロー」が設定されている。そのため、ＣＰＵ１０１は、サブカメラ４００に対応する領域の上部に、サブカメラ４００の追尾被写体がメインカメラの追尾被写体と同じであることを示す情報３１７を描画する。図３１（ｅ）では一例として「追尾被写体 メインと同じ」という文字情報を描画している。

Ｓ９０６でＣＰＵ１０１は、Ｓ８０４と同様にして、各カメラの撮影画角を示す指標を生成する。ここでは第３実施形態と同様の画像を用いて指標を生成するが、先に説明したように、他の種類の画像を用いたり、文字情報を用いたりして指標を生成してもよい。

Ｓ９０７でＣＰＵ１０１は、Ｓ９０６で生成した指標を、各カメラに対応する領域に描画する。図３１（ｅ）に示す例では、領域の下部に指標を描画する。そして、ＣＰＵ１０１は、Ｓ９０５～Ｓ９０７の工程を経て得られたＧＵＩ画像（第２の表示用画像）のデータをＲＡＭ１０２に記憶する。

ＣＰＵ１０１は、Ｓ９０２でＲＡＭ１０２に記憶した俯瞰画像（第１の表示用画像）のデータと、Ｓ９０７でＲＡＭ１０２に記憶したＧＵＩ画像（第２の表示用画像）のデータとを、表示用画像データＯＵＴ＿ＩＭＡＧＥとして、表示装置８００へ送信する。本実施形態においても、表示用画像データＯＵＴ＿ＩＭＡＧＥを表示部１０８に表示することができる。

表示装置８００のＣＰＵ８０１は、ネットワークＩ／Ｆ８０５を通じて表示用画像データＯＵＴ＿ＩＭＡＧＥを受信すると、ＲＡＭ８０２に記憶する。そして、ＣＰＵ８０１は、表示用画像データＯＵＴ＿ＩＭＡＧＥを表示部８１１に表示する。ＣＰＵ８０１は、表示用画像データＯＵＴ＿ＩＭＡＧＥを必要に応じて表示部８１１での表示に適したデータに変換してもよい。例えば、ＣＰＵ８０１は、俯瞰画像とＧＵＩ画像とが表示部８１１で別ウィンドウとして表示されるように、俯瞰画像とＧＵＩ画像とをスケーリングすることができる。

本実施形態においてＣＰＵ１０１が生成する表示用画像データＯＵＴ＿ＩＭＡＧＥの例を、図３１を用いて説明する。

図３１（ａ）および図３１（ｂ）は、図２８（ａ）と同様のシーンをメインカメラ５００と、メインカメラ５００に連携するサブカメラ４００で自動撮影している状態を示している。図３１（ａ）では、サブカメラ４００が役割「メインフォロー」に従って自動撮影している。また、図３１（ｂ）では、サブカメラ４００が役割「アシストカウンター」に従って自動撮影している。なお、ここでは役割「アシストカウンター」ではメインカメラ５００の注目被写体とは別の被写体のうち、右側に存在する被写体を、サブカメラ４００の追尾被写体として設定するものとする。

また、図３１（ａ）ではメインカメラ５００とサブカメラ４００との撮影画角が等しいものとする。一方、図３１（ｂ）では、図３１（ａ）の状態よりもメインカメラ５００の画角が狭い（望遠側）ものとする。したがって、サブカメラ４００の撮影画角は、役割「アシストカウンター」に従い、図３１（ａ）の状態よりも広くなる（広角側）ように制御されている。

図３１（ａ）では、メインカメラ５００とサブカメラ４００がどちらも被写体Ｂを追尾している。図３１（ｂ）では、メインカメラ５００が被写体Ａを、サブカメラ４００が被写体Ｃを追尾している。

図３１（ｃ）は、図３１（ａ）の撮影状態において、Ｓ９０２で生成される俯瞰画像データに相当する画像を示している。各被写体の領域には、被写体の識別ＩＤに関連付けられた色の矩形枠がそれぞれ重畳されている。また、メインカメラ５００およびサブカメラ４００の追尾被写体である被写体Ｂの矩形枠の上部には、メインカメラ５００とサブカメラ４００の識別情報（文字「メインカメラ」および「サブカメラ」）を示す画像が重畳されている。

図３１（ｄ）は、図３１（ｂ）の撮影状態において、Ｓ９０２で生成される俯瞰画像データに相当する画像を示している。各被写体の領域には、被写体の識別ＩＤに関連付けられた色の矩形枠がそれぞれ重畳されている。また、メインカメラ５００の追尾被写体である被写体Ｂの矩形枠の上部には、メインカメラ５００の識別情報（文字「メインカメラ」）を示す画像が重畳されている。さらに、サブカメラ４００の追尾被写体である被写体Ｃの矩形枠の上部には、サブカメラ４００の識別情報（文字「サブカメラ」）を示す画像が重畳されている。

図３１（ｅ）は、図３１（ａ）の撮影状態において、Ｓ９０７で生成されるＧＵＩ画像データに相当する画像を示している。ウィンドウ３１０には、メインカメラ５００に対応する領域を示す矩形枠３１１と、サブカメラ４００に対応する領域を示す矩形枠３１２とが描画されている。矩形枠３１１および３１２は、対応するカメラの追尾被写体の識別ＩＤに関連付けられた色で描画されている。また、矩形枠３１１および３１２の上部には、対応するカメラの識別情報３１３および３１４が描画されている。サブカメラ４００に対応する矩形枠３１２内の上部には、現在サブカメラ４００に設定されている役割における追尾被写体制御の内容を示す情報３１７が描画されている。また、矩形枠３１１および３１２内の下部には、メインカメラ５００およびサブカメラ４００の撮影画角を示す指標３１５および３１６が描画されている。指標３１５および３１６の大きさは等しい。

図３１（ｆ）は、図３１（ｂ）の撮影状態において、Ｓ９０７で生成されるＧＵＩ画像データに相当する画像を示している。図３１（ｅ）と比較すると、追尾被写体が異なることにより、矩形枠３１１および３１２の色が異なっている。また、メインカメラ５００の撮影画角が狭く、サブカメラ４００の撮影画角が広くなっているため、指標３１５および３１６の大きさが異なっている。また、サブカメラ４００の役割が異なるため、追尾被写体制御の内容を示す情報３１７の内容が異なっている。

なお、カメラの追尾被写体の識別ＩＤに関連付けられた色を、そのカメラに対応する領域を示す矩形以外に適用してもよい。例えば、領域内の背景に適用してもよい。また、撮影情報が重畳された俯瞰画像にＧＵＩ画像を重畳するなどして、２つの画像を同一ウィンドウに表示してもよい。

本実施形態では、サブカメラ４００の役割に関する情報として、追尾被写体の制御内容を示した。しかし、サブカメラ４００の役割の名称（「アシストカウンター」など）、追尾被写体の識別情報（被写体名など）を代わりに、あるいは追加して示したりしてもよい。

本実施形態によれば、俯瞰画像とは別に撮影情報を提示する画像を生成することで、第３実施形態の効果に加え、俯瞰画像に影響されずに撮影情報を確認することが可能になり、撮影情報を一層容易に把握することが可能になる。

なお、第３および第４実施形態では、メインカメラおよびサブカメラの撮影状態を可視化した情報をユーザに提供する例を説明したが、メインカメラを撮影者が操作する場合にはメインカメラの被写体や撮影画角の変更は予め決められていることもあり得る。そのような場合、メインカメラの被写体や撮影画角はある程度把握できるため、メインカメラの撮影状態は可視化せずサブカメラの撮影状態を可視化した情報をユーザに提供するようにしてもよい。あるいは、メインカメラの撮影状態を可視化するか否かをユーザが選択可能にしてもよい。

また、サブカメラの数が多いマルチカメラ撮像システムでは、すべてのカメラの撮影状態を可視化した情報をユーザに提供すると、情報量が多すぎてユーザが情報を正確に認識できないおそれがある。そこで、マルチカメラ撮像システムのカメラのうち、撮影状態を可視化するカメラのユーザが選択できるようにしてもよい。ただし、サブカメラの撮影状態は可視化せずメインカメラの撮影状態を可視化した情報をユーザに提供しても自動撮像システムの使い勝手を向上させる効果は小さいため、少なくとも１つのサブカメラの撮影状態を可視化した情報をユーザに提供することが好ましい。これらの選択操作は、ユーザ入力８０４を用いて実行できるようにすればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の撮影制御装置、撮影制御方法、表示制御装置、表示制御方法、撮像システム、およびプログラムを含む。
（項目１）
メインカメラおよびサブカメラを含む複数のカメラのうち、前記サブカメラの撮影方向と画角とを、前記サブカメラに設定された役割と、前記メインカメラの注目被写体と画角とに基づいて制御する制御手段と、
前記メインカメラおよび前記サブカメラの情報を提示する表示用画像を生成する生成手段と、
前記表示用画像を出力する出力手段と、
を有し、
前記生成手段は、前記メインカメラの注目被写体および前記サブカメラの追尾被写体に関する情報と、前記メインカメラおよび前記サブカメラの画角に関する情報と、の少なくとも一方を提示する表示用画像を生成する、ことを特徴とする撮影制御装置。
（項目２）
前記生成手段は、前記複数のカメラの撮影範囲の全体を撮影する、前記複数のカメラとは別のカメラで撮影された映像に、前記メインカメラおよび前記サブカメラの情報を重畳することにより、前記表示用画像を生成することを特徴とする項目１に記載の撮影制御装置。
（項目３）
前記生成手段は、前記別のカメラで撮影された映像における、前記注目被写体の領域および前記追尾被写体の領域に関連付けられた指標を重畳することにより、前記注目被写体および前記追尾被写体に関する情報を提示することを特徴とする項目２に記載の撮影制御装置。
（項目４）
前記指標が、前記注目被写体の領域を含む矩形枠状の指標と、前記追尾被写体の領域を含む矩形枠状の指標とを含むことを特徴とする項目３に記載の撮影制御装置。
（項目５）
前記矩形枠状の指標の色が、被写体ごとに予め定められた色であることを特徴とする項目４に記載の撮影制御装置。
（項目６）
前記指標が、前記メインカメラおよび前記サブカメラの識別情報をさらに含むことを特徴とする項目４または５に記載の撮影制御装置。
（項目７）
前記生成手段は、前記メインカメラの画角を示す指標と前記サブカメラの画角を示す指標とを、前記別のカメラで撮影された映像に重畳することにより、前記メインカメラおよび前記サブカメラの画角に関する情報を提示することを特徴とする項目２から６のいずれか１項に記載の撮影制御装置。
（項目８）
前記画角を示す指標が、サイズによって画角の大きさを示すことを特徴とする項目７に記載の撮影制御装置。
（項目９）
前記画角を示す指標が、予め定められた画像のうち前記指標として用いる範囲の大きさによって画角の大きさを示すことを特徴とする項目７に記載の撮影制御装置。
（項目１０）
前記メインカメラの前記画角を示す指標を重畳する領域の輪郭の少なくとも一部を、前記メインカメラの前記注目被写体に対して予め定められた色で提示することを特徴とする項目７から９のいずれか１項に記載の撮影制御装置。
（項目１１）
前記生成手段は、前記表示用画像として、前記複数のカメラの撮影範囲の全体を撮影する、前記複数のカメラとは別のカメラで撮影された映像に基づく第１の表示用画像と、前記別のカメラで撮影された映像に基づかない第２の表示用画像とを生成することを特徴とする項目１に記載の撮影制御装置。
（項目１２）
前記第１の表示用画像には、前記注目被写体の領域および前記追尾被写体の領域に関連付けられた指標が重畳され、
前記第２の表示用画像には、前記メインカメラの画角を示す指標と前記サブカメラの画角を示す指標とが含まれる、
ことを特徴とする項目１１に記載の撮影制御装置。
（項目１３）
前記第２の表示用画像には、前記サブカメラに設定された役割に関する情報がさらに含まれることを特徴とする項目１１または１２に記載の撮影制御装置。
（項目１４）
前記役割に関する情報が、前記役割の名称と、前記役割に従った前記サブカメラの制御内容との１つ以上を含むことを特徴とする項目１３に記載の撮影制御装置。
（項目１５）
前記第２の表示用画像は、前記メインカメラの前記注目被写体に対して予め定められた色の矩形枠で示される、前記メインカメラに関する情報を提示するための領域と、前記サブカメラの前記追尾被写体に対して予め定められた色の矩形枠で示される、前記サブカメラに関する情報を提示するための領域とを含むことを特徴とする、項目１２から１４のいずれか１項に記載の撮影制御装置。
（項目１６）
前記複数のカメラと、
項目１から１５のいずれか１項に記載の撮影制御装置と、
を有する撮像システム。
（項目１７）
前記撮影制御装置が出力する表示用画像を表示する表示装置を更に有することを特徴とする項目１６に記載の撮像システム。
（項目１８）
メインカメラおよびサブカメラを含む複数のカメラのうち、前記サブカメラの撮影方向と画角とが、前記サブカメラに設定された役割と、前記メインカメラの注目被写体と画角とに基づいて制御される撮像システムで用いられる表示制御装置であって、
前記サブカメラの情報を提示する表示用画像を生成する生成手段と、
前記表示用画像を出力する出力手段と、
を有し、
前記生成手段は、前記サブカメラの追尾被写体に関する情報と、前記サブカメラの画角に関する情報と、の少なくとも一方を提示する表示用画像を生成する、ことを特徴とする表示制御装置。
（項目１９）
撮影制御装置が実行する撮影制御方法であって、
メインカメラおよびサブカメラを含む複数のカメラのうち、前記サブカメラの撮影方向と画角とを、前記サブカメラに設定された役割と、前記メインカメラの注目被写体と画角とに基づいて制御することと、
前記メインカメラおよび前記サブカメラの情報を提示する表示用画像を生成することと、
前記表示用画像を出力することと、を有し、
前記生成することは、前記メインカメラの注目被写体および前記サブカメラの追尾被写体に関する情報と、前記メインカメラおよび前記サブカメラの画角に関する情報と、の少なくとも一方を提示する表示用画像を生成することを含む、ことを特徴とする撮影制御方法。
（項目２０）
メインカメラおよびサブカメラを含む複数のカメラのうち、前記サブカメラの撮影方向と画角とが、前記サブカメラに設定された役割と、前記メインカメラの注目被写体と画角とに基づいて制御される撮像システムで用いられる表示制御装置が実行する表示制御方法であって、
前記サブカメラの情報を提示する表示用画像を生成することと、
前記表示用画像を出力することと、を有し、
前記生成することは、前記サブカメラの追尾被写体に関する情報と、前記サブカメラの画角に関する情報と、の少なくとも一方を提示する表示用画像を生成することを含む、ことを特徴とする表示制御方法。
（項目２１）
コンピュータを、項目１から１５のいずれか１項に記載の撮影制御装置が有する各手段として機能させるためのプログラム。
（項目２２）
コンピュータを、項目１８に記載の表示制御装置が有する各手段として機能させるためのプログラム。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更および変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮影制御装置、３００…俯瞰カメラ、４００…サブカメラ、５００…メインカメラ、６００…役割制御装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…推論部、１０５…ネットワークＩ／Ｆ、１０６…ユーザ入力部

Claims (21)

1. 第１の撮像装置および第２の撮像装置を含む撮像システムであって、前記第１の撮像装置に関する情報と、前記第２の撮像装置に設定された役割とに基づいて前記第２の撮像装置の追尾対象とする被写体が制御される撮像システム、で用いられる表示制御装置であって、
   前記第１の撮像装置の注目被写体と、前記第２の撮像装置に設定された前記役割とに基づいて、前記第２の撮像装置の前記追尾対象とする被写体を決定する決定手段と、
   前記第１の撮像装置で撮像された画像および前記第２の撮像装置で撮像された画像とは異なる、表示用画像を生成する生成手段と、
   前記表示用画像を出力する出力手段と、を有し、
   前記生成手段は、前記表示用画像として、前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す画像を生成する、ことを特徴とする表示制御装置。
2. 前記撮像システムでは、前記第１の撮像装置に関する情報と、前記第２の撮像装置に設定された役割とに基づいて前記第２の撮像装置の画角がさらに制御され、
   前記生成手段は、前記表示用画像として、前記決定手段が決定した前記第２の撮像装置が前記追尾対象している被写体と、前記第２の撮像装置の画角とを示す画像を生成する、ことを特徴とする請求項１に記載の表示制御装置。
3. 前記生成手段は、前記表示用画像として、前記第１の撮像装置の注目被写体および前記第１の撮像装置の画角、および、前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体および前記第２の撮像装置の画角、を示す画像を生成する、ことを特徴とする請求項１に記載の表示制御装置。
4. 前記生成手段は、前記表示用画像として、前記撮像システムに含まれる複数の撮像装置のうち、前記第１の撮像装置および前記第２の撮像装置とは異なる撮像装置で撮影された画像に対して、前記第１の撮像装置の注目被写体および前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す指標を重畳した画像を生成する、ことを特徴とする請求項１に記載の表示制御装置。
5. 前記生成手段は、前記撮像システムに含まれる前記第１の撮像装置および前記第２の撮像装置の撮影範囲の全体を撮影する第３の撮像装置で撮影された画像に対して、前記第１の撮像装置の注目被写体および前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す指標を重畳した画像を生成する、ことを特徴とする請求項１に記載の表示制御装置。
6. 前記指標は、前記撮影範囲の全体を撮影する撮像装置で撮影された画像における前記第１の撮像装置の注目被写体の領域を含む矩形枠状の指標と、前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体の領域を含む矩形枠状の指標とを含む、ことを特徴とする請求項５に記載の表示制御装置。
7. 前記矩形枠状の指標の色は、被写体ごとに予め定められた色を有する、ことを特徴とする請求項６に記載の表示制御装置。
8. 前記表示用画像は前記第１の撮像装置の画角を示す指標を含み、
   前記第１の撮像装置の前記画角を示す前記指標の少なくとも一部は、前記第１の撮像装置の注目被写体の領域を含む前記矩形枠状の前記指標と同じ色を有する、ことを特徴とする請求項７に記載の表示制御装置。
9. 前記第１の撮像装置の前記画角を示す前記指標は、前記第１の撮像装置の識別情報を含む、ことを特徴とする請求項８に記載の表示制御装置。
10. 前記表示用画像は前記第２の撮像装置の画角を示す指標を含み、
    前記第２の撮像装置の前記画角を示す前記指標の少なくとも一部は、前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体の前記領域を含む前記矩形枠状の前記指標と同じ色を有する、ことを特徴とする請求項７に記載の表示制御装置。
11. 前記第２の撮像装置の前記画角を示す前記指標は、前記第２の撮像装置の識別情報を含む、ことを特徴とする請求項１０に記載の表示制御装置。
12. 前記生成手段は、前記第１の撮像装置の注目被写体と前記決定手段が決定した前記第２の撮像装置が前記追尾対象とする被写体とが異なる場合、前記表示用画像として、前記第１の撮像装置の注目被写体を示す指標と前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す指標とを区別可能な画像を生成する、ことを特徴とする請求項１に記載の表示制御装置。
13. 前記表示用画像は、前記第２の撮像装置の画角を示す指標を含み、前記指標のサイズによって前記画角の大きさを示す、ことを特徴とする請求項１に記載の表示制御装置。
14. 前記表示用画像は、前記第２の撮像装置に設定された役割に関する情報を含む、ことを特徴とする請求項１に記載の表示制御装置。
15. 前記役割に関する情報は、前記役割の名称と、前記役割に従った前記第２の撮像装置の制御内容との１つ以上を含む、ことを特徴とする請求項１４に記載の表示制御装置。
16. 前記役割は、ユーザが設定可能であることを特徴とする請求項１に記載の表示制御装置。
17. 第１の撮像装置と、第２の撮像装置と、撮影制御装置と、表示制御装置とを含み、前記第１の撮像装置に関する情報と、前記第２の撮像装置に設定された役割とに基づいて前記第２の撮像装置の追尾対象とする被写体が制御される撮像システムであって、
    前記撮影制御装置は、前記第１の撮像装置の注目被写体と、前記第２の撮像装置に設定された役割とに基づいて前記第２の撮像装置の追尾対象とする被写体を決定する決定手段を有し、
    前記表示制御装置は、
    前記第１の撮像装置で撮像された画像および前記第２の撮像装置で撮像された画像とは異なる、表示用画像を生成する生成手段と、
    前記表示用画像を出力する出力手段と、を有し、
    前記生成手段は、前記表示用画像として、前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す画像を生成する、ことを特徴とする撮像システム。
18. さらに、前記表示用画像を表示する表示装置を含む、ことを特徴とする請求項１７に記載の撮像システム。
19. さらに、前記第１の撮像装置および前記第２の撮像装置の撮影範囲の全体を撮影する第３の撮像装置を含み、
    前記生成手段は、前記第３の撮像装置で撮影された画像に対して、前記第１の撮像装置の注目被写体および前記決定手段が決定した前記第２の撮像装置が前記追尾対象としている被写体を示す指標を重畳した画像を生成する、ことを特徴とする請求項１７に記載の撮像システム。
20. 第１の撮像装置および第２の撮像装置を含み、前記第１の撮像装置に関する情報と、前記第２の撮像装置に設定された役割とに基づいて前記第２の撮像装置の追尾対象とする被写体が制御される撮像システム、で実施される表示制御方法であって、
    前記第１の撮像装置の注目被写体と、前記第２の撮像装置に設定された前記役割とに基づいて、前記第２の撮像装置の前記追尾対象とする被写体を決定することと、
    前記第１の撮像装置で撮像された画像および前記第２の撮像装置で撮像された画像とは異なる、表示用画像を生成することと、
    前記表示用画像を出力することと、を有し、
    前記生成することは、前記表示用画像として、前記決定することで決定された前記第２の撮像装置が前記追尾対象としている被写体を示す画像を生成することを含む、
    ことを特徴とする表示制御方法。
21. コンピュータを、請求項１から１６のいずれか１項に記載の表示制御装置が有する各手段として機能させるためのプログラム。