JP7778755B2 - 制御装置および制御方法 - Google Patents

Description

本発明は、複数のカメラによる撮影を制御する制御装置および制御方法に関する。

近年、複数のカメラを用いて撮影するシステムが知られている。複数台のカメラのうち、メインカメラと、メインカメラとは異なる複数のサブカメラとを配置することで、複数の撮影画角を得ることが可能になる。複数のカメラによる撮影では、撮影コストを低減するため、カメラを撮影するカメラマンの省人化が望まれている。

省人化を実現するために、ＰＴＺカメラとよばれるパン・チルト・ズームを遠隔から調節することが可能なカメラを用いることが可能である。ＰＴＺカメラは、撮影画像から検出した追尾対象を自動で追尾する技術を用いて、追尾対象がカメラの画角内で所望の位置にくるようにパン・チルト・ズームを自動的に制御することができる。

複数カメラの自動制御に関する技術として、特許文献１は、親カメラで撮影している被写体の位置に基づき、親カメラとは異なる他のカメラの撮影方向を決定する技術を開示する。また、特許文献２は、メインの撮像装置における被写体情報をサブの撮像装置に送信し、サブの撮像装置が被写体情報に基づいて自動撮影する技術を開示する。

特開２００３－３４８４２８号公報 特開２０２０－０２５２４８号公報

しかしながら、メインカメラで被写体が変更され、各カメラが向きを変えている間、所望の被写体が撮影された画像は得られない可能性がある。例えば、ライブなどの撮影では、メインカメラでの被写体の変更に合わせて複数のサブカメラの撮影方向が変更されている間、各サブカメラの画像は移動中の映像となるため、ユーザーは所望の画像が得られなくなる可能性がある。

そこで、本発明は、複数のカメラによる撮影において被写体を変更する際、所望の画像が得られるように制御可能な制御装置を提供することを目的とする。

本発明に係る制御装置は、第１撮像装置の撮影対象を示す情報を取得する取得手段と、前記第１撮像装置の撮影対象に対応する撮影対象を向くように複数の第２撮像装置の撮影方向を制御する制御手段とを有し、前記制御手段は、前記第１撮像装置の撮影方向が第１被写体を向く方向から第２被写体を向く方向に変更された場合に、前記複数の第２撮像装置のうち、第２グループに含まれる前記第２撮像装置の撮影方向を、前記第１被写体に対応する第３被写体を向く方向から、前記第２被写体に対応する第４被写体を向く方向に変更させた後に、前記複数の第２撮像装置のうち、第１グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から前記第４被写体を向く方向に変更させる、ことを特徴とする。

本発明によれば、複数のカメラによる撮影において被写体を変更する際、所望の画像が
得られるように制御することができる。

撮影システムの構成を例示する図である。 制御装置および俯瞰カメラの構成例を示す図である。 サブカメラ、メインカメラ、および役割制御装置の構成例を示す図である。 制御装置の機能構成を例示するブロック図である。 役割情報を説明する図である。 座標系の変換について説明する図である。 被写体の位置を検出する方法について説明する図である。 サブカメラの撮影対象の変更の具体例を示す図である。 サブカメラのグループ分けについて説明する図である。 パンの目標位置について説明する図である。 チルトの目標位置について説明する図である。 サブカメラの撮影方向の制御処理を例示するフローチャートである。 サブカメラの撮影方向の制御処理を例示するフローチャートである。

＜実施形態＞
以下、図面を参照して、本発明の実施形態に係る撮影システムについて説明する。図１は、撮影システムの構成を例示する図である。撮影システムは、制御装置１００、俯瞰カメラ３００、複数のサブカメラ４００、メインカメラ５００、役割制御装置６００を含む。撮影システムの各構成は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）７００を介して接続され、各装置はそれぞれ相互に通信することができる。

俯瞰カメラ３００およびメインカメラ５００は、映像線（不図示）を介して被写体を撮影した画像を制御装置１００に送信する。また、俯瞰カメラ３００およびメインカメラ５００は、ＬＡＮ７００を介して撮影情報を制御装置１００に送信する。俯瞰カメラ３００は、撮影環境を俯瞰的に撮影できるように広角画角で撮影するカメラである。俯瞰カメラ３００は、ＰＴＺカメラであってもよい。メインカメラ５００は、ユーザーが手動で操作して撮影するカメラ、またはＰＴＺカメラである。サブカメラ４００は、メインカメラ５００と連携して動作するＰＴＺカメラであり、制御装置１００で算出されたパン・チルト・ズーム値に基づいて駆動される。撮影システムは、複数のサブカメラ４００を含む。

制御装置１００は、メインカメラ５００の撮影対象に対応する撮影対象を向くように複数のサブカメラ４００の撮影方向を制御する。制御装置１００は、役割制御装置６００で設定される役割情報と、俯瞰カメラ３００およびメインカメラ５００の撮影画像から取得される情報とを用いて、サブカメラ４００を駆動するためのパン・チルト・ズーム値を算出する。

役割情報は、メインカメラ５００の撮影対象である被写体に対応するサブカメラ４００の被写体の情報である。役割情報は、撮影システムに含まれるカメラがメインカメラ５００であるかサブカメラ４００であるかの情報を含んでもよい。俯瞰カメラ３００の撮影画像から取得される情報は、メインカメラ５００およびサブカメラ４００の位置情報を含む。メインカメラ５００の撮影画像から取得される情報は、メインカメラ５００の撮影対象である被写体の情報を含む。制御装置１００は、算出したパン・チルト・ズーム値を、サブカメラ４００へ送信する。制御装置１００は、ワークステーションまたはエッジＡＩデバイスなどである。

役割制御装置６００は、メインカメラ５００の動作に連携して制御されるサブカメラ４
００の役割を設定する。役割制御装置６００は、メインカメラ５００の撮影対象である被写体に対応して、サブカメラ４００がどの被写体を撮影対象とするかについての役割を設定する。役割制御装置６００は、例えば、ユーザーの指示によりサブカメラ４００の役割を設定することができる。役割制御装置６００は、ノート型ＰＣ（パーソナルコンピュータ）、スイッチコントローラ（マクロをボタンに割り当て可能な機材）などの電子機器である。ユーザーは、サブカメラ４００の役割を、例えば、ノート型ＰＣのユーザーインターフェース（ＵＩ）を介して設定したり、スイッチコントローラのボタン操作により設定したりすることができる。

図２（Ａ），２（Ｂ）および図３（Ａ）～３（Ｃ）を用いて、制御装置１００、俯瞰カメラ３００、サブカメラ４００、メインカメラ５００、および役割制御装置６００の構成について詳細に説明する。

図２（Ａ）は、制御装置１００の構成例を示す図である。制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３を含む。また、制御装置１００は、推論部１０４、ネットワークインターフェース（Ｉ／Ｆ）１０５、および入力部１０６を含む。制御装置１００に含まれる構成は、内部バス１１０を介して相互に接続される。

ＣＰＵ１０１は、制御装置１００全体の制御を行う。ＲＡＭ１０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの高速の記憶装置である。ＣＰＵ１０１は、ＯＳ、各種プログラムおよび各種データを、一時的にＲＡＭ１０２にロードして、各種処理を実行する。ＲＡＭ１０２は、ＣＰＵ１０１がＯＳおよび各種プログラムを実行する際の作業領域としても使用される。

ＲＯＭ１０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、およびＳＤカード等の不揮発性の記憶装置である。ＲＯＭ１０３は、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、短期的な各種データの記憶領域としても使用される。

推論部１０４は、俯瞰カメラ３００、サブカメラ４００、およびメインカメラ５００による撮影画像をＲＡＭ１０２から読み出し、読み出した撮影画像からカメラおよび被写体などの物体の位置および存在有無を推定する。推論部１０４は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の画像処理および推論処理に特化した演算装置である。ＧＰＵは、学習処理に利用する演算装置として有効である。なお、推論部１０４は、ＦＰＧＡ（Ｆｉｅｌｄ －Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった再構成可能な論理回路であってもよい。また、推論部１０４の処理は、ＣＰＵ１０１によって実現されてもよい。

ネットワークＩ／Ｆ１０５は、ＬＡＮ７００と接続するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して、サブカメラ４００などの外部装置との通信を制御する。なお、ネットワークＩ／Ｆ１０５は、シリアル通信インターフェースなどであってもよい。

図２（Ｂ）は、俯瞰カメラ３００の構成例を示す図である。俯瞰カメラ３００は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ネットワークＩ／Ｆ３０５、画像処理部３０６、および画像センサ３０７を含む。俯瞰カメラ３００に含まれる構成は、内部バス３１０を介して相互に接続される。

ＣＰＵ３０１は、俯瞰カメラ３００全体の制御を行う。ＲＡＭ３０２はＤＲＡＭなどの
高速の記憶装置である。ＣＰＵ３０１は、ＯＳ、各種プログラムおよび各種データを、一時的にＲＡＭ１０２にロードして、各種処理を実行する。ＲＡＭ３０２は、ＣＰＵ３０１がＯＳおよび各種プログラムを実行する際の作業領域としても使用される。

ＲＯＭ３０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、およびＳＤカード等の不揮発性の記憶装置である。ＲＯＭ３０３は、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、短期的な各種データの記憶領域としても使用される。

画像処理部３０６は、ＣＣＤまたはＣＭＯＳなどの画像センサ３０７に接続される。画像処理部３０６は、画像センサ３０７から取得した画像データを所定のフォーマットに変換し、ＲＡＭ３０２に転送する。画像処理部３０６は、変換後の画像データを圧縮してＲＡＭ３０２に転送してもよい。

画像処理部３０６は、画像センサ３０７から画像を取得する際に、画像に対して色補正、露出制御、およびシャープネス補正などの画像処理を行うことができる。また、画像処理部３０６は、画像データの一部の領域を切り出すクロップ処理を行なってもよい。画像処理部３０６による処理は、ネットワークＩ／Ｆ３０５を介して、制御装置１００などの外部装置から受信した指示に基づいて実行されてもよい。

ネットワークＩ／Ｆ３０５は、ＬＡＮ７００と接続するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して、制御装置１００などの外部装置との通信を制御する。なお、ネットワークＩ／Ｆ３０５は、シリアル通信インターフェースなどであってもよい。

撮影システムは、複数のサブカメラ４００を含み、メインカメラ５００は複数のサブカメラ４００と連携して撮影を行う。図３（Ａ）は、サブカメラ４００の構成例を示す図である。撮影システムに含まれる複数のサブカメラ４００は、いずれも図３（Ａ）に示す構成と同様の構成を有する。サブカメラ４００は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、ネットワークＩ／Ｆ４０５、画像処理部４０６、画像センサ４０７、駆動Ｉ／Ｆ４０８、駆動部４０９、およびフォーカス制御部４１１を含む。サブカメラ４００に含まれる構成は、内部バス４１０を介して相互に接続される。

ＣＰＵ４０１は、サブカメラ４００全体の制御を行う。ＲＡＭ４０２はＤＲＡＭなどの高速の記憶装置である。ＣＰＵ４０１は、ＯＳ、各種プログラムおよび各種データを、一時的にＲＡＭ４０２にロードして、各種処理を実行する。ＲＡＭ４０２は、ＣＰＵ４０１がＯＳおよび各種プログラムを実行する際の作業領域としても使用される。

ＲＯＭ４０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、およびＳＤカード等の不揮発性の記憶装置である。ＲＯＭ４０３は、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、短期的な各種データの記憶領域としても使用される。

画像処理部４０６は、ＣＣＤまたはＣＭＯＳなどの画像センサ４０７に接続される。画像処理部４０６は、画像センサ４０７から取得した画像データを所定のフォーマットに変換し、ＲＡＭ４０２に転送する。画像処理部４０６は、変換後の画像データを圧縮してＲＡＭ４０２に転送してもよい。

画像処理部４０６は、画像センサ４０７から画像を取得する際に、画像に対して色補正、露出制御、およびシャープネス補正などの画像処理を行うことができる。また、画像処理部４０６は、画像データの一部の領域を切り出すクロップ処理を行なってもよい。画像処理部４０６による処理は、ネットワークＩ／Ｆ４０５を介して、制御装置１００などの
外部装置から受信した指示に基づいて実行されてもよい。

ネットワークＩ／Ｆ４０５は、ＬＡＮ７００と接続するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して、制御装置１００などの外部装置との通信を制御する。なお、ネットワークＩ／Ｆ４０５は、シリアル通信インターフェースなどであってもよい。

駆動Ｉ／Ｆ４０８は、駆動部４０９との接続部であり、駆動部４０９へ制御信号等を送受信する。駆動部４０９は、サブカメラ４００の撮影方向を変更するための回動機構であり、メカ駆動系および駆動源のモータ等を含む。駆動部４０９は、駆動Ｉ／Ｆ４０８を介してＣＰＵ４０１から受け取る指示に基づいて、水平方向に撮影画角を変更するパン動作および垂直方向に撮影画角を変更するチルト動作といった回動と、光学的に撮影画角を変更するズーム動作とを駆動する。

フォーカス制御部４１１は、画像センサ４０７が撮影画像を取得する際のフォーカスを制御する。フォーカスを合わせる手法としては、コントラスト検出方式、位相差検出方式など公知の技術を用いることができる。

図３（Ｂ）は、メインカメラ５００の構成例を示す図である。以下の説明では、メインカメラ５００は、ユーザーによって手動で操作されることが想定される。具体的には、ユーザーは、不図示のカメラ制御コントローラを用いて、メインカメラ５００のＰＴＺ制御を行うことができる。メインカメラ５００は、ＰＴＺカメラに限られず、ユーザーが物理的に手動で動かすことで撮影画像が得られる構成のカメラであってもよい。

制御装置１００は、メインカメラ５００の向き情報（正対設置時を基準としたパン、チルトの角度）を、ネットワークＩ／Ｆ５０５を介して、ＬＡＮ７００経由で取得可能である。

メインカメラ５００は、ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、ネットワークＩ／Ｆ５０５、画像処理部５０６、画像センサ５０７、駆動Ｉ／Ｆ５０８、および駆動部５０９を含む。メインカメラ５００に含まれる構成は、内部バス５１０を介して相互に接続される。

ＣＰＵ５０１は、メインカメラ５００全体の制御を行う。ＲＡＭ５０２はＤＲＡＭなどの高速の記憶装置である。ＣＰＵ５０１は、ＯＳ、各種プログラムおよび各種データを、一時的にＲＡＭ５０２にロードして、各種処理を実行する。ＲＡＭ５０２は、ＣＰＵ５０１がＯＳおよび各種プログラムを実行する際の作業領域としても使用される。

ＲＯＭ５０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、およびＳＤカード等の不揮発性の記憶装置である。ＲＯＭ５０３は、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、短期的な各種データの記憶領域としても使用される。

画像処理部５０６は、ＣＣＤやＣＭＯＳなどの画像センサ５０７に接続される。画像処理部５０６は、画像センサ５０７から取得した画像データを所定のフォーマットに変換し、ＲＡＭ５０２に転送する。画像処理部５０６は、変換後の画像データを圧縮してＲＡＭ５０２に転送してもよい。

画像処理部５０６は、画像センサ５０７から画像を取得する際に、画像に対して色補正、露出制御、およびシャープネス補正などの画像処理を行うことができる。また、画像処理部５０６は、画像データの一部の領域を切り出すクロップ処理を行なってもよい。
画像処理部５０６による処理は、ネットワークＩ／Ｆ５０５を介して、制御装置１００などの外部装置から受信した指示に基づいて実行されてもよい。

ネットワークＩ／Ｆ５０５は、ＬＡＮ７００と接続するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して、制御装置１００などの外部装置との通信を制御する。なお、ネットワークＩ／Ｆ５０５は、シリアル通信インターフェースなどであってもよい。

駆動Ｉ／Ｆ５０８は、駆動部５０９との接続部であり、駆動部５０９へ制御信号等を送受信する。駆動部５０９は、サブカメラ４００の撮影方向を変更するための回動機構であり、メカ駆動系および駆動源のモータ等を含む。駆動部５０９は、駆動Ｉ／Ｆ５０８を介してＣＰＵ５０１から受け取る指示に基づいて、水平方向に撮影画角を変更するパン動作および垂直方向に撮影画角を変更するチルト動作といった回動と、光学的に撮影画角を変更するズーム動作とを駆動する。

図３（Ｃ）は、役割制御装置６００の構成例を示す図である。役割制御装置６００は、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ネットワークＩ／Ｆ６０５、および入力部６１１を含む。役割制御装置６００に含まれる構成は、内部バス６１０を介して相互に接続される。

ＣＰＵ６０１は、役割制御装置６００全体の制御を行う。ＲＡＭ６０２はＤＲＡＭなどの高速の記憶装置である。ＣＰＵ６０１は、ＯＳ、各種プログラムおよび各種データを、一時的にＲＡＭ６０２にロードして、各種処理を実行する。ＲＡＭ５０２は、ＣＰＵ６０１ＯＳおよび各種プログラムを実行する際の作業領域としても使用される。

ＲＯＭ６０３は、フラッシュメモリ、ＨＤＤ、ＳＳＤ、およびＳＤカード等の不揮発性の記憶装置である。ＲＯＭ６０３は、ＯＳ、各種プログラムおよび各種データの永続的な記憶領域として使用され、短期的な各種データの記憶領域としても使用される。

ネットワークＩ／Ｆ６０５は、ＬＡＮ７００と接続するためのインターフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信媒体を介して、制御装置１００などの外部装置との通信を制御する。なお、ネットワークＩ／Ｆ６０５は、シリアル通信インターフェースなどであってもよい。

入力部６１１は、ボタン、マウス、キーボードといった操作部材を含む。ユーザーは、操作部材を用いてＧＵＩを制御することで役割情報を入力することができる。ＣＰＵ６０１は、ユーザーが指定した役割情報を制御装置１００へ送信する。なお、役割制御装置６００は、制御装置１００と１つの装置として構成されてもよい。

図４を参照して、制御装置１００の具体的な処理について説明する。制御装置１００は、メインカメラ５００の撮影対象に対応する撮影対象を向くように、複数のサブカメラ４００それぞれのパン・チルト・ズーム値を算出し、各サブカメラ４００の撮影方向を制御する。図４の例では、複数のサブカメラ４００は、サブカメラ４００ａおよびサブカメラ４００ｂであり、総称してサブカメラ４００とも記載される。

図４は、制御装置１００の機能構成を例示するブロック図である。制御装置１００の各機能部の処理は、図２（Ａ）に示すハードウェア資源を用いて実現される。通信機能を制御するソフトウェア、およびオペレーティングシステム等の汎用的なソフトウェアの処理についての詳細な説明は省略される。

制御装置１００は、役割設定部１２０、第１認識部１２１、主被写体決定部１２２、追尾被写体決定部１２３、撮影方向取得部１２４、および第２認識部１２５を含む。各機能部の処理を実現するためのプログラムは、ＲＯＭ１０３に格納される。ＣＰＵ１０１は、ＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に読み出して実行することにより、各機能部の処理を実現することができる。

役割設定部１２０は、役割制御装置６００で設定された役割情報に基づいて、サブカメラ４００の撮影対象を設定する。役割情報は、メインカメラ５００の撮影対象（主被写体）に対応するサブカメラ４００の撮影対象（追尾被写体）の情報を含む。

ユーザーは、役割制御装置６００の入力部６１１を介して役割情報を設定することができる。具体的には、ユーザーは、役割制御装置６００のＧＵＩに対してキーボードなどの操作部材で操作をすることで、メインカメラ５００の撮影対象と、メインカメラ５００の撮影対象に対応するサブカメラ４００の撮影対象とを設定する。

図５は、役割情報を説明する図である。ユーザーは、役割制御装置６００に対し、図５に示すように複数のパターンの役割情報を予め登録しておくことができる。例えば、パターン１では、メインカメラ５００の変更前の撮影対象である被写体Ａに対応するサブカメラ４００の撮影対象は被写体Ａである。また、メインカメラ５００の変更後の撮影対象である被写体Ｂに対応するサブカメラ４００の撮影対象は被写体Ｂである。パターン１は、メインカメラ５００の被写体とサブカメラ４００の被写体とが同じになるパターンである。

一方、パターン５では、メインカメラ５００の変更前の撮影対象である被写体Ａに対応するサブカメラ４００の撮影対象は被写体Ｂである。また、メインカメラ５００の変更後の撮影対象である被写体Ｃに対応するサブカメラ４００の撮影対象は被写体Ｄである。パターン５は、メインカメラ５００の被写体とサブカメラ４００の被写体とが異なるパターンである。

また、パターン１およびパターン２のように、変更前のメインカメラ５００の被写体と、変更前のサブカメラ４００の被写体とは、同じ被写体であってもよい。パターン４およびパターン７のように、変更前のメインカメラ５００の被写体と、変更後のサブカメラ４００の被写体とは、同じ被写体であってもよい。パターン４およびパターン６のように、変更後のメインカメラ５００の被写体と、変更前のサブカメラ４００の被写体とは、同じ被写体であってもよい。パターン１およびパターン３のように、変更後のメインカメラ５００の被写体と、変更後のサブカメラ４００の被写体とは、同じ被写体であってもよい。

パターン３～パターン７のように、変更前のメインカメラ５００の被写体と、変更前のサブカメラ４００の被写体とは、異なる被写体であってもよい。パターン２、およびパターン４～パターン７のように、変更後のメインカメラ５００の被写体と、変更後のサブカメラ４００の被写体とは、異なる被写体であってもよい。

役割制御装置６００は、図５に例示する複数のパターンのうちユーザーが指定した役割情報ＲＯＬＥを制御装置１００の役割設定部１２０に送信する。役割設定部１２０は、役割制御装置６００から受信した役割情報ＲＯＬＥに基づいて、メインカメラ５００の撮影対象とサブカメラ４００の撮影対象との対応関係を設定する。役割設定部１２０は、設定した役割情報ＲＯＬＥを、追尾被写体決定部１２３に送信する。

なお、パターン１とパターン２のように両立しないパターンをユーザーが指定した場合には、役割設定部１２０は、後で登録されたパターンに基づいてサブカメラ４００の撮影
対象を設定すればよい。また、メインカメラ５００の被写体が被写体Ａから被写体Ｄに変更された場合など、ユーザーが指定したパターンに含まれないケースでは、役割設定部１２０は、例えば、サブカメラ４００の撮影対象をメインカメラ５００と同じ撮影対象に設定してもよい。

第１認識部１２１は、俯瞰カメラ３００の撮影画像ＩＭＧ、および各カメラの設置位置の情報とマーカー座標の情報とを含む基準位置情報ＲＥＦ＿ＰＯＳＩを、ＲＡＭ１０２から読み出す。第１認識部１２１は、ＲＡＭ１０２から読み出した情報を用いて、撮影対象の人物（被写体）を検出し、検出した被写体の位置情報ＰＯＳＩＴＩＯＮを取得する。複数の被写体が検出された場合、位置情報ＰＯＳＩＴＩＯＮはそれぞれの被写体の位置情報を含む。第１認識部１２１は、検出した被写体の位置情報ＰＯＳＩＴＩＯＮおよびそれぞれの被写体の識別情報ＩＤを出力する。

各カメラの設置位置は、撮影領域を真上から見た平面座標系でのカメラの位置として、手動、または不図示のセンサを用いて計測することができる。計測された各カメラの設置位置の情報は、例えば、ユーザーにより、入力部１０６を介して制御装置１００に入力される。ＣＰＵ１０１は、入力された各カメラの設置位置の情報をＲＡＭ１０２に書き込む。また、計測された各カメラの設置位置の情報は、センサから制御装置１００に送信され、ＣＰＵ１０１によってＲＡＭ１０２に書き込まれてもよい。

マーカーは、座標変換に用いられるホモグラフィー変換行列を算出するために、撮影領域を真上から見て認識可能に設置される。撮影領域の座標系におけるマーカー座標は、手動、または不図示のセンサを用いて計測することができる。マーカーは、床または地面などの色とは異なる色の印などであるが、手動計測、またはセンサによる計測が可能であればどのような形態でもよい。マーカーを計測するセンサがカメラである場合、特定の色の印をマーカーとして設置することで、カメラは、撮影領域の撮像画像からマーカーの色を抽出してマーカー座標を取得することができる。マーカー座標の情報は、例えば、ユーザーにより、入力部１０６を介して制御装置１００に入力される。ＣＰＵ１０１は、入力されたマーカー座標の情報をＲＡＭ１０２に書き込む。また、計測されたマーカー座標の情報は、センサから制御装置１００に送信され、ＣＰＵ１０１によってＲＡＭ１０２に書き込まれてもよい。

基準位置情報ＲＥＦ＿ＰＯＳＩおよび被写体の位置情報ＰＯＳＩＴＩＯＮは、真上から見た撮影領域の平面座標系における座標で表わされる。第１認識部１２１は、例えば３人の被写体を検出した場合、３人分の位置情報ＰＯＳＩＴＩＯＮおよび識別情報ＩＤを出力する。第１認識部１２１は、出力した情報をＲＡＭ１０２に書き込む。

図６（Ａ），６（Ｂ）を参照して、撮影領域に存在する被写体の位置を検出し、検出された被写体の位置情報ＰＯＳＩＴＩＯＮを取得する方法について説明する。図６（Ａ）は、俯瞰カメラ３００の撮影画像の座標系を示す。図６（Ｂ）は、真上から見た撮影領域の座標系を示す。第１認識部１２１は、俯瞰カメラ３００の撮影画像の座標系と、真上から見た撮影領域の座標系との関係に基づいて、真上から見た撮影領域の座標系での被写体の座標を、位置情報ＰＯＳＩＴＩＯＮとして取得する。

サブカメラ４００ａおよびサブカメラ４００ｂが、追尾する被写体の方向を向くようなパン値を計算する場合、パン動作の軸に対して垂直な平面座標系で計算すると、角度計算は簡易になる。例えば、サブカメラ４００ａおよびサブカメラ４００ｂが床または地面に対して垂直に設置されている場合には、パン動作の軸に対して垂直な座標平面は、床または地面に対して平行であり、被写体が存在する空間を真上から見た座標平面となる。

以下の説明では、サブカメラ４００ａおよびサブカメラ４００ｂは床または地面に対して垂直に設置されており、各サブカメラ４００のパン値は、真上から見た撮影領域の座標系で算出される。第１認識部１２１は、図６（Ａ）に示す俯瞰カメラ３００の撮影画像の座標系（以下、俯瞰カメラ座標系と記載する）での被写体の座標を、図６（Ｂ）に示す真上から見た撮影領域の座標系（以下、平面座標系と記載する）での座標に変換する。これにより、第１認識部１２１は、真上から見た撮影領域の座標系における、各サブカメラ４００のパン値を算出することができる。

俯瞰カメラ座標系での被写体の座標は、ホモグラフィー変換行列Ｈを用いて、以下の式１により、平面座標系での座標に変換される。


式１中のｘ、ｙは、それぞれ俯瞰カメラ座標系の水平座標、垂直座標である。式１中のＸ、Ｙは、それぞれ平面座標系の水平座標、垂直座標である。

第１認識部１２１は、ＲＡＭ１０２から基準位置情報ＲＥＦ＿ＰＯＳＩを読み出す。ＲＥＦ＿ＰＯＳＩに含まれるマーカーＭａｒｋ＿Ａ～Ｍａｒｋ＿Ｄのマーカー座標は、真上から見た撮影領域の平面座標系での座標であり、式１の左辺に代入される。また、第１認識部１２１は、俯瞰カメラ３００の撮影画像ＩＭＧから、俯瞰カメラ座標系でのマーカー座標を取得し、式１の右辺に代入する。俯瞰カメラ座標系でのマーカー座標と平面座標系でのマーカー座標とが式１に代入されることで、ホモグラフィー変換行列Ｈが求められる。

ホモグラフィー変換行列Ｈが求められれば、第１認識部１２１は、式１を用いて、図６（Ａ）に示す俯瞰カメラ座標系を、図６（Ｂ）に示す平面座標系にマッピングすることができる。すなわち、第１認識部１２１は、俯瞰カメラ座標系の任意の座標を、平面座標系の対応する座標に変換することができる。したがって、第１認識部１２１は、俯瞰カメラ３００の撮影画像ＩＭＧに映っている被写体Ａ、被写体Ｂ、および被写体Ｃの位置を、図６（Ｂ）の平面座標系で把握することができる。第１認識部１２１は、マーカー座標を用いて求めたホモグラフィー変換行列ＨをＲＡＭ１０２に書き込む。

図７（Ａ），７（Ｂ）を参照して、俯瞰カメラ３００から入力された撮影画像ＩＭＧから、被写体検出の推論モデルを用いて、被写体の位置を検出する方法について説明する。被写体検出の推論モデルは、予めＲＯＭ１０３に格納される。被写体として、例えば人物を検出する場合、第１認識部１２１は、ディープラーニング等の機械学習手法により作成された学習済みの人物検出推論モデルを用いて、俯瞰カメラ３００の撮影画像ＩＭＧから人物を検出することができる。人物検出推論モデルは、画像を入力とし、画像内に写る人物の画像内での座標を出力する。

第１認識部１２１（推論部１０４）は、俯瞰カメラ３００から入力された撮影画像ＩＭＧを人物検出推論モデルに入力し、画像内に存在する人物を検出する。図７（Ａ）は、人物検出推論モデルにより検出された人物を矩形で囲んで示している。図７（Ａ）の例では、俯瞰カメラ３００の撮影画像ＩＭＧから、被写体Ａ、被写体Ｂ、および被写体Ｃが検出されている。第１認識部１２１は、俯瞰カメラ３００の撮影画像で検出された人物の位置（座標）の情報をＲＡＭ１０２に書き込む。

なお、第１認識部１２１は、機械学習による方法に限られず、例えば画像中の局所的な特徴点を照合して、被写体である人物を検出するＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）法を用いてもよい。また、第１認識部１２１は、テンプレート画像との類似度を求めて被写体を検出するテンプレートマッチング法を用いて人物を検出してもよい。

第１認識部１２１は、図７（Ａ）に示す俯瞰カメラ座標系で検出した被写体を囲む矩形上の点、例えば、矩形の下辺（足元側の辺）の中点を被写体検出位置とする。第１認識部１２１は、被写体検出位置の座標を、式１を用いて図７（Ｂ）に示す平面座標系の座標に変換する。

具体的には、第１認識部１２１は、ＲＡＭ１０２からホモグラフィー変換行列Ｈを読み出し、俯瞰カメラ座標系での被写体Ａの検出位置の座標（ｘａ、ｙａ）を式１のｘ、ｙに代入することで、平面座標系での座標（ＸＡ、ＹＡ）に変換することができる。同様に、第１認識部１２１は、被写体Ｂおよび被写体Ｃの検出位置の座標（ｘｂ、ｙｂ）および（ｘｃ、ｙｃ）を式１のｘ、ｙに代入することで、平面座標系での被写体Ｂおよび被写体Ｃの座標（ＸＢ、ＹＢ）および（ＸＣ、ＹＣ）に変換することができる。第１認識部１２１は、変換後の被写体Ａ，Ｂ，Ｃの座標を、検出された被写体の位置情報ＰＯＳＩＴＩＯＮとしてＲＡＭ１０２に書き込む。

第１認識部１２１は、検出された被写体の位置情報ＰＯＳＩＴＩＯＮのほかに、被写体の識別情報ＩＤを出力する。第１認識部１２１は、ＲＯＭ１０３に格納した人物特定のための学習済みモデルを用いて、検出された被写体の識別情報ＩＤを取得することができる。当該学習済みモデルは、ディープラーニング等の機械学習手法を用いて、過去の撮影画像と過去の撮影画像における検出結果とを学習させ、被写体の識別情報ＩＤを出力するように生成された学習済みモデルである。

第１認識部１２１は、ＲＯＭ１０３から読み出した人物特定のための学習済みモデルに、俯瞰カメラ３００の撮影画像と俯瞰カメラ３００の撮影画像で検出した被写体の位置情報とを入力して、識別情報ＩＤを取得することができる。人物特定の学習済みモデルは、公知の技術によって生成することができる。例えば、人物特定の学習済みモデルは、過去のフレーム情報および過去のフレーム情報における検出結果を入力とし、識別情報ＩＤが出力されるように学習させて生成することができる。第１認識部１２１は、人物特定の学習済みモデルに対し、現在のフレーム情報を入力することで、現在のフレームで検出された被写体の識別情報ＩＤを取得することができる。

主被写体決定部１２２は、メインカメラ５００の向きと被写体の位置情報とに基づいて、メインカメラ５００の撮影対象である主被写体を決定する。主被写体決定部１２２は、決定した主被写体の情報を、撮影対象を示す情報として取得する。主被写体決定部１２２は、第１認識部１２１が取得した被写体の位置情報ＰＯＳＩＴＩＯＮ、およびメインカメラ５００から入力される向きの情報ＡＮＧＬＥに基づいて、メインカメラ５００の撮影対象である主被写体を決定する。例えば、主被写体決定部１２２は、第１認識部１２１が検出した被写体の中で、メインカメラ５００の向き（光軸上）に、より近い位置に存在する被写体を主被写体に決定することができる。主被写体決定部１２２は、決定した主被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴ＿ＩＤを、ＲＡＭ１０２に書き込む。

なお、主被写体決定部１２２は、メインカメラ５００の撮影画像から主被写体を検出してもよい。主被写体決定部１２２は、例えば、メインカメラ５００の撮影画像の中心により近い位置に存在する被写体を、主被写体に決定することができる。

追尾被写体決定部１２３は、主被写体、およびメインカメラ５００の撮影対象とサブカメラ４００の撮影対象との対応関係（役割情報ＲＯＬＥ）に基づいて、サブカメラ４００の撮影対象である追尾被写体を決定する。追尾被写体決定部１２３は、決定した追尾被写体の情報を、撮影方向取得部１２４に送信する。

追尾被写体決定部１２３は、例えば、サブカメラ４００ａおよびサブカメラ４００ｂの追尾被写体を次のように決定することができる。追尾被写体決定部１２３は、第２認識部１２５がサブカメラ４００ａおよびサブカメラ４００の撮影画像から検出した被写体の情報である被写体情報ＤＥＴＥＣＴ＿ＩＮＦＯを取得する。追尾被写体決定部１２３は、主被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴ＿ＩＤ、被写体情報ＤＥＴＣＴ＿ＩＮＦＯ、および役割情報ＲＯＬＥに基づいて、追尾被写体を決定する。追尾被写体決定部１２３は、決定した追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを、撮影方向取得部１２４に送信する。

追尾被写体決定部１２３は、メインカメラ５００の撮影対象が変更されると、主被写体決定部１２２から、変更後の撮影対象の主被写体の識別情報ＭＡＩＮ＿ＳＵＢＪＥＣＴ＿ＩＤを受信する。追尾被写体決定部１２３は、変更後の主被写体に対応する追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを取得し、撮影方向取得部１２４に送信する。

追尾被写体決定部１２３は、俯瞰カメラ３００の撮影画像ＩＭＧから、追尾被写体がサブカメラ４００ａおよびサブカメラ４００ｂのどちらに近いかを判定する。追尾被写体決定部１２３は、撮影方向取得部１２４に対し、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを送信し、追尾被写体に近いサブカメラ４００（ここではサブカメラ４００ａとする）の撮影方向を変更するように指示する。

追尾被写体決定部１２３は、追尾被写体により近いサブカメラ４００ａの撮影方向が変更された後、サブカメラ４００ａの撮影画像ＳＵＢ＿ＩＭＧから検出された被写体の被写体情報ＤＥＴＥＣＴ＿ＩＮＦＯを受信する。追尾被写体決定部１２３は、サブカメラ４００ａの撮影画像ＳＵＢ＿ＩＭＧに、識別情報ＳＵＢＪＥＣＴ＿ＩＤの追尾被写体が撮影されていることを確認する。確認後、追尾被写体決定部１２３は、撮影方向取得部１２４に対し、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤを送信し、撮影方向が変更されていないサブカメラ４００ｂの撮影方向を変更するように指示する。

図８（Ａ）～８（Ｄ）を参照して、メインカメラ５００の撮影対象が変更されて、サブカメラ４００の撮影対象を変更する具体例について説明する。サブカメラ４００ａおよびサブカメラ４００ｂの撮影方向は、図８（Ａ）から図８（Ｄ）の順に変更される。

図８（Ａ）～８（Ｄ）の例では、メインカメラ５００が被写体Ｂを主被写体として撮影している場合、サブカメラ４００ａおよびサブカメラ４００ｂは被写体Ｄを撮影する。メインカメラ５００の撮影対象が被写体Ｂから被写体Ａへ変更された場合、サブカメラ４００ａおよびサブカメラ４００ｂの撮影対象は被写体Ｃに変更される。ただし、サブカメラ４００ａおよびサブカメラ４００ｂの撮影対象は、異なるタイミングで被写体Ｃに変更される。

図８（Ａ）は、メインカメラ５００が被写体Ｂを撮影し、サブカメラ４００ａおよびサブカメラ４００ｂが、被写体Ｂに対応する被写体Ｄを撮影している状態を示す。図８（Ｂ）では、メインカメラ５００の撮影対象は被写体Ｂから被写体Ａに変更され、メインカメラ５００の撮影方向は、被写体Ｂを向く方向から被写体Ａを向く方向に変更される。被写体Ａに対応するサブカメラ４００の撮影対象は、被写体Ｃである。

図８（Ｃ）では、サブカメラ４００のうち、被写体Ｃにより近いサブカメラ４００ａの撮影方向は、被写体Ｄを向く方向から、被写体Ａに対応する被写体Ｃを向く方向に変更される。この時点では、サブカメラ４００ｂの撮影方向は、被写体Ｂに対応する被写体Ｄを向く方向のまま変更されない。

図８（Ｄ）では、サブカメラ４００ｂの撮影方向は、被写体Ｄを向く方向から被写体Ｃを向く方向に変更される。このように、サブカメラ４００ａの撮影方向が先に被写体Ｃを向く方向に変更された後、サブカメラ４００ｂの撮影方向は、被写体Ｄを向く方向から被写体Ｃを向く方向に変更される。したがって、サブカメラ４００ａの撮影方向が被写体Ｄを向く方向から被写体Ｃを向く方向に変更される間、サブカメラ４００ｂは被写体Ｄの撮影画像を記録することができる。また、サブカメラ４００ｂの撮影方向が被写体Ｄを向く方向から被写体Ｃを向く方向に変更される間、サブカメラ４００ａは被写体Ｃの撮影画像を記録することができる。

なお、図８（Ｃ）は、被写体Ｃにより近いサブカメラ４００ａの撮影方向を先に変更する例を示すが、いずれのサブカメラ４００の撮影方向を先に変更するかは、追尾被写体との距離に基づいて決定される場合に限られない。追尾被写体決定部１２３は、例えば、ユーザー操作に基づいて、いずれのサブカメラ４００の撮影方向を先に変更するかを決定してもよい。

また、追尾被写体決定部１２３は、サブカメラ４００の位置と、サブカメラ４００の撮影方向（光軸方向）の可動領域と、追尾被写体の位置とに基づいて、いずれのサブカメラ４００の撮影方向を先に変更するかを決定してもよい。例えば、追尾被写体決定部１２３は、変更後の追尾被写体が撮影方向の可動領域に含まれるサブカメラ４００の撮影方向を、先に変更することができる。また、追尾被写体決定部１２３は、変更前の追尾被写体を画面の中心で撮影可能なサブカメラ４００（サブカメラ４００ａもサブカメラ４００ｂも画面中心で撮影可能であれば、いずれか一方）の撮影方向を、後で変更してもよい。

図８（Ａ）～８（Ｄ）は、サブカメラ４００が２台の例を示すが、サブカメラ４００は３台以上であってもよい。サブカメラ４００が３台以上ある場合に、メインカメラ５００の撮影方向が変更されると、追尾被写体決定部１２３は、これらの複数のサブカメラ４００を、撮影方向を変更するタイミングが異なる複数のグループに分割する。

例えば、図８（Ｂ）で不図示の追加のサブカメラ４００が存在する場合、追尾被写体決定部１２３は、複数のサブカメラ４００を、サブカメラ４００ｂを含む第１グループと、サブカメラ４００ａを含む第２グループとに分ける。メインカメラ５００の撮影方向が被写体Ｂから被写体Ａに変更された場合、追尾被写体決定部１２３は、複数のサブカメラ４００のうち第１グループに含まれるサブカメラ４００の撮影方向は、被写体Ｂに対応する被写体Ｄを向く方向から変更しない。一方、メインカメラ５００の撮影方向が変更された場合、追尾被写体決定部１２３は、複数のサブカメラ４００のうち第２グループに含まれるサブカメラ４００の撮影方向を、被写体Ｄを向く方向から、被写体Ａに対応する被写体Ｃを向く方向に変更する。

追尾被写体決定部１２３は、各種方法により、複数のサブカメラ４００を第１グループと第２グループとに分けることができる。追尾被写体決定部１２３は、例えば、複数のサブカメラ４００それぞれの位置に基づいて、複数のサブカメラ４００を第１グループと第２グループとに分けることができる。

より具体的には、追尾被写体決定部１２３は、複数のサブカメラ４００それぞれの位置と、メインカメラ５００の撮影方向が変更される前の被写体に対応する追尾被写体との距
離に基づいて、複数のサブカメラ４００をグループ分けする。図８（Ｂ）の例では、追尾被写体決定部１２３は、例えば被写体Ｄにより近い第１グループのサブカメラ４００の撮影方向を後から変更する。

また、追尾被写体決定部１２３は、複数のサブカメラ４００それぞれの位置と、メインカメラ５００の撮影方向が変更された後の被写体に対応する追尾被写体との距離に基づいて、複数のサブカメラ４００をグループ分けしてもよい。図８（Ｂ）の例では、追尾被写体決定部１２３は、例えば被写体Ｃにより近い第２グループのサブカメラ４００の撮影方向を先に変更する。なお、追尾被写体決定部１２３は、被写体Ｄとの距離および被写体Ｃとの距離の両方に基づいて、複数のサブカメラ４００をグループ分けしてもよい。

追尾被写体決定部１２３は、追尾被写体との距離に限られず、追尾被写体との相対位置に基づいて、複数のサブカメラ４００をグループ分けしてもよい。追尾被写体との相対位置は、サブカメラ４００から追尾被写体までの距離、およびサブカメラ４００の光軸に対する追尾被写体の方向により表される。追尾被写体決定部１２３は、メインカメラ５００の撮影方向の変更前の追尾被写体、または変更後の追尾被写体との相対位置に基づいて、複数のサブカメラ４００をグループ分けすることができる。追尾被写体決定部１２３は、メインカメラ５００の撮影方向の変更前の追尾被写体および変更後の追尾被写体のそれぞれとの相対位置に基づいて、複数のサブカメラ４００をグループ分けしてもよい。

追尾被写体決定部１２３は、隣り合うサブカメラ４００が同じグループに含まれないように、複数のサブカメラ４００を第１グループと第２グループとに分けてもよい。隣り合うサブカメラ４００が同じグループに含まれないようにすることで、制御装置１００は、撮影方向を変更する前後の追尾被写体を、それぞれ様々な角度から撮影しておくことができる。

追尾被写体決定部１２３は、追尾被写体との距離または追尾被写体との相対位置に限られず、サブカメラ４００の撮影方向の可動領域に基づいて、複数のサブカメラ４００をグループ分けしてもよい。撮影方向の可動領域は、サブカメラ４００の光軸の向きを変更することができる範囲を示す。

図９（Ａ）～９（Ｃ）を用いて、サブカメラ４００の撮影方向の可動領域に基づくグループ分けについて説明する。追尾被写体決定部１２３は、サブカメラ４００の位置と、サブカメラ４００の撮影方向の可動領域と、追尾被写体の位置とに基づいて、複数のサブカメラ４００をグループ分けする。図９（Ａ）～９（Ｃ）に示す追尾被写体９０３は、メインカメラ５００の撮影対象変更後の被写体に対応する追尾被写体とする。

図９（Ａ）は、サブカメラ４００ａ、サブカメラ４００ａの撮影方向の可動領域９０１、サブカメラ４００ｂ、サブカメラ４００ｂの撮影方向の可動領域９０２、および追尾被写体９０３を示す。追尾被写体９０３は、サブカメラ４００ｂの撮影方向の可動領域９０２内に存在する。追尾被写体決定部１２３は、撮影方向の可動領域内に追尾被写体９０３が存在するサブカメラ４００を第２グループとし、第２グループのサブカメラ４００の撮影方向を先に変更する。

図９（Ｂ）は、図９（Ａ）と同様に、サブカメラ４００ａ、サブカメラ４００ａの撮影方向の可動領域９０１、サブカメラ４００ｂ、サブカメラ４００ｂの撮影方向の可動領域９０２、および追尾被写体９０３を示す。ただし、追尾被写体９０３は、サブカメラ４００ａの撮影方向の可動領域９０１にも、サブカメラ４００ｂの撮影方向の可動領域９０２にも含まれない。追尾被写体決定部１２３は、例えば、追尾被写体９０３の位置から可動領域までの距離が所定の閾値より短いサブカメラ４００を第２グループとし、第２グルー
プのサブカメラ４００の撮影方向を先に変更することができる。

図９（Ｃ）は、図９（Ａ）と同様に、サブカメラ４００ａ、サブカメラ４００ａの撮影方向の可動領域９０１、サブカメラ４００ｂ、サブカメラ４００ｂの撮影方向の可動領域９０２、および追尾被写体９０３を示す。ただし、追尾被写体９０３は、サブカメラ４００ａの撮影方向の可動領域９０１、およびサブカメラ４００ｂの撮影方向の可動領域９０２の両方に含まれる。この場合、追尾被写体決定部１２３は、可動領域以外の条件に基づいて、複数のサブカメラ４００をグループ分けしてもよい。

図９（Ａ）～９（Ｃ）では、追尾被写体９０３は、メインカメラ５００の撮影対象変更後の被写体に対応する追尾被写体であると想定されるが、メインカメラ５００の撮影対象変更前の被写体に対応する追尾被写体であってもよい。すなわち、追尾被写体決定部１２３は、サブカメラ４００の位置と、サブカメラ４００の撮影方向の可動領域と、変更前の追尾被写体の位置とに基づいて、複数のサブカメラ４００をグループ分けしてもよい。例えば、追尾被写体決定部１２３は、変更前の追尾被写体が光軸方向に配置されるようにパン・チルト方向の制御が可能なサブカメラ４００（またはその一部）を第１グループとし、第１グループのサブカメラ４００の撮影方向を後で変更する。

追尾被写体決定部１２３は、また、ユーザー操作に基づいて、複数のサブカメラ４００を第１グループと第２グループとに分けてもよい。追尾被写体決定部１２３は、予めユーザー操作に基づいてＲＯＭ１０３に記憶されたグループ分けの情報を取得してもよく、撮影中にユーザーからの操作を受け付けてグループ分けの情報を取得してもよい。

複数のサブカメラ４００をグループ分けする方法は、上記の各種方法を適宜組み合わせて適用することも可能である。また、複数のサブカメラ４００は、２つのグループに限られず、追尾する被写体の数などに応じて、３つ以上のグループに分けられてもよい。

撮影方向取得部１２４は、追尾被写体決定部１２３から、撮影方向を変更するサブカメラ４００の情報と、追尾被写体の識別情報ＳＵＢＪＥＣＴ＿ＩＤとを受信し、サブカメラ４００のパンおよびチルトの制御値を算出する。

撮影方向取得部１２４は、基準位置情報ＲＥＦ＿ＰＯＳＩに含まれる平面座標系でのサブカメラ４００の座標と、検出被写体の位置情報ＰＯＳＩＴＩＯＮに含まれる追尾被写体の座標をＲＡＭ１０２から読み出す。撮影方向取得部１２４は、サブカメラ４００の座標および追尾被写体の座標に基づいて、サブカメラ４００が追尾被写体の方向を向くためのパン・チルトの制御値を算出する。図１０および図１１を用いて、パン・チルトの目標位置を、パン・チルトの制御値として算出する方法について説明する。

図１０は、パンの目標位置について説明する図である。パンの目標位置を示す角度θは、サブカメラ４００の光軸中心を伸ばした線と、サブカメラ４００と追尾被写体を結んだ線とのなす角度である。角度θは以下の式２で算出することができる。


式２においてｐｘ、ｐｙは追尾被写体の位置の水平座標、垂直座標であり、ｓｕｂｘ、ｓｕｂｙはサブカメラ４００の位置の水平座標、および垂直座標である。撮影方向取得部１２４は、追尾被写体の位置に対応する座標ｐｘ、ｐｙを、検出被写体の位置情報ＰＯＳＩ
ＴＩＯＮから取得することができる。

図１１は、チルトの目標位置について説明する図である。チルトの目標位置を示す角度ρは、サブカメラ４００の光軸の高さｈ１でサブカメラ４００の光軸を伸ばした線と、サブカメラ４００から高さｈ２の追尾被写体の頭頂に向けて伸ばした線とのなす角度である。角度ρは以下の式３、および式４で算出することができる。


式４において、Ｌはサブカメラ４００から追尾被写体までの距離である。また、ｈ１はサブカメラ４００の光軸の地面からの高さであり、ｈ２は追尾被写体の地面から頭頂までの高さである。高さｈ１，ｈ２は、予めＲＡＭ１０２に保存しておいてもよいし、不図示のセンサを用いてリアルタイムに測定してもよい。

パン・チルトの制御値は、サブカメラ４００が追尾被写体の方向に回動するための角速度値としてもよい。パン・チルトの角速度値の算出方法の例を説明する。撮影方向取得部１２４は、ネットワークＩ／Ｆ１０５を介して、サブカメラ４００の現在のパン・チルト位置を取得する。撮影方向取得部１２４は、現在のパン位置とパンの目標位置との差に比例したパンの角速度を求める。また、撮影方向取得部１２４は、現在のチルト位置とチルトの目標位置との差に比例したチルトの角速度を求める。撮影方向取得部１２４は、算出したパンおよびチルトの制御値をＲＡＭ１０２に書き込む。

第２認識部１２５は、第１認識部１２１と同様にＲＯＭ１０３に格納された人物特定の推論モデルを用いて、サブカメラ４００の撮影画像ＳＵＢ＿ＩＭＧから追尾被写体が検出されたか否かを判定する。第２認識部１２５は、判定結果を被写体情報ＤＥＴＥＣＴ＿ＩＮＦＯとして追尾被写体決定部１２３に送信する。

図１２（Ａ），１２（Ｂ）を用いて、メインカメラ５００の撮影対象に対応する撮影対象を向くように複数のサブカメラ４００の撮影方向を制御する処理について説明する。図１２（Ａ），１２（Ｂ）は、サブカメラ４００の撮影方向の制御処理を例示するフローチャートである。図１２（Ａ），１２（Ｂ）は、メインカメラ５００が被写体Ａを撮影する際、サブカメラ４００ａ，４００ｂは被写体Ｃを撮影し、メインカメラ５００が被写体Ｂを撮影する際、サブカメラ４００ａ，４００ｂは被写体Ｄを撮影する処理の例を示す。サブカメラ４００ａ，４００ｂは、総称してサブカメラ４００とも記載される。

図１２（Ａ）のステップＳ１２０１では、ＣＰＵ１０１は、メインカメラ５００の撮影対象である主被写体を検出する。ＣＰＵ１０１は、検出した主被写体の情報を、メインカメラ５００の撮影対象を示す情報として取得する。具体的には、第１認識部１２１は、メインカメラ５００の撮影画像を取得して被写体を検出する。第１認識部１２１は、検出した被写体の位置情報（座標の情報を含む）および識別情報を、主被写体決定部１２２に送信する。主被写体決定部１２２は、メインカメラ５００の向き、またはメインカメラ５００の撮影画像で被写体が映る位置などに基づいて、主被写体を決定する。主被写体決定部１２２が決定した主被写体は、ステップＳ１２０１で検出された主被写体とする。

ステップＳ１２０２では、ＣＰＵ１０１は、ステップＳ１２０１で検出された主被写体
が被写体Ａであるか否かを判定する。検出された主被写体が被写体Ａである場合、処理はステップＳ１２０３に進む。検出された主被写体が被写体Ａでない場合、処理は図１２（Ｂ）のステップＳ１３０２に進む。

ステップＳ１２０３では、ＣＰＵ１０１は、主被写体の被写体Ａに対応するサブカメラ４００の撮影対象である被写体Ｃの座標を取得する。具体的には、主被写体決定部１２２は、主被写体の識別情報および位置情報を追尾被写体決定部１２３に送信する。また、役割設定部１２０は、メインカメラ５００の撮影対象とサブカメラ４００の撮影対象との対応関係の情報を追尾被写体決定部１２３に送信する。追尾被写体決定部１２３は、追尾対象を被写体Ｃに決定する。追尾被写体決定部１２３は、俯瞰カメラ３００の撮影画像から、被写体Ｃの位置情報（座標の情報を含む）を取得する。追尾被写体決定部１２３は、取得した被写体Ｃの位置情報を撮影方向取得部１２４に送信する。

ステップＳ１２０４では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂを被写体Ｃに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａ，４００ｂの撮影方向が追尾被写体である被写体Ｃを向くように制御するため、それぞれのパン・チルトの制御値を取得する。撮影方向取得部１２４は、それぞれのパン・チルトの制御値をサブカメラ４００ａ，４００ｂに送信する。サブカメラ４００ａ，４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｃに向ける。

ステップＳ１２０５では、ＣＰＵ１０１は、ステップＳ１２０１と同様に、メインカメラ５００の撮影対象である主被写体を検出する。ステップＳ１２０６では、ＣＰＵ１０１は、ステップＳ１２０５で検出された主被写体が被写体Ｂであるか否かを判定する。

検出された主被写体が被写体Ｂである場合、メインカメラ５００の撮影方向が被写体Ａを向く方向から被写体Ｂを向く方向に変更されたと判定され、処理はステップＳ１２０７へ進む。このように、メインカメラ５００の撮影方向が変更されたか否かは、メインカメラ５００の撮影画像から検出される被写体の変化に基づいて判定することができる。ステップＳ１２０５で検出された主被写体が被写体Ｂでない場合、処理はステップＳ１２０３に戻る。

ステップＳ１２０７では、ＣＰＵ１０１は、主被写体の被写体Ｂに対応するサブカメラ４００の撮影対象である被写体Ｄの座標を取得する。ＣＰＵ１０１は、ステップＳ１２０３と同様に、俯瞰カメラ３００の撮影画像から被写体Ｄの座標を取得することができる。

ステップＳ１２０８では、ＣＰＵ１０１は、被写体Ｄがサブカメラ４００ａとサブカメラ４００ｂのどちらに近いか（どちらまでの距離が短いか）を判定する。被写体Ｄがサブカメラ４００ｂよりもサブカメラ４００ａに近い場合、処理はステップＳ１２０９へ進む。被写体Ｄがサブカメラ４００ａよりもサブカメラ４００ｂに近い場合、処理はステップＳ１２１４へ進む。

ステップＳ１２０９では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂの撮影方向のそれぞれの可動領域の情報を取得する。サブカメラ４００の撮影方向の可動領域は、サブカメラ４００の光軸を向けることができる範囲を示す。

ステップＳ１２１０では、ＣＰＵ１０１は、サブカメラ４００ａをパンすることにより、レンズの中心から正面方向に伸ばした線（光軸）を被写体Ｄに重ねられるか否かを判定する。すなわち、ＣＰＵ１０１は、サブカメラ４００ａの撮影画像の略中心の位置となるように被写体Ｄを撮影することができるか否かを判定する。サブカメラ４００ａの光軸を被写体Ｄに重ねられる場合、処理はステップＳ１２１１へ進む。サブカメラ４００ａの光
軸を被写体Ｄに重ねられない場合、処理はステップＳ１２１３へ進む。

ステップＳ１２１１では、ＣＰＵ１０１は、サブカメラ４００ａを被写体Ｄに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａの撮影方向が追尾対象である被写体Ｄを向くように制御するためのパン・チルトの制御値を取得する。撮影方向取得部１２４は、取得したパン・チルトの制御値をサブカメラ４００ａに送信する。サブカメラ４００ａは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｄに向ける。第２認識部１２５は、サブカメラ４００ａの撮影画像を取得し、取得した撮影画像から被写体Ｄを検出したことを確認する。ステップＳ１２１１の処理によって、ＣＰＵ１０１は、サブカメラ４００ａの撮影方向が被写体Ｄを向く方向へ変更され、被写体Ｄを追尾できていることが確認できる。

ステップＳ１２１２では、ＣＰＵ１０１は、サブカメラ４００ｂを被写体Ｄに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ｂの撮影方向が追尾対象である被写体Ｄを向くように制御するためのパン・チルトの制御値を取得する。撮影方向取得部１２４は、取得したパン・チルトの制御値をサブカメラ４００ｂに送信する。サブカメラ４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｄに向ける。第２認識部１２５は、サブカメラ４００ｂの撮影画像を取得し、取得した撮影画像から被写体Ｄを検出したことを確認する。ステップＳ１２１２の処理によって、ＣＰＵ１０１は、サブカメラ４００ｂの撮影方向が被写体Ｄを向く方向へ変更され、被写体Ｄを追尾できていることが確認できる。

ステップＳ１２１３では、ＣＰＵ１０１は、サブカメラ４００ａとサブカメラ４００ｂのどちらが、被写体Ｄを画面の中心により近い位置で撮影できるかを判定する。ＣＰＵ１０１は、例えば、サブカメラ４００ａおよびサブカメラ４００ｂの光軸を可動領域の範囲内で被写体Ｄに近づけた際、光軸がより被写体Ｄに近いほうのサブカメラ４００が、被写体Ｄを画面の中心により近い位置で撮影できると判定することができる。サブカメラ４００ａのほうが被写体Ｄを画面中心により近い位置で撮影できる場合、処理はステップＳ１２１１に進む。サブカメラ４００ｂのほうが被写体Ｄを画面中心により近い位置で撮影できる場合、処理はステップＳ１２１４に進む。

ステップＳ１２１４では、ＣＰＵ１０１は、ステップＳ１２１２と同様に、サブカメラ４００ｂを被写体Ｄに向ける。ステップＳ１２１５では、ＣＰＵ１０１は、ステップＳ１２１１と同様に、サブカメラ４００ａを被写体Ｄに向ける。

ステップＳ１２１６では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂを被写体Ｄに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａ，４００ｂの撮影方向が追尾被写体である被写体Ｄを向くように制御するため、それぞれのパン・チルトの制御値を取得する。撮影方向取得部１２４は、それぞれのパン・チルトの制御値をサブカメラ４００ａ，４００ｂに送信する。サブカメラ４００ａ，４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｄに向ける。

ステップＳ１２１７では、ＣＰＵ１０１は、ステップＳ１２０１と同様に、メインカメラ５００の撮影対象である主被写体を検出する。ステップＳ１２１８では、ＣＰＵ１０１は、ステップＳ１２１７で検出された主被写体が被写体Ａであるか否かを判定する。ステップＳ１２１７で検出された主被写体が被写体Ａである場合、メインカメラ５００の撮影方向が被写体Ｂを向く方向から被写体Ａを向く方向に変更されたと判定され、処理は図１２（Ｂ）のステップＳ１３０７へ進む。検出された主被写体が被写体Ａでない場合、処理はステップＳ１２１６に戻る。

ステップＳ１３０２では、ＣＰＵ１０１は、図１２（Ａ）のステップＳ１２０１で検出された主被写体が被写体Ｂであるか否かを判定する。検出された主被写体が被写体Ｂである場合、処理はステップＳ１３０３に進む。検出された主被写体が被写体Ｂでない場合、処理は図１２（Ａ）のステップＳ１２０１に進む。

ステップＳ１３０３では、ＣＰＵ１０１は、主被写体の被写体Ｂに対応するサブカメラ４００の撮影対象である被写体Ｄの座標を取得する。具体的には、主被写体決定部１２２は、主被写体の識別情報および位置情報を追尾被写体決定部１２３に送信する。また、役割設定部１２０は、メインカメラ５００の撮影対象とサブカメラ４００の撮影対象との対応関係の情報を追尾被写体決定部１２３に送信する。追尾被写体決定部１２３は、追尾対象を被写体Ｄに決定する。追尾被写体決定部１２３は、俯瞰カメラ３００の撮影画像から、被写体Ｄの位置情報（座標の情報を含む）を取得する。追尾被写体決定部１２３は、取得した被写体Ｄの位置情報を撮影方向取得部１２４に送信する。

ステップＳ１３０４では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂを被写体Ｄに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａ，４００ｂの撮影方向が追尾被写体である被写体Ｄを向くように制御するため、それぞれのパン・チルトの制御値を取得する。撮影方向取得部１２４は、それぞれのパン・チルトの制御値をサブカメラ４００ａ，４００ｂに送信する。サブカメラ４００ａ，４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｄに向ける。

ステップＳ１３０５では、ＣＰＵ１０１は、ステップＳ１２０１と同様に、メインカメラ５００の撮影対象である主被写体を検出する。ステップＳ１３０６では、ＣＰＵ１０１は、ステップＳ１３０５で検出された主被写体が被写体Ａであるか否かを判定する。

検出された主被写体が被写体Ａである場合、メインカメラ５００の撮影方向が被写体Ｂを向く方向から被写体Ａを向く方向に変更されたと判定され、処理はステップＳ１３０７へ進む。ステップＳ１３０５で検出された主被写体が被写体Ａでない場合、処理はステップＳ１３０３に戻る。

ステップＳ１３０７では、ＣＰＵ１０１は、主被写体の被写体Ａに対応するサブカメラ４００の撮影対象である被写体Ｃの座標を取得する。ＣＰＵ１０１は、ステップＳ１２０３と同様に、俯瞰カメラ３００の撮影画像から被写体Ｃの座標を取得することができる。

ステップＳ１３０８では、ＣＰＵ１０１は、被写体Ｃがサブカメラ４００ａとサブカメラ４００ｂのどちらに近いか（どちらまでの距離が短いか）を判定する。被写体Ｃがサブカメラ４００ｂよりもサブカメラ４００ａに近い場合、処理はステップＳ１３０９へ進む。被写体Ｃがサブカメラ４００ａよりもサブカメラ４００ｂに近い場合、処理はステップＳ１３１４へ進む。

ステップＳ１３０９では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂの撮影方向のそれぞれの可動領域の情報を取得する。サブカメラ４００の撮影方向の可動領域は、サブカメラ４００の光軸を向けることができる範囲を示す。

ステップＳ１３１０では、ＣＰＵ１０１は、サブカメラ４００ａをパンすることにより、レンズの中心から正面方向に伸ばした線（光軸）が被写体Ｃに重ねられるか否かを判定する。すなわち、ＣＰＵ１０１は、サブカメラ４００ａの撮影画像の略中心の位置となるように被写体Ｃを撮影することができるか否かを判定する。サブカメラ４００ａの光軸を被写体Ｃに重ねられる場合、処理はステップＳ１３１１へ進む。サブカメラ４００ａの光軸を被写体Ｃに重ねられない場合、処理はステップＳ１３１３へ進む。

ステップＳ１３１１では、ＣＰＵ１０１は、サブカメラ４００ａを被写体Ｃに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａの撮影方向が追尾対象である被写体Ｃを向くように制御するためのパン・チルトの制御値を取得する。撮影方向取得部１２４は、取得したパン・チルトの制御値をサブカメラ４００ａに送信する。サブカメラ４００ａは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｃに向ける。第２認識部１２５は、サブカメラ４００ａの撮影画像を取得し、取得した撮影画像から被写体Ｃを検出したことを確認する。ステップＳ１３１１の処理によって、ＣＰＵ１０１は、サブカメラ４００ａの撮影方向が被写体Ｄを向く方向へ変更され、被写体Ｃを追尾できていることが確認できる。

ステップＳ１３１２では、ＣＰＵ１０１は、サブカメラ４００ｂを被写体Ｃに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ｂの撮影方向が追尾対象である被写体Ｃを向くように制御するためのパン・チルトの制御値を取得する。撮影方向取得部１２４は、取得したパン・チルトの制御値をサブカメラ４００ｂに送信する。サブカメラ４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｃに向ける。第２認識部１２５は、サブカメラ４００ｂの撮影画像を取得し、取得した撮影画像から被写体Ｃを検出したことを確認する。ステップＳ１３１２の処理によって、ＣＰＵ１０１は、サブカメラ４００ｂの撮影方向が被写体Ｃを向く方向へ変更され、被写体Ｃを追尾できていることが確認できる。

ステップＳ１３１３では、ＣＰＵ１０１は、サブカメラ４００ａとサブカメラ４００ｂのどちらが、被写体Ｃを画面の中心により近い位置で撮影できるかを判定する。ＣＰＵ１０１は、例えば、サブカメラ４００ａおよびサブカメラ４００ｂの光軸を可動領域の範囲内で被写体Ｃに近づけた際、光軸がより被写体Ｃに近いほうのサブカメラ４００が、被写体Ｃを画面の中心により近い位置で撮影できると判定することができる。サブカメラ４００ａのほうが被写体Ｃを画面中心により近い位置で撮影できる場合、処理はステップＳ１３１１に進む。サブカメラ４００ｂのほうが被写体Ｃを画面中心により近い位置で撮影できる場合、処理はステップＳ１３１４に進む。

ステップＳ１３１４では、ＣＰＵ１０１は、ステップＳ１３１２と同様に、サブカメラ４００ｂを被写体Ｃに向ける。ステップＳ１３１５では、ＣＰＵ１０１は、ステップＳ１３１１と同様に、サブカメラ４００ａを被写体Ｃに向ける。

ステップＳ１３１６では、ＣＰＵ１０１は、サブカメラ４００ａ，４００ｂを被写体Ｃに向ける。具体的には、撮影方向取得部１２４は、サブカメラ４００ａ，４００ｂの撮影方向が追尾被写体である被写体Ｃを向くように制御するため、それぞれのパン・チルトの制御値を取得する。撮影方向取得部１２４は、それぞれのパン・チルトの制御値をサブカメラ４００ａ，４００ｂに送信する。サブカメラ４００ａ，４００ｂは、撮影方向取得部１２４から受信したパン・チルトの制御値に基づいて、撮影方向を被写体Ｃに向ける。

ステップＳ１３１７では、ＣＰＵ１０１は、図１２（Ａ）のステップＳ１２０１と同様に、メインカメラ５００の撮影対象である主被写体を検出する。ステップＳ１３１８では、ＣＰＵ１０１は、ステップＳ１３１７で検出された主被写体が被写体Ｂであるか否かを判定する。ステップＳ１３１７で検出された主被写体が被写体Ｂである場合、メインカメラ５００の撮影方向が被写体Ａを向く方向から被写体Ｂを向く方向に変更されたと判定され、処理は図１２（Ａ）のステップＳ１２０７へ進む。検出された主被写体が被写体Ｂでない場合、処理はステップＳ１３１６に戻る。

なお、図１２（Ａ），１２（Ｂ）では、サブカメラ４００が２台である場合の例を説明
したが、サブカメラ４００は３台以上であってもよい。この場合、制御装置１００は、複数のサブカメラ４００を、サブカメラ４００ａと同様のタイミングで撮影方向を変更するグループと、サブカメラ４００ｂと同様のタイミングで撮影方向を変更するグループとに分ければよい。制御装置１００は、図１２（Ａ）のステップＳ１２１１，Ｓ１２１４、および図１２（Ｂ）のステップＳ１３１１，Ｓ１３１４の処理の前に複数のサブカメラ４００をグループ分けすればよい。

制御装置１００は、例えば、サブカメラ４００と追尾被写体との相対位置、サブカメラ４００と追尾被写体との距離、またはサブカメラ４００の撮影方向の可動領域に基づいて、複数のサブカメラ４００をグループ分けすることができる。また、制御装置１００は、隣り合うサブカメラ４００が同じグループに含まれないように複数のサブカメラ４００をグループ分けしてもよい。また、制御装置１００は、ユーザー操作に基づいて複数のサブカメラ４００をグループ分けしてもよい。制御装置１００は、これらの各種条件を任意に組み合わせて、複数のサブカメラ４００をグループ分けしてもよい。

また、図１２（Ａ），１２（Ｂ）において、サブカメラ４００の撮影方向の可動領域を考慮した処理は省略してもよい。すなわち、図１２（Ａ）のステップＳ１２０９，Ｓ１２１０，Ｓ１２１３の処理、および図１２（Ｂ）のステップＳ１３０９，Ｓ１３１０，Ｓ１３１３の処理は省略することができる。

また、制御装置１００は、メインカメラ５００の撮影方向が被写体Ａを向く方向であり、メインカメラ５００の撮影画像から被写体Ａが検出されなくなった場合、撮影方向を先に変更するサブカメラ４００の撮影方向を被写体Ｃから変更しないように制御する。さらに、制御装置１００は、メインカメラ５００の撮影方向が被写体Ｂを向く方向に変更されてもメインカメラ５００の撮影画像から被写体Ｂが検出されない場合、撮影方向を先に変更するサブカメラ４００の撮影方向を被写体Ｃから変更しないように制御する。

上記の実施形態では、制御装置１００は、メインカメラ５００の撮影対象に対応する撮影対象を向くように複数のサブカメラ４００の撮影方向を制御する際、一部のサブカメラ４００の撮影方向を先に変更し、他のサブカメラ４００の撮影方向は変更しない。制御装置１００は、一部のサブカメラ４００の撮影方向が変更された後に、他のサブカメラ４００の撮影方向を変更する。これにより、マルチカメラによる撮影において被写体を変更する際、変更前後のそれぞれの被写体について複数のカメラによる有効な画角での撮影が可能になる。したがって、ユーザーは、撮影後の編集およびライブ中継の際に、被写体が変更されるシーンにおいても、複数の画角で撮影された画像から所望の画像を得ることができる。

なお、上記実施形態はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
第１撮像装置の撮影対象を示す情報を取得する取得手段と、
前記第１撮像装置の撮影対象に対応する撮影対象を向くように複数の第２撮像装置の撮影方向を制御する制御手段と
を有し、
前記制御手段は、前記第１撮像装置の撮影方向が第１被写体を向く方向から第２被写体を向く方向に変更された場合に、
前記複数の第２撮像装置のうち、第１グループに含まれる前記第２撮像装置の撮影方向は、前記第１被写体に対応する第３被写体を向く方向から変更せず、
前記複数の第２撮像装置のうち、第２グループに含まれる前記第２撮像装置の撮影方向は、前記第３被写体を向く方向から、前記第２被写体に対応する第４被写体を向く方向に変更する
ことを特徴とする制御装置。
（構成２）
前記制御手段は、前記第２グループに含まれる前記第２撮像装置の撮影方向が前記第４被写体を向く方向に変更された後に、前記第１グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から前記第４被写体を向く方向に変更にする
ことを特徴とする構成１に記載の制御装置。
（構成３）
前記第１撮像装置の撮影方向が前記第１被写体を向く方向から前記第２被写体を向く方向に変更されたか否かは、前記第１撮像装置の撮影画像から検出される被写体の変化に基づいて判定される
ことを特徴とする構成１または２に記載の制御装置。
（構成４）
前記制御手段は、前記第１撮像装置の撮影方向が前記第１被写体を向く方向であり前記第１撮像装置の撮影画像から前記第１被写体が検出されなくなった場合、または前記第１撮像装置の撮影方向が前記第２被写体を向く方向に変更されても前記第１撮像装置の撮影画像から前記第２被写体が検出されない場合、前記第２グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から変更しない
ことを特徴とする構成１～３のいずれかに記載の制御装置。
（構成５）
前記第１被写体と前記第３被写体とは同じ被写体である
ことを特徴とする構成１～４のいずれかに記載の制御装置。
（構成６）
前記第１被写体と前記第４被写体とは同じ被写体である
ことを特徴とする構成１～４のいずれかに記載の制御装置。
（構成７）
前記第２被写体と前記第３被写体とは同じ被写体である
ことを特徴とする構成１～６のいずれかに記載の制御装置。
（構成８）
前記第２被写体と前記第４被写体とは同じ被写体である
ことを特徴とする構成１～６のいずれかに記載の制御装置。
（構成９）
前記第３被写体は前記第１被写体とは異なる被写体である
ことを特徴とする構成１～４のいずれかに記載の制御装置。
（構成１０）
前記第４被写体は前記第２被写体とは異なる被写体である
ことを特徴とする構成１～４のいずれかに記載の制御装置。
（構成１１）
前記複数の第２撮像装置それぞれの位置に基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける分割手段をさらに有する
ことを特徴とする構成１～１０のいずれかに記載の制御装置。
（構成１２）
前記分割手段は、前記複数の第２撮像装置それぞれの位置と前記第４被写体との相対位置、および前記複数の第２撮像装置それぞれの位置と前記第３被写体との相対位置の少なくともいずれかに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
ことを特徴とする構成１１に記載の制御装置。
（構成１３）
前記分割手段は、前記複数の第２撮像装置それぞれの位置と前記第４被写体との距離、および前記複数の第２撮像装置それぞれの位置と前記第３被写体との距離の少なくともいずれかに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
ことを特徴とする構成１１に記載の制御装置。
（構成１４）
前記分割手段は、隣り合う前記第２撮像装置が同じグループに含まれないように、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
ことを特徴とする構成１１に記載の制御装置。
（構成１５）
前記分割手段は、前記複数の第２撮像装置それぞれの位置と、前記複数の第２撮像装置それぞれの撮影方向の可動領域と、前記第３被写体の位置とに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
ことを特徴とする構成１１に記載の制御装置。
（構成１６）
前記分割手段は、前記複数の第２撮像装置それぞれの位置と、前記複数の第２撮像装置それぞれの撮影方向の可動領域と、前記第４被写体の位置とに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
ことを特徴とする構成１１に記載の制御装置。
（構成１７）
前記複数の第２撮像装置を、ユーザー操作に基づいて前記第１グループと前記第２グループとに分ける分割手段をさらに有する
ことを特徴とする構成１～１０のいずれかに記載の制御装置。
（方法）
第１撮像装置の撮影対象を示す情報を取得する取得ステップと、
前記第１撮像装置の撮影対象に対応する撮影対象を向くように複数の第２撮像装置の撮影方向を制御する制御ステップと
を有し、
前記制御ステップでは、前記第１撮像装置の撮影方向が第１被写体を向く方向から第２被写体を向く方向に変更された場合に、
前記複数の第２撮像装置のうち、第１グループに含まれる前記第２撮像装置の撮影方向は、前記第１被写体に対応する第３被写体を向く方向から変更せず、
前記複数の第２撮像装置のうち、第２グループに含まれる前記第２撮像装置の撮影方向は、前記第３被写体を向く方向から、前記第２被写体に対応する第４被写体を向く方向に変更する
ことを特徴とする制御方法。
（プログラム）
コンピュータを、構成１～１７のいずれかに記載の制御装置の各手段として機能させるためのプログラム。

１００：制御装置、１０１：ＣＰＵ

Claims (18)

1. 第１撮像装置の撮影対象を示す情報を取得する取得手段と、
   前記第１撮像装置の撮影対象に対応する撮影対象を向くように複数の第２撮像装置の撮影方向を制御する制御手段と
   を有し、
   前記制御手段は、前記第１撮像装置の撮影方向が第１被写体を向く方向から第２被写体を向く方向に変更された場合に、
   前記複数の第２撮像装置のうち、第２グループに含まれる前記第２撮像装置の撮影方向を、前記第１被写体に対応する第３被写体を向く方向から、前記第２被写体に対応する第４被写体を向く方向に変更させた後に、
   前記複数の第２撮像装置のうち、第１グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から前記第４被写体を向く方向に変更させる、
   ことを特徴とする制御装置。
2. 前記第１撮像装置の撮影方向が前記第１被写体を向く方向から前記第２被写体を向く方向に変更されたか否かは、前記第１撮像装置の撮影画像から検出される被写体の変化に基づいて判定される
   ことを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記第１撮像装置の撮影方向が前記第１被写体を向く方向であり前記第１撮像装置の撮影画像から前記第１被写体が検出されなくなった場合、または前記第１撮像装置の撮影方向が前記第２被写体を向く方向に変更されても前記第１撮像装置の撮影画像から前記第２被写体が検出されない場合、前記第２グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から変更しない
   ことを特徴とする請求項１に記載の制御装置。
4. 前記第１被写体と前記第３被写体とは同じ被写体である
   ことを特徴とする請求項１に記載の制御装置。
5. 前記第１被写体と前記第４被写体とは同じ被写体である
   ことを特徴とする請求項１に記載の制御装置。
6. 前記第２被写体と前記第３被写体とは同じ被写体である
   ことを特徴とする請求項１に記載の制御装置。
7. 前記第２被写体と前記第４被写体とは同じ被写体である
   ことを特徴とする請求項１に記載の制御装置。
8. 前記第３被写体は前記第１被写体とは異なる被写体である
   ことを特徴とする請求項１に記載の制御装置。
9. 前記第４被写体は前記第２被写体とは異なる被写体である
   ことを特徴とする請求項１に記載の制御装置。
10. 前記複数の第２撮像装置それぞれの位置に基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける分割手段をさらに有する
    ことを特徴とする請求項１に記載の制御装置。
11. 前記分割手段は、前記複数の第２撮像装置それぞれの位置と前記第４被写体との相対位置、および前記複数の第２撮像装置それぞれの位置と前記第３被写体との相対位置の少なくともいずれかに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
    ことを特徴とする請求項１０に記載の制御装置。
12. 前記分割手段は、前記複数の第２撮像装置それぞれの位置と前記第４被写体との距離、および前記複数の第２撮像装置それぞれの位置と前記第３被写体との距離の少なくともいずれかに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
    ことを特徴とする請求項１０に記載の制御装置。
13. 前記分割手段は、隣り合う前記第２撮像装置が同じグループに含まれないように、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
    ことを特徴とする請求項１０に記載の制御装置。
14. 前記分割手段は、前記複数の第２撮像装置それぞれの位置と、前記複数の第２撮像装置それぞれの撮影方向の可動領域と、前記第３被写体の位置とに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
    ことを特徴とする請求項１０に記載の制御装置。
15. 前記分割手段は、前記複数の第２撮像装置それぞれの位置と、前記複数の第２撮像装置それぞれの撮影方向の可動領域と、前記第４被写体の位置とに基づいて、前記複数の第２撮像装置を前記第１グループと前記第２グループとに分ける
    ことを特徴とする請求項１０に記載の制御装置。
16. 前記複数の第２撮像装置を、ユーザー操作に基づいて前記第１グループと前記第２グループとに分ける分割手段をさらに有する
    ことを特徴とする請求項１に記載の制御装置。
17. 第１撮像装置の撮影対象を示す情報を取得する取得ステップと、
    前記第１撮像装置の撮影対象に対応する撮影対象を向くように複数の第２撮像装置の撮影方向を制御する制御ステップと
    を有し、
    前記制御ステップでは、前記第１撮像装置の撮影方向が第１被写体を向く方向から第２被写体を向く方向に変更された場合に、
    前記複数の第２撮像装置のうち、第２グループに含まれる前記第２撮像装置の撮影方向を、前記第１被写体に対応する第３被写体を向く方向から、前記第２被写体に対応する第４被写体を向く方向に変更させた後に、
    前記複数の第２撮像装置のうち、第１グループに含まれる前記第２撮像装置の撮影方向を、前記第３被写体を向く方向から前記第４被写体を向く方向に変更させる、
    ことを特徴とする制御方法。
18. コンピュータを、請求項１～１６のいずれか１項に記載の制御装置の各手段として機能させるためのプログラム。