JP7337491B2

JP7337491B2 - 映像音声処理システムおよび映像音声処理システムの制御方法

Info

Publication number: JP7337491B2
Application number: JP2018167901A
Authority: JP
Inventors: 裕也藤原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-07
Filing date: 2018-09-07
Publication date: 2023-09-04
Anticipated expiration: 2038-09-07
Also published as: JP2020043420A

Description

本発明は、映像音声処理システムおよび映像音声処理システムの制御方法に関する。

特許文献１では、撮像装置は、画像を取得する撮像ユニットと、画像を表示する画像表示ユニットとともに、入力された外部音声を複数の音声信号に変換して出力するマイクユニットを備える。撮像装置は、表示ユニットで表示された画像に対して、画像内の特定の被写体を指定し、指定された被写体の座標情報と撮影画角とに基づいて、撮像ユニットからの特定の被写体の方向を算出する。そして、撮像装置は、算出された特定の被写体の方向に基づいて、複数の音声信号から特定の被写体の方向に対応した合成音声信号を生成し、合成音声信号を外部に出力する。

特開２００８－１９３１９６号公報

特許文献１では、１つのカメラに対し、１つのマイクロフォンを用意することを前提としている。複数のカメラが録画と共に録音をするには、録音するすべてのカメラにマイクロフォンを接続するか、または内蔵マイクを搭載したカメラを用意する必要がある。ユーザは、カメラの台数分のマイクロフォンを用意すると、費用が増えるので、録音機能を断念してしまう。

特許文献１では、撮像ユニットとマイクロフォンの位置がそれぞれ固定であり、ユーザは、撮像ユニットに対するマイクロフォンの相対位置を変更することができないことを前提としている。そのため、ユーザの意思で撮像ユニットとマイクロフォンの数を決定し、それぞれを任意の位置に設置する場合では、設置場所によって、撮像ユニットからの被写体の方向と、マイクロフォンからの被写体の方向とが異なってしまう。この場合、カメラの映像に合わせて集音方向を指定し、音声を配信することができない。

本発明の目的は、複数の映像データと複数の音声データを適切に関連付けることができるようにすることである。

本発明の映像音声処理システムは、複数の映像データを生成する複数の撮像装置と、音声の指向性処理を行う複数の集音範囲が設定され、当該集音範囲ごとに、集音部により集音された音声を指向性処理することにより、前記集音範囲ごとの音声データを生成する音声入力装置と、処理装置と、を有し、前記音声入力装置は、前記生成された複数の音声データのそれぞれに対応する通信デバイスのＩＰアドレスが設定され、前記生成された複数の音声データと、当該音声データに対応する前記通信デバイスのＩＰアドレスと、を前記複数の撮像装置に送信し、前記複数の撮像装置は、それぞれ、自身の撮像装置に対応する前記通信デバイスのＩＰアドレスを記憶し、当該記憶されたＩＰアドレスに一致するＩＰアドレスと共に前記音声入力装置から受信した音声データと、前記自身の撮像装置により撮像された映像データとを含むファイルを生成し、当該生成されたファイルを前記処理装置に送信し、前記処理装置は、前記ファイルを受信する。

本発明によれば、複数の映像データと複数の音声データを適切に関連付けることができる。

映像音声処理システムの構成例を示す図である。カメラとマイクロフォンとサーバ装置の構成例を示す図である。ＣＰＵとＲＯＭとＲＡＭを示す図である。音源からの音がマイクロフォンに到達する様子を示す図である。カメラの撮影範囲とマイクロフォンの集音範囲を示す図である。ＩＤとＩＰアドレスと指向性条件を記憶する記憶部を示す図である。映像音声処理システムの制御方法を示すフローチャートである。映像音声処理システムの制御方法を示すフローチャートである。カメラの撮影範囲の極座標の算出方法を示す図である。マイクロフォンの指向性方向および指向性範囲を示す図である。

（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態による映像音声処理システム１００の構成例を示す図である。映像音声処理システム１００は、カメラ１１０１と、カメラ１１０２と、カメラ１１０３と、マイクロフォン２０００と、サーバ装置３０００と、ネットワーク４０００とを有する。カメラ１１０１と、カメラ１１０２と、カメラ１１０３と、マイクロフォン２０００と、サーバ装置３０００は、ネットワーク４０００を介して、相互に通信可能である。マイクロフォン２０００の数は、カメラ１１０１～１１０３の数より少ない。

カメラ１１０１は、映像データを生成し、映像データをネットワーク４０００を介して送信するネットワークカメラであり、撮像装置に相当する。カメラ１１０２とカメラ１１０３は、それぞれ、カメラ１１０１と同様である。なお、映像音声処理システム１００は、カメラ１１０１～１１０３以外にも、複数のカメラを備えてもよい。カメラ１１０１～１１０３は、ズーム駆動機構、パン駆動機構、チルト駆動機構等を備えてもよい。

マイクロフォン２０００は、音声を入力し、入力した音声をネットワーク４０００を介して送信するネットワークマイクロフォンであり、音声入力装置に相当する。図１（ｂ）は、マイクロフォン２０００の構成例を示す図である。マイクロフォン２０００は、複数のマイクロフォン（集音部）２０１１～２０１８を有する。マイクロフォン２０１１～２０１８の数は、８個に限定されず、増やしても、減らしてもよい。

サーバ装置３０００は、カメラ１１０１～１１０３およびマイクロフォン２０００に対して、ネットワーク４０００を介して相互に通信可能である。カメラ１１０１～１１０３、マイクロフォン２０００およびサーバ装置３０００は、それぞれ、ネットワーク４０００を介して、他の装置に各種コマンドを送信し、コマンドを受信した場合には、送信した装置にレスポンスを送信する。サーバ装置３０００は、パーソナルコンピュータ（ＰＣ）等の処理装置の一例である。

ネットワーク４０００は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク４０００は、カメラ１１０１～１１０３とマイクロフォン２０００とサーバ装置３０００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク４０００は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬＡＮ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により構成されていてもよい。なお、カメラ１１０１～１１０３は、例えば、ＰｏＥ（ＰｏｗｅｒＯｖｅｒＥｔｈｅｒｎｅｔ（登録商標））に対応する監視カメラでもよく、ＬＡＮケーブルを介して電力を供給されてもよい。

図２は、カメラ１１０１とマイクロフォン２０００とサーバ装置３０００の構成例を示す図である。カメラ１１０１は、撮像部１００１と、画像処理部１００２と、制御部１００３と、通信部１００４と、記憶部１００５とを有する。なお、カメラ１１０２および１１０３は、カメラ１１０１と同様の構成を有する。

撮像部１００１は、レンズと、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有し、レンズ設定等によって決定される画角によって被写体を撮像し、光電変換により、映像信号を生成する。画像処理部１００２は、撮像部１００１により生成された映像信号に対して、所定の画像処理および圧縮符号化処理を行い、映像データを生成する。なお、制御部１００３は、ユーザにより設定された撮像条件または制御部１００３が自動で決定した撮像条件に基づいて、撮像部１００１および画像処理部１００２を制御する。ここで、撮像条件は、撮像ゲイン条件、ガンマ条件、ダイナミックレンジ条件、露出条件、フォーカス条件等を含む。

制御部１００３は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。制御部１００３は、マイクロフォン２０００とサーバ装置３０００等からネットワーク４０００経由で受信したカメラ制御コマンドを解析し、カメラ制御コマンドに応じた処理を行う。例えば、制御部１００３は、画像処理部１００２に対して、画質調整の指示、ズームやフォーカス制御の指示、パンチルト動作の指示、音声データと映像データの結合および送信を行う。また、制御部１００３は、ＣＰＵ３０１を有し、カメラ１１０１の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、制御部１００３は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＡＭ３０２またはＲＯＭ３０３に記憶されたプログラムを実行する。ＲＡＭ３０３は、制御部１００３が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、制御部１００３は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。

通信部１００４は、マイクロフォン２０００が送信した音声データをネットワーク４０００経由で受信し、適切なパケット処理を行った後に、制御部１００３へ出力する。また、通信部１００４は、マイクロフォン２０００からコマンドを受信し、受信したコマンドに対するレスポンスをマイクロフォン２０００へ送信する。また、通信部１００４は、映像データをネットワーク４０００経由でサーバ装置３０００に送信する。また、通信部１００４は、サーバ装置３０００が送信するカメラ制御コマンドを受信し、適切なパケット処理等を行った後に、制御部１００３へ出力する。また、通信部１００４は、サーバ装置３０００から受信したコマンドに対するレスポンスをサーバ装置３０００へ送信する。

記憶部１００５は、カメラ１１０１によって生成された映像データとマイクロフォン２０００によって生成された音声データを関連付けるための情報を記憶する。

続いて、図２を参照して、マイクロフォン２０００の各部構成と機能を説明する。マイクロフォン２０００は、集音部２００１と、音声処理部２００２と、制御部２００３と、通信部２００４と、記憶部２００５とを有する。なお、８個のマイクロフォン２０１１～２０１８の各々は、少なくとも別々の集音部２００１を有する。

集音部２００１は、振動膜および固定板等の電極から構成され、音圧による振動膜の振動に応じて電極間の距離が変わることにより、電圧が変動することで音声を電気の音声信号へ変換する。また、集音部２００１は、音声信号の電圧を増幅するためのアンプを含んでもよい。

音声処理部２００２は、集音部２００１により生成された音声信号に対して、音声処理および圧縮符号化処理を行い、音声データを生成する。なお、制御部２００３は、ユーザにより設定された音声入力条件または制御部２００３が自動で決定した音声入力条件に基づいて、集音部２００１および音声処理部２００２を制御する。ここで、音声入力条件は、音量ゲイン条件、音声周波数特性条件、音声指向方向条件、音声指向範囲条件等を含む。

制御部２００３は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。制御部２００３は、カメラ１１０１とサーバ装置３０００等からネットワーク４０００経由で受信した制御コマンドを解析し、制御コマンドに応じた処理を行う。例えば、制御部２００３は、音声処理を行った音声データの送信先の制御指示を行う。また、制御部２００３は、ＣＰＵ３０１を有し、マイクロフォン２０００の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、制御部２００３は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＯＭ３０２またはＲＡＭ３０３に記憶されたプログラムを実行する。なお、ＲＡＭ３０３は、制御部２００３が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、制御部２００３は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。また、制御部２００３は、２つのマイクロフォン２０１１および２０１２等の音声信号を、指向性処理（目的の方向からの音声を強調し、目的以外の方向からの音声を抑制する信号処理）し、指向性処理した音声信号を出力する。

図４（ａ）および図４（ｂ）を用いて、指向性処理を説明する。図４（ａ）は、音源からの音が、マイクロフォン２０１１およびマイクロフォン２０１２に対して、角度θの方向から到達する様子を示している。マイクロフォン２０１１とマイクロフォン２０１２は、距離Ｄ２を隔てて配置されている。この場合において、音源とマイクロフォン２０１１との距離と、音源とマイクロフォン２０１２との距離の差Ｌは、次式で表される。
Ｌ＝Ｄ２×ｃｏｓθ

また、音速をＶとすると、音源からの音がマイクロフォン２０１１に到達してから、音源からの音がマイクロフォン２０１２に到達するまでの時間Ｔは、次式で表される。
Ｔ＝Ｌ／Ｖ＝Ｄ２×ｃｏｓθ／Ｖ

図４（ｂ）は、Ｄ２＝５０ｍｍ、Ｖ＝３４６．７５ｍ／ｓとした場合の、角度θに対する、ＬとＴの値、および、Ｔの差分を示している。例えば、θ＝０ｄｅｇのとき、Ｌ＝５０ｍｍ、Ｔ＝１４４μｓである。θ＝１５ｄｅｇのとき、Ｌ＝４８ｍｍ、Ｔ＝１３９μｓである。θ＝０ｄｅｇとθ＝１５ｄｅｇのＴの差分は、５μｓである。

制御部２００３は、時間Ｔを基にして、指向性処理の演算を行う。例えば、正面方向（９０ｄｅｇ）の音声を強調したい（指向性を持たせたい）場合を説明する。その場合、制御部２００３は、マイクロフォン２０１１とマイクロフォン２０１２に同時に到達する音声（Ｔ＝０μｓの音声）を強調し、時間差をもって到達する音声（Ｔ≠０μｓの音声）を抑制するための演算を行う。

通信部２００４は、音声データをネットワーク４０００経由でサーバ装置３０００に送信する。また、通信部２００４は、サーバ装置３０００から送信される制御コマンドを受信し、適切なパケット処理等を行った後に、制御部２００３へ出力する。また、通信部２００４は、サーバ装置３０００から受信したコマンドに対するレスポンスをサーバ装置３０００へ送信する。

記憶部２００５は、カメラ１１０１～１１０３によって生成された映像データとマイクロフォン２０００によって生成された音声データを関連付けるための情報を記憶する。

続いて、図２を参照して、サーバ装置３０００の各部構成と機能について説明する。サーバ装置３０００は、例えば、パーソナルコンピュータ等の汎用コンピュータである。サーバ装置３０００は、通信部３００１と、システム制御部３００２と、記憶部３００３とを有する。

通信部３００１は、ネットワーク４０００を介して、カメラ１１０１～１１０３から映像データを受信し、マイクロフォン２０００から音声データを受信する。また、通信部３００１は、カメラ１１０１～１１０３またはマイクロフォン２０００に対して制御コマンドを送信し、この制御コマンドに対するレスポンスを受信する。

システム制御部３００２は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。システム制御部３００２は、ユーザの操作に応じてカメラ制御コマンドを生成し、カメラ制御コマンドを通信部３００１を介してカメラ１１０１～１１０３へ送信する。また、システム制御部３００２は、通信部３００１を介して受信したカメラ１１０１～１１０３からの映像データを記憶部３００３に保存する。また、システム制御部３００２は、ＣＰＵ３０１を有し、サーバ装置３０００の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、システム制御部３００２は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＯＭ３０２またはＲＡＭ３０３に記憶されたプログラムを実行する。なお、ＲＡＭ３０３は、システム制御部３００２が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、システム制御部３００２は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。

記憶部３００３は、カメラ１１０１～１１０３およびマイクロフォン２０００が取得したデータを保存する。システム制御部３００２は、記憶部３００３に記憶されているデータを読み出し、転送する。

図５は、部屋５０００に設置したカメラ１１０１～１１０７およびマイクロフォン２０００の配置、カメラ１１０１～１１０７の撮影範囲１２０１～１２０７、およびマイクロフォン２０００の集音範囲Ａ～Ｈを示す図である。カメラ１１０２～１１０７は、カメラ１１０１と同様の構成を有し、ネットワーク４０００に接続される。マイクロフォン２０００の数は、カメラ１１０１～１１０７の数より少ない。図５を参照しながら、マイクロフォン２０００の指向性処理における集音範囲の決定方法について説明する。カメラ１１０１～１１０７が部屋５０００に設置されている場合、サーバ装置３０００は、カメラ管理ソフトウェアにより、図５のように部屋５０００を上から見た方向で表示する。サーバ装置３０００は、カメラ１１０１～１１０７の撮影範囲１２０１～１２０７を表示し、ユーザの設定またはカメラ１１０１～１１０７の画角に合わせて撮影範囲１２０１～１２０７を自動的に設定する。マイクロフォン２０００の指向性の設定可能な集音範囲Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈのエリアを分割し、マイクロフォン２０００に対して集音範囲Ａ～Ｈのいずれかを選択することにより、集音エリアを指定することができる。例えば、マイクロフォン２０００の指向性を集音範囲ＡおよびＢと指定した場合、集音範囲ＡおよびＢのエリアにある音源の音のみを集音することができる。集音範囲Ａ～Ｈは、マイクロフォン２０１１～２０１８に対応する。マイクロフォン２０００は、複数の場所または複数の方向の音声を集音し、複数の場所または複数の方向の音声を指向性処理することにより、複数のカメラ１１０１～１１０７に対応する複数の音声データを生成する。

図６（ａ）～（ｅ）は、カメラ１１０１～１１０７の映像データとマイクロフォン２０００の音声データを関連付けるためのＩＤとＩＰアドレスと指向性の対応関係を示す図である。本実施の形態では、カメラ１１０１～１１０７のそれぞれに１つのＩＰアドレスが割り当てられ、マイクロフォン２０００には、複数のＩＰアドレスを有するように複数の通信デバイスが備えられているものとする。図６（ａ）に示すように、１つのカメラに対して１つのＩＤが割り当てられる。例えば、カメラ１１０１のＩＤは１である。カメラ１１０２のＩＤは２である。カメラ１１０３のＩＤは３である。カメラ１１０４のＩＤは４である。カメラ１１０５のＩＤは５である。カメラ１１０６のＩＤは６である。カメラ１１０７のＩＤは７である。

図６（ａ）は、カメラ１１０１～１１０７のＩＤとＩＰアドレス（識別情報）との対応関係を示すテーブルの図である。図６（ｂ）は、カメラ１１０１～１１０７のＩＤごとのマイクロフォン２０００の指向性の集音範囲を示すテーブルの図である。マイクロフォン２０００の指向性の集音範囲は、マイクロフォン２０００の指向性を示す情報である。例えば、カメラ１１０１のＩＤ「１」は、カメラ１１０１の撮影範囲１２０１に対応する指向性の集音範囲ＡおよびＢが設定される。

図６（ｃ）は、カメラ１１０１～１１０７のＩＤと音声データに対応する通信デバイスのＩＰアドレス（識別情報）との対応関係を示すテーブルの図である。例えば、カメラ１１０１のＩＤ「１」に対して、集音範囲ＡおよびＢの音声データを出力するための通信デバイスのＩＰアドレスが関連付けられている。また、カメラ１１０２のＩＤ「２」に対して、集音範囲ＡおよびＨの音声データを出力するための通信デバイスのＩＰアドレスが関連付けられている。図６（ｄ）は、カメラ１１０１～１１０７のＩＤに対するカメラのＩＰアドレスと対応する音声データを出力する通信デバイスのＩＰアドレスとの対応関係を示すテーブルの図である。図６（ｅ）は、カメラのＩＤおよびＩＰアドレス、対応する音声データを出力する通信デバイスのＩＤおよびＩＰアドレスの対応関係を示すものであり、カメラのＩＤが「１」の例を示している。

図７（ａ）～（ｃ）は、映像音声処理システム１００の制御方法を示すフローチャートである。図７（ａ）は、マイクロフォン２０００の制御方法を示すフローチャートである。ステップＳ７０１では、マイクロフォン２０１１～２０１８の集音部２００１は、集音し、音声を電気の音声信号に変換する。音声処理部２００２は、音声信号に対して、音声処理および圧縮符号化処理を行い、音声データを生成する。

ステップＳ７０２では、制御部２００３は、記憶２００５に記憶されている図６（ｂ）のテーブルを参照し、各カメラ１１０１～１１０７のＩＤに対応するマイクロフォン２０００の指向性の集音範囲を読み出す。

ステップＳ７０３では、制御部２００３は、マイクロフォン２０１１～２０１８の音声データに対して、ステップＳ７０２で読み出した各カメラ１１０１～１１０７のＩＤの指向性の集音範囲に基づいて指向性処理を行い、各ＩＤの音声データを生成する。例えば、制御部２００３は、カメラ２０１１のＩＤに対して、マイクロフォン２０００の指向性の集音範囲ＡおよびＢの指向性処理を行い、カメラ２０１１のＩＤの音声データを生成する。

ステップＳ７０４では、制御部２００３は、記憶部２００５に記憶されている図６（ｃ）のテーブルを参照し、各カメラ１１０１～１１０７のＩＤに対応する音声データのＩＰアドレスを読み出す。

ステップＳ７０５では、制御部２００３は、ステップＳ７０４で読み出した各カメラ１１０１～１１０７のＩＤに対応する音声データを出力する通信デバイスのＩＰアドレスと、ステップＳ７０３で生成された各ＩＤの音声データとをそれぞれ対応付ける。そして、制御部２００３は、対応付けたＩＰアドレスと音声データをサーバ装置３０００に送信する。

図７（ｂ）は、カメラ１１０１～１１０７の制御方法を示すフローチャートである。ステップＳ７１１では、カメラ１１０１～１１０７の撮像部１００１は、被写体を撮像し、映像信号を生成する。カメラ１１０１～１１０７の画像処理部１００２は、映像信号に対して、画像処理および圧縮符号化処理を行い、映像データを生成する。

ステップＳ７１２では、カメラ１１０１～１１０７の制御部１００３は、記憶部１００５に記憶されている図６（ａ）のテーブルを参照し、自己のカメラのＩＤに対応するＩＰアドレスを読み出す。カメラ１１０１～１１０７の制御部１００３は、自己のカメラのＩＤに対応するＩＰアドレスと、自己のＩＤのカメラで生成された映像データとをそれぞれ対応付けて、サーバ装置３０００に送信する。

図７（ｃ）は、サーバ装置３０００の制御方法を示すフローチャートである。ステップＳ７２１では、システム制御部３００２は、通信部３００１を介して、カメラ１１０１～１１０７から各ＩＤのＩＰアドレスと映像データを受信する。また、システム制御部３００２は、通信部３００１を介して、マイクロフォン２０００から各ＩＤに対応する音声データを出力する通信デバイスのＩＰアドレスと音声データを受信する。

ステップＳ７２２では、システム制御部３００２は、記憶部３００３に記憶されている図６（ｄ）のテーブルを基に、各カメラ１１０１～１１０７のＩＤに対応するＩＰアドレスと対応する音声データを出力する通信デバイスのＩＰアドレスの組み合わせを読み出す。

ステップＳ７２３では、システム制御部３００２は、同じＩＤのカメラのＩＰアドレスと音声データのＩＰアドレスを基に、対応する映像データと音声データを関連付け、ＭＰＥＧファイルとして記憶部３００３に記録する。システム制御部３００２は、カメラのＩＰアドレスを基に、映像データと音声データを含むＭＰＥＧファイルを再生することができる。

（第２の実施形態）
第１の実施形態では、図７（ｃ）に示すように、サーバ装置３０００によって、同じＩＤの映像データと音声データの関連付けを行った。本発明の第２の実施形態では、カメラ１１０１～１１０７が、同じＩＤの映像データと音声データを関連付ける。カメラ１１０１～１１０７とマイクロフォン２０００とサーバ装置３０００の構成および接続は、第１の実施形態と同じであるため説明を省略する。また、指向性処理も、第１の実施形態と同じであるため説明を省略する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図８（ａ）～（ｃ）は、本発明の第２の実施形態による映像音声処理システム１００の制御方法を示すフローチャートである。図８（ａ）は、マイクロフォン２０００の制御方法を示すフローチャートである。マイクロフォン２０００は、ステップＳ８０１～Ｓ８０４の処理を行う。ステップＳ８０１～Ｓ８０４の処理は、図７（ａ）のステップＳ７０１～Ｓ７０４の処理と同じです。ステップＳ８０５では、制御部２００３は、ステップＳ８０４で読み出した各カメラ１１０１～１１０７のＩＤに対応する音声データのＩＰアドレスと、ステップＳ８０３で生成された各ＩＤの音声データとを対応付けて、カメラ１１０１～１１０７に送信する。

図８（ｂ）は、カメラ１１０１～１１０７の制御方法を示すフローチャートである。図６（ｅ）に示すように、カメラ１１０１の記憶部１００５は、自己のカメラ１１０１のＩＤに対応するＩＰアドレスと音声データの組み合わせのテーブルを記憶する。同様に、カメラ１１０２～１１０７の記憶部１００５は、それぞれ、自己のカメラ１１０１のＩＤに対応するＩＰアドレスと音声データの組み合わせのテーブルを記憶する。

ステップＳ８１１では、カメラ１１０１～１１０７の撮像部１００１は、被写体を撮像し、映像信号を生成する。カメラ１１０１～１１０７の画像処理部１００２は、映像信号に対して、画像処理および圧縮符号化処理を行い、映像データを生成する。

ステップＳ８１２では、カメラ１１０１の制御部１００３は、記憶部１００５に記憶されている図６（ｅ）のテーブルを参照し、自己のカメラ１１０１のＩＤに対応する音声データを出力する通信デバイスのＩＰアドレスを読み出す。同様に、カメラ１１０２～１１０７の制御部１００３は、それぞれ、記憶部１００５に記憶されているテーブルを参照し、自己のカメラ１１０２～１１０７のＩＤに対応する音声データを出力する通信デバイスのＩＰアドレスを読み出す。

ステップＳ８１３では、カメラ１１０１～１１０７の制御部１００３は、ステップＳ８１２で読み出した自己のカメラ１１０２～１１０７のＩＤに対応するＩＰアドレスを有する通信デバイスから出力される音声データをマイクロフォン２０００から受信する。カメラ１１０１～１１０７の制御部１００３は、それぞれ、上記の音声データを受信できた場合には、ステップＳ８１４に進み、上記の音声データを受信できなかった場合には、ステップＳ８１５に進む。ステップＳ８１５では、制御部１００３は、通信部１００４を介して、ステップＳ８１１で生成された映像データと自己のカメラのＩＤに対応するＩＰアドレスをサーバ装置３０００に送信する。

ステップＳ８１４では、カメラ１１０１～１１０７の制御部１００３は、記憶部１００５内の図６（ｅ）等のテーブルを基に、自己のカメラのＩＤに対応するＩＰアドレスと対応する音声データを出力する通信デバイスのＩＰアドレスの組み合わせを読み出す。カメラ１１０１～１１０７の制御部１００３は、自己のカメラのＩＤに対応するＩＰアドレスと音声データを出力する通信デバイスのＩＰアドレスを基に、自己のカメラのＩＤの映像データ（Ｓ８１１）と音声データ（Ｓ８１３）を関連付ける。そして、カメラ１１０１～１１０７の制御部１００３は、関連付けた映像データと音声データを含むＭＰＥＧファイルを生成する。その後、カメラ１１０１～１１０７の制御部１００３は、ステップＳ８１５に進む。ステップＳ８１５では、制御部１００３は、通信部１００４を介して、自己のカメラのＩＤの映像データおよび音声データを含むＭＰＥＧファイルと映像データのＩＰアドレスとをサーバ装置３０００に送信する。

図８（ｃ）は、サーバ装置３０００の制御方法を示すフローチャートである。ステップＳ８２１では、システム制御部３００２は、通信部３００１を介して、カメラ１１０１～１１０７から各ＩＤの映像データと音声データを含むＭＰＥＧファイルとカメラのＩＰアドレス、または各ＩＤの映像データとカメラのＩＰアドレスを受信する。システム制御部３００２は、カメラのＩＰアドレスを基に、映像データと音声データを含むＭＰＥＧファイル、または映像データを再生することができる。

第１の実施形態および第２の実施形態では、カメラ１１０１～１１０７のＩＰアドレスおよびマイクロフォン２０００が有する通信デバイスのＩＰアドレスを用いて映像データおよび音声データの関連付けを行っていたが、これに限定されない。マイクロフォン２０００が複数の通信デバイスを有さない場合、単純にカメラ１１０１～１１０７のＩＤを識別情報とし、音声を収集する指向性の範囲を関連付けることでもよい。すなわち、この場合、図６（ａ）および（ｂ）を有するだけでもよい。

（第３の実施形態）
図９（ａ）は、本発明の第３の実施形態によるマイクロフォン２０００の位置に対するカメラ１１０１の撮影範囲１２０１の極座標の算出方法を示す図である。サーバ装置３０００は、カメラ１１０１の撮影範囲１２０１の極座標を算出し、その極座標を基にカメラ１１０１の指向性方向と指向性範囲を算出する。以下、本実施形態が第１および第２の実施形態と異なる点を説明する。

まず、システム制御部３００２は、ユーザの指示に応じて、カメラ１１０１の位置座標ａ（Ｘａ，Ｙａ）と、カメラ１１０１の撮影方向と、カメラ１１０１の撮影角度と、カメラ１１０１の撮影距離を設定する。次に、システム制御部３００２は、ユーザの指示に応じて、マイクロフォン２０００の位置座標を設定する。

次に、システム制御部３００２は、上記の情報を基に、カメラ１１０１の撮影範囲１２０１の頂点座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）を算出する。次に、システム制御部３００２は、次式により、マイクロフォン２０００の位置座標に対する撮影範囲１２０１の頂点座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）を極座標（ｒａ，θａ）、（ｒｂ，θｂ）、（ｒｃ，θｃ）に変換する。

システム制御部３００２は、上記と同様に、マイクロフォン２０００の位置座標に対するカメラ１１０２～１１０７の撮影範囲１２０２～１２０７の頂点座標を極座標に変換する。

図９（ｂ）は、本実施形態によるマイクロフォン２０００に対するカメラ１１０１の撮影範囲１２０１の極座標の他の算出方法を示す図である。サーバ装置３０００は、カメラ１１０１の撮影範囲１２０１の極座標を算出し、その極座標を基にカメラ１１０１の指向性方向と指向性範囲を算出する。

まず、システム制御部３００２は、ユーザの指示に応じて、カメラ１１０１の設置領域の座標を設定する。次に、システム制御部３００２は、ユーザの指示に応じて、マイクロフォン２０００の位置座標を設定する。

次に、システム制御部３００２は、上記の情報を基に、カメラ１１０１の撮影範囲１２０１の頂点座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）、ｄ（Ｘｄ，Ｙｄ）を算出する。システム制御部３００２は、次式により、マイクロフォン２０００の位置座標を基準に、頂点座標ａ（Ｘａ，Ｙａ）、ｂ（Ｘｂ，Ｙｂ）、ｃ（Ｘｃ，Ｙｃ）、ｄ（Ｘｄ，Ｙｄ）を極座標（ｒａ，θａ）、（ｒｂ，θｂ）、（ｒｃ，θｃ）、（ｒｄ，θｄ）に変換する。

図１０（ａ）は、カメラ１１０１の撮影範囲１２０１に対応するマイクロフォン２０００の指向性方向θ１と指向性範囲φ１を示す図である。サーバ装置３０００は、図９（ａ）または（ｂ）の極座標を算出した後、カメラ１１０１の撮影範囲１２０１に対応するマイクロフォン２０００の指向性方向θ１と指向性範囲φ１を算出する。

まず、システム制御部３００２は、マイクロフォン２０００の位置座標と撮影範囲１２０１の両端とを結ぶ２直線９０１および９０２の角度を算出する。次に、システム制御部３００２は、２直線９０１および９０２の角度の平均の角度θ１を、カメラ１１０１の撮影範囲１２０１に対応するマイクロフォン２０００の指向性方向として算出する。次に、システム制御部３００２は、２直線９０１および９０２の角度の差の角度φ１を、カメラ１１０１の撮影範囲１２０１に対応するマイクロフォン２０００の指向性範囲として算出する。

システム制御部３００２は、上記と同様に、カメラ１１０２～１１０７の撮影範囲１２０２～１２０７に対応するマイクロフォン２０００の指向性方向θ２～θ７および指向性範囲φ２～φ７を算出する。

図１０（ｂ）は、カメラ１１０１～１１０７のＩＤごとのマイクロフォン２０００の指向性方向および指向性範囲を示すテーブルの図である。マイクロフォン２０００の指向性方向および指向性範囲は、マイクロフォン２０００の指向性を示す情報である。サーバ装置３０００は、図１０（ａ）の算出の後、図１０（ｂ）のテーブルを生成する。システム制御部３００２は、図１０（ａ）の算出の後、図１０（ｂ）のように、カメラ１１０１～１１０７のＩＤに対するマイクロフォン２０００の指向性方向θ１～θ７および指向性範囲φ１～φ７を示すテーブルを生成する。図１０（ｂ）のテーブルは、図６（ｂ）のテーブルの代わりに使用される。サーバ装置３０００は、図１０（ｂ）のテーブルをマイクロフォン２０００に送信する。マイクロフォン２０００は、記憶部２００５に図１０（ｂ）のテーブルを保存し、図１０（ｂ）のテーブルを基に、図７（ａ）のステップＳ７０３の指向性処理を行う。

第１～第３の実施形態によれば、マイクロフォン２０００の数がカメラ１１０１～１１０７の数より少なく、ユーザが任意にマイクロフォン２０００とカメラ１１０１～１１０７の設置場所を指定することができる。映像音声処理システム１００は、カメラ１１０１～１１０７の映像に合わせた音声を集音し、各カメラ１１０１～１１０７の映像データと音声データを適切に関連付ける（結合する）ことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１０１～１１０７カメラ、２０００マイクロフォン、３０００サーバ装置、４０００ネットワーク

Claims

複数の映像データを生成する複数の撮像装置と、
音声の指向性処理を行う複数の集音範囲が設定され、当該集音範囲ごとに、集音部により集音された音声を指向性処理することにより、前記集音範囲ごとの音声データを生成する音声入力装置と、
処理装置と、
を有し、
前記音声入力装置は、前記生成された複数の音声データのそれぞれに対応する通信デバイスのＩＰアドレスが設定され、前記生成された複数の音声データと、当該音声データに対応する前記通信デバイスのＩＰアドレスと、を前記複数の撮像装置に送信し、
前記複数の撮像装置は、それぞれ、自身の撮像装置に対応する前記通信デバイスのＩＰアドレスを記憶し、当該記憶されたＩＰアドレスに一致するＩＰアドレスと共に前記音声入力装置から受信した音声データと、前記自身の撮像装置により撮像された映像データとを含むファイルを生成し、当該生成されたファイルを前記処理装置に送信し、
前記処理装置は、前記ファイルを受信することを特徴とする映像音声処理システム。
前記複数の撮像装置は、それぞれ、自身の撮像装置に対応する前記通信デバイスのＩＰアドレスを記憶し、当該記憶されたＩＰアドレスに一致するＩＰアドレスと共に前記音声入力装置から受信した音声データと、前記自身の撮像装置により撮像された映像データとを含むファイルを生成し、当該生成されたファイルを、前記自身の撮像装置のＩＰアドレスと共に前記処理装置に送信し、
前記処理装置は、前記ファイルと前記自身の撮像装置のＩＰアドレスとを受信して当該ファイルを再生することを特徴とする請求項１に記載の映像音声処理システム。
複数の撮像装置により、複数の映像データを生成し、
音声入力装置により、音声の指向性処理を行う複数の集音範囲が設定され、当該集音範囲ごとに、集音部により集音された音声を指向性処理することにより、前記集音範囲ごとの音声データを生成し、
前記音声入力装置により、前記生成された複数の音声データのそれぞれに対応する通信デバイスのＩＰアドレスが設定され、前記生成された複数の音声データと、当該音声データに対応する前記通信デバイスのＩＰアドレスと、を前記複数の撮像装置に送信し、
前記複数の撮像装置により、それぞれ、自身の撮像装置に対応する前記通信デバイスのＩＰアドレスを記憶し、当該記憶されたＩＰアドレスに一致するＩＰアドレスと共に前記音声入力装置から受信した音声データと、前記自身の撮像装置により撮像された映像データとを含むファイルを生成し、当該生成されたファイルを処理装置に送信し、
前記処理装置により、前記ファイルを受信することを特徴とする映像音声処理システムの制御方法。