JP4748075B2 - 画像同期システム及び画像同期方法 - Google Patents

Description

本発明は、複数の再生装置にて再生される画像を同期させる画像同期システム及び画像同期方法に関する。

従来、スポーツなどの一のシーンを視点を変えて設置した複数の撮像装置で撮像記録して、記録された動画像をディスプレイ上に２画面として同期をとりつつ再生する装置が開発されている。具体的には、複数の動画像を複数のチャネルデータファイルとしてハードディスクに蓄積して、これら複数のチャネルデータファイルの音声トラック部分に記録されたデータに基づいて同期開始位置を設定して、この同期開始位置に従って複数の動画像の同期をとって再生する（例えば、特許文献１参照）。
特開２００１−３６８６７号公報

しかしながら、上記特許文献１等の場合、専用の複数チャンネル動画像同期表示装置が必要となるため、汎用性が低く、複数の動画像の同期した再生を簡便に行うことができないといった問題がある。
また、複数の動画像における同期開始位置の設定のために、撮影開始後にホイッスルや電子音発生器等により開始信号を発して記録させる必要があるため、その作業が煩わしいといった問題もある。

そこで、本発明の課題は、複数の画像の同期した再生を簡便に行うことができる画像同期システム及び画像同期方法を提供することである。

請求項１に記載の発明は、
一のシーンに係る画像を同期して再生する複数の再生装置を備える画像同期システムであって、
前記複数の再生装置の各々は、
前記一のシーンを撮像する撮像手段と、
前記撮像手段で撮像した画像を記録する画像記録手段と、
前記画像記録手段に記録されている画像を再生する画像再生手段と、
前記撮像手段により撮像された画像と対応付けられて録音された音声情報を記録する第１の音声記録手段とを備え、
前記複数の再生装置のうち、何れか一の再生装置は、
さらに、前記一のシーンを他の再生装置の撮像手段により撮像された画像と対応付けられて録音された音声情報を受信する音声受信手段と、
前記音声受手段により受信された音声情報を記録する第２の音声記録手段と、
前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記複数の再生装置の前記画像再生手段により前記一のシーンを撮像手段で撮像した画像を同期して再生させるための画像同期情報を取得する画像同期情報取得手段と、
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第１の再生制御手段と、
前記画像同期情報取得手段により取得された前記画像同期情報を、前記他の再生装置に送信する同期情報送信手段とを備え、
前記他の再生装置は、
前記画像記録手段に記録される前記一のシーンを撮像した画像と対応付けられて録音された音声情報を前記一の再生装置に送信する音声送信手段と、
前記同期情報送信手段から送信された前記画像同期情報を受信する同期情報受信手段と、
前記同期情報受信手段により受信された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第２の再生制御手段とを備え、
前記一つの再生装置での画像の再生指示に対応して、前記画像同期情報の送受信のタイミングを基準とする前記画像同期情報に基づいて、前記再生装置の各々の画像データの再生を開始することを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像同期システムにおいて、
前記画像同期情報取得手段は、
前記複数の音声情報の所定の探索範囲内にて相互相関関数の最大値をとるずれ情報を複数探索するずれ情報探索手段と、
前記ずれ情報探索手段により探索された前記複数のずれ情報の平均値を算出して前記画像同期情報とする画像同期情報算出手段とを備え、
前記画像同期情報算出手段は、前記相互相関関数の最大値を重み付け係数として前記平均値を算出することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像同期システムにおいて、
前記一の再生装置は、
前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記複数の再生装置の各々の撮像手段で撮像した画像のうち、より遅く撮像が開始された画像を前記画像再生手段により先頭画像から再生を開始する優先画像とする優先画像特定情報を取得する優先情報取得手段と、
前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記再生装置の各々の画像再生手段により同期して再生される前記画像のうち、前記画像再生手段による前記優先画像の再生開始後により早期に再生が終了する画像を早期終了画像とする早期終了画像特定情報を取得する終了情報取得手段と、
前記優先情報取得手段により取得された前記優先画像特定情報及び前記終了情報取得手段により取得された前記早期終了画像特定情報を前記他の再生装置に送信する特定情報送信手段と、を備え、
前記第１の再生制御手段は、さらに、前記優先情報取得手段により取得された前記優先画像特定情報及び前記終了情報取得手段により取得された前記早期終了画像特定情報に基づいて、前記画像再生手段による画像の再生タイミングを前記複数の再生装置の各々の撮像手段により重複して撮像された画像を再生するように制御し、
前記他の再生装置は、
前記特定情報送信手段から送信された前記優先画像特定情報及び前記早期終了画像特定情報を受信する特定情報受信手段を備え、
前記第２の再生制御手段は、さらに、前記特定情報受信手段により受信された前記優先画像特定情報及び前記早期終了画像特定情報に基づいて、前記画像再生手段による画像の再生タイミングを制御することを特徴としている。

請求項４に記載の発明は、
一のシーンを複数の再生装置の各々の撮像手段で撮像して画像を記録する画像記録手段と、その記録した画像を再生する画像再生手段と、画像と対応付けられて録音された音声情報を記録する第１の音声記録手段を備え、
前記複数の再生装置のうち、何れか一の再生装置が、
さらに、前記一のシーンを他の再生装置の撮像手段により撮像された画像と対応付けられて録音された音声情報を受信する音声受信手段と、
前記音声受信手段により受信された音声情報を記録する第２の音声記録手段と、
前記他の再生装置へ画像同期情報を、送信する同期情報送信手段とを備え、
前記他の再生装置が、
さらに、前記画像記録手段に記録される前記一のシーンを撮像した画像と対応付けられて録音された音声情報を前記一の再生装置に送信する音声送信手段と、
前記一つの再生装置からの前記画像同期情報を受信する同期情報受信手段とを備える再生装置を用いて、前記一のシーンに係る画像を同期して再生する画像同期方法であって、
前記他の再生装置が前記音声情報を前記一の再生装置に送信するステップと、
前記一の再生装置が前記他の再生装置の前記音声情報を受信するステップと、
前記一の再生装置が受信した前記音声情報を第２の音声記憶手段に記憶するステップと、
前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記複数の再生装置の前記画像再生手段により前記一のシーンを撮像手段で撮像した画像を同期して再生させるための画像同期情報を取得するステップと、
前記一の再生装置での画像の再生指示に対応して、取得された前記画像同期情報を、前記他の再生装置に送信するステップと、
前記他の再生装置で、送信された前記画像同期情報を受信するステップと、
前記画像同期情報の送受信のタイミングを基準とする前記画像同期情報に基づいて、前記再生装置の各々の画像データの再生を開始するステップとを行うことを特徴としている。

本発明によれば、正確な同期をとって複数の撮像手段により撮像された画像でなくても、複数の画像の同期した再生を簡便に行うことができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の画像同期システム１００の概略構成を模式的に示す図であり、図２は、画像同期システム１００を構成する撮像装置１の概略構成を示すブロック図である。

本実施形態の画像同期システム１００は、２つの撮像装置（再生装置）１、１により撮像された一のシーンに係る２つの画像を、当該シーンの撮像の際に記録された音声データに基づいて同期して再生させるものである。
具体的には、画像同期システム１００は、例えば、図１に示すように、被写体を撮像する２つの撮像装置１、１から構成されている。

各撮像装置１は、略同様の構成となっており、一方を第１のユーザにより操作される第１の撮像装置（一の撮像装置）１Ａとし、他方を第２のユーザにより操作される第２の撮像装置（他の撮像装置）１Ｂとする。また、画像同期処理は、例えば、第１の撮像装置１Ａ主導で行われるものとする。

以下に、撮像装置１の構成について図２を参照して詳細に説明する。
撮像装置１は、撮像部２、集音部３、符号化部４、メモリ５、復号部６、通信部７、音声同期検出部８、画像再生部９、音声再生部１０、操作部１１、制御部１２等を備えて構成されている。

撮像部２は、被写体を撮像するものである。具体的には、撮像部２は、例えば、図示は省略するが、撮像レンズと、電子撮像部と、ＡＥ・ＡＦ制御部と、Ａ／Ｄ変換部と、画像処理部等を備えている。

撮像レンズは、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズから構成されている。

電子撮像部は、撮像レンズを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子を備えている。

Ａ／Ｄ変換部は、例えば、プリフィルタやＡＤＣ（Analog Digital Converter）回路等を備え、電子撮像部から出力され入力されたアナログ画像信号をデジタル画像信号に変換するものである。

ＡＥ・ＡＦ制御部は、Ａ／Ｄ変換部から出力され入力されたデジタル画像信号に基づいて、自動露光調節（ＡＥ：Auto Exposure）処理及び自動焦点調節（ＡＦ）処理を実行する。
自動露光調節処理とは、撮影対象の明るさに応じて撮像素子の露光を自動的に調節する処理である。また、自動焦点調節処理とは、撮影レンズの焦点を撮影対象に対して自動的に合わせる処理である。

画像処理部は、ＡＥ・ＡＦ制御部から出力され入力された画像信号に対して所定の画像処理を施して、制御部１２に出力する。

集音部３は、音声を集音して記録するものであり、マイクと、Ａ／Ｄ変換部等を備えている。

マイクは、被写体の撮像の際に音声を集音する。
Ａ／Ｄ変換部は、例えば、プリフィルタやＡＤＣ回路等を備え、マイクから出力され入力されたアナログ音声信号をＰＣＭ形式のデジタル音声信号に変換するものである。

符号化部４は、例えば、エンコーダを備え、各種データを所定の圧縮方式により圧縮する。即ち、符号化部４は、例えば、撮像部２により撮像された画像のデジタル画像データをＭＰＥＧ４等のファイル形式に圧縮する。また、符号化部４は、例えば、集音部３により集音された音声のＰＣＭ形式のデジタル音声データをＭＰ３等のファイル形式に圧縮する。これにより、データ量を少なくすることができ、通信部７によるデジタル音声データの伝送時間の短縮化を図ることができる点で好ましい。

メモリ５は、例えば、不揮発性メモリやハードディスク等により構成され、圧縮デジタル画像データや圧縮デジタル音声データを記録する。
ここで、メモリ５は、画像記録手段として、一のシーンを撮像部２により撮像した画像の符号化画像データを記録している。即ち、第１の撮像装置１Ａのメモリ５は、当該第１の撮像装置１Ａの撮像部２により一のシーンを撮像した画像の圧縮デジタル画像データを記録し、一方、第２の撮像装置１Ｂのメモリ５は、当該第２の撮像装置１Ｂの撮像部２により一のシーンを撮像した画像の圧縮デジタル画像データを記録している。

メモリ５は、符号化画像データと対応づけて圧縮デジタル音声データを記録する。即ち、第１の撮像装置１Ａのメモリ５は、当該第１の撮像装置１Ａの撮像部２により撮像された画像と対応付けて集音部３により録音された音声の圧縮デジタル音声データを記録し、一方、第２の撮像装置１Ｂのメモリ５は、他の音声記録手段として、当該第２の撮像装置１Ｂの撮像部２により撮像された画像と対応付けて集音部３により録音された音声の圧縮デジタル音声データを記録する。

また、第１の撮像装置１Ａのメモリ５は、音声同期検出部８による時間ずれ情報（後述）の算出用に、当該第１の撮像装置１Ａの集音部３により集音された音声データに加えて、第２の撮像装置１Ｂの集音部３により集音された音声データを記録する。即ち、第１の撮像装置１Ａのメモリ５は、圧縮デジタル音声データを復号部６により復号したＰＣＭ形式のデジタル音声データを記録する。さらに、当該メモリ５は、第２の撮像装置１Ｂの通信部７から送信され第１の撮像装置１Ａの通信部７により受信された圧縮デジタル音声データを復号部６により復号したＰＣＭ形式のデジタル音声データを記録する。
ここで、第１の撮像装置１Ａのメモリ５は、複数の撮像部２、…により撮像された複数の画像と対応付けられて録音された音声データを複数記録する複数音声記録手段を構成している。

復号部６は、例えば、デコーダを備え、所定の圧縮方式より圧縮された各種データを復号する。即ち、復号部６は、例えば、ＭＰＥＧ４等のファイル形式のデータをデジタル画像データに復号する。また、復号部６は、例えば、ＭＰ３等のファイル形式のデータをＰＣＭ形式のデジタル音声データに復号する。

通信部７は、例えば、赤外線を用いて他の撮像装置１の通信部７との間で各種データの送受信を行う。具体的には、通信部７は、図示は省略するが、各種データを赤外線により送信する送信部と、他の撮像装置の通信部７から送信される赤外線を受信する受信部を備えている。
即ち、第２の撮像装置１Ｂの通信部７は、音声送信手段として、当該第２の撮像装置１Ｂのメモリ５に記録された圧縮デジタル音声データを送信する（図３参照）。
また、第１の撮像装置１Ａは、音声受信手段として、第２の撮像装置１Ｂの通信部７から送信された圧縮デジタル音声データを受信する。

また、第１の撮像装置１Ａの通信部７は、同期情報送信手段として、音声同期検出部８により取得された時間ずれ情報を第２の撮像装置１Ｂに送信する（図４参照）。
一方、第２の撮像装置１Ｂの通信部７は、同期情報受信手段として、第１の撮像装置１Ａの通信部７から送信された時間ずれ情報を受信する。

音声同期検出部８は、画像同期情報取得手段として、２つの撮像装置１、１による一のシーンの撮像の際に記録されたデジタル音声データに基づいて、当該音声データ間のずれ時間に係る時間ずれ情報を取得する。即ち、音声同期検出部８は、メモリ５から読み出された２つのＰＣＭ形式のデジタル音声データに基づいて、第１の撮像装置１Ａの画像再生部９及び第２の撮像装置１Ｂの画像再生部９により画像を同期して再生させるための時間ずれ情報を算出する。

以下に、図５（ａ）及び図５（ｂ）を参照して、時間ずれ情報の算出方法について詳細に説明する。
ここで、図５（ａ）は、第１の撮像装置１Ａにより取得された音声データと撮像された画像との対応を模式的に示す図であり、図５（ｂ）は、第２の撮像装置１Ｂにより取得された音声データと撮像された画像との対応を模式的に示す図である。
なお、図５（ａ）にて、時刻ｔ１における再生画像を画像Ａ１とし、時刻ｔ２における再生画像を画像Ａ２とし、時刻ｔ３における再生画像を画像Ａ３とする。また、図５（ｂ）にて、時刻ｔ４における再生画像を画像Ｂ４とし、時刻ｔ５における再生画像を画像Ｂ５とする。

音声同期検出部８は、下記式（１）に従って、第１の撮像装置１Ａのデジタル音声データと第２の撮像装置１Ｂのデジタル音声データに基づいて、互いの時系列波形の類似度を示す相互相関関数を算出する。具体的には、第１の撮像装置１Ａのデジタル音声データをｘ（ｔ）とし、第２の撮像装置１Ｂのデジタル音声データをｙ（ｔ）として、第１の撮像装置１Ａの音声信号ｘ（ｔ）を固定し、第２の撮像装置１Ｂの音声信号ｙ（ｔ）の所定の探索範囲Ｎ内で時間ずれτを−ＰからＰまで増加させながら、相互相関関数Ｒｘｙ（ｔ）を算出する。

そして、相互相関関数Ｒｘｙ（ｔ）が最大値をとる時間ずれτを１回目の探索範囲Ｎにおけるずれ情報τ１とする。
相互相関関数Ｒｘｙ（ｔ）を探索範囲Ｎを所定の大きさ（例えば、２／Ｎ）ずつ移動させて、相互相関関数Ｒｘｙ（ｔ）が最大値をとる時間ずれτを求める。これにより、例えば、探索範囲Ｎを（ｋ−１）回移動させると、時間ずれがｔ１、τ２…τｋとｋ個算出される。
ここで、音声同期検出部８は、２つのデジタル音声データの所定の探索範囲Ｎ内にて相互相関関数Ｒｘｙ（ｔ）の最大値をとるずれ情報を複数探索するずれ情報探索手段として機能する。

次に、音声同期検出部８は、下記式（２）に従って、ｋ個のずれ情報の平均値Ａｖｅτを算出して、第１の撮像装置１Ａのデジタル音声データｘ（ｔ）と第２の撮像装置１Ｂのデジタル音声データｙ（ｔ）との間の時間ずれτとする。

ここで、音声同期検出部８は、複数のずれ情報の平均値を算出して時間ずれ情報とする画像同期情報算出手段として機能する。

具体的には、例えば、図５（ａ）及び図５（ｂ）に示すように、第１の撮像装置１Ａによる撮像開始後、時刻ｔ２付近における音声信号の波形部分ｗ１と、第２の撮像装置１Ｂによる撮像開始直後の時刻ｔ４付近における音声信号の波形部分ｗ２との類似度が高くなっている。これにより、第１の撮像装置１Ａによる撮像開始後、波形部分ｗ１の開始時刻ｔａまでの時間を時間ずれτとすることができる。

画像再生部９は、例えば、ＤＡＣ回路や表示パネル等を備え、デジタル画像信号をアナログ画像信号に変換して、画像を表示パネルに表示するものである。即ち、画像再生部９は、画像再生手段として、制御部１２の制御下にて、メモリ５から読み出され復号部６により復号された画像データに基づいて所定の画像を表示（再生）する。

音声再生部１０は、例えば、ＤＡＣ回路やスピーカ等を備え、デジタル音声信号をアナログ音声信号に変換して、音声をスピーカから出力するものである。
なお、画像同期処理の際には、第１の撮像装置１Ａの音声再生部１０のみが音声を出力するようになっている。

操作部１１は、当該撮像装置１の所定操作を行うためのものであり、例えば、図示は省略するが、シャッターボタン、モード切替ボタン等の各種操作ボタン等を備えている。

シャッターボタンは、撮像部２による被写体の撮像を指示する。
モード切替ボタンは、静止画や動画の撮像モードと画像の再生モードとの切替えを指示する。
なお、各種操作ボタンが操作されると、所定の操作信号をＣＰＵ１２１に出力する。

制御部１２は、撮像装置１の各部を制御するものであり、例えば、ＣＰＵ１２１と、ＲＡＭ１２２と、ＲＯＭ１２３等を備えている。

ＣＰＵ１２１は、ＲＯＭ１２３に記憶された撮像装置１用の各種処理プログラムに従って各種の制御動作を行うものである。

ＲＡＭ１２２は、ＣＰＵ１２１によって実行される処理プログラムなどを展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果などを格納するデータ格納領域などを備える。

ＲＯＭ１２３は、ＣＰＵ１２１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、ＲＯＭ１２３は、第１の再生制御プログラム１２３ａ、第２の再生制御プログラム１２３ｂ等を記憶する。

第１の再生制御プログラム１２３ａは、ＣＰＵ１２１を第１の再生制御手段として機能させるものである。即ち、第１の再生制御プログラム１２３ａは、音声同期検出部８により取得した時間ずれ情報に基づいて、画像再生部９による画像の再生タイミングを制御する第１の再生制御処理に係る機能をＣＰＵ１２１に実現させるためのプログラムである。具体的には、第１の撮像装置１Ａにあっては、ＣＰＵ１２１による第１の再生制御プログラム１２３ａの実行に基づいて、音声同期検出部８により取得した時間ずれ情報に従って画像再生部９による画像の再生タイミングを制御する第１の再生制御処理を実行する。
この第１の再生制御処理にあっては、例えば、時間ずれτが正である場合、つまり、第１の撮像装置１Ａの撮像開始後に所定時間遅れて第２の撮像装置１Ｂの撮像が開始された場合には、当該第１の撮像装置１Ａの画像再生が指示されると、ＣＰＵ１２１は、画像再生部９による画像の再生を開始させるとともに、第２の撮像装置１Ｂの再生開始信号及び所定の時間ずれτに係る時間ずれ情報を通信部７から送信させる。
また、例えば、時間ずれτが負である場合、つまり、第２の撮像装置１Ｂの撮像開始後に所定時間遅れて第１の撮像装置１Ａの撮像が開始された場合には、当該第１の撮像装置１Ａの画像再生が指示されると、ＣＰＵ１２１は、第２の撮像装置１Ｂの再生開始信号及び時間ずれτ＝０とする時間ずれ情報を通信部７から送信させるとともに、時間ずれτの時間だけ遅れて画像の再生を開始させる。

第２の再生制御プログラム１２３ｂは、ＣＰＵ１２１を第２の再生制御手段として機能させるものである。即ち、第２の再生制御プログラム１２３ｂは、通信部７を介して受信した時間ずれ情報に基づいて、画像再生部９による画像の再生タイミングを制御する第２の再生制御処理に係る機能をＣＰＵ１２１に実現させるためのプログラムである。具体的には、第２の撮像装置１Ｂにあっては、ＣＰＵ１２１による第２の再生制御プログラム１２３ｂの実行に基づいて、第１の撮像装置１Ａから送信され通信部７により受信した時間ずれ情報に従って画像再生部９による画像の再生タイミングを制御する第２の再生制御処理を実行する。
この第２の再生制御処理にあっては、例えば、時間ずれτが正である時間ずれ情報を受信した場合には、ＣＰＵ１２１は、再生開始信号の受信後、時間ずれτの時間だけ遅れて画像の再生を開始させる（図６参照）。
また、例えば、時間ずれτ＝０の時間ずれ情報を受信した場合には、ＣＰＵ１２１は、再生開始信号の受信後すぐに画像の再生を開始させる。

次に、画像同期処理について図６及び図７を参照して説明する。
ここで、図６は、画像同期処理に係る動作の一例を示すフローチャートであり、図７は、第１の撮像装置１Ａ及び第２の撮像装置１Ｂにより再生される画像と音声データとの対応を模式的に示す図である。

図６に示すように、第１のユーザが第１の撮像装置１Ａを用いて、また、第２のユーザが第２の撮像装置１Ｂを用いて一のシーンの動画を異なる方向から撮像する（ステップＳ１及びステップＳ２）。このとき、第１のユーザ及び第２のユーザは、撮像開始時間を正確に合わせる必要はなく、所望の場面が記録されるように個別に撮像が開始される。

第２の撮像装置１Ｂにあっては、撮像部２による撮像が終了すると（ステップＳ３）、ＣＰＵ１２１は、メモリ５に記録された圧縮デジタル音声データを通信部７により送信させる（ステップＳ４）。

一方、第１の撮像装置１Ａにあっては、撮像部２による撮像が終了すると（ステップＳ５）、ＣＰＵ１２１は、圧縮デジタル音声データを復号部６により復号してＰＣＭ形式のデジタル音声データをメモリ５に記録させる（ステップＳ６）。また、ＣＰＵ１２１は、第２の撮像装置１Ｂから送信された圧縮デジタル音声データを通信部７により受信すると（ステップＳ７）、当該データを復号部６により復号してＰＣＭ形式のデジタル音声データをメモリ５に記録させる（ステップＳ８）。

次に、第１の撮像装置１ＡのＣＰＵ１２１は、音声同期検出部８を制御して、メモリ５から読み出された２つのＰＣＭ形式のデジタル音声データに基づいて、時間ずれ情報を算出させる（ステップＳ９）。

その後、第１の撮像装置１Ａ及び第２の撮像装置１Ｂの再生モードが画像同期再生モードに設定された状態で、第１の撮像装置１Ａの操作部１１の所定操作に基づいて画像同期再生の実行が指示されると（ステップＳ１０）、ＣＰＵ１２１は、通信部７を制御して、第２の撮像装置１Ｂの再生開始信号及び所定の時間ずれτに係る時間ずれ情報を送信させる（ステップＳ１１）。

その後、第１の撮像装置１ＡのＣＰＵ１２１は、ＲＯＭ１２３から読み出した所定の判定プログラム（図示略）を実行して、時間ずれτが正であるか否かを判定する（ステップＳ１２）。ここで、時間ずれτが正であると判定されると（ステップＳ１２；ＹＥＳ）、ＣＰＵ１２１は、ＲＯＭ１２３から第１の再生制御プログラム１２３ａを読み出して実行して、画像再生部９による画像の再生を開始させる（ステップＳ１３）。
一方、第２の撮像装置１Ｂにあっては、第１の撮像装置１Ａから送信された再生開始信号及び時間ずれ情報を通信部７により受信すると（ステップＳ１４）、ＣＰＵ１２１は、ＲＯＭ１２３から読み出した所定の判定プログラム（図示略）を実行して、時間ずれτが負あるか否かを判定する（ステップＳ１５）。ここで、時間ずれτが負ではないと判定されると（ステップＳ１５；ＮＯ）、ＣＰＵ１２１は、ＲＯＭ１２３から第２の再生制御プログラム１２３ｂを読み出して実行して、再生開始信号を受信してから時間ずれτの時間だけ待機した後（ステップＳ１６）、画像再生部９により画像の再生を開始させる（ステップＳ１７）。
これにより、例えば、図７に示すように、第１の撮像装置１Ａによる画像の再生後、時刻ｔａまでは第１の撮像装置１Ａのみで画像の再生が行われる。そして、時刻ｔａ以降は、時刻ｔ２（ｔ４）で第１の撮像装置１Ａの画像再生部９に画像Ａ２が表示されるととともに、第２の撮像装置１Ｂの画像再生部９に画像Ｂ４が表示され、且つ、時刻ｔ３（ｔ５）で第１の撮像装置１Ａの画像再生部９に画像Ａ３が表示されるととともに、第２の撮像装置１Ｂの画像再生部９に画像Ｂ５が表示されるように、２つの撮像装置１、１にて画像を同期して再生する。

また、第１の撮像装置１Ａにあっては、ステップＳ１２にて、時間ずれτが正ではないと判定されると（ステップＳ１２；ＮＯ）、ＣＰＵ１２１は、ＲＯＭ１２３から第１の再生制御プログラム１２３ａを読み出して実行して、時間ずれτの時間だけ待機した後（ステップＳ１８）、ステップＳ１３に移行して、画像再生部９により画像の再生を開始させる。
一方、第２の撮像装置１Ｂにあっては、ステップＳ１５にて、時間ずれτが負であると判定されると（ステップＳ１５；ＹＥＳ）、ＣＰＵ１２１は、ＲＯＭ１２３から第２の再生制御プログラム１２３ｂを読み出して実行し、ステップＳ１７に移行して、すぐに画像再生部９により画像の再生を開始させる。

以上のように、本実施形態の画像同期システム１００によれば、第２の撮像装置１Ｂは、一のシーンの撮像の際に録音された音声データを第１の撮像装置１Ａに送信して、第１の撮像装置１Ａは、第１の撮像装置１Ａ及び第２の撮像装置１Ｂによる一のシーンの撮像の際に録音された２つの音声データに基づいて時間ずれ情報を算出することができ、当該時間ずれ情報に基づいて第１の撮像装置１Ａに記録されている画像の再生タイミングを制御することができる。さらに、第２の撮像装置１Ｂは、第１の撮像装置１Ａから送信された時間ずれ情報に基づいて、当該第２の撮像装置１Ｂに記録されている画像の再生タイミングを制御することができる。従って、正確な同期をとって２つの撮像装置１、１により撮像された画像でなくても、時間ずれ情報に基づいて簡便に２つの画像を同期させて再生することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、画像同期システム１００の変形例について図８〜図１０を参照して説明する。

＜変形例１＞
変形例１の画像同期システムを構成する撮像装置２０１の音声同期検出部２０８は、図８に示すように、相互相関関数自体の最大値を重み付け係数として複数の時間ずれτの平均値Ａｖｅτを算出する。
具体的には、式（１）にて求めたｍ回目の探索範囲における相互相関関数Ｒｘｙ（τ）の最大値Ｒｘｙ（τｍ）をメモリ５に記憶しておき、当該Ｒｘｙ（τｍ）を時間ずれτの信頼度とする。即ち、相互相関関数Ｒｘｙ（τｍ）が高いほど該当τｍの信頼度が高くなるため、当該相互相関関数Ｒｘｙ（τｍ）を重み係数として式（３）により平均値Ａｖｅτを算出する。
なお、最大値Ｒｘｙ（τｍ）をメモリ５に記憶しない場合、式（１）のτにτｍを代入して再度計算するようにしても良い。

従って、変形例１の画像同期システムによれば、第１の撮像装置のデジタル音声データｘ（ｔ）及び第２の撮像装置のデジタル音声データｙ（ｔ）の所定の探索範囲Ｎ内にて相互相関関数Ｒｘｙ（τ）の最大値をとる複数のずれ情報の平均値Ａｖｅτを算出して時間ずれ情報とする際に、相互相関関数の最大値Ｒｘｙ（τｍ）を重み付け係数として平均値Ａｖｅτを算出することにより、より信頼性の高い時間ずれ情報を算出することができる。
即ち、同じスポーツシーンやフォーム等の動作を同時に記録する場合には、スポーツシーンにより発生する打球音、スイング音、被写体の発生音といった時間ずれ情報の算出の目的となる音声に加えて、周囲環境のノイズも集音される。このとき、ほぼ静寂とされる環境中で目的音が発生する場合の静寂部分や、周期性がなくランダムに出ているノイズ部分の音声区間を探索範囲とするずれ情報は、正確な時間遅れを表しているとは言えない。そこで、相互相関関数の最大値Ｒｘｙ（τｍ）を重み付け係数とすることにより、より信頼性の高い時間ずれ情報を算出することができる。

＜変形例２＞
変形例２の画像同期システムは、２つの撮像装置３０１、３０１のメモリ５に記録されている２つの動画像（画像群）のうち、当該２つの撮像装置３０１、３０１により重複して撮像された重複画像のみを再生するものである。

即ち、当該画像同期システムを構成する撮像装置３０１の制御部３１２のＲＯＭ１２３には、例えば、図９に示すように、第１の再生制御プログラム１２３ａ、第２の再生制御プログラム１２３ｂに加えて、優先情報取得プログラム１２３ｃ、終了情報取得プログラム１２３ｄが記録されている。

優先情報取得プログラム１２３ｃは、ＣＰＵ１２１を優先情報取得手段として機能させるものである。即ち、優先情報取得プログラム１２３ｃは、音声同期検出部８により取得された時間ずれ情報に基づいて、２つの撮像装置３０１にて撮像した２つの動画像のうち、より遅く撮像が開始された動画像を画像再生部９により先頭画像から再生を開始する優先動画像（優先画像群）とする優先動画像特定情報（優先画像群特定情報）を取得する優先情報取得処理に係る機能をＣＰＵ１２１に実現させるためのプログラムである。
具体的には、第１の撮像装置のＣＰＵ１２１による優先情報取得プログラム１２３ｃの実行に基づいて、時間ずれτが正である場合、つまり、第１の撮像装置の撮像開始後に所定時間遅れて第２の撮像装置の撮像が開始された場合には、第２の撮像装置により撮像された動画像を優先動画像とする優先動画像特定情報を取得し、一方、時間ずれτが負である場合、つまり、第２の撮像装置の撮像開始後に所定時間遅れて第１の撮像装置の撮像が開始された場合には、第１の撮像装置により撮像された動画像を優先動画像とする優先動画像特定情報を取得する処理を行う。

終了情報取得プログラム１２３ｄは、ＣＰＵ１２１を終了情報取得手段として機能させるものである。即ち、終了情報取得プログラム１２３ｄは、２つの音声データに基づいて、画像再生部により同期して再生される２つの動画像のうち、優先動画像の再生開始後により早期に再生が終了する動画像を早期終了動画像（早期終了画像群）とする早期終了動画像特定情報（早期終了画像群特定情報）を取得する終了情報取得処理に係る機能をＣＰＵ１２１に実現させるためのプログラムである。
具体的には、ＣＰＵ１２１による終了情報取得プログラム１２３ｄの実行に基づいて、音声同期検出部８により検出された２つの音声信号における類似度の高い波形部分ｗ１（ｗ２）を基準にして、各音声信号について当該波形部分ｗ１（ｗ２）から音声が終了するまでの長さを取得して、互いに比較することによって２つの動画像のうちでより早期に再生が終了する動画像を早期終了動画像とする早期終了動画像特定情報を取得する処理を行う。

また、第１の撮像装置の通信部３０７は、特定情報送信手段として、優先情報取得処理にて取得された優先動画像特定情報及び終了情報取得処理にて取得された早期終了動画像特定情報を第２の撮像装置に送信する。
一方、第２の撮像装置の通信部３０７は、特定情報受信手段として、第１の撮像装置の通信部３０７から送信された優先動画像特定情報及び早期終了動画像特定情報を受信する。

次に、変形例２の画像同期システムによる画像同期処理について説明する。
画像同期処理にて、第１の撮像装置は、優先動画像特定情報及び早期終了動画像特定情報に基づいて、画像再生部９による動画像の再生タイミングを重複画像を同期して再生するように制御する第１の再生制御処理を行う。また、第２の撮像装置は、第１の撮像装置から送信され通信部を介して受信した優先動画像特定情報及び早期終了動画像特定情報に基づいて、画像再生部９による動画像の再生タイミングを重複画像を同期して再生するように制御する第２の再生制御処理を行う。
具体的には、第１の撮像装置及び第２の撮像装置は、撮像された動画像が優先動画像の場合には、優先動画像特定情報に基づいて当該優先動画像の先頭画像から再生を行う一方で、優先動画像でない場合には、非優先動画像における優先動画像の先頭画像と同時刻に撮像された画像から再生を行う。また、第１の撮像装置及び第２の撮像装置のうち、一方の撮像装置は、当該撮像装置により撮像された動画像が早期終了動画像でない場合には、早期終了動画像特定情報に基づいて他方の撮像装置にて再生される早期終了動画像の終了タイミングに合わせて非早期終了動画像の再生を停止させる。

以下に、図１０（ａ）〜図１０（ｄ）を参照して画像同期処理における同期再生態様について説明する。
ここで、図１０（ａ）は、第２の撮像装置にて撮像された画像を優先動画像及び早期終了動画像とする例であり、図１０（ｂ）は、第２の撮像装置にて撮像された画像を優先動画像とするとともに第１の撮像装置で撮像された画像を早期終了動画像とする例であり、図１０（ｃ）は、第１の撮像装置にて撮像された画像を優先動画像早期終了動画像とする例であり、図１０（ｄ）は、第１の撮像装置にて撮像された画像を優先動画像とするとともに第２の撮像装置で撮像された画像を早期終了動画像とする例である。
なお、図１０（ａ）〜図１０（ｄ）中、「α」は優先動画像の先頭画像を表し、「β」は非優先動画像における優先動画像の先頭画像αと同時刻に撮像された画像を表している。また、動画像中の実線で示した部分が重複画像を表している。

図１０（ａ）に示す同期再生態様の場合、第１の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像から再生させる処理を行う。
また、第２の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて画像再生部９を制御して、動画像（早期終了動画像）の再生を停止させ、これと同期して、第１の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。

図１０（ｂ）に示す同期再生態様の場合、第１の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像から再生させる処理を行う。
また、第１の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて画像再生部９を制御して、動画像（早期終了動画像）の再生を停止させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。

図１０（ｃ）に示す同期再生態様の場合、第１の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像から再生させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させる処理を行う。
また、第１の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて画像再生部９を制御して、動画像（早期終了動画像）の再生を停止させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。

図１０（ｄ）に示す同期再生態様の場合、第１の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像から再生させ、これと同期して、第２の撮像装置のＣＰＵ１２１は、優先動画像特定情報に基づいて画像再生部９を制御して、優先動画像の先頭画像αと同時刻に撮像された画像βから再生を開始させる処理を行う。
また、第２の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて画像再生部９を制御して、動画像（早期終了動画像）の再生を停止させ、これと同期して、第１の撮像装置のＣＰＵ１２１は、早期終了動画像特定情報に基づいて早期終了動画像の終了タイミングに合わせて動画像の再生を停止させる処理を行う。

従って、変形例２の画像同期システムによれば、２つの撮像装置３０１、３０１により撮像された動画像のうち、より遅く撮像が開始された優先動画像の先頭画像の再生タイミングに合わせて非優先動画像の再生を開始することができ、優先画像群の再生開始後により早期に再生が終了する早期終了動画像の停止タイミングに合わせて非早期終了動画像の再生を停止させることができる。これにより、２つの撮像装置３０１、３０１により重複して撮像された重複画像のみを適正に再生することができ、より利便性の高い画像同期システムを提供することができる。

なお、上記実施形態では、通信部７の通信方式として赤外線通信を例示したが、これに限られるものではなく、例えば、Bluetooth（登録商標）規格やIEEE802.11規格等に準じた無線ＬＡＮや、有線ＬＡＮ、ＵＳＢケーブル等を利用した有線方式等であっても良い。

また、上記実施形態では、第１の撮像装置１Ａにより記録された画像データや音声データに基づいて画像同期処理を行うようにしたが、これに限られるものではなく、例えば、他の撮像装置１により記録された画像データや音声データを通信部７を介して取得して、これらのデータに基づいて画像同期処理を行うようにしても良い。このとき、第１の撮像装置１Ａの画像再生部９の表示パネルをマルチ画面として複数の画像を同時に表示するようにしても良い。

さらに、上記実施形態では、画像同期システム１００として２つの撮像装置１、１からなる構成のものを例示したが、撮像装置１の数は、２つに限られるものではなく複数であれば良い。
この場合、各撮像装置１にＩＤ番号を設定して、当該ＩＤ番号を時間ずれ情報や再生開始信号に付して送信することにより、各撮像装置１に所定の時間ずれ情報等を的確に送信することができ、画像同期処理を簡易な構成で確実に実行することができる。

また、第２の撮像装置１Ｂを第１の撮像装置１Ａの操作に連動して動作させるような構成としても良く、例えば、第１の撮像装置１Ａにおける再生、早送り、巻き戻し、スロー再生といった操作に基づいて第２の撮像装置１Ｂの動作を連動させるようにしても良い。

加えて、上記実施形態では、第１の再生制御手段、第２の再生制御手段としての機能を、ＣＰＵ１２１によって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。

本発明を適用した一実施形態の画像同期システムの概略構成を模式的に示す図である。 図１の画像同期システムを構成する撮像装置の概略構成を示すブロック図である。 図１の画像同期システムによる画像同期処理における撮像装置どうしの通信状態を模式的に示す図である。 図１の画像同期システムによる画像同期処理における撮像装置どうしの通信状態を模式的に示す図である。 図１の画像同期システムを構成する撮像装置により取得された音声データと撮像された画像との対応を模式的に示す図である。 図１の画像同期システムによる画像同期処理に係る動作の一例を示すフローチャートである。 図１の画像同期システムを構成する撮像装置により再生される画像と音声データとの対応を模式的に示す図である。 変形例１の画像同期システムを構成する撮像装置の概略構成を示すブロック図である。 変形例２の画像同期システムを構成する撮像装置の概略構成を示すブロック図である。 図９の画像同期システムによる画像同期処理における同期再生態様の一例を説明するための図である。

符号の説明

１００ 画像同期システム
１、２０１、３０１ 撮像装置（再生装置）
２ 撮像部（撮像手段）
３１１ 操作部（操作入力手段）
５ メモリ（画像記録手段、複数音声記録手段、他の音声記録手段）
７ 通信部（同期情報送信手段、同期情報受信手段、音声送信手段、音声受信手段）
８、２０８ 音声同期検出部（画像同期情報取得手段、ずれ情報探索手段、画像同期情報算出手段）
９、３０９ 画像再生部（画像再生手段、撮像順報知手段）
１２１ ＣＰＵ（第１の再生制御手段、第２の再生制御手段）

Claims (4)

1. 一のシーンに係る画像を同期して再生する複数の再生装置を備える画像同期システムであって、
   前記複数の再生装置の各々は、
   前記一のシーンを撮像する撮像手段と、
   前記撮像手段で撮像した画像を記録する画像記録手段と、
   前記画像記録手段に記録されている画像を再生する画像再生手段と、
   前記撮像手段により撮像された画像と対応付けられて録音された音声情報を記録する第１の音声記録手段とを備え、
   前記複数の再生装置のうち、何れか一の再生装置は、
   さらに、前記一のシーンを他の再生装置の撮像手段により撮像された画像と対応付けられて録音された音声情報を受信する音声受信手段と、
   前記音声受手段により受信された音声情報を記録する第２の音声記録手段と、
   前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記複数の再生装置の前記画像再生手段により前記一のシーンを撮像手段で撮像した画像を同期して再生させるための画像同期情報を取得する画像同期情報取得手段と、
   前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第１の再生制御手段と、
   前記画像同期情報取得手段により取得された前記画像同期情報を、前記他の再生装置に送信する同期情報送信手段とを備え、
   前記他の再生装置は、
   前記画像記録手段に記録される前記一のシーンを撮像した画像と対応付けられて録音された音声情報を前記一の再生装置に送信する音声送信手段と、
   前記同期情報送信手段から送信された前記画像同期情報を受信する同期情報受信手段と、
   前記同期情報受信手段により受信された前記画像同期情報に基づいて、前記画像再生手段による画像の再生タイミングを制御する第２の再生制御手段とを備え、
   前記一つの再生装置での画像の再生指示に対応して、前記画像同期情報の送受信のタイミングを基準とする前記画像同期情報に基づいて、前記再生装置の各々の画像データの再生を開始することを特徴とする画像同期システム。
2. 前記画像同期情報取得手段は、
   前記複数の音声情報の所定の探索範囲内にて相互相関関数の最大値をとるずれ情報を複数探索するずれ情報探索手段と、
   前記ずれ情報探索手段により探索された前記複数のずれ情報の平均値を算出して前記画像同期情報とする画像同期情報算出手段とを備え、
   前記画像同期情報算出手段は、前記相互相関関数の最大値を重み付け係数として前記平均値を算出することを特徴とする請求項１に記載の画像同期システム。
3. 前記一の再生装置は、
   前記画像同期情報取得手段により取得された前記画像同期情報に基づいて、前記複数の再生装置の各々の撮像手段で撮像した画像のうち、より遅く撮像が開始された画像を前記画像再生手段により先頭画像から再生を開始する優先画像とする優先画像特定情報を取得する優先情報取得手段と、
   前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記再生装置の各々の画像再生手段により同期して再生される前記画像のうち、前記画像再生手段による前記優先画像の再生開始後により早期に再生が終了する画像を早期終了画像とする早期終了画像特定情報を取得する終了情報取得手段と、
   前記優先情報取得手段により取得された前記優先画像特定情報及び前記終了情報取得手段により取得された前記早期終了画像特定情報を前記他の再生装置に送信する特定情報送信手段と、を備え、
   前記第１の再生制御手段は、さらに、前記優先情報取得手段により取得された前記優先画像特定情報及び前記終了情報取得手段により取得された前記早期終了画像特定情報に基づいて、前記画像再生手段による画像の再生タイミングを前記複数の再生装置の各々の撮像手段により重複して撮像された画像を再生するように制御し、
   前記他の再生装置は、
   前記特定情報送信手段から送信された前記優先画像特定情報及び前記早期終了画像特定情報を受信する特定情報受信手段を備え、
   前記第２の再生制御手段は、さらに、前記特定情報受信手段により受信された前記優先画像特定情報及び前記早期終了画像特定情報に基づいて、前記画像再生手段による画像の再生タイミングを制御することを特徴とする請求項１又は２に記載の画像同期システム。
4. 一のシーンを複数の再生装置の各々の撮像手段で撮像して画像を記録する画像記録手段と、その記録した画像を再生する画像再生手段と、画像と対応付けられて録音された音声情報を記録する第１の音声記録手段を備え、
   前記複数の再生装置のうち、何れか一の再生装置が、
   さらに、前記一のシーンを他の再生装置の撮像手段により撮像された画像と対応付けられて録音された音声情報を受信する音声受信手段と、
   前記音声受信手段により受信された音声情報を記録する第２の音声記録手段と、
   前記他の再生装置へ画像同期情報を、送信する同期情報送信手段とを備え、
   前記他の再生装置が、
   さらに、前記画像記録手段に記録される前記一のシーンを撮像した画像と対応付けられて録音された音声情報を前記一の再生装置に送信する音声送信手段と、
   前記一つの再生装置からの前記画像同期情報を受信する同期情報受信手段とを備える再生装置を用いて、前記一のシーンに係る画像を同期して再生する画像同期方法であって、
   前記他の再生装置が前記音声情報を前記一の再生装置に送信するステップと、
   前記一の再生装置が前記他の再生装置の前記音声情報を受信するステップと、
   前記一の再生装置が受信した前記音声情報を第２の音声記憶手段に記憶するステップと、
   前記第１の音声記録手段に記録されている音声情報と前記第２の音声記録手段に記録されている音声情報に基づいて、前記複数の再生装置の前記画像再生手段により前記一のシーンを撮像手段で撮像した画像を同期して再生させるための画像同期情報を取得するステップと、
   前記一の再生装置での画像の再生指示に対応して、取得された前記画像同期情報を、前記他の再生装置に送信するステップと、
   前記他の再生装置で、送信された前記画像同期情報を受信するステップと、
   前記画像同期情報の送受信のタイミングを基準とする前記画像同期情報に基づいて、前記再生装置の各々の画像データの再生を開始するステップとを行うことを特徴とする画像同期方法。

Images