JP7184780B2 - 動きの取り込み、及び記録オーディオ／ビデオとの動きの同期 - Google Patents

Description

本開示は、オーディオ／ビデオ記録に関連するモーションデータを取り込んで、再生時にモーションデータとオーディオ／ビデオ記録とを同期させる方法及びシステムに関する。

消費者向け電子機器の発展において、ビデオカメラが多くの構成で比較的低コストで利用しやすくなってきた。これにより、このようなカメラが幅広く使用されるようになってきた。これらの使用の中でも特に、ユーザがレジャー活動又は運動を行っている時などの自身が関与する活動映像を記録することがトレンドになってきている。例えば、ユーザが夢中になっている環境の動画像及び音声を記録できるアクションカメラとして知られているビデオカメラを用いて、多くの自動車ドライバーが景色の良い道路上でのドライブを記録したり、或いは滑降スキーヤーが滑走を記録したりすることができる。

これと同時に、ビデオプログラムの視聴体験を強化するために、振動－運動効果を実行するモーションシミュレータが広く使用されている。このような技術では、モーションシミュレータが、視聴覚プログラム又は視覚イベントに同期した振動－運動効果においてアクチュエータによって変位するシート又はプラットフォームを特徴とする。このような特定のタイプのモーションシミュレータでは、モーションシミュレータが、視聴覚プログラムのサウンドトラックから抽出される振動とは対照的に、モーショントラックとして符号化されたモーション信号に基づいて動くことができる。

モーションシミュレータを使用して、アクションカメラのオーディオ／ビデオ記録に振動－運動効果を加えることが望ましいと思われる。

本開示の目的は、オーディオ／ビデオ記録に関連するモーションデータを取り込んで、再生時にモーションデータとオーディオ／ビデオ記録とを同期させる新規の方法を提供することである。

本開示の他の目的は、オーディオ／ビデオ記録に関連するモーションデータを取り込んで、再生時にモーションデータとオーディオ／ビデオ記録とを同期させる新規のシステムを提供することである。

幅広い態様によれば、モーションデータをオーディオ／ビデオストリームと同期させる方法が提供される。オーディオ／ビデオストリームに取り込まれる少なくとも１つのタイミングマーカを生成する。少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームを取得する。オーディオ／ビデオストリームを処理して少なくとも１つのタイミングマーカを検出する。オーディオ／ビデオストリームに関連するモーションデータと、少なくとも１つのタイミングマーカに関するタイミング情報を含む、モーションデータのタイミング情報とを取得する。タイミング情報と、オーディオ／ビデオストリームにおいて検出された少なくとも１つのタイミングマーカとに基づいて、モーションデータをオーディオ／ビデオストリームと同期させる。

幅広い態様によれば、モーションデータをオーディオ／ビデオストリームと同期させる方法であって、少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームを取得するステップと、オーディオ／ビデオストリームを処理して少なくとも１つのタイミングマーカを検出するステップと、オーディオ／ビデオストリームに関連するモーションデータと、少なくとも１つのタイミングマーカに関するタイミング情報を含む、モーションデータのタイミング情報を取得するステップと、検出された少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームと、タイミング情報を含むモーションデータとを出力するステップと、を含む方法が提供される。

いくつかの実施形態では、モーションデータを取得するステップが、少なくとも１つのタイミングマーカの生成と実質的に同時に開始して、少なくとも１つのモーションセンサを介してモーションデータを取り込むステップを含む。

いくつかの実施形態では、方法が、タイミング情報と、オーディオ／ビデオストリームにおいて検出された少なくとも１つのタイミングマーカとに基づいて、モーションデータをオーディオ／ビデオストリームと同期させるステップをさらに含み、オーディオ／ビデオストリームを出力するステップは、オーディオ／ビデオストリームに同期したモーションデータを出力するステップを含む。

いくつかの実施形態では、モーションデータを同期させるステップが、少なくとも１つのタイミングマーカに基づいて、モーションデータのタイミング情報をオーディオ／ビデオストリームに整合するように変更することによって同期モーションファイルを生成するステップを含む。

いくつかの実施形態では、方法が、同期に基づいて、モーションデータからオーディオ／ビデオストリームへのマッピングを含むタイミングファイルを生成するステップをさらに含む。

いくつかの実施形態では、方法が、オーディオ／ビデオストリームの再生と同期したモーションデータを出力するステップをさらに含む。

いくつかの実施形態では、モーションデータを出力するステップが、モーションデータに基づいて少なくとも１つのモーションシステムにおける動きを引き起こすステップを含む。

いくつかの実施形態では、方法が、少なくとも１つのモーションシステムにおける動きを引き起こす命令を含むモーションファイルを生成するステップをさらに含み、モーションファイルは、モーションデータに基づくとともに、オーディオ／ビデオストリームに整合する。

いくつかの実施形態では、モーションデータをオーディオ／ビデオストリームと同期させるステップが、モーションデータのデータ点をオーディオ／ビデオストリームにおける少なくとも１つのタイミングマーキングに整合させるステップを含む。

いくつかの実施形態では、モーションデータのデータ点をオーディオ／ビデオストリームにおける少なくとも１つのタイミングマーキングに整合させるステップが、モーションデータのゼロ点をオーディオ／ビデオストリームの対応するゼロ点に整合させるステップを含む。

いくつかの実施形態では、方法が、オーディオ／ビデオストリームの取得時に、オーディオ／ビデオストリームに取り込まれる少なくとも１つのタイミングマーカを生成するステップをさらに含む。

いくつかの実施形態では、少なくとも１つのタイミングマーカを生成するステップが、少なくとも１つのタイミングマーカをユーザ入力に応答して生成するステップを含む。

いくつかの実施形態では、検出された少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームを出力するステップが、モーションデータのタイミング情報を調整し、オーディオ／ビデオストリームに同期した調整されたモーションデータを出力するステップを含む。

他の幅広い態様によれば、モーションデータをオーディオ／ビデオストリームと同期させるための同期システムが提供される。このシステムは、マーカ検出モジュールと、同期モジュールとを備え、マーカ検出モジュールは、少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームを取得し、オーディオ／ビデオストリームを処理して少なくとも１つのタイミングマーカを検出し、同期モジュールは、オーディオ／ビデオストリームに関連するモーションデータと、少なくともタイミングマーカに関するタイミング情報を含む、モーションデータのタイミング情報とを取得し、タイミング情報と、識別された少なくとも１つのタイミングマーカとを用いてモーションデータのデータ点をオーディオ／ビデオストリームに整合させることによって、モーションデータをオーディオ／ビデオストリームと同期させて出力する。

いくつかの実施形態では、同期装置が、同期に基づいて、モーションデータからオーディオ／ビデオストリームへのマッピングを含むタイミングファイルを生成するようにさらに構成される。

いくつかの実施形態では、同期装置が、オーディオ／ビデオストリームの再生と同期したモーションデータを出力するように構成される。

いくつかの実施形態では、モーションデータを出力することが、モーションデータに基づいて少なくとも１つのモーションシステムにおける動きを引き起こすことを含む。

いくつかの実施形態では、同期装置が、少なくとも１つのモーションシステムにおける動きを引き起こす命令を含むモーションファイルを生成するようにさらに構成され、モーションファイルは、モーションデータに基づくとともに、オーディオ／ビデオストリームに整合する。

いくつかの実施形態では、モーションデータを同期させる同期モジュールが、モーションデータのデータ点をオーディオ／ビデオストリームにおける少なくとも１つのタイミングマーキングに整合させることを含む。

いくつかの実施形態では、モーションデータのデータ点をオーディオ／ビデオストリームにおける少なくとも１つのタイミングマーキングに整合させることが、モーションデータのゼロ点をオーディオ／ビデオストリームの対応するゼロ点に整合させることを含む。

別の幅広い態様によれば、モーションデータをオーディオ／ビデオストリームと同期させるための同期システムであって、同期装置と、モーションキャプチャ装置とを備え、モーションキャプチャ装置が、オーディオ／ビデオストリームに取り込まれる少なくとも１つのタイミングマーカを生成するタイミングマーカ生成器と、タイミングマーカの生成と実質的に同時に開始してモーションデータを取り込むモーションセンサとを含む、同期システムシステムが提供される。

いくつかの実施形態では、モーションキャプチャ装置が、ユーザ入力部をさらに含み、タイミングマーカ生成器が、ユーザ入力部の作動に応答して少なくとも１つのタイミングマーカを生成するように構成される。

本明細書で説明するシステム、装置及び方法の特徴は、様々な組み合わせで使用できるとともに、様々な組み合わせのシステム及びコンピュータ可読記憶媒体に使用することもできる。

添付図面と組み合わせて行う以下の詳細な説明から、本明細書で説明する実施形態のさらなる特徴及び利点が明らかになるであろう。

モーションデータを取り込んでオーディオ／ビデオストリームと同期させる方法を示すフローチャートである。 ある実施形態による、図１の方法を実行するコンピュータシステム例の概略図である。 モーションデータを取り込んでオーディオ／ビデオストリームと同期させるシステムの実装例のブロック図である。

なお、添付図面全体を通じて同じ特徴は同じ参照数字によって識別する。

図１に、（モーションセンサデータとも呼ばれる）モーションデータを取り込んでオーディオストリーム及びビデオストリームの少なくとも一方と同期させる方法１００を示す。本明細書では、説明を単純にするために「オーディオ／ビデオストリーム」という用語を使用するが、モーションデータは、１又は２以上のオーディオストリーム、１又は２以上のビデオストリーム、或いはオーディオストリームとビデオストリームのいずれかの好適な組み合わせのうちのいずれかと同期させることができると理解されたい。モーションデータは、オーディオ／ビデオストリームの記録中に発生する動作の結果としてモーションセンサによって生成され、従ってモーションセンサデータと呼ぶこともできるが、本明細書では単純化のためにモーションデータと記載する。モーションセンサは、加速度計、ジャイロメータ又はジャイロスコープ、磁気探知機、位置センサ、ＧＰＳベースのセンサ、又はこれらのいずれかの好適な組み合わせとすることができる。

ステップ１０２において、タイミング情報に基づいて、オーディオ信号及びビジュアル信号の少なくとも一方（以下「タイミングマーカ」）を生成する。少なくとも１つのタイミングマーカは、スピーカ、画面、ライト又はその他の同様のコンポーネントによって生成することができる。少なくとも１つのタイミングマーカは、カメラ（例えば、アクションカメラ）、マイク、又はオーディオ／ビデオストリームを取り込むように構成された他のいずれかの好適な記録装置とすることができる少なくとも１つの記録装置によって取り込まれるように生成される。タイミング情報は、信号生成時における１又は２以上の時間的瞬間のいずれかの好適な表現とすることができる。例えば、タイミング情報は、絶対時間、相対時間、クロックサイクルカウント、ＧＰＳクロックカウント、サンプリングレート又は処理レート、或いは他のいずれかの好適な表現とすることができる。

いくつかの実施形態では、タイミングマーカが、人間の耳に聞こえる又は聞こえないオーディオピング、チャイム又はチャープである。他の実施形態では、タイミングマーカが、ライトの閃光、ライトの点滅パターン、波長又は振幅が変化するライト、或いは人間の眼に見える又は見えない他の好適な発光（例えば、赤外又は紫外発光）である。さらなる実施形態では、タイミングマーカが、記録装置によって取り込まれたオーディオ／ビデオストリームがタイミングマーカとしての視覚的パターンを含むように記録装置の前方に支持された画面上に表示されるバーコード、ＱＲコード（登録商標）、又はその他の視覚的パターンである。さらに他の実施形態では、タイミングマーカが、他のいずれかの好適な信号、又は上記に列挙した信号のいずれかの組み合わせである。

いくつかの実施形態では、タイミングマーカがユーザ入力に応答して生成される。例えば、ユーザは、タイミングマーカを生成すべきである旨を示すために、ボタン、タッチ画面又はその他の入力装置を押すことができる。他の実施形態では、スマートホン又はその他のモバイル装置を用いてタイミングマーカを生成すべきである旨を示し、或いはＢｌｕｅｔｏｏｔｈ（登録商標）又は他のいずれかの好適な無線プロトコルなどを介してタイミングマーカを生成することができる。タイミングマーカを生成する指示を与える方法は、他にもさらに考えられる。タイミングマーカは、（例えば、記録の開始時にのみ）所定回数生成することも、又は実質的に連続して生成することもできる。例えば、ユーザ入力の受信後に視覚的タイミングマーカを５回生成し、その後に２分毎に１回生成することができる。別の例では、ユーザ入力の受信後３０秒毎に聴覚的タイミングマーカを生成し、次のユーザ入力の受信まで継続する。

いくつかの実施形態では、タイミングマーカが、聴覚的又は視覚的のいずれであるかにかかわらず、時間と共に形態及び／又はタイプが変化する時変タイミングマーカである。例えばＱＲコードなどの視覚的タイミングマーカは、ＱＲコードを介して表示されるパターンが１秒当たり数回、毎秒及び数秒毎などに変化するように時間と共に変化することができる。場合によっては、ＱＲコードのリフレッシュレート、すなわち後続の視覚的パターン間の時間を、例えばカメラなどのタイミングマーカを取り込む装置のリフレッシュレートと同期しないように選択することができる。カメラのリフレッシュレートが２４フレーム／秒（ＦＰＳ）、６０ＦＰＳ、又は１２０ＦＰＳであることが分かっている場合、ＱＲコードのリフレッシュレートは、カメラのリフレッシュレートと一致しない期間を有するように選択することができる。例えば、カメラによって取り込まれた隣接フレーム間でＱＲコードの変化が起きるように、ＱＲコードを１００３ミリ秒（～０．９９７ＦＰＳ）毎に変化させることができる。以下でさらに詳細に説明するように、これを使用して、カメラによって取り込まれたビデオストリーム内のタイミングマーカの検出精度を高めることができる。周波数又はピッチなどが時間と共に変化し得る聴覚的タイミングマーカにも同様の考えを当てはめることができる。

ステップ１０４において、タイミングマーカを含むオーディオ／ビデオストリームを取得する。オーディオ／ビデオストリームは、例えばカメラ及び録音装置などのキャプチャ装置、例えばデータベース、ハードドライブ又はメモリドライブなどの記憶媒体、例えばサーバ、データベース、ウェブサービスなどのリモートソース、又は他のいずれかの好適なソースから取得することができる。いくつかの実施形態では、オーディオ／ビデオストリームが、オーディオストリームとビデオストリームの両方を含む。他の実施形態では、オーディオストリーム及びビデオストリームの一方のみを取得する。さらに他の実施形態では、必要に応じて組み合わせることも又は別個に処理することもできる独立したオーディオストリームとビデオストリームとを取得する。

ステップ１０６において、１つの実施形態によれば、１０２及び１０４において記録装置が取り込んだオーディオ／ビデオストリームを処理して、取り込まれた（単複の）タイミングマーカを検出する。オーディオ／ビデオストリームから取得される取り込まれた（単複の）タイミングマーカは、ステップ１０２において生成されたタイミングマーカの表現が記録装置によってオーディオ／ビデオストリームに取り込まれたオーディオ／ビデオストリーム内の瞬間を示す。従って、オーディオ／ビデオストリームを処理して、記録装置によって取り込まれた可聴及び／又は可視表現の形のタイミングマーカを検出する。このような（単複の）タイミングマーカが見つかると、例えば表現が見つかったオーディオ／ビデオストリームの１又は２以上のフレームのフレーム周波数情報を通じて、又はいずれかの好適な方法で、オーディオ／ビデオストリームからタイミング情報を導出する。

ステップ１０２において生成された（単複の）タイミングマーカは、いずれかの好適なオーディオ及び／又はビデオ処理法を用いてオーディオ／ビデオストリーム内で検出することができる。いくつかの実施形態では、ステップ１０２において生成されたタイミングマーカが、所定の間隔で所定の回数繰り返される、所定の周波数及び継続時間を有するオーディオチャープである。例えば、２１ｋＨｚ（キロヘルツ）の２００ｍｓチャープが５００ｍｓ間隔で１０回繰り返される。この例では、オーディオフィルタを用いて、２１ｋＨｚを含む範囲外の全ての音を除去することにより、オーディオ／ビデオストリーム内のチャープの位置を特定することができる。その後、オーディオ／ビデオストリームでチャープが見つかったフレームに関するフレーム周波数情報を用いてタイミング情報を取得することができる。異なる音響ベースのパターンにも同様の方法を適用することができる。例えば、オーディオチャープは、チャープの周波数を変化させたり、チャープの複数の周波数を組み合わせたり、チャープ間の間隔を変化させたりすることなどによって、タイミングマーカにおけるタイミング情報のさらなる要素を符号化することができる。また、オーディオ／ビデオストリーム内に存在する視覚的タイミングマーカの可視表現を検出する画像処理法を適用することもできる。例えば、これらの画像処理法は、オーディオ／ビデオストリーム、ＧＰＳクロックタイム値などにおける２次元バーコード（又はＱＲコード）を検出することができる。ＱＲコードは、取り込まれた（単複の）タイミングマーカを取得するために処理できる符号化タイムスタンプを表すことができ、場合によっては一定間隔で変化することができる。いくつかの実施形態では、タイミングマーカのリフレッシュレートが、タイミングマーカを取り込む装置の取り込み率と同期しないように選択される。例えば、１００３ミリ秒毎に変化する視覚的タイミングマーカは、１つのタイミングマーカから次のタイミングマーカへの遷移がビデオストリームの後続フレーム間で発生するように保証することによって、タイミングマーカの存在及びその遷移時刻の決定精度を高めることができる。

ステップ１０８において、オーディオ／ビデオストリームに関連するモーションデータを取得する。少なくとも１つのタイミングマーカに関するタイミング情報を含むモーションデータのタイミング情報も取得する。いくつかの実施形態では、モーションデータが、例えば少なくとも１つのモーションセンサを介して取り込まれる。モーションデータの取り込みは、ステップ１０２におけるタイミングマーカの生成と実質的に同時に、又はその後の所定の時点で、計算された既知の遅延を伴って開始することができる。モーションデータと、ある事例では（単複の）タイミングマーカを特徴とするオーディオ／ビデオストリームとをモーションセンサ及び記録装置によって同時にそれぞれ取り込み、１０４のオーディオ／ビデオストリームの取り込み全体を通じてタイミングマーカが定期的に存在するように、１０２の生成ステップを１０４の取り込みと同時に実行することができる。モーションデータは、ステップ１０２のオーディオ及び／又はビジュアル信号生成の基礎となるタイミング情報に関連付けて記憶される。モーションデータは、以下でさらに詳細に説明するようないずれかの好適なデータベース又は他の記憶媒体に記憶することができ、例えばタグ、メタデータ及びポインタなどを介して、いずれかの好適な形でタイミング情報に関連付けて記憶することができる。

モーションデータは、（単複の）モーションセンサによって感じられる１又は２以上の軸に沿った変化の力、加速度及び／又は角速度を表す。例えば、モーションセンサが地面に落下した場合、モーションデータは、地面に向かう下向きの力及び／又は加速度の後に、モーションセンサが地面にぶつかった時の地面から離れる、すなわち座標系に対する力又は加速度を示すことができる。記録装置に近接して又は記録装置上に配置された場合、モーションデータは、記録装置によって、又は記録装置を保持、装着又は使用するユーザによって感じられる力及び／又は加速度を表すことができる。モーションデータ及びオーディオ／ビデオストリームの取り込み継続時間は、ユーザの要求、並びにモーションセンサ及び記録装置を組み込んだ装置のストレージ容量に基づいて、いずれかの好適な継続時間を有する。なお、方法１００は、オーディオ／ビデオストリームが（単複の）タイミングマーカを含まないように、１０２を含まずに実行することもできる。

ステップ１０８は、同期モーションデータに基づいてモーションシミュレーショントラックを生成するステップをさらに含むことができる。モーションシミュレーショントラックは、モーションデータを表すモーションサンプルを含むことができるが、モーションシミュレータにおいて利用できる利用可能な自由度を考慮する。例えば、モーションセンサは、モーションシミュレータにおいて利用できるよりも多くの自由度に関するモーションデータを取り込むことができる。従って、１０８におけるモーションシミュレーショントラックの生成は、モーションデータを再現するのとは対照的に、モーションデータ内で行われる動作をシミュレート又は近似する。ある実施形態によれば、ステップ１０８は、モーションデータ内で発生する動作の詳細（例えば、大きさ、方向）に応じてモーションサンプルデータベースからモーションサンプルを求めるステップを含む。例えば、ステップ１０８は、モーションデータからスキー動作におけるジャンプ及び着地を検出し、モーションサンプルデータベース内に同等の空中及び着地サンプルを有することができる。同様に、車両の場合には、モーションデータにおいてカーブに進入したことを検出し、モーションシミュレーショントラックにおいてこのような動きをモーションサンプルの形で再現することができる。さらに別の実施形態によれば、モーションシミュレーショントラックの生成が、オーディオ／ビデオストリームに基づくことができる。ビデオストリームの画像を処理することによってジャンプ及び着地又はターンなどを検出することができ、従ってこのような処理を使用してモーションシミュレーショントラックを生成することができる。ビデオストリームの画像の処理と共にオーディオストリームを使用して、オーディオ／ビデオストリーム内で発生した動作の検出を支援することもできる。或いは、ステップ１０８においてオーディオ／ビデオストリームに同期したモーションデータを使用して、モーションプラットフォームにおいてモーションシミュレーショントラックを生成することもできる。

ステップ１１０において、１つの実施形態では、取り込まれたモーションデータのタイミング情報と、オーディオ／ビデオストリームの（単複の）タイミングマーカとに基づいて、モーションデータをオーディオ／ビデオストリームと同期させる。いくつかの実施形態では、ステップ１０４において取り込まれたモーションデータを、ステップ１０２において（単複の）タイミングマーカが生成された時間的瞬間におけるモーションデータのデータ点がオーディオ／ビデオストリームの（単複の）タイミングマーカのデータ点に時間的に整合するように同期させる。いくつかの実施形態では、関連するタイミング情報がモーションデータのデータ点をオーディオ／ビデオストリームのデータ点に整合させるよう調整されるようにモーションデータを修正する。他の実施形態では、関連するタイミング情報がリセットされることによって、生成されたタイミングマーカを示すタイミング情報を有する第１のデータ点が「時間＝０」の点として設定されるように、モーションデータを修正する。或いは、オーディオ／ビデオストリームのタイミング特性が変化してモーションデータと整合するように、オーディオ／ビデオストリームをモーションデータと同期させることもできる。ステップ１０８において取得されたモーションデータが一群の離散的動き事象である実施形態では、ステップ１１０が、離散的動き事象を再編成又は再配置してモーションデータをオーディオ／ビデオストリームと同期させるステップを含むことができる。モーションデータが実質的に連続し、例えば一定の割合で測定される一連のサンプルである実施形態では、ステップ１１０が、１又は２以上の再サンプリング技術、１又は２以上の延伸技術又は圧縮技術などを適用するステップを含むことができる。

同期は、オーディオ／ビデオストリーム内の１又は２以上のタイミングマーカがモーションデータに関連するタイミング情報に整合した時点でモーションデータ及びオーディオ／ビデオ処理が同期再生されるように、オーディオ／ビデオストリームのフレーム周波数と、モーションセンサの時間／クロック及び／又はサンプリングレート又は処理レートとを用いた計算、例えばＱＲコード又はその他の視覚的表現から取り込まれる、モーションセンサ装置のＧＰＳクロックと記録装置のＧＰＳクロックとを用いた計算を含むことができる。モーションデータを同期させる方法は他にも考えられる。例えば、特にモーションセンサ装置と記録装置の間にクロックドリフトが存在する場合には、モーションデータのデータ点間の時間間隔を延伸又は圧縮してタイミングマーカに整合させることによってモーションデータの調整を行うことができる。いくつかの実施形態では、例えば同期に基づいて修正された状態の同期モーションデータをデータベース又はその他のデータ記憶媒体に記憶することができる。

ステップ１１２において、同期モーションデータを１又は２以上の形で出力する。いくつかの実施形態では、モーションデータとオーディオ／ビデオストリームとを、例えばモーションシミュレータ及びオーディオ／ビデオディスプレイシステムに、同時に、同期させてそれぞれ出力する。モーションデータは、マルチチャネルオーディオ／ビデオストリームの１又は２以上の専用チャネルを占めるモーションシミュレーショントラックの形を取ることができる。ステップ１１２は、モーションデータのみを、ただし並行して再生されているオーディオ／ビデオストリームと同期した形で出力するステップを含むこともできる。例えば、オーディオ／ビデオストリームを直接オーディオ／ビデオディスプレイシステムに出力し、方法１００が、並行するオーディオ／ビデオストリームを用いてステップ１０６及び１０８を実行することもできる。さらに他の実施形態では、オーディオ／ビデオストリームと同期できる上述したモーションシミュレーショントラックを介してモーションデータを出力する。例えば、モーションデータのタイミング情報を、オーディオ／ビデオストリームに整合するように変化させることができる。他の実施形態では、ステップ１１０において実行された同期に基づいて、モーションデータをオーディオ／ビデオストリームにマッピングするタイミングファイルを生成することができる。ステップ１１２は、その後に例えば別の装置で同期ステップ１１０が実行されるように、少なくとも１つのタイミングマーカが検出されたオーディオ／ビデオストリームとタイミング情報を含むモーションデータとを出力するステップを含むこともできる。換言すれば、ステップ１１２は、ステップ１０８の後であってステップ１１０の前に行うこともできる。同期モーションデータを出力する方法は、他にもさらに考えられる。

同期モーションデータ及びオーディオ／ビデオストリームは、あらゆる好適な送信プロトコルを用いてあらゆる好適なデータフォーマットで出力することができる。例えば、同期モーションデータ及びオーディオ／ビデオストリームは、ユニバーサルシリアルバス（ＵＳＢ）及び高精細マルチメディアインターフェイス（ＨＤＭＩ（登録商標））を介してそれぞれ出力される。別の例では、同期モーションデータ及びオーディオ／ビデオストリームが、例えばＢｌｕｅｔｏｏｔｈ（登録商標）及びＷｉＦｉなどの好適な無線プロトコルを介して出力される。

従って、モーションデータと記録装置によって取り込まれたオーディオ／ビデオストリームとを同期させることにより、再生中に、モーションデータ又はモーションシミュレーショントラックを用いてモーションシミュレータ又はその他のモーションシステムによって生成された動きがオーディオ／ビデオストリームと同期し、任意に画面又はモニタ上に表示され及び／又はスピーカを介して再生されるようになる。これにより、オーディオ／ビデオストリームの視聴者は、オーディオ／ビデオストリームの取り込み中に体験した力の表現を楽しむことができるようになる。同期モーションデータ及びオーディオ／ビデオストリームは、再生時にステップ１０８において行われる同期に依拠して再生前に記憶又は編集することもできる。

図２に示すように、方法１００は、処理装置２１２と、コンピュータ実行可能命令２１６を記憶したメモリ２１４とを含むコンピュータ装置２１０によって実行することができる。処理装置２１２は、コンピュータ装置２１０又は他のプログラマブル装置によって命令２１６が実行された時に、本明細書で説明する方法に定められる機能／行為／ステップを実行できるように、方法１００を実行する一連のステップの実行を引き起こすように構成されたいずれかの好適な装置を含むことができる。処理装置２１２は、例えばあらゆるタイプの汎用マイクロプロセッサ又はマイクロコントローラ、デジタル信号処理（ＤＳＰ）プロセッサ、中央処理装置（ＣＰＵ）、集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、再構成可能プロセッサ、その他の好適にプログラムされた又はプログラム可能な論理回路、又はこれらのいずれかの組み合わせを含むことができる。

メモリ２１４は、あらゆる好適な既知の又はその他の機械可読記憶媒体を含むことができる。メモリ２１４は、例えば以下に限定するわけではないが、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、或いはこれらのいずれかの好適な組み合わせなどの非一時的コンピュータ可読記憶媒体を含むことができる。メモリ２１４は、例えばランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤＲＯＭ）、電子－光学メモリ、磁気－光学メモリ、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、及び電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）又は強誘電性ＲＡＭ（ＦＲＡＭ（登録商標））などの、装置２１０の内部又は外部に位置するあらゆるタイプのコンピュータメモリの好適な組み合わせを含むことができる。メモリ２１４は、処理装置２１２が実行できる機械可読命令２１６を検索可能に記憶するのに適したあらゆる記憶手段（例えば、デバイス）を含むことができる。

図３に、モーションデータを取り込んでオーディオ／ビデオストリームと同期させるシステム３００を示す。システム３００は、モーションキャプチャ装置３１０及び同期装置３４０を含む。図３の例には、モーションキャプチャ装置３１０と同期装置３４０を２つの別個のエンティティとして示しているが、いくつかの実施形態では、これらを単一の共通エンティティとすることもできる。別の実施形態では、モーションキャプチャ装置３１０及び／又は同期装置３４０が、図２のコンピュータ装置２１０の構成に対応する構成を有する。システム３００は、カメラ、マイク、スマートホン、又は他のいずれかの好適な記録装置とすることができる少なくとも１つの記録装置３５０と相互連結又は別様に通信するように構成される。また、システム３００は、効果生成器３４５及び出力インターフェイス３４６を介してオーディオ／ビデオシステム３６０及びモーションシミュレータ３７０に出力を提供するように構成される。オーディオ／ビデオシステム３６０は、オーディオ／ビデオコンテンツを表示するための１又は２以上の画面及び／又は１又は２以上のスピーカを含むことができる。モーションシミュレータ３７０は、ユーザが体験した動きを生成できるいずれかのシステムとすることができる。例えば、モーションシミュレータ３７０は、プラットフォーム又はシートを支持するアクチュエータ（例えば、電気－機械アクチュエータ、空気圧又は水圧シリンダなど）を有し、アクチュエータの作動に応じてプラットフォーム又はシートを変位させるタイプのものである。モーションシミュレータ３７０は、同期モーションデータ及び／又はモーションシミュレーショントラックをプラットフォーム又はシートの変位に変換するいずれかの好適なドライバ（例えば、処理装置、ＤＳＰ）を有することができる。

モーションキャプチャ装置３１０は、いくつかの例を挙げると、内部センサ、加速度計、ジャイロスコープ、ＧＰＳなどの１又は２以上のモーションセンサを特徴とする、マーカ生成モジュール３１２、タイミング情報モジュール３１４、データベース３１６、インターフェイス３１８、入力モジュール３２０、及び／又はモーションセンサユニット３２５を含む。モーションキャプチャ装置３１０は、任意にボタン又はタッチ画面、すなわちユーザインターフェイス３２２又はその他の入力装置を含むとともに、スピーカ３３２及び／又は光源３３４を含むこともでき、有線又は無線とすることができる１又は２以上のコネクタを介してスピーカ３３２及び光源３３４の一方又は両方に接続することができる。１つの実施形態出は，タッチ画面が、入力装置３２２と光源３３４の両方の役割を果たす。

マーカ生成モジュール３１２は、例えばステップ１０２に従って、スピーカ３３２及び／又は光源３３４を介して少なくとも１つのタイミングマーカの生成を引き起こすように構成される。記録装置３５０によって（単複の）タイミングマーカとして取り込まれる、タイミング情報に関連する信号が生成される。いくつかの実施形態では、入力モジュール３２０が、例えばボタン３２２、或いは有線又は無線接続を介して、オーディオ及び／又はビジュアル信号を生成する要求を受け取り、マーカ生成モジュール３１２にステップ１０２を実行するように指示するメッセージをマーカ生成モジュール３１２に送信する。

マーカ生成モジュール３１２は、タイミング情報モジュール３１４からタイミング情報を取得する。いくつかの実施形態では、マーカ生成モジュール３１２が、オーディオ及び／又はビジュアル信号の生成を引き起こす前にタイミング情報モジュール３１４にタイミング情報を要求することができる。他の実施形態では、マーカ生成モジュール３１２に予めタイミング情報が提供される。タイミング情報は、クロック（例えば、ＧＰＳクロック）、時間、及び／又はモーションキャプチャ装置３１０のモーションセンサユニット３２５のサンプリングレートなどから導出することができる。

また、スピーカ３３２及び光源３３４は、あらゆる好適なスピーカ及び光源、又はパターン発生装置とすることができる。いくつかの実施形態では、スピーカ３３２が、ボイスコイル、ツイータスピーカ及び圧電型スピーカなどのスピーカ配列であり、あらゆる好適な周波数の音を生成してあらゆる好適な振幅を有することができる。例えば、これらの音は、その後の同期を容易にするために、同期署名又は同期指紋を表す時変間隔で生成することができる。いくつかの実施形態では、光源３３４が、所定の波長を有する１又は２以上のＬＥＤライトである。他の実施形態では、光源３３４が、可変波長及び／又は可変振幅を有する他のいずれかの好適な技術の１又は２以上のライトである。さらに他の実施形態では、光源３３４が、いずれかの好適な技術の画面である。別の実施形態では、光源３３４がむしろ画像ソースであり、例えば独自の光を発光せずに周囲光を反射及び／又は拡散させるＱＲコード又は時間値を表示する画面である。単純にするために光源３３４という表現を使用しているが、３３４は画像ソース３３４とすることもできる。

タイミング情報モジュール３１４は、マーカ生成モジュール３１２によるタイミングマーカの生成、及びモーションセンサユニット３２５によって生成されるモーションデータにタイミング情報を関連付けるように構成される。いくつかの実施形態では、タイミング情報モジュール３１４が、モーションセンサユニット３２５にモーションデータの取り込みを開始させるように構成される。他の実施形態では、入力モジュール３２０が、モーションセンサユニット３２５にモーションデータの取り込みを開始させるように構成される。また、いくつかの実施形態では、タイミング情報モジュール３１４が、タイミング情報にモーションデータを関連付けてタイミングマーカの時間位置と共に記憶できるように、モーションセンサユニット３２５にタイミング情報を提供するように構成される。他の実施形態では、タイミング情報モジュール３１４が、モーションセンサユニット３２５からモーションデータを受け取り、タイミング情報に関連付けてデータベース３１６に記憶する。

モーションセンサユニット３２５は、例えばステップ１０４に従ってモーションデータを取り込むように構成される。モーションセンサユニット３２５は、タイミング情報モジュール３１４からタイミング情報を取得し、モーションデータが（単複の）タイミングマーカの時間位置を含むタイミング情報とのペアとしてデータベース３１６に記憶されるようにすることができる。いくつかの実施形態では、モーションデータが、タイミングマーカを特徴とするタイムラインを形成するモーションデータストリームである。いくつかの実施形態では、モーションセンサユニット３２５が、データベース３１６に直接書き込みを行い、少なくともモーションデータと、任意にタイミング情報とを書き込む。他の実施形態では、モーションセンサユニット３２５が、データベース３１６にモーションデータを書き込み、タイミング情報モジュール３１４が、データベース３１６内のモーションデータにタイミング情報を関連付ける。他の実施形態では、モーションセンサユニット３２５が、タイミング情報を取り込んでタイミング情報モジュール３１４に送信する。

データベース３１６は、この例ではタイミング情報を伴うモーションデータである情報を記憶するのに適したいずれかのデータベースとすることができる。例えば、データベース３１６は、内部記憶装置、ＳＤカード又はＵＳＢメモリスティックなどの取り外し可能記憶装置、又はこれらのいずれかの好適な組み合わせとすることができる。インターフェイス３１８は、情報を送信するあらゆる好適な有線又は無線インターフェイスとすることができる。インターフェイス３１８は、モーションデータ及びタイミング情報を同期装置３４０に提供するように構成される。いくつかの実施形態では、インターフェイス３１８が、例えばＳＤカードを移動させることにより、データベース３１６をモーションキャプチャ装置３１０から同期装置３４０に移すことによって提供される。

入力モジュール３２０は、モーションデータの取り込みとオーディオ及び／又はビジュアル信号の生成とを実行すべきであることを示すユーザ入力を受け取るように構成される。ユーザ入力は、任意のボタン３２２又はその他の入力装置（スイッチ、タッチ画面、ノブなど）を通じて、或いは入力モジュール３２０を接続できる有線又は無線接続を介して受け取ることができる。

同期装置３４０は、オーディオ／ビジュアル（Ａ／Ｖ）マーカ検出モジュール３４２と、任意に同期モジュール３４４と、インターフェイス３４８とを含むことができる。同期装置３４０は、記録装置３５０からオーディオ／ビデオストリームを受け取るとともにモーションキャプチャ装置３１０からモーションデータを受け取り、効果生成モジュール３４５及び出力インターフェイス３４６を介してオーディオ／ビデオシステム３６０及びモーションシミュレータ３７０に出力を提供するように構成される。いくつかの実施形態では、オーディオ／ビデオストリームを記憶したＳＤカード又はその他の取り外し可能メモリデバイスを同期装置３４０に設けることにより、同期装置３４０が記録装置３５０からオーディオ／ビデオストリームを受け取る。従って、同期装置３４０は、オーディオ／ビデオストリームを発見するために取り外し可能メモリデバイスのディレクトリを検索するように構成することができる。

Ａ／Ｖマーカ検出モジュール３４２は、ステップ１０６に従って、記録装置３５０から受け取ったオーディオ／ビデオストリームを処理してタイミングマーカを検出するように構成される。従って、Ａ／Ｖマーカ検出モジュール３４２は、好適なオーディオ及び／又はビデオ分析及び処理技術を実行して、マーカ生成モジュール３１２によって生成されて記録装置３５０によって記録された（単複の）タイミングマーカの表現を検出するように構成される。その後、Ａ／Ｖマーカ検出モジュール３４２は、同期モジュール３４４に（単複の）タイミングマーカの存在を示し、いくつかの実施形態ではこれらのタイミングマーカ情報をデータベース（図示せず）に記憶する。ある実施形態では、同期装置３４０が、取り込まれたタイミング情報を欠いた記録装置からのオーディオストリームを用いて同期を実行することができ、これによってＡ／Ｖマーカ検出モジュール３４２を迂回又は排除することができる。いくつかの実施形態では、タイミングマーカが実質的に自動で検出される。他の実施形態では、例えば処理時間を短縮するために、オーディオ／ビデオストリーム内でタイミングマーカに手動で近似としてマークが付けられる。タイミングマーカを検出するための処理技術は、オーディオ信号フィルタリングなどの様々な信号処理法を含むことも、或いは音又は視覚的特徴の抽出及び認識のために訓練された人工神経ネットワークを使用することができる。

インターフェイス３４８は、情報を送信するあらゆる好適な有線又は無線インターフェイスとすることができる。インターフェイス３４８は、モーションキャプチャ装置３１０からモーションデータ及びタイミング情報を受け取ってこれらを同期モジュール３４４に提供するように、或いはＡ／Ｖマーカ検出モジュール３４２によって処理された、（単複の）タイミングマーカを示すオーディオ／ビデオストリームと共にモーションデータ及びタイミング情報を出力するように構成される。効果生成モジュール３４５又は出力インターフェイス３４６は、このような出力を使用してモーションデータとオーディオ／ビデオストリームとを同期させることができる。また、インターフェイス３４８は，モーションキャプチャ装置３１０のインターフェイス３１８にモーションデータ及びタイミング情報を求める要求を送信するように構成される。いくつかの実施形態では、インターフェイス３４８がインターフェイス３１８と実質的に同一である。

同期モジュール３４４は、インターフェイス３４８からモーションデータ及びタイミング情報を取得して、Ａ／Ｖマーカ検出モジュール３４２から（又は、任意に（単複の）タイミングマーカを記憶するデータベースから）（単複の）タイミングマーカを取得するように構成され、同期装置３４０がタイミング情報を含むモーションデータと処理済みのオーディオ／ビデオストリームとを別個に出力する場合には、同期装置３４０又は他のいずれかの下流の装置内に存在することができる。同期モジュール３４４は、ステップ１０８に従ってモーションデータをオーディオ／ビデオストリームと同期させるように構成される。具体的に言えば、同期モジュール３４４は、タイミング情報及び（単複の）タイミングマーカに基づいて、モーションデータのデータ点をオーディオ／ビデオストリームのデータ点に整合させることによってモーションデータをオーディオ／ビデオストリームと同期させるように構成される。同期モジュール３４４は、効果生成モジュール３４５の不在時に、又は効果生成モジュール３４５を迂回することによって、同期モーションデータを出力インターフェイス３４６に提供するようにも構成され、いくつかの実施形態では、同期モーションデータをデータベース（図示せず）に記憶する。いくつかの実施形態では、以下でさらに詳細に説明するように、同期モジュール３４４の機能がＡ／Ｖマーカ検出モジュール３４２、効果生成モジュール３４５又は出力インターフェイス３４５に提供される。

例えば、以下の表は、Ａ／Ｖマーカ検出モジュール３４２からの検出、タイミングマーカを含む取り込みモーションデータ、及び同期モジュール３４４によって取り込みオーディオ／ビデオストリームに一致するように出力された調整済みモーションデータの例示である。

３４２からの録画ビデオ及び検出マーカ

モーションセンサ３２５及びタイミング情報モジュール３１４からの取り込みモーションデータ

同期モジュール３４４によって録画ビデオに一致するように調整されたモーションデータ

効果生成モジュール３４５は、例えばステップ１０８と同様に、同期モーションデータに基づいてモーションシミュレーショントラックを生成することができる。効果生成モジュール３４５は、モーションデータの再現とは対照的に、モーションデータ内で行われている動作をシミュレート又は近似することができる。ある実施形態によれば、効果生成モジュール３４５は、モーションデータのデータ点の分析（例えば、大きさ、方向）に応じて、モーションサンプルデータベース（図示せず）からモーションサンプルを取り出す。或いは、ステップ１０８のオーディオ／ビデオストリームと同期したモーションデータを用いて、モーションプラットフォームにおいてモーションシミュレーショントラックを生成することもできる。いくつかの実施形態では、効果生成モジュール３４５が、Ａ／Ｖマーカ検出モジュール３４２によって提供された情報に基づいて、モーションデータとオーディオ／ビデオストリームとの同期を実行するように構成される。

これに加えて、又はこれとは別に、さらに別の実施形態によれば、効果生成モジュール３４５は、オーディオ／ビデオストリームを用いてモーションシミュレーショントラックを生成することもできる。ビデオストリームの画像を処理することによってジャンプ及び着地又はターンなどの動作を検出することができ、従ってこのような処理を使用してモーションシミュレーショントラックを生成することができる。ビデオストリームの画像の処理と共にオーディオストリームを使用して、オーディオ／ビデオストリーム内で行われている動作の検出を支援することもできる。従って、いくつかの実施形態では、効果生成モジュール３４５が、オーディオ／ビデオストリームのみを用いてモーションシミュレーショントラックを生成することができる。このような例では、オーディオ／ビデオストリームを処理してモーションシミュレーショントラックを生成するのに時間が必要な場合、同期装置３４０が、オーディオ／ビデオストリームのパススルー装置としての役割を果たし、効果生成モジュール３４５が、任意にオーディオ／ビジュアルシステム３６０に対するオーディオ／ビデオストリームの出力を遅らせることができる。いくつかの実施形態では、オーディオ／ビデオストリーム内にタイミングマーカが存在しない場合、オーディオ／ビデオストリームを含むデジタルファイルのタイムスタンプと、モーションデータを含むデジタルファイルのタイムスタンプとに基づいて、近似同期を実行することができる。その後、上述した画像処理法を用いて近似同期を精緻化することができる。

出力モジュール又はインターフェイス３４６は、効果生成モジュール３４５を介して同期モジュール３４４から（又は、任意に同期モーションデータを記憶するデータベースから）同期モーションデータを受け取り、任意に記録装置３５０からオーディオ／ビデオストリームを受け取るように構成される。出力モジュール３４６は、モーションシミュレータ３７０に同期モーションデータ又はシミュレーションモーショントラックを出力し、任意にオーディオ／ビデオシステム３６０にオーディオ／ビデオストリームを出力するようにさらに構成される。例えば、ステップ１１０のように、同期装置３４０は、モーションデータ又はモーションシミュレーショントラックのみを、ただし並行して再生されているオーディオ／ビデオストリームと同期した形で出力することができる。例えば、オーディオ／ビデオストリームを直接オーディオ／ビデオディスプレイシステム３６０に出力し、同期装置３４０が並行するオーディオ／ビデオストリームを処理に使用することもできる。出力モジュール３４６は、オーディオ／ビデオストリームを、例えばＭＰＥＧ（ムービングピクチャエクスポートグループ）フォーマットなどのいずれかの好適なフォーマットで出力することができる。また、出力モジュール３４６は、同期モーションデータをいずれかの好適なフォーマットで出力することもできる。

別の実施形態では、モーションデータを、オーディオ／ビデオストリームに関連するそれぞれの指紋ファイルを含むモーションコードファイルの形で出力することができる。その後、このモーションコードファイルを、再現されたオーディオ／ビデオストリームの指紋認識によって後でモーションデータを同期できるように、例えばクラウドベースのストレージシステムなどの遠隔リポジトリに送信することができる。

いくつかの別の実施形態では、モーションキャプチャ装置３１０が、例えば１又は２以上のマイクなどの１又は２以上の録音装置を含む。モーションセンサユニット３２５は、モーションデータを取り込み、録音装置によって取り込まれたタイミング情報としての役割を果たす記録オーディオ情報に関連付けて記憶する。その後、同期装置３４０の同期モジュール３４４が、記録装置３５０によって提供されたオーディオ／ビデオストリームからのオーディオストリームを、モーションキャプチャ装置のマイクによって取得された記録オーディオ情報と一致させることによって同期を実行する。従って、Ａ／Ｖマーカ検出モジュール３４２が迂回され、同期モジュール３４４は、オーディオ／ビデオストリームからオーディオトラックを抽出して処理し、録音を表す音響指紋を取得することができる。同期モジュール３４４は、オーディオトラック及び記録オーディオ情報を用いて、モーションデータをオーディオ／ビデオストリームと同期させることができる。モーションキャプチャ装置３１０によって提供されるタイミング情報は、モーションキャプチャ装置３１０によって取り込まれたオーディオトラックを含むことができ、これをタイミング情報モジュール３１４が処理して、同期モジュール３４４によって処理されたものと同様の音響指紋を取得することができる。デジタルオーディオ信号相関技術を用いて、２つのオーディオストリーム間の相対的なタイミング差を定めて同期を実行することができる。或いは、モーションキャプチャ装置３１０を記録する未加工オーディオがタイミング情報であり、その処理が同期モジュール３４４によって行われる。このような実施形態では、タイミングマーカが存在しないので、オーディオ／ビデオストリームを含むデジタルファイルのタイムスタンプと、モーションデータを含むデジタルファイルのタイムスタンプとに基づいて行われる近似同期を用いて同期の加速化を支援することができる。

別の代替実施形態では、例えば同期装置３４０などの単一のモジュールが、単独動作を行うように構成される。すなわち、同期装置３４０は、例えばリモートサーバ又は記憶装置などのいずれかの好適なソースからモーションデータを取得し、例えば上述したリモートサーバ又は記憶装置などのいずれかの好適なソースからオーディオ／ビデオストリームを取得するように構成される。取得されたモーションデータは、例えば生成されたタイミングマーカのタイミングなどのタイミング情報に関連し、オーディオ／ビデオストリームは、タイミングマーカを含む。同期装置３４０は、例えばタイミングマーカを整合させること、及びＧＰＳクロックタイムスタンプを比較することなどの、上述したようないずれかの好適な方法でモーションデータをオーディオ／ビデオストリームと同期させるように構成される。いくつかの例では、同期が、例えばモーションデータ及び／又はオーディオ／ビデオストリームの取り込みを実行する装置の既知の取り込み遅延に基づいて、モーションデータとオーディオ／ビデオストリームとの間に所定のオフセットを適用することができる。なお、場合によってはオフセットを空値にすることもできる。

さらに別の実施形態では、同期装置３４０が、モーションデータ及びオーディオ／ビデオストリーム内のタイミング情報及び／又はタイミングマーカを復号して、モーションデータ及びオーディオ／ビデオストリームのタイムライン情報を取得する。タイムライン情報は、モーションデータ及び／又はオーディオ／ビデオストリームの、例えば開始点、及び第１の又はｎ番目のタイミングマーカなどの１又は２以上の部分をタイムライン上に定置させる。例えば、タイムライン情報は、ＧＰＳクロックから取得されたＧＰＳ時間に基づくことができる。モーションデータとオーディオ／ビデオストリームとの同期は、モーションデータとオーディオ／ビデオストリームのタイムラインとを一致させることによって、又はその逆によって実行することができ、必要に応じてオフセットを組み込むこともできる。

本明細書に開示した、モーションデータを取り込んでオーディオ／ビデオストリームと同期させる方法及びシステムの様々な態様は、単独で、組み合わせで、又は上述した実施形態において詳述していない様々な構成で使用することができ、従ってその応用は、上記の説明又は図面に示すコンポーネントの詳細及び配置に限定されるものではない。例えば、１つの実施形態において説明した態様は、他の実施形態において説明した態様にあらゆる形で組み合わせることができる。特定の実施形態を図示し説明したが、当業者には、本発明の幅広い態様から逸脱することなく変更及び修正を行い得ることが明らかであろう。以下の特許請求の範囲は、実施例に示す好ましい実施形態によって限定すべきものではなく、全体的な説明に一致する最も広い合理的な解釈を与えるべきである。ある実施形態によれば、特許請求する方法及びシステムが解決しようとする課題は、例えば２つの独立したエンティティ（例えば、２つの装置、２つのソフトウェア、又は装置のアプリケーションなど）から取得されたモーションセンサデータとオーディオ及び／又はビデオストリームとの同期である。

例えば、ＧＰＳクロックを使用する実施形態によれば、モーションデータをオーディオ／ビデオストリームと同期させる方法であって、ａ．（ｉ）モーションタイミングマーカを取得して時間情報値（ＴｉｍｅＭ）を復号するステップを含むことができる、少なくとも１つの関連する／組み込まれたタイミングマーカを含むモーションデータを取得するステップと、ｂ．（ｉ）Ａ／Ｖタイミングマーカを取得して時間情報値（ＴｉｍｅＡＶ）を復号するステップを含むことができる、少なくとも１つの関連する／組み込まれたタイミングマーカを含むオーディオ／ビデオデータを取得するステップと、ｃ．（ｉ）ＴｉｍｅＡＶ値によって形成されたタイムライン上でＴｉｍｅＭ値を一致させることによってモーションデータをＡ／Ｖデータと同期させ、又は（ｉｉ）ＴｉｍｅＭ値によって形成されたタイムライン上でＴｉｍｅＡＶ値を一致させることによってＡ／Ｖデータをモーションデータと同期させるステップと、を含む方法を実行することができる。任意に、この方法の一致は、所定の時間値だけオフセットさせることもできる。

３００ システム
３１０ モーションキャプチャ装置
３１２ マーカ生成モジュール
３１４ タイミング情報モジュール
３１６ データベース
３１８ Ｉ／Ｆ
３２０ 入力モジュール
３２２ ボタン
３２５ モーションセンサ
３３２ スピーカ
３３４ 光源
３４０ 同期装置
３４２ Ａ／Ｖマーカ検出モジュール
３４４ 同期モジュール
３４５ 効果生成モジュール
３４６ 出力インターフェイス
３４８ Ｉ／Ｆ
３５０ 記録装置
３６０ オーディオ／ビデオシステム
３７０ モーションシミュレータ

Claims (23)

1. モーションデータをオーディオ／ビデオストリームと同期させる方法であって、
   モーションキャプチャ装置により生成され、前記オーディオ／ビデオストリーム内において少なくとも１つの可聴表現及び／又は少なくとも１つの可視表現である、少なくとも１つのタイミングマーカを含む前記オーディオ／ビデオストリームを取得するステップと、
   前記オーディオ／ビデオストリーム内の前記少なくとも１つの可聴表現及び／又は前記少なくとも１つの可視表現を検出するために前記オーディオ／ビデオストリームを処理するステップと、
   前記オーディオ／ビデオストリームに関連すると共に前記モーションキャプチャ装置によって取り込まれたモーションデータと、少なくとも１つのタイミングマーカに関するタイミング情報を含む、前記モーションデータのタイミング情報とを取得するステップと、
   検出された前記少なくとも１つのタイミングマーカを含む前記オーディオ／ビデオストリームと、前記タイミング情報を含むモーションデータとを出力するステップと、
   を含むことを特徴とする方法。
2. 前記モーションデータを取得するステップは、前記少なくとも１つのタイミングマーカの生成と同時に開始して、前記モーションキャプチャ装置の少なくとも１つのモーションセンサを介して前記モーションデータを取り込むステップを含む、
   請求項１に記載の方法。
3. 前記タイミング情報と、前記オーディオ／ビデオストリームにおいて検出された前記少なくとも１つのタイミングマーカとに基づいて、前記モーションデータを前記オーディオ／ビデオストリームと同期させるステップをさらに含み、前記オーディオ／ビデオストリームを出力するステップは、前記オーディオ／ビデオストリームに同期した前記モーションデータを出力するステップを含む、
   請求項１又は請求項２に記載の方法。
4. 前記モーションデータを同期させるステップは、前記少なくとも１つのタイミングマーカに基づいて、前記オーディオ／ビデオストリームに整合するように前記モーションデータのタイミング情報を変更することによって、同期モーションファイルを生成するステップを含む、
   請求項３に記載の方法。
5. 前記同期に基づいて、前記オーディオ／ビデオストリームへの前記モーションデータのマッピングを含む、タイミングファイルを生成するステップをさらに含む、
   請求項３又は４に記載の方法。
6. 前記オーディオ／ビデオストリームの再生と同期した前記モーションデータを出力するステップをさらに含む、
   請求項１から５のいずれか１項に記載の方法。
7. 前記モーションデータを出力するステップは、前記モーションデータに基づいて少なくとも１つのモーションシステムにおける動きを引き起こすステップを含む、
   請求項６に記載の方法。
8. 少なくとも１つのモーションシステムにおける動きを引き起こす命令を含むモーションファイルを生成するステップをさらに含み、前記モーションファイルは、前記モーションデータに基づくとともに、前記オーディオ／ビデオストリームに整合する、
   請求項１から６のいずれか１項に記載の方法。
9. 前記モーションデータを前記オーディオ／ビデオストリームと同期させるステップは、前記モーションデータのデータ点を前記オーディオ／ビデオストリームにおける前記少なくとも１つのタイミングマーカに整合させるステップを含む、
   請求項２から５のいずれか１項に記載の方法。
10. 前記モーションデータのデータ点を前記オーディオ／ビデオストリームにおける前記少なくとも１つのタイミングマーカに整合させるステップは、前記モーションデータのゼロ点を前記オーディオ／ビデオストリームの対応するゼロ点に整合させるステップを含む、
    請求項９に記載の方法。
11. 前記オーディオ／ビデオストリームの取得時に、前記オーディオ／ビデオストリームに取り込まれる少なくとも１つのタイミングマーカを生成するステップをさらに含む、
    請求項１から１０のいずれか１項に記載の方法。
12. 前記少なくとも１つのタイミングマーカを生成するステップは、前記少なくとも１つのタイミングマーカをユーザ入力に応答して生成するステップを含む、
    請求項１１に記載の方法。
13. 前記検出された少なくとも１つのタイミングマーカを含む前記オーディオ／ビデオストリームを出力するステップは、前記モーションデータの前記タイミング情報を調整し、前記オーディオ／ビデオストリームに同期した前記調整されたモーションデータを出力するステップを含む、
    請求項１から１２のいずれか１項に記載の方法。
14. モーションデータをオーディオ／ビデオストリームと同期させるための同期装置であって、
    マーカ検出モジュールと、
    同期モジュールと、
    を備え、前記マーカ検出モジュールは、
    モーションキャプチャ装置により生成され、前記オーディオ／ビデオストリーム内において少なくとも１つの可聴表現及び／又は少なくとも１つの可視表現である、少なくとも１つのタイミングマーカを含むオーディオ／ビデオストリームを取得し、
    前記オーディオ／ビデオストリーム内の前記少なくとも１つの可聴表現及び／又は前記少なくとも１つの可視表現を検出するために前記オーディオ／ビデオストリームを処理し、
    前記同期モジュールは、
    前記オーディオ／ビデオストリームに関連すると共に前記モーションキャプチャ装置によって取り込まれたモーションデータと、前記少なくとも１つのタイミングマーカに関するタイミング情報を含む、前記モーションデータのタイミング情報とを取得し、
    前記タイミング情報と、識別された前記少なくとも１つのタイミングマーカとを用いて、前記モーションデータのデータ点を前記オーディオ／ビデオストリームに整合させることによって、前記モーションデータをオーディオ／ビデオストリームと同期させて出力する、
    ことを特徴とする同期装置。
15. 前記モーションデータを同期させることは、前記少なくとも１つのタイミングマーカに基づいて、前記オーディオ／ビデオストリームに整合するように前記モーションデータのタイミング情報を変更することによって、同期モーションファイルを生成することを含む、
    請求項１４に記載の同期装置。
16. 前記同期装置は、前記同期に基づいて、前記オーディオ／ビデオストリームへの前記モーションデータのマッピングを含む、タイミングファイルを生成するようにさらに構成される、
    請求項１４又は１５に記載の同期装置。
17. 前記同期装置は、前記オーディオ／ビデオストリームの再生と同期した前記モーションデータを出力するようにさらに構成される、
    請求項１４から１６のいずれか１項に記載の同期装置。
18. 前記モーションデータを出力することは、前記モーションデータに基づいて少なくとも１つのモーションシステムにおける動きを引き起こすことを含む、
    請求項１７に記載の同期装置。
19. 前記同期装置は、少なくとも１つのモーションシステムにおける動きを引き起こす命令を含むモーションファイルを生成するようにさらに構成され、前記モーションファイルは、前記モーションデータに基づくとともに、前記オーディオ／ビデオストリームに整合する、
    請求項１４から１８のいずれか１項に記載の同期装置。
20. 前記モーションデータを同期させる同期モジュールは、前記モーションデータのデータ点を前記オーディオ／ビデオストリームにおける前記少なくとも１つのタイミングマーカに整合させることを含む、
    請求項１４から１９のいずれか１項に記載の同期装置。
21. 前記モーションデータのデータ点を前記オーディオ／ビデオストリームにおける前記少なくとも１つのタイミングマーカに整合させることは、前記モーションデータのゼロ点を前記オーディオ／ビデオストリームの対応するゼロ点に整合させることを含む、
    請求項２０に記載の同期装置。
22. モーションデータをオーディオ／ビデオストリームと同期させるための同期システムであって、
    請求項１４から２１のいずれか１項に記載の同期装置と、
    モーションキャプチャ装置と、
    を備え、前記モーションキャプチャ装置は、
    前記オーディオ／ビデオストリームに取り込まれる少なくとも１つのタイミングマーカを生成するタイミングマーカ生成器と、
    前記少なくとも１つのタイミングマーカの生成と同時に開始して前記モーションデータを取り込むモーションセンサと、
    を含む、
    ことを特徴とする同期システム。
23. 前記モーションキャプチャ装置は、ユーザ入力部をさらに含み、前記タイミングマーカ生成器は、前記ユーザ入力部の作動に応答して前記少なくとも１つのタイミングマーカを生成するように構成される、
    請求項２２に記載の同期システム。

Images