JP6799141B2 - 空間化オーディオを用いた複合現実システム - Google Patents

Description

（関連出願の相互参照）
本願は、２０１６年８月１日に出願され“ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ ＷＩＴＨ ＳＰＡＴＩＡＬＩＺＥＤ ＡＵＤＩＯ”と題された米国仮出願第６２／３６９，５６１号（代理人管理番号ＭＬ．３００４１．００）に対する優先権を主張するものである。本願は、２０１４年２月４日に出願された米国仮特許出願第６２／２９１，３６３号（代理人管理番号ＭＬ．３００４３．００）、２０１４年６月１４日に出願された米国仮特許出願第６２／０１２，２７３号（代理人管理番号ＭＬ．３００１９．００）、２０１３年６月１３日に出願された米国特許出願第１４／７３８，８７７号（代理人管理番号ＭＬ．２００１９．００）、２０１４年１１月２７日に出願された米国特許出願第１４／５５５，５８５号（代理人管理番号ＭＬ．２００１１．００）に関連している。これらの特許出願の内容は、全体が開示されているかのように、それらの全体が参照により本明細書中に明示的かつ全体的に援用される。上記で援用した特許出願に記載されているのは、空間化オーディオシステムを含む仮想現実システム、拡張現実システム、または複合現実システムの種々の実施形態である。本明細書中で記載されるのは、空間化オーディオシステムおよび方法を伴う仮想現実システム、拡張現実システム、または複合現実システムのさらなる実施形態である。

本開示は、空間化オーディオシステムを用いた仮想、拡張、または複合現実、個人化されたシネマビデオおよびオーディオシステム、ならびにそれを使用して、空間化オーディオを含む、仮想現実、拡張現実、または複合現実体験を生成するための方法に関する。

ホームシアターおよびビデオゲームのためのもの等の現在の空間化オーディオシステムは、「５．１」および「７．１」フォーマットを利用する。５．１空間化オーディオシステムは、左および右正面チャネルと、左および右背面チャネルと、中心チャネルと、サブウーファとを含む。７．１空間化オーディオシステムは、５．１オーディオシステムのチャネルと、意図される聴取者と整合される、左および右チャネルとを含む。前述のチャネルはそれぞれ、別個のスピーカに対応する。シネマオーディオシステムおよびシネマグレードホームシアターシステムは、ＤＯＬＢＹ ＡＴＭＯＳを含み、これは、意図される聴取者の上方から送達されるように構成され、それによって、聴取者を音場内に没入させ、聴取者を音で囲繞する、チャネルを追加する。

空間化オーディオシステムにおける改良にもかかわらず、現在の空間化オーディオシステムは、複数の聴取者の個別の場所および配向は言うまでもなく、聴取者の場所および配向を考慮可能ではない。したがって、現在の空間化オーディオシステムは、全ての聴取者が、音場の中心に隣接して位置付けられ、システムの中心チャネルに面して配向され、最適性能のための聴取者位置および配向要件を有するという仮定で音場を生成する。故に、古典的１対多システムでは、空間化オーディオは、聴取者が偶然にも予期される配向の反対に面する場合、音が後方からであるように現れるように聴取者に送達され得る。そのような不整合音は、感覚および認知不一致につながり、空間化オーディオ体験およびそれとともに提示される任意の「仮想現実」または「拡張現実」体験を劣化させ得る。深刻な場合、感覚および認知不一致は、ユーザが、空間化オーディオ体験、「仮想現実」体験、または「拡張現実」体験を回避することにつながり得る、頭痛、吐き気、不快感等の生理学的副作用を生じさせる可能性がある。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」（「ＶＲ」）、「拡張現実」（「ＡＲ」）、および「複合現実」（「ＭＲ」）体験のためのシステムの開発を促進しており、そこでは、デジタル的に再現されたものが、ユーザの実世界の中に統合され、それらが実世界環境の慣性基準フレーム内に存在する実オブジェクトであるかのように提示される。仮想現実または「ＶＲ」シナリオは、実世界のユーザのビューを閉塞しながら、デジタルまたは仮想画像情報の提示を伴うことができる。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の可視である実際の世界に対する拡張として、デジタルまたは仮想画像情報の提示を伴う（すなわち、他の実際の実世界の視覚的入力に対して透過性である）。複合現実または「ＭＲ」システムもまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムを上回る相互作用度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで相互作用することができる。故に、ＡＲおよびＭＲシナリオは、ユーザの実世界環境上に重畳されるデジタルまたは仮想画像情報の提示を伴い、これは、同時に、ユーザに可視である。

種々の光学システムが、ＶＲ／ＡＲ／ＭＲシナリオを表示するために、画像を複数の深度で生成する。いくつかのそのような光学システムは、米国特許出願第１４／７３８，８７７号（代理人管理番号第ＭＬ．２００１９．００号）および２０１４年１１月２７日に出願された米国特許出願第１４／５５５，５８５号（代理人管理番号第ＭＬ．２００１１．００号）（その内容は、参照することによって前述で本明細書に組み込まれている）に説明される。

現在の空間化オーディオシステムは、３−Ｄシネマ、３−Ｄビデオゲーム、およびＶＲ／ＡＲ／ＭＲシステムにおけるもの等の３−Ｄ光学システムと協働し、光学的および音響的の両方において、仮想オブジェクトをレンダリングすることができる。オブジェクトは、それらが３次元空間内の個別の位置に位置する実際の物理的オブジェクトではないという点において、「仮想」である。代わりに、仮想オブジェクトは、それぞれ、観客の眼および／または耳に指向される光ビームおよび／または音波によって刺激されると、視認者および／または聴取者の脳（例えば、視覚および／または聴覚中枢）内のみに存在する。残念ながら、現在の空間化オーディオシステムの聴取者位置および配向要件は、定位置外聴取者のために仮想オブジェクトのオーディオ部分を現実的様式で作成するその能力を限定する。

現在の頭部装着型オーディオシステム（すなわち、ヘッドホンまたはイヤホン）は、空間化オーディオを生産するように構成されることができる。しかしながら、これらの頭部装着型オーディオシステムは、聴取者の耳上または内のいずれかに配置される。したがって、現在の頭部装着型オーディオシステムは、頭部装着型オーディオシステムと聴取者の耳との間の物理的接触から生じる触知信号を聴取者の脳に伝送する。これらの触知信号は、聴取者に、頭部装着型オーディオシステムによって生成された音が短距離から聴取者の耳に発出していることを示唆する、心理音響効果につながり得る。その結果、現在の頭部装着型オーディオシステムによって生産された空間化オーディオは、仮想オブジェクトのものと異なる場所から発出するように現れ得る。さらに、現在の頭部装着型オーディオシステムは、現在の空間化オーディオシステムのユーザ位置および配向要件に対処しない。

ホームシアターシステムにおける改良に伴って、従来の映画産業は、ホームシアターに対して、観客を失いつつある。故に、映画製作者および映画会社は、動画技術における改良を模索している。類似技術空間では、テーマパークの乗り物（すなわち、ＤＩＳＮＥＹのＳＴＡＲ ＴＯＵＲＳ）に見出されるもの等の複合メディアシステムは、光および動き等の現実のような特殊効果を３−Ｄフィルムおよび空間化オーディオに追加することができる。しかしながら、そのようなシステムは、法外に高価であって、個人化されない。さらに、そのような複合メディアシステムは、現在の空間化オーディオシステムの固有のユーザ位置および配向要件に対処しない。

３−Ｄ複合メディアシステムのユーザは、典型的には、３−Ｄ画像の知覚を促進する、眼鏡を装着するように要求される。そのような眼鏡は、従来の立体写真式立体視３−Ｄシステムにおけるように、異なる偏光または色フィルタを伴う、左および右レンズを含有し得る。３−Ｄ複合メディアシステムは、立体視眼鏡を装着しているユーザにその左および右眼において若干異なる画像が見えるであろうように、異なる偏光または色を伴う重複画像を投影する。これらの画像における差異は、３−Ｄ光学画像を生成するために利用される。

同様に、空間オーディオシステムは、ユーザの頭部上に装着されることができる。しかしながら、前述の心理音響効果は、システムによってレンダリングされる仮想オーディオソースの知覚される位置に影響を及ぼすことによって、現在の頭部装着型空間オーディオシステムの有効性を低減させる。

要するに、現在の空間化オーディオシステムは、聴取者位置および配向制限と、移動する聴取者のため、ならびに種々の位置および配向における複数の聴取者のために、仮想オブジェクトに対応する空間オーディオをレンダリングする際にその有効性を限定する、心理音響効果とを有する。加えて、従来の２−Ｄおよび３−Ｄフィルム、２−Ｄおよび３−Ｄビデオゲーム、ならびに複合メディアシステムは、ユーザ位置および配向制限ならびに心理音響効果に対処する、複数の移動するユーザ／視認者／聴取者のための空間化オーディオを含む、個人化から利点を享受し得る。

一実施形態では、ユーザの頭部上に装着されるフレームを含む、空間化オーディオシステムを対象とする。本システムはまた、フレームがユーザによって装着されると、複数のスピーカのそれぞれが、ユーザの頭部から個別の非ゼロ距離に配置され、複数のスピーカのそれぞれが、ユーザの耳を含む、ユーザの頭部の任意の表面に接触しないように、フレームに取り付けられる、複数のスピーカを含む。本システムはさらに、ユーザの頭部姿勢データを収集するための頭部姿勢センサを含む。さらに、本システムは、ユーザの頭部姿勢を頭部姿勢データから決定するための頭部姿勢プロセッサを含む。加えて、本システムは、決定されたユーザの頭部姿勢に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサを含む。

１つ以上の実施形態では、スピーカは、生成された空間化オーディオデータに対応する音を生成する。本システムはまた、複数のスピーカに結合される（例えば、緊密に結合される）、１つ以上の増幅器を含んでもよい。増幅器は、スピーカに適用される電流および電圧を監視し、スピーカの過駆動を回避するように構成される、スマート増幅器であってもよい。

１つ以上の実施形態では、生成された空間化オーディオデータは、複数の仮想オーディオソース毎に、位置、配向、および音量データを含む。複数のスピーカは、生成された音をユーザの耳に集束させてもよい。複数のスピーカはそれぞれ、変換器を含んでもよい。

１つ以上の実施形態では、フレームは、生成された音をユーザの耳に集束させる。フレームは、音響導波管を含み、生成された音をユーザの耳に指向してもよい。

１つ以上の実施形態では、頭部姿勢センサは、ＩＭＵおよび／または視覚的オドメトリシステムである。複数のスピーカは、フレームに除去可能に取り付けられてもよい。複数のスピーカは、個別の磁石を用いて、フレームに除去可能に取り付けられてもよい。

１つ以上の実施形態では、本システムはまた、空間化オーディオプロセッサに動作可能に結合される、シネマオーディオプロセッサを含み、シネマオーディオプロセッサは、シネマオーディオデータを生成する。本システムはさらに、生成されたシネマオーディオデータに対応するシネマサウンドを生成するための複数のシネマスピーカを含む。

１つ以上の実施形態では、空間化オーディオプロセッサは、タイミング情報／メタデータをシネマオーディオプロセッサから受信し、音とシネマサウンドを同期させる。タイミング情報は、タイムコードおよび／またはキューを含んでもよい。本システムはまた、無線ネットワークを含むことができ、シネマオーディオプロセッサは、無線ネットワークを経由して、タイミング情報を空間化オーディオプロセッサに伝送する。タイミング情報はまた、生成されたシネマサウンドに対応するビデオ内の光学キューを含んでもよい。タイミング情報はまた、生成されたシネマサウンドに対応するビデオから別個に投影される、光学キューを含んでもよい。タイミング情報はまた、赤外線光を用いて投影される、光学キューを含んでもよい。

１つ以上の実施形態では、シネマオーディオプロセッサは、シネマ情報を空間化オーディオプロセッサに伝送する。シネマ情報は、タイミング情報、仮想オブジェクト音情報、位置情報、配向情報、ハイパーリンク、または音響モデル化情報のうちの１つを含んでもよい。仮想オブジェクト音情報は、モノオーディオストリームを含んでもよい。

１つ以上の実施形態では、空間化オーディオプロセッサは、第１の時間において、第１のタイミング情報をシネマオーディオプロセッサから受信し、第１の時間において、音とシネマサウンドを同期させ、空間化オーディオプロセッサは、第１の時間より後の第２の時間において、第２のタイミング情報をシネマオーディオプロセッサから受信し、第２の時間において、音とシネマサウンドを同期させる。

１つ以上の実施形態では、空間化オーディオプロセッサは、空間化オーディオデータを空間化オーディオソースデータから生成する。空間化オーディオソースデータは、空間化オーディオプロセッサ上に事前にロードされてもよい。空間化オーディオソースデータは、空間化オーディオプロセッサにストリームされてもよい。ストリームされた空間化オーディオソースデータは、空間化オーディオプロセッサにバッファ／キャッシュされてもよい。

１つ以上の実施形態では、空間化オーディオプロセッサは、空間化オーディオプロセッサ／複数のスピーカとシネマオーディオプロセッサ／複数のシネマスピーカとの間の待ち時間差を補償する。

１つ以上の実施形態では、本システムはまた、ユーザセンサを含み、シネマオーディオプロセッサへの伝送のためのユーザ情報を収集する。ユーザセンサは、フレームに取り付けられてもよい。シネマオーディオプロセッサは、シネマサウンドが修正されたシネマオーディオデータに対応するように、ユーザ情報に基づいて、シネマオーディオデータを修正してもよい。ユーザ情報は、ユーザからのサンプリングされた音を含んでもよく、修正されたシネマオーディオデータは、サンプリングされた音を組み込む。

１つ以上の実施形態では、複数のシネマスピーカは、低周波数音を生成するように構成される、サブウーファを含む。ユーザ情報は、低周波数オーディオデータを含む。シネマオーディオプロセッサは、低周波数オーディオデータに基づいて、シネマオーディオデータを修正し、サブウーファは、修正されたシネマオーディオデータに対応する低周波数音を生成する。サブウーファは、ユーザのための座席に隣接して配置されてもよい。サブウーファは、ユーザによって装着されてもよい。

１つ以上の実施形態では、本システムはまた、空間化オーディオプロセッサに動作可能に結合される、アプリケーションプロセッサを含み、空間化オーディオプロセッサが空間化オーディオデータを生成する、ソースデータを提供する。アプリケーションプロセッサは、シネマオーディオプロセッサに動作可能に結合されてもよい。アプリケーションプロセッサは、空間化オーディオデータとシネマオーディオデータを同期させてもよい。シネマオーディオデータは、分岐構造内に編成されてもよく、修正されたシネマオーディオデータは、シネマオーディオデータの分岐構造より小さい修正された分岐構造を有する。

１つ以上の実施形態では、本システムはまた、フレームに取り付けられ、シネマサウンドを記録する、マイクロホンを含む。本システムはさらに、空間化オーディオプロセッサに動作可能に結合される、同期モジュールを含み、同期モジュールは、記録されたシネマサウンドを分析し、シネマサウンドトラックおよびシネマサウンドトラック内の時間を識別する。同期モジュールはまた、シネマサウンドトラックの識別およびシネマサウンドトラック内の識別された時間に基づいて、タイミング情報を生成し、音とシネマサウンドを同期させる。マイクロホンは、シネマサウンドの再生の間、後の時間においてシネマサウンドを記録してもよく、同期モジュールは、後の記録されたシネマサウンドを分析し、シネマサウンドトラック内の後の時間を識別し、音とシネマサウンドとの間の同期を維持する。

１つ以上の実施形態では、本システムはまた、シネマサウンドトラックデータベースを含み、同期モジュールは、記録されたシネマサウンドとシネマサウンドトラックデータベースを比較し、シネマサウンドトラックおよびシネマサウンドトラック内の時間を識別する。同期モジュールは、記録されたシネマサウンドからの第１の記録されたパケットとシネマサウンドトラックデータベースからの第１のデータベースパケットとの間の第１の合致を識別してもよい。同期モジュールは、同期モジュールが第１の合致を識別した後、記録されたシネマサウンドからの第２の記録されたパケットとシネマサウンドトラックデータベースからの第２のデータベースパケットとの間の第２の合致を識別してもよい。

１つ以上の実施形態では、シネマサウンドトラックデータベースは、複数の音調クラスタを含む。シネマサウンドトラックデータベースは、音調クラスタに対応する識別子、シネマサウンドトラック内の個別の時間、および音調クラスタに続く音調クラスタのシーケンスを含んでもよい。同期モジュールは、記録されたシネマサウンドとシネマサウンドトラックデータベースを比較してもよく、これは、記録されたシネマサウンド内の音調クラスタとシネマサウンドトラックデータベース内の音調クラスタを合致させることを含む。複数の音調クラスタの各音調クラスタは、約１ｍｓ長であってもよい。

１つ以上の実施形態では、本システムはまた、シネマサウンドトラックデータベースビルダを含み、シネマサウンドトラックを走査し、その中の複数の音調クラスタを識別する。タイミング情報は、タイムコードを含んでもよい。

１つ以上の実施形態では、空間化オーディオシステムは、複数のパーソナルオーディオデバイスを含む。複数のパーソナルオーディオデバイスはそれぞれ、ユーザの頭部上に装着されるフレームを含む。各パーソナルオーディオデバイスはまた、フレームがユーザによって装着されると、複数のスピーカのそれぞれが、ユーザの頭部から個別の非ゼロ距離に配置され、複数のスピーカのそれぞれが、ユーザの耳を含む、ユーザの頭部に接触しないように、フレームに取り付けられる、複数のスピーカを含む。各パーソナルオーディオデバイスはさらに、ユーザの頭部姿勢データを収集するための頭部姿勢センサを含む。さらに、各パーソナルオーディオデバイスは、ユーザの頭部姿勢を頭部姿勢データから決定するための頭部姿勢プロセッサを含む。加えて、各パーソナルオーディオデバイスは、ユーザの決定された頭部姿勢および特性に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサを含む。本システムはまた、空間化オーディオプロセッサに動作可能に結合される、シネマオーディオプロセッサを含み、シネマオーディオプロセッサは、シネマオーディオデータを生成する。本システムはさらに、生成されたシネマオーディオデータに対応するシネマサウンドを生成するための複数のシネマスピーカを含む。複数のスピーカはそれぞれ、個別の生成された空間化オーディオデータに対応する音を生成する。

１つ以上の実施形態では、複数のパーソナルオーディオデバイスの第１のパーソナルオーディオデバイスの第１のユーザのための第１の生成された空間化オーディオデータは、第１のユーザの第１の特性が、第２のユーザの第２の特性と異なるため、複数のパーソナルオーディオデバイスの第２のパーソナルオーディオデバイスの第２のユーザのための第２の生成された空間化オーディオデータと異なる。第１および第２の特性は、ゲームにおける異なるレベルであってもよい。第１および第２の特性は、異なる個人的選好であってもよい。第１および第２の特性は、ユーザ焦点の異なる場所であってもよい。第１および第２の特性は、映画館内の異なる場所であってもよい。第１および第２の特性は、注意の異なるインジケータであってもよい。第１および第２の特性は、それぞれ、第１および第２のユーザによって放出される異なる音であってもよい。

１つ以上の実施形態では、本システムはまた、部屋センサを含み、ユーザが配置される部屋の音響性質を測定し、空間化オーディオプロセッサは、決定されたユーザの頭部姿勢および部屋の測定された音響性質に基づいて、空間化オーディオデータを生成する。部屋センサは、マイクロホンであって、部屋音を収集し、部屋の音響性質を測定してもよい。部屋センサは、カメラであって、部屋画像を収集し、部屋の音響性質を測定してもよい。

別の実施形態では、ＡＲ／ＭＲシステムは、仮想画像を生成するためのディスプレイシステムを含む。本システムはまた、上記に説明される空間化オーディオシステムを含む。仮想画像および生成された音は、同期される。

１つ以上の実施形態では、生成された音は、仮想オブジェクトから発出するように現れる。生成された音は、実際の物理的オブジェクトから発出するように現れてもよい。生成された音は、実際の物理的人物から発出するように現れてもよい。生成された音は、実際の物理的人物の口から発出するように現れてもよい。生成された音は、実際の物理的人物の実際の音声と異なってもよい。生成された音は、ユーザの周囲の複数のソースから発出するように現れてもよい。生成された音は、ユーザ内から発出するように現れてもよい。

さらに別の実施形態では、パーソナライズされたメディアシステムは、一般的メディアシステムを含み、これは、メディア製品に対応する一般的ビデオおよびオーディオデータを生成するための一般的メディアプロセッサを含む。一般的メディアシステムはまた、一般的ビデオデータに対応する一般的ライトフィールドを提示するための一般的メディアディスプレイを含む。一般的メディアシステムはさらに、一般的シネマオーディオデータに対応する一般的音場を提示するための複数の一般的メディアスピーカを含む。パーソナライズされたメディアシステムはまた、複数のパーソナルメディアデバイスを含む。複数のパーソナルメディアデバイスはそれぞれ、ユーザの姿勢データを収集するための姿勢センサを含む。各パーソナルメディアデバイスはまた、ユーザの姿勢を姿勢データから決定するための姿勢プロセッサを含む。各パーソナルメディアデバイスはさらに、ユーザの決定された姿勢および特性に基づいて、パーソナルビデオおよびオーディオデータを生成するためのパーソナルメディアプロセッサを含む。さらに、各パーソナルメディアデバイスは、ユーザの頭部上に装着されるフレームを含む。加えて、各パーソナルメディアデバイスは、フレームに取り付けられ、パーソナルビデオデータに対応するユーザのためのパーソナル３次元ライトフィールドを提示するように構成される、パーソナルディスプレイを含む。各パーソナルメディアデバイスはまた、フレームがユーザによって装着されると、複数のパーソナルスピーカのそれぞれが、ユーザの頭部から個別の非ゼロ距離に配置され、複数のパーソナルスピーカのそれぞれが、ユーザの耳を含む、ユーザの頭部に接触しないように、フレームに取り付けられる複数のパーソナルスピーカを含む。複数のパーソナルスピーカは、パーソナルオーディオデータに対応する、ユーザのためのパーソナル空間化音場を提示するように構成される。複数のパーソナルメディアデバイスはそれぞれ、個別のパーソナル３次元ライトフィールド、パーソナル空間化音場、一般的メディアライトフィールド、および一般的メディア音場が、ユーザのためのコヒーレントメディア体験を形成するように、一般的メディアシステムと同期される。

１つ以上の実施形態では、メディア製品は、シネマ製品、ゲーム製品、および／または複合メディア製品である。ユーザの特性は、ユーザの識別および／またはユーザの場所であってもよい。ユーザの特性は、メディアに関連するソフトウェアとのユーザの相互作用に関連してもよい。

１つ以上の実施形態では、メディア製品は、シネマ製品であって、ソフトウェアは、ゲームである。ユーザの姿勢は、頭部姿勢であってもよい。パーソナルディスプレイは、ＡＲ／ＭＲディスプレイであってもよい。一般的メディアプロセッサは、一般的ライトフィールドの一部が空にされるように、一般的ビデオデータを修正するように構成されてもよく、一般的ライトフィールドの一部は、パーソナル３次元ライトフィールド内のオブジェクトの場所に対応する。
本発明は、例えば、以下を提供する。
（項目１）
空間化オーディオシステムであって、
ユーザの頭部上に装着されるフレームと、
複数のスピーカであって、前記複数のスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のスピーカのそれぞれが、前記ユーザの耳を含む、前記ユーザの頭部の任意の表面に接触しないように、前記フレームに取り付けられる、複数のスピーカと、
前記ユーザの頭部姿勢データを収集するための頭部姿勢センサと、
前記ユーザの頭部姿勢を前記頭部姿勢データから決定するための頭部姿勢プロセッサと、
前記決定された前記ユーザの頭部姿勢に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサと
を備え、
前記スピーカは、前記生成された空間化オーディオデータに対応する音を生成する、システム。
（項目２）
前記空間化オーディオプロセッサに動作可能に結合されるシネマオーディオプロセッサであって、前記シネマオーディオプロセッサは、前記シネマオーディオデータを生成する、シネマオーディオプロセッサと、
前記生成されたシネマオーディオデータに対応するシネマサウンドを生成するための複数のシネマスピーカと
をさらに備え、
前記空間化オーディオプロセッサは、タイミング情報／メタデータを前記シネマオーディオプロセッサから受信し、前記音と前記シネマサウンドを同期させる、項目１に記載のシステム。
（項目３）
前記空間化オーディオプロセッサは、タイミング情報／メタデータを前記シネマオーディオプロセッサから受信し、前記音と前記シネマサウンドを同期させる、項目２に記載のシステム。
（項目４）
無線ネットワークをさらに備え、前記シネマオーディオプロセッサは、前記無線ネットワークを経由して、前記タイミング情報を前記空間化オーディオプロセッサに伝送する、項目３に記載のシステム。
（項目５）
前記タイミング情報は、前記生成されたシネマサウンドに対応するビデオ内の光学キューを備え、光学キューは、前記生成されたシネマサウンドに対応するビデオから別個に投影される、または光学キューは、赤外線光を用いて投影される、項目３に記載のシステム。
（項目６）
前記シネマオーディオプロセッサは、シネマ情報を前記空間化オーディオプロセッサに伝送する、項目２に記載のシステム。
（項目７）
前記シネマ情報は、タイミング情報、仮想オブジェクト音情報、位置情報、配向情報、ハイパーリンク、または音響モデル化情報のうちの１つを備える、項目６に記載のシステム。
（項目８）
前記空間化オーディオプロセッサは、第１の時間において、第１のタイミング情報を前記シネマオーディオプロセッサから受信し、前記第１の時間において、前記音と前記シネマサウンドを同期させ、
前記空間化オーディオプロセッサは、前記第１の時間より後の第２の時間において、第２のタイミング情報を前記シネマオーディオプロセッサから受信し、前記第２の時間において、前記音と前記シネマサウンドを同期させる、
項目２に記載のシステム。
（項目９）
前記空間化オーディオプロセッサは、前記空間化オーディオプロセッサ／前記複数のスピーカと前記シネマオーディオプロセッサ／前記複数のシネマスピーカとの間の待ち時間差を補償する、項目２に記載のシステム。
（項目１０）
ユーザセンサをさらに備え、前記ユーザセンサは、前記シネマオーディオプロセッサへの伝送のためのユーザ情報を収集する、項目２に記載のシステム。
（項目１１）
前記シネマオーディオプロセッサは、前記シネマサウンドが修正されたシネマオーディオデータに対応するように、前記ユーザ情報に基づいて、前記シネマオーディオデータを修正する、項目１０に記載のシステム。
（項目１２）
前記複数のシネマスピーカは、低周波数音を生成するように構成されるサブウーファを含み、
前記ユーザ情報は、低周波数オーディオデータを含み、
前記シネマオーディオプロセッサは、前記低周波数オーディオデータに基づいて、前記シネマオーディオデータを修正し、
前記サブウーファは、前記修正されたシネマオーディオデータに対応する低周波数音を生成する、
項目１１に記載のシステム。
（項目１３）
前記サブウーファは、前記ユーザのための座席に隣接して配置される、または前記サブウーファは、前記ユーザによって装着される、項目１２に記載のシステム。
（項目１４）
前記シネマオーディオデータは、分岐構造内に編成され、
前記修正されたシネマオーディオデータは、前記シネマオーディオデータの分岐構造より小さい修正された分岐構造を有する、項目１１に記載のシステム。
（項目１５）
前記ユーザ情報は、前記ユーザからサンプリングされた音を含み、前記修正されたシネマオーディオデータは、サンプリングされた音を組み込む、項目１０に記載のシステム。
（項目１６）
前記空間化オーディオプロセッサに動作可能に結合されるアプリケーションプロセッサをさらに備え、前記アプリケーションプロセッサは、前記空間化オーディオプロセッサが前記空間化オーディオデータを生成するソースデータを提供する、項目２に記載のシステム。
（項目１７）
前記アプリケーションプロセッサは、前記空間化オーディオデータと前記シネマオーディオデータを同期させる、項目１６に記載のシステム。
（項目１８）
前記フレームは、前記生成された音を前記ユーザの耳に集束させる、項目１に記載のシステム。
（項目１９）
前記生成された空間化オーディオデータは、複数の仮想オーディオソース毎に、位置、配向、および音量データを含む、項目１に記載のシステム。
（項目２０）
前記複数のスピーカは、個別の磁石を用いて、前記フレームに除去可能に取り付けられる、項目１に記載のシステム。
（項目２１）
空間化オーディオシステムであって、
ユーザの頭部上に装着されるフレームと、
複数のスピーカであって、前記複数のスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のスピーカのそれぞれが、前記ユーザの耳を含む、前記ユーザの頭部の任意の表面に接触しないように、前記フレームに取り付けられる、複数のスピーカと、
前記ユーザの頭部姿勢データを収集するための頭部姿勢センサと、
前記ユーザの頭部姿勢を前記頭部姿勢データから決定するための頭部姿勢プロセッサと、
前記決定された前記ユーザの頭部姿勢に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサと
を備え、
前記スピーカは、前記生成された空間化オーディオデータに対応する音を生成する、システム。
（項目２２）
前記複数のスピーカに結合される増幅器をさらに備える、項目２１に記載のシステム。
（項目２３）
前記生成された空間化オーディオデータは、複数の仮想オーディオソース毎に、位置、配向、および音量データを含む、項目２１に記載のシステム。
（項目２４）
前記複数のスピーカは、前記生成された音を前記ユーザの耳に集束させる、項目２１に記載のシステム。
（項目２５）
前記複数のスピーカはそれぞれ、変換器を備える、項目２４に記載のシステム。
（項目２６）
前記フレームは、前記生成された音を前記ユーザの耳に集束させる、項目２１に記載のシステム。
（項目２７）
ＡＲ／ＭＲシステムであって、
仮想画像を生成するためのディスプレイシステムと、
項目２１に記載の空間化オーディオシステムと
を備え、
前記仮想画像および前記生成された音は、同期される、システム。
（項目２８）
前記生成された音は、仮想オブジェクトから発出するように現れる、項目２７に記載のシステム。
（項目２９）
前記生成された音は、実際の物理的オブジェクトから発出するように現れる、項目２７に記載のシステム。
（項目３０）
前記生成された音は、実際の物理的人物から発出するように現れる、項目２７に記載のシステム。
（項目３１）
前記生成された音は、前記実際の物理的人物の口から発出するように現れる、項目３０に記載のシステム。
（項目３２）
前記生成された音は、前記実際の物理的人物の実際の音声と異なる、項目３１に記載のシステム。
（項目３３）
前記生成された音は、前記ユーザの周囲の複数のソースから発出するように現れる、項目２７に記載のシステム。
（項目３４）
前記生成された音は、前記ユーザ内から発出するように現れる、項目２７に記載のシステム。
（項目３５）
前記頭部姿勢センサは、ＩＭＵである、項目２１に記載のシステム。
（項目３６）
前記頭部姿勢センサは、カメラである、項目２１に記載のシステム。
（項目３７）
前記複数のスピーカは、前記フレームに除去可能に取り付けられる、項目２１に記載のシステム。
（項目３８）
前記複数のスピーカは、個別の磁石を用いて、前記フレームに除去可能に取り付けられる、項目３７に記載のシステム。
（項目３９）
前記空間化オーディオプロセッサに動作可能に結合されるシネマオーディオプロセッサであって、前記シネマオーディオプロセッサは、シネマオーディオデータを生成する、シネマオーディオプロセッサと、
前記生成されたシネマオーディオデータに対応するシネマサウンドを生成するための複数のシネマスピーカと
をさらに備える、項目２１に記載のシステム。
（項目４０）
前記空間化オーディオプロセッサは、タイミング情報／メタデータを前記シネマオーディオプロセッサから受信し、前記音と前記シネマサウンドを同期させる、項目３９に記載のシステム。
（項目４１）
前記タイミング情報は、タイムコードを備える、項目４０に記載のシステム。
（項目４２）
前記タイミング情報は、キューを備える、項目４０に記載のシステム。
（項目４３）
無線ネットワークをさらに備え、前記シネマオーディオプロセッサは、前記無線ネットワークを経由して、前記タイミング情報を前記空間化オーディオプロセッサに伝送する、項目４０に記載のシステム。
（項目４４）
前記タイミング情報は、前記生成されたシネマサウンドに対応するビデオ内の光学キューを備える、項目４０に記載のシステム。
（項目４５）
前記タイミング情報は、前記生成されたシネマサウンドに対応するビデオから別個に投影される、光学キューを備える、項目４０に記載のシステム。
（項目４６）
前記タイミング情報は、赤外線光を用いて投影される光学キューを備える、項目４０に記載のシステム。
（項目４７）
前記シネマオーディオプロセッサは、シネマ情報を前記空間化オーディオプロセッサに伝送する、項目３９に記載のシステム。
（項目４８）
前記シネマ情報は、タイミング情報、仮想オブジェクト音情報、位置情報、配向情報、ハイパーリンク、または音響モデル化情報のうちの１つを備える、項目４７に記載のシステム。
（項目４９）
前記仮想オブジェクト音情報は、モノオーディオストリームを備える、項目４８に記載のシステム。
（項目５０）
前記空間化オーディオプロセッサは、第１の時間において、第１のタイミング情報を前記シネマオーディオプロセッサから受信し、前記第１の時間において、前記音と前記シネマサウンドを同期させ、
前記空間化オーディオプロセッサは、前記第１の時間より後の第２の時間において、第２のタイミング情報を前記シネマオーディオプロセッサから受信し、前記第２の時間において、前記音と前記シネマサウンドを同期させる、項目３９に記載のシステム。
（項目５１）
前記空間化オーディオプロセッサは、前記空間化オーディオデータを空間化オーディオソースデータから生成する、項目３９に記載のシステム。
（項目５２）
前記空間化オーディオソースデータは、前記空間化オーディオプロセッサ上に事前にロードされる、項目５１に記載のシステム。
（項目５３）
前記空間化オーディオソースデータは、前記空間化オーディオプロセッサにストリームされる、項目５１に記載のシステム。
（項目５４）
前記ストリームされた空間化オーディオソースデータは、前記空間化オーディオプロセッサにバッファ／キャッシュされる、項目５３に記載のシステム。
（項目５５）
前記空間化オーディオプロセッサは、前記空間化オーディオプロセッサ／前記複数のスピーカと前記シネマオーディオプロセッサ／前記複数のシネマスピーカとの間の待ち時間差を補償する、項目３９に記載のシステム。
（項目５６）
ユーザセンサをさらに備え、前記ユーザセンサは、前記シネマオーディオプロセッサへの伝送のためのユーザ情報を収集する、項目３９に記載のシステム。
（項目５７）
前記ユーザセンサは、前記フレームに取り付けられる、項目５６に記載のシステム。
（項目５８）
前記シネマオーディオプロセッサは、前記シネマサウンドが修正されたシネマオーディオデータに対応するように、前記ユーザ情報に基づいて、前記シネマオーディオデータを修正する、項目５６に記載のシステム。
（項目５９）
前記ユーザ情報は、前記ユーザからサンプリングされた音を含み、前記修正されたシネマオーディオデータは、サンプリングされた音を組み込む、項目５８に記載のシステム。
（項目６０）
前記複数のシネマスピーカは、低周波数音を生成するように構成されるサブウーファを含み、
前記ユーザ情報は、低周波数オーディオデータを含み、
前記シネマオーディオプロセッサは、前記低周波数オーディオデータに基づいて、前記シネマオーディオデータを修正し、
前記サブウーファは、前記修正されたシネマオーディオデータに対応する低周波数音を生成する、
項目５８に記載のシステム。
（項目６１）
前記サブウーファは、前記ユーザのための座席に隣接して配置される、項目６０に記載のシステム。
（項目６２）
前記サブウーファは、前記ユーザによって装着される、項目６０に記載のシステム。
（項目６３）
前記空間化オーディオプロセッサに動作可能に結合されるアプリケーションプロセッサをさらに備え、前記アプリケーションプロセッサは、前記空間化オーディオプロセッサが前記空間化オーディオデータを生成するソースデータを提供する、項目３９に記載のシステム。
（項目６４）
前記アプリケーションプロセッサは、前記シネマオーディオプロセッサに動作可能に結合される、項目６３に記載のシステム。
（項目６５）
前記アプリケーションプロセッサは、前記空間化オーディオデータと前記シネマオーディオデータを同期させる、項目６３に記載のシステム。
（項目６６）
前記シネマオーディオデータは、分岐構造内に編成され、
前記修正されたシネマオーディオデータは、前記シネマオーディオデータの分岐構造より小さい修正された分岐構造を有する、項目５８に記載のシステム。
（項目６７）
前記フレームに取り付けられ、前記シネマサウンドを記録する、マイクロホンと、
前記空間化オーディオプロセッサに動作可能に結合される同期モジュールであって、前記同期モジュールは、前記記録されたシネマサウンドを分析し、シネマサウンドトラックおよび前記シネマサウンドトラック内の時間を識別する、同期モジュールと
をさらに備え、
前記同期モジュールは、前記シネマサウンドトラックの識別および前記シネマサウンドトラック内の識別された時間に基づいて、タイミング情報を生成し、前記音と前記シネマサウンドを同期させる、項目３９に記載のシステム。
（項目６８）
前記マイクロホンは、前記シネマサウンドの再生の間、後の時間において前記シネマサウンドを記録し、
前記同期モジュールは、前記後の記録されたシネマサウンドを分析し、前記シネマサウンドトラック内の後の時間を識別し、前記音と前記シネマサウンドとの間の同期を維持する、
項目６７に記載のシステム。
（項目６９）
シネマサウンドトラックデータベースをさらに備え、前記同期モジュールは、前記記録されたシネマサウンドと前記シネマサウンドトラックデータベースを比較し、前記シネマサウンドトラックおよび前記シネマサウンドトラック内の時間を識別する、項目６７に記載のシステム。
（項目７０）
前記同期モジュールは、前記記録されたシネマサウンドからの第１の記録されたパケットと前記シネマサウンドトラックデータベースからの第１のデータベースパケットとの間の第１の合致を識別する、項目６９に記載のシステム。
（項目７１）
前記同期モジュールは、前記同期モジュールが前記第１の合致を識別した後、前記記録されたシネマサウンドからの第２の記録されたパケットと前記シネマサウンドトラックデータベースからの第２のデータベースパケットとの間の第２の合致を識別する、項目７０に記載のシステム。
（項目７２）
前記シネマサウンドトラックデータベースは、複数の音調クラスタを備える、項目６９に記載のシステム。
（項目７３）
前記シネマサウンドトラックデータベースは、音調クラスタ、前記シネマサウンドトラック内の個別の時間、および前記音調クラスタに続く音調クラスタのシーケンスに対応する識別子を備える、項目７２に記載のシステム。
（項目７４）
前記記録されたシネマサウンドと前記シネマサウンドトラックデータベースを比較する前記同期モジュールは、前記記録されたシネマサウンド内の音調クラスタと前記シネマサウンドトラックデータベース内の音調クラスタを合致させることを含む、項目７２に記載のシステム。
（項目７５）
前記複数の音調クラスタの各音調クラスタは、約１ｍｓ長である、項目７２に記載のシステム。
（項目７６）
シネマサウンドトラックデータベースビルダをさらに備え、前記シネマサウンドトラックデータベースビルダは、前記シネマサウンドトラックを走査し、その中の前記複数の音調クラスタを識別する、項目７２に記載のシステム。
（項目７７）
前記タイミング情報は、タイムコードを備える、項目６７に記載のシステム。
（項目７８）
空間化オーディオシステムであって、
複数のパーソナルオーディオデバイスであって、前記複数のうちの各パーソナルオーディオデバイスは、
ユーザの頭部上に装着されるフレームと、
複数のスピーカであって、前記複数のスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のスピーカのそれぞれが、前記ユーザの耳を含む、前記ユーザの頭部に接触しないように、前記フレームに取り付けられる、複数のスピーカと、
前記ユーザの頭部姿勢データを収集するための頭部姿勢センサと、
前記ユーザの頭部姿勢を前記頭部姿勢データから決定するための頭部姿勢プロセッサと、
前記ユーザの決定された頭部姿勢および特性に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサと
を備える、複数のパーソナルオーディオデバイスと、
前記空間化オーディオプロセッサに動作可能に結合されるシネマオーディオプロセッサであって、前記シネマオーディオプロセッサは、前記シネマオーディオデータを生成する、シネマオーディオプロセッサと、
前記生成されたシネマオーディオデータに対応するシネマサウンドを生成するための複数のシネマスピーカと
を備え、
前記複数のスピーカはそれぞれ、個別の生成された空間化オーディオデータに対応する音を生成する、システム。
（項目７９）
前記第１のユーザの第１の特性が、前記第２のユーザの第２の特性と異なるので、前記複数のパーソナルオーディオデバイスの第１のパーソナルオーディオデバイスの第１のユーザのための第１の生成された空間化オーディオデータは、前記複数のパーソナルオーディオデバイスの第２のパーソナルオーディオデバイスの第２のユーザのための第２の生成された空間化オーディオデータと異なる、項目７８に記載のシステム。
（項目８０）
前記第１および第２の特性は、ゲームにおける異なるレベルである、項目７９に記載のシステム。
（項目８１）
前記第１および第２の特性は、異なる個人的選好である、項目７９に記載のシステム。
（項目８２）
前記第１および第２の特性は、ユーザ焦点の異なる場所である、項目７９に記載のシステム。
（項目８３）
前記第１および第２の特性は、映画館内の異なる場所である、項目７９に記載のシステム。
（項目８４）
前記第１および第２の特性は、注意の異なるインジケータである、項目７９に記載のシステム。
（項目８５）
前記第１および第２の特性は、それぞれ、前記第１および第２のユーザによって放出される異なる音である、項目７９に記載のシステム。
（項目８６）
部屋センサをさらに備え、前記部屋センサは、前記ユーザが配置される部屋の音響性質を測定し、前記空間化オーディオプロセッサは、前記ユーザの前記決定された頭部姿勢および前記部屋の測定された音響性質に基づいて、前記空間化オーディオデータを生成する、項目２１に記載のシステム。
（項目８７）
前記部屋センサは、マイクロホンであり、前記マイクロホンは、部屋音を収集し、前記部屋の音響性質を測定する、項目８６に記載のシステム。
（項目８８）
前記部屋センサは、カメラであり、前記カメラは、部屋画像を収集し、前記部屋の音響性質を測定する、項目８６に記載のシステム。
（項目８９）
パーソナライズされたメディアシステムであって、
一般的メディアシステムであって、
メディア製品に対応する一般的ビデオおよびオーディオデータを生成するための一般的メディアプロセッサと、
前記一般的ビデオデータに対応する一般的ライトフィールドを提示するための一般的メディアディスプレイと、
前記一般的シネマオーディオデータに対応する一般的音場を提示するための複数の一般的メディアスピーカと
を備える、一般的メディアシステムと、
複数のパーソナルメディアデバイスであって、前記複数のうちの各パーソナルメディアデバイスは、
前記ユーザの姿勢データを収集するための姿勢センサと、
前記ユーザの姿勢を前記姿勢データから決定するための姿勢プロセッサと、
前記ユーザの決定された姿勢および特性に基づいて、パーソナルビデオおよびオーディオデータを生成するためのパーソナルメディアプロセッサと、
ユーザの頭部上に装着されるフレームと、
前記フレームに取り付けられ、前記パーソナルビデオデータに対応する前記ユーザのためのパーソナル３次元ライトフィールドを提示するように構成されるパーソナルディスプレイと、
複数のパーソナルスピーカであって、前記複数のパーソナルスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のパーソナルスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のパーソナルスピーカのそれぞれが、前記ユーザの耳を含む、前記ユーザの頭部に接触しないように、前記フレームに取り付けられる、複数のパーソナルスピーカと
とを備え、前記複数のパーソナルスピーカは、パーソナルオーディオデータに対応する前記ユーザのための、パーソナル空間化音場を提示するように構成される、複数のパーソナルメディアデバイスと
を備え、
前記複数のパーソナルメディアデバイスはそれぞれ、前記個別のパーソナル３次元ライトフィールド、パーソナル空間化音場、前記一般的メディアライトフィールド、および前記一般的メディア音場が、前記ユーザのためのコヒーレントメディア体験を形成するように、前記一般的メディアシステムと同期される、システム。
（項目９０）
前記メディア製品は、シネマ製品である、項目８９に記載のシステム。
（項目９１）
前記メディア製品は、ゲーム製品である、項目８９に記載のシステム。
（項目９２）
前記メディア製品は、複合メディア製品である、項目８９に記載のシステム。
（項目９３）
前記ユーザの特性は、前記ユーザの識別である、項目８９に記載のシステム。
（項目９４）
前記ユーザの特性は、前記ユーザの場所である、項目８９に記載のシステム。
（項目９５）
前記ユーザの特性は、前記メディアに関連するソフトウェアとの前記ユーザの相互作用に関連する、項目８９に記載のシステム。
（項目９６）
前記メディア製品は、シネマ製品であり、前記ソフトウェアは、ゲームである、項目９５に記載のシステム。
（項目９７）
前記ユーザの姿勢は、頭部姿勢である、項目８９に記載のシステム。
（項目９８）
前記パーソナルディスプレイは、ＡＲ／ＭＲディスプレイである、項目８９に記載のシステム。
（項目９９）
前記一般的メディアプロセッサは、前記一般的ライトフィールドの一部が空にされるように、前記一般的ビデオデータを修正するように構成され、
前記一般的ライトフィールドの一部は、前記パーソナル３次元ライトフィールド内のオブジェクトの場所に対応する、項目８９に記載のシステム。
（項目１００）
前記パーソナルビデオデータは、別のユーザに対応する別のパーソナルビデオデータを含む、項目８９に記載のシステム。

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同一参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載ならびに説明されるであろう。

図１は、一実施形態による、ウェアラブルＡＲ／ＭＲユーザデバイスを通した拡張現実または複合現実（ＡＲまたはＭＲ）のユーザのビューを描写する。 図２は、ユーザ／聴取者の頭部上に装着される、一実施形態による、空間化オーディオシステムの上面概略図である。 図３は、図２に描写されるようにユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの背面概略図である。 図４は、図２に描写されるようにユーザ／聴取者の頭部上に装着される、空間化オーディオシステムのより詳細な上面概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図９は、一実施形態による、空間化オーディオシステムの詳細な概略図である。 図１０は、実際の物理的オーディオソースによって生成された空間化音場の概略図である。 図１１は、別の実施形態による、空間化オーディオシステムの詳細な概略図である。 図１２は、一実施形態による、種々の仮想音源および仮想オブジェクトを含む、空間化シネマオーディオ体験の背面概略図である。 図１３は、図１２に描写される空間化シネマオーディオ体験の側面概略図である。 図１４は、先行技術シネマオーディオシステムの上面図である。 図１５は、先行技術シネマオーディオシステムの概略図である。 図１６および１７は、一実施形態による、個人化されたシネマオーディオシステムの上面図であって、図１６では、ユーザは、正面に面する一方、図１７では、ユーザは、左に面する。 図１６および１７は、一実施形態による、個人化されたシネマオーディオシステムの上面図であって、図１６では、ユーザは、正面に面する一方、図１７では、ユーザは、左に面する。 図１８−２０は、種々の実施形態による、個人化されたシネマオーディオシステムの詳細な概略図である。 図１８−２０は、種々の実施形態による、個人化されたシネマオーディオシステムの詳細な概略図である。 図１８−２０は、種々の実施形態による、個人化されたシネマオーディオシステムの詳細な概略図である。 図２１は、一実施形態による、パーソナライズされた空間化オーディオシステムを利用して空間化オーディオを提示する方法を描写する、フローチャートである。 図２２および２３は、２つの実施形態による、個人化されたシネマオーディオのコンポーネントを同期させ、個人化されたシネマオーディオシステムを利用して個人化されたシネマオーディオを提示する方法を描写する、フローチャートである。 図２２および２３は、２つの実施形態による、個人化されたシネマオーディオのコンポーネントを同期させ、個人化されたシネマオーディオシステムを利用して個人化されたシネマオーディオを提示する方法を描写する、フローチャートである。 図２４は、一実施形態による、個人化されたシネマオーディオシステムを利用して修正されたシネマオーディオを提示する方法を描写する、フローチャートである。 図２５は、一実施形態による、個人化されたシネマオーディオシステムを利用してパーソナルオーディオを選択的に提示する方法を描写する、フローチャートである。

本発明の種々の実施形態は、単一実施形態または複数の実施形態における空間化オーディオシステムの実装のためのシステム、方法、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、既知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような既知の構成要素（または方法もしくはプロセス）のそれらの一部のみが、説明され、そのような既知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的既知の均等物を包含する。

空間化オーディオシステムは、ＶＲ／ＡＲ／ＭＲシステムから独立して実装されてもよいが、以下の多くの実施形態は、例証的目的のためだけに、ＡＲ／ＭＲシステムに関連して説明される。
（問題およびソリューションの概要）

２−Ｄ／３−Ｄシネマシステム、２−Ｄ／３−Ｄビデオゲーム、およびＶＲ／ＡＲ／ＭＲシステムの一部との併用またはそれを形成するためのもの等の空間化オーディオシステムは、実際の物理的３−Ｄ空間内の仮想場所とともに、仮想オブジェクトに対応する空間化オーディオをレンダリング、提示、および放出する。本願で使用されるように、オーディオの「放出」または「提示」は、限定ではないが、ヒトの聴覚系によって音（亜音速低周波数音波を含む）と知覚され得る、音波の形成を生じさせることを含む。これらの仮想場所は、典型的には、座標系（例えば、原点における空間化オーディオシステムと空間化オーディオシステムに対する既知の配向とを伴う、座標系）を使用して、空間化オーディオシステムに「把握」される（すなわち、その中に記録される）。仮想オブジェクトと関連付けられた仮想オーディオソースは、コンテンツ、位置、および配向を有する。仮想オーディオソースの別の特性は、聴取者からの距離の２乗として減少する、音量である。しかしながら、現在の空間化オーディオシステム（例えば、５．１空間化オーディオシステム、７．１空間化オーディオシステム、シネマオーディオシステム、および頭部装着型オーディオシステム）は全て、空間化オーディオシステムが現実的空間化オーディオを生成し得る、聴取者の数および特性を限定する、聴取者位置および配向制限を有する。加えて、現在の頭部装着型オーディオシステムは、頭部装着型オーディオシステムの音響結像能力をさらに妨げる、心理音響効果を装着者に生じさせる。

本明細書に説明される空間化オーディオシステムは、種々の仮想オブジェクトと関連付けられたオーディオが個別の仮想オブジェクトに対応する仮想位置から生じるように現れるように、聴取者の位置を追跡し、空間化オーディオをより正確にレンダリングする。さらに、本明細書に説明される空間化オーディオシステムは、種々の仮想オブジェクトと関連付けられた指向性オーディオが個別の仮想オブジェクトのために適切な仮想方向に（例えば、仮想キャラクタの頭部の背後からではなく、仮想キャラクタの口から）伝搬するように現れるように、聴取者の頭部姿勢を追跡し、空間化オーディオをより正確にレンダリングする。さらに、本明細書に説明される空間化オーディオシステムは、種々の仮想オブジェクトと関連付けられたオーディオが実際の物理的および仮想オブジェクトから適切に反射するように現れるように、他の実際の物理的および仮想オブジェクトを空間化オーディオのそのレンダリングに含む。加えて、空間化オーディオシステムは、スピーカが、聴取者の耳から個別の非ゼロ距離（例えば、約１ｃｍ範囲内）に配置され、音響結像に悪影響を及ぼす心理音響効果を防止するように、聴取者によって装着されるフレームに取り付けられるスピーカを含む。ある実施形態では、スピーカは、ユーザの耳から３ｍｍ〜３ｃｍの距離に配置される。

従来の映画産業は、２−Ｄまたは３−Ｄであるかどうかにかかわらず、改良されたホーム空間化オーディオシステムを含む、かつてないほど改良されたホームシアターシステムに対して、その観客を失いつつある。本明細書に説明される空間化オーディオシステムおよび拡張現実システムを利用することによって、従来の映画産業は、同期された空間化オーディオ結像およびＡＲ／ＭＲを用いて拡張され、シネマ体験を向上させ、かつコンテンツを個人化／カスタマイズし、シネマ体験をパーソナライズすることができる。個人化されたシネマは、ユーザに対応する利用可能なデータを組み込み、シネマ、ゲーム、および複合メディアシステムのエンターテインメント価値を増加させる、新しい体験をもたらす。
（空間化オーディオシステム）

ＡＲ／ＭＲシナリオは、多くの場合、実世界オブジェクトに関連して、仮想オブジェクトに対応する画像および音の提示を含む。例えば、図１を参照すると、拡張現実場面１００が、描写され、ＡＲ／ＭＲ技術のユーザには、人物、木、背景の建物、および実世界の物理的コンクリートプラットフォーム１０４を特徴とする、実世界の物理的公園状設定１０２が見える。これらのアイテムに加えて、ＡＲ／ＭＲ技術のユーザはまた、実世界の物理的プラットフォーム１０４上に立っている仮想ロボット像１０６およびマルハナバチの擬人化されたように見える、飛んでいる仮想漫画のようなアバタキャラクタ１０８とが「見える」と知覚するが、これらの仮想オブジェクト１０６、１０８は、実世界には存在しない。

真実味がある、または通用する、ＡＲ／ＭＲ場面１００を提示するために、仮想オブジェクト（例えば、ロボット像１０６およびマルハナバチ１０８）は、それぞれ、それと関連付けられた同期される空間化オーディオを有してもよい。例えば、ロボット像１０６と関連付けられた機械的音が、それらがロボット像１０６に対応する仮想場所から発出するように現れるように生成されてもよい。同様に、マルハナバチ１０８と関連付けられたブンブン飛ぶ音が、それらがマルハナバチ１０８に対応する仮想場所から発出するように現れるように生成されてもよい。

空間化オーディオは、位置に加え、配向を有してもよい。例えば、マルハナバチ１０８と関連付けられた「漫画状」音声が、マルハナバチ１０８の口１１０から発出するように現れてもよい。マルハナバチ１０８が、図１に描写されるシナリオにおいて、視認者／聴取者に面している間、マルハナバチ１０８は、視認者／聴取者が仮想マルハナバチ１０８の背後に移動したもの等の別のシナリオでは、視認者／聴取者から離れるように面してもよい。その場合、マルハナバチ１０８の音声は、そのシナリオにおける他のオブジェクト（例えば、ロボット像１０６）から反射された音としてレンダリングされるであろう。

いくつかの実施形態では、仮想音は、実際の物理的オブジェクトから発出するように現れるように生成されてもよい。例えば、仮想鳥音が、ＡＲ／ＭＲ場面１００内の実際の木から生じるように現れるように生成されてもよい。同様に、仮想発話が、ＡＲ／ＭＲ場面１００内の実際の人々から生じるように現れるように生成されてもよい。ＡＲ／ＭＲ会議では、仮想発話が、実際の人物の口から発出するように現れるように生成されてもよい。仮想発話は、実際の人物の音声のような音または完全に異なる音声であってもよい。一実施形態では、仮想発話は、聴取者の周囲の複数の音源から同時に発出するように現れてもよい。別の実施形態では、仮想発話は、聴取者の身体内から発出するように現れてもよい。

同様に、ＶＲシナリオもまた、心理音響効果を最小限にしながら、より正確かつあまり邪魔にならない、空間化オーディオ生成および送達から利点を享受し得る。ＡＲ／ＭＲシナリオのように、ＶＲシナリオもまた、空間化オーディオの１つ以上の移動する視認者／聴取者ユニットレンダリングを考慮しなければならない。位置、配向、および音量の観点からの空間化オーディオの正確なレンダリングは、ＶＲシナリオの没入感を改良することができる、または少なくともＶＲシナリオから注意散漫させない。

図２は、聴取者の頭部２００の上方からの上方視において、聴取者の頭部２００上に装着される、空間化オーディオシステム２０２を図式的に描写する。図２に示されるように、空間化オーディオシステム２０２は、フレーム２０４と、フレーム２０４に取り付けられる、４つの空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４とを含む。空間化オーディオシステムスピーカ２０６−１は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１が、聴取者の頭部２００の正面Ｆおよび左Ｌに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−２は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−２が聴取者の頭部２００の正面Ｆおよび右Ｒに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−３は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−３が聴取者の頭部２００の背後Ｂおよび左Ｌに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−４は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−４が聴取者の頭部２００の背後Ｂおよび右Ｒに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４は全て、聴取者の頭部２００に向かって向けられる。図２に描写される空間化オーディオシステムスピーカ設置は、空間化オーディオの生成を促進する。

本願で使用されるように、「スピーカ」は、限定ではないが、典型的ヒトの聴覚範囲外の音を含む、音を生成する、任意のデバイスを含む。音は、基本的に、空気の分子の移動であるため、多くの異なるタイプのスピーカが、音を生成するために使用されることができる。図２に描写される空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４のうちの１つ以上のものは、表面を振動させ、音を生成する、従来のダイナミックスピーカまたは振動変換器であることができる。振動変換器を含む、実施形態では、変換器は、限定ではないが、フレーム２０４および聴取者の頭蓋骨を含む、任意の表面を振動させ、音を生成し得る。空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４は、スピーカ２０６−１、２０６−２、２０６−３、２０６−４が交換および／またはアップグレードされ得るように、フレーム２０４に除去可能に取り付けられてもよい（例えば、磁気的に）。

図３は、聴取者の頭部２００の背後の後方視からの図２に描写される空間化オーディオシステム２０２を図式的に描写する。図３に示されるように、空間化オーディオシステム２０２のフレーム２０４は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、フレーム２０４の正面が聴取者の頭部２００の上方Ａに来て、フレーム２０４の背面が聴取者の頭部２００の下方Ｕに来るように構成されてもよい。空間化オーディオシステム２０２の４つの空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４は、フレーム２０４に取り付けられるため、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１、２０６−２もまた、聴取者の頭部２００の上方Ａに配置され、２０６−３、２０６−４も、下方Ｕに配置される。図３に描写される空間化オーディオシステムスピーカ設置は、空間化オーディオ、特に、聴取者の頭部２００の上方Ａおよび下方Ｕの平面に位置する仮想オーディオソースを含む、空間化オーディオの生成を促進する。

空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４は、聴取者の頭部２００に向かって向けられると述べられたが、図４に示されるように、聴取者の耳２０８−Ｌ、２０８−Ｒに向かって向けられるようにスピーカ２０６−１、２０６−２、２０６−３、２０６−４を説明することがより正確である。図４は、図２に描写されるものに類似する、上面図である。空間化オーディオシステムスピーカ２０６−１、２０６−３は、聴取者の左耳２０８−Ｌに向かって向けられる。空間化オーディオシステムスピーカ２０６−２、２０６−４は、聴取者の右耳２０８−Ｒに向かって向けられる。空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４を聴取者の耳２０８−Ｌ、２０８−Ｒに向かって向けることは、空間化オーディオを聴取者のためにレンダリングするために必要とされる音量を最小限にする。これは、ひいては、空間化オーディオシステム２０２から漏出する（すなわち、意図されない聴取者に向かって指向される）音の量を低減させる。フレーム２０４はまた、空間化オーディオを聴取者の耳２０８−Ｌ、２０８−Ｒに向かって集束させるように構成されてもよい。例えば、フレーム２０４は、音響導波管を含み、または形成し、空間化オーディオを指向してもよい。

図４はまた、空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４が、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１、２０６−２、２０６−３、２０６−４が聴取者の頭部２００から個別の非ゼロ距離２１０−１、２１０−２、２１０−３、２１０−４に位置するようにフレーム２０４に取り付けられることを図示する。本願で使用されるように、「非ゼロ距離」は、限定ではないが、２つの表面間の顕著な接触を防止する、任意の距離を含む。例えば、聴取者／ユーザの頭部２００から「非ゼロ距離」に位置するスピーカ２０６は、スピーカと聴取者／ユーザの頭部２００との間の最短距離が、スピーカ２０６と聴取者／ユーザの頭部２００との間に接触が存在しないようなものであることを意味する。聴取者／ユーザの頭部２００は、聴取者の耳２０８−Ｌ、２０８−Ｒ（距離２１０−３、２１０−４参照）を含む。

図２−４におけるシステム２０２は、４つの空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４を含むが、他の空間化オーディオシステムは、より少ないまたはより多い空間化オーディオシステムスピーカを含んでもよい。

ここで図５−８を参照すると、いくつかの例示的空間化オーディオシステムコンポーネントオプションが、図示される。図５に示されるように、複数の空間化オーディオシステムスピーカ２０６に結合されるフレーム２０４を含む、頭部搭載型空間化オーディオシステム２０２が、聴取者によって、聴取者の頭部２００上に装着される。以下は、例示的空間化オーディオシステム２０２の可能性として考えられるコンポーネントを説明する。説明されるコンポーネントの全てが、空間化オーディオシステム２０２を実装するために必要なわけではない。

描写される空間化オーディオシステム２０２では、２つの空間化オーディオシステムスピーカ２０６が、スピーカ２０６が聴取者の頭部２００の任意の表面に接触しないように、聴取者の頭部２００から個別の非ゼロ距離に位置付けられる。図５−８では図示されないが、別の対の空間化オーディオシステムスピーカ２０６は、聴取者の頭部２０６の他側上の聴取者の頭部２００から個別の非ゼロ距離に位置付けられ、空間化音を提供する。したがって、本空間化オーディオシステム２０２は、図２−４に描写されるシステムのように、合計４つの空間化オーディオシステムスピーカ２０６を含む。図５、７、および８に描写される空間化オーディオシステム２０２内の空間化オーディオシステムスピーカ２０６は、個別のフレーム２０４に取り付けられるが、空間化オーディオシステム２０２のスピーカ２０６の一部または全部は、図６に描写される実施形態に示されるように、ヘルメットまたは帽子２１２に取り付けられる、もしくはその中に内蔵されてもよい。

空間化オーディオシステム２０２の空間化オーディオシステムスピーカ２０６は、有線導線および／または無線コネクティビティ２１４等によって、ローカル処理およびデータモジュール２１６に動作可能に結合され、これは、フレーム２０４に固定して取り付けられる、図６に描写される実施形態に示されるように、ヘルメットまたは帽子２１２に固定して取り付けられる／その中に内蔵される、図７の実施形態に示されるように、リュック式構成において聴取者の胴体２１８に除去可能に取り付けられる、または図８の実施形態に示されるように、ベルト結合式構成において聴取者の腰部２２０に除去可能に取り付けられる等、種々の構成において搭載されてもよい。

ローカル処理およびデータモジュール２１６は、１つ以上の電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む、「ＩＭＵ」）、コンパス、マイクロホン、ＧＰＳユニット、および／または無線デバイス等、フレーム２０４に動作可能に結合され得るセンサから捕捉されてもよい。代替として、または加えて、データは、遠隔処理モジュール２２２および／または遠隔データリポジトリ２２４を使用して入手および／または処理され、可能性として、そのような処理または読出後、スピーカ２０６による音の生成を促進／指向してもよい。ローカル処理およびデータモジュール２１６は、これらの遠隔モジュール２２２、２２４が、相互に動作可能に結合され、ローカル処理およびデータモジュール２１６へのリソースとして利用可能であるように、有線または無線通信リンク２２６、２２８等を介して、遠隔処理モジュール２２２および遠隔データリポジトリ２２４に動作可能に結合されてもよい。

一実施形態では、遠隔処理モジュール２２２は、オーディオデータおよび／または情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ２２４は、比較的に大規模のデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能なであってもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール２１６において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

１つ以上の実施形態では、空間化オーディオシステムは、典型的には、特定の聴取者の頭部のために適合され、空間化オーディオシステムスピーカは、聴取者の耳に整合される。これらの構成ステップは、聴取者が、頭痛、吐き気、不快感等の任意の生理学的副作用を生じさせずに、最適空間化オーディオ体験を提供されることを確実にするために使用されてもよい。したがって、１つ以上の実施形態では、聴取者装着型空間化オーディオシステムは、個々の聴取者毎に構成され（物理的およびデジタル的の両方において）、プログラムのセットが、聴取者のために具体的に較正されてもよい。例えば、いくつかの実施形態では、聴取者装着型空間化オーディオシステムは、頭部装着型空間化オーディオシステムの空間化オーディオシステムスピーカと聴取者の耳との間の個別の距離と、聴取者の頭部の３−Ｄマッピングとを検出する、または提供されてもよい。これらの測定は全て、所与の聴取者に適合するようにカスタマイズされた頭部装着型空間化オーディオシステムを提供するために使用されてもよい。他の実施形態では、そのような測定は、空間化オーディオ機能を実施するために必要ではない場合がある。例えば、緩く適合された空間化オーディオシステムは、種々の聴取者によって快適に使用され得るが、可能性として、仮想オーディオソースのあまり正確ではない空間化を伴う。

空間化オーディオシステムを実装するために必要とされないが、ディスプレイ２３０が、図５−８に示されるように、フレーム２０４に結合されてもよい（例えば、空間オーディオ体験に加え、光学ＡＲ／ＭＲ体験のために）。例示的ＡＲ／ＭＲディスプレイは、米国特許出願第１４／７３８，８７７号（代理人管理番号第ＭＬ．２００１９．００号）および第１４／５５５，５８５号（代理人管理番号第ＭＬ．２００１１．００号）（その内容は、参照することによって前述で本明細書に組み込まれている）に説明される。ディスプレイ２３０を含む、実施形態では、ローカル処理およびデータモジュール２１６と、遠隔処理モジュール２２２と、遠隔データリポジトリ２２４とは、空間オーディオデータに加え、３−Ｄビデオデータを処理してもよい。

図９は、有線導線および／または無線コネクティビティ２１４を介してローカル処理およびデータモジュール２１６に動作可能に結合される、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２を含む、一実施形態による、空間化オーディオシステム２０２を描写する。空間化オーディオシステム２０２はまた、有線導線および／または無線コネクティビティ２１４を介してローカル処理およびデータモジュール２１６に動作可能に結合される、頭部姿勢センサ２３２を含む。頭部姿勢センサ２３２は、聴取者／ユーザの頭部姿勢データを収集するように構成される。頭部姿勢センサ２３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む）、コンパス、マイクロホン、ＧＰＳユニット、または無線デバイスのうちの１つ以上のものを含んでもよい。図９に描写される空間化オーディオシステム２０２は、２つのみの空間化オーディオシステムスピーカ２０６−１、２０６−２を含むが、他の実施形態による、空間化オーディオシステムは、より多くのスピーカを含んでもよい。

空間化オーディオシステム２０２はさらに、頭部姿勢プロセッサ２３４を含み、少なくとも、頭部姿勢センサ２３２によって収集される頭部姿勢データに基づいて、空間化オーディオシステム２０２を装着する聴取者／ユーザの頭部姿勢を決定する。本願で使用されるように、「頭部姿勢プロセッサ」は、限定ではないが、コンピュータが頭部姿勢を決定し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個および独立したソフトウェアおよび／またはハードウェアコンポーネント、ならびにそこに追加されるそのようなコンポーネントを有するコンピュータを含む。

空間化オーディオシステム２０２はさらに、空間化オーディオプロセッサ２３６を含み、少なくとも、頭部姿勢プロセッサ２３４によって決定された頭部姿勢に基づいて、空間化オーディオシステム２０２を装着する聴取者／ユーザに送達されるべき空間化オーディオのための空間化オーディオデータを生成する。生成された空間化オーディオデータは、空間化音場内の仮想オーディオソース毎に、コンテンツ、位置、配向、および音量データを含んでもよい。本願で使用されるように、「オーディオプロセッサ」は、限定ではないが、コンピュータが空間化オーディオデータを生成し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個および独立したソフトウェアおよび／またはハードウェアコンポーネント、ならびにそこに追加されるそのようなコンポーネントを有するコンピュータを含む。空間化オーディオプロセッサ２３４はまた、空間化オーディオデータに基づいて、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２のためのオーディオ信号を生成し、空間化オーディオを聴取者／ユーザに送達してもよい。

図１０は、実際の物理的オーディオソース３０２によって生成されるような空間化音場３００を描写する。実際の物理的音源３０２は、場所および配向を有する。実際の物理的音源３０２は、多くの部分を有する、音波を生成する。聴取者の頭部２００に対する実際の物理的音源３０２の場所および配向に起因して、音波の第１の部分３０６は、聴取者の左耳２０８−Ｌに指向される。音波の第２の部分３０６’は、聴取者の頭部２００から離れ、空間化音場３００内のオブジェクト３０４に向かって指向される。音波の第２の部分３０６’は、オブジェクト３０４から反射し、反射された第３の部分３０６’’を生成し、これは、聴取者の右耳２０８−Ｒに指向される。音波の第１の部分３０６ならびに第２および第３の部分３０６’、３０６’’によって進行される異なる距離のため、これらの部分は、若干異なる時間において、聴取者の左および右耳２０８−Ｌ、２０８−Ｒに到着するであろう。さらに、オブジェクト３０４は、聴取者の右耳２０８−Ｒに到達する前に、音波の反射された第３の部分３０６’’の音を変調させ得る。

図１０に描写される空間化音場３００は、１つのみの実際の物理的音源３０２と、１つのオブジェクト３０４とを含む、非常に単純なものである。本単純空間化音場３００を再現する空間化オーディオシステム２０２さえ、音波の種々の反射および変調を考慮しなければならない。その中の音波と相互作用する、１つを上回る音源および／または１つを上回るオブジェクトを伴う空間化音場は、指数関数的により複雑になる。空間化オーディオシステム２０２は、これらのますます複雑な空間化音場を再現するために、ますます強力でなければならない。図９に描写される空間化オーディオプロセッサ２３６は、ローカル処理およびデータモジュール２１６の一部であるが、より強力な空間化オーディオプロセッサ２３６は、他の実施形態では、ローカル処理およびデータモジュール２１６における空間および電力を節約するために、遠隔処理モジュール２２２の一部であってもよい。

図１１は、別の実施形態による、空間化オーディオシステム２０２を描写する。図１０に描写されるシステム２０２は、図９に描写されるシステム２０２に類似する。差異は、図１０に描写される空間化オーディオシステムが、有線導線および／または無線コネクティビティ２１４を介してローカル処理およびデータモジュール２１６に動作可能に結合される、増幅器２３８を含むことである。別の差異は、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２が、ローカル処理およびデータモジュール２１６の代わりに、有線導線および／または無線コネクティビティ２１４を介して増幅器２３８に動作可能に接続されることである。増幅器２３８は、ローカル処理およびデータモジュール２１６からの空間化オーディオデータに基づいて、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２のためのオーディオ信号を生成し、空間化オーディオを空間化オーディオシステム２０２を装着する聴取者／ユーザに送達する。増幅器２３８は、増幅器２３８が、オーディオ信号を生成するとき、空間化オーディオシステムスピーカ２０６−１、２０６−２を監視し、オーディオ歪曲を最小限にし、オーディオ再現の正確度を改良するように、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２に緊密に結合される。
（個人化された空間化シネマオーディオおよびビデオ体験）

図１２は、聴取者／視認者／ユーザの頭部２００の背後の正面に面した斜方視から、一実施形態による、空間化シネマオーディオおよびビデオ体験４００を描写する。空間化シネマオーディオおよびビデオ体験４００では、聴取者／視認者／ユーザは、シネマ体験のための部屋（例えば、映画館またはホームシネマルーム）内に位置付けられる。空間化シネマオーディオおよびビデオ体験４００は、第１および第２の仮想オーディオソース４０２−１、４０２−２を含む。これらの仮想オーディオソース４０２−１、４０２−２は、シネマプロジェクタおよびＡＲ／ＭＲディスプレイ２３０を使用してユーザに提示される、視覚的情報に対応する。例えば、第１の仮想オーディオソース４０２−１は、映画場面内のキャラクタに対応してもよく、第２の仮想オーディオソース４０２−２は、関連ＡＲ／ＭＲ場面内のホーンに対応してもよい。映画場面内のキャラクタは、シネマディスプレイ／画面４０８上においてユーザに表示されてもよく、ホーンは、空間化オーディオ／ＡＲ／ＭＲシステム２０２のフレーム２０４に結合されるディスプレイ２３０（図１２には図示せず、図５−８参照）上においてユーザに表示されてもよい。代替として、映画場面内のキャラクタは、立体写真、偏光、またはシャッタベース等の従来のシネマ３−Ｄ技術を使用して、ユーザに表示されてもよい。

図１２はまた、第１の仮想オーディオソース４０２−１（すなわち、仮想キャラクタ）に対応する音波の部分４０６を描写し、これは、聴取者の左耳２０８−Ｌに指向される。図１２はさらに、第２の仮想オーディオソース４０２−２（すなわち、ホーン）に対応する音波の第１の部分４０６’を描写し、これは、仮想オブジェクト４０４に指向される。第１の部分４０６’は、仮想オブジェクト４０４から反射し、第２の部分４０６’’を形成し、これは、聴取者の右耳２０８−Ｒに指向される。

図１３は、側方視から、図１２に描写される空間化シネマオーディオおよびビデオ体験４００実施形態を描写する。図１３は、第１の仮想オーディオソース４０２−１（すなわち、仮想キャラクタ）が、聴取者の左耳２０８−Ｌの若干下方にあって、かつシネマディスプレイ／画面４０８の背後にあることを示す。図１３はまた、第２の仮想オーディオソース４０２−２（すなわち、ホーン）が、聴取者の右耳２０８−Ｒの若干上方にあって、仮想オブジェクト４０４が、ある高さを聴取者の右耳２０８−Ｒと第２の仮想オーディオソース４０２−２との間に有することを示す。

第２の仮想オーディオソース４０２−２（すなわち、ホーン）は、ＡＲ／ＭＲディスプレイ２０４を使用して表示される。ＡＲ／ＭＲディスプレイ２０４は、第２の仮想オーディオソース４０２−２の仮想場所が視認者の姿勢の位置から独立して世界内に設定されるように、第２の仮想オーディオソース４０２−２（および任意の他の仮想オブジェクト）を「世界中心」ビュー内に表示するように構成されることができる。故に、視認者が、その頭部を第２の仮想オーディオソース４０２−２から離れるように旋回させる場合、もはや仮想オブジェクトが見えないであろう。他の可能性は、限定ではないが、仮想オブジェクトの仮想場所が視認者の身体に対して設定される「身体中心」と、仮想オブジェクトの仮想場所が視認者の頭部に対して設定される「頭部中心」（例えば、ヘッドアップディスプレイ）とを含む。

第１および第２の仮想オーディオソース４０２−１、４０２−２は、実際の物理的場所を有していないが、その仮想場所は、第１および第２の仮想オーディオソース４０２−１、４０２−２に対応する個別の空間化オーディオをレンダリングする際に重要である。図１２および１３に描写される空間化シネマオーディオおよびビデオ体験４００は、２つのみの仮想オーディオソース４０２−１、４０２−２を含むが、他の空間化シネマオーディオ体験は、より多いまたはより少ない仮想オーディオソースを含んでもよい。例えば、典型的映画場面は、背景音楽、背景雑音、物理的アクションと関連付けられた音、および対話等の多くの仮想オーディオソースを含んでもよい。これらの多くの仮想オーディオソースを正確に再現することは、空間化シネマオーディオ体験の聴取者の享受を増加させる。

空間化シネマオーディオおよびビデオ体験４００は、体験４００を生成および送達するために使用される、本明細書におけるＡＲ／ＭＲおよび空間化オーディオシステムの実施形態を参照して説明された。異なるレベルの正確度および精度ではあるが、空間化シネマオーディオおよびビデオ体験４００を送達するように構成され得る、他のビデオおよびオーディオシステムが、ここで説明されるであろう。
（空間化シネマオーディオシステム）

図１４は、上方視から、空間化シネマオーディオ体験を生成するために使用され得る、従来の空間化シネマオーディオシステム５０２を描写する。空間化シネマオーディオシステム５０２は、シネマ体験のための部屋（例えば、映画館またはホームシネマルーム）の周囲に配置される、複数のシネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４を含む。シネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４は、各シネマスピーカ５０６が具体的周波数（例えば、ツイータ、ミッドレンジスピーカ、およびサブウーファ）において音を生産するように最適化され得るように、種々のサイズの従来のダイナミックスピーカであることができる。

図１４に描写される空間化シネマオーディオシステム５０２は、４つのシネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４を含むが、他の空間化シネマオーディオシステムは、より少ないまたはより多いシネマスピーカを有してもよい。例えば、大型映画館内の空間化シネマオーディオシステムは、多くのさらなるシネマスピーカを有するであろう。図１４は、聴取者の頭部２００の周囲に比較的に均一に分散されるように、シネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４を描写するが、これは、聴取者が空間化シネマオーディオシステム５０２によって生成されたオーディオ場の中心に位置付けられる場合のみに該当する。特に、大型映画館では、聴取者は、オーディオ場の中心から有意な距離を空けて位置付けられ得る。そのような中心から外れた聴取者は、オーディオ場の中心から離れた距離に比例する歪曲量を伴って、歪曲されたオーディオ体験を知覚するであろう。

加えて、従来の空間化シネマオーディオシステムは、そのシネマ体験をＡＲ／ＭＲデバイスを用いて拡張し得る、ユーザ／聴取者の頭部姿勢を考慮しない。故に、従来の空間化シネマオーディオシステムは、異なる拡張シネマ体験を有し得る複数のユーザ／聴取者に対して、オーディオを同時に生成／提示することが不可能であり得る。

図１５は、別の従来の空間化シネマオーディオシステム５０２を図式的に描写する。空間化シネマオーディオシステム５０２は、複数のシネマスピーカ５０６−１、５０６−２と、シネマオーディオプロセッサ５３６とを含む。シネマオーディオプロセッサ５３６は、光ファイバ、有線導線、および／または無線コネクティビティ２１４によって、シネマスピーカ５０６−１、５０６−２に通信可能に結合される。シネマオーディオプロセッサ５３６は、シネマオーディオソースデータを受信し、シネマオーディオデータを受信されたソースデータから生成する。シネマオーディオプロセッサ５３６は、インターネット等のネットワークを経由して、映画スタジオまたはメディアコンテンツ送達業者のいずれかによって維持されるデータベースから、シネマオーディオソースデータを受信してもよい。シネマオーディオプロセッサ５３６は、映画が再生される前に、または映画が再生されている間、リアルタイムで、シネマオーディオソースデータを受信してもよい。図１５に描写される空間化シネマオーディオシステム５０２は、２つのシネマスピーカ５０６−１、５０６−２を含むが、他の空間化シネマオーディオシステムは、より少ないまたはより多いシネマスピーカを有してもよい。
（個人化された空間化シネマオーディオシステム）

図１６は、上方視から、一実施形態による、個人化された空間化シネマオーディオ体験を生成するために使用され得る、個人化された空間化シネマオーディオシステム５００を描写する。個人化された空間化シネマオーディオ体験は、図１２および１３に描写されるもの等の従来の空間化シネマオーディオ体験の多くの要素を含む。加えて、個人化された空間化シネマオーディオ体験は、従来の空間化シネマオーディオ体験の上に、ユーザ／聴取者の位置、配向、および姿勢を考慮する、個々の空間化オーディオ体験を層状化する。

個人化された空間化シネマオーディオシステム５００は、空間化シネマオーディオシステム５０２と、パーソナル空間化オーディオシステム２０２とを含む。空間化シネマオーディオシステム５０２は、シネマ体験のための部屋（例えば、映画館またはホームシネマルーム）の周囲に配置される、複数のシネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４を含む。空間化シネマオーディオシステム５０２は、図１４に描写され、上記に説明される、システム５０２と共通するある側面を有する。これらのシステム間の差異は、以下に詳述されるであろう。

パーソナル空間化オーディオシステム２０２は、聴取者の頭部２００上に装着されるように、図１６に示される。空間化オーディオシステム２０２は、フレーム２０４と、フレーム２０４に取り付けられる、４つのパーソナル空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４とを含む。空間化オーディオシステムスピーカ２０６−１は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１が聴取者の頭部２００の正面Ｆおよび左Ｌに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−２は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−２が聴取者の頭部２００の正面Ｆおよび右Ｒに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−３は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−３が聴取者の頭部２００の背後Ｂおよび左Ｌに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−４は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−４が聴取者の頭部２００の背後Ｂおよび右Ｒに来るようにフレーム２０４に取り付けられる。空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４は全て、聴取者の頭部２００に向かって向けられる。パーソナル空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４はまた、パーソナル空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１、２０６−２、２０６−３、２０６−４が聴取者の頭部２００から個別の非ゼロ距離に位置するようにフレーム２０４に取り付けられる。

図１６に描写される個人化された空間化シネマオーディオシステム５００内のシネマスピーカ５０６およびパーソナルスピーカ２０６の設置は、個人化された空間化シネマオーディオの生成および提示を促進する。例えば、シネマスピーカ５０６は、全てのユーザ／聴取者に共通の映画サウンドトラックならびに背景オブジェクトおよびキャラクタに対応するシネマオーディオを提示し得る。加えて、パーソナルスピーカ２０６は、パーソナル空間化オーディオシステム２０２（例えば、ＡＲ／ＭＲシステム）を装着する特定のユーザ／聴取者のみに提示される仮想オブジェクトに対応するパーソナルオーディオを提示してもよい。このように、個人化された空間化シネマオーディオ体験は、ユーザ／聴取者毎に、カスタマイズされることができる（例えば、その場所、配向、および頭部姿勢のために）。

パーソナルスピーカ２０６は、特定のユーザ／聴取者にのみ提示される仮想オブジェクトに対応するパーソナルオーディオを提示するために使用されてもよいが、パーソナルスピーカ２０６からのパーソナルオーディオは、映画館内の全てのユーザ／聴取者に提示される、映画内のオブジェクトおよびキャラクタに対応してもよい。そのような実施形態では、各ユーザ／聴取者のパーソナルスピーカ２０６からのパーソナルオーディオは、映画オブジェクトおよびキャラクタに対応するシネマオーディオの補完または置換のいずれかを行ってもよい。パーソナルオーディオがシネマオーディオを補完するかまたは置換するかにかかわらず、個人化された空間化シネマオーディオシステム５００は、能動的雑音低減技法を採用し、パーソナルオーディオによって補完または置換されたシネマオーディオの部分を低減または相殺してもよい。これらの実施形態は、シネマオーディオシステムオーディオ場の中心から変位されるユーザ／聴取者のためのシネマオーディオを正確に生産する問題に対処し得る。

図１７は、上方視から、図１６に描写される個人化された空間化シネマオーディオシステム５００実施形態を描写する。しかしながら、図１７では、ユーザ／聴取者の頭部２００は、その上に装着されたパーソナル空間化オーディオシステム２０２とともに、左に９０°旋回されている。本構成では、パーソナル空間化オーディオシステム２０２の基準のフレームは、左に９０°回転されている。したがって、ユーザ／聴取者の頭部２００の右側Ｒは、シネマ画面／ディスプレイ４０８に面する一方、ユーザ／聴取者の頭部２００の左側Ｌは、映画館の後方に面する。

図９および１１に描写される空間化オーディオシステム２０２に関して前述（および後述）されるように、パーソナル空間化オーディオシステム２０２は、ユーザの頭部姿勢／聴取者を認知し、その頭部姿勢を利用し、映画（および／または他のメディア）およびユーザ／聴取者の頭部２００の位置と一致するパーソナルオーディオを生成および提示する。例えば、第２の仮想オーディオソース４０２−２（ホーン）に対応するもの等の個人化された空間化シネマオーディオおよびビデオ体験４００における音は、ユーザ／聴取者がオーディオソースを聴取者の頭部２００の右および若干上方に位置するように知覚するように提示されるべきである（図１２および１３参照）。図１６に描写される個人化された空間化シネマオーディオシステム５００の構成では、ホーンに対応する音は、聴取者の頭部２００の右側のパーソナル空間化オーディオシステムスピーカ２０６−２、２０６−４によって生成されてもよい。他方では、図１７に描写される構成では、ホーンに対応する音は、聴取者の頭部２００の背面のパーソナル空間化オーディオシステムスピーカ２０６−３、２０６−４によって生成されてもよい。このように、個人化された空間化シネマオーディオシステム５００は、ユーザ／聴取者毎に、空間化シネマオーディオをより正確かつ精密に生産することができる。

図１６および１７に描写される個人化された空間化シネマオーディオシステム５００は、４つのシネマスピーカ５０６−１、５０６−２、５０６−３、５０６−４と、４つのパーソナル空間化オーディオシステムスピーカ２０６−１、２０６−２、２０６−３、２０６−４とを含むが、他の個人化された空間化シネマオーディオシステム５００は、より少ないまたはより多いシネマスピーカ５０６と、パーソナル空間化オーディオシステムスピーカ２０６とを含んでもよい。シネマスピーカ５０６およびパーソナル空間化オーディオシステムスピーカ２０６の数、タイプ、位置、および配向は、ユーザ／聴取者への個人化された空間化シネマオーディオの提示を最適化するために協調されてもよい。例えば、より大きいシネマスピーカ５０６（例えば、サブウーファ）が、低周波数音を提示するために使用されてもよい一方、より小さいパーソナル空間化オーディオシステムスピーカ２０６が、高周波数および中間周波数音を提示するために使用されてもよい。

図１８は、一実施形態による、個人化された空間化シネマオーディオシステム５００を図式的に描写する。個人化された空間化シネマオーディオシステム５００は、シネマオーディオシステム５０２と、パーソナル空間化オーディオシステム２０２とを含む。

図１８に描写される空間化シネマオーディオシステム５０２は、複数のシネマスピーカ５０６−１、５０６−２と、シネマオーディオプロセッサ５３６とを含む。シネマオーディオプロセッサ５３６は、有線導線および／または無線コネクティビティ２１４によって、シネマスピーカ５０６−１、５０６−２に通信可能に結合される。シネマオーディオプロセッサ５３６は、シネマオーディオソースデータを受信し、シネマオーディオデータを受信されたソースデータから生成する。シネマオーディオプロセッサ５３６は、インターネット等のネットワークを経由して、映画スタジオまたはメディアコンテンツ送達業者のいずれかによって維持されるデータベースから、シネマオーディオソースデータを受信してもよい。シネマオーディオプロセッサ５３６は、映画が再生される前に、または映画が再生されている間、リアルタイムで、シネマオーディオソースデータを受信してもよい。図１８に描写される空間化シネマオーディオシステム５０２は、２つのシネマスピーカ５０６−１、５０６−２を含むが、他の空間化シネマオーディオシステムは、より少ないまたはより多いシネマスピーカを有してもよい。

図１８に描写されるパーソナル空間化オーディオシステム２０２は、有線導線および／または無線コネクティビティ２１４を介して、ローカル処理およびデータモジュール２１６に動作可能に結合される、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２を含む。パーソナル空間化オーディオシステム２０２はまた、有線導線および／または無線コネクティビティ２１４を介して、ローカル処理およびデータモジュール２１６に動作可能に結合される、頭部姿勢センサ２３２を含む。頭部姿勢センサ２３２は、聴取者／ユーザの頭部姿勢データを収集するように構成される。頭部姿勢センサ２３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む）、コンパス、マイクロホン、ＧＰＳユニット、または無線デバイスのうちの１つ以上のものを含んでもよい。図１８に描写されるパーソナル空間化オーディオシステム２０２は、２つのみの空間化オーディオシステムスピーカ２０６−１、２０６−２を含むが、他の実施形態による、空間化オーディオシステムは、より多いスピーカを含んでもよい。

パーソナル空間化オーディオシステム２０２はさらに、頭部姿勢プロセッサ２３４を含み、少なくとも、頭部姿勢センサ２３２によって収集される頭部姿勢データに基づいて、パーソナル空間化オーディオシステム２０２を装着する聴取者／ユーザの頭部姿勢を決定する。本願で使用されるように、「頭部姿勢プロセッサ」は、限定ではないが、コンピュータが頭部姿勢を決定し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個かつ独立したソフトウェアおよび／またはハードウェアコンポーネント、ならびにそこに追加されるそのようなコンポーネントを有するコンピュータを含む。

パーソナル空間化オーディオシステム２０２はさらに、空間化オーディオプロセッサ２３６を含み、少なくとも、頭部姿勢プロセッサ２３４によって決定された頭部姿勢に基づいて、パーソナル空間化オーディオシステム２０２を装着する聴取者／ユーザに送達されるべき空間化オーディオのための空間化オーディオデータを生成する。生成された空間化オーディオデータは、空間化音場内の仮想オーディオソース毎に、コンテンツ、位置、配向、および音量データを含んでもよい。本願で使用されるように、「オーディオプロセッサ」は、限定ではないが、コンピュータが空間化オーディオデータを生成し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個および独立ソフトウェアおよび／またはハードウェアコンポーネント、ならびにそこに追加されるそのようなコンポーネントを有するコンピュータを含む。空間化オーディオプロセッサ２３４はまた、空間化オーディオデータに基づいて、複数の空間化オーディオシステムスピーカ２０６−１、２０６−２のためのオーディオ信号を生成し、空間化オーディオを聴取者／ユーザに送達してもよい。

さらに、パーソナル空間化オーディオシステム２０２は、同期モジュール２４４を含み、パーソナル空間化オーディオシステム２０２によって提示されるパーソナルオーディオとシネマオーディオシステム５０２によって提示されるシネマオーディオを時間的に同期させる。本時間的同期は、パーソナルオーディオコンテンツがシネマオーディオコンテンツに一致することを確実にする。

図１８に描写される個人化された空間化シネマオーディオシステム５００内のシネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２は、パーソナルシネマシステムリンク５５０を介して、動作可能かつ通信可能に結合される。ある実施形態によると、個人化された空間化シネマオーディオシステム５００は、シネマオーディオシステム５０２からパーソナル空間化オーディオシステム２０２への一方向通信を含む。一方向通信は、パーソナル空間化オーディオシステム２０２が、（１）シネマオーディオシステム５０２によって提示されるシネマメディア（例えば、映画）を識別し、（２）パーソナルメディア（例えば、聴取者／ユーザに具体的な音）とシネマメディアを同期させることを可能にする。したがって、あるタイプのタイミング情報は、個人化された空間化シネマオーディオシステム５００を実装するために有用である。

図１８に示される実施形態では、パーソナルシネマシステムリンク５５０は、双方向通信リンクである。例えば、シネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２は、限定ではないが、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１ｘ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および近距離通信を含む、無線接続によって、動作可能かつ通信可能に結合されてもよい。双方向通信は、シネマオーディオシステム５０２が、メディア情報５５２（例えば、メディアに関するメタデータ）をパーソナル空間化オーディオシステム２０２に送信し、パーソナル空間化オーディオシステム２０２が、ユーザ／聴取者情報５５４をシネマオーディオシステム５０２に送信することを可能にする。

メディア情報５５２は、メディア識別情報および／またはタイミング情報を含むことができる。メディア識別情報は、タイトル、ＥＩＤＲ番号、および／または他のデジタルオブジェクト識別子を含むことができる。タイミング情報は、タイムコードおよび／またはキューを含むことができる。例示的タイムコードは、ＵＤＰパケット内のＳＭＰＴＥタイムコードまたはＭＩＤＩタイムコードである。メディア識別情報は、メディア識別情報を受信するパーソナル空間化オーディオシステム２０２が、ユーザ／聴取者に、シネマオーディオシステム５０２によって提示されるシネマオーディオコンテンツを補完するパーソナルオーディオコンテンツを送達することを可能にする。タイミング情報は、パーソナルオーディオコンテンツがシネマオーディオコンテンツに一致するように、個人化されたシネマオーディオシステム５００が、パーソナル空間化オーディオシステム２０２とシネマオーディオシステム５０２を同期させることを可能にする。

ユーザ／聴取者情報５５４は、メディアに対するユーザ／聴取者反応に関連する情報を含むことができる。そのような反応情報は、手動で打ち込まれる（例えば、ＵＩを介して）、または自動的に収集されることができる（例えば、記録された眼移動および／または悲鳴等の音）。ユーザ／聴取者情報５５４はまた、メディアに関連するアプリケーションとのユーザ／聴取者の相互作用に関連する情報を含むことができる。そのようなアプリケーションの実施例は、映画（すなわち、メディア）に基づいてユーザ／聴取者の携帯電話上で起動する、ゲームアプリケーションである。ゲームアプリからのもの等のユーザ／聴取者情報５５４は、個人化されたシネマオーディオシステム５００が、以下に説明されるであろうように、特定のユーザ／聴取者のためにパーソナルオーディオコンテンツをパーソナライズすることに役立つことができる。

図１９および２０に描写される個人化された空間化シネマオーディオシステム５００等の他の実施形態では、パーソナルシネマシステムリンク５５０は、一方向通信リンク（シネマオーディオシステム５０２からパーソナル空間化オーディオシステム２０２に）である。例えば、シネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２は、シネマシステム（例えば、シネマオーディオシステム５０２）によって生成され、パーソナル空間化オーディオシステム２０２によって認識される、１つ以上の光学および／またはオーディオキューによって、動作可能かつ通信可能に結合されてもよい。

オーディオおよび／または光学キューは、メディア識別情報およびタイミング情報の両方を通信してもよい。オーディオキューは、具体的オーディオキュー（例えば、映画サウンドトラックに加え、音波）またはオーディオメディア（例えば、映画サウンドトラック）自体を含んでもよい。具体的オーディオキューは、パーソナルオーディオシステム２０２が具体的オーディオキューを検出および認識し得る限り、ヒトに可聴または不可聴であってもよい。具体的オーディオキューは、メディア情報５５２（例えば、メディア識別情報および／またはタイミング情報）でエンコードされたオーディオであることができる。具体的オーディオキューは、既知のインターバルで繰り返され、シネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２の時間的同期を促進してもよい。

同期インターバルは、システム性能に応じて、変化してもよい。例えば、シネマオーディオシステム５０２タイミングおよびパーソナル空間化オーディオシステム２０２タイミングが固定範囲（例えば、１ｍｓ）内である場合、同期インターバルは、増加されてもよい。他方では、タイミングが、発散する場合、同期インターバルは、減少されてもよい。

具体的オーディオキューは、大部分の視認者／ユーザによって認識されないように短い時間にわたって１つ以上のシネマスピーカ上で再生され得る、音であってもよい。そのような実施形態では、パーソナルオーディオシステム２０２は、オーディオセンサ２４０（例えば、マイクロホン）を含み、図１９に示されるように、音を検出する。オーディオセンサ２４０は、有線導線および／または無線コネクティビティ２１４等によって、パーソナル空間化オーディオシステム２０２のローカル処理およびデータモジュール２１６に動作可能に結合される。音は、平均的ユーザに可聴または不可聴であってもよく、パーソナルオーディオシステム２０２内の対応するオーディオセンサ２４０を用いる。

オーディオキューが、オーディオメディア自体を含む、実施形態では、オーディオメディア（例えば、映画サウンドトラック）が、キュー認識システムによって、音調クラスタから作製されるサンプルオーディオデータパケットとして検出されてもよく、これは、データベース（例えば、映画サウンドトラックオーディオデータパケットのデータベース）内の複数の基準オーディオデータパケットと比較され、サンプルオーディオデータパケットと関連付けられたメディアを識別する。サンプルオーディオデータパケットが、基準オーディオデータパケットに合致すると、パーソナルオーディオシステム２０２は、サンプルオーディオデータパケットと関連付けられたメディア製品（例えば、映画）を識別する。

基準オーディオデータパケットのデータベースは、複数の識別子を含んでもよく、それぞれ、個別の基準オーディオデータパケットと関連付けられる。各識別子は、識別子と関連付けられた映画サウンドトラックおよび／または基準オーディオデータパケットに続く基準オーディオデータパケットのシーケンス内の個別の時間に対応し得る。個人化されたシネマオーディオシステム５００は、基準オーディオデータパケットデータベースビルダを含んでもよく、これは、オーディオメディアを走査し、その中の複数の基準オーディオデータパケット（例えば、音調クラスタ）を識別するように構成される。他の実施形態では、基準オーディオデータパケットデータベースビルダは、個人化されたシネマオーディオシステム５００と別個であって、これは、ネットワーク（例えば、インターネット）を介して、基準オーディオデータパケットデータベースにアクセスする。

同様に、パーソナルオーディオシステム２０２は、サンプルオーディオデータパケットとデータベース内の複数の基準オーディオデータパケットを合致させ、サンプルオーディオデータパケットと関連付けられた識別されたメディア製品（例えば、映画）内の時間（例えば、タイムコード）を識別することができる。サンプルオーディオデータパケットが、基準オーディオデータパケットに合致すると、パーソナルオーディオシステム２０２は、メディア製品（例えば、映画）内の時間（例えば、タイムコード）を識別する。サンプルオーディオデータパケットと基準オーディオデータパケットを合致させ、メディア製品内の時間を識別することは、メディア製品を識別することと同時に、またはメディア製品が識別された後に生じることができる。後者の場合、パーソナルオーディオシステム２０２は、サンプルオーディオデータパケットとすでに識別されているメディア製品に特有の複数の基準オーディオデータパケットを比較し、システム効率を改良し得る。オーディオデータパケットは、既知のインターバルで繰り返しサンプリングおよび識別され、シネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２の時間的同期を促進してもよい。繰り返されるオーディオデータパケット識別は、予測される合致するオーディオデータパケットを利用して、そこから前進および／または後進させ、システム効率を改良し得る。

オーディオキューのように、光学キューも、具体的光学キュー（例えば、映画に加え、画像）または光学メディア（例えば、映画）自体を含んでもよい。光学キューは、シネマ光学システムによって提示されてもよい。具体的光学キューは、パーソナルオーディオシステム２０２が具体的光学キューを検出および認識し得る限り、ヒトに可視または不可視であってもよい。具体的光学キューは、メディア情報５５２（例えば、メディア識別情報および／またはタイミング情報）でエンコードされた１つ以上の画像であることができる。具体的光学キューは、既知のインターバルで繰り返され、シネマオーディオシステム５０２およびパーソナル空間化オーディオシステム２０２の時間的同期を促進してもよい。

具体的光学キューは、大部分の視認者／ユーザによって認識されないように短い時間にわたって画面上に表示され得る、「ウォーターマーク」であってもよい。そのような実施形態では、パーソナルオーディオシステム２０２は、光学センサ２４２を含み、図２０に示されるように、ウォーターマークを検出する。光学センサ２４０は、有線導線および／または無線コネクティビティ２１４等によって、パーソナル空間化オーディオシステム２０２のローカル処理およびデータモジュール２１６に動作可能に結合される。ウォーターマークは、可視光または不可視（例えば、赤外線）光を使用して提示されてもよく、パーソナルオーディオシステム２０２内の対応する光学センサ２４０を用いる。

光学キューが光学メディア自体を含む実施形態では、光学メディア（例えば、映画）は、キュー認識システムによって、サンプル光学データパケットとして検出されてもよく、これは、データベース（例えば、映画画像光学データパケットのデータベース）内の複数の基準光学データパケットと比較され、サンプル光学データパケットと関連付けられたメディアを識別する。サンプル光学データパケットが、基準光学データパケットに合致すると、パーソナルオーディオシステム２０２は、サンプル光学データパケットと関連付けられたメディア製品（例えば、映画）を識別する。

同様に、パーソナルオーディオシステム２０２は、サンプル光学データパケットとデータベース内の複数の基準光学データパケットを合致させ、サンプル光学データパケットと関連付けられた識別されたメディア製品（例えば、映画）内の時間（例えば、タイムコード）を識別することができる。サンプル光学データパケットが、基準光学データパケットに合致すると、パーソナルオーディオシステム２０２は、メディア製品（例えば、映画）内の時間（例えば、タイムコード）を識別する。サンプル光学データパケットと基準光学データパケットを合致させ、メディア製品内の時間を識別することは、メディア製品を識別することと同時に、またはメディア製品が識別された後に生じることができる。後者の場合、パーソナルオーディオシステム２０２は、サンプル光学データパケットとすでに識別されているメディア製品に特有の複数の基準光学データパケットを比較し、システム効率を改良し得る。光学データパケットは、既知のインターバルで繰り返しサンプリングおよび識別され、シネマ光学システム５０２およびパーソナル空間化光学システム２０２の時間的同期を促進してもよい。繰り返される光学データパケット識別は、予測される合致する光学データパケットを利用し、そこから前進および／または後進し、システム効率を改良し得る。

パーソナルシネマシステムリンク５５０が、双方向通信リンクであるかまたは一方向通信リンクであるかにかかわらず、シネマオーディオシステム５０２は、図１９および２０に示されるように、パーソナルシネマシステムリンク５５０を経由して、メディア情報５５２（例えば、メディア識別情報およびタイミング情報）をパーソナル空間化オーディオシステム２０２に送信することができる。

種々の実施形態による、パーソナライズされた空間化オーディオシステム２０２および個人化されたシネマオーディオシステム５００の種々の側面が説明されたが、空間化オーディオシステム（例えば、２０２）および個人化されたシネマオーディオシステム（例えば、５００）を使用してパーソナライズされた空間化オーディオおよび個人化されたシネマオーディオを提示するための方法が、ここで説明されるであろう。

図２１は、一実施形態による、パーソナライズされた空間化オーディオシステムを利用して空間化オーディオを提示する方法６００を描写する。パーソナライズされた空間化オーディオシステム２０２は、例えば、図９、１１および１８−２０に示されるように、頭部姿勢センサ２３２と、頭部姿勢プロセッサ２３４と、空間化オーディオプロセッサ２３６と、パーソナル空間化オーディオシステムスピーカ２０６とを含んでもよい。

ステップ６０２では、パーソナライズされた空間化オーディオシステム２０２は、随意に、ソースオーディオデータを受信する。ソースオーディオデータは、パーソナライズされた空間化オーディオシステム２０２のスピーカ２０６を介してユーザ／聴取者に送達されることが意図される、音に対応する。ソースオーディオデータは、有線または無線接続を介してデータベースから受信されてもよい。代替として、ソースオーディオデータは、前もって受信され、パーソナライズされた空間化オーディオシステム２０２上に記憶されてもよい。パーソナライズされた空間化オーディオシステム２０２は、スピーカ２０６によって提示される音がユーザ／聴取者の頭部姿勢に一致するように、ソースオーディオデータを修正する。ユーザの頭部（現在の頭部姿勢によって修正される）と仮想音源との間の相対的座標（角度座標を含む）は、モノチャネルオーディオを処理し、スピーカ２０６を通して出力される、左および右側空間化オーディオチャネルを提供するために使用され得る、対応する頭部関連伝達関数（ＨＲＴＦ）を選択するために使用されることができる。

ステップ６０４では、パーソナライズされた空間化オーディオシステム２０２は、姿勢データ（例えば、頭部姿勢センサ２３２を通した頭部姿勢データ）を収集する。頭部姿勢センサ２３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む）、コンパス、マイクロホン、ＧＰＳユニット、および無線デバイスのうちの１つ以上のものを含んでもよい。頭部姿勢センサ２３２は、画像、加速およびジャイロスコープ情報、コンパス情報、音、ＧＰＳ情報、ならびに無線伝送のうちの１つ以上のものの形態で頭部姿勢データを収集してもよい。本データは全て、ユーザ／聴取者の頭部姿勢を決定するために使用されてもよい。

ステップ６０６では、パーソナライズされた空間化オーディオシステム２０２（例えば、頭部姿勢プロセッサ２３４）は、現在パーソナライズされた空間化オーディオシステム２０２を装着しているユーザ／聴取者の姿勢（例えば、頭部姿勢）を決定する。頭部姿勢プロセッサ２３４によって実施される計算は、収集される姿勢データ（例えば、頭部姿勢センサ２３２を通して）のタイプに応じて変動する。

ステップ６０８では、パーソナライズされた空間化オーディオシステム２０２（例えば、オーディオプロセッサ２３６）は、空間化オーディオデータをソースオーディオデータおよびユーザ／聴取者の決定された姿勢から生成する。例えば、ユーザ／聴取者の頭部は、図１７に示されるように、左に旋回され、パーソナライズされた空間化オーディオシステム２０２は、事実上、仮想オブジェクトからユーザ／聴取者の左に発出する音が、ユーザ／聴取者の頭部の正面から生じるように現れるように、空間化オーディオデータを生成するであろう。空間化オーディオデータはまた、ヨーに加え、ユーザ／聴取者の頭部のピッチおよびロールを考慮するように生成されることができる。さらに、空間化オーディオデータは、ユーザ／聴取者の頭部から仮想音源の仮想距離を考慮するように生成されることができる。

ステップ６１０では、パーソナライズされた空間化オーディオシステム２０２（例えば、スピーカ２０６）は、空間化オーディオデータに基づいて、音を提示する。図２−８に示されるもの等のスピーカ２０６の構成は、３つの軸（例えば、Ｘ、Ｙ、およびＺ軸）に沿って可変である、音（例えば、空間化オーディオ）の提示を促進する。

図２２は、一実施形態による、個人化されたシネマオーディオのコンポーネントを同期させ、個人化されたシネマオーディオシステムを利用して個人化されたシネマオーディオを提示する方法７００を描写する。個人化されたシネマオーディオシステム５００は、例えば、図１８−２０に示されるように、パーソナライズされた空間化オーディオシステム２０２と、シネマオーディオシステム５０２とを含んでもよい。パーソナライズされた空間化オーディオシステム２０２は、頭部姿勢センサ２３２と、頭部姿勢プロセッサ２３４と、空間化オーディオプロセッサ２３６と、同期モジュール２４４と、パーソナル空間化オーディオシステムスピーカ２０６とを含む。シネマオーディオシステム５０２は、シネマプロセッサ５３６と、シネマスピーカ５０６とを含む。パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２は、双方向リンク（図１８）または一方向リンク（図１９および２０）であり得る、パーソナルシネマシステムリンク５５０によって、動作可能に結合される。

ステップ７０２では、パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２は、随意に、接続される。本ステップは、典型的には、限定ではないが、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１ｘ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、および近距離通信を含む、無線接続等の双方向リンク５５０を用いて生じる。双方向リンク５５０を用いた実施形態では、パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２は、認証（例えば、Ｗｉ−Ｆｉパスワード）を伴い得る、ハンドシェイクプロトコルを使用して、接続されてもよい。同期モジュール２４４は、本接続に寄与することができる。

ステップ７０４では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、メディア識別情報をシネマオーディオシステム５０２から受信する。メディア識別情報は、タイトル、ＥＩＤＲ番号、および／または他のデジタルオブジェクト識別子を含むことができる。メディア識別情報は、メディア識別情報を受信するパーソナル空間化オーディオシステム２０２が、ユーザ／聴取者に、シネマオーディオシステム５０２によって提示されるシネマオーディオコンテンツを補完するパーソナルオーディオコンテンツを送達することを可能にする。メディア識別情報は、シネマオーディオシステム５０２からパーソナル空間化オーディオシステム２０２に通信されてもよい（例えば、双方向リンク５５０を経由して）。

パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２が接続されない実施形態では、メディア識別情報はまた、具体的オーディオキュー（例えば、映画サウンドトラックに加え、音波）またはオーディオメディア（例えば、映画サウンドトラック）自体等のオーディオキューを使用して通信されてもよい。さらに、メディア識別情報はまた、具体的光学キュー（例えば、映画に加え、画像）または光学メディア（例えば、映画）自体等の光学キューを使用して通信されてもよい。

ステップ７０６では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、受信されたメディア識別情報を分析することによって、メディアを識別する。メディアを識別するために、空間化オーディオプロセッサ２３６は、単に、タイトル、ＥＩＤＲ番号、および／または他のデジタルオブジェクト識別子を読み取ってもよい。代替として、空間化オーディオプロセッサ２３６は、メディア識別情報と既知のデータのセット（例えば、具体的オーディオ／光学キュー）を比較してもよい。キューがメディア自体を含む実施形態では、メディア（例えば、映画サウンドトラックまたは映画）は、キュー認識システムによって、サンプルデータパケットとして検出されてもよく、これは、データベース（例えば、映画サウンドトラックオーディオデータパケットのデータベースまたは映画画像光学データパケットのデータベース）内の複数の基準データパケットと比較され、サンプルデータパケットと関連付けられたメディアを識別する。サンプルデータパケットが、基準データパケットに合致すると、パーソナルオーディオシステム２０２は、サンプルデータパケットと関連付けられたメディア製品（例えば、映画）を識別する。

ステップ７０８では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、タイミング情報をシネマオーディオシステム５０２から受信する。タイミング情報は、タイムコードおよび／またはキューを含むことができる。タイミング情報は、パーソナルオーディオコンテンツがシネマオーディオコンテンツに一致するように、個人化されたシネマオーディオシステム５００が、パーソナル空間化オーディオシステム２０２とシネマオーディオシステム５０２を同期させることを可能にする。タイミング情報は、シネマオーディオシステム５０２からパーソナル空間化オーディオシステム２０２に通信されてもよい（例えば、双方向リンク５５０を経由して）。

パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２が接続されない実施形態では、タイミング情報はまた、具体的オーディオキュー（例えば、映画サウンドトラックに加え、音波）またはオーディオメディア（例えば、映画サウンドトラック）自体等のオーディオキューを使用して通信されてもよい。さらに、タイミング情報はまた、具体的光学キュー（例えば、画像に加え、映画）または光学メディア（例えば、映画）自体等の光学キューを使用して通信されてもよい。

ステップ７１０では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、を受信されたタイミング情報を分析することによって、メディア内の時間を識別する。時間を識別するために、空間化オーディオプロセッサ２３６は、単に、タイムコードを読み取ってもよい。代替として、空間化オーディオプロセッサ２３６は、タイミング情報と既知のデータのセット（例えば、具体的オーディオ／光学キュー）を比較してもよい。キューがメディア自体を含む実施形態では、メディア（例えば、映画サウンドトラックまたは映画）は、キュー認識システムによって、サンプルデータパケットとして検出されてもよく、これは、データベース（例えば、映画サウンドトラックオーディオデータパケットのデータベースまたは映画画像光学データパケットのデータベース）内の複数の基準データパケットと比較され、サンプルデータパケットと関連付けられたメディアを識別する。サンプルデータパケットが、基準データパケットに合致すると、パーソナルオーディオシステム２０２は、サンプルデータパケットと関連付けられたメディア製品（例えば、映画）を識別する。パーソナルオーディオシステム２０２は、サンプルデータパケットとすでに識別されているメディアに特有の複数の基準データパケットを比較し、システム効率を改良し得る。

ステップ７１２では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、メディア内の識別された時間およびパーソナライズされたオーディオ内の既知の時間を使用して、パーソナライズされたオーディオデータおよびシネマオーディオデータ（すなわち、パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２）を同期させる。パーソナライズされたオーディオデータおよびシネマオーディオデータを同期させることは、パーソナルオーディオコンテンツがシネマオーディオコンテンツに一致することを確実にする。例えば、パーソナルオーディオコンテンツが、交響曲を演奏しているオーケストラであって、シネマオーディオコンテンツが、交響曲のバス部分である場合、パーソナライズされたオーディオデータおよびシネマオーディオデータを同期させることは、バス部分がシネマオーディオシステム５０２のより大きいスピーカ５０６を通して送達され、交響曲の残りがパーソナル空間化オーディオシステム２０２のより小さいスピーカ２０６を通して送達されることを確実にする。

ステップ７１４では、個人化されたシネマオーディオシステム５００（例えば、空間化オーディオシステム２０２の空間化オーディオシステムスピーカ２０６およびシネマオーディオシステム５０２のシネマスピーカ２０６）は、同期されるパーソナルオーディオデータおよびシネマオーディオデータに対応するオーディオ／音（例えば、パーソナライズされたオーディオおよびシネマオーディオ）を提示する。個人化されたシネマオーディオシステム５００は、デジタル／アナログコンバータおよび増幅器を通して、パーソナルオーディオデータおよびシネマオーディオデータをオーディオ／音としてレンダリングすることができる。

図２２では図示されないが、タイムコードおよび／またはデータパケットは、既知のインターバルで繰り返しサンプリングおよび識別され、シネマオーディオデータおよびパーソナル空間化オーディオデータの時間的同期を促進してもよい。繰り返されるデータパケット識別は、予測される合致するデータパケットを利用して、そこから前進および／または後進し、システム効率を改良し得る。

サンプルデータパケットと基準データパケットを合致させ、メディア製品内の時間を識別することは、メディア製品が識別された後（図２２）、またはメディア製品の識別と同時に生じることができる。例えば、図２３は、別の実施形態による、個人化されたシネマオーディオシステムを利用して個人化されたシネマオーディオを提示する方法７００’を描写する。図２３に描写される方法７００’におけるステップ７０２、７１２、および７１４は、図２２に描写される方法７００における対応するステップと同じである。

方法７００、７００’間の１つの差異は、方法７００からのステップ７０４および７０８は、方法７００’における新しいステップ７０４’にまとめられることである。ステップ７０４’では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、メディア識別情報およびタイミング情報をシネマオーディオシステム５０２から受信する。メディア識別情報およびタイミング情報の受信に関する詳細は、方法７００からのステップ７０４および７０８に関して上記に説明されるものに類似する。１つの差異は、識別情報およびタイミング情報の両方が同一キューを使用して伝送され得ることである。

方法７００、７００’間の別の差異は、方法７００からのステップ７０６および７１０が方法７００’における新しいステップ７０６’にまとめられることである。ステップ７０６’では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２の同期モジュール２４４）は、受信されたメディア識別情報およびタイミング情報を分析することによって、メディアおよびメディア内の時間を識別する。メディアおよびメディア内の時間の識別に関する詳細は、方法７００からのステップ７０６および７１０に関して上記に説明されるものに類似する。１つの差異は、キューがメディア自体を含む実施形態に関して、メディア（例えば、映画サウンドトラックまたは映画）が、キュー認識システムによって、サンプルデータパケットとして検出されてもよく、これが、データベース（例えば、映画サウンドトラックオーディオデータパケットのデータベースまたは映画画像光学データパケットのデータベース）内の複数の基準データパケットと比較され、サンプルデータパケットと関連付けられたメディアおよびその中の時間を識別することである。

図２４は、一実施形態による、個人化されたシネマオーディオシステムを利用して修正されるシネマオーディオを提示する方法８００を描写する。個人化されたシネマオーディオシステム５００は、例えば、図１８に示されるように、パーソナライズされた空間化オーディオシステム２０２と、シネマオーディオシステム５０２とを含んでもよい。パーソナライズされた空間化オーディオシステム２０２は、頭部姿勢センサ２３２と、頭部姿勢プロセッサ２３４と、空間化オーディオプロセッサ２３６と、同期モジュール２４４と、パーソナル空間化オーディオシステムスピーカ２０６とを含む。シネマオーディオシステム５０２は、シネマプロセッサ５３６と、シネマスピーカ５０６とを含む。パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２は、双方向パーソナルシネマシステムリンク５５０によって、動作可能に結合される。

ステップ８０２では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２）は、ユーザ／聴取者情報を収集する。ユーザ／聴取者情報５５４は、メディアに対するユーザ／聴取者反応に関連する情報を含むことができる。そのような反応情報は、手動で打ち込まれる（例えば、ＵＩを介して）、または自動的に収集されることができる（例えば、記録された眼移動および／または悲鳴等の音）。ユーザ／聴取者情報５５４は、パーソナライズされた空間化オーディオシステム２０２に動作可能に結合される種々のセンサによって、収集されることができる。

ステップ８０４では、パーソナライズされた空間化オーディオシステム２０２は、ユーザ／聴取者情報をシネマオーディオシステム５０２に送信する。順に、シネマオーディオシステム５０２は、ユーザ／聴取者情報をパーソナライズされた空間化オーディオシステム２０２から受信する。ユーザ／聴取者情報の本伝送は、双方向パーソナルシネマシステムリンク５５０を介して生じることができる。

ステップ８０６では、個人化されたシネマオーディオシステム５００（すなわち、シネマオーディオシステム５０２）は、随意に、シネマオーディオデータを受信する。シネマオーディオデータは、映画送達業者によって動作されるホストコンピュータ上のデータベースから受信されることができる。そのような実施形態では、シネマオーディオシステム５０２は、随意に、ネットワーク（例えば、インターネット）を介して、シネマオーディオデータをホストコンピュータから受信する。

ステップ８０８では、個人化されたシネマオーディオシステム５００（すなわち、シネマオーディオシステム５０２）は、ユーザ／聴取者情報に基づいて、シネマオーディオデータを修正する。例えば、ユーザ／聴取者情報が個別のパーソナライズされた空間化オーディオシステム２０２を装着している多くの観客からの悲鳴を含む、ある実施形態では、シネマオーディオシステム５０２は、シネマオーディオデータを修正し、観客からの悲鳴を追加してもよい。本修正は、観客のための映画サウンドトラックをパーソナライズする。

ステップ８１０では、シネマオーディオシステム５０２（例えば、シネマスピーカ５０６）は、修正されたシネマオーディオデータに基づいて、音を提示する。シネマスピーカ５０６は、３つの軸（例えば、Ｘ、Ｙ、およびＺ軸）に沿って可変である、音（例えば、空間化オーディオ）の提示を促進するように構成されることができる。

いくつかの実施形態では、ユーザ／聴取者情報５５４は、メディアに関連するアプリケーションとのユーザ／聴取者の相互作用に関連する情報を含むことができる。そのようなアプリケーションの実施例は、映画（すなわち、メディア）に基づいて、ユーザ／聴取者の携帯電話上で起動するゲームアプリケーションである。ゲームアプリからのもの等のユーザ／聴取者情報５５４は、個人化されたシネマオーディオシステム５００が、特定のユーザ／聴取者のためにパーソナルオーディオコンテンツをパーソナライズすることに役立つことができる。例えば、メディアの一部としてユーザ／聴取者に提示されるキャラクタ／アバタは、メディアに基づいて、ゲームアプリ内のユーザ／聴取者のレベルに応じて変動されることができる。キャラクタ／アバタは、ＡＲ／ＭＲディスプレイシステムに接続される、パーソナライズされた空間化オーディオシステム２０２を介して提示されることができる。

例えば、図２５は、一実施形態による、個人化されたシネマオーディオシステムを利用してパーソナルオーディオを選択的に提示する方法９００を描写する。個人化されたシネマオーディオシステム５００は、例えば、図１８に示されるように、パーソナライズされた空間化オーディオシステム２０２と、シネマオーディオシステム５０２とを含んでもよい。パーソナライズされた空間化オーディオシステム２０２は、頭部姿勢センサ２３２と、頭部姿勢プロセッサ２３４と、空間化オーディオプロセッサ２３６と、同期モジュール２４４と、パーソナル空間化オーディオシステムスピーカ２０６とを含む。シネマオーディオシステム５０２は、シネマプロセッサ５３６と、シネマスピーカ５０６とを含む。パーソナライズされた空間化オーディオシステム２０２およびシネマオーディオシステム５０２は、双方向パーソナルシネマシステムリンク５５０によって、動作可能に結合される。

ステップ９０２では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２）は、ユーザ／聴取者情報を収集する。ユーザ／聴取者情報５５４は、メディアに関連するアプリケーションとのユーザ／聴取者の相互作用に関連する情報を含むことができる。上記に説明されるように、ユーザ／聴取者情報５５４は、映画に関連するゲームアプリ内のユーザのレベルまたは進行度を含んでもよい。ユーザ／聴取者の電話上で起動するゲームアプリを伴う実施形態では、パーソナライズされた空間化オーディオシステム２０２は、ユーザ／聴取者の電話との無線リンク（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を介して、ユーザ／聴取者情報５５４を収集することができる。

ステップ９０４では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２）は、受信されたユーザ／聴取者情報に基づいて、パーソナルオーディオデータを選択的に要求する。例えば、要求されるパーソナルオーディオデータは、ゲームアプリ内のユーザ／聴取者のレベルに対応してもよい。パーソナルオーディオデータのための要求は、同様にゲーム内のユーザ／聴取者のレベルに対応する、パーソナルＡＲ／ＭＲデータのための要求を随伴してもよい。パーソナルオーディオデータは、映画館または映画送達業者によって動作されるホストコンピュータ上のデータベースから要求されることができる。そのような実施形態では、パーソナライズされた空間化オーディオシステム２０２は、ネットワーク（例えば、ＷＬＡＮネットワークおよび／またはインターネット）を介して、要求をホストコンピュータに送信する。

ステップ９０６では、個人化されたシネマオーディオシステム５００（すなわち、パーソナライズされた空間化オーディオシステム２０２）は、要求されるパーソナルオーディオデータを受信する。パーソナルオーディオデータは、映画館または映画送達業者によって動作されるホストコンピュータ上のデータベースから受信されることができる。そのような実施形態では、パーソナライズされた空間化オーディオシステム２０２は、ネットワーク（例えば、インターネット）を介して、パーソナルオーディオデータをホストコンピュータから受信する。

ステップ９０８では、パーソナライズされた空間化オーディオシステム２０２（例えば、パーソナル空間化オーディオシステムスピーカ２０６）は、要求されるパーソナルオーディオデータに基づいて、音を提示する。図２−８に示されるもの等のスピーカ２０６の構成は、３つの軸（例えば、Ｘ、Ｙ、およびＺ軸）に沿って可変である、音（例えば、空間化オーディオ）の提示を促進する。

ステップ９１０では、パーソナライズされた空間化オーディオシステム２０２は、随意に、要求されるパーソナルオーディオデータをシネマオーディオシステム５０２に送信し、これは、順に、要求されるパーソナルオーディオデータを受信する。シネマオーディオシステム５０２への要求されるパーソナルオーディオデータの伝送は、シネマオーディオシステムが、適切な場合、パーソナルオーディオに一致するようにシネマオーディオを修正することを可能にする。
（個人化された空間化シネマ体験）

１つの例示的な個人化された空間化シネマ体験は、映画館に居るＡＲ／ＭＲディスプレイおよび空間化オーディオシステムを装着している複数のユーザを伴う。ＡＲ／ＭＲディスプレイおよび空間化オーディオシステムはそれぞれ、シネマビデオおよびオーディオプロセッサと同期され、ユーザ毎に、個人化された空間化シネマ体験を提供する。例えば、ＡＲ／ＭＲディスプレイおよび空間化オーディオシステムは、上記に説明される技法のいずれかを使用して、シネマビデオおよびオーディオプロセッサと同期されてもよい。故に、空間化オーディオシステム内のＡＲ／ＭＲディスプレイは、シネマビデオおよびオーディオプロセッサを使用して表示されているメディアに対応する、メディア識別およびタイミング情報へのアクセスを有する。前述のように、タイミング情報は、適切なインターバルで要求され、時間的同期を維持することができる。

例えば、メディア（例えば、映画）は、ユーザに向かって移動するシネマ画面上のロボットを描写することができる。ロボットがシネマ画面の縁に到達する前に、シネマビデオおよびオーディオシステムは、画像またはオーディオを能動的に生成しないＡＲ／ＭＲディスプレイおよび空間化オーディオシステムを用いて、画像およびオーディオの全てを提示することができる。ＡＲ／ＭＲディスプレイおよび空間化オーディオシステムは、ユーザの耳および眼を閉塞しないため、ユーザは、シネマシステムによって生成されたメディアを視認および聴取することができる。ロボットがシネマ画面の縁に到達すると、観客におけるＡＲ／ＭＲディスプレイおよび空間化オーディオシステムは、ＡＲ／ＭＲ画像および空間化オーディオの生成を開始する。同時に、シネマディスプレイの一部は、ＡＲ／ＭＲ画像に一致するように修正されることができる。例えば、シネマディスプレイのあるピクセルは、ブランクアウトされることができる。

ロボットは、「画面外に歩き出し」、各ユーザの手が届く範囲まで来ることができる。ロボットは、現在、各ユーザのＡＲ／ＭＲディスプレイおよび空間化オーディオシステムによって提示されているため、各ユーザは、ライトフィールドによってレンダリングされる個人化されたロボットおよび空間化オーディオシステム内のそのＡＲ／ＭＲディスプレイによって生成された音場を視認および聴取するであろう。ロボットは、現在、ユーザ毎に個人化されているため、ユーザは、ロボットが彼らの隣に着座しているユーザと相互作用する様子を視認および聴取し得ない。代替として、各ユーザは、その近隣と相互作用する複数のロボットを視認および聴取してもよい。

これは、個人化された空間化シネマ体験として説明されたが、本明細書に説明されるシステムおよび方法は、ゲームおよび複合メディア体験等の他の体験にも等しく適用される。空間化オーディオの追加を含む、そのような体験の個人化は、ユーザ享受を著しく増加させる。

種々のシステムコンポーネントが、上記に説明されるパーソナライズされた空間化オーディオシステムおよび個人化されたシネマオーディオシステムにおける種々の構成で説明されるが、システム構成は、例証的であって、限定ではないことが意図される。例えば、描写されない実施形態では、具体的システムコンポーネントは、システムの異なる部分に配置されてもよい。さらに、複数のシステムコンポーネントに属する機能は、単一システムコンポーネントによって実施されてもよい。さらに、単一システムコンポーネントに属する複数の機能は、複数のシステムコンポーネントによって実施されてもよい。

種々のステップが、具体的順序で種々の方法（例えば、空間化オーディオを生成する、パーソナルオーディオシステムとシネマオーディオシステムをリンクさせる、および個人化されたシネマオーディオを生成する）で説明されるが、本明細書に説明されるステップは、所望の結果が達成される限り、任意の順序で実施されてもよい。

パーソナルオーディオデータ（例えば、メディア、メディア識別情報、およびタイミング情報）は、いくつかの実施形態では、パーソナルオーディオシステムにストリームされてもよい。他の実施形態では、パーソナルオーディオデータは、パーソナルオーディオデータが個人化されたシネマオーディオ体験を生成するために必要とされる前に、パーソナルオーディオシステムに事前にロードされてもよい。さらに他の実施形態では、パーソナルオーディオデータは、ある分数のオーディオデータを保持する、パーソナルオーディオシステムの作業バッファの中にストリームされてもよい。次いで、映画が再生されるにつれて、システムは、パーソナルオーディオデータを作業バッファの中にストリームすることができる。そのようなシステムは、要求されるメモリを最小限にし、事前ロード時間を最小限にし、ネットワーク途絶の場合も機能を提供するであろう。

いくつかの実施形態では、シネマプロセッサは、現在の映画場面についてのメタデータ（例えば、幾何学形状および材料データ）を伝達してもよく、これは、パーソナルオーディオシステム内の空間化オーディオプロセッサに送信され、現在の映画場面に関連する音響モデル化を改良することができる。

本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。

本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって既知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「該（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に（ｓｏｌｅｌｙ）」、「のみ（ｏｎｌｙ）」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに成されてもよいことは、明白となるであろう。例えば、前述のプロセスフローは、プロセス作用の特定の順序を参照して説明される。しかしながら、説明されるプロセス作用の多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的と見なされるべきである。

Claims (18)

1. 空間化オーディオシステムであって、
   ユーザの頭部上に装着されるフレームと、
   複数のスピーカであって、前記複数のスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のスピーカのそれぞれが、前記ユーザの耳を含む前記ユーザの頭部の任意の表面に接触しないように、前記フレームに取り付けられる、複数のスピーカと、
   前記ユーザの頭部姿勢データを収集するための頭部姿勢センサと、
   前記ユーザの頭部姿勢を前記頭部姿勢データから決定するための頭部姿勢プロセッサと、
   前記ユーザの前記決定された頭部姿勢に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサと
   を備え、
   前記スピーカは、前記生成された空間化オーディオデータに対応する第１の音を生成し、
   前記空間化オーディオプロセッサは、第１の時間において、第１のタイミング情報を受信し、前記第１の時間において、前記第１の音を第２の音と同期させ、
   前記第１のタイミング情報は、前記生成された第２の音に対応するビデオ内の光学キュー、または、前記生成された第２の音に対応するビデオから別個に投影される光学キューを備える、システム。
2. 前記空間化オーディオプロセッサに動作可能に結合されるシネマオーディオプロセッサであって、前記シネマオーディオプロセッサは、シネマオーディオデータを生成する、シネマオーディオプロセッサと、
   前記生成されたシネマオーディオデータに対応する前記第２の音を生成するための複数のシネマスピーカと
   をさらに備え、
   前記空間化オーディオプロセッサは、前記第１のタイミング情報を前記シネマオーディオプロセッサから受信する、請求項１に記載のシステム。
3. 前記シネマオーディオプロセッサは、シネマ情報を前記空間化オーディオプロセッサに伝送する、請求項２に記載のシステム。
4. 前記シネマ情報は、タイミング情報、仮想オブジェクト音情報、位置情報、配向情報、ハイパーリンク、または音響モデル化情報のうちの１つを備える、請求項３に記載のシステム。
5. 前記空間化オーディオプロセッサは、前記空間化オーディオプロセッサと前記シネマオーディオプロセッサとの間の待ち時間差を補償する、請求項２に記載のシステム。
6. ユーザセンサをさらに備え、前記ユーザセンサは、前記シネマオーディオプロセッサへの伝送のためのユーザ情報を収集する、請求項２に記載のシステム。
7. 前記ユーザ情報は、前記ユーザからサンプリングされた音を含み、修正されたシネマオーディオデータは、サンプリングされた音を組み込む、請求項６に記載のシステム。
8. 前記シネマオーディオプロセッサは、前記第２の音が修正されたシネマオーディオデータに対応するように、前記ユーザ情報に基づいて、前記シネマオーディオデータを修正する、請求項６に記載のシステム。
9. 前記シネマオーディオデータは、分岐構造内に編成され、
   前記修正されたシネマオーディオデータは、前記シネマオーディオデータの分岐構造より小さい修正された分岐構造を有する、請求項８に記載のシステム。
10. 前記複数のシネマスピーカは、低周波数音を生成するように構成されるサブウーファを含み、
    前記ユーザ情報は、低周波数オーディオデータを含み、
    前記シネマオーディオプロセッサは、前記低周波数オーディオデータに基づいて、前記シネマオーディオデータを修正し、
    前記サブウーファは、前記修正されたシネマオーディオデータに対応する低周波数音を生成する、請求項８に記載のシステム。
11. 前記サブウーファは、前記ユーザのための座席に隣接して配置される、または、前記サブウーファは、前記ユーザによって装着される、請求項１０に記載のシステム。
12. 前記空間化オーディオプロセッサに動作可能に結合されるアプリケーションプロセッサをさらに備え、前記アプリケーションプロセッサは、前記空間化オーディオプロセッサが前記空間化オーディオデータを生成するソースデータを提供する、請求項２に記載のシステム。
13. 前記アプリケーションプロセッサは、前記空間化オーディオデータを前記シネマオーディオデータと同期させる、請求項１２に記載のシステム。
14. 前記空間化オーディオプロセッサは、前記第１の時間より後の第２の時間において、第２のタイミング情報を受信し、前記第２の時間において、前記第１の音を前記第２の音と同期させる、請求項１に記載のシステム。
15. 前記フレームは、前記第１の音を前記ユーザの耳に集束させる、請求項１に記載のシステム。
16. 前記生成された空間化オーディオデータは、複数の仮想オーディオソース毎に、位置、配向、および音量データを含む、請求項１に記載のシステム。
17. 前記複数のスピーカは、個別の磁石を用いて、前記フレームに除去可能に取り付けられる、請求項１に記載のシステム。
18. 空間化オーディオシステムであって、
    ユーザの頭部上に装着されるフレームと、
    複数のスピーカであって、前記複数のスピーカは、前記フレームが前記ユーザによって装着されると、前記複数のスピーカのそれぞれが、前記ユーザの頭部から個別の非ゼロ距離に配置され、前記複数のスピーカのそれぞれが、前記ユーザの耳を含む前記ユーザの頭部の任意の表面に接触しないように、前記フレームに取り付けられる、複数のスピーカと、
    前記ユーザの頭部姿勢データを収集するための頭部姿勢センサと、
    前記ユーザの頭部姿勢を前記頭部姿勢データから決定するための頭部姿勢プロセッサと、
    前記ユーザの前記決定された頭部姿勢に基づいて、空間化オーディオデータを生成するための空間化オーディオプロセッサと、
    前記フレームに取り付けられ、第２の音を記録するマイクロホンと、
    前記空間化オーディオプロセッサに動作可能に結合される同期モジュールと
    を備え、
    前記スピーカは、前記生成された空間化オーディオデータに対応する第１の音を生成し、
    前記同期モジュールは、前記記録された第２の音を分析し、サウンドトラックおよび前記サウンドトラック内の時間を識別し、
    前記同期モジュールは、前記識別されたサウンドトラックの識別および前記サウンドトラック内の前記識別された時間に基づいて、タイミング情報を生成し、前記第１の音を前記第２の音と同期させる、システム。