JP7778286B2 - 仲介拡張物理的相互作用のためのシステム及び方法 - Google Patents

Description

（関連出願に対する相互参照）
本出願は、２０１８年１２月１７日に出願された「仲介拡張物理的相互作用のためのシステム及び方法」と題する米国特許仮出願第６２／７８０，６６９号に対する優先権及び利益を主張し、当該仮出願は、あらゆる目的で引用により全体が本明細書に組み込まれる。

（技術分野）
本明細書に開示される主題は、アミューズメントパークのアトラクションに関し、より具体的には、モバイルデバイスを介したアミューズメントパークの物理的対象物との来園客の相互作用を容易にすることに関する。

２０世紀初頭以来、アミューズメントパーク（又はテーマパーク）の人気が大幅に高まっている。これに伴い、アミューズメントパークへの需要も高まり、それに伴う競争も激化している。従って、アミューズメントパークにはより多くの娯楽性があり多数のアトラクションを追加することが望ましい。乗物及びショーなどの大型のアトラクションを追加すると、一般的に、より多くの来園客を処理する能力を有するアミューズメントパークが提供される。しかしながら、このようなアトラクションは、より多くの来場者を引き寄せ、来園客の往来の拠点となる傾向がある。更に、興味を引きつける層を追加することなく従来の乗物を追加するだけでは、来園客の往来の問題に対処する、又は競合他社に優る利点を提供するのに十分な来園客の関心を集めるには不十分である可能性がある。従って、来園客の往来の分散を促進する、及び／又はエンターテイメントの価値のレベルを高めるシステム及び方法が望ましいことが認識されている。

このセクションは、本明細書に記載され及び／又は特許請求される本発明の技法の様々な態様に関連する可能性のある技術の様々な態様を読み手に紹介することを意図している。ここでの議論は、本開示の様々な態様のより良い理解を容易にする背景情報を読み手に提供するのに役立つと考えられる。従って、これらの記載は、この点に照らして読むべきであり、従来技術の自認ではないことを理解されたい。

本発明の範囲内にある特定の実施形態について以下で要約する。これらの実施形態は、本開示の技術的範囲を限定することを意図するものではなく、むしろそれらの実施形態は、開示された特定の実施形態の簡潔な概要を示すことのみを意図している。実際に、本開示は、以下に記載される実施形態に類似した又は異なるものとすることができる様々な形態を含むことができる。

一実施形態では、アミューズメントパークシステムは、モバイルデバイスに通信可能に結合されるように構成された画像生成システムを含む。画像生成システムは、モバイルデバイスのカメラを介してキャプチャされた画像データに少なくとも部分的に基づいて、現実世界の環境のストリーミングメディアを生成するように構成されている。画像生成システムはまた、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境のストリーミングメディアに重畳される１又は２以上の拡張を生成するように構成されている。画像生成システムは更に、モバイルデバイスのディスプレイに表示される１又は２以上の拡張と共に、現実世界の環境のストリーミングメディアを送信するように構成される。アミューズメントパークシステムはまた、モバイルデバイスと通信可能に結合されるように構成された物理的相互作用システムを含む。物理的相互作用システムは、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境で物理的対象物に実装される１又は２以上の物理的効果を決定するように構成されている。物理的相互作用システムはまた、信号を物理的対象物に送信して、決定された１又は２以上の物理的効果を実装するように構成されている。

一実施形態では、方法は、画像生成システムを介して、モバイルデバイスからリアルタイムビデオデータストリームを受信することを含む。本方法はまた、受信したリアルタイムビデオデータストリームに少なくとも部分的に基づいて、画像生成システムを介して、アミューズメントパークの現実世界環境の視覚化を生成することを含む。本方法は更に、画像生成システムを介して、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境の視覚化に拡張現実（ＡＲ）画像をオーバーレイすることを含む。更に、本方法は、物理的相互作用システムを介して、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境で物理的対象物に実装される１又は２以上の物理的効果を決定することを含む。本方法はまた、画像生成システムを介して、現実世界の環境の視覚化と共にオーバーレイされたＡＲ画像をモバイルデバイスに送信することを含む。本方法は更に、物理的相互作用システムを介して信号を物理的対象物に送信し、決定された１又は２以上の物理的効果を実装することを含む。

本発明の開示のこれら及び他の特徴、態様、及び利点は、図面を通して同じ文字が同じ部分を表す添付図面を参照して以下の詳細説明を読むとより良く理解されるであろう。

本開示の実施形態による、１又は２以上のアトラクションを含むアミューズメントパークを示す図である。 本開示の実施形態による、図１に示すアミューズメントパークにＡＲ体験を提供するシステムの概略図である。 本開示の実施形態による、モバイルデバイス、補助デバイス、及び物理的対象物を示す図である。 本開示の実施形態による、ユーザがモバイルデバイス（及び／又は補助デバイス）を使用して所与の数の物理的対象物と物理的に相互作用することに基づいて、ロックが解除されたアミューズメントパークのドアを介して隠さ洞窟にアクセスするユーザの実施例を示している。 本開示の実施形態による、モバイルデバイス（及び／又は補助デバイス）とのユーザ相互作用に基づいて解決することができるパズルの実施例を示す。 本開示の実施形態による、本明細書に記載のシステムを動作させる方法を示す図である。

本開示の１又は２以上の特定の実施形態が本明細書において記載される。これらの実施形態の簡潔な説明を行うために、本明細書では、実際の実施構成の全ての特徴については説明しないことにする。何れかの技術又は設計プロジェクトと同様に、このような何らかの実際の実施構成の開発において、システム及びビジネスに関連した制約への準拠など、実施構成毎に異なる可能性のある開発者の特定の目標を達成するために、多数の実施時固有の決定を行う必要がある点は理解されたい。更に、このような開発の取り組みは、複雑で時間を要する可能性があるが、本開示の利点を有する当業者にとっては、設計、製作、及び製造の日常的な業務である点を理解されたい。

本発明の種々の実施形態の要素を導入する際に、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、要素の１つ又はそれ以上が存在することを意味するものとする。用語「備える」、「含む」、及び「有する」は、包括的なものであり、記載した要素以外の付加的な要素が存在し得ることを意味する。更に、本開示の「１つの実施形態」又は「実施形態」への言及は、リストされた特徴も組み込んだ追加の実施形態の存在を除外するものとして解釈されることを意図していない点を理解されたい。

本実施形態は、アミューズメントパーク又はテーマパークにおいて、スリルライドなどのアトラクションの一部として拡張現実（ＡＲ）体験を提供するシステム及び方法に関する。特定の実施形態では、アミューズメントパークの利用者は、アミューズメントパーク内に配置された物理的対象物の操作並びにＡＲ体験の両方を容易にするモバイルデバイス及び他の補助デバイスを使用することができる。具体的には、特定の実施形態では、モバイルデバイスは、現実世界の環境（例えば、物理的なアミューズメントパークの態様）のリアルタイムビデオデータ（例えば、ライブ使用中にキャプチャされて実質的にリアルタイムで送信されるビデオ）をキャプチャするように構成することができる。更に、特定の実施形態では、画像生成システムは、モバイルデバイスからリアルタイムビデオデータ（例えば、実質的にリアルタイムで送信されるライブビデオ）を受信し、現実世界の環境のビデオストリームをモバイルデバイスのディスプレイに表示されるモバイルデバイスへの様々なＡＲ画像と共にレンダリングすることができる。

例えば、特定の実施形態では、画像生成システムは、例えば、特定の実施形態では、アミューズメントパークの現実世界環境に配置された特定の物理的対象物に対する、モバイルデバイスの位置及び／又は方位、モバイルデバイスの近接性、モバイルデバイスの検出された操作（例えば、モバイルデバイスの動き、モバイルデバイスのユーザインタフェースを介した利用客の相互作用など）並びに利用客による補助デバイスの操作、利用客によるモバイルデバイスへ入力されるローカル設定、アミューズメントパークのグローバル設定（例えば、アミューズメントパークの所有者よって入力される）、モバイルデバイスを介して実行された以前の相互作用、及びその他に少なくとも部分的に基づいて、モバイルデバイスにＡＲ画像をレンダリングすることができる。特定の実施形態では、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物、及びその他は、モニタリングシステムによってモニタリングすることができ、モニタリングシステムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物及びその他に関するデータ（例えば、識別、位置、方位、動き、速度、加速度、及びその他）を画像生成システムに伝達することができ、画像生成システムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物及びその他に関するデータに少なくとも部分的に基づいてＡＲ画像を生成することができるようになる。

更に、特定の実施形態では、モニタリングシステムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的オブジェクト、及びその他に関するデータに少なくとも部分的に基づいて、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果（例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他）を引き起こすように構成された物理的相互作用システムと通信するように構成することができる。特定の実施形態では、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果は、モバイルデバイス、補助デバイス、物理的対象物及びその他から受信したデータに少なくとも部分的に基づいて引き起こすことができる。

このように、モバイルデバイス、補助デバイス、画像生成システム、モニタリングシステム、及び物理的相互作用システムを使用してＡＲ体験を作成及び表示すると共に、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果を引き起こす利用客の能力を促進することにより、アミューズメントパーク内での利用客の全体的な体験を向上させることができる。しかしながら、本明細書に記載の技術は、アミューズメントパークのアトラクション用途に限定されるものではなく、例えば、医療用途（例えば、画像誘導手術、非侵襲的画像化分析）、エンジニアリング設計用途（例えば、エンジニアリングモデル開発）、製造、建設、及び保守用途（例えば、製品製造、新しい建物の建設、自動車修理）、学術及び／又は職業訓練用途、エクササイズ用途（例えば、ボディビルディング及び体重減少モデル）、テレビジョン（ＴＶ）用途（例えば、天気及びニュース）、及び同様のものなど、様々な用途の何れかに拡張できることを理解されたい。

以上のことを踏まえて、図１に示すアミューズメントパーク１０の実施例など、アミューズメントパークの実施形態を説明することが有用とすることができる。図示のように、アミューズメントパーク１０は、スリルライド１２、アミューズメントパーク施設１４（例えば、レストラン、土産物店、及びその他）、及び追加のアミューズメントパークアトラクション１６を含むことができる。特定の実施形態では、スリルライド１２は、ローラーコースター又は他の同様のスリルライドを含むことができ、従って、閉ループトラック又は閉ループトラック１８のシステム（例えば、数マイルのトラック１８）を更に含むことができる。トラック１８は、乗用車２０が横断できるインフラストラクチャとして提供することができる。

乗客乗物車両２０がトラック１８を横断すると、乗客２２には、スリルライド１２の周囲又は近くのエリアにおけるシーン（例えば、施設１４、追加のアミューズメントアトラクション１６、及びその他）の移動ツアーが提供することができる。例えば、これは、スリルライド１２を取り巻く環境（例えば、スリルライド１２を完全に又は部分的に収容する建物）を含むことができる。乗客２２は、スリルライド１２が極めて楽しい体験であることに気付くことができ、特定の実施形態では、乗客２２がスリルライド１２に乗るときに、例えば、スリルライドのスリル要素１２を強化することで、乗客２２の体験を強化することが有用とすることができる。具体的には、施設１４（例えば、レストラン、土産物店及びその他）、追加のアミューズメントアトラクション１６（例えば、アミューズメントパーク１０に関連してテーマを設定したアトラクション）、又はアミューズメントパーク１０内の他の利用客２４だけを物理的に見るのではなく、乗物車両２０がトラック１８を横断するときに、乗客２２にＡＲ体験を提供することが有用とすることができる。

同様に、アミューズメントパークの利用客２４は、アミューズメントパーク１０の施設１４、追加のアミューズメントアトラクション１６及びその他がそれ自体で楽しいことに気付くことができるが、特定の実施形態では、利用客２４がアミューズメントパーク１０の施設 １４、追加のアミューズメントアトラクション１６及びその他を通り抜けるときに利用客２４の体験を向上させることが有用とすることができる。具体的には、アミューズメントパーク１０の施設１４、追加のアミューズメントアトラクション１６及びその他に関して利用客２４にＡＲ体験を提供することも有用とすることができる。

例えば、図１に示すように、特定の実施形態では、アミューズメントパーク１０の乗客２２及び他の利用客２４は、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６及びその他を囲む現実世界環境に配置された物理的対象物２８との相互作用を容易にするモバイルデバイス２６を使用することができる。具体的には、本明細書でより詳細に説明するように、特定の実施形態では、モバイルデバイス２６は、スリルライド１２、施設１４、追加のアミューズメントアトラクション１６及びその他を取り巻く環境のＡＲビューを提供し、またアミューズメントパーク１０の乗客２２及び他の利用客２４が、モバイルデバイス２６の操作を介して物理的対象物２８の物理的効果（例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他）を引き起こすことを可能にするように構成することができる。更にまた、本明細書でより詳細に説明するように、特定の実施形態では、モバイルデバイス２６は、補助デバイス３０と協働して使用して、アミューズメントパーク１０の乗客２２及び他の利用客２４が、物理的対象物２８の身体的効果を引き起こすことを可能にすることができる。特定の実施形態では、補助デバイス３０は、おもちゃの銃、旗、棒及びその他などのアミューズメントパークのテーマに関連した対象物とすることができる。

図２は、本開示の実施形態による、図１に示されるアミューズメントパーク１０にＡＲ体験を提供するためのシステム３２の概略図である。図２に示すように、特定の実施形態において、システム３２は、アミューズメントパーク１０の乗客２２及び他の利用客２４によって使用できる１又は２以上のモバイルデバイス２６を含むことができる。モバイルデバイス２６は、ワイヤレスネットワーク３６（例えば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ））、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）、近距離通信（ＮＦＣ）ネットワーク、又は他の適切なワイヤレスネットワーク）を介して画像生成システム３４（例えば、アミューズメントパーク１０内の）に通信可能に結合することができる。モバイルデバイス２６は、アミューズメントパーク１０の現実世界環境に対してＡＲ体験を作成するのに使用することができる。具体的には、本明細書でより詳細に記載されるように、モバイルデバイスを介して見ることができるＡＲ体験は、１又は２以上のＡＲ画像４０（例えば、仮想増強）と電子的にマージされた現実世界画像３８を含むリアルタイムビデオとすることができる。「リアルタイム」という用語は、実際の観察時間に実質的に近い時間枠で画像が取得及び／又は提供されることを意味する。

特定の実施形態では、モバイルデバイス２６は、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ウェアラブルデバイス（例えば、メガネ、ゴーグル、時計、及びその他など）、或いは、他の何れかの適切なデバイスとすることができ、これらは、乗客２２又は他の利用客２４によってアミューズメントパーク１０中を携行することができ、また、乗客２２又は他の利用客２４のためにＡＲ体験を表示することができる。特定の実施形態では、モバイルデバイス２６は、複数の方位及び位置センサー４２（例えば、加速度計、磁力計、ジャイロスコープ、全球測位システム（ＧＰＳ）受信機、電磁及び固体動き追跡センサーなどの動き追跡センサー、及びその他）を含むことができ、これらは、モバイルデバイス２６の位置、場所、方位、動き、及びその他を追跡するのに使用することができる。同様に、特定の実施形態では、モバイルデバイス２６の特徴（例えば、幾何学的側面又はマーキング）は、モニタリングシステム４４（例えば、特定の実施形態では、１又は２以上のカメラ）によって監視されて、モバイルデバイス２６の位置、場所、方位、動き及びその他を決定することができる。更に、特定の実施形態では、乗客２２及び他の利用客２４は、モニタリングシステム４４（例えば、カメラ）によって監視されて、乗客２２及び他の利用客２４の位置、場所、方位、動き及びその他を識別することができる。

更に、特定の実施形態では、モバイルデバイス２６は、画像及びビデオ（例えば、現実世界画像）をキャプチャし、キャプチャされた画像及びビデオ（更にＡＲ画像４０）をモバイルデバイス２６の１又は２以上のディスプレイ４８を介して表示するように構成された１又は２以上のカメラ４６を含むことができる。特定の実施形態では、ＡＲ体験の作成をサポートするために、モバイルデバイス２６は、プロセッサ５０及びメモリ５２などのプロセッシング回路を含むことができる。プロセッサ５０は、メモリ５２に動作可能に結合されて、乗客２２及び他の利用客２４の体験を向上させるためにＡＲ画像４０とマージされた現実世界画像３８を生成する本開示の技術を少なくとも部分的に実施する（例えば、画像生成システム３４と協働して）ための命令を実行することができる。これらの命令は、メモリ５２及び／又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードに符号化することができる。特定の実施形態では、プロセッサ５０は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何れかの同様のプロセッサ構成とすることができる。

特定の実施形態では、１又は２以上のディスプレイ４８は各々、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は現実世界画像３８及びＡＲ画像４０を乗客２２及び他の利用客２４に表示するのに有用な他の同様のディスプレイを含むことができる。特定の実施形態では、１又は２以上のディスプレイ４８は各々、例えば、乗客２２及び他の利用客２４が、それぞれのディスプレイ４８を通してアミューズメントパーク１０の実際の物理的な現実世界環境を見る能力を維持しながら、ディスプレイ４８上に現れる現実世界画像３８及びＡＲ画像４０を見ることを可能にするのに有用な不透明もしくはシースルーＬＣＤ又は不透明もしくはシースルーＯＬＥＤディスプレイを含むことができる。

モバイルデバイス２６の１又は２以上のカメラ４６を使用して、アミューズメントパーク１０の現実世界環境のリアルタイムビデオデータ（例えば、ライブビデオ）をキャプチャすることができる。特定の実施形態では、モバイルデバイス２６は、１又は２以上のカメラ４６を介してキャプチャされたリアルタイムビデオデータを、処理のために画像生成システム３４に送信（例えば、モバイルデバイス２６に含まれる１又は２以上の通信インタフェース５４を介して無線で）することができる。しかしながら、他の実施形態では、１又は２以上のカメラ４６を介してキャプチャされたリアルタイムビデオデータは、プロセッサ５０を介してモバイルデバイス２６上で処理することができる。実際、特定の実施形態では、画像生成システム３４は、モバイルデバイス２６と一体化することができる。更に、特定の実施形態では、モバイルデバイス２６はまた、モバイルデバイス２６の方位及び位置センサー４２を介して取得されたデータに少なくとも部分的に基づいて取得及び／又は導出された、方位データ、位置データ、動き追跡データ及びその他を送信することができる。

特定の実施形態では、本明細書でより詳細に記載されるように、プロセッサ５６（例えば、汎用プロセッサ又は他のプロセッサ）及びメモリ５８などの処理回路を含むこともできる画像生成システム３４は、画像生成システム３４の１又は２以上の通信インタフェース６０を介してモバイルデバイス２６及び／又はモニタリングシステム４４から受信した、リアルタイムビデオデータ（例えば、ライブビデオ）及び方位データ、位置データ、及び動き追跡データを処理することができる。更に、特定の実施形態では、ＡＲ画像４０（例えば、ＡＲ拡張）に加えて、画像生成システム３４はまた、モバイルデバイス２６上のＡＲ画像４０の出現と同時に起こることができる、モバイルデバイス２６の内部構成要素を介して実装される１又は２以上の運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他をトリガーすることもできる。これらの機能を実行するための命令は、メモリ５８及び／又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ５６は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何れかの同様のプロセッサ構成とすることができる。

特定の実施形態では、画像生成システム３４は、モバイルデバイス２６及び／又はモニタリングシステム４４から受信した方位データ、位置データ、及び動き追跡データを使用して、リアルタイムビデオデータを生成された現実世界画像３８及びＡＲ画像４０に登録するための基準フレームを生成することができる。特定の実施形態では、画像生成システム３４は、モバイルデバイス２６の方位、位置、及び／又は動きに関する変化を反映するために、現実世界画像３８のレンダリングを常に（例えば、リアルタイムで）更新することができる。レンダリングされた画像の視認性を助けるために、特定の実施形態では、画像生成システム３４は、約２０フレーム／秒（ＦＰＳ）以上、約３０ＦＰＳ以上、約４０ＦＰＳ以上、約５０ＦＰＳ以上、約６０ＦＰＳ以上、約９０ＦＰＳ以上、又は約１２０ＦＰＳ以上のリアルタイムレートで画像（例えば、現実世界画像３８及びＡＲ画像４０）をレンダリングすることができる。

特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４はまた、現実世界画像３８上に重畳された１又は２以上のＡＲ画像４０を生成及びレンダリングして、乗客２２又は他の利用客２４のための完全なＡＲ体験を作成することができる。例えば、特定の実施形態では、画像生成システム３４は、議論されたビデオマージ及び／又は光学マージ技術の１又は２以上を利用して、ＡＲ画像４０を現実世界画像３８に重畳し、乗客２２及び他の利用客２４は、アミューズメントパーク１０の現実世界の物理的環境（例えば、それぞれのディスプレイ４８を介してレンダリングされたビデオデータとして提供される）並びにＡＲ画像４０（例えば、仮想増強）をモバイルデバイス２６の１又は２以上のディスプレイ４８を介して知覚するようになる。具体的には、特定の実施形態では、画像生成システム３４は、実世界画像３８と時間的及び空間的に同等のＡＲ画像４０のビューをレンダリングすることができ、現実世界画像３８は、ＡＲ画像４０がオーバーレイされた背景として見えるようになる。

特定の実施形態では、画像生成システム３４はまた、１又は２以上の明るさ、照明、又は陰影モデル、及び／又は他のフォトリアリスティックなレンダリングモデルを生成して、現実世界画像３８及びＡＲ画像４０をレンダリングする際の現実世界の物理的環境（例えば、晴れの日、一部曇りの日、曇り日、夕方、夜）のコントラスト及び明るさを正確に反映するように調整された現実世界画像３８及びＡＲ画像４０を生成することができる。例えば、特定の実施形態では、現実世界画像３８及びＡＲ画像４０のフォトリアリズムを高めるために、画像生成システム３４は、１又は２以上の天気予報及び／又は予測システム（例えば、グローバル予報システム、ドップラーレーダー、及びその他）から気象関連データを受け取り、気象関連データ又は他の同様のデータを使用して、現実世界画像３８及び／又はＡＲ画像４０のコントラスト、明るさ、及び／又は他の照明効果を調整することができる。他の実施形態では、画像生成システム３４は、モバイルデバイス２６に含まれる１又は２以上の光センサーから検出された照明に少なくとも部分的に基づいて、又はモバイルデバイス２６のカメラ４６によってキャプチャされたリアルタイムビデオデータに少なくとも部分的に基づいて、現実世界画像３８及び／又はＡＲ画像４０のコントラスト、明るさ、及び／又は他の照明効果を調整することができる。更に、上述のように、画像生成システム３４は、モバイルデバイス２６の方位、位置、及び／又は動きに関する変化を反映するよう、ＡＲ画像４０のレンダリングを常に（例えば、リアルタイムで）更新することができる。

更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モバイルデバイス２６によって検出することができる、モバイルデバイス２６の操作に関連するデータに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成及びレンダリングすることができる。例えば、特定の実施形態では、モバイルデバイス２６の１又は２以上のディスプレイ４８は、タッチスクリーンディスプレイ（又は他のユーザインタフェース）を含むことができ、これを介して、乗客２２又は他の利用客２４は、１又は２以上のディスプレイ４８に表示された対象物が、現実世界画像３８の一部としての現実世界の対象物であるか、或いは１又は２以上のディスプレイ４８を介して描写されたＡＲ画像４０のＡＲ生成対象物であるかにかかわらず、この１又は２以上のディスプレイ４８に表示された対象物を操作しようと試みることができる（例えば、指のスワイプ、指のピンチ、指のタッピング、及びその他を介して）。次に、モバイルデバイス２６によって検出された操作は、モバイルデバイス２６の１又は２以上の通信インタフェース５４を介して画像生成システム３４に通信することができ、画像生成システム３４は、検出された操作に少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８上に表示されるＡＲ画像４０を生成することができる。

更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モバイルデバイス２６の方位及び位置センサー４２によって検出することができる、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データに基づいて１又は２以上のＡＲ画像４０を生成しレンダリングすることができる。モバイルデバイス２６の方位データ、位置データ、及び動き追跡データは、モバイルデバイス２６の１又は２以上の通信インタフェース５４を介して画像生成システム３４に通信することができ、画像生成システム３４は、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。

同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モニタリングシステム４４によって検出することができる、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データに基づいて１又は２以上のＡＲ画像４０を生成しレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム４４は、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データを検出するように構成された１又は２以上の追跡デバイス６２（例えば、特定の実施形態では、１又は２以上のカメラ）を含むことができる。次に、モニタリングシステム４４は、モニタリングシステム４４の１又は２以上の通信インタフェース６４を介して、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データを画像生成システム３４に通信することができ、画像生成システム３４は、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。更に、特定の実施形態では、モニタリングシステム４４は、プロセッサ６６（例えば、汎用プロセッサ又は他のプロセッサ）及びメモリ６８などの処理回路を含むことができ、方位データ、位置データ、及び動き追跡データを処理することができ、１又は２以上の追跡デバイス６２によって検出されたモバイルデバイス２６の方位データ、位置データ、及び動き追跡データを処理して、例えば、モバイルデバイス２６の方位データ、位置データ、及び動き追跡データを画像生成システム３４に適した形式に変換することができる。これらの機能を実行するための命令は、メモリ６８及び／又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ６６は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何れかの同様のプロセッサ構成とすることができる。

更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モバイルデバイス２６と協働して用いることができる、補助デバイス３０に関するデータに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成及びレンダリングすることができる。特定の実施形態では、補助デバイス３０は、おもちゃの銃、旗、棒及びその他などのアミューズメントパークのテーマに関連した対象物とすることができる。特定の実施形態では、補助デバイス３０は、受動的対象物（すなわち、センサー、制御回路及びその他を含まない）とすることができ、その方位、位置、及び動きは、例えば、モニタリングシステム４４によって追跡することができる。このような実施形態では、受動的特徴（例えば、幾何学的側面又はマーキング、無線周波数識別（ＲＦＩＤ）タグ及びその他）又はより多くの能動的特徴（例えば、超広帯域（ＵＷＢ）無線送信機及びその他などの無線送信機）は、モニタリングシステム４４によって監視されて、補助デバイス３０の方位、位置、及び動き及びその他を決定することができる。更に、特定の実施形態では、補助デバイス３０は、複数の方位及び位置センサー７０（例えば、加速度計、磁力計、ジャイロスコープ、全球測位システム（ＧＰＳ）受信機、電磁及び固体動き追跡センサー、及びその他）を含むことができ、これらは、モニタリングシステム４４が補助デバイス３０の方位、位置、動き及びその他を追跡するのに使用することができる。

従って、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、補助デバイス３０によって検出することができる、補助デバイス３０の操作に関するデータに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成及びレンダリングすることができる。例えば、特定の実施形態では、補助デバイス３０の方位及び位置センサー７０によって検出された、方位、位置、動き及びその他は、補助デバイス３０の１又は２以上の通信インタフェース７２を介して画像生成システム３４に通信することができ、画像生成システム３４は、補助デバイス３０の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。

同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モニタリングシステム４４によって検出することができる、補助デバイス３０の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成及びレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム４４の１又は２以上の追跡デバイス６２は、補助デバイス３０の方位データ、位置データ、及び動き追跡データを検出することができる。次に、モニタリングシステム４４は、モニタリングシステム４４の１又は２以上の通信インタフェース６４を介して、補助デバイス３０の方位データ、位置データ、及び動き追跡データを画像生成システム３４に通信することができ、画像生成システム３４は、補助デバイス３０の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。更に、特定の実施形態では、モニタリングシステム４４の処理回路は、１又は２以上の追跡デバイス６２によって検出された補助デバイス３０の方位データ、位置データ、及び動き追跡データを処理して、例えば、補助デバイス３０の方位データ、位置データ、動き追跡データを画像生成システム３４に適した形式に変換することができる。

同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モニタリングシステム４４によって検出することができる、乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成してレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム４４の１又は２以上の追跡デバイス６２は、乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データを検出することができる（例えば、乗客２２及び他の利用客２４の身体を検出すること、乗客及び他の利用客２４の手のジェスチャーのパターンを検出すること、及びその他を含む）。次に、モニタリングシステム４４は、モニタリングシステム４４の１又は２以上の通信インタフェース６４を介して、乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データを画像生成システム３４に通信することができ、画像生成システム３４は、乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。更に、特定の実施形態では、モニタリングシステム４４の処理回路は、１又は２以上の追跡デバイス６２によって検出された乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データを処理して、例えば、乗客２２及び他の利用客２４の方位データ、位置データ、及び動き追跡データを画像生成システム３４に適した形式に変換することができる。

同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、モニタリングシステム４４によって検出することができる、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８に少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成してレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム４４の１又は２以上の追跡デバイス６２は、アミューズメントパーク１０の周囲に配置された３次元小道具、アミューズメントパーク１０の環境内の２次元グラフィックス、及びアミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８に関連する他の物理的特徴を検出することができる。次に、モニタリングシステム４４は、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８の物理的特徴に関連する方位データ、位置データ、及び動き追跡データを、モニタリングシステム４４の１又は２以上の通信インタフェース６４を介して画像生成システム３４に通信することができ、画像生成システム３４は、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８の物理的特徴に関連する方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。

更に、特定の実施形態では、モニタリングシステム４４の処理回路は、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８の物理的特徴の方位データ、位置データ、及び動き追跡データを処理して、例えば、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的特徴の物理的特徴の方位データ、位置データ、及び動き追跡データを、画像生成システム３４に適した形式に変換することができる。このようにして、画像生成システム３４は、生成される１又は２以上のＡＲ画像４０を決定するために、アミューズメントパーク１０のスリルライド１２、施設１４、追加のアミューズメントアトラクション１６、及び／又は他の物理的対象物２８のこれらの検出された物理的特徴をＡＲマーカー（すなわち、位置インデックスなどの基準点及びその他）として用いることができる。このように、これらの物理的特徴マーカーは、画像生成システム３４の３次元世界空間の初期配置及び方位付けを支援し、これは、ＡＲ視覚化の改善と、乗客２２及び他の利用客２４を３次元世界空間に結び付けることに役立つ。

更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム３４は、アミューズメントパーク１０の特定の物理的対象物２８に関するデータに少なくとも部分的に基づいて、１又は２以上のＡＲ画像４０を生成及びレンダリングすることができる。例えば、特定の実施形態では、物理的対象物２８は、プロセッサ７４及びメモリ７６などの処理回路を含むことができる。プロセッサ７４は、特定の物理的対象物２８の特定の動作状態を決定及び／又は設定するための命令を実行するために、メモリ７６に動作可能に結合することができる。これらの命令は、メモリ７６及び／又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ７４は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何れかの同様のプロセッサ構成とすることができる。特定の実施形態では、特定の物理的対象物２８のプロセッサ７４は、特定の物理的効果が物理的対象物２８に対してアクティブにされたかどうかを決定し、この決定を物理的対象物２８の１又は２以上の通信インタフェース７８を介して画像生成システム３４に通信するように構成することができ、画像生成システム３４は、この決定に少なくとも部分的に基づいて、モバイルデバイス２６の１又は２以上のディスプレイ４８に表示されるＡＲ画像４０を生成することができる。

本明細書でより詳細に記載されるように、モバイルデバイス２６を介したＡＲ体験の生成を容易にすることに加えて、特定の実施形態では、本明細書で記載されるシステム及び方法は、アミューズメントパーク１０の特定の物理的対象物２８の物理的効果（例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他）の生成を可能にする。具体的には、物理的相互作用システム８０を使用して、アミューズメントパーク１０の特定の物理的対象物２８の物理的効果を生成することができる。特定の実施形態では、本明細書でより詳細に記載されるように、プロセッサ８２（例えば、汎用プロセッサ又は他のプロセッサ）及びメモリ８４などの処理回路を含むことができる物理的相互作用システム８０は、モバイルデバイス２６、物理的対象物２８、補助デバイス３０、画像生成システム３４、及びモニタリングシステム４４からのデータを処理して、特定の物理的対象物２８に対して生成されるべき物理的効果のタイプを決定することができる。詳細には、モバイルデバイス２６、物理的対象物２８、補助デバイス３０、画像生成システム３４、及びモニタリングシステム４４の間で通信されるものとして説明される異なるタイプのデータの全ては、アミューズメントパーク１０の構成要素及び物理的相互作用システム８０の１又は２以上の通信インタフェース８６との間でも通信することができ、物理的相互作用システム８０は、このデータに少なくとも部分的に基づいて特定の物理的対象物２８に対して生成されるべき特定の物理的効果を決定することができ、また、これらの物理的対象物２８に命令を通信して、物理的効果を生成することができることは理解されるであろう。これらの命令は、メモリ８４及び／又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードでエンコードすることができる。特定の実施形態では、プロセッサ８２は、汎用プロセッサ、システムオンチップ（ＳｏＣ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、又は他の何れかの同様のプロセッサ構成とすることができる。

図２に示されるシステム３２の機能の観点から、図３は、本開示の実施形態による、モバイルデバイス２６、補助デバイス３０、及び物理的対象物２８を示す。図３に示すアミューズメントパーク１０の現実世界環境（例えば、描写された物理的対象物２８を含む）は、モバイルデバイス２６のディスプレイ４８上に表示することができる。具体的には、本明細書でより詳細に記載されるように、物理的対象物２８及びアミューズメントパーク１０の現実世界環境の残りの部分は、モバイルデバイス２６の１又は２以上のカメラ４６によってキャプチャされ、画像生成システム３４に現実世界画像３８として送信され（例えば、通信インタフェース５４、６０を介して）、画像生成システム３４によってＡＲ画像４０と組み合わされて、モバイルデバイス２６のディスプレイ４８を介して表示するためにモバイルデバイス２６に（例えば、通信インタフェース５４、６０を介して）送り返すことができる。

加えて、本明細書でより詳細に記載されるように、モバイルデバイス２６に関する１又は２以上のユーザ相互作用を検出して、これを用いて、ＡＲ画像４０を生成すると共に、アミューズメントパークの現実世界環境１０において特定の物理的効果（例えば、特定の物理的対象物２８）を実装することができる。特定の実施形態では、モバイルデバイス２６に関する１又は２以上のユーザ相互作用は、モバイルデバイス２６に関する動きのパターンを含むことができる。例えば、特定の実施形態では、経路８８によって示されるように、動きのパターンは、モバイルデバイス２６のディスプレイ４８（例えば、タッチスクリーンディスプレイ）を介して、例えば、ディスプレイ４８の指のスワイプ、指のピンチ、指タップ及びその他を介してキャプチャすることができる。代替的に、又はこれに加えて、特定の実施形態において、経路９０によって示されるように、動きのパターンは、モニタリングシステム４４の追跡デバイス６２によって検出されるモバイルデバイス２６の方位、位置、及び／又は動き、モバイルデバイス２６の方位及び位置センサー４２、或いは、相互に協働して動作する、モニタリングシステム４４の追跡デバイス６２及びモバイルデバイス２６の方位及び位置センサー４２（例えば、一方が、モバイルデバイス２６の方位、位置、動き、及びその他を追跡し、他方が、モバイルデバイス２６の方位、位置、動き及びその他を較正又は他方方法で確認する）とすることができる。代替的に、又はこれに加えて、特定の実施形態では、経路９２によって示されるように、動きのパターンは、モニタリングシステム４４の追跡デバイス６２によって検出される補助デバイス３０の方位、位置、及び／又は動きとすることができる。

動きのパターン８８、９０、９２が、例えばモバイルデバイス２６及び／又はモニタリングシステム４４によって検出されると、動きのパターン８８、９０、９２は、画像生成システム３４に送信することができ（例えば、通信インタフェース５４、６０、６４を介して）、画像生成システム３４は、動きのパターン８８、９０、９２に少なくとも部分的に基づいて、現実世界画像３８（例えば、モバイルデバイス２６にストリーミングされる）に重畳される１又は２以上の拡張（すなわち、ＡＲ画像４０）を生成することができる。詳細には、特定の実施形態では、画像生成システム３４は、画像生成システム３４のプロセッサ５６によって実行される画像生成システム３４のメモリ５８に符号化された命令の一部としてパターン認識ソフトウェアモジュールを含むことができ、これは、動き８８、９０、９２のパターンに関するデータを分析して、動き８８、９０、９２のパターンが既知のパターンに対応するかどうかを決定するように構成される。例えば、特定の実施形態では、画像生成システム３４は、動き８８、９０、９２のパターンと、例えば、画像生成システム３４のメモリ５８に格納されている複数の既知の動きパターンとの比較を実行して、現実世界画像３８に重畳される１又は２以上の拡張（すなわち、ＡＲ画像４０）を決定することができる。特定の実施形態において、動き８８、９０、９２のパターンが格納された特定の動きのパターンに対応する場合、画像生成システム３４は、特定の視覚化を現実世界画像３８に重畳することができる。１つの非限定的な実施例として、特定の実施形態において、動き８８、９０、９２のパターンが、特定の魔法の呪文に相当する格納された動きのパターンに対応すると識別された場合、視覚効果９４（例えば、特定の魔法の呪文に関する）は、現実世界画像３８に重畳されるＡＲ画像４０の一部として生成することができる。例えば、特定の実施形態では、視覚効果９４は、電気ベースの魔法の呪文の場合には電気火花、火ベースの魔法の呪文の場合には炎及びその他を表すことができる。

同様に、動き８８、９０、９２のパターンが、例えばモバイルデバイス２６及び／又はモニタリングシステム４４によって検出されると、動き８８、９０、９２のパターンは、物理的相互作用システム８０（例えば、通信インタフェース５４、６４、８６を介して）に送信することができ、物理的相互作用システム８０は、動きのパターン８８， ９０， ９２に少なくとも部分的に基づいて１又は２以上の物理的対象物２８（すなわち、現実世界画像３８の一部とすることができる）を決定することができる。詳細には、特定の実施形態では、物理的相互作用システム８０は、物理的相互作用システム８０のプロセッサ８２によって実行される、物理的相互作用システム８０のメモリ８４に符号化された命令の一部としてパターン認識ソフトウェアモジュールを含むことができ、これは、動き８８、９０、９２のパターンに関するデータを分析して、動き８８、９０、９２のパターンが既知のパターンに対応するかどうかを決定するように構成される。例えば、特定の実施形態では、物理的相互作用システム８０は、動き８８、９０、９２のパターンと、例えば、物理的相互作用のメモリ８４に格納された複数の既知の動きのパターンとの比較を実行して、システム８０は、１又は２以上の物理的対象物に対して実装される１又は２以上の物理的効果を決定することができる。特定の実施形態において、動き８８、９０、９２のパターンが格納された特定の動きのパターンに対応する場合、物理的相互作用システム８０は、１又は２以上の物理的対象物２８に対して特定の物理的効果を実施することができる。１つの非限定的な実施例として、特定の実施形態において、動き８８、９０、９２のパターンが、特定の魔法の呪文に相当する格納された動きのパターンに対応すると識別された場合、１又は２以上の物理的対象物２８（例えば、特定の魔法の呪文に関する）は、物理的相互作用システム８０によって決定することができ、物理的相互作用システム８０は、特定の物理的対象物２８と通信し（例えば、通信インタフェース７８、８６を介して）、例えば、物理的対象物２８に関連する物理的動作機構９８を介して物理的効果９６を実施することができる。例えば、特定の実施形態では、物理的効果９６は、電気ベースの魔法の呪文の場合は電源によって生成される物理的対象物２８から発せられる電気火花、火ベースの呪文の場合の点火システムによって生成される物理的対象物２８から発せられる火炎、空中浮遊の場合の物理的対象物２８の一部の動き（図３に示すような）、及びその他とすることができる。

このように、本明細書に記載の実施形態は、モバイルデバイス２６のディスプレイ４８を介したＡＲ体験と、アミューズメントパーク１０の現実世界環境の周りに配置された物理的対象物２８との知覚される物理的相互作用の両方を可能にする。特定の実施形態では、アミューズメントパーク１０の現実世界環境の周りに配置された物理的対象物２８との物理的相互作用は、物理的対象物２８の特定の部分の動きを含むのでなく、むしろアミューズメントパーク自体とのより複雑な物理的相互作用を含むことができる。例えば、特定の実施形態では、モバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）の特定のユーザが、アミューズメントパーク１０への特定の訪問でアミューズメントパーク１０の現実世界環境の周りに配置された他の物理的対象物２８と一定数の相互作用を行う場合、システム３２は、ユーザが、例えば、アミューズメントパーク１０の周りに同様に配置された隠れた洞窟への入り口を提供することができる特定のドアと物理的に相互作用することができると判断することができる。

図４は、本開示の実施形態による、モバイルデバイス２６（及び／又は補助デバイス３０）を使用してユーザが所与の数の物理的対象物２８と物理的に相互作用することに基づいて、アンロックされたアミューズメントパーク１０のドア１０２を介して隠れた洞窟１００にアクセスするユーザの実施例を示す。特定の実施形態では、ドア１０２をアンロックする能力は、第１の要件のみとすることができ、第２の要件は、ユーザがモバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）と別の相互作用を実行することである。例えば、特定の実施形態では、ユーザは、例えば、図３に関して記載されるような動き８８、９０、９２の特定のパターンを引き起こすことによって、モバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）を介して特定のドア開放呪文を実行する必要があることがある。ユーザが動き８８、９０、９２の特定のパターンを実行すると、物理的相互作用システム８０は、例えば、ロック機構９８（例えば、特定の実施形態では磁気ロック）を作動させることにより、ドア１０２を開く（例えば、物理的効果９６として）ようにすることができる。更に、特定の実施形態では、特定の視覚効果９４は、ドア１０２の開放と協働して、画像生成システム３４によってモバイルデバイス２６のディスプレイ４８上に表示させることができる。

更に、特定の実施形態では、本明細書に記載の実施形態によって可能にされる、ＡＲ体験及びアミューズメントパーク１０の物理的対象物２８との物理的相互作用により、ユーザは、特定の物理的対象物２８を介して提示される特定のパズルを解くことができる。図５は、本開示の実施形態による、モバイルデバイス２６（及び／又は補助デバイス３０）とのユーザ相互作用に基づいて解決できるパズル１０４の実施例を示す。図示の実施形態では、複数の物理的対象物２８は、モバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）とのユーザ相互作用を介して物理的に相互作用することができる。特定の実施形態では、複数の物理的対象物２８が、モバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）とのユーザ相互作用を介して、物理的に正しい位置に物理的に移動されるようになると、特定の視覚効果９４は、画像生成システム３４によってモバイルデバイス２６のディスプレイ４８に表示させることができる。例えば、図５に示す実施形態では、モバイルデバイス２６（及び／又は特定の実施形態では補助デバイス３０）とのユーザ相互作用により、矢印１１０で示されるように、物理的対象物２８がベース１０８のそれぞれの区画１０６内に配置され、これによってパズルを解くことができ、特定の実施形態では、画像生成システム３４によってモバイルデバイス２６のディスプレイ４８上に視覚効果９４を表示させるようにすることができる。

図６は、本開示の実施形態による、本明細書に記載されるシステム３２を動作させる方法１１２を示す。例えば、特定の実施形態では、方法１１２は、画像生成システム３４を介して、モバイルデバイス２６の１又は２以上のカメラ４６を介してキャプチャされる画像データ（例えば、現実世界画像３８）に少なくとも部分的に基づいて、アミューズメントパーク１０の現実世界環境のストリーミングメディアを生成することを含む（ブロック１１４）。更に、特定の実施形態では、方法１１２は、画像生成システム３４を介して、モバイルデバイス２６とのユーザ相互作用に関するデータに少なくとも部分的に基づいてアミューズメントパーク１０の現実世界環境のストリーミングメディアに重畳された１又は２以上の拡張（例えば、１又は２以上のＡＲ画像４０）を生成することを含む（ブロック１１６）。更に、特定の実施形態では、方法１１２は、画像生成システム３４を介して、アミューズメントパーク１０の現実世界環境のストリーミングメディアを、モバイルデバイス４６のディスプレイ４８に表示される１又は２以上の拡張と共に送信することを含む。（ブロック１１８）。更に、特定の実施形態では、方法１１２は、物理的相互作用システム８０を介して、モバイルデバイス２６とのユーザ相互作用に関するデータに少なくとも部分的に基づいてアミューズメントパーク１０の現実世界環境における物理的対象物２８に実装される１又は２以上の物理的効果９６を決定することを含む（ブロック１２０）。更に、特定の実施形態では、方法１１２は、物理的相互作用システム８０を介して、決定された１又は２以上の物理的効果９６を実装するために物理的対象物２８に信号を送信することを含む。

本開示の特定の特徴のみを本明細書に図示し説明したが、多くの修正及び変更が当業者に見出されるであろう。従って、添付の特許請求の範囲は、本開示の真の趣旨に属するような修正及び変更の全てを包含するように意図されると理解すべきである。更に、開示された実施形態の特定の要素は、互いに組み合わせること、又は交換できることを理解されたい。

２６ モバイルデバイス
３０ 補助デバイス
２８ 物理的対象物
３６ 無線ネットワーク
３４ 画像生成システム
３８ 現実世界画像
４０ ＡＲ画像
４４ モニタリングシステム
８０ 物理的相互作用システム

Claims (23)

1. システムであって、
   モバイルデバイスに通信可能に結合されるように構成された画像生成システムであって、
   前記モバイルデバイスのカメラを介してキャプチャされた画像データに少なくとも部分的に基づいて、現実世界環境のストリーミングメディアを生成し、
   前記モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された１又は２以上の拡張を生成し、
   前記現実世界環境のストリーミングメディアを、前記モバイルデバイスのディスプレイに表示される前記１又は２以上の拡張と共に送信する、
   ように構成された画像生成システムと、
   前記モバイルデバイスに通信可能に結合されるように構成された物理的相互作用システムであって、
   デバイスの動きのパターンと、前記モバイルデバイスとの前記ユーザ相互作用に関するデータとに少なくとも部分的に基づいて、前記現実世界環境にて物理的対象物に実装される、前記物理的対象物の動きを含む１又は２以上の物理的効果を決定し、
   前記物理的対象物に信号を送信して、前記物理的対象物の動きを含む前記決定された１又は２以上の物理的効果を実装する、
   ように構成された物理的相互作用システムと、
   を備え、
   前記画像生成システムは、前記物理的対象物の動きに基づいて前記モバイルデバイスのディスプレイに視覚効果を表示するように構成されている、システム。
2. 前記ユーザ相互作用に関するデータが、前記デバイスの動きの前記パターンを含む、請求項１記載のシステム。
3. 前記画像生成システムが、前記ユーザ相互作用に関するデータを分析して前記動きのパターンが既知のパターンに対応するかどうかを決定するように構成されたパターン認識モジュールを含み、前記画像生成システムは、前記動きのパターンが前記既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記１又は２以上の拡張を生成するように構成された、請求項２に記載のシステム。
4. 前記物理的相互作用システムが、前記ユーザ相互作用に関するデータを分析して、前記動きのパターンが既知のパターンに対応するかどうかを決定するように構成されたパターン認識モジュールを含み、前記物理的相互作用システムは、前記動きのパターンが前記既知のパターンに対応するかどうかに少なくとも部分的に基づいて、実装される前記１又は２以上の物理的効果を決定するように構成される、請求項２に記載のシステム。
5. 前記動きのパターンは、前記モバイルデバイスを監視するモニタリングシステムによって検出された前記モバイルデバイスの動きのパターンを含む、請求項２に記載のシステム。
6. 前記動きのパターンは、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項２に記載のシステム。
7. 前記ユーザ相互作用は、前記モバイルデバイスの動きを含む、請求項１に記載のシステム。
8. 前記画像生成システムは、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアを生成するように構成されている、請求項７に記載のシステム。
9. 前記画像生成システムは、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを前記モバイルデバイスから受信するように構成される、請求項８に記載のシステム。
10. 前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを決定するために、前記モバイルデバイスの物理的属性を監視するように構成されたモニタリングシステムを備える、請求項８に記載のシステム。
11. 前記ユーザ相互作用は、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項１に記載のシステム。
12. 前記画像生成システムは、前記モバイルデバイスと協働して使用される補助デバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された前記１又は２以上の拡張を生成するように構成されている、請求項１に記載のシステム。
13. 前記物理的相互作用システムが、前記モバイルデバイスと協働して使用された補助デバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境内の前記物理的対象物に実装される前記１又は２以上の物理的効果を決定するように構成されている、請求項１に記載のシステム。
14. 前記画像生成システムが、前記現実世界環境に配置された１又は２以上の物理的対象物に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された前記１又は２以上の拡張を生成するように構成されている、請求項１に記載のシステム。
15. 方法であって、
    画像生成システムを介して、モバイルデバイスからリアルタイムビデオデータストリームを受信するステップと、
    前記受信したリアルタイムビデオデータストリームに少なくとも部分的に基づいて、前記画像生成システムを介して、現実世界環境の視覚化を生成するステップと、
    前記画像生成システムを介して、前記モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境の視覚化に拡張現実（ＡＲ）画像をオーバーレイするステップと、
    デバイスの動きのパターンと、前記モバイルデバイスとの前記ユーザ相互作用に関するデータとに少なくとも部分的に基づいて、物理的相互作用システムを介して、前記現実世界環境において物理的対象物に実装される、第１の場所から第２の場所への前記物理的対象物の動きを含む１又は２以上の物理的効果を決定するステップと、
    前記画像生成システムを介して、前記オーバーレイされたＡＲ画像を前記現実世界環境の視覚化と共に前記モバイルデバイスに送信するステップと、
    前記物理的相互作用システムを介して、前記第１の場所から前記第２の場所への前記物理的対象物の動きを含む前記決定された１又は２以上の物理的効果を実装するための信号を前記物理的対象物に送信し、前記画像生成システムを介して、前記物理的対象物の動きに基づいて前記モバイルデバイスのディスプレイに視覚効果を表示するステップと、
    を含む、方法。
16. 前記ユーザ相互作用に関するデータが、動きのパターンを含む、請求項１５記載の方法。
17. 前記動きのパターンが既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記画像生成システムを介して、前記現実世界環境の視覚化に前記ＡＲ画像をオーバーレイするステップを含む、請求項１６に記載の方法。
18. 前記物理的相互作用システムを介して、前記動きのパターンが既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記現実世界環境における前記物理的対象物に実装される前記１又は２以上の物理的効果を決定するステップを含む、請求項１６に記載の方法。
19. 前記動きのパターンは、前記モバイルデバイスを監視するモニタリングシステムによって検出された前記モバイルデバイスの動きのパターンを含む、請求項１６に記載の方法。
20. 前記動きのパターンは、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項１６に記載の方法。
21. 前記画像生成システムを介して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせに少なくとも部分的に基づいて、前記現実世界環境の視覚化に前記ＡＲ画像をオーバーレイするステップを含む、請求項１５に記載の方法。
22. 前記モバイルデバイスの１又は２以上のセンサーを使用して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを検出するステップを含む、請求項２１に記載の方法。
23. 前記モバイルデバイスを監視するモニタリングシステムを使用して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを検出するステップを含む、請求項２１に記載の方法。