JP6823915B2 - 動画表示にリアルタイムに参加するためのシステム及び方法並びにゲームシステム - Google Patents

Description

本発明の実施の形態は、メディアの実演の協同的な視聴に関する。本発明の実施の形態は、とくに、テレビ番組又は映画などのメディアの実演を、インタラクティブなゲーム経験に変換することに関する。

映画館で映画を見ることの不愉快な一面は、映画の上映中に観客の間で持たれる会話により気が散ってしまうことである。会話それ自体が本質的に不愉快であるというわけではなく、他人の会話が不愉快なのである。他方、家で映画を見ているときに、友達や家族と、批評や、意見や、冗談などを共有するのは楽しいことである。このため、人気のあるテレビシリーズである「ミステリーサイエンスシアター３０００」は、映画、典型的にはぞっとするような嫌な映画の観客の間で持たれた会話をもとにしていた。ミステリーサイエンスシアター３０００では、映画の上映中に、二体のロボットと一人の人間の宇宙パイロットが批評し、冗談を言った。映画は、まるで映画館の中にいるかのように映像スクリーンに映され、ロボットと人間の批評家は、まるで映画館で座って映画を見ているかのようにシルエットで表現された。

ビデオゲームのプレー中に、プレイヤー同士がネットワークを介して話すことが可能な機能がプレイヤーに提供されている。実際に、この目的のためにヘッドセットが利用可能である。このようなゲームにおいて、プレイヤーは、プレイヤーを表現するペルソナ又はアバターを持つ。このように、プレイヤーは、ゲームに参加し、ゲーム中に他のプレイヤーと話すことができる。

１以上の個人が受動的に映画などのメディアの実演を視聴する場合、映画空間自体の中で映画と対話する方法はない。すなわち、映画を視聴する個人は、居間又は映画館において批評を加えることを除けば、映画の実演の一部たりえない。端的に言えば、彼らはスクリーン上のアクションの一部ではない。これは、部分的には、映画などのメディアの実演には、視聴者に上映される前に、序章と中章と終章が存在しているという意味で静的であることが一因である。

ビデオゲームの場合は、プレイヤーは、展開中のゲームのドラマにおける関係者であり、傍観者ではいられない。これは、部分的には、プレイヤーがゲームと相互作用するにつれてビデオゲームの物語がリアルタイムに創造されるという意味で動的であることが一因である。

Ｂ．バーリル（Burrill）、Ｔ．キルステ（Kirste）、Ｊ．ワイス（Weiss）による、「ダイナミックなマルチメディアオブジェクトにおいて時間変化するセンシティブな領域：映像からのコンテンツベースの検索への実用的アプローチ」、ソフトウェア技術情報、３６巻、３６号、２１３−２２３ページ（１９９４年）は、ハイパーメディア及び情報検索の二つの観点により、ダイナミックなメディアのコンテンツにアクセスするための一般的な概念について説明している。バーリルらは、既存の技術からリバースエンジニアリングの手法により、センシティブな領域（又は「ホットスポット」）の一般的な概念を導入する。バーリルらは、センシティブな領域に関連するさまざまな側面を探求する、開発中の３つのアプリケーションについて記述している。「ハイパーピクチャーシステム（HyperPicture-System）」はそのようなデータを管理し、「ムービー（MOVie）」は映画制作由来の文脈においてセンシティブな領域の編集の生成を実験し、「シェアーミー（Share ME）」はマルチメディアアプリケーションへのインタフェースにおけるセンシティブな領域の利用に関連する話題を探求する。

Ｄ．ウィステンダール（Wistendahl）、Ｌ．チョン（Chon）による、「インタラクティブなディジタルメディアプログラムのためのメディアコンテンツにおけるホットスポットのマッピングのためのシステム」、米国特許第５，７０８，８４５号（１９９８年１月１３日出願）は、メディアコンテンツをインタラクティブなディジタルメディアプログラムにおいて利用可能とするシステムを開示する。このようなシステムは、メディアコンテンツにおいてオブジェクトを表示するために、フレームアドレス及び表示位置座標を表現したオブジェクトマッピングデータ（Ｎデータ）におけるメディアコンテンツからのフレームデータを備える。Ｎデータは、メディアコンテンツが、組み込まれたコードなしにアクセス可能であり、任意のシステムにおいて再生可能となるように、メディアコンテンツのためのフレームデータとは別個に保持される。システムは、Ｎデータによりマップされたオブジェクトと、メディアコンテンツの表示に関連して実行されるべき他の機能とを接続するリンクを確立する。メディアコンテンツに登場するオブジェクトのポインタによる選択は、インタラクティブな機能の契機となる。このように、映画、ビデオ、広告、及びテレビ番組などの既存の非インタラクティブなメディアコンテンツの広範な基礎は、インタラクティブなディジタルメディアへの使用のために変換されてもよい。

従来技術は、さまざまなマッピング技術を介してメディアに相互作用するための基礎的な機構を提供するが、現実的な方法で相互作用がコンテンツに同調されるように、そのような相互作用の効果に注意を向ける試みはなされなかった。

１以上の人が、事前に表現自体の一部となることなく、メディアの表現に相互作用することが可能な体験を提供することが有利である。

従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。

本発明の実施の形態において、ユーザは、機能強化されたインタラクティブなテレビ番組又は映画の生成物との間で、そのような映画又はテレビ番組にゲームのオーバーレイを追加することに基づいて、相互作用することを可能とされる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。

実施の形態において、映画又はテレビ番組は、動画中の領域に関連した、時間変化するメタデータのストリームを抽出するために前処理されてもよい。アクティブな領域及びアニメーションなどの追加されたコンテンツを有するオーバー例は、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ眼組の映像及び／又は音声要素の双方を含んでもよい。

ゲームコントローラなどを介した、機能強化された映画又はテレビ番組とのユーザの相互作用は、オーバーレイを介して映画又はテレビ番組にマップされ、ゲーム又は他のアクティブなオーバーレイの特徴は、映画又はテレビ番組の表示中に応答してもよい。

その結果、視聴者は、映画又はテレビ番組に表示されたパフォーマンスに入り込み、相互作用することができる。このような相互作用は、例えば、上述したようなトマトを投げるなどの個々のユーザのアクション、又は、俳優の背中を這うクモを撃つなどのグループ及び／又は競争的なアクションを含んでもよい。

図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的な一連のブロック図である。 本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。 図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的な一連のブロック図である。 図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的な一連のブロック図ある。 メディアの実演の中にリアルタイムに参加するための方法の例を概略的に示すフローダイアグラムである。

本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許仮出願第６１／０４７，７３７号（「テレビ番組又は映画をインタラクティブなゲーム体験に変換するためのシステム及び方法」、２００８年４月２４日出願）の優先権を主張し、その全文がここに援用される。本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許出願第１２／４１９，２４８号（「メディアの実演へのリアルタイムな視聴者の相互作用のための方法及び装置」、２００９年４月６日出願）の優先権を主張し、その全文がここに援用される。

下記の詳細な説明は、例示を目的として多くの特定の詳細を含むが、下記の詳細に対する多くの変形及び置換が本発明の範囲に入ることは、当業者に認識されるところである。したがって、下記に説明する本発明の実施の形態は、請求された発明の一般性を失わせることなく、また限定を付加することもなく説明される。

従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。

本発明の実施の形態において、ユーザは、映画又はテレビ番組にゲームのオーバーレイが追加されることによって、映画又はテレビ番組などのメディアコンテンツの機能強化されたインタラクティブな生成物と相互作用することができる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。

実施の形態において、メディアコンテンツ、例えば既存の映画又はテレビ番組は、時間変化するメタデータのストリームと動画の領域を関連付けるように前処理されてもよい。アクティブな領域とアニメーションなどの追加コンテンツの双方を有するオーバーレイが、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ番組の映像及び／又は音声の双方の要素を含んでもよい。

例として、時間変化するメタデータのストリームは、米国特許第５，７０８，８４５号に記述された方法によりメディアコンテンツと関連付けられてもよい。該公報の全体は、参照によりここに援用される。とくに、ビデオ、コンテンツなどのメディアのディジタル化されたバージョンのためのフレームデータは、フレームアドレス及びメディアコンテンツに現れるオブジェクトの表示位置の座標を表現するオブジェクトマッピングデータ（Ｎデータ）に関連付けられてもよい。インタラクティブディジタルメディア（Interactive Digital Media：ＩＤＭ）プログラムは、Ｎデータによりマップされたオブジェクトを、メディアコンテンツの表示に関連して実行されるべきインタラクティブな機能に関連付ける関係を確立するために用いられてもよい。

ユーザによる、ゲームコントローラなどを介した、機能強化されたメディアコンテンツとの相互作用は、メタデータのオーバーレイを介してメディアコンテンツにマップされ、ゲーム又はオーバーレイの他のアクティブな特性は、映画又はテレビ番組の表示中に応答する。

その結果、視聴者は、メディアコンテンツにおいて描写されたパフォーマンスに参加され、相互作用することができる。このような相互作用は、例えば、上述したトマトを投げるなどの個々のユーザのアクション、俳優の背後に這っているクモを打つなどのグループ及び／又は競争的なアクションを含んでもよいが、この例に限られない。

図５は、メディアの実演の中にリアルタイムに参加するための方法１００の予言的な例を概略的に示すフローダイアグラムを示す。方法１００は、コンピュータプロセッサ実行可能な命令のセットの形式で実装されてもよい。これは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、又はＲＡＭ（Random Access Memory）などのコンピュータ読み取り可能な記録媒体に格納されてもよい。１０２に示すように、参加者のオーバーレイが生成される。例として、参加者のオーバーレイは、メディアの実演において描写された１以上のインタラクティブな領域に関連付けられた、時間変化するメタデータのストリームを抽出するように、メディアの実現を前処理することにより生成されてもよい。参加者のオーバーレイは、シミュレートされた物理的過程を含んでもよい。シミュレートされた物理的過程は、メディアの実演におけるコンテンツに関連付けて定義された１以上のインタラクティブな領域の境界を含んでもよい。

１０４に示すように、参加者による、１以上のアクティブな領域を介したメディアの実演との間の相互作用が取得される。相互作用は、例えば、メディアの実演における１以上のコンテンツ要素に対するユーザのアクション、アバターを介してメディアの実演において表現されたユーザのアクション、又はゲーム要素などの仮想的なオブジェクトに関連したメディアの実演におけるユーザアクションを含んでもよい。参加者の相互作用は、メディアの実演及び参加者のオーバーレイを表示するために用いられるシステムに関連して用いられるゲームコントローラなどのコントローラにより取得されてもよい。１０６に示すように、オーバーレイ（参加者の相互作用を含む）は、ディスプレー上での参加者に対する表示のためのメディア実演に結合される。このように、１０８に示すように、メディア実演及びオーバーレイは、ディスプレー上で同時に表示されてもよい。

図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的なブロック図のシリーズを提供する。図１Ａ−１Ｃは、共通して、視聴者１０ａ、１０ｂを含む。この例においては、それぞれ共通の位置に２人の視聴者のメンバーを含み、それぞれがゲームコントローラを介して映画又はテレビ番組の実演と相互作用することができる。視聴者として任意の数の位置に任意の数の個人がいてもよいことは、当業者に理解されるところである。例えば、一人の人が一つの位置にいてもよいし、多数の人が多数の位置にいてもよい。さらに、ユーザによる相互作用は、ゲームコントローラ、動き検知装置など、及びそれらの組み合わせにより実行されてもよい。

さらに、視聴者がアバター１５ａ、１５ｂとして表現されたディスプレー１１、競争を含む本発明の実施の形態において少なくとも一定期間ごとに表示されるスコアパネル１３、及びオブジェクト追跡モジュール１２も、図１Ａ−１Ｃに共通している。本実施の形態では、オブジェクト追跡モジュール１２は、動きセンサ１４にデータを提供し、これにより、現実世界における視聴者の動作を時間的及び物理的に正確な態様で実演において表現することを可能とする。例として、オブジェクト追跡モジュール１２は、メディアの実演内で要素（例えばオブジェクト又はキャラクタ）の追跡を更に実装してもよいが、この例に限られない。例えば、オブジェクト追跡モジュールは、メディアの実演に登場する１以上のキャラクタの顔に関連付けられたメタデータ（例えばＮデータ）を生成するために、顔の追跡を実装してもよい。

実施の形態において、映画又はテレビ番組は、動画の領域に関連付けられた、時間変化するメタデータのストリームを抽出するために前処理されてもよい。例として、メタデータのストリームの生成者（以下、「作者」という）は、ディジタルメディアコンテンツ（又はディジタル化された他のメディアコンテンツ）の特定のフレームにおける１以上の要素を、マサチューセッツ州、チュークスベリのアビッド・テクノロジー社によるエラスティック・リアリティー・３（ELASTIC REALITY 3）などの映像編集ソフトウェアのアウトラインツールを用いて識別することができる。要素が後続の多数のフレームを通して静止している場合、作者はそれぞれのフレームにおいて独立して要素を識別する必要はない。それに対して、要素がフレームにつれて移動する場合、後続のフレームにおけるオブジェクトを自動的に識別するために、動き追跡又はマシンビジョンツールが用いられてもよい。そのような動き追跡ツールの例として、イギリス、サリー州、チャートシーの英国国防研究庁のステフェン・Ｍ・スミスにより開発された「ＡＳＨＥＴ−２」が知られている。このプログラムは、映像シーケンスの後続のフレームにおける要素の抽象化された表現を生成するために、特徴セグメンテーション及びクラスタリング技術を用いる。統計的な比較を用いることにより、一連のフレームにまたがった経路において異なる位置に現れる、類似した特徴のセットにより特徴づけられたクラスターを、動いている要素として認識することができる。いったん要素が識別されると、要素との相互作用を可能とするためのメタデータへのハイパーリンクを確立するために、ハイパーリンクツールを利用することができる。

視聴者のメンバー１５ａ、１５ｂとメディアコンテンツ中の要素との間の相互作用を容易にするために、ディスプレー１１は、コンピュータ又はビデオゲームコンソール装置などのインタラクティブ装置と協働して動作してもよい。それぞれの視聴者のメンバー１５ａ、１５ｂは、インタラクティブ装置に制御信号を提供するために、従来のゲームコントローラを操作してもよい。インタラクティブな装置は、例えばアプリケーション専用ハードウェア又はソフトウェアプログラムを介して、ディスプレー１１に表示されたインタラクティブなオブジェクトと相互作用可能に構成されてもよい。インタラクティブなオブジェクトは、メタデータに関連付けられたメディアコンテンツに登場する要素（例えばオブジェクト又はキャラクタ）を含んでもよい。このような要素を、以下、「コンテンツ」要素と呼ぶ。さらに、インタラクティブなオブジェクトは、コンテンツ要素と相互作用する特定の目的のために、インタラクティブ装置により生成されるオブジェクトを含んでもよい。このようなオブジェクトを、以下、「仮想」オブジェクトと呼ぶ。

本発明の実施の形態において、メタデータ及び／又はインタラクティブ装置は、仮想オブジェクトとメタデータにより定義されたコンテンツ要素との間の相互作用を統率するシミュレートされた物理的過程の１以上のパラメータを定義するように構成されてもよい。例として、このような物理的過程のパラメータは、相互作用の影響を受けるディスプレー１１に表示されたシーンの１以上の領域を定義する物理的境界を含んでもよいが、この例に限られない。これらの物理的境界は、壁などの垂直な境界面や、床、天井、テーブルの天板などの水平な境界面を含んでもよい。これらの物理的境界は、ディスプレー１１に示されるシーンにおいて表示される対応するコンテンツ要素に関連付けられてもよい。例として、物理的境界は、メディア実演において描写されるキャラクタの輪郭と一致してもよいが、この例に限られない。物理的過程のパラメータは、仮想オブジェクトと境界との間の相互作用の性質、例えば、それらの間の衝突が弾性的又は非弾性的である程度を定義してもよい。

物理的過程のパラメータは、仮想オブジェクトを支配する、関連する物理量を定義してもよい。とくに、物理的過程のパラメータは、仮想オブジェクトの動きを支配する重力ベクトルの力の方向及び大きさを決定してもよい。重力ベクトルは、任意の適当な方法により指向されてもよい。例えば、フレームの垂直な端に平行であってもよいし、フレームに表示されるシーンに関連して調整されてもよい。さらに、物理的過程のパラメータは、仮想オブジェクトの光学的パラメータ、例えば、透明度、反射率、屈折率などを定義してもよい。固体の仮想オブジェクトの場合、物理的過程のパラメータは、弾性、可塑性、降伏点、破壊強度などを含んでもよい。液体をシミュレートした仮想オブジェクトの場合、物理的過程のパラメータは、濃度、粘度、表面張力などを含んでもよい。

物理的過程のパラメータは、ユーザが、コンテンツ要素又はディスプレーに表示されたインタラクティブな領域と、いつどのように相互作用するかを定義してもよい。例えば、物理的過程のパラメータは、相互作用が禁止される、シーン又はフレームの１以上の領域（以下、「ブラックアウト」領域と呼ぶ）を定義してもよい。パラメータは、相互作用が明示的に勧められる、１以上の領域（以下、「ターゲット」領域と呼ぶ）を定義してもよい。さらに、物理的過程のパラメータは、仮想オブジェクトが現れ、移動するシーンの領域（以下、「フリー」領域と呼ぶ）を定義してもよい。

コンテンツ要素と仮想オブジェクトとの間の相互作用の例として、視聴者のメンバー１０ｂは、メディアの実演に沿ってディスプレーにアバター１５ｂの形式で表示される、対応する表現を有してもよい。視聴者のメンバー１０ｂが、実演においてアバターがその腕を上げるよう指示するためにゲームコントローラを操作すると、アバター１５ｂはそのように応答する。図１Ａにおいて、視聴者のメンバー１０ｂは、映画又はテレビ番組の俳優に仮想的なトマト１６を投げ始めるようにゲームコントローラを操作する。俳優の顔は、仮想的なトマトとの間の相互作用を許容するメタデータのストリームに関連付けられたコンテンツ要素であってもよい。図１Ｂに示すように、視聴者のメンバー１０ｂは、仮想的なトマト１６を俳優の顔に投げ付け、トマトと、視聴者のメンバー１０ｂのアバター１５ｂが投げる動作が、実演に表示されてもよい。

図１Ｃに示すように、トマトが俳優の顔に当たり、俳優のシャツ及びジャケットに滴る。仮想的なトマト１６及び／又は俳優に関連付けられたメタデータは、トマトの汚れ及び滴りの物理的過程を決定してもよい。例として、視聴者のメンバー１０ｂによる投げ方が正確であれば、彼のスコアを増加させてもよい。こうして、ゲーリーのスコアが１１１に増加される。

本実施の形態は、図１Ａ−１Ｃに例示されるように、実演空間内のオブジェクトの操作を介したメディア実演との相互作用をユーザに提供する。任意のオブジェクトが、実演の任意の部分に関連して操作されてもよい。ユーザが俳優の顔にトマトを投げる例は、ほぼ無限にあるオプションの一つの可能性に過ぎない。例えば、ユーザが椅子を持ち上げて窓を割ってもよいし、車で崖を渡ってもよい。

ある実施の形態において、相互作用の性質は、メディア実演のコンテンツ要素の性質に基づいてもよい。例えば、仮想的なトマトが、メディア実演の「スター」であるキャラクタに当たると、より多くのポイントが与えられてもよい。

さらに、仮想オブジェクトは、メディア実演との相互作用に付属する目的を供給してもよい。例えば、仮想オブジェクトは、ディスプレーに表示可能な広告情報を組み込んでもよい。このような仮想オブジェクトを、以下、「ブランド名」オブジェクトと呼ぶ。

図２は、本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。図２は、それぞれの参加者がインターネットなどのネットワーク２４を介して接続される例を提供する。他の実施の形態は、後述するように、ネットワーク接続を必要とせず、完全にローカルであってもよい。図２には、いくつかの参加者のロケーション２０及び２０ａ−２０ｎが示されている。参加者のロケーションは、それぞれのユーザ２２及び２１ａ−２１ｎに設備を提供する。例として、参加者のロケーション２０は、テレビジョン又は他の種類のディスプレー３３を含んでもよいが、これに限られない。このロケーション２０の参加者は、例えば、ゲームコントローラ２８、マイクロフォン２９、及びビデオカメラ３０などの手段によりシステムと相互作用してもよい。本発明の実施の形態は、例えば映画館において映画館の常連の間で携帯電話により相互作用が行われるなどのように、他の形式のユーザ相互作用を含んでもよい。参加者の相互作用は、汎用コンピュータ又はコンピュータプロセッサを有する他の装置により実装されるローカルプロセッサ２７において取得されてもよい。例えば、ローカルプロセッサ２７は、ソニープレイステーション３（登録商標）などのゲームコンソールにおいて実装されてもよい。

それぞれの参加者ロケーションは、ネットワーク２４を介してゲームサーバ３２及び合成サーバ３１と接続されてもよい。ゲームサーバ３２は、後述するように、ゲームプレー機能を提供する実施の形態において提供されてもよい。合成サーバ３１は、このようなメディア実演にインタラクティブな機能を追加することを可能とするオーバーレイＯＬをメディア実演ＭＰに提供する。いくつかの実施の形態において、ゲームサーバ３２と合成サーバ３１の双方の機能が単一のサーバ装置に一体化されてもよい。さらに、ゲームサーバ及び／又は合成サーバの機能は、例えばローカルプロセッサ２７により参加者のロケーションにおいて実装されてもよい。本実施の形態では、ネットワークは必須ではない。しかしながら、ネットワークを含む構成によれば、複数の遠隔のローケーションにおける複数の参加者が同時かつリアルタイムに相互作用することができる。

メディアサーバ２６は、メディア実演ＭＰに対応するコンテンツ２５を合成サーバ３１に提供してもよい。または、コンテンツ２５は、他の手段を介して提供されてもよい。例えば、コンテンツ２５は、ディジタルビデオディスク（ＤＶＤ）、ＣＤ−ＲＯＭ、ユニバーサルシリアルバス（ＵＳＢ）、フラッシュドライブなどのコンピュータ読み取り可能な媒体に格納され、ＤＶＤプレイヤー、ＣＤ−ＲＯＭドライブ又はＵＳＢポートなどの適当なインタフェースを介してローカルプロセッサ２７によりアクセスされてもよい。合成サーバ３１は、コンテンツ２５に対応するメディア実演に参加者の相互作用をリアルタイムに結合する。タイムコード及び他の既知の同期技術が、ユーザによるメディア実演との相互作用の正確な登録を保証するために用いられてもよいし、例えばフレームごと又はシーンベースでメディア実演に要素を追加し、メディア実演内の場所に基づいてユーザの相互作用を追跡するために、メディア実演をマップするために用いられてもよい。例えば、マッピングは、基調をなすメディア実演ＭＰへの正確な登録において、オーバーレイにおける、ユーザによるオブジェクトの移動、射撃、アバターなどの追跡のために用いられてもよい。当業者のゲーム開発者にはよく知られている、コリジョン検知としてのこのような技術が、これらの特徴を実装するために適用されてもよい。

図２に示すように、メディア実演２５は、参加者のディスプレー３３に、映像表現として表れる。同様に、複数の参加者２１及び２２のアバターも、アバター２１ａ及び２２ａとして画面に表示される。参加者のアクションは、同様の方法で表示される。図２に示された分割画面において、メディア実演は画面の上部に表示され、参加者は画面の下部に表示される。この変換は必要ではなく、オーバーレイは、望まれるように、例えば画面全体にわたるように生成されてもよい。

このように、本発明の実施の形態は、リアルタイムに、すなわちメディア実演の上映中に、メディア実演にインタラクティブな要素を重畳する。ある実施の形態において、シーン又は物語の他の要素がメディア実演の一部として表示されてもよい。シーン又は物語の要素は、映画、テレビ番組、音楽ビデオ、スポーツイベントなどの既存のコンテンツのシーンであってもよいし、本明細書で説明したインタラクティブなシステムに関連して用いるためのコンテンツの一部として用意されてもよいし、ビデオゲーム又は他のインタラクティブな活動、例えばビデオゲームの傍観者が視聴者としてゲームプレーに相互作用するようなものであってもよい。前述した例においては、シーンが表示されるとしたが、本発明の実施の形態は、例えば映画の全体が表示される場合も含む。例として、メディアの実演は、コンテンツのソースとして、標準的なケーブル又は衛生放送、地上波デジタル又はアナログ放送、ストリーム化されたメディア、ＤＶＤ、又はブルーレイの表示を含んでもよいが、これらに限られない。

図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。図３Ａ−３Ｃの例において、ディスプレー３３に表示されるシーンは、歩道に沿って歩く俳優３７を示す。インタラクティブなレイヤーは、インタラクティブでリアルタイムな視聴のセッションに参加している全ての人が視覚可能な、俳優の背後のターゲット３８に重なるように、シーンに合成される。ある例において、ディスプレー３３は、例えば実演と相互作用する視聴者のメンバー３５ａ、３５ｂを含む、シーンを映画館で見ている視聴者の全てのメンバーだけでなく、コンテンツシーン及びターゲットを表示する。この例において、一人の視聴者３１は、実演を受動的に見ている。ターゲットは、ゲームの要素を提供し、視聴者があるアクションをとる契機となる。例えば、相互作用する視聴者のメンバーのそれぞれは、他の参加者が見ることができる画面において仮想的な紙つぶてを投げることができる（図１Ａ−１Ｃに関連して説明した例を参照）。

相互作用する視聴者のメンバー３５ａ、３５ｂのそれぞれは、実演に伴ってディスプレー３３に表示される対応するアバター３９ａ、３９ｂを有してもよい。図３Ａに示すように、視聴者の相互作用するメンバーのそれぞれに対応する、座っているアバターを表示してもよい。図３Ｂに示すように、視聴者のメンバー３５ａは、ゲームコントローラ又は同様の機構を用いて、彼のアバター３９ａを、表示された座席から離れてターゲットの方へ歩いていくように移動させる。図３Ｃに示した予言的な例において、視聴者のメンバー３９ａのアバターは、座席を離れ、シーン中の俳優に突進し、ターゲットがまだ表示されている間に俳優の背後を蹴る。これを遂行した最初の参加者にはポイントが与えられてもよい。ポイントの総計は、プレイヤーの間のランキング４０に表示される。この例において、ゲーリーがこのアクションに成功し、彼のスコアは１１１に増加される。または、プレイヤーに他の知識が与えられてもよいし、彼の、そして他の全ての人の娯楽のために単独で行動してもよい。

本発明の実施の形態の鍵は、実演に対して、例えばアバターの形式で、視聴者のメンバーの表現が追加されることである。映画又はテレビ番組に対する機能強化は、実演内のアクションに重畳され、一時的かつ物理的に結びつけられてもよい。図３Ａ−３Ｂに示した例において、ターゲットは俳優の移動を追跡する。このように、この例では、ターゲットは、参照の俳優のフレームに対して静止しているようにみえる。そして、アバターは、俳優の歩幅に合うように操作されたり、俳優が移動するにつれて俳優に向かって駆け寄り、例えばターゲットを蹴ったりするなど、実演空間内で現実的な態様で動く。

ある実施の形態において、テレビジョン又はコンピュータディスプレーなどのディスプレー上の関連する位置にある特定のインタラクティブなオブジェクトに関連したアクションを可能とするシステムが提供される。インタラクティブなオブジェクトの位置及び特定のメディア実演中にそれらが表示される時間は、オブジェクトの表示が特定のメディア実演と辻褄が合うように予め決定されてもよい。例えば、オブジェクトは、追跡シーン中、ラブシーン中、飛行中、又は、例えばメディア実演の退屈な部分や視聴者がそわそわするときなど、視聴者により投票されたときなど、ユーザの相互作用がメディア実演の娯楽価値を高める間の任意の時期に表示されてもよい。例として、参加者はディスプレー上でポップコーンの箱に似たアイコンをポストすることにより、無関心であることを示唆してもよいが、これに限られない。これは、映画館においてロビーに行くことに似ている。所定数のポップコーンの箱が表示されると、インタラクティブな機能がオンになる。

または、メディア実演は、視聴者の相互作用の重畳を自動的に可能とされてもよいし、持続的に又はユーザの要求により表示されるアクションのメニューにより、任意の視聴者がメディア実演にインタラクティブな要素を追加可能としてもよい。後者の場合、ユーザは、吹き出しにコメントを入れたり、オブジェクトを投げるなどのアクションを行ったり、アバターを移動及び活動させたり、賛同又は嫌悪などの反応を表示したりすることができる。

前述したように、例えば視聴者に対するユーザの相互作用の領域を制限する境界が適用されてもよい。さらに、視聴者のそれぞれのメンバーは、視聴者の他のメンバーにより識別可能であるように、アバターなどの個人的な要素を有してもよい。別の実施の形態において、オブジェクトの関連する場所を定義するメタデータが提供されてもよい。例えば、メタデータは、実演内の領域、例えば、ターゲットが表示される人物の背後（図３参照）を特定してもよい。

本発明の実施の形態は、例えば映画の配給者が、映画のためのゲームを創造することを可能とする。映画中のある時点において、ゲーム要素は、例えばフレームの特定の位置にテーブルがあることや、人物がかがんでいることに気づく。メタデータは、この要素の境界点をシステムに通知する。こうして、動画を受け取るそれぞれの参加者は、フレームにおけるオブジェクトの座標に基づいて、画面のどの要素がアクティブであるかを知る。ユーザによるオブジェクトとの相互作用は、例えばユーザのテレビジョン及び状況に応じてネットワークに接続されたビデオゲームを用いて、ローカルに追跡されてもよい。参加者の相互作用は、リアルタイムに、フレームにおけるオブジェクトの座標に基づいて、メディア実演に合成され、参加者がターゲットを射撃したり他の任意の参加者よりも前に反応したりしてタスクを成功させた場合にスコアを生成するために用いられてもよい。後者の例は、例えば、キャラクタ又はオブジェクトの存在を最初に発見した参加者がポイントを取得する「ワルドを探せ（Where's Waldo）」などのゲームにおいて適用されてもよい。

さらに、ユーザの相互作用は、メディア実演の分析を作成するために取得され用いられてもよい。例えば、視聴者が最も興味を持ったシーンを特定することができる。

図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。本実施の形態の一例は、シューティングゲームを提供するゲームの実装である。例えば、メタデータのストリームは、サイエンスフィクション又はホラー映画の物語に仮想的なクモ４８を追加してもよい。仮想的なクモは、時々、シーン中の俳優に飛び乗ってもよい。仮想的なクモが現れると、クモは着地した俳優の背中を這い上がり始めてもよい。メタデータのストリームは、クモの動きと俳優の動きを現実的にマッチさせるように構成されてもよい。クモが、人物、テーブルの上の本、グラスなど、シーン中の別のオブジェクトの存在により、それ以上は進めない境界が確立されてもよい。メタデータのストリームは、ゲーム要素がメディア実演に重畳され混合される一連の画像内の時間ベースの制約を確立するフレーム中の参照を定義してもよい。本実施の形態において、参加者は仮想的なクモを撃つことができる。

ある実施の形態において、メタデータストリームは、仮想的なオブジェクトとの相互作用が、メディア実演において発生するイベントの契機となるように、メディア実演において実行されるアクションに参照される時間の音声転写を含んでもよい。例えば、仮想的なクモは、メディア実演中のキャラクタが「飛べ」と言うことが飛ぶ契機となってもよい。

図４Ａに示した例において、一人の視聴者のメンバー３５ａは、クモを撃つために用いられるゲームコントローラ又は他の同様の装置を有する。他の視聴者のメンバー４１は、実演を受動的に視聴してもよい。メディア実演におけるシーンにおいて俳優３７が歩いているとき、仮想的なクモ４８は俳優とともに移動し、俳優の首を噛むために俳優の背中を這い上がる。クモの前進は、図４Ｂに示すように進行してもよい。図４Ｃに示した例において、視聴者のメンバー３５ａがクモを撃ち、クモに命中する。本実施の形態において、これはクモの爆発４９により示される。クモが撃たれた（そして、俳優が首を噛まれる悲運から解放された）ので、視聴者のメンバーのスコア４０が増加される。こうして、ゲーリーのスコアが１１１に増加される。

メディア実演は、多数の人により多数の場所において同時に視聴されてもよい。同時に、参加者はゲームをプレーする。それぞれの参加者は、インターネットなどのネットワークによりオーバーレイ生成装置に接続してもよい。別の実施の形態において、エイリアンのオーバーレイが表示され、オーバーレイ生成部は、例えばエイリアンがテーブルに飛び乗ったり飛び降りたりすることが可能な特定のややインタラクティブなイベントをゲーム／映像生成者が重畳させる状況及び環境を確立してもよい。参加者がエイリアンを射撃しようとすると、ゲームサーバはユーザのアクションを追跡し、参加者のスコアを記録してもよい。参加者のスコアは、それぞれの参加者のテレビジョンに表示され、最も高いスコアの参加者のランキングリストとして表示されてもよい。それぞれのエイリアンを射撃するときの効果を表示するために、アニメーションがオーバーレイに追加される。

別の実施の形態において、既存のコンテンツを再利用することにより、インタラクティブな要素がメディア実演に追加されてもよい。例えば、戦争映画などの既存の映画にインタラクティブなレイヤーが追加されてもよい。インタラクティブなレイヤーは、映画において射撃可能なキャラクタを指定してもよい。または、上述したエイリアンの例のように、射撃可能な（仮想的な）キャラクタが映画に追加されてもよい。

実施の形態は、参加者の相互作用が保持されるインタラクティブな参加者のスコア記録を提供する。参加者のスコア及び／又は前回の相互作用は、後続のプレーの断片に影響を与えてもよい。例えば、参加者がエイリアンを倒すことに成功した場合、次のエイリアンは倒しにくいより大きなモンスターであってもよい。

別の実施の形態は、上述したように、映画館のオーバーレイにおいて参加者のアバターの輪郭を提供してもよい。しかしながら、本実施の形態において、インタラクティブな外観はスポンサー付きであってもよい。例えば、オーバーレイ生成部は、実際のコカコーラ（登録商標）の缶など、スポンサー企業の製品の画像を合成してもよい。参加者は、メディア実演のインタラクティブな部分の間に、これらの缶を拾ってターゲットに投げることができる。参加者の相互作用及びジェスチャーは、適当な入力形式に基づいてもよい。そのような入力の例として、ゲームコントローラの操作、参加者を観察するカメラにより取得された参加者の動き及びジェスチャー、又は参加者により発生されマイクロフォンにより取得された音声などがあるが、これらに限られない。本実施の形態において、オーバーレイは、フレームに示される視聴者とともに、画面の下部のフレームを含んでもよい。それぞれの参加者は、フレームに示される視聴者のメンバーとして、そのアバターにより表現される。

メディア実演と相互作用したい参加者は、例えば、メディア実演の部分における仮想的なオブジェクトを投げる契機として、ゲームコントローラ又は認識されるジェスチャーを用いることができる。参加者のアバターは、画面に示されるメディア実演に仮想的なオブジェクトを投げるときに画面に示されてもよい。この例において、全ての参加者のアバターがフレームに表示されるので、それぞれの参加者は、例えば視聴中に人々がターゲットに当てようとして画面にオブジェクトを投げるなど、他の全ての参加者とシーンとの相互作用を見ることができる。例として、参加者は、特定のシーンが本当に好きではないという理由で、仮想的なトマトを投げてもよい。この例において、トマトの数がシーンごとにカウントされ、この情報は、特定のシーンが人気がある、人気がない、魅力的であることなどを示唆するレポートとして、ショーの生成者に提供されてもよい。このように、本実施の形態は、視聴者に関する人口統計的な情報を取得するために有用である。

上述したように、本発明の特定の実施の形態の鍵となる側面は、ユーザとメディア実演中の１以上のオブジェクトとの間の、フレームレベルでの物理的過程ベースの相互作用である。すなわち、ユーザは、ゲームオーバーレイなどのオーバーレイを表示され、物理の法則（又は物理的シミュレーション）に則った方法で、基調をなすメディア実演と相互作用することができる。前述した例のように、メディア実演に表示された人物の顔に仮想的なトマトが当たることにより、仮想的なトマトが自然に変形し飛び散る衝撃が生成されてもよい。さらに、仮想的なトマトは、自然かつ現実的な態様で、表示された人物の顔から滴ってもよい。

本発明の更なる実施の形態は、メディア実演の要素のゲーム要素との相互作用を含む。仮想的なトマトの例において、トマトは表示された人物の顔に当たるが、表示された人物の顔は仮想的なトマトによりゆがまなくてもよい。この、本発明の更なる実施の形態においては、人物の顔がゆがんでもよい。

このような相互作用を容易にするために、本発明の実施の形態は、基調をなすメディア実演の要素を抽出し、そのシーンにその要素のアニメ化されたバージョンを再マッピングするための機構を含んでもよい。この観点において、基調をなすメディア実演が、チャーリー・チャップリンがシーン中のセットを歩き回る間に、水が入った透明なグラスから水を飲む、１９２０年代のチャーリー・チャップリンの年代物の映像であると仮定する。この例において、ジョイスティック又は他のゲームコントローラを用いて、アニメ化されたゴムのアヒルをグラスの中に投げ入れる機能が個人に提供される。アヒルがグラスの中に着地すると、個人にポイントが加算されるだけでなく、アヒルがグラスの中に着地したときにグラスの中の水の体積が増えるようにする。さらに、水がグラスからあふれるようにしてもよく、グラスの端に当たったが、まだグラスの中に入ったままのアヒルが、グラスの側面から弾んで水に入り、水を適切に動かしてもよい。これを実現するために、チャーリー・チャップリンの映像において元々グラスの中に表示されている水は、例えばワイヤーフレーム又は他のアニメーション技術を用いて描画されてもよい。描画されたオブジェクトは、例えばオーバーレイの一部として、実演中の元のオブジェクトを置換する。オーバーレイは、基調をなすメディア実演中でフレームごとにオブジェクトが移動するとき、元のオブジェクトを追跡してもよい。こうして、チャーリー・チャップリンは、水が入ったグラスとともに歩き回る。この水は、基調をなす画像に基づいた描画であるから、元の実演と同じように正しく表示されるが、アニメーション化された効果を表示するように修正されている。このように、オブジェクトは、ゲームオーバーレイの一部としてメディア実演に導入され、基調をなすメディア実演の一部である別のオブジェクトと相互作用してもよい。インタラクティブな形式に再描画された、メディア実演の元の一部であるオブジェクトは、そのオブジェクトへのユーザの相互作用があるまでは、元の実演と何も異ならないように表示される。水の入ったグラスに関連して上述したように、水に着地したゴムのアヒルは、グラス中の水のかさを増加させるとともに、グラスから水があふれる原因となる。

この技術は、多数の異なる方法において利用可能であることは当業者に理解されるところである。例えば、トマトが人に投げられる例に関連して前述したように、人の顔をかすめたトマトの一撃は、その人の顔が適当に変形される原因となってもよい。実演中のキャラクタを人が蹴る例において、蹴られた人を移動させてもよいし、又は蹴られた体の部分を反応させてもよい。本発明の本実施の形態の鍵は、物理的過程と、例えばアヒルと水などの基調をなすオブジェクトとの衝突の現実的な態様での相互作用とをモデリングすることである。このモデリングを実現するために、既知のゲーム技術が利用可能である。

本発明の特定の実施の形態の鍵となる側面は、既存のメディアコンテンツの部分に、インタラクティブなゲームのレイヤーを合成することと、本発明のこの態様において、メディア実演のある要素を、相互作用の物理的過程に基づいて、アニメーション化された現実的な態様での相互作用を可能とする要素のバージョンに置換することである。本発明のある実施の形態において、編集者は、物理の法則に基づいてアクティブになるように、基調をなすコンテンツの選択された部分を再描画するメタデータをフレームレベルで追加するために、選択された部分を再利用してもよい。本発明のこの態様は、広い意味では、オブジェクト自身の物理的過程に基づいてビデオストリームにおけるオブジェクトの境界を定義するために、コンテンツの実演にメタデータを適用する。別の実施の形態において、広告情報が、ゲームのオーバーレイの一部として、又は、基調をなすコンテンツの実演におけるオブジェクトの代用として、それぞれのオーバーレイされたオブジェクトに追加されてもよい。例えば、家族が朝食を食べるシーンに登場するシリアルの箱が、物理的には同一であるが、シリアル製造者の広告ロゴを含んだシリアルの箱に置換されてもよい。同様に、ナイキ（登録商標）のロゴなどのロゴが、靴に追加されてもよい。本発明は、人物がシーン中で歩く、又は走るときに、人物の動きを追跡し、ナイキのロゴを現実的な態様で適用することができる。

上記は、本発明の好ましい実施の形態の完全な説明であるが、種々の代替、修正及び等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付された特許請求の範囲をそれらと等価な範囲の全てとともに参照して決定されるべきである。ここで記述される全ての特徴は、好ましいか否かにかかわらず、ここで記述される他の全ての特徴に結合されてもよい。特許請求の範囲において、不定冠詞に続くものは、別段の明示がない限り、１以上の事項の数量をさす。添付された特許請求の範囲は、「〜するための手段」という語句を用いて明示的に限定されない限り、ミーンズプラスファンクションの限定を含むものと解釈されるべきではない。

この記述を通して、示された実施の形態及び実施例は例示であるとみなされるべきであり、開示又は請求された装置及び方法を限定すると解釈されるべきではない。
ここに示された多くの例は、動作又はシステム要素の特定の組み合わせを含むが、それらの動作及び要素は、同一の目的を達成するために他の態様で組み合わされてもよいことが理解されるべきである。フローチャートに関して、追加の及びより少ないステップが実行されてもよく、示されたステップは、ここで説明された方法を達成するために、組み合わせれ、又はより洗練されてもよい。ある実施の形態に関連してのみ説明された動作、要素及び特徴は、他の実施の形態における同様の役割から排除されることを意味しない。

請求項において列挙されたミーンズプラスファンクション限定は、記述された機能を実現するためにここで説明された手段に限定する意図ではなく、記述された機能を実現するために現在既知又は後に開発される任意の手段を範囲に含むことを意図している。

「備える（comprising）」、「含む（including）」、「持つ（carrying）」、「有する（having）」、「含む（containing）」、「含む（involving）」などの文言は、明細書又は請求項のいずれで用いられるかにかかわらず、制限がない、すなわち、含むことを意味し、限定することを意味しないと理解されるべきである。「〜からなる」及び「実質的に〜からなる」という接続句のみが、それぞれ、請求の範囲に関して、制限的又は半制限的な接続句である。

ここで、「複数の」とは、２以上であることを意味する。

ここで、「及び／又は」とは、列挙された項目は代替可能であり、代替物は列挙された項目の任意の組み合わせを含むことを意味する。

Claims (17)

1. 動画コンテンツの表示に参加者がリアルタイムに参加するためのシステムであって、
   前記参加者に対する前記動画コンテンツのディスプレーへの表示中に、前記参加者が前記動画コンテンツの表示と相互作用しているように見せるために、前記参加者による入力の結果として表示される出力を含むオーバーレイの表示を前記動画コンテンツの表示と合成するようにプログラムされた合成プロセッサを備え、
   前記合成プロセッサは、
   ａ）前記動画コンテンツを前処理することにより、前記動画コンテンツに含まれる１以上のオブジェクトの時間変化する表示位置及び境界を含むメタデータのストリームを抽出し、
   ｂ）前記参加者が前記動画コンテンツの表示に１以上のインタラクティブな仮想オブジェクトを追加することを可能とする機能を提供し、前記参加者による要求を受け付けると前記１以上のインタラクティブな仮想オブジェクトを前記オーバーレイの表示に追加し、
   ｃ）前記オーバーレイの表示の前記１以上のインタラクティブな仮想オブジェクトに対する前記参加者による入力を取得し、
   ｄ）前記参加者による入力の結果として表示される前記出力を生成し、前記出力を含む前記オーバーレイの表示と前記動画コンテンツの表示とを合成するようにプログラムされ、
   前記オーバーレイの表示における前記１以上のインタラクティブな仮想オブジェクトを、前記動画コンテンツの表示における前記１以上のオブジェクトの時間変化する表示位置及び境界に合わせて重畳することにより、前記動画コンテンツに含まれる１以上のオブジェクトが、前記１以上のインタラクティブな仮想オブジェクトに置換されたように表示する
   ことを特徴とするシステム。
2. 前記参加者による入力の結果として表示される出力は、前記動画コンテンツに含まれる前記１以上のオブジェクトに対するアクション又は前記参加者を表現したアバターのアクションを含むことを特徴とする請求項１に記載のシステム。
3. 前記動画コンテンツの表示及び前記オーバーレイの表示を同時に表示するための前記ディスプレーを備えることを特徴とする請求項１又は２に記載のシステム。
4. 前記参加者による入力を受け付けるためのコントローラを更に備えることを特徴とする請求項３に記載のシステム。
5. 前記コントローラは、ゲームコントローラ、ジョイスティック、マウス、タッチパッド、超音波動き検知器、マイクロフォン、及びビデオカメラのうちいずれかを含むことを特徴とする請求項４に記載のシステム。
6. 複数の参加者によりそれぞれ使用される複数の参加者の端末と、
   それぞれの参加者の端末を相互に接続するためのネットワークと、を更に備え、
   前記ディスプレーは、前記複数の参加者の端末のそれぞれのディスプレーであり、
   前記合成プロセッサは、前記複数の参加者の端末のそれぞれにおけるそれぞれの参加者による入力を取得し、前記複数の参加者の端末のそれぞれのディスプレーに表示するために、それぞれの参加者による入力に対する出力を前記オーバーレイに追加するように構成されることを特徴とする請求項１から５のいずれかに記載のシステム。
7. 複数の参加者により使用される参加者の端末を更に備え、
   前記ディスプレーは、前記参加者の端末のディスプレーであり、
   前記参加者の端末は、前記複数の参加者から入力を受け付ける機能を備え、
   前記ディスプレーは、前記動画コンテンツの表示及び前記オーバーレイの表示を前記複数の参加者に対して表示するように構成されることを特徴とする請求項１から５のいずれかに記載のシステム。
8. 前記参加者の端末は、前記複数の参加者のそれぞれのコントローラから入力を受け付けることを特徴とする請求項７に記載のシステム。
9. 前記参加者の端末は、ローカルなプロセッサを含むことを特徴とする請求項６から８のいずれかに記載のシステム。
10. 前記インタラクティブな仮想オブジェクトは、ゲームのためのものであることを特徴とする請求項９に記載のシステム。
11. 前記合成プロセッサに前記動画コンテンツを提供するメディアサーバを更に備えることを特徴とする請求項１から１０のいずれかに記載のシステム。
12. 前記合成プロセッサは、取得した参加者による入力の結果として表示される出力を前記動画コンテンツの表示に同期させるために更にプログラムされたことを特徴とする請求項１から１１のいずれかに記載のシステム。
13. 前記合成プロセッサは、前記メタデータとして、前記動画コンテンツに含まれる前記１以上のオブジェクトの表示位置及び境界の座標を表現するマッピングデータを生成し、前記マッピングデータにしたがって前記動画コンテンツに含まれる前記１以上のオブジェクトと前記１以上のインタラクティブな仮想オブジェクトを関連付け、前記マッピングデータに基づいて前記１以上のインタラクティブな仮想オブジェクトに対する前記参加者による入力を追跡するために更にプログラムされたことを特徴とする請求項１から１２のいずれかに記載のシステム。
14. 前記合成プロセッサは、前記１以上のオブジェクトの動きを追跡するために前記マッピングデータを利用し、前記オーバーレイと前記動画コンテンツの表示との間の対応を維持するために更にプログラムされたことを特徴とする請求項１３に記載のシステム。
15. 前記オーバーレイの表示は、前記参加者のアバター表現を含み、前記アバター表現は、１以上の前記インタラクティブな仮想オブジェクトと相互作用するように構成されることを特徴とする請求項１から１４のいずれかに記載のシステム。
16. 前記オーバーレイの表示に含まれる前記参加者による入力の結果として表示される出力は、前記動画コンテンツの表示、及び前記オーバーレイの表示に含まれる前記１以上のインタラクティブな仮想オブジェクトのうちいずれかとの相互作用を含むことを特徴とする請求項１から１５のいずれかに記載のシステム。
17. 動画コンテンツの表示にリアルタイムに参加するための方法であって、
    ａ）コンピュータに備えられた、参加者に対する前記動画コンテンツのディスプレーへの表示中に、前記参加者が前記動画コンテンツの表示と相互作用しているように見せるために、前記参加者による入力の結果として表示される出力を含むオーバーレイの表示を前記動画コンテンツの表示と合成するようにプログラムされた合成プロセッサが、前記動画コンテンツを前処理することにより、前記動画コンテンツに含まれる１以上のオブジェクトの時間変化する表示位置及び境界を含むメタデータのストリームを抽出するステップと、
    ｂ）前記合成プロセッサが、前記参加者が前記動画コンテンツの表示に１以上のインタラクティブな仮想オブジェクトを追加することを可能とする機能を提供し、前記参加者による要求を受け付けると前記１以上のインタラクティブな仮想オブジェクトを前記オーバーレイの表示に追加するステップと、
    ｃ）前記合成プロセッサが、前記オーバーレイの表示の前記１以上のインタラクティブな仮想オブジェクトに対する前記参加者による入力を取得するステップと、
    ｄ）前記合成プロセッサが、前記参加者による入力の結果として表示される前記出力を生成し、前記出力を含む前記オーバーレイの表示と前記動画コンテンツの表示とを合成するステップと、
    ｅ）前記合成プロセッサが、前記動画コンテンツの表示及び前記オーバーレイの表示を同時に表示するステップと、を備え、
    前記オーバーレイの表示における前記１以上のインタラクティブな仮想オブジェクトを、前記動画コンテンツの表示における前記１以上のオブジェクトの時間変化する表示位置及び境界に合わせて重畳することにより、前記動画コンテンツに含まれる１以上のオブジェクトが、前記１以上のインタラクティブな仮想オブジェクトに置換されたように表示し、
    前記相互作用は、前記動画コンテンツの表示における前記１以上のインタラクティブな仮想オブジェクトに対する前記参加者による入力又は前記動画コンテンツの表示においてアバターを介して表現される前記参加者のアクションを含むことを特徴とする方法。

Images