JP4548413B2 - 表示システム、動画化方法およびコントローラ - Google Patents

Description

本発明は一般的にオーディオ／ビデオ・プレゼンテーションの視覚的向上に関わり、より具体的にはオーディオ／ビジュアル・プレゼンテーションに関連するサラウンド・ビジュアル・フィールドの合成および表示に関わる。

オーディオ／ビジュアル娯楽産業における各種の技術進歩によりメディア・コンテンツを視聴する個人の体験を非常に向上させている。これら技術進歩のいくつかはテレビ、映画上映システム、コンピュータ、携帯ビデオ装置、および類似するその他の電子装置などの装置で表示されるビデオの質を改良している。他の進歩はメディア・コンテンツの表示中個人に提供されるオーディオの質を改良している。オーディオ／ビジュアル・プレゼンテーション技術におけるこれらの進歩はこのメディア・コンテンツを視聴する個人の楽しさを向上されることが目的であった。

メディア・コンテンツのプレゼンテーションにおいて重要な要素は視聴されるプレゼンテーションに個人が没入することを促進することである。メディア・プレゼンテーションは多くの場合、個人がある場面の一部分であると感じ、またはコンテンツが「生」で視聴されていると感じることでより魅力が高められる。このような動的なプレゼンテーションは視聴者の不信を一時的に停止させ、より満足できる体験を作り出す。

この没入の原理はメディア体験のオーディオ要素に関して既にかなり対処されている。サラウンド・サウンドなどのオーディオ・システムは部屋の中でいくつかの起点からオーディオ・コンテンツを個人に提供して実体験を模倣する。例えば、複数のラウドスピーカを部屋に配置し、オーディオ・コントローラに接続することができる。オーディオ・コントローラは対応するビデオ表示および部屋内のスピーカ位置に関連してある特定のスピーカから音を発生させることができる。このようなオーディオ・システムはビデオの場面が表示される音場をシミュレートすることを意図している。

米国特許第5,926,153号明細書

現在のビデオ表示技術は個人に対し没入体験を作り出すのにこれだけの効果をもたらしていない。特定のビデオ技術は没入感に対処するのにある程度成功しているが、現在の表示装置は多くの場合その装置を視聴する個人の視野の範囲に充分に対応していない。その結果個人の視野に入る対象または出来事により当人の視聴体験から注意をそらし、メディア・コンテンツの没入効果を乱す可能性がある。

従って、上述の制限に対応したシステム、装置、および方法が望まれる。

本発明は個人の視野内にあり、表示されるオーディオまたはビジュアル・コンテンツに関連するサラウンド・ビジュアル・フィールドを提供する。発明の一実施形態でサラウンド・ビジュアル・フィールドは合成されコンテンツを表示する装置を部分的または完全に囲む表面に映写される。このサラウンド・ビジュアル・フィールドは表示されるコンテンツの視聴体験をさらに向上させることを意図している。従ってサラウンド・ビジュアル・フィールドは表示されるコンテンツの特性の一つまたはいくつかを増強、拡張、または別の形で補足することができる。サラウンド・ビジュアル・フィールドは表示されるコンテンツ内の動き、色、輝度、オーディオ、ジャンル、および行動を含む多数の特性に関係することができるが、これらに限定されるものではない。

発明の一実施形態で、サラウンド・ビジュアル・フィールドはオーディオ／ビデオ・コンテンツのプレゼンテーション中に表面に映写される。この映写されたサラウンド・ビジュアル・フィールドのサイズ、場所、および形状はビジュアル・フィールドの制作者により定義されることができ、表示されるコンテンツに関連することができ、または別途定義されることができる。さらに、サラウンド・ビジュアル・フィールドの特性は各種の形状、テクスチャ、パターン、波または表示装置のコンテンツの視聴を向上させる他の任意の視覚上の効果を含むことができる。当業者であれば各種オーディオ／ビジュアルまたは 映写 システムを用いてサラウンド・ビジュアル・フィールドを生成し制御することができることを理解しよう。これらのシステムはすべて本発明の範囲に入ることが意図される。

発明の代表的な一実施形態で、サラウンド・ビジュアル・フィールドは表示されるコンテンツ内の動きに関係することができる。例えば、表示されるコンテンツ内の動きをモデル化し外挿することができる。サラウンド・ビジュアル・フィールド、またはその構成要素、はコンテンツ内の外挿された動きに従って動くことができる。サラウンド・ビジュアル・フィールド内の形状、パターンまたは他の任意の要素もコンテンツの動きまたは他の任意の特性にさらに関係する特性を有することができる。

以下、本発明の実施形態を図面に基づいて説明する。

オーディオ／ビジュアル表示と併せて用いることができるシステム、装置、および方法が説明される。発明の一実施形態で、サラウンド・ビジュアル・フィールドは合成され、オーディオ／ビジュアル・コンテンツのプレゼンテーション中表面に映写される。サラウンド・ビジュアル・フィールドは各種視覚的効果からなることができ、各種パターン、形状、テクスチャ、サイズ、等々を含むがこれらに限定されるものではない。サラウンド・ビジュアル・フィールドはオーディオ／ビジュアル・コンテンツに関係する特性または複数の特性を有し、コンテンツの視聴体験を補足する。一実施形態でサラウンド・ビジュアル・フィールド内の要素、またはサラウンド・ビジュアル・フィールド自体、がオーディオ／ビジュアル・コンテンツまたはオーディオ／ビジュアル・コンテンツが表示される環境に関して視覚的に変化する。例えば、サラウンド・ビジュアル・フィールド内の要素が表示ビデオ・コンテンツ内の動きに関係して動くことができる。

発明の別の実施形態で、サラウンド・ビジュアル・フィールドはオーディオ／ビジュアル・コンテンツに関係するように制作され、視聴時に自動的に生成されないことができる。例えば、サラウンド・ビジュアル・フィールドはコンテンツとサラウンド・ビジュアル・フィールド双方がコンテンツの視聴体験を向上させるべくコンテンツに同期化されることができる。当業者であればサラウンド・ビジュアル・フィールドとオーディオ／ビジュアル・コンテンツは多数の方法で関連付けされ個人に視覚的に呈示することができ、これらすべて本発明の範囲に入ることが理解されよう。

以下の叙述において、説明の目的から、発明を理解させるために具体的な詳細が記載される。しかし当業者であれば発明がこれらの詳細なしに実施できることを理解しよう。当業者であれば、以下にいくつか説明される本発明の実施形態は映写システム、劇場システム、家庭用テレビおよびシステム、および他種のオーディオ／ビジュアル娯楽システムを含むいくつかの異なったシステムおよび装置に組み入れることができることを理解しよう。本発明の実施形態はまたソフトウェア、ハードウェア、またはファームウェアに存在し得る。ブロック図で以下に示される構造および装置は発明の代表的実施形態を図示し、発明を分かりにくくすることを避けることを意図している。さらに、図内の構成要素および／あるいはモジュール間の接続は直接接続に限定する意図はない。むしろこれらの構成要素およびモジュール間のデータは中間的構成要素およびモジュールにより修正、再フォーマット、またはその他変更することができる。

明細書において「一実施形態」または「ある実施形態」への言及はその実施形態に関連して説明される特定の特性、構造、特徴、または機能が発明の少なくとも1つの実施形態に含まれることを意味する。明細書の各種個所で「一実施形態で」という句の出現は必ずしも皆同じ実施形態に言及しているものではない。

概要
図1は発明の一実施形態による、劇場または家庭用ビデオ環境に組み入れることができるサラウンド・ビジュアル・フィールド表示システムを示す。システム100 は第１領域150の中にビデオ・コンテンツおよび第１領域150を囲む第２領域130にサラウンド・ビジュアル・フィールドを映写するプロジェクタ120を含む。サラウンド・ビジュアル・フィールドは必ずしも第１領域150の周囲に映写される必要はない。むしろ、この第２領域は130 は第１領域150を部分的に囲み、第１領域150に隣接し、または他の方法で個人の視野内に映写する事ができる。

プロジェクタは単独の通常のプロジェクタ、単独のパノラマ・プロジェクタ、複数の集成プロジェクタ、ミラー・プロジェクタ、パノラマ映写フィールドを有する新規プロジェクタ、これらのプロジェクタの任意の混成、またはサラウンド・ビジュアル・フィールドが放射され制御され得る他の任意のプロジェクタであることができる。第２領域130に映写されるサラウンド・ビジュアル・フィールドは各種サイズおよび属性を有する不連続的要素を含み得る各種のパターン、形状、色、およびテクスチャを含むことができ、第１領域150に表示されるオーディオ・ビデオ・コンテンツのある特性に関係する。これらのパターンおよびテクスチャは星空、花火、波、または他の任意の合成パターンまたはテクスチャであって良い。

発明の一実施形態で、サラウンド・ビジュアル・フィールドは第２領域130に映写されるが、実際のビデオが表示されている第１領域150内には映写されない。発明の別の実施形態ではサラウンド・ビジュアル・フィールドは第１領域150に映写され、または第１領域150および第２領域130双方に映写されることもできる。サラウンド・ビジュアル・フィールドが第１領域150に映写される場合、表示されるビデオ・コンテンツの特定面がサラウンド・ビジュアル・フィールドによって際立てられ、強調され、またはその他補足されることができる。例えば、ビデオ・コンテンツ内で特定の動きをしている対象にビジュアル・フィールドを映写することにより第１領域150内で表示されるその特定の動きを際立たせることができる。

さらに別の実施形態で、ビデオのコンテンツを効果的にそのフレーム外に拡張するテクスチャ合成パターンを生成することができる。ビデオ・フレーム内に準規則的なパターンが存在する場合、プロジェクタ120はその準規則的パターンを第１領域150外に広げ第２領域130に映写することができる。例えば、ビデオ・フレーム内のとうもろこし畑を、とうもろこし畑の延長のように見えるパターンを生成することにより第１領域150外に広げることができる。

図2は発明の一実施形態による、テレビ受信機に対するサラウンド・ビジュアル・フィールドを示す。明確な視聴画面210を有する テレビ受信機がテレビ受信機の後にある壁の表面230 に映写されるサラウンド・ビジュアル・フィールドで補足される。例えば、大型テレビ受信機またはビデオ・ウォールを用いてビデオ・コンテンツを表示することができる。この表面230はサイズおよび形状においてさまざまで良く、単独の壁に限定されることなく、部屋の中で好ましいだけの領域に広げることができる。さらに、表面230 は必ずしも図示のようにテレビ受信機を囲む必要がなく、テレビ受信機を部分的に囲み、または壁もしくは複数の壁の他の場所に位置することができる。上述のように、サラウンド・ビジュアル・フィールドはテレビ受信機画面210に表示されるコンテンツに関連付ける各種特性を有することができる。サラウント・ビジュアル・フィールドを壁の表面に映写するために発明の各種実施形態を用いることができ、その内2つの例が以下に説明される。

図3はテレビ受信機310または他の表面に表示されるコンテンツを補足するためにサラウンド・ビジュアル・フィールドが直接一領域330 に映写される一実施形態を示す。領域330は1つの壁にのみ示されるように図示されているが、使用されるプロジェクタ320により複数の壁に広がることができる。プロジェクタ320 は映写されるサラウンド・ビジュアル・フィールドを制御する装置（図示されず）に統合されるか接続される。一実施形態では、この装置にテレビ画面310に表示されるビデオ・ストリームを提供することができる。別の実施形態でこの装置はテレビ画面310に表示されるコンテンツにサラウンド・ビジュアル・フィールドを映写に同期化するように制作されたデータを含むことができる。発明の各種実施形態において、ビデオ・ストリームはビデオの特性に対し分析され、サラウンド・ビジュアル・フィールドがテレビ画面310に表示されるコンテンツに同期化するよう正しく表現され、動画化される。

発明のさらに別の実施形態で、ビデオ表示とサラウンド・ビジュアル・フィールドがテレビ受信機、コンピュータ・モニタ等々表示装置の境界内で表示することができる。この特定の実施形態ではサラウンド・ビジュアル・フィールドを表示装置の境界を超えて広げる映写装置があってもなくても良い。表示装置の境界内に表示されるサラウンド・ビジュアル・フィールドは各種形状を有することができ、パターン、テクスチャ、テキスト、変化する色、またはその他のコンテンツを含む各種のコンテンツを含むことができる。

図4は発明の別の実施形態による、サラウンド・ビジュアル・フィールドを提供する反射システムを示す。システム400 はサラウンド・ビジュアル・フィールドを生成する単独のプロジェクタまたは複数のプロジェクタ440を含むことができる。発明の一実施形態では複数の光プロジェクタ440 がビジュアル・フィールドを生成し、鏡面ピラミッド420に反射されて事実上バーチャル・プロジェクタを作り出す。複数の光プロジェクタ440 は同じプロジェクタのハウジングに統合されるか、または別々のハウジングに収納されることができる。鏡面ピラミッド420 はサラウンド・ビジュアル・フィールドの表示に好ましい領域にプロジェクタからの光を反射することができる複数の反射面を有する。鏡面ピラミッド420のデザインはビジュアル・フィールドの表示に望まれる領域およびシステム内で使用されるプロジェクタの種類と台数によって異なることができる。さらに、プロジェクタからのビジュアル・フィールドを望まれる表面に反射させるために他種の反射装置もシステム内で用いることができる。別の実施形態で、鏡面ピラミッド420の1つの反射面を使用し、事実上平面鏡を用いる単独のプロジェクタ を用いることができる。単独のプロジェクタはまた鏡面ピラミッド420の複数面に映写することもでき、この場合複数のバーチャル光心が作られる。

発明の一実施形態で、単独または複数のプロジェクタ440はテレビ410の後にある壁430の表面に反射され映写されるサラウンド・ビジュアル・フィールドを映写する。上述のように、このサラウンド・ビジュアル・フィールドは各種の形状、パターン、テクスチャ、色、等々からなることができ、テレビ410に表示されるコンテンツに各種の方法で関係することができる。

当業者であれば、サラウンド・ビジュアル・フィールドにおいて各種の効果を達成するためにシステム400の中で各種の反射装置および構成を用いることができることを理解しよう。さらに、プロジェクタ440 または複数のプロジェクタはテレビ410またはテレビ410を収納する家具に統合されることができる。

サラウンド・ビジュアル・フィールドの用途
上述の説明は家庭用テレビおよび映写システムや劇場システムなど伝統的なオーディオ／ビジュアル環境に関連したサランウド・ビジュアル・フィールドの使用について述べているが、発明は他の多数の環境に応用することができる。さらに、サラウンド・ビジュアル・フィールドを生成し制御するのに用いられるシステムは上述の基本的な実施をさらに補足する追加的機能を有することができる。下記にそのような例をほんの少数示し、当業者であれば以下に説明されない他の用途も本発明の範囲に入ることを理解しよう。

ゲームの用途
サラウンド・ビジュアル・フィールドは個人がやっているビデオ・ゲームの特性に関連して作成され制御されることができる。例えば、ユーザが左方向に動いている場合、前に表示された画面のコンテンツを縫い合わせてサラウンド領域の右側に表示することができる。ゲーム・コントローラの振動といった他の効果も振動の体験を増強するために、表示されるサラウンド・ビジュアル・フィールドに関連付けすることができる。一実施形態で、サラウンド・ビジュアル・フィールドはやっているゲームのビデオ・ストリームを処理して合成される。

対話式サラウンド・ビジュアル・フィールド
サラウンド・ビジュアル・フィールドはビデオを視聴し、音楽を聴き、ビデオ・ゲームをやる、等々のユーザによって対話式に制御することができる。一実施形態で、ユーザは表示されるサラウンド・ビジュアル・フィールドのある面を手動で制御することができる。別の実施形態では、システムが動作している部屋における視聴者の場所に応答するなど、サラウンド・ビジュアル・フィールドがその環境を感知し、 環境内のイベントに応答することができる。

サラウンド・ビジュアル・システムで視点補正を提供することもできる。視聴者がサラウンド・ビジュアル・システムの映写の瞬間中心と同じ位置にいないことがしばしばある。このような場合、サラウンド・ビジュアル・フィールドが部屋の三次元的形状によって歪んで見える可能性がある。例えばプロジェクタの瞬間中心と視聴者の位置との間の不一致が原因で、均一なパターンが片側でより 密集して見え、反対側ではよりまばらに見える可能性がある。しかし、視聴者の位置が感知できれば、システムはサラウンド・ビジュアル・フィールドの映写においてその不一致を補正することができる。この位置は、テレビのリモコンに配置されたセンサ（例、赤外LED）の使用を含む各種の手法を用いて感知することができる。

センサ強化表示
サラウンド・ビジュアル・フィールドのシステム内の構成要素に配置されるセンサを用いて構成要素間の正しい位置合わせおよび較正が維持されることを保証し、システムが具体的な環境に適合するようにすることができる。例えば、図3に示されるシステムにおいて、プロジェクタ320が映写領域の中でどこにテレビが位置するかを特定することが重要である。この特定によりプロジェクタ320は(1)サラウンド・ビジュアル・フィールド（領域330内）をテレビ受信機の画面310の周囲に集中させ；(2) 望ましい場合サラウンド・ビジュアル・フィールドがテレビに映写されるのを防ぎ；(3) サラウンド・ビジュアル・フィールドのパターンがテレビ受信機の表示とシームレスに合わされることを補助することができる。
一実施形態で、センサは映写または表示の光学系統とは別途に装着されることができる。別の実施形態ではセンサがビーム・スプリッタなどを用いプロジェクタまたは表示の光路を共有するように設計されることができる。

さらに別の実施形態で、ある種の媒体はサラウンド・ビジュアル・フィールドでの表示用にデコードされ歪ませることができる複数のサラウンド・ビデオ・トラックを組み込むことができる。このような媒体の可能な一形態は光学上の幻影を作り出すためにサラウンド・ビジュアル・フィールド内で適宜展開できる内蔵スプライトまたは動画化された視覚物体であり得る。例えば、表示ビデオ内の爆発をサラウンド・ビジュアル・フィールドで爆発効果をシミュレートすることによりテレビ受信機の境界を超えて延長することができる。さらに別の例で、投げられた槍をテレビ画面を超えて延長し、サラウンド・ビジュアル・フィールド内でその軌道を視覚化することができる。サラウンド・ビジュアル・フィールド内におけるこれらの延長は個人が制作し、表示されているメディア・コンテンツに同期化することができる。

テレプレゼンスおよび強化現実など他の実施も本発明により提供することができる。テレプレゼンスはサラウンド・ビジュアル・フィールドを用いて部屋以外の場所で取り込んだイメージを表示し視聴者が別の場所に運ばれるという錯覚を作り出す。例えば、海岸の行楽地または熱帯雨林からのパノラマ光景を示すパターンを壁上に表示することができる。加えて、各種サラウンド・ビジュアル・フィールドのシステムにおける視覚センサにより取り込まれたイメージを用いて実在および合成物体を混合したイメージを壁に作り出すことができる。

サラウンド・ビジュアル・フィールドの動画化
上述のように、本発明は表示されるオーディオ／ビジュアル・コンテンツに関係したサラウンド・ビジュアル・フィールドの生成と制御を可能にする。一実施形態で、サラウンド・ビジュアル・フィールドを通常のビデオ・ストリームからサンプリングした色に基づいてカラー化することができる。例えば、ビデオ・ストリームは支配的な色を表示する際サラウンド・ビジュアル・ストリームが特定のシミュレーションを表示している場合、サラウンド・ビジュアル・フィールドはそのフィールド内にこの支配的な色を反映することができる。サラウンド・ビジュアル・フィールド内の要素を支配的な色に変更することができ、サラウンド・ビジュアル・フィールド自体を支配的な色に変更することができ、またはサラウンド・ビジュアル・フィールドの他の特性を用いてビデオ・ストリーム内の色を補足することができる。このサラウンド・ビジュアル・フィールドのカラー化はカラーフィルタのシーケンス、稲妻、等々、通常のコンテンツにごく普通に使用される照明のムード効果を強化するために用いることができる。

さらに別の実施形態で、サラウンド・ビジュアル・フィールドのシステムは「サラウンド・サウンド」オーディオ・コンポーネントなどビデオ・ストリームのオーディオ特性に関係することができる。例えば、サラウンド・ビジュアル・フィールドはビデオ・ストリームのオーディオ部分の強度、オーディオ部分の音程、または他のオーディオ特性に応答することができる。このように、サラウンド・ビジュアル・フィールドはビデオ・ストリームの視覚コンテンツのみに限定されず、オーディオまたは他の特性関係することができる。

例示の目的で、ビデオ・コンテンツ内の動きを用いてサラウンド・ヒビジュアル・フィールド内の要素の動きを定義する実施形態を説明する。当業者であれば、オーディオ／ビジュアル・コンテンツの他の各種特性を用いてサラウンド・ビジュアル・フィールドを生成または制御することができることを理解しよう。さらに、サラウンド・ビジュアル・フィールドは個人が制作し、表示されるコンテンツに関係し、および／あるいは同期化することができる。

動きに関わるサラウンド・ビジュアル・フィールド・コントローラ
図5は発明の一実施形態で、サラウンド・ビジュアル・フィールドを生成するためにビデオ・コンテンツ内の動きを用いる代表的なサラウンド・ビジュアル・フィールド・コントローラを示す。コントローラ500 は映写装置に統合され、映写装置に接続され、または他の方法で視聴領域に映写され表示されるサラウンド・ビジュアル・フィールドを制御するよう有効化されることができる。一実施形態で、コントローラ500 はビデオ信号を与えられ、これが続いて処理されビデオ信号の特性に関して少なくとも1つのサラウンド・ビジュアル・フィールドを生成し制御する。例えばコントローラ500 は表示されるビデオ・コンテンツ内の動きに関係するサラウンド・ビジュアル・フィールドを表示し制御することができる。

コントローラ500 は連続ビデオ・フレームのペア間の大域動きのモデルを作成する動き推定構成要素510、大域動きモデル（global motion model）をビデオ・フレームの境界を超えて外挿する動きフィールド外挿構成要素（motion field extrapolator）540、およびサラウンド・ビジュアル・フィールドとその中の要素である外挿動きモデルを表示し制御するサラウンド・ビジュアル・フィールド動画化構成要素550を含む。一実施形態で、動き推定構成要素510は連続ビデオ・フレームのペア間の光学的流動ベクトルを特定する光学的流動推定構成要素515および特定された光学的流動ベクトルを用いて大域動きモデルを構築するグローバル動きモデル化構成要素525 を含む。以下に各構成要素をより詳細に説明する。

動き推定構成要素
動き推定構成要素510 はビデオ・フレームのペア間の動きを分析し、フレーム・ペア間の動きが推定できるモデルを作成する。モデルの精度はモデルを生成するために用いられた光学的流動ベクトルの密度、使用されるモデルの種類とモデル内のパラメータ数、およびビデオ・フレームのペア間における動きの量と一貫性を含むいくつかの要因に依存することができる。以下の実施形態は連続するビデオ・フレームに関して説明されている。しかし本発明はビデオ信号内における任意の2つ以上のフレーム間で動きを推定して外挿し、この外挿された動きを用いてサラウンド・ビジュアル・フィールドを制御することができる。

一例において、ビデオ信号内にコード化される動きベクトルを抽出してビデオ・フレーム間の動きの軌道を特定するのに用いることができる。当業者であればこれらの動きベクトルは各種のビデオコード化規格（例、MPEG、H.264、等々）に定義されるものを含み各種の方法でビデオ信号にコード化され、そこから抽出され得ることを理解しよう。以下さらに詳細に説明する別の例では、ビデオ・フレーム間の動きを描く光学的流動ベクトルを特定することができる。その他各種の方法を用いてビデオ信号内の動きを特定することができ、これらすべて本発明の範囲に入ることが意図される。

光学的流動推定構成要素
発明の一実施形態で、光学的流動推定構成要素は連続するフレーム・ペア間で複数の光学的流動ベクトルを特定する。ベクトルはピクセル対ピクセルのベクトルおよびブロック対ブロックのべクトルを含み各種の動き細分性（motion granularities）において定義することができる。これらのベクトルを用いてフレーム間の動きを描く光学的流動ベクトル・フィールドを作成する。

ベクトルは相関法、コード化動きベクトルの抽出、時空的動きの勾配に基づく（gradient-based）検出方法、特性に基づく動き検出方法、およびその他ビデオ・フレーム間の動きを追跡する方法を含む各種の手法を用いて特定することができる。

光学的流動を判定する相関法は第１画像の部分を類似する輝度パターンを有する第２画像の部分と比較することを含み得る。相関は通常画像の特性を一致させ、または一旦別の方法で特性が判定された後画像の動きを見出すために用いられる。

ビデオ・フレームのコード化において生成された動きベクトルを用いて光学的流動を判定することができる。通常、動き推定手順はコード化処理中に実施され、ピクセルの類似ブロックを特定し、複数のビデオ・フレームにまたがりこれらピクセルのブロックの動きを描く。これらのブロックは16x16マクロブロックおよびその中のサブブロックを含み、各種のサイズであり得る。この動き情報は抽出され、光学的流動ベクトル・フィールドを生成することができる。

光学的流動の勾配に基づく判定方法は画像の各点における画像の流れを推定するのに時空偏導関数を用いる。例えば、画像輝度関数の時空導関数を用いて輝度またはピクセル強度の変化を特定することができ、これらは画像の光学的流動を部分的に判定し得る。光学的流動を特定するのに勾配に基づく方法を用いると、観察された光学的流動が画像勾配の強い領域（例、縁）以外の領域における実際の画像流動からずれる結果になることがある。しかしこのずれもビデオ・フレームのペアに対し大域動きモデルを展開する場合許容できる程度であり得る。

特性に基づく光学的流動の判定方法はフレーム内で縁など、少数の明確な画像の特性における光学的流動を演算し分析することに的が絞られる。例えば明確な特性の組をマップして2つの連続ビデオ・フレーム間で動きを特定することができる。一連のフレームを通じて特性をマップし、より多数の連続ビデオ・フレームを通じてある特性の動きの進路を定義できる他の方法も知られている。

図6は発明の一実施形態による、連続するビデオ・フレーム間のピクセル・レベルにおける代表的な光学的流動ベクトルを示す。第１フレームのフレーム(k-1) 610内の第１組のピクセル点が特定される。この特定はそれ以前のフレーム内で特定された動き、ビデオ・フレーム610のコード化から抽出した動きベクトル情報に基づいて行なうことができ、無作為に生成、またはその他の方法で複数の点が選択されるように特定することができる。

第１ビデオ・フレーム610における位置から第２ビデオ・フレーム620における位置までのピクセルの二次元上の動きを描くベクトルが特定される。例えば、位置(x₁, y₁) 611における第１ピクセルの動きは動きベクトル641によって第２フレームにおけるその位置(u₁, v₁) 621に特定できる。光学的流動ベクトルのフィールドが第１フレーム610と第２フレーム620間のピクセルの動きを描く可変数（N）のベクトルを含むことができる。

図7は発明の一実施形態による、ブロック間の光学的流動ベクトルが特定される連続するビデオ・フレームのペアを示す。上述のように光学的流動ベクトルは第１フレーム、フレーム(k-1) 710と第２フレーム、フレーム(k) 720間でマクロブロックおよびその中のサブブロックを 含むピクセル・ブロックの 動きも描くことができる。これらのベクトルは、ビデオが表示装置で再生できるようにビデオ・ブロック間の動きと歪み双方が提供されるコード化されたビデオから抽出されることを含み、上述の各種手法を用いて生成することができる。抽出された動きベクトルを用いて光学的流動ベクトルのフィールドを次に生成することができる。光学的流動ベクトルのフィールドは 動きの推定を行なうことによっても生成することができ、この場合第１フレーム710内のブロックは第２フレームにおいて同じまたはほぼ同じのピクセル値を有する類似ブロックを検索することにより第２フレーム720内で特定される。一旦各フレームでブロックが特定されると、ブロックの二次元上の動きを描く動きベクトルを生成することができる。

大域動きモデル化構成要素（global motion modeler）
光学的流動ベクトルを用いて連続するビデオ・フレームのペア間で起こる動きの大域モデルを生成することができる。特定された光学的流動ベクトルのフィールドを用い、ビデオ・フレームのペア間の動きをモデル化することができる。ビデオ・フレームのペア間のオプション［光学的？］流動を推定するのに各種モデルを用いることができる。通常モデルの精度はモデル内で定義されるパラメータの数およびそれらが表す動きの特性に依存する。例えば、3個のパラメータのモデルは2軸に沿った移動および関連回転角を表すことができる。4個のパラメータのモデルは2軸に沿った移動、回転角、およびフレーム内の動きを描く倍率を表すことができる。

発明の一実施形態で、ビデオ・フレーム内の動きをモデル化するのに「アフィン・モデル（Affine Model）」と呼ばれる6個のパラメータのモデルが用いられる。この具体的なモデルは移動ベクトル、回転角、2軸に沿った2つの倍率、および倍率の方位角を表す。全般的にこのモデルはビデオ・フレームのペア間の動きを表す回転、並進、拡張、およびずれの合成である。

大域動きモデル化構成要素525 は光学的流動ベクトル・フィールドの情報を受信し、ビデオ・フレームのペア間の大域動きを推定する6個のパラメータのアフィン・モデルを生成する。このモデルからフレーム・ペア間の動きは次の2つの方程式により推定できる。
u = a₁ + a₂x + a₃y
v = a₄ + a₅x + a₆y
ここでa₁…ａ₆ はモデルのパラメータである。

6個のパラメータ、a₁ からa₆、を解くためには少なくとも3つの光学的流動ベクトルが前以て定義されている必要がある。しかし、モデルに望まれる精度により、モデルを作成する光学的流動ベクトル・フィールドはモデルの堅牢性と精度を向上させるためにより高い密度であることができる。

大域動きモデル化構成要素525 は提供された光学的流動ベクトル・フィールドに関するパラメータを最適化することによりモデルを定義する。例えば、N個の光学的流動ベクトルおよび対応するN個の点のペア（ｘ１，ｙ１）…（ｘＮ， ｙＮ）と（ｕ１， ｖ１）…（ｕＮ， ｖＮ）が提供される場合、a₁ からa₆ の パラメータは最適化計算または手順により解くことができる。

6個のパラメータを最適化してモデルと光学的流動ベクトル・フィールド間の最小エラーが特定されると、大域動きモデルが生成される。パラメータを最適化する1つの方法は光学的流動ベクトル・フィールドの各ベクトルに対し適合する最小二乗エラーである。光学的流動ベクトル・フィールドおよび対応モデル化ベクトル間で最小二乗エラーを提供するパラメータ値が選択される。

図8は発明の一実施形態による、大域動きモデル810内の動きベクトルをどのように生成できるかの例を示している。この例では(x_i, y_j) 820に関する動きはアフィン・モデルの(u_i, v_j) 830を計算する方程式を解くことにより特定される。これらの2点から動きベクトル825を計算して大域動きモデル810を 成長させるのに用いることができる。

大域動きモデルを生成するために上述の如くアフィン・モデルを使用することは他のモデルを除外する意図ではない。例えば、さらに三次元の回転を表す8個のパラメータのモデルも用いることができ、ビデオ・フレーム内の動きをより正確に描くことができる可能性がある。しかし、パラメータが増えるとモデルを構築し外挿するのにさらに演算が必要となる。従って当業者であれば大域動きモデルの望ましい精度およびシステムで利用可能な演算能力によって各種モデルを用いることができることを理解しよう。

図9は発明の一実施形態による、ビデオ・フレーム間の典型的な大域動きモデル910を示す。図はこれまでの図に示される4つの光学的流動ベクトルに関連する動きを推定する4つのベクトルを含む、モデル内の複数の動きベクトルを示している。

図10A はビデオ・フレームにオーバーレイされた代表的な光学的流動ベクトル・フィールド1010を示し、図10B は代表的なベクトル・フィールドから生成され、同じビデオ・フレームにオーバーレイされた大域動きモデル1030を示す。これを検討することにより当業者であれば大域動きモデルを用いてビデオ・フレーム内のモデル化された動きをビデオ・フレームの境界を超えて外挿できることを理解しよう。

動きフィールド外挿構成要素
動きフィールド外挿構成要素540は大域動きモデルをビデオ・フレームの境界を超えて延長し、これらフレームの境界を超えたサラウンド・ビジュアル・フィールド内の要素がフレーム内の動きに応答できるようにする。発明の一実施形態で、(x_N, y_N)から(u_N, v_N)までの動きベクトルを定義するアフィン・モデルの方程式を用いてフレームの境界を超えて推定された動きを拡張し、ここではビデオ・フレームの境界を超えて(x_N, y_N)位置する。

図11は発明の一実施形態により実施できる典型的な動きの外挿 を示す。やや上方への角度を持ち左の境界に向かう動きを持つ第１の動きベクトルの組1120が示される。この動きは大域動きモデルを用いることによりフレームの境界を超えて外挿することができる。それにより、ビデオ・フレームの境界を超えた第２の動きベクトルの組1130が生成される。別の例では、右回りの回転を有する第3の動きベクトルの組1140が示される。この回転の動きも大域動きモデルを用いることによりビデオ・フレームを超えて外挿することができ、その結果フレームの境界外に第4の動きベクトルの組1150が生成される。

これらの動きベクトル（例、1130、 1150）を用いて、ビデオ・フレームの表示の周りに映写されるサラウンド・ビジュアル・フィールド、および・あるいはその中の要素、の動きを定義することができる。フレーム内の動きが変化するにつれ、大域動きモデルが応答し、その結果サラウンド・ビジュアル・フィールドが変化する。発明の一実施形態で、サラウンド・ビジュアル・フィールド内の要素はその後大域動きモデルを用いて外挿された動きベクトルに応答し、これらに制御される。

図12 は発明の一実施形態による、表示されたビデオ・フレームの周りのサラウンド・ビジュアル・フィールドの動きを制御するために用いることができる典型的な外挿された大域動きモデルを示す。フレーム内の大域動きモデル 1220により定義されたベクトルが示され、フレーム自体の中の動きを推定する。このモデルはフレームの境界を超えて拡張され、外挿された大域動きモデル1230を提供する。外挿された大域動きモデル1230内のベクトルはサラウンド・ビジュアル・フィールド内の要素の動きを制御することができる。

サラウンド・ビジュアル・フィールドはビデオ・フレームを表示する装置に映写することもできる。この場合、サラウンド・ビジュアル・フィールド内における要素の装置上の動きはビデオ・フレームにおける動きを推定する大域動きモデル1220内のベクトルにより制御される。

サラウンド・ビジュアル・フィールド動画化構成要素
サラウンド・ビジュアル・フィールド動画化構成要素は映写されるサラウンド・ビジュアル・フィールドをビデオ・コンテンツの少なくとも1つの特性に従って作成、動画化、および維持する。一実施形態では上述のように、サラウンド・ビジュアル・フィールド内の要素が表示されるビデオ内の動きに関係して動く。

サラウンド・ビジュアル・フィールドは各種の手法を用いて生成され維持されることができる。発明の一実施形態で、サラウンド・ビジュアル・フィールド内要素はフィールド内で無作為に生成され、時間につれ次第に消える。次第に消えた要素に置き換わる別の要素が無作為にサラウンド・ビジュアル・フィールドに挿入される。これら別の要素も時間につれ減衰し次第に消える。サラウンド・ビジュアル・フィールド内における要素の減衰と要素の無作為の置き換えにより、要素の長期にわたる動きによりサランド・ビジュアル・フィールド内で要素が集中しまたはグループ化することを削減する。

サラウンド・ビジュアル・フィールド要素の形状
動きに加え、サラウンド・ビジュアル・フィールドの要素を含む他の特性も外挿大域動きモデルにより制御することができる。例えば、フィールド内の各要素の形状は大域動きモデル内のベクトルで決定されることができる。図13は要素の形状が対応する動きベクトルに関連付けされる一方法を示す。

発明の一実施形態で、要素1310の形状は大域動きモデルに対する要素1310の位置に対応する動きベクトル1320に影響される。例えば要素1310は対応する動きベクトル1320の軸および動きベクトルの方向に与えられる加重に沿って拡張されることができる。図13に示される例では、形状を変えた要素1340は動きの軸に沿って引き伸ばされ、その結果動きベクトルの方向に向かったより細い尾部1360とより広い頭部1350がもたらされる。

形状を変えた要素1340の他の特性も動きベクトル1320を反映するように変更できる。例えば形状を変えた要素1340の頭部における輝度は明るく、要素の尾部1360 に近づくにつれ徐々に暗くなることができる。この動きに対する輝度の減退は要素がサラウンド・ビジュアル・フィールド内で動く際知覚される動きのブレを増強することができる。

さらに別の実施形態で、要素の形状は要素自体に関係する連続した動きベクトルの動きに対応することができる。図14は要素の形状と動きが大域動きモデル内で時間につれ生じる複数の動きベクトルに従って定義されることができる。この実施形態で、要素は2つのビデオ・フレームのペアからモデル化された2つの連続した動きベクトル1410, 1420に対して動く。2つのベクトルで定義された軌道は第１ベクトル1410の終りと第２ベクトル1420の初めに鋭い旋回を含む。この旋回により軌道に従う要素の動きを見る場合質が落ちる可能性があり、要素が動く時にひきつる可能性がある。

軌道は急な動きの変化を含まない曲線軌道1430に円滑化することができる。この円滑化は各種の数学方程式およびモデルによって行なうことができる。例えば、形状を変えた要素1450は曲線1430 に沿って要素1450が引き伸ばされる形で曲線軌道を反映することができる。形を変えた要素1450の輝度は変化することができ、動きの様子をさらに増強するために点の頭部近くの輝度が最も明るく、尾部に近づくにつれ徐々に明るさを減らすようにすることができる。

当業者であればサラウンド・ビジュアル・フィールドの動きを強調するために要素の形状を変更させる方法は他にもあることを理解しよう。

図15は発明の一実施形態によるサラウンド・ビジュアル・フィールドを含むビデオ・プレゼンテーションを示す一例である。この例で、画面1510上では左回りの動きがフレーム内で支配的であるビデオが表示されている。この支配的動きはモデル化、外挿され、サラウンド・ビジュアル・フィールド1520を動画化するために用いられる。この具体的な例ではサラウンド・ビジュアル・フィールド1520も 左回りで回転しており、それにより画面1510内の動きを増強している。このサラウンド・ビジュアル・フィールドは個人に対し動きが表示される領域を大幅に広げビデオ自体の没入効果を高める可能性がある。

本発明は特定の典型的な実施形態に関して説明されたが、当業者であればさまざまな変更が与えられ得ることを理解しよう。従って発明の範囲は以下の請求項によってのみ限定される。

発明の実施形態について言及され、それらの例が添付図面に示される。これらの図面は限定ではなく例示を目的としている。発明は全般的にこれら実施形態に関連して説明されるが、発明の範囲をこれら特定の実施形態に限定する意図ではない。
発明の一実施形態による、映写機を含むサラウンド・ビジュアル・フィールド。 発明の一実施形態による、サラウンド・ビジュアル・フィールドを有するテレビ受信機。 発明の一実施形態による、映写機からのサラウンド・ビジュアル・フィールドを有するテレビ受信機。 発明の一実施形態による、映写機および反射装置からのサラウンド・ビジュアル・フィールドを有するテレビ受信機。 発明の一実施形態による、映写されたサラウンド・ビジュアル・フィールドが表示コンテンツ内の動きに関係する、代表的サラウンド・ビジュアル・フィールド・コントローラのブロック図。 発明の一実施形態による、連続するフレーム・ペアおよびフレーム・ペア内のピクセル間の代表的な光学的流動ベクトルを示す図。 発明の一実施形態による、連続するフレーム・ペアおよびフレーム・ペア内のピクセル・ブロック間の代表的な光学的流動ベクトル。 発明の一実施形態による、フレーム・ペア間の動きを表わす大域動きモデル内における2つのピクセル間の数学的関係を示す。 発明の一実施形態による、フレーム・ペア間の計算された大域動きモデルを例示。 Ａは、発明の一実施形態による、ビデオ・フレームおよびオーバーレイされた光学的流動ベクトルの例、Ｂは、発明の一実施形態による、ビデオ・フレームおよびオーバーレイされた大域動きモデルの例。 発明の一実施形態による、ビデオ・フレーム外に動きベクトルを外挿している。 発明の一実施形態による、ビデオ・フレーム、ビデオ・フレームにオーバーレイされた大域動きモデル、およびビデオ・フレームの境界を超えて外挿された大域動きモデルの例。 発明の一実施形態による、動きに関して変更された代表的サラウンド・ビジュアル・フィールドの要素。 発明の一実施形態による、複数の動きベクトルに関して変更された代表的サラウンド・ビジュアル・フィールドの要素。 発明の一実施形態による、ビデオ内の動きに関した代表的なサラウンド・ビジュアル・フィールドの図。

符号の説明

500 サラウンド・ビジュアル・フィールド・コントローラ
510 動き推定構成要素
515 希薄光学的 流動推定構成要素
525 大域動きモデル化構成要素
540 動きフィールド外挿構成要素
550 サラウンド・ビジュアル・フィールド動画化構成要素
610 フレーム(k-1)
620 フレーム(k)
710 フレーム(k-1)
720 フレーム(k)
810 動きモデル
910 典型的大域動きモデル
1110 典型的な大域動きモデル

Claims (4)

1. ビデオ・コンテンツおよびサラウンド・ビジュアル・フィールドを表示する表示システムであって、
   第１領域内で前記ビデオ・コンテンツを表示する第１の装置と、
   第２領域に前記サラウンド・ビジュアル・フィールドを映写する第２の装置とを含み、
   前記サラウンド・ビジュアル・フィールドは前記ビデオ・コンテンツの色特性に関係して動画化されていることを特徴とする表示システム。
2. ビデオ・コンテンツおよびサラウンド・ビジュアル・フィールドを表示する表示システムであって、
   第１領域内で前記ビデオ・コンテンツを表示する第１の装置と、
   第２領域に前記サラウンド・ビジュアル・フィールドを映写する第２の装置とを含み、
   前記サラウンド・ビジュアル・フィールドは前記ビデオ・コンテンツの動き特性に関係して動画化されていることを特徴とする表示システム。
3. 装置で表示されるビデオに関係するサラウンド・ビジュアル・フィールドを動画化する動画化方法であって、
   前記ビデオ内の少なくとも２つのビデオ・フレーム間の動きを推定する大域動きモデルを作成するステップと、
   前記大域動きモデルを外挿し、前記２つのビデオ・フレームを超えて動きを定義するステップと、
   複数の要素を有し、前記ビデオが表示される装置を少なくとも部分的に囲む前記サラウンド・ビジュアル・フィールドを映写するステップと、
   前記複数の要素を前記外挿された大域動きモデルに対して動かすステップと、を含む動画化方法。
4. サラウンド・ビジュアル・フィールドの映写および動きを制御するコントローラであって、
   複数のビデオ・フレームを受信するよう結合され、少なくとも２つの前記ビデオ・フレーム間の動きを推定する大域動きモデルを作成する動き推定構成要素と、
   前記動き推定構成要素に結合され、前記少なくとも２つのビデオ・フレームの境界を超えて前記大域動きモデルを外挿する動きフィールド外挿構成要素と、
   前記動きフィールド外挿構成要素に結合され、前記外挿された大域動きモデルに対し要素を前記サラウンド・ビジュアル・フィールド内で作成し動かすサラウンド・ビジュアル・フィールド動画化構成要素と、を含むコントローラ。