Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6219842B2 - 強化されたメディアエクスペリエンスを提供するための触覚技術の使用 - Google Patents
[go: Go Back, main page]

JP6219842B2 - 強化されたメディアエクスペリエンスを提供するための触覚技術の使用 - Google Patents

強化されたメディアエクスペリエンスを提供するための触覚技術の使用 Download PDF

Info

Publication number
JP6219842B2
JP6219842B2 JP2014549208A JP2014549208A JP6219842B2 JP 6219842 B2 JP6219842 B2 JP 6219842B2 JP 2014549208 A JP2014549208 A JP 2014549208A JP 2014549208 A JP2014549208 A JP 2014549208A JP 6219842 B2 JP6219842 B2 JP 6219842B2
Authority
JP
Japan
Prior art keywords
user device
user
content
content receiver
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014549208A
Other languages
English (en)
Other versions
JP2015509308A5 (ja
JP2015509308A (ja
Inventor
ヴィナイ・シュリダラ
サウミトラ・モハン・ダス
レオニード・シェインブラット
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2015509308A publication Critical patent/JP2015509308A/ja
Publication of JP2015509308A5 publication Critical patent/JP2015509308A5/ja
Application granted granted Critical
Publication of JP6219842B2 publication Critical patent/JP6219842B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV programme
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. tactile personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth®, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

米国特許法第119条に基づく優先権の主張
本出願は、2011年12月21日に出願された「Using Haptic Technologies to Provide Enhanced Media Experiences」と題する米国仮出願第61/578,685号に基づく優先権を主張し、同仮出願は、すべての目的で、そのすべてが参照により本明細書に組み込まれる。
本開示の態様は、コンピューティング技術に関する。詳細には、本開示の態様は、強化されたメディアエクスペリエンスを提供するための、システム、方法、装置、およびコンピュータ可読媒体などの、モバイルコンピューティングデバイス技術に関する。
現在、誰かが、映画、テレビ番組、または他のメディアコンテンツを視聴する場合、その人のテレビ、コンピュータ、または他のコンテンツ受信機は、視聴用に2次元および/または3次元のビデオコンテンツを再生することができる。しかし、現在のシステムは、触覚フィードバックのサポートを仮に提供するとしても、メディア再生に触覚フィードバックを組み込む、限られた方法を提供できるにすぎない。本開示の態様は、より高機能の触覚技術を使用して、メディアエクスペリエンスをさらに強化するための、様々な技法を提供する。
触覚技術を使用して、強化されたメディアエクスペリエンスを提供するための、システム、方法、装置、およびコンピュータ可読媒体が提示される。1つまたは複数の態様によれば、メディアコンテンツ(たとえば、オーディオコンテンツ、ビデオコンテンツ、オーディオビジュアルコンテンツ、インターネットコンテンツ、ビデオゲームコンテンツなど)の再生と組合せた触覚フィードバックを、スマートフォンまたはタブレットコンピュータなど、再生中にユーザが手に持っているデバイスを介して提供することができる。
本明細書で使用される場合、触覚フィードバックは、様々な手触り感覚、圧迫感覚、湿り感覚、粘着感覚、熱感覚、振動感覚、および/または触覚を使用して人が感じることができる他の任意の効果など、任意の種類の感触および/または接触ベースのフィードバックを含むことができる。スマートフォン、携帯情報端末、タブレットコンピュータ、および/または他の任意の種類のモバイルコンピューティングデバイスなどの、電子デバイスは、1つまたは複数の電子的に作動される機械的、電気的、および/または電気機械的構成要素を使用して、そのようなフィードバックを提供することができる。一例では、たとえば、圧電トランスデューサを使用して、つままれた感覚、突起物の感覚、刺された感覚、手触り、および/または他の触感をまねることができる。1つまたは複数の構成では、触覚フィードバックは、メディアコンテンツの特徴と同期することができる。このように、強化されたユーザエクスペリエンスを提供することができ、触覚フィードバックの形態で、コンテンツの「第5の次元」をユーザエクスペリエンスに追加することができる。
有利なことに、本明細書で説明される上記および他の特徴は、強化された機能、柔軟性、および利便性を、モバイルデバイスのユーザに提供することができる。
本開示の1つまたは複数の態様によれば、スマートフォン、タブレットコンピュータ、またはポータブルメディアプレーヤなどのコンピューティングデバイスは、ローカルコンテンツ受信機との接続を確立することができる。その後、コンピューティングデバイスは、ローカルコンテンツ受信機から、感覚データ信号を受信することができ、感覚データ信号は、ローカルコンテンツ受信機によって受信されたメディアコンテンツアイテムの再生に関する特定の時刻において提供される、1つまたは複数の触覚効果を指定する。その後、コンピューティングデバイスは、1つまたは複数の触覚効果を提供することができる。
少なくとも1つの構成では、ローカルコンテンツ受信機との接続を確立することは、ワイヤレスエリアネットワークにおいてローカルコンテンツ受信機を検出することと、ローカルコンテンツ受信機に登録情報を送信することとをさらに含むことができる。少なくとも1つの追加構成では、登録情報は、デバイス能力情報を含むことができる。たとえば、登録情報は、コンピューティングデバイスが、どのタイプの触覚フィードバックを再生することが可能かを指定することができ、これは、コンピューティングデバイス内に含まれる、および/またはコンピューティングデバイスに通信可能に結合される、センサおよび/またはアクチュエータの特定の組合せに依存し得る。
少なくとも1つの追加構成では、感覚データ信号を受信する前に、コンピューティングデバイスは、最初に、最も近い(proximate)コンテンツストリームを検出することができ、最も近いコンテンツストリームをローカルコンテンツ受信機に通知することができる。少なくとも1つの追加構成では、最も近いコンテンツストリームを検出することは、最も近いコンテンツストリームの再生に対応するオーディオをキャプチャすることを含むことができる。加えて、または代替として、最も近いストリームをローカルコンテンツ受信機に通知することは、キャプチャされたオーディオの少なくとも一部をローカルコンテンツ受信機に送信することを含むことができる。以下で説明するように、これは、たとえば、コンピューティングデバイスのユーザが、物理的に最も近い、および/または視聴されている可能性が最も高い、メディア再生デバイスによって提供されているメディアコンテンツと同期した触覚フィードバックを受け取りながら、複数のテレビを含む家など、複数のメディア再生デバイスを有する場所の中を歩き回ることを可能にすることができる。
少なくとも1つの追加構成では、1つまたは複数の触覚効果を提供する前に、コンピューティングデバイスは、アクティビティが検出されたかどうかを判定することができる。いくつかの構成では、アクティビティが検出されたかどうかを判定することは、コンピューティングデバイスが動いているか、それとも静止しているかを示す、ある種のタイプのアクティビティが検出されたかどうかを判定することを含むことができる。他の構成では、アクティビティが検出されたかどうかを判定することは、ユーザがコンピューティングデバイスを持っているかどうかを判定することを含むことができる。こうすることで、コンピューティングデバイスは、たとえば、デバイスがテーブル上に置かれている場合、ユーザがデバイスを持っていない場合、またはさもなければ、デバイスによって再生されたとしてもユーザが触覚効果を感じることができない方法でデバイスが位置付けられている場合に、不必要な触覚フィードバックの提供を回避することができる。
少なくとも1つの追加構成では、1つのメディアコンテンツアイテムに関連する触覚フィードバックを提供した後、コンピューティングデバイスは、その後、第2のメディアコンテンツアイテムに関連する新しいコンテンツストリームを検出することができる。コンピューティングデバイスは、次いで、新しいコンテンツストリームをローカルコンテンツ受信機に通知することができる。その後、コンピューティングデバイスは、ローカルコンテンツ受信機から受信したデータに基づいて、1つまたは複数の追加の触覚効果を提供することができる。少なくとも1つの追加構成では、1つまたは複数の追加の触覚効果を提供する前に、コンピューティングデバイスは、所定の時間の間、待つことができる。こうすることで、コンピューティングデバイスは、現在どの番組が再生されているにしても、それに関連する触覚フィードバックを提供するのに必要とされるユーザ入力または他の構成の量を最低限に抑えながら、たとえば、1つの番組が終了し、別の番組が開始した状況、またはユーザがチャンネル/番組を変えている状況に適合することができる。
本開示の態様は、例によって説明される。添付の図面では、同様の参照番号は、類似の要素を示している。
本開示の1つまたは複数の例示的な態様を実施できる例示的なシステムを示す図である。 本開示の1つまたは複数の例示的な態様による、強化されたメディアエクスペリエンスを提供する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、感覚データ信号を受信し、処理する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、感覚タイムラインの一例を示す図である。 本開示の1つまたは複数の例示的な態様による、コンテンツ受信機に登録する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、コンテンツ受信機に登録する際に表示され得る例示的なユーザインターフェースを示す図である。 本開示の1つまたは複数の例示的な態様による、コンテンツ受信機に登録する際に表示され得る例示的なユーザインターフェースを示す図である。 本開示の1つまたは複数の例示的な態様による、対応する感覚データを有するローカルコンテンツストリームを発見する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、対応する感覚データを有するローカルコンテンツストリームを発見するデバイスの一例を示す図である。 本開示の1つまたは複数の例示的な態様による、検出されたアクティビティに基づいて触覚フィードバックを提供する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、ユーザが持っているデバイスの一例を示す図である。 本開示の1つまたは複数の例示的な態様による、感覚データを含む新しいコンテンツストリームを検出する例示的な方法を示す図である。 本開示の1つまたは複数の例示的な態様による、感覚データを含む新しいコンテンツストリームを検出した際に表示され得る例示的なユーザインターフェースを示す図である。 本開示の1つまたは複数の態様を実施できる例示的なコンピューティングシステムを示す図である。
いくつかの例示的な実施形態が、実施形態の一部を形成する添付の図面に関して、今から説明される。本開示の1つまたは複数の態様を実施できる特定の実施形態が、以下で説明されるが、他の実施形態も使用することができ、本開示の範囲または添付の特許請求の範囲の主旨から逸脱することなく、様々な変更を施すことができる。
図1は、本開示の1つまたは複数の例示的な態様を実施できる例示的なシステム100を示している。1つまたは複数の構成では、システム100は、コンテンツ配信サーバ105など、1つまたは複数のコンテンツ配信サーバと、コンテンツ受信機110など、1つまたは複数のコンテンツ受信機と、ユーザデバイス115など、1つまたは複数のユーザデバイスとを含むことができる。少なくとも1つの構成では、コンテンツ配信サーバ105は、コンテンツ配信ネットワークの中央局またはヘッドエンドに配置することができる。いくつかの構成では、コンテンツ配信ネットワークは、加入者ネットワークとすることができ、コンテンツ配信サーバ105は、たとえば、1つまたは複数の衛星、光ファイバ、および/または同軸接続を介して、コンテンツ受信機110など、1つまたは複数のコンテンツ受信機と通信するように構成することができる。
少なくとも一実施形態では、コンテンツ受信機110は、ユーザの自宅またはオフィスなど、ユーザロケーションに配置することができる。加えて、コンテンツ受信機110は、コンテンツ配信サーバ105によって送信された信号を受信するように構成することができ、さらに、受信した信号内に格納されたメディアコンテンツおよび/または他のコンテンツ(たとえば、触覚コンテンツ)を復号、表示、再生、および/または他の方法で提供することができる。
少なくとも1つの構成では、コンテンツ受信機110は、ユーザデバイス115など、1つまたは複数のユーザデバイスと通信するように構成することができる。ユーザデバイス115は、ユーザロケーションに配置された、および/または別途コンテンツ受信機110の近くに配置された、たとえば、モバイルデバイス(たとえば、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、ハンドヘルドデバイス、および/または他の任意のタイプのコンピューティングデバイス)とすることができる。いくつかの構成では、ユーザデバイス115は、さらに、コンテンツ受信機110も接続されたローカルエリアネットワーク(LAN)に、通信可能に結合することができる。他の構成では、ユーザデバイス115は、コンテンツ受信機110との直接接続(たとえば、ワイヤレスデータ接続)を確立するように構成することができる。加えて、ユーザデバイス115は、ユーザデバイス115のユーザに触覚フィードバックを提供するために電子的に作動され得る、1つまたは複数の触覚構成要素を含むことができる。
いくつかの構成では、ユーザデバイス115に含まれる1つまたは複数の触覚構成要素は、同じタイプの構成要素とすることができ、および/または同じ形態の触覚フィードバック(たとえば、手触り感覚、湿り感覚、熱感覚など)を生成することができ、一方、他の構成では、ユーザデバイス115に含まれる1つまたは複数の触覚構成要素は、異なるタイプの構成要素とすることができ、および/または異なる形態の触覚フィードバックを生成することができる。加えて、または代替として、ユーザデバイス115に含まれる1つまたは複数の触覚構成要素は、個別に動作させることができ、および/または複数の異なる触感効果を生成するために、組合せて動作させることができる。これらの触覚構成要素は、ユーザデバイス115「に含まれる」ものとして説明されるが、これらの触覚構成要素は、必ずしもユーザデバイス115の内部に存在しなくてもよいことを理解されたい。たとえば、いくつかの構成では、これらの触覚構成要素の1つまたは複数は、ユーザデバイス115の外面沿いに配置され得ることが企図される。加えて、または代替として、これらの触覚構成要素のいずれか、および/またはすべては、1つまたは複数の周辺アクセサリ内に組み込むこと、および/または1つまたは複数の周辺アクセサリの一部として提供することができ、周辺アクセサリは、たとえば、ユーザデバイス115と(たとえば、1つまたは複数のワイヤレス接続および/または有線接続を介して)通信可能に結合することができる。
図1に見られるように、ユーザデバイス115は、本明細書で説明される様々な特徴および機能をユーザデバイス115が提供することを可能にする、1つまたは複数のサブシステムを含むことができる。たとえば、ユーザデバイス115は、接続確立サブシステム120と、感覚データ受信サブシステム125と、触覚効果提供サブシステム130とを含むことができる。1つまたは複数のサブシステムが互いに通信し、データを交換することを可能にする、1つまたは複数の通信経路を提供することができる。加えて、図1に示される様々なサブシステムは、ソフトウェア、ハードウェア、またはそれらの組合せで実施することができる。少なくとも1つの構成では、図1に示されるサブシステムの各々は、ユーザデバイス115に含まれる、1つまたは複数のプロセッサおよび/またはメモリユニットによって提供することができる。いくつかの事例では、ユーザデバイス115に含まれる単一のプロセッサが、たとえば、これらのサブシステムのすべてを提供することができ、一方、他の事例では、各サブシステムは、ユーザデバイス115の別々のプロセッサとして提供することができ、および/または別々のプロセッサによって提供することができる。いくつかの事例では、ユーザデバイス115は、図1に示されるもの以外の他のサブシステムを含むことができる。加えて、図1に示される実施形態は、いくつかの実施形態を具体化できるシステムの一例にすぎない。他の実施形態では、システム100および/またはユーザデバイス115は、図1に示されるものよりも多数もしくは少数のサブシステムを有することができ、2つ以上のサブシステムを組合せることができ、またはサブシステムの異なる構成もしくは取合せを有することができる。
いくつかの実施形態では、接続確立サブシステム120は、ローカルコンテンツ受信機との接続をユーザデバイス115が確立することを可能にすることができる。たとえば、いくつかの事例では、接続確立サブシステム120は、ユーザデバイス115が、ワイヤレスエリアネットワークにおいて、ローカルコンテンツ受信機(たとえば、コンテンツ受信機110)を検出し、登録情報をローカルコンテンツ受信機に送信する(たとえば、それによって、ユーザデバイス115をコンテンツ受信機に登録する)ことを可能にすることができる。
いくつかの実施形態では、感覚データ受信サブシステム125は、ユーザデバイス115が、ローカルコンテンツ受信機(たとえば、コンテンツ受信機110)から、感覚データ信号を受信することを可能にすることができる。たとえば、感覚データ受信サブシステム125は、ユーザデバイス115が、接続確立サブシステム120を使用してそれとの接続が確立されたコンテンツ受信機から、感覚データ信号を受信することを可能にすることができる。いくつかの事例では、感覚データ信号は、たとえば、ローカルコンテンツ受信機によって受信されたメディアコンテンツアイテムの再生に関する特定の時刻において提供される、1つまたは複数の触覚効果を指定することができる。
いくつかの実施形態では、触覚効果提供サブシステム130は、1つまたは複数の触覚効果をユーザデバイス115が提供することを可能にすることができる。たとえば、触覚効果提供サブシステム130は、感覚データ受信サブシステム125によって受信された感覚データ信号において指定された1つまたは複数の触覚効果を、ユーザデバイス115が提供することを可能にすることができる。いくつかの事例では、触覚効果提供サブシステム130は、ユーザデバイス115に含まれる1つまたは複数の触覚構成要素を作動させる、および/または別途制御することによって、(たとえば、ユーザデバイス115のユーザへの)触覚フィードバックを提供させることができる。
図1に示される実施形態、および上で説明された例は、様々なサブシステムをユーザデバイス115に含まれるものとして説明するが、いくつかの追加および/または代替実施形態では、これらのサブシステムのいずれか、および/またはすべては、ユーザデバイス115に通信可能に結合される1つもしくは複数の周辺デバイスなど、1つもしくは複数の他のデバイスおよび/もしくは構成要素内に組み込むこと、ならびに/または1つもしくは複数の他のデバイスおよび/もしくは構成要素によって別途提供することができる。加えて、または代替として、そのような周辺デバイスは、これらのサブシステムのいずれか、および/またはすべてを実施するための、様々なハードウェアおよび/またはソフトウェアを含むことができる。
例示的なシステム100(または類似のシステム)を実施することによって、強化されたメディアエクスペリエンスを、コンテンツ受信機110およびユーザデバイス115のユーザに提供することができる。たとえば、そのようなユーザは、テレビ番組または映画など、コンテンツ受信機110によって受信され、および/または表示されるメディアコンテンツを視聴することができ、同時に、ユーザは、ユーザデバイス115によって提供される触覚フィードバックを経験することができ、そのような触覚フィードバックは、テレビ番組または映画など、コンテンツ受信機110によって受信され、および/または表示されているメディアコンテンツの様々な態様と同期することができる。システム100のデバイスがどのように動作すれば、そのようなユーザエクスペリエンスを提供できるか、それについての例示的な方法が、図2に関して今から説明される。
特に、図2は、本開示の1つまたは複数の例示的な態様による、強化されたメディアエクスペリエンスを提供する例示的な方法を示している。ステップ205において、コンテンツ配信サーバ105は、信号を生成し、符号化することができる。信号は、メディアコンテンツ(たとえば、オーディオデータ、ビデオデータなど)と、触覚データ(たとえば、メディアコンテンツに関連して提供される1つまたは複数の触覚感覚を定義する情報)とを含むことができる。1つまたは複数の構成では、触覚データによって定義される触覚感覚は、メディアコンテンツの特徴と同期することができる。たとえば、映画の中で発生する爆発は、映画を視聴しているユーザに伝わる激しい振動、デバイス温度の増加、および/または他の触覚効果の提供を含む、触覚フィードバックと同期させることができる。少なくとも1つの構成では、信号は、オーディオ信号(たとえば、メディアコンテンツに関連するオーディオ信号)とすることができ、触覚データは、1つまたは複数の信号変調技法を使用して、オーディオ信号に符号化することができる(たとえば、触覚データは、オーディオ信号の特定のチャンネルに符号化することができる)。
その後、ステップ210において、コンテンツ配信サーバ105は、符号化された信号を、たとえば、コンテンツ配信ネットワークを介して、コンテンツ受信機110を含む1つまたは複数のコンテンツ受信機に送信することができる。ステップ215において、コンテンツ受信機110は、符号化された信号を、コンテンツ配信サーバから受信することができ、ステップ220において、コンテンツ受信機110は、受信した信号を復号することができる。
ステップ225において、コンテンツ受信機110は、復号した信号から触覚情報を獲得することができる。たとえば、ステップ225において、コンテンツ受信機110は、信号内に含まれるメディアコンテンツの視聴者および/または聴取者に提供される1つまたは複数の触覚感覚を定義する、触覚データを抽出することができる。少なくとも1つの構成では、触覚データは、1つまたは複数のマーカを含むことができ、1つまたは複数のマーカの各々は、メディアコンテンツ内に含まれる特定の特徴、事件、および/もしくは他の出来事と同時に、ならびに/またはそれらと別途組合せて提供される、1つまたは複数の特定の触覚感覚を定義することができる。たとえば、1つのマーカは、映画の中で発生する爆発と同時に、特定の振動効果および/または熱効果が提供されることを指定することができ、一方、別のマーカは、映画の中で発生する水中シーンと同時に、特定の圧迫効果および/または湿り効果が提供されることを指定することができる。
その後、ステップ230において、コンテンツ受信機110は、信号から獲得した触覚情報を、ユーザデバイス115など、1つまたは複数のユーザデバイスに送信することができる。たとえば、コンテンツ受信機110は、触覚データを、ローカルエリアネットワーク(LAN)接続、直接接続(たとえば、Bluetooth（登録商標）接続)、ならびに/または他の任意の有線および/もしくはワイヤレスデータ接続を介して、ユーザデバイス115に送信することができる。
ステップ235において、ユーザデバイス115は、触覚情報をコンテンツ受信機110から受信することができる。その後、ステップ240において、ユーザデバイス115は、受信した触覚情報に基づいて、1つまたは複数の触覚効果を提供することができる。たとえば、ステップ240において、ユーザデバイス115は、コンテンツ受信機110から受信した触覚情報によって定義される1つまたは複数の触覚感覚をユーザデバイス115のユーザに提供するために、ユーザデバイス115に含まれる、および/または別途ユーザデバイス115に通信可能に結合される、1つまたは複数の触覚構成要素を作動させることができる。このように、ユーザデバイス115は、ユーザが同時に視聴している、および/または別途経験している、メディアコンテンツと同期させることができる触覚フィードバックを、ユーザに提供することができる。
コンテンツ配信サーバから受信した信号から獲得された触覚情報を、1つまたは複数のユーザデバイスに送信するのに加えて、いくつかの事例では、コンテンツ受信機は、コンテンツ配信サーバから受信したオーディオデータおよび/またはビデオデータに基づいて、触覚データを動的に生成し、その後、そのような動的に生成された触覚データを、1つまたは複数のユーザデバイスに送信することができる。そのような触覚データを動的に生成する際、コンテンツ受信機は、たとえば、コンテンツ配信サーバから受信したオーディオデータおよび/またはビデオデータを解析し、オーディオデータおよび/またはビデオデータの1つまたは複数の決定された特性に一致する、1つまたは複数の事前定義された触覚フィードバック効果を選択することができる。たとえば、コンテンツ受信機は、特定のオーディオデータおよびビデオデータを解析することができ、音量中の大音量スパイク、および爆発の画像を含むビデオフレームを識別した後、1つまたは複数のユーザデバイスに送信される、事前定義された(たとえば、爆発に対応するものとして事前定義された)振動および/または熱触覚フィードバック効果を選択することができる。他の事例では、加えて、および/または代替として、解析されたオーディオデータおよび/または解析されたビデオデータに基づいて、コンテンツ受信機によって、非振動触覚フィードバック効果など、他の事前定義された触覚フィードバック効果を選択することができる。
図3は、本開示の1つまたは複数の例示的な態様による、感覚データ信号を受信し、処理する例示的な方法を示している。本開示の1つまたは複数の例示的な態様によれば、図3に示される例示的な方法は、触覚フィードバックをユーザに提供するために、ユーザデバイス115など、コンピューティングデバイスによって実行することができ、触覚フィードバックは、(たとえば、コンテンツ受信機110など、別のデバイス上で)ユーザが視聴している、および/またはプレイしている、メディアコンテンツと同期している。いくつかの事例では、図3の例示的な方法を実行するコンピューティングデバイスは、たとえば、ホームシアタシステムでテレビまたは他のメディアコンテンツを視聴しているときに、ユーザの自宅で使用されるモバイルデバイスとすることができる。他の事例では、図3の例示的な方法を実行するコンピューティングデバイスは、たとえば、映画館で映画または他のメディアコンテンツを視聴しているときに、映画館で使用されるモバイルデバイスとすることができる。加えて、または代替として、ホームシアタまたは映画館環境において使用するために、専用デバイスを使用し、配備し、および/または別途提供することができるが、いくつかの事例では、(たとえば、本開示の1つまたは複数の態様を具体化するコンピュータ可読命令を記憶し、および/または実行することによって)図3の例示的な方法を実行するように、および/または本明細書で説明される機能に類似した機能を別途提供するように、ユーザの典型的なモバイルデバイス(たとえば、ユーザのセルフォン、スマートフォン、タブレットコンピュータなど)を構成できることが企図される。
ステップ305において、コンテンツ受信機との接続を確立することができる。たとえば、ステップ305において、コンピューティングデバイス(たとえば、ユーザデバイス115)は、コンテンツ受信機コンピュータとのデータ接続を確立することができる。いくつかの事例では、コンテンツ受信機コンピュータは、セットトップボックス、テレビ、および家庭用コンピュータなど、家庭用娯楽システムの一部とすることができる。他の事例では、コンテンツ受信機コンピュータは、映画館に設置されること、および/または映画館によって運用されることがある、商用投影システム(たとえば、デジタルプロジェクタ)など、商用娯楽システムの一部とすることができる。
ステップ310において、ユーザインターフェース通知を表示することができる。たとえば、コンテンツ受信機への接続が確立されると、ステップ310において、コンピューティングデバイスは、接続が確立されたこと、ならびに/あるいは復号、表示、プレイされるメディアコンテンツ、および/または(たとえば、コンテンツ受信機および/または1つもしくは複数の追加の関連するシステムを介して)別途ユーザに提供されるメディアコンテンツと同期した触覚フィードバックなど、触覚フィードバックが接続を介して提供され得ることをユーザに通知するために、ユーザインターフェース通知を表示することができる。
ステップ315において、タイミング/感覚データ信号を受信することができる。たとえば、ステップ315において、コンピューティングデバイスは、現在復号、表示、プレイされている、および/またはコンテンツ受信機によって別途提供されている、メディアコンテンツに関連するタイミングおよび/または感覚情報を含むデータ信号を、コンテンツ受信機から受信することができる。1つまたは複数の構成では、タイミング/感覚データ信号は、1つまたは複数の触覚感覚が1つまたは複数の特定の時刻に提供されるべきことを指定する情報を含むことができる。加えて、または代替として、触覚フィードバックを提供すべき1つまたは複数の特定の時刻は、メディアコンテンツの経過時間に関して指定することができる。少なくとも1つの構成では、タイミング/感覚データ信号は、図4に示され、図4に関して以下でより詳細に説明される、例示的な感覚タイムラインの1つまたは複数の態様を具体化することができる。
図3を再び参照すると、ステップ320において、受信されたタイミング/感覚データ信号を処理することができる。たとえば、ステップ320において、コンピューティングデバイスは、データ信号を形成し得るデータパケットからタイミング情報および/または感覚情報を(たとえば、個別のデータ構造として)抽出するために、受信したデータ信号を処理することができる。
ステップ325において、いずれかの触覚フィードバックが指定されているかどうかを判定することができる。たとえば、ステップ325において、コンピューティングデバイスは、タイミング/感覚データ信号が、(たとえば、現在の時刻において、および/または間もなく来る時刻において)提供される何らかの触覚フィードバックを指定しているかどうかを決定することができる。少なくとも1つの構成では、コンピューティングデバイスは、何らかの触覚フィードバックが、現在の時刻および/または間もなく来る時刻など、特定の時刻において提供されるべきことを、データ信号に含まれる感覚マーカ(たとえば、以下で説明されるようなデータ構造)が指定している場合に、触覚フィードバックが提供されるべきことを、タイミング/感覚データ信号が指定していることを決定することができる。
ステップ325において、触覚フィードバックが指定されていると判定された場合、ステップ330において、指定された触覚フィードバックを提供することができる。たとえば、ステップ330において、コンピューティングデバイスは、指定された触覚フィードバックをユーザに提供するために、コンピューティングデバイスに含まれ、結合され、および/またはコンピューティングデバイスによって制御され得る、1つまたは複数の電子的に作動される構成要素を起動し、作動させ、および/または別途制御することができる。たとえば、コンピューティングデバイスは、様々な手触り感覚、圧迫感覚、湿り感覚、粘着感覚、熱感覚、振動感覚、および/または触覚を使用して人が感じることができる他の任意の効果など、任意の種類の感触および/または接触ベースのフィードバックを提供するように構成された、1つもしくは複数の触覚構成要素を含むこと、1つもしくは複数の触覚構成要素に結合すること、および/または1つもしくは複数の触覚構成要素を制御することができ、データ信号は、これらの構成要素のいずれか、および/またはすべての作動を必要とする、触覚感覚を指定することができる。
他方、ステップ325において、触覚フィードバックが指定されていないと判定された場合、ステップ335において、処理を継続することができ、コンピューティングデバイスは、たとえば、ステップ315の実行に戻ることができ、タイミング/感覚データ信号の受信(と、たとえば、上で説明したような、その後の処理と)を継続することができる。その後、例示的な方法のステップ315〜ステップ335は、映画もしくは他の番組が終了するまで、ユーザが実行の停止を要求するまで、および/または他の理由でループの実行が断たれるまで、ループし続けることができる。
感覚データ信号を受信し、処理する例示的な方法を、図3に関して説明したが、今から、信号自体を、図4に関してより詳細に説明する。
特に、図4は、本開示の1つまたは複数の例示的な態様による、感覚マーカを含む感覚タイムラインの一例を示している。1つまたは複数の態様によれば、感覚タイムライン400は、上で説明されたタイミング/感覚データ信号を表すことができる。加えて、感覚タイムライン400は、1つまたは複数の特定の時刻(たとえば、映画またはテレビ番組など、特定のメディアコンテンツアイテムに関連する、1つまたは複数の特定の時刻)に触覚フィードバックとしてユーザに提供される、1つまたは複数の触覚感覚を指定できる、感覚マーカ405など、1つまたは複数の感覚マーカを含むことができる。
図4に示される例では、たとえば、感覚マーカ405は、メディアコンテンツアイテム(たとえば、感覚タイムライン400がそれに対応するメディアコンテンツアイテム)が1時間22分20秒経過した後に提供されるべき、爆発感覚に対応することができる。爆発感覚は、熱効果および振動効果を含むように、(たとえば、感覚マーカ405によって表されるデータ構造内で)定義することができ、爆発感覚に関連する熱効果および振動効果をどのようにユーザ(たとえば、メディアコンテンツアイテムを視聴しているユーザ)に提供すべきかを指定する、関数、値、および/または変数を含むことができる。加えて、または代替として、感覚タイムライン400および/または感覚マーカ405は、爆発感覚がメディアコンテンツ内(たとえば、メディアコンテンツに対応するビデオデータおよび/またはオーディオデータ内)の爆発と同期するように、および/または別途爆発に対応するように構成することができる。上で説明したように、ユーザのコンピューティングデバイス(たとえば、ユーザデバイス115)は、感覚タイムライン400に対応するデータ信号を受信し、メディアコンテンツアイテムの再生中の指定された時刻に、感覚マーカ405によって指定される触覚フィードバックを提供するように構成することができる。このように、触覚フィードバックをモバイルデバイス(たとえば、ユーザデバイス115)のユーザに提供することができ、触覚フィードバックは、メディアコンテンツの再生と同期している。
感覚データ信号をどのようにして受信し、処理するかについて、数々の例を説明したが、ユーザデバイスが、どのようにすれば、最初にコンテンツ受信機に登録でき、対応する感覚データを有するローカルコンテンツストリームを発見でき、ある種類のデバイスアクティビティの検出に基づいて、触覚フィードバックを提供できるかについて説明するいくつかの例が、今からより詳細に説明される。
図5は、本開示の1つまたは複数の例示的な態様による、コンテンツ受信機に登録する例示的な方法を示している。本開示の1つまたは複数の例示的な態様によれば、図5に示される例示的な方法は、最初にコンテンツ受信機(たとえば、コンテンツ受信機110)との接続を確立し、コンテンツ受信機と登録情報を交換するために、ユーザデバイス115など、コンピューティングデバイスによって実行することができる。この登録は、たとえば、ユーザデバイス115が、それがオンラインであり、触覚フィードバックを提供するために利用可能であることを、コンテンツ受信機110に通知することを可能にすることができ、さらに、ユーザデバイス115が、ユーザデバイス115が提供することが可能な触覚フィードバックの特定の1つまたは複数のタイプを、コンテンツ受信機110に通知することを可能にすることができる。したがって、コンテンツ受信機110は、ユーザデバイス115がコンテンツ受信機110に登録された後にだけ、ユーザデバイス115に感覚データ信号を送信するように構成できるので、ユーザデバイス115は、感覚データ信号をコンテンツ受信機110から受信する前に、および/または触覚フィードバックが提供される前に、図5に示される登録方法を実行することができる。図5の例示的な方法に示される登録ステップの代わりに、および/またはそれらに加えて、他の登録ステップを含むことができる他の構成を使用することもできる。
ステップ505において、ユーザデバイス115は、ローカルネットワークに参加することができる。1つまたは複数の構成では、ローカルネットワークは、コンテンツ受信機110など、1つまたは複数のコンテンツ受信機も接続される、ネットワークとすることができる。ローカルネットワークは、1つもしくは複数の有線接続(たとえば、1つもしくは複数のイーサネット（登録商標）接続)、1つもしくは複数のワイヤレス接続(たとえば、1つもしくは複数のIEEE 802.11接続、1つもしくは複数のBluetooth（登録商標）接続など)、および/またはそれらの組合せを含むことができる。少なくとも1つの構成では、ローカルネットワークへの参加は、コンテンツ受信機によって提供されるネットワークへの参加を含むことができる。たとえば、コンテンツ受信機110は、ワイヤレスアクセスポイントとして動作するように構成することができ、ワイヤレスローカルエリアネットワークを提供することができ、ユーザデバイス115は、コンテンツ受信機110によって提供されるワイヤレスローカルエリアネットワークに接続することができる。
ステップ510において、ユーザデバイス115は、ローカルネットワークにおいてコンテンツ受信機110を検出することができる。たとえば、ステップ510において、ユーザデバイス115は、ネットワークに接続された1つまたは複数の他のデバイスに問い合わせることができ、その後、コンテンツ受信機110(および/または1つもしくは複数の他のコンテンツ受信機)が同じローカルネットワークに接続されていることを決定することができる。
ステップ515において、ユーザデバイスは、それが、検出されたコンテンツ受信機にすでに登録されているかどうかを判定することができる。たとえば、ステップ515において、ユーザデバイス115は、たとえば、ユーザデバイス115が記憶している登録履歴情報に基づいて、ユーザデバイス115がコンテンツ受信機110に以前登録したことがあるかどうかを判定することができる。
ステップ515において、ユーザデバイスが、検出されたコンテンツ受信機に登録済みであると決定した場合、ステップ520において、ユーザデバイスは、そのネットワークプレゼンスをコンテンツ受信機に通知することができる。たとえば、ユーザデバイス115が、コンテンツ受信機110に以前登録したことがあると決定した場合、ステップ520において、ユーザデバイス115は、ユーザデバイス115がネットワークに接続されていることを、コンテンツ受信機110に通知することができる。1つまたは複数の構成では、ユーザデバイスのネットワークプレゼンスをコンテンツ受信機に通知することは、ユーザデバイスを識別する情報(たとえば、デバイス製造元、デバイスモデル、一意デバイス識別子など)、および/またはユーザデバイスに関連するネットワーク情報(たとえば、ローカルネットワークの1つもしくは複数のルーティングデバイスによってユーザデバイスに割り当てられる、IPアドレスなどの、ローカルネットワークアドレス)を含む1つまたは複数のメッセージを、ユーザデバイスがコンテンツ受信機に送信することを含むことができる。
ユーザデバイスを識別する情報、および/またはユーザデバイスに関連するネットワーク情報を、コンテンツ受信機に送信するのに加えて、ユーザデバイスは、追加的に、他の情報も、検出されたコンテンツ受信機に送信することができる。たとえば、いくつかの構成では、ユーザデバイスは、ユーザデバイスのユーザによって設定された、1つまたは複数の設定および/または他のプレゼンスを指定する情報を送信することができる。そのような設定は、触覚フィードバックに関連することができ、たとえば、ユーザデバイスのユーザに提供される、および/または提供されない、いくつかの触覚効果を指定することができる。加えて、または代替として、そのような設定は、ユーザデバイスのユーザが異なれば異なる触覚フィードバックに関連するいくつかの設定を指定できる、1つまたは複数のユーザ識別情報および/または他のユーザプロファイル情報を含むことができる。これは、たとえば、ユーザデバイスにおける触覚フィードバックに関するペアレンタルコントロールの提供を可能にすることができる。たとえば、ユーザデバイスは、1人または複数人の成人ユーザに対しては、すべての利用可能な触覚フィードバック効果を提供するように構成することができるが、ユーザデバイスは、1人または複数人の子供ユーザに対しては、ユーザプロファイル情報において規定されたように、選択された触覚フィードバック効果のみを提供するように構成することができる。
1つまたは複数の追加および/または代替構成では、ユーザデバイスのネットワークプレゼンスをコンテンツ受信機に通知することは、コンテンツ受信機からの肯定応答メッセージの受信に基づいて、(たとえば、コンテンツ受信機がユーザデバイスのネットワークプレゼンスの通知を受けたことを、ユーザデバイスのユーザに知らせるために)通知を表示することを含むことができる。そのような通知を含むユーザインターフェースの一例が、図6に示されている。
特に、図6は、通知605を含む、例示的なユーザインターフェース600を示している。1つまたは複数の構成では、ユーザデバイス115などのユーザデバイスによって、ユーザデバイス115に含まれる、および/またはユーザデバイス115に別途通信可能に結合される、接触感知ディスプレイ画面上に、例示的なユーザインターフェース600を表示することができる。
図6に見られるように、ユーザインターフェース600の通知605は、(たとえば、コンテンツ受信機から受信した1つまたは複数の信号に基づいて)コンテンツ受信機が検出されたこと、および/または触覚フィードバックが使用可能であることを、ユーザデバイス(たとえば、ユーザデバイス115)のユーザに知らせるように構成することができる。加えて、または代替として、通知605は、ユーザデバイスがユーザのデバイスのネットワークプレゼンスをコンテンツ受信機に通知したことを、ユーザに知らせるようにさらに構成することができる。
図5を再び参照すると、ステップ515において、ユーザデバイスが、検出されたコンテンツ受信機に登録済みではないと決定した場合、ステップ525において、ユーザデバイスは、検出されたコンテンツ受信機に登録するようにユーザデバイスのユーザを促すことができる。1つまたは複数の構成では、検出されたコンテンツ受信機に登録するようにユーザデバイスのユーザを促すことは、たとえば、コンテンツ受信機によって受信され、復号され、および/または別途再生されるコンテンツに基づいて、ユーザデバイスが触覚フィードバックを提供できるようにするために、ユーザがユーザデバイスを検出されたコンテンツ受信機に登録したいかどうかを示す選択を行うことをユーザに求める、メニュー、ダイアログボックス、または他のプロンプトを、ユーザデバイスが表示することを含むことができる。そのようなプロンプトを含むユーザインターフェースの一例が、図7に示されている。
特に、図7は、通知705を含む、例示的なユーザインターフェース700を示している。1つまたは複数の構成では、ユーザデバイス115などのユーザデバイスによって、ユーザデバイス115に含まれる、および/またはユーザデバイス115に別途通信可能に結合される、接触感知ディスプレイ画面上に、例示的なユーザインターフェース700を表示することができる。
図7に見られるように、ユーザインターフェース700の通知705は、たとえば、ユーザデバイスが触覚フィードバックを提供できるようにするために、ユーザがユーザデバイスを検出されたコンテンツ受信機に登録したいかどうかを示す選択を行うことを、ユーザデバイス(たとえば、ユーザデバイス115)のユーザに求めるように構成することができる。加えて、または代替として、通知705は、検出されたコンテンツ受信機についての追加の詳細をユーザに知らせるようにさらに構成することができ、このようにすることで、コンテンツ受信機に登録したいかどうかをユーザが決定できるようにすることができる。
図5を再び参照すると、ステップ530において、ユーザデバイスは、登録要求を受信したかどうかを判定することができる。1つまたは複数の構成では、登録要求を受信したかどうかを判定することは、ステップ525において表示されたプロンプトに応答して、ユーザデバイスが受け取った選択など、ユーザデバイスが受け取ったユーザ入力に基づくことができる。
ステップ530において、ユーザデバイスが、登録要求を受信したと決定した場合、ステップ535において、ユーザデバイスは、登録情報を検出されたコンテンツ受信機に送信することができる。1つまたは複数の構成では、登録情報をコンテンツ受信機に送信することは、(たとえば、ユーザデバイスの製造元および/もしくはモデルを識別する情報)、ならびに/またはユーザデバイスの能力を記述する情報など、ユーザデバイスについての情報を含む、1つまたは複数のメッセージおよび/または電子通信を、ユーザデバイスが送信することを含むことができる。
たとえば、登録情報をコンテンツ受信機110に送信する際、ユーザデバイス115は、ユーザデバイス115を識別する情報、および/またはユーザデバイス115の能力を記述する情報を含む、1つまたは複数のメッセージを、ローカルネットワークを介して、コンテンツ受信機110に送信することができる。ユーザデバイス115を識別する情報は、ユーザデバイス115の製造元の名称、ユーザデバイス115のモデル名、ユーザデバイス115のモデル番号、ユーザデバイス115内に含まれる、および/もしくはユーザデバイス115上で実行される、ハードウェアおよび/もしくはソフトウェアのバージョン番号、ならびに/または他の情報を含むことができる。加えて、または代替として、ユーザデバイス115の能力を記述する情報は、ユーザデバイス115内に含まれる1つもしくは複数の触覚入力センサ、および/またはユーザデバイス115内に含まれる1つもしくは複数の触覚出力構成要素を識別する、デバイス能力情報を含むことができる。
たとえば、ユーザデバイス115内に含まれる1つまたは複数の触覚入力センサの各々について、デバイス能力情報は、特定のセンサがキャプチャすることが可能な触覚入力の1つもしくは複数のタイプ(たとえば、突起および/もしくは変形触覚入力、熱触覚入力、振動触覚入力、手触り触覚入力など)、特定のセンサの位置(たとえば、ユーザデバイス115の1つもしくは複数の面上の1つもしくは複数の基準点を基準にして、および/もしくはユーザデバイス115内に含まれる1つもしくは複数の他のセンサを基準にして、特定のセンサの位置を指定する座標)、ならびに/または特定のセンサを識別する他の情報(たとえば、センサの製造元、センサのモデル名および/もしくはモデル番号、センサのバージョン番号など)を含むことができる。加えて、または代替として、ユーザデバイス115内に含まれる1つまたは複数の触覚出力構成要素の各々について、デバイス能力情報は、特定の構成要素が再生することが可能な触覚出力の1つもしくは複数のタイプ(たとえば、突起および/もしくは変形触覚効果、熱触覚効果、振動触覚効果、手触り触覚効果など)、特定の構成要素の位置(たとえば、ユーザデバイス115の1つもしくは複数の面上の1つもしくは複数の基準点を基準にして、および/もしくはユーザデバイス115内に含まれる1つもしくは複数の他の構成要素を基準にして、特定の構成要素の位置を指定する座標)、ならびに/または特定の構成要素を識別する他の情報(たとえば、構成要素の製造元、構成要素のモデル名および/もしくはモデル番号、構成要素のバージョン番号など)を含むことができる。
いくつかの事例では、コンテンツ受信機110は、登録中に特定のセンサおよび/または特定の構成要素についての能力情報がユーザデバイス115によって提供されない場合、そのような情報を(たとえば、インターネット接続を使用して)検索し、および/または使用するように構成することができるので、ユーザデバイス115内に含まれる特定のセンサを識別する、および/または特定の構成要素を識別する情報は、コンテンツ受信機110が、特定のセンサおよび/または特定の構成要素の能力を検索し、および/または別途決定することを可能にすることができる。加えて、または代替として、コンテンツ受信機110は、登録中に特定のセンサおよび/または特定の構成要素についての能力情報がユーザデバイス115によって提供される場合であっても、そのような情報を(たとえば、インターネット接続を使用して)検索し、および/または検証するように構成することができる。
図5を再び参照すると、ステップ540において、ユーザデバイスは、コンテンツ受信機から肯定応答メッセージを受信することができる。1つまたは複数の構成では、コンテンツ受信機から肯定応答メッセージを受信することは、ステップ535においてコンテンツ受信機に提供された登録情報が受信されたこと、および/または1つもしくは複数のコンテンツアイテムに関連する1つもしくは複数のタイミング/感覚データ信号がユーザデバイスに提供されることを確認する情報を、コンテンツ受信機から受信することを含むことができる。加えて、または代替として、コンテンツ受信機から肯定応答メッセージを受信することは、最初に、ユーザデバイスにおいて、コンテンツ受信機から1つまたは複数のタイミング/感覚データ信号を受信することを含むことができる。たとえば、いくつかの構成では、ステップ540において、ユーザデバイス115は、コンテンツ受信機110から1つまたは複数のタイミング/感覚データ信号を受信し始めることができる。
ユーザデバイスがひとたびコンテンツ受信機に登録すると、ユーザデバイスは、1人または複数人のユーザに触覚フィードバックを提供できることがあり、触覚フィードバックは、コンテンツ受信機によって受信され、復号され、表示され、および/または別途プレイされるメディアコンテンツと同期している。いくつかの状況では、ユーザデバイスは、1回だけコンテンツ受信機に登録しておきさえすれば、将来、ユーザデバイスがコンテンツ受信機の近く(またはさもなければ、触覚フィードバックを提供するのが望ましい位置)にいるとき、ユーザデバイスは、コンテンツ受信機に通知するだけで、ユーザへの触覚フィードバックの提供を開始するために、コンテンツ受信機から触覚データを受信し始めることができる。ユーザデバイスがコンテンツ受信機の近くにいること、またはさもなければ、特定のメディアコンテンツに関連して触覚フィードバックを提供できる場所に配置されていることを、どのようにしてユーザデバイスが決定できるかを説明するいくつかの例が、今から説明される。
図8は、本開示の1つまたは複数の例示的な態様による、対応する感覚データを有するローカルコンテンツストリームを発見する例示的な方法を示している。1つまたは複数の態様によれば、図8に示される例示的な方法は、コンピューティングデバイスの付近の特定のコンテンツストリームを識別し、特定のコンテンツストリームが識別されたことをコンテンツ受信機に通知するために、ユーザデバイス115などのコンピューティングデバイスによって実行することができる。以下で説明するように、これは、コンテンツ受信機が、特定のコンテンツストリームと同期した感覚データ信号を、デバイスに提供することを可能にすることができる。
ステップ805において、ユーザデバイス115などのユーザデバイスは、最も近いコンテンツストリームを検出することができる。いくつかの実施形態では、デバイスは、特定のコンテンツストリームがデバイスの付近で再生されていることを、1つまたは複数のセンサによってキャプチャされたデータに基づいて決定することによって、最も近いコンテンツストリームを検出することができる。このデータは、デバイス内に含まれる1つもしくは複数のマイクロフォンによってキャプチャされるオーディオデータ、デバイス内に含まれる1つもしくは複数のカメラによってキャプチャされる画像および/もしくはビデオデータ、ならびに/または他のデータを含むことができる。
たとえば、ステップ805において、ユーザデバイス115は、デバイスのローカル環境から、(たとえば、1つまたは複数のマイクロフォンおよび/またはカメラを使用して)オーディオおよび/またはビデオデータをキャプチャすることができる。キャプチャされたオーディオおよび/またはビデオデータを分析することによって、ユーザデバイス115は、次いで、(たとえば、ユーザデバイス115が配置された構内において、ローカルコンテンツ受信機によって受信され、および/または復号された1つまたは複数のコンテンツストリームのうちの)特定のコンテンツストリームが、ユーザデバイス115の現在位置に関して最も近いコンテンツストリームであることを決定することができる。たとえば、ユーザデバイス115は、それが、特定のコンテンツストリームを再生している特定のディスプレイ画面および/またはサウンドシステムに物理的に近いことを、ユーザデバイス115によってキャプチャされたオーディオデータおよび/またはビデオデータが、特定のコンテンツストリームの部分である、および/もしくはそれに関連する、オーディオデータおよび/もしくはビデオデータを含むこと、ならびに/またはそれらに対応することに基づいて、決定することができる。
その後、ステップ810において、ユーザデバイスは、コンテンツストリームを検出したことをコンテンツ受信機に通知することができる。いくつかの実施形態では、デバイスは、現在放映中の番組のタイトル、コンテンツストリームに関連する一意識別子、および/または他の情報など、検出されたコンテンツストリームを識別する情報を含む1つまたは複数のメッセージを、(たとえば、ワイヤレスデータ接続を介して)コンテンツ受信機に送信することによって、このようにコンテンツ受信機に通知することができる。加えて、または代替として、デバイスは、キャプチャされたオーディオおよび/またはビデオデータのサンプルをコンテンツ受信機に送信することによって、コンテンツ受信機に通知することができ、それによって、コンテンツ受信機は、検出されたコンテンツストリームを認識するために、キャプチャされたオーディオおよび/またはビデオデータを分析することが可能になる。たとえば、ステップ810において、ユーザデバイス115は、ユーザデバイス115が、ステップ805において検出されたコンテンツストリームを検出し、それに最も近いことをコンテンツ受信機に通知する、1つまたは複数のメッセージを、ローカルコンテンツ受信機に送信することができる。この通知は、ローカルコンテンツ受信機が、検出されたコンテンツストリームに対応する感覚データ信号をユーザデバイス115に提供できるようにすること、および/またはローカルコンテンツ受信機にそれを行わせることができる。
ステップ815において、ユーザデバイスは、感覚データ信号をローカルコンテンツ受信機から受信することができる。上で指摘したように、様々な実施形態では、ユーザデバイスによって受信されるローカルコンテンツ受信機からの感覚データ信号は、ユーザデバイスによって検出された最も近いコンテンツストリームに対応することができる。より具体的には、この感覚データ信号は、触覚フィードバックとしてユーザデバイス(たとえば、ユーザデバイス115)のユーザに提供される1つまたは複数の触覚感覚を定義する情報を含むことができる。さらに、感覚データ信号は、ユーザデバイスによって提供される触覚感覚が、コンテンツストリーム内の特定の出来事と同期して提供されるように、ユーザデバイスに、これらの触覚感覚を特定の時刻に提供させるように構成することができる。触覚フィードバックをそれに関して提供できる出来事の例は、爆発、落雷、地震、雨、および足音などを含む。これらの出来事は、ここでは例として列挙されており、望ましい場合は、ここで列挙された出来事の代わりに、および/またはそれらに加えて、他の任意の出来事に関連して、触覚フィードバックを提供することができる。
図8に関して上で説明された例示的な方法を実行することによって、ユーザデバイスは、特定のコンテンツストリームをデバイスに最も近いコンテンツストリームとして識別できることがあり、コンテンツストリームに関連する感覚データ信号を受信するために、コンテンツ受信機に通知できることがある。これによって、複数のローカルメディアデバイスが、同時に数々の異なるコンテンツストリームを再生している環境においてさえも、ユーザデバイスが、自らを、特定のコンテンツストリームおよび対応する感覚データ信号と自動的に同期させることを可能にすることができる。そのような環境の一例が、図9に示されている。
図9は、本開示の1つまたは複数の例示的な態様による、対応する感覚データを有するローカルコンテンツストリームを発見するデバイスの一例を示している。図9に見られるように、家、アパート、または他の構内を表すことができる、ローカル環境900は、テレビ905およびテレビ910など、数々のメディア再生デバイスを含むことができる。加えて、ローカル環境900の異なる部屋または他の異なる領域に、様々なメディア再生デバイスを配置することができる。たとえば、図9に示される例では、テレビ905は、ローカル環境900のキッチン領域に配置することができ、一方、テレビ910は、ローカル環境900の私室領域に配置することができる。
やはり図9に示されるように、ユーザデバイス915などのユーザデバイスは、ユーザがローカル環境900の異なる領域の間で運ぶことができる、モバイルデバイスとすることができる。ユーザデバイス915は、ローカル環境900の異なる領域のいたる所に動かされるので、ユーザデバイス915は、異なるメディアデバイスに最も近くなることができ、それに対応して、異なるメディアデバイスによって再生されている異なるコンテンツストリームに最も近くなることができる。
図8に関して上で説明された方法の1つまたは複数のステップを実行することによって、図9のユーザデバイス915は、感覚データ信号を受信し、ユーザデバイス915のユーザによって視聴され、聴取され、および/または別途経験されている可能性が最も高いコンテンツストリームに対応する触覚フィードバックを提供するために、特定のコンテンツストリームを最も近いコンテンツストリームであるとして識別できることがある。たとえば、ローカル環境からオーディオデータおよび/またはビデオデータをキャプチャすることによって、ユーザデバイス915は、それが、たとえば、テレビ905によって再生されている第2のコンテンツストリームではなく、テレビ910によって再生されている第1のコンテンツストリームに近いことを決定することができる。
(たとえば、図8に関して上で説明された例のいくつかにおけるように)最も近いコンテンツストリームを検出するために、キャプチャされたオーディオおよび/またはキャプチャされたビデオを使用するのに加えて、ユーザデバイス115などのユーザデバイスは、加えて、または代替として、ユーザデバイスによって提供される、および/または別途ユーザデバイスから利用可能なロケーションサービスを使用して、最も近いコンテンツストリームを検出することができる。たとえば、いくつかの構成では、ユーザデバイス115は、その位置を決定するために、屋内および/または屋外ナビゲーション技術(たとえば、WiFiスキャニング、衛星測位など)を使用し、その後、最も近いコンテンツストリームを検出することができる。いくつかの追加および/または代替構成では、コンテンツ受信機および/またはメディア再生デバイスは、デバイス発見および/またはコンテンツストリーム検出において位置基準としてユーザデバイスが使用できる、ローカルワイヤレス信号を送信することができる。
いくつかの実施形態では、ユーザデバイスが、特定のコンテンツストリームに最も近いことを決定し、そのコンテンツストリームに関連する感覚データ信号を受信し始めると、ユーザデバイスは、次いで、ユーザデバイスの1人または複数人のユーザに触覚フィードバックを提供するのに適した位置にユーザデバイスがあるかどうかを判定することができる。ユーザが片手または両手で持つように設計されたユーザデバイスの場合、触覚フィードバックを提供するのに適した位置にデバイスがあるかどうかを判定することは、たとえば、以下でより詳細に説明するように、現在ユーザがデバイスを持っているかどうかを判定することを含むことができる。
図10は、本開示の1つまたは複数の例示的な態様による、検出されたアクティビティに基づいて触覚フィードバックを提供する例示的な方法を示している。1つまたは複数の態様によれば、図10に示される例示的な方法は、触覚フィードバックを提供するのに適した位置にデバイスがあることを示すある種のタイプのアクティビティが検出されたかどうかを判定するために、ユーザデバイス115などのコンピューティングデバイスによって実行することができる。以下で説明するように、この判定は、ユーザがそのような触覚フィードバックを経験する可能性が最も高いときに、デバイスが選択的に触覚フィードバックを提供することを可能にすることができる。
ステップ1005において、ユーザデバイス115などのユーザデバイスは、デバイスの1人または複数人のユーザに提供される1つまたは複数の触覚感覚を指定する信号を受信することができる。そのような信号は、たとえば、上で説明されたような感覚データ信号とすることができ、ユーザデバイスのユーザに提供される少なくとも1つの触覚感覚を指定することができる。しかし、そのような触覚感覚を提供する前に、ユーザデバイスは、それが触覚フィードバックを提供するのに適した位置にあるかどうかを判定することができる。
特に、ステップ1010において、ユーザデバイスは、触覚フィードバックを提供するのに適した位置にユーザデバイスがあることを示すある種のタイプのアクティビティが検出されたかどうかを判定することができる。いくつかの実施形態では、これらのある種のタイプのアクティビティが検出されたかどうかを判定することは、現在ユーザがデバイスを持っているかどうか、および/またはデバイスがユーザと別の方法で接触しているかどうかを判定することを含むことができる。
これらの実施形態では、ユーザデバイス(たとえば、ユーザデバイス115)は、1つもしくは複数の運動センサ(たとえば、加速度計、ジャイロスコープ、磁力計など)、1つもしくは複数のカメラ、1つもしくは複数のマイクロフォン、1つもしくは複数の圧力センサ(たとえば、握力センサ)、および/または1つもしくは複数の他のセンサ(たとえば、センサがユーザの皮膚に接触しているかどうかを判定するように構成されたセンサなど、1つもしくは複数の生体測定センサ)からのセンサ入力キャプチャすることができる。その後、これらの実施形態では、ユーザデバイスは、たとえば、現在ユーザがデバイスを持っていること、またはデバイスがユーザと別の方法で接触していることを、センサ入力が示しているかどうかを判定するために、キャプチャされたセンサ入力を分析することができる。たとえば、1つまたは複数の加速度計を介してキャプチャされたセンサ入力が、デバイスが完全に静止していないことを示している場合、ユーザデバイスは、ユーザがデバイスを持っている、またはデバイスがユーザと別の方法で接触していると決定することができる。他の事例では、アクティビティが検出されたかどうか、したがって、1人または複数人のユーザに触覚フィードバックを提供するのに適した位置にユーザデバイスがあるかどうかを判定するために、加速度計入力に加えて、または加速度計入力の代わりに、他のタイプのセンサ入力を使用することができる。
ステップ1010において、触覚フィードバックを提供するのに適した位置にユーザデバイスがあることを示す1つまたは複数のタイプのアクティビティが検出されたと決定された場合、ステップ1015において、ユーザデバイスは、感覚データ信号において指定された触覚フィードバックを提供することができる。代替として、(たとえば、1つまたは複数のある種のタイプのアクティビティが検出されないために)触覚フィードバックを提供するのに適した位置にデバイスがいないと決定された場合、ステップ1020において、ユーザデバイスは、アクティビティが検出されないこと、および/または触覚フィードバックを提供するのに適した位置にデバイスがいないことを、コンテンツ受信機に通知することができる。
図11は、本開示の1つまたは複数の例示的な態様による、ユーザが持っているデバイスの一例を示している。図11に見られるように、いくつかの実施形態では、ユーザデバイス1100は、ユーザが手1105に持つように構成することができる。さらに、ユーザデバイスは、触覚フィードバックをユーザに提供するために、外面に沿って1つまたは複数の触覚構成要素を含むことができる。たとえば、ユーザデバイス1100は、ユーザの手1105の面と接触するように、デバイスの後面に沿って1つまたは複数の触覚構成要素を含むことができる。
上で説明したように、いくつかの実施形態では、ユーザデバイスは、ユーザに触覚フィードバックを提供するのに適した位置にユーザデバイスがあるかどうかを判定することができる。この判定は、たとえば、ユーザデバイスによってキャプチャされたセンサ入力に基づくことができる。図11は、デバイスがそのような判定をどのようにして行うことができるかについての一例を示している。たとえば、図11に見られるように、ユーザデバイス1100は、ユーザデバイス1100の様々な縁に沿って配置された1つまたは複数の握力センサ1110を含むことができる。1つまたは複数の握力センサ1110は、ユーザがユーザデバイス1100を持っているかどうかを検出するように構成することができ、したがって、ユーザデバイス1100が、現在ユーザがユーザデバイス1100を持っているかどうかを判定することを可能にすることができる。触覚フィードバックを提供するのに適した位置にデバイスがあるかどうかを判定する際に使用できるセンサ入力の一例として、1つまたは複数の握力センサからの入力がここでは説明されたが、握力センサからの入力に加えて、またはそれの代わりに、他のタイプのセンサからの他の入力も、同様に使用することができる。
図12は、本開示の1つまたは複数の例示的な態様による、感覚データを含む新しいコンテンツストリームを検出する例示的な方法を示している。1つまたは複数の態様によれば、図12に示される例示的な方法は、コンテンツストリームの移行を処理する際に、ユーザデバイス115などのコンピューティングデバイスによって実行することができる。たとえば、コンテンツ受信機によって受信および/または復号されているコンテンツが変化した場合、ユーザデバイスは、コンテンツストリームの変化を検出することができ、新たに検出されたコンテンツストリームに対応する感覚データ信号を受信し始めるために、図12に示される例示的な方法の1つまたは複数のステップを実行することができる。
ステップ1205において、ユーザデバイス(たとえば、ユーザデバイス115)は、新しいコンテンツストリームを検出することができる。たとえば、ステップ1205において、ユーザデバイスは、上で説明したように、ユーザデバイスによってキャプチャされたオーディオデータおよび/またはビデオデータに基づいて、新しいコンテンツストリームが検出されたことを決定することができる。いくつかの事例では、新しいコンテンツストリームは、それまでの番組が終了したこと、またはユーザが新しい異なる番組を再生しようとして選択したことが原因で検出されることがある。他の事例では、新しいコンテンツストリームは、ユーザデバイスが、1つのメディア再生デバイスの近くの1つの場所から、異なるメディア再生デバイスの近くの別の場所に移動したことが原因で検出されることがある。
その後、ステップ1210において、ユーザデバイスは、新しいコンテンツストリームが検出されたことをコンテンツ受信機に通知することができる。たとえば、ステップ1210において、ユーザデバイスは、番組のタイトル、コンテンツストリームに関連する一意識別子、および/または他の情報など、新しいコンテンツストリームを識別する情報を含む1つまたは複数のメッセージを、ローカルコンテンツ受信機に送信することができる。これによって、上で説明された例において、ローカルコンテンツ受信機が、感覚データ信号をユーザデバイスに提供できたのと同様の方法で、新しいコンテンツストリームに対応する感覚データ信号をユーザデバイスに提供することを、ローカルコンテンツ受信機に行わせることができる。
ステップ1215において、ユーザデバイスは、ステップ1220に進む前に、所定の時間(たとえば、10秒、30秒など)の間、待つことができ、ステップ1220において、ユーザデバイスは、触覚フィードバックを使用可能にすることができ、感覚データ信号に基づいて、触覚フィードバックを提供し始めることができる。新しいコンテンツストリームに関連する触覚フィードバックを提供し始める前に、所定の時間、待つことによって、ユーザデバイスは、たとえば、触覚フィードバックを受け取るのに最適な位置にデバイスを位置付ける機会をユーザに提供することができる。加えて、または代替として、ユーザデバイスは、コンテンツストリームを表示するメディアデバイス上でユーザが数々の番組またはチャンネルを次々切り替えている状況では、触覚フィードバックの提供を回避することができる。
いくつかの実施形態では、触覚フィードバックを使用可能にする前に、ある長さの時間が経過するのを待っている際、ユーザデバイスは、新しいコンテンツストリームが検出されたこと、および触覚フィードバックが間もなく使用可能になることを、ユーザデバイスの1人または複数人のユーザに通知するユーザインターフェースも表示することができる。図13は、そのようなユーザインターフェースの一例を示している。
特に、図13は、本開示の1つまたは複数の例示的な態様による、感覚データを含む新しいコンテンツストリームを検出した際に表示され得る例示的なユーザインターフェース1300を示している。図13に見られるように、ユーザインターフェース1300は、新しいコンテンツストリームが検出されたこと、および/または新しいコンテンツストリームに関連する触覚フィードバックが間もなく提供されることを、ユーザに知らせるように構成された通知1305を含むことができる。上で述べたように、これによって、たとえば、触覚フィードバックを受け取るのに最適な位置にデバイスを位置付ける機会をユーザに提供することができ、ならびに/またはユーザが様々な番組および/もしくはチャンネルを次々切り替えているなど、触覚フィードバックを提供するのが望ましくないことがある状況において、デバイスが触覚フィードバックを提供することを抑制することができる。
3次元(3D)映画が非常にポピュラーになってきており、動きおよび匂い(olfactics)など、より新しい次元を提供しようと試みることがある映画および劇場が存在する。現在、いくつかの劇場は、(たとえば、振動する劇場の椅子を介する)大規模な振動を含む動きを実施することができるが、局所化された触覚の展開は行われていない。そのような触覚フィードバックを含むことによって、娯楽および通信における新しい次元を提供することができる。触覚フィードバックは、圧迫、手触り、つままれた感じ、熱、すべる感じ、形状、および角隅など、人が(たとえば、片手または両手を用いて)感じることができるものを含むことができる。
本開示の態様は、デジタル映画に組み込んで、時間に関連する触覚情報を送信することによって、触感をモバイルデバイスに組み込むことに関する。モバイルデバイスへの触覚/触感フィードバックの送信は、映画再生、映画ストリーミングなどが可能な任意のデバイスによって、映画館、ホームシアタにおいて行うことができる。これは、個人化できるより新しい次元を組み込むことによって、映画視聴体験を強化することができる。
1つまたは複数の態様によれば、触感フィードバックを組み込むことによって、映画娯楽に新しい次元を追加することができる。映画娯楽は、3Dグラフィックス、および匂い、振動、動きなどのより新しい次元を導入することで、臨場感をますます高めることができる。2007年から2009年にかけて、3D映画の数は7倍に増加した。しかし、触感フィードバックは、ユーザが臨場感を感じるうえで重要な要素になり得るが、現在のところ、映画娯楽から欠落している。劇場は、振動する椅子などを提供することができるが、これらは、この次元において(たとえば、触感フィードバックの次元において)生み出すことができるすべての効果を利用できているわけではない。接触(たとえば、引っ掻き、つつきなど)、温度、局所化された/空間および時間に応じて変化する一連の振動などを提供することができる。
加えて、または代替として、第3の次元を超えて、ユーザは、自らの必要に合わせてカスタマイズされた他の次元を有することを期待することができる。たとえば、必ずしも皆が、振動する椅子の上で揺すられたい、または魚の匂いを嗅がされたいと思うとは限らない。1つまたは複数の構成では、この種のカスタマイズは、触感フィードバックを提供すること、および/または別途触感フィードバックを使用することが可能なモバイルデバイスを使用して提供することができる。
少なくとも1つの構成では、デバイスは、たとえば、ユーザが視聴している映画(もしくは他の番組コンテンツ)の名前、そのようなコンテンツに対応する識別子、および/または他の情報を含むことができる、状況情報に基づいて、触覚フィードバック情報をダウンロードすることができる。いくつかの構成では、状況情報は、屋内ロケーション(InNav)情報を使用することによって、自動的に獲得することもでき、映画(または他の番組コンテンツ)は、Listenなどのオーディオインターフェースを使用して識別することができる。加えて、または代替として、触覚情報は、ワイヤレスで送信することもでき、触覚情報は、専用チャンネルとして(たとえば、映画もしくは他の番組コンテンツの)オーディオ信号に追加すること、またはオーディオ信号上に変調することができる。
1つまたは複数の構成では、状況情報は、タイミング情報(たとえば、映画もしくは他の番組コンテンツの開始時刻、映画もしくは他の番組コンテンツの経過時間など。これによって、ダウンロードされた触覚情報がタイムリに再生され得ることを保証することができる)、ユーザ年齢グループ(たとえば、高齢者は、自分のデバイスではソフトな触覚だけが使用可能であることが保証されるように望むことがある)、および/または他の情報を含むことができる。少なくとも1つの実施では、触覚対応のモバイルデバイスは、モバイル電話、または映画体験の前に取り付けられる、および/もしくは配布される他のモバイルデバイスとすることができる。
したがって、本開示の態様は、映画視聴体験を強化するための触覚感覚を可能にすることができる複数のデバイスを使用することを可能にし、包含する。たとえば、本開示の態様は、触覚フィードバック(および/または受信したときに1つもしくは複数のデバイスに触覚フィードバックを提供させる情報)のポイントツーマルチポイントブロードキャストを送信する方法を提供する。1つまたは複数の構成では、複数の周辺デバイスが、特定の映画に関する状況的および時間的な触覚情報をダウンロードすることができる。加えて、または代替として、モバイルデバイスによって4次元(4D)映画を鑑賞し、視聴し、および/または表示しているときに、複数の周辺デバイスが、触覚フィードバック情報を受信することができる。いくつかの構成では、第4の次元は、空間および時間に応じて変化する触覚フィードバックを含むことができる。加えて、または代替として、触覚情報は、オーディオ信号上に符号化すること、オーディオ信号上に変調すること、および/または専用オーディオチャンネル上に追加することができる。
1つまたは複数の追加および/または代替構成では、触覚感覚を提供できる複数のデバイスは、モバイルデバイスを含むことができる。さらに、複数のデバイスは、たとえば、映画が開始する前に、ユーザの座席に取り付けられる、および/または配布されるデバイスを含むことができる。加えて、または代替として、ユーザプリファレンス、ならびに/あるいは(たとえば、ユーザの)年齢および/または映画(もしくは他の番組コンテンツ)のジャンルなどの他の要因に基づいて、カスタマイズ可能な触感を提供することができる。
触覚技術を使用して、強化されたメディアエクスペリエンスを提供する、複数の態様を説明したが、本開示の様々な態様を実施できるコンピューティングシステムの一例が、今から図14に関して説明される。1つまたは複数の態様によれば、図14に示されるようなコンピュータシステムは、本明細書で説明される特徴、方法、および/または方法ステップのいずれか、および/またはすべてを実施し、実行し、および/または遂行できるコンピューティングデバイスの一部として組み込むことができる。たとえば、コンピュータシステム1400は、ハンドヘルドデバイスの構成要素のうちのいくつかを表すことができる。ハンドヘルドデバイスは、カメラなどの入力感知ユニット、および/またはディスプレイユニットを有する、任意のコンピューティングデバイスとすることができる。ハンドヘルドデバイスの例は、限定することなく、ビデオゲーム機、タブレット、スマートフォン、およびモバイルデバイスを含む。一実施形態では、コンピュータシステム1400は、上で説明されたユーザデバイス115を実施するように構成される。図14は、本明細書で説明されるように、他の様々な実施形態によって提供される方法を実行でき、ならびに/またはホストコンピュータシステム、リモートキオスク/端末、販売時点管理デバイス、モバイルデバイス、セットトップボックス、および/もしくはコンピュータシステムとして機能できる、コンピュータシステム1400の一実施形態の概略図を提供している。図14は、様々な構成要素を含む一般化された図を提供することをもっぱら意図しており、様々な構成要素のいずれか、および/またはすべてを、適宜、利用することができる。したがって、図14は、どのようにすれば、個々のシステム要素を相対的に分離された方法で実施でき、または相対的により統合された方法で実施できるかを大まかに示している。
バス1405を介して電気的に結合できる(または適宜、別の方法で通信できる)ハードウェア要素を備える、コンピュータシステム1400が示されている。ハードウェア要素は、限定することなく、1つもしくは複数の汎用プロセッサ、ならびに/または(デジタル信号処理チップ、および/もしくはグラフィックス加速プロセッサなど)1つもしくは複数の専用プロセッサを含む、1つまたは複数のプロセッサ1410と、限定することなく、カメラ、マウス、および/またはキーボードなどを含むことができる、1つまたは複数の入力デバイス1415と、限定することなく、ディスプレイユニット、および/またはプリンタなどを含むことができる、1つまたは複数の出力デバイス1420とを含むことができる。
コンピュータシステム1400は、1つまたは複数の非一時的な記憶デバイス1425をさらに含むこと(および/または非一時的な記憶デバイス1425と通信すること)ができ、非一時的な記憶デバイス1425は、限定することなく、ローカルストレージ、および/もしくはネットワークアクセス可能なストレージを含むことができ、ならびに/または限定することなく、ディスクドライブ、ドライブアレイ、光記憶デバイス、および/もしくはプログラム可能、フラッシュ更新可能とすることができる、ランダムアクセスメモリ(「RAM」)および/もしくはリードオンリーメモリ(「ROM」)などのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定することなく、様々なファイルシステム、および/またはデータベース構造などを含む、任意の適切なデータ記憶を実施するように構成することができる。
コンピュータシステム1400は、通信サブシステム1430も含むことができ、通信サブシステム1430は、限定することなく、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ならびに/または(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信機構などの)ワイヤレス通信デバイスおよび/もしくはチップセットなどを含むことができる。通信サブシステム1430は、ネットワーク(一例を挙げると、以下で説明されるネットワークなど)、他のコンピュータシステム、および/または本明細書で説明される他の任意のデバイスとの、データ交換を可能にすることができる。多くの実施形態では、コンピュータシステム1400は、上で説明されたような、RAMまたはROMデバイスを含むことができる、非一時的な作業用メモリ1435をさらに備える。
コンピュータシステム1400は、作業用メモリ1435内に現在配置されているとして示された、ソフトウェア要素も含むことができ、ソフトウェア要素は、オペレーティングシステム1440、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーション1445などの他のコードを含み、アプリケーション1445は、様々な実施形態によって提供されるコンピュータプログラムを含むことができ、ならびに/または本明細書で説明されるように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計することができる。単なる例として、上で説明された方法に関して説明された1つまたは複数の手順、たとえば、図2、図3、図5、図8、図10、および図12に関して説明されたような1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実施することができ、その場合、一態様では、そのようなコードおよび/または命令は、説明された方法に従って1つまたは複数の動作を実行するように、汎用コンピュータ(または他のデバイス)を構成するために、および/または適合させるために使用することができる。
これらの命令および/またはコードの組は、上で説明された記憶デバイス1425など、コンピュータ可読記憶媒体上に記憶することができる。場合によっては、記憶媒体は、コンピュータシステム1400など、コンピュータシステム内に組み込むことができる。他の実施形態では、記憶媒体は、コンピュータシステムとは別個(たとえば、コンパクトディスクなどの着脱可能媒体)とすることができ、(記憶媒体を使用して、そこに記憶された命令/コードを用いて汎用コンピュータをプログラムし、構成し、および/または適合させることができるように)インストールパッケージに収めて提供することができる。これらの命令は、コンピュータシステム1400によって実行可能な実行可能コードの形態を取ることができ、ならびに/または(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/伸長ユーティリティなどのいずれかを使用して)コンパイル、および/もしくはコンピュータシステム1400上にインストールした後に、実行可能コードの形態を取ることができる、ソースコードおよび/もしくはインストール可能コードの形態を取ることができる。
特定の要件に従って、大幅な変形を行うことができる。たとえば、カスタマイズされたハードウェアを使用することもでき、および/または特定の要素を、ハードウェアで、(アプレットなどのポータブルソフトウェアを含む)ソフトウェアで、または両方で実施することができる。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を利用することができる。
いくつかの実施形態は、本開示に従って方法を実行するために、(コンピュータシステム1400などの)コンピュータシステムを利用することができる。たとえば、説明される方法の手順のいくつかまたはすべては、作業用メモリ1435内に含まれる(オペレーティングシステム1440、および/またはアプリケーション1445などの他のコードに組み込むことができる)1つまたは複数の命令の1つまたは複数の系列を実行するプロセッサ1410に応答して、コンピュータシステム1400によって実行することができる。そのような命令は、記憶デバイス1425の1つまたは複数など、別のコンピュータ可読媒体から作業用メモリ1435に読み込むことができる。単なる例として、作業用メモリ1435内に含まれる命令の系列の実行は、本明細書で説明される方法の1つまたは複数の手順、たとえば、図2、図3、図5、図8、図10、および図12に関して説明された方法の1つまたは複数の手順を、プロセッサ1410に実行させることができる。
本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械に特定の方法で動作を行わせるデータを提供することに関与する任意の媒体を指す。コンピュータシステム1400を使用して実施される一実施形態では、プロセッサ1410に実行のために命令/コードを提供する際に、様々なコンピュータ可読媒体が関与することができ、ならびに/またはそのような命令/コードを(たとえば、信号として)記憶し、および/もしくは搬送するために、様々なコンピュータ可読媒体を使用することができる。多くの実施では、コンピュータ可読媒体は、物理的および/または有形な記憶媒体である。そのような媒体は、限定することなく、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態を取ることができる。不揮発性媒体は、たとえば、記憶デバイス1425などの、光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定することなく、作業用メモリ1435などの、動的メモリを含む。伝送媒体は、限定することなく、バス1405を含む配線を含む、同軸ケーブル、銅線、および光ファイバばかりでなく、通信サブシステム1430の様々な構成要素(および/または通信サブシステム1430が他のデバイスとの通信をそれによって提供する媒体)も含む。したがって、伝送媒体は、(限定することなく、電波および赤外線データ通信中に生成されるような、電波、音波、および/または光波を含む)波動の形態を取ることもできる。
物理的および/または有形なコンピュータ可読媒体の一般的な形態は、たとえば、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは他の任意の磁気媒体、CD-ROM、他の任意の光媒体、パンチカード、紙テープ、穴のパターンを用いる他の任意の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、他の任意のメモリチップもしくはカートリッジ、この後で説明されるような搬送波、またはコンピュータが命令および/もしくはコードを読み取ることができる他の任意の媒体を含む。
様々な形態のコンピュータ可読媒体は、1つまたは複数の命令の1つまたは複数の系列を実行のためにプロセッサ1410まで搬送することに関与することができる。単なる例として、命令は、最初、リモートコンピュータの磁気ディスクおよび/または光ディスク上に保持されているものとする。リモートコンピュータは、命令を動的メモリにロードし、命令を、コンピュータシステム1400によって受信され、および/または実行される信号として、伝送媒体を介して送信することができる。電磁気信号、音響信号、および/または光信号などの形態を取ることができる、これらの信号はすべて、本発明の様々な実施形態に従って、その上に命令を符号化できる、搬送波の例である。
通信サブシステム1430(および/またはその構成要素)が、一般に、信号を受信し、次いで、バス1405が、信号(および/または信号によって搬送されるデータ、命令)を作業用メモリ1435まで搬送することができ、プロセッサ1410が、作業用メモリ1435から命令を取り出し、実行する。作業用メモリ1435によって受け取られた命令は、プロセッサ1410によって実行される前、または実行された後、任意選択で、非一時的な記憶デバイス1425上に記憶することができる。
上で説明された方法、システム、およびデバイスは、例である。様々な実施形態は、適宜、様々な手順または構成要素を省き、置き換え、または追加することができる。たとえば、代替的な構成では、説明された方法は、説明された順序とは異なる順序で実行することができ、ならびに/または様々なステージを追加し、省き、および/もしくは組合せることができる。また、いくつかの実施形態に関して説明された特徴は、様々な他の実施形態では、組合せることができる。実施形態の異なる態様および要素も、同様に組合せることができる。また、技術は、発展しており、したがって、要素の多くは、例であり、それらの例は、本開示の範囲をそれらの特定の例に限定しない。
実施形態について完全な理解が得られるように、説明では具体的な細部が与えられた。しかし、実施形態は、これらの具体的な細部がなくても実施することができる。たとえば、よく知られた回路、プロセス、アルゴリズム、構造、および技法は、実施形態を不明瞭にしないように、不必要な細部を省いて示された。この説明は、例示的な実施形態を提供するにすぎず、本発明の範囲、適用可能性、または構成を限定する意図はない。むしろ、実施形態の上述の説明は、本発明の実施形態の実施を可能にする説明を当業者に提供する。要素の機能および構成には、本発明の主旨および範囲から逸脱することなく、様々な変更を施すことができる。
また、いくつかの実施形態は、フロー図またはブロック図として示されるプロセスとして説明された。各々は、動作を順次的プロセスとして説明することがあるが、動作の多くは、並列で、または同時に実行することができる。加えて、動作の順序は、並び替えることができる。プロセスは、図に含まれない追加ステップを有することができる。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実施することができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される場合、関連するタスクを実行するためのプログラムコードまたはコードセグメントを、記憶媒体などのコンピュータ可読媒体内に記憶することができる。プロセッサが、関連するタスクを実行することができる。
いくつかの実施形態を説明したが、本開示の主旨から逸脱することなく、様々な変更形態、代替的構成、および均等物を使用することができる。たとえば、上述の要素は、より大規模なシステムの単なる構成要素とすることができ、他のルールが、本発明の適用よりも優先されること、または別途、本発明の適用を変更することがある。また、上述の要素の検討前、検討中、または検討後に、多くのステップに着手することができる。したがって、上述の説明は、本開示の範囲を限定しない。
100 システム
105 コンテンツ配信サーバ
110 コンテンツ受信機
115 ユーザデバイス
120 接続確立サブシステム
125 感覚データ受信サブシステム
130 触覚効果提供サブシステム
600 ユーザインターフェース
605 通知
700 ユーザインターフェース
705 通知
900 ローカル環境
905 テレビ
910 テレビ
915 ユーザデバイス
1100 ユーザデバイス
1105 手
1110 握力センサ
1300 ユーザインターフェース
1305 通知
1400 コンピュータシステム
1405 バス
1410 プロセッサ
1415 入力デバイス
1420 出力デバイス
1425 記憶デバイス
1430 通信サブシステム
1435 メモリ
1440 オペレーティングシステム
1445 アプリケーション

Claims (15)

  1. コンピューティングデバイスのマイクロフォンまたはカメラが、最も近いコンテンツストリームを検出するステップであって、前記最も近いコンテンツストリームが、前記最も近いコンテンツストリームおよび感覚データ信号を受信するローカルコンテンツ受信機によって投影される、ステップと、
    コンピューティングデバイスが、前記ローカルコンテンツ受信機との接続を確立するステップと、
    前記コンピューティングデバイスが、前記ローカルコンテンツ受信機から、前記感覚データ信号を受信するステップであって、前記感覚データ信号が、前記ローカルコンテンツ受信機によって前記最も近いコンテンツストリームの再生に1つまたは複数の触覚効果を同期するように特定の時刻において提供される、1つまたは複数の触覚効果を指定する、ステップと、
    前記コンピューティングデバイスが、前記特定の時刻において前記1つまたは複数の触覚効果を提供するステップと
    を含む方法。
  2. 前記ローカルコンテンツ受信機との前記接続を確立するステップが、
    ワイヤレスエリアネットワークにおいて前記ローカルコンテンツ受信機を検出するステップと、
    前記ローカルコンテンツ受信機に登録情報を送信するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記登録情報が、デバイス能力情報を含む、請求項2に記載の方法。
  4. 前記最も近いコンテンツストリームは、前記コンピューティングデバイスの現在位置に関して物理的に最も近いコンテンツストリームである、請求項1に記載の方法。
  5. 前記コンピューティングデバイスによって、前記コンピューティングデバイスの触覚フィードバック能力を前記ローカルコンテンツ受信機に通知するステップをさらに含み、
    前記最も近いコンテンツストリームを検出するステップが、前記感覚データ信号を受信するステップの前に生じるとともに、前記最も近いコンテンツストリームの再生に対応するオーディオデータまたはビデオデータをキャプチャするステップを含む、
    請求項1に記載の方法。
  6. 前記1つまたは複数の触覚効果を提供する前に、アクティビティが検出されたかどうかを判定するステップであって、アクティビティが検出されたかどうかを判定する前記ステップが、前記コンピューティングデバイスが動いているか、それとも静止しているか、またはユーザが前記コンピューティングデバイスを持っているかどうかを判定するステップを含む、ステップ
    をさらに含む、請求項1に記載の方法。
  7. 第2のメディアコンテンツアイテムに関連する新しいコンテンツストリームを検出するステップと、
    前記ローカルコンテンツ受信機から受信したデータに基づいて、1つまたは複数の追加の触覚効果を提供するステップと
    をさらに含む、請求項1に記載の方法。
  8. 前記1つまたは複数の追加の触覚効果を提供する前に、所定の時間の間、待つステップをさらに含む、請求項7に記載の方法。
  9. 実行されたときに、コンピューティングデバイスに、請求項１から８のいずれか一項に記載の方法を行わせるコンピュータ実行可能命令を記憶する、少なくとも1つのコンピュータ可読記憶媒体。
  10. コンピューティングデバイスのマイクロフォンまたはカメラによって、最も近いコンテンツストリームを検出するための手段であって、前記最も近いコンテンツストリームが、前記最も近いコンテンツストリームおよび感覚データ信号を受信するローカルコンテンツ受信機によって投影される、手段と、
    前記ローカルコンテンツ受信機との接続を確立するための手段と、
    前記ローカルコンテンツ受信機から、前記感覚データ信号を受信するための手段であって、前記感覚データ信号が、前記ローカルコンテンツ受信機によって前記最も近いコンテンツストリームの再生に1つまたは複数の触覚効果を同期するように特定の時刻において提供される、1つまたは複数の触覚効果を指定する、手段と、
    前記特定の時刻において前記1つまたは複数の触覚効果を提供するための手段と
    を備えるシステム。
  11. 前記ローカルコンテンツ受信機との前記接続を確立するための手段が、
    ワイヤレスエリアネットワークにおいて前記ローカルコンテンツ受信機を検出するための手段と、
    前記ローカルコンテンツ受信機に登録情報を送信するための手段であって、前記登録情報が、デバイス能力情報を含む、手段と
    をさらに含む、請求項10に記載のシステム。
  12. 前記最も近いコンテンツストリームは、ユーザデバイスの現在位置に関して物理的に最も近いコンテンツストリームである、請求項10に記載のシステム。
  13. 前記最も近いコンテンツストリームを検出するための前記手段が、前記受信するための手段が前記感覚データ信号を受信する前に前記最も近いコンテンツストリームを検出するとともに、前記最も近いコンテンツストリームの再生に対応するオーディオデータまたはビデオデータをキャプチャするための手段を含む、
    請求項10に記載のシステム。
  14. 前記1つまたは複数の触覚効果を提供する前に、アクティビティが検出されたかどうかを判定するための手段であって、アクティビティが検出されたかどうかを判定するための前記手段が、コンピューティングデバイスが動いているか、それとも静止しているか、またはユーザが前記コンピューティングデバイスを持っているかどうかを判定するための手段を含む、手段
    をさらに含む、請求項10に記載のシステム。
  15. 第2のメディアコンテンツアイテムに関連する新しいコンテンツストリームを検出するための手段と、
    所定の時間の間待った後に、前記ローカルコンテンツ受信機から受信したデータに基づいて、1つまたは複数の追加の触覚効果を提供するための手段と
    をさらに備える、請求項10に記載のシステム。
JP2014549208A 2011-12-21 2012-12-18 強化されたメディアエクスペリエンスを提供するための触覚技術の使用 Expired - Fee Related JP6219842B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161578685P 2011-12-21 2011-12-21
US61/578,685 2011-12-21
US13/594,502 2012-08-24
US13/594,502 US10013857B2 (en) 2011-12-21 2012-08-24 Using haptic technologies to provide enhanced media experiences
PCT/US2012/070382 WO2013096327A1 (en) 2011-12-21 2012-12-18 Using haptic technologies to provide enhanced media experiences

Publications (3)

Publication Number Publication Date
JP2015509308A JP2015509308A (ja) 2015-03-26
JP2015509308A5 JP2015509308A5 (ja) 2016-01-21
JP6219842B2 true JP6219842B2 (ja) 2017-10-25

Family

ID=47501508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014549208A Expired - Fee Related JP6219842B2 (ja) 2011-12-21 2012-12-18 強化されたメディアエクスペリエンスを提供するための触覚技術の使用

Country Status (8)

Country Link
US (1) US10013857B2 (ja)
EP (1) EP2795909B1 (ja)
JP (1) JP6219842B2 (ja)
KR (1) KR101984645B1 (ja)
CN (1) CN104012098B (ja)
HU (1) HUE047086T2 (ja)
IN (1) IN2014CN03994A (ja)
WO (1) WO2013096327A1 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US20140108602A1 (en) * 2012-10-13 2014-04-17 Thomas Walter Barnes Method and system for delivering time-sensitive, event-relevant interactive digital content to a user during a separate event being experienced by the user
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
CN105228711A (zh) * 2013-02-27 2016-01-06 汤姆逊许可公司 用于再现具有触觉致动器控制参数的视听内容的项目的方法和实现该方法的装置
US9202352B2 (en) * 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
JP2014183559A (ja) * 2013-03-21 2014-09-29 Casio Comput Co Ltd 報知制御装置、報知制御方法及びプログラム
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9703379B2 (en) * 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US10248206B2 (en) 2013-08-20 2019-04-02 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9520036B1 (en) 2013-09-18 2016-12-13 Amazon Technologies, Inc. Haptic output generation with dynamic feedback control
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
US20150205352A1 (en) * 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
ES2827317T3 (es) * 2014-01-29 2021-05-20 The Guitammer Company Sistema y ensamble de conversión de señales de movilidad o movimiento hápticas-táctiles
US20150310831A1 (en) * 2014-04-29 2015-10-29 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using camera
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9606624B2 (en) 2014-07-02 2017-03-28 Immersion Corporation Systems and methods for surface elements that provide electrostatic haptic effects
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
WO2016135734A1 (en) * 2015-02-26 2016-09-01 Second Screen Ventures Ltd. System and method for associating messages with media during playing thereof
CN104796738A (zh) * 2015-04-01 2015-07-22 乐视致新电子科技（天津）有限公司 信息联动方法、装置、服务端和系统
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
CN105871664A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 可穿戴设备的控制方法及装置
WO2017102026A1 (en) 2015-12-18 2017-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video with haptic feedback
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
US10671186B2 (en) 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR101972043B1 (ko) * 2016-10-31 2019-04-24 씨제이포디플렉스 주식회사 사물인터넷 기술을 접목한 4d 상영관 시스템
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US10541005B2 (en) * 2017-05-17 2020-01-21 Cypress Semiconductor Corporation Distributed and synchronized control system for environmental signals in multimedia playback
CN107507629B (zh) * 2017-08-16 2020-08-25 重庆科技学院 热触觉音乐感知系统及其控制方法
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
US10777050B2 (en) * 2018-06-07 2020-09-15 Lofelt Gmbh Systems and methods for using multiple actuators for enhanced user experience
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
JP7439758B2 (ja) * 2018-08-30 2024-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US11197074B2 (en) * 2018-09-24 2021-12-07 Brian Sloan Synchronized video annotation and control system for sexual stimulation devices
US10638174B2 (en) * 2018-09-24 2020-04-28 Brian Sloan Synchronized video control system for sexual stimulation devices
US11483611B2 (en) * 2018-11-19 2022-10-25 Roku, Inc. Non-television experience triggers
JP7396300B2 (ja) * 2018-12-26 2023-12-12 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP7706878B2 (ja) * 2020-11-06 2025-07-14 旭化成ホームズ株式会社 住宅建物
US20230044961A1 (en) * 2021-08-09 2023-02-09 Disney Enterprises, Inc. Automated haptics generation and distribution
GB2615548B (en) * 2022-02-10 2024-06-26 Sony Interactive Entertainment Inc Methods and systems for providing haptic feedback
US12177000B2 (en) * 2022-07-25 2024-12-24 Sony Group Corporation Delivery of extended emergency notifications through sensory feedback
WO2024101688A1 (ko) * 2022-11-10 2024-05-16 삼성전자주식회사 미디어 콘텐트로부터 햅틱 정보를 획득하기 위한 전자 장치 및 그 방법

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6470378B1 (en) * 1999-03-31 2002-10-22 Intel Corporation Dynamic content customization in a clientserver environment
AUPR061800A0 (en) * 2000-10-09 2000-11-02 Lake Technology Limited Authoring system
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
CN100354856C (zh) 2001-09-24 2007-12-12 伊梅森公司 用于过滤数据的触觉反馈系统和过滤数据的方法
US8033907B2 (en) * 2001-10-02 2011-10-11 Universal Entertainment Corporation Slot machine and control method of game
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7634795B2 (en) 2002-01-11 2009-12-15 Opentv, Inc. Next generation television receiver
JP4052556B2 (ja) 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
US20050062841A1 (en) * 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US20050226601A1 (en) * 2004-04-08 2005-10-13 Alon Cohen Device, system and method for synchronizing an effect to a media presentation
JP2005333365A (ja) 2004-05-19 2005-12-02 Dowango:Kk 携帯電話端末、および同端末を用いた放送番組連動型演出システム、ならびに端末プログラム、同プログラムを記録した記録媒体
JP4745737B2 (ja) 2004-08-06 2011-08-10 キヤノン株式会社 撮像装置、通信システム、伝送方法、撮像装置の制御方法、及びコンピュータプログラム
EP1805918B1 (en) * 2004-09-27 2019-02-20 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
JP4809840B2 (ja) 2005-08-04 2011-11-09 日本電信電話株式会社 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム
JP4676852B2 (ja) 2005-09-22 2011-04-27 日本放送協会 コンテンツ送信装置
US8257177B1 (en) * 2005-10-04 2012-09-04 PICO Mobile Networks, Inc Proximity based games for mobile communication devices
US20070083895A1 (en) * 2005-10-12 2007-04-12 Sbc Knowledge Ventures, L.P. System and method of managing television information
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
CN101346741A (zh) * 2005-12-22 2009-01-14 皇家飞利浦电子股份有限公司 通过嵌入水印实现脚本同步
US8358976B2 (en) * 2006-03-24 2013-01-22 The Invention Science Fund I, Llc Wireless device with an aggregate user interface for controlling other devices
JP5025721B2 (ja) * 2006-04-06 2012-09-12 イマージョン コーポレイション 触覚効果強化のためのシステムおよび方法
CN101507290A (zh) * 2006-08-24 2009-08-12 皇家飞利浦电子股份有限公司 处理音频信号和/或视频信号以便产生触觉激励的设备和方法
US8286493B2 (en) * 2006-09-01 2012-10-16 Audiozoom Ltd. Sound sources separation and monitoring using directional coherent electromagnetic waves
KR100906974B1 (ko) * 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
GB2445765A (en) * 2006-12-14 2008-07-23 Media Instr Sa Movable audience measurement system
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8472874B2 (en) * 2007-03-14 2013-06-25 Apple Inc. Method and system for pairing of wireless devices using physical presence
US8594338B2 (en) * 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8095646B2 (en) * 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US10091345B2 (en) * 2007-09-04 2018-10-02 Apple Inc. Media out interface
US20090096573A1 (en) * 2007-10-10 2009-04-16 Apple Inc. Activation of Cryptographically Paired Device
WO2009051428A1 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
KR100914418B1 (ko) * 2007-12-17 2009-08-31 한국전자통신연구원 실감형 멀티미디어 재생 시스템 및 방법
US8373549B2 (en) 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US7884734B2 (en) * 2008-01-31 2011-02-08 Microsoft Corporation Unique identification of devices using color detection
US8180296B2 (en) 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
KR101474963B1 (ko) * 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101078641B1 (ko) * 2008-07-14 2011-11-01 명지대학교 산학협력단 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
US20110188832A1 (en) * 2008-09-22 2011-08-04 Electronics And Telecommunications Research Institute Method and device for realising sensory effects
AU2009303298B2 (en) * 2008-10-10 2013-05-23 Internet Services, Llc Haptic output device for use with haptic encoded media
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US8850532B2 (en) * 2008-10-31 2014-09-30 At&T Intellectual Property I, L.P. Systems and methods to control access to multimedia content
US20100153995A1 (en) * 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
KR20100069736A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
JP2010187363A (ja) * 2009-01-16 2010-08-26 Sanyo Electric Co Ltd 音響信号処理装置及び再生装置
KR20190015624A (ko) * 2009-03-12 2019-02-13 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
US8767774B2 (en) 2009-03-16 2014-07-01 Kabushiki Kaisha Toshiba Content provision system, content generation apparatus, content reproduction apparatus, and content generation method
EP2237577A1 (en) 2009-03-31 2010-10-06 BRITISH TELECOMMUNICATIONS public limited company Location-based messaging system
US8239277B2 (en) * 2009-03-31 2012-08-07 The Nielsen Company (Us), Llc Method, medium, and system to monitor shoppers in a retail or commercial establishment
DK2237582T3 (en) * 2009-04-01 2015-11-09 Oticon As Pairing of wireless devices
US8190095B1 (en) * 2009-05-15 2012-05-29 Crestron Electronics Inc. RF audio distribution system including IR presence detection
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
KR101041104B1 (ko) * 2009-07-28 2011-06-13 (주)티엠테크 소리발생위치 감지에 따른 물체추적장치
US9264151B1 (en) * 2009-07-29 2016-02-16 Shopkick, Inc. Method and system for presence detection
US10304069B2 (en) * 2009-07-29 2019-05-28 Shopkick, Inc. Method and system for presentment and redemption of personalized discounts
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US20110054890A1 (en) * 2009-08-25 2011-03-03 Nokia Corporation Apparatus and method for audio mapping
US20110183654A1 (en) * 2010-01-25 2011-07-28 Brian Lanier Concurrent Use of Multiple User Interface Devices
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US8675010B2 (en) * 2010-04-02 2014-03-18 Electronics And Telecommunications Research Institute Method and apparatus for providing metadata for sensory effect, computer readable record medium on which metadata for sensory effect is recorded, method and apparatus for representating sensory effect
US9880621B2 (en) 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
US9678569B2 (en) * 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
JP5672759B2 (ja) 2010-04-30 2015-02-18 カシオ計算機株式会社 テレビジョンシステム及びテレビジョン受像機
KR101636723B1 (ko) * 2010-06-28 2016-07-06 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR101719653B1 (ko) * 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120203620A1 (en) * 2010-11-08 2012-08-09 Douglas Howard Dobyns Techniques For Wireless Communication Of Proximity Based Marketing
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US8655345B2 (en) * 2011-01-08 2014-02-18 Steven K. Gold Proximity-enabled remote control
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US8660581B2 (en) * 2011-02-23 2014-02-25 Digimarc Corporation Mobile device indoor navigation
US20120221687A1 (en) * 2011-02-27 2012-08-30 Broadcastr, Inc. Systems, Methods and Apparatus for Providing a Geotagged Media Experience
US8710966B2 (en) * 2011-02-28 2014-04-29 Blackberry Limited Methods and apparatus to provide haptic feedback
US20120290689A1 (en) * 2011-05-15 2012-11-15 Adam Beguelin Network Interface Auto Configuration of Wireless Devices
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20120319825A1 (en) * 2011-06-14 2012-12-20 United Video Properties, Inc. Methods, systems, and means for restricting control of a home entertainment device by a mobile device
US9041562B2 (en) * 2011-08-02 2015-05-26 International Business Machines Corporation Controlling a voice site using non-standard haptic commands
US9148280B2 (en) * 2011-09-29 2015-09-29 Verizon Patent And Licensing Inc. Method and system for providing secure, modular multimedia interaction
US9285452B2 (en) * 2011-11-17 2016-03-15 Nokia Technologies Oy Spatial visual effect creation and display such as for a screensaver
WO2013100886A1 (en) * 2011-12-27 2013-07-04 Intel Corporation Device, system and method of estimating a relative location of a mobile device
US9491237B1 (en) * 2014-03-03 2016-11-08 Amazon Technologies, Inc. Proximity based sharing

Also Published As

Publication number Publication date
CN104012098A (zh) 2014-08-27
HUE047086T2 (hu) 2020-04-28
JP2015509308A (ja) 2015-03-26
CN104012098B (zh) 2019-03-29
IN2014CN03994A (ja) 2015-09-04
EP2795909B1 (en) 2019-11-20
KR20140105024A (ko) 2014-08-29
EP2795909A1 (en) 2014-10-29
US10013857B2 (en) 2018-07-03
US20130227410A1 (en) 2013-08-29
KR101984645B1 (ko) 2019-05-31
WO2013096327A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
JP6219842B2 (ja) 強化されたメディアエクスペリエンスを提供するための触覚技術の使用
US11231841B2 (en) Continuation of playback of media content by different output devices
JP6423445B2 (ja) マルチメディアデータ再生方法、装置およびシステム
US10445941B2 (en) Interactive mixed reality system for a real-world event
KR101841669B1 (ko) 원격 장치 상에서의 적응성 미디어 콘텐츠 스크러빙
JP6030808B2 (ja) インテリジェント遠隔制御方法、ルータ、端末、装置、プログラム、及び記録媒体
JP2019017113A (ja) グループイベント時のハプティック効果のブロードキャスト
TWI547174B (zh) 用於增強劇情效果的影片播放系統和相關的電腦程式產品
JP6492227B2 (ja) コンテンツ投影のための方法およびモバイル端末
CN107873136A (zh) 电子设备、外围设备及其控制方法
US11336731B1 (en) Methods and systems for identifying devices and positions of devices in an IoT environment
CN112055234A (zh) 电视设备投屏处理方法、设备和存储介质
CN103841282A (zh) 通过家庭智能设备播放媒体数据的方法及其装置
KR20140112760A (ko) 간편답장을 지원하는 어플리케이션 실행 단말 및 방법
JP7736433B2 (ja) 選択的対話提示を容易にするためのシステムおよび方法
KR20220031436A (ko) 전자 장치 및 그 동작 방법
JP7738786B1 (ja) 情報処理装置、情報端末、情報処理方法及びプログラム
KR101915129B1 (ko) 디지털 기기 및 그 제어 방법
US8855462B2 (en) Video playback system for enhancing drama effect and related computer program product

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170928

R150 Certificate of patent or registration of utility model

Ref document number: 6219842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees