JP6664069B2

JP6664069B2 - 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法

Info

Publication number: JP6664069B2
Application number: JP2014263906A
Authority: JP
Inventors: レベスク，ヴィンセント; サボウヌ，ジャマール; バーンバウム，ディビッド，エム．
Original assignee: Immersion Corp
Current assignee: Immersion Corp
Priority date: 2013-12-31
Filing date: 2014-12-26
Publication date: 2020-03-13
Anticipated expiration: 2034-12-26
Also published as: JP2015130169A; EP2889728A2; KR20150080435A; US20150189223A1; EP2889728A3; CN104750245A

Description

［関連出願の相互参照］
本出願は、２０１３年１２月３１日に出願された米国仮特許出願第６１／９２２，６４８号からの優先権の利益を請求するものであり、この出願の全内容が引用により本明細書に組み入れられる。

本発明は、触覚コンテンツを伴う視点動画（ｐｏｉｎｔ−ｏｆ−ｖｉｅｗｖｉｄｅｏｓ）を記録及び再生するシステム並びに方法に関する。

電子装置により、ユーザは、イベントの可視的側面及び音声的側面の両方を撮影した動画を記録することができる。電子装置は、ユーザが当該電子装置で再生される動画を見る時に、触覚感覚を提供するようにプログラムされ得る。触覚感覚は、典型的には予めプログラムされ、動画が再生されると、ユーザは当該動画に連動して触覚効果を体験することができ、没入感のある体験をユーザに提供することができる。既存の装置では、動画を記録した後でのみ、触覚効果を決定することができる。現在、触覚効果及び触覚感覚の作成は、リアルタイムでは行われない労働力をかなり要するプロセスである。

ＧｏｏｇｌｅＧｌａｓｓ（登録商標）のようなヘッドマウント型のディスプレイの形態である新世代の電子装置では、装着者が自身の視点でイベントの可視的側面及び音声的側面を記録及び再生可能とする、いわゆる「視点動画（ｐｏｉｎｔ−ｏｆ−ｖｉｅｗｖｉｄｅｏｓ：ＰＯＶ動画）」を可能にする。この動画を他者に送信してもよく、視聴者は、自身の電子装置で動画を再生することにより、当該視聴者がまるでそのイベントを直接体験しているかのように、イベントを追体験することができる。

イベントの視点動画を記録すると同時に、当該イベントのその他のリアルタイム側面を記録できるようにすることが望ましい。このようにすることにより、イベントのリアルタイム側面が、触覚効果として動画と共に再生することができ、視点動画を視聴し触覚感覚の再生を感じる視聴者に、よりリアルな没入感のある体験を提供することができる。

本発明の一側面によれば、イベントの視点動画を記録するように構成された動画記録装置と、前記イベントに関連する振動を検出するように構成されたセンサと、記録された前記視点動画と検出された前記振動とを同期させるように構成されたプロセッサと、ディスプレイ及び触覚出力装置を有する再生装置とを備えるシステムを提供する。前記再生装置は、同期された前記視点動画及び前記振動を再生するように構成され、前記触覚出力装置は、前記振動に基づいて触覚効果を生成するように構成される。

一実施形態において、前記動画記録装置及び前記センサは、第１電子装置の一部である。一実施形態において、第１電子装置は、ヘッドマウントディスプレイ装置である。一実施形態において、前記プロセッサ及び前記再生装置は、前記ヘッドマウントディスプレイ装置の一部である。一実施形態において、前記再生装置は、前記第１電子装置とは別個の第２電子装置であり、前記第１電子装置と無線接続される。一実施形態において、前記第２電子装置は、ヘッドマウントディスプレイ装置である。

一実施形態において、前記視点動画は、トレーニング動画を含む。

本発明の別の側面によれば、動画記録装置により、イベントの視点動画を記録する段階と、前記視点動画を記録すると同時に、前記イベントに関連する振動をセンサにより検出する段階と、記録された前記視点動画と検出された前記振動とを同期させる段階と、同期された前記視点動画及び前記振動を、ディスプレイ及び触覚出力装置を有する再生装置により再生する段階とを備え、前記触覚出力装置は、前記振動に基づいて触覚出力効果を生成する方法が提供される。

一実施形態において、前記方法は、同期された前記視点動画及び前記振動を、前記再生装置に伝送する段階を更に備える。一実施形態において、前記伝送する段階は、無線により行われ完了する。一実施形態において、前記伝送する段階は、少なくとも部分的にインターネットを介して行われ完了する。

本発明の別の側面によれば、システムのユーザが体験するイベントと関連する振動を検出するように構成されたセンサと、前記振動に基づいて触覚効果を生成し、前記ユーザが前記イベントを体験している時に前記ユーザに前記触覚効果を出力するように構成された触覚出力装置とを備えるシステムを提供する。

本発明の別の側面によれば、イベントを体験するユーザによって搬送されるセンサにより、前記イベントに関連する振動を検出する段階と、触覚出力装置により、前記振動に基づいて触覚効果を生成する段階と、前記ユーザが前記イベントを体験している時に、前記ユーザに前記触覚効果を出力する段階とを備える方法を提供する。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

本発明の実施形態にかかるシステムを模式的に示す。

本発明の実施形態にかかる方法を模式的に示す。

本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。

本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。本発明の一実施形態に係る、図１のシステムの実装形態を示した図である。

図１は、本発明の一実施形態に係るシステム１００を模式的に示した図である。図に示すように、システム１００は、イベント又はイベントの対象であるオブジェクトを記録するユーザが体験した振動を検出して、検出された振動をセンサのデータに変換するように構成された一の又は複数のセンサ１０２を備える。システム１００はまた、イベントの画像を取得及び記録するように構成された動画記録装置１０４、及び、当該イベントに関連する音声を取得及び記録するように構成された音声記録装置１０６を備える。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置１４０の一部であってもよい。一実施形態において、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置の一部であり、センサ１０２は、動画記録装置１０４及び音声記録装置１０６を備える電子デバイスとは別個に設けられてもよい。動画記録装置１０４及び音声記録装置１０６が同一の電子装置の一部である実施形態では、電子装置は、例えば、ＧｏｏｇｌｅＧｌａｓｓ（登録商標）のようなヘッドマウントデバイスであってもよい。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、別個に設けられてもよいし、スタンドアローンデバイス、又は、別個のスタンドアローンデバイスの一部分であってもよい。

プロセッサ１１０は、以下に詳細に説明するように、センサ１０２、動画記録装置１０４及び音声記録装置１０６によって出力される信号及びデータを処理するように構成される。システム１００はまた、プロセッサ１１０の一部を構成していてもよい入力変換器１１２、出力変換器１１４、及び、プロセッサ１１０の一部を構成していてもよいデコーダ１１６を備える。入力変換器１１２、出力変換器１１４及びデコーダ１１６の側面については、以下に詳細に説明する。

図１に示すように、システム１００はまた、システムのユーザに対して触覚効果を出力するように構成された触覚出力装置１１８、例えば、動画記録装置１０４が撮像した画像のような画像を表示するように構成されたディスプレイ１２０、及び、音声記録装置１０６によって録音された音声のような音声を出力するように構成されたスピーカ１２２を備える。触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、以下に更に詳細に説明するように、電子再生装置１３０の一部であってもよい。一実施形態において、触覚出力装置１１８、ディスプレイ１２０及び／又はスピーカ１２２は、ヘッドマウントディスプレイのようなウェアラブルデバイスの一部分であってもよい。一実施形態において、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、互いに無線により接続されるように構成された別個の装置であってもよい。一実施形態において、触覚出力装置１１８は、ウェアラブルデバイスの一部であってもよく、ディスプレイ１２０は、テレビの一部であってもよく、スピーカ１２２は、ディスプレイ１２０とは別個に設けられた無線スピーカであってもよい。

触覚出力装置１１８が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、又は圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、及び／又は触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１１８は、非機械的又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。

電子メモリ１２４は、センサ１０２が検出したデータを格納するのに使用されてもよく、電子メモリ１２６は、動画記録装置１０４によって記録されたデータを格納するのに使用されてもよく、電子メモリ１２８は、音声記録装置１０６によって記録されたデータを格納するのに使用されてもよい。メモリ１２４、１２６、１２８は、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェアコード等の任意の組み合わせを格納するように構成されてもよい。センサ１０２、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置１４０の一部であってもよい実施形態では、メモリ１２４、１２６、１２８は、同じ位置に設けられてもよい。動画記録装置１０４及び音声記録装置１０６が同一の電子装置の一部であってもよい実施形態では、メモリ１２６、１２８は、同じ位置に設けられてもよい。

一実施形態において、ユーザは、動画記録装置１０４及び／又は音声記録装置１０６を使用して、現場又はイベントの動画及び／又は音声を記録してもよい。一実施形態において、動画記録装置１０４及び／又は音声記録装置１０６は、ビデオカメラ、スマートフォン、ヘッドマウント記録装置等の同一の記録装置の一部であってもよい。記録された動画及び音声は、上記で説明したような電子メモリ１２６、１２８に格納されてもよい。一実施形態において、センサ１０２は、対象物に取り付けられてもよく、例えば、イベントを記録するユーザ、又は、ユーザがイベントを記録する時にユーザが接触する物体に取り付けられてもよい。一実施形態において、センサ１０２は、イベントを記録するユーザから離れた場所に位置する当該イベントにおける対象物に配置されてもよい。

上記したように、センサ１０２によって生成されるデータは、電子メモリ１２４に格納されてもよい。加えて、センサ１０２によって生成されるデータは、図１に示すような電子メモリ１２４に格納される前に、入力変換器１１２によって変換されてもよい。センサデータの変換は、任意に行われる段階と考えられ、変換が必要であるか否かは、使用されるセンサの性質による。センサ１０２の実施形態の詳細については後述する。

動画、すなわち、メディアファイルを再生するように構成されたメディアプレーヤの一部を構成してもよいデコーダ１１６は、センサ１０２によって生成されたデータを電子メモリ１２４から読み出し、電子メモリ１２６、１２８に格納されている記録済みの音声データ及び動画データと、当該読み出したデータとを時間的に関連付ける。メディア再生の間に、デコーダ１１６は、センサのデータを出力変換器１１４を通過させてもよく、出力変換器１１４は、センサデータを触覚出力信号へと変換するように構成される。触覚出力信号は、これに限定されないが、例えば、振動、表面摩擦変調、皮膚をつまむ、皮膚を強く押す、といった一の又は複数の触覚効果又は触覚感覚のコマンドを生成するために生成される。デコーダ１１６は、センサデータから変換された触覚出力信号と、動画データ及び音声データとを同期させて、再生の際に、触覚効果が、動画及び音声と同期されるようにする。一実施形態において、再生の間に動画データ、音声データ及び触覚効果における時間が一致していることを確かにすることで、完了する。

プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、触覚出力装置１１８への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。プロセッサ１１０は、どのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、及び／又はどの程度の大きさ、頻度、持続時間、及び／又はその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１１８を駆動するのに使用され得るストリーミング・コマンドを提供するように構成されてもよい。ある実施形態では、プロセッサ１１０は複数のプロセッサであってもよく、当該複数のプロセッサの各々がシステム１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０は、触覚効果プロファイル、触覚出力装置１１８がどのように駆動されるべきか示した命令、及び／又は、触覚効果を生成するためのその他の情報を含んでもよい一の又は複数の記憶装置を備えるメモリを有してもよい。図１に示したシステム１００全体が、一つの電子装置の一部である一実施形態では、メモリ１２４、１２６、１２８は、プロセッサ１１０の一部であってもよい。

触覚出力装置１１８を含む電子再生装置１３０を通じてメディアを体験する人が、再生されるイベントをより完全に体験できるようにするべく、触覚出力信号が、プロセッサ１１０、例えば、プロセッサ１１０ののデコーダ１１６から触覚出力装置１１８へと送信されてもよい。電子再生装置１３０は、電子携帯端末のような任意の装置であってよく、例えば、携帯電話（すなわち、スマートフォン）、ゲーム機器、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブル電子メール装置、ポータブルインターネットアクセス装置、タブレット等であってもよい。電子再生装置１３０は、これに限定されないが、ディスプレイ１２０を備える携帯用デバイス又はウェアラブルデバイスを含んでもよい。ディスプレイ１２０は、メディアを再生する高画質ディスプレイであってもよい。電子再生装置１３０は更に、触覚感覚又は触覚効果を生成することができる携帯可能な物体、ユーザの身体に取り付けることができる物体、ユーザに寄り掛からせることができる物体、又は、ユーザに触知的感覚送信することができる物体を備えてもよい。

一実施形態において、プロセッサ１１０及び触覚出力装置１１８は、電子携帯用デバイスの一部であってもよく、電話、タブレット又はウェアラブルデバイスの一部であってもよい。ウェアラブルデバイスとしては、スマートウオッチ、ブレスレット、ネックレス、ヘッドバンド、眼鏡、ヘッドマウントディスプレイ等が挙げられる。電子携帯用デバイスは、動画データを、例えばテレビである別個のディスプレイ１２０に出力するように構成されてもよい。この実施形態において、イベントを再生するユーザは、テレビでイベントを視聴し、電子携帯用デバイスで当該イベントと関連付けられた振動を感じるようにしてもよい。

一実施形態において、センサ１０２、動画記録装置１０４、音声記録装置１０６、入力変換器１１２及び関連するメモリデバイス１２４、１２６、１２８は、同一の電子装置１４０の一部であってもよい。一実施形態において、電子装置１４０は、ヘッドマウントディスプレイ装置であってもよい。一実施形態において、電子再生装置１３０は、センサ１０２、動画記録装置１０４及び音声記録装置１０６を含む電子装置１４０と同じ装置であってもよい。一実施形態において、電子再生装置１３０及び電子装置１４０は、例えば、互いに無線により接続されるように構成されてもよい。一実施形態において、図１に示すシステム１００全体が、例えば、ヘッドマウントディスプレイ装置であってもよい同一の電子装置の一部であってもよい。

一実施形態において、システム１００は、センサ１０２のためのジャイロスコープ、コンパス及び３軸加速度計センサを有する携帯電話又はウェアラブル小型電子装置、並びに、動画記録装置１０４のための内蔵カメラを備えてもよい。この例では、データ記録センサ１０２、動画記録装置１０４、音声記録装置１０６、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０、スピーカ１２２、入力変換器１１２、及び、電子メモリ１２４、１２６を含む、図１に示される全ての構成要素は、自己完結型であってもよい。また、システム１００全体が、人又は対象のアクティビティを実行する機器の一部に取り付けられてもよい。

一実施形態において、一人称視点ビデオカメラをヘルメット又は対象のアクティビティを実行する機器の一部に取り付けてもよい。ビデオカメラは、複数のデータセンサ１０２が組み込まれてもよく、例えば、必要に応じて、加速度計、グローバルポジショニングシステム（「ＧＰＳ」）、ジャイロスコープ、入力変換器１１２、電子メモリ１２４、動画記録装置１０４、音声記録装置１０６及び電子メモリ１２６が組み込まれてもよい。システム１００の残りの部分、例えば、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、上記で説明した電子再生装置１３０のような別個の再生装置に配置されてもよい。

一実施形態において、加速度計、レーザ振動計、ＧＰＳ等の一の又は複数のデータセンサを含み得るセンサ１０２（複数の場合もありうる）が、人又は対象のアクティビティを実行する機器の何れかに取り付けられてもよい。センサ１０２は、センサボックス、又は、センサ１０２を保護するように構成されたその他の筐体に収容されてもよい。センサボックスは、例えば、内蔵の入力変換器１１２及び電子メモリ１２４のようなデータ記憶手段を備えてもよい、又は、アクティビティの間にデータを記録するべく第２の装置（例えば、携帯装置）とのデータ接続を利用してもよい。

一実施形態において、動画記録装置１０４を操作する人が体験する振動を、動画記録装置１０４に直接又は間接的に接続された加速度計の形態のセンサ１０２を使用して記録してもよい。加速度計は、例えば、動画記録装置１０４に組み込まれていていもよいし、例えば、自転車であるユーザの機器又はブレスレットのようなウェアラブルな物に搭載されてもよい。一実施形態において、センサ１０２は、振動を体験する人又はその他の場所に設けられるレーザ振動計の形態であってもよい。一実施形態において、ビデオ画像の動きから、又は、動画と共に音声記録装置１０６によって記録された音声から、振動を推測してもよい。振動の強さは、例えば、記録された動画の揺れから推測してもよい。振動に関するノイズ、又は、衝撃のような離散的事象を検出するべく、音声の解析を同様に行ってもよい。一実施形態では、音声出力に使用される骨導振動子を介して、振動を記録してもよい。

一実施形態では、プロセッサ１１０は、スマートフィルタリング又はスマート変換を使用して、振動記録からノイズを除去してもよい。例えば、ヘッドマウント記録装置へのタッチ入力によって引き起こされる振動は、ヘッドマウント記録装置のフレーム上で測定が行われる場合には、モデル化される又は記録から除去される必要がある。動画を異なる視点から撮影してもよく、例えば、ヘッドマウント記録装置の正面、背面又は側面からの視点、スマートフォンのような携帯カメラからの視点、テレプレゼンスロボットのようなロボットからの視点、及び／又は、例えば、遠隔制御された車両からの視点から動画を撮影してもよい。

一実施形態において、センサデータのストリームが動画データ及び音声データと共に記憶される記録セッションが開始されてもよい。動画記録装置１０４及び／又は音声記録装置１０６は、イベントを記録する人によって装着される又は搬送されてもよい。振動、動画及び音声データを含むデータストリームの全ての同期は、図１のシステム１００のプロセッサ１１０内に配置されていてもよい記録ソフトウェアによって管理されてもよい。

一実施形態において、一つのファイルコンテナに動画及び音声以外のデータも格納可能とする、例えば、ＭＰＥＧ−４のようなフレキシブルなコンテナフォーマットを使用してもよい。このような一実施形態では、エンコーダの特定のセットを使用して、記録の間に、センサデータをＭＰＥＧ−４ファイル内に配置するのに使用してもよい。一実施形態において、非音声・画像（Ａ／Ｖ）センサデータを別個のファイルに格納するべく、専用のソフトウェアを作ってもよいが、再生時に適切な同期を可能とするべくセンサデータに特別なマーカが必要となる。このような実施形態では、設計された記録フォーマットの制約に適合させるようにセンサデータを整形する以外に、入力変換を行う必要はほとんどない。正確なフォーマットは、実装者によって決定されてもよい。イベントを記録する人が、アクティビティを完了させると、記録が停止されてもよい。この場合、ＭＰＥＧ−４ファイルが閉じられて、全てのセンサデータがＭＰＥＧ−４ファイルに配置されてもよい。

一実施形態において、再生装置は、図１の電子再生装置１３０であってもよく、ディスプレイ１２０、スピーカ１２２、及び、触覚効果を提供する触覚出力装置１１８のような振動装置を有する携帯電話又はタブレットの形態であってもよい。一実施形態において、再生装置は、ディスプレイ１２０及びスピーカ１２２を有するテレビと、触覚効果を提供する触覚出力装置１１８を有するゲームパッドのようなゲーム周辺機器と接続されるゲーム機であってもよい。

アクティビティが実行された後に又は実行されるのと同時に、一の又は複数の視聴者が、アクティビティを体験するのに興味を示したとする。アクティビティを再生するべく、視聴者は、パフォーマのアクティビティをパフォーマの視点から体験するという目的で、視聴者の再生装置で適切な再生ソフトウェアを起動することができる。一実施形態において、再生ソフトウェアは、デコーダ１１６によって実行されるセンサデコード方式を組み込んだ再生ソフトウェアアプリケーション、及び、再生装置１３０における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換するべく出力変換器１１４によって実行されてもよい出力変換ソフトウェアを含んでもよい。一実施形態において、再生ソフトウェアアプリケーションは、センサデコード方式を組み込んでもよい。再生ソフトウェアは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。すなわち、出力変換器１１４及び／又はデコーダ１１６は、再生装置１３０に位置してもよい。

一実施形態において、再生ソフトウェアアプリケーションは、メディア再生を実行するべく、センサでコード方式を組み込んだ再生装置のオペレーティングシステムソフトウェアを利用してもよい。オペレーティングシステムは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。そして、視聴者は、パフォーマンスの表示と関連付けられた触覚感覚を体験する。触覚感覚は、出力変換ソフトウェアによって生成される。

動画及びセンサデータストリームは、同期され、結合されて、再生装置１３０に送信されてもよい。有線又は無線ネットワークを介して通信を行う独立した複数の装置によって撮像が行われていることを考慮して、例えば、動画フレームごと及びセンサ測定ごとにタイムスタンプを組み込むことにより同期を行ってもよい。したがって、記録装置は、例えば、ＧＰＳシステムからの共通の時間基準を取得する必要がある。これに代えて、例えば、ジャンプを３回行うといったように、動画ストリーム及びセンサデータストリームの両方において検出可能な特定のアクションを実行することにより、同期を行ってもよい。

その結果生成されたデータは、振動及び動画の両方を組み合わせた一つのデータストリームとして、又は、同期情報を伴った２つのデータストリームとして、送信されてもよい。データストリームは、次第に再生装置へと送信されてもよいし、後の再生に備えてファイルに格納されてもよい。一実施形態において、触覚フィードバックは、編集ツールを使用してオフラインで生成されて、撮影後の編集段階で視点ビデオに付加されてもよい。

視点ビデオは、一の又は複数の受信者によって、後で再生されてもよいし、リアルタイムでストリーミングされてもよい。ビデオは、これらに限定されないが、スマートグラス（例えば、ＧｏｏｇｌｅＧｌａｓｓ（登録商標））、スマートフォン又はタブレット、コンピュータ、ホームシアターシステム等を含む複数の装置で再生され得る。

一実施形態において、触覚フィードバックは、フィードバックの品質を監視するべく又は触覚体験を増幅させるべく、記録を行った人によって、即時に再生されてもよい。触覚フィードバックは同様に、スマートフォン若しくはタブレット、ヘッドマウントディスプレイ装置、スマートウォッチ、リストバンド、指輪若しくは手袋のようなウェアラブルデバイス、又は、椅子若しくはテーブルのような家具といった場所に設けられる、様々な触覚出力装置を使用して生成されてもよい。

再生装置は、動画ストリーム及び振動をデコードし、動画と振動との間の同期を維持することができる。再生装置１３０における一つのマイクロコントローラは、例えば、動画ストリーム及び振動ストリームに基づいて、動画ディスプレイ１２０及び触覚出力装置１１８両方の制御を行ってもよい。

図２は、本発明の一実施形態に係る方法２００を示した図である。段階２１０において、上記の動画記録装置１４０のような記録装置によって動画が記録される。段階２２０において、上記のセンサ１０２のようなセンサによって、振動が検出される。段階２３０において、上記のプロセッサ１１０のようなプロセッサを使用して、動画及び振動が同期される。段階２４０において、ディスプレイ１２０及び触覚出力装置１１８を備える上記した電子再生装置１３０のような電子再生装置を使用して、同期された動画及び振動が再生される。

図３〜９には、上記したシステム１００の実施形態の様々な実装例が示されている。これらの実装例及び実施形態は、いかなる限定をも意味するものではない。

図３には、動画記録装置と少なくとも一つの振動センサを備えるヘッドマウントディスプレイ装置３１０を装着してスノーボードをしている間のスタントを、視点動画としてユーザが撮影する場合の上記したシステム１００の一実施形態３００が示されている。ユーザは、後に、触覚トラックが埋め込まれた動画をインターネット上に投稿して、ユーザの友人が、例えば、ディスプレイ３２２及び少なくとも一つの触覚出力装置３２４を備えるタブレットのような自身の電子再生装置３２０で動画を視聴することが考えられる。触覚出力装置３２４で生成された触覚効果ＨＥ及びユーザによって記録された振動Ｖの表現が、ユーザの友人らに当該友人らがユーザと共にその場所にいたかのように感じられる。ユーザが装着する振動センサにより、スタントの間にユーザが感じた振動の全て、特に、ジャンプした後に着地した時の衝撃を、ユーザの友人も感じることが可能となる。

図４には、ヘッドマウントディスプレイ装置４１０を装着してユーザがマウンテンバイクに乗っている時の、特に、整地されていない所を乗って走る時の視点動画をユーザが記録する場合のシステム１００の実施形態４００が示されている。ユーザは、マウンテンバイクの振動Ｖを記録し、ユーザの背中に搭載された触覚出力装置４２０又はヘッドマウントディスプレイデバイス４１０によって生成される触覚効果ＨＥを通じて、ユーザの背中で増幅された振動を感じる。触覚効果ＨＥとして生された増幅された振動により、ユーザは、マウンテンバイクで走るのに、よりスリルを感じることができるようになる。

図５Ａ及び５Ｂには、ヘッドマウントディスプレイ５１０を装着したユーザが、ユーザの視点からゴルフを行っている視点トレーニング動画を記録するのに上記のシステム１００が使用される実施形態５００が示されており、これによりユーザが動画をユーザの生徒と共有できる実施形態が示されている。図５は、ヘッドマウントディスプレイ５１０を装着し、伸ばしている腕ＡにゴルフクラブＧＣを保持したユーザを模式的に示した斜視図である。ゴルフボールＧＢをゴルフクラブＧＣで打った時の振動Ｖが記録される。再生時には、生徒は、ユーザのコツをユーザの視点で見ることができ、図５Ｂに示すように、ゴルフボールＧＢがゴルフクラブＧＣと衝突する時の衝撃を「感じる」ことができるようにしてもよい。自身のヘッドマウントディスプレイ装置で動画を再生する場合、生徒は、自分でスイングを練習しているかのように動画を見ることができる。

図６には、ユーザが、自身で発見した新しい材料Ｍについて話をする工業デザインについてのブログを有する場合の上記のシステム１００の実施形態６００が示されている。ユーザは、ヘッドマウントディスプレイ及びユーザがテクスチャＴを記録することを可能にするセンサを備える特別な手袋６１０を使用して、ユーザが新しい材料Ｍに触れた時の感覚を共有可能としてもよい。これにより、ブログの視聴者は、自身のスマートフォン、又は、場合によっては、自身の手袋を使用して新規の材料ＭのテクスチャＴを感じることが可能になる。上記スマートフォン及び手袋は、例えば、静電摩擦又は超音波表面摩擦触覚効果の生成により、記録されたテクスチャＴを再生可能な触覚出力装置を備える。

図７には、ヘッドマウントディスプレイ装置７１０を介して遠隔制御される車ＲＣとユーザがやり取りを行う場合のシステム１００の一実施形態７００が示されている。ヘッドマウントディスプレイ装置７１０は、上記した動画ディスプレイ１２０及び触覚出力装置１１８のような、動画ディスプレイ及び触覚出力装置を備える。視点動画記録装置及び振動センサは、車両ＲＣに搭載されてもよく、信号が、動画記録装置及び振動センサから、ヘッドマウントディスプレイ装置７１０へと送信されてもよい。これにより、ユーザは、車両ＲＣの視点から見ることができ、車両ＲＣの振動Ｖを触覚出力装置によって生成された触覚効果ＨＥとして、ユーザが車両ＲＣの中に居るかのように感じることができる。

図８には、ユーザが修理を行っている工業機械の内部を見ることができるカメラ及び振動センサを備えるスマートフォン８１０をユーザが使用する場合の上記のシステム１００の一実施形態８００が示されている。図８に示される実施形態８００は、ユーザによって装着され、スマートフォン８００のカメラによって撮像された画像を表示することができるように構成されたヘッドマウントディスプレイ装置８２０を含む。ヘッドマウントディスプレイ装置８２０は、上記したような触覚出力装置１１８のような触覚出力装置を備える。これにより、ユーザは、スマートフォン８１０のカメラの視点で見ることが可能となり、スマートフォン８１０が機械にぶつかった時又は機械を擦った時に生成された振動Ｖを、触覚出力装置によって提供される触覚効果ＨＥを介して感じることができる。

図９には、ユーザが、機械の修理の仕方を学ぶべく、ヘッドマウントディスプレイ装置に表示される取扱説明書動画を見ることができる上記のシステム１００の一実施形態９００が示されている。インストラクターが視点動画において、つまみＫＮが締まるまでどのようにつまみを回すかを教える時には、ユーザは、ヘッドマウントディスプレイ装置に位置する触覚出力装置が生成する触覚効果ＨＥを介して、インストラクターが再現しようとしている感覚を感じることができる。

上記の発明の実装例及び実施形態は、いかなる限定をも意味するものではない。例えば、上記の実装例では、振動の検出が行われたが、生成されるべき触覚効果に対するバイアス又は要因として利用可能なその他の信号を使用してもよい。例えば、ユーザ又は対象の物体の動き（例えば、人が呼吸を行う際に拡張及び収縮する胸部）、ユーザ又は対象の物体の鉛直方向運動及び高さ、ユーザ又は対象の物体向き（例えば、カーブにおいて左側又は右側に傾いたスキーヤーの傾き）、地面との接触又は距離（例えば、スキーをしている時又は自転車に乗っている時のジャンプ）、対象物に対してユーザが印加する圧力（例えば、自転車の座席又はハンドルに対する圧力）、対象物の移動又は構成要素（例えば、マウンテンバイクのチャック（ｃｈｕｃｋ））、温度、風速等の環境状態等に基づいた信号であってもよい。生成される触覚効果は、上記のようなその他の信号に基づいてもよく、このような信号を表すのに、これに限定されないが、移動、力、変形、圧迫、温度変化等の任意の種類の触覚フィードバックが使用されてもよい。

本発明の実施形態の一部の実装例では、検出結果が直接出力にマッピングされてもよい。例えば、スキーヤーの検出された傾斜を、モーションプラットフォームを使用して再現してもよい。本発明の実施形態の一部の実装例では、触覚出力装置によって入力が出力されるように、システムが入力を変換してもよい。例えば、自転車のハンドルにかかる圧力を、振動にマッピングしてもよい。

本発明の実施形態の一部の実装例では、システムのユーザが持つ動画記録装置によって動画が記録されるが、ユーザの視点からイベントを記録する代わりに、動画記録装置が異なる方向に向けられていてもよい。例えば、ヘッドマウントディスプレイのカメラが、ユーザが見ている方向とは異なる方向に向けられていてもよい。例えば、ダイバーは、ダイバーの頭部から垂直方向に向けられたカメラを有してもよく、ダイバーが潜水する時には、カメラが水の方に向くようにしてもよい。言い換えると、視点は、必ずしもユーザの視線と一致しなくてもよく、例えば、ユーザの身体の主要部と一致させてもよい。

本明細書に記載された実施形態は、実施可能な実装例及び実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims

イベントの動画を記録するように構成された動画記録装置と、
前記動画記録装置が前記動画を記録している間に前記イベントに関連する振動を検出するように構成されたセンサと、
プロセッサと、
を備え、
前記プロセッサは、
前記センサによって検出された振動に基づいて、生成されるべき触覚効果を決定し、
前記動画において検出されたユーザが実行したアクションと前記センサによって検出された前記振動に基づいて検出された前記ユーザが実行したアクションとのタイミングに基づいて前記動画と前記触覚効果とを同期させて、同期された動画を生成し、
再生装置での再生のために前記同期された動画と前記触覚効果とを結合し、
前記再生装置は、ディスプレイ及び触覚出力装置を有し、同期された前記動画及び前記触覚効果を再生するように構成され、
前記触覚出力装置は、前記触覚効果を生成するように構成される、システム。
前記動画記録装置及び前記センサは、第１電子装置の一部である、請求項１に記載のシステム。
前記第１電子装置がヘッドマウントディスプレイ装置である、請求項２に記載のシステム。
前記プロセッサ及び前記再生装置は、前記ヘッドマウントディスプレイ装置の一部である、請求項３に記載のシステム。
前記再生装置は、前記第１電子装置とは別個の第２電子装置であり、前記第１電子装置と無線接続される、請求項２に記載のシステム。
前記第２電子装置がヘッドマウントディスプレイ装置である、請求項５に記載のシステム。
前記動画はトレーニング動画を含む、請求項１に記載のシステム。
動画記録装置により、イベントの動画を記録する段階と、
前記動画を記録すると同時に、前記イベントに関連する振動をセンサにより検出する段階と、
前記振動に基づいて、生成されるべき触覚効果を決定する段階と、
前記動画において検出されたユーザが実行したアクションと前記センサによって検出された前記振動に基づいて検出された前記ユーザが実行したアクションとのタイミングに基づいて、前記動画と前記触覚効果とを同期させる段階と、
再生装置での再生のために前記動画と前記触覚効果とを結合する段階と、
を備え、
前記再生装置は、ディスプレイ及び触覚出力装置を有し、
前記触覚出力装置は、前記触覚効果を生成する、方法。
前記動画はトレーニング動画を含む、請求項８に記載の方法。
同期された前記動画及び前記触覚効果を、前記再生装置に伝送する段階を更に備える、請求項８に記載の方法。
前記伝送する段階は、無線により行われ完了する、請求項１０に記載の方法。
前記伝送する段階は、少なくとも部分的にインターネットを介して行われ完了する、請求項１０に記載の方法。
ユーザが自身によって実行され又は視聴されたアクティビティを含むイベントの発生を体験し、前記イベントと関連する振動を感じている時に、前記振動を検出するように構成された加速度計を有するセンサと、
前記振動の検出に基づいて触覚効果を生成して前記センサによって検出された前記振動を増幅し、前記イベントが発生している間に前記ユーザに前記触覚効果を出力するように構成された触覚出力装置と、を備えるシステム。
ユーザが自身によって実行され又は視聴されたアクティビティを含むイベントの発生を体験し、前記振動を感じている時に、ユーザによって搬送される加速度計を有するセンサにより、前記イベントに関連する振動を検出する段階と、
触覚出力装置により、前記振動の検出に基づいて触覚効果を生成して前記センサによって検出された前記振動を増幅する段階と、前記ユーザが前記イベントを体験している時に、前記ユーザに前記触覚効果を出力する段階と、を備える方法。