JP7323700B2 - インタラクション型ユニバーサルライブストリーミング - Google Patents

Description

本発明は、ライブストリーミング上のインタラクションに関する。

ユーザが相互のオンライン通信に参加することを可能にする様々な技術が知られている。例えば、特許文献１には、２つのユーザ端末が画面上のポインタを共有することを可能にする技術が開示されている。特許文献２には、複数の装置のビデオゲーム画面にコンテンツを合成する技術が開示されている。特許文献３には、コンテンツ画面と、コンテンツ画面を制御するための操作入力とを複数の装置間で共有する技術が開示されている。特許文献４には、コンテンツとユーザとの間のインタラクション技術が開示されている。特許文献５には、ＡＲコンテンツを複数の装置で共有する技術が開示されている。

米国特許出願公開第２００６／１２５８３７号明細書 米国特許出願公開第２０１８／２２１７６２号明細書 米国特許出願公開第２０１２／０９３４８６号明細書 米国特許第４１９２４８０９号明細書 米国特許第１０２００６５４号明細書

ライブストリーミングの人気が高まるにつれて、ライブストリーミングにおける改善されたインタラクション型体験に対するユーザの要求が高まっている。

そこで本開示は、ライブストリーミングとユーザインタラクションとの間の同期のための技術の提供を目的とする。

本開示の一態様は、第１のビデオストリームおよび第１のコンテンツ情報を含むダウンストリームデータを受信するステップであって、前記第１のビデオストリームは第１の装置から送信され、前記第１のコンテンツ情報にはグラフィックオブジェクトが記述されるステップと、第１の装置でのグラフィックオブジェクトへの第１のユーザインタラクションフィードバックを示す、第１のインタラクション情報を受信するステップと、前記グラフィックオブジェクトを含む第１のコンテンツテクスチャを生成するステップであって、前記グラフィックオブジェクトの外観は、第１のコンテンツ情報および、前記第１のインタラクション情報に含まれる前記第１のユーザインタラクションフィードバックを使用して決定されるステップと、前記第１のコンテンツテクスチャおよび第２のコンテンツテクスチャを含むビデオフレームを生成するステップであって、前記第２のコンテンツテクスチャは前記第１のビデオストリームから生成されるステップと、前記第１の装置および第２の装置において前記ビデオフレームを表示するステップと、前記第２の装置での前記ビデオフレームへの第２のユーザインタラクションフィードバックを受信するステップと、前記第２のユーザインタラクションフィードバックを示す第２のインタラクション情報を送信するステップと、を含む方法を提供する。

この方法はさらに、前記グラフィックオブジェクトの外観を記述する少なくとも第２のコンテンツ情報を含むアップストリームデータを送信するステップをさらに含んでもよい。

前記アップストリームデータが、前記第２の装置で生成された第２のビデオストリームをさらに含んでもよい。

前記ビデオフレームが、前記グラフィックオブジェクトを前記第１のコンテンツテクスチャ上にオーバーレイすることによって生成されてもよい。

前記第１のインタラクション情報が、第３の装置において前記グラフィックオブジェクトへの第３のユーザインタラクションフィードバックをさらに含んでもよい。

前記ダウンストリームデータが、第１のサーバから受信されてもよい。

前記アップストリームデータは、第１のサーバに送信されもよい。

前記第１のインタラクション情報が、第２のサーバから受信されてもよい。

前記第２のインタラクション情報は、前記第２のサーバに送信されてもよい。

前記第１のユーザインタラクションフィードバックは、前記グラフィックオブジェクトのクリック、タップ及びドラッグのうちの少なくとも１つを含んでもよい。

前記グラフィックオブジェクトは、ビデオゲームにおけるキャラクタを含んでもよい。

本開示の別の態様は、レンダラ、制御層及び表示層を備える情報処理装置であって、前記レンダラは、第１のビデオストリーム及び第１のコンテンツ情報を含むダウンストリームデータを受信し、前記第１のビデオストリームは、別の装置から送信され、前記第１のコンテンツ情報は、グラフィックオブジェクトを記述し、前記制御層は、前記別の装置の前記グラフィックオブジェクトへのへの第１のユーザインタラクションフィードバックを示す第１のインタラクション情報を受信し、前記レンダラは、前記グラフィックオブジェクトを含む第１のコンテンツテクスチャを生成し、前記グラフィックオブジェクトの外観は、前記第1のコンテンツ情報および、前記第１のインタラクション情報に含まれる前記第１のユーザインタラクションフィードバックを使用して決定され、前記レンダラは、前記第１のコンテンツテクスチャと第２のコンテンツテクスチャを含むビデオフレームを生成し、前記第２のコンテンツテクスチャは、前記第1のビデオストリームから生成され、前記表示層は、前記ビデオフレームを表示し、前記制御層は、前記ビデオフレームへの第２のユーザインタラクションフィードバックを受信し、前記制御層は、前記第２のユーザインタラクションフィードバックを含む第２のインタラクション情報を送信する情報処理装置を提供する。

前記レンダラは、少なくとも第１のコンテンツプロセッサと第２のコンテンツプロセッサとを含み、前記第１のコンテンツプロセッサは、前記第１のコンテンツテクスチャを生成し、前記第２のコンテンツプロセッサは、前記第２のコンテンツテクスチャを生成してもよい。

前記レンダラは、テクスチャプロセッサをさらに含み、前記テクスチャプロセッサは、前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとをブレンドし、前記ブレンドされたコンテンツテクスチャを前記ビデオフレームとして出力してもよい。

前記表示層は、前記グラフィックオブジェクトの外観を記述する少なくとも第２のコンテンツ情報を含むアップストリームデータを送信してもよい。

この情報処理装置は、第２のビデオストリームを生成するカメラ装置をさらに備え、前記第２のビデオストリームが前記レンダラに入力され、前記レンダラは、前記第２のビデオストリームに応答して前記第２のコンテンツテクスチャを生成し、前記レンダラは、前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとをブレンドし、前記アップストリームデータは、前記ブレンドされた前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとを含んでもよい。

前記レンダラは、前記グラフィックオブジェクトを前記第１のコンテンツテクスチャ上にオーバーレイすることによって前記ビデオフレームを生成してもよい。

前記第１のインタラクション情報は、第３の装置において、前記グラフィックオブジェクトへの第３のユーザインタラクションフィードバックをさらに含んでもよい。

前記グラフィックオブジェクトは、ビデオゲームにおけるキャラクタを示してもよい。

本開示は、ライブストリーミングとユーザインタラクションとの間の同期を可能にする。

本発明の一実施形態に係る通信システム１の概略構成を示す。 通信システム１の機能構成の一例を示す図である。 制御層１１［Ｂ］の詳細な機能構成の一例を示す。 レンダラ１２［Ｂ］の詳細な機能構成の一例を示す図である。 ユーザ端末１０のハードウェア構成の一例を示す図である。 インタラクションサーバ３０（及びサーバ４０）の例示的なハードウェア構成を示す。 通信システム１を用いた場合の一例を示す図である。 通信システム１の動作を示すシーケンスチャートの一例である。 ユーザ端末１０［Ａ］におけるビデオゲーム付きクライアントアプリケーションの画面例を示す。 ユーザ端末１０［Ｂ］における招待を伴うクライアントアプリケーションの画面例を示す。 ユーザ端末１０［Ｂ］におけるビデオゲーム付きクライアントアプリケーションの画面例を示す。 インタラクションのための例示的なシナリオを概略的に示す。 テクスチャとビデオフレームとのブレンドを示す。

１．構成
図１は、本発明の一実施形態に係る通信システム１の概略構成を示す。通信システム１は、コンテンツを介してインタラクションを伴うライブストリーミングサービスを提供する。ここで、「コンテンツ」とは、コンピュータ装置で再生できるデジタルコンテンツを指す。換言すれば、通信システム１は、ユーザがオンライン上の他のユーザとのリアルタイムのインタラクションに参加することを可能にする。通信システム１は、複数のユーザ端末１０と、インタラクションサーバ３０と、ストリーミングサーバ４０とを含む。ユーザ端末１０、インタラクションサーバ３０、及びストリーミングサーバ４０は、例えばインターネットであるネットワーク９０を介して接続されている。インタラクションサーバ３０は、インタラクションフィードバックを同期させるためのサーバである。ストリーミングサーバ４０は、ライブストリーミングを提供するためのサーバである。ユーザ端末１０は、ライブストリーミング用のクライアント装置である。あるユーザ端末１０を他のユーザ端末から区別するために、添字が（例えばユーザ端末１０［ｘ］のように）使用される。ユーザＡが使用するユーザ端末１０をユーザ端末１０［Ａ］といい、これは第１の装置の一例である。ユーザＢが使用するユーザ端末１０をユーザ端末１０［Ｂ］いい、これは第２の装置の一例である。ユーザ端末１０、インタラクションサーバ３０、及びストリーミングサーバ４０のそれぞれは、情報処理装置の一例である。

図２は、通信システム１の機能構成の一例を示す図である。通信システム１は、受信部３１、処理部３２、記憶部３３、送信部３４、受信部４１、受信部４２、処理部４３、記憶部４４、送信部４５、制御層１１、レンダラ１２、表示層１３、エンコーダ１４、ＵＩ部１５、及びデコーダ１６を有する。この例では、受信部３１、処理部３２、記憶部３３、及び送信部３４は、インタラクションサーバ３０に実装されている。受信部４１、受信部４２、処理部４３、記憶部４４、送信部４５は、ストリーミングサーバ４０に実装されている。ユーザ端末１０内の各機能要素は、添字によって示される。ユーザ端末１０［Ａ］には、制御層１１［Ａ］、レンダラ１２［Ａ］、表示層１３［Ａ］、エンコーダ１４［Ａ］、ＵＩ部１５［Ａ］、デコーダ１６［Ａ］が実装されている。制御層１１［Ｂ］、レンダラ１２［Ｂ］、表示層１３［Ｂ］、エンコーダ１４［Ｂ］、ＵＩ部１５［Ｂ］、及びデコーダ１６［Ｂ］は、ユーザ端末１０［Ｂ］上に実装される。

通信システム１は、少なくとも２種類の情報、インタラクション情報Ｉirc及びコンテンツ情報Ｉctnを扱う。インタラクション情報は、「制御情報」と言うこともできる。

インタラクション情報Ｉirc［ｘ］は、ユーザ端末１０［ｘ］上で再生されるコンテンツに対するユーザｘのインタラクションフィードバック又は操作を示す情報を参照する。ここで、「インタラクション」とは、ユーザ端末１０［ｘ］がコンテンツを再生している間にユーザｘが行った反応をいい、「インタラクションフィードバック」とは、ユーザ端末１０［ｘ］に入力されたユーザｘによるフィードバック又は指示をいう。たとえば、インタラクションフィードバックには、グラフィックオブジェクトのクリック、タップ、及びドラッグの少なくとも１つが含まれる。例えば、インタラクション情報Ｉirc［ｘ］は、インタラクティブなグラフィックオブジェクトに対するユーザ操作を記述する。より具体的には、インタラクション情報は、座標Ｘから座標ＹへオブジェクトＯ［ｊ］を移動させることを記述し、インタラクション情報Ｉirc［Ａ］は、第１のユーザインタラクションフィードバックの一例である。

コンテンツ情報Ｉctn［ｘ］は、概して、ユーザ端末１０［ｘ］上で再生されるコンテンツに含まれるグラフィックオブジェクトを記述、定義、又は識別する情報を指す。コンテンツがユーザ端末１０［Ａ］上で再生される場合、コンテンツ情報Ｉctn［Ａ］は、コンテンツに含まれるグラフィックオブジェクトを定義又は識別する。コンテンツがｎ個のコンテンツ要素、例えば、グラフィックオブジェクト（又は仮想オブジェクト）Ｏ［１］、Ｏ［２］、・・・、Ｏ［ｎ］を含む場合、コンテンツ情報Ｉctn［ｘ，ｊ］は、グラフィックオブジェクトＯ［ｊ］の外観を記述、定義、又は識別する。ここで、コンテンツが、５つのグラフィックオブジェクトＯ［１］、Ｏ［２］、Ｏ［３］、Ｏ［４］、及びＯ［５］を含むと仮定する。グラフィックオブジェクトＯ［１］、Ｏ［３］、Ｏ［４］、及びＯ［５］はリアルタイムオブジェクトであり、グラフィックオブジェクトＯ［２］は非リアルタイムオブジェクトである。例えば、コンテンツ情報Ｉctn［Ａ，２］は、グラフィックオブジェクトＯ［２］の座標とサイズを記述する。グラフィックオブジェクトは、仮想空間内の仮想オブジェクトである。

通信システム１において、各ユーザ端末１０は、そのビデオストリームＶをストリーミングサーバ４０に送信又はプッシュし、ストリーミングサーバ４０から別のユーザ端末１０のビデオストリームＶを受信又はプルする。さらに、各ユーザ端末１０は、自身のインタラクション情報Ｉircをインタラクションサーバ３０に送信又はプッシュし、インタラクションサーバ３０から別のユーザ端末１０のインタラクション情報Ｉircを受信又はプルする。

さらに、各ユーザ端末１０は、自身のコンテンツ情報Ｉctnを少なくとも１つのサーバに対して送信又はプッシュし、別のユーザ端末１０のコンテンツ情報Ｉctnをサーバから受信又はプルする。この例では、コンテンツ情報には、リアルタイムコンテンツ情報と非リアルタイムコンテンツ情報の２種類がある。ここで、「リアルタイム」という用語は、グラフィックオブジェクトの情報がライブストリームの特定の時間枠に束縛されることを意味する。すなわち、グラフィックオブジェクトの座標やサイズが時間によって変化する場合、グラフィックオブジェクトはリアルタイムオブジェクトである。例えば、リアルタイムグラフィックオブジェクトのサイズは、ライブストリームの００：００：３０において１５ピクセル×１５ピクセルであり、００：００：３１において２０ピクセル×２０ピクセルである。一方、グラフィックオブジェクトの座標又はサイズが安定して定義されており、一定期間内に時間によって変化しない場合、グラフィックオブジェクトは非リアルタイムオブジェクトである。

通信システム１は、ユーザ端末１０［Ａ］とユーザ端末１０［Ｂ］との間でコンテンツ情報Ｉctnを同期させるための２つの経路を有する。一方の経路はインタラクションサーバ３０を介しており、他方の経路はストリーミングサーバ４０を介している。この例では、リアルタイムコンテンツ情報はストリーミングサーバ４０を介して通信され、非リアルタイムコンテンツ情報はインタラクションサーバ３０を介して通信される。１つのアプリケーションで、これら２つの経路を介してコンテンツ情報Ｉctnを通信できる。

図３は、制御層１１［Ｂ］の詳細な機能構成の一例を示す。制御層１１［Ｂ］は、（ｉ）インタラクション情報Ｉirc［Ａ］及びＩirc［Ｂ］を受信又は検索する機能と、（ｉｉ）非リアルタイムオブジェクトのためのコンテンツ情報Ｉctn［Ａ］及び／又はＩctn［Ｂ］を受信又は検索する機能と、（ｉｉｉ）インタラクション情報Ｉirc［Ｂ］をインタラクションサーバ３０に送信、プッシュ、又はアップロードする機能と、（ｉｖ）インタラクション情報Ｉirc［Ａ］及びＩirc［Ｂ］をレンダラ１２［Ｂ］に出力する機能とを有する。

制御層１１［Ｂ］は、インタラクション部１１１［Ｂ］を含む。インタラクション部１１１［Ｂ］は、インタラクションサーバ３０からインタラクション情報Ｉirc［Ａ］を受信する。インタラクション情報Ｉirc［Ａ］は、インタラクション情報Ｉirc［Ａ］及びコンテンツ情報Ｉctn［Ａ］を含む情報である（Ｉirc及びＩctnは図示せず）。インタラクション情報Ｉirc［Ａ］は、第１のインタラクション情報の一例である。インタラクション部１１１［Ｂ］は、インタラクションサーバ３０から非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ａ］を受信する。

インタラクション部１１１［Ｂ］は、ＵＩ部１５［Ｂ］からインタラクション情報Ｉirc［Ｂ］を受信する。コンテンツに５つのグラフィックオブジェクトＯ［１］、Ｏ［２］、Ｏ［３］、Ｏ［４］、及びＯ［５］が含まれている例では、インタラクション情報Ｉirc［Ｂ］は各グラフィックオブジェクトのユーザ操作を記述する。より具体的には、インタラクション情報は、オブジェクトＯ［ｊ］を座標Ｘから座標Ｙに移動することを記述する。

また、インタラクション部１１１［Ｂ］は、後述するレンダラ１２［Ｂ］から非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ｂ］を受信する。コンテンツ情報Ｉctn［Ｂ］は、ユーザ端末１０［Ｂ］上で再生されるコンテンツ内の非リアルタイムコンテンツ要素を記述、定義、又は識別する。非リアルタイムコンテンツ要素は、たとえば、グラフィックオブジェクトＯ［２］である。

インタラクション部１１１［Ｂ］は、受信したインタラクション情報Ｉirc［Ｂ］をインタラクションサーバ３０に送信する。一例では、インタラクション部１１１［Ｂ］は、受信したインタラクション情報Ｉirc［Ｂ］を一定間隔で送信する。さらに、インタラクション部１１１［Ｂ］は、非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ｂ］をインタラクションサーバ３０に送信してもよい。

インタラクション部１１１［Ｂ］は、受信した全てのインタラクション情報Ｉircをレンダラ１２［Ｂ］に出力する。この例では、インタラクション部１１１［Ｂ］は、インタラクション情報Ｉirc［Ａ］及びインタラクション情報Ｉirc［Ｂ］を一定間隔で出力する。また、インタラクション部１１１［Ｂ］は、非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ａ］，Ｉctn［Ｂ］をレンダラ１２［Ｂ］に出力する。

図４は、レンダラ１２［Ｂ］の詳細な機能構成の一例を示す図である。レンダラ１２［Ｂ］は、（ｉ）制御層１１［Ｂ］からインタラクション情報Ｉirc［Ａ］及びＩirc［Ｂ］を受信又は検索する機能と、（ｉｉ）制御層から非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ａ］及びＩctn［Ｂ］を受信又は検索する機能と、（ｉｉｉ）デコーダ１６［Ｂ］からビデオフレームＦｖ［Ａ，ｕ］を受信又は検索する機能と、（ｉｖ）カメラ１０７［Ｂ］からビデオ信号Ｓ［Ｂ］を受信又は検索する機能と、（ｖ）ビデオフレームＦｖ［Ｂ，ｄ］及びＦｖ［Ｂ，ｕ］を出力する機能と、（ｖｉ）コンテンツ情報Ｉctn［Ｂ，ｋ］を出力する機能とを有する。

レンダラ１２［Ｂ］は、共有コンテキストプール１２１［Ｂ］、複数のコンテンツプロセッサ１２２［Ｂ，ｋ］、及びテクスチャプロセッサ１２３［Ｂ］を含む。各コンテンツプロセッサ１２２［Ｂ，ｋ］は、共有コンテキスト１２２１［Ｂ，ｋ］、コンテンツソース１２２２［Ｂ，ｋ］、及びロジック１２２３［Ｂ，ｋ］を含む。

共有コンテキストプール１２１［Ｂ］は、共有コンテキストを格納又はプールする。共有コンテキストは、複数のプロセスで共有されるコンテキストを指す。ここで、コンテキストとは、レンダリングコンテキストを指す。共有コンテキストプール１２１［Ｂ］は、制御層１１［Ｂ］からインタラクション情報Ｉirc［Ａ］，Ｉirc［Ｂ］を受信して記憶する。また、共有コンテキストプール１２１［Ｂ］は、制御層１１から非リアルタイムオブジェクトのコンテンツ情報Ｉctn［Ａ］，Ｉctn［Ｂ］を受信して記憶する。また、共有コンテキストプール１２１［Ｂ］は、デコーダ１６［Ｂ］からコンテンツ情報Ｉctn［Ａ］，Ｉctn［Ｂ］を受信して記憶する。

コンテンツプロセッサ１２２［Ｂ］は、コンテンツを処理する。ここで、「コンテンツを処理する」とは、コンテンツの出力を決定又は変更することをいい、例えば、コンテンツ内のグラフィックオブジェクト又は仮想空間の外観を決定又は変更することを意味する。

コンテンツ要素は、コンテンツプロセッサ１２２［Ｂ］に割り当てられる。例えば、コンテンツ内のグラフィックオブジェクトＯ［１］、Ｏ［２］、Ｏ［３］、Ｏ［４］、及びＯ［５］は、それぞれ、コンテンツプロセッサ１２２［Ｂ，１］、１２２［Ｂ，２］、１２２［Ｂ，３］、１２２［Ｂ，４］、及び１２２［Ｂ，５］に割り当てられる。

共有コンテキスト１２２１［Ｂ，ｋ］には、共有コンテキストプール１２１［Ｂ］から読み出されたコンテンツ情報Ｉctn［Ａ］、Ｉctn［Ｂ］、インタラクション情報Ｉirc［Ａ］、Ｉirc［Ｂ］が格納される。共有コンテキスト１２２１［Ｂ，ｋ］は、コンテンツプロセッサ１２２［Ｂ，ｋ］に割り当てられたコンテンツ要素に関するコンテキストを格納する。コンテンツソース１２２２［Ｂ，ｋ］は、コンテンツ内のグラフィックオブジェクトのレンダリングに使用されるデータを記憶する。ロジック１２２３［Ｂ，ｋ］は、テクスチャＴ［Ｂ，ｋ］を生成して出力する。例えば、コンテンツプロセッサ１２２［Ｂ，１］は、第１のコンテンツテクスチャの一例であるテクスチャＴ［Ｂ，１］を生成し、出力する。ここで、「テクスチャ」とは、仮想空間内の仮想カメラ又は実空間内の実カメラ装置によって撮像された静止画像をいう。この例では、コンテンツプロセッサ１２２［Ｂ，１］は、コンテンツ内のグラフィックオブジェクトＯ［１］を処理する。したがって、テクスチャＴ［Ｂ，１］は、グラフィックオブジェクトＯ［１］の外観を含む。コンテンツプロセッサ１２２［Ｂ，１］は、グラフィックオブジェクトＯ［１］の外観を決定する。グラフィックオブジェクトＯ［１］の外観は、インタラクション情報Ｉiｒｃ［Ａ］とＩiｒｃ［Ｂ］を使用して決定される。具体的には、コンテンツ情報Ｉctn［Ａ］，Ｉctn［Ｂ］と、インタラクション情報Ｉirc［Ａ］，Ｉirc［Ｂ］とを用いて、グラフィックオブジェクトＯ［１］の外観を決定する。同様に、コンテンツプロセッサ１２２［Ｂ，２］は、例えば、コンテンツ内のグラフィックオブジェクトＯ［２］を処理する。

テクスチャプロセッサ１２３［Ｂ］は、複数のテクスチャＴ［Ｂ，ｋ］を受信する。具体的には、テクスチャプロセッサ１２３［Ｂ］は、コンテンツプロセッサ１２２［Ｂ，１］，１２２［Ｂ，２］、．．．及び１２２［Ｂ，ｎ］からそれぞれテクスチャＴ［Ｂ，１］、Ｔ［Ｂ，２］、．．．及びＴ［Ｂ，ｎ］を受信する。

テクスチャプロセッサ１２３［Ｂ］は、デコーダ１６［Ｂ］からビデオフレームＦｖ［Ａ］を受信する。デコーダ１６［Ｂ］は、ストリーミングサーバ４０からダウンストリームデータＤｄ［Ａ］を受信する。ダウンストリームデータＤｄ［Ａ］は、ビデオストリームＶ［Ａ］を含むダウンストリームデータである。ビデオストリームＶ［Ａ］が、リアルタイムコンテンツ要素、より具体的には、リアルタイムオブジェクトであるグラフィックオブジェクトＯ［ｊ］を含む場合、ダウンストリームデータＤｓ［Ａ］は、さらに、グラフィックオブジェクトＯ［ｊ］のためのコンテンツ情報Ｉctn［Ａ，ｊ］を含む。ビデオストリームＶ［ｘ］は、ユーザ端末１０［ｘ］から発信されたビデオストリームを指す。ビデオストリームＶ［ｘ］はカメラ１０７［ｘ］で撮影される。例えば、ビデオストリームＶ［Ａ］は、ユーザ端末１０［Ａ］から発信されたビデオストリームを示し、第１のビデオストリームの一例である。ここで、コンテンツ情報Ｉctn［Ａ］は、第１コンテンツ情報の一例である。デコーダ１６［Ｂ］は、受信したダウンストリームデータＤｄ［Ａ］をデコードし、ビデオストリームＶ［Ａ］の成分であるビデオフレームＦｖ［Ａ］を生成する。ビデオフレームＦｖ［Ａ］は、第２のコンテンツテクスチャの一例である。

テクスチャ処理部１２３［Ｂ］は、受信したテクスチャＴを処理する。ここで、「テクスチャを処理する」とは、少なくとも１つのテクスチャＴをビデオフレームＦｖとブレンドすることを意味する。テクスチャ処理部１２３［Ｂ］は、ビデオフレームＦｖ［Ｂ，ｄ］を生成して出力する。ビデオフレームＦｖ［Ｂ］とビデオフレームＦｖ［Ａ］とをブレンドしてビデオフレームＦｖ［Ｂ，ｄ］を生成する。テクスチャ処理部１２３［Ｂ］は、ビデオフレームＦｖ［Ｂ，ｄ］を表示層１３［Ｂ］に出力する。ここで、添字「ｄ」は、データが表示用であることを示す。

また、テクスチャ処理部１２３［Ｂ］は、カメラ１０７［Ｂ］から映像信号Ｓ［Ｂ］を受信する。テクスチャ処理部１２３［Ｂ］は、映像信号Ｓ［Ｂ］から映像フレームＦｖ［Ｂ，ｕ］を生成する。テクスチャ処理部１２３［Ｂ］は、映像フレームＦｖ［Ｂ，ｕ］をエンコーダ１４［Ｂ］に出力する。ここで、添字「ｕ」は、データがアップストリーム用であることを意味する。

グラフィックオブジェクトＯ［ｋ］がリアルタイムオブジェクトである場合、コンテンツプロセッサ１２２［Ｂ，ｋ］は、コンテンツ情報Ｉctn［Ｂ，ｋ］をエンコーダ１４［Ｂ］に出力する。グラフィックオブジェクトＯ［ｋ］がリアルタイムコンテンツでない場合、コンテンツプロセッサ１２２［Ｂ，ｋ］は、コンテンツ情報［Ｂ，ｋ］をインタラクションサーバ３０に出力する。あるいは、グラフィックオブジェクトＯ［ｋ］がリアルタイムコンテンツでない場合、コンテンツプロセッサ１２２［Ｂ，ｋ］は、コンテンツ情報［Ｂ，ｋ］を送信機（図示せず）に出力し、送信機は、情報をインタラクションサーバ３０に送信する。グラフィックオブジェクトＯ［ｋ］がリアルタイムオブジェクトであるかどうかは、コンテンツ情報Ｉctn［ｋ］などで定義される。別の例として、グラフィックオブジェクトＯ［ｋ］がリアルタイムコンテンツであるかどうかは、クライアントアプリケーションＡＰＰによって定義される。

表示層１３［Ｂ］は、ユーザ端末１０［Ｂ］のコンピュータ画面上に、ビデオフレームＦｖ［Ｂ，ｄ］をプレビュー又は表示する。

エンコーダ１４［Ｂ］は、ビデオフレームＦｖ［Ｂ，ｕ］をエンコードし、アップストリームデータＤｕ［Ｂ］を生成する。アップストリームデータＤｕ［Ｂ］は、符号化ビデオフレームＦｖ［Ｂ，ｕ］と、コンテンツ情報Ｉｃｎｔ［Ｂ］とを含む。コンテンツ情報Ｉｃｎｔ［Ｂ］は、第２のコンテンツ情報の一例である。また、エンコーダ１４［Ｂ］は、アップストリームデータＤｕ［Ｂ］をストリーミングサーバ４０に送信する。

ユーザ端末１０［Ａ］は、ユーザ端末１０［Ｂ］と同様の機能を有する。ユーザ端末１０［Ａ］については、ユーザ端末１０［Ｂ］に関する上記の説明を、添字Ａ及びＢを入れ替えて読まなければならない。

再び図２を参照して、インタラクションサーバ３０において、記憶部３３は、各種データ及びプログラムを記憶する。受信部３１は、ユーザ端末１０から各種情報を受信する。例えば、受信部３１は、ユーザ端末１０［Ａ］からインタラクション情報Ｉirc［Ａ］を受信し、ユーザ端末１０［Ｂ］からインタラクション情報Ｉirc［Ｂ］を受信する。

処理部３２は、受信したインタラクション情報Ｉircの送信先を決定する。インタラクション情報Ｉircが配信者に由来する場合、処理装置３２は、配信者によって配信されるライブストリームを視聴している視聴者である宛先を決定する。インタラクション情報Ｉircが視聴者から発信されたものである場合、処理装置３２は、その視聴者が視聴しているライブストリームを配信する配信者である宛先を決定する。

送信部３４は、決定した宛先にインタラクション情報Ｉircを送信する。例えば、送信部３４は、インタラクション情報Ｉirc［Ｂ］をユーザ端末１０［Ａ］に送信し、インタラクション情報Ｉirc［Ａ］をユーザ端末１０［Ｂ］に送信する。

サーバ４０において、記憶部４４は、各種データやプログラムを記憶する。受信部４１は、ユーザ端末１０［Ａ］から映像ストリームＶ［Ａ］及びコンテンツ情報Ｉctn［Ａ］を受信する。また、受信部４１は、ユーザ端末１０［Ｂ］から映像ストリームＶ［Ｂ］及びコンテンツ情報Ｉctn［Ｂ］を受信する。受信部４２は、ユーザ端末１０［Ａ］からインタラクション情報Ｉirc［Ａ］及びコンテンツ情報Ｉctn［Ａ］を受信する。また、受信部４２は、ユーザ端末１０［Ｂ］からインタラクション情報Ｉirc［Ｂ］及びコンテンツ情報Ｉctn［Ｂ］を受信する。

処理装置４３は、受信されたビデオストリームＶの宛先を決定し、ビデオストリームＶが配信者から発信されたものである場合、処理装置４３は、配信者によって配信されるライブストリームを視聴している視聴者である宛先を決定する。ビデオストリームＶが視聴者から発信されたものである場合、処理装置４３は、視聴者が視聴しているライブストリームを配信する配信者である宛先を決定する。送信部４５は、決定された宛先に映像ストリームＶを送信する。例えば、送信部４５は、映像ストリームＶ［Ａ］をユーザ端末１０［Ｂ］に送信し、映像ストリームＶ［Ｂ］をユーザ端末１０［Ａ］に送信する。

図５は、ユーザ端末１０のハードウェア構成の一例を示す図である。ユーザ端末１０は、ＣＰＵ１０１と、メモリ１０２と、ストレージ１０３と、ネットワークインターフェース１０４と、出力デバイス１０５と、入力デバイス１０６と、カメラ１０７とを有するコンピュータ装置である。ユーザ端末１０は、例えば、スマートフォン、タブレット装置、又はパーソナルコンピュータである。ＣＰＵ１０１は、プログラムに従って処理を実行する。メモリ１０２は、ＣＰＵ１０１がプログラムを実行する間、ワークスペースとして機能する主記憶装置である。メモリ１０２は、例えば、ＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種データやプログラムを記憶する補助記憶装置である。記憶装置１０３は、例えば、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）である。ネットワークインターフェース１０４は、インタラクションサーバ３０及びストリーミングサーバ４０のような他のコンピュータ装置と通信する。出力デバイス１０５は、情報を出力する。出力デバイス１０５は、例えば、ディスプレイ及びスピーカの少なくとも一方を含む。入力デバイス１０６は、ユーザからの命令又はデータの入力を受け付ける。入力装置１０６は、例えば、タッチスクリーン、キーボード、ポインティングデバイス、マイクの少なくとも１つを含む。カメラ１０７は、シーンを撮影し、静止画や動画を生成する。

この例では、記憶装置１０３は、コンピュータ装置をインタラクションサービスにおけるクライアント装置として機能させるためのプログラムを記憶する。以下、このプログラムを「クライアントプログラム」といい、クライアントプログラムが提供する一連の機能を「クライアントアプリケーションＡＰＰ」という。クライアントアプリケーションプログラムを実行するＣＰＵ１０１により、図２に示す機能がユーザ端末１０に実装される。クライアントアプリケーションプログラムを実行しているＣＰＵ１０１は、制御層１１、レンダラ１２、表示層１３、ＵＩ部１５、及びデコーダ１６の一例である。すなわち、制御層１１、レンダラ１２、表示層１３、ＵＩ部１５、及びデコーダ１６は、クライアントアプリケーションＡＰＰのソフトウェアコンポーネントである。

図６は、インタラクションサーバ３０（及びストリーミングサーバ４０）のハードウェア構成の一例を示す。インタラクションサーバ３０は、ＣＰＵ３０１、メモリ３０２、ストレージ３０３、及びネットワークインターフェース３０４を含むコンピュータ装置である。ＣＰＵ３０１は、プログラムに従って処理を実行する。メモリ３０２は、ＣＰＵ３０１がプログラムを実行する間、ワークスペースとして機能する主記憶装置である。メモリ３０２は、例えば、ＲＡＭを含む。ストレージ３０３は、様々なデータ及びプログラムを記憶する補助記憶装置である。ストレージ３０３は、例えば、ＨＤＤ又はＳＳＤである。ネットワークインターフェース３０４は、ユーザ端末１０等の他のコンピュータ装置と通信する。

この例では、ストレージ３０３は、インタラクションサービスにおいて、コンピュータ装置をインタラクションサーバ３０として機能させるためのプログラムを記憶する。以下、プログラムを「インタラクションサーバプログラム」といい、ＣＰＵ３０１がインタラクションサーバプログラムを実行することにより、図２に示す機能がインタラクションサーバ３０上に実装される。インタラクションサーバプログラムを実行するＣＰＵ３０１は、処理部３２の一例である。ネットワークインターフェース３０４は、受信部３１及び送信部３４の一例である。記憶部３３の一例として、メモリ３０２及びストレージ３０３の少なくとも一方が挙げられる。

ストリーミングサーバ４０は、インタラクションサーバ３０と同じハードウェア構成を有する。この例では、ストレージ４０３は、コンピュータ装置をインタラクションサービスにおけるストリーミングサーバとして機能させるプログラムを記憶する。以下、このプログラムを「ストリーミングサーバプログラム」という。ＣＰＵ４０１がストリーミングサーバプログラムを実行することにより、図２に示す機能がストリーミングサーバ４０に実装される。ストリーミングサーバプログラムを実行するＣＰＵ４０１は、処理部４３の一例である。ネットワークインターフェース４０４は、受信部４１、受信部４２、及び送信部４５の一例である。メモリ４０２及びストレージ４０３の少なくとも一方は、記憶部４４の一例である。

２．動作
図７は、通信システム１を用いた例を示す図である。この例を参照して、通信システム１の動作の一例を説明する。この例では、ユーザ（以下、「配信者」という）は、ユーザ端末１０［Ａ］（「配信者装置」ともいう）とライブストリーミングを提供し、他のユーザ（以下、「視聴者」という）は、ユーザ端末１０［Ｂ］（「視聴者装置」ともいう）とライブストリーミングを視聴する。なお、通信システム１は、１つの配信者に対して複数の視聴者を有していてもよいが、図７では、簡略化のために１人の視聴者を示している。

この例では、通信システム１は、コンテンツの一例であるビデオゲームをユーザに提供する一方、配信者はライブストリーミングを提供する。配信者はビデオゲームをプレイでき、視聴者はビデオゲームに参加できる。ビデオゲーム画面は、ユーザ端末１０［Ａ］及び１０［Ｂ］に表示され、同期される。したがって、通信システム１は、配信者及び視聴者が、ライブストリームと共にビデオゲームを介してインタラクションすることを可能にする。

ライブストリーミングを開始し、ライブストリーミングを閲覧する前に、通信システム１は、ユーザが通信システム１に登録することを要求する。各ユーザは自分のプロファイルを入力し、通信システム１は、そのプロファイルをユーザデータベース（図には示されていない）に格納する。ユーザは、クライアントアプリケーションＡＰＰが有効化されると、通信システム１にログインする。

図８は、通信システム１の動作を示すシーケンスチャートの一例である。ステップＳ１０１において、ユーザ端末１０［Ａ］のクライアントアプリケーションＡＰＰ（以下、「クライアントアプリケーションＡＰＰ［Ａ］」という）は、配信者の指示に応じてライブストリーミングを開始する。ここで、ライブストリームは、カメラ１０７［Ａ］で撮影された映像ストリームを含む。以下、このビデオストリームをビデオストリームＶ［Ａ］と呼ぶ。多くの場合、ビデオストリームは、配信者の自己画像を示す。

ステップＳ１０２において、ユーザ端末１０［Ｂ］のクライアントアプリケーションＡＰＰ（以下、「クライアントアプリケーションＡＰＰ［Ｂ］」という）は、潜在的な視聴者であるユーザの指示に応じて、通信システム１にアクセスする。より具体的には、クライアントアプリケーションＡＰＰ［Ｂ］は、ログインするためにストリーミングサーバ４０にアクセスする。ストリーミングサーバ４０は、アクセスしているユーザに、現在ライブストリームを配信又はプッシュしている配信者を示す配信者リストを提供する。クライアントアプリケーションＡＰＰ［Ｂ］は、ユーザの指示に応じて、配信者リストから一の配信者を選択して、自分のライブストリームを表示する。ストリーミングサーバ４０は、（ステップＳ１０３で）選択された配信者のライブストリームをユーザ端末１０［Ｂ］に送信することを開始する。そして、ユーザは、ユーザ端末１０［Ｂ］上でライブストリームを閲覧し、視聴者となる。

通信システム１は、配信者にオプションメニューを提供する。オプションメニューには、コンテンツの一例であるビデオゲームをプレイするオプションが含まれる。通信システム１は、複数のゲームタイトルを提供する。これらのビデオゲームタイトルは、通信システム１のプラットフォーム又は第三者のいずれかによって提供されてもよい。配信者は、プレイされるべきビデオゲームタイトルを選択することができる。クライアントアプリケーションＡＰＰ［Ａ］は、配信者による指示に応じて、ビデオゲームタイトルを選択する。クライアントアプリケーションＡＰＰ［Ａ］がプレイするビデオゲームを選択すると、クライアントアプリケーションＡＰＰ［Ａ］は（ステップＳ１０４において）ストリーミングサーバ４０に、選択されたビデオゲームを起動する要求を送信する。この要求に応じて、ストリーミングサーバ４０は（ステップＳ１０５において）、選択されたコンテンツに関するデータをユーザ端末１０［Ａ］に送信する。この例では、選択されたビデオゲームタイトルのゲームプログラムである。ゲームプログラムは、例えばプラグインである。クライアントアプリケーションＡＰＰ［Ａ］は、ゲームプログラムを実行する（ステップＳ１０６）。

図９は、ビデオゲーム画面を有するクライアントアプリケーションＡＰＰ［Ａ］の画面の一例を示す。クライアントアプリケーションＡＰＰ［Ａ］の画面は、領域９１［Ａ］と領域９２［Ａ］の２つの領域を有する。領域９１［Ａ］は、配信者の映像ストリーム（この例では、映像ストリームＶ［Ａ］）を表示するための表示領域である。領域９２［Ａ］は、ゲーム画面を表示するための表示領域である。この例では、領域９２［Ａ］は、領域９１［Ａ］上に重ねられる。グラフィックオブジェクトＯ［１］、Ｏ［２］、及びＯ［３］は、ビデオゲーム画面上に示される。グラフィックオブジェクトＯ［１］はモンスターであり、グラフィックオブジェクトＯ［２］は太陽であり、グラフィックオブジェクトＯ［３］はモンスターに適用される視覚効果である。配信者は、例えば、ユーザ端末１０［Ａ］のタッチスクリーンをタップすることにより、モンスターを攻撃することができる。グラフィックオブジェクトＯ［１］とＯ［３］はリアルタイムオブジェクトであり、グラフィックオブジェクトＯ［２］は非リアルタイムオブジェクトである。

図８を再度参照すると、コンテンツが配信者の装置（この例ではユーザ端末１０［Ａ］）上でアクティブ化された場合、ストリーミングサーバ４０は（ステップＳ１０７で）配信者の装置上でコンテンツがアクティブ化されたことを視聴者に通知する。つまり、ストリーミングサーバ４０は、コンテンツの識別を含む通知を視聴者の装置（この例ではユーザ端末１０［Ｂ］）に送信する。また、ストリーミングサーバ４０は、（ステップＳ１０８で）コンテンツに関するオブジェクトを示すデータを視聴者の装置に送信する。この例では、ストリーミングサーバ４０は、オブジェクトＯ［４］、Ｏ［５］、及びＯ［６］を示すデータを送信する。オブジェクトＯ［４］、Ｏ［５］、及びＯ［６］は、ビデオゲームにおいてプレイヤ（この例では配信者）を補助するアイテムである。クライアントアプリケーションＡＰＰ［Ｂ］は、通知及びゲームプログラムを受信すると、ゲーム画面及びＵＩオブジェクトを表示する（ステップＳ１０９）。ＵＩオブジェクトは、視聴者をビデオゲームに参加させるためのメッセージを含む。

図１０は、招待を伴うクライアントアプリケーションＡＰＰ［Ｂ］の画面例を示す。クライアントアプリケーションＡＰＰ［Ｂ］は、領域９１［Ｂ］、９２［Ｂ］、９３［Ｂ］、９４［Ｂ］を有する。領域９１［Ｂ］は、配信者の映像ストリーム（この例では、映像ストリームＶ［Ａ］）を表示するための表示領域である。ビデオストリームＶ［Ａ］は、配信者の画像とビデオゲーム画面とを含むので、ビデオゲーム画面も領域９１［Ｂ］に表示される。視聴者は、領域９１［Ｂ］においてビデオゲームをプレイしている配信者を見ることができる。領域９２［Ｂ］は、ゲーム画面を表示するための表示領域である。領域９３［Ｂ］は、視聴者をビデオゲームに参加させるためのメッセージを表示するための領域である。この例では、「配信者がゲームをプレイしています。アイテムを送って助けましょう。」というメッセージが表示される。領域９４［Ｂ］は、視聴者が取れるオプションに対応するアイコンを表示するための領域である。この例では、視聴者は配信者を支援するアイテムを送信でき、送信される可能性のあるアイテムとして３つのオプションがある。これらの選択肢は、例えば、戦車、大砲、及び爆弾であるオブジェクトＯ［４］、Ｏ［５］、及びＯ［６］に対応する。視聴者は、例えば、オブジェクトＯ［６］に対応するアイコンをタップすることによって、アイテムを配信者に送信するようにクライアントアプリケーションＡＰＰ［Ｂ］に指示することができる。アイコンをタップすることは、視聴者のインタラクションフィードバックの一例である。

図８を再度参照すると、クライアントアプリケーションＡＰＰ［Ｂ］はインタラクションサーバ３０にインタラクション情報Ｉirc［Ｂ］を定期的に送信するので、視聴者が配信者にオブジェクトＯ［６］を送信したことを示すインタラクション情報Ｉirc［Ｂ］がインタラクションサーバ３０に送信される。インタラクションサーバ３０は、インタラクション情報Ｉirc［Ｂ］を配信者の装置であるユーザ端末１０［Ａ］に送信する。

配信者の装置で、クライアントアプリケーションＡＰＰ［Ａ］はインタラクション情報Ｉirc［Ｂ］を受信する。インタラクション情報Ｉirc［Ｂ］は、オブジェクトＯ［６］が配信者に送られることを示すので、コンテンツプロセッサ１２２［Ｂ］は、オブジェクトＯ［６］を示すテクスチャを生成する。そして、クライアントアプリケーションＡＰＰ［Ａ］は、オブジェクトＯ［６］と共にビデオゲーム画面を表示する。

図１１は、ビデオゲームを用いたクライアントアプリケーションＡＰＰ［Ａ］の画面例を示す。この例では、オブジェクトＯ［６］は、配信者がオブジェクトＯ［６］に対してインタラクションフィードバックを行うまでアクティブ化されない。たとえば、オブジェクトＯ［６］をオブジェクトＯ［１］にドラッグした結果、オブジェクトＯ［６］がアクティブになる。このようにして、配信者は、ビデオゲームにおいて、視聴者から送られてきたアイテムを使用することができる。言い換えれば、配信者と視聴者は協力してモンスターを倒すことができる。

ユーザ端末１０［Ｂ］の領域９１［Ｂ］は、ユーザ端末１０［Ａ］の領域９１［Ａ］と同期しているため、領域９１［Ｂ］にもゲーム画面が表示される。したがって、視聴者は、ビデオゲーム画面を見ることができ、視聴者は、配信者がモンスターを倒すのを助ける。

領域９２［Ａ］と領域９２［Ｂ］との同期について説明する。

図１２は、インタラクションのためのシナリオの一例を概略的に示す。図１１に示すシーケンスの前に、ユーザ端末１０［Ａ］においてビデオゲームが起動されている。ユーザＡが配信者、ユーザＢが視聴者である。図１２は、ユーザ端末１０［Ｂ］における動作に着目したものである。このシナリオでは、レンダラ１２［Ｂ］は、コンテンツプロセッサ１２２［Ｂ，１］とコンテンツプロセッサ１２２［Ｂ，２］の２つのコンテンツプロセッサを有する。クライアントアプリケーションＡＰＰ［Ｂ］は、ビデオゲームを処理するためにコンテンツプロセッサ１１２［Ｂ，１］を割り当て、ビデオストリームＶ［Ａ］を処理するためにコンテンツプロセッサ１１２［Ｂ，２］を割り当てる。ビデオゲームは、コンテンツの一例である。ビデオストリームＶ［Ａ］は、他のコンテンツの一例である。この例では、ビデオゲームに関するレンダリング機能は、コンテンツプロセッサ１２２［Ｂ，１］にインストールされる。ビデオストリームに関するレンダリング機能は、コンテンツプロセッサ１２２［Ｂ，２］にインストールされる。

時間ｔ１において、表示層１３［Ｂ］は、ビデオフレームＦｖ［Ｂ，ｔ１］を示す。ビデオフレームＦｖ［Ｂ，ｔ１］は、配信者の自己画像と、ビデオゲームにおけるモンスターを示すグラフィックオブジェクトＯ［１］とを含む。視聴者は、ユーザ端末１０［Ｂ］のオプションの中からアイコンをタップして、配信者にアイテムを送信する。タップは、インタラクションフィードバックの一例である。タップに応答して、ＵＩユニット１５［Ｂ］は、インタラクション情報Ｉirc［Ｂ，ｔ１］を生成する。インタラクション情報Ｉirc［Ｂ，ｔ１］は、（ｉ）視聴者の識別、（ｉｉ）コンテンツの識別、（ｉｉｉ）フィードバックのターゲットであるオブジェクト（例えば、オブジェクトＯ［６］）の識別、及び（ｉｖ）インタラクションフィードバックの量及び／又は強度を示すパラメータを含む。例えば、パラメータは、（ａ）タップされた位置の座標、（ｂ）タップが開始してからタップが終了するまでの持続時間、（ｃ）タップの軌跡（又はスワイプ）、（ｄ）タップが開始又は終了するときを示すタイムスタンプのうちの少なくとも１つを示す。より詳細な例では、配信者を支援するために選択されたアイテムがパラメータに表示される。

時間ｔ２において、インタラクション部１１１［Ｂ］は、インタラクションサーバ３０からインタラクション情報Ｉirc［Ａ，ｔ１］を受信し、ＵＩ部１５［Ｂ］からインタラクション情報Ｉirc［Ｂ，ｔ１］を受信する。インタラクション情報Ｉirc［Ｂ，ｔ１］と同様に、インタラクション情報Ｉirc［Ａ，ｔ１］に含まれるパラメータは、例えば、配信者がモンスターにどの程度強く攻撃したか、又は配信者が爆弾を落下させた位置を示す。

また、インタラクション部１１１［Ｂ］は、インタラクション情報Ｉirc［Ｂ，ｔ１］をインタラクションサーバ３０に送信する。インタラクションサーバ３０は、ユーザ端末１０からインタラクション情報Ｉircを受信すると、インタラクション情報Ｉircの宛先を決定し、インタラクション情報Ｉircを宛先に送信する。この例では、インタラクションサーバ３０は、インタラクション情報Ｉirc［Ｂ，ｔ１］をユーザ端末１０［Ａ］に送信する（インタラクションサーバ３０における動作は、図中には示されていない）。

インタラクション部１１１［Ｂ］は、インタラクション情報の送信先を決定する。この例では、インタラクション部１１１［Ｂ］は、インタラクション情報に含まれるコンテンツの識別に基づいて、宛先を決定する。インタラクション情報Ｉirc［Ａ，ｔ１］がグラフィックオブジェクトＯ［５］の識別を含む場合、インタラクション部１１１［Ｂ］は、インタラクション情報Ｉirc［Ａ，ｔ１］の宛先が、グラフィックオブジェクトＯ［５］が割り当てられるコンテンツプロセッサ１２２［Ｂ，５］であると判断する。同様に、インタラクション情報Ｉirc［Ｂ，ｔ１］がグラフィックオブジェクトＯ［５］の識別を含む場合、インタラクション部１１１［Ｂ］は、インタラクション情報Ｉirc［Ｂ，ｔ１］の宛先が、グラフィックオブジェクトＯ［５］が割り当てられるコンテンツプロセッサ１２２［Ｂ，５］であると判断する。

時刻ｔ３において、インタラクション部１１１［Ｂ］は、インタラクション情報Ｉirc［Ａ，ｔ１］，Ｉｃｔｒ［Ｂ，ｔ１］を、それぞれ宛先のコンテンツ処理部１２２［Ｂ，５］に出力する。コンテンツプロセッサ１２２［Ｂ，５］は、受信したインタラクション情報Ｉirc［Ａ，ｔ１］及びＩｃｔｒ［Ｂ，ｔ１］に基づいて、グラフィックオブジェクトＯ［５］を処理する。例えば、コンテンツプロセッサ１２２［Ｂ，５］は、配信者がモンスターにどの程度強く当たったか、又は配信者が爆弾を落下させた位置を示すパラメータを用いて、モンスターに与えられたダメージを計算する。コンテンツプロセッサ１２２［Ｂ，１］は、計算に基づいて、グラフィックオブジェクトＯ［３］の外観を決定する。グラフィックオブジェクトＯ［３］は、配信者による攻撃の視覚的効果を示している。さらに、コンテンツプロセッサ１２２［Ｂ，１］は、計算に基づいて、グラフィックオブジェクトＯ［５］の外観を決定する。グラフィックオブジェクトＯ［５］は、ユーザＢがユーザＡに送信したアイテムを示し、さらに、コンテンツ処理部１２２［Ｂ，１］は、算出されたダメージに基づいて、モンスターの外観を判定する。

時刻ｔ４において、コンテンツプロセッサ１２２［Ｂ，１］は、テクスチャＴ［Ｂ，１，ｔ４］を生成又はレンダリングする。テクスチャＴ［Ｂ，１、ｔ４］は、グラフィックオブジェクトＯ［１］、Ｏ［２］、Ｏ［３］、及びＯ［５］を示す静止画像を示している。これらのグラフィックオブジェクトの描画において、コンテンツプロセッサ１２２［Ｂ，１］は、共有コンテキストプール１２１［Ｂ］からデータを読み取り、これらのグラフィックオブジェクトの座標及び外観に関するデータを取得する。

さらに、コンテンツプロセッサ１２２［Ｂ，２］は、テクスチャＴ［Ｂ，２，ｔ４］を生成又はレンダリングする。テクスチャＴ［Ｂ，２，ｔ４］は、カメラ１０７［Ｂ］によって撮影されたビデオフレームを示す。ビデオフレームは、例えば、視聴者の自己画像を示す。

時刻ｔ５において、テクスチャプロセッサ１２３［Ｂ］は、コンテンツプロセッサ１２２［Ｂ，１］からテクスチャＴ［Ｂ，１，ｔ４］を受信し、コンテンツプロセッサ１２２［Ｂ，１］からテクスチャＴ［Ｂ，２，ｔ４］を受信し、ストリーミングサーバ４０からダウンストリームデータＤｄ［Ａ，ｔ４］を受信する。ダウンストリームデータＤｄ［Ａ，ｔ４］は、ビデオフレームＦｖ［Ａ，ｔ４］を生成するためのデータを含む。テクスチャプロセッサ１２３［Ｂ］は、ダウンストリームデータＤｄ［Ａ，ｔ４］からビデオフレームＦｖ［Ａ，ｔ４］を生成する。テクスチャプロセッサ１２３［Ｂ］は、コンテンツプロセッサ１２２［Ｂ］から出力されたビデオフレームＦｖ［Ａ，ｔ４］と少なくとも１つのテクスチャＴとをブレンドすることによって、新しいビデオフレームＦｖ［Ｂ，ｔ５］を生成する。どのテクスチャをビデオフレームＦｖ［Ａ］とブレンドしなければならないかは、クライアントＡＰＰ［Ｂ］によって決定又は指示される。この例では、クライアントＡＰＰ［Ｂ］は、テクスチャプロセッサ１２３［Ｂ］に、テクスチャ［Ｂ，１］をビデオフレームＦｖ［Ａ］とブレンドするように命令するが、これは、テクスチャ［Ｂ，１］が、視聴者がアクティブにするように命令したアクティビティであるビデオゲームに関連するからである。

図１３は、テクスチャとビデオフレームとのブレンドを示す。図１３は、テクスチャＴ［Ｂ，１，ｔ４］とビデオフレームＦｖ［Ａ，ｔ４］とをブレンドした例を示している。この例では、テクスチャＴ［Ｂ，１、ｔ４］はグラフィックオブジェクトＯ［１］、Ｏ［２］、Ｏ［３］、及びＯ［５］を示している。グラフィックオブジェクトＯ［１］は、ビデオゲームにおけるモンスターである。グラフィックオブジェクトＯ［２］は太陽である。グラフィックオブジェクトＯ［３］は、配信者による攻撃を示す視覚効果である。グラフィックオブジェクトＯ［５］は、視聴者が配信者に送信したアイテム（この場合、爆弾）である。ビデオフレームＦｖ［Ａ，ｔ４］は、配信者のセルフィー画像を示す。ビデオフレームＦｖ［Ｂ，ｄ，ｔ５］において、グラフィックオブジェクトＯ１，Ｏ２，及びＯ５は、配信者のセルフィー画像上にオーバーレイ又はオーバーラップされる。あるいは、ビデオフレームＦｖ［Ｂ，ｄ，ｔ５］を複数の別々の領域に分割してもよい。例えば、ビデオフレームＦｖ［Ｂ，ｄ，ｔ５］は、２つの領域又は２つのウィンドウに分割されてもよい。一方の領域はビデオフレームＦｖ［Ａ，ｔ４］用であり、他方の領域はテクスチャＴ［Ｂ，１，ｔ４］用である。このような場合、これら２つのウィンドウは別々に配置され、重なり合わない。

再び図１２を参照して、時刻ｔ６において、表示層１３［Ｂ］の構成要素であるプレビュー部１３１［Ｂ］は、ユーザ端末１０［Ｂ］のディスプレイにフレームＦｖ［Ｂ，ｄ，ｔ５］を表示する。視聴者は、ビデオゲーム画面がオーバーラップされた配信者のセルフィー画像を見ることができる。時間ｔ１とｔ６との間の持続時間は、ライブストリームのフレームレートに対応する。

また、エンコーダ１４［Ｂ］は、映像ストリームＶ［Ｂ］の成分である映像フレームＦｖ［Ｂ，ｕ，ｔ６］をコンテンツ情報Ｉctn［Ｂ］とともにストリーミングサーバ４０に送信する。この例では、ビデオフレームＦｖ［Ｂ，ｕ，ｔ６］は、視聴者（言い換えれば、ユーザＢの）セルフィー画像を含み、ビデオゲーム画面を含まない。ストリーミングサーバ４０は、ユーザ端末１０からビデオストリームＶを受信すると、ビデオストリームＶの宛先を決定し、ビデオストリームＶを宛先に送信する。この例では、ストリーミングサーバ４０は、ビデオストリームＶ［Ｂ］をユーザ端末１０［Ａ］に送信する。換言すれば、ストリーミングサーバ４０は、視聴者のセルフィービデオを配信者に送信する（ストリーミングサーバ４０における動作は、図には示されていない）。

単一の配信者は複数の視聴者を有することができるので、配信者の装置上に視聴者の自己映像を示すことは、配信者の命令に基づいて一時停止又は省略することができる。このような場合、少なくとも３つの選択肢がある。第１の選択肢は、視聴者のクライアントアプリケーションＡＰＰが視聴者のビデオストリームをストリーミングサーバ４０へ送信することを中断することである。第２の選択肢は、ストリーミングサーバ４０が視聴者のビデオストリームを配信者の装置に送信するのを中断し、ストリーミングサーバ４０が視聴者の装置から視聴者のビデオストリームを受信することである。３番目の選択肢は、配信者の装置が配信者の装置への視聴者のビデオストリームの表示を一時停止し、配信者の装置がストリーミングサーバ４０から視聴者のビデオストリームを受信することである。あるいは、複数の視聴者が自分のビデオをそれぞれ送信する場合、配信者の装置は、そのビデオが配信者の装置上に示される少なくとも１人の視聴者を選択してもよい。

通信システム１によれば、各ユーザは、自分のビデオストリームＶをストリーミングサーバ４０に送信又はプッシュし、他人のビデオストリームＶをストリーミングサーバ４０から受信又はプルすることができる。また、ユーザは、インタラクションフィードバックを含むインタラクション情報Ｉircをインタラクションサーバ３０に同期することができる。すなわち、各ユーザは、自身のインタラクション情報Ｉircをインタラクションサーバ３０に送信又はプッシュし、他のユーザのインタラクション情報Ｉircをインタラクションサーバ３０から受信又はプルすることができる。本開示では、ユーザ間のあらゆるインタラクションは、制御層１１で処理される。したがって、ユーザの操作は、制御層１１上のインタラクション型コンポーネントを訂正するようにマッピングすることができ、配信者側及び視聴者側の両方で、あたかもユーザが対面してインタラクションしているかのように、表示層１３上に反映される。

３．変形例
本開示に係る発明は、上述した実施形態に限定されるものではない。上記実施形態は、例えば、以下のように変形されてもよい。なお、以下の説明において、少なくとも２つの事項が組み合わされてもよい。

３－１．コンテンツの再生
上記の実施形態では、配信者がコンテンツの再生を開始する例を説明したが、コンテンツの再生を開始するユーザは配信者に限定されない。通信システム１は配信者と視聴者との間で対称であるので、インタラクション情報及びビデオストリームに関して、通信システム１は視聴者がコンテンツの再生を開始することを可能にする。例えば、配信者がライブビデオストリームを提供している間に、少なくとも１人の視聴者がビデオゲームのプレイを開始することができる。このような場合、視聴者がビデオゲームを開始したことが配信者に通知される。たとえば、クライアントアプリケーションＡＰＰ［Ａ］には、「ユーザＢはビデオゲームをプレイしています。アイテムを送って助けましょう。」というメッセージが表示され、さらに、クライアントアプリケーションＡＰＰ［Ａ］には、配信者が実行できるオプションに対応するアイコンが表示される。この例では、配信者は、ビデオゲームをプレイしている視聴者を助けるためにアイテムを送信することができ、送信されるべき潜在的なアイテムとして３つのオプションを有する。これらの選択肢は、例えば、戦車、大砲、及び爆弾であるオブジェクトＯ３、Ｏ４、及びＯ５に対応する。以下の処理は、上記実施形態と同様である。

上記の実施形態では、配信者の装置は、コンテンツの再生を開始し、視聴者の装置は、視聴者の命令に応答して、コンテンツを再生するために加わる。しかしながら、通信システムは、視聴者による明示的な指示なしに、視聴者の装置に配信者によって開始されたコンテンツに自動的に参加させることができる。

３－２．コンテンツを再生する装置
また、上記実施形態では、１つの装置（配信者の装置）でコンテンツを再生するようにしたが、コンテンツを再生する装置の数は配信者の装置に限定されない。例えば、通信システム１は、視聴者の装置がコンテンツを再生することを可能にしてもよい。より詳細な例のために、通信システム１は、視聴者の装置上でビデオゲームプログラムを実行又は実行するオプションを提供してもよい。ビデオゲームプログラムが視聴者の装置で実行される場合には、視聴者は、アイテムを送る代わりに、配信者を助けるためにモンスターを直接攻撃することができる。インタラクション情報は、配信者及び視聴者と同期されるので、配信者、視聴者、又はその両方は、モンスターを攻撃することができる。モンスターは、配信者と視聴者が同時にモンスターを攻撃した場合、ダブルダメージを受ける可能性がある。

３－３．ビデオストリーム
ビデオストリームは、対称でなくてもよい。言い換えれば、視聴者の装置から配信者の装置へのビデオストリームの送信は省略されてもよい。

３－４．コンテンツ情報
なお、ユーザ端末１０からインタラクションサーバ３０へのコンテンツ情報Ｉctnの送信は省略してもよい。また、インタラクションサーバ３０からユーザ端末１０にコンテンツ情報Ｉctnを送信することを省略してもよい。つまり、ユーザ端末１０からインタラクションサーバ３０に送信されるインタラクション情報Ｉircには、コンテンツ情報Ｉctnが含まれていなくてもよい。あるいは、インタラクションサーバ３０からユーザ端末１０に送信されるインタラクション情報Ｉircには、コンテンツ情報Ｉctnが含まれていなくてもよい。一実施形態では、アプリケーションを実装するとき、通信システム１は、アプリケーションプロバイダが、コンテンツ情報Ｉctnが、インタラクションサーバ３０を介して、又はストリーミングサーバ４０を介して送信される経路を選択することを可能にする。例えば、アプリケーションプロバイダは、コンテンツ情報Ｉctnがユーザ端末１０からインタラクションサーバ３０に送信され、ストリームサーバ４０には送信されないアプリケーションを実装することができる。これは、例えば、非リアルタイムアプリケーションにとって好ましい。別の例として、アプリケーションプロバイダは、コンテンツ情報Ｉctnがユーザ端末１０からストリームサーバ４０に送信され、インタラクションサーバ３０には送信されないアプリケーションを実装することができる。すなわち、コンテンツ情報Ｉctnは、ビデオストリームと共に送信される。これは、例えば、タイムラインがコンテンツ情報とライブストリームとの間で同期されるので、リアルタイムアプリケーションの場合に好ましい。

３－５．コンテンツ及びオブジェクト
なお、コンテンツはビデオゲームに限定されるものではなく、コンテンツに関するオブジェクトはビデオゲームキャラクタに限定されるものではない。コンテンツは、例えば、映画、音楽、ＴＶプログラム、写真、本、新聞、雑誌、漫画、ウェブページ、音声、又はそれらの組み合わせであってもよい。オブジェクトは、例えば、ユーザのアバター、画像、スタンプ、又はボタン、アイコン、キー、バーなどのＵＩオブジェクトであってもよい。

３－６．料金の課金
通信システム１は、インタラクションフィードバックに応じて料金を課金することができる。例えば、視聴者が３つの選択肢を有する場合、通信システム１は、視聴者が選択した選択肢に対して料金を課金してもよい。一例では、視聴者は、より強力な武器に対してより高い料金を支払わなければならない。

３－７．他の実施形態
コンテンツに関するデータを送信するシーケンスは、上記実施形態に限定されるものではない。例えば、ストリーミングサーバ４０は、配信者による命令とは無関係に、ビデオゲームプログラムを配信者の装置に送信又はプッシュすることができる。あるいは、ストリーミングサーバ４０は、視聴者の指示に応答して、ビデオゲームプログラムを送信又はプッシュすることができる。

なお、上記実施形態で説明したハードウェア構成は一例に過ぎない。通信システム１内の各エンティティは、必要な機能を有する限り、任意のハードウェア構成を有することができる。例えば、サーバは、物理サーバ、仮想サーバ（すなわち、クラウド）、又はそれらの組み合わせであってもよい。

なお、機能要素とハードウェア要素との対応関係は、上記実施形態で説明した例に限定されるものではない。例えば、ストリーミングサーバ４０に実装される機能は、複数の物理装置に実装されてもよい。

なお、機能要素とソフトウェアとの対応関係は、上記実施形態で説明した例に限定されるものではない。例えば、ユーザ端末１０に実装される機能は、複数のアプリケーションプログラム及び／又はオペレーティングシステムによって提供されてもよい。

また、上記実施の形態で説明したプログラムは、ソリッドステートメモリデバイス、光ディスク記憶装置、磁気ディスク記憶装置等のコンピュータ読み取り可能な非一時記憶装置を備えていてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされてもよい。

１…通信方式、１１…制御層、１２…レンダラ、１３…表示層、１４…エンコーダ、１５…ＵＩ部、１６…デコーダ、３１…受信部、３２、処理部、３３…記憶部、３４…送信部、４１…受信部、４２…受信部、４３…処理部、４４…記憶部、４５…送信部、１０１…ＣＰＵ、１０２…メモリ、１０３…記憶装置、１０４…ネットワークインターフェース、１０５…出力装置、１０６…入力装置、１０７…カメラ、３０１…ＣＰＵ、３０２…メモリ、３０３…ストレージ、３０４…ネットワークインターフェース、４０１…ＣＰＵ、４０２…メモリ、４０３…ストレージ、４０４…ネットワークインターフェース

Claims (15)

1. 第１のビデオストリームおよび第１のコンテンツ情報を含むダウンストリームデータを受信するステップであって、前記第１のビデオストリームは第１の装置から送信され、前記第１のコンテンツ情報にはグラフィックオブジェクトが記述されるステップと、
   前記第１の装置でのグラフィックオブジェクトへの第１のユーザインタラクションフィードバックを示す、第１のインタラクション情報を受信するステップと、
   前記グラフィックオブジェクトを含む第１のコンテンツテクスチャを生成するステップであって、前記グラフィックオブジェクトの外観は、第１のコンテンツ情報および、前記第１のインタラクション情報に含まれる前記第１のユーザインタラクションフィードバックを使用して決定されるステップと、
   前記第１のコンテンツテクスチャおよび第２のコンテンツテクスチャを含むビデオフレームを生成するステップであって、前記第２のコンテンツテクスチャは前記第１のビデオストリームから生成されるステップと、
   前記第１の装置および第２の装置において前記ビデオフレームを表示するステップと、
   前記第２の装置での前記ビデオフレームへの第２のユーザインタラクションフィードバックを受信するステップと、
   前記第２のユーザインタラクションフィードバックを示す第２のインタラクション情報を送信するステップと、
   前記グラフィックオブジェクトの外観を記述する少なくとも第２のコンテンツ情報を含むアップストリームデータを送信するステップと、
   を含む方法であって、
   前記アップストリームデータが、前記第２の装置で生成された第２のビデオストリームをさらに含む、方法。
2. 前記ビデオフレームが、前記グラフィックオブジェクトを前記第１のコンテンツテクスチャ上にオーバーレイすることによって生成される
   請求項１に記載の方法。
3. 前記第１のインタラクション情報が、第３の装置での前記グラフィックオブジェクトへの第３のユーザインタラクションフィードバックをさらに示す
   請求項１に記載の方法。
4. 前記ダウンストリームデータが、第１のサーバから受信される
   請求項１に記載の方法。
5. 前記アップストリームデータは、第１のサーバに送信される
   請求項１に記載の方法。
6. 前記第１のインタラクション情報が、第２のサーバから受信される
   請求項１に記載の方法。
7. 前記第２のインタラクション情報は、前記第２のサーバに送信される
   請求項６に記載の方法。
8. 前記第１のユーザインタラクションフィードバックは、前記グラフィックオブジェクトのクリック、タップ及びドラッグのうちの少なくとも１つを含む
   請求項１に記載の方法。
9. 前記グラフィックオブジェクトは、ビデオゲームにおけるキャラクタを含む、請求項１に記載の方法。
10. レンダラ、制御層及び表示層を備える情報処理装置であって、
    前記レンダラは、第１のビデオストリーム及び第１のコンテンツ情報を含むダウンストリームデータを受信するように構成され、
    前記第１のビデオストリームは、別の装置から送信され、前記第１のコンテンツ情報は、グラフィックオブジェクトを記述し、
    前記制御層は、前記別の装置の前記グラフィックオブジェクトへの第１のユーザインタラクションフィードバックを示す第１のインタラクション情報を受信するように構成され、
    前記レンダラは、前記グラフィックオブジェクトを含む第１のコンテンツテクスチャを生成するように構成され、
    前記グラフィックオブジェクトの外観は、前記第１のコンテンツ情報および、前記第１のインタラクション情報に含まれる前記第１のユーザインタラクションフィードバックを使用して決定され、
    前記レンダラは、前記第１のコンテンツテクスチャと第２のコンテンツテクスチャを含むビデオフレームを生成するように構成され、
    前記第２のコンテンツテクスチャは、前記第1のビデオストリームから生成され、
    前記表示層は、前記ビデオフレームを表示するように構成され、
    前記制御層は、前記ビデオフレームへの第２のユーザインタラクションフィードバックを受信するように構成され、
    前記制御層は、前記第２のユーザインタラクションフィードバックを示す第２のインタラクション情報を送信するように構成され、
    前記表示層は、前記グラフィックオブジェクトの外観を記述する少なくとも第２のコンテンツ情報を含むアップストリームデータを送信するように構成され、
    第２のビデオストリームを生成するカメラ装置をさらに備え、前記第２のビデオストリームが前記レンダラに入力され、
    前記レンダラは、前記第２のビデオストリームに応答して前記第２のコンテンツテクスチャを生成するように構成され、
    前記レンダラは、前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとをブレンドするように構成され、
    前記アップストリームデータは、前記ブレンドされた前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとを含む
    情報処理装置
11. 前記レンダラは、少なくとも第１のコンテンツプロセッサと第２のコンテンツプロセッサとを含み、
    前記第１のコンテンツプロセッサは、前記第１のコンテンツテクスチャを生成するように構成され、
    前記第２のコンテンツプロセッサは、前記第２のコンテンツテクスチャを生成するように構成される
    請求項１０に記載の情報処理装置。
12. 前記レンダラは、テクスチャプロセッサをさらに含み、
    前記テクスチャプロセッサは、前記第１のコンテンツテクスチャと前記第２のコンテンツテクスチャとをブレンドし、前記ブレンドされたコンテンツテクスチャを前記ビデオフレームとして出力するように構成される
    請求項１１に記載の情報処理装置。
13. 前記レンダラは、前記グラフィックオブジェクトを前記第１のコンテンツテクスチャ上にオーバーレイすることによって前記ビデオフレームを生成するように構成される
    請求項１０に記載の情報処理装置。
14. 前記第１のインタラクション情報は、第３の装置での前記グラフィックオブジェクトへの第３のユーザインタラクションフィードバックをさらに示す
    請求項１０に記載の情報処理装置。
15. 前記グラフィックオブジェクトは、ビデオゲームにおけるキャラクタを示す
    請求項１０に記載の情報処理装置。

Images