JP7309627B2 - 配信装置、視聴者端末、配信方法、情報処理方法、およびプログラム - Google Patents

Description

本発明は、ＶＲ空間でライブ配信する技術に関する。

近年、仮想現実（ＶＲ）空間でコンピュータグラフィックスキャラクタ（以下、「アバター」と称する）になりきり、ライブ配信できるサービスが広まっている。

このサービスでは、配信者はヘッドマウントディスプレイ（ＨＭＤ）を装着し、両手にコントローラを持って、配信者自身の動きをアバターに反映させてライブ配信する。

視聴者はライブ配信を視聴するだけでなく、視聴者もＨＭＤを装着してライブ配信に参加できる。視聴者は、配信者のＶＲ空間に自身のアバターを参加させて、配信者とコミュニケーションを取ることができる。

特開２０１８－７８２８号公報 特開２０１８－９４３２６号公報

視聴者は、ライブ配信を盛り上げるために、自身の視聴者アバターに応援アクションをさせるが、配信者は、全ての視聴者に対してリアクションを返すことはできない。視聴者は、配信者からのリアクションが得られないと応援することをやめてしまい、ライブ配信の盛り上がりが期待できなくなるおそれがある。

特許文献１には、プレイヤのアバターがアイドルキャラクタのライブステージに訪れた多数のファンの一人としてＶＲ空間内の客席に配置され、プレイヤは視線を送ってアイドルキャラクタを応援することが記載されている。特許文献１では、応援すると付与されるポイント等の発動条件を満たしたプレイヤのアバターに対して、アイドルキャラクタが個別に特別ファンサービスが行われる。特許文献１は、ポイントの獲得をプレイヤ間で競わせることで、ライブステージを盛り上げるものである。特別ファンサービスが行われる対象は、客席内の１人のプレイヤに対してのみであり、応援するとアイドルキャラクタからのリアクションが必ず得られるものでない。

本発明は、上記に鑑みてなされたものであり、視聴者が配信者からのリアクションを得やすくすることを目的とする。

本発明に係る配信装置は、仮想空間内の配信者アバターのモーションデータを配信する配信装置であって、前記配信者アバターのモーションデータを配信する配信部と、視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、応援に対するリアクションモーションを前記配信者アバターにさせる時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションデータとで異ならせるリアクション部を備え、前記リアクション部は、リアクション信号を受信したタイミングで、前記第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記第２の視聴者端末に配信する前記配信者アバターのモーションデータとを異ならせることを特徴とする。
本発明に係る視聴者端末は、仮想空間内の配信者アバターのモーションデータを受信する視聴者端末であって、前記配信者アバターのモーションデータを受信し、受信したモーションデータに基づいて前記配信者アバターを制御するＶＲ機能部と、前記配信者アバターへの応援を受け付ける応援指示部と、前記配信者アバターのリアクションモーションを保持する蓄積部と、前記応援指示部が応援を受け付けた場合は、応援に対する前記配信者アバターのリアクション時に、前記配信者アバターのモーションを前記蓄積部の保持するリアクションモーションに差し替えるリアクション部と、を備えることを特徴とする。

本発明によれば、視聴者が配信者からのリアクションを得やすくすることができる。

ライブ配信サービスを提供するための全体的なシステム構成例を示す図である。 アバターを操作するための装置を説明する図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 配信者がライブ配信を開始し、視聴者が番組に参加する処理の流れを示すシーケンス図である。 視聴者が参加したＶＲ空間の様子を示す図である。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。 配信者が視聴者に対してリアクションしたＶＲ空間の様子を示す図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 視聴者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。 ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。 配信者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。

以下、本発明の実施の形態について図面を用いて説明する。

［第１の実施形態］
図１を参照し、第１の実施形態のライブ配信サービスの全体的なシステム構成例を説明する。

本実施形態のライブ配信サービスは、配信者がＶＲ空間でアバターになりきり、生放送番組を配信できるライブ配信サービスである。また、本ライブ配信サービスでは、視聴者も配信者と同じＶＲ空間において視聴者アバターとして番組に参加できる。ライブ配信サービスは、ネットワークに接続されたサーバ１、配信者端末３、および視聴者端末５を用いて提供される。図１では、視聴者端末５の数を５台としているが、実際には視聴者端末５の数はもっと多く、視聴者端末５の数は任意である。

サーバ１は、ネットワークを介して、配信者端末３からＶＲ空間でのライブ配信映像を受信し、視聴者端末５へライブ配信映像を配信する。具体的には、サーバ１は、配信者端末３から配信者アバターのモーションデータを受信し、モーションデータを視聴者端末５へ配信する。視聴者端末５は、受信したモーションデータを配信者アバターに反映させてＶＲ空間をレンダリングする。ＶＲ空間が視聴者端末５においてレンダリングされて表示される場合、視聴者端末５は、ＶＲ空間のレンダリングに必要なモデルデータを保持しておく。例えば、視聴者端末５は、ＶＲ空間内に存在するアバターなどのモデルデータをサーバ１から受信してもよいし、モデルデータを事前に保持しておいてもよい。

視聴者が番組に参加したときは、サーバ１は、視聴者端末５から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末３および他の視聴者端末５へ配信する。配信者端末３および他の視聴者端末５は、受信したモーションデータを視聴者アバターに反映させてＶＲ空間をレンダリングする。視聴者アバターのモデルデータは、視聴者が参加したときにサーバ１から受信してもよいし、配信者端末３および視聴者端末５が事前に保持しておいてもよい。

番組に参加した視聴者は視聴者アバターを通じて配信者を応援することができる。配信者アバターは、応援した視聴者アバターに対してリアクションを返す。

サーバ１は、配信者アバターが応援に対するリアクションをする時に、配信者アバターに行わせるモーションを応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとで異ならせる。具体的には、サーバ１は、応援した視聴者の視聴者端末５に対しては、配信者アバターのモーションの一部をリアクションモーションに変えたモーションデータを配信するとともに、応援していない視聴者の視聴者端末５に対しては、通常のモーションデータを配信する。つまり、配信者アバターがリアクションするとき、応援した視聴者と応援していない視聴者とでは、見ている配信者アバターのモーションが異なる。

配信者端末３は、配信者がライブ配信に用いる端末である。配信者端末３としては、例えば、ＨＭＤが接続されたパーソナルコンピュータを用いることができる。

図２に示すように、配信者は、ＨＭＤ１００を装着し、コントローラ１０１を両手に持って、配信者アバターを制御する。

ＨＭＤ１００は、配信者の頭の動きを検知する。ＨＭＤ１００が検知した頭の動きを配信者アバターに反映させる。配信者は、頭を動かしてＶＲ空間内を見渡すことができる。ＨＭＤ１００は、配信者が向いた方向のＶＲ空間をレンダリングする。ＨＭＤ１００が右眼用画像と左眼用画像に視差を持たせることで、配信者は、３次元のＶＲ空間を見ることができる。

コントローラ１０１は、配信者の手の動きを検知する。コントローラ１０１が検知した手の動きを配信者アバターに反映させる。

配信者端末３は、検知した配信者の動きを配信者アバターに反映させるモーションデータをサーバ１へ送信する。モーションデータは、サーバ１によって視聴者端末５に配信される。また、配信者端末３は、配信者の番組に参加した視聴者アバターのモーションデータをサーバ１から受信する。配信者端末３は、受信したモーションデータを視聴者アバターに反映させてＶＲ空間をレンダリングする。

コントローラ１０１は、ボタン等の操作手段を備えている。配信者がボタンを操作すると、配信者アバターに所定の動きをさせることができる。本実施形態に関連する操作としては、例えば、視聴者の応援に対するリアクションを返すタイミングを指定する操作がある。視聴者アバターが配信者アバターを応援したとき、配信者がリアクションを返すタイミングを指定すると、配信者端末３は、リアクション信号をサーバ１へ送信する。サーバ１は、リアクション信号に応じて、応援した視聴者アバターに対するリアクションモーションと、応援していない視聴者アバターに対するモーションとを異ならせて、配信者アバターに応援に対するリアクションをさせる。

視聴者端末５は、視聴者がライブ配信を見るために用いる端末である。視聴者端末５としては、配信者端末３と同様に、ＨＭＤが接続されたパーソナルコンピュータを用いることができる。

視聴者は、配信者の番組に参加することができる。具体的には、視聴者が番組へ参加する操作を行うと、視聴者が制御可能な視聴者アバターが配信者アバターの存在するＶＲ空間内に登場する。視聴者も、図２に示すように、ＨＭＤ１００を装着し、コントローラ１０１を両手に持って、視聴者アバターを制御する。番組に参加した視聴者の視点はＶＲ空間内の視聴者アバターの視点となる。つまり、ＨＭＤ１００は、視聴者アバターの視点でＶＲ空間をレンダリングする。

視聴者は、コントローラ１０１等を操作することで、配信者を応援することができる。視聴者が配信者を応援すると、視聴者端末５は、応援信号をサーバ１へ送信する。

次に、図３を参照し、サーバ１、配信者端末３、および視聴者端末５の構成例について説明する。

図３に示すサーバ１は、配信部１１、リアクション部１２、応援検出部１３、およびリアクションデータ蓄積部１４を備える。

配信部１１は、ライブ配信サービスに必要なデータの送受信を行う。具体的には、配信部１１は、配信者端末３から配信者の音声および配信者アバターのモーションデータを受信し、音声およびモーションデータを視聴者端末５へ配信する。また、配信部１１は、番組に参加した視聴者の視聴者端末５から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末３および視聴者端末５へ配信する。配信部１１は、視聴者の音声を受信して配信してもよい。配信部１１は、視聴者が入力したコメント（文字情報）を受信して配信してもよい。

リアクション部１２は、所定のタイミングで、応援した視聴者の視聴者端末５へ送信される通常モーションをリアクションモーションに差し替える。通常モーションは、ＨＭＤ１００およびコントローラ１０１で検知した配信者の動きに応じたモーションである。リアクションモーションは、後述のリアクションデータ蓄積部１４に蓄積されたリアクションモーションである。リアクション部１２は、リアクションデータ蓄積部１４からリアクションモーションを読み出し、応援した視聴者アバターに対する個別のリアクションモーションにして応援した視聴者の視聴者端末５へ送信する。例えば、配信者アバターに行わせるリアクションの例としては、配信者アバターが視聴者アバターに対して視線（顔）を向けてウインクするモーションがある。視聴者は、視聴者アバターの目線でＶＲ空間がレンダリングされるので、視聴者は、応援に対して配信者アバターが自分に視線を向けたと感じることができる。配信者アバターが視聴者アバターに視線を向けた際、視線方向にビームまたはハートマークなどのエフェクトを表示してもよい。

リアクションの例としては、他にも、配信者アバターの体の向きを視聴者アバターに向ける、配信者アバターを視聴者アバターに近づける、などがある。視聴者の応援量（例えばギフトを送った量）に応じてリアクションを変えてもよい。リアクションモーションは、後述のリアクションデータ蓄積部１４に蓄積されたモーションデータから選択する。リアクションモーション時に、配信者アバターは、応援していない視聴者アバターの方向を向かないようにしてもよい。

リアクション部１２は、配信者アバターにリアクションをさせるタイミングを配信者端末３から受信するリアクション信号に応じて決定する。あるいは、リアクション信号によらず、リアクション部１２は、応援を検出後に所定の時間経過したタイミングをリアクションタイミングとしてもよい。リアクション部１２は、配信者アバターの動きに応じてリアクションタイミングを決定してもよい。例えば、配信者アバターが両手を上に挙げたときをリアクションタイミングとする。

配信者がリアクションモーションを送信してもよい。この場合、応援した視聴者の視聴者端末５には配信者端末３から受信したリアクションモーションを送信し、応援していない視聴者の視聴者端末５にはリアクションモーションを通常モーションに差し替えて送信する。

応援検出部１３は、配信者を応援した視聴者を検出し、視聴者を応援した配信者の配信者アバターに対してリアクションモーションをするようにリアクション部１２へ通知する。例えば、応援検出部１３は、視聴者端末５から応援信号を受信することで視聴者の応援を検出する。応援検出部１３は、視聴者アバターの動きに基づいて配信者に対する応援を検出してもよい。例えば、応援検出部１３は、視聴者アバターが配信者アバターに対して大きく手を振ったときに、視聴者が配信者を応援したと検出する。あるいは、応援検出部１３は、視聴者による声援を検出したときに、視聴者が配信者を応援したと検出してもよい。

リアクションデータ蓄積部１４は、リアクションモーションのデータを蓄積する。リアクションデータ蓄積部１４は、複数種類のリアクションモーションを蓄積してもよい。

配信者端末３は、ＶＲ機能部３１およびリアクション指示部３２を備える。

ＶＲ機能部３１は、ＶＲ空間をレンダリングする機能、配信者の動きをＶＲ空間内の配信者アバターに反映する機能などのＶＲ空間でのライブ配信に必要な機能を有する。例えば、ＶＲ機能部３１は、ＨＭＤ１００で検出した配信者の頭の動きおよびコントローラ１０１で検出した配信者の手の動きに基づいて配信者アバターのモーションを決定し、サーバ１へモーションデータを送信する。

リアクション指示部３２は、配信者からリアクション操作を受け付けて、リアクション信号をサーバ１へ送信する。例えば、コントローラ１０１のボタンが操作されると、リアクション信号をサーバ１へ送信する。応援に対してリアクションを返すタイミングをサーバ１が判断する場合、配信者端末３は配信者からリアクション操作を受け付ける必要はない。

視聴者端末５は、ＶＲ機能部５１および応援指示部５２を備える。

ＶＲ機能部５１は、ＶＲ空間をレンダリングする機能、視聴者の動きをＶＲ空間内の視聴者アバターに反映する機能などのＶＲ空間でのライブ配信の視聴に必要な機能を有する。

応援指示部５２は、視聴者から応援操作を受け付けて、応援信号をサーバ１へ送信する。応援指示部５２は、必要に応じて、視聴者アバターに応援モーションをさせる。

視聴者の応援には、例えば、ギフトを送る、手を振るなどの行為が考えられる。視聴者がギフトを送ると、応援指示部５２からサーバ１へ応援信号が送られる。コントローラ１０１のボタンに応援操作を割り当てておき、視聴者がそのボタンを操作すると、応援信号を送信するとともに、視聴者アバターに応援モーションをさせてもよい。

サーバ１、配信者端末３、および視聴者端末５が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ１、配信者端末３、および視聴者端末５が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

次に、図４のシーケンス図を参照し、ライブ配信の開始と視聴者の参加について説明する。

配信者が配信者端末３を用いてライブ配信を開始する操作を行うと、配信者端末３は、ライブ配信を開始することをサーバ１へ通知する（ステップＳ１１）。

ライブ配信が開始すると、配信者端末３は、配信者の操作および動きを検出し、配信者アバターを制御するためのモーションデータをサーバ１へ送信する（ステップＳ１２）。サーバ１は、モーションデータをライブ配信を見ている視聴者端末５Ａ～５Ｃへ配信する。ライブ配信中は、配信者端末３からサーバ１へのモーションデータの送信およびサーバ１から視聴者端末５Ａ～５Ｃへのモーションデータの配信が継続して行われる。

視聴者Ａが視聴者端末５Ａを用いて番組に参加する操作を行うと、視聴者端末５Ａは、番組に参加することをサーバ１へ通知する（ステップＳ１３）。

視聴者Ａが番組に参加すると、視聴者端末５Ａは、視聴者の操作および動きを検出し、視聴者アバターを制御するためのモーションデータをサーバ１へ送信する（ステップＳ１４）。サーバ１は、モーションデータを配信者端末３および他の視聴者端末５Ｂ，５Ｃへ配信する。番組に参加中は、視聴者端末５Ａからサーバ１へのモーションデータの送信およびサーバ１から配信者端末３と視聴者端末５Ｂ，５Ｃへのモーションデータの配信が継続して行われる。

以下、視聴者Ａの場合と同様に、視聴者Ｂが視聴者端末５Ｂを用いて番組に参加する操作を行うと、視聴者端末５Ｂは、番組に参加することをサーバ１へ通知し（ステップＳ１５）、視聴者Ｂの視聴者アバターを制御するためのモーションデータのサーバ１への送信を開始する（ステップＳ１６）。

視聴者Ｃが視聴者端末５Ｃを用いて番組に参加する操作を行うと、視聴者端末５Ｃは、番組に参加することをサーバ１へ通知し（ステップＳ１７）、視聴者Ｃの視聴者アバターを制御するためのモーションデータのサーバ１への送信を開始する（ステップＳ１８）。

図５に、視聴者が参加したＶＲ空間の様子を示す。同図に示すように、ＶＲ空間には、ステージ上の配信者アバター３００だけでなく、ステージ下に番組に参加した視聴者アバター５００Ａ～５００Ｅが存在する。視聴者は、配信者アバター３００だけでなく、番組に参加した視聴者Ａ～Ｅの視聴者アバター５００Ａ～５００Ｅも見ることができる。

配信者は、配信者アバター３００の位置を視点としてＶＲ空間を見ることができる。視聴者Ａ～Ｅは、視聴者アバター５００Ａ～５００Ｅのそれぞれの位置を視点としてＶＲ空間を見ることができる。つまり、配信者端末３は、配信者アバター３００の顔の位置および顔の向きに基づいてＶＲ空間をレンダリングし、視聴者端末５は、視聴者アバター５００Ａ～５００Ｅのそれぞれの顔の位置および顔の向きに基づいてＶＲ空間をレンダリングする。図５の場合、視聴者Ａ～Ｅは、それぞれ違った位置から違った角度で配信者アバター３００を見ることになる。

番組に参加していない視聴者の視点は、例えば、配信者がＶＲ空間で任意の位置に設定した仮想カメラの位置とする。

次に、図６のシーケンス図を参照し、視聴者による応援と配信者によるリアクションについて説明する。

視聴者Ａが視聴者端末５Ａを操作して配信者を応援すると、視聴者端末５Ａはサーバ１へ応援信号を送信し、サーバ１は視聴者Ａから応援があったことを配信者端末３へ通知する（ステップＳ２１）。このとき、視聴者Ｂ，Ｃは、配信者を応援していないとする。

配信者は視聴者Ａが自分を応援してくれたことを確認すると、配信者端末３を操作してリアクション信号をサーバ１へ送信する（ステップＳ２２）。配信者はリアクション信号を送信するリアクション操作を行うが、配信者自身がリアクションする必要はない。配信者端末３は、配信者の動きに応じた通常モーションをサーバ１へ送信する（ステップＳ２３）。なお、サーバ１でリアクションタイミングを決める場合は、ステップＳ２２のリアクション信号を送信する処理は不要である。

サーバ１は、リアクション信号を受信すると、応援信号を送信した視聴者端末５Ａに対しては通常モーションをリアクションモーションに差し替えて送信し（ステップＳ２４）、応援信号を送信していない視聴者端末５Ｂ，５Ｃに対しては通常モーションを送信する（ステップＳ２５，Ｓ２６）。応援信号を送信した視聴者端末５が複数存在する場合は、応援信号を送信した視聴者端末５のそれぞれに対して専用のリアクションモーションを送信する。

図７に、配信者がリアクションしたＶＲ空間の様子を示す。同図では、視聴者Ａ，Ｅ（視聴者アバター５００Ａ，５００Ｅ）が応援したものとする。

配信者アバター３００が応援に対するリアクションを返すタイミングで、応援した視聴者アバター５００Ａ，５００Ｅに対しては、視聴者アバター５００Ａ，５００Ｅのそれぞれに対して配信者アバター３００は個別にリアクションする。具体的には、サーバ１は、配信者アバター３００がリアクションする際、視聴者アバター５００Ａの視聴者端末５Ａに対して視聴者アバター５００Ａ専用のリアクションモーションを送信し、視聴者アバター５００Ｅの視聴者端末５Ｅに対して視聴者アバター５００Ｅ専用のリアクションモーションを送信する。視聴者アバター５００Ｂ，５００Ｃ，５００Ｄの視聴者端末５Ｂ，５Ｃ，５Ｄに対しては共通の通常モーションを送信する。視聴者Ａの見るＶＲ空間では配信者アバターは視聴者アバター５００Ａに近づいた配信者アバター３００Ａの状態である。視聴者Ｅの見るＶＲ空間では配信者アバターは視聴者アバター５００Ｅに近づいた配信者アバター３００Ｅの状態である。視聴者Ｂ，Ｃ，Ｄの見るＶＲ空間では配信者アバターはステージ中央に存在する配信者アバター３００の状態である。つまり、配信者アバターがリアクションするとき、視聴者Ａは視聴者アバター５００Ａ専用のリアクションモーションをした配信者アバター３００Ａが見え、視聴者Ｅは視聴者アバター５００Ｅ専用のリアクションモーションをした配信者アバター３００Ｅが見え、視聴者Ｂ，Ｃ，Ｄは通常モーションの配信者アバター３００が見える。配信者アバターのリアクションが終わると、視聴者端末５Ａ～５Ｅには共通の配信者アバターの通常モーションが配信される。

なお、リアクションモーションでは、配信者アバター３００の位置を動かさなくても、視線を向ける、視聴者アバター５００Ａ，５００Ｅのそれぞれに対して手を振るなどのモーションでもよい。この場合も、応援した視聴者アバター５００Ａ，５００Ｅのそれぞれには専用のリアクションモーションが送信される。

このように、配信者アバター３００が応援に対してリアクションする時に、応援した視聴者アバター５００Ａ，５００Ｅに対しては、専用のリアクションモーションを配信者アバター３００Ａ，３００Ｅにさせて、応援していない視聴者アバター５００Ｂ，５００Ｃ，５００Ｄに対するモーションと異ならせることで、視聴者Ａ，Ｅのそれぞれは配信者アバターのリアクションを得られる。

［第２の実施形態］
第２の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を視聴者端末が行う。全体的なシステム構成は第１の実施形態と同様である。

図８を参照し、第２の実施形態のライブ配信サービスで用いられるサーバ１、配信者端末３、および視聴者端末５の構成例について説明する。

サーバ１は、配信部１１を備える。配信部１１は、第１の実施形態のサーバ１の配信部１１と同様に、ライブ配信サービスに必要なデータの送受信を行う。

配信者端末３は、ＶＲ機能部３１を備える。ＶＲ機能部３１は、第１の実施形態の配信者端末３のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。

視聴者端末５は、ＶＲ機能部５１、応援指示部５２、リアクション部５３、およびリアクションデータ蓄積部５４を備える。

ＶＲ機能部５１は、第１の実施形態の視聴者端末５のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。また、ＶＲ機能部５１は、リアクション部５３の指示により、サーバ１から受信した配信者アバターの通常モーションをリアクションモーションに差し替えて、ＶＲ空間をレンダリングする。

応援指示部５２は、視聴者から応援操作を受け付けて、リアクション部５３へ通知する。応援指示部５２は、必要に応じて、視聴者アバターに応援モーションをさせる。第１の実施形態とは、応援信号をサーバ１へ送信しない点で相違する。なお、応援指示部５２は、第１の実施形態と同様に、応援信号をサーバ１へ送信してもよい。

リアクション部５３は、応援指示部５２が応援操作を入力すると、所定のタイミングで、サーバ１から配信される配信者アバターのモーションをリアクションモーションに差し替える。所定のタイミングは、リアクション部５３が判定する。所定のタイミングとして、例えば、配信者アバターの応援モーションが終了したタイミングが考えられる。リアクションタイミングを決めるために、サーバ１または配信者端末３からリアクション信号を受信してもよい。

リアクションデータ蓄積部５４は、第１の実施形態のサーバ１のリアクションデータ蓄積部１４と同様に、リアクションモーションのデータを蓄積する。

次に、図９のフローチャートを参照し、視聴者端末５の処理について説明する。

応援指示部５２が応援操作を入力すると、視聴者アバターに配信者アバターを応援させるとともに、リアクション部５３に配信者を応援したことを通知する（ステップＳ３１）。配信者に視聴者が応援したことを知らせてもよい。

リアクション部５３は、リアクションタイミングであるか否か判定する（ステップＳ３２）。

リアクションタイミングになると、リアクション部５３は、サーバ１から配信される配信者アバターのモーションをリアクションデータ蓄積部１４に蓄積したリアクションモーションに差し替える（ステップＳ３３）。

次に、図１０のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。

視聴者端末５Ａは、視聴者Ａから応援操作を入力する（ステップＳ４１）。

配信者端末３は、通常モーションをサーバ１へ送信し（ステップＳ４２）、サーバ１は、通常モーションを視聴者端末５Ａ～５Ｃへ配信する（ステップＳ４３～Ｓ４５）。

視聴者端末５Ａは、リアクションタイミングになると、サーバ１から配信される通常モーションをリアクションモーションに差し替える（ステップＳ４６）。

このように、視聴者端末５Ａで、応援を検出し、視聴者端末５Ａ自身で配信者アバターのモーションをリアクションモーションに差し替えることでも、視聴者は、配信者アバターのリアクションを得られる。

［第３の実施形態］
第３の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を配信者端末が行う。第３の実施形態では、サーバ１を介さずに配信者端末３は視聴者端末５に対して直接ライブ配信を行っている。もちろん、サーバ１を介してライブ配信を行ってもよい。なお、第２の実施形態においても、サーバ１を介さずにライブ配信を行ってもよい。

図１１を参照し、第３の実施形態のライブ配信サービスで用いられる配信者端末３、および視聴者端末５の構成例について説明する。図１１では、視聴者端末５の数を１台としているが、実際には、配信者端末３は複数の視聴者端末５に対してライブ配信を行う。

配信者端末３は、ＶＲ機能部３１、リアクション指示部３２、リアクション部３３、応援検出部３４、およびリアクションデータ蓄積部３５を備える。

ＶＲ機能部３１は、第１の実施形態の配信者端末３のＶＲ機能部３１と同様に、ＶＲ空間でのライブ配信に必要な機能を有する。

リアクション指示部３２は、配信者からリアクション操作を受け付けて、リアクション部３３へ通知する。

リアクション部３３は、リアクション指示部３２からの指示に応じて、応援した視聴者の視聴者端末５へ送信される通常モーションをリアクションモーションに差し替える。

応援検出部３４は、配信者を応援した視聴者を検出し、視聴者を応援した配信者をリアクション部３３へ通知する。

リアクションデータ蓄積部３５は、第１の実施形態のサーバ１のリアクションデータ蓄積部１４と同様に、リアクションモーションのデータを蓄積する。

次に、図１２のフローチャートを参照し、配信者端末３の処理について説明する。

応援検出部３４が、視聴者からの応援を検出するとリアクション部３３へ通知し（ステップＳ５１）、リアクション部３３は、リアクション指示部３２からの指示を待つ（ステップＳ５２）。

リアクション指示部３２がリアクション操作を受け付けてリアクション部３３へ通知すると、リアクション部３３は、応援した視聴者の視聴者端末５に対してはリアクションデータ蓄積部３５に蓄積したリアクションモーションを送信し（ステップＳ５３）、応援していない視聴者の視聴者端末５に対しては通常モーションを送信する（ステップＳ５４）。

次に、図１３のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。

視聴者Ａが視聴者端末５Ａを操作して配信者を応援すると、視聴者端末５Ａは配信者端末３へ応援信号を送信する（ステップＳ６１）。

配信者は視聴者Ａが自分を応援してくれたことを確認すると、配信者端末３にリアクション操作を入力する（ステップＳ６２）。

配信者端末３は、応援信号を送信した視聴者端末５Ａに対してはリアクションモーションを送信し（ステップＳ６３）、他の視聴者端末５Ｂ，５Ｃに対しては通常モーションを送信する（ステップＳ６４，Ｓ６５）。

以上がリアルタイム配信での実施各態様であるが、リアルタイム配信に限らず、過去に配信をした、あるいは配信のために用意されたＶＲ空間での番組配信（「タイムシフト配信」とも呼ぶ）においても各実施形態は適用可能である。タイムシフト配信では、配信者アバターのモーションデータを含むＶＲ空間レンダリングのためのデータをサーバあるいは他の構成に蓄積をしておく。サーバは、視聴者端末からの要求に応じてＶＲ空間での番組の再生に必要なデータ（例えば、配信者の音声や配信者アバターのモーションデータ等）を視聴者端末へ配信する。視聴者端末は、受信したデータに基づいてＶＲ空間をレンダリングし、番組を再生する。タイムシフト配信では、一時停止、巻き戻し、早送りなどの操作ができてもよい。

タイムシフト配信される番組のデータは事前に蓄積されたものであるが、各実施形態を適用することで、視聴者の応援に対するリアクションを配信者アバターにさせることができる。第２の実施形態のようにリアクションモーションデータが視聴者端末に蓄積されている場合、視聴者端末は視聴者による応援操作を検知すると、即座に、あるいは所定の時間経過後に、視聴者端末に予め蓄積した配信者アバターのリアクションモーションデータを読み出し、サーバから配信される配信者アバターのモーションデータをリアクションモーションデータに差し替える。これにより、配信者が視聴者の応援に答えたかのような演出を視聴者に見せることができる。配信者アバターのモーションを差し替え禁止する区間が設定されてもよい。例えば、配信者アバターが歌っている間はモーションの差し替えを禁止しておき、間奏中にリアクションモーションをさせる。タイムシフト配信で、視聴者が番組に参加していない場合、配信者アバターのリアクションモーションは、視聴者端末がＶＲ空間をレンダリングする際の仮想カメラに向けたものとしてもよい。

タイムシフト配信を第１の実施形態および第３の実施形態に適用する場合も上記と同様に、リアクションモーションデータを蓄積したサーバまたは配信者端末が視聴者の応援を検知して、その視聴者端末に対してのみ配信者アバターのモーションをリアクションモーションに差し替えて送信する。

以上説明したように、本実施形態によれば、視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行うことにより、応援した視聴者アバターに対して個別にリアクションモーションが行われるので、視聴者は配信者からのリアクションをより確実に得ることができる。

なお、各実施形態では、差し替えたデータを含むＶＲ空間のモーションデータ、外観データ、ボーンデータなどをサーバ１または配信者端末３から視聴者端末５へ送り、データを受信した視聴者端末５にてレンダリングを行う構成で説明したが、リアルタイム配信およびタイムシフト配信を用いた実施のいずれの場合においても、サーバ１または配信者端末３がＶＲ空間をレンダリングしてもよい。例えば、サーバ１がモーションを差し替える第１の実施形態では、配信者端末３あるいは視聴者端末５からサーバ１に仮想カメラの位置および撮影方向等の情報を送信し、サーバ１が仮想カメラの情報に基づいてＶＲ空間をレンダリングして画像を生成し、生成した画像を視聴者端末５へ送信するようにしてもよい。いずれの構成においても、応援が検知された視聴者端末５では、モーションをリアクションモーションに差し替えた上でレンダリングした画像を視聴することができる。第３の実施形態も同様に、配信者端末３がＶＲ空間をレンダリングして画像を送信してもよい。

１…サーバ １１…配信部 １２…リアクション部 １３…応援検出部 １４…リアクションデータ蓄積部 ３…配信者端末 ３１…ＶＲ機能部 ３２…リアクション指示部 ３３…リアクション部 ３４…応援検出部 ３５…リアクションデータ蓄積部 ５…視聴者端末 ５１…ＶＲ機能部 ５２…応援指示部 ５３…リアクション部 ５４…リアクションデータ蓄積部 １００…ＨＭＤ １０１…コントローラ

Claims (7)

1. 仮想空間内の配信者アバターのモーションデータを配信する配信装置であって、
   前記配信者アバターのモーションデータを配信する配信部と、
   視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、
   応援に対するリアクションモーションを前記配信者アバターにさせる時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションデータとで異ならせるリアクション部を備え、
   前記リアクション部は、リアクション信号を受信したタイミングで、前記第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記第２の視聴者端末に配信する前記配信者アバターのモーションデータとを異ならせる
   ことを特徴とする配信装置。
2. 前記リアクション部は、前記応援の応援量に応じて前記第１の視聴者端末へ配信する前記配信者アバターのモーションデータを変える
   ことを特徴とする請求項１に記載の配信装置。
3. 仮想空間内の配信者アバターのモーションデータを受信する視聴者端末であって、
   前記配信者アバターのモーションデータを受信し、受信したモーションデータに基づいて前記配信者アバターを制御するＶＲ機能部と、
   前記配信者アバターへの応援を受け付ける応援指示部と、
   前記配信者アバターのリアクションモーションを保持する蓄積部と、
   前記応援指示部が応援を受け付けた場合は、応援に対する前記配信者アバターのリアクション時に、前記配信者アバターのモーションを前記蓄積部の保持するリアクションモーションに差し替えるリアクション部と、を備える
   ことを特徴とする視聴者端末。
4. 仮想空間内の配信者アバターのモーションデータを配信する配信装置による配信方法であって、
   前記配信者アバターのモーションデータを配信するステップと、
   視聴者端末から前記配信者アバターへの応援信号を受信するステップと、
   応援に対するリアクションモーションを前記配信者アバターにさせる時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションデータとで異ならせるステップを有し、
   リアクション信号を受信したタイミングで、前記第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記第２の視聴者端末に配信する前記配信者アバターのモーションデータとを異ならせる
   ことを特徴とする配信方法。
5. 仮想空間内の配信者アバターのモーションデータを受信する視聴者端末による情報処理方法であって、
   前記視聴者端末は前記配信者アバターのリアクションモーションを保持しており、
   前記配信者アバターのモーションデータを受信し、受信したモーションデータに基づいて前記配信者アバターを制御するステップと、
   前記配信者アバターへの応援を受け付けるステップと、
   応援を受け付けた場合は、応援に対する前記配信者アバターのリアクション時に、前記配信者アバターのモーションを前記視聴者端末の保持するリアクションモーションに差し替えるステップを有する
   ことを特徴とする情報処理方法。
6. 仮想空間内の配信者アバターのモーションを配信する配信装置の各部としてコンピュータを動作させるプログラムであって、
   前記配信者アバターのモーションデータを配信する処理と、
   視聴者端末から前記配信者アバターへの応援信号を受信する処理と、
   応援に対するリアクションモーションを前記配信者アバターにさせる時に、前記応援信号を送信した第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記応援信号を送信していない第２の視聴者端末に配信する前記配信者アバターのモーションデータとで異ならせる処理
   をコンピュータに実行させ、
   リアクション信号を受信したタイミングで、前記第１の視聴者端末に配信する前記配信者アバターのモーションデータと前記第２の視聴者端末に配信する前記配信者アバターのモーションデータとを異ならせることを特徴とするプログラム。
7. 仮想空間内の配信者アバターのモーションを受信する視聴者端末の各部としてコンピュータを動作させるプログラムであって、
   前記視聴者端末は前記配信者アバターのリアクションモーションを保持しており、
   前記配信者アバターのモーションデータを受信し、受信したモーションデータに基づいて前記配信者アバターを制御する処理と、
   前記配信者アバターへの応援を受け付ける処理と、
   応援を受け付けた場合は、応援に対する前記配信者アバターのリアクション時に、前記配信者アバターのモーションを前記視聴者端末の保持するリアクションモーションに差し替える処理
   をコンピュータに実行させることを特徴とするプログラム。

Images