JP7501786B2 - 配信システム、配信方法、及びプログラム - Google Patents

Description

本開示は、配信システム、配信方法、及びプログラムに関する。

歌唱や演奏の様子を撮影した映像をライブ配信するシステムがある（例えば特許文献１）。このシステムでは、歌唱者や演奏者等の演者は、それぞれ別の場所において演奏する。演奏場所にはそれぞれカメラが設けられている。センターは、各カメラから得られた映像を合成し、配信映像として受信端末に配信する。

特開２００８－１３１３７９号公報

しかしながら、視聴者には、演奏されている曲をどのように楽しめばよいか、他の視聴者の様子を把握したい人もいる。そのため、ライブ配信の視聴者の反応を共有できることが望ましい。

本開示は、このような事情に鑑みてなされたもので、その目的は、ライブ配信における視聴者の反応を共有することである。

本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定する判定部と、前記判定部により前記第１反応情報と判定された場合に、観客音を生成する生成部と、前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信する配信部を有する配信システムである。
また、本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定する判定部と、前記判定部により前記第１反応情報と判定された場合に、観客音を生成する生成部と、前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信する配信部を有する配信システムである。
また、本開示の一態様は、複数の視聴者グループのいずれかに属する複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定する判定部と、前記判定部により前記第１反応情報と判定された場合に、観客音を生成する生成部と、前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信する配信部を有する配信システムである。

また、本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定し、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信する、配信方法である。
また、本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定し、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信する、配信方法である。
また、本開示の一態様は、複数の視聴者グループのいずれかに属する複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定し、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信する、配信方法である。

また、本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定させ、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信させる、プログラムである。
また、本開示の一態様は、複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定させ、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信させる、プログラムである。
また、本開示の一態様は、複数の視聴者グループのいずれかに属する複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定させ、前記第１反応情報と判定された場合に、観客音を生成し、前記観客音を前記複数の端末装置のうちの全てに送信させる、プログラムである。

ライブ配信における視聴者の反応を共有することができる。

実施形態に係る配信システム１の概略を示す概略図である。 実施形態に係る配信システム１の構成の例を示すブロック図である。 実施形態に係る視聴者情報２２０の例を示す図である。 実施形態に係る配信情報２２１の例を示す図である。 実施形態に係る配信システム１の処理の流れを説明するシーケンス図である。 実施形態の変形例に係る配信システムを説明する図である。

以下、実施形態に係る配信システム１について図面を参照して説明する。以下では、配信システム１がライブ演奏に係る映像や音を配信する場合を例に説明する。これに限定されることはなく、任意のコンテンツの配信に、本実施形態に係る配信システム１を適用することが可能である。

図１は、実施形態に係る配信システム１の概略を示す概略図である。配信システム１は、演者によるライブ演奏を、複数の視聴者に対してリアルタイムに配信するシステムである。図１に示すように、配信システム１では、演者Ｅ１による演奏に係る映像や音が、通信ネットワークＮＷを介して、視聴者Ｌ１、及びＬ２に配信される。視聴者Ｌ１、及びＬ２は、例えば、スマートフォンや携帯端末、タブレット、或いはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などを用いて、演奏を視聴する。

配信システム１では、ライブ演奏と共に、視聴者の反応を示す情報（反応情報）が配信される。反応情報は、配信されるライブ演奏等に対する視聴者の反応であって、例えば、視聴者の声援やかけ声などの音声や拍手などの音である。或いは、反応情報は、キーボード等が操作されることにより取得される、視聴者の感想や応援コメントなどのテキストデータであってもよい。また、反応情報は、モーションセンサや、スマートフォン等に内蔵されたジャイロセンサ等により取得される、視聴者の動き等であってもよい。

配信システム１は、反応情報に基づいて、観客音を生成する。ここでの観客音とは、群衆としての観客（オーディエンス）からの反応を示す音であり、例えば、個々の視聴者からの反応が統合された音である。

例えば、ライブハウスにおいて、観客側にマイクが向けられ、観客が曲に合わせて歌うことで会場を盛り上げるようなパフォーマンスが行われる場合がある。このようなパフォーマンスを、ライブ演奏を配信するシステムで実現させようとすることを考える。例えば、オンライン会議のように、個々の視聴者の声を、他の視聴者のそれぞれに配信してしまうと、他の視聴者は、個々の視聴者のそれぞれの声を個別に聴かされることになる。このため、ライブハウスにおける臨場感や一体感といった感覚を体験することが困難となる。

この対策として、配信システム１は、個々の視聴者からの反応が統合された音を、観客音として、生成する。観客音は、例えば、個々の反応情報に基づく音を合算して、ボリューム調整した後に、残響（リバーブ）等の音響加工を行った音である。これにより、例えば、観客側にマイクが向けられた場合における個々の視聴者の歌声が、１００人、或いは１０００人という単位で混ざり合い、合唱のような音になる。そして、リバーブが加えられることで、合唱に、あたかもホールにいるような音の響きを加えることができる。すなわち、観客音を配信することにより、ライブハウスにおける臨場感や一体感といった感覚を、視聴者に体験させることが可能となる。

配信システム１では、反応情報を、第１反応情報と、第２反応情報とに分類する。第１反応情報は、所定数以上の視聴者の反応を示す情報である。例えば、第１反応情報は、所定数以上の視聴者が、がほぼ同時、かつ似たような反応を示す情報である。第１反応情報は、観客音を生成するために用いられる。第２反応情報は、第１反応情報とは異なる反応情報であって、所定数未満の視聴者の反応を示す情報である。

第１反応情報は、ライブ演奏において、所定のタイミングで取得された、視聴者からの反応を示す情報である。例えば、第１反応情報は、演者からの呼びかけ（コール）に対する応答（レスポンス）である。より具体的には、演者が「うしろ、届いているかい」等の呼びかけに対し、所定数以上の視聴者が、「届いているよ」と音声を返したり、腕を上げたりジャンプしたり、「届いているよ」とテキスト入力したりして、演者に応答を示す。このような応答が、第１反応情報である。なお、所定数は、ここでは全視聴者の過半数とするが、これに限定されず任意である。例えば、所定数は、全視聴者の４分の１であってもよい。

第２反応情報は、第１反応情報とは異なる反応を示す情報である。第２反応情報は、例えば、地域に特有の情報である。より具体的には、風が強く吹く地域において、「こんな風の強い日は、この曲が妙にしっくりくるよね」などと感想を述べる。このような感想は、その地域に限定された反応であることから、観客音としない、第２反応情報である。

或いは、配信される演奏を介して、趣味や目的を共有する視聴者のグループがある場合、第２反応情報は、そのグループの趣味や目的に関する情報である。例えば、一部の視聴者が集まって、配信されるライブ演奏を聴きながら運動不足を解消させることを目的としたグループが結成されたとする。そのグループに属する視聴者は、ライブ演奏中に行った運動の実績、例えば腹筋運動をした回数を、互いに報告し合う。このような報告は、そのグループに限定された反応であることから、観客音としない、第２反応情報である。

配信システム１は、第１反応情報に基づいて生成した観客音を、全ての視聴者に配信する。これにより、配信システム１は、視聴者に対して観客音を配信することにより、ライブ演奏の臨場感や一体感といった感覚を体験させることができる。すなわち、配信システム１では、ライブ演奏を、あたかも会場にいるかのような臨場感と共に楽しみたい視聴者の期待に応えることができる。

一方、配信システム１は、第２反応情報を、一部の視聴者にのみ配信するようにする。例えば、配信システム１は、地域に特有の反応を視聴者から取得した場合、その地域にいる視聴者にのみ、その反応情報を配信する。或いは、配信システム１は、あるグループに属する視聴者から、そのグループの趣味や目的に関する反応情報を取得した場合、そのグループに属する他の視聴者にのみ、その反応情報を配信する。これより、配信システム１は、地域の話題や、共通する趣味や目的についての話題を、その話題が判る視聴者にのみ配信して視聴者同士のコミュニケーションを活性化させることができる。すなわち、ライブ演奏を通じて他の視聴者との交流を深めたい視聴者の期待に応えることができる。

図２は、実施形態に係る配信システム１の構成の例を示すブロック図である。配信システム１は、例えば、複数の視聴者端末１０（視聴者端末１０－１～１０－Ｎ、Ｎは任意の自然数）と、配信サーバ２０とを備える。配信システム１において、視聴者端末１０のそれぞれと、配信サーバ２０とは通信ネットワークＮＷを介して通信可能に接続される。通信ネットワークＮＷは、例えば、広域回線網、すなわちＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット、或いはこれらの組合せである。

視聴者端末１０は、視聴者のコンピュータ装置である。視聴者端末１０は、例えば、スマートフォン、ＰＣ、タブレット端末などである。視聴者端末１０は、例えば、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、入力部１５と、マイク部１６と、スピーカ部１７と、を備える。

通信部１１は、配信サーバ２０と通信を行う。記憶部１２は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体、あるいはこれらの組合せによって構成される。記憶部１２は、視聴者端末１０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

制御部１３は、視聴者端末１０がハードウェアとして備えるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることによって実現される。制御部１３は、視聴者端末１０を統括的に制御する。制御部１３は、通信部１１、記憶部１２、表示部１４、入力部１５、マイク部１６、及びスピーカ部１７のそれぞれを制御する。

表示部１４は、液晶ディスプレイなどの表示装置を含み、制御部１３の制御に応じて、ライブ演奏に係る映像等の画像を表示する。

入力部１５は、音以外の反応情報が入力される機能部である。入力部１５に入力された情報は、例えば、される。入力部１５は、例えば、マウスやキーボード、タッチパネル、トラックボール、ゲームコントローラなどである。入力部１５は、視聴者がキーボード等を操作した場合に、その操作を示す情報を取得する。入力部１５は、取得した情報を制御部１３に出力する。

マイク部１６は、視聴者の音声や拍手等の音を収音する。ライブ演奏を配信している間にマイク部１６に収音された声が、視聴者の反応情報となる。マイク部１６は、視聴者の音声等を収音し、収音した音を制御部１３に出力する。

スピーカ部１７は、制御部１３の制御に応じて、音を出力する。スピーカ部１７から出力される音は、ライブ演奏に係る演者の演奏音、及び、観客音である。スピーカ部１７は、音声出力部を複数備える、２チャネル構成のステレオスピーカ、或いは３チャネル以上のサラウンドスピーカ等であってもよい。複数チャネルの音声を出力することにより、演奏音や観客音が聴こえる方向や距離感、及び音場感を表現することができ、視聴者に臨場感を体験させることができる。

配信サーバ２０は、演奏に係る映像や音を配信するコンピュータ装置である。配信サーバ２０は、例えば、サーバ装置、クラウド、ＰＣなどである。

配信サーバ２０は、例えば、通信部２１と、記憶部２２と、制御部２３とを備える。通信部２１は、視聴者端末１０のそれぞれと通信を行う。具体的に、通信部２１は、視聴者端末１０のそれぞれから、反応情報を受信する。通信部２１は、受信した情報を制御部２３に出力する。また、通信部２１は、制御部２３の指示に応じて、視聴者端末１０に、ライブ演奏に係る映像や演奏音、及び観客音を示す情報（配信情報）、を送信する。

記憶部２２は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。記憶部２２は、配信サーバ２０の各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。記憶部２２は、例えば、視聴者情報２２０と、配信情報２２１を記憶する。

視聴者情報２２０について、図３を用いて説明する。視聴者情報２２０は、視聴者に関する情報である。図３は、実施形態に係る視聴者情報２２０の例を示す図である。図３に示すように、視聴者情報２２０は、例えば、視聴者Ｎｏと、属性などの項目を備える。視聴者Ｎｏは、視聴者を一意に特定する番号などの識別情報である。属性は、視聴者Ｎｏにて特定される視聴者の属性を示す情報である。視聴者の属性は、例えば、氏名、性別、年齢など、視聴者の属性を示す情報である。

視聴者情報２２０に含まれる属性の項目は、その視聴者に、第２反応情報を配信するか否かを決定する情報として使用される。配信システム１が、視聴者情報２２０に含まれる属性の項目に基づいて、何れの視聴者に、第２反応情報を配信するか否かを決定する方法については、後で詳しく説明する。

配信情報２２１について、図４を用いて説明する。配信情報２２１は、視聴者に配信するコンテンツに関する情報である。図４は、実施形態に係る配信情報２２１の例を示す図である。図４に示すように、配信情報２２１は、例えば、視聴者Ｎｏと、演奏と、観客音と、第２反応情報などの項目を備える。視聴者Ｎｏは、視聴者を一意に特定する番号などの識別情報である。演奏は、視聴者Ｎｏにて特定される視聴者に送信する、ライブ演奏に係る映像や演奏音を示す情報である。観客音は、視聴者Ｎｏにて特定される視聴者に送信する観客音である。第２反応情報は、視聴者Ｎｏにて特定される視聴者に送信する、他の視聴者からの第２反応情報である。

図２の説明に戻り、制御部２３は、配信サーバ２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部２３は、例えば、取得部２３０と、判定部２３１と、生成部２３２と、配信部２３３とを備える。

取得部２３０は、視聴者の反応を示す情報（反応情報）を取得する。取得部２３０は、通信部２１が視聴者端末１０から受信した反応情報を取得し、取得した情報を判定部２３１に出力する。

判定部２３１は、取得部２３０から反応情報を取得し、取得した反応情報が、第１反応情報か、第２反応情報かを判定する。判定部２３１は、例えば、視聴者から反応情報を取得したタイミングに応じて、その反応情報が、第１反応情報か、第２反応情報かを判定する。

例えば、演者からの呼びかけ（コール）に対する応答（レスポンス）であれば、演者が呼びかけをしてから所定の時間（例えば、数秒以内）になされた視聴者からの応答が、第１反応情報である。また、視聴者にマイクが向けられた場合には、視聴者にマイクが向けられている間に収音された視聴者の歌声が、第１反応情報である。このような観点から、判定部２３１は、ある特定のタイミングで視聴者から取得した反応情報を、第１反応情報とする。例えば、判定部２３１は、演者による呼びかけ後の所定の時間（例えば、数秒以内）のタイミングで、視聴者から取得した反応情報を、第１反応情報とする。また、判定部２３１は、視聴者にマイクが向けられたタイミングで、視聴者から取得した反応情報を、第１反応情報とする。

なお、ライブ演奏において、いつ、どのようなタイミングで、演者による呼びかけや、視聴者にマイクが向けられるかは、任意に決定されてよい。例えば、配信システム１は、ライブ演奏のリハーサル音源に基づいて、演者による呼びかけや、視聴者にマイクが向けられるタイミングを把握し、事前に、第１反応情報を受信するタイミングを設定しておくようにしてもよい。

また、判定部２３１は、ある時間（例えば、数秒間）において、多数、例えば、閾値以上の数、の視聴者から反応情報を取得した場合に、そのタイミングで取得した視聴者からの反応情報のそれぞれを、第１反応情報とするようにしてもよい。判定部２３１は、第１反応情報と判定した反応情報を、生成部２３２に出力する。

一方、「今日もＸ地方は風が強い」、或いは、「この演者はＹ地方の出身だよね」等という第２反応情報は、ライブ演奏の進行とは別に、個々の視聴者が思いついたタイミングで行われることが多い。このため、第２反応情報は、第１反応情報が取得されるタイミングとは別のタイミングで取得されると考えられる。このような観点から、判定部２３１は、第１反応情報を取得するタイミングとは異なるタイミングで視聴者から取得した反応情報を、第２反応情報とする。

また、判定部２３１は、ある時間（例えば、数秒間）において、少数（例えば、閾値未満の数）の視聴者から反応を取得した場合に、そのタイミングで取得した視聴者からの反応のそれぞれを、第２反応情報としてもよい。

判定部２３１は、第２反応情報と判定した反応情報に基づいて、その第２反応情報を配信する視聴者を決定する。判定部２３１は、第２反応情報と判定した反応情報を通知した視聴者の属性に基づいて、その第２反応情報を配信する視聴者を決定する。例えば、判定部２３１は、視聴者情報２２０を参照することにより、その第２反応情報を通知した視聴者が存在する地域を特定する。判定部２３１は、特定した地域に存在する他の視聴者に、その第２反応情報を配信すると決定する。

或いは、判定部２３１は、視聴者情報２２０を参照することにより、第２反応情報と判定した反応情報を通知した視聴者が所属するグループを特定する。判定部２３１は、特定したグループに所属する他の視聴者に、その第２反応情報を配信すると決定する。

判定部２３１は、第２反応情報を配信すると決定した視聴者の配信情報２２１に、その第２反応情報を記憶させる。

生成部２３２は、第１反応情報に基づいて、観客音を生成する。生成部２３２は、第１反応情報に基づく音信号を生成する。例えば、第１反応情報が、視聴者の音声や拍手などの音であれば、生成部２３２は、その音そのものを音信号とする。例えば、第１反応情報が、テキストデータであれば、そのテキストデータを読み上げたバーチャル音声を音信号とする。例えば、第１反応情報が、視聴者の動きを示す情報であれば、その動きを、周波数や音量に反映させた音を音信号とする。

生成部２３２は、例えば、第１反応情報から生成した複数の音信号をミキシングして、残響（リバーブ）等の音響信号処理を行うことによって、観客音を生成する。なお、生成部２３２は、音響信号処理を行う前、または、音響信号処理を行った後の信号に対してボリューム調整してもよい。生成部２３２は、生成した観客音を、第２反応情報を配信する配信情報２２１の観客音の項目に記憶させる。

配信部２３３は、配信情報２２１に基づいて、視聴者に、コンテンツを配信する。配信部２３３は、配信情報２２１を参照し、全ての視聴者のそれぞれの視聴者端末１０に、ライブ演奏に係る映像や演奏音、及び、生成部２３２により生成された観客音を送信する。また、配信部２３３は、配信情報２２１を参照し、第２反応情報の項目に反応情報が記憶されている視聴者の視聴者端末１０に、その反応情報を送信する。すなわち、配信部２３３は、第２反応情報を、全ての視聴者ではなく、一部の視聴者の視聴者端末１０に送信する。

図５は、実施形態に係る配信システム１の処理の流れを説明するシーケンス図である。ここでは、配信サーバ２０によりライブ演奏に係る映像や演奏音が配信されており、複数の視聴者がそれぞれの視聴者端末１０（視聴者端末１０－１～１０－Ｎ）を介して、その配信されたライブ演奏を視聴している状態であることを前提とする。

視聴者端末１０（視聴者端末１０－１～１０－Ｎ）のそれぞれは、視聴者からの反応を示す情報（反応情報）を取得する（ステップＳ１０～Ｓ１２）。具体的に、視聴者端末１０は、視聴者が発した音声や拍手などの音を収音することにより、反応情報を取得する。また、視聴者端末１０は、視聴者がキーボード等を用いて入力したコメントのテキストデータを取得することにより、反応情報を取得する。また、視聴者端末１０は、モーションキャプチャ等により検知された視聴者の動きを取得することにより、反応情報を取得する。視聴者端末１０は、取得した反応情報を、配信サーバ２０に送信する。

配信サーバ２０は、視聴者端末１０のそれぞれから、反応情報を受信する（ステップＳ１３）。配信サーバ２０は、受信した反応情報が、第１反応情報か、第２反応情報かを判定する（ステップＳ１４）。配信サーバ２０は、例えば、予め定めた所定のタイミングで視聴者端末１０から受信した反応情報を、第１反応情報と判定する。配信サーバ２０は、例えば、予め定めた所定のタイミングとは異なるタイミングで視聴者端末１０から受信した反応情報を、第２反応情報と判定する。

配信サーバ２０は、第１反応情報と判定した反応情報を用いて、観客音を生成する（ステップＳ１５）。配信サーバ２０は、個々の第１反応情報に基づいて、複数の音信号を生成し、生成した複数の音信号をミキシングし、残響（リバーブ）等の音響信号処理を行うことによって、観客音を生成する。なお、配信サーバ２０は、音響信号処理を行う前、または音響信号処理を行った後の信号に対してボリューム調整してもよい。

配信サーバ２０は、配信情報２２１を決定する（ステップＳ１６）。配信サーバ２０は、ライブ演奏に係る映像や演奏音、及び、ステップＳ１５で生成した観客音を、全ての視聴者に配信すると決定する。配信サーバ２０は、第２反応情報と判定した反応情報を通知してきた視聴者端末１０に対応する視聴者の属性を特定する。ここでの視聴者の属性は、例えば、視聴者が存在する地域や、視聴者が所属するグループである。配信サーバ２０は、特定した視聴者の属性と、同じ属性を持つ他の視聴者に、その第２反応情報を配信する視聴者を決定する。

視聴者端末１０は、ステップＳ１６で決定した配信情報２２１に基づいて、配信先の視聴者端末１０ごとに決定した配信内容を、それぞれの視聴者端末１０に送信する（ステップＳ１７）。

視聴者端末１０のそれぞれは、配信サーバ２０から送信された配信内容を受信し、受信した配信内容を再生する（ステップＳ２１～Ｓ２３）。例えば、視聴者端末１０は、ライブ演奏に係る映像を表示部１４に表示する。また、視聴者端末１０は、ライブ演奏に係る演奏音、及び、観客音をマイク部１６に出力する。また、視聴者端末１０は、第２反応情報が配信された場合、第２反応情報を出力する。例えば、第２反応情報が音である場合には、視聴者端末１０は、その音をマイク部１６に出力する。第２反応情報がテキストデータである場合には、視聴者端末１０は、そのテキストデータに対応するコメントを表示部１４に表示する。

（実施形態の変形例）
ここで、実施形態の変形例について、説明する。本変形例では、（１）分散ネットワークにより配信を行う点、及び、（２）分散ネットワークに対応する視聴者端末１０のグループごとに第２反応情報の配信を行う点、において上述した実施形態と異なる。

図６は、実施形態の変形例に係る配信システム１Ａを説明する図である。図６に示すように、本変形例の配信システム１Ａでは、視聴者端末１０のそれぞれが、分散ネットワークに対応する複数のグループに分類される。例えば、各視聴者端末１０は、視聴者端末１０が存在する地域ごとに分類される。これにより、同じグループに所属する視聴者端末１０のそれぞれの配信遅延を、同程度することが可能である。

以下の説明では、ローカルサーバ２０１に接続される視聴者端末群（視聴者端末１０１－１～１０１－３）を第１グループと称する。ローカルサーバ２０２に接続される視聴者端末群（視聴者端末１０２－１～１０２－３）を第２グループと称する。ローカルサーバ２０３に接続される視聴者端末群（視聴者端末１０３－１～１０３－３）を第３グループと称する。また、以下では、視聴者端末１０１－１～１０１－３、１０２－１～１０２－３、１０３－１～１０３－３を区別しない場合には、視聴者端末１０と称する。また、ローカルサーバ２０１～２０３を区別しない場合には、ローカルサーバ２０Ｎと称する。

図６に示すように、配信システム１Ａでは、配信サーバ２０が、中央サーバ２００と、複数のローカルサーバ２０１～２０３とで構成される。中央サーバ２００と、複数のローカルサーバ２０１～２０３のそれぞれは、通信可能に接続される。ローカルサーバ２０１には、第１グループに対応する視聴者端末群が通信可能に接続される。ローカルサーバ２０２には、第２グループに対応する視聴者端末群が通信可能に接続される。ローカルサーバ２０３には、第３グループに対応する視聴者端末群が通信可能に接続される。

配信システム１Ａでは、例えば、地域ごとにローカルサーバ２０Ｎが設置される。そして、その地域に設置されたローカルサーバ２０Ｎに、その地域に対応するグループの視聴者端末群が接続される。

視聴者端末１０は、自身が接続されるローカルサーバ２０Ｎから配信情報を受信し、そのローカルサーバ２０Ｎに、反応情報を送信する。例えば、視聴者端末１０１－１は、ローカルサーバ２０１から配信情報を受信し、そのローカルサーバ２０１に反応情報を送信する。視聴者端末１０２－２は、ローカルサーバ２０２から配信情報を受信し、そのローカルサーバ２０２に反応情報を送信する。

ローカルサーバ２０Ｎは、取得部２３０と、判定部２３１と、配信部２３３とを備える。取得部２３０は、ローカルサーバ２０Ｎと接続する視聴者端末１０から通知された反応情報を取得する。判定部２３１は、取得部２３０により取得された反応情報が、第１反応情報か、第２反応情報かを判定する。また、判定部２３１は、第２反応情報と判定した反応情報を、ローカルサーバ２０Ｎと接続する視聴者端末１０に配信すると決定する。配信部２３３は、第１反応情報と判定した反応情報を、中央サーバ２００に送信する。

中央サーバ２００は、取得部２３０と、生成部２３２と、配信部２３３とを備える。取得部２３０は、ローカルサーバ２０Ｎから通知された反応情報（第１反応と判定された反応情報）を取得する。生成部２３２は、ローカルサーバ２０Ｎから通知された反応情報を用いて観客音を生成する。配信部２３３は、生成部２３２により生成された観客音を、ローカルサーバ２０Ｎに送信する。

ローカルサーバ２０Ｎは、中央サーバ２００から、ライブ演奏に係る映像や演奏音と共に、観客音を受信する。ローカルサーバ２０Ｎの配信部２３３は、中央サーバ２００から受信したライブ演奏に係る映像や演奏音、観客音を、ローカルサーバ２０Ｎと接続する視聴者端末１０に送信する。また、配信部２３３は、ローカルサーバ２０Ｎの判定部２３１により第２反応情報と判定された反応情報を、ローカルサーバ２０Ｎと接続する視聴者端末１０に送信する。

以上説明したように、実施形態の配信システム１は、複数の視聴者端末１０（端末装置）に対してリアルタイムにコンテンツを配信する配信システムである。配信システム１は、取得部２３０と、判定部２３１と、生成部２３２と、配信部２３３とを備える。取得部２３０は、コンテンツに対する視聴者の反応を示す反応情報を、視聴者端末１０から取得する。判定部２３１は、反応情報が、第１反応情報か、又は第２反応情報かを判定する。第１反応情報は、観客音を生成する情報である。第２反応情報は、観客音を生成しない情報である。観客音は、コンテンツに対する個々の視聴者の反応が統合された音である。生成部２３２は、第１反応情報と判定された反応情報に基づいて、観客音を生成する。配信部２３３は、観客音を、全ての視聴者端末１０に送信し、第２反応情報と判定された反応情報を、一部の視聴者端末１０に送信する。

これにより、実施形態の配信システム１では、観客音を配信することができるので、ライブ配信における視聴者の反応を共有することができる。観客音は、コンテンツに対する個々の視聴者の反応が統合された音であるため、ライブ演奏に対する群衆の反応を配信することができ、ライブ演奏の臨場感を、演者や視聴者に体験させることが可能である。また、配信システム１では、第２反応情報を一部の視聴者に配信することができるので、ライブ演奏と聞きながらも、視聴者は、他の視聴者との交流を深めることが可能である。

また、実施形態の配信システム１では、判定部２３１は、反応情報を取得したタイミングに応じて、反応情報が第１反応情報か、又は第２反応情報かを判定する。これにより、実施形態の配信システム１では、演者からの呼びかけ（コール）に対する応答（レスポンス）など、所定のタイミングで得られる反応を用いて観客音を生成することができる。このため、ライブ演奏を盛り上げるパフォーマンスの過程で得られる視聴者からの反応を観客音にすることができる。したがって、ライブ演奏の臨場感を、演者や視聴者に体験させることが可能である。

また、実施形態の変形例に係る配信システム１Ａでは、分散ネットワークを用いて配信が行われる。ローカルサーバ２０Ｎのそれぞれは、取得部２３０と、判定部２３１と、配信部２３３とを有する。視聴者端末１０１－１（第１端末装置）にコンテンツを送信するローカルサーバ２０１（第１ローカルサーバ）の取得部２３０は、視聴者端末１０１－１からの反応情報を取得する。ローカルサーバ２０１の配信部２３３は、ローカルサーバ２０１の取得部２３０により第１反応情報と判定された反応情報を中央サーバ２００に送信する。また、ローカルサーバ２０１の配信部２３３は、ローカルサーバ２０１の取得部２３０により第２反応情報と判定された反応情報を、視聴者端末１０１－２～１０１－３に送信する。視聴者端末１０１－２～１０１－３は、第１ローカルサーバによるコンテンツの配信先となる端末装置の例である。これにより、実施形態の変形例に係る配信システム１では、分散ネットワークでローカルサーバに接続する視聴者端末のグループごとで、第２反応情報を配信することができる。例えばグループを地域に対応させることで、地域特有の話題を、そのグループに所属する視聴者端末群で共有することができる。

また、上述した実施形態の変形例では、分散ネットワークに対応する視聴者端末１０のグループごと、例えば地域ごとに、第２反応情報を共有する場合を例に説明した。しかしながら、これに限定されない。

例えば、趣味や目的を共有する視聴者のグループがある場合を考える。そのグループを代表する代表者の反応が、そのグループに所属する視聴者に共有されるようにしてもよい。例えば、グループの代表者の視聴者端末１０からの反応情報が配信サーバ２０に通知されると、配信サーバ２０は、その反応情報を第２反応情報と判定する。配信サーバ２０は、視聴者情報２２０などを参照して、そのグループに所属する視聴者を特定し、そのグループに所属する視聴者に、代表者の反応情報を配信する。

また、図１における処理部（制御部２３）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより施工管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記のプログラムを所定のサーバに記憶させておき、他の装置からの要求に応じて、当該プログラムを通信回線を介して配信（ダウンロード等）させるようにしてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・配信システム、１０・・・視聴者端末、２０・・・配信サーバ、１１・・・通信部、１２・・・記憶部、１３・・・制御部、１４・・・表示部、１５・・・入力部、１６・・・マイク部、１７・・・スピーカ部、２１・・・通信部、２２・・・記憶部、２３・・・制御部、２２０・・・視聴者情報、２２１・・・配信情報、２３０・・・取得部、２３１・・・判定部、２３２・・・生成部、２３３・・・配信部

Claims (13)

1. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、
   前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、
   前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定する判定部と、
   前記第１反応情報と判定された場合に、観客音を生成する生成部と、
   前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信する配信部
   を有する配信システム。
2. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、
   前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、
   前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定する判定部と、
   前記第１反応情報と判定された場合に、観客音を生成する生成部と、
   前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信する配信部
   を有する配信システム。
3. 複数の視聴者グループのいずれかに属する複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムであり、
   前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得する取得部と、
   前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定する判定部と、
   前記第１反応情報と判定された場合に、観客音を生成する生成部と、
   前記生成部により生成された前記観客音を前記複数の端末装置のうちの全てに送信する配信部
   を有する配信システム。
4. 前記判定部は、前記反応情報を取得したタイミングに応じて、前記反応情報が前記第１反応情報か、又は前記第２反応情報かを判定する、
   請求項１から請求項３のいずれか一項に記載の配信システム。
5. 前記生成部は、前記第１反応情報と判定された前記反応情報に基づく音信号を生成し、前記生成した音信号をミキシングし、前記ミキシングした音信号に音響信号処理を行うことによって、前記観客音を生成する、
   請求項１から請求項４のいずれか一項に記載の配信システム。
6. 中央サーバ、及び前記中央サーバと接続される複数のローカルサーバのいずれかを介して端末装置に前記コンテンツが送信される分散ネットワークを用いて配信が行われ、
   前記複数のローカルサーバのそれぞれは、前記取得部と、前記判定部と、前記配信部とを有し、
   第１端末装置に前記コンテンツを送信する第１ローカルサーバの前記取得部は、前記第１端末装置からの前記反応情報を取得し、
   前記第１ローカルサーバの前記配信部は、
   前記第１ローカルサーバの前記判定部により前記第１反応情報と判定された前記反応情報を前記中央サーバに送信し、
   前記第１ローカルサーバの前記判定部により前記第２反応情報と判定された前記反応情報を、前記第１ローカルサーバによる前記コンテンツの配信先となる端末装置に送信する、
   請求項１から請求項５のいずれか一項に記載の配信システム。
7. 前記第１ローカルサーバによる前記コンテンツの配信先となる複数の端末装置は、前記端末装置のそれぞれの位置が同じ地域に含まれる端末装置群である、
   請求項６に記載の配信システム。
8. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、
   前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、
   前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定し、
   前記第１反応情報と判定された場合に、観客音を生成し、
   前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信する、
   配信方法。
9. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、
   前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、
   前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定し、
   前記第１反応情報と判定された場合に、観客音を生成し、
   前記観客音を前記複数の端末装置のうちの全てに送信する、
   配信方法。
10. 複数の視聴者グループのいずれかに属する複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータにより実行される配信方法であり、
    前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得し、
    前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、前記第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定し、
    前記第１反応情報と判定された場合に、観客音を生成し、
    前記観客音を前記複数の端末装置のうちの全てに送信する、
    配信方法。
11. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、
    前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、
    前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す第２反応情報かを判定させ、
    前記第１反応情報と判定された場合に、観客音を生成し、
    前記観客音を前記複数の端末装置のうちの全てに送信し、前記第２反応情報を、前記複数の端末装置のうちの一部に送信させる、
    プログラム。
12. 複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、
    前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、
    前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち地域に関する情報が含まれる前記反応情報である第２反応情報かを判定させ、
    前記第１反応情報と判定された場合に、観客音を生成し、
    前記観客音を前記複数の端末装置のうちの全てに送信させる、
    プログラム。
13. 複数の視聴者グループのいずれかに属している複数の端末装置に対してリアルタイムにコンテンツを配信する配信システムにおいて用いられるコンピュータに、
    前記コンテンツに対する視聴者の反応を示す反応情報を、前記視聴者の端末装置から取得させ、
    前記反応情報が、所定数以上の前記視聴者からの反応を示す第１反応情報か、第１反応情報とは異なる反応情報であって前記所定数未満の前記視聴者からの反応を示す情報のうち前記複数の視聴者グループのそれぞれに属する端末装置群から選択された代表端末からの反応を示す情報である第２反応情報かを判定させ、
    前記第１反応情報と判定された場合に、観客音を生成し、
    前記観客音を前記複数の端末装置のうちの全てに送信させる、
    プログラム。

Images