JP7217725B2 - 音声コンテンツ配信システム - Google Patents

Description

本発明は、仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムに関する。

従来から、仮想現実空間における音響技術として、音源場所が特定できるように左右の耳に入る音に時間差、音量差を与えることに加え、耳介や体の反射の影響による音の変化をモデル化した立体音響を再現できる音場再現技術が知られている。仮想現実空間上で音源との距離や方向性を認知させるような音声を用いることにより、現実世界と同じような体感ができる効果がある。

また、仮想現実空間作成時における音響効果のＳＤＫ（ソフトウェア開発キット）として、建築物の内装や環境の構成物のオブジェクトにマテリアルマッピング（物体の材質を規定することで反響や減衰を計算）された情報をタグ付けするだけで、立体音響空間を構築できるものがある。

"Ｏｃｕｌｕｓ Ａｕｄｉｏ ＳＤＫ"，［ｏｎｌｉｎｅ］，２０１９年２月１１日，［２０２０年６月１７日検索］，インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｍｏｇｕｒａｖｒ．ｃｏｍ／ｏｃｕｌｕｓ－ａｕｄｉｏ－ｓｄｋ－ｕｐｄａｔｅ＞ "Ｒｅｓｏｎａｎｃｅ Ａｕｄｉｏ"，［ｏｎｌｉｎｅ］，２０１８年４月２０日，［２０２０年６月１７日検索］，インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒｓ－ｊｐ．ｇｏｏｇｌｅｂｌｏｇ．ｃｏｍ／２０１８／０４／ｒｅｓｏｎａｎｃｅ－ａｕｄｉｏ－ｇｏｅｓ－ｏｐｅｎ－ｓｏｕｒｃｅ．ｈｔｍｌ＞

近年では、上述したような立体音響が実装される仮想現実空間が徐々に増えつつあるが、リッチ化する仮想現実空間上のビジュアル面と比較して、仮想現実空間ならではの音響への取り組みが不足している状況がある。すなわち、従来の仮想現実空間における音響技術、たとえば、リアルな立体音響の追及は、現実世界の音響体験の再現を目標としている。一方で、音響制御が完全可能な空間であるという仮想現実空間のメリットが十分に活用されていないという状況がある。

本発明は、以上のような点を考慮してなされたものである。本発明の目的は、仮想現実空間において最適化された音声コンテンツ体験をユーザに提供することができる仕組みを提供することにある。

本発明の第１の態様に係る音声コンテンツ配信システムは、
仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムであって、
サーバ装置と、前記サーバ装置と通信可能なユーザ端末と、を備え、
前記サーバ装置は、
配信元から音声データを取得する音声データ取得部と、
前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と音量設定情報とを付加して、適切な音量の音声コンテンツデータを生成する音声コンテンツデータ生成部と、
前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信する音声コンテンツデータ配信部と、
を有し、
前記ユーザ端末は、
前記サーバ装置から前記音声コンテンツデータを受信する音声コンテンツデータ受信部と、
前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力する音声データ出力制御部と、
を有する。

このような態様によれば、音声コンテンツを配信する際に、配信元から取得した音声データに、配信対象のターゲットやコンテンツ内容に応じて、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と音量設定情報とを付加することで、ユーザに対して適切な音量の音声データを、仮想現実空間内での反響や減衰が反映されたリアルな立体音響で出力することに加えて、距離による音の減衰がなく、指向性を完全制御できる人工的な音響（リアルな世界では発生し得ない音響）で出力することが可能となる。リアルな立体音響での出力により、音声データが自然に聞こえるようになる。他方、減衰しない人工的な音響により、音声データが人間には違和感がある聞こえ方になり、気づきやすくなるため、音声コンテンツの明瞭な伝達が可能となる。したがって、従来の仮想現実空間内で実施されていた音声配信よりも高品質かつ効果的に音声コンテンツを配信し、最適化された音声コンテンツ体験をユーザに提供することができる。

本発明の第２の態様に係る音声コンテンツ配信システムは、第１の態様に係る音声コンテンツ配信システムであって、
前記音声コンテンツデータ生成部は、前記音声データに、前記音響効果設定情報に加えて、ターゲットを特定するためのターゲット情報を付加して前記音声コンテンツデータを生成し、
前記音声データ出力制御部は、前記音声コンテンツデータに含まれる前記ターゲット情報に基づいて、ユーザが操作するアバターがターゲットに該当するか否かを判定し、ターゲットに該当すると判定された場合に、前記音声データの出力を行う。

このような態様によれば、音声コンテンツを配信する際に、配信元から取得した音声データに、音響効果設定情報に加えて、ターゲット情報を付加することで、配信対象のターゲットやコンテンツ内容に応じて、より細やかな音声コンテンツの配信が可能となる。

本発明の第３の態様に係る音声コンテンツ配信システムは、第２の態様に係る音声コンテンツ配信システムであって、
前記ターゲット情報は、前記仮想現実空間内におけるエリアを特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記エリア内に位置する場合に、ターゲットに該当すると判定する。

このような態様によれば、特定のエリア向けの配信が可能となる。

本発明の第４の態様に係る音声コンテンツ配信システムは、第２または３の態様に係る音声コンテンツ配信システムであって、
前記ターゲット情報は、アバターの人数を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記仮想現実空間内において他のアバターとあわせて前記人数以上で集合している場合に、ターゲットに該当すると判定する。

このような態様によれば、群衆向けの配信が可能となる。

本発明の第５の態様に係る音声コンテンツ配信システムは、第２～４のいずれかの態様に係る音声コンテンツ配信システムであって、
前記ターゲット情報は、アバターの属性を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記属性を有する場合に、ターゲットに該当すると判定する。

このような態様によれば、特定のアバター向けの配信が可能となる。

本発明の第６の態様に係る音声コンテンツ配信システムは、第２～５のいずれかの態様に係る音声コンテンツ配信システムであって、
前記ターゲット情報は、前記仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記環境状態にある場合に、ターゲットに該当すると判定する。

このような態様によれば、時間や状況、場所などの特定の環境状態に起因した（特定の環境状態をトリガーにした）配信が可能となる。

本発明の第７の態様に係る音声コンテンツ配信システムは、第１～６のいずれかの態様に係る音声コンテンツ配信システムであって、
前記音声コンテンツデータ生成部は、前記音響効果設定情報として、前記仮想現実空間内での音の反響および減衰を反映させないという設定を行う場合に、前記仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性を設定可能である。

このような態様によれば、減衰しない人工的な音響で音声データを配信する際に、距離および／または指向性を限定することで、私的内容や秘匿性情報の配信が可能となる。

本発明の第８の態様に係る音声コンテンツ配信システムは、第１～７のいずれかの態様に係る音声コンテンツ配信システムであって、
前記サーバ装置は、前記ユーザ端末において音声データが出力されたことを検知し、その秒数および／または回数に基づいて前記ユーザに付与する広告料を算出する広告料算出部を更に有する。

本発明の第９の態様に係るサーバ装置は、
仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムを構成するサーバ装置であって、
配信元から音声データを取得する音声データ取得部と、
前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報を付加して音声コンテンツデータを生成する音声コンテンツデータ生成部と、
前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信する音声コンテンツデータ配信部と、
を有する。

本発明の第１０の態様に係るユーザ端末は、
仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムを構成するユーザ端末であって、
音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報が付加された音声コンテンツデータを受信する音声コンテンツデータ受信部と、
前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力する音声データ出力制御部と、
を有する。

本発明の第１１の態様に係る音声コンテンツ配信方法は、
仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信方法であって、
配信元から音声データを取得するステップと、
前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報を付加して音声コンテンツデータを生成するステップと、
前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信し、当該ユーザ端末において前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力させるステップと、
を含む。

本発明によれば、仮想現実空間において最適化された音声コンテンツ体験をユーザに提供することができる。

図１は、一実施の形態に係る音声コンテンツ配信システムの概略的な構成を示す図である。 図２は、サーバ装置の構成を示すブロック図である。 図３は、ユーザ端末の構成を示すブロック図である。 図４は、ターゲット情報の種別を説明するためのテーブルである。 図５は、音声コンテンツデータの構造の一例を示す図である。 図６は、仮想現実空間における音響効果と音声コンテンツの活用事例を説明するためのテーブルである。 図７は、配信音声コンテンツ配信システムの動作の一例（プッシュ型配信）を示すフローチャートである。 図８は、配信音声コンテンツ配信システムの動作の別例（プル型配信）を示すフローチャートである。

以下に、添付の図面を参照して、実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。

図１は、一実施の形態に係る音声コンテンツ配信システム１の概略的な構成を示す図である。音声コンテンツ配信システム１は、仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信するシステムである。

図１に示すように、音声コンテンツ配信システム１は、サーバ装置２と、複数のユーザ端末３とを有している。サーバ装置２と複数のユーザ端末３とは、インターネット等のネットワークＮＷを介して互いに通信可能に接続されている。ネットワークＮＷは、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。なお、サーバ装置２とユーザ端末３の少なくとも一部は、コンピュータにより実現される。

まず、サーバ装置２について説明する。図示された例では、サーバ装置２は、１台のコンピュータから構成されているが、これに限定されるものではなく、ネットワークを介して互いに通信可能に接続された複数台のコンピュータから構成されていてもよい。

図２は、サーバ装置２の構成を示すブロック図である。図２に示すように、サーバ装置２は、サーバ通信部２１と、サーバ制御部２２と、サーバ記憶部２３とを有している。各部２１～２３は、バスやネットワークを介して互いに通信可能に接続されている。

このうちサーバ通信部２１は、サーバ装置２とネットワークＮＷとの間の通信インターフェースである。サーバ通信部２１は、ネットワークＮＷを介してサーバ装置２と各ユーザ端末３との間で情報を送受信する。

サーバ記憶部２３は、たとえばフラッシュメモリ等の不揮発性データストレージある。サーバ記憶部２３には、サーバ制御部２２が取り扱う各種データが記憶される。たとえば、サーバ記憶部２２は、ユーザ情報データベース２３１と、音声コンテンツデータデータベース２３２とを含んでいる。

図１を参照し、ユーザ情報データベース２３１には、ユーザごとに、当該ユーザのアカウント情報（たとえば、ユーザＩＤ、パスワード、ユーザが操作可能なアバター情報、広告料が入金される口座情報など）が記憶される。

音声コンテンツデータデータベース２３２には、仮想現実空間内においてユーザが操作するアバターに配信されるべき音声コンテンツデータが記憶される。音声コンテンツデータデータベース２３２には、音声コンテンツデータごとに、提供元により指定される各種設定情報（たとえば、配信期間、配信数、料金情報（有料／無料）、ターゲットのアバター属性、忌避事項など）が記憶されてもよい。ここで、音声コンテンツが有料である場合は、たとえば事前のチケット購入などの毎回の発券システムであってもよいし、月額課金などのサブスクリプションであってもよい。また、音声コンテンツが有料である場合は、当該音声コンテンツの続きが聞ける、繰り返して聞けるなどの特典の付与などがあってもよい。

図２に示すように、サーバ制御部２２は、音声データ取得部２２１と、音声コンテンツデータ生成部２２２と、音声コンテンツデータ配信部２２３と、広告料算出部２２４とを有している。これらの各部２２１～２２４は、サーバ装置２内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

音声データ取得部２２１は、配信元から音声データを取得する。たとえば、仮想現実空間内のオブジェクト（看板、人形、ドローンなど）から音声で広告が配信される場合には、音声データ取得部２２１は、当該広告を提供する広告主（すなわち配信元）から音声データを取得してもよい。また、たとえば、仮想現実空間内においてアバター同士が音声で会話を行う場合には、音声データ取得部２２１は、当該アバターを操作するユーザ（すなわち配信元）からユーザ端末の端末入力部（たとえばマイクロフォン）を介して音声データを取得してもよい。

音声コンテンツデータ生成部２２２は、音声データ取得部２２１により取得された音声データに、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と音量設定情報とを付加して、適切な音量の音声コンテンツデータを生成する。

音声コンテンツデータ生成部２２２は、音響効果設定情報として、仮想現実空間内での音の反響および減衰を反映させないという設定を行う場合には、仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性を設定可能であってもよい。

音声コンテンツデータ生成部２２２は、音声データ取得部２２１により取得された音声データに、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と音量設定情報に加えて、ターゲットを特定するためのターゲット情報を付加して、適切な音量の音声コンテンツデータを生成してもよい。ここで、ターゲット情報は、（１）仮想現実空間内におけるエリアを特定する情報、（２）アバターの人数を特定する情報、（３）アバターの属性を特定する情報、（４）仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報、のうちの１つまたは２つ以上を含んでいてもよい。

図４は、ターゲット情報の種別を説明するためのテーブルである。ターゲット情報が「（１）仮想現実空間内におけるエリアを特定する情報」を含む場合には、全ワールドレベルから最少のエリアまで配信が行われるエリアの設定が可能であり、すなわち特定エリア向け配信が可能である。エリアは、複数設定可能であってもよいし、可変であってもよい。また、エリア内に複数の異なる配信が可能であってもよい。

ターゲット情報が「（２）アバターの人数を特定する情報」を含む場合には、アバターがある複数や一定数集合している状態に対して、自動モニタリングで感知して、配信することが可能であり、すなわち群衆向け配信が可能である。群衆向け配信では、非特定のアバターが想定される。

ターゲット情報は「（３）アバターの属性を特定する情報」を含む場合には、アバターの趣味嗜好、属性を自動でモニタリングして、特定のアバターに対してピンポイントで配信することが可能であり、すなわち特定アバター向け配信が可能である。特定アバター向け配信では、一人のアバターを指定可能であってもよいし、複数のアバターを指定可能であってもよい。

ターゲット情報が「（４）仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報」を含む場合には、仮想現実空間内の時間や状況、場所など特定の環境状態をトリガーとして配信することが可能であり、すなわち時間や状況、場所などの特定のイベントに起因した配信が可能である。たとえば、ランチタイムにハンバーガー販売店の広告が配信されるなどの指定が可能である。

図５は、音声コンテンツデータの構造の一例を示す図である。図５に示す例では、ＩＰ電話での音声パケット構造（ＶｏＩＰ）が想定されており、音声コンテンツデータは、ＩＰヘッダと、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）と、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）と、ヘッダ情報と、音声データとから構成されており、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と、ターゲットを特定するためのターゲット情報とは、ヘッダ情報に格納される。

音声コンテンツデータ生成部２２２により音声データに付加される音響効果設定情報およびターゲット情報は、配信元からの指定により手動で設定されてもよいし、配信対象のターゲットやコンテンツ内容に応じて自動で設定されてもよい。たとえば、特定のアバターに向けたピンポイントでの配信においては、配信先のアバターの耳や体の位置、向き、姿勢、視線などを把握し、それらに応じて最適な形、音量で音声データが出力されるよう、音響効果設定情報や音量設定情報、ターゲット情報が自動で設定されてもよい。

音声コンテンツデータ生成部２２２により生成された音声コンテンツデータは、音声コンテンツデータデータベース２３２に記憶されてもよい。

音声コンテンツデータ配信部２２３は、音声コンテンツデータ生成部２２２により生成された音声コンテンツデータを、仮想現実空間内でアバターを操作するユーザのユーザ端末３にネットワークＮＷを介して配信する。仮想現実空間内ということもあり、固定点への配信はもちろん、たとえば配信ターゲットであるアバターが仮想現実空間内で移動中の状態であっても、音声コンテンツが追従し、適切な音量で途切れることのないストリーミング配信が可能である。

広告料算出部２２４は、音声データが広告である場合に、ユーザ端末３において音声データが出力されたことを検知し、音声データが出力された秒数および／または回数に基づいて、当該ユーザ端末３を操作するユーザに付与する広告料を算出する。ここで、「広告料」は、仮想現実空間での支払いに使えるクーポンやポイント、電子マネー、仮想通貨などであってもよいし、現実世界での支払いに使えるクーポンやポイント、電子マネー、仮想通貨、現金などであってもよい。広告料算出部２２４は、ユーザ端末３に広告料の情報を送信するときに、配信のセットリストや広告一覧などを一緒に送信し、端末表示部３４にて提示させてもよい。これにより、広告を聴取したユーザが直ちに購入行動へ繋げられるようになる。

次に、ユーザ端末３について説明する。ユーザ端末３は、ユーザが使用するものであり、たとえばヘッドマウントディスプレイ（ＨＭＤ）、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末などである。

図３は、ユーザ端末３の構成を示すブロック図である。図３に示すように、ユーザ端末３は、端末通信部３１と、端末制御部３２と、端末入力部３３と、端末表示部３４と、端末音声出力部３５とを有している。各部３１～３５は、バスを介して互いに通信可能に接続されている。

端末通信部３１は、ユーザ端末３とネットワークＮＷとの間の通信インターフェースである。端末通信部３１は、ネットワークＮＷを介してユーザ端末３とサーバ装置２との間で情報を送受信する。

端末入力部３３は、ユーザがユーザ端末３に情報を入力するためのインターフェースであり、たとえばヘッドマウントディスプレイにおけるハンドヘルドコントローラ、スマートフォンやタブレット端末におけるタッチパネルやマイクロフォン、パーソナルコンピュータにおけるタッチパッド、キーボードまたはマウスなどである。ここで、ヘッドマウントディスプレイにおけるハンドヘルドコントローラは、少なくとも１つの操作ボタンを有し、コントローラの向きや動き（加速、回転等）を検出する種々のセンサを内蔵していてもよい。端末入力部３３からの操作入力により、ユーザは、仮想現実空間内でアバターを移動させたり発話させたりすることができる。

端末表示部３４は、ユーザ端末３からユーザに対して各種情報を表示するインターフェースであり、たとえば液晶ディスプレイ等の映像表示手段である。ユーザ端末３がヘッドマウントディスプレイの場合には、端末表示部３４は、ユーザの頭部に装着され、ユーザの両眼の視野を覆うタイプの映像表示手段である。ヘッドマウントディスプレイを装着したユーザは、端末表示部３４に表示された映像を見ることができる。端末表示部３４には、静止画、動画、文書、ホームページその他任意のオブジェクト（電子ファイル）が表示される。端末表示部３４の表示態様に特に制限はなく、奥行きを持った仮想空間（仮想現実空間）の任意の位置にオブジェクトが表示される態様でもよいし、仮想平面の任意の位置にオブジェクトが表示される態様でもよい。

端末音声出力部３５は、ユーザ端末３からユーザに対して各種情報を音（音波または骨伝導）で出力するインターフェースであり、たとえばイヤホンやヘッドホン、スピーカーなどである。

図３に示すように、端末制御部３２は、音声コンテンツデータ受信部３２１と、音声データ出力制御部３２２とを有している。これらの各部３２１、３２２は、ユーザ端末３内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。

音声コンテンツデータ受信部３２１は、サーバ装置２から送信された音声コンテンツデータを、端末通信部３１を介して受信する。

音声データ出力制御部３２２は、音声コンテンツデータ受信部３２１により受信された音声コンテンツデータから音声データと音響効果設定情報とを抽出し、音声コンテンツデータに格納された音声データを音響効果設定情報に応じた音響効果で、端末音声出力部３５を介して出力する。すなわち、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させること（以下「立体音響」ともいう）が設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内における音源とアバターとの間の距離やマテリアルマッピングされたオブジェクトの形状・配置に基づいて、音源からアバターまでの空間での音の反響および／または減衰を計算し、当該計算結果を反映した音響効果（立体音響）で音声データを端末音声出力部３５から出力する。これにより、ユーザにとって音声データが自然に（リアルに）聞こえるようになる。

他方、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないこと（以下「減衰しない人工的な音響」ともいう）が設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内での音の反響および減衰を反映させずに、音声データを端末音声出力部３５から出力する。これにより、反響や減衰がない人工的な音響（リアルな世界では発生し得ない音響）で音声データが出力されることになるため、ユーザにとって違和感がある聞こえ方になり、気づきやすくなる。したがって、音声コンテンツの明瞭な伝達が可能となる。

音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないこと（すなわち「減衰しない人工的な音響」）が設定されている場合であって、仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性が設定されている場合には、音声データ出力制御部３２２は、音源に対するアバターの現在位置が、設定された距離および／または指向性の条件を満たすか否かを判定し、条件を満たすと判定された場合には、音の反響または減衰を反映させることなく音声データを端末音声出力部３５から出力する。他方、条件を満たさないと判定された場合には、音声データ出力制御部３２２は、端末音声出力部３５を介した音声データの出力を行わない。

また、音声コンテンツデータ受信部３２１により受信された音声コンテンツデータにターゲット情報が格納されている場合には、音声データ出力制御部３２２は、音声コンテンツデータに含まれるターゲット情報に基づいて、ユーザが操作するアバターがターゲットに該当するか否かを判定する。

たとえば、ターゲット情報が「（１）仮想現実空間内におけるエリアを特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定のエリア内に位置する場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（２）アバターの人数を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが仮想現実空間内において他のアバターとあわせて当該特定の人数以上で集合している場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（３）アバターの属性を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定の属性を有する場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（４）仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定の環境状態にある場合に、ターゲットに該当すると判定する。

そして、音声データ出力制御部３２２は、ユーザが操作するアバターがターゲットに該当すると判定した場合に、音声コンテンツデータに格納された音声データを音響効果設定情報に応じた音響効果で端末音声出力部３５を介して出力する。他方、音声データ出力制御部３２２は、ユーザが操作するアバターがターゲットに該当しないと判定した場合には、端末音声出力部３５を介した音声データの出力を行わない。

図６は、仮想現実空間における音響効果と音声コンテンツの活用事例を説明するためのテーブルである。たとえば、「音楽」や「ラジオ」などのコンテンツをさらに楽しむための「立体音響」や、広告やパーソナルコミュニケーション、公共性の高い告知や注意喚起に向く「減衰しない人工的な音響」などが活用事例として考えられる。音声コンテンツはライブ配信も可能である。

具体的には、たとえば、図６に示すように、コンサート配信の音声コンテンツについては、音声データに付加される音響効果として「立体音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、仮想現実空間内でリアルなコンサートホールの座席に着席したようなイメージで臨場感のある音楽を楽しむ体験が可能となる。また、たとえば、コンサート配信／オーディオ試聴の音声コンテンツについては、音声データに付加される音響効果として「立体音響」が設定され、ターゲットとして「特定アバター向け」が設定されることで、仮想現実空間内でどこにいても、７．１ｃｈサラウンド効果を体感できる「ベストシート」でリッチに音楽を楽しむ体験が可能となる。

また、たとえば、ラジオ配信の音声コンテンツについては、音声データに付加される音響効果として「立体音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、仮想現実空間内の屋内外でリアルなラジオ試聴と変わらない試聴体験が可能となり、移動中も聴取可能となる。また、たとえば、ＢＧＭ（有線放送）の音声コンテンツについては、音声データに付加される音響効果として「立体音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、仮想現実空間内の屋内でリアルな有線試聴と変わらない試聴体験が可能となる。

また、たとえば、音声広告の音声コンテンツについては、音声データに付加される音響効果として「減衰しない人工的な音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、仮想現実空間におけるラジオＣＭのような位置づけでの配信が可能となり、立体音響とは異なる聞こえ方での音声広告により聴取機会と認知の向上が可能となる。また、たとえば、公共的な日常情報の音声コンテンツについては、音声データに付加される音響効果として「減衰しない人工的な音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、仮想現実空間内での時報、天気予報、ニュース、サーバーメンテナンスなどの公共性の高い情報通知が可能となる。

また、たとえば、公共的な緊急情報の音声コンテンツについては、音声データに付加される音響効果として「減衰しない人工的な音響」が設定され、ターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、緊急地震速報などの緊急性の高い注意喚起が可能となる。また、たとえば、個人向けの私信の音声コンテンツについては、音声データに付加される音響効果として「減衰しない人工的な音響」が設定され、ターゲットとして「特定アバター向け」が設定されることで、個人向けの私信の配信が可能となり、またターゲットとして「特定エリア向け」、「群衆向け」または「特定アバター向け」が設定されることで、配信だけでなく、チャット的利用も可能となる。

次に、このような構成からなる音声コンテンツ配信システム１の動作の一例について、図７を参照して説明する。図７は、音声コンテンツ配信システム１の動作の一例（プッシュ型配信）を示すフローチャートである。

図７に示すように、本実施の形態に係る音声コンテンツ配信システム１を用いる場合、まず、ユーザ端末３にてログイン情報が入力されると（ステップＳ１０）、入力されたログイン情報がユーザ端末３からサーバ装置２へ送信され（ステップＳ１１）、サーバ装置２にてユーザ認証の処理が行われる（ステップＳ１２）。ユーザ認証が成功すると、サーバ装置２からユーザ端末３にログイン許可が送られる（ステップＳ１３）。

次に、ログイン許可されたユーザがユーザ端末３を操作し、仮想現実空間でアバターを生成すると（ステップＳ１４）、ユーザが操作するアバターのアバター情報（アバター属性など）がユーザ端末３からサーバ装置２へ送信され（ステップＳ１５）、サーバ装置２にてアバター情報の確認（たとえばアバター属性が、広告主により指定されたアバター属性と一致していることの確認）が行われる（ステップＳ１６）。

次に、サーバ装置２の音声データ取得部２２１が、配信元（たとえば広告主）から音声データを取得する（ステップＳ１７）。

次いで、音声コンテンツデータ生成部２２２が、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報や、ターゲットを特定するためのターゲット情報の設定を行う（ステップＳ１８）。音声コンテンツデータ生成部２２２は、音響効果設定情報として、仮想現実空間内での音の反響および減衰を反映させないという設定を行う場合には、仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性をさらに設定してもよい。また、ターゲット情報は、（１）仮想現実空間内におけるエリアを特定する情報、（２）アバターの人数を特定する情報、（３）アバターの属性を特定する情報、（４）仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報、のうちの１つまたは２つ以上を含んでいてもよい。

そして、音声コンテンツデータ生成部２２２は、音声データ取得部２２１により取得された音声データに、音響効果設定情報や音量設定情報、ターゲット情報を付加して、適切な音量の音声コンテンツデータを生成する（ステップＳ１９）。生成された音声コンテンツデータは、音声コンテンツデータデータベース２３２に記憶される。

次いで、音声コンテンツデータ配信部２２３が、音声コンテンツデータ生成部２２２により生成された音声コンテンツデータを、仮想現実空間内でアバターを操作するユーザのユーザ端末３にネットワークＮＷを介して配信し、ユーザ端末３において音声コンテンツデータ受信部３２１が、当該音声コンテンツデータを受信する（ステップＳ２０）。

音声データ出力制御部３２２は、音声コンテンツデータ受信部３２１により受信された音声コンテンツデータからターゲット情報を抽出し、当該ターゲット情報に基づいて、ユーザが操作するアバターがターゲットに該当するか否かを判定する（ステップＳ２１）。たとえば、ターゲット情報が「（１）仮想現実空間内におけるエリアを特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定のエリア内に位置する場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（２）アバターの人数を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが仮想現実空間内において他のアバターとあわせて当該特定の人数以上で集合している場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（３）アバターの属性を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定の属性を有する場合に、ターゲットに該当すると判定する。また、たとえば、ターゲット情報が「（４）仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報」を含んでいる場合には、音声データ出力制御部３２２は、ユーザが操作するアバターが当該特定の環境状態にある場合に、ターゲットに該当すると判定する。

そして、ユーザが操作するアバターがターゲットに該当すると判定された場合に（ステップＳ２１：ＹＥＳ）、音声データ出力制御部３２２は、音声コンテンツデータに格納された音声データを音響効果設定情報に応じた音響効果で端末音声出力部３５を介して出力する（ステップＳ２２）。たとえば、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させることが設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内における音源とアバターとの間の距離やマテリアルマッピングされたオブジェクトの形状・配置に基づいて、音源からアバターまでの空間での音の反響および／または減衰を計算し、当該計算結果を反映した音響効果（立体音響）で音声データを端末音声出力部３５から出力する。他方、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないことが設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内での音の反響および減衰を反映させずに、音声データを端末音声出力部３５から出力する。

音声データ出力制御部３２２による音声データの出力が行われると、ユーザ端末３からサーバ装置２に音声データの視聴開始通知が送信される（ステップＳ２３）。サーバ装置２の広告料算出部２２４は、ユーザ端末３から送信される視聴開始通知を受信することで、当該ユーザ端末３に音声コンテンツが到達し、音声データが出力されたことを確認（検知）する（ステップＳ２４）。

そして、広告料算出部２２４は、ユーザ端末３において音声データが出力された秒数および／または回数を計算し、当該秒数および／または回数に基づいて、当該ユーザ端末３を操作するユーザに付与する広告料を算出し（ステップＳ２５）、サーバ装置２からユーザ端末３に当該広告料の情報が送られる（ステップＳ２６）。

以上のような本実施の形態によれば、音声コンテンツを配信する際に、配信元から取得した音声データに、配信対象のターゲットやコンテンツ内容に応じて、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報と音量設定情報とを付加することで、ユーザに対して適切な音量の音声データを、仮想現実空間内での反響や減衰が反映されたリアルな立体音響で出力することに加えて、距離による音の減衰がなく、指向性を完全制御できる人工的な音響（リアルな世界では発生し得ない音響）で出力することが可能となる。リアルな立体音響での出力により、音声データが自然に聞こえるようになる。他方、減衰しない人工的な音響により、音声データが人間には違和感がある聞こえ方になり、気づきやすくなるため、音声コンテンツの明瞭な伝達が可能となる。したがって、従来の仮想現実空間内で実施されていた音声配信よりも高品質かつ効果的に音声コンテンツを配信し、最適化された音声コンテンツ体験をユーザに提供することができる。

また、本実施の形態によれば、音声コンテンツを配信する際に、配信元から取得した音声データに、音響効果設定情報に加えて、ターゲット情報を付加することで、配信対象のターゲットやコンテンツ内容に応じて、より細やかな音声コンテンツの配信が可能となる。たとえば、音声データに、ターゲット情報として、仮想現実空間内におけるエリアを特定する情報を付加することで、特定のエリア向けの配信が可能となる。また、音声データに、ターゲット情報として、アバターの人数を特定する情報を付加することで、群衆向けの配信が可能となる。また、音声データに、ターゲット情報として、アバターの属性を特定する情報を付加することで、特定のアバター向けの配信が可能となる。また、音声データに、ターゲット情報として、仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報を付加することで、時間や状況、場所などの特定の環境状態に起因した（特定の環境状態をトリガーにした）配信が可能となる。

また、本実施の形態によれば、音響効果設定情報として、仮想現実空間内での音の反響および減衰を反映させないという設定を行う場合に、仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性を設定（限定）することで、私的内容や秘匿性情報の配信が可能となる。

なお、上述した実施の形態では、音声コンテンツ配信システム１の動作の一例として、サーバ装置２から一方的に配信するプッシュ型配信について説明したが、本発明はプッシュ型配信に限定されるものではなく、ユーザ端末３から配信をリクエストするプル型配信であってもよいし、たとえば個人チャットやグループチャット、もしくはトランシーバーのようにアバター同士やワールドとの双方向性を持った配信であってもよい。

図８は、音声コンテンツ配信システム１の動作の別例（プル型配信）を示すフローチャートである。図８に示す例において、ユーザ端末３にてログイン情報が入力される工程からサーバ装置２にてアバター情報の確認が行われる工程（ステップＳ１０～Ｓ１６）までは、上述した実施の形態と同様であり、詳細な説明を省略する。

図８に示すように、仮想現実空間内でアバターを操作するユーザが、ユーザ端末３の端末入力部３３を介して、音楽やラジオなどの音声コンテンツのリクエスト操作を行うと（ステップＳ３０）、ユーザ端末３からサーバ装置２にリクエスト情報が送信され（ステップＳ３１）、サーバ装置２の音声データ取得部２２１が、ユーザ端末３から送られたリクエスト情報に応じて、配信元から音声データを取得する（ステップＳ１７）。

次いで、音声コンテンツデータ生成部２２２が、仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報や、ターゲットを特定するためのターゲット情報の設定を行う（ステップＳ１８）。

そして、音声コンテンツデータ生成部２２２は、音声データ取得部２２１により取得された音声データに、音響効果設定情報や音量設定情報、ターゲット情報を付加して、適切な音量の音声コンテンツデータを生成する（ステップＳ１９）。生成された音声コンテンツデータは、音声コンテンツデータデータベース２３２に記憶される。

次いで、音声コンテンツデータ配信部２２３が、音声コンテンツデータ生成部２２２により生成された音声コンテンツデータを、仮想現実空間内でアバターを操作するユーザのユーザ端末３にネットワークＮＷを介して配信し、ユーザ端末３において音声コンテンツデータ受信部３２１が、当該音声コンテンツデータを受信する（ステップＳ２０）。

音声データ出力制御部３２２は、音声コンテンツデータ受信部３２１により受信された音声コンテンツデータからターゲット情報を抽出し、当該ターゲット情報に基づいて、ユーザが操作するアバターが音声コンテンツのターゲットに該当するか否かを判定する（ステップＳ２１）。

そして、ユーザが操作するアバターがターゲットに該当すると判定された場合に（ステップＳ２１：ＹＥＳ）、音声データ出力制御部３２２は、音声コンテンツデータに格納された音声データを音響効果設定情報に応じた音響効果で端末音声出力部３５を介して出力する（ステップＳ２２）。たとえば、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させることが設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内における音源とアバターとの間の距離やマテリアルマッピングされたオブジェクトの形状・配置に基づいて、音源からアバターまでの空間での音の反響および／または減衰を計算し、当該計算結果を反映した音響効果（立体音響）で音声データを端末音声出力部３５から出力する。他方、音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないことが設定されている場合には、音声データ出力制御部３２２は、仮想現実空間内での音の反響および減衰を反映させずに、音声データを端末音声出力部３５から出力する。

音声データ出力制御部３２２による音声データの出力が行われると、ユーザ端末３からサーバ装置２に音声データの視聴開始通知が送信される（ステップＳ２３）。サーバ装置２の広告料算出部２２４は、ユーザ端末３から送信される視聴開始通知を受信することで、当該ユーザ端末３に音声コンテンツが到達し、音声データが出力されたことを確認（検知）する（ステップＳ２４）。

次に、仮想現実空間内でアバターを操作するユーザが、ユーザ端末３の端末入力部３３を介して、音声コンテンツの視聴終了操作を行うと（ステップＳ３２）、ユーザ端末３からサーバ装置２に視聴終了通知が送信される（ステップＳ３１）。サーバ装置２の広告料算出部２２４は、ユーザ端末３から送信される視聴終了通知を受信することで、当該ユーザ端末３にて音声データの出力が停止されたことを検知し、ユーザ端末３において音声データが出力された秒数および／または回数を計算する。そして、広告料算出部２２４は、音声データが出力された秒数および／または回数に基づいて、ユーザ端末３を操作するユーザに付与する広告料を算出し（ステップＳ２５）、サーバ装置２からユーザ端末３に当該広告料の情報が送られる（ステップＳ２６）。

なお、上述した実施の形態の記載ならびに図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の記載または図面の開示によって特許請求の範囲に記載された発明が限定されることはない。上述した実施の形態の構成要素は、発明の主旨を逸脱しない範囲で任意に組み合わせることが可能である。

また、本実施の形態に係る広告表示システム１の少なくとも一部はコンピュータによって構成され得るが、コンピュータに広告表示システム１の少なくとも一部を実現させるためのプログラム及び当該プログラムを非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）に記録したコンピュータ読取可能な記録媒体も、本件の保護対象である。

１ 音声コンテンツ配信システム
２ サーバ装置
２１ サーバ通信部
２２ サーバ制御部
２２１ 音声データ取得部
２２２ 音声コンテンツデータ生成部
２２３ 音声コンテンツデータ配信部
２２４ 広告料算出部
２３ サーバ記憶部
２３１ ユーザ情報データベース
２３２ 音声コンテンツデータデータベース
３ ユーザ端末
３１ 端末通信部
３２ 端末制御部
３２１ 音声コンテンツデータ受信部
３２２ 音声データ出力制御部
３３ 端末入力部
３４ 端末表示部
３５ 端末音声出力部

Claims (11)

1. 仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムであって、
   サーバ装置と、前記サーバ装置と通信可能なユーザ端末と、を備え、
   前記サーバ装置は、
   配信元から音声データを取得する音声データ取得部と、
   前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報を付加して音声コンテンツデータを生成する音声コンテンツデータ生成部と、
   前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信する音声コンテンツデータ配信部と、
   を有し、
   前記ユーザ端末は、
   前記サーバ装置から前記音声コンテンツデータを受信する音声コンテンツデータ受信部と、
   前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力する音声データ出力制御部と、
   を有する
   ことを特徴とする音声コンテンツ配信システム。
2. 前記音声コンテンツデータ生成部は、前記音声データに、前記音響効果設定情報に加えて、ターゲットを特定するためのターゲット情報を付加して前記音声コンテンツデータを生成し、
   前記音声データ出力制御部は、前記音声コンテンツデータに含まれる前記ターゲット情報に基づいて、ユーザが操作するアバターがターゲットに該当するか否かを判定し、ターゲットに該当すると判定された場合に、前記音声データの出力を行う
   ことを特徴とする請求項１に記載の音声コンテンツ配信システム。
3. 前記ターゲット情報は、前記仮想現実空間内におけるエリアを特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記エリア内に位置する場合に、ターゲットに該当すると判定する
   ことを特徴とする請求項２に記載の音声コンテンツ配信システム。
4. 前記ターゲット情報は、アバターの人数を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記仮想現実空間内において他のアバターとあわせて前記人数以上で集合している場合に、ターゲットに該当すると判定する
   ことを特徴とする請求項２または３に記載の音声コンテンツ配信システム。
5. 前記ターゲット情報は、アバターの属性を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記属性を有する場合に、ターゲットに該当すると判定する
   ことを特徴とする請求項２～４のいずれかに記載の音声コンテンツ配信システム。
6. 前記ターゲット情報は、前記仮想現実空間内における時間、状況、場所のうちの少なくとも１つを含む環境状態を特定する情報を含み、前記音声データ出力制御部は、ユーザが操作するアバターが前記環境状態にある場合に、ターゲットに該当すると判定する
   ことを特徴とする請求項２～５のいずれかに記載の音声コンテンツ配信システム。
7. 前記音声コンテンツデータ生成部は、前記音響効果設定情報として、前記仮想現実空間内での音の反響および減衰を反映させないという設定を行う場合に、前記仮想現実空間内において音が反響および減衰せずに届く距離および／または指向性を設定可能である
   ことを特徴とする請求項１～６のいずれかに記載の音声コンテンツ配信システム。
8. 前記サーバ装置は、前記ユーザ端末において音声データが出力されたことを検知し、その秒数および／または回数に基づいて前記ユーザに付与する広告料を算出する広告料算出部を更に有する
   ことを特徴とする請求項１～７のいずれかに記載の音声コンテンツ配信システム。
9. 仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムを構成するサーバ装置であって、
   配信元から音声データを取得する音声データ取得部と、
   前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報を付加して音声コンテンツデータを生成する音声コンテンツデータ生成部と、
   前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信する音声コンテンツデータ配信部と、
   を有する
   ことを特徴とするサーバ装置。
10. 仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信システムを構成するユーザ端末であって、
    音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報が付加された音声コンテンツデータを受信する音声コンテンツデータ受信部と、
    前記音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させることが設定されている場合には、前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力し、前記音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないことが設定されている場合には、前記音声コンテンツデータに格納された前記音声データを仮想現実空間内での音の反響および／または減衰を反映させずに出力する音声データ出力制御部と、
    を有する
    ことを特徴とするユーザ端末。
11. 仮想現実空間内においてユーザが操作するアバターに音声コンテンツを配信する音声コンテンツ配信方法であって、
    配信元から音声データを取得するステップと、
    前記音声データに仮想現実空間内での音の反響および／または減衰を反映させるか否かを示す音響効果設定情報を付加して音声コンテンツデータを生成するステップと、
    前記音声コンテンツデータを前記仮想現実空間内でアバターを操作するユーザのユーザ端末に配信し、前記音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させることが設定されている場合には、当該ユーザ端末において前記音声コンテンツデータに格納された前記音声データを前記音響効果設定情報に応じた音響効果で出力させ、前記音響効果設定情報において、音声データに仮想現実空間内での音の反響および／または減衰を反映させないことが設定されている場合には、当該ユーザ端末において前記音声コンテンツデータに格納された前記音声データを仮想現実空間内での音の反響および／または減衰を反映させずに出力させるステップと、
    を含むことを特徴とする音声コンテンツ配信方法。

Images