JP7694583B2 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

近年、消費者の消費活動は、商品の単なる購入である「モノ消費」から、付加価値の高い体験に対して対価を支払う「コト消費」へと移り変わっている。例えば、音楽やアニメーション等といったエンタテイメント分野においても、消費者は、アーティスト（配信者）等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストやファン同士の交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。

例えば、このような体験の一例としては、インターネット上でコンテンツを配信しているアーティスト等に対して、当該コンテンツの視聴者が、イラスト、テキスト等のデータを送信したり、これらとともに送金したりするといった「投げ銭」を挙げることができる。このような「投げ銭」を介して、アーティストと視聴者との間でコミュニケーションを行うことにより、視聴者はより付加価値の高い体験を得ることができる。その結果、視聴者の、コンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。

国際公開第２０１８／００８２１７号

ところで、従来から、振動などの触覚刺激をユーザに提示するための装置が提案されている。例えば、その一例として、上記特許文献１に記載のジャケット型の触覚提示デバイスを挙げることができる。このような触覚提示デバイスは、映画館やテーマパークのアトラクション等において、ユーザに装着され、ユーザが視聴する再生コンテンツと同期するように制御されることにより、提供される再生コンテンツの臨場感をより増幅させることができる。

そこで、本開示では、このような触覚提示デバイスを利用して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を視聴者に提供することができる、情報処理装置、情報処理方法、プログラム及び情報処理システムを提案する。

本開示によれば、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、を備え、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、情報処理装置が提供される。

また、本開示によれば、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部とを備え、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、情報処理装置が提供される。

また、本開示によれば、情報処理装置により、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することとを含み、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、情報処理方法が提供される。

また、本開示によれば、コンピュータに、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、を実現させるプログラムであって、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、プログラムが提供される。

さらに、本開示によれば、情報処理装置と、配信装置とを含む情報処理システムあって、前記情報処理装置は、第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部とを有し、前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、前記配信装置は、前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、情報処理システムが提供される。

本開示の実施形態の概要を説明するための説明図（その１）である。 本開示の実施形態の概要を説明するための説明図（その２）である。 本開示の実施形態に係る情報処理システム１０の概略的構成例を示したシステム図である。 本開示の実施形態に係る触覚提示デバイス１００の外観構成例を示す図である。 本開示の実施形態に係る触覚提示デバイス１００の機能構成例を示す図である。 本開示の実施形態に係るハプティクス用サーバ３００の機能構成例を示す図である。 本開示の実施形態に係る配信データ編集サーバ４００の機能構成例を示す図である。 本開示の実施形態に係るライブ配信サーバ５００の機能構成例を示す図である。 本開示の実施形態に係るユーザ端末７００の機能構成例を示す図である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その１）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その２）である。 本開示の第１の実施形態に係る触覚刺激提示例を説明するための説明図（その３）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その４）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その５）である。 本開示の第１の実施形態に係る表示例を説明するための説明図（その６）である。 本開示の第２の実施形態を説明するための説明図である。 本開示の第２の実施形態に係る表示例を説明するための説明図である。 本開示の第２の実施形態に係る情報処理方法の一例のフローチャート図（その１）である。 本開示の第２の実施形態に係る情報処理方法の一例のフローチャート図（その２）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その１）である。 本開示の第３の実施形態に係る情報処理方法の一例のフローチャート図（その１）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その２）である。 本開示の第３の実施形態に係る情報処理方法の一例のフローチャート図（その２）である。 本開示の第３の実施形態に係る入力例を説明するための説明図（その３）である。 本開示の第４の実施形態に係る入力例を説明するための説明図である。 本開示の第４の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第５の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第５の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第５の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その４）である。 本開示の第６の実施形態に係る表示例を説明するための説明図（その５）である。 本開示の第６の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その１）である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その２）である。 本開示の第７の実施形態に係る表示例を説明するための説明図（その３）である。 本開示の第７の実施形態に係る情報処理方法の一例のフローチャート図である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その１）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その２）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その３）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その４）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その５）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その６）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その７）である。 本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図（その８）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その１）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その２）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その３）である。 本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図（その４）である。 本開示の実施形態に係る触覚刺激の提示方法について説明するための説明図である。 本開示の実施形態の変形例に係る表示例を説明するための説明図である。 ハプティクス用サーバ３００の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１． 本開示の実施形態の概要
２． 本開示の情報処理システム１０の概要
２．１ 情報処理システム１０の概要
２．２ 触覚提示デバイス１００の詳細構成
２．３ ハプティクス用サーバ３００の詳細構成
２．４ 配信データ編集サーバ４００の詳細構成
２．５ ライブ配信サーバ５００の詳細構成
２．６ ユーザ端末７００の詳細構成
３． 第１の実施形態
４． 第２の実施形態
５． 第３の実施形態
６． 第４の実施形態
７． 第５の実施形態
８． 第６の実施形態
９． 第７の実施形態
１０． 第８の実施形態
１１． 第９の実施形態
１２． まとめ
１３． 本開示の情報処理システム１０の変形例１
１４． 本開示の情報処理システム１０の変形例２
１５． 触覚刺激の出力方法
１６． スタンプ表示の変形例について
１７． ハードウェア構成について
１８． 補足

＜＜１． 本開示の実施形態の概要＞＞
まずは、本開示の実施形態の詳細を説明する前に、図１及び図２を参照して、本発明者らが創作した本開示の実施形態の概要について説明する。図１及び図２は、本開示の実施形態の概要を説明するための説明図である。

先に説明したように、近年、消費者の消費活動は、「モノ消費」から「コト消費」へと移り変わっている。特に、エンタテイメント分野においては、消費者は、アーティスト等の生のパフォーマンスを視聴するといった一方向の体験だけでなく、さらにアーティストとの交流等といった、リアルタイムで、且つ、インタラクティブな、より付加価値の高い体験を強く求めるようになってきている。

そこで、このような状況を鑑みて、本発明者らは、より付加価値の高い体験を視聴者に提供することができないものかと鋭意検討を進め、振動等の触覚刺激を被装着者に提示する触覚提示デバイス（ハプティクス・デバイス）を利用することを着想した。本発明者らは、このような触覚提示デバイスを利用することにより、視聴者はより付加価値の高い体験を得ることができると考えたのである。

このような着想に基づいて創作された本開示の実施形態においては、図１に示すように、パフォーマンスやコンテンツを視聴させる又は配信する配信者８００に、例えばベスト型の触覚提示デバイス１００を装着してもらう。当該触覚提示デバイス１００は、内部に複数の触覚刺激部（例えば、アクチュエータ等）を有する。また、当該触覚刺激部は、所定の信号を受信すると触覚刺激を被装着者である配信者８００に提示することができる。次に、図２に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示された複数の触覚刺激効果付きスタンプ８５０から１つの触覚刺激効果付きスタンプ８５０を選択し、選択した触覚刺激効果付きスタンプ８５０の送信を行う。そして、選択した触覚刺激効果付きスタンプ８５０の送信によって、上記触覚刺激部に、当該スタンプ８５０に付与された触覚刺激に対応する所定の触覚制御信号が送信される（いわゆる、触覚刺激効果付き「投げ銭」を行うこととなる）。さらに、当該触覚刺激部は、受信した所定の触覚制御信号に基づき、選択された触覚刺激効果付きスタンプ８５０に対応する触覚刺激を被装着者に提示することとなる。

そこで、配信者８００は、提示された触覚刺激を知覚し、アクションを起こすこととなれば、視聴者９００は、自身が送信したスタンプ８５０によって提示された触覚刺激により誘起されたアクションをリアルタイムで確認することができる。そして、自身が送信したスタンプ８５０に係る触覚刺激により誘起されたアクションをリアルタイムで確認することができれば、視聴者９００は、配信者８００と直接的にやり取りを行っているように感じることができ、すなわち、より付加価値の高い体験を得ることができる。

このように、本発明者らが創作した本開示の実施形態においては、視聴者９００から、イラスト、アニメーション、テキスト等の視覚情報や、音楽等の聴覚情報だけでなく、触覚情報を、配信者８００に送ることができる。従って、本開示の実施形態によれば、視聴者９００に対して、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を提供することができ、視聴者９００の、パフォーマンスやコンテンツに対する満足感がより高まったり、このような「コト」に対する購買意欲が増したりすることとなる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。

＜＜２． 本開示の情報処理システム１０の概要＞＞
＜２．１ 情報処理システム１０の概要＞
まずは、図３を参照して、本開示の実施形態に係る情報処理システム１０の概要を説明する。図３は、本開示の実施形態に係る情報処理システム１０の概略的構成例を示したシステム図である。以下の説明においては、配信者８００と視聴者９００とは異なる空間又は同一空間に存在するものとする。すなわち、当該情報処理システム１０においては、視聴者９００は、例えば、直接的に配信者８００の姿を視聴してもよく、配信された配信者８００の映像を視聴してもよい。

詳細には、図３に示すように、本実施形態に係る情報処理システム１０においては、例えば、配信者８００側には、触覚提示デバイス１００と、駆動アンプ／インタフェース２００と、スピーカ２０２と、モニタ２０４と、マイクロフォン（以下、マイクと称する）２０６と、カメラ２０８とが配置される。また、当該情報処理システム１０においては、配信者８００側と視聴者９００側との間には、例えば、ハプティクス用サーバ（情報処理装置）３００と、配信データ編集サーバ４００と、ライブ配信サーバ５００（他の情報処理装置）とが配置される。さらに、当該情報処理システム１０においては、視聴者９００側には、ユーザ端末７００の一例としてのスマートフォンやタブレットが配置される。当該情報処理システム１０に含まれる各装置は、例えば有線／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又はＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ（第５世代の移動体通信方式））等のような各種の通信ネットワークを介して互いに送受信することができる。なお、情報処理システム１０に含まれる各装置の数は、図３に図示された数に限定されるものではなく、さらに多くてもよい。また、情報処理システム１０は、図３において図示されない装置を含んでいてもよい。例えば、情報処理システム１０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ゲーム機、携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ（デジタルサイネージ等）、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス等を含むことができる。

なお、図３に示す情報処理システム１０においては、例えば、触覚刺激の提示を管理するハプティクス用サーバ３００と、視聴者９００へ配信される映像や音声の編集等を行うアプリケーションが内蔵された配信データ編集サーバ４００及び視聴者９００への配信を管理するライブ配信サーバ５００とは異なる事業者によって運営されていてもよい。すなわち、本実施形態においては、各サーバを管理、運営する事業者は特に限定されるものではなく、各サーバを運営する事業者は全て異なっていてもよく、もしくは、サーバの一部又は全部については、共通する事業者によって運営されていてもよい。以下に、本実施形態に係る情報処理システム１０に含まれる各装置の概略について説明する。

（触覚提示デバイス１００）
触覚提示デバイス１００は、例えば身体に装着可能な装置により構成される。本実施形態では、触覚提示デバイス１００は、例えば、配信者８００に着用されるベスト型（袖なしの上着形状）の装置を想定する。ベスト型の触覚提示デバイス１００は、先に説明したように、内部に複数の触覚刺激部（図示省略）を有する。触覚刺激部は、例えば、触覚提示デバイス１００の内部において、配信者８００の正面側および背面側にそれぞれ所定の個数（例えば６個）ずつ配置され得る。一例として、正面側に配置されている個々の触覚刺激部と、背面側に配置されている個々の触覚刺激部とは、向かい合う位置関係で配置される。

なお、本実施形態においては、触覚提示デバイス１００の形状は、ベスト型に限定されず、袖を有した上着形状であってもよい。この場合、配信者８００の胸部及び腹部だけでなく、配信者８００の両腕に対応する位置にも、触覚刺激部が１個以上配置されるようにしてもよい。また、本実施形態においては、触覚提示デバイス１００は、上着形状に限定されず、ズボン、靴、ベルト、帽子、手袋、又はマスク等の形状であってもよい。

また、触覚提示デバイス１００の肩部分には、左右にそれぞれ１個ずつマイク２０６を配置してもよく、もしくは、左右の一方に１個のマイク２０６を配置してもよく、もしくは、３個以上配置してもよい。さらに、マイク２０６は、触覚提示デバイス１００とは独立した他の装置として、配信者８００の周囲に配置されていてもよい。さらに、触覚提示デバイス１００には、触覚提示デバイス１００の装着状態を検知するための装着状態検知センサ（例えば、ファスナ型のセンサ、圧力センサ等）（図示省略）、配信者８００の動作や姿勢を検知するための慣性センサ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）（図示省略）、配信者８００の生体情報を検知するための生体情報センサ（例えば、心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサ）（図示省略）等が内蔵されていてもよい。なお、触覚提示デバイス１００の詳細構成については後述する。

（駆動アンプ／インタフェース２００）
駆動アンプ／インタフェース２００は、触覚提示デバイス１００とハプティクス用サーバ３００との間で、触覚制御信号の送受信を行うインタフェースである。例えば、駆動アンプ／インタフェース２００は、触覚提示デバイス１００から触覚提示デバイス１００のプロファイル情報（機能情報等）を取得したり、ハプティクス用サーバ３００により生成された触覚制御信号を信号変換、増幅して、触覚提示デバイス１００に送信したりすることができる。

（モニタ２０４）
モニタ２０４は、例えば、後述するカメラ２０８で撮像された配信者８００の映像等を配信者８００に向けて表示することができ、さらに、モニタ２０４は、配信者８００の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。例えば、モニタ２０４は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される。また、本実施形態においては、モニタ２０４の表示部（図示省略）は、入力部（図示省略）と一体のユニットとして設けられていてもよく、この場合、当該入力部は、例えば上記表示部に重畳されたタッチパネルにより実現される。さらに、本実施形態においては、モニタ２０４に、配信者８００に対して音声を出力するスピーカ２０２が設けられていてもよい。

（カメラ２０８）
カメラ２０８は、配信者８００を１視点又は多視点から撮像する１個又は複数の可視光カメラであり、カメラ２０８によって撮影された映像は、ハプティクス用サーバ３００、配信データ編集サーバ４００及びライブ配信サーバ５００を介して、視聴者９００側のユーザ端末７００へ送信される。なお、当該カメラ２０８は、配信者８００の周囲又は周囲に存在する実物体等を撮像してもよい。詳細には、カメラ２０８は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ２０８は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイ等により実現されてもよい。

（ハプティクス用サーバ３００）
ハプティクス用サーバ３００は、視聴者９００から入力された触覚刺激効果付きスタンプ（制御コマンド）８５０を、ライブ配信サーバ５００を介して受け付け、当該スタンプ８５０に従って触覚制御信号を生成し、生成した触覚制御信号を触覚提示デバイス１００に送信することができる。各触覚刺激効果付きスタンプ８５０は、各所定の制御コマンドと紐づけられており、各制御コマンドには、振動刺激を提示する知覚位置を指定する情報（位置情報）（詳細には、例えば、触覚刺激を提示する触覚刺激部を指定する情報等）、振動刺激の波形種類や強度等を指定する情報（形態情報）等が含まれる。また、上記制御コマンドには、触覚提示デバイス１００に設けられた触覚刺激部（図示省略）や上記形態情報を指定する識別情報（ＩＤ）を含むことができる。詳細には、ハプティクス用サーバ３００は、当該制御コマンドで、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス１００に設けられた個々の触覚刺激部へ入力する触覚制御信号（波形データ）を生成し、触覚提示デバイス１００へ送信する。さらに、各触覚刺激効果付きスタンプ８５０に紐づけられている制御コマンドは、当該スタンプ８５０の識別情報（ＩＤ）のみを含むようにしてもよい。この場合、ハプティクス用サーバ３００は、受け付けたスタンプ８５０の識別情報を参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号（波形データ）を生成してもよい。なお、本明細書においては、「知覚位置」には、知覚位置の移動経路や、所定の広さを持った知覚範囲も含むものとする。また、ハプティクス用サーバ３００の詳細構成については後述する。

（配信データ編集サーバ４００）
配信データ編集サーバ４００は、ハプティクス用サーバ３００を介して受信したカメラ２０８による映像を編集したり、ハプティクス用サーバ３００を介して受信したマイク２０６による音声を編集したりすることができる。さらに、配信データ編集サーバ４００は、編集した映像及び音声データを、ライブ配信サーバ５００を介してユーザ端末７００へ送信したり、ハプティクス用サーバ３００を介して、スピーカ２０２及びモニタ２０４に出力したりすることができる。例えば、配信データ編集サーバ４００は、カメラ２０８で撮像された配信者８００の画像に、視聴者９００から入力されたスタンプ８５０の画像やスタンプ８５０に紐づけられた映像エフェクトを重畳させて、配信のための映像データを生成することができる。なお、配信データ編集サーバ４００の詳細構成については後述する。

（ライブ配信サーバ５００）
ライブ配信サーバ５００は、配信者８００等の画像等や触覚刺激効果付きスタンプ８５０を選択するための画像等をユーザ端末７００へ配信することができる。例えば、ライブ配信サーバ５００は、Ｗｅｂ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を介して認証を行い、視聴者９００から送信された触覚刺激効果付きスタンプ８５０等を監視することができる。なお、ライブ配信サーバ５００の詳細構成については後述する。

さらに、本実施形態においては、ハプティクス用サーバ３００、配信データ編集サーバ４００及びライブ配信サーバ５００は、単一の装置によって実現されてもよく、複数の装置によって実現されてもよく、特に限定されるものではない。この詳細については、後述する。

（ユーザ端末７００）
ユーザ端末７００は、視聴者９００によって使用され、もしくは、視聴者９００の近傍に設置され、例えば、視聴者９００が上記触覚刺激効果付きスタンプ８５０等を入力するための端末である。そして、ユーザ端末７００は、視聴者９００から入力された触覚刺激効果付きスタンプ（制御コマンド）８５０を受け付け、受け付けた当該スタンプ８５０を、ライブ配信サーバ５００を介して、ハプティクス用サーバ３００へ送信する。また、ユーザ端末７００は、例えば、受け付けた当該スタンプ８５０に紐づけられた映像エフェクトが施され、スタンプ８５０に紐づけられた触覚刺激が提示された配信者８００の映像を、ライブ配信サーバ５００を介して受信し、表示することができる。その際、ユーザ端末７００は、スタンプ８５０の識別情報（ＩＤ）を受信して、自身の記憶部（図示省略）から当該識別情報に紐づけられた映像エファクトの情報を読み出して、自身で処理を行ってもよく、もしくは、既に映像エフェクトが施された映像を受信してもよい。例えば、ユーザ端末７００は、スマートフォン、タブレット型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、ラップトップ型ＰＣ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等のウェアラブルデバイスであることができる。また、ユーザ端末７００は、カラオケボックス等の事業者が提供する部屋に設置された専用装置であってもよい。なお、ユーザ端末７００の詳細構成については後述する。

＜２．２ 触覚提示デバイス１００の詳細構成＞
次に、図４及び図５を参照して、触覚提示デバイス１００の詳細構成を説明する。図４は、本実施形態に係る触覚提示デバイス１００の外観構成例を示す図であり、図５は、本実施形態に係る触覚提示デバイス１００の機能構成例を示す図である。先に説明したように、触覚提示デバイス１００は、配信者８００の身体の一部に装着され、スタンプ（制御コマンド）８５０に従って振動等することにより、配信者８００に触覚刺激を与える装置である。

図４に示すように、例えばベスト型の触覚提示デバイス１００は、先に説明したように、内部に複数の触覚刺激部１０６を有する。当該触覚刺激部１０６は、例えばアクチュエータから構成され、ハプティクス用サーバ３００によって生成される触覚制御信号により駆動して振動を発生させ、かかる振動を触覚刺激として提示する。アクチュエータとしては、例えば、偏心モータや、リニア・バイブレータ、圧電素子等を用いることができる。

さらに、触覚提示デバイス１００は、図５に示すように、通信部１０２と、制御部１０４と、上述した触覚刺激部１０６と、操作部１０８とを有する。以下に、触覚提示デバイス１００の各機能ブロックについて順次説明する。

（通信部１０２）
通信部１０２は、駆動アンプ／インタフェース２００を介して、ハプティクス用サーバ３００と無線で接続され、ハプティクス用サーバ３００との間で情報の送受信を行うことができる。

（制御部１０４）
制御部１０４は、コントローラであり、上述した通信部１０２を介して入力された触覚制御信号に基づいて触覚刺激部１０６を駆動させることができる。制御部１０４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、触覚提示デバイス１００の内部のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶されている各種プログラムがＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を作業領域として実行されることにより実現される。また、制御部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現することもできる。

（操作部１０８）
操作部１０８は、配信者８００によって操作されるタッチセンサ、圧力センサ、近接センサ、ボタン、スイッチ、及びレバー等の操作デバイスであり、例えば、配信者８００により、提示された触覚刺激の強度を弱くしたり、触覚刺激の提示を停止したりすることができる。

以上、本実施形態に係る触覚提示デバイス１００の詳細構成について具体的に説明したが、本実施形態に係る触覚提示デバイス１００の詳細構成は図４及び図５に示す例に限定されるものではない。

また、触覚提示デバイス１００は、上述したようなベスト型のウェアラブルデバイスであることに限らず、ユーザの身体の一部（耳たぶ、首、腕、手首、足首等）に装着可能なウェアラブルデバイスであってもよい。より具体的には、ウェアラブルデバイスとしては、イヤーデバイス型、アンクレット型、指輪型、グローブ型、腕輪（リストバンド）型、首輪型、アイウェア型、ヘッドウェア型、パッド型、バッチ型、衣服型等の各種の方式／形態のウェアラブルデバイスを挙げることができる。また、触覚提示デバイス１００は、配信者８００が手に持つ機器、例えば、スマートフォン、タブレット、カメラ、ゲームコントローラ、携帯型音楽プレーヤ等に搭載されるオンハンド型として構成されてもよく、ペン型、スティック型、ハンドル型であってもよい。さらに、触覚提示デバイス１００は、ウェアラブル型やオンハンド型に限らず、ベッドや椅子、テーブルといった家具又は各種設備に搭載されるスレート／フロア型として構成されてもよい。

さらに、本開示の実施形態においては、触覚提示デバイス１００により配信者８００に触覚刺激（振動）を提示するものとして説明するが、これに限定されるものではなく、触覚刺激の代わりに、又は、触覚刺激ともに、風、電気的刺激、超音波、力覚、熱、湿気、香り等を配信者８００に与えてもよい。また、本開示の実施形態においては、配信者８００に対して触覚刺激を提示することに限定されるものではなく、スタンプ８５０を選択した視聴者９００や、単に配信者８００の配信を楽しむ視聴者９００に対して触覚刺激等を提示してもよい。

＜２．３ ハプティクス用サーバ３００の詳細構成＞
次に、図６を参照して、本開示の実施形態に係るハプティクス用サーバ３００の詳細構成について説明する。図６は、本開示の実施形態に係るハプティクス用サーバ３００の機能構成例を示す図である。図６に示すように、ハプティクス用サーバ３００は、通信部３０２と、カメラ画像取得部３０４と、マイク音声取得部３０６と、スタンプ取得部３０８と、触覚信号生成部３１０と、配信者状態取得部３１２と、出力画像取得部３１４と、出力音声取得部３１６と、記憶部３１８とを主に有する。以下に、ハプティクス用サーバ３００の各機能ブロックについて順次説明する。

（通信部３０２）
通信部（配信部）３０２は、触覚提示デバイス１００、スピーカ２０２、モニタ２０４、及び、カメラ２０８との間で情報の送受信を行うことができる。通信部３０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。具体的には、通信部３０２は、触覚提示デバイス１００に触覚制御信号を送信したり、配信データ編集サーバ４００からの映像データ（例えば、テキスト情報をも含む）をモニタ２０４へ送信したり、配信データ編集サーバ４００からの音声データ（所定の音声）をスピーカ２０２へ送信したりすることができる。

次に、カメラ画像取得部３０４、マイク音声取得部３０６、スタンプ取得部３０８、触覚信号生成部３１０、配信者状態取得部３１２、出力画像取得部３１４、及び、出力音声取得部３１６を説明する。これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、ハプティクス用サーバ３００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

（カメラ画像取得部３０４）
カメラ画像取得部３０４は、カメラ２０８から、配信者８００側の実空間の画像や、配信者８００の画像を取得し、通信部３０２を介して、配信データ編集サーバ４００へ送信することができる。

（マイク音声取得部３０６）
マイク音声取得部３０６は、マイク２０６から、配信者８００側の実空間の環境音や、配信者８００の音声を取得し、通信部３０２を介して、配信データ編集サーバ４００へ送信することができる。

（スタンプ取得部３０８）
スタンプ取得部３０８は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた、触覚提示デバイス１００によって触覚刺激を提示する提示位置を指定する位置情報（提示部情報）と当該触覚刺激の形態を指定する形態情報とを含む制御コマンドを取得し、後述する触覚信号生成部３１０に出力することができる。また、スタンプ取得部３０８は、触覚刺激効果付きスタンプ８５０に紐づけられた識別情報（ＩＤ）のみ含む制御コマンドを取得し、後述する触覚信号生成部３１０に出力してもよい。

（触覚信号生成部３１０）
触覚信号生成部３１０は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた制御コマンドに基づいて、触覚提示デバイス１００を制御するための触覚制御信号を生成することができる。具体的には、触覚信号生成部３１０は、振動刺激の知覚位置（位置情報）、振動刺激の波形種類、及び、振動刺激の強度情報（形態情報）等が含まれる制御コマンドに基づいて、指定された知覚位置において、指定された強度で、指定された波形による振動刺激を提示するよう、触覚提示デバイス１００に設けられた個々の触覚刺激部１０６（具体的には、振動アクチュエータ）へ入力するための波形データを生成する。なお、触覚制御信号には、上記制御コマンドに基づく、触覚刺激の提示タイミング、周波数、間隔、及び、提示時間で振動刺激を提示するよう指示する情報が含まれていてもよい。また、触覚信号生成部３１０は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に紐づけられた識別情報（ＩＤ）のみを含む制御コマンドを参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号（知覚位置、波形種類、強度情報等を含む）を生成してもよい。

さらに、触覚信号生成部３１０は、制御コマンドで指定されている振動刺激の周波数や強度が広い帯域（例えば５０～５００Ｈｚ）を持つものであれば、触覚提示デバイス１００の機能に応じて狭帯域（例えば１００Ｈｚ）に圧縮して、波形データを生成してもよい。さらに、触覚信号生成部３１０は、配信者８００の触覚提示デバイス１００の装着状況や触覚提示デバイス１００のプロファイル（機能等）に応じて、触覚制御信号を調整してもよい。

また、触覚信号生成部３１０は、生成した触覚制御信号を、通信部３０２を介して、配信者８００の身体に装着された触覚提示デバイス１００へ送信することができる。

（配信者状態取得部３１２）
配信者状態取得部３１２は、例えば、触覚提示デバイス１００の装着状態を検知するための装着状態検知センサ（図示省略）で取得したセンシングデータ等を取得し、上述した触覚信号生成部３１０に出力することができる。

（出力画像取得部３１４）
出力画像取得部３１４は、配信データ編集サーバ４００から、編集された映像データ（所定の画像、テキスト情報）を取得し、通信部３０２を介して、モニタ２０４へ送信することができる。

（出力音声取得部３１６）
出力音声取得部３１６は、配信データ編集サーバ４００から、編集された音声データ等を取得し、通信部３０２を介して、スピーカ２０２へ送信することができる。

（記憶部３１８）
記憶部３１８は、触覚信号生成部３１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部３１８は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された触覚データライブラリ（知覚位置、振動波形パターン等）が格納されており、これを利用して、上述した触覚信号生成部３１０は触覚制御信号を生成することもできる。さらに、記憶部３１８は、例えば、触覚提示デバイス１００の触覚刺激部１０６の個数、その位置、周波数特性、最大入力電圧等といった情報を、触覚提示デバイス１００のプロファイル情報として格納してもよい。触覚信号生成部３１０は、このようなプロファイル情報を参照して、触覚制御信号を調整することができる。

以上、本実施形態に係るハプティクス用サーバ３００の詳細構成について具体的に説明したが、本実施形態に係るハプティクス用サーバ３００の詳細構成は図６に示す例に限定されるものではない。

＜２．４ 配信データ編集サーバ４００の詳細構成＞
次に、図７を参照して、本開示の実施形態に係る配信データ編集サーバ４００の詳細構成について説明する。図７は、本開示の実施形態に係る配信データ編集サーバ４００の機能構成例を示す図である。図７に示すように、配信データ編集サーバ４００は、通信部４０２と、カメラ画像取得部４０４と、画像生成部４０６と、スタンプ取得部４０８と、マイク音声取得部４１０と、音声生成部４１２と、出力音声取得部４１４と、記憶部４１６とを主に有する。以下に、配信データ編集サーバ４００の各機能ブロックについて順次説明する。

（通信部４０２）
通信部４０２は、ハプティクス用サーバ３００及びライブ配信サーバ５００との間で情報の送受信を行うことができる。通信部４０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

次に、カメラ画像取得部４０４、画像生成部４０６、スタンプ取得部４０８、マイク音声取得部４１０、音声生成部４１２、及び、出力音声取得部４１４を説明する。これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、配信データ編集サーバ４００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

（カメラ画像取得部４０４）
カメラ画像取得部４０４は、ハプティクス用サーバ３００を介して、カメラ２０８から、配信者８００側の実空間の画像や、配信者８００の画像を取得し、後述する画像生成部４０６に出力することができる。

（画像生成部４０６）
画像生成部４０６は、視聴者９００又は配信者８００に提示するための画像データを生成することができる。例えば、画像生成部４０６は、アイコン、アニメーション、テキスト等の仮想オブジェクトを、配信者８００の画像に重畳表示するような映像データを生成することができる。より具体的には、上記仮想オブジェクトは、触覚刺激が提示されると同時に表示される爆弾が破裂したようなアニメーション等であることができる。また、上記仮想オブジェクトは、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に対応する画像であってもよく、例えば、ハート形のスタンプ８５０の場合、画像生成部４０６は、ハートの形状のスタンプ８５０を配信者８００の画像に重畳表示するような映像データを生成することができる。さらに、画像生成部４０６は、例えば、配信者８００の画像に対して、視聴者９００から入力されたスタンプ８５０に紐づけられた映像エフェクトを施してもよい。また、画像生成部４０６は、例えば、触覚提示デバイス１００が配信者８００の身体に装着されていないことから、当該配信者８００に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者９００等に提示される映像データを生成することもできる。

（スタンプ取得部４０８）
スタンプ取得部４０８は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０の情報を取得し、画像生成部４０６及び音声生成部４１２に出力することができる。

（マイク音声取得部４１０）
マイク音声取得部４１０は、ハプティクス用サーバ３００を介して、マイク２０６から、配信者８００の音声を取得し、後述する音声生成部４１２に出力することができる。

（音声生成部４１２）
音声生成部４１２は、視聴者９００又は配信者８００に提示するための音声データを生成することができる。例えば、音声生成部４１２は、触覚刺激が提示されると同時に出力される爆弾が破裂したような音声データを生成することができる。また、音声生成部４１２は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０に対応する音声の音声データを生成してもよい。例えば、野鳥の形のスタンプ８５０の場合、音声生成部４１２は、野鳥の鳴き声を配信者８００の歌声等に重畳した音声データを生成する。さらに、音声生成部４１２は、ユーザ端末７００により取得した視聴者９００の音声を配信者８００の歌声等に重畳した音声データを生成してもよい。また、音声生成部４１２は、例えば、触覚提示デバイス１００が配信者８００の身体に装着されていないことから、当該配信者８００に触覚刺激を提示できない場合に、触覚刺激の代わりに視聴者９００等に出力される音声データを生成することもできる。

（出力音声取得部４１４）
出力音声取得部４１４は、ユーザ端末７００を用いて視聴者９００から入力された音声を取得し、音声生成部４１２に出力することができる。

（記憶部４１６）
記憶部４１６は、画像生成部４０６や出力音声取得部４１４での処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部４１６は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された画像、音声データライブラリを格納しており、これを利用して、画像生成部４０６や出力音声取得部４１４は、映像データや音声データを生成する。

以上、本実施形態に係る配信データ編集サーバ４００の詳細構成について具体的に説明したが、本実施形態に係る配信データ編集サーバ４００の詳細構成は図７に示す例に限定されるものではない。

＜２．５ ライブ配信サーバ５００の詳細構成＞
次に、図８を参照して、本開示の実施形態に係るライブ配信サーバ５００の詳細構成について説明する。図８は、本開示の実施形態に係るライブ配信サーバ５００の機能構成例を示す図である。図８に示すように、ライブ配信サーバ５００は、通信部５０２と、ＧＵＩ制御部５０４と、スタンプ取得部５０６と、音声データ取得部５０８と、画像データ取得部５１０と、触覚信号取得部５１２と、視聴者情報取得部５１４と、配信制御部５１６と、記憶部５１８とを主に有する。以下に、ライブ配信サーバ５００の各機能ブロックについて順次説明する。

（通信部５０２）
通信部５０２は、ユーザ端末７００、配信データ編集サーバ４００及びハプティクス用サーバ３００との間で情報の送受信を行うことができる。通信部５０２は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

次に、ＧＵＩ制御部５０４、スタンプ取得部５０６、音声データ取得部５０８、画像データ取得部５１０、触覚信号取得部５１２、視聴者情報取得部５１４、及び、配信制御部５１６を説明するが、これらの機能部は、例えば、ＣＰＵやＭＰＵ等によって、ライブ配信サーバ５００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

（ＧＵＩ制御部５０４）
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）制御部５０４は、視聴者９００の有するユーザ端末７００を制御して、触覚刺激効果付きスタンプ（制御コマンド）８５０を入力するための画面を表示することができる。詳細には、ＧＵＩ制御部５０４は、触覚刺激効果付きスタンプ８５０を選択するための画面として図２に示すような画面を、ユーザ端末７００の表示部７０２に表示させる。当該選択画面（スタンプ選択画面）には、多数の触覚刺激効果付きスタンプ８５０が表示されている。各触覚刺激効果付きスタンプ８５０は、触覚提示デバイス１００に対する制御コマンドと紐づけられており、視聴者９００は、当該選択画面に表示されたスタンプ８５０を選択することにより、制御コマンドを入力することができる。なお、本実施形態においては、触覚刺激効果付きスタンプ８５０のイメージは、視聴者９００が配信者８００に送信したい触覚刺激や想い（メッセージ）等を直感的に想起させるものであることが好ましい。また、後述するように、ＧＵＩ制御部５０４は、触覚刺激効果付きスタンプ８５０以外に、触覚刺激効果の付いていないスタンプも選択可能な画像を、ユーザ端末７００の表示部７０２に表示させてもよい。

（スタンプ取得部５０６）
スタンプ取得部５０６は、視聴者９００から入力された触覚刺激効果付きスタンプ８５０の情報（例えば、ＩＤ）を取得し、通信部５０２を介して、配信データ編集サーバ４００及びハプティクス用サーバ３００へ送信することができる。さらに、スタンプ取得部５０６は、ユーザ端末７００から、上記入力に対応する触覚制御信号や画像表制御信号等のコマンド情報を取得してもよい。

（音声データ取得部５０８）
音声データ取得部５０８は、通信部５０２を介して、配信データ編集サーバ４００から音声データを取得し、ユーザ端末７００へ送信することができる。

（画像データ取得部５１０）
画像データ取得部５１０は、通信部５０２を介して、配信データ編集サーバ４００から画像データを取得し、ユーザ端末７００へ送信することができる。

（触覚信号取得部５１２）
触覚信号取得部５１２は、ハプティクス用サーバ３００から触覚制御信号を取得し、ユーザ端末７００へ送信することができる。例えば、ユーザ端末７００に振動デバイス（図示省略）が搭載されている場合には、当該振動デバイスにより、視聴者９００が選択したスタンプ８５０に対応する触覚刺激を再現してもよい。

（視聴者情報取得部５１４）
視聴者情報取得部５１４は、例えば、ユーザ端末７００から送信された視聴者９００の識別情報（例えば、ＩＤ）を取得し、視聴者９００に対して認証を行うことができる。

（配信制御部５１６）
配信制御部５１６は、音声データ取得部５０８、画像データ取得部５１０及び触覚信号取得部５１２からのデータの、視聴者情報取得部５１４で認証された視聴者９００のユーザ端末７００への送信を制御することができる。

（記憶部５１８）
記憶部５１８は、ライブ配信サーバ５００での処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、適宜変化するパラメータ等を一時記憶するＲＡＭ、及び、各種データベース（ＤＢ）を格納するＨＤＤ等の記憶装置から実現される。例えば、記憶部５１８は、視聴者９００の識別情報を格納してもよく、さらには、視聴者９００が過去に取得した制御コマンドや使用したスタンプ（制御コマンド）８５０の情報を、当該視聴者９００の識別情報に紐づけて格納してもよい。

以上、本実施形態に係るライブ配信サーバ５００の詳細構成について具体的に説明したが、本実施形態に係るライブ配信サーバ５００の詳細構成は図８に示す例に限定されるものではない。例えば、ライブ配信サーバ５００は、記憶部５１８に格納された情報を参照して、視聴者９００によって高い頻度で利用されているスタンプ（制御コマンド）８５０や、逆に低い頻度で利用されているスタンプ（制御コマンド）８５０を選択し、視聴者９００に向けて、選択した触覚刺激効果付きスタンプ８５０を推奨する推奨部（図示省略）をさらに有していてもよい。また、当該推奨部は、過去に所定の数以上のスタンプ８５０を得ていない配信者８００へのスタンプ８５０の入力を、視聴者９００に対して推奨してもよい。

＜２．６ ユーザ端末７００の詳細構成＞
次に、図９を参照して、本開示の実施形態に係るユーザ端末７００の詳細構成について説明する。図９は、本実施形態に係るユーザ端末７００の機能構成例を示す図である。図９に示すように、ユーザ端末７００は、表示部７０２と、操作入力部７０４と、スピーカ７０６と、通信部７０８と、制御部７１０と、記憶部７１２と、センサ部７２０とを主に有する。以下に、ユーザ端末７００の各機能ブロックについて順次説明する。

（表示部７０２）
表示部７０２は、例えば、触覚刺激効果付きスタンプ（制御コマンド）８５０を選択するための選択画面や、配信者８００の画像等を視聴者９００に向けて表示することができる。さらに、表示部７０２は、配信者８００の画像に、テキスト、アイコン又はアニメーション等を重畳表示することができる。表示部７０２は、液晶ディスプレイ装置、ＯＬＥＤ装置等により実現される。

（操作入力部７０４）
操作入力部７０４は、視聴者９００によって、例えば、触覚刺激を提示する提示位置を指定する位置情報と触覚刺激の形態を指定する形態情報とを含む制御コマンドに紐づけられた、触覚刺激効果付きスタンプ８５０の選択結果が入力される。もしくは、操作入力部７０４は、直接制御コマンドが入力されてもよい。例えば、操作入力部７０４は、スイッチ、ボタン、タッチパネル、又は、レバー等により実現される。また、操作入力部７０４により入力された操作の内容は、上述した表示部７０２によって表示されてもよい。また、当該操作入力部７０４は、上述した表示部７０２に重畳するように設けられ、表示部７０２によって表示された提示位置を指定するための位置選択画面に対する、視聴者９００からの入力操作の情報（例えば、位置情報）を受け付けることができる。

（スピーカ７０６）
スピーカ７０６は、後述する制御部７１０の制御に従って、音声を再生することができる。なお、スピーカ７０６は、ユーザ端末７００に設けられていてもよく、もしくは、１対のイヤホンスピーカ（図示省略）等といった、ユーザ端末７００と別体の装置であってもよい。

（通信部７０８）
通信部７０８は、ライブ配信サーバ５００との間で情報の送受信を行うことができ、詳細には、視聴者９００に入力された触覚刺激効果付きスタンプ（制御コマンド）８５０の情報を、ライブ配信サーバ５００へ送信することができる。また、通信部７０８は、ライブ配信サーバ５００から送信された情報を受信することができる。例えば、通信部７０８は、データの送受信を行う機能を有する通信インタフェースであって、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

（制御部７１０）
制御部７１０は、ユーザ端末７００のコントローラであり、例えば、ＣＰＵやＭＰＵ等によって、ユーザ端末７００の内部のＲＯＭ等に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

（記憶部７１２）
記憶部７１２は、上述した制御部７１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、及び、適宜変化するパラメータ等を一時記憶するＲＡＭ等の記憶装置から実現される。

（センサ部７２０）
センサ部７２０は、視聴者９００からの操作（ユーザ端末７００に与えられる振動等）に関するセンシングデータを取得することができる。例えば、センサ部７２０は、図９に示されるように、カメラ７２２、マイク７２４、ジャイロセンサ７２６、及び、加速度センサ７２８を主に含む。なお、上述したセンサは一例であり、本実施形態はこれに限定されるものではない。

カメラ７２２は、例えば、視聴者９００の動作等を撮像し、撮像画像を上述した制御部７１０に出力する。そして、当該制御部７１０は、カメラ７２２によって撮像された画像から視聴者９００による所定の動作を抽出し、抽出した動作に係る制御コマンドを取得することができる。詳細には、カメラ７２２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、当該レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系を有する。さらに、カメラ７２２は、上記レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等をそれぞれ有する。なお、当該固体撮像素子アレイは、例えば、ＣＣＤセンサアレイや、ＣＭＯＳセンサアレイ等により実現されてもよい。また、カメラ７２２は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ（図示省略）を含んでもよい。ＴｏＦセンサは、例えば、被写体に所定の周期を持つ照射光を照射し、当該被写体で反射された反射光を検出し、照射光と反射光との位相差や時間差を検出することで、被写体の深度（ｄｅｐｔｈ）情報を取得することができる。ここで被写体の深度情報とは、上記ＴｏＦセンサから被写体表面上の各点までの距離の情報の１つである深度の情報である。そして、被写体表面の複数の点の深度情報を集約することにより、被写体表面の凹凸形状に関する形状情報、すなわち、被写体の外形情報を得ることができる。

マイク７２４は、視聴者９００の音声を集音し、集音した音声データを上述した制御部７１０に出力する。そして、当該制御部７１０は、マイク７２４によって集音した音声から視聴者９００による音声パターンを抽出し、抽出した音声パターンに係る制御コマンドを取得してもよい（例えば、視聴者９００の音声によるスタンプ８５０の指定等）。

ジャイロセンサ７２６は、例えば、３軸ジャイロセンサにより実現され、視聴者９００によるユーザ端末７００の動きの角速度（回転速度）を検知する。また、加速度センサ７２８は、例えば、３軸加速度センサ（Ｇセンサとも呼ばれる）により実現され、視聴者９００によるユーザ端末７００の動きの加速度を検知する。本実施形態においては、これらのセンサによるセンシングデータにより、視聴者９００がユーザ端末７００に対して行った動作を認識することができ、さらに認識した動作に係る制御コマンドを取得することができる。

以上、本実施形態に係るユーザ端末７００の詳細構成について具体的に説明したが、本実施形態に係るユーザ端末７００の詳細構成は、図９に示す例に限定されるものではなく、例えば、振動することにより、視聴者９００に通知を行う振動デバイス（振動子）をさらに有していてもよい。すなわち、ユーザ端末７００は、図９に図示しないものの、触覚刺激を再現する振動デバイスを搭載していてもよく、もしくは、視聴者９００の身体に装着された触覚提示デバイス１００であってもよい。

＜＜３． 第１の実施形態＞＞
まずは、図１０から図１８を参照して、本開示の第１の実施形態を説明する。図１０、１２、１５から１８は、本実施形態に係る表示例を説明するための説明図であり、図１１、１３、１４は、本実施形態に係る触覚刺激提示例を説明するための説明図である。

図１０に示す例では、視聴者９００は、複数のハートの形状からなる、触覚刺激効果付きスタンプ８５０を選択するものとする。このような場合、図１０に示すユーザ端末７００においては、入力したスタンプ８５０は、当該視聴者９００のコメント８６０の横に表示されてもよい。そして、図１１に示すように、配信者８００の身体に装着された触覚提示デバイス１００の、選択したスタンプ８５０に紐づけられた制御コマンドで指定された触覚位置の触覚刺激部１０６が振動することにより、配信者８００に触覚刺激が提示されることとなる。

この際、図１０に示すように、情報処理システム１０は、配信者８００の画像にスタンプ８５０の画像を重畳表示（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ表示）した画像を視聴者９００に向けて配信してもよい。具体的には、スタンプ８５０が重畳される位置は、当該スタンプ８５０の紐づけられた制御コマンドで指定された知覚位置であってもよい。この際、情報処理システム１０は、同一の配信者８００の画像を視聴する視聴者９００のコメント８６０を、上記画像とともに配信してもよい。また、本実施形態においては、情報処理システム１０により、視聴者９００が入力したコメントに基づいて、スタンプ８５０が自動的に選択され、自動的に選択されたスタンプ８５０に紐づけられた触覚刺激が配信者８００に提示されてもよい。

また、本実施形態においては、図１２に示すように、配信者８００の画像に重畳される仮想オブジェクトは、アニメーション画像であってもよい。図１２に示す例では、視聴者９００によって入力されたスタンプ８５２は、花火であり、スタンプ８５２に従って、配信者８００の画像には花火のアニメーション画像（中心から外周へ光が広がるイメージ）８５２が重畳される。そして、この場合、図１３に示すように、選択したスタンプ８５２に紐づけられた制御コマンドに従い、アニメーション画像８５２の変化と同期して、配信者８００に身体に装着された触覚提示デバイス１００の触覚刺激が提示される触覚位置（すなわち、触覚刺激が提示される触覚刺激部１０６）が変化する。具体的には、花火のアニメーション画像８５２の中心から外周へ光が広がるイメージに同期して、触覚提示デバイス１００の、触覚刺激を提示する触覚刺激部１０６が、中心に位置する触覚刺激部１０６から外周に位置する触覚刺激部１０６へと変化する。なお、本実施形態においては、アニメーション画像８５２の変化は、触覚位置の変化に同期することに限定されるものではなく、例えば、触覚制御信号の、周波数、波形、強度の変化のいずれかと同期してもよい。

さらに、上記実施形態は、図１４に示すように、アニメーション画像８５２の変化と同期して、配信者８００に身体に装着された触覚提示デバイス１００の触覚刺激が提示される触覚位置（すなわち、触覚刺激が提示される触覚刺激部１０６）が変化することを、具体的な情報を示すことにより、視聴者９００に提示してもよい。例えば、図１４に示す、視聴者９００に有するユーザ端末７００には、どの部位（触覚刺激部１０６）が振動しているかを示す表示８４２が表示する。図１４の例では、アニメーション画像８５２が変化すると触覚位置が変化するため、表示８４２の表示も変化する。また、表示８４２では、各触覚位置で提示される触覚刺激の強度の変化に応じて、振動部位の色、色の濃淡、明るさ等が変化してもよい。さらに、図１４の例では、再生中の触覚刺激の具体的な波形イメージ８４０も表示される。なお、波形イメージは、デフォルメされて表示されてもよく、触覚刺激の強度の変化に応じて、波形の色、色の濃淡、明るさ、線の太さ等が変化してもよい。

また、図１５に示すように、本実施形態においては、スタンプ８５０や配信者８００の画像に重畳される仮想オブジェクトは、事前に準備されたものに限定されるものではなく、視聴者９００の操作により描かれた軌跡等で構成されてもよい。詳細には、視聴者９００は、複数のスタンプ８５０ａを、自身が決定した軌跡に沿って並べることにより、１つの文言を示すスタンプ８５０を形成してもよい（図１５では、「ＬＯＶＥ」という文言からなるスタンプ８５０を形成している）。また、図１５のスタンプ８５０は、複数の小さなスタンプ８５０ａが、視聴者９００が描いた軌跡に沿った順番で現れて、「ＬＯＶＥ」という文字を作り出すアニメーション画像であってもよい。

また、図１６に示すように、本実施形態においては、事前に準備されたスタンプ８５０や仮想オブジェクトは、重畳される実空間のオブジェクトの形状に応じて変形されてもよい。例えば、図１６に示す例では、配信者８００の顔の形状や大きさにあわせて、眼鏡型のスタンプ８５０の形状や大きさを変化させ、当該スタンプ８５０を配信者８００の顔の画像に重畳する。

さらに、本実施形態においては、くじ引きの結果、ログインボーナス（来店ボーナス）、サブスクリプションサービス、勝敗予想等に基づく、視聴者９００のギフトとして、スタンプ８５０自体、又は、スタンプ８５０を購入するコイン等を発生させてもよい。

例えば、図１７に示す例では、配信者８００が、賞品のコインを用意し、くじ引きを行うことができる条件（具体的には、例えば、合言葉や任意のコメントを入力する等）を指定して開催する。そして、視聴者９００は、指定条件を満たした場合に、上記くじ引きに参加することで、抽選でコインを獲得することができる。そして、視聴者９００は、獲得したコインで、触覚刺激効果付きスタンプ８５０を購入することができる。

また、例えば、図１８に示す例では、二人の配信者８００ａ，８００ｂが所定のゲームを行う場合、その勝敗結果を視聴者９００が予想する。そして、予想が当たった場合に、視聴者９００は、ギフトとして、触覚刺激効果付きスタンプ８５０を獲得することができる。

さらに、本実施形態においては、例えば、所定のアプリケーションやサイトに一日１ログインすることにより、視聴者９００はボーナスを獲得することができる。当該ボーナスは、触覚刺激効果付きスタンプ８５０であったり、当該スタンプ８５０を購入することができる仮想通貨であったりすることができる。また、本実施形態においては、所定のアプリケーション等に対するログインだけでなく、視聴者９００は、所定の店舗に来店した場合（ユーザ端末７００に搭載された位置センサによって検知）もボーナスを獲得してもよい。また、連続してログインすることにより、視聴者９００は、より多くのスタンプ８５０が獲得出来たり、高額なスタンプ（レアスタンプ）８５０が獲得出来たりしてもよい。

さらに、本実施形態においては、配信者８００は、サブスクリプション機能を開放することで、サブスクリプションサービス加入者限定の特典として、触覚刺激効果付きスタンプ８５０や、当該スタンプ８５０を購入することができる仮想通貨を提供してもよい。このようにすることで、視聴者９００は、お気に入りの配信者８００のサブスクリプションサービスに加入することで、配信者８００を支援することができ、且つ、加入者限定の上記特典を利用することができる。

以上説明したように、第１の実施形態においては、視聴者９００が選択した触覚刺激効果付きスタンプ８５０に対応する触覚刺激を配信者８００に提示する提示のやり方や、触覚刺激を提示する際に、視聴者９００や配信者８００に提示される画像を工夫することにより、視聴者９００は、配信者８００と直接的にやり取りを行っているように感じることができる。すなわち、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜４． 第２の実施形態＞＞
また、視聴者９００は、複数の配信者８００からの配信を同時に楽しむ場合がある。このような場合に適用した本開示の第２の実施形態を、図１９及び図２０を用いて説明する。図１９は、本実施形態を説明するための説明図であり、図２０は、本実施形態に係る表示例を説明するための説明図である。例えば、図１９に示すように、一人の視聴者９００は、複数の配信者８００ａ、８００ｂ、８００ｃからの配信を同時に楽しむ場合がある。本実施形態においては、視聴者９００が、触覚刺激効果付きスタンプ（制御コマンド）８５０を送信する配信者８００を選択する方法や、どの配信者８００が提示された触覚刺激を体感するかを選択する方法について、説明する。

例えば、本実施形態においては、図１９に示すように、視聴者９００がユーザ端末７００の表示部７０２に、複数の配信者８００ａ、８００ｂ、８００ｃからの配信画面を表示しているとき、視聴者９００は、これら配信者８００ａ、８００ｂ、８００ｃの全員又は一部の人に同一スタンプ８５０を同時に送信してもよい。もしくは、本実施形態においては、視聴者９００は、触覚刺激を提示したい配信者８００の配信画面や配信画面に重畳するアイコン（図示省略）を選択することにより、スタンプ８５０を送信する配信者８００を決定してもよい。より具体的には、例えば、視聴者９００は、送信したい配信者８００の配信画面をタッチ操作した後、スタンプ８５０をタッチ操作することにより、配信者８００に対して、触覚刺激効果付きスタンプ８５０を送信することができる。

また、本実施形態においては、送信する配信者８００の選択の手段として、音声入力を用いてもよい。例えば、配信者８００の名前を呼びかけたり、配信画面の位置（右側、下側等）を発話したり、配信者８００の配信画像に含まれる実空間に位置するオブジェクトの情報（例えば、椅子、配信者８００の服の色、配信者８００が身に着けているアクセサリー等）や、配信者８００の画像に重畳された仮想オブジェクトの情報を発話したりしてもよい。また、本実施形態においては、送信する配信者８００の選択の手段として、視聴者９００の視線の位置を用いてもよい。

また、本実施形態においては、図２０に示すように、例えば、各配信画面の右上に、触覚提示を受け入れ可能かどうかのアイコン８７０が表示されることが好ましい。例えば、アイコン８７０ａは、配信者８００ｂが触覚制御信号を受信可能であることを示し、一方、アイコン８７０ｂは、配信者８００ｂが触覚制御信号を受信不可であることを示す。従って、視聴者９００は、このようなアイコン８７０を参照して、スタンプ８５０を送信する配信者８００を決定することができる。

また、図２０に示すように、視聴者９００は、自身のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定することができる。具体的には、視聴者９００は、例えば、自身のコメント表示８６０の横に示されたアイコン８７０ｂに対してロングタップすることで、触覚制御信号を受信可能又は受信不可を切り替え設定することができる。さらに、本実施形態においては、視聴者９００は、他の視聴者９００のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、当該他の視聴者９００が入力した触覚制御信号を、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定するようにしてもよい。

また、本実施形態においては、視聴者９００が触覚提示デバイス１００を装着していたり、当該視聴者９００の有するユーザ端末７００に振動デバイス（図示省略）が搭載されていたりする場合には、当該視聴者９００は、触覚提示デバイス１００又は当該振動デバイスにより、配信者８００に送信されたスタンプ８５０に対応する触覚刺激を体感することができる。なお、視聴者９００が体感する触覚刺激は、自身が選択したスタンプ８５０に対応する触覚刺激であってもよく、当該視聴者９００が選択した配信者８００が他の視聴者９００から送信されたスタンプ８５０に対応する触覚刺激であってもよい。この場合、視聴者９００は、図２０に示す各配信画面の右上のアイコン８７０に対して操作を行うことにより、体感したい触覚刺激に対応する配信者８００を予め選択することができる。

また、本実施形態においては、視聴者９００が、複数の配信者８００を選択した場合、各配信者８００に提示された触覚刺激が重畳されて（詳細には、各触覚制御信号の波形が重畳される）、当該視聴者９００に提示されてもよい。また、本実施形態においては、触覚刺激を重畳する割合は、視聴者９００の各配信に関する興味度（送信したスタンプ８５０の数、送信したコメント８６０の数、視線が留まっている時間割合等）に応じて、決定してもよい。さらに、本実施形態においては、視聴者９００の各配信に関する興味度（送信したスタンプ８５０の数、送信したコメント数、視線が留まっている時間割合等）に応じて、配信者８００に提示される触覚刺激の強度や提示時間等が変化してもよい。

また、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合に、視聴者９００同士で触覚刺激効果付きスタンプ８５０を送信し合えるようにしてもよい。この場合、一方の視聴者９００が設定した他方の視聴者９００に対してのみ、一方の視聴者９００が選択したスタンプ８５０が送信されてもよい。もしくは、他方の視聴者９００が設定した一方の視聴者９００からのスタンプ８５０のみが、他方の視聴者９００に送信されてもよい。また、本実施形態においては、視聴者９００は、他の視聴者９００からの触覚制御信号の受信可能かどうかを事前に設定してもよく、具体的には、視聴者９００は、例えば、図２０に示すように、自身のコメント表示８６０の横に示されたアイコン８７０ｂに対してロングタップすることで、触覚制御信号を受信可能又は受信不可を切り替え設定することができる。もしくは、本実施形態においては、視聴者９００は、他の視聴者９００のコメント表示８６０の横に示されたアイコン８７０に対して操作を行うことにより、当該他の視聴者９００が入力した触覚制御信号を、自身が装着する触覚提示デバイス１００が触覚刺激を受け入れ可能かどうかを設定するようにしてもよい。さらに、本実施形態においては、例えば、図２０に示すように、視聴者９００に向けて、触覚制御信号の受信可能な視聴者９００の数を表示８８０に表示することが好ましい。

次に、本実施形態に係る情報処理方法の一例を図２１及び図２２を参照して説明する。図２１及び図２２は、本実施形態に係る情報処理方法の一例のフローチャート図である。

まずは、設定時の情報処理方法を、図２１を参照して説明する。図２１に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ１０１からステップＳ１０２までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０は、配信者８００及び視聴者９００からの、触覚制御信号の受信可能又は受信不可の設定情報に基づき、各配信者８００又は視聴者９００の触覚提示デバイス１００の、触覚制御信号の受信の有効／無効を設定する（ステップＳ１０１）。次に、情報処理システム１０は、配信者８００のモニタ２０４や視聴者９００のユーザ端末７００に、設定情報を表示させる（ステップＳ１０２）。なお、視聴者９００がブラウザで視聴している場合は、視聴者９００の識別情報に紐づく設定値として、上記設定がハプティクス用サーバ３００に保存されることが好ましい。

次に、触覚刺激提示時の情報処理方法を、図２２を参照して説明する。図２２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ２０１からステップＳ２０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、視聴者９００から入力されたスタンプ８５０の情報（スタンプ８５０の種類、入力した視聴者９００、送信される配信者８００の情報等）を受信する（ステップＳ２０１）。なお、本実施形態においては、視聴者９００がブラウザで閲覧している場合等は、情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、同時に映像・音響・振動データ自体を受信してもよい。次に、情報処理システム１０の配信データ編集サーバ４００は、受信したスタンプ８５０の情報に応じて、該当する配信者８００の配信画面の上に映像エフェクトを重ねて表示したり、音響エフェクトを再生したりする（ステップＳ２０２）。

次に、情報処理システム１０のハプティクス用サーバ３００は、上記スタンプ８５０の情報に対応する配信者８００や視聴者９００の触覚提示デバイス１００が、上記スタンプ８５０に対応する触覚制御信号が受信可能かどうかを判断する（ステップＳ２０３）。ハプティクス用サーバ３００は、受信可能と判断した場合（ステップＳ２０３：Ｙｅｓ）には、ステップＳ２０４へ進み、受信不可と判断した場合（ステップＳ２０３：Ｎｏ）には、処理を終了する。

情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に紐づけられた触覚制御信号の各パラメータを読み出す（ステップＳ２０４）。次に、ハプティクス用サーバ３００は、読みだした各パラメータに応じて、触覚制御信号を触覚提示デバイス１００から出力する（ステップＳ２０５）。

以上説明したように、本実施形態においては、視聴者９００が複数の配信者８００からの配信を同時に楽しむ場合に、触覚刺激効果付きスタンプ８５０を送信する配信者８００を容易に選択することができる。また、本実施形態においては、視聴者９００は、一人又は複数の配信者８００に提示された触覚刺激を体感したり、視聴者９００同士で、触覚刺激効果付きスタンプ８５０を送信し合ったりすることができる。すなわち、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜５． 第３の実施形態＞＞
次に、視聴者９００に、触覚制御信号の各パラメータの設定や、触覚刺激効果付きスタンプ８５０を送信する配信者８００の設定方法についての本開示の第３の実施形態を、図２３を参照して説明する。図２３は、本開示の第３の実施形態に係る入力例を説明するための説明図である。

例えば、本実施形態においては、図２３に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示されたアイコン８９０に対して、引っ張るようなドラッグ操作（詳細には、指のタッチ操作開始位置から相対的に画面下部に向かってドラッグ操作をした後に、離す操作）により、配信者８００に提示する触覚制御信号の強度又は種類を設定することができる。本実施形態においては、視聴者９００がアイコン８９０を引っ張った距離、時間又は速度に応じて、配信者８００に提示される触覚制御信号の強度又は種類が決定される。また、この際、視聴者９００が、アイコン８９０から指を離したタイミングで、配信者８００に触覚刺激が提示されてもよい。さらにこの際、ドラッグ操作の軌跡に対応するベクトルと反対向きのベクトル９１０に対応する位置に紐づけられた配信者８００に触覚刺激が提示されるようにしてもよい。

次に、本実施形態に係る情報処理方法を、図２４を参照して説明する。図２４は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２４に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ３０１からステップＳ３１０までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のユーザ端末７００は、視聴者９００の、ユーザ端末７００の画面に対する、入力開始位置（タッチ操作を開始した個所）を検出する（ステップＳ３０１）。次に、ハプティクス用サーバ３００は、現在の入力位置と上記入力開始位置との間の距離を測定する（ステップＳ３０２）。

次に、情報処理システム１０のユーザ端末７００は、ステップＳ３０２で測定した距離が所定の距離以上かどうかを判断する（ステップＳ３０３）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ３０３：Ｙｅｓ）には、ステップＳ３０４へ進み、所定の距離以上でないと判断した場合（ステップＳ３０３：Ｎｏ）には、処理を終了する。

次に、情報処理システム１０のユーザ端末７００は、ドラッグ操作入力モードに移行する（ステップＳ３０４）。ユーザ端末７００は、入力終了位置（指が画面から離れた位置）を検出し、入力終了位置と入力開始位置との間の距離を測定する（ステップＳ３０５）。

次に、情報処理システム１０のユーザ端末７００は、ステップＳ３０５で計測した距離が所定の距離以上かどうかを判断する（ステップＳ３０６）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ３０６：Ｙｅｓ）には、ステップＳ３０７へ進み、所定の距離以上でないと判断した場合（ステップＳ３０６：Ｎｏ）には、処理を終了する。

次に、情報処理システム１０のユーザ端末７００は、上記入力終了位置から入力開始位置に向かうベクトル上にある、配信者８００の配信画面を判定する（ステップＳ３０７）。そして、ユーザ端末７００は、対象となる、配信者８００の画面情報、スタンプ８５０の情報、操作距離情報等をハプティクス用サーバ３００等に送信する（ステップＳ３０８）。次に、ハプティクス用サーバ３００は、操作距離情報に応じて、触覚制御信号の強度を決定する（ステップＳ３０９）。次に、配信データ編集サーバ４００は、対象となる配信者８００の配信画面に映像エフェクトを表示し、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号を出力する（ステップＳ３１０）。

また、本実施形態においては、他の設定方法を用いてもよい。他の設定方法について、図２５を参照して説明する。図２５は、本実施形態に係る入力例を説明するための説明図である。

図２５に示すように、視聴者９００は、ユーザ端末７００の表示部７０２に表示されたアイコン８９０に対して、スワイプ動作（指のタッチ開始位置から相対的に画面上部（あるいは、配信者の配信画面）に向かって素早くスワイプ操作後、離す）を行ってもよい。この場合も、スワイプ動作の距離又は速度に応じて、配信者８００の提示される触覚制御信号の強度が決定される。

次に、本実施形態に係る情報処理方法を、図２６を参照して説明する。図２６は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２６に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ４０１からステップＳ４１０までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のユーザ端末７００は、所定のトリガー（特定のスタンプ８５０が入力された、配信者８００がモード切り替えをした、視聴者９００がモード切り替えをした等)を受信したことにより、ドラッグ入力モードに切り替わる（ステップＳ４０１）。次に、ユーザ端末７００は、視聴者９００の画面への触る操作を検出し、入力を開始する（ステップＳ４０２）。

情報処理システム１０（具体的には、ユーザ端末７００又は配信データ編集サーバ４００）は、視聴者９００が画面上を触りながら動かした距離に応じて、描画する軌跡の長さや、描画に使用するスタンプ数を決定し、描画する（ステップＳ４０３）。

次に、情報処理システム１０のユーザ端末７００は、無操作時間が所定の時間以上経過したかを判断する（ステップＳ４０４）。ユーザ端末７００は、所定の時間以上であると判断した場合（ステップＳ４０４：Ｙｅｓ）には、ステップＳ４０５へ進み、所定の時間以上でないと判断した場合（ステップＳ４０４：Ｎｏ）には、ステップＳ４０２の処理へ戻る。

情報処理システム１０のユーザ端末７００は、描画された軌跡の総距離（又は、使用するスタンプ数）を計測する（ステップＳ４０５）。

次に、情報処理システム１０のユーザ端末７００は、ステップＳ４０５で計測された距離が所定の距離（又は、所定の数）以上かどうかを判断する（ステップＳ４０６）。ユーザ端末７００は、所定の距離以上であると判断した場合（ステップＳ４０６：Ｙｅｓ）には、ステップＳ４０７へ進み、所定の距離以上でないと判断した場合（ステップＳ４０６：Ｎｏ）には、ステップＳ４０８の処理へ進む。

情報処理システム１０のユーザ端末７００又はハプティクス用サーバ３００は、ステップＳ４０６での判断に基づき、提示されるべき触覚制御信号の種類を切り替える（ステップＳ４０７）。ハプティクス用サーバ３００は、提示されるべき触覚制御信号を決定し、触覚制御信号の各パラメータを読み出す（ステップＳ４０８）。ハプティクス用サーバ３００は、軌跡の距離又は使用されたスタンプ８５０の数等に応じて、触覚制御信号の強度を決定する（ステップＳ４０９）。次に、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号を出力する（ステップＳ４１０）。

また、本実施形態においては、視聴者９００は、ユーザ端末７００の表示部７０２と対向する裏面をタップすることにより設定してもよい。詳細には、視聴者９００は、表示部７０２に対するタップ操作でスタンプ８５０を選択し、上記裏面に対するタップ操作で触覚刺激を提示するタイミングを決定する。なお、上記裏面に対するタップ操作は、ユーザ端末７００に内蔵された加速度センサ７２８により検出することができる。また、本実施形態においては、複数の視聴者９００によるタップ操作が同期したタイミングで、触覚刺激を提示するタイミングが決定されてもよい。

また、本実施形態においては、表示部７０２に対する操作によって、触覚刺激を編集、設定するだけでなく、例えば、ユーザ端末７００に内蔵されている各種のセンサや他の装置を利用してもよい。本実施形態においては、例えば、視聴者９００は、ユーザ端末７００に対して、振動を与える等のタッチ操作、保持角度を変化させる等のモーション操作を行うことにより、触覚刺激の波形や強度変化等を編集してもよい。詳細には、本実施形態においては、ユーザ端末７００に内蔵されたジャイロセンサ７２６や加速度センサ７２８によって当該モーション操作を検知し、検知したセンシングデータに基づいて、触覚刺激の波形等を決定することができる。

また、本実施形態においては、視聴者９００が描いた形や文字（軌跡）を認識し、認識結果から文言を抽出し、抽出した文言に紐づけられたスタンプ８５０や触覚制御信号を選択するようにしてもよい。その際には、ユーザ端末７００のタッチパネル（図示省略）に対しての操作だけでなく、空中に文字や形を描いてもよい。この場合、例えば、視聴者９００の腕に装着されたＩＭＵセンサ（図示省略）によって、文字や形を認識してよい。

また、図２７に示すように、音声入力によっても、触覚制御信号を編集等することができる。図２７は、本実施形態に係る入力例を説明するための説明図である。例えば、視聴者９００は、ユーザ端末７００に対して所定のリズムを持った音声を発話し、当該発話をユーザ端末７００に内蔵されたマイク７２４で検知させる。そして、ハプティクス用サーバ３００は、マイク７２４で検知したセンシングデータを利用して、上記音声のリズムに応じて、触覚制御信号の周波数を設定してもよい。また、本実施形態においては、例えば、図２７に示すように、視聴者９００がマイクアイコン８９２に触れている間、音声入力モードに切り替わったり(離すと音声入力モードが終了)、マイクアイコン８９２に触れる度に入力開始と終了が切り替わったりしてもよい。

なお、例えば、音楽のリズムに合わせて、複数のスタンプ８５０に紐づけられた触覚刺激を連続して配信者８００に提示したい場合には、タップ操作ではなく、音声により提示のタイミングを決定することができることから、音声入力は有効な手段であるといえる。また、所定の音楽やリズムを視聴者９００に向けて出力し、当該音楽と視聴者９００の発話音声のリズムやタイミングが一致すると、触覚制御信号の強度が強くなったり、その他パラメータが変化したりしてもよい。

また、本実施形態においては、視聴者９００がオノマトペ（ツンツン（ｓｔｕｃｋ-ｕｐ）、ガーン（ｂｕｍｍｅｒ）、ゾワゾワ（ｔｒｅｍｂｌｅ）等）やスタンプ８５０の名称（ハート、花束等）等を発話した場合、その発話音声から文言を抽出し、抽出した文言に紐づけられたスタンプ８５０や触覚刺激を選択するようにしてもよい。その際、発話音声の音圧（音量）に応じて、触覚制御信号の強度が強くなったり、その他パラメータが変化したりしてもよい。

以上説明したように、本開示の実施形態においては、様々な入力方法によって、視聴者９００は、触覚刺激の提示タイミングや、提示する配信者８００や、触覚制御信号の各パラメータを設定することができる。このように視聴者９００が容易に設定を行うことができることから、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜６． 第４の実施形態＞＞
また、本開示においては、複数の視聴者９００が、所定の種類のスタンプ８５０を所定の時間内に選択した場合、そのスタンプ８５０の組み合わせに応じて、新たなスタンプ８５０に変化して、新たな触覚刺激に変化してもよい。このような本開示の第４の実施形態を、図２８を参照して説明する。図２８は、本実施形態に係る入力例を説明するための説明図である。

例えば、図２８に示すように、視聴者１がバンズのスタンプ８５０ａを選択した場合、時計がスタートし、ユーザ端末７００は、残り時間を表示する。次に、所定の時間内に、視聴者２がミートのスタンプ８５０ｂを選択し、さらに、視聴者３がレタスのスタンプ８５０ｃを選択した場合、これらスタンプ８５０ａ、８５０ｂ、８５０ｃが組み合わされたハンバーガーのスタンプ８５０ｄに変化する。そして、当該スタンプ８５０ｄに紐づけられた触覚刺激は、他のスタンプ８５０ａ、８５０ｂ、８５０ｃに紐づけられた触覚刺激と異なるものとする。すなわち、本実施形態においては、所定の時間内に、複数の視聴者９００が所定の種類のスタンプ８５０を選択し、所定の条件がそろった場合には、スタンプ８５０の映像エフェクトが変化したり、配信者８００に提示される触覚刺激が変化したりする。

次に、本実施形態に係る情報処理方法を、図２９を参照して説明する。図２９は、本実施形態に係る情報処理方法の一例のフローチャート図である。図２９に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ５０１からステップＳ５０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０の配信データ編集サーバ４００は、は、ユーザ端末７００から送信されたスタンプ８５０の情報（スタンプ８５０の識別情報）を受信する（ステップＳ５０１）。

次に、情報処理システム１０の配信データ編集サーバ４００は、選択されたスタンプ８５０が合成に対応しているかどうかを判断する（ステップＳ５０２）。配信データ編集サーバ４００は、合成に対応していると判断した場合（ステップＳ５０２：Ｙｅｓ）には、ステップ５０３へ進み、合成に対応していないと判断した場合（ステップＳ５０２：Ｎｏ）には、処理を終了する。

次に、配信データ編集サーバ４００は、選択されたスタンプ８５０に対応した待機時間を読み出し、配信する（ステップＳ５０３）。この際、配信されたユーザ端末７００は、待機時間に基づき、残り時間を、テキスト表示したり、タイムバーを表示したり等することにより、各視聴者９００に提示する。

次に、配信データ編集サーバ４００は、所定の時間内に他の視聴者９００から入力されたスタンプ８５０が、所定の合成条件を満たしたかどうかを判断する（ステップＳ５０４）。配信データ編集サーバ４００は、合成条件を満たしたと判断した場合（ステップＳ５０４：Ｙｅｓ）には、ステップ５０５へ進み、合成条件を満たしていないと判断した場合（ステップＳ５０４：Ｎｏ）には、処理を終了する。

情報処理システム１０の配信データ編集サーバ４００は、合成条件を満たした場合に表示すべき特殊スタンプ８５０の識別情報や映像エフェクトを配信し、ユーザ端末７００に特殊スタンプ８５０を表示させる（ステップＳ５０５）。なお、この際、ユーザ端末７００の表示されていたこれまで入力されたスタンプ８５０の画像が消去されてもよい。さらに、ハプティクス用サーバ３００は、ステップＳ５０５で選択された特殊スタンプ８５０に紐づけられた触覚制御信号を読み出す（ステップＳ５０６）。次に、ハプティクス用サーバ３００は、触覚提示デバイス１００から触覚制御信号（スタンプ８５０に対応した触覚制御信号とは異なる信号）を出力する（ステップＳ５０７）。なお、本実施形態においては、上記ステップＳ５０６において、ハプティクス用サーバ３００は、ステップＳ５０５で選択された特殊スタンプ８５０に紐づけられた識別情報を受信して、受信した識別情報に基づいて、触覚制御信号を読み出してもよい。

以上説明したように、本開示の実施形態においては、他の視聴者９００と協力して、新たなスタンプ８５０や触覚刺激を配信者８００に送信することができる。このような送信を行うことができることから、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜７． 第５の実施形態＞＞
ところで、一人の配信者８００に多数のスタンプ８５０が同時に送信された場合、当該配信者８００に装着された触覚提示デバイス１００の触覚刺激部１０６は、その動作により発熱し、動作異常を起こしたりする恐れがある。そこで、以下においては、本開示の第５の実施形態として、同時に再生される触覚刺激に制限をかけ、触覚提示デバイス１００の触覚刺激部１０６に負担がかかることを避けることができる実施形態を説明する。

例えば、本実施形態においては、情報処理システム１０のハプティクス用サーバ３００は、同時に再生される触覚刺激（スタンプ８５０）の数、触覚制御信号の強度、提示時間、又は、触覚刺激部１０６の熱等を、触覚刺激部１０６の特性に応じてあらかじめ決められた閾値と比較する。そして、ハプティクス用サーバ３００は、閾値を超えたと判断した場合には、同時に再生される触覚刺激に制限をかける。さらに、制限がかかった場合、ハプティクス用サーバ３００は、触覚刺激の提示を一時的に停止したり、各スタンプ８５０の触覚刺激をスタックしておき、上記パラメータが閾値を下回った際に、触覚刺激の提示を再開したりしてもよい。なお、本実施形態においては、触覚刺激部１０６の温度については、触覚提示デバイス１００からハプティクス用サーバ３００へ送信されるものとする。

また、一時停止の際には、視聴者９００に１次停止を通知することが好ましい。例えば、通知の表示例を、図３０及び図３１を参照して説明する。図３０及び図３１は、本実施形態に係る表示例を説明するための説明図である。

例えば、図２７に示すように、ユーザ端末７００は、触覚刺激の提示のみ停止して、スタンプ８５２の表示等はそのまま表示してもよい。また、この際、ユーザ端末７００は、一時停止を示すアイコン８７０ｂを表示するとともに、視聴者９００が選択することができるスタンプがない旨を示す表示８５０を行ってもよい。

また、触覚刺激だけでなく、映像表示も停止する場合には、ユーザ端末７００は、図３１に示すような表示を行ってもよい。また、この際、ユーザ端末７００は、停止状態ある旨のアイコン８７２を表示させたり、符号８７４に示すように、スタック中のスタンプ８５０又は触覚刺激の数を表示したりしてもよい。

次に、本実施形態に係る情報処理方法を、図３２を参照して説明する。図３２は、本実施形態に係る情報処理方法の一例のフローチャート図である。図３２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ６０１からステップＳ６０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のハプティクス用サーバ３００及び配信データ編集サーバ４００は、ユーザ端末７００から送信されたスタンプ８５０の情報(ＩＤ等)を受信する（ステップＳ６０１）。

次に、情報処理システム１０のハプティクス用サーバ３００は、再生中のスタンプ８５０の数が閾値を超えているかを判断する（ステップＳ６０２）。ハプティクス用サーバ３００は、超えていると判断した場合（ステップＳ６０２：Ｙｅｓ）には、ステップＳ６０６へ進み、超えていないと判断した場合（ステップＳ６０２：Ｎｏ）には、ステップＳ６０３へ進む。

情報処理システム１０の配信データ編集サーバ４００は、受信したスタンプ８５０を他の視聴者９００や配信者８００に配信する（ステップＳ６０３）。情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号のパラメータを読み出し、触覚提示デバイス１００から出力する（ステップＳ６０４）。情報処理システム１０の配信データ編集サーバ４００は、スタンプ８５０に対応する映像エフェクトを読み出し、表示する（ステップＳ６０５）。

情報処理システム１０のハプティクス用サーバ３００は、配信する情報に、触覚提示デバイス１００が触覚刺激の提示不可になっている旨の情報を含める（ステップＳ６０６）。ユーザ端末７００は、触覚提示デバイス１００が触覚刺激の提示不可になっていることを示すアイコンやテキストを表示する（ステップＳ６０７）。

以上説明したように、本実施形態によれば、同時に再生される触覚刺激に制限をかけ、触覚提示デバイス１００の触覚刺激部１０６に負担がかかることを避けることができる。

＜＜８． 第６の実施形態＞＞
ところで、本開示においては、例えば、配信者８００が触覚提示デバイス１００を装着していない場合、配信者８００が触覚刺激を受け付けたくない場合、触覚提示デバイス１００の電池容量が少ない場合等の際、触覚刺激に代わって、他のモーダル、例えば、映像によって触覚刺激の振動を提示してもよい。そこで、このような場合の提示方法を、本開示の第５の実施形態として、図３３から図３７を参照して、説明する。図３３から図３７は、本実施形態に係る表示例を説明するための説明図である。

本実施形態においては、例えば、図３３に示すように、触覚制御信号の周波数に応じて、配信される映像９５０又は映像９５０の一部を左右に往復させるようか映像エフェクトを用いてもよい。詳細には、例えば、映像９５０を往復させる周期は、触覚制御信号の周波数が高いほど短くする。また、本実施形態においては、閾値を超えた触覚制御信号の周波数に応じて、往復させる映像９５０の領域を決定してもよい。例えば、図３３に示すように、触覚制御信号の周波数が低いほど、映像９５０の下部に近い映像を往復させる。

また、図３４に示すように、閾値を超えた触覚制御信号の周波数が複数あった場合（例えば、比較的低い周波数領域と、高い周波数領域との２つの周波数領域が閾値を超えた場合）には、配信される映像９５０の下部及び上部を往復させる。

また、本実施形態においては、映像９５０を左右に往復させる際に、その折り返しを連続的にするか、非連続にするか、またその度合いを切り替えても良い。例えば、図３５に示すように、振動周波数成分が比較的低い場合は、映像変形の折返しを連続的にし（領域９６０ｂ）、比較的高い場合は、映像変形の折返しを非連続にする（領域９６０ａ）。このようにすることで、映像９５０において、低い周波数ほど柔らかい印象の映像エフェクトが施されることとなる。なお、本実施形態においては、触覚制御信号の周波数に応じて、映像９５０の左右に往復させる際の周波数だけではなく、間隔、波形等が変化してもよい。

より詳細には、映像変形の折返しにおける単位時間ごとの映像の位置を示す図３６を用いて、図３５の例を説明する。図３６に示すように、図３５の例では、映像位置が単位時間の経過に比例して変化し、映像位置が終端に到達すると、逆方向に変化し始める。

図３６の左側に示す比較的周波数が高い場合には（領域９６０ａ）、下記の数式（１）、数式（２）に従って、映像位置が決定される。最初に、経過時間ｔと数式（１）とに従って映像位置が決定され、終端に到達したら経過時間ｔと数式（２）とに従って映像位置ｘが決定される。なお、数式（１）、（２）中のαは、任意の係数である。

図３６の右側に示す比較的周波数が低い場合には（領域９６０ｂ）、経過時間ｔと数式（３）とに従って映像位置ｘが決定される。なお、数式（３）中のα、βは、任意の係数である。

なお、本実施形態においては、映像変形の折返しにおける映像位置の決定は、触覚制御信号の周波数成分、強度、映像コンテンツの種類、映像エフェクトの種類、映像コンテンツや映像エフェクトに紐付けられたメタデータに基づいて、行うことができる。

また、本実施形態においては、映像９５０の全体にわたって左右に往復させるだけではなく、映像９５０中の所定の領域９７０のみを左右に往復させてもよい。例えば、図３７においては、配信者８００が表示されている領域９７０を左右に往復させてもよい。もしくは、本実施形態においては、配信者８００の画像に重畳されたスタンプ８５０の画像のみを左右に往復させてもよい。

また、本実施形態においては、映像コンテンツに紐付いたメタデータがある場合、メタデータに基づいて、上記映像変形の種類を決定しても良い。例えば、上から物が落ちてきたような映像効果のあるスタンプ８５０に対して、「落下」のようなメタデータが付与されていた場合、映像９５０は、左右ではなく、上下に往復させてもよい。

次に、本実施形態に係る情報処理方法を、図３８を参照して説明する。図３８は、本実施形態に係る情報処理方法の一例のフローチャート図である。図３８に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ７０１からステップＳ７０６までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のユーザ端末７００は、スタンプ８５０の情報をハプティクス用サーバ３００へ送信する（ステップＳ７０１）。ハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号を読み出す（ステップＳ７０２）。

次に、情報処理システム１０のハプティクス用サーバ３００は、配信者８００や視聴者９００が触覚提示デバイス１００を有しているかどうかを判断する（ステップＳ７０３）。ハプティクス用サーバ３００は、有していると判断した場合（ステップＳ７０３：Ｙｅｓ）には、ステップＳ７０４へ進み、有していないと判断した場合（ステップＳ７０３：Ｎｏ）には、ステップＳ７０５へ進む。

情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０に対応する触覚制御信号を触覚提示デバイス１００から出力する（ステップＳ７０４）。

情報処理システム１０のハプティクス用サーバ３００は、触覚制御信号に含まれている周波数成分と、強度とを解析する（ステップＳ７０５）。情報処理システム１０の配信データ編集サーバ４００は、ステップＳ７０５での解析結果に基づいて、映像９５０を変形させる（ステップＳ７０６）。

また、本実施形態においては、映像９５０を左右に振るだけでなく、視聴者９００や配信者８００に配信する音声データに対して、音像定位技術によって、音像を上下などに揺らす処理を行ってもよい。

また、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合、送風機型のデバイスにより、風(例えば、温風、冷風等)を出力しても良いし、体に装着した温度提示デバイス(ペルチェ素子などを搭載)の温度を変化させてもよい。また、本実施形態においては、芳香剤を吐出する吐出器により芳香剤を提示してもよい。

以上説明したように、本実施形態においては、配信者８００が触覚提示デバイス１００を装着していない場合等であっても、他のモーダルによって触覚刺激の振動を提示することができる。従って、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜９． 第７の実施形態＞＞
次に、図３９から図４１を参照して、本開示の第７の実施形態を説明する。図３９から図４１は、本実施形態に係る表示例を説明するための説明図である。

本実施形態においては、例えば、配信者８００の装着する触覚提示デバイス１００が複数の触覚刺激部１０６を有している場合、触覚刺激部１０６ごとに、視聴者９００が専有できるようにしてもよい。すなわち、専有している視聴者９００以外の視聴者９００は、該当する触覚刺激部１０６を用いて触覚刺激を提示することができない。例えば、触覚刺激部１０６を占有するためには、視聴者９００は、所定の金額を支払ったり、一括購入したり、サブスクリプションできたりするものとする。また、本実施形態においては、金額の高いスタンプ８５０で指定された触覚刺激部１０６の周囲に位置する、触覚刺激部１０６の提示が停止されてもよい。また、視聴者９００をいくつかのグループ（地域で分けたり、ランクで分けたり、等）に分けられる場合、グループ毎に、触覚刺激部１０６が割り当てられてもよい。

例えば、図３９においては、左側が触覚刺激部１０６の一部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００は、占有されている触覚刺激部１０６に対応するスタンプ８５０を選択できない旨を表示する。

また、例えば、図４０においては、左側が触覚刺激部１０６の一部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の一部を占有していない視聴者９００のユーザ端末７００は、占有されている触覚刺激部１０６が選択できない旨を表示する。

また、例えば、図４１においては、左側が触覚刺激部１０６の全部を占有する視聴者９００のユーザ端末７００の表示例であり、右側が触覚刺激部１０６の全部を占有していない視聴者９００のユーザ端末７００の表示例である。この場合、触覚刺激部１０６の全部を占有していない視聴者９００のユーザ端末７００は、全ての触覚刺激部１０６が占有されていることから、スタンプ８５０が選択できない旨を表示する。もしくは、図４１の表示例は、左側が、高い金額を支払った又は高いランク（例えば、プレミアムコース、ゴールドランク等）とされた視聴者９００のユーザ端末７００の表示例であり、右側が、上記視聴者９００が触覚制御信号を入力した際の、他の視聴者９００のユーザ端末７００の表示例であってもよい。この場合、高い金額を支払った等の視聴者９００が入力した触覚制御信号に係る触覚刺激の提示が終了した後には、他の視聴者９００は、触覚制御信号の入力が可能となる。もしくは、本実施形態においては、低い金額を支払った又は低いランク（例えば、ベーシックコース、ブロンズランク等）とされた視聴者９００が触覚制御信号を入力した直後に、高い金額を支払った又は高いランクとされた視聴者９００が触覚制御信号を入力した場合、低い金額を支払った又は低いランクとされた視聴者９００が触覚制御信号は即座に提示がキャンセルされるようにしてもよい。

また、本実施形態においては、配信中のコンテンツのカテゴリに応じて、触覚刺激を提示可能な触覚刺激部１０６を切り替えてもよい。例えば、メイク配信やゲーム実況系の配信であれば、メイクやゲームに使用する手や腕に対応する触覚刺激部１０６を触覚刺激の提示をさせないように設定する。また、フリーマーケットに関する配信（又は、ライブコマース）であれば、服を試着するためにベスト型の触覚提示デバイス１００を脱ぐので、胴体に対応する触覚刺激部１０６を触覚刺激の提示をさせないように設定する。この場合、触覚提示デバイス１００を装着した場合に、スタックしていた触覚刺激を順番に提示してもよい。

また、本実施形態においては、対戦型の配信などで、配信者８００や視聴者９００が装着している触覚提示デバイス１００の種類が異なる（再生可能な周波数帯域が異なったり、搭載されているアクチュエータの数が異なったりなど）場合、共通の部位（共通の再生可能な周波数領域、出力可能な振動強度の最小値、共通のアクチュエータ部位）である触覚刺激部１０６のみを使用して、触覚刺激を提示してもよい。

詳細には、搭載された触覚刺激部１０６の多い方に最適化された触覚制御信号に対して、搭載された触覚刺激部１０６の少ないほうに触覚制御信号を合わせるために、各触覚刺激部１０６に与えられる制御信号をマージして特定の触覚刺激部１０６から出力してもよい。具体的には、肩と腕に提示予定だった触覚刺激をマージして、手首に搭載された１つの触覚刺激部１０６から出力する。また、触覚刺激をマージする際には、混合比率を決定するために、予め身体の部位又は触覚刺激部１０６ごとに優先度を設定しておいてもよい。具体的には、例えば、肩の優先度が４に、腕の優先度１に設定されていた場合（数字が大きいほうが、優先度が高いものとする）、手首に対応する触覚刺激部１０６から出力される触覚制御信号の強度は、肩に与えられる触覚制御信号の強度×０．８＋腕に与えられる触覚制御信号の強度×０．２となる。

また、本実施形態においては、予め、触覚刺激部１０６ごとに意味（ポジティブ系・ネガティブ系等）を設定できるようにしておき、スタンプ８５０に紐付いたメタデータと照合して、メタデータと対応する意味を持つ触覚刺激部１０６を、触覚刺激を提示する触覚刺激部１０６として決定してもよい。

次に、本実施形態に係る情報処理方法を、図４２を参照して説明する。図４２は、本実施形態に係る情報処理方法の一例のフローチャート図である。図４２に示すように、本実施形態に係る情報処理方法の一例には、ステップＳ８０１からステップＳ８０６までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法の一例に含まれる各ステップの詳細を説明する。

情報処理システム１０のハプティクス用サーバ３００は、配信のカテゴリを検出する（ステップＳ８０１）。ハプティクス用サーバ３００は、検出したカテゴリに対して、触覚提示不可な触覚刺激部１０６の情報を読み出す（ステップＳ８０２）。次に、ハプティクス用サーバ３００は、スタンプ８５０に紐付いた触覚刺激部１０６の情報を読み出す（ステップＳ８０３）。

次に、情報処理システム１０のハプティクス用サーバ３００は、触覚刺激提示不可な触覚刺激部１０６を含んでいるかを判断する（ステップＳ８０４）。ハプティクス用サーバ３００は、含んでいると判断した場合（ステップＳ８０４：Ｙｅｓ）には、ステップＳ８０５へ進み、含んでいないと判断した場合（ステップＳ８０４：Ｎｏ）には、処理を終了する。

情報処理システム１０のハプティクス用サーバ３００は、スタンプ８５０を選択不可状態にし、選択不可になったことを配信する（ステップＳ８０５）。情報処理システム１０のユーザ端末７００は、スタンプ８５０が選択不可であることを示唆する表示に変更する（ステップＳ８０６）。

以上説明したように、本開示の実施形態においては、視聴者９００によって触覚刺激部１０６を占有したり、配信のコンテンツによって触覚刺激の提示する触覚刺激部１０６を変化させたり、触覚提示デバイス１００の種類に応じて、触覚刺激を変化させることができる。このようにすることで、本実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

＜＜１０． 第８の実施形態＞＞
本開示の第８の実施形態においては、視聴者９００同士で、タイミングやリズムをあわせて同時にスタンプ８５０を入力することで、当該スタンプ８５０に紐付けられた触覚刺激とは別のものに切り替わって提示されてもよい。

また、本実施形態においては、スタンプ８５０を選択することができる時間範囲（何時から何時まで、何分間）や、その時間内に投げられる数を設定できるようにしてもよい。本実施形態においては、例えば、入札により、各視聴者９００が何分間スタンプ８５０を入力できるかの数を決定してもよい。

＜＜１１． 第９の実施形態＞＞
また、本実施形態においては、視聴者９００の数が比較的少ない配信や、スタンプ８５０の送信数が活発でない（単位時間あたりの送信スタンプ８５０の数が、閾値よりも小さい）配信の場合に、チャットテキスト等をトリガーにして、チャットテキストに応じた触覚刺激を配信者８００に提示してもよい。このようにすることで、配信者８００の配信に対するモチベーションを高めることができる。例えば、配信者８００が予め設定しておいたキーワードや絵文字を含むコメントが視聴者９００により投稿されたら、それを検出して、触覚刺激を提示してもよい。さらに、コメント中の合致したキーワードの数や、合致した絵文字の数に応じて、映像エフェクトの種類を切り替えたり、提示される触覚刺激の強度を強めたりしてもよい。この場合、キーワードを設定するタイミングとして、配信を開始する前でもよいし、配信中に適宜設定してもよい(例えば、クイズを出題するような場面で、その都度、正解となるキーワードを設定する等)。

また、本実施形態においては、新規の視聴者９００が、配信者８００の配信ルームに入場するのをトリガーとして、触覚刺激を提示してもよい。また、本実施形態においては、複数の視聴者９００が同時(一定時間内)に、同一のコメントを投稿したり、同一の絵文字を含むコメントを投稿したり、同一のスタンプ８５０（ただし、触覚刺激と対応していない）を投稿したタイミングをトリガーとして、触覚刺激を提示してもよい。

＜＜１２． まとめ＞＞
以上説明したように、本開示の各実施形態によれば、視聴者９００は、リアルタイムで、且つ、インタラクティブな付加価値の高い体験を得ることができる。

なお、本開示の実施形態は、上述したようなライブ配信等に適用されるだけではなく、例えば、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）上でやり取りされるスタンプ８５０等に適用することも可能である。その場合、例えば、触覚提示デバイス１００の代わりに、ユーザ端末７００が振動等することにより、スタンプ８５０を送付した相手に、触覚刺激を与えることができる。

＜＜１３． 本開示の情報処理システム１０の変形例１＞＞
さらに、図４３から図５０を参照して、本開示の実施形態に係る情報処理システム１０の変形例を説明する。図４３から図５０は、本開示の実施形態の変形例１に係る情報処理システム１０の概略的構成例を示したシステム図である。

まず、図４３に示す情報処理システム１０においては、ハプティクス用サーバ３００ａは、上述した配信データ編集サーバ４００及びライブ配信サーバ５００の機能をも担う。この場合、ハプティクス用サーバ３００ａの管理は、１つの事業者によって行うことができる。

また、図４４に示す情報処理システム１０においては、ハプティクス用サーバ３００の記憶部３１８の機能の一部を担うものとして、ハプティクスサーバ６００が含まれていてもよい。この場合、ハプティクスサーバ６００は、各スタンプ８５０の識別情報（ＩＤ）に紐づけられて、予め生成された触覚データライブラリ（振動波形パターン等）が格納する。また、ハプティクスサーバ６００は、例えば、触覚提示デバイス１００の触覚刺激部１０６の個数、その位置、周波数特性、最大入力電圧等といった情報を、触覚提示デバイス１００のプロファイル情報として格納してもよい。

また、図４５に示す情報処理システム１０においては、ハプティクス用サーバ３００は、上述した配信データ編集サーバ４００の機能をも担う。この場合、触覚刺激に提示を管理する事業者と、配信を管理する事業者とは異なる事業者であることができる。

また、図４６に示す情報処理システム１０においては、図４５の例と異なり、ハプティクスサーバ６００に格納された情報は、ライブ配信サーバ５００を介して、ハプティクス用サーバ３００に提供される。

また、図４７に示す情報処理システム１０においては、図４５の例と異なり、ハプティクスサーバ６００に格納された情報は、ライブ配信サーバ５００及び配信データ編集サーバ４００を介して、ハプティクス用サーバ３００に提供される。

また、図４８に示す情報処理システム１０においては、図４３の例とは異なり、ハプティクス用サーバ３００の記憶部３１８の機能の一部を担うものとして、ハプティクスサーバ６００が含まれていてもよい。

また、図４９に示す情報処理システム１０においては、ハプティクスサーバ６００が、ライブ配信サーバ５００と協働して、ユーザ端末７００への配信を行ってもよい。

また、図５０に示す情報処理システム１０においては、ライブ配信サーバ５００は、ユーザ端末７００からスタンプ８５０の情報を取得し、映像等の配信を行う。また、ハプティクス用サーバ３００は、ライブ配信サーバ５００から各スタンプ８５０の識別情報（ＩＤ）を取得する。さらに、ハプティクス用サーバ３００は、上記識別情報を参照して、ハプティクスサーバ６００内の情報に基づき、各スタンプ８５０に紐づけられた触覚制御信号を生成する。なお、図５０においては、ハプティクスデータは、スタンプ８５０に対応する触覚制御信号（波形データ）の識別情報又は触覚制御信号自体であるものとする。

＜＜１４． 本開示の情報処理システム１０の変形例２＞＞
本開示の実施形態に係る情報処理システム１０は、例えばクラウドコンピューティング（クラウド）等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。そこで、本実施形態に係る情報処理システム１０における各サーバのネットワーク上の位置（クラウド側又はローカル側）のバリエーションについて、図５１から図５４を参照して説明する。図５１から図５４は、本開示の実施形態の変形例２に係る情報処理システム１０の概略的構成例を示したシステム図である。なお、これらの図においては、ローカル側制御装置３５０は、上述した本開示の実施形態におけるハプティクス用サーバ３００に対応し、ライブ配信サーバ５００は、上述した本開示の実施形態におけるライブ配信サーバ５００と配信データ編集サーバ４００とに対応するものとする。さらに、これらの図においては、ハプティクスデータは、スタンプ８５０に対応する触覚制御信号（波形データ）の識別情報又は触覚制御信号自体であるものとする。

まず、図５１に示す情報処理システム１０においては、ローカル側制御装置３５０は、配信者８００側に設置される。一方、ライブ配信サーバ５００は、クラウド側に配置される。また、ローカル側制御装置３５０は、ＰＣ等で構成され、本実施形態を実施するためのブラウザやソフトウェア（スタンプ８５０の表示や、ライブ配信サーバ５００との間の送受信を実行する）が搭載される。さらに、ローカル側制御装置３５０は、触覚提示デバイス１００を制御するためのソフトウェアやデータベースが搭載される。また、これら情報処理システム１０の配信者側に設置される各装置とソフトウェアとは同一事業者によって提供されてもよく、別の事業者によって提供されてもよい。さらに、上記事業者は、ライブ配信サーバ５００を管理／運営する事業者と同一であっても、異なっていてもよい。

次に、図５２に示す情報処理システム１０においては、図５１に示す情報処理システム１０と異なり、クラウド側に配置されたハプティクスサーバ６００を含む。ローカル側制御装置３５０は、ＰＣ等で構成され、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた触覚制御信号（波形データ）の識別情報等をハプティクスサーバ６００から取得することができる。なお、図５２に示す情報処理システム１０においては、ハプティクスサーバ６００は、配信者８００側に設置されたローカルな装置であってもよい。

次に、図５３に示す情報処理システム１０においては、図５２に示す情報処理システム１０と同様に、クラウド側に配置されたハプティクスサーバ６００を含む。しかしながら、図５３に示す情報処理システム１０は、図５２に示す情報処理システム１０と異なり、ローカル側制御装置３５０は、ライブ配信サーバ５００を介して、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた触覚制御信号（波形データ）の識別情報等をハプティクスサーバ６００から取得する。

また、図５４に示す情報処理システム１０においては、ローカル側制御装置３５０は、配信者８００側に設置される。一方、ライブ配信サーバ５００及びハプティクスサーバ６００は、クラウド側に配置される。図５４に示す情報処理システム１０は、図５３に示す情報処理システム１０と異なり、ローカル側制御装置３５０は、ハプティクスサーバ６００を介して、スタンプ８５０の識別情報（スタンプ情報）に紐づけられた映像、音声信号等をライブ配信サーバ５００から取得する。

＜＜１５． 触覚刺激の出力方法＞＞
先に説明した本開示の実施形態においては、ハプティクス用サーバ３００は、受け付けたスタンプ８５０の識別情報を参照して、予め格納された当該識別情報に紐づけられたデータに基づいて、スタンプ８５０に対応する触覚制御信号を生成／出力する。そこで、本開示の実施形態における、触覚刺激の具体的な提示の方法について、図５５を参照して説明する。図５５は、本開示の実施形態に係る触覚刺激の提示方法について説明するための説明図である。

本実施形態においては、例えば、図５５に示すように、ハプティクス用サーバ３００又はハプティクスサーバ６００に、スタンプ８５０の識別情報に紐づけられた触覚刺激の波形データが、触覚刺激を提示する触覚刺激部１０６と対応するように準備され、格納されている。そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、受け付けたスタンプ８５０の識別情報に紐づけられた複数の波形データを駆動アンプ／インタフェース２００へ送信する。さらに、駆動アンプ／インタフェース２００は、指定された触覚刺激部１０６ａ～１０６ｆを受信した波形データに基づいて駆動することにより、触覚刺激を提示することができる。

なお、上記説明では、波形データは触覚刺激を提示する触覚刺激部１０６と対応するように準備されていると説明したが、本実施形態においてはこれに限定されるものではない。例えば、ハプティクス用サーバ３００又はハプティクスサーバ６００に、スタンプ８５０の識別情報に紐づけられた触覚刺激の波形データが、触覚刺激を提示する触覚刺激部１０６と紐づけられることなく準備され、格納されている。また、ハプティクス用サーバ３００、ハプティクスサーバ６００、又は、駆動アンプ／インタフェース２００は、触覚提示デバイス１００のスペック（触覚刺激部１０６の数、位置、与えられる最大振動強度等）の情報を触覚提示デバイス１００から取得する、もしくは、当該情報を予め格納しているものとする。

そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、受け付けたスタンプ８５０の識別情報に紐づけられた複数の波形データのそれぞれを、触覚提示デバイス１００のスペックに応じて、各触覚刺激部１０６に紐づける（マッチングする）。このようにすることで、例えば、予め準備された波形データの数と触覚刺激部１０６の数とが同じでない場合には、ハプティクス用サーバ３００又はハプティクスサーバ６００は、触覚提示デバイス１００のスペックにあわせた波形データのみを送信することができる。そして、ハプティクス用サーバ３００又はハプティクスサーバ６００は、各触覚刺激部１０６に紐づけられた波形データを、駆動アンプ／インタフェース２００へ送信し、駆動アンプ／インタフェース２００は、各触覚刺激部１０６を受信した波形データに基づいて駆動することにより、触覚刺激を提示することができる。

＜＜１６． スタンプ表示の変形例について＞＞
さらに、図５６を参照して、本開示の実施形態の変形例に係る表示例を説明する。図５６は、本開示の実施形態の変形例に係る表示例を説明するための説明図である。これまで説明した本開示の実施形態においては、視聴者９００は、触覚刺激効果付きスタンプ８５０を選択するものとして説明していた。しかしながら、本開示においては、視聴者９００は、これに限定されるものではなく、触覚刺激効果付きスタンプ８５０とともに、触覚刺激効果無しスタンプも選択できるようにしてもよい。

例えば、図５６においては、視聴者９００のユーザ端末７００の表示例であり、当該表示例においては、触覚刺激効果付きスタンプ８５６とともに、触覚刺激効果無しスタンプ８５４ａ、８５４ｂが表示されている。本変形例においては、このような表示に対して操作を行うことにより、視聴者９００は、触覚刺激効果付きスタンプ８５０も、触覚刺激効果無しスタンプ８５４も選択することができる。

＜＜１７． ハードウェア構成について＞＞
上述してきた各実施形態に係るハプティクス用サーバ３００等の情報処理装置は、例えば図５７に示すような構成のコンピュータ１０００によって実現される。以下、本開示の各実施形態に係るハプティクス用サーバ３００を例に挙げて説明する。図５７は、ハプティクス用サーバ３００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係るハプティクス用サーバ３００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、触覚制御信号を生成する等の機能を実現する。また、ＨＤＤ１４００には、本開示の実施形態に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。

＜＜１８． 補足＞＞
また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成を取ることができる。
（１）
第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
を備え、
前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
情報処理装置。
（２）
前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
前記各第１のユーザは、前記スタンプ選択画面に表示された前記スタンプを選択することにより、入力を行う、
上記（１）に記載の情報処理装置。
（３）
前記スタンプ選択画面を表示するデバイスをタップ操作することにより、前記第１のユーザは、前記触覚刺激を提示するタイミングを設定する、上記（２）に記載の情報処理装置。
（４）
前記複数の第１のユーザの前記タップ操作が同期したタイミングに基づき、前記触覚刺激が提示される、上記（３）に記載の情報処理装置。
（５）
前記複数の第１のユーザからの入力の数に応じて、前記新たな制御コマンドに対応する前記触覚刺激の強度、又は、提示時間が変化する、上記（１）に記載の情報処理装置。
（６）
前記第１の配信部は、所定の時間内に生成された前記各触覚制御信号のパラメータが、前記提示部の特性に基づいて予め定められた閾値を超えた場合には、前記各触覚制御信号の配信を一時的に停止する、
上記（１）に記載の情報処理装置。
（７）
前記各触覚制御信号の配信を一時的に停止した場合に、前記複数の第１のユーザに通知を行う通知部をさらに備える、上記（６）に記載の情報処理装置。
（８）
前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強度のうちの少なくとも１つのパラメータを指定する、上記（１）に記載の情報処理装置。
（９）
所定の画像を前記第２のユーザに向けて画像を表示する表示デバイスに配信する第２の配信部をさらに備え、
前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記第２の配信部は、前記周波数に応じて、前記所定の画像の少なくとも一部を所定の方向に振動させる画像処理がなされた前記所定の画像を配信する、
上記（８）に記載の情報処理装置。
（１０）
前記画像処理においては、前記周波数に応じて、前記所定の画像のうちの振動させる領域が決定される、上記（９）に記載の情報処理装置。
（１１）
前記画像処理においては、前記触覚刺激の前記パラメータに応じて、前記所定の画像を振幅させる、周波数、間隔、波形が変化する、上記（９）又は（１０）に記載の情報処理装置。
（１２）
所定の音声を前記第２のユーザに向けて出力する音声出力デバイスに配信する音声配信部をさらに備え、
前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記音声配信部は、前記周波数に応じて、前記所定の音声の音像を所定の方向に振動させる音声処理がなされた前記所定の音声を配信する、
上記（８）に記載の情報処理装置。
（１３）
前記生成部は、前記第２のユーザの状態に応じて、前記触覚刺激を提示する前記提示部を選択する、上記（１）に記載の情報処理装置。
（１４）
前記スタンプ選択画面は、前記第１のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
上記（２）に記載の情報処理装置。
（１５）
前記他の情報処理装置は、前記第１のユーザの入力に応じたコマンド情報を取得する、
上記（１４）に記載の情報処理装置。
（１６）
前記第１のユーザからの入力に応じて、所定の画像を取得する第２の取得部と、
前記所定の画像を前記第１のユーザに向けて画像を表示する表示デバイスに配信する第３の配信部と、
をさらに備える、
上記（１）に記載の情報処理装置。
（１７）
第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、
前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
を備え、
前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、
情報処理装置。
（１８）
情報処理装置により、
第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、
前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、
前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することと、
を含み、
複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
情報処理方法。
（１９）
コンピュータに、
第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、
前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、
前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、
を実現させるプログラムであって、
複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
プログラム。
（２０）
情報処理装置と、配信装置とを含む情報処理システムあって、
前記情報処理装置は、
第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
を有し、
前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、
前記配信装置は、
前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、
情報処理システム。
（２１）
前記配信装置は、クラウド上の装置により構成される、上記（２０）に記載の情報処理システム。

１０ 情報処理システム
１００ 触覚提示デバイス
１０２、３０２、４０２、５０２、７０８ 通信部
１０４、７１０ 制御部
１０６、１０６ａ、１０６ｂ、１０６ｃ、１０６ｄ、１０６ｅ、１０６ｆ 触覚刺激部
１０８ 操作部
２００ 駆動アンプ／インタフェース
２０２、７０６ スピーカ
２０４ モニタ
２０６、７２４ マイク
２０８、７２２ カメラ
３００、３００ａ ハプティクス用サーバ
３０４、４０４ カメラ画像取得部
３０６、４１０ マイク音声取得部
３０８、４０８、５０６ スタンプ取得部
３１０ 触覚信号生成部
３１２ 配信者状態取得部
３１４ 出力画像取得部
３１６、４１４ 出力音声取得部
３１８、４１６、５１８、７１２ 記憶部
３５０ ローカル側制御装置
４００ 配信データ編集サーバ
４０６ 画像生成部
４１２ 音声生成部
５００ ライブ配信サーバ
５０４ ＧＵＩ制御部
５０８ 音声データ取得部
５１０ 画像データ取得部
５１２ 触覚信号取得部
５１４ 視聴者情報取得部
５１６ 配信制御部
６００ ハプティクスサーバ
７００ ユーザ端末
７０２ 表示部
７０４ 操作入力部
７２０ センサ部
７２６ ジャイロセンサ
７２８ 加速度センサ
８００、８００ａ、８００ｂ、８００ｃ 配信者
８４０ 波形イメージ
８４２、８７２、８７４、８８０、９８０ 表示
８５０、８５０ａ、８５０ｂ、８５０ｃ、８５０ｄ、８５２、８５４、８５４ａ、８５４ｂ、８５６ スタンプ
８６０ コメント
８７０ａ、８７０ｂ、８９０、８９２ アイコン
９００ 視聴者
９１０ ベクトル
９５０ 表示画像
９６０ａ、９６０ｂ、９７０ 領域

Claims (21)

1. 第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
   前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
   前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
   を備え、
   前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
   情報処理装置。
2. 前記制御コマンドは、スタンプ選択画面に表示されたスタンプに予め紐づけられており、
   前記各第１のユーザは、前記スタンプ選択画面に表示された前記スタンプを選択することにより、入力を行う、
   請求項１に記載の情報処理装置。
3. 前記スタンプ選択画面を表示するデバイスをタップ操作することにより、前記第１のユーザは、前記触覚刺激を提示するタイミングを設定する、請求項２に記載の情報処理装置。
4. 前記複数の第１のユーザの前記タップ操作が同期したタイミングに基づき、前記触覚刺激が提示される、請求項３に記載の情報処理装置。
5. 前記複数の第１のユーザからの入力の数に応じて、前記新たな制御コマンドに対応する前記触覚刺激の強度、又は、提示時間が変化する、請求項１に記載の情報処理装置。
6. 前記第１の配信部は、所定の時間内に生成された前記各触覚制御信号のパラメータが、前記提示部の特性に基づいて予め定められた閾値を超えた場合には、前記各触覚制御信号の配信を一時的に停止する、
   請求項１に記載の情報処理装置。
7. 前記各触覚制御信号の配信を一時的に停止した場合に、前記複数の第１のユーザに通知を行う通知部をさらに備える、請求項６に記載の情報処理装置。
8. 前記触覚制御信号は、前記触覚刺激の提示タイミング、周波数、間隔、波形、提示時間及び強度のうちの少なくとも１つのパラメータを指定する、請求項１に記載の情報処理装置。
9. 所定の画像を前記第２のユーザに向けて画像を表示する表示デバイスに配信する第２の配信部をさらに備え、
   前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記第２の配信部は、前記周波数に応じて、前記所定の画像の少なくとも一部を所定の方向に振動させる画像処理がなされた前記所定の画像を配信する、
   請求項８に記載の情報処理装置。
10. 前記画像処理においては、前記周波数に応じて、前記所定の画像のうちの振動させる領域が決定される、請求項９に記載の情報処理装置。
11. 前記画像処理においては、前記触覚刺激の前記パラメータに応じて、前記所定の画像を振幅させる、周波数、間隔、波形が変化する、請求項９に記載の情報処理装置。
12. 所定の音声を前記第２のユーザに向けて出力する音声出力デバイスに配信する音声配信部をさらに備え、
    前記触覚提示デバイスが前記第２のユーザの身体に装着されていない場合には、前記音声配信部は、前記周波数に応じて、前記所定の音声の音像を所定の方向に振動させる音声処理がなされた前記所定の音声を配信する、
    請求項８に記載の情報処理装置。
13. 前記生成部は、前記第２のユーザの状態に応じて、前記触覚刺激を提示する前記提示部を選択する、請求項１に記載の情報処理装置。
14. 前記スタンプ選択画面は、前記第１のユーザに向けて画像を表示する表示デバイスと通信可能な他の情報処理装置から前記表示デバイスに配信される、
    請求項２に記載の情報処理装置。
15. 前記他の情報処理装置は、前記第１のユーザの入力に応じたコマンド情報を取得する、
    請求項１４に記載の情報処理装置。
16. 前記第１のユーザからの入力に応じて、所定の画像を取得する第２の取得部と、
    前記所定の画像を前記第１のユーザに向けて画像を表示する表示デバイスに配信する第３の配信部と、
    をさらに備える、
    請求項１に記載の情報処理装置。
17. 第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを特定するための各識別情報を取得する第１の取得部と、
    前記各識別情報に応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
    前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
    を備え、
    前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各識別情報で特定された前記提示部情報及び前記形態情報とは異なる前記提示部情報及び前記形態情報が特定された他の識別情報を取得する、
    情報処理装置。
18. 情報処理装置により、
    第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得することと、
    前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成することと、
    前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信することと、
    を含み、
    複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
    情報処理方法。
19. コンピュータに、
    第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する機能と、
    前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する機能と、
    前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する機能と、
    を実現させるプログラムであって、
    複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得する、
    プログラム。
20. 情報処理装置と、配信装置とを含む情報処理システムあって、
    前記情報処理装置は、
    第１のユーザからの入力に応じて、触覚提示デバイスによって触覚刺激を提示する提示部を指定する提示部情報と前記触覚刺激の形態を指定する形態情報とを含む各制御コマンドを取得する第１の取得部と、
    前記各制御コマンドに応じて、前記提示部に前記触覚刺激を提示するための各触覚制御信号を生成する生成部と、
    前記各触覚制御信号を第２のユーザの身体に装着された前記触覚提示デバイスに配信する第１の配信部と、
    を有し、
    前記第１の取得部は、複数の前記第１のユーザからの入力が所定の条件を満たした場合、前記複数の第１のユーザからの入力のそれぞれに対応する前記各制御コマンドとは異なる新たな制御コマンドを取得し、
    前記配信装置は、
    前記第１のユーザに向けて配信される実空間の画像に、前記入力に基づいて生成される所定の画像を重畳する画像生成部を有する、
    情報処理システム。
21. 前記配信装置は、クラウド上の装置により構成される、請求項２０に記載の情報処理システム。

Images