JP7020411B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、通信技術の発達により、遠隔地で映像を介して会話を行うTV電話会議システムが提案されている。具体的には、例えば表示装置、カメラ、マイク、およびスピーカが各空間に設けられ、ある空間で撮影された映像および収音された音声データが、リアルタイムで、他の空間に設置された表示装置およびスピーカから出力される。

このような双方向通信技術に関し、例えば下記特許文献１では、窓状撮像表示装置を用いて双方向通信を行う際に見る側の人間の位置や角度が変化に応じた映像が見えるようにする技術が提案されている。

また、下記特許文献２では、ユーザの状態情報に基づいて、自分と通信相手の通信に対する要求の度合いを判断し、相互に不都合のない快適なコミュニケーションを行うようにすることができることが提案されている。

特許第４５７６７４０号公報 特許第４６４５３５５号公報

しかしながら、上述した特許文献１では、窓状撮像表示装置を用いて離れた空間同士が一つの窓を通してつながっているように感じさせる効果がある一方、空間同士の距離はゼロで接しているため、相手がすぐそばに居ることに抵抗が生じてしまう場合もある。

また、上述した特許文献２においても、空間同士をつなげるタイミング（すなわち呼び出しタイミング）について善処されているが、空間同士の距離については何ら言及されていない。

そこで、本開示では、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、通信先からデータを受信する受信部と、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備える、情報処理装置を提案する。

本開示によれば、プロセッサが、通信先からデータを受信することと、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、前記生成された空間画像情報を表示部に表示するよう制御することと、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、通信先からデータを受信する受信部と、複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、として機能させるプログラムを提案する。

以上説明したように本開示によれば、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態によるコミュニケーションシステムの概要について示す図である。 多数の地点と接続した際の表示上の問題について説明する図である。 本開示の一実施形態による多数地点映像の表示例について説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による通信制御処理について説明するフローチャートである。 本実施形態によるコミュニケーション状態の可視化処理を示すフローチャートである。 本実施形態による中距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。 本実施形態によるプライバシー保護の一例を示す図である。 本実施形態による近距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。 本実施形態によるゼロ距離表示の一例を示す図である。 本実施形態による遠距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。 本実施形態によるコミュニケーションの発生を可視化した一例を示す図である。 本実施形態による可視化表現の種類について説明する図である。 本実施形態による可視化表現の他の種類について説明する図である。 本実施形態による可視化表現の他の種類について説明する図である。 本実施形態による会話活性度を波形の激しさで表現する方法について説明する図である。 本実施形態による会話活性度を吹き出しの大きさや数で表現する方法について説明する図である。 本実施形態による会話活性度を仮想的な窓を繋げた表示の色の濃さで表現する方法について説明する図である。 本実施形態による会話活性度を破線の密度で表現する方法について説明する図である。 本実施形態による会話活性度を仮想的な窓の周囲の光の強さで表現する方法について説明する図である。 本実施形態による会話ムードを破線で表現する方法について説明する図である。 本実施形態による会話ムードを吹き出しで表現する方法について説明する図である。 本実施形態による参加拒否表示の一例を示す図である。 本実施形態による参加拒否表示の他の例を示す図である。 本実施形態による参加拒否表示の他の例を示す図である。 本実施形態による参加要請表示の一例を示す図である。 本実施形態による参加要請表示の他の例を示す図である。 本開示にかかる情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態によるコミュニケーションシステムの概要
２．情報処理装置の構成
３．動作処理
４．空間情報の表示例
４－１．中距離表示
４－２．近距離表示
４－３．ゼロ距離表示
４－４．遠距離表示
４－５．コミュニケーション状態の可視化）
（４－５－１．可視化表現の種類）
（４－５－２．会話活性度の表現）
（４－５－３．会話ムードの表現）
（４－５－４．参加拒否表示）
（４－５－５．参加要請表示）
５．ハードウェア構成
６．まとめ

＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
本開示の一実施形態によるコミュニケーションシステム１の概要について図１を参照して説明する。図１は、本開示の一実施形態によるコミュニケーションシステム１の全体構成を示す図である。

図１に示すように、本実施形態によるコミュニケーションシステム１では、情報処理装置１０Ａ、１０Ｂ、１０Ｃがネットワーク２０を介して接続されている。各情報処理装置１０Ａ、１０Ｂ、１０Ｃは、空間Ａ、空間Ｂ、空間Ｃにそれぞれ配置され、各空間を映像・音声・その他の情報チャンネルによって接続し、あたかも各空間がつながっているように感じさせることができる。例えば親と子供が離れて暮らしている際に、互いのリビング空間が窓やドアに相当する表示装置を介してつながっているように見せることを可能とする。互いのリビング空間が接続する場合、ユーザは、相手空間の様子（例えば、子供の様子や親の様子等）を大まかに把握しながら生活することができる。

情報処理装置１０Ａ～１０Ｃは、双方向通信の同期処理や、空間距離の算出・制御等を行うが、これらの離隔距離の算出・制御等は、処理サーバ３０で行われてもよい。また、図１に示す例ではコミュニケーションシステム１が処理サーバ３０を含む構成となっているが、本開示はこれに限定されず、処理サーバ３０を含まない構成としてもよい。

（背景）
ここで、一般的なビデオチャット技術では、通信相手との接続は、映像の表示／非表示や音声のON／OFFといった、０か１かの切替えで制御され、つながり度合いの細かな調整はできなかった。したがって、常に高臨場感が生じ、相手の様子を感じていたいといったユーザのニーズに応えられていなかった。接続する空間同士の距離を制御することについては、上記いずれの特許文献にも記載されていない。

また、大画面で窓のようなデバイスを用いた仮想的な同居体験システムでは、相手と一対一（一地点対一地点）で接続する場合、１つの映像を出すというシンプルな制御で可能であるが、多数の空間とつながる場合、単純な画面分割ではスケール感が失われたり、各相手とのコミュニケーションの強度の調整が難しくなるという問題がある。

例えば図２に示すように、壁等に設置された窓のような大画面デバイス８０において、多数の通信先の映像（空間Ｂの映像８１、空間Ｃの映像映像８２）が単純に画面分割で表示されると、等身大感やスケール感が失われてしまい、仮想的な同居体験を十分に表現できない。

そこで、本実施形態では、空間のつながりに３次元的表現を用いて、等身大感やスケール感を失わずに、より快適なコミュニケーションを実現することを可能とする。具体的な表示例について図３を参照して説明する。図３は、本開示の一実施形態による多数地点映像の表示例について説明する図である。図３に示すように、例えばディスプレイ１０９１に３次元空間を表示し、３次元空間において、各空間に対応する仮想的な家オブジェクト２１Ｂ、２１Ｃを配置する。ディスプレイ１０９１は、大画面表示装置であって、窓や戸口に見立てて壁等に設置される。ここでは、例えば空間Ａに設置されているディスプレイ１０９１を用いて表示例について説明する。なお図３には図示していないが、カメラ１０１１、マイク１０１２、センサ１０１３、スピーカ１０９２、およびインジケータ１０９３（ＬＥＤ等）も、ディスプレイ１０９１の周辺等、空間Ａ内に設置される。設置場所や設置数は特に限定しない。

３次元空間に配置されている仮想的な家オブジェクト２１Ｂ、２１Ｃは、それぞれ通信先の空間Ｂ、空間Ｃに対応するものであって、通信先の映像が窓や戸口にはめこまれている。すなわち、家オブジェクト２１Ｂの窓にはめこまれた映像２２Ｂは、空間Ｂで撮像された映像であって、また、家オブジェクト２１Ｃにはめこまれた映像２２Ｃは、空間Ｃで撮像された映像である。これにより、少し離れた状態であっても、互いの家の窓越しに相手の家の様子が把握できる。相手の家との距離が多少保たれるため、常に接続していても高臨場感が生じることなく、同じ空間で過ごしているような仮想的な同居体験を得ることができる。また、音声は、例えば相手の家との距離に応じた音量で聞こえるようにしてもよい。また、３次元空間内の各家の位置に応じて、各家からの音声をステレオ音声により音像定位してもよい。なおここでは一例として通信先の映像をはめ込む仮想オブジェクトとして家オブジェクトを用いたが、本実施形態はこれに限定されず、例えば車や電車等の乗り物、家以外の建物、構造物、自然物等の仮想オブジェクトを用いて、窓やドア等の開口部に通信先の映像をはめ込むようにしてもよい。

また、図３に示すように、３次元空間映像の中央付近には舞台２４を設けてもよく、これにより、仮想空間内において舞台２４上で仮想物体を介したコミュニケーションを行うことができる。舞台２４の形状、位置は特に限定せず、例えば舞台２４に代えて、各家で囲む範囲を仮想中庭空間として利用してもよい。

そして、本実施形態によるコミュニケーションシステム１は、ディスプレイ１０９１に表示する３次元空間内の家同士の距離を離したり近付けたりすることで、接続する空間同士のつながり度合いを制御し、等身大感やスケール感を失わずに、より快適なコミュニケーションを実現することを可能とする。

以上、本開示の一実施形態によるコミュニケーションシステム１の概要について説明した。続いて、コミュニケーションシステム１で用いられる情報処理装置１０の構成について図４を参照して説明する。

＜＜２．情報処理装置の構成＞＞
図４は、本実施形態による情報処理装置１０の構成の一例を示すブロック図である。図４に示すように、情報処理装置１０は、入力部１０１、空間情報取得部１０２、状態判定部１０３、空間距離制御部１０４、操作Ｉ／Ｆ（インタフェース）１０５、３Ｄ空間生成部１０６、通信部１０７、空間情報生成部１０８、出力部１０９、および記憶部１１０を有する。

入力部１０１は、空間情報を入力する機能を有する。例えば入力部１０１は、カメラ１０１１、マイク（マイクロホンの略称）１０１２、およびセンサ１０１３により実現される。カメラ１０１１は、複数であってもよく、空間内（例えばリビング）を撮像し、撮像画像を取得する。また、マイク１０１２は、複数であってもよく、空間内の音声や、空間周辺（例えば隣の部屋、廊下、家の外等）の環境音を集音し、音声データを取得する。また、センサ１０１３は、空間内や空間周辺の各種情報を検知する機能を有し、例えば、温度センサ、湿度センサ、照度センサ、人感センサ、およびドア開閉センサ等が想定される。

空間情報取得部１０２は、入力部１０１から様々な空間情報を取得し、状態判定部１０３により状態判定の素材として用いることができるようデータを準備し、出力する。データの準備とは、例えばノイズ処理、画像解析、物体認識、音声解析等である。さらに、空間情報取得部１０２は、取得した空間情報に基づいて、ユーザ認識を行う。ユーザ認識とは、その空間に居るユーザの個人識別、ユーザの位置（部屋のどこに居るか等）、姿勢（立っているか、座っているか、寝ているか等）、感情（楽しんでいるか、悲しんでいるか等）、行動（夕飯の準備をしている、テレビを見ている、本を読んでいる等）、繁忙度（忙しそうに動き回っているか等）の認識が想定される。また、空間情報取得部１０２は、取得した空間情報に基づいて、環境認識を行う。環境認識とは、その空間の現在の時間帯（朝方、昼、夕方、深夜）、明るさ（部屋の明るさ、窓からの光）、温度、音響（空間内で収音された音）、地域（その空間が存在する場所）、整頓度（部屋の片づけ具合）等の認識が想定される。

状態判定部１０３は、空間情報取得部１０２により取得され、出力された情報に基づいて、空間の状態やユーザの状態（すなわち、通信元の空間のコンテキスト）を判定する。例えば状態判定部１０３は、空間情報取得部１０２によるユーザ認識結果および環境認識結果に基づいて、空間の状態やユーザの状態を判定する。なお、通信元の空間のコンテキストには、ユーザの状態、ユーザが居る実空間の状態、時間、季節、天候、場所、または相手ユーザとの関係性が含まれ得る。

空間距離制御部１０４は、接続された空間同士の３次元空間上の距離（奥行きの離隔距離）を制御する機能を有する。本実施形態では、３次元空間上の適切な距離に、各通信先の空間から取得した情報（例えば図３に示す映像２２をはめ込んだ家オブジェクト２１）を配置し、つながりに奥行きを見せることで、心地よいつながり状態を実現する。相手空間との距離が遠い程、ユーザの心理的抵抗が減り、相手空間との距離が短い程、ユーザの心理的抵抗が増すことが想定される。すなわち、空間同士の距離は短いと、相手映像が鮮明に見え、高臨場感で接続する。一方、空間同士の距離が長いと、相手映像が鮮明に見えず、低臨場感で接続する。

相手空間との距離は、例えば状態判定部１０３から出力された判定結果（通信元の空間のコンテキスト）に基づいて算出された公開度に応じて制御されてもよいし、ユーザにより手動で設定された公開度に基づいて制御されてもよい。例えば空間距離制御部１０４は、ユーザが家事を行っていたり忙しく動いていたり、テレビを見てリラックスしている場合は相手空間との距離を遠くする。また、例えば空間距離制御部１０４は、ユーザがディスプレイ１０９１に近付いた場合は相手空間との距離を近くしてもよい。相手空間との距離は、公開度として、通信部１０７から各通信先の情報処理装置１０に送信され、同期される。公開度は、情報処理装置１０または処理サーバ３０において調整されてもよい。例えばユーザ側空間で希望する公開度と相手空間で希望する公開度とに基づいて、最適な公開度に調整されてもよい。

操作Ｉ／Ｆ（インタフェース）１０５は、ユーザからの操作入力を受け付け、空間距離制御部１０４や３Ｄ空間生成部１０６へ出力する。これにより、例えば、ユーザが任意に「相手空間との距離」を設定することが可能となる。また、３次元空間に配置された各種オブジェクト（仮想物体）に対する操作入力も可能となる。

３Ｄ空間生成部１０６は、ディスプレイ１０９１に表示する３Ｄ空間の生成を行う。具体的には、例えば３Ｄ空間生成部１０６は、空間距離制御部１０４により設定された各通信相手との距離に応じて、通信先の空間に対応する家を配置した３Ｄ空間画像を生成する。また、３Ｄ空間生成部１０６は、３Ｄ空間に、通信元または通信先からの情報をリアルタイムで反映したり、指定されたオブジェクト（仮想物体）を配置したりしてもよい。また、３Ｄ空間の背景等のシーンも自動またはユーザによる設定により様々適用され得る。例えば森の中、街中、宇宙、海底等々、様々なシーンの設定が可能である。

また、本実施形態による３Ｄ空間生成部１０６は、３Ｄ空間において通信相手同士のコミュニケーション状態を可視化することも可能である。複数の空間と常時接続している際に、ユーザ以外の参加者間のコミュニケーション状態を可視化することで、先に発生しているコミュニケーションの空気感が分かり、ユーザがそのコミュニケーションへの参加、不参加を適切に判断することができる。例えば複数の相手の家が遠くに配置され様子が不鮮明で会話がよく聞こえない状態であっても、コミュニケーション状態が可視化されることで、状況を適切に判断することができる。これによりコミュニケーション上の問題発生を防いだり、逆に積極的なコミュニケーション参加が可能となり、結果として心地よい多地点常時接続を実現することができる。例えば母と妹がなにやら重苦しい雰囲気で話していることがわかったので参加しないことにしたり、母と弟が楽しそうに会話をしていることがわかったので自分も少し忙しかったが短時間だけ参加することにしたり等の判断を行うことができる。

コミュニケーションの可視化は、例えば通信相手同士の会話の活性度（盛り上がり、会話の密度、話の展開等）やムード（感情：喜怒哀楽）に応じて行われる。３Ｄ空間生成部１０６は、通信部１０７を介して各通信先から送信される会話の音声や映像に基づいて会話の活性度やムードを算出する。例えば、３Ｄ空間生成部１０６は、音声の大きさ、音声の継続時間、やりとりされた単語数、話者の身振り手振りうなずきの大きさ・頻度、ディスプレイ１０９１からの距離、ディスプレイ１０９１に向かっている人数、または会話の展開の速さ・頻度等から、会話の活性度を算出する。また、３Ｄ空間生成部１０６は、音声の大きさ、音声の継続時間、発話のスピード、用いられる言葉・言葉遣い、語気の強さ、表情、視線（背けたり、にらんだり）、または話者の身振り手振りの大きさ・頻度等から、ムードを推定する。活性度の算出アルゴリズムや、ムードの推定アルゴリズムについては特に限定せず、既存のアルゴリズムを利用してもよい。３Ｄ空間生成部１０６は、算出された活性度や推定されたムードに応じて可視化表現を行う。

なお、コミュニケーション状態（会話活性度、会話ムード）は、３Ｄ空間生成部１０６で通信相手からの受信データ（音声、映像）を解析して取得することに限定されず、通信相手や処理サーバ３０側で解析された結果を受信するようにしてもよい。

通信部１０７は、ネットワーク２０を介して他の情報処理装置１０や処理サーバ３０と接続し、データの送受信を行う。例えば通信部１０７は、空間情報取得部１０２から出力された空間情報、空間距離制御部１０４から出力された空間距離、３Ｄ空間生成部１０６から出力された３Ｄ空間の情報を通信先の情報処理装置１０または処理サーバ３０へ送信する。また、通信部１０７は、通信先の情報処理装置１０または処理サーバ３０から受信した空間情報、空間距離、３Ｄ空間の情報等を受信する。本実施形態では、通信元および通信先において、３Ｄ空間および３次元空間上の相手との距離が同期される。また、通信部１０７は、処理サーバ３０がネットワーク上の関連サービスサーバから取得した情報（天候情報、ニュース、スケジュール情報等）、またはネットワーク上の関連サービスサーバから当該情報を直接、受信することも可能である。

空間情報生成部１０８は、３Ｄ空間生成部１０６により生成された３Ｄ空間画像と、通信部１０７を介して受信した通信先の空間の映像に基づいて、空間情報を生成する。生成した空間情報は出力部１０９に送出される。具体的には、空間情報生成部１０８は、３Ｄ空間生成部１０６により生成した３Ｄ空間画像の仮想的な家画像に、通信部１０７を介して受信した通信先の空間の映像を合成して空間画像情報を生成する。また、空間情報生成部１０８は、生成された３Ｄ空間で発生する音声や、通信部１０７を介して受信した通信先の空間の音声に基づいて、空間音声情報を生成する。この際、空間音声情報は、３Ｄ空間の各家の配置に応じて通信先音声が音像定位されたものであってもよい。

出力部１０９は、空間情報生成部１０８により生成された空間情報を、各デバイスからユーザに出力するよう制御する出力制御部として機能する。例えば出力部１０９は、ディスプレイ１０９１、スピーカ１０９２、またはインジケータ１０９３（ＬＥＤランプ等）を含み、表示出力、音声出力、通知出力を行う。ディスプレイ１０９１には、空間情報生成部１０８により生成された空間画像情報が表示される。また、スピーカ１０９２には、空間情報生成部１０８により生成された空間音声情報が表示される。

記憶部１１０は、通信部１０７を介して送受信されるデータを記憶する。また、図４に示す例では、通信部１０７に接続しているが、本実施形態はこれに限定されず、情報処理装置１０に含まれる各構成の記憶領域として用いられてもよい。

以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は図４に示した例に限定されず、例えば一部の構成が外部装置により実現され、情報処理装置１０と無線／有線により接続するようにしてもよい。

＜＜３．動作処理＞＞
＜３－１．通信制御処理＞
図５は、本実施形態による通信制御処理について説明するフローチャートである。接続する各空間Ａ～空間Ｃでは、それぞれ同様に図５に示す動作処理が行われるが、ここでは一例として空間Ａの情報処理装置１０Ａの動作処理について説明する。

図５に示すように、まず、情報処理装置１０Ａは、空間Ｂ、空間Ｃに対して接続処理を行う（ステップＳ１０３）。具体的には、例えば情報処理装置１０Ａは、情報処理装置１０Ｂ、１０Ｃに対して呼び出しを行い、相手から接続許可を受信した場合に、セッションを確立する。

次に、情報処理装置１０Ａは、空間情報取得部１０２により空間Ａの空間情報（映像、音声、センサデータ）を取得する（ステップＳ１０６）。

次いで、情報処理装置１０Ａは、状態判定部１０３によりユーザＡの状態および空間Ａの状態を判別する（ステップＳ１０９）。状態情報は、ユーザＡにより操作Ｉ／Ｆ１０５から手動で入力されてもよい。

次に、情報処理装置１０Ａは、空間情報および状態情報を、通信接続する空間Ｂの情報処理装置１０Ｂおよび空間Ｃの情報処理装置１０Ｃに送信する（ステップＳ１１２）。

次いで、情報処理装置１０Ａは、空間Ｂ、空間Ｃで同様に取得された空間Ｂ、空間Ｃのリアルタイムの空間情報および状態情報を情報処理装置１０Ｂ、情報処理装置１０Ｃから受信する（ステップＳ１１５）。

次に、情報処理装置１０Ａは、３Ｄ空間生成部１０６により３Ｄ空間の生成を行う（ステップＳ１１８）。例えば３Ｄ空間生成部１０６は、空間距離制御部１０４により制御された距離に応じて、各空間に対応する仮想的な家オブジェクトを配置した３Ｄ空間を生成する。また、３Ｄ空間生成部１０６は、通信相手間の会話音声、映像に基づいて、リアルタイムでコミュニケーション状態の可視化を行う。コミュニケーション状態の可視化処理については、図６を参照して次に説明する。

そして、情報処理装置１０Ａは、空間情報生成部１０８で生成された空間情報を出力部１０９から出力する。空間情報生成部１０８は、例えば３Ｄ空間生成部１０６で生成された３Ｄ空間の各家オブジェクトに、通信部１０７を介して受信した空間Ｂ、空間Ｃのリアルタイムの映像をそれぞれ合成した空間画像情報を生成し、ディスプレイ１０９１に出力する。

＜３－２．可視化処理＞
図６は、本実施形態によるコミュニケーション状態の可視化処理を示すフローチャートである。図６に示すように、まず、情報処理装置１０Ａの３Ｄ空間生成部１０６は、各通信相手の会話音声および映像の解析を行う（ステップＳ２０３）。

次に、３Ｄ空間生成部１０６は、コミュニケーション状態として会話活性度の算出（ステップＳ２０６）や、会話ムードの推定（ステップＳ２０９）を行う。

そして、３Ｄ空間生成部１０６は、算出した会話活性度や会話ムードに応じて、コミュニケーション状態を３Ｄ空間において可視化する（ステップＳ２１２）。可視化表現の具体例については、図１２～図２７を参照して後述する。

以上、本実施形態による動作処理について具体的に説明した。続いて、本実施形態による具体的な空間情報の表示例について図面を用いて説明する。

＜＜４．空間情報の表示例＞＞
＜４－１．中距離表示＞
まず、公開度「中」の中距離表示について図７を参照して説明する。図７は、本実施形態による中距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。図示された例では、壁等に設置された大型のディスプレイ１０９１に窓枠画像４０と、窓を介して見える３Ｄ空間画像４１が表示されている。

３Ｄ空間画像４１には、通信接続する空間Ｂに対応する家オブジェクト２１Ｂと、空間Ｃに対応する家オブジェクト２１Ｃが配置されている。本実施形態では、一例として図７で示すような窓枠画像４０から家オブジェクト２１Ｂおよび家オブジェクト２１Ｃとの距離を「中距離」と定義し、これを平常状態としてもよい。平常状態とは、常時接続している際における通常の状態であって、情報処理装置１０は、何らかのトリガーがない限り常に中距離で制御する。「中距離」は、相手空間の様子が大よそ把握できる程度に見える距離であって、心理的負荷が大きくなく、各ユーザは自分が見られていることが気にならない程度で相手の様子も分かる距離感である。また、「中距離」の場合、情報処理装置１０Ａは相手空間の音声は控えめの音量に制御する。図７に示す「中距離」は一例であるが、「中距離」は予め設定されていてもよいし、接続初期時に各ユーザにより任意に入力して調整してもよいし、各ユーザの状態に基づいてシステム側で適宜調整してもよい。

なお、「中距離」で常時接続されている場合、一時的に相手に見られたくないような状況が発生することも考えられる。この場合、情報処理装置１０は、ユーザのプライバシーを守るため、相手から見え難くすると共に、相手に見え難くなっていることをユーザも直感的に分かるような表示を行うことが可能である。図７に示す例では、家オブジェクト２１Ｃの仮想的な窓が擦りガラスで表現され、空間Ｃの映像２２Ｃがぼんやりとした状態になっている。これは、空間ＣのユーザＣにより任意に遮断制御されているためである。

また、プライバシー保護の他の例について図８を参照して説明する。図８は、本実施形態によるプライバシー保護の一例を示す図である。図８に示すように、例えばブラインド画像４２をディスプレイ１０９１に表示し、相手から見え難くなっていることをユーザが直感的に把握できるようにする。この場合、当然に、相手空間のディスプレイ１０９１に表示されている３Ｄ空間に配置された自身の空間に対応する家オブジェクトにはめこまれた空間Ａの映像にも同様にブラインド画像が重畳表示され、同期される。

ブラインドの下ろし具合や見え方は、ユーザ操作（例えばディスプレイ１０９１へのタッチ操作）により制御されててもよい。このように仮想的にブラインドを下ろすことは、今は見られたくない、話し掛けられたくないといった意思表示にもなる。

なお、図８に示すブラインドの例は、プライバシー保護（遮蔽）の表現方法の一例であって、他には例えばディスプレイ１０９１に網戸を設けたり、カーテンを閉めたりといった表現方法も考えられる。また、ディスプレイ１０９１を仮想的なドアに見立てた場合、ドアを少し閉じるといった表現も可能である。

＜４－２．近距離表示＞
次に、公開度「高」の近距離表示について図９を参照して説明する。図９は、本実施形態による近距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。

本実施形態では、一例として図９で示すような窓枠画像４０から家オブジェクト２１Ｂや家オブジェクト２１Ｃとの距離を「近距離」の範囲と定義し、これを会話可能状態としてもよい。図９に示すように、「近距離」では相手空間の様子が十分に把握できる程度に映像も鮮明に見える。また、情報処理装置１０は、相手空間の音声が十分に聞こえるよう出力制御し、会話を可能とする。各家オブジェクト２１との距離はそれぞれ制御することが可能である（例えば、家オブジェクト２１Ｂとだけ近付くことも可能である）。

また、「近距離」では、各家オブジェクトの間に設置された舞台２４を活用して多人数での共同作業や情報交換が可能である。例えば図９に示すように、仮想のペットオブジェクト２５を表示して、ユーザ操作に応じてエサを与えて飼育することが可能である。例えば図９に示すように、空間ＡのユーザＡが操作してエサ２６Ａを与え、空間ＢのユーザＢも同様にエサ２６Ｂを与えることが可能である。このように、３Ｄ空間に表示したオブジェクトを介して相互コミュニケーションを実現することが可能となる。すなわち、３Ｄ空間に配置された様々なオブジェクトに対して、各空間から影響を及ぼすことができ、オブジェクトを通じたコミュニケーションが可能となる。

このような３Ｄ空間の利用は図９に示す例に限定されず、他にも様々考えられる。以下、具体例を挙げる。

・仮想の花や植物を３Ｄ空間配置し、各ユーザが水を与えたりして一緒に育てることができる。
・出窓を表示し、出窓に仮想の植物を並べてもよい。各ユーザは仮想植物を購入して配置したり、相手にプレゼントしたりすることができる。
・３Ｄ空間の中央に焚火を配置し、ユーザが薪を投げ入れた場合に炎があがるようにしてもよい。
・相手空間の映像から抽出した特定物を３Ｄ空間に配置してもよい。例えば相手空間の映像に映る子供だけを抽出して３Ｄ空間に配置し得る。これにより、部屋の中が散らかっていてあまり見られたくない場合でも、部屋で遊んでいる子供だけを見せることが可能となる。

また、３Ｄ空間には、各空間からの情報がリアルタイムに反映されてもよい。例えば、各空間内の照明（色温度、明るさ、揺らぎ）や室温、環境情報（天候等）を３Ｄ空間に反映させてもよい。各空間の天候を反映させる場合、例えば空間Ｂの地域で実際に雨が降っている場合、３Ｄ空間に配置された空間Ｂの家オブジェクト２１Ｂの周辺に雨を降らせてもよい。これにより、各ユーザはリアルタイムに相手の空間の気象状況を把握することができる。

また、３Ｄ空間には、各ユーザが自由に書き込める仮想的な掲示板を立ててもよい。また、仮想的な掲示板には、例えば各ユーザの一日の行動情報に基づいてその日のダイジェストが自動的に表示されるようにしてもよい。

＜４－３．ゼロ距離表示＞
また、近距離からさらに近付くと、仮想的な窓同士が接合した状態、すなわちゼロ距離表示となる。この場合、より鮮明な映像が表示され得る。図１０は、ゼロ距離表示の一例を示す図である。

図１０の左に示すように、相手の家オブジェクト２１Ｂ、２１Ｃとさらに近付いていくと、仮想的な窓同士が接合し、図１０の右に示すようなゼロ距離表示となる。ゼロ距離表示では、例えば空間Ｂの映像２２Ｂと、空間Ｃの映像２２Ｃが横に並列して表示される。この場合、３Ｄ空間の音や情報は遮断され、コミュニケーションに集中できる。

＜４－４．遠距離表示＞
次に、公開度「低」の遠距離表示について図１１を参照して説明する。図１１は、本実施形態による遠距離で家オブジェクトが配置された３Ｄ空間の表示例を示す図である。

図１１に示すように、相手空間と積極的に離れたい場合、例えばユーザは任意に公開度「低」とする操作を行い、家オブジェクト２１Ｂ、２１Ｃと遠く離れることも可能である。この場合、当然に、相手空間のディスプレイ１０９１に表示されている３Ｄ空間に配置された自身の空間に対応する家オブジェクトが遠くに表示されるよう、距離（公開度）が同期される。

＜４－５．コミュニケーション状態の可視化＞
続いて、本実施形態によるコミュニケーション状態の可視化について具体例を説明する。上述したように、本実施形態では、通信相手同士で既にコミュニケーションが発生している場合（会話を行っている場合）、かかるコミュニケーションの状態を可視化することで、ユーザがそのコミュニケーションに積極的に参加するか否かを適切に判断することを可能とする。

図１２は、本実施形態によるコミュニケーションの発生を可視化した一例を示す図である。図１２に示すように、ディスプレイ１０９１に表示された３Ｄ空間に、家オブジェクト２１Ｂ、２１Ｃが例えば近距離で配置され、家オブジェクト２１Ｂ、２１Ｃ間でコミュニケーションが発生した場合、情報処理装置１０は、各家オブジェクトの仮想的な窓同士を繋ぐ可視化表示５０を表示する。可視化表示５０は、例えばシンプルな線状で表現される。これにより、ユーザは、ディスプレイ１０９１を見た際に、通信相手間（ユーザＢとユーザＣ）で既にコミュニケーションが発生していることを直感的に把握することができる。以下、このような可視化表現のバリエーションについて複数の具体例を用いて説明する。

（４－５－１．可視化表現の種類）
図１３～図１５は、本実施形態による可視化表現の種類について説明する図である。情報処理装置１０は、図１３の左に示すように、相手空間間で何らコミュニケーションが起きていない状態では可視化表示を行わず、図１３の右に示すように、相手空間間でコミュニケーションが起きている場合に、例えば会話の活性度を波形のようなデザインで表現した可視化表示５１で家オブジェクト２１Ｂと２１Ｃの仮想的な窓を繋ぐ表示を行う。

また、情報処理装置１０は、図１４の左に示すように、相手空間間でコミュニケーションが起きている場合に、例えば会話の活性度をマンガの吹き出しのようなもので表現した可視化表示５２を家オブジェクト２１Ｂと２１Ｃの上空に浮かべる表示を行ってもよい。また、情報処理装置１０は、図１４の右に示すように、相手空間間でコミュニケーションが起きている場合に、家オブジェクト２１Ｂと２１Ｃの仮想的な窓が繋がっているように表現する可視化表示５３を表示してもよい。

また、情報処理装置１０は、図１５の左に示すように、相手空間間でコミュニケーションが起きている場合に、例えばシンプルに線で繋いで表現する可視化表示５４を表示したり、図１５の右に示すように、さらに会話の活性度を破線で表現する可視化表示５５で仮想的な窓同士を繋げる表示をしてもよい。

このように、本実施形態によるコミュニケーション状態の可視化表現は、シンプルな線、破線、波線、または吹き出し等、様々な種類が挙げられる。いずれも、相手空間同士を繋げた表現とすることで、相手空間間でコミュニケーションが発生していることを表している。

続いて、このような可視化表現の種類ごとの会話活性度や会話ムードの表現方法について、以下具体例を挙げる。

（４－５－２．会話活性度の表現）
図１６～図２０は、本実施形態による会話活性度の各表現方法について説明する図である。

図１６に示すように、例えば波形による可視化表示５１を用いる場合、会話活性度を波の激しさで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、穏やかな波形の可視化表示５１－１を表示し、会話活性度が少し活発になると、少し激しい波形の可視化表示５１－２を表示し、会話活性度が活発になると、激しい波形の可視化表示５１－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。

また、図１７に示すように、例えばマンガの吹き出しによる可視化表示５２を用いる場合、会話活性度を拭き出しの大きさや数で表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、小さく少ない吹き出しの可視化表示５２－１を表示し、会話活性度が少し活発になると、中程度の大きさの吹き出しを増やした可視化表示５２－２を表示し、会話活性度が活発になると、大きい吹き出しを含めて数を増やした吹き出しの可視化表示５２－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。

また、図１８に示すように、例えば仮想的な窓を繋げた可視化表示５３を用いる場合、会話活性度を可視化表示５３の色の濃さで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、薄い色で可視化表示５３－１を表示し、会話活性度が少し活発になると、中程度の濃さの色で可視化表示５３－２を表示し、会話活性度が活発になると、濃い色の可視化表示５３－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。

また、図１９に示すように、例えば破線による可視化表示５５を用いる場合、会話活性度を破線の密度で表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、破線の密度を少なくした可視化表示５５－１を表示し、会話活性度が少し活発になると、破線の密度を少し増やした可視化表示５５－２を表示し、会話活性度が活発になると、破線の密度を増やした可視化表示５５－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。

また、図２０に示すように、例えば仮想的な窓の周囲を同じように光らせる可視化表示５６を用いる場合、会話活性度を光の強さで表現することが可能である。情報処理装置１０は、図示されたように、会話活性度が穏やかな場合は、各相手空間の仮想的な窓の周囲を弱く光らせる可視化表示５６－１を表示し、会話活性度が少し活発になると、少し強く光らせる可視化表示５６－２を表示し、会話活性度が活発になると、強く光らせる可視化表示５６－３を表示する。これにより、ユーザは直感的に会話活性度を把握することができる。

このように、会話活性度の活発さ（激しさ）に応じて、波線の激しさや、破線の密度、吹き出しの大きさや数、色の濃さ、光の強さ等で表現することが可能である。

（４－５－３．会話ムードの表現）
続いて、会話ムードの表現方法について説明する。図２１および図２２は、本実施形態による会話ムードの表現方法について説明する図である。

情報処理装置１０は、例えば波形による可視化表示５１を用いる場合、会話ムードが穏やかな場合は、図２１上段に示す曲線で山が低い（滑らかな）波形の可視化表示５１ａを表示し、会話ムードがとげとげしい場合は、図２１中段に示す鋭角な波形の可視化表示５１ｂを表示し、会話ムードが楽しげな場合は、図２１下段に示す曲線で山が高い（激しめの）波形の可視化表示５１ｃを表示する。また、さらに波形の背景色（寒色、暖色等、色の持つイメージ）をムードに応じた色にしてもよい。これにより、ユーザは直感的に会話ムードを把握することができる。

なお、情報処理装置１０は、上述した波線の激しさによる会話活性度の表現も含め、例えばとげとげしいムードで活発であることや、楽しいムードで穏やかである等の、会話活性度と会話ムードの両方を表現することも可能である。

また、情報処理装置１０は、例えば吹き出しによる可視化表示５２を用いる場合、会話ムードが穏やかな場合は、図２２上段に示す円形の吹き出しによる可視化表示５２ａを表示し、会話ムードがとげとげしい場合は、図２２中段に示す爆発型の吹き出しの可視化表示５２ｂを表示し、会話ムードが楽しげな場合は、図２２下段に示す星型の可視化表示５２ｃを表示する。これにより、ユーザは直感的に会話ムードを把握することができる。

（４－５－４．参加拒否表示）
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加されたくない」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加拒否」の表示を示し、第三者の参入を拒否する、若しくは第三者に参加されたくない意思表示を行うことが可能である。

「参加拒否」の表示は、ユーザが能動的に選択、解除することができる。また、システム側でコミュニケーション状態を把握して自動的に「参加拒否」の表示を示すことも可能である。例えば、会話から「内緒ね」「秘密だよ」といった所定のキーワードが抽出された場合に、他者の参入を拒む「参加拒否」の表示を自動的に行うようにしてもよい。

ここで、「参加拒否」の表示例を図２３および図２４を参照して説明する。図２３は、本実施形態による参加拒否表示の一例を示す図である。図示された例では、家オブジェクト２１Ｂ（図２４では家オブジェクトが簡略化して図示されている）、２１Ｃをドーム状の囲い表示６０で覆うことで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを明示的に表現している。

図２４は、本実施形態による参加拒否表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの手前側に柵表示６１を表示することで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを明示的に表現している。

図２５は、本実施形態による参加拒否表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの手前側に幕表示６２を表示すると共に、幕表示６２に禁止マーク６３を加えることで、ユーザＢとユーザＣのコミュニケーションに介入しないで欲しいことを更に明示的に表現している。

以上説明したように、本実施形態によれば、参加拒否表示を示すことで、第三者の参入を拒否する、若しくは第三者に参加されたくない意思表示を行うことが可能である。これにより、例えば本コミュニケーションシステム１において、母と娘と息子が参加する多地点常時接続を実現している場合に、例えば女性同士で話がしたいときは、息子に対して一時的に参加拒否表示をするといったユースケースが考えられる。また、本コミュニケーションシステム１において、単身赴任の父と、実家と、その祖父母が参加する多地点常時接続を実現している場合に、例えば父が息子を説教したいときは、祖父母に対して一時的に参加拒否表示をするといったユースケースも考えられる。

（４－５－５．参加要請表示）
また、多人数常時接続のコミュニケーションシステム１では、「特定の誰かに参加してほしい」という状況も起こり得る。本実施形態では、先にコミュニケーションを始めた参加者が明示的に３Ｄ空間に「参加要請」の表示を示し、第三者の参入を要請することが可能である。

「参加要請」の表示は、ユーザが能動的に選択、解除することができる。参加要請の表示を出しておくことで、要請された参加者が自由に参加するか否かを判断することができる。また、これにより参加率の低い参加者も参加し易くなる。

ここで、「参加要請」の表示例を図２６および図２７を参照して説明する。図２６は、本実施形態による参加要請表示の一例を示す図である。図示された例では、３Ｄ空間において、家オブジェクト２１Ｂ、２１Ｃの上空に、手招きの動きをするアイコン６４を表示することで、ユーザＢとユーザＣのコミュニケーションに参加して欲しいことを明示的に表現している。

図２７は、本実施形態による参加要請表示の他の例を示す図である。図示された例では、家オブジェクト２１Ｂ、２１Ｃの上空に、ベルが揺れて鳴っているような動きのするアイコン６５を表示することで、ユーザＢとユーザＣのコミュニケーションに参加して欲しいことを明示的に表現している。

以上説明したように、本実施形態によれば、参加要請表示を行うことで、第三者の参入を要請することが可能である。これにより、例えば本コミュニケーションシステム１において、母と娘が先に話していたが、兄がなかなか話に参加してくれない場合、兄に対して参加要請表示を行うといったユースケースが考えられる。

＜＜５．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。上述した情報処理装置１０の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現されてもよい。

図２８は、本開示に係る情報処理装置１００のハードウェア構成を示した説明図である。図２８に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。

ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１０の空間情報取得部１０２、状態判定部１０３、空間距離制御部１０４、３Ｄ空間生成部１０６、および空間情報生成部１０８の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理システム内の記憶部１７の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１５４は、情報処理装置１０のカメラ１０１１、マイク１０１２、センサ１０１３、および操作Ｉ／Ｆ１０１５を実現し、入力信号をＣＰＵ１４２に出力する入力制御回路などから構成されている。

出力装置１５６は、例えば、情報処理装置１０のディスプレイ１０９１、スピーカ１０９２、およびインジケータ１０９３を実現する。ディスプレイ１０９１の一例としては、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などが想定される。

ストレージ装置１５８は、例えば情報処理装置１０の記憶部１１０を実現するデータ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。

ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

通信装置１６４は、情報処理装置１０の通信部１０７の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インタフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、空間のつながりに３次元的表現を用いることで多数の通信相手との距離を演出し、より快適なコミュニケーションを実現することを可能とする。

具体的には、壁等に設置された大型のディスプレイを窓や戸口に見立てて、３Ｄ空間を表示し、３Ｄ空間内に、複数の通信相手の映像を家等の仮想オブジェクトにはめこんで配置することで、通信相手との距離を視覚的に表現することができる。なお、壁面に設置されるディスプレイの縦横比は、実際の窓やドアで用いられている寸法に合わせて実現されてもよい。また、ディスプレイの下辺が床面付近に位置するよう配置し、３Ｄ空間の地面と地続きになっているように表示し、よりリアルに、３Ｄ空間と実空間の繋がりを表現することができる。

また、３Ｄ空間内に配置する通信相手の映像は、家等の仮想オブジェクトにはめこんで配置され、３Ｄ空間内で距離が近付いたり離れたりすると共に拡大／縮小表示されるので、等身大感は失われない。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１０、または処理サーバ３０に内蔵されるＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等のハードウェアに、情報処理装置１０、または処理サーバ３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上述した実施形態では、ディスプレイ１０９１が壁に設置されている場合について説明したが、本実施形態はこれに限定されず、情報処理端末に設けられた表示部をディスプレイ１０９１として用いてもよい。また、例えば透過型または非透過型のＨＭＤ（Head Mounted Display）の表示部をディスプレイ１０９１として用いてもよい。

なおスマートフォン等の小型ディスプレイが設けられた情報処理端末を用いる場合、かかる小型ディスプレイには図３に示すような３Ｄ空間表示ではなく、画面分割して通常のビデオチャット的表示を行ってもよい。

また、上述した実施形態は、３Ｄ空間に通信相手の空間を２つ配置して三者が参加するコミュニケーションシステムを用いて説明したが、本実施形態はこれに限定されず、二者や四者以上が参加するコミュニケーションシステムであってもよい。

また、ユーザがカメラ１０１１に近過ぎてアップの映像になると、家オブジェクト２１にはめ込まれた際に等身大感が失われてしまう。この際、コミュニケーションシステム１は、例えばユーザの顔画像を切り出して過去の映像等から生成した身体画像に合成し、家オブジェクト２１にはめ込んだ際に等身大感が失われず不自然にならない映像を生成するようにしてもよい。

また、上述した実施形態では、家等の仮想オブジェクトに相手空間の映像をはめ込んでいるが、本実施形態はこれに限定されず、さらにアブストラクトに窓（相手空間の映像）が浮いているような表現にしてもよい。

また、モーションキャプチャを行って相手の動きをアバターで表示した映像を相手空間の映像として用いてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
を備える、情報処理装置。
（２）
前記生成部は、複数の前記通信先の間で発生しているコミュニケーションを前記３次元空間上で可視化する、前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記コミュニケーションの状態を可視化する、前記（２）に記載の情報処理装置。
（４）
前記生成部は、前記コミュニケーションにおける会話の活性度を算出し、活性度に応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（５）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記活性度を算出する、前記（４）に記載の情報処理装置。
（６）
前記生成部は、前記コミュニケーションにおける会話のムードを推定し、ムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（７）
前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記ムードを推定する、前記（６）に記載の情報処理装置。
（８）
前記生成部は、前記コミュニケーションにおける会話の活性度の算出およびムードの推定を行い、活性度とムードに応じた可視化表示を行う、前記（３）に記載の情報処理装置。
（９）
前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
前記生成部は、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、前記（９）に記載の情報処理装置。
（１１）
プロセッサが、
通信先からデータを受信することと、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
前記生成された空間画像情報を表示部に表示するよう制御することと、
を含む、情報処理方法。
（１２）
コンピュータを、
通信先からデータを受信する受信部と、
複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
として機能させるプログラム。

１ コミュニケーションシステム
１０（１０Ａ～１０Ｃ） 情報処理装置
２０ ネットワーク
３０ 処理サーバ
１０１ 入力部
１０１１ カメラ
１０１２ マイク
１０１３ センサ
１０２ 空間情報取得部
１０３ 状態判定部
１０４ 空間距離制御部
１０５ 操作Ｉ／Ｆ
１０６ ３Ｄ空間生成部
１０７ 通信部
１０８ 空間情報生成部
１０９ 出力部
１０９１ ディスプレイ
１０９２ スピーカ
１０９３ インジケータ
１１０ 記憶部

Claims (12)

1. 通信先からデータを受信する受信部と、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
   前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備え、
   前記生成部は、複数の前記通信先の間で発生しているコミュニケーションの状態のうち、前記コミュニケーションにおける会話のムードを推定し、前記３次元空間上でムードに応じた可視化表示を行う、
   情報処理装置。
2. 通信先からデータを受信する受信部と、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
   前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備え、
   前記生成部は、複数の前記通信先の間で発生しているコミュニケーションにおける会話の活性度の算出およびムードの推定を行い、前記３次元空間上で活性度とムードに応じた可視化表示を行う、
   情報処理装置。
3. 通信先からデータを受信する受信部と、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
   前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、を備え、
   前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置し、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、
   情報処理装置。
4. 前記生成部は、前記コミュニケーションにおける会話の活性度を算出し、活性度に応じた可視化表示を行う、請求項１に記載の情報処理装置。
5. 前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記活性度を算出する、請求項４に記載の情報処理装置。
6. 前記生成部は、会話音声または会話時の映像の少なくともいずれかに基づいて前記ムードを推定する、請求項２に記載の情報処理装置。
7. プロセッサが、
   通信先からデータを受信することと、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
   前記生成された空間画像情報を表示部に表示するよう制御することと、を含み、
   さらに、複数の前記通信先の間で発生しているコミュニケーションの状態のうち、前記コミュニケーションにおける会話のムードを推定し、前記３次元空間上でムードに応じた可視化表示を行う、
   情報処理方法。
8. コンピュータを、
   通信先からデータを受信する受信部と、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
   前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
   として機能させるプログラムであって、
   前記生成部は、複数の前記通信先の間で発生しているコミュニケーションの状態のうち、前記コミュニケーションにおける会話のムードを推定し、前記３次元空間上でムードに応じた可視化表示を行う、
   プログラム。
9. プロセッサが、
   通信先からデータを受信することと、
   複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
   前記生成された空間画像情報を表示部に表示するよう制御することと、を含み、
   さらに、複数の前記通信先の間で発生しているコミュニケーションにおける会話の活性度の算出およびムードの推定を行い、前記３次元空間上で活性度とムードに応じた可視化表示を行う、
   情報処理方法。
10. コンピュータを、
    通信先からデータを受信する受信部と、
    複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
    前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
    として機能させるプログラムであって、
    前記生成部は、複数の前記通信先の間で発生しているコミュニケーションにおける会話の活性度の算出およびムードの推定を行い、前記３次元空間上で活性度とムードに応じた可視化表示を行う、
    プログラム。
11. プロセッサが、
    通信先からデータを受信することと、
    複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成することと、
    前記生成された空間画像情報を表示部に表示するよう制御することと、を含み、
    さらに、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置し、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、
    情報処理方法。
12. コンピュータを、
    通信先からデータを受信する受信部と、
    複数の前記通信先の撮像画像を用いて、３次元空間上の所定の位置に配置した空間画像情報を生成する生成部と、
    前記生成された空間画像情報を表示部に表示するよう制御する表示制御部と、
    として機能させるプログラムであって、
    前記生成部は、前記通信先の撮像画像を、仮想オブジェクトの開口部にはめ込んで前記３次元空間上の所定の位置に配置し、前記３次元空間に配置された各仮想オブジェクトとの距離を、公開度に応じて制御する、
    プログラム。

Images