JP7694530B2

JP7694530B2 - 端末装置

Info

Publication number: JP7694530B2
Application number: JP2022167110A
Authority: JP
Inventors: 航加来
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2025-06-18
Anticipated expiration: 2042-10-18
Also published as: JP2024059435A; US20240127769A1; CN117915062A

Description

本開示は、端末装置に関する。

ネットワークを介して接続されるコンピュータを用いて、各コンピュータのユーザが他のユーザと互いの画像、音声を送受して通話を行う技術が知られている。例えば、特許文献１には、カメラにより撮像されたユーザの映像からユーザの三次元映像を生成し、遠隔地に居る対話相手の三次元映像を対話者側のディスプレイに表示させる映像表示システムが開示されている。

特開2016-192688号公報

ユーザが互いの画像、音声を送受し仮想の対面コミュニケーションを行う技術において、コミュニケーションのリアリティを向上させるとともにユーザの利便性を向上させる余地がある。

本開示は、仮想の対面コミュニケーションにおけるリアリティと利便性の向上を可能にする、端末装置等を提供する。

本開示における端末装置は、通信部と、表示部と、前記表示部に重畳するタッチパネルを有する入力部と、ユーザを撮像する撮像部と、前記通信部により通信を行う制御部とを有する端末装置であって、前記制御部は、他の端末装置を用いる他のユーザの撮像画像に基づき当該他のユーザを表すモデル画像を生成するための情報と、当該他のユーザが当該他の端末装置のタッチパネルに描画する描画画像の情報とを当該他の端末装置から受け、左右を反転させた前記モデル画像と左右を反転させた前記描画画像とを互いに重畳させた表示用画像を前記表示部に表示させる。

本開示における端末装置等によれば、仮想の対面コミュニケーションにおけるリアリティと利便性の向上が可能となる。

通話システムの構成例を示す図である。端末装置を使用するユーザの態様を示す図である。端末装置を使用するユーザの態様を示す図である。通話システムの動作例を示すシーケンス図である。端末装置の動作例を示すフローチャート図である。端末装置の動作例を示すフローチャート図である。表示用画像の例を示す図である。表示用画像の例を示す図である。表示倍率の変更について説明する図である。表示倍率の変更について説明する図である。表示倍率の変更について説明する図である。表示倍率の変更について説明する図である。

以下、実施の形態について説明する。

図１は、一実施形態における通話システム１の構成例を示す図である。通話システム１は、ネットワーク１１を介して互いに情報通信可能に接続される、サーバ装置１０と複数の端末装置１２を有する。通話システム１は、ユーザが端末装置１２を用いて画像、音声等を送受して互いに仮想の対面コミュニケーション（以下、仮想対面コミュニケーションという）を行うことを可能にするためのシステムである。

サーバ装置１０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属し、各種機能を実装するサーバとして機能するサーバコンピュータである。サーバ装置１０は、情報通信可能に接続されて連携動作する二以上のサーバコンピュータにより構成されてもよい。サーバ装置１０は、仮想対面コミュニケーションの提供に必要な情報の送受及び情報処理を実行する。

端末装置１２は、通信機能と、画像、音声等の入出力機能を備えた情報処理装置であって、ユーザにより使用される。端末装置１２は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、デジタルサイネージ等である。

ネットワーク１１は、例えばインターネットであるが、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、もしくは他のネットワーク又はこれらいずれかの組合せが含まれる。

本実施形態において、端末装置１２は、他の端末装置１２を用いる他のユーザの撮像画像に基づき他のユーザを表すモデル画像を生成するための情報と、他のユーザが他の端末装置１２のタッチパネルに描画する画像（以下、描画画像という）の情報とを他の端末装置１２から受け、左右を反転させたモデル画像と描画画像とを互いに重畳させた表示用画像を表示させる。端末装置１２の自ユーザ（以下、自ユーザという）は、他の端末装置１２の他のユーザ（以下、他ユーザという）との仮想対面コミュニケーションにおいて、他ユーザがタッチパネルに文字、図形等の描画画像を描画するときのモデル画像と描画画像とが自らの端末装置１２にて表示されるので、あたかも透明パネルに描画をしながら透明パネル越しに他ユーザと対面コミュニケーションをするかのようなリアリティを体験する。また、自ユーザにおいて、他ユーザのモデル画像と描画画像とが左右反転した状態で表示されることで、描画画像の認識に際し違和感が低減されるので、利便性が向上する。このように、本実施形態によれば、仮想対面コミュニケーションにおけるリアリティと利便性の向上が可能となる。

サーバ装置１０と端末装置１２のそれぞれの構成について詳述する。

サーバ装置１０は、通信部１０１、記憶部１０２、制御部１０３、入力部１０５、及び出力部１０６を有する。これらの構成は、サーバ装置１０が二以上のサーバコンピュータで構成される場合には、二以上のコンピュータに適宜に配置される。

通信部１０１は、一以上の通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部１０１は、サーバ装置１０の動作に用いられる情報を受信し、またサーバ装置１０の動作によって得られる情報を送信する。サーバ装置１０は、通信部１０１によりネットワーク１１に接続され、ネットワーク１１経由で端末装置１２と情報通信を行う。

記憶部１０２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static RAM）又はＤＲＡＭ（Dynamic RAM）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）である。記憶部１０２は、サーバ装置１０の動作に用いられる情報と、サーバ装置１０の動作によって得られた情報とを格納する。

制御部１０３は、一以上のプロセッサ、一以上の専用回路、又はこれらの組み合わせを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用プロセッサ、又は特定の処理に特化したＧＰＵ（Graphics Processing Unit）等の専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１０３は、サーバ装置１０の各部を制御しながら、サーバ装置１０の動作に係る情報処理を実行する。

入力部１０５は、一以上の入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチパネル、又は音声入力を受け付けるマイクロフォンである。入力部１０５は、サーバ装置１０の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１０３に送る。

出力部１０６は、一以上の出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro-Luminescence）ディスプレイである。出力部１０６は、サーバ装置１０の動作によって得られる情報を出力する。

サーバ装置１０の機能は、制御プログラムを、制御部１０３に含まれるプロセッサが実行することにより実現される。制御プログラムは、コンピュータをサーバ装置１０として機能させるためのプログラムである。また、サーバ装置１０の一部又は全ての機能が、制御部１０３に含まれる専用回路により実現されてもよい。また、制御プログラムは、サーバ装置１０に読取り可能な非一過性の記録・記憶媒体に格納され、サーバ装置１０が媒体から読み取ってもよい。

端末装置１２は、通信部１１１、記憶部１１２、制御部１１３、入力部１１５、表示・出力部１１６、及び撮像部１１７を有する。

通信部１１１は、有線又は無線ＬＡＮ規格に対応する通信モジュール、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応するモジュール等を有する。端末装置１２は、通信部１１１により、近傍のルータ装置又は移動体通信の基地局を介してネットワーク１１に接続され、ネットワーク１１経由でサーバ装置１０等と情報通信を行う。

記憶部１１２は一以上の半導体メモリ、一以上の磁気メモリ、一以上の光メモリ、又はこれらのうち少なくとも２種類の組み合わせを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部１１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１１２は、制御部１１３の動作に用いられる情報と、制御部１１３の動作によって得られた情報とを格納する。

制御部１１３は、例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）等の一以上の汎用プロセッサ、又は特定の処理に特化したＧＰＵ等の一以上の専用プロセッサを有する。あるいは、制御部１１３は、一以上の、ＦＰＧＡ、ＡＳＩＣ等の専用回路を有してもよい。制御部１１３は、制御・処理プログラムに従って動作したり、あるいは、回路として実装された動作手順に従って動作したりすることで、端末装置１２の動作を統括的に制御する。そして、制御部１１３は、通信部１１１を介してサーバ装置１０等と各種情報を送受し、本実施形態にかかる動作を実行する。

入力部１１５は、ディスプレイと一体的に設けられたタッチパネル及び一以上の入力用インタフェースを含む。入力部１５は、タッチパネルに対する指、ポインティングデバイス等の接触位置の変位に基づき、描画画像の入力を検出し、検出した情報を制御部１１３へ送る。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイスを含む。また、入力用インタフェースは、音声入力を受け付けるマイクロフォンを含む。さらに、入力用インタフェースは、画像コードをスキャンするスキャナ又はカメラ、ＩＣカードリーダを含んでもよい。入力部１１５は、制御部１１３の動作に用いられる情報を入力する操作を受け付け、入力される情報を制御部１１３に送る。

表示・出力部１１６は、画像を表示するディスプレイと、一以上の出力用インタフェースを含む。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力用インタフェースは、例えば、スピーカを含む。表示・出力部１１６は、制御部１１３の動作によって得られる情報を出力する。

撮像部１１７は、可視光による被写体の撮像画像を撮像するカメラと、被写体までの距離を測定して距離画像を取得する測距センサとを含む。カメラは、例えば毎秒１５～３０フレームで被写体を撮像して連続した撮像画像からなる動画像を生成する。測距センサは、ＴｏＦ（Time Of Flight）カメラ、ＬｉＤＡＲ（Light Detection And Ranging）、ステレオカメラを含み、距離情報を含んだ被写体の距離画像を生成する。撮像部１１７は、撮像画像と距離画像とを制御部１１３へ送る。

制御部１１３の機能は、制御部１１３に含まれるプロセッサが制御プログラムを実行することにより実現される。制御プログラムは、プロセッサを制御部１１３として機能させるためのプログラムである。また、制御部１１３の一部又は全ての機能が、制御部１１３に含まれる専用回路により実現されてもよい。また、制御プログラムは、端末装置１２に読取り可能な非一過性の記録・記憶媒体に格納され、端末装置１２が媒体から読み取ってもよい。

図２Ａ、２Ｂは、ユーザが端末装置１２を用いて対面コミュニケーションを行う態様を示す。

図２Ａは、端末装置１２を使用する自ユーザの態様を示す。自ユーザ２０は、表示・出力部１１６のディスプレイに重畳して設けられる、入力部１１５のタッチパネルに文字、図柄等を描画しながら通話を行う。表示・出力部１１６は、ポインティングデバイス等の接触に対応する画像等の情報を表示する。撮像部１１７は、ディスプレイ上部、又はディスプレイを透過ディスプレイで構成した場合にはディスプレイの背後など、自ユーザ２０の少なくとも上半身を撮像可能な位置に設けられる。

制御部１１３は、自ユーザ２０の撮像画像と距離画像を撮像部１１７により取得する。また、制御部１１３は、自ユーザ２０の発話音声を入力部１１５のマイクロフォンで集音する。さらに、制御部１１３は、入力部１１５のタッチパネルに自ユーザ２０が描画する描画画像の情報を入力部１１５から取得する。制御部１１３は、自ユーザ２０のモデル画像を生成するための自ユーザ２０の撮像画像と距離画像、自ユーザ２０が描画した描画画像、及び自ユーザ２０の音声を再生するための音声情報を符号化して符号化情報を生成する。モデル画像は、例えば、３Ｄモデル、２Ｄモデル等であるが、以下、３Ｄモデルを例として説明する。制御部１１３は、符号化に際して、撮像画像等に対して任意の加工処理（例えば解像度変更、トリミング、写っていない部分の補完等）を行ってもよい。また、制御部１１３は、自ユーザ２０の撮像画像に基づき、自ユーザ２０に対する描画画像の位置を導出する。例えば、撮像部１１７とタッチパネルとの位置関係、及び撮像部１１７に対する自ユーザ２０の位置と描画画像の位置とに基づいて、自ユーザ２０に対する描画画像の位置が導出される。そして、制御部１１３は、導出した位置に対応するように、自ユーザ２０の３Ｄモデルに対し描画画像を重畳させる位置を決定する。制御部１１３は、符号化情報を通信部１１１によりサーバ装置１０を介して他の端末装置１２へ送る。

図２Ｂは、端末装置１２に表示される他ユーザの態様を示す。他ユーザ２１の３Ｄモデルを含むレンダリング画像２２は、表示・出力部１１６のディスプレイに、他ユーザ２１が描画する描画画像２３とともに表示される。

制御部１１３は、他の端末装置１２からサーバ装置１０を介して送られる符号化情報を、通信部１１１により受ける。制御部１１３は、他の端末装置１２から受けた符号化情報を復号すると、復号された情報を用いて、他の端末装置１２を用いる他ユーザ２１を表す３Ｄモデルを生成する。３Ｄモデル生成に際し、制御部１１３は、他ユーザ２１の距離画像を用いてポリゴンモデルを生成し、他ユーザ２１の撮像画像を用いたテクスチャマッピングをポリゴンモデルに施すことにより、他ユーザ２１の３Ｄモデルを生成する。ただし、３Ｄモデルの生成には、ここに示す例に限られず任意の手法が採用可能である。制御部１１３は、３Ｄモデルを含んだ仮想空間を仮想の視点から見たレンダリング画像２２を生成する。仮想の視点は、例えば、自ユーザ２０の目の位置である。制御部１１３は、自ユーザ２０の撮像画像から、任意の基準に対する目の空間座標を導出し、仮想空間内の空間座標に対応付ける。任意の基準は、例えば撮像部１１７の位置である。他ユーザ２１の３Ｄモデルは、仮想の視点に対しアイコンタクトを取りうる位置、角度に配置される。さらに制御部１１３は、レンダリング画像２２に描画画像２３を重畳して、表示用画像を生成する。描画画像２３は、３Ｄモデルのペン等を保持した手の位置に対応するように配置される。制御部１１３は、表示・出力部１１６により、表示用画像を表示するとともに他ユーザ２１の音声情報に基づく他ユーザ２１の発話音声を出力する。

図３は、通話システム１の動作手順を説明するためのシーケンス図である。このシーケンス図は、サーバ装置１０及び複数の端末装置１２（それぞれを区別する際は、便宜上、端末装置１２Ａ及び１２Ｂという）の連係動作にかかる手順を示す。この手順は、端末装置１２Ａが端末装置１２Ｂを呼び出すときの手順である。複数の端末装置１２Ｂが呼び出される場合には、ここに示す端末装置１２Ｂに係る動作手順は複数の端末装置１２Ｂのそれぞれにより、又は複数の端末装置１２Ｂのそれぞれとサーバ装置１０とにより、実行される。

図３におけるサーバ装置１０及び端末装置１２の各種情報処理に係るステップは、それぞれの制御部１０３及び１１３により実行される。また、サーバ装置１０及び端末装置１２の各種情報の送受に係るステップは、それぞれの制御部１０３及び１１３が、それぞれ通信部１０１、及び１１１を介して互いに情報を送受することにより実行される。サーバ装置１０及び端末装置１２では、それぞれ制御部１０３及び１１３が、それぞれ送受する情報を記憶部１０２及び１１２及びに適宜格納する。さらに、端末装置１２の制御部１１３は、入力部１１５により各種情報の入力を受け付け、表示・出力部１１６により各種情報を出力する。

ステップＳ３００において、端末装置１２Ａはそのユーザからの設定情報の入力を受け付ける。設定情報は、通話のスケジュール、通話相手のリスト等を含む。リストは、通話相手のユーザ名と各ユーザのメールアドレスとを含む。そして、ステップＳ３０１において、端末装置１２Ａは、設定情報をサーバ装置１０へ送る。サーバ装置１０は、端末装置１２Ａから送られる情報を受ける。例えば、端末装置１２Ａは、サーバ装置１０から設定情報の入力画面を取得し、入力画面をユーザに表示する。そして、ユーザが入力画面に設定情報を入力することで、設定情報がサーバ装置１０へ送られる。

ステップＳ３０２において、サーバ装置１０は、設定情報に基づいて、通話相手を特定する。制御部１０３は、設定情報と通話相手の情報とを対応付けて記憶部１０２に格納する。

ステップＳ３０３において、サーバ装置１０は、端末装置１２Ｂへ認証情報を送る。認証情報は、端末装置１２Ｂを用いる通話相手を特定して認証するためのＩＤ、パスコード等の情報である。これらの情報は、例えば、電子メールに添付されて送られる。端末装置１２Ｂは、サーバ装置１０から送られる情報を受ける。

ステップＳ３０５において、端末装置１２Ｂは、サーバ装置１０から受けた認証情報と認証申請の情報を、サーバ装置１０へ送る。通話相手は、端末装置１２Ｂを操作して、サーバ装置１０から送られた認証情報を用いて、認証を申請する。例えば、端末装置１２Ｂは、サーバ装置１０が提供する通話のためのサイトにアクセスして、認証情報と認証申請のための情報の入力画面を取得し、入力画面を通話相手に表示する。そして、端末装置１２Ｂは、通話相手が入力する情報を受け付けてサーバ装置１０へ送る。

ステップＳ３０６において、サーバ装置１０は、通話相手の認証を行う。記憶部１０２には、端末装置１２Ｂの識別情報と通話相手の識別情報が対応付けて格納される。

ステップＳ３０８及びＳ３０９において、サーバ装置１０は、それぞれ端末装置１２Ａ及び１２Ｂへ、通話の開始通知を送る。端末装置１２Ａ及び１２Ｂはそれぞれサーバ装置１０から送られる情報を受けると、それぞれユーザの撮像と発話音声の集音を開始する。

ステップＳ３１０において、サーバ装置１０を介して端末装置１２Ａ及び１２Ｂによりユーザ間の通話を含む仮想対面コミュニケーションが実行される。端末装置１２Ａ及び１２Ｂは、それぞれのユーザを表す３Ｄモデルを生成するための情報、描画画像、及び発話音声の情報を、サーバ装置１０を介して互いに送受する。また、端末装置１２Ａ及び１２Ｂは、それぞれのユーザに、他のユーザを表す３Ｄモデルを含む画像と他ユーザの発話音声とを出力する。

図４Ａ、４Ｂは、仮想対面コミュニケーションの実行に係る端末装置１２の動作手順を説明するフローチャート図である。ここに示す手順は、端末装置１２Ａ及び１２Ｂに共通の手順であり、端末装置１２Ａ及び１２Ｂを区別せずに説明する。

図４Ａは、各端末装置１２が、その端末装置１２を用いる自ユーザの３Ｄモデルを生成するための情報を送出するときの、制御部１１３の動作手順に関する。

ステップＳ４０２において、制御部１１３は、可視光画像、距離画像の取得、描画画像の取得、及び音声の集音を行う。制御部１１３は、撮像部１１７により、任意に設定されるフレームレートでの自ユーザの可視光画像の撮像及び距離画像の取得を行う。また、制御部１１３は、入力部１１５により、描画画像を取得する。さらに、制御部１１３は、入力部１１５により自ユーザの発話の音声を集音する。

ステップＳ４０４において、制御部１１３は、撮像画像、距離画像、描画画像及び音声情報を符号化し、符号化情報を生成する。

ステップＳ４０６において、制御部１１３は、通信部１１１により符号化情報をパケット化し、他の端末装置１２に向けてサーバ装置１０へ送出する。

ステップＳ４０７において、制御部１１３は、表示倍率情報を他の端末装置１２に向けてサーバ装置１０へ送出する。表示倍率情報は、表示・出力部１１６による画像の表示倍率を示す情報である。表示倍率は、例えば、自ユーザの入力部１１５への操作に応じ、制御部１１３により設定される。あるいは、制御部１１３は、ディスプレイの解像度を表示・出力部１１６から取得し、その解像度に応じて表示倍率を決定してもよい。例えば、制御部１１３は、解像度が高いほど表示倍率を増大させる。制御部１１３は、表示・出力部１１６から表示倍率を取得して、通信部１０１により表示倍率情報を他の端末装置１２に向けてサーバ装置１０へ送出する。

制御部１１３は、撮像、集音を中断するための、又は仮想対面コミュニケーションを退出するための、自ユーザによる操作に対応して入力される情報を取得すると（Ｓ４０８のＹｅｓ）、図４Ａの処理手順を終了し、中断又は退出のための操作に対応する情報を取得しない間は（Ｓ４０８のＮｏ）ステップＳ４０２～Ｓ４０７を実行して、自ユーザを表す３Ｄモデルを生成するための情報、描画画像、及び音声を出力するための情報を他の端末装置１２に向けてサーバ装置へ送出する。

図４Ｂは、端末装置１２が他ユーザの３Ｄモデルの画像、描画画像、及び音声を出力するときの、制御部１１３の動作手順に関する。制御部１１３は、他の端末装置１２が図４Ａの手順を実行することで送出するパケットを、サーバ装置１０を介して受けると、ステップＳ４１０～Ｓ４１３を実行する。

ステップＳ４１０において、制御部１１３は、他の端末装置１２から受けたパケットに含まれる符号化情報を復号して撮像画像、距離画像、描画画像及び音声情報を取得する。

ステップＳ４１１において、制御部１１３は、他ユーザの３Ｄモデルを表示するときの表示倍率を設定する。制御部１１３は、他の端末装置１２から送られたその端末装置１２の表示倍率に基づき、自らの端末装置１２における表示倍率を設定する。制御部１１３は、他の端末装置１２の表示倍率がＮ倍（Ｎは任意の正の数）のとき、自らの表示倍率を（１／Ｎ）倍に設定する。なお、複数の他の端末装置１２からそれぞれ異なる表示倍率の情報が送られる場合、制御部１１３は、各端末装置１２からの３Ｄモデルごとに表示倍率を設定する。

ステップＳ４１２において、制御部１１３は、撮像画像及び距離画像に基づいて、他の端末装置１２の自ユーザを表す３Ｄモデルを生成する。複数の他の端末装置１２から情報を受ける場合、制御部１１３は、他の端末装置１２それぞれについてステップＳ４１０～Ｓ４１２を実行し、各自ユーザの３Ｄモデルを生成する。このとき、制御部１１３は、各３Ｄモデルを、その左右を反転させて生成する。例えば、制御部１１３は、３Ｄモデルを構成するポリゴンの座標において左右方向の座標を任意の中心に対し反転させることで、左右を反転させた３Ｄモデルを生成する。

ステップＳ４１３において、制御部１１３は、仮想空間に他ユーザを表す３Ｄモデルを配置する。記憶部１１２には、予め、仮想空間の座標情報と、他ユーザ毎の、例えば認証された順番に応じて３Ｄモデルを配置すべき座標の情報が格納される。制御部１１３は、仮想空間内の座標に、生成した３Ｄモデルを配置する。その際、制御部１１３は、他ユーザが存在する現実空間の撮像画像から、現実空間の左右を反転させた仮想空間を生成し、その仮想空間に左右を反転させた３Ｄモデルを配置してもよい。

ステップＳ４１４において、制御部１１３は、表示用画像を生成する。制御部１１３は、仮想空間に配置した３Ｄモデルを仮想の視点から撮像したレンダリング画像を生成する。なお、制御部１１３は、ステップＳ４１２で左右反転させた３Ｄモデルを生成し、ステップＳ４１３で現実空間の左右を反転させた仮想空間に左右を反転させた３Ｄモデルを配置する代わりに、ステップＳ４１２では左右反転させない状態で３Ｄモデルを生成し、ステップＳ４１４にて現実空間に対応する仮想空間に３Ｄモデルを配置してレンダリング画像を生成して、そのレンダリング画像の左右を反転させてもよい。そして、制御部１１３は、反転した３Ｄモデルに対応する位置に、左右反転させた描画画像を重畳して、表示用画像を生成してもよい。

ステップＳ４１６において、制御部１１３は、表示・出力部１１６により表示用画像を表示するとともに音声を出力する。

制御部１１３がステップＳ４１０～Ｓ４１６を繰り返し実行することで、自ユーザは、他ユーザの３Ｄモデルと、その３Ｄモデルが描画する描画画像を含んだ動画を見ながら、他ユーザの発話の音声を聞くことができる。その際、３Ｄモデルと描画画像が左右反転されているので、自ユーザにおいて利便性が向上する。例えば、図５Ａに示すように、他ユーザ２０の３Ｄモデルと入力部１１５が検出したとおりの描画画像２３とを表示・出力部１１６に表示すると、描画画像が文字を含む場合など特に、左右が反転して認識しづらいおそれがある。その点、本実施形態によれば、図５Ｂに示すように、他ユーザ２０の３Ｄモデルと描画画像２３とが左右反転された状態で表示・出力部１１６に表示されるので、自ユーザにとって描画画像２３の認識が容易になる。よって、自ユーザにとって利便性が向上する。

また、端末装置１２における表示倍率を他の端末装置１２における表示倍率に応じて設定することで、ユーザ同士のアイコンタクトが容易となる。

図６Ａ～６Ｄは、仮想対面コミュニケーションにおける表示倍率の変化を模式的に示す。

図６Ａは、ユーザ６４、６５が、それぞれの端末装置１２における表示倍率が１：１の状態でコミュニケーションをする場合を示す。この場合、ユーザ６４の視線６６が自らの表示・出力部１１６におけるユーザ６５の３Ｄモデルの目の位置に向かう一方、ユーザ６５の視線６７が自らの表示・出力部１１６におけるユーザ６４の３Ｄモデルの目の位置に向かうことで、アイコンタクトが成立している。ここで、ユーザ６４が表示倍率をＭ倍（Ｍ＞１）にした場合が、図６Ｂ、６Ｃに示される。

図６Ｂには、ユーザ６４の表示・出力部１１６において、ユーザ６５の３ＤモデルがＭ倍の大きさに表示される態様が示される。すると、ユーザ６４の視線６６は、ユーザ６５のＭ倍された３Ｄモデルの目の位置に、すなわち仰角を呈して上方に向かう。一方、図６Ｃには、ユーザ６５の表示・出力部１１６において、ユーザ６４の３Ｄモデルが１倍の大きさのままで表示される態様が示される。このとき、ユーザ６４の３Ｄモデルの視線６６が上方に向かうので、ユーザ６５の視線６７と合致しなくなり、アイコンタクトが失われる。そこで、ユーザ６５の表示・出力部１１６において、表示倍率を（１／Ｍ）倍に設定することで、アイコンタクトが回復される。

図６Ｄには、ユーザ６４の表示・出力部１１６において、ユーザ６５の３ＤモデルがＭ倍の大きさに表示され、ユーザ６５の表示・出力部１１６において、ユーザ６４の３Ｄモデルが（１／Ｍ）倍の大きさに表示される態様が示される。ユーザ６５の表示・出力部１１６において、ユーザ６４の３Ｄモデルが（１／Ｍ）倍の表示倍率で、すなわち縮小されて表示されるので、ユーザ６４の３Ｄモデルの上方へ向かう視線６６が、ユーザ６５の目の位置に向かうようになる。一方、ユーザ６５は、ユーザ６５の表示・出力部１１６において、縮小されたユーザ６４の３Ｄモデルの目の位置に視線６７を向かわせるようになるので、アイコンタクトが回復される。

他の端末装置１２の表示倍率が増大した場合を例として説明したが、他の端末装置１２の表示倍率が低下した場合には表示倍率を増大させることで、他のユーザとのアイコンタクトを回復させることが可能となる。

上述のように、端末装置１２における表示倍率を他の端末装置１２における表示倍率に応じて変更することで、ユーザ同士のアイコンタクトを確実に成立させることが可能となる。よって、仮想対面コミュニケーションにおけるリアリティと利便性の向上が可能となる。

上述の例では、端末装置１２が他の端末装置１２から他ユーザの３Ｄモデルを生成するための情報、すなわち、撮像画像、距離画像等を受けてから、３Ｄモデルを生成して仮想空間に３Ｄモデルを配置したレンダリング画像を生成した。しかしながら、３Ｄモデルの生成、レンダリング画像の生成等の処理は、適宜、端末装置１２間で分散してもよい。例えば、他の端末装置１２にて撮像画像等に基づき他ユーザの３Ｄモデルが生成され、３Ｄモデルの情報を受けた端末装置１２が、その３Ｄモデルを用いてレンダリング画像を生成してもよい。

上述において、実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１通話システム
１０サーバ装置
１１ネットワーク
１２端末装置
１０１、１１１通信部
１０２、１１２記憶部
１０３、１１３制御部
１０５、１１５入力部
１０６出力部
１１６表示・出力部
１１７撮像部

Claims

通信部と、
表示部と、
前記表示部に重畳するタッチパネルを有する入力部と、
ユーザを撮像する撮像部と、
前記通信部により通信を行う制御部とを有する端末装置において、
前記制御部は、他の端末装置を用いる他のユーザの撮像画像に基づき当該他のユーザを表すモデル画像を生成するための情報と、当該他のユーザが当該他の端末装置のタッチパネルに描画する描画画像の情報とを当該他の端末装置から受け、左右を反転させた前記モデル画像と左右を反転させた前記描画画像とを互いに重畳させた表示用画像を前記表示部に表示させ、
前記制御部は、前記表示部による前記表示用画像の第１の表示倍率を前記他の端末装置における表示用画像の第２の表示倍率が増大したときに減少させ、前記第１の表示倍率を前記第２の表示倍率が減少したときに増大させる、
端末装置。
請求項１において、
前記制御部は、前記他のユーザが存在する現実空間の左右を反転させた仮想空間に左右を反転させた前記モデル画像と当該モデル画像を配置したレンダリング画像を生成し、当該レンダリング画像に前記左右を反転させた描画画像を重畳させて前記表示用画像を生成する、
端末装置。
請求項１において、
前記制御部は、前記他のユーザが存在する現実空間に対応する仮想空間に前記モデル画像と当該モデル画像を配置したレンダリング画像を生成し、当該レンダリング画像の左右を反転させて前記左右を反転させた画像と重畳させることで前記表示用画像を生成する、端末装置。