JP6541704B2

JP6541704B2 - System including terminal device for displaying virtual object and server device

Info

Publication number: JP6541704B2
Application number: JP2017061000A
Authority: JP
Inventors: 健治横田; 修水田; 義浩伊藤; 祥一大川; 和彦増崎; あかり山崎
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2019-07-10
Anticipated expiration: 2037-03-27
Also published as: JP2018163292A

Description

本発明は、携帯型の端末装置に仮想物体を表示させる技術に関する。 The present invention relates to a technology for displaying a virtual object on a portable terminal device.

非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。 Non-Patent Document 1 generates location description information by the imaging unit of the terminal device, an acceleration sensor, and a gyro sensor, and creates an image as if a virtual object that does not exist in reality exists as if the location description information was generated. The technique which superimposes a virtual object on the captured image which the part is imaging, and it displays on a display is disclosed.

まず、非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。 First, generation of place description information described in Non-Patent Document 1 will be briefly described. The place description information is information that can determine the three-dimensional spatial position of the imaging unit and the imaging direction by the imaging unit from the image captured by the imaging unit. When the user of the terminal device starts acquisition of place description information, the imaging position and imaging direction are changed while capturing an image by the imaging unit. The terminal device determines the imaging position and imaging direction by the imaging unit based on the acceleration information and the angular velocity information measured by the acceleration sensor and the gyro sensor, using the position of the imaging unit at the start as the origin during acquisition of place description information. Keep doing. In addition, the terminal device obtains a feature point in an image captured by the imaging unit. At this time, the terminal device determines the imaging position and imaging direction in the three-dimensional space, and the position of the same feature point in the image, that is, the screen coordinates of the feature point. Thus, the terminal device generates place description information indicating at which position in the image captured by the imaging unit each feature point is visible at each imaging position and each imaging direction in the three-dimensional space. Therefore, the terminal device can determine the imaging position and imaging direction of the imaging unit at that time by comparing the place description information already generated and the feature points of the image captured by the imaging unit. The origin of the three-dimensional space is the position when the place description information is started. In addition, the terminal device determines the imaging position and the imaging direction by comparing the location description information already stored and the feature points of the image captured by the imaging unit, and at the same time, the image captured by the imaging unit It also updates the already stored location description information based on the feature points.

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [search January 10, 2017], Internet, <URL: https: // get. google. com / tango />

非特許文献１に記載の技術により各ユーザは、それぞれ独自の仮想物体を端末装置のディスプレイに表示することができる。しかしながら、各ユーザが、その端末装置に独自の仮想物体を表示できるのみで、あるユーザが、当該ユーザの第１端末装置に表示している第１仮想物体と共に、他のユーザが、当該他のユーザの第２端末装置に表示している第２仮想物体を第１端末装置に表示することはできない。 The technology described in Non-Patent Document 1 allows each user to display their own virtual objects on the display of the terminal device. However, only if each user can display his / her own virtual object on that terminal device, another user, along with the first virtual object being displayed on the first terminal device of that user, can be said to the other user. The second virtual object displayed on the second terminal device of the user can not be displayed on the first terminal device.

本発明は、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示できる仕組みを提供するものである。 The present invention provides a mechanism that can also display virtual objects that other terminal devices display on the display of the terminal device.

本発明の一態様によると、第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置と、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置と、前記第１端末装置及び前記第２端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、を含むシステムであって、前記第２端末装置は、前記第２端末装置の実空間上の位置又は前記第２仮想物体を配置する前記実空間上の位置である第２位置を示す第２位置情報と、前記第２仮想物体をディスプレイに表示させるための第２仮想物体情報と、前記第２仮想物体を前記第２ディスプレイに表示しているか否かを示す表示状態情報と、を前記サーバ装置に送信し、前記サーバ装置は、前記第１端末装置から前記第１端末装置の前記実空間上の第１位置を示す第１位置情報を受信すると、前記第１位置と前記第２位置との距離が所定値以内であるかと、前記表示状態情報が前記第２仮想物体を前記第２ディスプレイに表示していることを示しているかを判定し、前記距離が前記所定値以内であり、かつ、前記表示状態情報が前記第２仮想物体を前記第２ディスプレイに表示していることを示していると、前記第２仮想物体情報及び前記第２位置情報を前記第１端末装置に送信することを特徴とする。 According to an aspect of the present invention, a first terminal device capable of superimposing a first virtual object on a first captured image captured by a first imaging unit and displaying the first virtual object on a first display; A second terminal device that can be superimposed on a second captured image captured by an imaging unit and displayed on a second display, and a server that can communicate with each of the first terminal device and the second terminal device via a wireless network And the second terminal apparatus indicates a second position which is a position of the second terminal apparatus in the real space or a position in the real space where the second virtual object is arranged. a second position information, and a second virtual object information for displaying said second virtual object on the display, the display state information of the second virtual object indicates whether or not displayed on the second display, the And transmitting to the server apparatus, the server apparatus receiving, from the first terminal apparatus, first position information indicating a first position of the first terminal apparatus on the real space, the first position and the second position information. It is determined whether the distance to the position is within a predetermined value and whether the display state information indicates that the second virtual object is displayed on the second display, and the distance is within the predetermined value. der is, and, when the display state information that shows that it displays the second virtual object in the second display, the second virtual object information and said second position information first terminal It is characterized by transmitting to a device.

本発明によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。 According to the present invention, it is possible to display a virtual object that another terminal device displays on the display on the display of the terminal device.

一実施形態によるシステム構成図。FIG. 1 is a system configuration diagram according to one embodiment. 一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。The figure which shows the position of the terminal device by one embodiment, and the arrangement position of a virtual object. 一実施形態によるシーケンス図。FIG. 5 is a sequence diagram according to one embodiment. 一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。The figure which shows the position of the terminal device by one embodiment, and the arrangement position of a virtual object. 一実施形態による端末装置のディスプレイに表示される画像を示す図。The figure which shows the image displayed on the display of the terminal device by one Embodiment. 一実施形態による端末装置によるディスプレイへの表示処理の説明図。Explanatory drawing of the display process to the display by the terminal device by one Embodiment. 一実施形態による端末装置によるディスプレイへの表示処理の説明図。Explanatory drawing of the display process to the display by the terminal device by one Embodiment. 一実施形態による端末装置の構成図。The block diagram of the terminal unit by one embodiment. 一実施形態による制御部のブロック図。FIG. 2 is a block diagram of a control unit according to one embodiment.

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The following embodiment is an exemplification, and the present invention is not limited to the contents of the embodiment. Further, in each of the following drawings, components that are not necessary for the description of the embodiment will be omitted from the drawings.

図１は、本実施形態によるシステムの構成図である。端末装置１０及び２０は、例えば、スマートフォンやタブレット等の無線通信機能を有する携帯型の通信装置であり、ネットワーク５０を介してサーバ装置６０と通信することができる。ネットワーク５０は、所謂、移動通信ネットワークや無線ＬＡＮ等の無線ネットワークを含み、さらには、インターネット等の広域ネットワークを含むことができる。端末装置１０は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。第１場所記述情報は、端末装置１０が非特許文献１に記載の技術により生成した場所記述情報である。ただし、その座標系は、緯度、経度及び高度により示される座標系（以後、実座標系と呼ぶ。）となっている。これは、端末装置１０が第１場所記述情報の取得を開始したときの位置及び方向を、それぞれ、そのときに端末装置１０が測位システムにより取得している端末装置１０の実空間位置（実座標系での位置）、及び、地磁気センサにより取得している方位とすることで行うことができる。第１仮想物体情報は、第１仮想物体を示す情報、つまり、第１仮想物体をディスプレイに表示するための情報である。第１仮想物体情報は、２次元の画像を示す情報であっても、第１仮想物体の３次元モデルを示す情報であっても良い。さらに、第１仮想物体の動きを記述するモーション情報を含むものとすることもできる。さらに、第１仮想物体の大きさを示す情報を含むものとすることができる。また、第１配置情報は、第１仮想物体の配置位置を特定するための情報であり、例えば、端末装置１０の実空間位置を基準とする、相対位置（例えば、相対距離及び相対方向）により示される。端末装置２０が保持する第２場所記述情報と、第２仮想物体を示す第２仮想物体情報と、第２仮想物体の配置位置を特定する第２配置情報についても同様である。 FIG. 1 is a block diagram of a system according to the present embodiment. The terminal devices 10 and 20 are, for example, portable communication devices having a wireless communication function, such as a smartphone and a tablet, and can communicate with the server device 60 via the network 50. The network 50 includes a so-called mobile communication network and a wireless network such as a wireless LAN, and can further include a wide area network such as the Internet. The terminal device 10 holds first place description information, first virtual object information, and first arrangement information. The first place description information is place description information generated by the terminal device 10 according to the technique described in Non-Patent Document 1. However, the coordinate system is a coordinate system (hereinafter referred to as a real coordinate system) indicated by latitude, longitude and altitude. This is the actual space position (the actual coordinates of the terminal device 10 that the terminal device 10 has acquired by the positioning system at that time, the position and the direction when the terminal device 10 starts acquiring the first place description information This can be performed by setting the position in the system) and the direction acquired by the geomagnetic sensor. The first virtual object information is information indicating a first virtual object, that is, information for displaying the first virtual object on a display. The first virtual object information may be information indicating a two-dimensional image or information indicating a three-dimensional model of the first virtual object. Furthermore, motion information that describes the motion of the first virtual object may be included. Furthermore, information indicating the size of the first virtual object may be included. In addition, the first arrangement information is information for specifying the arrangement position of the first virtual object, and for example, relative position (for example, relative distance and relative direction) with reference to the real space position of the terminal device 10 Indicated. The same applies to the second place description information held by the terminal device 20, the second virtual object information indicating the second virtual object, and the second arrangement information specifying the arrangement position of the second virtual object.

ここで、図２に示す様に、端末装置１０が、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様に、そのディスプレイに表示している状態を考える。なお、図２の線５１は、端末装置１０が撮像部により撮像している範囲を示し、線５２は、端末装置２０が撮像部により撮像している範囲を示している。端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき、そのときの撮像位置及び撮像方向を判定できる。また、端末装置１０は、撮像部の光学特性に基づき、線５１で示す範囲と、線５１で示す範囲内の実空間位置とスクリーン座標系での位置（撮像部が撮像している画像の画素位置）との対応関係を判定できる。また、端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき判定した撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定できる。よって、端末装置１０は、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示することができる。なお、端末装置１０は、撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定すると、その撮像位置及び撮像方向を変化させても位置３１は変化させない。つまり、第１配置情報は、第１仮想物体の初期配置位置を決める情報である。なお、第１配置情報を、第１仮想物体の配置位置を実座標で示す情報とすることもできる。端末装置２０についても同様である。従来技術では、このように、端末装置１０が、位置３１に第１仮想物体が存在する様にディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様にディスプレイに表示することはできるが、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することができない。本発明は、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することを可能にする。 Here, as shown in FIG. 2, the terminal device 10 displays the first virtual object at the position 31 so that the first virtual object is present, and the terminal device 20 displays the second virtual object at the position 32. Let's consider the state displayed on the display. Line 51 in FIG. 2 indicates the range in which the terminal device 10 is imaging by the imaging unit, and line 52 indicates the range in which the terminal device 20 is imaging by the imaging unit. The terminal device 10 can determine the imaging position and the imaging direction at that time based on the first place description information and the image captured by the imaging unit. In addition, the terminal device 10 determines the range indicated by the line 51, the real space position within the range indicated by the line 51, and the position in the screen coordinate system (the pixels of the image captured by the imaging unit) based on the optical characteristics of the imaging unit. Correspondence with the position) can be determined. Further, the terminal device 10 can specify the position 31 based on the imaging position and the imaging direction determined based on the first place description information and the image captured by the imaging unit and the first arrangement information. Therefore, the terminal device 10 can display the first virtual object at the position 31 on the display thereof. When the terminal device 10 specifies the position 31 based on the imaging position and the imaging direction and the first arrangement information, the position 31 does not change even if the imaging position and the imaging direction are changed. That is, the first arrangement information is information for determining the initial arrangement position of the first virtual object. Note that the first arrangement information may be information indicating the arrangement position of the first virtual object in actual coordinates. The same applies to the terminal device 20. In the prior art, as described above, the terminal device 10 displays on the display so that the first virtual object exists at the position 31, and the terminal device 20 displays on the display such that the second virtual object exists at the position 32. However, the terminal device 10 can not display the first virtual object and the second virtual object on its display. The present invention enables the terminal device 10 to display the first virtual object and the second virtual object on its display.

図３は、本実施形態によるシステムにおいて送受信される信号のシーケンス図である。Ｓ１で、端末装置２０は、第２仮想物体の実空間位置を示す第２位置情報と、第２仮想物体情報をサーバ装置６０に送信する。第２位置情報は、図２の位置３２を特定する情報であり、位置３２の実空間位置、つまり、実座標系における位置３２の座標を示す情報とすることができる。或いは、第２位置情報は、端末装置２０の実空間位置と、当該実空間位置から位置３２までの距離及び方向（方位）とを含む情報とすることができる。端末装置２０は、例えば、第２場所記述情報により求めた撮像画像の撮像位置及び撮像方向と、第２配置情報とにより第２位置情報を求めることができる。サーバ装置６０は、Ｓ２で、第２位置情報と、第２仮想物体情報を保存する。Ｓ３で、端末装置１０は、例えば、第１場所記述情報により取得した端末装置１０の（撮像部の）実空間位置を示す第１位置情報をサーバ装置６０に送信すると、サーバ装置６０は、Ｓ４で、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離が所定値以内であるか否かを判定する。そして、第１位置と第２位置との距離が所定値以内であると、サーバ装置６０は、Ｓ５で、端末装置１０に第２位置情報と、第２仮想物体情報を送信する。 FIG. 3 is a sequence diagram of signals transmitted and received in the system according to the present embodiment. In S <b> 1, the terminal device 20 transmits, to the server device 60, second position information indicating the real space position of the second virtual object and the second virtual object information. The second position information is information for specifying the position 32 in FIG. 2 and can be information indicating the real space position of the position 32, that is, the coordinates of the position 32 in the real coordinate system. Alternatively, the second position information can be information including the real space position of the terminal device 20 and the distance and direction (orientation) from the real space position to the position 32. The terminal device 20 can obtain second position information, for example, from the imaging position and imaging direction of the captured image obtained by the second place description information and the second arrangement information. The server device 60 stores the second position information and the second virtual object information at S2. When the terminal device 10 transmits, to the server device 60, the first position information indicating the real space position (of the imaging unit) of the terminal device 10 acquired by the first place description information in S3, for example, the server device 60 performs S4. Then, it is determined whether the distance between the first position indicated by the first position information and the second position indicated by the second position information is within a predetermined value. Then, if the distance between the first position and the second position is within the predetermined value, the server device 60 transmits the second position information and the second virtual object information to the terminal device 10 in S5.

なお、Ｓ４で、第１位置情報が示す第１位置との距離が所定値以内である第２位置情報が存在しない場合、端末装置１０はＳ５で情報を受信しない。このため、例えば、端末装置１０は繰り返し第１位置情報をサーバ装置６０に送信することができる。この場合、サーバ装置６０は、定期的にＳ４で、第１位置との距離が所定値以内の第２位置があるかを判定する。また、サーバ装置６０は、第１位置が変更されると、Ｓ４での判定処理を行う構成とすることができる。また、端末装置１０は、第１位置が所定値以上変動すると、サーバ装置６０に第１位置情報を送信する構成とすることもできる。さらに、本実施形態は、１つの端末装置２０を例にしているが、端末装置２０は複数の場合もあり得る。この場合、サーバ装置６０は、Ｓ５である端末装置２０の第２位置情報及び第２仮想物体情報を端末装置１０に送信すると、その直前のＳ３で受信した第１位置情報が示す実空間位置を基準位置として保存しておく。そして、端末装置１０がサーバ装置６０に繰り返し送信する第１位置情報により示される第１位置が基準位置から所定距離以上離れると、サーバ装置６０は、当該第１位置との距離が所定値以内である第２位置情報が存在するかをＳ４で判定する構成とすることもできる。 If there is no second position information whose distance from the first position indicated by the first position information is within a predetermined value in S4, the terminal device 10 does not receive the information in S5. Therefore, for example, the terminal device 10 can repeatedly transmit the first position information to the server device 60. In this case, the server device 60 periodically determines in S4 whether or not there is a second position within a predetermined distance from the first position. In addition, the server device 60 can be configured to perform the determination process in S4 when the first position is changed. The terminal device 10 can also be configured to transmit the first position information to the server device 60 when the first position changes by a predetermined value or more. Furthermore, although this embodiment takes one terminal device 20 as an example, there may be a plurality of terminal devices 20. In this case, when the server device 60 transmits the second position information of the terminal device 20 and the second virtual object information of S5 to the terminal device 10, the real space position indicated by the first position information received in S3 immediately before that is Save as a reference position. Then, when the first position indicated by the first position information repeatedly transmitted to the server device 60 by the terminal device 10 is separated from the reference position by a predetermined distance or more, the server device 60 has a distance to the first position within a predetermined value. It may also be configured to determine in S4 whether certain second position information exists.

さらに、端末装置１０が、サーバ装置６０を介して第２位置情報及び第２仮想物体情報を取得できる端末装置２０を限定することもできる。たとえば、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存する。同様に、端末装置１０は、Ｓ３でグループを特定する識別情報を合わせてサーバ装置６０に送信する。そして、サーバ装置６０は、保存している第２位置情報及び第２仮想物体情報に対応する識別情報と同じ識別情報に対応する第１位置情報を受信すると、Ｓ４で、同じ識別情報、つまり、同じグループに属する端末装置１０と端末装置２０の第１位置と第２位置とを比較する。この構成により、端末装置２０は、その第２仮想物体を表示することができる端末装置１０を制限することができる。同様に、端末装置１０は、周囲にいる総ての端末装置２０の第２仮想物体がそのディスプレイに表示されることを防ぐことができる。 Furthermore, the terminal device 20 can also limit the terminal device 20 that can acquire the second position information and the second virtual object information via the server device 60. For example, the terminal device 20 combines the identification information for specifying a group in S1 and transmits the identification information to the server device 60, and the server device 60 also stores the identification information in S2. Similarly, the terminal device 10 transmits identification information for specifying a group in S3 to the server device 60 together. Then, when the server device 60 receives the first position information corresponding to the same identification information as the stored second position information and the identification information corresponding to the second virtual object information, the same identification information, that is, The first position and the second position of the terminal device 10 and the terminal device 20 belonging to the same group are compared. With this configuration, the terminal device 20 can limit the terminal device 10 that can display the second virtual object. Similarly, the terminal device 10 can prevent the second virtual objects of all the terminal devices 20 in the vicinity from being displayed on the display.

また、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存するが、端末装置１０は、Ｓ３でグループを特定する識別情報を送信しない構成とすることもできる。この場合、サーバ装置６０は、Ｓ４で、グループに拘らず第１位置と第２位置との距離を判定するが、端末装置１０には、第２位置情報と第２仮想物体情報に加えて識別情報も送信する。これにより、端末装置１０は、識別情報に基づきディスプレイに表示する第２仮想物体を選択することができる。このため、例えば、端末装置１０のユーザは、ディスプレイに表示する第２仮想物体の識別情報を選択する。なお、グループを特定する識別子として、例えば、同じグループに属する端末装置の電話番号を列挙したものを使用することができる。或いは、グループを特定する識別子として、同じグループに属する端末装置のユーザ間で決めた任意の値を使用することができる。さらには、グループを特定する識別子として、第１仮想物体と第２仮想物体の共通性、例えば、第１仮想物体と第２仮想物体がそれぞれ漫画等の登場人物である場合、当該漫画の題名を示す情報を使用することができる。さらに、グループを特定する識別子として、ユーザの出身地や国籍等の情報を使用することができる。 In addition, the terminal device 20 transmits the identification information for specifying a group together in S1 to the server device 60, and the server device 60 also stores the identification information in S2, but the terminal device 10 stores the group in S3. The identification information to be identified may not be transmitted. In this case, the server device 60 determines the distance between the first position and the second position regardless of the group in S4, but the terminal device 10 identifies in addition to the second position information and the second virtual object information It also sends information. Thereby, the terminal device 10 can select the second virtual object to be displayed on the display based on the identification information. Therefore, for example, the user of the terminal device 10 selects the identification information of the second virtual object to be displayed on the display. As an identifier for specifying a group, for example, a list of telephone numbers of terminals belonging to the same group can be used. Alternatively, an arbitrary value determined between users of terminals belonging to the same group can be used as an identifier for specifying the group. Furthermore, as an identifier for identifying a group, commonality between the first virtual object and the second virtual object, for example, when the first virtual object and the second virtual object are characters such as cartoons, respectively, the title of the cartoon The information shown can be used. Furthermore, information such as the user's birthplace or nationality can be used as an identifier for identifying a group.

図３の処理により、端末装置１０は、第２仮想物体をディスプレイに表示するために必要な第２仮想物体情報と、第２仮想物体の配置位置を示す第２位置情報を取得し、これにより、第１仮想物体に加えて、第２仮想物体が第２位置に存在しているかのように、ディスプレイに表示することができる。図４は、端末装置１０が、位置３１に第１仮想物体が存在し、第２位置情報で示される位置３２に第１仮想物体が存在している様にディスプレイに表示していることを概念的に説明する図である。また、図５は、端末装置１０のディスプレイに表示されている画像の説明図である。なお、実際には、端末装置１０の撮像部が撮像している撮像画像も表示されるが、図の簡略化のため、図５では省略している。図５の右側が第１仮想物体であり、図５の左側が第２仮想物体である。例えば、第２仮想物体情報が、第２仮想物体の大きさを示す情報を含む場合、当該大きさを示す情報と、第２仮想物体までの距離に基づき、第２仮想物体の大きさを反映してディスプレイに表示することができる。 Through the process of FIG. 3, the terminal device 10 acquires second virtual object information necessary for displaying the second virtual object on the display and second position information indicating the arrangement position of the second virtual object, thereby , In addition to the first virtual object, it may be displayed on the display as if a second virtual object is present at the second position. FIG. 4 illustrates that the terminal device 10 displays on the display that the first virtual object exists at the position 31 and the first virtual object exists at the position 32 indicated by the second position information. It is a figure explaining it. Moreover, FIG. 5 is explanatory drawing of the image currently displayed on the display of the terminal device 10. As shown in FIG. In addition, although the captured image which the imaging part of the terminal device 10 is imaging in fact is also displayed, it is abbreviate | omitting in FIG. 5 for the simplification of a figure. The right side of FIG. 5 is a first virtual object, and the left side of FIG. 5 is a second virtual object. For example, when the second virtual object information includes information indicating the size of the second virtual object, the size of the second virtual object is reflected based on the information indicating the size and the distance to the second virtual object. Can be displayed on the display.

しかしながら、端末装置２０が第２位置情報の判定に使用する第２場所記述情報の座標系は、端末装置２０がＧＰＳ等の測位システムにより取得した位置情報に基づくものであり誤差が含まれている。端末装置１０が判定する第１位置情報についても同様である。つまり、端末装置１０と端末装置２０それぞれの場所記述情報の座標系は、共に、実座標系に変換にされてはいるが、この変換に使用する測位システムの誤差により、その座標系で示される位置は完全には一致しない。したがって、端末装置１０に対する実際の第２位置が図６の位置３２であるとしても、端末装置１０の座標系において第２位置が位置３３の様になることが生じ得る。 However, the coordinate system of the second place description information used by the terminal device 20 to determine the second position information is based on the position information acquired by the terminal device 20 using a positioning system such as GPS and includes an error. . The same applies to the first position information determined by the terminal device 10. That is, although both coordinate systems of the location description information of the terminal device 10 and the terminal device 20 are converted to the real coordinate system, they are indicated in the coordinate system due to the error of the positioning system used for this conversion. The positions do not match perfectly. Therefore, even if the actual second position with respect to the terminal device 10 is the position 32 in FIG. 6, it may occur that the second position becomes like the position 33 in the coordinate system of the terminal device 10.

図６において、位置３３は、端末装置１０の撮像部による撮影範囲内であり、よって、端末装置１０が撮像する撮像画像内に含まれる位置である。しかしながら、位置３３と端末装置１０との距離はかなり離れている。この場合においても、端末装置１０は、位置３３に第２仮想物体があるものとしてディスプレイに表示しても良いが、第２仮想物体が小さくなりすぎる。このため、例えば、端末装置１０は、自身の第１位置と取得した第２位置との距離が閾値より大きいと、第２仮想物体を配置する第３位置を、第２位置から変更することができる。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。さらに、このとき、第３位置を、第１位置と第２位置とを結ぶ線５３上の位置から選択する構成とすることができる。図６は、端末装置１０の位置である第１位置と、第２仮想物体の位置として取得した第２位置（位置３３）とを結ぶ線５３上にあり、かつ、第１位置との距離が閾値以内である位置３４を第３位置として選択した状態を示している。この第３位置に第２仮想物体が存在する様に端末装置１０がディスプレイに第２仮想物体を表示することで、測位システムでの誤差等に基づく座標系のずれに拘らず、第２仮想物体を適切な大きさでディスプレイに表示することができる。 In FIG. 6, the position 33 is within the imaging range of the imaging unit of the terminal device 10, and thus is a position included in the captured image captured by the terminal device 10. However, the distance between the position 33 and the terminal device 10 is quite large. Also in this case, the terminal device 10 may display on the display that the second virtual object is present at the position 33, but the second virtual object becomes too small. Therefore, for example, when the distance between the first position of the terminal device 10 and the acquired second position is larger than the threshold, the terminal device 10 may change the third position to arrange the second virtual object from the second position. it can. The third position may be within the imaging range of the imaging unit of the terminal device 10 and may be a distance within a threshold from the first position. Furthermore, at this time, the third position can be selected from the position on the line 53 connecting the first position and the second position. 6 is on a line 53 connecting the first position, which is the position of the terminal device 10, and the second position (position 33) acquired as the position of the second virtual object, and the distance from the first position is A position 34 within the threshold is selected as the third position. Since the terminal device 10 displays the second virtual object on the display so that the second virtual object exists at the third position, the second virtual object is displayed regardless of the deviation of the coordinate system based on an error or the like in the positioning system. Can be displayed on the display in an appropriate size.

なお、図７に示す様に、端末装置１０が取得する第２位置が、位置３３の様に、端末装置１０の撮像部による撮影範囲外である場合もある。この場合も、端末装置１０は、第２仮想物体を配置する第３位置を決定する。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。 As shown in FIG. 7, the second position acquired by the terminal device 10 may be out of the imaging range of the imaging unit of the terminal device 10 as the position 33 is. Also in this case, the terminal device 10 determines a third position where the second virtual object is to be arranged. The third position may be within the imaging range of the imaging unit of the terminal device 10 and may be a distance within a threshold from the first position.

なお、本実施形態では、端末装置２０は、第２仮想物体を表示している位置を第２位置としてサーバ装置６０に送信した。しかしながら、上述した様に、測位システムで取得できる位置には誤差があるため、第２仮想物体を表示している位置に代えて、端末装置２０の実空間位置を第２位置としてサーバ装置６０に送信する構成とすることもできる。また、本実施形態において、端末装置１０は、第１場所記述情報と撮像画像に基づき自装置の位置を判定し、判定した位置を第１位置情報としてサーバ装置６０に送信していた。しかしながら、ＧＰＳ等の測位システムで取得した位置情報を第１位置情報としてサーバ装置６０に送信する構成であっても良い。端末装置２０が、自装置の位置を第２位置情報として送信する場合も同様である。 In the present embodiment, the terminal device 20 transmits the position displaying the second virtual object to the server device 60 as the second position. However, as described above, since there is an error in the position that can be acquired by the positioning system, the server device 60 takes the real space position of the terminal device 20 as the second position instead of the position displaying the second virtual object. It can also be configured to transmit. Further, in the present embodiment, the terminal device 10 determines the position of the own device based on the first place description information and the captured image, and transmits the determined position to the server device 60 as the first position information. However, the configuration may be such that the position information acquired by the positioning system such as GPS is transmitted to the server device 60 as the first position information. The same applies to the case where the terminal device 20 transmits the position of the own device as the second position information.

また、端末装置２０は、図３のＳ１で、サーバ装置に第２位置情報と第２仮想物体情報を送信するが、これは、端末装置２０がディスプレイに第２仮想物体を表示しているときに行う構成とすることができる。また、端末装置２０は、第２位置情報及び第２仮想物体情報と共に、或いは、第２位置情報及び第２仮想物体情報とは別に、第２仮想物体をディスプレイに表示しているか否かを示す表示状態情報をサーバ装置６０に送信することもできる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定値以内であり、かつ、表示状態情報が、第２仮想物体をディスプレイに表示していると示している場合に、第２位置情報と、第２仮想物体情報を端末装置１０に送信する構成とすることもできる。また、端末装置２０は、表示状態情報を繰り返しサーバ装置６０に送信することができる。サーバ装置６０は、表示状態情報により、端末装置２０が第２仮想物体をディスプレイに表示している状態から、表示していない状態に変化すると、端末装置１０に、端末装置２０が第２仮想物体をディスプレイに表示していないことを通知する。そして、端末装置１０は、端末装置２０が第２仮想物体をディスプレイに表示していないとの通知を受けると、第２仮想物体のディスプレイへの表示を停止することができる。さらに、端末装置１０及び２０は、繰り返しサーバ装置６０に第１位置情報及び第２位置情報をそれぞれ送信し、サーバ装置６０は、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離を判定する構成とすることができる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定の距離を超えると、端末装置１０にその旨を通知し、端末装置１０は、第１位置と第２位置との距離が所定の距離を超えたとの通知をサーバ装置６０から受信すると、第２仮想物体のディスプレイへの表示を停止、或いは、第２仮想物体情報及び第２位置情報を削除することができる。 Further, the terminal device 20 transmits the second position information and the second virtual object information to the server device in S1 of FIG. 3 when the terminal device 20 displays the second virtual object on the display. Can be configured to Further, the terminal device 20 indicates whether or not the second virtual object is displayed on the display together with the second position information and the second virtual object information, or separately from the second position information and the second virtual object information. The display state information can also be transmitted to the server device 60. In this case, in the case where the distance between the first position and the second position is within the predetermined value and the display state information indicates that the second virtual object is displayed on the display, the server device 60 The second position information and the second virtual object information may be transmitted to the terminal device 10. Also, the terminal device 20 can repeatedly transmit the display state information to the server device 60. When the server device 60 changes from the state where the terminal device 20 is displaying the second virtual object on the display to the state where it is not displaying according to the display state information, the terminal device 20 receives the second virtual object To notify that it is not displayed on the display. And the terminal device 10 can stop the display on the display of a 2nd virtual object, if the notification that the terminal device 20 is not displaying the 2nd virtual object on a display is received. Furthermore, the terminal devices 10 and 20 repeatedly transmit the first position information and the second position information to the server device 60, respectively, and the server device 60 transmits the first position indicated by the first position information and the second position information indicated by the second position information. The distance to the two positions can be determined. In this case, when the distance between the first position and the second position exceeds a predetermined distance, the server device 60 notifies the terminal device 10 to that effect, and the terminal device 10 transmits the first position and the second position. When the notification that the distance has exceeded the predetermined distance is received from the server device 60, the display of the second virtual object on the display can be stopped, or the second virtual object information and the second position information can be deleted.

また、本実施形態において、端末装置１０は、第２仮想物体の配置位置である第３位置を選択する。ここで、第３位置は、サーバ装置６０から受信した第２位置情報が示す第２位置であるか、第２位置に基づき端末装置１０が第２仮想物体の配置位置として選択した位置である。一方、端末装置１０は、端末装置１０の位置と、第１配置情報に基づき、第１仮想物体を配置する第４位置を決定する。端末装置１０は、第４位置に第１仮想物体が存在し、第３位置に第２仮想物体が存在しているかのように、撮像画像に第１仮想物体及び第２仮想物体を重畳させてディスプレイに表示する。ここで、第３位置と第４位置が近接している場合、第１仮想物体と第２仮想物体が部分的に同じ空間を占有する様な状態、つまり、干渉が生じ得る。この場合、端末装置１０は、第１仮想物体と第２仮想物体が干渉しない様に、第３位置又は第４位置を変更することができる。 Further, in the present embodiment, the terminal device 10 selects the third position, which is the arrangement position of the second virtual object. Here, the third position is a second position indicated by the second position information received from the server device 60, or a position selected by the terminal device 10 as the arrangement position of the second virtual object based on the second position. On the other hand, the terminal device 10 determines a fourth position at which the first virtual object is to be arranged, based on the position of the terminal device 10 and the first arrangement information. The terminal device 10 superimposes the first virtual object and the second virtual object on the captured image as if the first virtual object exists at the fourth position and the second virtual object exists at the third position. Display on the display. Here, when the third position and the fourth position are close to each other, a state in which the first virtual object and the second virtual object partially occupy the same space, that is, interference may occur. In this case, the terminal device 10 can change the third position or the fourth position so that the first virtual object and the second virtual object do not interfere with each other.

＜端末装置の構成＞
図８は、本実施形態による端末装置１０の構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を取得する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、ネットワーク５０を介する通信の通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。 <Configuration of Terminal Device>
FIG. 8 is a block diagram of the terminal device 10 according to the present embodiment. The terminal device 10 is, for example, a portable communication device such as a smartphone. The speaker 101 converts an audio signal output from the control unit 100 into an audio. The microphone 102 converts voice into a voice signal and outputs the voice signal to the control unit 100. The imaging unit 103 has a lens and a CCD sensor, acquires image information, and outputs the image information to the control unit 100. The GPS processing unit 104 receives a signal from a GPS satellite, and outputs positional information including latitude, longitude, and altitude to the control unit 100 based on the received signal. Note that position information may be acquired based on signals from satellites of other positioning systems, such as quasi-zenith satellites, instead of GPS satellites. In the present embodiment, the display 105 is a touch-sensitive display, and in addition to presenting information to the user, it also functions as an input unit for user operation. If the display is not a touch sensitive display, an input unit is provided separately. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result to the control unit 100 as depth information. The communication unit 107 performs communication processing of communication via the network 50. The geomagnetic sensor 108 detects geomagnetism and outputs to the control unit 100 azimuth information indicating the current azimuth of the reference direction of the terminal. The acceleration sensor 109 detects an acceleration and outputs acceleration information to the control unit 100. The gyro sensor 110 detects angular velocity and outputs angular velocity information to the control unit 100.

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。 The control unit 100 is a control unit of the entire terminal device, and includes one or more processors and a memory unit. The memory unit includes a RAM that the processor uses for temporary data storage, and a flash memory that stores an operating system and applications that the processor executes and data that should be held even if the power is turned off. .

図９は、制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、加速度センサ１０９が検出する加速度情報と、ジャイロセンサ１１０が検出する角速度情報と、撮像部１０３が撮像する画像の画像情報とを使用して非特許文献１に記載された技術に基づき第１場所記述情報を生成する。なお、上述した様に、本実施形態では、ＧＰＳ処理部１０４が取得する位置情報及び地磁気センサ１０８が検出する方位情報を使用することで、撮像位置及び撮像方向として実座標系での座標と方位が得られる第１場所記述情報を生成する。そして、場所記述情報生成部１００１は、生成した第１場所記述情報を情報保持部１００４に格納する。 FIG. 9 is a functional block diagram of the control unit 100. For example, the location description information generation unit 1001 is described in Non-Patent Document 1 using acceleration information detected by the acceleration sensor 109, angular velocity information detected by the gyro sensor 110, and image information of an image captured by the imaging unit 103. First place description information is generated based on the described technology. As described above, in the present embodiment, by using the position information acquired by the GPS processing unit 104 and the azimuth information detected by the geomagnetic sensor 108, the coordinates and the azimuth in the real coordinate system are used as the imaging position and imaging direction. To generate the first place description information from which is obtained. Then, the place description information generation unit 1001 stores the generated first place description information in the information holding unit 1004.

情報保持部１００４は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。なお、第１仮想物体情報と、第１配置情報は、例えば、端末装置１０が予めネットワーク５０を介して取得、或いは、外部記憶媒体を介して情報保持部１００４に予め格納したものである。表示処理部１００２は、撮像部１０３が撮像してディスプレイ１０５に表示している画像（以下、撮像画像と呼ぶ。）の特徴点と、第１場所記述情報に基づき、実空間における撮像部１０３の位置及び方向を判定する。なお、撮像部１０３の位置及び方向は、端末装置１０の位置及び方向でもある。また、表示処理部１００２は、第１配置情報と、判定した撮像部１０３の位置に基づき、第１仮想物体を表示する第４位置を判定し、第１仮想物体が第４位置に存在する様に第１仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、このとき深さ情報を、第１仮想物体を表示させる第４位置より端末装置１０側に他のオブジェクトが存在するか否か、つまり、オクルージョンが生じているか否の判定に使用する。また、表示処理部１００２は、第１場所記述情報に基づき判定した端末装置１０の位置を情報受信部１００３に通知する。 The information holding unit 1004 holds first place description information, first virtual object information, and first arrangement information. The first virtual object information and the first arrangement information are, for example, information obtained in advance by the terminal device 10 via the network 50 or stored in advance in the information holding unit 1004 via an external storage medium. The display processing unit 1002 is based on the feature points of an image captured by the imaging unit 103 and displayed on the display 105 (hereinafter referred to as a captured image) and the first place description information of the imaging unit 103 in real space. Determine position and direction. The position and the direction of the imaging unit 103 are also the position and the direction of the terminal device 10. In addition, the display processing unit 1002 determines the fourth position at which the first virtual object is displayed based on the first arrangement information and the determined position of the imaging unit 103, and the first virtual object is present at the fourth position. Control for superimposing the first virtual object on the captured image and displaying it on the display 105. At this time, the depth information is used to determine whether another object is present on the terminal device 10 side from the fourth position where the first virtual object is displayed, that is, it is determined whether or not occlusion occurs. Further, the display processing unit 1002 notifies the information receiving unit 1003 of the position of the terminal device 10 determined based on the first place description information.

情報受信部１００３は、表示処理部１００２から通知された端末装置１０の位置を第１位置情報として、通信部１０７を介してサーバ装置６０に送信し、その応答として第２位置情報と第２仮想物体情報をサーバ装置６０から取得する。第２位置情報と第２仮想物体情報をサーバ装置６０から取得すると、表示処理部１００２は、第２位置情報に基づき、第２仮想物体を表示する第３位置を上述した様に判定する。この場合、表示処理部１００２は、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあるように、第１仮想物体及び第２仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあると、第１仮想物体と第２仮想物体とが干渉する場合には、第３位置又は第４位置を補正して第１仮想物体と第２仮想物体とが干渉しないようにする。 The information receiving unit 1003 transmits the position of the terminal device 10 notified from the display processing unit 1002 as the first position information to the server device 60 via the communication unit 107, and as a response, the second position information and the second virtual information are transmitted. Object information is acquired from the server device 60. When the second position information and the second virtual object information are acquired from the server device 60, the display processing unit 1002 determines the third position at which the second virtual object is displayed based on the second position information as described above. In this case, the display processing unit 1002 superimposes the first virtual object and the second virtual object on the captured image so that the first virtual object is at the fourth position and the second virtual object is at the third position. The display control to display on 105 is performed. If the first virtual object and the second virtual object interfere with each other when the first virtual object is at the fourth position and the second virtual object is at the third position, the third position or the fourth position is used. The correction is performed so that the first virtual object and the second virtual object do not interfere with each other.

なお、上記実施形態では、端末装置２０がそのディスプレイに表示している第２仮想物体を端末装置１０でも表示させていたが、同時に、端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる構成とすることができる。つまり、端末装置１０と端末装置２０の構成は同様である。端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる場合、端末装置１０は、第１仮想物体情報と、第４位置を示す情報をサーバ装置６０に送信する。 In the above embodiment, the second virtual object displayed on the display by the terminal device 20 is also displayed on the terminal device 10, but at the same time the first virtual object displayed on the display by the terminal device 10 Can be displayed on the terminal device 20 as well. That is, the configurations of the terminal device 10 and the terminal device 20 are the same. When the first virtual object displayed on the display by the terminal device 10 is also displayed by the terminal device 20, the terminal device 10 transmits the first virtual object information and the information indicating the fourth position to the server device 60.

以上、本実施形態によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。 As mentioned above, according to this embodiment, the virtual object which another terminal device displays on a display can also be displayed on the display of a terminal device.

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The terminal device according to the present invention can be realized by a program that causes a computer to operate as the terminal device. These computer programs are stored in a computer readable storage medium or can be distributed via a network.

１０、２０：端末装置、６０：サーバ装置 10, 20: terminal device, 60: server device

Claims

A first terminal device capable of superimposing a first virtual object on a first captured image captured by a first imaging unit and displaying the superimposed image on a first display;
A second terminal device capable of causing the second virtual object to be superimposed on a second captured image captured by the second imaging means and displayed on the second display;
A server device capable of communicating with each of the first terminal device and the second terminal device via a wireless network;
A system that includes
A second position information indicating a second position, which is a position on the real space of the second terminal device or a position on the real space where the second virtual object is to be placed; Transmitting, to the server apparatus, second virtual object information for displaying an object on a display, and display state information indicating whether the second virtual object is displayed on the second display,
When the server device receives, from the first terminal device, first position information indicating a first position of the first terminal device in the real space, a distance between the first position and the second position is a predetermined value. It is determined whether the display state information indicates that the second virtual object is displayed on the second display or not, and the distance is within the predetermined value and the display state information A system in which the second virtual object information and the second position information are transmitted to the first terminal device when it is indicated that the second virtual object is displayed on the second display. .

A first terminal device capable of superimposing a first virtual object on a first captured image captured by a first imaging unit and displaying the superimposed image on a first display;
A second terminal device capable of causing the second virtual object to be superimposed on a second captured image captured by the second imaging means and displayed on the second display;
A server device capable of communicating with each of the first terminal device and the second terminal device via a wireless network;
A system that includes
The second terminal device is second position information indicating a second position in the real space where the second virtual object is arranged, and the second position is a position of the second terminal in the real space. A second virtual object for displaying the second virtual object on a display, the second position information indicated by the direction and the distance from the position of the second terminal device in the real space to the second position; Transmitting information and display state information indicating whether the second virtual object is displayed on the second display, to the server device;
When the server device receives, from the first terminal device, first position information indicating a first position of the first terminal device in the real space, a distance between the first position and the second position is a predetermined value. It is determined whether the display state information indicates that the second virtual object is displayed on the second display or not, and the distance is within the predetermined value and the display state information A system in which the second virtual object information and the second position information are transmitted to the first terminal device when it is indicated that the second virtual object is displayed on the second display. .

When the first terminal device receives the second virtual object information and the second position information from the server device, the first terminal device may receive a third on the real space included in the first captured image based on the second position information. A position is selected, the second virtual object is present at the third position, and the first virtual object is present at a fourth position on the real space included in the first captured image. The system according to claim 1 or 2, wherein the first virtual object and the second virtual object are superimposed on the first captured image and displayed on the first display.

The system according to claim 3, wherein the first terminal device selects the second position as the third position when the second position is included in the first captured image.

The first terminal apparatus determines that the second position is included in the first captured image, but the distance between the first position and the second position is equal to or greater than a threshold. The system according to claim 3, wherein a position at which the distance is within the threshold is selected as the third position.

The first terminal device is configured such that the second position is included in the first captured image, but the distance between the first position and the second position is equal to or greater than the threshold. The system according to claim 5, wherein the third position is selected from a position on a line connecting the second position.

When the second position is not included in the first captured image, the first terminal device selects the third position from a position where the distance to the first position is within a threshold. The system according to any one of claims 3 to 6.

The first terminal device determines the fourth position based on the first position, and displays the second virtual object displayed at the selected third position and the determined fourth position. The fourth position or the third position is corrected to a position where the first virtual object and the second virtual object do not interfere, when the first virtual object interferes. Or the system described in paragraph 1.