Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7645444B2 - DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM - Google Patents
[go: Go Back, main page]

JP7645444B2 - DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM - Google Patents

DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM Download PDF

Info

Publication number
JP7645444B2
JP7645444B2 JP2019138457A JP2019138457A JP7645444B2 JP 7645444 B2 JP7645444 B2 JP 7645444B2 JP 2019138457 A JP2019138457 A JP 2019138457A JP 2019138457 A JP2019138457 A JP 2019138457A JP 7645444 B2 JP7645444 B2 JP 7645444B2
Authority
JP
Japan
Prior art keywords
display
display control
pointer
head mounted
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019138457A
Other languages
Japanese (ja)
Other versions
JP2021022182A (en
Inventor
華奈 中野
真 金林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Priority to JP2019138457A priority Critical patent/JP7645444B2/en
Publication of JP2021022182A publication Critical patent/JP2021022182A/en
Application granted granted Critical
Publication of JP7645444B2 publication Critical patent/JP7645444B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ヘッドマウントディスプレイにおける表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システムに関する。 The present invention relates to a display control method, a display control device, a display control program, and a display control system for a head mounted display.

種々のヘッドマウントディスプレイシステムが提案されている。なお、本出願人は本願発明に関する文献公知発明を知らない。 Various head-mounted display systems have been proposed. The applicant is not aware of any publicly known inventions related to the present invention.

しかしながら、ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際に、必ずしもユーザにとって利便性がよいものではない。
本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際のユーザの利便性を向上させることを可能とする表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システムを提供することである。
However, when viewing a document having multiple pages using a head mounted display, it is not necessarily convenient for the user.
The present invention has been made in consideration of these problems, and an object of the present invention is to provide a display control method, a display control device, a display control program, and a display control system that enable improved user convenience when viewing documents having multiple pages using a head-mounted display.

本発明の一態様によれば、ヘッドマウントディスプレイにおける表示制御方法であって、ヘッドマウントディスプレイにおける表示制御方法であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1ステップと、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2ステップと、前記コントローラに対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3ステップと、を有する表示制御方法が提供される。 According to one aspect of the present invention, there is provided a display control method for a head-mounted display, the display control method having the following steps: a first step of displaying an object corresponding to a document having multiple pages, and a light beam and/or a pointer on the head-mounted display; a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller; and a third step of displaying a thumbnail of at least one page included in the document on the head-mounted display in response to a second user operation on the controller.

表示制御方法は、前記コントローラに対するユーザの第3操作に応じて、前記光線及び/または前記ポインタを所望のサムネイルに移動させる第4ステップと、前記コントローラに対するユーザの第4操作に応じて、前記所望のサムネイルに対応するページを前記ヘッドマウントディスプレイに表示させる第5のステップと、を更に有することが望ましい。前記第3ステップにおいて、前記オブジェクトの周りにサムネイルを表示させてもよい。この場合、前記オブジェクトの周りにサムネイルを表示させる際に、螺旋状に表示させてもよい。また前記第3ステップにおいて、前記オブジェクトの周りにサムネイルを表示させる際に、前記オブジェクトの背面から水平方向及び/または垂直方向に徐々にずらしつつ表示させてもよい。また前記第3ステップにおいて、前記オブジェクトの上方もしくは下方にサムネイルを表示させてもよい。また前記第3ステップにおいて、オブジェクトとは奥行き方向に異なる位置に複数のサムネイルを表示させてもよい。また前記第3ステップにおいて、前記オブジェクトとは奥行き方向に異なる位置で前記ヘッドマウントディスプレイの仮想空間上のユーザの位置を囲むようにサムネイルを表示させてもよい。この場合、前記オブジェクトとは奥行き方向に異なる位置で前記仮想空間上のユーザを囲むように表示される複数のサムネイルの列を、垂直方向に複数表示させてもよい。 It is preferable that the display control method further includes a fourth step of moving the light beam and/or the pointer to a desired thumbnail in response to a third operation of the user on the controller, and a fifth step of displaying a page corresponding to the desired thumbnail on the head-mounted display in response to a fourth operation of the user on the controller. In the third step, thumbnails may be displayed around the object. In this case, thumbnails may be displayed in a spiral shape when displayed around the object. In the third step, thumbnails may be displayed while gradually shifting from the back of the object in the horizontal and/or vertical directions. In the third step, thumbnails may be displayed above or below the object. In the third step, multiple thumbnails may be displayed at a position different from the object in the depth direction. In the third step, thumbnails may be displayed so as to surround the user's position in the virtual space of the head-mounted display at a position different from the object in the depth direction. In this case, multiple rows of thumbnails displayed so as to surround the user in the virtual space at a position different from the object in the depth direction may be displayed vertically.

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御プログラムであって、コンピュータに、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1ステップと、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2ステップと、前記コントローラに対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3ステップと、を実行させる表示制御プログラムが提供される。 According to another aspect of the present invention, there is provided a display control program for a head-mounted display, which causes a computer to execute a first step of displaying an object corresponding to a document having multiple pages, and a light beam and/or a pointer on the head-mounted display, a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller, and a third step of displaying a thumbnail of at least one page included in the document on the head-mounted display in response to a second user operation on the controller.

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御装置であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1手段と、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、前記コントローラに対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3手段と、を備える表示制御装置が提供される。 According to another aspect of the present invention, there is provided a display control device for a head mounted display, comprising: a first means for displaying an object corresponding to a document having multiple pages, a light beam and/or a pointer on the head mounted display; a second means for moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller; and a third means for displaying a thumbnail of at least one page included in the document on the head mounted display in response to a second user operation on the controller.

また、本発明の別の態様によれば、ヘッドマウントディスプレイと、コントローラと、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1手段と、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、前記コントローラに対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3手段と、を備える表示制御システムが提供される。 According to another aspect of the present invention, there is provided a display control system including a head-mounted display, a controller, an object corresponding to a document having multiple pages, a first means for displaying a light beam and/or a pointer on the head-mounted display, a second means for moving the light beam and/or the pointer to a desired object in response to a first user operation on the controller, and a third means for displaying a thumbnail of at least one page included in the document on the head-mounted display in response to a second user operation on the controller.

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御方法であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1ステップと、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2ステップと、前記コントローラに対するユーザの第2操作に応じて、前記ヘッドマウントディスプレイに表示された前記オブジェクトのページを遷移させる第3ステップと、を有する表示制御方法が提供される。 According to another aspect of the present invention, there is provided a display control method for a head-mounted display, the display control method including a first step of displaying an object corresponding to a document having multiple pages, a light beam and/or a pointer on the head-mounted display, a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller, and a third step of transitioning the page of the object displayed on the head-mounted display in response to a second user operation on the controller.

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御プログラムであって、コンピュータに、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1ステップと、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2ステップと、前記コントローラに対するユーザの第2操作に応じて、前記ヘッドマウントディスプレイに表示された前記オブジェクトのページを遷移させる第3ステップと、を実行させる表示制御プログラムが提供される。 According to another aspect of the present invention, there is provided a display control program for a head-mounted display, which causes a computer to execute a first step of displaying an object corresponding to a document having multiple pages, and a light beam and/or a pointer on the head-mounted display, a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller, and a third step of transitioning the page of the object displayed on the head-mounted display in response to a second user operation on the controller.

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御装置であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1手段と、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、前記コントローラに対するユーザの第2操作に応じて、前記ヘッドマウントディスプレイに表示された前記オブジェクトのページを遷移させる第3手段と、を備える表示制御装置が提供される。 According to another aspect of the present invention, there is provided a display control device for a head mounted display, comprising: a first means for displaying an object corresponding to a document having multiple pages, a light beam and/or a pointer on the head mounted display; a second means for moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller; and a third means for transitioning the page of the object displayed on the head mounted display in response to a second user operation on the controller.

また、本発明の別の態様によれば、ヘッドマウントディスプレイと、コントローラと、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1手段と、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、前記コントローラに対するユーザの第2操作に応じて、前記ヘッドマウントディスプレイに表示された前記オブジェクトのページを遷移させる第3手段と、を備える表示制御システムが提供される。 According to another aspect of the present invention, there is provided a display control system including a head-mounted display, a controller, an object corresponding to a document having multiple pages, a first means for displaying a light beam and/or a pointer on the head-mounted display, a second means for moving the light beam and/or the pointer to a desired object in response to a first operation of a user on the controller, and a third means for transitioning pages of the object displayed on the head-mounted display in response to a second operation of a user on the controller.

ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際のユーザの利便性を向上させることができる。 This can improve user convenience when viewing documents with multiple pages using a head-mounted display.

一実施形態に係る表示制御システムの概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of a display control system according to an embodiment. コントローラ2の具体例を示す図。FIG. 2 is a diagram showing a specific example of a controller 2. 実施例1の表示制御システムの動作を説明する図。4A to 4C are diagrams for explaining the operation of the display control system according to the first embodiment. 図3に引き続く、表示制御システムの動作を説明する図。4 is a diagram illustrating the operation of the display control system subsequent to FIG. 3; 図4に引き続く、表示制御システムの動作を説明する図。5 is a diagram illustrating the operation of the display control system subsequent to FIG. 4; 図5に引き続く、表示制御システムの動作を説明する図。6 is a diagram illustrating the operation of the display control system subsequent to FIG. 5 . 実施例2の表示制御システムの動作を説明する図。11A to 11C are diagrams for explaining the operation of a display control system according to a second embodiment. 実施例3の表示制御システムの動作を説明する図。11A to 11C are diagrams for explaining the operation of a display control system according to a third embodiment. 実施例4の表示制御システムの動作を説明する図。13A to 13C are diagrams for explaining the operation of a display control system according to a fourth embodiment. 実施例5の表示制御システムの動作を説明する図。13A to 13C are diagrams for explaining the operation of a display control system according to a fifth embodiment. 実施例6の仮想空間を斜め上から見た図。FIG. 23 is a diagram showing a virtual space according to a sixth embodiment as viewed from diagonally above. 実施例6の仮想空間を上から見た図。FIG. 23 is a top view of the virtual space of the sixth embodiment. 実施例7の仮想空間を斜め上から見た図。FIG. 23 is a diagram showing a virtual space according to the seventh embodiment as viewed from diagonally above. 実施例7の仮想空間を上から見た図。FIG. 23 is a top view of the virtual space of the seventh embodiment. 第1の実施形態に係る表示制御装置3の処理動作の一例を示すフローチャート。4 is a flowchart showing an example of a processing operation of the display control device 3 according to the first embodiment. 第2の実施形態に係る表示制御システムの動作を説明する図。10A to 10C are diagrams for explaining the operation of a display control system according to a second embodiment. 第2の実施形態に係る表示制御装置3の処理動作の一例を示すフローチャート。10 is a flowchart showing an example of a processing operation of a display control device 3 according to a second embodiment.

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。 The following describes in detail an embodiment of the present invention with reference to the drawings.

図1は、一実施形態に係る表示制御システムの概略構成を示すブロック図である。表示制御システムは、ヘッドマウントディスプレイ(HMD)1と、コントローラ2と、表示制御装置3とを備えている。ヘッドマウントディスプレイ1と表示制御装置3は(望ましくは無線接続により)通信可能であり、表示制御装置3とコントローラ2も通信可能となっている。 Fig. 1 is a block diagram showing a schematic configuration of a display control system according to one embodiment. The display control system includes a head mounted display (HMD) 1, a controller 2, and a display control device 3. The head mounted display 1 and the display control device 3 are capable of communicating with each other (preferably wirelessly), and the display control device 3 and the controller 2 are also capable of communicating with each other.

ヘッドマウントディスプレイ1はユーザの頭部に装着され、ユーザの両眼の視野を覆う。これにより、ユーザはヘッドマウントディスプレイ1に表示された映像を見ることになる。ヘッドマウントディスプレイ1には、静止画、動画、文書、ホームページその他任意のオブジェクト(電子ファイル)が表示される。本実施形態では一例として、ヘッドマウントディスプレイ1には、複数ページを有する資料に対応するオブジェクトが表示される。ここで資料には、静止画、動画、文書などが含まれる。表示態様に特に制限はなく、仮想平面の任意の位置にオブジェクトが表示される態様でもよいし、奥行きを持った仮想空間(仮想現実空間)の任意の位置にオブジェクトが表示される態様でもよい。 The head mounted display 1 is worn on the user's head and covers the field of view of both eyes of the user. This allows the user to view an image displayed on the head mounted display 1. Still images, videos, documents, homepages, and any other object (electronic file) are displayed on the head mounted display 1. In this embodiment, as an example, the head mounted display 1 displays an object corresponding to a document having multiple pages. Here, the document includes still images, videos, documents, and the like. There are no particular limitations on the display mode, and the object may be displayed at any position on a virtual plane, or may be displayed at any position in a virtual space (virtual reality space) with depth.

コントローラ2はユーザからの操作を受け付ける入力インターフェースである。図2にコントローラ2の具体例を示す。コントローラ2は、少なくとも1つの操作ボタン20を有し、コントローラ2の向きや動き(加速、回転等)を検出する種々のセンサ(不図示)を内蔵している。 The controller 2 is an input interface that accepts operations from the user. Figure 2 shows a specific example of the controller 2. The controller 2 has at least one operation button 20, and various sensors (not shown) are built in that detect the orientation and movement (acceleration, rotation, etc.) of the controller 2.

表示制御装置3は、コントローラ2に対するユーザ操作に応じて、ヘッドマウントディスプレイ1の制御を行う。表示制御装置3は少なくとも一つのオブジェクトを記憶装置(不図示)内に記憶しており、ユーザによって指定されたオブジェクトを記憶装置から読み出してヘッドマウントディスプレイ1に表示させてもよい。あるいは、表示制御装置3はインターネット接続機能を有し、ユーザによって指定されたホームページをヘッドマウントディスプレイ1に表示させてもよい。 The display control device 3 controls the head mounted display 1 in response to user operations on the controller 2. The display control device 3 stores at least one object in a storage device (not shown), and may read an object specified by the user from the storage device and display it on the head mounted display 1. Alternatively, the display control device 3 may have an Internet connection function and may display a homepage specified by the user on the head mounted display 1.

表示制御装置3は、専用端末であってもよいし、汎用パソコンであってもよい。また、表示制御装置3は複数の分散された装置から構成されてもよい。表示制御装置3の機能の一部または全部は、プロセッサが所定の表示制御プログラムを実行することによって実現されてもよいし、ハードウェアで実現されてもよい。 The display control device 3 may be a dedicated terminal or a general-purpose personal computer. The display control device 3 may also be composed of multiple distributed devices. Some or all of the functions of the display control device 3 may be realized by a processor executing a specified display control program, or may be realized by hardware.

<第1の実施形態>
まず、第1の実施形態におけるサムネイル表示について説明する。
<実施例1>
以下、図3~図6を用いて、実施例1の表示制御システムの動作を説明する。
First Embodiment
First, thumbnail display in the first embodiment will be described.
Example 1
The operation of the display control system according to the first embodiment will be described below with reference to FIGS.

図3に示すように、表示制御装置3は複数ページを有する資料に対応するオブジェクトを1または複数(図3の例では1つ)ヘッドマウントディスプレイ1に表示させる。ここでは一例としてオブジェクト10がその表紙が見える状態で表示される。図3に示すように、表示制御装置3は、ヘッドマウントディスプレイ1に表示される仮想空間において、実物のコントローラ2に対応する仮想コントローラ2vを表示させる。表示制御装置3は、この仮想コントローラ2vから光線LBが出射され、且つコントローラ2の向きに応じて光線LBの向きが変更するように、光線LBを表示させる。ここで光線LBはレーザとも呼ばれ、光線LBがオブジェクトに当たった点にポインタPが表示される。これにより、コントローラ2の動きに応じて光線LB及び/またはポインタPが移動する。なお、仮想コントローラ2vを表示させなくてもよい。 As shown in FIG. 3, the display control device 3 displays one or more objects (one in the example of FIG. 3) corresponding to a document having multiple pages on the head mounted display 1. Here, as an example, an object 10 is displayed with its cover visible. As shown in FIG. 3, the display control device 3 displays a virtual controller 2v corresponding to the actual controller 2 in the virtual space displayed on the head mounted display 1. The display control device 3 displays a light ray LB emitted from this virtual controller 2v, and changes the direction of the light ray LB according to the direction of the controller 2. Here, the light ray LB is also called a laser, and a pointer P is displayed at the point where the light ray LB hits the object. As a result, the light ray LB and/or the pointer P move according to the movement of the controller 2. It is not necessary to display the virtual controller 2v.

なお、表示制御装置3は、オブジェクト10の他にも、任意の画像などのオブジェクトをヘッドマウントディスプレイ1に表示させてもよい。 In addition to the object 10, the display control device 3 may also display any image or other object on the head-mounted display 1.

そして、表示制御装置3は、コントローラ2に対するユーザの第1操作に応じて、光線(レーザともいう)LBを移動させる。次に、図4に示すように、表示制御装置3は、コントローラ2に対するユーザの第2操作に応じて、資料に含まれる少なくとも一つのページのサムネイル11~18をヘッドマウントディスプレイ1に表示させる。この際に例えば、オブジェクト10の周りにサムネイル11~17を表示させる。サムネイル11~17は例えばそれぞれ1~7頁のサムネイルである。ここでのユーザの第2操作は、例えばオブジェクト10に光線(レーザともいう)LBもしくはポインタを合わせた状態でコントローラ2の操作ボタン20を押すことである。 Then, the display control device 3 moves the light beam (also called a laser) LB in response to the user's first operation on the controller 2. Next, as shown in FIG. 4, the display control device 3 displays thumbnails 11-18 of at least one page included in the material on the head mounted display 1 in response to the user's second operation on the controller 2. At this time, for example, thumbnails 11-17 are displayed around the object 10. The thumbnails 11-17 are, for example, thumbnails of pages 1-7, respectively. The user's second operation here is, for example, pressing the operation button 20 on the controller 2 while the light beam (also called a laser) LB or pointer is aligned with the object 10.

次に、コントローラ2に対するユーザの第3操作に応じて、光線(レーザともいう)LBを移動させ、図5に示すように、ポインタPをサムネイル17の上に移動させる。図6に示すように、表示制御装置3は、コントローラ2に対するユーザの第4操作に応じて、対象のサムネイル17に対応するページをヘッドマウントディスプレイ1に表示させる。ここでは、オブジェクト10のページがめくられて、サムネイル17に対応する7頁が表示される。ここでのユーザの第4操作は、例えば光線(レーザ)LBもしくはポインタを対象のサムネイル17に合わせた状態でコントローラ2の操作ボタン20を押すことである。 Next, in response to a third operation by the user on the controller 2, the light beam (also called a laser) LB is moved, and the pointer P is moved onto the thumbnail 17 as shown in FIG. 5. As shown in FIG. 6, the display control device 3 displays a page corresponding to the target thumbnail 17 on the head mounted display 1 in response to a fourth operation by the user on the controller 2. Here, the page of the object 10 is turned, and page 7 corresponding to the thumbnail 17 is displayed. The fourth operation by the user here is, for example, pressing the operation button 20 on the controller 2 with the light beam (laser) LB or the pointer aligned with the target thumbnail 17.

このように、ヘッドマウントディスプレイ1に複数ページを有する資料に対応するオブジェクト(資料オブジェクトともいう)が表示された場合、所望のオブジェクトにポインタを合わせた状態で操作ボタン20を押す(クリックともいう)ことにより、当該資料に含まれる少なくとも一つのページのサムネイルが表示される。その後、ポインタをサムネイル上に移動させて、もう一度、操作ボタン20を押すことで、資料のうち当該サムネイルに対応するページが表示される。 In this way, when an object (also called a document object) corresponding to a document having multiple pages is displayed on the head mounted display 1, a thumbnail of at least one page contained in the document is displayed by pressing (also called clicking) the operation button 20 while the pointer is positioned on the desired object. Then, by moving the pointer onto a thumbnail and pressing the operation button 20 again, the page of the document corresponding to that thumbnail is displayed.

表示制御装置3は、選択されたサムネイル17を、選択されていないサムネイル11~16、18、19とは異なる態様で表示するのが望ましい。図6の例では、選択されたサムネイル17をスポットで示している。 It is desirable for the display control device 3 to display the selected thumbnail 17 in a manner different from that of the unselected thumbnails 11 to 16, 18, and 19. In the example of FIG. 6, the selected thumbnail 17 is shown with a spot.

<実施例2>
続いてサムネイルの表示の態様が異なる実施例2の表示方法について説明する。図7に示すように、表示制御装置3は、オブジェクト29の背面から水平方向及び/または垂直方向に徐々にずらしつつサムネイル21~26を表示させる。ここでは、オブジェクト29の背面から垂直方向及び水平方向に徐々にずらしつつサムネイル21~26を表示させる。これにより、サムネイルがページ順に表示されるので、ユーザは所望のページのサムネイルを容易に選択することができる。
Example 2
Next, a display method of Example 2 in which the thumbnails are displayed in a different manner will be described. As shown in Fig. 7, the display control device 3 displays the thumbnails 21 to 26 while gradually shifting them in the horizontal and/or vertical directions from the back surface of the object 29. Here, the thumbnails 21 to 26 are displayed while gradually shifting them in the vertical and horizontal directions from the back surface of the object 29. This allows the thumbnails to be displayed in page order, so that the user can easily select the thumbnail of the desired page.

<実施例3>
続いてサムネイルの表示の態様が異なる実施例3の表示方法について説明する。図8に示すように、表示制御装置3は、オブジェクト30の周りにサムネイル31~39を表示させる際に、螺旋状に表示させる。これにより、サムネイルがページ順に表示され且つ奥行方向に配置されるほどページが進むもしくは戻るようにすることができるので、ユーザは所望のページのサムネイルを容易に選択することができる。
Example 3
Next, a display method of Example 3 in which the thumbnails are displayed in a different manner will be described. As shown in Fig. 8, when the display control device 3 displays the thumbnails 31 to 39 around the object 30, the display control device 3 displays them in a spiral shape. This allows the thumbnails to be displayed in page order, and the further in the depth direction the page is advanced or reversed, so that the user can easily select the thumbnail of the desired page.

<実施例4>
続いてサムネイルの表示の態様が異なる実施例4の表示方法について説明する。図9に示すように、表示制御装置3は、オブジェクト40の上方にサムネイル41~49を表示させる。なお、表示制御装置3は、オブジェクト40の上方ではなく下方にサムネイル41~49を表示させてもよい。
Example 4
Next, a display method of Example 4 in which the thumbnails are displayed in a different manner will be described. As shown in Fig. 9, the display control device 3 displays the thumbnails 41 to 49 above the object 40. Note that the display control device 3 may display the thumbnails 41 to 49 below the object 40 instead of above it.

<実施例5>
続いてサムネイルの表示の態様が異なる実施例5の表示方法について説明する。図10に示すように、表示制御装置3は、オブジェクト50とは奥行き方向に異なる位置(ここでは一例としてオブジェクトより奥の位置)で複数のサムネイル51を表示させる。ここでは一例として、複数のサムネイル51が互いに間隔を設けて、タイル状に並んでいる。なお、オブジェクトより手前の位置にサムネイルを表示させてもよい。
Example 5
Next, a display method of Example 5 in which the thumbnails are displayed in a different manner will be described. As shown in Fig. 10, the display control device 3 displays multiple thumbnails 51 at a position different from the object 50 in the depth direction (here, as an example, a position behind the object). Here, as an example, the multiple thumbnails 51 are arranged in a tiled pattern with a gap between them. Note that the thumbnails may also be displayed in front of the object.

<実施例6>
続いてサムネイルの表示の態様が異なる実施例6の表示方法について説明する。図11A及び図11Bに示すように、表示制御装置3は、オブジェクト60とは奥行き方向に異なる位置でヘッドマウントディスプレイ1の仮想空間上のユーザの位置を囲むようにサムネイル61~76を表示させる。ここで図11A及び図11Bにおいて、ヘッドマウントディスプレイの仮想空間上のユーザの位置は、ほぼ仮想コントローラ2vの位置である。
Example 6
Next, a display method of Example 6 in which the thumbnails are displayed in a different manner will be described. As shown in Figures 11A and 11B, the display control device 3 displays thumbnails 61 to 76 so as to surround the user's position in the virtual space of the head mounted display 1 at a position different in the depth direction from the object 60. Here, in Figures 11A and 11B, the user's position in the virtual space of the head mounted display is approximately the position of the virtual controller 2v.

<実施例7>
続いてサムネイルの表示の態様が異なる実施例7の表示方法について説明する。図12A及び図12Bの例では、表示制御装置3は、サムネイル81~96の円環状の列、サムネイル101~116の円環状の列を、垂直方向に離して表示させる。このように、図1表示制御装置3は、オブジェクト80とは奥行き方向に異なる位置で仮想空間上のユーザを囲むように表示されるサムネイルの列を、垂直方向に複数(図12Aの例では二つ)表示させる。
Example 7
Next, a display method of Example 7 in which the thumbnails are displayed in a different manner will be described. In the examples of Figures 12A and 12B, the display control device 3 displays the annular rows of thumbnails 81 to 96 and the annular rows of thumbnails 101 to 116 spaced apart in the vertical direction. In this way, the display control device 3 of Figure 1 displays multiple rows of thumbnails (two in the example of Figure 12A) in the vertical direction, which are displayed so as to surround the user in the virtual space at a position different from the object 80 in the depth direction.

図13は、第1の実施形態に係る表示制御装置3の処理動作の一例を示すフローチャートである。表示制御装置3は、複数ページを有する資料に対応するオブジェクトと、光線またはポインタをヘッドマウントディスプレイ1に表示させる(ステップS1)。また、表示制御装置3はコントローラ2に対するユーザの第1操作に応じて光線またはポインタを所望のオブジェクトに移動させる(ステップS2)。 Fig. 13 is a flowchart showing an example of the processing operation of the display control device 3 according to the first embodiment. The display control device 3 displays an object corresponding to a document having multiple pages and a light ray or a pointer on the head-mounted display 1 (step S1). The display control device 3 also moves the light ray or the pointer to a desired object in response to a first operation of the user on the controller 2 (step S2).

そして、所望のオブジェクトに光線またはポインタを合わせた状態でコントローラの操作ボタン20が押されると(ステップS3のYES)、表示制御装置3はサムネイルを表示させる。 Then, when the operation button 20 of the controller is pressed with the light beam or pointer aligned with the desired object (YES in step S3), the display control device 3 displays a thumbnail.

表示制御装置3は、コントローラ2に対するユーザの第3操作に応じて、光線またはポインタを所望のサムネイルに移動させる(ステップS5)。 The display control device 3 moves the light beam or the pointer to the desired thumbnail in response to the user's third operation on the controller 2 (step S5).

所望のサムネイルに光線またはポインタを合わせた状態でコントローラの操作ボタン20が押されると(ステップS6のYES)、表示制御装置3は、所望のサムネイルに対応するページを表示させる(ステップS7)。 When the operation button 20 of the controller is pressed with the light beam or pointer aligned with the desired thumbnail (YES in step S6), the display control device 3 displays the page corresponding to the desired thumbnail (step S7).

このように、ユーザは、所望のオブジェクトに光線またはポインタを合わせた状態でコントローラの操作ボタンを押す操作で、ヘッドマウントディスプレイ1に資料に含まれる各サムネイルを表示させることができる。そして、所望のサムネイルに光線またはポインタを合わせた状態でコントローラの操作ボタンを押す操作で、ヘッドマウントディスプレイ1に所望のサムネイルに対応するページを表示させることができる。 In this way, the user can display each thumbnail included in the material on the head mounted display 1 by pressing an operation button on the controller while aligning the light ray or pointer with a desired object. Then, the user can display a page corresponding to the desired thumbnail on the head mounted display 1 by pressing an operation button on the controller while aligning the light ray or pointer with a desired thumbnail.

以上、第1の実施形態に係る表示制御方法は、ヘッドマウントディスプレイにおける表示制御方法であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1ステップと、コントローラに対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2ステップと、前記コントローラに対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3ステップと、を有する。 As described above, the display control method according to the first embodiment is a display control method for a head-mounted display, and includes a first step of displaying an object corresponding to a document having multiple pages, a light beam, and/or a pointer on the head-mounted display, a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on a controller, and a third step of displaying a thumbnail of at least one page included in the document on the head-mounted display in response to a second user operation on the controller.

同様に第1の実施形態に係る表示制御装置は、ヘッドマウントディスプレイ1における表示制御装置であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタをヘッドマウントディスプレイ1に表示させる第1手段と、コントローラ2に対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、コントローラ2に対するユーザの第2操作に応じて、前記資料に含まれる少なくとも一つのページのサムネイルを前記ヘッドマウントディスプレイに表示させる第3手段と、を備える。 Similarly, the display control device according to the first embodiment is a display control device in a head-mounted display 1, and includes a first means for displaying an object corresponding to a document having multiple pages, a light beam and/or a pointer on the head-mounted display 1, a second means for moving the light beam and/or the pointer to a desired object in response to a first user operation on the controller 2, and a third means for displaying a thumbnail of at least one page included in the document on the head-mounted display in response to a second user operation on the controller 2.

この構成により、資料に含まれる少なくとも一つのページのサムネイルを表示させることができるので、ユーザは、資料に含まれるページそれぞれの概要をサムネイルから把握することができるので、ユーザは閲覧したいページに早く到達することができる。このため、ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際のユーザの利便性を向上させることができる。 This configuration makes it possible to display a thumbnail of at least one page contained in the document, allowing the user to grasp an overview of each page contained in the document from the thumbnail, and thus allowing the user to quickly reach the page they wish to view. This improves user convenience when viewing documents having multiple pages using a head-mounted display.

第1の実施形態に係る表示制御方法は、前記コントローラに対するユーザの第3操作に応じて、前記光線及び/または前記ポインタを所望のサムネイルに移動させる第4ステップと、前記コントローラに対するユーザの第4操作に応じて、前記所望のサムネイルに対応するページを前記ヘッドマウントディスプレイに表示させる第5のステップと、を更に有する。 The display control method according to the first embodiment further includes a fourth step of moving the light beam and/or the pointer to a desired thumbnail in response to a third operation of the user on the controller, and a fifth step of displaying a page corresponding to the desired thumbnail on the head mounted display in response to a fourth operation of the user on the controller.

この構成により、所望のサムネイルに対応するページをヘッドマウントディスプレイ1に表示させることができるので、ユーザは所望のページを早く表示させることができる。このため、ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際のユーザの利便性を向上させることができる。 This configuration allows the page corresponding to the desired thumbnail to be displayed on the head mounted display 1, allowing the user to quickly display the desired page. This improves the user's convenience when viewing a document having multiple pages using the head mounted display.

<第2の実施形態>
続いて、第2の実施形態におけるページめくりについて説明する。図14に示すように、表示制御装置3は、オブジェクト120に光線LBまたはポインタPが当たった状態で操作ボタン20を押している時間が設定時間を越える場合に、オブジェクト121に示すように、オブジェクト120のページ(ここでは表紙)の次のページ(ここでは1頁)を表示させる。次に、表示制御装置3は、オブジェクト120に光線LBまたはポインタPが当たった状態で操作ボタン20を押している時間が設定時間を越える場合に、オブジェクト122に示すように、オブジェクト120のページ(ここでは1頁)の次のページ(ここでは2頁)を表示させる。
Second Embodiment
Next, page turning in the second embodiment will be described. As shown in Fig. 14, when the time during which the operation button 20 is pressed with the light ray LB or the pointer P hitting the object 120 exceeds a set time, the display control device 3 displays the next page (here, page 1) of the page of the object 120 (here, the cover) as shown in object 121. Next, when the time during which the operation button 20 is pressed with the light ray LB or the pointer P hitting the object 120 exceeds a set time, the display control device 3 displays the next page (here, page 2) of the page of the object 120 (here, page 1) as shown in object 122.

図15は、第2の実施形態に係る表示制御装置3の処理動作の一例を示すフローチャートである。まず表示制御装置3は、複数ページを有する資料に対応するオブジェクト120と、光線LB及び/またはポインタPをヘッドマウントディスプレイ1に表示させる(ステップS11)。 Figure 15 is a flowchart showing an example of the processing operation of the display control device 3 according to the second embodiment. First, the display control device 3 displays an object 120 corresponding to a document having multiple pages, a light ray LB, and/or a pointer P on the head-mounted display 1 (step S11).

オブジェクト120に光線LB及び/またはポインタPが当たっている場合(ステップS12のYES)、表示制御装置3は、オブジェクト120に光線またはポインタが当たった状態で操作ボタン20を押している継続時間をカウントアップする(ステップS13)。 If the light ray LB and/or the pointer P is hitting the object 120 (YES in step S12), the display control device 3 counts up the duration that the operation button 20 is pressed while the light ray or the pointer is hitting the object 120 (step S13).

オブジェクトにレーザが当たった状態でボタンを押している継続時間が設定時間を越えた場合(ステップS14のYES)、表示制御装置3は、当該オブジェクト120の次のページをヘッドマウントディスプレイ1に表示させる。そして、表示制御装置3は、上記の継続時間をリセットする。 If the duration that the button is pressed while the laser is hitting the object exceeds the set time (YES in step S14), the display control device 3 causes the next page of the object 120 to be displayed on the head-mounted display 1. The display control device 3 then resets the duration.

当該オブジェクト120の最後のページでない場合(ステップS17のNO)、ステップS12に戻って、ステップS12~S16の処理が繰り返される。一方、当該オブジェクト120の最後のページである場合(ステップS17のNO)、処理が終了する。 If it is not the last page of the object 120 (NO in step S17), the process returns to step S12 and repeats steps S12 to S16. On the other hand, if it is the last page of the object 120 (NO in step S17), the process ends.

このように、操作ボタン20の設定時間を超えて長押しすることによって、ヘッドマウントディスプレイ1に表示されたオブジェクトの次のページを表示させることができる。なお、操作ボタン20の長押しだけに限らず、ボタンの特定の操作(例えば、ダブルクリックなど)によって、次のページを表示させるようにしてもよいし、コントローラ2に対するユーザの特定の操作(例えば、光線がオブジェクトに当たった状態で操作ボタン20を押した後に光線を例えば右にスライドさせる操作)によって次のページを表示させるようにしてもよい。 In this way, by pressing and holding the operation button 20 for longer than the set time, the next page of the object displayed on the head mounted display 1 can be displayed. Note that the next page may be displayed not only by pressing and holding the operation button 20, but also by a specific operation of the button (e.g., double-clicking, etc.), or by a specific operation of the user on the controller 2 (e.g., pressing the operation button 20 with the light beam hitting the object and then sliding the light beam, for example, to the right).

なお、本実施形態では、次のページを表示させることについて説明したが、これに限らず、コントローラ2に他の操作ボタンを設けて、他の操作ボタンの特定の操作(例えば、設定時間を超える長押し、またはダブルクリックなど)によって、前のページを表示させるようにしてもよいし、コントローラ2に対するユーザの特定の操作(例えば、光線がオブジェクトに当たった状態で当該他の操作ボタンを押した後に光線を例えば左にスライドさせる操作)によって前のページを表示させるようにしてもよい。 In this embodiment, the display of the next page has been described, but the present invention is not limited to this. Alternatively, another operation button may be provided on the controller 2, and the previous page may be displayed by a specific operation of the other operation button (for example, pressing and holding the other operation button for a set period of time or double-clicking, etc.), or the previous page may be displayed by a specific operation of the user on the controller 2 (for example, pressing the other operation button when the light beam hits an object and then sliding the light beam, for example, to the left).

以上、第2の実施形態に係る表示制御方法は、ヘッドマウントディスプレイにおける表示制御方法であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタをヘッドマウントディスプレイ1に表示させる第1ステップと、コントローラ2に対するユーザの第1操作に応じて光線及び/またはポインタを所望のオブジェクトに移動させる第2ステップと、コントローラ2に対するユーザの第2操作(ここでは一例として操作ボタン20の長押し)に応じて、ヘッドマウントディスプレイ1に表示された当該オブジェクトのページを遷移させる第3ステップと、を有する。 As described above, the display control method according to the second embodiment is a display control method in a head-mounted display, and includes a first step of displaying an object corresponding to a document having multiple pages and a light beam and/or a pointer on the head-mounted display 1, a second step of moving the light beam and/or the pointer to a desired object in response to a first user operation on the controller 2, and a third step of transitioning the page of the object displayed on the head-mounted display 1 in response to a second user operation on the controller 2 (here, a long press of the operation button 20 as an example).

第2の実施形態に係る表示制御装置3は、ヘッドマウントディスプレイにおける表示制御装置であって、複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを前記ヘッドマウントディスプレイに表示させる第1手段と、コントローラ2に対するユーザの第1操作に応じて前記光線及び/または前記ポインタを所望のオブジェクトに移動させる第2手段と、コントローラ2に対するユーザの第2操作(ここでは一例として操作ボタン20の長押し)に応じて、ヘッドマウントディスプレイ1に表示された当該オブジェクトのページを遷移させる第3手段と、を備える。 The display control device 3 according to the second embodiment is a display control device in a head-mounted display, and includes a first means for displaying an object corresponding to a document having multiple pages, a light beam and/or a pointer on the head-mounted display, a second means for moving the light beam and/or the pointer to a desired object in response to a first operation of the user on the controller 2, and a third means for transitioning the page of the object displayed on the head-mounted display 1 in response to a second operation of the user on the controller 2 (here, as an example, a long press of the operation button 20).

この構成により、ユーザが第2操作をするだけで、オブジェクトのページを遷移させる(ページをめくる)ことができるので、ヘッドマウントディスプレイを用いて複数ページを有する資料を閲覧する際のユーザの利便性を向上させることができる。 With this configuration, the user can transition between pages of an object (turn a page) simply by performing the second operation, thereby improving the convenience for the user when viewing a document having multiple pages using a head-mounted display.

なお、上述した各実施形態では、表示制御装置3は、ヘッドマウントディスプレイ1に外付けで接続されていたが、表示制御装置3は、ヘッドマウントディスプレイ1に内蔵されていてもよい。 In each of the above-described embodiments, the display control device 3 is externally connected to the head-mounted display 1, but the display control device 3 may be built into the head-mounted display 1.

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。 The above-described embodiments have been described with the aim of enabling a person having ordinary knowledge in the technical field to which the present invention pertains to practice the present invention. Various modifications of the above-described embodiments would naturally be possible for a person skilled in the art, and the technical concept of the present invention can be applied to other embodiments. Therefore, the present invention is not limited to the described embodiments, but should be in the broadest scope in accordance with the technical concept defined by the scope of the claims.

1 ヘッドマウントディスプレイ
2 コントローラ
2v 仮想コントローラ
20 操作ボタン
3 表示制御装置
10、29、30、40、50、60、80 オブジェクト
11~18、21~26、31~39、41~47、51、61~76、81~96、101~116 サムネイル
1 Head-mounted display 2 Controller 2v Virtual controller 20 Operation button 3 Display control device 10, 29, 30, 40, 50, 60, 80 Objects 11 to 18, 21 to 26, 31 to 39, 41 to 47, 51, 61 to 76, 81 to 96, 101 to 116 Thumbnails

Claims (15)

仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御方法であって、
前記表示制御方法は、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1ステップと、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2ステップと、
前記コントローラに対するユーザの第2操作に応じて、前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに対応する資料に含まれる少なくとも一つのページのサムネイルを、当該所望のオブジェクトが表示されている仮想空間に表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3ステップと、
前記コントローラに対するユーザの第3操作に応じて、前記第2操作によって前記仮想空間に表示されたサムネイルのうち、前記光線及び/または前記ポインタを所望のサムネイルに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第4ステップと、
前記第4ステップによって前記仮想空間において前記所望のサムネイルに前記光線及び/または前記ポインタを合わせた状態で前記コントローラの操作ボタンが押された場合、前記仮想空間において前記所望のサムネイルに対応するページを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第5ステップと、
を含む、表示制御方法。
A display control method for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control method includes:
a first step of controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second step of controlling display on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third step of controlling display on the head mounted display in response to a second operation of the user on the controller so as to display a thumbnail of at least one page included in a document corresponding to the desired object to which the light beam and/or the pointer is moved by the first operation in the virtual space in which the desired object is displayed;
a fourth step of performing display control on the head mounted display in response to a third operation by a user on the controller, so as to move the light beam and/or the pointer to a desired thumbnail among the thumbnails displayed in the virtual space by the second operation;
a fifth step of controlling display on the head mounted display so as to display a page corresponding to the desired thumbnail in the virtual space when an operation button on the controller is pressed with the light ray and/or the pointer being aligned with the desired thumbnail in the virtual space in the fourth step;
A display control method comprising:
前記第3ステップにおいて、前記オブジェクトの周りにサムネイルを表示させる、請求項1に記載の表示制御方法。 The display control method according to claim 1, wherein in the third step, thumbnails are displayed around the object. 前記オブジェクトの周りにサムネイルを表示させる際に、螺旋状に表示させる、請求項2に記載の表示制御方法。 The display control method according to claim 2, wherein thumbnails are displayed in a spiral shape around the object. 前記第3ステップにおいて、前記オブジェクトの周りにサムネイルを表示させる際に、前記オブジェクトの背面から水平方向及び/または垂直方向に徐々にずらしつつ表示させる、請求項1に記載の表示制御方法。 The display control method according to claim 1, wherein in the third step, when thumbnails are displayed around the object, the thumbnails are displayed while being gradually shifted horizontally and/or vertically from the back of the object. 前記第3ステップにおいて、前記オブジェクトの上方もしくは下方にサムネイルを表示させる、請求項1に記載の表示制御方法。 The display control method according to claim 1, wherein in the third step, a thumbnail is displayed above or below the object. 前記第3ステップにおいて、オブジェクトとは奥行き方向に異なる位置に複数のサムネイルを表示させる、請求項1に記載の表示制御方法。 The display control method according to claim 1, wherein in the third step, multiple thumbnails are displayed at positions different in the depth direction from the object. 前記第3ステップにおいて、前記オブジェクトとは奥行き方向に異なる位置で前記ヘッドマウントディスプレイの仮想空間上のユーザの位置を囲むようにサムネイルを表示させる、請求項1に記載の表示制御方法。 The display control method according to claim 1, wherein in the third step, thumbnails are displayed so as to surround the user's position in the virtual space of the head mounted display at a position different in the depth direction from the object. 前記オブジェクトとは奥行き方向に異なる位置で前記仮想空間上のユーザを囲むように表示される複数のサムネイルの列を、垂直方向に複数表示させる、請求項7に記載の表示制御方法。 The display control method according to claim 7, further comprising displaying multiple rows of thumbnails in the vertical direction, the rows being displayed so as to surround the user in the virtual space at a different depth position from the object. 仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御プログラムであって、
前記表示制御プログラムは、コンピュータに、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1ステップと、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2ステップと、
前記コントローラに対するユーザの第2操作に応じて、前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに対応する資料に含まれる少なくとも一つのページのサムネイルを、当該所望のオブジェクトが表示されている仮想空間に表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3ステップと、
前記コントローラに対するユーザの第3操作に応じて、前記第2操作によって前記仮想空間に表示されたサムネイルのうち、前記光線及び/または前記ポインタを所望のサムネイルに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第4ステップと、
前記第4ステップによって前記仮想空間において前記所望のサムネイルに前記光線及び/または前記ポインタを合わせた状態で前記コントローラの操作ボタンが押された場合、前記仮想空間において前記所望のサムネイルに対応するページを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第5ステップと、
を実行させる、表示制御プログラム。
A display control program for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control program is configured to
a first step of controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second step of controlling display on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third step of controlling display on the head mounted display in response to a second operation of the user on the controller so as to display a thumbnail of at least one page included in a document corresponding to the desired object to which the light beam and/or the pointer is moved by the first operation in the virtual space in which the desired object is displayed;
a fourth step of performing display control on the head mounted display in response to a third operation by a user on the controller, so as to move the light beam and/or the pointer to a desired thumbnail among the thumbnails displayed in the virtual space by the second operation;
a fifth step of controlling display on the head mounted display so as to display a page corresponding to the desired thumbnail in the virtual space when an operation button on the controller is pressed with the light ray and/or the pointer being aligned with the desired thumbnail in the virtual space in the fourth step;
A display control program that executes the above.
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御装置であって、
前記表示制御装置は、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1手段と、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2手段と、
前記コントローラに対するユーザの第2操作に応じて、前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに対応する資料に含まれる少なくとも一つのページのサムネイルを、当該所望のオブジェクトが表示されている仮想空間に表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3手段と、
前記コントローラに対するユーザの第3操作に応じて、前記第2操作によって前記仮想空間に表示されたサムネイルのうち、前記光線及び/または前記ポインタを所望のサムネイルに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第4手段と、
前記第4手段によって前記仮想空間において前記所望のサムネイルに前記光線及び/または前記ポインタを合わせた状態で前記コントローラの操作ボタンが押された場合、前記仮想空間において前記所望のサムネイルに対応するページを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第5手段と、
を備える、表示制御装置。
A display control device that controls display on a head mounted display for viewing a document having multiple pages in a virtual space,
The display control device includes:
a first means for controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second means for performing display control on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third means for performing display control on the head mounted display in response to a second operation by a user on the controller, so as to display a thumbnail of at least one page included in a document corresponding to the desired object to which the light beam and/or the pointer is moved by the first operation, in the virtual space in which the desired object is displayed;
a fourth means for performing display control on the head mounted display in response to a third operation by a user on the controller, so as to move the light beam and/or the pointer to a desired thumbnail among the thumbnails displayed in the virtual space by the second operation;
a fifth means for controlling display on the head mounted display so that, when an operation button on the controller is pressed with the light ray and/or the pointer being aligned with the desired thumbnail in the virtual space by the fourth means , a page corresponding to the desired thumbnail is displayed in the virtual space;
A display control device comprising:
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御システムであって、
前記表示制御システムは、
ヘッドマウントディスプレイと、
コントローラと、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1手段と、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2手段と、
前記コントローラに対するユーザの第2操作に応じて、前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに対応する資料に含まれる少なくとも一つのページのサムネイルを、当該所望のオブジェクトが表示されている仮想空間に表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3手段と、
前記コントローラに対するユーザの第3操作に応じて、前記第2操作によって前記仮想空間に表示されたサムネイルのうち、前記光線及び/または前記ポインタを所望のサムネイルに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第4手段と、
前記第4手段によって前記仮想空間において前記所望のサムネイルに前記光線及び/または前記ポインタを合わせた状態で前記コントローラの操作ボタンが押された場合、前記仮想空間において前記所望のサムネイルに対応するページを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第5手段と、
を備える、表示制御システム。
A display control system for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control system includes:
A head mounted display and
A controller;
a first means for controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second means for performing display control on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third means for performing display control on the head mounted display in response to a second operation by a user on the controller, so as to display a thumbnail of at least one page included in a document corresponding to the desired object to which the light beam and/or the pointer is moved by the first operation, in the virtual space in which the desired object is displayed;
a fourth means for performing display control on the head mounted display in response to a third operation by a user on the controller, so as to move the light beam and/or the pointer to a desired thumbnail among the thumbnails displayed in the virtual space by the second operation;
a fifth means for controlling display on the head mounted display so that, when an operation button on the controller is pressed with the light ray and/or the pointer being aligned with the desired thumbnail in the virtual space by the fourth means , a page corresponding to the desired thumbnail is displayed in the virtual space;
A display control system comprising:
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御方法であって、
前記表示制御方法は、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1ステップと、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2ステップと、
前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに前記光線及び/または前記ポインタを合わせた状態で、前記コントローラの操作ボタンが押されている継続時間が設定時間を超えた場合、当該所望のオブジェクトに対応する資料のページを遷移させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3ステップと、
を含む、表示制御方法。
A display control method for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control method includes:
a first step of controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second step of controlling display on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third step of controlling display on the head mounted display so as to transition to a page of a document corresponding to the desired object when a duration during which an operation button on the controller is pressed exceeds a set time in a state in which the light ray and/or the pointer is aligned with the desired object to which the light ray and/or the pointer is moved by the first operation;
A display control method comprising:
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御プログラムであって、
前記表示制御プログラムは、コンピュータに、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1ステップと、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2ステップと、
前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに前記光線及び/または前記ポインタを合わせた状態で、前記コントローラの操作ボタンが押されている継続時間が設定時間を超えた場合、当該所望のオブジェクトに対応する資料のページを遷移させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3ステップと、
を実行させる、表示制御プログラム。
A display control program for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control program is configured to
a first step of controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second step of controlling display on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third step of controlling display on the head mounted display so as to transition to a page of a document corresponding to the desired object when a duration during which an operation button on the controller is pressed exceeds a set time in a state in which the light ray and/or the pointer is aligned with the desired object to which the light ray and/or the pointer is moved by the first operation;
A display control program that executes the above.
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御装置であって、
前記表示制御装置は、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1手段と、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2手段と、
前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに前記光線及び/または前記ポインタを合わせた状態で、前記コントローラの操作ボタンが押されている継続時間が設定時間を超えた場合、当該所望のオブジェクトに対応する資料のページを遷移させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3手段と、
を備える、表示制御装置。
A display control device that controls display on a head mounted display for viewing a document having multiple pages in a virtual space,
The display control device includes:
a first means for controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second means for performing display control on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third means for controlling display on the head mounted display so as to transition to a page of a document corresponding to the desired object when a duration during which an operation button on the controller is pressed exceeds a set time in a state in which the light ray and/or the pointer is aligned with the desired object to which the light ray and/or the pointer is moved by the first operation;
A display control device comprising:
仮想空間において複数ページを有する資料を閲覧するためにヘッドマウントディスプレイにおける表示制御を行う表示制御システムであって、
前記表示制御システムは、
ヘッドマウントディスプレイと、
コントローラと、
前記仮想空間において、前記複数ページを有する資料に対応するオブジェクトと、光線及び/またはポインタを表示させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第1手段と、
コントローラに対するユーザの第1操作に応じて、前記仮想空間において、前記光線及び/または前記ポインタを所望のオブジェクトに移動させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第2手段と、
前記第1操作によって前記光線及び/または前記ポインタが移動された前記所望のオブジェクトに前記光線及び/または前記ポインタを合わせた状態で、前記コントローラの操作ボタンが押されている継続時間が設定時間を超えた場合、当該所望のオブジェクトに対応する資料のページを遷移させるように、前記ヘッドマウントディスプレイにおける表示制御を行う第3手段と、
を備える、表示制御システム。
A display control system for controlling display on a head mounted display for viewing a document having multiple pages in a virtual space, comprising:
The display control system includes:
A head mounted display and
A controller;
a first means for controlling display on the head mounted display so as to display, in the virtual space, an object corresponding to the document having the plurality of pages, a light ray, and/or a pointer;
a second means for performing display control on the head mounted display in response to a first operation by a user on a controller so as to move the light beam and/or the pointer to a desired object in the virtual space;
a third means for controlling display on the head mounted display so as to transition to a page of a document corresponding to the desired object when a duration during which an operation button on the controller is pressed exceeds a set time in a state in which the light ray and/or the pointer is aligned with the desired object to which the light ray and/or the pointer is moved by the first operation;
A display control system comprising:
JP2019138457A 2019-07-29 2019-07-29 DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM Active JP7645444B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019138457A JP7645444B2 (en) 2019-07-29 2019-07-29 DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019138457A JP7645444B2 (en) 2019-07-29 2019-07-29 DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM

Publications (2)

Publication Number Publication Date
JP2021022182A JP2021022182A (en) 2021-02-18
JP7645444B2 true JP7645444B2 (en) 2025-03-14

Family

ID=74574270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019138457A Active JP7645444B2 (en) 2019-07-29 2019-07-29 DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM

Country Status (1)

Country Link
JP (1) JP7645444B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7100187B1 (en) 2021-12-22 2022-07-12 キヤノンマーケティングジャパン株式会社 Electronic devices, control methods and programs for electronic devices

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200132A (en) 1998-11-04 2000-07-18 Fuji Xerox Co Ltd Icon display processor
JP2007257336A (en) 2006-03-23 2007-10-04 Sony Corp Information processing apparatus, information processing method, and program thereof
JP2010068385A (en) 2008-09-12 2010-03-25 Sony Corp Image display device and detection method
JP2013025409A (en) 2011-07-15 2013-02-04 Sharp Corp Information processor, operation screen display method, control program, and recording medium
JP2013073453A (en) 2011-09-28 2013-04-22 Deagostini Japan Co Ltd Electronic book program and electronic book device
US20130232414A1 (en) 2009-06-11 2013-09-05 Apple Inc. User interface for media playback
JP2014048841A (en) 2012-08-30 2014-03-17 Sharp Corp Information processing device, control method, control program, and recording medium
JP2017045296A (en) 2015-08-27 2017-03-02 株式会社コロプラ Program to control the head mounted display system
US20170336882A1 (en) 2016-05-17 2017-11-23 Google Inc. Virtual/augmented reality input device
WO2019066591A1 (en) 2017-09-29 2019-04-04 클릭트 주식회사 Method for providing virtual reality image and program using same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200132A (en) 1998-11-04 2000-07-18 Fuji Xerox Co Ltd Icon display processor
JP2007257336A (en) 2006-03-23 2007-10-04 Sony Corp Information processing apparatus, information processing method, and program thereof
JP2010068385A (en) 2008-09-12 2010-03-25 Sony Corp Image display device and detection method
US20130232414A1 (en) 2009-06-11 2013-09-05 Apple Inc. User interface for media playback
JP2013025409A (en) 2011-07-15 2013-02-04 Sharp Corp Information processor, operation screen display method, control program, and recording medium
JP2013073453A (en) 2011-09-28 2013-04-22 Deagostini Japan Co Ltd Electronic book program and electronic book device
JP2014048841A (en) 2012-08-30 2014-03-17 Sharp Corp Information processing device, control method, control program, and recording medium
JP2017045296A (en) 2015-08-27 2017-03-02 株式会社コロプラ Program to control the head mounted display system
US20170336882A1 (en) 2016-05-17 2017-11-23 Google Inc. Virtual/augmented reality input device
WO2019066591A1 (en) 2017-09-29 2019-04-04 클릭트 주식회사 Method for providing virtual reality image and program using same

Also Published As

Publication number Publication date
JP2021022182A (en) 2021-02-18

Similar Documents

Publication Publication Date Title
AU2024203393B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US10606442B2 (en) Touch-free gesture recognition system and method
US9569010B2 (en) Gesture-based human machine interface
US9477303B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9313406B2 (en) Display control apparatus having touch panel function, display control method, and storage medium
US9218113B2 (en) Information processing device, information processing method and program
US9865033B1 (en) Motion-based image views
EP3889748A1 (en) Device, method, and graphical user interface for manipulating application windows
US9338433B2 (en) Method and electronic device for displaying a 3D image using 2D image
US20120011456A1 (en) Information processing device, information processing method, and program
US9294670B2 (en) Lenticular image capture
US20140055348A1 (en) Information processing apparatus, image display apparatus, and information processing method
US20150213784A1 (en) Motion-based lenticular image display
WO2011098197A1 (en) Electronic device controllable by physical deformation
WO2019059020A1 (en) Control device, control method and program
JP2014127184A (en) Information processor and display control method
JP7645444B2 (en) DISPLAY CONTROL METHOD, DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROGRAM, AND DISPLAY CONTROL SYSTEM
JP6428020B2 (en) GUI device
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
JP2024025272A (en) Information processing device, information processing method, program
JP7291878B2 (en) Display control method, display control device, display control program and display control system
WO2017217375A1 (en) Image display device, image display method, and image display program
JP2021018759A (en) Display control method, display control apparatus, display control program, and display control system
WO2015112857A1 (en) Create and view lenticular photos on table and phone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231226

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20240216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240902

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20250206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20250207

R150 Certificate of patent or registration of utility model

Ref document number: 7645444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150