JP7583318B2

JP7583318B2 - Head-mounted display device, authentication method, and authentication program

Info

Publication number: JP7583318B2
Application number: JP2023134841A
Authority: JP
Inventors: 裕介佐藤
Original assignee: Mixi Inc
Current assignee: Mixi Inc
Priority date: 2020-10-30
Filing date: 2023-08-22
Publication date: 2024-11-14
Anticipated expiration: 2037-04-21
Also published as: JP2023157968A; JP2022088423A; JP2021015630A; JP7045633B2; JP7755201B2; JP2025175146A; JP7339569B2; JP2024180690A

Description

本発明は、頭部装着ディスプレイ装置、認証方法、及び認証プログラムに関するものである。 The present invention relates to a head-mounted display device, an authentication method, and an authentication program.

情報処理装置を起動する際やコンピュータネットワーク等にアクセスする際に、ユーザ認証が行われる場合がある。このユーザ認証が成功した場合にのみ、情報処理装置の使用やコンピュータネットワークへのアクセスが可能となる。 When starting up an information processing device or accessing a computer network, user authentication may be performed. Only if this user authentication is successful will the information processing device be usable or the computer network be accessible.

ユーザ認証としては、例えば、キーボードを介したパスワードの入力が求められる。しかしながら、キーボードを用いることによるパスワードの漏えい等を防止するために、よりセキュリティ性の高いユーザ認証も開発されている。 User authentication requires, for example, input of a password via a keyboard. However, more secure user authentication methods have been developed to prevent password leaks caused by using a keyboard.

セキュリティ性の高いユーザ認証として、特許文献１には、画面上に表示される画像を注視するユーザの視線を検知し、前記視線に基づいてユーザが注視した画像を検知し、検知した画像を認証情報としてユーザ認証を行うディスプレイシステムが開示されている。 As a highly secure user authentication method, Patent Document 1 discloses a display system that detects the line of sight of a user gazing at an image displayed on a screen, detects the image the user is gazing at based on the line of sight, and performs user authentication using the detected image as authentication information.

特開２００５－１４９３２６号公報JP 2005-149326 A

近年では、ユーザの頭部にディスプレイを装着する頭部装着ディスプレイ装置（Head Mount Display：ＨＭＤ）が普及し始めている。頭部装着ディスプレイ装置では、特許文献１に記載のようなユーザの視線を検知したユーザ認証が用いられることが想定されるものの、よりセキュリィティ性の高い認証が求められる。 In recent years, head mounted display devices (HMDs), which have a display attached to the user's head, have started to become popular. Although it is expected that head mounted display devices will use user authentication that detects the user's line of sight as described in Patent Document 1, there is a demand for authentication with higher security.

本発明は、このような事情に鑑みてなされたものであって、よりセキュリィティ性の高い認証を行える、頭部装着ディスプレイ装置、認証方法、及び認証プログラムを提供することを目的とする。 The present invention has been made in consideration of these circumstances, and aims to provide a head-mounted display device, authentication method, and authentication program that can perform authentication with higher security.

上記課題を解決するために、本発明の頭部装着ディスプレイ装置、認証方法、及び認証プログラムは以下の手段を採用する。 To solve the above problems, the head mounted display device, authentication method, and authentication program of the present invention employ the following means.

上記課題を解決するため、本発明の一態様である「頭部装着ディスプレイ装置」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、前記ユーザの顔の向きを検知する顔向き検知手段と、前記ユーザの視線を検知する視線検知手段と、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、を備える。 In order to solve the above problems, the "head mounted display device" of one aspect of the present invention is a head mounted display device in which a display is mounted on the head of a user so that the display can be viewed by the user, and includes face direction detection means for detecting the direction of the user's face, gaze detection means for detecting the gaze of the user, image display control means for changing an object to be displayed in an image display area of the display according to the detection result by the face direction detection means, and authentication means for displaying an authentication object used for authentication in the image display area according to the user's actions, and for performing authentication when the gaze detection means detects that the user has aligned their gaze with the authentication object.

上記課題を解決するため、本発明の一態様である「認証方法」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、を有する。 In order to solve the above problems, an "authentication method" according to one aspect of the present invention is an authentication method for a head-mounted display device in which a display is mounted on the head of a user so as to be visible to the user, and which includes face direction detection means for detecting the direction of the user's face and gaze detection means for detecting the user's gaze, and which includes a first step of changing an object to be displayed in an image display area of the display in accordance with a detection result by the face direction detection means, and a second step of displaying an authentication object to be used for authentication in the image display area in accordance with a movement of the user, and performing authentication when the gaze detection means detects that the user has aligned their gaze with the authentication object.

上記課題を解決するため、本発明の一態様である「認証プログラム」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、して機能させる。 In order to solve the above problems, an "authentication program" according to one aspect of the present invention causes a computer possessed by a head-mounted display device, in which a display is mounted on the head of a user so as to be visible to the user, and which includes face direction detection means for detecting the direction of the user's face and gaze detection means for detecting the user's gaze, to function as an image display control means for changing an object to be displayed in an image display area of the display in accordance with the detection result by the face direction detection means, and an authentication means for displaying an authentication object used for authentication in the image display area in accordance with the user's actions and for performing authentication when the gaze detection means detects that the user has aligned their gaze with the authentication object.

上記「頭部装着ディスプレイ装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「認証方法」が実行する処理ステップや「認証プログラム」の機能に加えてもよい。 Various technical limitations may be imposed on the above-mentioned "head mounted display device," as exemplified below. In addition, technical limitations of the same nature may be imposed on the processing steps executed by the "authentication method" and the functions of the "authentication program."

前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される。 The authentication object is not displayed in the image display area when authentication begins, but is displayed in the image display area depending on the user's actions.

前記画像表示領域には、認証用表示領域が設定され、前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う。 An authentication display area is set in the image display area, and the authentication means performs authentication when the authentication object is displayed in the authentication display area in response to the user's actions and the gaze detection means detects that the user has focused their gaze on the authentication object.

前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである。 The user's action is the user changing the direction of the face or the user moving the authentication object.

前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う。 The authentication means performs authentication based on the detection results by the gaze detection means and the face direction detection means.

実在する予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される。 When an existing, pre-registered identifying object is displayed on the display, the authentication object is displayed on the display.

前記認証用オブジェクトは、前記ディスプレイに表示される実在する識別体である。 The authentication object is an actual identifying entity that is displayed on the display.

前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする。 The authentication means determines that the user has started the authentication operation when it detects that the user has directed his/her gaze at the authentication object for a predetermined period of time or longer, and that the user has ended the authentication operation when it detects that the user has averted his/her gaze from the authentication object for a predetermined period of time or longer.

前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when it detects that the user has blinked a predetermined number of times within a predetermined time.

前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when it detects that the user has made a predetermined head movement.

本発明によれば、頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行える、という効果を有する。 The present invention has the effect of enabling more secure authentication using a head-mounted display.

本発明の第１実施形態に係るディスプレイシステムの構成図である。1 is a configuration diagram of a display system according to a first embodiment of the present invention. 本発明の第１実施形態に係るＨＭＤによる画像表示領域を示す模式図である。2 is a schematic diagram showing an image display area of the HMD according to the first embodiment of the present invention. FIG. 本発明の第１実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。2 is a functional block diagram showing the electrical configuration of the HMD according to the first embodiment of the present invention. FIG. 本発明の第１実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。FIG. 2 is a schematic diagram showing user authentication using an HMD according to the first embodiment of the present invention. 本発明の第１実施形態に係る認証用表示領域を示す模式図である。FIG. 2 is a schematic diagram showing an authentication display area according to the first embodiment of the present invention. 本発明の第１実施形態に係るユーザ認証処理の流れを示すフローチャートである。5 is a flowchart showing a flow of user authentication processing according to the first embodiment of the present invention. 本発明の第２実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。FIG. 11 is a schematic diagram showing user authentication using an HMD according to a second embodiment of the present invention. 本発明の第３実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。FIG. 13 is a schematic diagram showing user authentication using an HMD according to a third embodiment of the present invention. 本発明の第３実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。FIG. 11 is a functional block diagram showing the electrical configuration of an HMD according to a third embodiment of the present invention. 本発明の第３実施形態に係るユーザ認証処理の流れを示すフローチャートである。13 is a flowchart showing a flow of a user authentication process according to the third embodiment of the present invention.

以下に、本発明に係る頭部装着ディスプレイ装置、認証方法、及び認証プログラムの一実施形態について、図面を参照して説明する。 Below, an embodiment of the head mounted display device, authentication method, and authentication program according to the present invention will be described with reference to the drawings.

［１．第１実施形態］
以下、本発明の第１実施形態について説明する。 [1. First embodiment]
A first embodiment of the present invention will now be described.

［１－１．ディスプレイシステムの構成］
図１は、本実施形態に係るディスプレイシステム１０の構成図である。 [1-1. Configuration of display system]
FIG. 1 is a diagram showing the configuration of a display system 10 according to this embodiment.

ディスプレイシステム１０は、頭部装着ディスプレイ装置（Head Mount Display、以下「ＨＭＤ」という。）１２及びサーバ１４を備える。 The display system 10 includes a head mounted display device (HMD) 12 and a server 14.

ＨＭＤ１２は、ユーザが視認可能なようにユーザの頭部にＬＣＤ（Liquid Crystal Display）等のディスプレイ１６が備えられる。ディスプレイ１６は、一例として、伸縮性のあるバンド１８によってユーザの頭部に固定される。 The HMD 12 is provided with a display 16 such as an LCD (Liquid Crystal Display) on the user's head so that the display can be viewed by the user. As an example, the display 16 is fixed to the user's head by an elastic band 18.

図１に示されるＨＭＤ１２の外形は一例であり、両眼の前方にディスプレイ１６が位置するが、これに限らず、メガネ型のようにメガネのレンズに画像を投影させるものでもよい。また、両眼で画像を視認させるものではなく、片眼で画像を視認させるものでもよい。また、ＨＭＤ１２は、ユーザが装着しても外界を視認できる透過型、外界を視認できない非透過型の何れであってもよい。また、ＨＭＤ１２がディスプレイ１６に表示させる画像は、仮想現実（ＶＲ : Virtual Reality）であってもよいし、拡張現実（ＡＲ : Augmented Reality）の何れであってもよい。なお、本実施形態に係るＨＭＤ１２ではディスプレイ１６にはＶＲが表示される。 The external shape of the HMD 12 shown in FIG. 1 is an example, and the display 16 is located in front of both eyes, but the present invention is not limited to this, and the display 16 may be of a type that projects an image onto the lenses of glasses, as in a glasses-type display. Furthermore, the display may be of a type that does not allow the image to be viewed with both eyes, but allows the image to be viewed with one eye. The HMD 12 may be of either a transparent type that allows the user to view the outside world even when worn by the user, or a non-transparent type that does not allow the user to view the outside world. The image that the HMD 12 displays on the display 16 may be either virtual reality (VR) or augmented reality (AR). In the HMD 12 according to this embodiment, VR is displayed on the display 16.

ＨＭＤ１２とサーバ１４は、通信回線２０を介して情報の送受信が可能とされている。なお、ＨＭＤ１２は通信回線２０に直接アクセスするための通信機能を有していてもよいし、例えば、携帯電話端末等の他の情報処理装置を介して通信回線２０にアクセスしてもよい。 The HMD 12 and the server 14 are capable of transmitting and receiving information via a communication line 20. The HMD 12 may have a communication function for directly accessing the communication line 20, or may access the communication line 20 via another information processing device such as a mobile phone terminal.

サーバ１４は、ＨＭＤ１２で実行されるプログラム等の各種情報を記憶しており、必要に応じてＨＭＤ１２との間で情報の送受信を行う。 The server 14 stores various information such as programs executed by the HMD 12, and transmits and receives information between the HMD 12 as necessary.

ＨＭＤ１２は、図２に示されるように、ユーザの視界を覆うようにディスプレイ１６に画像表示領域２２が設けられる。画像表示領域２２には、各種画像（オブジェクトともいう。）が表示される。なお、本実施形態に係る画像表示領域２２は、ＨＭＤ１２を装着したユーザの視野範囲にほぼ一致する。 As shown in FIG. 2, the HMD 12 has an image display area 22 on the display 16 that covers the user's field of vision. Various images (also called objects) are displayed in the image display area 22. Note that the image display area 22 in this embodiment roughly corresponds to the field of vision of the user wearing the HMD 12.

本実施形態に係るＨＭＤ１２は、ユーザがＨＭＤ１２を起動させる場合にユーザ認証を行い、ユーザ認証に成功した場合にユーザの操作を可能とする。画像表示領域２２には、ユーザ認証に用いるオブジェクトである認証用オブジェクト２４が表示される。そして、ＨＭＤ１２に設けられた視線検知部３２（図３参照）によって、ユーザが視線を認証用オブジェクト２４に合わせたことを検知した場合にユーザ認証が行われる。 The HMD 12 according to this embodiment performs user authentication when the user activates the HMD 12, and allows the user to operate the device if the user authentication is successful. An authentication object 24, which is an object used for user authentication, is displayed in the image display area 22. Then, user authentication is performed when a line-of-sight detection unit 32 (see FIG. 3) provided in the HMD 12 detects that the user has aligned their line of sight with the authentication object 24.

本実施形態に係る認証用オブジェクト２４は、一例として、少なくとも一つ以上を視認して認証成功とされる複数の要素（以下「認証要素」という。）２６で形成される。また、本実施形態に係るユーザ認証は、複数の認証要素２６を予め定められた順番で視認した場合に認証成功とするが、これに限らず、複数の認証要素２６を視認する順番は定められていなくてもよいし、認証要素２６を視認し続ける時間を認証成功の条件としてもよい。なお、認証用オブジェクト２４は、複数の認証要素２６で形成されずに、一つの画像であってもよい。 The authentication object 24 according to this embodiment is formed, as an example, of a plurality of elements (hereinafter referred to as "authentication elements") 26, of which authentication is successful when at least one or more are visually recognized. Furthermore, in user authentication according to this embodiment, authentication is successful when the plurality of authentication elements 26 are visually recognized in a predetermined order, but this is not limited thereto, and the order in which the plurality of authentication elements 26 are visually recognized may not be determined, and the condition for successful authentication may be the time for which the authentication elements 26 are continuously visually recognized. Note that the authentication object 24 may be a single image, rather than being formed of a plurality of authentication elements 26.

［１－２．ＨＭＤの機能ブロック図］
図３は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。 [1-2. Functional block diagram of HMD]
FIG. 3 is a functional block diagram showing the electrical configuration of the HMD 12 according to this embodiment.

ＨＭＤ１２は、ディスプレイ１６の他に、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８を備える。 In addition to the display 16, the HMD 12 includes a face direction detection unit 30, a gaze detection unit 32, a main control unit 34, a memory unit 36, and a communication unit 38.

顔向き検知部３０は、例えば加速度センサーやジャイロセンサ等を備え、ＨＭＤ１２を装着したユーザの顔の向きを検知する。 The face direction detection unit 30 includes, for example, an acceleration sensor or a gyro sensor, and detects the direction of the face of the user wearing the HMD 12.

視線検知部３２は、例えばユーザの眼を撮像するカメラを備え、ユーザの眼を撮像した結果に基づいて、ユーザの視線を検知する。 The gaze detection unit 32 is equipped with, for example, a camera that captures an image of the user's eyes, and detects the user's gaze based on the results of capturing an image of the user's eyes.

主制御部３４は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、ＨＭＤ１２全体の動作を制御する。 The main control unit 34 is, for example, a CPU (Central Processing Unit), a microprocessor, or a DSP (Digital Signal Processor), and controls the operation of the entire HMD 12.

記憶部３６は、例えば、ＲＡＭ（Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）、又はフラッシュメモリ等で構成されており、主制御部３４による各種プログラムに基づく処理の実行時のワークエリアや、画像等の各種データ及び主制御部３４の処理に利用されるプログラム等を保存する。 The storage unit 36 is composed of, for example, a RAM (Random Access Memory), a DRAM (Dynamic Random Access Memory), or a flash memory, and stores a work area when the main control unit 34 executes processes based on various programs, various data such as images, and programs used in the processing of the main control unit 34.

通信部３８は、通信回線２０に接続する機能を有し、例えばＮＩＣ（Network Interface Controller）であり、携帯電話網等の通信網に接続する。なお、通信部３８は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。 The communication unit 38 has a function of connecting to the communication line 20, and is, for example, a NIC (Network Interface Controller), and connects to a communication network such as a mobile phone network. Note that the communication unit 38 may have a function of connecting to a wireless LAN (Local Area Network), a function of connecting to a wireless WAN (Wide Area Network), and a function of enabling short-range wireless communication such as Bluetooth (registered trademark), infrared communication, etc., instead of or together with the NIC.

これらディスプレイ１６、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８は、システムバスを介して相互に電気的に接続されている。従って、主制御部３４は、ディスプレイ１６に対する画像の表示、顔向き検知部３０や視線検知部３２の検知結果を用いた各種処理、記憶部３６へのアクセス、及び通信部３８を介した各種通信網や他の端末へのアクセス等を行える。なお、上記構成の他に、ＨＭＤ１２には音を出力するためのスピーカやイヤホンジャック、他の情報処理装置との間でデータの送受信を行うためのＵＳＢ（Universal Serial Bus）コネクタ等が備えられる。 The display 16, face direction detection unit 30, line of sight detection unit 32, main control unit 34, memory unit 36, and communication unit 38 are electrically connected to each other via a system bus. Therefore, the main control unit 34 can display images on the display 16, perform various processes using the detection results of the face direction detection unit 30 and line of sight detection unit 32, access the memory unit 36, and access various communication networks and other terminals via the communication unit 38. In addition to the above configuration, the HMD 12 is equipped with a speaker and earphone jack for outputting sound, a USB (Universal Serial Bus) connector for sending and receiving data to and from other information processing devices, etc.

また、ＨＭＤ１２は、有線又は無線によってコントローラと接続可能とされ、コントローラを用いたユーザ操作が可能とされている。 The HMD 12 can also be connected to a controller via wire or wirelessly, allowing the user to operate it using the controller.

主制御部３４は、画像表示制御部４０及び認証処理部４２を備える。主制御部３４が備える各部は、記憶部３６に記憶されているプログラムによって実現される。 The main control unit 34 includes an image display control unit 40 and an authentication processing unit 42. Each unit of the main control unit 34 is realized by a program stored in the storage unit 36.

画像表示制御部４０は、画像表示領域２２に表示させる画像（オブジェクト）を示すデータをディスプレイ１６へ出力する。また、画像表示制御部４０は、顔向き検知部３０による検知結果に応じて、画像表示領域２２に表示するオブジェクトを変化させる。 The image display control unit 40 outputs data indicating the image (object) to be displayed in the image display area 22 to the display 16. In addition, the image display control unit 40 changes the object to be displayed in the image display area 22 according to the detection result by the face direction detection unit 30.

認証処理部４２は、ユーザ認証に関する処理を実行する。 The authentication processing unit 42 performs processing related to user authentication.

［１－３．第１実施形態に係るユーザ認証］
本実施形態に係るユーザ認証について説明する。 [1-3. User authentication according to the first embodiment]
User authentication according to this embodiment will now be described.

本実施形態に係るユーザ認証は、認証用オブジェクト２４がユーザの動作に応じて画像表示領域２２に表示され、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合に認証を行う。 In this embodiment, user authentication is performed when an authentication object 24 is displayed in the image display area 22 in response to the user's actions, and the gaze detection unit 32 detects that the user has focused their gaze on the authentication object 24.

図４は、本実施形態に係るユーザ認証を示す模式図であり、ＨＭＤ１２によって表示される画像空間４４を模式的に示したものである。本実施形態に係るＨＭＤ１２は、仮想現実（ＶＲ）を表示するため、図４に示される画像空間４４はＶＲ空間である。図４において一点鎖線で囲まれた領域は、ＨＭＤ１２を装着したユーザが頭部を動かすことで、視認可能な画像空間４４の全体である。一方、実線で囲まれた領域は、画像表示領域２２に表示される画像空間４４であり、ＨＭＤ１２を装着したユーザが実際に視認している範囲である。 Figure 4 is a schematic diagram showing user authentication according to this embodiment, and shows a schematic image space 44 displayed by the HMD 12. Since the HMD 12 according to this embodiment displays virtual reality (VR), the image space 44 shown in Figure 4 is a VR space. The area surrounded by a dashed line in Figure 4 is the entire image space 44 that can be viewed by a user wearing the HMD 12 by moving his or her head. On the other hand, the area surrounded by a solid line is the image space 44 displayed in the image display area 22, and is the range that is actually viewed by the user wearing the HMD 12.

図４（Ａ）に示されるように認証用オブジェクト２４は、画像空間４４に存在しているものの、ユーザ認証開始時には画像表示領域２２に表示されない。このため、ユーザは、顔の向きを変える動作を行うことで、図４（Ｂ）に示されるように、画像空間４４に存在している認証用オブジェクト２４を画像表示領域２２に表示させる。 As shown in FIG. 4(A), the authentication object 24 exists in the image space 44, but is not displayed in the image display area 22 when user authentication begins. Therefore, the user turns his or her face to cause the authentication object 24 existing in the image space 44 to be displayed in the image display area 22, as shown in FIG. 4(B).

さらに、本実施形態に係るユーザ認証では、画像表示領域２２に認証用表示領域２２Ａが設定される。画像表示領域２２は、図５に示されるように、疑似的に認証用表示領域２２Ａ及び非認証用表示領域２２Ｂに分割される。そして、認証用オブジェクト２４が、認証用表示領域２２Ａに表示された場合にユーザ認証が行われる。 Furthermore, in user authentication according to this embodiment, an authentication display area 22A is set in the image display area 22. As shown in FIG. 5, the image display area 22 is divided into an authentication display area 22A and a non-authentication display area 22B in a pseudo manner. Then, user authentication is performed when an authentication object 24 is displayed in the authentication display area 22A.

認証用オブジェクト２４が画像表示領域２２に表示された場合、認証用表示領域２２Ａに認証用オブジェクト２４を表示させるようにユーザに促す表示を行ってもよい。例えば、ＨＭＤ１２は、認証用オブジェクト２４を認証用表示領域２２Ａ内へ入れることをユーザに促すように、認証用表示領域２２Ａの点滅、文字や矢印の表示、又は音声によるアナウンスを行う。 When the authentication object 24 is displayed in the image display area 22, a display may be performed to prompt the user to display the authentication object 24 in the authentication display area 22A. For example, the HMD 12 blinks the authentication display area 22A, displays letters or an arrow, or makes an audio announcement to prompt the user to place the authentication object 24 into the authentication display area 22A.

また、図５に示される認証用表示領域２２Ａの分割は一例であり、他の分割であってもよい。また、画像表示領域２２には、非認証用表示領域２２Ｂが設けられず、認証用表示領域２２Ａを画像表示領域２２の全体としてもよい。 The division of the authentication display area 22A shown in FIG. 5 is just one example, and other divisions are also possible. Furthermore, the image display area 22 may not be provided with the non-authentication display area 22B, and the authentication display area 22A may be the entire image display area 22.

そして、ＨＭＤ１２は、視線検知部３２による視線検知の結果が、登録されている認証用視線情報と一致しているか否かによって認証の成否を判定する。認証用視線情報は、これを登録するためにユーザが認証用オブジェクト２４を視認することで生成され、記憶部３６に予め記憶されている。 The HMD 12 then determines whether authentication has been successful based on whether the result of gaze detection by the gaze detection unit 32 matches the registered authentication gaze information. The authentication gaze information is generated when the user visually recognizes the authentication object 24 in order to register it, and is stored in advance in the storage unit 36.

［１－４．認証操作の開始又は終了の判定］
次に、ユーザによる認証操作の開始又は終了について説明する。 [1-4. Determination of Start or End of Authentication Operation]
Next, the start or end of the authentication operation by the user will be described.

認証処理部４２は、例えば、ユーザがＨＭＤ１２に接続されているコントローラに対する所定操作を行った場合を認証操作の開始とし、ユーザが再びコントローラに対して所定操作を行った場合を認証操作の終了とする。なお、コントローラに対する所定操作とは、例えば、所定のボタンをクリックすることである。 The authentication processing unit 42 determines, for example, that an authentication operation starts when a user performs a predetermined operation on a controller connected to the HMD 12, and that the authentication operation ends when the user performs a predetermined operation on the controller again. Note that a predetermined operation on the controller is, for example, clicking a predetermined button.

そして、視線検知部３２は、ユーザによる認証操作の開始を認証処理部４２が受け付けた後に、ユーザの視線検知を開始する。また、視線検知部３２は、ユーザによる認証操作の終了を認証処理部４２が受け付けた後に、ユーザの視線検知を終了する。その後、認証処理部４２は、視線検知部３２による視線の検知結果に基づいてユーザ認証の成否を判定する。 The gaze detection unit 32 starts detecting the user's gaze after the authentication processing unit 42 accepts the start of the authentication operation by the user. The gaze detection unit 32 ends the detection of the user's gaze after the authentication processing unit 42 accepts the end of the authentication operation by the user. Thereafter, the authentication processing unit 42 determines whether the user authentication has been successful based on the gaze detection result by the gaze detection unit 32.

なお、ユーザによる認証操作の開始又は終了は、コントローラに対する所定操作に限らず、視線検知部３２又は顔向き検知部３０による検知結果に基づいて判定されてもよい。 The start or end of the authentication operation by the user may be determined not only by a predetermined operation on the controller, but also based on the detection results by the gaze detection unit 32 or the face direction detection unit 30.

例えば、認証処理部４２は、認証用オブジェクト２４に所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とする。そして、認証処理部４２は、認証用オブジェクト２４から所定時間以上、視線を逸らしたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了とする。なお、所定時間は、ユーザが無意識で視線を向けたり、逸らしたりする時間ではなく、ユーザが意図して行ったと判定可能な時間で有り、例えば数秒である。 For example, the authentication processing unit 42 determines that the user's authentication operation has started when the gaze detection unit 32 detects that the user has directed their gaze at the authentication object 24 for a predetermined period of time or more. The authentication processing unit 42 then determines that the user's authentication operation has ended when the gaze detection unit 32 detects that the user has averted their gaze from the authentication object 24 for a predetermined period of time or more. Note that the predetermined period of time is not the period during which the user unconsciously directs or averts their gaze, but is a period of time during which it can be determined that the user has done so intentionally, such as a few seconds.

また、認証処理部４２は、視線検知部３２によって所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。所定時間内で所定回数以上とは、ユーザが無意識に行う瞬きではなく、ユーザが意図して行った瞬きであると判定可能な回数であり、例えば、１秒以内に３回以上の瞬き等である。 The authentication processing unit 42 also starts or ends the authentication operation when the gaze detection unit 32 detects that the user has blinked a predetermined number of times or more within a predetermined time. A predetermined number of times or more within a predetermined time is a number of times that can be determined to be intentional blinks by the user, rather than blinks that the user blinks unconsciously, such as three or more blinks within one second.

また、認証処理部４２は、ユーザが頭部を所定動作させたことを顔向き検知部３０が検知した場合に、認証操作の開始又は終了とする。所定動作とは、例えば所定時間内で所定方向へ所定回数等、ユーザが無意識に行う動作ではなく、ユーザが意図して行った動作であると判定可能な回数であり、例えば、頭部を1秒間に右側へ２回傾ける等である。 The authentication processing unit 42 also starts or ends the authentication operation when the face direction detection unit 30 detects that the user has made a predetermined head movement. The predetermined movement is, for example, a predetermined number of times in a predetermined direction within a predetermined time, which is not an unconscious movement made by the user, but a number of times that can be determined to be an intentional movement made by the user, such as tilting the head to the right twice in one second.

また、認証処理部４２は、ディスプレイ１６に表示された所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とし、再び所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了としてもよい。 The authentication processing unit 42 may also determine that the authentication operation by the user has started when the gaze detection unit 32 detects that the user has directed their gaze at a specified object displayed on the display 16 for a specified period of time or more, and that the authentication operation by the user has ended when the gaze detection unit 32 detects that the user has again directed their gaze at the specified object for a specified period of time or more.

なお、何れの認証操作の開始又は終了の判定も、認証用表示領域２２Ａに認証用オブジェクト２４が表示されている場合に行われる。また、ＨＭＤ１２は、ユーザによる認証操作の開始又は終了を示す動作を受け付けた場合には、その旨を示す報知（以下「認証開始報知」又は「認証終了報知」という。）を行う。認証開始報知又は認証終了報知は、ディスプレイ１６への所定画像の表示や所定音声の出力等である。 The start or end of any authentication operation is determined when the authentication object 24 is displayed in the authentication display area 22A. When the HMD 12 receives an action indicating the start or end of an authentication operation by the user, it issues a notification to that effect (hereinafter referred to as an "authentication start notification" or an "authentication end notification"). The authentication start notification or authentication end notification is, for example, the display of a specified image on the display 16 or the output of a specified sound.

認証開始報知が行われることによって、ユーザは、認証操作を行えることを認識する。また、認証終了報知が行われることによって、ユーザは、自身が行った認証操作をＨＭＤ１２が受け付けたことを認識できる。 By receiving the notification that authentication has started, the user knows that authentication can now be performed. In addition, by receiving the notification that authentication has ended, the user knows that the HMD 12 has accepted the authentication operation that the user performed.

このように、本実施形態に係るＨＭＤ１２は、ユーザが所定動作を行うことで認証操作の開始又は終了を受け付ける。これにより、ユーザは自身のタイミングでユーザ認証を行うことができ、ユーザ認証で行われる視線の誤検知が防がれる。 In this way, the HMD 12 according to this embodiment accepts the start or end of the authentication operation when the user performs a specific action. This allows the user to perform user authentication at their own timing, and prevents erroneous detection of the line of sight during user authentication.

［１－５．本実施形態に係るユーザ認証処理］
図６は、主制御部３４によって実行されるユーザ認証処理の流れを示すフローチャートであり、ユーザ認証処理を実行するためのプログラムは記憶部３６の所定領域に予め記憶されている。なお、本実施形態に係るユーザ認証処理は、一例として、ユーザがＨＭＤ１２を起動させる場合に実行される。 [1-5. User authentication process according to this embodiment]
6 is a flowchart showing the flow of the user authentication process executed by the main control unit 34, and a program for executing the user authentication process is stored in advance in a predetermined area of the storage unit 36. Note that the user authentication process according to the present embodiment is executed, as an example, when the user starts up the HMD 12.

まず、ステップ１００では、認証用オブジェクト２４が認証用表示領域２２Ａに表示されているか否かを判定し、肯定判定の場合はステップ１０２へ移行する。なお、ＨＭＤ１２の起動時には、認証用オブジェクト２４は認証用表示領域２２Ａに表示されていない。このため、ユーザは、頭部を動かす等して、認証用オブジェクト２４を認証用表示領域２２Ａに表示させる。 First, in step 100, it is determined whether the authentication object 24 is displayed in the authentication display area 22A, and if the determination is affirmative, the process proceeds to step 102. Note that when the HMD 12 is started up, the authentication object 24 is not displayed in the authentication display area 22A. Therefore, the user moves his/her head, for example, to cause the authentication object 24 to be displayed in the authentication display area 22A.

ステップ１０２では、認証操作を開始することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０４へ移行する。なお、肯定判定の場合、認証処理部４２は認証開始報知を行う。 In step 102, the authentication processing unit 42 determines whether or not the user has performed a predetermined action indicating the start of the authentication operation, and if the determination is positive, the process proceeds to step 104. If the determination is positive, the authentication processing unit 42 issues a notification to start authentication.

ステップ１０４では、視線検知部３２がユーザ認証のための視線検知を行う。 In step 104, the gaze detection unit 32 performs gaze detection for user authentication.

次のステップ１０６では、認証操作を終了することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０８へ移行し、否定判定の場合はステップ１０４へ戻る。なお、肯定判定の場合、認証処理部４２は認証終了報知を行う。 In the next step 106, the authentication processing unit 42 determines whether or not the user has performed a predetermined action indicating the end of the authentication operation. If the determination is positive, the process proceeds to step 108, and if the determination is negative, the process returns to step 104. If the determination is positive, the authentication processing unit 42 notifies the user that the authentication has ended.

ステップ１０８では、視線検知の結果に基づいて認証を認証処理部４２が実行し、その後ユーザ認証処理を終了する。具体的には、認証用オブジェクト２４に対する視線検知の結果が、登録されている認証用視線情報と一致するか否かにより、認証の成否が判定される。認証に成功した場合、ユーザは、ＨＭＤ１２の操作が可能となる。一方、ユーザ認証に失敗した場合には、ステップ１００に戻り、ユーザ認証処理が再度行われる。 In step 108, the authentication processing unit 42 performs authentication based on the results of the gaze detection, and then ends the user authentication process. Specifically, the success or failure of authentication is determined depending on whether the results of gaze detection for the authentication object 24 match the registered authentication gaze information. If authentication is successful, the user is allowed to operate the HMD 12. On the other hand, if user authentication fails, the process returns to step 100, and the user authentication process is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ユーザの顔の向きを検知する顔向き検知部３０、及びユーザの視線を検知する視線検知部３２を備え、顔向き検知部３０による検知結果に応じて、ディスプレイ１６の画像表示領域２２に表示するオブジェクトを変化させる。そして、ＨＭＤ１２は、認証用オブジェクト２４をユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合にユーザ認証を行う。 As described above, the HMD 12 according to this embodiment includes a face direction detection unit 30 that detects the direction of the user's face, and a gaze detection unit 32 that detects the user's gaze, and changes the object displayed in the image display area 22 of the display 16 according to the detection result by the face direction detection unit 30. The HMD 12 then displays an authentication object 24 in the image display area according to the user's actions, and performs user authentication when the gaze detection unit 32 detects that the user has aligned their gaze with the authentication object 24.

このように、本実施形態に係るＨＭＤ１２は、ユーザが自身の頭部を動かすことで認証用オブジェクト２４を探し出し、認証用オブジェクト２４をディスプレイ１６に表示させる。そして、ＨＭＤ１２は、表示させた認証用オブジェクト２４に合わせたユーザの視線を検知することで、ユーザ認証を行うので、よりセキュリィティ性の高い認証を行える。 In this way, the HMD 12 according to this embodiment finds the authentication object 24 when the user moves his/her head, and displays the authentication object 24 on the display 16. The HMD 12 then detects the user's line of sight aligned with the displayed authentication object 24 to perform user authentication, thereby providing higher security in the authentication process.

また、認証用オブジェクト２４は、疑似的にユーザによって移動可能とされてもよい。この形態の場合、例えば、認証用オブジェクト２４が非認証用表示領域２２Ｂに表示されている場合に、疑似的にユーザが手で認証用オブジェクト２４を掴み、認証用オブジェクト２４を認証用表示領域２２Ａに移動させる。認証用オブジェクト２４を掴む操作は、ＨＭＤ１２に接続されているコントローラを介して行われてもよい。 The authentication object 24 may also be made movable by the user in a virtual manner. In this case, for example, when the authentication object 24 is displayed in the non-authentication display area 22B, the user virtually grasps the authentication object 24 with his or her hand and moves the authentication object 24 to the authentication display area 22A. The operation of grasping the authentication object 24 may be performed via a controller connected to the HMD 12.

また、複数の認証用オブジェクト２４が画像空間４４に存在していてもよい。この形態の場合、複数の認証用オブジェクト２４のうち、一つのみがユーザ認証に用いるものとして予め登録されている。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 In addition, multiple authentication objects 24 may exist in the image space 44. In this case, only one of the multiple authentication objects 24 is registered in advance as the object to be used for user authentication. The user moves his/her head to find one of the registered authentication objects 24 and have it displayed on the display 16, thereby performing user authentication.

また、認証用オブジェクト２４は移動してもよい。この形態の場合、例えば、複数の認証用オブジェクト２４が移動しながら、ディスプレイ１６に表示される。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 The authentication object 24 may also move. In this case, for example, multiple authentication objects 24 are displayed on the display 16 while moving. The user moves his/her head to find one of the registered authentication objects 24, and the object 24 is displayed on the display 16 to perform user authentication.

［２．第２実施形態］
以下、本発明の第２実施形態について説明する。 [2. Second embodiment]
A second embodiment of the present invention will now be described.

［２－１．第２実施形態に係るＨＭＤの構成］ [2-1. Configuration of HMD according to the second embodiment]

本第２実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１から図３に示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。 The configuration of the display system 10 and HMD 12 according to this second embodiment is similar to the configuration of the display system 10 and HMD 12 according to the first embodiment shown in Figures 1 to 3, so a description thereof will be omitted.

［２－２．第２実施形態に係るユーザ認証］
本実施形態に係る認証処理部４２は、視線検知部３２による視線検知の結果及び顔向き検知部３０による顔向き検知の結果に基づいてユーザ認証を行う。すなわち、ユーザ認証を成功とする条件は、ユーザが認証用オブジェクト２４を視認することと共に、顔の向きを予め登録された向きとすることである。 [2-2. User authentication according to the second embodiment]
The authentication processing unit 42 according to this embodiment performs user authentication based on the result of gaze detection by the gaze detection unit 32 and the result of face direction detection by the face direction detection unit 30. In other words, the condition for successful user authentication is that the user gazes at the authentication object 24 and that the face direction is a pre-registered direction.

予め登録された向きとは、例えば、上、下、右、左である。図７の例では、顔向き検知部３０によって検知された顔の方向と視線検知部３２によって検知された視線の方向とが逆向きになった場合に認証成功とする。 The pre-registered directions are, for example, up, down, right, and left. In the example of FIG. 7, authentication is successful when the face direction detected by the face direction detection unit 30 and the gaze direction detected by the gaze detection unit 32 are opposite to each other.

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。 As a result, the HMD 12 according to this embodiment enables more secure user authentication.

［３．第３実施形態］
以下、本発明の第３実施形態について説明する。 [3. Third embodiment]
A third embodiment of the present invention will now be described.

［３－１．第３実施形態に係るＨＭＤの構成］ [3-1. Configuration of the HMD according to the third embodiment]

本実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１及び図２に
示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。 The configurations of the display system 10 and the HMD 12 according to this embodiment are similar to the configurations of the display system 10 and the HMD 12 according to the first embodiment shown in FIGS. 1 and 2, and therefore a description thereof will be omitted.

本実施形態に係るＨＭＤ１２がディスプレイ１６に表示させる画像は、ＡＲである。このため、詳細を後述するカメラ５６がＨＭＤ１２の前面に備えられ、ＨＭＤ１２を装着したユーザの周囲（以下「実空間」という。）を撮像した画像（以下「実空間画像」という）を取得する。ディスプレイ１６には実空間画像と共にオブジェクトが表示されることで、ＡＲが実現される。 The image that the HMD 12 in this embodiment displays on the display 16 is AR. For this reason, a camera 56, which will be described in detail later, is provided on the front of the HMD 12, and captures an image (hereinafter referred to as a "real space image") of the surroundings of the user wearing the HMD 12 (hereinafter referred to as the "real space"). AR is realized by displaying objects on the display 16 together with the real space image.

［３－２．第３実施形態に係るユーザ認証］
本実施形態に係るＨＭＤ１２は、図８に示されるように、予め登録されている識別体（以下「登録識別体」という。）５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。登録識別体５０は、例えば実在する物体等であり、登録識別体５０を特定するための形状や色等の特徴部分が記憶部３６に記憶されている。登録識別体５０の特徴部分は、登録識別体５０を登録する場合に取得した実空間画像に対して画像解析を行うことで抽出される。 [3-2. User authentication according to the third embodiment]
8, when a pre-registered identifying object (hereinafter referred to as a "registered identifying object") 50 is displayed on the display 16, the HMD 12 according to this embodiment displays an authentication object 24 on the display 16. The registered identifying object 50 is, for example, an actual object, and characteristic parts such as shape and color for identifying the registered identifying object 50 are stored in the memory unit 36. The characteristic parts of the registered identifying object 50 are extracted by performing image analysis on a real-space image acquired when registering the registered identifying object 50.

図８の例では、登録識別体５０は、机５２に載置されたモニタ５４であり、このモニタ５４がディスプレイ１６に表示された場合に、認証用オブジェクト２４がディスプレイ１６に表示される。換言すると、認証用オブジェクト２４の初期位置が実空間において予め定められている。すなわち、登録識別体５０が認証用表示領域２２Ａに表示されるまで、認証用オブジェクト２４は画像空間内には存在しない。このため、登録識別体５０がディスプレイ１６に表示されていない場合、ユーザは、頭部を動かすことによって登録識別体５０をディスプレイ１６に表示させる。 In the example of FIG. 8, the registered identification object 50 is a monitor 54 placed on a desk 52, and when this monitor 54 is displayed on the display 16, the authentication object 24 is displayed on the display 16. In other words, the initial position of the authentication object 24 is determined in advance in real space. That is, the authentication object 24 does not exist in the image space until the registered identification object 50 is displayed in the authentication display area 22A. Therefore, when the registered identification object 50 is not displayed on the display 16, the user moves his/her head to cause the registered identification object 50 to be displayed on the display 16.

なお、図８に示される登録識別体５０は、一例であり、時計や窓等、他の物体であってもよいが、実空間において位置が変化しない物体が好ましい。また、図８の例では、認証用オブジェクト２４が登録識別体５０に重ね合わされて表示されるが、必ずしも重ね合わされる必要はない。 Note that the registered identification object 50 shown in FIG. 8 is just one example, and may be another object such as a clock or a window, but an object whose position does not change in real space is preferable. Also, in the example of FIG. 8, the authentication object 24 is displayed superimposed on the registered identification object 50, but this does not necessarily have to be the case.

認証用オブジェクト２４がディスプレイ１６に表示された場合、ユーザは、認証用表示領域２２Ａに認証用オブジェクト２４が表示されるように頭部を動かす。ユーザは、認証用オブジェクト２４を認証用表示領域２２Ａに表示させた後、視線を認証用オブジェクト２４に合わせることでユーザ認証を行う。 When the authentication object 24 is displayed on the display 16, the user moves his/her head so that the authentication object 24 is displayed in the authentication display area 22A. After the authentication object 24 is displayed in the authentication display area 22A, the user performs user authentication by aligning his/her gaze with the authentication object 24.

なお、認証用オブジェクト２４がディスプレイ１６に表示された後に、ユーザが頭部を動かすことで、登録識別体５０がディスプレイ１６に表示されなくなった場合、ＨＭＤ１２は、表示されていた認証用オブジェクト２４を非表示としてもよいし、そのまま認証用オブジェクト２４を表示し続け、ユーザ認証を可能としてもよい。 In addition, if the user moves their head after the authentication object 24 is displayed on the display 16 and the registered identification object 50 is no longer displayed on the display 16, the HMD 12 may either hide the authentication object 24 that was displayed, or continue to display the authentication object 24, enabling user authentication.

図９は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。なお、図９における図３と同一の構成部分については図３と同一の符号を付して、その説明を省略する。 Figure 9 is a functional block diagram showing the electrical configuration of the HMD 12 according to this embodiment. Note that components in Figure 9 that are the same as those in Figure 3 are given the same reference numerals as in Figure 3, and their description will be omitted.

カメラ５６は、ＨＭＤ１２の前面に備えられ、ユーザの周囲を撮像した実空間画像を取得する。 The camera 56 is mounted on the front of the HMD 12 and captures real-space images of the user's surroundings.

画像表示制御部４０は、カメラ５６によって取得された実空間画像をリアルタイムでディスプレイ１６に表示させると共に、実在しない画像（オブジェクト）を実空間画像に重ね合わせてディスプレイ１６に表示させる。 The image display control unit 40 displays the real-space image acquired by the camera 56 on the display 16 in real time, and also displays a non-existent image (object) on the display 16 while superimposing it on the real-space image.

カメラ画像解析部５８は、実空間画像に対して画像解析等を行う等することで、カメラ５６によって撮像された物体を特定する。すなわち、実空間画像は、ディスプレイ１６に表示されながら画像解析が行われる。 The camera image analysis unit 58 performs image analysis on the real-space image to identify the object captured by the camera 56. That is, the real-space image is subjected to image analysis while being displayed on the display 16.

認証処理部４２は、カメラ画像解析部５８によって特定された物体と登録識別体５０とが一致するか否かを画像マッチング等により判定する。すなわち、認証処理部４２は、実空間画像に登録識別体５０とマッチングした物体が含まれている場合に、ディスプレイ１６に登録識別体５０が表示されていると判定し、認証用オブジェクト２４をディスプレイ１６に表示させる。 The authentication processing unit 42 determines whether the object identified by the camera image analysis unit 58 matches the registered identification object 50 by image matching or the like. That is, when the real-space image contains an object that matches the registered identification object 50, the authentication processing unit 42 determines that the registered identification object 50 is displayed on the display 16, and causes the authentication object 24 to be displayed on the display 16.

図１０は、本実施形態に係るユーザ認証処理の流れを示すフローチャートである。なお、図１０における図６と同一のステップについては図６と同一の符号を付して、その説明を一部又は全部省略する。 Figure 10 is a flowchart showing the flow of user authentication processing according to this embodiment. Note that the same steps in Figure 10 as those in Figure 6 are given the same reference numerals as those in Figure 6, and their explanations will be omitted in part or in whole.

まず、ステップ２００では、登録識別体５０がディスプレイ１６に表示されたか否か、換言すると、カメラ５６によって登録識別体が撮像されたか否かを認証処理部４２が判定し、肯定判定の場合はステップ２０２へ移行する。なお、ＨＭＤ１２が透過型であり、本ステップ２００で肯定判定となる場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像され、ディスプレイ１６を透過した登録識別体５０をユーザが直接視認している状態である。すなわち、ＨＭＤ１２が透過型の場合は、カメラ５６が撮像した画像はディスプレイ１６に表示されなくてもよい。 First, in step 200, the authentication processing unit 42 determines whether the registered identification object 50 is displayed on the display 16, in other words, whether the registered identification object has been imaged by the camera 56, and if the determination is positive, the process proceeds to step 202. Note that if the HMD 12 is a see-through type and the determination is positive in this step 200, the actual registered identification object 50 is imaged in a predetermined area (e.g., the central area) of the imaging range of the camera 56, and the user directly views the registered identification object 50 that passes through the display 16. In other words, if the HMD 12 is a see-through type, the image captured by the camera 56 does not need to be displayed on the display 16.

ステップ２０２では、認証用オブジェクト２４を認証処理部４２がディスプレイ１６に表示させてステップ１００へ移行する。 In step 202, the authentication processing unit 42 displays the authentication object 24 on the display 16 and proceeds to step 100.

ステップ１００からステップ１０８では、第１実施形態に係るユーザ認証処理と同様の処理を行う。ユーザ認証に失敗した場合には、ステップ２００に戻り、ユーザ認証処理が再度行われる。 In steps 100 to 108, the same processing as the user authentication processing according to the first embodiment is performed. If the user authentication fails, the process returns to step 200 and the user authentication processing is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ディスプレイ１６に実空間画像と共にオブジェクトを表示することで、ＡＲを実現するものであり、登録識別体５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。 As described above, the HMD 12 according to this embodiment realizes AR by displaying objects together with a real-space image on the display 16, and when a registered identification object 50 is displayed on the display 16, an authentication object 24 is displayed on the display 16.

なお、登録識別体５０は、予め複数が登録されており、ユーザ認証毎や所定日数毎等にユーザ認証に用いられる登録識別体５０が変更されてもよい。ユーザ認証に用いる登録識別体５０が変化する場合には、予め登録されているユーザのメールアドレス等に、変更された登録識別体５０に関する情報が通知される。 Note that multiple registered identification devices 50 are registered in advance, and the registered identification device 50 used for user authentication may be changed for each user authentication or every specified number of days. When the registered identification device 50 used for user authentication changes, information regarding the changed registered identification device 50 is notified to the user's pre-registered email address, etc.

また、登録識別体５０は、モニタ５４等の物体に限らず、例えばバーコードやＱＲコード（登録商標）等の識別コードや予め定められた画像等であってもよい。これら識別コードや画像は、紙等に印刷されたものであってもよいし、パソコンのモニタや携帯情報端末等に表示されたものであってもよい。 The registered identification object 50 is not limited to an object such as the monitor 54, but may be, for example, an identification code such as a barcode or a QR code (registered trademark) or a predetermined image. These identification codes and images may be printed on paper or the like, or may be displayed on a computer monitor, a mobile information terminal, or the like.

また、登録識別体５０は、実在する物体ではなく、ディスプレイ１６に表示される仮想の物体でもよい。この形態の場合、ユーザは、ＶＲ空間内で登録識別体５０まで移動し、ディスプレイ１６に表示させたり、ＶＲ空間内で登録識別体５０を把持してディスプレイ１６に表示させる。 The registered identification object 50 may also be a virtual object displayed on the display 16, rather than an actual object. In this case, the user moves to the registered identification object 50 in the VR space and has it displayed on the display 16, or holds the registered identification object 50 in the VR space and has it displayed on the display 16.

また、実在又は仮想の登録識別体５０そのものが認証用オブジェクト２４であってもよい。この場合、登録識別体５０が認証用表示領域２２Ａに表示された場合に、ユーザ認証が行われる。また、ＨＭＤ１２が透過型の場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像された場合に、ユーザ認証が行われても
よい。 Furthermore, the real or virtual registered identification object 50 itself may be the authentication object 24. In this case, user authentication is performed when the registered identification object 50 is displayed in the authentication display area 22A. Furthermore, in the case where the HMD 12 is a see-through type, user authentication may be performed when the real registered identification object 50 is captured in a predetermined area (e.g., a central area) of the imaging range of the camera 56.

［４．他の実施形態］
以上、本発明を、上記各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施形態に多様な変更又は改良を加えることができ、変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記各実施形態を適宜組み合わせてもよい。 4. Other embodiments
The present invention has been described above using the above-mentioned embodiments, but the technical scope of the present invention is not limited to the scope described in the above-mentioned embodiments. Various modifications or improvements can be made to the above-mentioned embodiments without departing from the gist of the invention, and the modified or improved forms are also included in the technical scope of the present invention. In addition, the above-mentioned embodiments may be appropriately combined.

例えば、上記各実施形態では、ＨＭＤ１２が認証処理部４２を備える形態について説明したが、本発明は、これに限定されるものではなく、サーバ１４が認証処理部４２を備える形態としてもよい。この形態の場合、ＨＭＤ１２がユーザ認証のために検知した検知結果がサーバ１４へ送信され、サーバ１４は、受信した検知結果に基づいてユーザ認証を行い、認証結果をＨＭＤ１２へ送信する。 For example, in each of the above embodiments, the HMD 12 is described as having an authentication processing unit 42, but the present invention is not limited to this, and the server 14 may have the authentication processing unit 42. In this case, the detection result detected by the HMD 12 for user authentication is transmitted to the server 14, and the server 14 performs user authentication based on the received detection result and transmits the authentication result to the HMD 12.

また、上記各実施形態では、本発明に係る認証をＨＭＤ１２の起動時に行われるユーザ認証に適用する形態について説明したが、本発明は、これに限定されるものではなく、例えば、ＨＭＤ１２で実行されるソフトウェアの起動時に行われるユーザ認証に適用されてもよい。また、ＨＭＤ１２で実行されるゲーム内における認証に適用されてもよい。ゲームの認証に適用される形態では、ＨＭＤ１２は、認証用オブジェクト２４に視線が合わされたことを検知した場合に認証を行い、認証に成功した場合に予め定められたイベントが発生する等してもよい。 In addition, in each of the above embodiments, the authentication according to the present invention has been described as being applied to user authentication performed when the HMD 12 is started up, but the present invention is not limited to this, and may be applied, for example, to user authentication performed when software executed by the HMD 12 is started up. It may also be applied to authentication within a game executed by the HMD 12. In a form applied to game authentication, the HMD 12 may perform authentication when it detects that the line of sight has been aligned with the authentication object 24, and a predetermined event may occur if the authentication is successful.

また、第１実施形態及び第２実施形態では、ＨＭＤ１２がＶＲを表示する形態について説明したが、本発明は、これに限定されるものではなく、ＨＭＤ１２がＡＲを表示する形態としてもよい。 In addition, in the first and second embodiments, a form in which the HMD 12 displays VR has been described, but the present invention is not limited to this, and the HMD 12 may also display AR.

また、上記各実施形態で説明したユーザ認証処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 The flow of the user authentication process described in each of the above embodiments is also an example, and unnecessary steps may be deleted, new steps may be added, or the processing order may be rearranged without departing from the spirit of the present invention.

１２ＨＭＤ（頭部装着ディスプレイ装置）
１６ディスプレイ
２２画像表示領域
２２Ａ認証用表示領域
２４認証用オブジェクト
３０顔向き検知部（顔向き検知手段）
３２視線検知部（視線検知手段）
４０画像表示制御部（画像表示制御手段）
４２認証処理部（認証手段） 12 HMD (Head Mounted Display Device)
16 Display 22 Image display area 22A Authentication display area 24 Authentication object 30 Face direction detection unit (face direction detection means)
32 Line of sight detection unit (line of sight detection means)
40 Image display control unit (image display control means)
42 Authentication processing unit (authentication means)

Claims

A camera, a display, and a processor,
The processor causes the display to superimpose an object associated with a position in the real space on an image captured by the camera of the real space; and
The processor, prior to user authentication, places an authentication object used for user authentication outside a display area of the display;
the processor enables a user authentication operation when the authentication object and a registered identification object existing in the real space are displayed in a display area of the display,
The processor enables the user authentication operation even if the registered identification object is no longer displayed in the display area of the display after enabling the user authentication operation,
The processor performs the user authentication if the user authentication operation is enabled.
Device.

The user authentication is authentication for activation of the device.
2. The apparatus of claim 1.

An apparatus comprising a camera, a display, and a processor,
displaying, on the display, an image of the real space captured by the camera and an object associated with a position in the real space;
prior to user authentication, locating an authentication object used for user authentication outside a display area of the display;
When the authentication object and a registered identification object existing in a real space are displayed in a display area of the display, a user authentication operation is enabled;
enabling the user authentication operation even if the authentication object is no longer displayed in the display area of the display after the user authentication operation has been enabled;
When the user authentication operation is possible, the user authentication is performed.
A program for executing a process.

An apparatus comprising a camera, a display, and a processor,
displaying, on the display, an image of the real space captured by the camera and an object associated with a position in the real space;
prior to user authentication, locating an authentication object used for user authentication outside a display area of the display;
When the authentication object and a registered identification object existing in a real space are displayed in a display area of the display, a user authentication operation is enabled;
enabling the user authentication operation even if the authentication object is no longer displayed in the display area of the display after the user authentication operation has been enabled;
When the user authentication operation is possible, the user authentication is performed .
Information processing methods.

The present invention includes an apparatus including a camera and a display, and a server,
The server,
displaying, on the display, an image of the real space captured by the camera and an object associated with a position in the real space;
prior to user authentication, locating an authentication object used for user authentication outside a display area of the display;
When the authentication object and a registered identification object existing in a real space are displayed in a display area of the display, a user authentication operation is enabled;
enabling the user authentication operation even if the authentication object is no longer displayed in the display area of the display after the user authentication operation has been enabled;
When the user authentication operation is possible, the user authentication is performed.
system.