Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
WO2024134736A1 - ヘッドマウントディスプレイ装置および立体音響の制御方法 - Google Patents
[go: Go Back, main page]

WO2024134736A1 - ヘッドマウントディスプレイ装置および立体音響の制御方法 - Google Patents

ヘッドマウントディスプレイ装置および立体音響の制御方法 Download PDF

Info

Publication number
WO2024134736A1
WO2024134736A1 PCT/JP2022/046717 JP2022046717W WO2024134736A1 WO 2024134736 A1 WO2024134736 A1 WO 2024134736A1 JP 2022046717 W JP2022046717 W JP 2022046717W WO 2024134736 A1 WO2024134736 A1 WO 2024134736A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound field
user
sound
sensor
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/046717
Other languages
English (en)
French (fr)
Inventor
貞雄 鶴賀
展明 甲
淳司 塩川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to PCT/JP2022/046717 priority Critical patent/WO2024134736A1/ja
Publication of WO2024134736A1 publication Critical patent/WO2024134736A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a head-mounted display device and a method for controlling stereophonic sound.
  • HMD head-mounted display devices
  • HMDs come in two types: one that is worn on the user's head like glasses, and one that is worn to cover the user's eyes, known as an immersive type.
  • three-dimensional images of virtual reality (VR) or augmented reality (AR) can be displayed on the display screen of an HMD.
  • Augmented reality (AR) allows the user to view images in which various information is superimposed on real images.
  • VR virtual reality
  • AR augmented reality
  • the user can use the HMD to experience the world of virtual reality (VR) or augmented reality (AR) not only visually but also aurally.
  • Patent Document 1 is known as a technology related to such stereophonic sound.
  • Patent Document 1 describes a method for reproducing omnidirectional images and sounds using an HMD and headphones.
  • the system includes an extraction circuit that extracts a video signal within the user's field of view from a video signal that surrounds the user, and a sound field conversion circuit that converts the audio signal that surrounds the user into an audio signal that localizes a sound image outside the user's head when the audio signal is played back through the headphones. Extraction by the extraction circuit and conversion by the sound field conversion circuit are performed based on a detection signal from a detection means that detects the orientation of the user's head.
  • the user can hear sounds in which the sound image localization changes according to the direction of the head by moving their head.
  • the HMD can detect the movement of the user's head and control the sound field in the stereophonic sound, and ultimately the sound image localization.
  • Sound image localization is the phenomenon of perceiving the direction of a sound source and the distance to the sound source.
  • the sound field is defined by the world coordinate system used in the field of three-dimensional graphics, in other words, the global coordinate system.
  • the HMD may control the sound field in stereophonic sound by regarding the movement of the vehicle, rather than the user, as the movement of the user's head.
  • the sound field is controlled against the user's will, which may disrupt the user's sense of direction, i.e., their semicircular canals.
  • similar situations may occur not only in such cases, but also when the sound field in stereophonic sound is controlled in situations where the user cannot correctly recognize the positioning of sound images.
  • the present invention was made in consideration of the above, and one of its objectives is to provide a head-mounted display device that enables a user to properly hear stereophonic sound, and a method for controlling stereophonic sound.
  • an HMD worn on a user's head is provided with a sensor device that includes at least a motion sensor that detects the movement of the user's head and detects the state of the user or the state of the user's surroundings, an audio output device that converts an input audio signal into an output audio and emits the output audio, and a controller.
  • the controller determines whether or not sound field control in stereophonic sound is required based on the detection result of the sensor device.
  • the controller determines that sound field control is required, it controls the sound field according to the detection result of the motion sensor and outputs an audio signal with the sound field controlled to the audio output device, and if it determines that sound field control is not required, it stops the control of the sound field and outputs an audio signal with the sound field control stopped to the audio output device.
  • the head-mounted display device allows the user to properly hear stereophonic sound.
  • FIG. 1 is a schematic diagram showing an example of an external configuration of a head mounted display device according to a first embodiment
  • 2 is a block diagram showing a schematic configuration example of the head mounted display device shown in FIG. 1
  • FIG. 2B is a schematic diagram showing a configuration example of a main part of a controller in FIG. 2A
  • 2C is a schematic diagram illustrating an example of a stereophonic content executed by the stereophonic generation unit in FIG. 2B.
  • 2C is a block diagram showing a detailed configuration example of the sound field control filter group in FIG. 2B.
  • FIG. 2C is a flow chart showing an example of processing contents of a main part of a controller in FIG. 2B.
  • FIG. 6 is a flowchart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 .
  • FIG. 10 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 in the head mounted display device according to the second embodiment.
  • FIG. 11 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 in the head mounted display device according to the embodiment 3.
  • FIG. 10 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 in the head mounted display device according to the embodiment 3.
  • FIG. 13 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed by a controller, in the head mounted display device according to embodiment 4.
  • FIG. 13 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 in the head mounted display device according to the fifth embodiment.
  • FIG. 13 is a flow chart showing an example of detailed processing contents of a process for determining whether or not a sound field needs to be fixed, which is executed in step S102 in FIG. 5 in the head mounted display device according to the sixth embodiment.
  • FIG. 23 is a block diagram showing a schematic configuration example of a mobile device according to embodiment 7.
  • FIG. 23 is a block diagram showing a schematic configuration example of a mobile device according to embodiment 8.
  • the audio playback technology of the present invention can contribute to "9. Build resilient infrastructure, promote inclusive and sustainable industrialization and promote innovation" of the Sustainable Development Goals (SDGs) advocated by the United Nations.
  • SDGs Sustainable Development Goals
  • Fig. 1 is a schematic diagram showing an example of the external configuration of a head mounted display device according to embodiment 1.
  • the head mounted display device (HMD) shown in Fig. 1 includes an HMD main body 100 worn on a user's head, a chest-worn wearable terminal 200 worn on the user's chest, a wristband-type wearable terminal 300 worn on the user's arm, and an input controller 400.
  • the HMD main body 100 is equipped with sensor devices that detect the user's state or the state of the user's surroundings.
  • the sensor devices include a camera 111, a right eye gaze sensor 112, a left eye gaze sensor 113, an acceleration sensor 114, a gyro sensor 115, a geomagnetic sensor 116, a temperature and humidity sensor 117, a surrounding object detection sensor 118, a speech sound microphone 121, first to third peripheral sound microphones 131 to 133, a GPS receiver 161, etc.
  • the HMD body 100 detects the state of the user's surroundings by capturing an image in front of the user using the camera 111.
  • the HMD body 100 also detects the state of the user's surroundings by detecting objects around the user and sounds around the user using the peripheral object detection sensor 118 and the first to third peripheral sound microphones 131 to 133.
  • the HMD body 100 also detects the movement of the user's head, i.e., the state of the user, using motion sensors such as the acceleration sensor 114, gyro sensor 115, and geomagnetic sensor 116.
  • the HMD body 100 also detects the user's state by detecting the user's line of sight using the right eye line sensor 112 and left eye line sensor 113, and by detecting the user's speech using the speech sound microphone 121.
  • the HMD body 100 also detects the position of the HMD body 100, and therefore the user, using the GPS receiver 161.
  • the HMD main body 100 further includes a display unit 119.
  • the display unit 119 is placed in front of both eyes and is, for example, a transmissive display that displays predetermined information to the user. For example, when augmented reality (AR) is realized using a transmissive display, a real image of the outside world is transmitted onto the display surface, and a three-dimensional image generated by a computer is superimposed on the real image with parallax.
  • the display unit 119 may also display virtual reality (VR) information, information on the real space captured by the camera 111, etc.
  • VR virtual reality
  • the speech microphone 121 collects the user's voice and converts it into an audio signal. For example, the speech microphone 121 collects the user's voice when the user is on the phone, online, or talking with another person in real space.
  • the first to third peripheral sound microphones 131 to 133 constitute an audio input device.
  • the audio input device is attached near the user's ears and collects ambient sounds that are generated outside the HMD and enter the ears and converts them into audio signals.
  • the first peripheral sound microphone 131 is provided in the center of the HMD body 100 and collects sounds that are spoken by other people toward the user.
  • the second and third peripheral sound microphones 132, 133 are provided in contact with the user's left and right ears and collect ambient sounds that enter the user's ears from the outside.
  • the HMD main body 100 further includes audio output devices that are attached to the left and right ears of the user.
  • the audio output devices are, for example, headphones 122a, 122b.
  • the headphones 122a, 122b convert the left and right output audio signals generated and input inside the HMD into left and right output sounds, respectively, and emit them toward the user.
  • the headphones 122a, 122b may be either air-conducted or bone-conducted.
  • the headphones 122a, 122b may be semi-closed type, which is worn so as to contact the surface of the ear, or open type (open-ear type), which is worn without completely blocking the ear.
  • open-ear type headphones 122a, 122b the user can hear ambient sounds coming in through the headphones 122a, 122b in addition to the original sound.
  • open-ear types that do not block the ears at all are often used.
  • the audio output device 122 is not limited to the headphones 122a, 122b, and may be earphones, etc.
  • the chest-worn wearable terminal 200 includes a heart rate sensor 201 that is part of a sensor device.
  • the heart rate sensor 201 detects the heart rate, which is the number of times the heart beats within a certain period of time.
  • the wristband-type wearable terminal 300 includes a blood pressure sensor 301 that is part of a sensor device.
  • the blood pressure sensor 301 detects the user's blood pressure.
  • the wristband-type wearable terminal 300 may be in the shape of a wristwatch or a bracelet.
  • the wristband-type wearable terminal 300 may also be equipped with a pulse sensor as a sensor device that detects the pulse rate, which is the number of times the arteries pulsate. Furthermore, the wristband-type wearable terminal 300 may also be equipped with a sensor device that can measure body temperature, blood oxygen, and blood glucose levels. In other words, the chest-worn wearable terminal 200 or the wristband-type wearable terminal 300 may be equipped with a biosensor that detects various health conditions of the user, such as heart rate, blood pressure, pulse rate, blood glucose level, etc.
  • the input controller 400 is an interface device that allows the user to perform various input operations.
  • the chest-worn wearable terminal 200, the wristband-type wearable terminal 300, and the input controller 400 transmit and receive information to and from the HMD main body 100 via short-range wireless communication. In this case, information may be transmitted and received wirelessly or by wire.
  • the input controller 400 may also be configured as a smartphone, tablet, PC, or the like on which remote control application software is installed.
  • an HMD that is worn on the user's head can detect the user's condition or the condition of the user's surroundings by means of a sensor device provided in the HMD main body 100.
  • the HMD can also detect the user's condition, i.e., health condition such as heart rate and blood pressure, by means of a sensor device provided in the chest-worn wearable terminal 200 or the wristband-type wearable terminal 300.
  • the HMD can detect the user's condition, specifically, the movement of the user's head, by means of a motion sensor that is provided in the HMD main body 100 and is part of the sensor device, specifically, the acceleration sensor 114, the gyro sensor 115, or the geomagnetic sensor 116.
  • FIG. 2A is a block diagram showing an example of the schematic configuration of the head mounted display device shown in FIG. 1.
  • the HMD main body 100 comprises the various sensor devices 151 (111-118, 121, 131-133, 161) described in FIG. 1, a display unit 119, and an audio output device 122.
  • the HMD main body 100 comprises a vibration generator 124, a controller 125, a memory 128, a soundproof ear cover detection unit 134, a three-dimensional image generation processing unit 141, a short-range wireless communication IF 142, and a mobile wireless communication IF 152.
  • interface is abbreviated to IF.
  • Each of these components is connected to each other via a bus 150.
  • the camera 111 is installed on the front of the HMD main body 100 and captures the scenery in front of the user.
  • the captured image is displayed on the display unit 119 as an image of real space.
  • the right eye gaze sensor 112 and the left eye gaze sensor 113 detect the gaze of the right eye and the left eye, respectively.
  • the technology for detecting the user's gaze is commonly known as eye tracking.
  • an infrared LED Light Emitting Diode
  • an image is taken with an infrared camera
  • the position on the cornea of the reflected light generated by the irradiation of the infrared LED is used as a reference point
  • the gaze is detected based on the position of the pupil relative to the position of the corneal reflex.
  • the acceleration sensor 114 detects acceleration, which is the change in speed per second, and detects movement, vibration, impact, etc.
  • the gyro sensor 115 detects angular velocity in the rotational direction, and detects vertical, horizontal, and diagonal posture states.
  • the geomagnetic sensor 116 detects the earth's magnetic force, and detects the direction in which the HMD main body 100 is facing. Therefore, by using motion sensors such as the acceleration sensor 114, gyro sensor 115, or geomagnetic sensor 116, it is possible to detect head movement of a user wearing the HMD main body 100.
  • the gyro sensor 115 or geomagnetic sensor 116 can be used, and the acceleration sensor 114 can also be used if necessary, to detect the movement of the user's head.
  • the acceleration sensor 114 can also be used if necessary, to detect the movement of the user's head.
  • a three-axis type geomagnetic sensor 116 is used that detects geomagnetic fields in the up-down direction in addition to the front-back and left-right directions, it is possible to detect head movement with higher accuracy by detecting changes in geomagnetic fields in response to head movement.
  • the temperature and humidity sensor 117 detects the temperature and humidity around the user.
  • the surrounding object detection sensor 118 detects the distance to an object, the direction of the object, and the relative speed to the object by emitting radio waves, light waves, ultrasonic waves, etc. to the object and detecting the waves reflected from the object. By wearing the surrounding object detection sensor 118 on the user's head, it is possible to detect the distance to objects around the user, the relative speed to the object, and the direction in which the objects are located, using the user as a reference point.
  • the GPS receiver 161 receives radio waves from the Global Positioning System (GPS), which is one of the Global Navigation Satellite Systems (GNSS). Based on the signals received from GPS satellites, the GPS receiver 161 outputs position information of the HMD main body 100, and ultimately the user's position information. Using the controller 125, the HMD main body 100 determines its own position by comparing the position information from the GPS receiver 161 with map information obtained from a network, etc. Furthermore, the HMD main body 100 can calculate the movement history and movement distance on the map by recording the history of its own position.
  • GPS Global Positioning System
  • GNSS Global Navigation Satellite Systems
  • the controller 125 is composed of a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the processor controls each component by executing programs 126 such as an OS (Operating System) and an operation control application stored in memory 128, thereby controlling the operation of the entire HMD.
  • programs 126 such as an OS (Operating System) and an operation control application stored in memory 128, thereby controlling the operation of the entire HMD.
  • the memory 128 is a flash memory, a working RAM, etc.
  • the memory 128 stores programs 126 such as an OS and an operation control application used by the controller 125.
  • the memory 128 also stores various information data 127 such as data on output audio signals generated by the HMD main body 100, data on three-dimensional images in virtual reality (VR) and augmented reality (AR), and health status data from the wearable terminals 200, 300.
  • the information data 127 also includes data on stereophonic content.
  • the three-dimensional image data is generated by a three-dimensional image generation processing unit 141.
  • the three-dimensional image generation processing unit 141 may be provided in the controller 125.
  • the data of the output audio signal generated by the HMD main body 100 includes data of a voice assistant that responds to the user's requests through voice dialogue with the user, such as calling out to the user, giving guidance, conveying information, warnings, etc.
  • the display unit 119 is composed of a liquid crystal panel or the like, and displays information on real space, virtual reality (VR) information, and augmented reality (AR) information through images.
  • the display unit 119 may also display, for example, notification information presented to the user through a menu screen or the like, the operating status of the HMD, and the like.
  • the display unit 119 may display information to notify the user, for example, when sound emission of an output audio signal is started, interrupted, or resumed. This allows the user to recognize that, for example, when sound emission is interrupted or resumed, the interruption or resume is due to normal control operation and not a malfunction.
  • the vibration generator 124 generates vibrations in response to instructions from the controller 125, and converts, for example, notification information for the user generated by the HMD main body 100 into vibrations.
  • the vibration generator 124 generates vibrations while worn closely against the user's head, allowing for more easily recognizable notifications to be given to the user.
  • the soundproof ear cover detection unit 134 detects, based on the image, whether the user's ears are covered with a hand or the like, and thus whether ambient sounds entering the ears have been soundproofed. It is also possible to detect whether ambient sounds have been soundproofed based on the volume of ambient sounds entering the second and third ambient sound microphones 132, 133.
  • the short-range wireless communication IF 142 performs short-range wireless communication between the chest-worn wearable terminal 200, the wristband-type wearable terminal 300, and the input controller 400, which are within a range where short-range wireless communication is possible.
  • the short-range wireless communication IF 142 for example, receives detection signals from sensor devices mounted on the wearable terminals 200, 300, transmits control signals for controlling vibration generators mounted on the wearable terminals 200, 300, and transmits and receives input operation information to the input controller 400.
  • the short-range wireless communication IF 142 is typically an electronic tag.
  • the short-range wireless communication IF 142 is not limited to this, and may be any type capable of wireless communication when the HMD main body 100 is located near the chest-worn wearable terminal 200, the wristband-type wearable terminal 300, and the input controller 400. Examples of such a type include Bluetooth (registered trademark), IrDA (Infrared Data Association), Zigbee (registered trademark), HomeRF (Home Radio Frequency, registered trademark), or wireless LAN (IEEE802.11a, IEEE802.11b, IEEE802.11g), etc.
  • the mobile wireless communication IF 152 transmits and receives telephone communication (call) data via wireless communication with a base station of a mobile wireless communication network (not shown), and also transmits and receives various data via a core network.
  • a base station of a mobile wireless communication network not shown
  • various data via a core network.
  • W-CDMA Wideband Code Division Multiple Access, registered trademark
  • GSM Global System for Mobile communications, registered trademark
  • LTE Long Term Evolution
  • 5G (5th Generation) system etc.
  • other communication systems may also be used.
  • the HMD can provide the user with various services based on various types of virtual reality (VR) or augmented reality (AR) three-dimensional image data and stereophonic content data that are stored in advance as information data 127. Furthermore, by connecting to the Internet via the mobile wireless communication IF 152 or via the short-range wireless communication IF 142 and a wireless router (not shown), the HMD can provide the user with various types of virtual reality (VR) or augmented reality (AR) three-dimensional image services and stereophonic content distribution services that exist on the Internet.
  • VR virtual reality
  • AR augmented reality
  • the chest-worn wearable terminal 200 has a heart rate sensor 201, which is a sensor device, a vibration generator 202, and a short-range wireless communication IF 203.
  • the heart rate sensor 201 is worn closely against the user's chest to accurately detect the user's heart rate.
  • the short-range wireless communication IF 203 transmits information about the detected heart rate to the HMD main body 100 by short-range wireless communication.
  • the vibration generator 202 generates vibrations in response to a control input, and by being worn closely against the user's chest, the generated vibrations can be reliably transmitted to the user.
  • the wristband-type wearable terminal 300 has a blood pressure sensor 301, which is a sensor device, a vibration generator 302, and a short-range wireless communication IF 303.
  • the blood pressure sensor 301 is wrapped around the user's arm and worn to accurately detect the user's blood pressure.
  • the short-range wireless communication IF 303 transmits information about the detected blood pressure to the HMD main body 100 via short-range wireless communication.
  • the vibration generator 302 generates vibrations in response to control inputs, and by wrapping the device around the user's arm and wearing it, the generated vibrations can be reliably transmitted to the user.
  • the HMD main body 100 receives heart rate information from the heart rate sensor 201 and blood pressure information from the blood pressure sensor 301 via the short-range wireless communication IF 142. Furthermore, notification information sent to the user from the HMD main body 100 is transmitted to the vibration generators 202 and 302 of the wearable devices 200 and 300 via the short-range wireless communication IFs 142, 203 and 303. The vibration generators 202 and 302 can convert the notification information into vibrations, allowing the user to recognize the notification information.
  • the vibration generator 124 of the HMD main body 100 and the vibration generators 202, 302 of each wearable terminal 200, 300 may generate vibrations to notify the user when, for example, starting, pausing, or resuming emission of an output audio signal. Furthermore, the vibration generators 124, 202, 302 may generate vibrations when fixing the sound field or releasing the fixation of the sound field, as will be described in detail later. This allows the user to be more aware that, for example, stereophonic control has been suspended.
  • the HMD main body 100 may also notify the user of this by having the audio output device 122 produce a sound representing the suspension or resumption of sound emission, the fixing of the sound field, or the release of the fixation of the sound field.
  • the input controller 400 has an input operation IF 401 and a short-range wireless communication IF 402.
  • the input operation IF 401 is, for example, a keyboard or key buttons. The user can set and input information that he or she wishes to input via the input operation IF 401.
  • the input operation IF 401 may also be, for example, a capacitive touch pad.
  • Information input via the input operation IF 401 is transmitted to the HMD main body 100 via the short-range wireless communication IF 402. Note that, although wireless communication is used here to improve usability, wired communication may of course also be used.
  • the example configuration of the HMD shown in FIG. 2A also includes components that are not essential to the embodiment.
  • Non-essential components can be deleted, replaced, or added as appropriate.
  • a digital broadcast receiving function, an electronic money payment function, etc. may be added.
  • ⁇ Controller Overview> 2B is a schematic diagram showing an example of the configuration of the main parts of the controller in FIG. 2A.
  • the controller 125 shown in FIG. 2B includes a sound field control necessity determination unit 170 and a stereophonic generation unit 171.
  • the sound field control necessity determination unit 170 determines whether or not control of the sound field in stereophonic sound is necessary based on the detection results of the sensor devices 151 and 165.
  • the sensor device 151 includes at least a motion sensor that detects the movement of the user's head, and detects the user's state or the state around the user.
  • the sensor device 165 includes a biosensor, such as a heart rate sensor 201 or a blood pressure sensor 301, provided in each of the wearable devices 200 and 300 shown in FIG. 2A, and detects the user's state, specifically, health state.
  • the sound field control necessity determination unit 170 generally determines whether or not the user is in a situation where he or she can correctly recognize sound image localization, based on the detection results of the sensor devices 151, 165. If the user is in a situation where he or she can correctly recognize sound image localization, the sound field control necessity determination unit 170 determines that control of the sound field, and therefore sound image localization, is necessary. On the other hand, if the user is in a situation where he or she cannot correctly recognize sound image localization, the sound field control necessity determination unit 170 determines that control of the sound field, and therefore sound image localization, is unnecessary.
  • the stereophonic sound generation unit 171 generates stereophonic sound by executing a stereophonic content program 126 stored in the memory 128, such as a music playback application.
  • the stereophonic sound generation unit 171 includes a sound field control filter group 175.
  • the sound field control filter group 175 processes pre-stored sound source signals from a sound source used in the stereophonic sound according to the detection result of the motion sensor in the sensor device 151. At this time, the sound source signals from the sound source are pre-stored in the memory 128 as, for example, information data 127 of the stereophonic sound content.
  • the stereophonic sound generation unit 171 uses the sound field control filter group 175 to control the sound field in accordance with the detection result of the motion sensor, and outputs an audio signal with the sound field controlled to the audio output device 122.
  • the stereophonic sound generation unit 171 stops the sound field control, and outputs an audio signal with the sound field control stopped to the audio output device 122.
  • the controller 125 stops control of the sound field when the user is in a situation where he or she cannot correctly recognize the sound image localization, thereby enabling the user to properly hear the stereophonic sound. Specifically, it is possible to prevent a situation in which the sound field is controlled against the user's will, and to prevent a situation in which the user's sense of direction, i.e., the semicircular canals, is disturbed.
  • Fig. 3 is a schematic diagram for explaining an example of stereophonic content executed by the stereophonic generation unit 171 in Fig. 2B.
  • the stereophonic content shown in Fig. 3 allows the user to experience realistic music that combines, for example, three-dimensional video and stereophonic sound.
  • P1 is a performer who plays the drums M1
  • P2 is a performer who plays the guitar M2
  • P3 is a performer who plays the keyboard M3.
  • a virtual space showing the state in which these three performers P1 to P3 are performing is displayed as a three-dimensional image on the display unit 119 of the HMD main body 100.
  • the positions of performers P1 to P3 are defined within a virtual space, and in the example shown in FIG. 3, performer P1 is positioned directly in front of the user, performer P2 is positioned to the left as seen by the user, and performer P3 is positioned to the right as seen by the user.
  • the user will hear the sound of drum M1 from the front, the sound of guitar M2 from the left, and the sound of keyboard M3 from the right.
  • the stereophonic generation unit 171 controls the sound field so that the user perceives the sound image positioning in these directions.
  • the image of performer P1 and the sound of drum M1 become louder, as if the user is actually approaching performer P1.
  • the image of performer P2 and the sound of guitar M2 become louder, as if the user is actually approaching performer P2.
  • the image of performer P3 and the sound of keyboard M3 become louder, as if the user is actually approaching performer P3.
  • the stereophonic sound generation unit 171 controls the sound field based on the detection results of the motion sensor so that such changes in sound occur.
  • the three-dimensional image generation processing unit 141 also controls the image based on the detection results of the motion sensor so that such changes in the image occur.
  • the image is controlled so that performer P2 is displayed at the center of the display unit 119, and the sound field is controlled so that the sound of guitar M2 is heard from the front.
  • the image is controlled so that performer P3 is displayed at the center of the display unit 119, and the sound field is controlled so that the sound of keyboard M3 is heard from the front.
  • FIG. 4 is a block diagram showing a detailed configuration example of the sound field control filter group 175 in FIG. 2B.
  • AS1 to AS6 are sound source signals obtained by recording the sound source of the stereophonic content in advance with multiple microphones arranged at predetermined angles.
  • the sound source signals are stored in advance in memory 128 as information data 127.
  • the sound source signals are obtained from a server on the Internet via mobile wireless communication IF 152 or via a wireless router and short-range wireless communication IF 142 (not shown), and stored in memory 128.
  • the controller 125 acquires the sound source signals AS1 to AS6 stored in the memory 128 via the bus 150, and outputs them to the audio signal filters F01R to F06R and audio signal filters F01L to F06L shown in FIG. 4.
  • the audio signal filters F01R to F06R are for generating an audio output signal for the right ear, and are composed of, for example, an FIR type digital filter.
  • the audio signal filters F01L to F06L are for generating an audio output signal for the left ear, and are composed of, for example, an FIR type digital filter.
  • CTRL is a sound field control signal for variably setting the transfer characteristics, i.e., transfer functions, for each of the audio signal filters F01R to F06R and F01L to F06L.
  • the stereophonic generation unit 171 uses a motion sensor to detect the relative position between the sound source position defined in the virtual space and the position of the user watching, and the user's orientation relative to the sound source, and determines the transfer functions for each of the audio signal filters F01R to F06R and F01L to F06L according to the detection results.
  • the stereophonic generation unit 171 then variably sets the determined transfer functions for the audio signal filters F01R to F06R and F01L to F06L using the sound field control signal CTRL.
  • the adder AdR adds the outputs of the right-ear audio signal filters F01R to F06R, and outputs the sum as a right audio output signal ROUT to the right-ear headphone 122a via the bus 150.
  • the adder AdL adds the outputs of the left-ear audio signal filters F01L to F06L, and outputs the sum as a left audio output signal LOUT to the left-ear headphone 122b via the bus 150.
  • the stereophonic sound generation unit 171 uses the sound field control signal CTRL to fix the transfer function of the sound field control filter group 175 regardless of the detection result of the motion sensor.
  • Specific fixing methods include a method of fixing the transfer function to the one at the time when it is determined that sound field control is unnecessary, or a method of fixing the transfer function to a preset initial value.
  • the stereophonic sound generation unit 171 may bypass the sound field control filter group 175 so that the sound source signals AS1 to AS6 are output directly to the adders AdR and AdL. Furthermore, the stereophonic sound generation unit 171 may essentially fix the sound field by, for example, changing the stereophonic sound to a two-channel stereo output.
  • Fig. 5 is a flow diagram showing an example of the processing contents of the main part of the controller 125 in Fig. 2B.
  • the flow shown in Fig. 5 is realized, for example, by the controller 125 executing the stereophonic content program 126.
  • the controller 125 repeatedly executes the flow shown in Fig. 5 for each predetermined control cycle.
  • the controller 125 reads the detection results of the various sensor devices 151, 165 (step S101).
  • the sound field control necessity determination unit 170 determines whether or not the sound field needs to be fixed based on the detection results of the sensor devices 151, 165 (step S102). If the sound field control necessity determination unit 170 determines in step S102 that the sound field needs to be fixed (step S103: Yes), it proceeds to step S104, and if it determines that the sound field does not need to be fixed (step S103: No), it proceeds to step S108.
  • step S104 the sound field control necessity determination unit 170 determines whether the current state is a fixed sound field state or a controlled sound field state.
  • the fixed sound field state is a state in which sound field control is stopped
  • the controlled sound field state is a state in which sound field control is performed based on the detection results of the motion sensor. If the current state is a fixed sound field state (step S104: Yes), the sound field control necessity determination unit 170 proceeds to step S113.
  • step S104 if the sound field control state is in a sound field control state (step S104: No), the sound field control necessity determination unit 170 resets the count value CNT (step S105). Then, the sound field control necessity determination unit 170 issues a message to the effect that the sound field control will be fixed (step S106), transitions from the sound field control state to the sound field fixed state, and proceeds to step S113 (step S107). Note that the count value CNT in step S105 is used when returning from the sound field fixed state to the sound field control state, as will be described in detail later.
  • the sound field control necessity determination unit 170 reads, for example, a message indicating that the sound field control is to be fixed from the information data 127, and outputs this to the audio output device 122.
  • a message indicating that the sound field control is to be fixed from the information data 127
  • the audio output device 122 may not be a message, but may be some kind of sound that allows the user to understand that the sound field control is to be fixed.
  • vibrations may be generated by the vibration generator 124 so that the user can understand that the sound field control is to be fixed.
  • step S108 the sound field control necessity determination unit 170 determines whether the current state is a sound field control state or a fixed sound field state. If the current state is a sound field control state (step S108: Yes), the sound field control necessity determination unit 170 proceeds to step S113. On the other hand, if the current state is a fixed sound field state (step S108: No), the sound field control necessity determination unit 170 increments the count value CNT (step S109) and determines whether the count value CNT has exceeded the cycle threshold value Cth (step S110).
  • the cycle threshold value Cth may be a value that can be arbitrarily set by the user.
  • step S110: No If the count value CNT does not exceed the cycle threshold value Cth (step S110: No), the sound field control necessity determination unit 170 proceeds to step S113 while maintaining the sound field fixed state. On the other hand, if the count value CNT exceeds the cycle threshold value Cth (step S110: Yes), the sound field control necessity determination unit 170 issues a message to the effect that sound field control will be resumed (step S111), transitions from the sound field fixed state to the sound field controlled state, and proceeds to step S113 (step S112).
  • step S111 the sound field control necessity determination unit 170 reads, for example, a message indicating that sound field control will be resumed from the information data 127, and outputs it to the audio output device 122.
  • a message indicating that sound field control will be resumed from the information data 127
  • the audio output device 122 may not be a message, but may be some kind of sound that allows the user to understand that sound field control will be resumed.
  • vibrations may be generated by the vibration generator 124 so that the user can understand that sound field control will be resumed.
  • step S113 the controller 125, more specifically the stereophonic sound generation unit 171, generates a sound field control signal CTRL according to the sound field fixed state or the sound field controlled state, and sets it in the sound field control filter group 175. That is, when the sound field is fixed, the stereophonic sound generation unit 171 generates a sound field control signal CTRL for fixing the sound field. On the other hand, when the sound field is controlled, the stereophonic sound generation unit 171 generates a sound field control signal CTRL that changes according to the detection result of the motion sensor.
  • step S107 a transition to the sound field fixed state is made immediately.
  • the image of the virtual space displayed on the display unit 119 may be made non-displayed or may be displayed in a reduced size in a corner of the display unit 119, so that the user is not hindered from viewing the image of the real space.
  • step S112 if the count value CNT exceeds the cycle threshold value Cth, i.e., if it is determined via step S103 that sound field fixation is not required for a number of consecutive cycles that exceed the cycle threshold value Cth, a transition to the sound field control state is made (step S112).
  • the sound field control is resumed when a stable determination that sound field fixation is not required is obtained.
  • the processing flow of the controller 125 is not particularly limited to the flow shown in FIG. 5 and may be modified as appropriate.
  • a flow is used here in which fixing the sound field is prioritized and the sound field is immediately fixed when a determination is made that the sound field needs to be fixed, but a flow may be used in which the sound field is fixed when a determination is made that the sound field needs to be fixed for multiple consecutive cycles.
  • control is performed using the count value CNT, but similar control can be performed by instead using a timer processing unit (not shown) to set the timer time instead of the value of the cycle threshold value Cth.
  • the timer time setting may be a value that can be arbitrarily set by the user.
  • Fig. 6 is a flow chart showing an example of detailed processing contents of the sound field fixing necessity determination processing executed in step S102 in Fig. 5.
  • the controller 125 more specifically, the sound field control necessity determination unit 170 is a part of the sensor device 151, and refers to the detection result of the position sensor that detects the position of the user (step S201).
  • the position sensor is realized by, for example, any one or a combination of a motion sensor, that is, the acceleration sensor 114, the gyro sensor 115 or the geomagnetic sensor 116, the GPS receiver 161, and the camera 111.
  • the user's position in other words, movement state
  • the user's position can be detected by accumulating the user's movements based on the detection results of the motion sensor.
  • the user's position can be detected directly using the detection results of the GPS receiver 161.
  • the sound field control necessity determination unit 170 calculates the user's movement distance away from the sound source based on the detected user's position, in other words, the movement state (step S202). Specifically, the sound field control necessity determination unit 170 calculates the user's movement distance away from the sound source based on the position of the nearest sound source defined in the virtual space, for example, in the case of FIG. 3, the position of the drum M1, guitar M2, or keyboard M3.
  • the position of the sound source is defined in the virtual space, for example, at the time when the stereophonic content is started, and is linked to the real space at that time using the world coordinate system.
  • the sound field control necessity determination unit 170 determines whether the user has moved a predetermined distance or more in a direction away from the sound source (step S203). If the user has moved the predetermined distance or more (step S203: Yes), the sound field control necessity determination unit 170 determines that the sound field needs to be fixed, in other words, that sound field control is not necessary (step S204). On the other hand, if the user has not moved the predetermined distance or more (step S203: No), the sound field control necessity determination unit 170 proceeds to step S205.
  • step S205 the sound field control necessity determination unit 170 refers to the detection result of the motion sensor. Then, based on the detection result of the motion sensor, the sound field control necessity determination unit 170 determines whether the user's head has moved significantly (step S206). Specifically, the sound field control necessity determination unit 170 determines whether the user's head has moved by more than a reference amount at a reference speed or more.
  • step S206: Yes the sound field control necessity determination unit 170 determines that the sound field needs to be fixed (step S204). On the other hand, if the user's head has not moved significantly (step S206: No), the sound field control necessity determination unit 170 determines that the sound field does not need to be fixed, in other words, that sound field control is required (step S207).
  • step S203 for example, consider a case where a user is using stereophonic content and is on board public transport.
  • the HMD may use a motion sensor to detect the movement of the vehicle, not just the user's head, and may control the sound field by regarding the movement of the vehicle as the movement of the user's head.
  • a situation may arise where the user is unable to recognize the positioning of the sound image, disrupting the user's sense of direction, i.e., their semicircular canals.
  • step S202 the distance the user has moved in the direction away from the sound source is calculated based on the user's position, in other words, the state of movement.
  • the user's speed or acceleration in the direction away from the sound source may also be calculated.
  • step S203 based on the calculation result, it is determined whether the user has moved in the direction away from the sound source at or above a predetermined speed or acceleration. If the mounted object moves at or above the predetermined speed or acceleration, it can be determined that the sound field needs to be fixed. As a result, it goes without saying that it is possible to prevent a situation in which the user's sense of direction is disturbed.
  • an HMD it also works in conjunction with a mobile device such as a smartphone that is equipped with a motion sensor carried by the user, and the HMD receives the detection results of the motion sensor of the mobile device such as the smartphone via the short-range wireless communication IF 142, compares the received detection results with the detection results of the motion sensor of the HMD, and if the detection results are the same (or in the same range), it can detect that the movement is due to the movement of the mounted object and not the HMD. This makes it possible to prevent the movement of the mounted object from being regarded as the movement of the user's head and controlling the sound field.
  • step S203 it is determined whether the user has moved a predetermined distance or more in a direction away from the sound source (step S203), and if the user has moved a predetermined distance or more (step S203: Yes), the above-mentioned comparison process is performed. Specifically, the detection result of the motion sensor of the mobile terminal is compared with the detection result of the motion sensor of the HMD, and if the detection results are the same (or in the same range), it can be detected as being caused by the movement of the loaded object, and the sound field control necessity determination unit 170 determines that sound field fixation is required, in other words, that sound field control is unnecessary.
  • the detection result of the motion sensor of the mobile terminal is compared with the detection result of the motion sensor of the HMD, and if the detection results are different (or in a different range), it can be detected as not being caused by the movement of the loaded object, and the sound field control necessity determination unit 170 determines that sound field fixation is not required, in other words, that sound field control is necessary.
  • step S206 if a user is using stereophonic content and senses something unusual in the surrounding external environment, such as danger, the user may move their head quickly and widely in that direction. In this case, the user's visual or auditory attention will be directed in the direction of the sensed abnormality, which may result in a situation where the sound image localization cannot be recognized.
  • the sound field can be fixed in such a case, making it possible to prevent a situation in which the user's attention to the abnormality is hindered.
  • the system may further calculate whether the rhythm of the music and the rhythm of the user's head movement are the same, and if it detects that they are the same rhythm or within a certain range, it may be possible to make it unnecessary to fix the sound field. In other words, if it is deemed that the user is listening to music and moving his or her head in time with the music, sound field control may be continued as is.
  • the specified distance in step S203 in FIG. 6 may be a short distance.
  • Wi-Fi positioning Wi-Fi positioning
  • RFID positioning RFID positioning
  • beacon positioning pedestrian autonomous navigation positioning
  • IMES Indoor Messaging System
  • acoustic positioning UWB (Ultra Wide Band) positioning
  • visible light positioning may be used instead of the GPS receiver 161. This may enable the position to be determined with greater accuracy.
  • the HMD according to the first embodiment determines whether or not the user is in a situation where the sound image localization cannot be recognized based on the detection result of the sensor device, and if the user is in a situation where the sound image localization cannot be recognized, the HMD can stop the control of the sound field in the stereophonic sound without the user explicitly performing an operation. Specifically, if the user is some distance away from the sound source or if the user's head moves significantly, the HMD can stop the control of the sound field, assuming that the user is in a situation where the sound image localization cannot be recognized. As a result, it is possible to prevent the user's sense of direction, i.e., the semicircular canals, from being disturbed, and it is possible for the user to properly hear the stereophonic sound.
  • Fig. 7 is a flow chart showing an example of detailed processing contents of the sound field fixing necessity determination processing executed in step S102 in Fig. 5 in the head mounted display device according to embodiment 2.
  • the controller 125 more specifically, the sound field control necessity determination unit 170 in Fig. 2B, refers to the detection results of the right eye gaze sensor 112 and the left eye gaze sensor 113 which are part of the sensor device 151 (step S301).
  • the sound field control necessity determination unit 170 calculates the number of times the user's gaze changes within a predetermined time based on the detection results of the right eye gaze sensor 112 and the left eye gaze sensor 113 (step S302). Next, the sound field control necessity determination unit 170 determines whether at least one of the number of times the right eye's gaze changes or the number of times the left eye's gaze changes exceeds a predetermined upper limit (step S303). If the number of times the gaze changes exceeds the upper limit (step S303: Yes), the sound field control necessity determination unit 170 determines that the sound field needs to be fixed, in other words, that sound field control is not necessary (step S304).
  • step S303: No the sound field control necessity determination unit 170 determines whether at least one of the number of gaze changes of the right eye or the number of gaze changes of the left eye is below a predetermined lower limit (step S305). If the number of gaze changes is below the lower limit (step S305: Yes), the sound field control necessity determination unit 170 determines that sound field fixation is required (step S304).
  • step S305: No the sound field control necessity determination unit 170 determines that sound field fixation is not required, in other words, that sound field control is required (step S306).
  • step S303 if the user is making rapid eye movements, a situation may arise in which the user is unable to recognize the sound image localization. That is, it is known that when humans move their gaze from one viewpoint to another distant viewpoint, a rapid rotation of the eyeballs called a saccade occurs. A user who is making a saccade is highly likely to be unable to recognize the sound image localization. Therefore, the sound field control necessity determination unit 170 determines that fixation of the sound field is necessary (step S304).
  • step S305 if the number of times the user's line of sight changes is extremely small, it is highly likely that the user is distracted due to drowsiness, etc. In this case, a situation may arise in which the user is unable to recognize the sound image localization. Therefore, even in such a case, the sound field control necessity determination unit 170 determines that it is necessary to fix the sound field (step S304).
  • the sound field control necessity determination unit 170 determines whether the time ratio during which the position of the user's gaze matches the display position of the virtual space information or real space information is equal to or greater than a predetermined reference value. If the time ratio during which they match is equal to or greater than the predetermined reference value, the sound field control necessity determination unit 170 determines that the user is unable to recognize the sound image localization due to gazing at the virtual space information or real space information.
  • the method of the second embodiment can also provide the same effects as those described in the first embodiment. Specifically, when the number of times the user changes his/her line of sight is extremely high or low, the HMD can stop controlling the sound field by determining that the user is unable to recognize the sound image localization.
  • Fig. 8 is a flow chart showing an example of detailed processing contents of the sound field fixing necessity determination processing executed in step S102 in Fig. 5 in the head mounted display device according to the embodiment 3.
  • the controller 125 more specifically, the sound field control necessity determination unit 170 in Fig. 2B, refers to the detection result of the biosensor which is a part of the sensor device 165 (step S401).
  • the biosensor is, for example, the heart rate sensor 201 or the blood pressure sensor 301.
  • the sound field control necessity determination unit 170 calculates the time rate of change of the detection result of the biosensor, i.e., the absolute value of the time rate of change of the user's heart rate or blood pressure value (step S402). Next, the sound field control necessity determination unit 170 determines whether the calculated time rate of change exceeds a predetermined threshold value (step S403). The threshold value at this time is determined individually depending on whether the target is the heart rate or blood pressure value.
  • step S403: Yes If the calculated time rate of change exceeds the threshold, i.e., if the heart rate increases or decreases rapidly, or if the blood pressure value increases or decreases rapidly (step S403: Yes), the sound field control necessity determination unit 170 determines that sound field fixation is necessary, in other words, sound field control is unnecessary (step S404). On the other hand, if the calculated time rate of change does not exceed the threshold (step S403: No), the sound field control necessity determination unit 170 determines that sound field fixation is unnecessary, in other words, sound field control is necessary (step S405).
  • step S403 if the rate of change over time in the heart rate or blood pressure exceeds the threshold, there is a high possibility that the user's physical condition has suddenly changed. In this case, the user may not be able to recognize the sound image localization, and the stereophonic sound may have a negative effect on the user's physical condition. Therefore, the sound field control necessity determination unit 170 determines that it is necessary to fix the sound field (step S404).
  • the sound field control necessity determination unit 170 may determine whether the time rate of change of at least one of the heart rate or blood pressure exceeds a threshold value.
  • the biosensor is not limited to the heart rate sensor 201 or the blood pressure sensor 301.
  • the wristband-type wearable terminal 300 may be equipped with a sensor device capable of measuring pulse, body temperature, blood oxygen, and blood glucose levels, and the time rate of change obtained from each sensor may be compared with an individual threshold value.
  • the HMD can stop controlling the sound field by assuming that the user is unable to recognize the sound image localization.
  • FIG. 9 is a flow chart showing an example of detailed processing contents of a sound field fixing necessity determination process executed by the controller 125 in the head mounted display device according to the embodiment 4.
  • the HMD according to the embodiment 4 has the configuration shown in Fig. 2A, and the controller 125 also has the same configuration as in Fig. 2B.
  • the sound field control necessity determination unit 170 in the controller 125 determines the necessity of sound field control without using the detection results of the sensor devices 151 and 165.
  • the memory 128 has identifiers and the like of specific applications registered in advance.
  • the identifiers and the like of specific applications are, for example, registered arbitrarily by the user, or are initially registered in advance as information data 127 of stereophonic content.
  • the sound field control necessity determination unit 170 determines whether or not an application registered as a specific application is running based on the registered contents in the memory 128, and if running, determines that sound field fixing is required, in other words, that sound field control is not required.
  • the controller 125 acquires identifiers of running applications from the OS (step 501).
  • the sound field control necessity determination unit 170 judges whether the acquired identifiers include a registered identifier (step S502). If a registered identifier is included (step S502: Yes), the sound field control necessity determination unit 170 judges that sound field fixing is required, in other words, sound field control is not required (step S503). On the other hand, if a registered identifier is not included (step S502: No), the sound field control necessity determination unit 170 judges that sound field fixing is not required, in other words, sound field control is required (step S504).
  • a specific application is one that, when used simultaneously with stereophonic content, makes it difficult for the user to recognize the sound image positioning caused by the stereophonic content.
  • a specific application is one that requires the user to use his or her hearing independently of the stereophonic content.
  • a specific application may also be one that conveys a sense of realism to the user through the visual sense independently of the stereophonic content, or one that requires the user to recognize the surrounding real space through the visual or auditory sense.
  • Specific examples of specific applications include navigation software for guiding a user to a desired destination, a telephone application for controlling a telephone, and a conference application.
  • a navigation software itself uses 3D sound
  • the sound field control by the navigation software is effective and the sound field created by the 3D sound content is fixed.
  • the HMD can stop control of the sound field by assuming that the user is unable to recognize the sound image localization.
  • Fig. 10 is a flow chart showing an example of detailed processing contents of the sound field fixing necessity determination processing executed in step S102 in Fig. 5 in the head mounted display device according to embodiment 5.
  • the controller 125 more specifically, the sound field control necessity determination unit 170 in Fig. 2B, refers to the detection results of the peripheral sound microphones 131 to 133, the speech sound microphone 121, or the camera 111, which are part of the sensor device 151 (step S601).
  • the sound field control necessity determination unit 170 determines whether the user is in a conversation with another person (step S602). If the user is in a conversation (step S602: Yes), the sound field control necessity determination unit 170 determines that sound field fixation is necessary, in other words, sound field control is unnecessary (step S603). On the other hand, if the user is not in a conversation (step S602: No), the sound field control necessity determination unit 170 determines that sound field fixation is unnecessary, in other words, sound field control is necessary (step S604).
  • the sound field control necessity determination unit 170 determines that the user is in a conversation state, for example, when it detects the user's speech through the speech sound microphone 121 and another person's speech through the peripheral sound microphones 131-133 within a predetermined period of time.
  • the sound field control necessity determination unit 170 may also combine the detection results of the speech sound microphone 121 and the peripheral sound microphones 131-133 with the detection results of the camera 111, and determine that the user is in a conversation state when another person is detected in the image of the camera 111.
  • the sound field control necessity determination unit 170 may further use the detection results of the right eye gaze sensor 112 and the left eye gaze sensor 113. Specifically, the sound field control necessity determination unit 170 detects eye movement using the right eye gaze sensor 112 and the left eye gaze sensor 113, and identifies where the user's attention is based on the detected eye movement and the detection results from the various microphones described above. Based on this identification result, the sound field control necessity determination unit 170 determines whether the user is in a conversation facing another person, or in a conversation on the phone.
  • the sound field control necessity determination unit 170 may also use the detection results of the camera 111 and the surrounding object detection sensor 118. Also, when a phone conversation is taking place, it is possible to fix the sound field using the method described in embodiment 4.
  • the HMD can stop controlling the sound field by assuming that the user is unable to recognize the sound image localization.
  • Fig. 11 is a flow chart showing an example of detailed processing contents of the sound field fixing necessity determination processing executed in step S102 in Fig. 5 in the head mounted display device according to the sixth embodiment.
  • the controller 125 more specifically, the sound field control necessity determination unit 170 in Fig. 2B, refers to the detection result of the surrounding object detection sensor 118 which is a part of the sensor device 151 (step S701). Based on this, the sound field control necessity determination unit 170 detects the distance and relative speed to objects such as cars, people, animals, etc. existing around the user.
  • step S702 determines whether or not an object approaching the user is present within a certain range. If an approaching object is present (step S702: Yes), the sound field control necessity determination unit 170 determines that sound field fixation is necessary, in other words, sound field control is unnecessary (step S703). On the other hand, if an approaching object is not present (step S702: No), the sound field control necessity determination unit 170 determines that sound field fixation is unnecessary, in other words, sound field control is necessary (step S704).
  • the surrounding object detection sensor 118 is used here, in some cases it is also possible to use the camera 111 instead of the surrounding object detection sensor 118. In other words, it is also possible to recognize objects from the images sequentially captured by the camera 111 by image recognition processing, and sequentially detect the distance to and relative speed of the object.
  • step S702 if an object approaching the user is present within a certain range, the user needs to direct his or her visual or auditory attention to the approaching object. In this case, it may be difficult for the user to recognize the sound image localization. Therefore, the sound field control necessity determination unit 170 determines that it is necessary to fix the sound field (step S703).
  • step S702 if the sound field control necessity determination unit 170 determines that an object approaching the user is present within a certain range, it may instruct the audio output device 122 to emit a warning sound indicating danger to the user. In addition, the sound field control necessity determination unit 170 may notify the user of the danger by displaying a notice on the display unit 119 or by using tactile vibrations from the vibration generators 124, 202, and 302.
  • the range for detecting approaching objects may be defined in two stages: a danger range located around the user, and a caution range located outside of that.
  • the controller 125 controls the sound field, for example, to emit sound from the direction opposite to the direction in which the object is present, and notifies the user of the sound emission operation by display, voice, or vibration. In this case, the user can hear the sound from the approaching object more reliably.
  • the controller 125 may control the sound field to emit sound from the direction in which the approaching object is present. In this case, it becomes easier for the user to recognize the direction of the approaching object.
  • the sound field control necessity determination unit 170 may determine whether or not the sound field needs to be fixed by using the temperature and humidity sensor 117 that detects the temperature and humidity around the user. Specifically, when the time rate of change of the temperature and humidity is equal to or greater than a reference value, there is a possibility that there is some abnormality in the user's surrounding environment, making it difficult to recognize the sound image localization. In such a case, the sound field control necessity determination unit 170 may determine that the sound field needs to be fixed. Furthermore, a similar determination may be made by using an air pressure sensor that detects air pressure instead of the temperature and humidity sensor 117.
  • the HMD can stop controlling the sound field by assuming that the user is unable to recognize the sound image localization.
  • FIG. 12 is a block diagram showing a schematic configuration example of a mobile device according to the seventh embodiment.
  • the methods described in the first to sixth embodiments are not limited to HMDs, and can also be applied to mobile devices.
  • a smartphone 600 is provided instead of the HMD main body 100 shown in FIG. 2A.
  • the wearable terminals 200 and 300 shown in FIG. 2A are connected to the smartphone 600.
  • headphones 500 with a head tracking function capable of detecting the movement of the user's head are connected to the smartphone 600.
  • the input controller 400 shown in FIG. 2A is not provided in FIG. 12.
  • the smartphone 600 differs from the HMD main body 100 shown in FIG. 2A in the following two points.
  • the first difference is that the right eye gaze sensor 112, the left eye gaze sensor 113, and the soundproof ear cover detection unit 134 are not provided.
  • the second difference is that the display unit 1210 is not a transmissive type as described in FIG. 2A, but is composed of a non-transmissive display panel such as a liquid crystal or organic EL.
  • the third difference is that the audio output device 122 is not provided. However, an audio output device such as a speaker instead of headphones may be provided.
  • the headphones 500 include a right-ear speaker 501R that outputs sound to the right ear, a left-ear speaker 502L that outputs sound to the left ear, a motion sensor that detects the movement of the user's head, and a short-range wireless communication IF 503.
  • the motion sensor includes an acceleration sensor 504 and a gyro sensor 505.
  • the smartphone 600 and the headphones 500 are capable of bidirectional communication via short-range wireless communication IFs 142 and 503.
  • the detection results of the motion sensor in the headphones 500 are sent to the smartphone 600 via the short-range wireless communication IFs 503 and 142.
  • the controller 125 more specifically the stereophonic sound generator 171, calculates the amount of axial and rotational movement of the user's head based on the received motion sensor detection results, as in the cases of Figures 2B and 4, and controls the sound field in the stereophonic sound according to the calculation results.
  • the stereophonic sound generator 171 then outputs a right audio output signal ROUT based on the controlled sound field to the right ear speaker 501R, and a left audio output signal LOUT to the left ear speaker 502L, via the short-range wireless communication IF 142.
  • the controller 125 may determine whether sound field control is necessary in the same manner as described in the first to sixth embodiments. That is, a stereophonic control program for executing the flows shown in FIGS. 5 to 11 may be implemented in the memory 128 of the smartphone 600. Note that the determination process based on the movement distance from the sound source shown in step S203 in FIG. 6 is not particularly required when the sound field is controlled in relative coordinates with the smartphone 600, as described in FIG. 6. However, even when the smartphone 600 is used, the determination process may be required when the sound field is controlled in the world coordinate system, as in the case of an HMD.
  • the mobile device is a smartphone 600, but it goes without saying that it may also be a wristwatch-type smartwatch.
  • FIG. 13 is a block diagram showing a schematic configuration example of a mobile device according to the eighth embodiment.
  • earphones 700R and 700L with a head tracking function are provided instead of the headphones 500 with a head tracking function shown in Fig. 12.
  • the right earphone 700R includes a right ear speaker 701R that outputs sound for the right ear, a motion sensor that detects the movement of the user's head, and a short-range wireless communication IF 702R.
  • the motion sensor here includes an acceleration sensor 703R and a gyro sensor 704R.
  • the left earphone 700L includes a left ear speaker 701L that outputs sound to the left ear, a motion sensor that detects the movement of the user's head, and a short-range wireless communication IF 702L.
  • the motion sensor includes an acceleration sensor 703L and a gyro sensor 704L.
  • the smartphone 600 and the earphones 700R, 700L are capable of bidirectional communication via short-range wireless communication IF142, 702R and short-range wireless communication IF142, 702L.
  • the detection result of the motion sensor in the right earphone 700R is sent to the smartphone 600 via the short-range wireless communication IF702R and short-range wireless communication IF142.
  • the detection result of the motion sensor in the left earphone 700L is sent to the smartphone 600 via the short-range wireless communication IF702L and short-range wireless communication IF142.
  • the controller 125 controls the sound field in the same manner as in the case of FIG. 12. Note that in the example of FIG. 13, a motion sensor is mounted on both the right earphone 700R and the left earphone 700L. However, the present invention is not limited to this, and a motion sensor may be mounted on only one of the earphones 700R, 700L, and the controller 125 may control the sound field based on the detection result of that one earphone.
  • the mobile device is a smartphone 600, but it goes without saying that it may also be a wristwatch-type smartwatch.
  • control to fix the sound field is performed according to various situations, but depending on the content of the HMD, the user may not want such control to fix the sound field. Therefore, for example, the user may set for each content whether or not to perform control to fix the sound field for the HMD main body 100.
  • the HMD main body 100 may select for each content whether or not to perform control to fix the sound field according to this user setting.
  • the heart rate sensor 201 in the chest-worn wearable terminal 200, the blood pressure sensor 301 in the wristband-type wearable terminal 300, and the input operation IF 401 in the input controller 400 may be incorporated into the HMD main body 100.
  • the heart rate sensor 201 can detect the heart rate when worn closely against the head
  • the blood pressure sensor 301 can detect the blood pressure value in the head artery just below the scalp when worn closely against the head.
  • the input operation IF 401 may be installed in a position within the HMD main body 100 where the user can easily perform input operations.
  • the user may vocalize a voice indicating an input operation, and the voice may be collected by the vocalization microphone 121 to capture the input operation information.
  • An input operation screen may be displayed on the display unit 119, and the input history and operation information may be captured based on the position on the input operation screen to which the gaze is directed as detected by the right eye gaze sensor 112 and the left eye gaze sensor 113.
  • a pointer may be displayed on the input operation screen, and the input operation information may be captured by specifying the position with a hand movement or the like.
  • each processing example may be independent programs, or multiple programs may constitute a single application program. Furthermore, the order in which each process is performed may be changed.
  • each function may be realized in part or in whole in hardware, for example by designing them as integrated circuits. They may also be realized in software by a microprocessor unit, CPU, etc. interpreting and executing an operating program that realizes each function. Furthermore, there is no restriction on the scope of software implementation, and hardware and software may be used together. Furthermore, each function may be realized in part or in whole in a server.
  • the server may take any form as long as it can execute functions in cooperation with other components via communications, and may be, for example, a local server, a cloud server, an edge server, or an online service.
  • Information such as programs, tables, and files that realize each function may be stored in a memory, a recording device such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD, or may be stored in a device on a communications network.
  • a recording device such as a hard disk or SSD (Solid State Drive)
  • a recording medium such as an IC card, SD card, or DVD
  • control lines and information lines shown in the diagram are those considered necessary for explanation, and do not necessarily represent all control lines and information lines on the product. In reality, it can be assumed that almost all components are interconnected.
  • HMD main body Head-mounted display device main body
  • 111 Camera
  • 112 Right eye gaze sensor
  • 113 Left eye gaze sensor
  • 114 Acceleration sensor
  • 115 Gyro sensor
  • 116 Geomagnetic sensor
  • 117 Temperature and humidity sensor
  • 118 Surrounding object detection sensor
  • 119 Display unit
  • 121 Speech sound microphone
  • 122 Audio output device
  • 124, 202, 302 Vibration generator
  • 125 Controller
  • 128 Memory
  • 132 Second peripheral sound microphone
  • 133 Third peripheral sound microphone
  • Ambient sound microphone 134: Soundproof ear cover detection unit
  • 141 3D image generation processing unit
  • 142 203
  • 151, 165 Sensor device
  • 152 Mobile wireless communication IF
  • 170 Sound field control necessity determination unit
  • 171 Stereophonic sound generation unit
  • 175 Sound field control filter group
  • 200 Chest-worn

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)

Abstract

ユーザに立体音響を適切に聴取させることが可能なヘッドマウントディスプレイ装置、および立体音響の制御方法を提供する。ユーザの状態またはユーザの周囲の状態を検知するセンサデバイス１５１，１６５と、音声出力デバイス１２２と、コントローラ１２５と、を設ける。コントローラ１２５は、立体音響における音場の制御の要否をセンサデバイス１５１，１６５の検知結果に基づいて判定する。そして、コントローラ１２５は、音場の制御を要と判定した場合には、モーションセンサの検知結果に応じて音場を制御し、音場が制御された音声信号を音声出力デバイス１２２へ出力し、音場の制御を不要と判定した場合には、音場の制御を停止し、音場の制御を停止した状態の音声信号を音声出力デバイス１２２へ出力する。

Description

ヘッドマウントディスプレイ装置および立体音響の制御方法
　本発明は、ヘッドマウントディスプレイ装置および立体音響の制御方法に関する。
　近年、立体音響に対応したオーディオメディアが広まってきている。立体音響とは、三次元空間上の音場を制御する技術であり、音場とは、音波の分布、すなわち強さや拡がり等を表す。一方、コンピュータやコンピュータネットワークの中に構築された、三次元の仮想空間を用いた各種サービスが広まってきている。このような仮想空間を利用するための装置として、ＰＣ（Personal Computer）、タブレット、スマートフォン等の他に、携帯型映像表示装置でもあるヘッドマウントディスプレイ装置が知られている。明細書では、ヘッドマウントディスプレイ装置を「ＨＭＤ」と略す。
　ＨＭＤの形態として、ユーザの頭部に眼鏡のようにして装着される形態や、ユーザの目全体を覆うようにして装着される、没入型と呼ばれる形態が知られている。ＨＭＤの表示画面上には、例えば、仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）の三次元画像を表示することができる。拡張現実（ＡＲ）を用いると、現実の画像に各種情報を重畳させた画像を、ユーザに視認させることができる。ここで、仮想現実（ＶＲ）や拡張現実（ＡＲ）の三次元画像の表示に、立体音響の技術を組み合わせると、ユーザは、ＨＭＤを用いて視覚のみならず聴覚も含めて、仮想現実（ＶＲ）や拡張現実（ＡＲ）の世界を体感することができる。
　このような立体音響に関連する技術として、特許文献１が知られている。特許文献１には、ＨＭＤおよびヘッドフォンにより全方位の映像および音響を再現する方式が記載されている。具体的には、ユーザの周囲を取り囲むような映像信号からユーザの視野範囲の映像信号を切り出す切り出し回路と、ヘッドフォンによる音響信号の再生時に、ユーザを取り囲むような音響信号を、音像がユーザの頭外に定位するような音響信号に変換する音場変換回路と、が設けられる。切り出し回路による切り出しおよび音場変換回路による変換は、ユーザの頭の向きを検出する検出手段からの検出信号に基づいて行われる。
特開２００２－１７１４６０号公報
　例えば、特許文献１に示されるようなヘッドトラッキング対応のＨＭＤで立体音響を再生すると、ユーザは、頭を動かすことにより、頭の向きに応じて音像定位が変化する音を聞くことができる。すなわち、ＨＭＤは、ユーザの頭の動きを検出して、立体音響における音場、ひいては音像定位を制御することができる。音像定位とは、音源の方向や音源との距離を知覚する事象である。
　ただし、特許文献１では、三次元グラフィクスの分野で用いられるワールド座標系、言い換えればグローバル座標系によって音場が定義されている。このため、例えば、ＨＭＤを装着したユーザが交通機関に搭乗している場合等では、ＨＭＤは、ユーザではなく搭乗物の動きをユーザの頭部の動きとみなして立体音響における音場を制御することがある。その結果、ユーザの意識に反して音場が制御されることになり、ユーザの方向感覚、すなわち三半規管が乱されるおそれがあった。さらに、このような場合に限らず、ユーザが音像定位を正しく認識できない状況下において、立体音響における音場が制御されると、同様の事態が生じるおそれがあった。
　本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、ユーザに立体音響を適切に聴取させることが可能なヘッドマウントディスプレイ装置、および立体音響の制御方法を提供することにある。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。一例を挙げると、ユーザの頭部に装着して使用されるＨＭＤにおいて、ユーザの頭部の動きを検知するモーションセンサを少なくとも含み、ユーザの状態またはユーザの周囲の状態を検知するセンサデバイスと、入力された音声信号を出力用音声に変換して放音する音声出力デバイスと、コントローラと、を設ける。コントローラは、立体音響における音場の制御の要否をセンサデバイスの検知結果に基づいて判定する。そして、コントローラは、音場の制御を要と判定した場合には、モーションセンサの検知結果に応じて音場を制御し、音場が制御された音声信号を音声出力デバイスへ出力し、音場の制御を不要と判定した場合には、音場の制御を停止し、音場の制御を停止した状態の音声信号を音声出力デバイスへ出力する。
　上記ヘッドマウントディスプレイ装置により、ユーザは立体音響を適切に聴取することが可能になる。
　なお、上記した以外の課題、構成および効果は、以下の実施の形態の説明により明らかにされる。
実施の形態１によるヘッドマウントディスプレイ装置の外観構成の一例を示す模式図である。 図１に示されるヘッドマウントディスプレイ装置の概略構成例を示すブロック図である。 図２Ａにおけるコントローラの主要部の構成例を示す概略図である。 図２Ｂにおける立体音響生成部で実行される立体音響コンテンツの一例を説明する模式図である。 図２Ｂにおける音場制御フィルタ群の詳細な構成例を示すブロック図である。 図２Ｂにおけるコントローラの主要部の処理内容の一例を示すフロー図である。 図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態２によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態３によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態４によるヘッドマウントディスプレイ装置において、コントローラが実行する音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態５によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態６によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。 実施の形態７によるモバイル装置の概略構成例を示すブロック図である。 実施の形態８によるモバイル装置の概略構成例を示すブロック図である。
　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
　また、本発明に係る音声再生技術により、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「９．産業と技術革新の基盤をつくろう」に貢献できる。
　（実施の形態１）
　＜ヘッドマウントディスプレイ装置（ＨＭＤ）の概略＞
　図１は、実施の形態１によるヘッドマウントディスプレイ装置の外観構成の一例を示す模式図である。図１に示されるヘッドマウントディスプレイ装置（ＨＭＤ）は、ユーザの頭部に装着されるＨＭＤ本体１００と、ユーザの胸部に装着される胸部装着型ウエアラブル端末２００と、ユーザの腕部に装着されるリストバンド型ウエアラブル端末３００と、入力コントローラ４００とを備える。
　ＨＭＤ本体１００は、ユーザの状態またはユーザの周囲の状態を検知するセンサデバイスを備える。センサデバイスには、カメラ１１１、右目視線センサ１１２、左目視線センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６、温湿度センサ１１７、周辺物体検知センサ１１８、発声音マイク１２１、第１～第３の外周音マイク１３１～１３３、ＧＰＳ受信機１６１等が含まれる。
　概略として、ＨＭＤ本体１００は、カメラ１１１を用いてユーザの前方映像を撮影することで、ユーザの周囲の状態を検知する。また、ＨＭＤ本体１００は、周辺物体検知センサ１１８や、第１～第３の外周音マイク１３１～１３３等を用いて、ユーザの周囲に存在する物体や、ユーザの周囲音を検知することで、ユーザの周囲の状態を検知する。また、ＨＭＤ本体１００は、加速度センサ１１４、ジャイロセンサ１１５、地磁気センサ１１６といったモーションセンサによってユーザの頭部の動き、すなわち、ユーザの状態を検知する。さらに、ＨＭＤ本体１００は、右目視線センサ１１２、左目視線センサ１１３によってユーザの視線を検知したり、発声音マイク１２１によってユーザの発声を検知することで、ユーザの状態を検知する。さらに、ＨＭＤ本体１００は、ＧＰＳ受信機１６１を用いて、ＨＭＤ本体１００の位置、ひいてはユーザの位置を検知する。
　ＨＭＤ本体１００は、さらに、表示部１１９を備える。表示部１１９は、両眼の前方に設置され、例えば、所定の情報をユーザに表示する透過型ディスプレイ等である。例えば、透過型ディスプレイを用いて拡張現実（ＡＲ）を実現する場合、表示面には外界の実像が透過され、その実像上にコンピュータで生成された三次元画像が、視差を以って重畳表示される。なお、表示部１１９は、仮想現実（ＶＲ）の情報や、カメラ１１１で撮影された現実空間の情報等を表示してもよい。
　発声音マイク１２１は、ユーザからの発声音声を集音して音声信号に変換する。例えば、発声音マイク１２１は、ユーザが電話やオンライン通話、あるいは現実空間の他者と会話をしているときのユーザからの発声音声を集音する。第１～第３の外周音マイク１３１～１３３は、音声入力デバイスを構成する。音声入力デバイスは、ユーザの耳部近傍に装着され、ＨＭＤの外部で発生して耳に入ってくる周囲音を集音して音声信号に変換する。第１の外周音マイク１３１は、ＨＭＤ本体１００の中心部に設けられ、ユーザに向かって他者等から発声された音声を集音する。第２および第３の外周音マイク１３２，１３３は、ユーザの左右の耳に接して設けられ、外部からユーザの耳に入ってくる周囲音を集音する。
　ＨＭＤ本体１００は、さらに、ユーザの左右の耳部にそれぞれ装着される音声出力デバイスを備える。音声出力デバイスは、例えば、ヘッドフォン１２２ａ，１２２ｂ等である。ヘッドフォン１２２ａ，１２２ｂは、ＨＭＤ内部で生成されて入力された左右の出力音声信号を、左右の出力用音声にそれぞれ変換してユーザに向けて放音する。なお、ユーザがヘッドフォン１２２ａ，１２２ｂで音を聴く際には、耳に入ってきて空気の振動で伝えられた気導音で聞く場合と、耳を経由することなく骨の振動で伝えられた骨導音で聞く場合とがある。ヘッドフォン１２２ａ，１２２ｂは、気導音型でも骨導音（骨伝導）型でもよい。
　また、ヘッドフォン１２２ａ，１２２ｂは、耳の表面に接するように装着される半密閉型であっても、耳を完全に塞ぐことなく装着される開放型（オープンイヤー型）であってもよい。オープンイヤー型のヘッドフォン１２２ａ，１２２ｂを用いる場合、ユーザは、本来の音声に加えて、ヘッドフォン１２２ａ，１２２ｂの周りを経由して入ってきた周囲音を聞くことができる。特に、骨伝導型ヘッドフォンでは、オープンイヤー型の中でも耳を全く塞がないタイプが用いられる場合が多い。なお、音声出力デバイス１２２は、ヘッドフォン１２２ａ，１２２ｂに限らず、イヤフォン等であってもよい。
　胸部装着型ウエアラブル端末２００は、センサデバイスの一部である心拍センサ２０１を備える。心拍センサ２０１は、一定時間内に心臓が拍動する回数である心拍数を検知する。リストバンド型ウエアラブル端末３００は、センサデバイスの一部である血圧センサ３０１を備える。血圧センサ３０１は、ユーザの血圧を検知する。リストバンド型ウエアラブル端末３００は、腕時計型やブレスレット型の形状であってもよい。
　また、リストバンド型ウエアラブル端末３００は、センサデバイスとして、動脈の拍動回数である脈拍数を検知する脈拍センサを備えてもよい。さらに、リストバンド型ウエアラブル端末３００は、体温測定、血中酸素測定、血糖値測定を行えるセンサデバイスを備えてもよい。すなわち、胸部装着型ウエアラブル端末２００またはリストバンド型ウエアラブル端末３００は、ユーザの心拍数、血圧値、脈拍数、血糖値等といった各種の健康状態を検知する生体センサを備えればよい。
　入力コントローラ４００は、ユーザが各種の入力操作を行うためのインタフェース装置である。胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００、入力コントローラ４００は、近距離無線通信により、ＨＭＤ本体１００との間で情報の送受信を行う。この際には、無線に限らず有線で情報の送受信を行ってもよい。また、入力コントローラ４００は、リモコン用のアプリケーションソフトウェアをインストールしたスマートフォン、タブレット、ＰＣ等で構成されてもよい。
　以上のように、ユーザの頭部に装着して使用されるＨＭＤは、ＨＭＤ本体１００に設けられたセンサデバイスによって、ユーザの状態またはユーザの周囲の状態を検知することができる。また、ＨＭＤは、胸部装着型ウエアラブル端末２００またはリストバンド型ウエアラブル端末３００に設けられたセンサデバイスによって、ユーザの状態、すなわち、心拍数、血圧値等の健康状態を検知することができる。さらに、ＨＭＤは、ＨＭＤ本体１００に設けられ、センサデバイスの一部であるモーションセンサ、具体的には、加速度センサ１１４、ジャイロセンサ１１５、または地磁気センサ１１６によって、ユーザの状態、具体的には、ユーザの頭部の動きを検知することができる。
　図２Ａは、図１に示されるヘッドマウントディスプレイ装置の概略構成例を示すブロック図である。図２Ａにおいて、ＨＭＤ本体１００は、図１で述べた各種センサデバイス１５１（１１１～１１８、１２１、１３１～１３３、１６１）と、表示部１１９と、音声出力デバイス１２２とを備える。これに加えて、ＨＭＤ本体１００は、振動発生器１２４と、コントローラ１２５と、メモリ１２８と、防音耳カバー検出部１３４と、三次元映像生成処理部１４１と、近距離無線通信ＩＦ１４２と、移動体無線通信ＩＦ１５２とを備える。明細書では、インタフェースをＩＦと略す。これらの各構成要素は、それぞれバス１５０を介して相互に接続されている。
　カメラ１１１は、ＨＭＤ本体１００の前面に設置され、ユーザ前方の風景を撮影する。撮影された映像は、現実空間の映像として表示部１１９に表示される。右目視線センサ１１２および左目視線センサ１１３は、それぞれ右目および左目の視線を検知する。ユーザの視線を検知する技術は、アイトラッキングとして一般的に知られている。例えば、角膜反射を利用したアイトラッキングでは、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射し赤外線カメラで撮影し、赤外線ＬＥＤの照射で生じた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検知する。
　加速度センサ１１４は、１秒当たりの速度の変化である加速度を検知するものであり、動き・振動・衝撃等を検知する。ジャイロセンサ１１５は、回転方向の角速度を検知するものであり、縦・横・斜めの姿勢の状態を検知する。地磁気センサ１１６は、地球の磁力を検出するものであり、ＨＭＤ本体１００の向いている方向を検知する。よって、加速度センサ１１４、ジャイロセンサ１１５または地磁気センサ１１６といったモーションセンサを用いると、ＨＭＤ本体１００を装着しているユーザの頭部の動きを検知することができる。
　具体的には、例えば、ジャイロセンサ１１５または地磁気センサ１１６を用い、さらに、必要に応じて加速度センサ１１４を併用すると、ユーザの頭部の動きを検知することができる。特に、前後方向と左右方向に加えて上下方向の地磁気を検知する３軸タイプの地磁気センサ１１６を用いると、頭部の動きに対する地磁気変化を検知することにより、頭部の動きをより高精度に検知することが可能である。
　温湿度センサ１１７は、ユーザの周囲の温度および湿度を検知するものである。周辺物体検知センサ１１８は、電波、光波、超音波等を対象物へ発射し、対象物からの反射波を検知することで、対象物との距離や、対象物の方向や、対象物との相対速度を検知するものである。周辺物体検知センサ１１８をユーザの頭部に装着することで、ユーザを基準として、ユーザの周囲に存在する物体との距離や、物体との相対速度や、物体が存在する方向を検知することができる。
　ＧＰＳ受信機１６１は、全地球衛星測位システム、あるいは全地球衛星航法システム（ＧＮＳＳ：Global Navigation Satellite System）のひとつであるＧＰＳ（Global Positioning System）の電波を受信する。ＧＰＳ受信機１６１は、ＧＰＳ衛星より受信した信号をもとに、ＨＭＤ本体１００の位置情報、ひいてはユーザの位置情報を出力する。ＨＭＤ本体１００は、コントローラ１２５を用いて、ＧＰＳ受信機１６１からの位置情報と、ネットワーク等から取得した地図情報とを照合することで、自己の位置を把握する。さらに、ＨＭＤ本体１００は、自己の位置の履歴を取ることによって、地図上の移動履歴や移動距離を算出することができる。
　コントローラ１２５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサで構成される。プロセッサは、メモリ１２８に格納されているＯＳ（Operating System）や動作制御用アプリケーション等のプログラム１２６を実行することによって、各構成要素を制御し、ＨＭＤ全体の動作を制御する。
　メモリ１２８は、フラッシュメモリや、ワーク用のＲＡＭ等である。メモリ１２８は、ＯＳや、コントローラ１２５が使用する動作制御用アプリケーション等のプログラム１２６を記憶している。また、メモリ１２８は、ＨＭＤ本体１００で生成される出力音声信号のデータや、仮想現実（ＶＲ）や拡張現実（ＡＲ）における三次元映像のデータや、ウエアラブル端末２００，３００から健康状態のデータといった各種の情報データ１２７を記憶している。さらに、情報データ１２７には、立体音響コンテンツのデータも含まれる。
　三次元映像のデータは、三次元映像生成処理部１４１によって生成される。三次元映像生成処理部１４１は、コントローラ１２５内に設けられてもよい。また、ＨＭＤ本体１００で生成される出力音声信号のデータとして、ユーザへの呼びかけ、案内、情報伝達、警告等といった、音声によるユーザとの対話を通じてユーザの要求に応える音声アシスタントのデータ等が挙げられる。
　表示部１１９は、液晶パネル等で構成され、現実空間の情報や、仮想現実（ＶＲ）の情報や、拡張現実（ＡＲ）の情報を映像によって表示するものである。また、表示部１１９は、例えば、メニュー画面等によるユーザへの呈示通知情報や、ＨＭＤの動作状態等を表示してもよい。さらに、表示部１１９は、例えば、出力音声信号の放音を開始する際や、中断する際および再開する際に、その旨をユーザに通知するための表示を行ってもよい。これによって、ユーザは、例えば、放音の中断や再開が行われた場合に、故障ではなく、正常な制御動作によって中断や再開が行われたことを認識することができる。
　振動発生器１２４は、コントローラ１２５からの指示に応じて振動を発生させるものであり、例えば、ＨＭＤ本体１００で生成されたユーザへの通知情報を振動に変換する。振動発生器１２４は、ユーザの頭部に密接して装着された状態で振動を発生させることにより、ユーザへ、より認識度が高い通知を行うことができる。防音耳カバー検出部１３４は、例えば、カメラ１１１の撮影範囲が耳部を含むような場合に、その映像に基づいて、ユーザの耳部が手等でカバーされたか否か、ひいては耳に入る周囲音が防音されたか否かを検出する。なお、周囲音が防音されたか否かは、第２および第３の外周音マイク１３２，１３３に入る周囲音の大きさによって検知することも可能である。
　近距離無線通信ＩＦ１４２は、近距離無線通信が可能な範囲に存在する胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００および入力コントローラ４００との間で、それぞれ近距離無線通信を行うものである。近距離無線通信ＩＦ１４２は、例えば、各ウエアラブル端末２００，３００に搭載されたセンサデバイスからの検知信号の受信や、各ウエアラブル端末２００，３００に搭載された振動発生器を制御するための制御信号の送信や、入力コントローラ４００に対する入力操作情報の送受信等を行う。
　なお、近距離無線通信ＩＦ１４２は、代表的には電子タグである。ただし、これに限定されず、近距離無線通信ＩＦ１４２は、ＨＭＤ本体１００が胸部装着型ウエアラブル端末２００、リストバンド型ウエアラブル端末３００および入力コントローラ４００の近くに存在する場合に、無線通信可能なものであればよい。このようなものとして、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Home Radio Frequency、登録商標）、または、無線ＬＡＮ（IEEE802.11a、IEEE802.11b、IEEE802.11g）等が挙げられる。
　移動体無線通信ＩＦ１５２は、図示しない移動体無線通信網の基地局との間で無線通信により電話通信（通話）データを送受信し、さらに、コアネットワークを経由して各種データを送受信する。基地局等との通信には、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access、登録商標）方式、ＧＳＭ（Global System for Mobile communications、登録商標）方式、ＬＴＥ（Long Term Evolution）方式、或いは５Ｇ（5th Generation）方式等が用いられる。ただし、勿論、その他の通信方式が用いられてもよい。
　このような構成により、ＨＭＤは、予め情報データ１２７として記憶されている仮想現実（ＶＲ）または拡張現実（ＡＲ）の各種三次元映像データや、立体音響コンテンツのデータに基づく各種サービスをユーザに提供することができる。さらに、ＨＭＤは、移動体無線通信ＩＦ１５２を介して、または、近距離無線通信ＩＦ１４２および図示しない無線ルータを介してインターネットに接続することで、インターネット上に存在する、仮想現実（ＶＲ）または拡張現実（ＡＲ）の各種三次元映像サービスや、立体音響コンテンツの配信サービス等をユーザに提供できる。
　胸部装着型ウエアラブル端末２００は、センサデバイスである心拍センサ２０１と、振動発生器２０２と、近距離無線通信ＩＦ２０３とを有する。心拍センサ２０１は、ユーザの胸部に密接して装着されることで、精度よくユーザの心拍数を検知する。近距離無線通信ＩＦ２０３は、検知された心拍数の情報を近距離無線通信によりＨＭＤ本体１００へ送信する。振動発生器２０２は、制御入力に応じて振動を発生させるものであり、ユーザの胸部に密接して装着されることで、発生した振動を確実にユーザに伝えることができる。
　リストバンド型ウエアラブル端末３００は、センサデバイスである血圧センサ３０１と、振動発生器３０２と、近距離無線通信ＩＦ３０３とを有する。血圧センサ３０１は、ユーザの腕部に巻きつけて装着されることで、精度よくユーザの血圧を検知する。近距離無線通信ＩＦ３０３は、検知された血圧の情報を近距離無線通信によりＨＭＤ本体１００へ送信する。振動発生器３０２は、制御入力に応じて振動を発生させるものであり、ユーザの腕部に巻きつけて装着されることで、発生して振動を確実にユーザに伝えることができる。
　ここで、ＨＭＤ本体１００は、近距離無線通信ＩＦ１４２を介して、心拍センサ２０１からの心拍数の情報や、血圧センサ３０１からの血圧の情報を受信する。また、ＨＭＤ本体１００から送信されたユーザへの通知情報は、近距離無線通信ＩＦ１４２，２０３，３０３を介して各ウエアラブル端末２００，３００の振動発生器２０２，３０２に伝達される。振動発生器２０２，３０２は、通知情報を振動に変換することで、通知情報をユーザに認識させることができる。
　なお、ＨＭＤ本体１００の振動発生器１２４や、各ウエアラブル端末２００，３００の振動発生器２０２，３０２は、例えば、出力音声信号の放音を開始する際や、中断する際および再開する際に、その旨をユーザに通知するための振動を発生してもよい。さらに、振動発生器１２４，２０２，３０２は、詳細は後述するが、音場を固定する際や、音場の固定を解除する際に振動を発生してもよい。これによって、ユーザは、例えば、立体音響の制御が中断されたことを強く認識することができる。また、ＨＭＤ本体１００は、放音の中断または再開や、音場の固定や、音場の固定の解除を表す音声を音声出力デバイス１２２にて発声させることで、その旨をユーザに認識させてもよい。
　入力コントローラ４００は、入力操作ＩＦ４０１と、近距離無線通信ＩＦ４０２とを有する。入力操作ＩＦ４０１は、例えば、キーボードやキーボタン等である。ユーザは、入力したい情報を、入力操作ＩＦ４０１を介して設定入力できる。また、入力操作ＩＦ４０１は、例えば、静電容量式のタッチパッド等であってもよい。入力操作ＩＦ４０１で入力された情報は、近距離無線通信ＩＦ４０２を介してＨＭＤ本体１００へ送信される。なお、ここでは、使い勝手の向上のため、無線通信を用いたが、勿論、有線通信を用いてもよい。
　なお、図２Ａに示したＨＭＤの構成例は、実施の形態に必須ではない構成要素も適宜含んでいる。必須ではない構成要素に関しては、適宜、削除、置換、追加が可能である。例えば、デジタル放送受信機能や電子マネー決済機能等が追加されてもよい。
　＜コントローラの概略＞
　図２Ｂは、図２Ａにおけるコントローラの主要部の構成例を示す概略図である。図２Ｂに示されるコントローラ１２５は、音場制御要否判定部１７０と、立体音響生成部１７１とを備える。音場制御要否判定部１７０は、立体音響における音場の制御の要否を、センサデバイス１５１，１６５の検知結果に基づいて判定する。センサデバイス１５１は、図２Ａに示したように、ユーザの頭部の動きを検知するモーションセンサを少なくとも含み、ユーザの状態またはユーザの周囲の状態を検知する。センサデバイス１６５は、図２Ａに示した各ウエアラブル端末２００，３００に設けられる生体センサ、例えば、心拍センサ２０１や血圧センサ３０１等を含み、ユーザの状態、詳細には健康状態を検知する。
　音場制御要否判定部１７０は、概略的には、センサデバイス１５１，１６５の検知結果に基づいて、ユーザが音像定位を正しく認識できる状況に置かれている否かを判定する。音場制御要否判定部１７０は、ユーザが音像定位を正しく認識できる状況に置かれている場合には、音場、ひいては音像定位の制御を要と判定する。一方、音場制御要否判定部１７０は、ユーザが音像定位を正しく認識できない状況に置かれている場合には、音場、ひいては音像定位の制御を不要と判定する。
　立体音響生成部１７１は、メモリ１２８に格納された立体音響コンテンツのプログラム１２６、例えば音楽再生アプリケーション等を実行することで、立体音響を生成する。具体的には、立体音響生成部１７１は、音場制御フィルタ群１７５を備える。音場制御フィルタ群１７５は、立体音響で用いられる音源からの予め記憶している音源信号を、センサデバイス１５１内のモーションセンサの検知結果に応じて加工する。この際に、音源からの音源信号は、例えば、立体音響コンテンツの情報データ１２７として、予めメモリ１２８に格納されている。
　立体音響生成部１７１は、音場制御要否判定部１７０が音場の制御を要と判定した場合には、音場制御フィルタ群１７５を用いて、モーションセンサの検知結果に応じて音場を制御し、音場が制御された音声信号を音声出力デバイス１２２へ出力する。一方、立体音響生成部１７１は、音場制御要否判定部１７０が音場の制御を不要と判定した場合には、音場の制御を停止し、音場の制御を停止した状態の音声信号を音声出力デバイス１２２へ出力する。
　このように、コントローラ１２５は、ユーザが音像定位を正しく認識できない状況に置かれている場合に音場の制御を停止することで、ユーザに、立体音響を適切に聴取させることが可能になる。具体的には、ユーザの意識に反して音場が制御されるような事態を防止することができ、ユーザの方向感覚、すなわち三半規管が乱されるような事態を防止することが可能になる。
　＜立体音響の詳細＞
　図３は、図２Ｂにおける立体音響生成部１７１で実行される立体音響コンテンツの一例を説明する模式図である。図３に示される立体音響コンテンツは、例えば、三次元映像と立体音響とを組み合わせた臨場感のある音楽をユーザに体感させるものである。図３において、Ｐ１は、ドラムＭ１を、Ｐ２はギターＭ２を、Ｐ３はキーボードＭ３をそれぞれ演奏する演奏者である。ＨＭＤ本体１００の表示部１１９には、これら三人の演奏者Ｐ１～Ｐ３が演奏している状態を表す仮想空間が、三次元画像として表示される。
　立体音響コンテンツにおいて、演奏者Ｐ１～Ｐ３の位置は、仮想空間内に定義されており、図３に示される例では、演奏者Ｐ１はユーザの正面に、演奏者Ｐ２はユーザから見て左側に、演奏者Ｐ３はユーザから見て右側にそれぞれ配置されている。この場合、ユーザは、ドラムＭ１の音を正面から、ギターＭ２の音を左寄りから、キーボードＭ３の音を右寄りから聞くことになる。立体音響生成部１７１は、このような方向の音像定位をユーザに知覚させるように、音場を制御する。
　また、ユーザが演奏者Ｐ１へ近づくと、実際に演奏者Ｐ１に近づいているように、演奏者Ｐ１の映像およびドラムＭ１の音が大きくなる。ユーザが演奏者Ｐ２へ近づくと、実際に演奏者Ｐ２に近づいているように、演奏者Ｐ２の映像およびギターＭ２の音が大きくなる。ユーザが演奏者Ｐ３へ近づくと、実際に演奏者Ｐ３に近づいているように、演奏者Ｐ３の映像およびキーボードＭ３の音が大きくなる。立体音響生成部１７１は、このような音の変化が生じるように、モーションセンサの検知結果に基づいて音場を制御する。同様に、図示は省略されるが、三次元映像生成処理部１４１も、このような映像の変化が生じるように、モーションセンサの検知結果に基づいて映像を制御する。
　さらに、ユーザが顔を演奏者Ｐ２の方向に向けると、演奏者Ｐ２が表示部１１９の中心に表示されるように映像が制御され、ギターＭ２の音が正面から聞こえてくるように音場が制御される。ユーザが顔を演奏者Ｐ３の方向を向けると、演奏者Ｐ３が表示部１１９の中心に表示されるように映像が制御され、キーボードＭ３の音が正面から聞こえてくるように音場が制御される。
　図４は、図２Ｂにおける音場制御フィルタ群１７５の詳細な構成例を示すブロック図である。図４において、ＡＳ１～ＡＳ６は、予め、立体音響コンテンツの音源を、所定の角度で配置した複数のマイクでそれぞれ録音することで得られる音源信号である。音源信号は、予めメモリ１２８に情報データ１２７として格納される。または、音源信号は、移動体無線通信ＩＦ１５２を介して、または図示しない無線ルータおよび近距離無線通信ＩＦ１４２を介してインターネット上のサーバ等から取得され、メモリ１２８に格納される。
　コントローラ１２５は、メモリ１２８に格納された音源信号ＡＳ１～ＡＳ６を、バス１５０を介して取得し、図４に示される音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒ、及び音声信号フィルタＦ０１Ｌ～Ｆ０６Ｌへ出力する。音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒは、右耳用の音声出力信号を生成するためのものであり、例えば、ＦＩＲ型デジタルフィルタ等で構成される。同様に音声信号フィルタＦ０１Ｌ～Ｆ０６Ｌは、左耳用の音声出力信号を生成するためのものであり、例えば、ＦＩＲ型デジタルフィルタ等で構成される。
　ＣＴＲＬは、音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒ、及び音声信号フィルタＦ０１Ｌ～Ｆ０６Ｌのそれぞれに対して、伝達特性、すなわち伝達関数を可変設定するための音場制御信号である。立体音響生成部１７１は、仮想空間に定義されている音源位置と視聴中のユーザの位置との相対位置と、ユーザの音源に対する向きとを、モーションセンサを用いて検知し、検知結果に応じて音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒ，Ｆ０１Ｌ～Ｆ０６Ｌ毎の伝達関数を定める。そして、立体音響生成部１７１は、定めた伝達関数を、音場制御信号ＣＴＲＬを用いて、音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒ，Ｆ０１Ｌ～Ｆ０６Ｌに可変設定する。
　加算器ＡｄＲは、右耳用の音声信号フィルタＦ０１Ｒ～Ｆ０６Ｒの出力を加算し、加算結果を、右音声出力信号ＲＯＵＴとして、バス１５０を介して右耳用のヘッドフォン１２２ａへ出力する。同様に、加算器ＡｄＬは、左耳用の音声信号フィルタＦ０１Ｌ～Ｆ０６Ｌの出力を加算し、加算結果を、左音声出力信号ＬＯＵＴとして、バス１５０を介して左耳用のヘッドフォン１２２ｂへ出力する。
　ここで、立体音響生成部１７１は、音場制御要否判定部１７０が音場の制御を不要と判定した場合、音場制御信号ＣＴＲＬを用いて、音場制御フィルタ群１７５の伝達関数をモーションセンサの検知結果に関わらず固定すればよい。具体的な固定方法として、音場の制御が不要と判定された時点での伝達関数に固定する方法や、または、予め設定された伝達関数の初期値に固定する方法等が挙げられる。
　また、立体音響生成部１７１は、伝達関数を固定する代わりに、音源信号ＡＳ１～ＡＳ６がそのまま加算器ＡｄＲ，ＡｄＬに出力されるように、音場制御フィルタ群１７５をバイパスさせてもよい。さらに、立体音響生成部１７１は、例えば、立体音響を２チャンネルステレオ出力に変更すること等で、実質的に音場を固定してもよい。
　＜コントローラの詳細＞
　図５は、図２Ｂにおけるコントローラ１２５の主要部の処理内容の一例を示すフロー図である。図５に示されるフローは、例えば、コントローラ１２５が立体音響コンテンツのプログラム１２６を実行することで実現される。コントローラ１２５は、図５に示されるフローを、所定の制御サイクル毎に繰り返し実行する。
　図５において、コントローラ１２５、詳細には、音場制御要否判定部１７０は、各種センサデバイス１５１，１６５の検知結果を読み込む（ステップＳ１０１）。続いて、音場制御要否判定部１７０は、センサデバイス１５１，１６５の検知結果に基づいて、音場固定の要否を判定する（ステップＳ１０２）。音場制御要否判定部１７０は、ステップＳ１０２にて音場固定を要と判定した場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４へ移行し、音場固定を不要と判定した場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０８へ移行する。
　ステップＳ１０４において、音場制御要否判定部１７０は、現在、音場固定状態であるか音場制御状態であるかを判定する。音場固定状態とは、音場制御が停止している状態であり、音場制御状態とは、モーションセンサの検知結果に基づいて音場制御が行われている状態である。音場固定状態である場合（ステップＳ１０４：Ｙｅｓ）、音場制御要否判定部１７０は、ステップＳ１１３へ移行する。
　一方、音場制御状態である場合（ステップＳ１０４：Ｎｏ）、音場制御要否判定部１７０は、カウント値ＣＮＴをリセットする（ステップＳ１０５）。そして、音場制御要否判定部１７０は、音場制御を固定化する旨のメッセージを発話させ（ステップＳ１０６）、音場制御状態から音場固定状態へ遷移してステップＳ１１３へ移行する（ステップＳ１０７）。なお、ステップＳ１０５でのカウント値ＣＮＴは、詳細は後述するが、音場固定状態から音場制御状態に復帰する際に用いられる。
　また、ステップＳ１０６において、音場制御要否判定部１７０は、例えば、音場制御を固定化する旨のメッセージを情報データ１２７から読み出し、音声出力デバイス１２２へ出力する。この際に、音声出力デバイス１２２へ出力するのは、メッセージではなく、音場制御を固定化する旨を理解できるような何らかの音でもよい。また、音場制御を固定化する旨を理解できるように振動発生器１２４での振動を発生することでもよい。
　ステップＳ１０８において、音場制御要否判定部１７０は、現在、音場制御状態であるか音場固定状態であるかを判定する。音場制御状態である場合（ステップＳ１０８：Ｙｅｓ）、音場制御要否判定部１７０は、ステップＳ１１３へ移行する。一方、音場固定状態である場合（ステップＳ１０８：Ｎｏ）、音場制御要否判定部１７０は、カウント値ＣＮＴをインクリメントし（ステップＳ１０９）、カウント値ＣＮＴがサイクル閾値Ｃｔｈを超えたか否かを判定する（ステップＳ１１０）。サイクル閾値Ｃｔｈは、ユーザによって任意に設定可能な値であってよい。
　カウント値ＣＮＴがサイクル閾値Ｃｔｈを超えていない場合（ステップＳ１１０：Ｎｏ）、音場制御要否判定部１７０は、音場固定状態を維持したままステップＳ１１３へ移行する。一方、カウント値ＣＮＴがサイクル閾値Ｃｔｈを超えた場合（ステップＳ１１０：Ｙｅｓ）、音場制御要否判定部１７０は、音場制御を再開する旨のメッセージを発話させ（ステップＳ１１１）、音場固定状態から音場制御状態へ遷移してステップＳ１１３へ移行する（ステップＳ１１２）。
　なお、ステップＳ１１１において、音場制御要否判定部１７０は、例えば、音場制御を再開する旨のメッセージを情報データ１２７から読み出し、音声出力デバイス１２２へ出力する。この際に、音声出力デバイス１２２へ出力するのは、メッセージではなく、音場制御を再開する旨を理解できるような何らかの音でもよい。また、音場制御を再開する旨を理解できるように振動発生器１２４での振動を発生することでもよい。
　ステップＳ１１３において、コントローラ１２５、詳細には、立体音響生成部１７１は、音場固定状態または音場制御状態に応じた音場制御信号ＣＴＲＬを生成し、音場制御フィルタ群１７５に設定する。すなわち、立体音響生成部１７１は、音場固定状態である場合には、音場を固定するための音場制御信号ＣＴＲＬを生成する。一方、立体音響生成部１７１は、音場制御状態である場合には、モーションセンサの検知結果に応じて変化する音場制御信号ＣＴＲＬを生成する。
　以上のようなフローを用いると、音場制御状態では、ステップＳ１０３にて音場固定が要と判定された場合に、即座に音場固定状態への遷移が行われる（ステップＳ１０７）。すなわち、ユーザが音像定位を認識できない状況では、即座に音場を固定することで、ユーザの三半規管が乱されるような事態を確実に防止することが可能になる。なお、音場固定状態では、例えば、表示部１１９に表示している仮想空間の映像を非表示とするか、または、表示部１１９の隅に縮小表示すること等により、ユーザが現実空間の映像を見るのに支障のないようにしてもよい。
　一方、音場固定状態では、カウント値ＣＮＴがサイクル閾値Ｃｔｈを超えた場合、すなわち、ステップＳ１０３を介して、サイクル閾値Ｃｔｈを超えるサイクル数だけ連続して音場固定が不要と判定された場合に、音場制御状態への遷移が行われる（ステップＳ１１２）。これにより、例えば、音場固定の要判定と不要判定とが制御サイクル毎に入れ替わるような場合であっても、音場固定の不要判定が安定して得られる段階になって、音場制御が再開される。その結果、ユーザが音像定位を確実に認識できる状況で、ユーザに立体音響を提供することが可能になる。
　なお、コントローラ１２５の処理フローは、特に、図５に示されるフローに限定されず、適宜変更されてもよい。例えば、ここでは、音場固定を優先し、音場固定の要判定を受けて即座に音場固定状態となるフローを用いたが、音場固定の要判定が複数サイクル連続した場合に、音場固定状態となるようなフローを用いてもよい。また、ここではカウント値ＣＮＴを用いた制御を行ったが、これに代えて図示しないタイマー処理部を用いて、サイクル閾値Ｃｔｈの値に代えてタイマーの時間設定を行うことで同様の制御を行うことができる。この場合、タイマーの時間設定は、ユーザによって任意に設定可能な値であってもよい。
　＜音場固定の要否判定処理＞
　図６は、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。図６において、コントローラ１２５、詳細には、音場制御要否判定部１７０は、センサデバイス１５１の一部であり、ユーザの位置を検知する位置センサの検知結果を参照する（ステップＳ２０１）。位置センサは、例えば、モーションセンサ、すなわち加速度センサ１１４、ジャイロセンサ１１５または地磁気センサ１１６や、ＧＰＳ受信機１６１や、カメラ１１１の中のいずれか一つ、または複数の組み合わせで実現される。
　例えば、モーションセンサの検知結果に基づいて、ユーザの動きを累積することで、ユーザの位置、言い換えれば移動状態を検出することができる。または、ＧＰＳ受信機１６１の検知結果を用いると、ユーザの位置を直接検出することができる。あるいは、カメラ１１１の映像の中から所定の基準点を定め、逐次撮影される映像内での当該基準点の移動状態に基づいて、ユーザの位置を検出することも可能である。さらに、場合によっては、ある対象物を基準点として、周辺物体検知センサ１１８を用いて、当該基準点との距離を逐次監視することで、ユーザの位置を検出することも可能である。
　続いて、音場制御要否判定部１７０は、検出したユーザの位置、言い換えれば移動状態に基づいて、音源から離れる方向へのユーザの移動距離を算出する（ステップＳ２０２）。具体的には、音場制御要否判定部１７０は、仮想空間に定義されている最も近い音源の位置、例えば、図３の場合にはドラムＭ１、ギターＭ２、キーボードＭ３のいずれかの位置を基準として、音源から離れる方向へのユーザの移動距離を算出する。ここで、音源の位置は、例えば、立体音響コンテンツを起動した時点で仮想空間上に定義され、その時点での現実空間にワールド座標系を用いて紐づけられる。
　次いで、音場制御要否判定部１７０は、ステップＳ２０２での算出結果に基づいて、ユーザが音源から離れる方向に予め定めた所定距離以上移動したか否かを判定する（ステップＳ２０３）。ユーザが所定距離以上移動した場合（ステップＳ２０３：Ｙｅｓ）、音場制御要否判定部１７０は、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ２０４）。一方、ユーザが所定距離以上移動していない場合（ステップＳ２０３：Ｎｏ）、音場制御要否判定部１７０は、ステップＳ２０５へ移行する。
　ステップＳ２０５において、音場制御要否判定部１７０は、モーションセンサの検知結果を参照する。そして、音場制御要否判定部１７０は、モーションセンサの検知結果に基づいて、ユーザの頭部が大きく動いたか否かを判定する（ステップＳ２０６）。具体的には、音場制御要否判定部１７０は、ユーザの頭部が、基準速度以上で基準量以上動いたか否かを判定する。
　ユーザの頭部が大きく動いた場合（ステップＳ２０６：Ｙｅｓ）、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ２０４）。一方、ユーザの頭部が大きく動いていない場合（ステップＳ２０６：Ｎｏ）、音場制御要否判定部１７０は、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ２０７）。
　ステップＳ２０３に関し、例えば、ユーザが、立体音響コンテンツを利用している状態で、交通機関に搭乗した場合を想定する。この場合、ＨＭＤは、ユーザの頭部の動きに限らず搭乗物の動きをモーションセンサによって検知し、搭乗物の動きをユーザの頭部の動きとみなして音場を制御することになり得る。この場合、ユーザが音像定位を認識できない状況が生じ、ユーザの方向感覚、すなわち三半規管が乱される状況が生じ得る。
　一方、図６に示されるフローを用いると、搭乗物が所定距離以上動くと、音場固定を要と判定することができる。その結果、ユーザの方向感覚が乱される状況を防ぐことが可能になる。なお、例えば、スマートフォンと連携したヘッドフォン等で立体音響を利用する場合、スマートフォンの位置を基準としたヘッドフォンの相対座標によって立体音響が制御される場合が多い。この場合、前述したような問題は生じ難い。しかしながら、ＨＭＤのように、ワールド座標系で立体音響が制御される場合には、前述したような問題が生じ得るため、図６のようなフローを適用することが特に有益となる。
　なお、図６の説明では、ステップＳ２０２において、ユーザの位置、言い換えれば移動状態に基づいて、音源から離れる方向へのユーザの移動距離を算出するとしたが、音源から離れる方向へのユーザの速度、あるいは加速度を算出するようにしてもよい。この場合、算出結果に基づいて、ステップＳ２０３において、ユーザが音源から離れる方向に予め定めた所定速度、あるいは加速度以上で動いたか否かを判定するようにすることで、搭乗物が所定速度、あるいは加速度以上で動くと、音場固定を要と判定することができる。その結果、ユーザの方向感覚が乱される状況を防ぐことが可能になることは言うまでもない。
　また、ＨＭＤの場合においても、ユーザが携帯しているモーションセンサを搭載したスマートフォンなどの携帯端末と連携し、ＨＭＤがスマートフォンなどの携帯端末のモーションセンサの検知結果を近距離無線通信ＩＦ１４２を介して受信し、受信した検知結果とＨＭＤのモーションセンサの検知結果と比較し、同じ（あるいは同じ範囲の）検知結果であれば、ＨＭＤではなく搭乗物の動きによると検出できる。これにより、搭乗物の動きをユーザの頭部の動きとみなして音場を制御することを防ぐことができる。
　この場合、ステップＳ２０２での算出結果に基づいて、ユーザが音源から離れる方向に予め定めた所定距離以上移動したか否かを判定（ステップＳ２０３）した結果、ユーザが所定距離以上移動した場合（ステップＳ２０３：Ｙｅｓ）、前述した比較処理を行うようにすればよい。具体的には、携帯端末のモーションセンサの検知結果と、ＨＭＤのモーションセンサの検知結果とを比較し、同じ（あるいは同じ範囲の）検知結果であれば、搭乗物の動きによるものと検出できることから、音場制御要否判定部１７０は、音場固定を要、言い換えれば音場制御を不要と判定する。一方、携帯端末のモーションセンサの検知結果と、ＨＭＤのモーションセンサの検知結果とを比較し、異なる（あるいは異なる範囲の）検知結果であれば、搭乗物の動きによらないものと検出できることから、音場制御要否判定部１７０は、音場固定を不要、言い換えれば音場制御を要と判定する。
　ステップＳ２０６に関し、ユーザは、立体音響コンテンツを利用している状態で、周囲の外部環境に何らかの異変、例えば危険を感じた場合、その方向に頭部を素早く大きく動かすことがある。この場合、ユーザの視覚的または聴覚的な注意は、異変を感じた方向に向けられるため、音像定位を認識できない状況が生じ得る。図６に示されるフローを用いると、このような場合に音場を固定できるため、異変に向けたユーザの注意を阻害する状況を防ぐことが可能になる。
　なお、ユーザが利用している立体音響コンテンツが音楽であった場合で、ユーザの頭部が大きく動いた場合（ステップＳ２０６：Ｙｅｓ）には、さらに、音楽のリズムとユーザの頭部の動きのリズムとが同じリズムであるか否かを算出し、同じリズム、またはある範囲内で同じリズムであることを検出した時は、音場固定を不要にしてもよい。つまり、ユーザが、音楽を聴きながら、その音楽に乗って頭を動かしているとみなされる場合には、音場制御をそのまま継続してもよい。
　なお、ユーザが音源から離れる方向に移動すると、立体音響のバランスが崩れてしまう可能性がある。この観点で、図６におけるステップＳ２０３での所定距離は、短い距離であってもよい。また、ステップＳ２０１，Ｓ２０２において、特に屋内で位置を特定する場合には、ＧＰＳ受信機１６１の代わりに、Ｗｉ－Ｆｉ測位、ＲＦＩＤ測位、ビーコン測位、歩行者自立航法測位、ＩＭＥＳ（Indoor MEssaging System）測位、音波測位、ＵＷＢ（Ultra Wide Band）測位、可視光測位を用いてもよい。これにより、より精度の高い位置を特定できる場合がある。
　＜実施の形態１の主要な効果＞
　以上、実施の形態１によるＨＭＤは、ユーザが音像定位を認識できない状況であるか否かをセンサデバイスの検知結果に基づいて判定し、認識できない状況である場合には、ユーザが明示的に操作を行うことなく、立体音響における音場の制御を停止することができる。具体的には、ＨＭＤは、ユーザが音源からある程度離れた場合や、ユーザの頭部が大きく動いた場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することができる。その結果、ユーザの方向感覚、すなわち三半規管が乱される状況を防ぐことができ、ユーザに立体音響を適切に聴取させることが可能になる。
　（実施の形態２）
　＜音場固定の要否判定処理＞
　図７は、実施の形態２によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。図７において、コントローラ１２５、詳細には、図２Ｂにおける音場制御要否判定部１７０は、センサデバイス１５１の一部である右目視線センサ１１２および左目視線センサ１１３の検知結果を参照する（ステップＳ３０１）。
　続いて、音場制御要否判定部１７０は、右目視線センサ１１２および左目視線センサ１１３の検知結果に基づいて、所定時間内におけるユーザの視線の変化回数を算出する（ステップＳ３０２）。次いで、音場制御要否判定部１７０は、右目の視線の変化回数または左目の視線の変化回数の少なくとも一方が予め定めた上限値を上回ったか否かを判定する（ステップＳ３０３）。視線の変化回数が上限値を上回った場合（ステップＳ３０３：Ｙｅｓ）、音場制御要否判定部１７０は、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ３０４）。
　一方、視線の変化回数が上限値を上回らない場合（ステップＳ３０３：Ｎｏ）、音場制御要否判定部１７０は、右目の視線の変化回数または左目の視線の変化回数の少なくとも一方が予め定めた下限値を下回ったか否かを判定する（ステップＳ３０５）。視線の変化回数が下限値を下回った場合（ステップＳ３０５：Ｙｅｓ）、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ３０４）。一方、視線の変化回数が下限値を下回らない場合、すなわち下限値以上かつ上限値以下である場合（ステップＳ３０５：Ｎｏ）、音場制御要否判定部１７０は、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ３０６）。
　ステップＳ３０３に関し、ユーザが急速な眼球運動を行っている場合、ユーザが音像定位を認識できない状況が生じ得る。すなわち、人間は、ある視点から離れた別の視点に視線を移動させるとき、サッカードと呼ばれる眼球の急速な回転が起こることが知られている。サッカードが生じているユーザは、音像定位を認識できない可能性が高い。そこで、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ３０４）。
　ステップＳ３０５に関し、ユーザの視線の変化回数が極端に少ない場合、ユーザは、眠気等によって漫然としている可能性が高い。この場合、ユーザが音像定位を認識できない状況が生じ得る。そこで、このような場合も、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ３０４）。
　なお、ステップＳ３０３，Ｓ３０５では、右目の視線の変化回数または左目の視線の変化回数の少なくとも一方を用いたが、両方の変化回数の平均値を用いてもよい。また、視線センサを用いる方法の変形例として、さらに表示部１１９での表示内容を利用してもよい。具体的には、音場制御要否判定部１７０は、ユーザの視線の位置と、仮想空間情報や現実空間情報の表示位置とが一致している時間比率が、所定の基準値以上か否かを判定する。そして、一致している時間比率が所定の基準値以上の場合、音場制御要否判定部１７０は、仮想空間情報または現実空間情報への注視によって、ユーザが音像定位を認識できない状況とみなす。
　＜実施の形態２の主要な効果＞
　以上、実施の形態２の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。具体的には、ＨＭＤは、ユーザの視線の変化回数が極端に多い場合や極端に少ない場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することが可能になる。
　（実施の形態３）
　＜音場固定の要否判定処理＞
　図８は、実施の形態３によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。図８において、コントローラ１２５、詳細には、図２Ｂにおける音場制御要否判定部１７０は、センサデバイス１６５の一部である生体センサの検知結果を参照する（ステップＳ４０１）。生体センサは、例えば、心拍センサ２０１または血圧センサ３０１である。
　続いて、音場制御要否判定部１７０は、生体センサの検知結果の時間変化率、すなわちユーザの心拍数または血圧値における時間変化率の絶対値を算出する（ステップＳ４０２）。次いで、音場制御要否判定部１７０は、算出した時間変化率が予め定めた閾値を超えたか否かを判定する（ステップＳ４０３）。この際の閾値は、対象が心拍数か血圧値かによって個別に定められる。
　算出した時間変化率が閾値を超えた場合、すなわち心拍数が急増または急減した場合、あるいは血圧値が急増または急減した場合（ステップＳ４０３：Ｙｅｓ）、音場制御要否判定部１７０は、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ４０４）。一方、算出した時間変化率が閾値を超えない場合（ステップＳ４０３：Ｎｏ）、音場制御要否判定部１７０は、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ４０５）。
　ステップＳ４０３に関し、心拍数または血圧値の時間変化率が閾値を超えた場合、ユーザに急な体調変化が生じた可能性が高い。この場合、ユーザが音像定位を認識できない状況が生じ、さらに、立体音響がユーザの体調に悪影響を及ぼす可能性もある。そこで、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ４０４）。
　なお、心拍センサ２０１と血圧センサ３０１の両方を用いる場合、ステップＳ４０３において、音場制御要否判定部１７０は、心拍数または血圧値の少なくとも一方の時間変化率が閾値を超えたか否かを判定すればよい。また、生体センサは、心拍センサ２０１または血圧センサ３０１に限らない。例えば、リストバンド型ウエアラブル端末３００に、脈拍測定、体温測定、血中酸素測定、血糖値測定を行えるセンサデバイスを搭載し、それぞれのセンサから得られる時間変化率を個別の閾値と比較してもよい。
　＜実施の形態３の主要な効果＞
　以上、実施の形態３の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。具体的には、ＨＭＤは、ユーザに急な体調変化が生じた場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することが可能になる。
　（実施の形態４）
　＜音場固定の要否判定処理＞
　図９は、実施の形態４によるヘッドマウントディスプレイ装置において、コントローラ１２５が実行する音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。実施の形態４によるＨＭＤは、図２Ａに示した構成を備え、コントローラ１２５も、図２Ｂの場合と同様の構成を備える。ただし、コントローラ１２５内の音場制御要否判定部１７０は、図２Ｂの場合と異なり、センサデバイス１５１，１６５の検知結果を用いずに、音場制御の要否を判定する。
　まず、前提として、メモリ１２８には、予め、特定アプリケーションの識別子等が登録されている。特定アプリケーションの識別子等は、例えば、ユーザによって任意に登録されるか、または、立体音響コンテンツの情報データ１２７として予め初期登録されている。音場制御要否判定部１７０は、当該メモリ１２８内の登録内容に基づいて、特定アプリケーションとして登録済みのアプリケーションが起動されているか否かを判定し、起動されている場合には、音場固定を要、言い換えれば音場制御を不要と判定する。
　具体的には、図９において、コントローラ１２５、詳細には音場制御要否判定部１７０は、起動しているアプリケーションの識別子等をＯＳから取得する（ステップ５０１）。続いて、音場制御要否判定部１７０は、取得した識別子内に、登録済みの識別子が含まれているか否かを判定する（ステップＳ５０２）。音場制御要否判定部１７０は、登録済みの識別子が含まれている場合（ステップＳ５０２：Ｙｅｓ）、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ５０３）。一方、音場制御要否判定部１７０は、登録済みの識別子が含まれていない場合（ステップＳ５０２：Ｎｏ）、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ５０４）。
　ここで、特定アプリケーションとは、ユーザが、立体音響コンテンツと同時利用した場合に、立体音響コンテンツによる音像定位を認識し難くなるようなものである。特に、特定アプリケーションは、立体音響コンテンツとは独立して、ユーザに聴覚の使用を要求するものである。ただし、これに限らず、特定アプリケーションは、立体音響コンテンツとは独立して、視覚を介してユーザに臨場感を伝えるようなものや、ユーザが視覚または聴覚を介して周囲の現実空間を認識しなければならないもの等であってもよい。
　特定アプリケーションの具体例として、ユーザを所望の目的地まで案内するためのナビゲーションソフトウェアや、電話を制御する電話アプリケーションや、会議アプリケーション等が挙げられる。なお、例えば、ナビゲーションソフトウェア自体が立体音響を利用しているような場合、ナビゲーションソフトウェアによる音場制御は有効となり、立体音響コンテンツによる音場は固定される。
　＜実施の形態４の主要な効果＞
　以上、実施の形態４の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。具体的には、ＨＭＤは、予め特定アプリケーションとして登録済みのものが起動されている場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することが可能になる。
　（実施の形態５）
　＜音場固定の要否判定処理＞
　図１０は、実施の形態５によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。図１０において、コントローラ１２５、詳細には、図２Ｂにおける音場制御要否判定部１７０は、センサデバイス１５１の一部である外周音マイク１３１～１３３、発声音マイク１２１、またはカメラ１１１の検知結果を参照する（ステップＳ６０１）。
　続いて、音場制御要否判定部１７０は、ステップＳ６０１での検知結果に基づいて、ユーザが他者と会話状態であるか否かを判定する（ステップＳ６０２）。音場制御要否判定部１７０は、ユーザが会話状態である場合（ステップＳ６０２：Ｙｅｓ）、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ６０３）。一方、音場制御要否判定部１７０は、ユーザが会話状態でない場合（ステップＳ６０２：Ｎｏ）、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ６０４）。
　ステップＳ６０２において、音場制御要否判定部１７０は、例えば、所定の期間内に、発声音マイク１２１によるユーザの発声と、外周音マイク１３１～１３３による他者の発声とを検知した場合に、ユーザが会話状態であると判定する。また、音場制御要否判定部１７０は、発声音マイク１２１、外周音マイク１３１～１３３の検知結果に、カメラ１１１の検知結果も組み合わせ、カメラ１１１の映像内に他者を検知した場合に、ユーザが会話状態であると判定してもよい。
　あるいは、音場制御要否判定部１７０は、さらに、右目視線センサ１１２、左目視線センサ１１３の検知結果を用いてもよい。具体的には、音場制御要否判定部１７０は、右目視線センサ１１２、左目視線センサ１１３により眼球の動きを検知し、検知した眼球運動と、前述した各種マイクによる検知結果とに基づいて、ユーザの意識がどこにあるかを識別する。この識別結果に基づいて、音場制御要否判定部１７０は、他者と向き合った会話状態か、または電話での会話状態かを判別する。
　なお、この判別の際に、音場制御要否判定部１７０は、さらにカメラ１１１の検知結果や、周辺物体検知センサ１１８の検知結果を用いてもよい。また、電話での会話状態である場合には、実施の形態４で述べた方式によって音場を固定することも可能である。
　＜実施の形態５の主要な効果＞
　以上、実施の形態５の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。具体的には、ＨＭＤは、ユーザが他者と会話状態である場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することが可能になる。
　（実施の形態６）
　＜音場固定の要否判定処理＞
　図１１は、実施の形態６によるヘッドマウントディスプレイ装置において、図５におけるステップＳ１０２で実行される、音場固定の要否判定処理の詳細な処理内容の一例を示すフロー図である。図１１において、コントローラ１２５、詳細には、図２Ｂにおける音場制御要否判定部１７０は、センサデバイス１５１の一部である周辺物体検知センサ１１８の検知結果を参照する（ステップＳ７０１）。これに基づいて、音場制御要否判定部１７０は、ユーザの周囲に存在する車、人、動物等といった物体との距離や相対速度を検知する。
　続いて、音場制御要否判定部１７０は、ステップＳ７０１での検知結果に基づいて、ユーザに接近している物体が一定範囲内に存在するか否かを判定する（ステップＳ７０２）。音場制御要否判定部１７０は、接近している物体が存在する場合（ステップＳ７０２：Ｙｅｓ）、音場固定を要、言い換えれば音場制御を不要と判定する（ステップＳ７０３）。一方、音場制御要否判定部１７０は、接近している物体が存在しない場合（ステップＳ７０２：Ｎｏ）、音場固定を不要、言い換えれば音場制御を要と判定する（ステップＳ７０４）。
　なお、ここでは、周辺物体検知センサ１１８を用いたが、場合によっては、周辺物体検知センサ１１８の代わりに、カメラ１１１を用いることも可能である。すなわち、カメラ１１１で逐次撮影した映像の中から、画像認識処理によって物体を認識し、当該物体との距離や相対速度を逐次検知することも可能である。
　ここで、ステップＳ７０２に関し、ユーザに接近している物体が一定範囲内に存在する場合、ユーザは、視覚的または聴覚的な注意を、接近している物体に向ける必要がある。この場合、ユーザは、音像定位を認識することが困難となり得る。そこで、音場制御要否判定部１７０は、音場固定を要と判定する（ステップＳ７０３）。
　また、ステップＳ７０２において、音場制御要否判定部１７０は、ユーザに接近している物体が一定範囲内に存在すると判定した場合には、ユーザに向けて危険を表す警告音を放音するよう音声出力デバイス１２２に指示してもよい。加えて、音場制御要否判定部１７０は、表示部１１９での告知表示や、振動発生器１２４，２０２，３０２での触感振動により、ユーザに危険を通知してもよい。
　さらに、接近している物体を検知する範囲は、ユーザの周りに位置する危険範囲と、それよりも外側の範囲に位置する注意範囲との２段階に定められてよい。接近している物体が注意範囲に存在する場合、コントローラ１２５は、例えば、物体が存在する方向とは逆の方向から放音するように音場を制御し、放音動作を表示、音声、振動により通知する。この場合、ユーザは、接近している物体からの音を、より確実に聴くことができる。逆に、コントローラ１２５は、接近している物体が存在する方向から放音するように音場を制御してもよい。この場合、ユーザは、接近している物体の方向を認識しやすくなる。
　＜その他の変形例＞
　その他の例として、音場制御要否判定部１７０は、ユーザの周囲の温度や湿度を検知する温湿度センサ１１７を用いて、音場固定の要否を判定してもよい。具体的には、温度や湿度の時間変化率が基準値以上の場合には、ユーザの周囲環境に何らかの異常があり、音像定位を認識し難い状況となっている可能性がある。このような場合に、音場制御要否判定部１７０は、音場固定を要と判定してもよい。さらに、温湿度センサ１１７の代わりに、気圧を検知する気圧センサ等を用いて、同様の判定が行われてもよい。
　＜実施の形態６の主要な効果＞
　以上、実施の形態６の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。具体的には、ＨＭＤは、ユーザに接近している物体が一定範囲内に存在する場合に、ユーザが音像定位を認識できない状況とみなして音場の制御を停止することが可能になる。
　（実施の形態７）
　＜モバイル装置の概略＞
　図１２は、実施の形態７によるモバイル装置の概略構成例を示すブロック図である。実施の形態１～６で述べた方式は、ＨＭＤに限らず、モバイル装置に適用することも可能である。図１２では、図２Ａに示したＨＭＤ本体１００の代わりにスマートフォン６００が設けられる。スマートフォン６００には、図２Ａに示した各ウエアラブル端末２００，３００が接続される。これに加えて、スマートフォン６００には、ユーザの頭部の動きを検知可能なヘッドトラッキング機能付きのヘッドフォン５００が接続される。なお、図１２では、図２Ａに示した入力コントローラ４００は設けられない。
　スマートフォン６００は、図２Ａに示したＨＭＤ本体１００とは、次の２点が異なっている。１点目の相違点として、右目視線センサ１１２、左目視線センサ１１３および防音耳カバー検出部１３４が設けられない。２点目の相違点として、表示部１２１０は、図２Ａで述べたような透過型ではなく、液晶や有機ＥＬといった非透過型の表示パネルで構成される。３点目の相違点として、音声出力デバイス１２２が設けられない。ただし、ヘッドフォンではなくスピーカ等の音声出力デバイスが設けられてもよい。
　ヘッドフォン５００は、右耳用の音声出力を行う右耳用スピーカ５０１Ｒと、左耳用の音声出力を行う左耳用スピーカ５０２Ｌと、ユーザの頭部の動きを検知するモーションセンサと、近距離無線通信ＩＦ５０３とを備える。モーションセンサは、ここでは、加速度センサ５０４と、ジャイロセンサ５０５とを含んでいる。
　スマートフォン６００とヘッドフォン５００とは、近距離無線通信ＩＦ１４２，５０３を介して双方向に通信が可能となっている。ヘッドフォン５００におけるモーションセンサの検知結果は、近距離無線通信ＩＦ５０３および近距離無線通信ＩＦ１４２を介してスマートフォン６００に送出される。
　コントローラ１２５、詳細には立体音響生成部１７１は、図２Ｂおよび図４の場合と同様に、受信したモーションセンサの検知結果に基づいて、ユーザの頭部の軸方向および回転方向の移動量を算出し、算出結果に応じて立体音響における音場を制御する。そして、立体音響生成部１７１は、制御された音場に基づく右音声出力信号ＲＯＵＴを右耳用スピーカ５０１Ｒへ、左音声出力信号ＬＯＵＴを左耳用スピーカ５０２Ｌへ、近距離無線通信ＩＦ１４２を介して出力する。
　また、コントローラ１２５、詳細には音場制御要否判定部１７０は、実施の形態１～６で述べた方式と同様にして音場制御の要否を判定すればよい。すなわち、図５～図１１に示したようなフローを実行するための立体音響制御プログラムが、スマートフォン６００内のメモリ１２８に実装されればよい。なお、図６におけるステップＳ２０３に示した音源からの移動距離に基づく判定処理は、図６で述べたように、音場がスマートフォン６００との相対座標で制御される場合には特に必要とされない。ただし、スマートフォン６００を用いた場合であっても、ＨＭＤの場合と同様に、音場がワールド座標系で制御される場合には、当該判定処理は、必要とされ得る。
　なお、実施の形態７の説明では、モバイル装置は、スマートフォン６００であったが、腕時計型であるスマートウォッチであってもよいことは言うまでもない。
　＜実施の形態７の主要な効果＞
　以上、実施の形態７の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。さらに、ＨＭＤに限らず、スマートフォンのようなモバイル装置を用いる場合であっても、同様の効果を得ることが可能になる。
　（実施の形態８）
　＜モバイル装置の概略＞
　図１３は、実施の形態８によるモバイル装置の概略構成例を示すブロック図である。図１３では、図１２に示したヘッドトラッキング機能付きのヘッドフォン５００の代わりに、ヘッドトラッキング機能付きのイヤフォン７００Ｒ，７００Ｌが設けられる。右耳用イヤフォン７００Ｒは、右耳用の音声出力を行う右耳用スピーカ７０１Ｒと、ユーザの頭部の動きを検知するモーションセンサと、近距離無線通信ＩＦ７０２Ｒとを備える。モーションセンサは、ここでは、加速度センサ７０３Ｒと、ジャイロセンサ７０４Ｒとを含んでいる。
　同様に、左耳用イヤフォン７００Ｌは、左耳用の音声出力を行う左耳用スピーカ７０１Ｌと、ユーザの頭部の動きを検知するモーションセンサと、近距離無線通信ＩＦ７０２Ｌとを備える。モーションセンサは、ここでは、加速度センサ７０３Ｌと、ジャイロセンサ７０４Ｌとを含んでいる。
　スマートフォン６００とイヤフォン７００Ｒ，７００Ｌとは、近距離無線通信ＩＦ１４２，７０２Ｒおよび近距離無線通信ＩＦ１４２，７０２Ｌを介して双方向に通信が可能となっている。右耳用イヤフォン７００Ｒにおけるモーションセンサの検知結果は、近距離無線通信ＩＦ７０２Ｒおよび近距離無線通信ＩＦ１４２を介してスマートフォン６００に送出される。同様に、左耳用イヤフォン７００Ｌにおけるモーションセンサの検知結果は、近距離無線通信ＩＦ７０２Ｌおよび近距離無線通信ＩＦ１４２を介してスマートフォン６００に送出される。
　コントローラ１２５は、図１２の場合と同様にして音場を制御する。なお、図１３の例では、モーションセンサを右耳用イヤフォン７００Ｒ、左耳用イヤフォン７００Ｌの双方に搭載している例を示した。これに限らず、モーションセンサをイヤフォン７００Ｒ，７００Ｌの一方のみに搭載し、コントローラ１２５は、当該一方の検知結果に基づいて音場を制御してもよい。
　なお、実施の形態８の説明では、モバイル装置は、スマートフォン６００であったが、腕時計型であるスマートウォッチであってもよいことは言うまでもない。
　＜実施の形態８の主要な効果＞
　以上、実施の形態８の方式を用いることでも、実施の形態１で述べた各種効果と同様の効果が得らえる。さらに、ＨＭＤに限らず、スマートフォンのようなモバイル装置を用いる場合であっても、同様の効果を得ることが可能になる。
　（実施の形態の各種変形例）
　以上の説明においては、様々な状況に応じて音場を固定する制御を行ったが、ユーザは、ＨＭＤのコンテンツ内容によっては、このような音場を固定する制御を望まない場合がある。そこで、例えば、ユーザは、ＨＭＤ本体１００に対して、音場を固定する制御を行うか否かをコンテンツ毎に設定してもよい。ＨＭＤ本体１００は、このユーザ設定に応じて、音場を固定する制御を行うか否かをコンテンツ毎に選択してもよい。
　また、図２Ａに示した構成例において、胸部装着型ウエアラブル端末２００内の心拍センサ２０１、リストバンド型ウエアラブル端末３００内の血圧センサ３０１、入力コントローラ４００内の入力操作ＩＦ４０１を、ＨＭＤ本体１００内に取り込んでもよい。心拍センサ２０１は、頭部に密接して装着された状態で心拍数を検知でき、血圧センサ３０１も、頭部に密接して装着された状態で頭皮直下の頭部動脈で血圧値を検知することができる。
　また、入力操作ＩＦ４０１は、ＨＭＤ本体１００内でユーザが入力操作を行いやすい位置に設置されればよい。或いは、ユーザが入力操作を示す音声を発声し、発声音マイク１２１で集音して入力操作情報を取り込んでもよい。また、表示部１１９に入力操作画面を表示させ、右目視線センサ１１２および左目視線センサ１１３により検知した視線が向いている入力操作画面上の位置により、入力履歴や操作情報を取り込んでもよい。さらに、ポインタを入力操作画面上に表示させ、手の動作などにより指定させて入力操作情報を取り込んでもよい。入力操作に発声や表示を用いることにより、使い勝手を一層向上させることが可能である。
　以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
　また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。
　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。
　なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。
　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００：ヘッドマウントディスプレイ装置本体（ＨＭＤ本体）、１１１：カメラ、１１２：右目視線センサ、１１３：左目視線センサ、１１４：加速度センサ、１１５：ジャイロセンサ、１１６：地磁気センサ、１１７：温湿度センサ、１１８：周辺物体検知センサ、１１９：表示部、１２１：発声音マイク、１２２：音声出力デバイス、１２４，２０２，３０２：振動発生器、１２５：コントローラ、１２８：メモリ、１３１：第１の外周音マイク、１３２：第２の外周音マイク、１３３：第３の外周音マイク、１３４：防音耳カバー検出部、１４１：三次元映像生成処理部、１４２，２０３，３０３，４０２，５０３，７０２Ｒ，７０２Ｌ：近距離無線通信ＩＦ、１５１，１６５：センサデバイス、１５２：移動体無線通信ＩＦ、１７０：音場制御要否判定部、１７１：立体音響生成部、１７５：音場制御フィルタ群、２００：胸部装着型ウエアラブル端末、２０１：心拍センサ、３００：リストバンド型ウエアラブル端末、３０１：血圧センサ、４００：入力コントローラ、４０１：入力操作ＩＦ

Claims (15)

  1. 　ユーザの頭部に装着して使用されるヘッドマウントディスプレイ装置であって、
    　前記ユーザの頭部の動きを検知するモーションセンサを少なくとも含み、前記ユーザの状態または前記ユーザの周囲の状態を検知するセンサデバイスと、
    　入力された音声信号を出力用音声に変換して放音する音声出力デバイスと、
    　前記ヘッドマウントディスプレイ装置を制御するコントローラと、
    　を備え、
    　前記コントローラは、
    　立体音響における音場の制御の要否を前記センサデバイスの検知結果に基づいて判定し、
    　前記音場の制御を要と判定した場合には、前記モーションセンサの検知結果に応じて前記音場を制御し、前記音場が制御された前記音声信号を前記音声出力デバイスへ出力し、
    　前記音場の制御を不要と判定した場合には、前記音場の制御を停止し、前記音場の制御を停止した状態の前記音声信号を前記音声出力デバイスへ出力する、
    　ヘッドマウントディスプレイ装置。
  2. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記コントローラは、前記立体音響で用いられる音源からの予め記憶している音源信号を、前記モーションセンサの検知結果に応じて加工する音場制御フィルタ群を備え、前記音場の制御を不要と判定した場合には、前記音場制御フィルタ群の伝達特性を前記モーションセンサの検知結果に関わらず固定する、
    　ヘッドマウントディスプレイ装置。
  3. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記コントローラは、前記立体音響で用いられる音源からの予め記憶している音源信号を、前記モーションセンサの検知結果に応じて加工する音場制御フィルタ群を備え、前記音場の制御を不要と判定した場合には、前記音場制御フィルタ群をバイパスさせる、
    　ヘッドマウントディスプレイ装置。
  4. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの位置を検知する位置センサを含み、
    　前記コントローラは、前記位置センサを用いて、前記ユーザが前記立体音響で用いられる音源から離れる方向に所定距離以上移動したことを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  5. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記コントローラは、前記モーションセンサを用いて、前記ユーザの頭部が、基準速度以上で基準量以上動いたことを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  6. 　請求項５に記載のヘッドマウントディスプレイ装置において、
    　前記モーションセンサは、加速度センサ、ジャイロセンサまたは地磁気センサを含んでいる、
    　ヘッドマウントディスプレイ装置。
  7. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの視線を検知する視線センサを含み、
    　前記コントローラは、前記視線センサを用いて、所定時間内における前記ユーザの視線の変化回数が上限値を上回ったことを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  8. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの視線を検知する視線センサを含み、
    　前記コントローラは、前記視線センサを用いて、所定時間内における前記ユーザの視線の変化回数が下限値を下回ったことを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  9. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの心拍数または血圧値を検知する生体センサを含み、
    　前記コントローラは、前記生体センサを用いて、前記ユーザの心拍数または血圧値の時間変化率が閾値を超えたことを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  10. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの周囲音を検知する外周音マイク、前記ユーザの発声音を検知する発声音マイク、または前記ユーザの前方を撮影するカメラを含み、
    　前記コントローラは、前記外周音マイク、前記発声音マイク、または前記カメラを用いて、前記ユーザが会話状態であることを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  11. 　請求項１に記載のヘッドマウントディスプレイ装置において、
    　前記センサデバイスは、前記ユーザの周囲に存在する物体を検知する周辺物体検知センサを含み、
    　前記コントローラは、前記周辺物体検知センサを用いて、前記ユーザに接近している物体が一定範囲内に存在することを検知した場合に、前記音場の制御を不要と判定する、
    　ヘッドマウントディスプレイ装置。
  12. 　ユーザの頭部に装着して使用されるヘッドマウントディスプレイ装置であって、
    　前記ユーザの頭部の動きを検知するモーションセンサと、
    　入力された音声信号を出力用音声に変換して放音する音声出力デバイスと、
    　前記ヘッドマウントディスプレイ装置を制御するコントローラと、
    　を備え、
    　前記コントローラは、
    　予め特定アプリケーションとして登録済みのアプリケーションが起動されているか否かを判定し、起動されていない場合には立体音響における音場の制御を要と判定し、起動されている場合には前記音場の制御を不要と判定し、
    　前記音場の制御を要と判定した場合には、前記モーションセンサの検知結果に応じて前記音場を制御し、前記音場が制御された前記音声信号を前記音声出力デバイスへ出力し、
    　前記音場の制御を不要と判定した場合には、前記音場の制御を停止し、前記音場が制御されない前記音声信号を前記音声出力デバイスへ出力する、
    　ヘッドマウントディスプレイ装置。
  13. 　請求項１２に記載のヘッドマウントディスプレイ装置において、
    　前記特定アプリケーションは、前記ユーザが、立体音響コンテンツと同時利用した場合に、前記立体音響コンテンツによる音像定位を認識し難くなるものである、
    　ヘッドマウントディスプレイ装置。
  14. 　請求項１２に記載のヘッドマウントディスプレイ装置において、
    　前記モーションセンサは、加速度センサ、ジャイロセンサまたは地磁気センサを含んでいる、
    　ヘッドマウントディスプレイ装置。
  15. 　ユーザの頭部の動きを検知するモーションセンサを少なくとも含み、前記ユーザの状態または前記ユーザの周囲の状態を検知するセンサデバイスと、
    　入力された音声信号を出力用音声に変換して放音する音声出力デバイスと、
    　を備えた装置で用いられる立体音響の制御方法であって、
    　前記立体音響における音場の制御の要否を前記センサデバイスの検知結果に基づいて判定し、
    　前記音場の制御を要と判定した場合には、前記モーションセンサの検知結果に応じて前記音場を制御し、前記音場が制御された前記音声信号を前記音声出力デバイスへ出力し、
    　前記音場の制御を不要と判定した場合には、前記音場の制御を停止し、前記音場の制御を停止した状態の前記音声信号を前記音声出力デバイスへ出力する、
    　立体音響の制御方法。
PCT/JP2022/046717 2022-12-19 2022-12-19 ヘッドマウントディスプレイ装置および立体音響の制御方法 Ceased WO2024134736A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/046717 WO2024134736A1 (ja) 2022-12-19 2022-12-19 ヘッドマウントディスプレイ装置および立体音響の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/046717 WO2024134736A1 (ja) 2022-12-19 2022-12-19 ヘッドマウントディスプレイ装置および立体音響の制御方法

Publications (1)

Publication Number Publication Date
WO2024134736A1 true WO2024134736A1 (ja) 2024-06-27

Family

ID=91588113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046717 Ceased WO2024134736A1 (ja) 2022-12-19 2022-12-19 ヘッドマウントディスプレイ装置および立体音響の制御方法

Country Status (1)

Country Link
WO (1) WO2024134736A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089490A (ja) * 1994-06-21 1996-01-12 Sony Corp 映像を伴うオーディオ再生装置
US20200245093A1 (en) * 2019-01-27 2020-07-30 Philip Scott Lyren Switching Binaural Sound from Head Movements
US20220225054A1 (en) * 2021-01-13 2022-07-14 Samsung Electronics Co., Ltd. Electronic device for measuring posture of user and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089490A (ja) * 1994-06-21 1996-01-12 Sony Corp 映像を伴うオーディオ再生装置
US20200245093A1 (en) * 2019-01-27 2020-07-30 Philip Scott Lyren Switching Binaural Sound from Head Movements
US20220225054A1 (en) * 2021-01-13 2022-07-14 Samsung Electronics Co., Ltd. Electronic device for measuring posture of user and method thereof

Similar Documents

Publication Publication Date Title
US12278932B2 (en) Methods and apparatus to assist listeners in distinguishing between electronically generated binaural sound and physical environment sound
US20250342813A1 (en) Adaptive anc based on environmental triggers
US9271103B2 (en) Audio control based on orientation
US10257637B2 (en) Shoulder-mounted robotic speakers
US11943607B2 (en) Switching binaural sound from head movements
EP2942980A1 (en) Real-time control of an acoustic environment
US11036464B2 (en) Spatialized augmented reality (AR) audio menu
US9832587B1 (en) Assisted near-distance communication using binaural cues
US10667073B1 (en) Audio navigation to a point of interest
US12226696B2 (en) Gaming with earpiece 3D audio
CN109791436B (zh) 用于提供虚拟场景的装置及方法
EP3937506B1 (en) Head-mounted information processing device
JP2026035806A (ja) 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法
US11039265B1 (en) Spatialized audio assignment
JP2019208185A (ja) 情報処理装置および音発生方法
JP2018067157A (ja) 通信装置およびその制御方法
WO2024134736A1 (ja) ヘッドマウントディスプレイ装置および立体音響の制御方法
WO2021112161A1 (ja) 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22969125

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22969125

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP