Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
WO2023112144A1 - 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム - Google Patents
[go: Go Back, main page]

WO2023112144A1 - 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム - Google Patents

振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム Download PDF

Info

Publication number
WO2023112144A1
WO2023112144A1 PCT/JP2021/046038 JP2021046038W WO2023112144A1 WO 2023112144 A1 WO2023112144 A1 WO 2023112144A1 JP 2021046038 W JP2021046038 W JP 2021046038W WO 2023112144 A1 WO2023112144 A1 WO 2023112144A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
sound
position control
palm
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/046038
Other languages
English (en)
French (fr)
Inventor
十季 武田
有信 新島
良輔 青木
伸二 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US18/708,237 priority Critical patent/US20250013306A1/en
Priority to PCT/JP2021/046038 priority patent/WO2023112144A1/ja
Priority to JP2023567333A priority patent/JP7694710B2/ja
Publication of WO2023112144A1 publication Critical patent/WO2023112144A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Definitions

  • One aspect of the present invention relates to a vibration perception position control device, a vibration perception position control method, and a vibration perception position control program.
  • Existing devices such as smartphones and game controllers are equipped with only one or two vibrators, and are limited to applying vibration stimulation to the entire surface of the skin in contact with the device. .
  • the number of vibrators or special devices corresponding to the number of positions is required.
  • Non-Patent Document 1 uses a glove-type device to attach a vibrator to each fingertip, thereby realizing vibration presentation for each of the five fingers.
  • the present invention has been made in view of the above circumstances, and aims to provide a vibration perception position control device capable of making the palm feel a plurality of vibration sources even with a single vibrator.
  • An object of the present invention is to provide a perceptual position control method and a vibration perceptual position control program.
  • a vibration perception position control device includes a sound image localization setting section, a vibration signal generation section, a synchronization control section, a guidance control section, a sound control section, a vibration and a control unit.
  • the sound image localization setting unit performs setting for localizing the sound image in the drive signal of the acoustic device based on the information indicating the direction of the sound source of each sound included in the sound data.
  • the vibration signal generator generates a vibration signal based on information indicating vibration of a vibrating device that vibrates the user's palm surface.
  • the synchronization control unit performs control for synchronizing the timing of generating sound and vibration.
  • the guidance control unit controls presentation of guidance information that guides the orientation and angle of the palm surface.
  • the sound control section controls the audio device according to the drive signal.
  • the vibration control section controls vibration of the vibration device according to the vibration signal.
  • vibrations are presented to the palm in synchronism with sound, and the localization of the sound is controlled and presented aurally.
  • a vibration perception position control device, a vibration perception position control method, and a vibration perception position control program can be provided.
  • FIG. 1 is a diagram showing an example of the appearance of a vibration perception position control device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a holding method for the vibration perception position control device according to the first embodiment.
  • FIG. 3 is a diagram showing a hardware configuration example of the vibration perception position control device according to the first embodiment.
  • FIG. 4 is a functional configuration diagram of the vibration perception position control device according to the first embodiment.
  • FIG. 5 is a flowchart showing an example of the flow of vibration perception position control processing in the first embodiment.
  • FIG. 6 is a schematic diagram for explaining angles in localization information.
  • FIG. 7 is a diagram for explaining an example of localization information and vibration parameter information.
  • FIG. 8 is a diagram for explaining another example of localization information and vibration parameter information.
  • FIG. 1 is a diagram showing an example of the appearance of a vibration perception position control device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a holding
  • FIG. 9A is a schematic diagram for explaining pressure stimulus regions and vibration perception positions when the vibration perception position control device is held in a relaxed state.
  • FIG. 9B is a schematic diagram for explaining the pressure sensation stimulation region and the vibration perception position when the vibration perception position control device is tightly gripped with the entire palm.
  • FIG. 10A is a schematic diagram for explaining the vibration perception position when the palm is oriented vertically.
  • FIG. 10B is a schematic diagram for explaining the vibration perception position when the palm is turned sideways.
  • FIG. 11 is a diagram showing a hardware configuration example of a vibration perception position control device according to a second embodiment of the present invention.
  • FIG. 12 is a functional configuration diagram of a vibration perception position control device according to the second embodiment.
  • FIG. 13 is a flowchart showing an example of the flow of vibration perception position control processing in the second embodiment.
  • FIG. 14 is a diagram showing a hardware configuration example when the vibration perception position control device according to the second embodiment is configured by two units.
  • FIG. 1 is a diagram showing an example of the appearance of a vibration perception position control device 10 according to a first embodiment of the invention.
  • the vibration perception position control device 10 is a device for allowing the user to perceive vibration when held by the user's palm.
  • An xyz coordinate system is defined as shown in FIG. 1 for explaining the processing to be described later.
  • FIG. 2 is a diagram showing an example of how to hold the vibration perception position control device 10.
  • FIG. 2 the user holds the vibration perception position control device 10 on the palm of the left hand.
  • the vibration perception position control device 10 uses a human illusion to make the user perceive that an arbitrary position on the surface of the palm is vibrating by emitting sound and vibration through processing to be described later.
  • the vibration perception position control device 10 can make the user perceive that the base of the ring finger of the palm is vibrating, or that the region extending from the base of the thumb to the base of the index finger is vibrating. can also be perceived.
  • the gripping method described above is merely an example, and the vibration perception position control device 10 may come into contact with the user's palm via a medium.
  • the vibration perception position control device 10 has a spherical shape. Although the vibration perception position control device 10 has a perfectly circular sphere in this embodiment, it may have an elliptical sphere.
  • the vibration perception position control device 10 is marked with a direction mark M indicating the direction in which the user places it on the palm and holds it.
  • the direction mark M is an arrow, and the user is prescribed to hold the vibration perception position control device 10 with the direction mark M facing up and the arrow pointing to the fingertip.
  • FIG. 3 is a diagram showing a hardware configuration example of the vibration perception position control device 10.
  • the vibration perception position control device 10 includes a CPU 101 , a memory 102 , a communication device 103 , a sound device 104 and a vibration device 105 . These CPU 101 , memory 102 , communication device 103 , acoustic device 104 and vibration device 105 are interconnected by bus 106 .
  • the memory 102 is a storage that uses a combination of non-volatile memory such as ROM and volatile memory such as RAM as a storage medium.
  • the memory 102 stores programs necessary for the CPU 101 to execute various processes.
  • the program includes the vibration perception position control program according to the first embodiment.
  • the memory 102 further stores data acquired and created while the CPU 101 performs various processes.
  • the CPU 101 may be multi-core/multi-threaded, and can execute multiple processes in parallel.
  • the communication device 103 is a device for transmitting and receiving signals to and from other devices. Communication may be performed by wire or by radio.
  • a wireless method for example, a mobile phone communication system such as 4G, 5G, etc., a wireless LAN, a low-power wireless data communication standard such as Bluetooth (registered trademark), etc. can be used.
  • the audio device 104 is, for example, a speaker capable of stereo reproduction, and is a device that receives a driving signal from the CPU 101 and generates sound. Note that the vibration perception position control device 10 does not necessarily have to include the acoustic device 104 . In that case, the vibration perception position control device 10 transmits a drive signal to an external audio device such as a headphone, an earphone, a speaker, etc. through the communication device 103 .
  • the vibration device 105 is a device that receives a vibration signal from the CPU 101 and generates vibration.
  • the vibration device 105 may be composed of one oscillator, or may be composed of a plurality of oscillators. That is, the vibration perception position control device 10 has at least one vibrator.
  • FIG. 4 is a functional configuration diagram of the vibration perception position control device 10.
  • the vibration perception position control device 10 includes a localization information acquisition unit 11, a vibration parameter information acquisition unit 12, a guidance parameter information acquisition unit 13, a sound image localization setting unit 14, a vibration signal generation unit 15, and a synchronization control unit 16. , a sound control unit 17 , a vibration control unit 18 , and a guidance control unit 19 .
  • Each of these processing function units is implemented by a CPU 101 and a memory 102 that constitute a computer.
  • each processing function unit is implemented by CPU 101 executing processing described in a vibration perception position control program stored in memory 102 .
  • these processing functions may be implemented in a variety of other forms, including integrated circuits such as ASICs, FPGAs, and the like.
  • the localization information acquisition unit 11 acquires localization information.
  • the localization information is information indicating the direction of the sound source of each sound included in the sound data. Specifically, the localization information is information that associates a value indicating the time at which each sound included in the sound data is generated with a value indicating the direction of the sound source as an angle with respect to the front direction of the user. be.
  • the sound data is generated by another system based on the content provided by the service provider, and the localization information is generated by another system based on this sound data. In this way, localization information can be set by the service provider.
  • the localization information acquisition unit 11 acquires this localization information via the communication device 103 or the like.
  • the vibration parameter information acquisition unit 12 acquires vibration parameter information.
  • the vibration parameter information is information indicating vibration of the vibration device 105 .
  • the vibration parameter information is information indicating vibration of each vibrator. Vibration parameter information may include frequency, length, etc. of vibration.
  • the vibration parameter information acquisition unit 12 acquires, for example, vibration parameter information generated by another system based on content provided by the service provider via the communication device 103 or the like. In this way, the vibration parameter information can also be set by the service provider.
  • the guidance parameter information acquisition unit 13 acquires body motion guidance parameter information.
  • the body motion guidance parameter information is information indicating the body motion of the user.
  • the body motion guidance parameter information includes grip strength such as gripping the vibration perception position control device 10 firmly with the entire palm or gripping it lightly with less force, the direction of the palm, that is, the direction of the arm, the direction of the z-axis in the xyz coordinates of the palm, that is, the Indications such as the tilt angle with respect to the direction of gravity can be included.
  • the body motion guidance parameter information may be voice data indicating the instruction content.
  • the guidance parameter information acquisition unit 13 acquires, for example, body movement guidance parameter information generated by another system based on content provided by the service provider via the communication device 103 or the like. In this way, the body motion guidance parameter information can also be set by the service provider.
  • the sound image localization setting unit 14 makes settings for localizing the sound image in the drive signal of the acoustic device 104 .
  • the audio device 104 is an external device such as headphones, earphones, etc.
  • the relative positional relationship between the user and the vibration perception position control device 10, such as the holding posture of the vibration perception position control device 10, is assumed in advance. shall be For example, as shown in FIG. 2, the user holds the vibration perception position control device 10 with one hand with the palm facing upward, so that the positive direction of the x-axis corresponds to the right direction and the positive direction of the y-axis corresponds to the right direction of the body. It can be provided that the grip corresponds to the frontal direction.
  • the sound image localization setting unit 14 sets so that only the earphone that is brought into contact with the right ear emits sound.
  • the setting for localizing the sound image may be a known method, for example, a setting that adjusts the sound volume of a plurality of speakers or the like.
  • the vibration signal generator 15 generates a vibration signal based on the vibration parameter information. Note that when the vibration device 105 includes a plurality of vibrators, a vibration signal is generated for each vibrator. The vibration signal generator 15 generates a vibration signal that attenuates a sine wave of 200 Hz within 0.15 seconds, for example.
  • the synchronization control unit 16 performs control to synchronize the timing of generating sound and vibration.
  • the localization information, the body movement guidance parameter information, and the vibration parameter information are information specified in chronological order, and the times at which sound and vibration are generated are specified. Synchronous control is performed according to the designation of the time indicated in the body motion guidance parameter information and the vibration parameter information.
  • the sound control unit 17 controls the acoustic device 104 according to the drive signal at the timing controlled by the synchronization control unit 16.
  • the vibration control section 18 controls the vibration of the vibration device 105 according to the vibration signal at the timing controlled by the synchronization control section 16 .
  • the guidance control unit 19 controls the communication device 103 to transmit a guidance voice signal to an external presentation device such as a speaker, thereby presenting instruction content by voice.
  • FIG. 5 is a flowchart showing an example of the flow of vibration perception position control processing in the vibration perception position control device 10.
  • the vibration perception position control device 10 starts vibration perception position control processing upon power-on or receiving an instruction via the communication device 103 or the like.
  • the vibration perception position control device 10 may store data indicating the pitch of sound at each time in the memory 102 in advance, or may receive the data via the communication device 103 or the like.
  • the localization information acquisition unit 11 acquires localization information via the communication device 103 (step S11).
  • the localization information is information that includes combinations of times and angles ⁇ in time series.
  • FIG. 6 is a schematic diagram for explaining angles in localization information.
  • the angle ⁇ is the angle of the sound source with the front direction of the user as a reference of 0 degrees.
  • An example of localization information is ((t1, -90), (t2, 0), (t3, 90)).
  • the sound image localization setting unit 14 performs settings for localizing the sound image based on the localization information (step S12).
  • the guidance parameter information acquisition unit 13 acquires body movement guidance parameter information via the communication device 103 (step S13).
  • the body motion guidance parameter information is information that includes, in chronological order, a combination of time and voice data indicating the content of instructions regarding the user's body motion.
  • the vibration parameter information acquisition unit 12 acquires vibration parameter information via the communication device 103 or the like (step S14).
  • the vibration parameter information is information that includes, in time series, combinations of times and identifiers indicating transducers (hereinafter referred to as transducer IDs). If there is only one oscillator, the oscillator ID may be omitted.
  • An example of vibration parameter information is ((t1, v2), (t2, v1, v2)).
  • v1 and v2 are examples of transducer IDs.
  • the vibration device 105 vibrates the vibrator v2 at the time t1, and vibrates the vibrators v1 and v2 at the time t2.
  • the vibration signal generator 15 generates a vibration signal based on the vibration parameter information (step S15).
  • the vibration signal generation unit 15 assigns vibrations to each vibrator (step S16). That is, the vibration signal generator 15 generates a vibration signal for each vibrator. It should be noted that if the vibrating device 105 is composed of one vibrator, the vibrating signal generator 15 does not have to execute the process of step S16.
  • the synchronization control unit 16 synchronizes the timing of sound and vibration (step S17). Specifically, the synchronization control unit 16 performs synchronization control according to the designation of the time indicated by the localization information, the body movement guidance parameter information, and the vibration parameter information.
  • the guidance control unit 19 controls the guidance of the user's body motion at the timing controlled by the synchronization control unit 16 (step S18). Specifically, the guidance control unit 19 controls the communication device 103 at the timing controlled by the synchronization control unit 16 to transmit a guidance voice signal to an external presentation device such as a speaker, A sound that induces body movement is output.
  • the sound control unit 17 and the vibration control unit 18 control sound and vibration at the timing controlled by the synchronization control unit 16 (step S19). Specifically, the sound controller 17 controls the acoustic device 104 according to the drive signal at the timing controlled by the synchronization controller 16 . Further, the vibration control section 18 controls the vibration of the vibration device 105 according to the vibration signal at the timing controlled by the synchronization control section 16 .
  • FIG. 7 is a diagram for explaining an example of localization information and vibration parameter information.
  • Localization information corresponding to FIG. 7 is, for example, ((t1, -90), (t2, 0), (t3, 90), (t4, 0), (t5, -90)).
  • the vibration parameter information is, for example, ((t1, v1), (t2, v1, v2), (t3, v2), (t4, v1, v2), (t5, v1, v2)).
  • the acoustic device 104 Based on such localization information and vibration parameter information, at time t1, the acoustic device 104 emits sound so that the direction of -90 degrees seems to be the sound source, and the vibrator v1 included in the vibration device 105 vibrates. , the oscillator v2 does not vibrate. Also, at time t2, the acoustic device 104 emits sound so that the direction of 0 degrees is perceived as the sound source, and the vibrator v1 and the vibrator v2 included in the vibration device 105 vibrate.
  • the acoustic device 104 emits sound so that the sound source appears to be in the direction of 90 degrees, the vibrator v1 included in the vibration device 105 does not vibrate, and the vibrator v2 vibrates.
  • the acoustic device 104 emits sound so that the direction of 0 degrees is felt as the sound source, and the vibrator v1 and the vibrator v2 included in the vibration device 105 vibrate.
  • the acoustic device 104 emits sound so that the direction of -90 degrees seems to be the sound source, and the vibrator v1 and the vibrator v2 included in the vibration device 105 vibrate.
  • part of the various information described above may be in a format conforming to the MIDI (Musical Instrument Digital Interface) standard.
  • MIDI Musical Instrument Digital Interface
  • FIG. 8 is a diagram for explaining another example of localization information and vibration parameter information.
  • the synchronously presented sound source and vibration are not limited to discrete presentation as shown in FIG. 7, but may be continuous presentation as shown in FIG.
  • the vibrator 105 includes only one vibrator, the vibrating position corresponding to the direction of each sound source vibrates in the vibration perception position control device 10. As such, the user can be illusioned.
  • FIG. 9A is a schematic diagram for explaining the pressure stimulus region R and the vibration perception position P when the vibration perception position control device 10 is held in a relaxed state.
  • FIG. 9B is a schematic diagram for explaining the pressure stimulation region R and the vibration perception position P when the vibration perception position control device 10 is tightly gripped with the entire palm.
  • the pressure stimulus region R is a region where the magnitude of the pressure stimulus is greater than or equal to a certain level.
  • the pressure stimulation region R depends on gravity, that is, on the tilt angle of the palm with respect to the direction of gravity.
  • the inclination angle of the palm with respect to the direction of gravity will be referred to as a "palm angle”.
  • FIG. 9B when the user tightly grips the vibration perception position control device 10 with the entire palm, the pressure stimulation region R extends over substantially the entire palm. In this case, the pressure stimulation region R is less dependent on the angle of the palm.
  • FIG. 10A is a schematic diagram for explaining the vibration perception position P when the palm is oriented vertically.
  • FIG. 10B is a schematic diagram for explaining the vibration perception position P when the palm is turned sideways.
  • the vibration perception position P is the position where the user feels that it is vibrating.
  • the vibration perception position P changes depending on the sound emitted by the acoustic device 104, that is, the direction of the sound source.
  • FIG. 10A when the user holds the vibration perception position control device 10 with the palm facing vertically, that is, in a direction in which the fingertips of the palm face the front of the user, the same figure, FIG. 9A and FIG.
  • the vibration perception position P can be changed in the lateral direction of the palm.
  • the acoustic device 104 emits sound so that the sound source is perceived to be in the direction of -90 degrees and vibrates the vibrator included in the vibration device 105
  • the user is given the illusion that the left side of the palm is vibrating. be able to.
  • the acoustic device 104 emits sound so that the sound source is felt to be in the direction of 90 degrees and vibrates the vibrator included in the vibrating device 105
  • the user is given the illusion that the right side of the palm is vibrating. can be done. In this way, the user can be given the illusion that the location corresponding to the direction of the sound source is vibrating even though the same vibrator generates the same vibration.
  • the vibration perception position control device 10 when the user holds the vibration perception position control device 10 with the palm facing sideways, that is, with the fingertips pointing to the left of the user, the position shown in FIG.
  • the vibration perception position P By changing the direction of the sound source, the vibration perception position P can be changed in the vertical direction of the palm (fingertip/wrist direction), as indicated by a double-headed arrow.
  • the acoustic device 104 emits sound so that the sound source is felt to be in the direction of -90 degrees, and vibrates the vibrator included in the vibration device 105, the upper part of the palm (the base of the finger) vibrates.
  • the same vibration is generated by the same vibrator at various positions of the palm and in various size ranges. , can cause the user to perceive the vibration. Therefore, in addition to presenting the sound source and the vibration synchronously, guidance of the user's body movement is performed to indicate how to hold the vibration perception position control device 10 and how to angle and direction the palm. , the vibration perceived by the user can be controlled.
  • the vibration perception position control device 10 is a phenomenon in which tactile information is complemented by simultaneously presented auditory information, thereby changing tactile perception. Take advantage of the effect of cross-modal perception.
  • the vibration perception position control device 10 presents the vibration to the palm in synchronization with the sound according to the localization information and the vibration parameter information provided by the system based on the content provided by the service provider, and controls the localization of the sound to provide auditory presentation. do.
  • the vibration perception position P can be changed on the palm surface in contact with the vibration perception position control device 10 and on the vector extension line connecting both ears.
  • the vibration perception position control device 10 can change the vibration perception position within the pressure stimulation region R, which is a region where the pressure sensation stimulation depends on how the vibration perception position control device 10 is gripped with the palm. Then, the vibration perception position control device 10 guides the palm grip, orientation, angle, etc. according to guidance parameter information provided by the system based on contents provided by the service provider, thereby changing the vibration perception position P. Control the direction and change region extent.
  • the sound image localization setting unit 14 localizes the sound image so that the user perceives that the vibration perception position P is changing on the vector extension line connecting the user's ears on the palm surface in contact with the vibration device 105. settings. Specifically, the sound image localization setting unit 14 makes settings for localizing the sound image in the drive signal of the acoustic device 104 so that the position of the palm where the vibration from the vibration device 105 is desired to be perceived is the direction of the sound source. I do. This allows the user to feel that the position of the palm is vibrating.
  • the guidance control unit 19 causes the user to perceive that the vibration perception position P is changing within the pressure stimulation area R, which is an area where the pressure stimulation on the palm surface in contact with the vibration device 105 is equal to or greater than a certain level. , guide the orientation and angle of the palm surface in contact with the vibration device 105 . Thereby, the vibration perception position P can be controlled.
  • the guidance control unit 19 guides the direction of the palm surface in contact with the vibrating device 105, or the direction and the angle, so that the change direction of the vibration perception position P, or the change direction and the change area range. to control. In this way, by guiding the user to change the orientation of the palm surface, or the orientation and the angle, it is possible to change the change direction of the vibration perception position P, or the change direction and the change area range.
  • FIG. 11 is a diagram showing a hardware configuration example of the vibration perception position control device 10 according to the second embodiment of the invention.
  • a sensor 107 is further provided in addition to the hardware configuration of the vibration perception position control device 10 according to the first embodiment.
  • the sensor 107 is, for example, an acceleration sensor, a gyro sensor for detecting angular velocity, or the like.
  • FIG. 12 is a functional configuration diagram of the vibration perception position control device 10 according to the second embodiment.
  • a sensor information acquisition unit 20 in addition to the functional configuration of the vibration perception position control device 10 according to the first embodiment, a sensor information acquisition unit 20, a center-of-gravity estimation unit 21, a direction angle estimation unit 22, and an image superimposition position and a determination unit 23 .
  • the sensor information acquisition unit 20 acquires sensor information, which is detection data of the sensor 107 .
  • the center-of-gravity estimation unit 21 estimates the center-of-gravity of the palm, which is the body part with which the vibration perception position control device 10 is in contact, based on the sensor information acquired by the sensor information acquisition unit 20 .
  • the center-of-gravity estimation unit 21 can estimate the center of gravity using the guidance parameter information acquired by the guidance parameter information acquisition unit 13 .
  • the guidance parameter information is information indicating the content of body motion instructions to the user, so it is possible to know how the palm has moved so far and how it will move in the future. . That is, the orientation and angle of the palm at the time when the sensor information is acquired can be assumed based on this guidance parameter information. Therefore, it is possible to estimate where the current center of gravity of the palm is based on the assumed orientation and angle of the palm and the actual movement of the palm indicated by the sensor information.
  • the direction angle estimation unit 22 estimates the orientation and angle of the palm, which is the target part, based on the sensor information acquired by the sensor information acquisition unit 20 .
  • the image superimposed position determination unit 23 determines the position on the palm, which is a part of the body, or in the virtual space. A superimposition position at which a video that guides the user's body motion should be superimposed and displayed is calculated.
  • Guidance parameter information which is information indicating the instruction content of the body motion to the user, which is acquired by the guidance parameter information acquisition unit 13, can be guidance video content including the instruction content composed of sound and image.
  • the synchronization control unit 16 performs control to synchronize the timing of generating sound and vibration with the timing of generating video. That is, the synchronization control unit 16 controls the timing of the video drive signal based on the superimposition position information calculated by the video superimposition position determination unit 23 .
  • the guidance control unit 19 controls the communication device 103 at the timing controlled by the synchronization control unit 16 to send a video content signal to a presentation device such as a head-mounted display for AR (augmented reality) or VR (virtual reality). to present guidance video content that indicates instruction content by video or audio. That is, the presentation device superimposes and displays an image on the user's palm using AR, or superimposes and displays an image at an arbitrary position in the virtual space using VR.
  • FIG. 13 is a flowchart showing an example of the flow of vibration perception position control processing in the vibration perception position control device 10 according to the second embodiment.
  • the localization information acquisition unit 11 acquires localization information via the communication device 103 or the like (step S11).
  • the sound image localization setting unit 14 performs setting for localizing the sound image based on the localization information (step S12).
  • the sensor information acquisition unit 20 acquires sensor information from the sensor 107 (step S21).
  • the direction angle estimation unit 22 estimates the current palm orientation and angle based on the sensor information acquired by the sensor information acquisition unit 20 (step S22).
  • the guidance parameter information acquisition unit 13 acquires body motion guidance parameter information via the communication device 103 or the like (step S13).
  • the center-of-gravity estimating unit 21 determines the position of the palm, which is the body part with which the vibration perception position control device 10 is in contact, based on the guidance parameter information acquired by the guidance parameter information acquisition unit 13 and the sensor information acquired by the sensor information acquisition unit 20. A center of gravity is estimated (step S23).
  • the video superimposition position determination unit 23 superimposes the video of the guidance video content based on the center of gravity of the palm estimated by the center-of-gravity estimation unit 21 and the orientation and angle of the palm estimated by the direction angle estimation unit 22.
  • a video superimposition position to be superimposed is determined (step S24).
  • the vibration parameter information acquisition unit 12 acquires vibration parameter information via the communication device 103 or the like (step S14). Subsequently, the vibration signal generator 15 generates a vibration signal based on the vibration parameter information (step S15).
  • the vibrating signal generator 15 assigns vibrations to each vibrator (step S16).
  • the synchronization control unit 16 synchronizes the timing of video, sound and vibration (step S25). Specifically, the synchronization control unit 16 synchronizes according to the designation of the time indicated by the localization information and the vibration parameter information, the time indicated by the guidance parameter information, and the image superimposed position determined by the image superimposed position determining unit 23. control.
  • the sound control section 17, the vibration control section 18, and the guidance control section 19 control the video, sound, and vibration at the timing controlled by the synchronization control section 16 (step S26).
  • the sound controller 17 controls the acoustic device 104 according to the drive signal at the timing controlled by the synchronization controller 16 .
  • the vibration control section 18 controls the vibration of the vibration device 105 according to the vibration signal at the timing controlled by the synchronization control section 16 .
  • the guidance control unit 19 controls the communication device 103 at the timing controlled by the synchronization control unit 16 to transmit a video content signal to the external presentation device, and guides the presentation device to the user's body movement. Output video content.
  • the direction angle estimation unit 22 for estimating the direction and angle of the palm surface and the contact between the palm surface and the vibration device 105 A center-of-gravity estimating unit 21 for estimating the center of gravity of the surface, and a superimposing unit for superimposing video content on the user's palm or at any position in the virtual space based on the results of estimating the direction and angle of the palm plane and the results of estimating the center of gravity.
  • an image superimposed position determination unit 23 a synchronization control unit 16 and a guidance control unit 19 . Therefore, it is possible to induce the user's body motions not only by sounds but also by images.
  • the vibration perception position control device 10 may not be a housing having a spherical shape as shown in FIG. 1, but may be a quadrangular prism.
  • the vibration perception position control device 10 may be, for example, a mobile terminal such as a smart phone.
  • the vibration perception position control device 10 When the vibration perception position control device 10 is a mobile terminal such as a smart phone, each of the processes described above may be defined in an application program installed on the smart phone or the like. That is, in the first and second embodiments, the vibration perception position control device 10 acquires the guidance parameter information and the like provided by the system through the communication device based on the content provided by the service provider. Such guidance parameter information or the like can be generated by the vibration perception position control device 10 based on the content. In other words, the vibration perception position control device 10 may be a system that reproduces content.
  • FIG. 14 is a diagram showing a hardware configuration example when the vibration perception position control device 10 according to the second embodiment is configured by two units, a control unit 10A and a vibration unit 10B.
  • the control unit 10A includes a CPU 101, a memory 102, a communication device 103A and an acoustic device 104
  • the vibration unit 10B includes a communication device 103B, a vibration device 105 and a sensor 107.
  • the vibration unit 10B can be a housing having a spherical shape as shown in FIG.
  • the acoustic device 104 may also be a separate unit.
  • the vibration perception position control device 10 according to the first embodiment can be distributed over a plurality of units.
  • the vibration signal generation unit 15 may generate vibration signals such that the strength of vibration corresponding to each sound repeats strength and weakness. This makes it possible for the user to feel that something has changed for each sound, thereby making it easier for the user to have the illusion that the location corresponding to the direction of each sound source is vibrating.
  • the method described in each embodiment can be executed by a computer (computer) as a processing program (software means), such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), an optical disk (CD-ROM, DVD, MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), or the like, or may be transmitted and distributed via a communication medium.
  • the programs stored on the medium also include a setting program for configuring software means (including not only execution programs but also tables and data structures) to be executed by the computer.
  • a computer that realizes this apparatus reads a program recorded on a recording medium, and optionally constructs software means by a setting program. The operation is controlled by this software means to execute the above-described processes.
  • the term "recording medium” as used herein is not limited to those for distribution, and includes storage media such as magnetic disks, semiconductor memories, etc. provided in computers or devices connected via a network.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the gist of the invention at the implementation stage.
  • various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, constituent elements of different embodiments may be combined as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

振動知覚位置制御装置は、音像定位設定部と、振動信号生成部と、同期制御部と、誘導制御部と、音制御部と、振動制御部と、を備える。音像定位設定部は、音データに含まれる各音の音源の方角を示す情報に基づいて、音響装置の駆動信号に音像を定位させるための設定を行う。振動信号生成部は、ユーザの掌面に振動を与える振動装置の振動を示す情報に基づいて、振動信号を生成する。同期制御部は、音と振動を発生させるタイミングを同期する制御を行う。誘導制御部は、掌面の向き及び角度を誘導する誘導情報の提示を制御する。音制御部は、駆動信号に従って音響装置を制御する。振動制御部は、振動信号に従って振動装置の振動を制御する。

Description

振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム
　この発明の一態様は、振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラムに関する。
　スマートフォンやゲームコントローラなどの既存のデバイスには、一つ又は二つ程度の振動子しか搭載されておらず、デバイスと接触する皮膚の面上全体に対して振動刺激を与えることに限られてしまう。接触面上で振動の知覚位置を変えるためには、その位置の数だけの振動子、もしくは特殊なデバイスが必要になる。
　例えば、非特許文献１は、グローブ型デバイスを用いて指先毎に振動子を装着することで、５本指のそれぞれに対する振動の提示を実現している。
Caitlyn Seim, Tanya Estes and Thad Starner, "Towards Passive Haptic Learning of Piano Songs", IEEE World Haptics Conference, pp.445-450, 2015.
　従来の技術では、一つの振動子に対して一つの振動源しか感じさせることができないという問題がある。一つの振動子に対して一つの振動源しか感じさせることができないと、例えば掌の面上で複数の位置、領域及び／又は方向に振動を伝えるためには、その数だけ振動子が必要となる。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、一つの振動子であっても掌に複数の振動源を感じさせることが可能な振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラムを提供することにある。
　上記課題を解決するために、この発明の一態様に係る振動知覚位置制御装置は、音像定位設定部と、振動信号生成部と、同期制御部と、誘導制御部と、音制御部と、振動制御部と、を備える。音像定位設定部は、音データに含まれる各音の音源の方角を示す情報に基づいて、音響装置の駆動信号に音像を定位させるための設定を行う。振動信号生成部は、ユーザの掌面に振動を与える振動装置の振動を示す情報に基づいて、振動信号を生成する。同期制御部は、音と振動を発生させるタイミングを同期する制御を行う。誘導制御部は、掌面の向き及び角度を誘導する誘導情報の提示を制御する。音制御部は、駆動信号に従って音響装置を制御する。振動制御部は、振動信号に従って振動装置の振動を制御する。
　この発明の一態様によれば、振動を音と同期して掌に提示し、音の定位を制御して聴覚提示することで、一つの振動子であっても掌に複数の振動源を感じさせることが可能となる振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラムを提供することができる。
図１は、この発明の第１実施形態に係る振動知覚位置制御装置の外観の一例を示す図である。 図２は、第１実施形態に係る振動知覚位置制御装置の把持方法の一例を示す図である。 図３は、第１実施形態に係る振動知覚位置制御装置のハードウェア構成例を示す図である。 図４は、第１実施形態に係る振動知覚位置制御装置の機能構成図である。 図５は、第１実施形態における振動知覚位置制御処理の流れの一例を示すフローチャートである。 図６は、定位情報における角度を説明するための模式図である。 図７は、定位情報及び振動パラメータ情報の一例について説明するための図である。 図８は、定位情報及び振動パラメータ情報の別の例を説明するための図である。 図９Ａは、力を抜いた状態で振動知覚位置制御装置を把持した場合における圧覚刺激領域と振動知覚位置を説明するための模式図である。 図９Ｂは、振動知覚位置制御装置を掌全体で強く握り締めた場合における圧覚刺激領域と振動知覚位置を説明するための模式図である。 図１０Ａは、掌を縦向きにした場合における振動知覚位置を説明するための模式図である。 図１０Ｂは、掌を横向きにした場合における振動知覚位置を説明するための模式図である。 図１１は、この発明の第２実施形態に係る振動知覚位置制御装置のハードウェア構成例を示す図である。 図１２は、第２実施形態に係る振動知覚位置制御装置の機能構成図である。 図１３は、第２実施形態における振動知覚位置制御処理の流れの一例を示すフローチャートである。 図１４は、第２実施形態に係る振動知覚位置制御装置を二つのユニットにより構成した場合のハードウェア構成例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。　
　［第１実施形態］
　図１は、この発明の第１実施形態に係る振動知覚位置制御装置１０の外観の一例を示す図である。振動知覚位置制御装置１０は、ユーザが掌で把持した場合に、ユーザに振動を知覚させるための装置である。後述する処理について説明するためのｘｙｚ座標系を図１に示すように定義する。
　図２は、振動知覚位置制御装置１０の把持方法の一例を示す図である。図２の例では、ユーザは、振動知覚位置制御装置１０を、左手の掌に載せて把持している。振動知覚位置制御装置１０は、後述する処理によって音と振動を発することによって、人の錯覚を利用して、ユーザに掌の面上の任意の位置が振動していると知覚させる。例えば、振動知覚位置制御装置１０は、ユーザに、掌の薬指の付け根部分が振動していると知覚させることもできるし、親指の付け根部分から人差し指の付け根の部分に亘る領域が振動していると知覚させることもできる。なお、上述した把持方法は一例であって、振動知覚位置制御装置１０は、媒介物を介してユーザの掌に接触しても良い。
　図１及び図２に示されるように、振動知覚位置制御装置１０は、球面形状を有する。振動知覚位置制御装置１０は、この実施形態では、真円球としているが、楕円球であっても構わない。振動知覚位置制御装置１０には、ユーザが掌に載せて把持する際の方向を示す方向マークＭが記されている。この実施形態では、方向マークＭは矢印であり、ユーザは、この方向マークＭが上面で且つ矢印が指先を指す状態に振動知覚位置制御装置１０を把持するように、規定されている。
　図３は、振動知覚位置制御装置１０のハードウェア構成例を示す図である。振動知覚位置制御装置１０は、ＣＰＵ１０１と、メモリ１０２と、通信装置１０３と、音響装置１０４と、振動装置１０５と、を備える。これらＣＰＵ１０１、メモリ１０２、通信装置１０３、音響装置１０４及び振動装置１０５は、バス１０６で相互に接続されている。
　メモリ１０２は、記憶媒体として、ＲＯＭ等の不揮発性メモリとＲＡＭ等の揮発性メモリとを組み合わせて使用したストレージである。メモリ１０２は、ＣＰＵ１０１が各種処理を実行するために必要なプログラムを格納する。プログラムは、第１実施形態に係る振動知覚位置制御プログラムを含む。メモリ１０２は、さらに、ＣＰＵ１０１が各種処理を行う過程で取得及び作成されたデータを記憶する。
　ＣＰＵ１０１は、マルチコア・マルチスレッド数のものであって良く、複数の処理を並行して実行することができる。
　通信装置１０３は、他の装置との間で信号を送受信するための装置である。通信は、有線と無線の何れで行うようにしても構わない。無線手法は、例えば、４Ｇ，５Ｇ，等の携帯電話通信システム、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の小電力無線データ通信規格、等を使用することができる。
　音響装置１０４は、例えばステレオ再生が可能なスピーカであって、ＣＰＵ１０１からの駆動信号を受信して、音を発生させる装置である。なお、振動知覚位置制御装置１０は、必ずしも音響装置１０４を備えていなくても良い。その場合、振動知覚位置制御装置１０は、通信装置１０３により、ヘッドホン，イヤホン，スピーカ，等の外部音響装置に駆動信号を送信する。
　振動装置１０５は、ＣＰＵ１０１からの振動信号を受信して、振動を発生させる装置である。振動装置１０５は、一つの振動子から構成されていても良く、また複数の振動子から構成されていても良い。すなわち、振動知覚位置制御装置１０は、少なくとも一つの振動子を備える。
　図４は、振動知覚位置制御装置１０の機能構成図である。振動知覚位置制御装置１０は、定位情報取得部１１と、振動パラメータ情報取得部１２と、誘導パラメータ情報取得部１３と、音像定位設定部１４と、振動信号生成部１５と、同期制御部１６と、音制御部１７と、振動制御部１８と、誘導制御部１９と、を備える。これら各処理機能部は、コンピュータを構成するＣＰＵ１０１及びメモリ１０２によって実現される。具体的には、各処理機能部は、ＣＰＵ１０１が、メモリ１０２に記憶された振動知覚位置制御プログラムに記述された処理を実行することによって実現される。なお、これらの処理機能部は、ＡＳＩＣ，ＦＰＧＡ，等の集積回路を含む、他の多様な形式で実現されても良い。
　定位情報取得部１１は、定位情報を取得する。定位情報は、音データに含まれる各音の音源の方角を示す情報である。具体的には、定位情報は、音データに含まれる各音の発生させる時刻を示す値と、音源の方角をユーザの正面方向を基準０度とする角度で示す値と、を関連付けた情報である。音データは、サービス提供側が提供するコンテンツに基づいて別システムが生成するものであり、定位情報は、別システムがこの音データに基づいて生成する。このように、定位情報は、サービス提供側で設定することができる。定位情報取得部１１は、通信装置１０３等を介して、この定位情報を取得する。
　振動パラメータ情報取得部１２は、振動パラメータ情報を取得する。振動パラメータ情報は、振動装置１０５の振動を示す情報である。振動装置１０５が複数の振動子から構成されている場合は、振動パラメータ情報は、各振動子の振動を示す情報である。振動パラメータ情報は、振動の周波数、長さ、等を含むことができる。振動パラメータ情報取得部１２は、例えば、サービス提供側が提供するコンテンツに基づいて別システムが生成した振動パラメータ情報を、通信装置１０３等を介して、取得する。このように、振動パラメータ情報も、サービス提供側で設定することができる。
　誘導パラメータ情報取得部１３は、身体動作誘導パラメータ情報を取得する。身体動作誘導パラメータ情報は、ユーザの身体動作を示す情報である。例えば、身体動作誘導パラメータ情報は、振動知覚位置制御装置１０を掌全体で強く握る、もしくは力を抜いて軽く握る、等の把持力、掌つまり腕の方向、掌のｘｙｚ座標におけるｚ軸方向つまり重力方向に対する傾き角度、等の指示を含むことができる。具体的には、身体動作誘導パラメータ情報は、指示内容を示す音声データであって良い。誘導パラメータ情報取得部１３は、例えば、サービス提供側が提供するコンテンツに基づいて別システムが生成した身体動作誘導パラメータ情報を、通信装置１０３等を介して、取得する。このように、身体動作誘導パラメータ情報についても、サービス提供側で設定することができる。
　音像定位設定部１４は、定位情報に基づいて、音響装置１０４の駆動信号に音像を定位させるための設定を行う。音響装置１０４がヘッドホン，イヤホン，等のような外部機器である場合には、例えば振動知覚位置制御装置１０の把持姿勢など、ユーザと振動知覚位置制御装置１０との相対的な位置関係が予め想定されているものとする。例えば、ユーザは、図２に示されるように、片手で掌を上向きにして振動知覚位置制御装置１０を把持することによって、ｘ軸正方向が右方向に対応し、ｙ軸正方向が体の正面方向に対応するように把持することを規定することができる。このような把持状態においては、例えば、音源の角度をθとして、ｘ軸方向（角度θ＝９０度）を音源の方角とする場合、ユーザと振動知覚位置制御装置１０との相対的な位置関係はｘ軸方向がユーザの右側となることが想定される。よって、このような場合には、音像定位設定部１４は、右耳に接触させるイヤホンのみ音を発するように設定する。なお、音像を定位させるための設定は、既知の方法で良く、例えば、複数のスピーカ等の音の大きさが調整される設定である。
　振動信号生成部１５は、振動パラメータ情報に基づいて、振動信号を生成する。なお、振動装置１０５が複数の振動子を含む場合には、各振動子の振動信号を生成する。振動信号生成部１５は、例えば、２００Ｈｚのサイン波を０．１５秒以内に減衰させる形の振動信号を生成する。
　同期制御部１６は、音と振動を発生させるタイミングとを同期する制御を行う。なお、定位情報、身体動作誘導パラメータ情報及び振動パラメータ情報は、時系列で指定された情報であって、音と振動を発生させる時刻が指定されているため、同期制御部１６は、定位情報、身体動作誘導パラメータ情報及び振動パラメータ情報に示される時刻の指定に従って、同期する制御を行う。
　音制御部１７は、同期制御部１６によって制御されたタイミングで、駆動信号に従って音響装置１０４を制御する。
　振動制御部１８は、同期制御部１６によって制御されたタイミングで、振動信号に従って振動装置１０５の振動を制御する。
　誘導制御部１９は、同期制御部１６によって制御されたタイミングで、通信装置１０３を制御して、スピーカ等の外部の提示装置に誘導音声信号を送信して、音声による指示内容を提示させる。
　次に、以上のように構成された振動知覚位置制御装置１０の処理動作を説明する。　
　図５は、振動知覚位置制御装置１０における振動知覚位置制御処理の流れの一例を示すフローチャートである。振動知覚位置制御装置１０は、電源ＯＮ又は通信装置１０３等を介して指示を受けて、振動知覚位置制御処理を開始する。なお、振動知覚位置制御装置１０は、時刻毎の音の高さを示すデータを、予めメモリ１０２に記憶していても良く、又は通信装置１０３等を介して受信しても良い。
　定位情報取得部１１は、通信装置１０３等を介して、定位情報を取得する（ステップＳ１１）。具体的には、定位情報は、時刻と角度θとの組み合わせを時系列に含む情報である。図６は、定位情報における角度を説明するための模式図である。図６に示されるように、角度θは、ユーザの正面方向を基準０度とした音源の角度である。ユーザの右耳方向はθ＝９０度であり、ユーザの左耳方向はθ＝－９０度である。定位情報の一例は、（（ｔ１，－９０），（ｔ２，０），（ｔ３，９０）)である。この場合、音響装置１０４は、時刻ｔ１においてθ＝－９０度を音源とする音を発し、時刻ｔ２においてθ＝０度を音源とする音を発し、時刻ｔ３にθ＝９０度を音源とする音を発する。
　次に、音像定位設定部１４は、定位情報に基づいて、音像を定位させるための設定を行う（ステップＳ１２）。
　続いて、誘導パラメータ情報取得部１３は、通信装置１０３等を介して、身体動作誘導パラメータ情報を取得する（ステップＳ１３）。具体的には、身体動作誘導パラメータ情報は、時刻とユーザの身体動作に関する指示内容を示す音声データとの組み合わせを時系列に含む情報である。
　次に、振動パラメータ情報取得部１２は、通信装置１０３等を介して、振動パラメータ情報を取得する（ステップＳ１４）。具体的には、振動パラメータ情報は、時刻と振動子を示す識別子（以下、振動子ＩＤという）との組み合わせを時系列に含む情報である。振動子が一つの場合には、振動子ＩＤは無くても良い。振動パラメータ情報の一例は、（（ｔ１，ｖ２），（ｔ２，ｖ１，ｖ２））である。ｖ１及びｖ２は、振動子ＩＤの一例である。この場合、振動装置１０５は、時刻ｔ１において振動子ｖ２が振動し、時刻ｔ２において振動子ｖ１及び振動子ｖ２が振動する。
　続けて、振動信号生成部１５は、振動パラメータ情報に基づいて、振動信号を生成する（ステップＳ１５）。
　ここで、振動装置１０５が複数の振動子から構成されている場合は、振動信号生成部１５は、振動を各振動子に割り当てる（ステップＳ１６）。すなわち、振動信号生成部１５は、振動子毎に振動信号を生成する。なお、振動装置１０５が一つの振動子から構成されている場合は、振動信号生成部１５は、このステップＳ１６の処理を実行しなくても良い。
　次に、同期制御部１６は、音と振動のタイミングを同期する（ステップＳ１７）。具体的には、同期制御部１６は、定位情報、身体動作誘導パラメータ情報及び振動パラメータ情報に示される時刻の指定に従って、同期する制御を行う。
　続けて、誘導制御部１９は、同期制御部１６によって制御されたタイミングで、ユーザの身体動作の誘導を制御する（ステップＳ１８）。具体的には、誘導制御部１９は、同期制御部１６によって制御されたタイミングで、通信装置１０３を制御して、スピーカ等の外部の提示装置に誘導音声信号を送信し、提示装置にユーザの身体動作を誘導する音を出力させる。
　次に、音制御部１７及び振動制御部１８は、同期制御部１６によって制御されたタイミングで、音と振動を制御する（ステップＳ１９）。具体的には、音制御部１７は、同期制御部１６によって制御されたタイミングで、駆動信号に従って音響装置１０４を制御する。また、振動制御部１８は、同期制御部１６によって制御されたタイミングで、振動信号に従って振動装置１０５の振動を制御する。
　図７は、定位情報及び振動パラメータ情報の一例について説明するための図である。図７に対応する定位情報は、例えば、（（ｔ１，－９０），（ｔ２，０），（ｔ３，９０），（ｔ４，０），（ｔ５，－９０）)である。また、振動パラメータ情報は、例えば、（（ｔ１，ｖ１），（ｔ２，ｖ１，ｖ２），（ｔ３，ｖ２），（ｔ４，ｖ１，ｖ２），（ｔ５，ｖ１，ｖ２））である。
　このような定位情報及び振動パラメータ情報に基づけば、時刻ｔ１において、音響装置１０４は、－９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子ｖ１は振動し、振動子ｖ２は振動しない。また、時刻ｔ２において、音響装置１０４は、０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子ｖ１及び振動子ｖ２は振動する。時刻ｔ３において、音響装置１０４は、９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子ｖ１は振動せず、振動子ｖ２は振動する。時刻ｔ４において、音響装置１０４は、０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子ｖ１及び振動子ｖ２は振動する。そして、時刻ｔ５において、音響装置１０４は、－９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子ｖ１及び振動子ｖ２は振動する。
　なお、上述した各種情報の一部は、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式であっても良い。
　図８は、定位情報及び振動パラメータ情報の別の例を説明するための図である。同期して提示される音源と振動は、図７に示されるような離散的な提示に限定するものではなく、図８に示されるように、連続的な提示であっても良い。
　以上のように音と振動を同期させると、振動装置１０５に含まれる振動子が一つだけであっても、振動知覚位置制御装置１０において、各音源の方角に対応した箇所が振動しているように、ユーザに錯覚させることができる。
　図９Ａは、力を抜いた状態で振動知覚位置制御装置１０を把持した場合における圧覚刺激領域Ｒと振動知覚位置Ｐを説明するための模式図である。また、図９Ｂは、振動知覚位置制御装置１０を掌全体で強く握り締めた場合における圧覚刺激領域Ｒと振動知覚位置Ｐを説明するための模式図である。圧覚刺激領域Ｒは、圧覚刺激の大きさが一定以上の領域である。図９Ａのようにユーザが力を抜いた状態で振動知覚位置制御装置１０を把持した場合、圧覚刺激領域Ｒは重力に依存する、つまり、重力方向に対する掌の傾き角度に依存する。以下、この掌の重力方向に対する傾き角度を「掌の角度」と称する。図９Ｂのように、ユーザが振動知覚位置制御装置１０を掌全体で強く握り締めた場合には、圧覚刺激領域Ｒは、掌のほぼ全体に亘ることとなる。この場合、圧覚刺激領域Ｒは、掌の角度に対する依存度は少ない。
　図１０Ａは、掌を縦向きにした場合における振動知覚位置Ｐを説明するための模式図である。また、図１０Ｂは、掌を横向きにした場合における振動知覚位置Ｐを説明するための模式図である。振動知覚位置Ｐは、ユーザが、振動していると感じる位置である。振動知覚位置Ｐは、音響装置１０４が発する音、つまり音源の方角により変化する。図１０Ａのように掌を縦向き、つまり、掌の向きをユーザの正面方向に指先が向くような方向で、ユーザが振動知覚位置制御装置１０を把持した状態では、同図並びに図９Ａ及び図９Ｂ中に両方向矢印で示されるように、音源の方角を変化させることで、掌の左右方向に振動知覚位置Ｐを変化させることができる。例えば、音響装置１０４が－９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子を振動させると、掌の左側の方で振動しているとユーザに錯覚させることができる。また、音響装置１０４が９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子を振動させると、掌の右側の方で振動しているとユーザに錯覚させることができる。このように、同じ振動子で同じ振動を発生しているにもかかわらず、ユーザに、音源の方角に対応した箇所が振動しているように錯覚させることができる。
　また、図１０Ｂに示されるように、掌を横向き、つまり、掌の向きをユーザの左方向に指先が向くような方向で、ユーザが振動知覚位置制御装置１０を把持した状態では、同図中に両方向矢印で示されるように、音源の方角を変化させることで、掌の上下方向（指先・手首方向）に振動知覚位置Ｐを変化させることができる。例えば、音響装置１０４が－９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子を振動させると、掌の上側（指の付け根）の方で振動しているとユーザに錯覚させることができる。また、音響装置１０４が９０度の方角を音源と感じさせるように音を発し、振動装置１０５に含まれる振動子を振動させると、掌の下側（掌の手首近辺）の方で振動しているとユーザに錯覚させることができる。このように、掌の向きを変えても、両耳の２点を結んだベクトル延長線上で、ユーザに、音源の方角に対応した箇所が振動しているように錯覚させることができる。
　よって、振動知覚位置制御装置１０の握り方、掌の角度及び向きを変えることで、同じ振動子で同じ振動を発生しているにもかかわらず、掌の様々な位置及び様々な大きさ範囲で、ユーザに振動を知覚させることができる。そこで、音源と振動を同期して提示することに加えて、振動知覚位置制御装置１０の握り方、掌の角度及び向きをどのようにするのかを示す、ユーザの身体動作の誘導を行うことで、ユーザが知覚する振動が制御されることができる。
　以上詳述したように、この発明の第１実施形態に係る振動知覚位置制御装置１０は、触覚情報が、同時に提示される聴覚情報によって補完されることで、触覚における知覚が変化するという現象である、クロスモーダル知覚の効果を利用する。振動知覚位置制御装置１０は、サービス提供側が提供するコンテンツに基づいてシステム側が提供する定位情報及び振動パラメータ情報に従って、振動を音と同期して掌に提示し、音の定位を制御して聴覚提示する。これにより、振動知覚位置Ｐは、振動知覚位置制御装置１０に接している掌の面上で、両耳を結ぶベクトル延長線上で、変化されることができる。振動知覚位置制御装置１０は、掌での振動知覚位置制御装置１０の握り方に依存する圧覚刺激が一定以上の領域である圧覚刺激領域Ｒ内において、振動の知覚位置を変化させることができる。そして、振動知覚位置制御装置１０は、サービス提供側が提供するコンテンツに基づいてシステム側が提供する誘導パラメータ情報に従って、掌の握り方、向き、角度、等を誘導することで、振動知覚位置Ｐの変化方向と変化領域範囲を制御する。
　また、音像定位設定部１４は、振動知覚位置Ｐが、振動装置１０５に接している掌面において、ユーザの両耳を結ぶベクトル延長線上で変化していると知覚させるように音像を定位させるための設定を行う。具体的には、音像定位設定部１４は、振動装置１０５から振動を知覚させたい掌の面上の位置を音源の方角とするように、音響装置１０４の駆動信号に音像を定位させるための設定を行う。これによって、ユーザに、その掌の位置が振動していると感じさせることができる。
　また、誘導制御部１９は、振動知覚位置Ｐが、振動装置１０５に接している掌面での圧覚刺激が一定以上の領域内である圧覚刺激領域Ｒ内で変化していると知覚させるように、振動装置１０５に接している掌面の向き及び角度を誘導する。これによって、振動知覚位置Ｐを制御することができる。
　具体的には、誘導制御部１９は、振動装置１０５に接している掌面の向き、或いは、向きと角度を誘導することで、振動知覚位置Ｐの変化方向、或いは、変化方向と変化領域範囲を制御する。このように、ユーザに掌面の向き、或いは、向きと角度を変えさせる誘導を行うことで、振動知覚位置Ｐの変化方向、或いは、変化方向と変化領域範囲を変えさせることができる。
　［第２実施形態］
　次に、この発明の第２実施形態を説明する。以下の説明において、第１実施形態と同様の部分については、第１実施形態で用いた参照符号と同一の参照符号を付すことで、その説明を省略する。
　図１１は、この発明の第２実施形態に係る振動知覚位置制御装置１０のハードウェア構成例を示す図である。第２実施形態では、第１実施形態に係る振動知覚位置制御装置１０のハードウェア構成に対して、さらに、センサ１０７を備えている。センサ１０７は、例えば、加速度センサ、角速度を検出するジャイロセンサ、等である。
　図１２は、第２実施形態に係る振動知覚位置制御装置１０の機能構成図である。第２実施形態では、第１実施形態に係る振動知覚位置制御装置１０の機能構成に対して、さらに、センサ情報取得部２０と、重心推定部２１と、方向角度推定部２２と、映像重畳位置判定部２３と、を含む。
　センサ情報取得部２０は、センサ１０７の検出データであるセンサ情報を取得する。
　重心推定部２１は、センサ情報取得部２０が取得したセンサ情報に基づいて、振動知覚位置制御装置１０が接する身体部位である掌の重心を推定する。このとき、重心推定部２１は、誘導パラメータ情報取得部１３が取得した誘導パラメータ情報を利用して、重心を推定することができる。第１実施形態で説明したように、誘導パラメータ情報は、ユーザへの身体動作の指示内容を示す情報であるので、この情報により、掌がこれまでどう動き、これからどう動くのかを知ることができる。すなわち、センサ情報を取得した時点における掌の向き及び角度を、この誘導パラメータ情報に基づいて想定することができる。よって、この想定される掌の向き及び角度と、センサ情報で示される実際の掌の動きとにより、現時点での掌の重心がどこにあるのか推定することができる。
　方向角度推定部２２は、センサ情報取得部２０が取得したセンサ情報に基づいて、対象部位である掌の向きと角度を推定する。
　映像重畳位置判定部２３は、重心推定部２１による重心の推定結果と、方向角度推定部２２による掌の向きと角度の推定結果と、に基づいて、身体部位である掌上もしくは仮想空間内において、ユーザの身体動作を誘導する映像を重畳表示するべき重畳位置を計算する。誘導パラメータ情報取得部１３が取得する、ユーザへの身体動作の指示内容を示す情報である誘導パラメータ情報は、音と映像でなる指示内容を含む誘導映像コンテンツであることができる。
　よって、この第２実施形態においては、同期制御部１６は、音と振動を発生させるタイミングと映像を発生させるタイミングとを同期する制御を行う。すなわち、同期制御部１６は、映像の駆動信号について、映像重畳位置判定部２３が計算した重畳位置の情報に基づいて、タイミングを制御する。誘導制御部１９は、この同期制御部１６によって制御されたタイミングで、通信装置１０３を制御して、ＡＲ（拡張現実）やＶＲ（仮想現実）用のヘッドマウントディスプレイ等の提示装置に映像コンテンツ信号を送信して、映像や音声により指示内容を示す誘導映像コンテンツを提示させる。すなわち、提示装置は、ＡＲによりユーザの掌に映像を重畳表示したり、ＶＲにより仮想空間内の任意の位置に映像を重畳表示したりする。
　図１３は、第２実施形態に係る振動知覚位置制御装置１０における振動知覚位置制御処理の流れの一例を示すフローチャートである。第１実施形態と同様に、定位情報取得部１１は、通信装置１０３等を介して、定位情報を取得する（ステップＳ１１）。次に、音像定位設定部１４は、定位情報に基づいて、音像を定位させるための設定を行う（ステップＳ１２）。
　続いて、センサ情報取得部２０は、センサ１０７からセンサ情報を取得する（ステップＳ２１）。
　次に、方向角度推定部２２は、センサ情報取得部２０が取得したセンサ情報に基づいて、現時点における掌の向きと角度とを推定する（ステップＳ２２）。
　続いて、第１実施形態と同様に、誘導パラメータ情報取得部１３は、通信装置１０３等を介して、身体動作誘導パラメータ情報を取得する（ステップＳ１３）。
　次に、重心推定部２１は、誘導パラメータ情報取得部１３が取得した誘導パラメータ情報及びセンサ情報取得部２０が取得したセンサ情報に基づいて、振動知覚位置制御装置１０が接する身体部位である掌の重心を推定する（ステップＳ２３）。
　続いて、映像重畳位置判定部２３は、重心推定部２１が推定した掌の重心と、方向角度推定部２２が推定した掌の向き及び角度と、に基づいて、誘導映像コンテンツの映像を重畳するべき映像重畳位置を判定する（ステップＳ２４）。
　次に、振動パラメータ情報取得部１２は、通信装置１０３等を介して、振動パラメータ情報を取得する（ステップＳ１４）。続けて、振動信号生成部１５は、振動パラメータ情報に基づいて、振動信号を生成する（ステップＳ１５）。ここで、振動装置１０５が複数の振動子から構成されている場合は、振動信号生成部１５は、振動を各振動子に割り当てる（ステップＳ１６）。
　次に、同期制御部１６は、映像と音と振動のタイミングを同期する（ステップＳ２５）。具体的には、同期制御部１６は、定位情報及び振動パラメータ情報に示される時刻の指定と、誘導パラメータ情報に示される時刻及び映像重畳位置判定部２３が判定した映像重畳位置とに従って、同期する制御を行う。
　続けて、音制御部１７、振動制御部１８及び誘導制御部１９は、同期制御部１６によって制御されたタイミングで、映像と音と振動を制御する（ステップＳ２６）。具体的には、音制御部１７は、同期制御部１６によって制御されたタイミングで、駆動信号に従って音響装置１０４を制御する。また、振動制御部１８は、同期制御部１６によって制御されたタイミングで、振動信号に従って振動装置１０５の振動を制御する。さらに、誘導制御部１９は、同期制御部１６によって制御されたタイミングで、通信装置１０３を制御して、外部の提示装置に映像コンテンツ信号を送信し、提示装置にユーザの身体動作を誘導する誘導映像コンテンツを出力させる。
　以上詳述したように、この発明の第２実施形態に係る振動知覚位置制御装置１０では、掌面の向きと角度を推定する方向角度推定部２２と、掌面での１０５振動装置との接触面の重心を推定する重心推定部２１と、掌面の向きと角度の推定結果と重心の推定結果とに基づき、ユーザの掌もしくは仮想空間の任意の位置に映像コンテンツを重畳する重畳部となる、映像重畳位置判定部２３、同期制御部１６及び誘導制御部１９と、備える。よって、音に加えて映像によってもユーザの身体動作を誘導することが可能となる。
　［他の実施形態］
　なお、この発明は上記実施形態に限定されるものではない。
　例えば、振動知覚位置制御装置１０は、図１に示されたような球面形状を有する筐体で無くても良く、四角柱であっても構わない。具体的には、振動知覚位置制御装置１０は、例えば、スマートフォン等の携帯端末であっても良い。
　振動知覚位置制御装置１０がスマートフォン等の携帯端末である場合、上述した各処理は、スマートフォン等にインストールされるアプリケーションプログラムに規定されていても良い。すなわち、第１及び第２実施形態では、振動知覚位置制御装置１０は、サービス提供側が提供するコンテンツに基づいてシステム側が提供する誘導パラメータ情報等を通信装置を介して取得するものとしたが、そのような誘導パラメータ情報等を振動知覚位置制御装置１０がコンテンツに基づいて生成することができる。つまり、振動知覚位置制御装置１０がコンテンツを再生するシステムであっても構わない。
　また、振動知覚位置制御装置１０は、振動知覚位置制御装置１０を構成する各部を複数の筐体に分散して収容するようにしても良い。図１４は、第２実施形態に係る振動知覚位置制御装置１０を、制御ユニット１０Ａと振動ユニット１０Ｂとの二つのユニットにより構成した場合のハードウェア構成例を示す図である。制御ユニット１０Ａは、ＣＰＵ１０１とメモリ１０２と通信装置１０３Ａと音響装置１０４とを含み、振動ユニット１０Ｂは、通信装置１０３Ｂと振動装置１０５とセンサ１０７とを含む。振動ユニット１０Ｂは、図１に示されたような球面形状を有する筐体とすることができる。音響装置１０４も別ユニットとしても良い。第１実施形態に係る振動知覚位置制御装置１０についても同様に、複数のユニットに分散することができる。
　また、図５及び図１３のフローチャートを参照して説明した各処理の流れは、説明した手順に限定されるものではなく、いくつかのステップの順序が入れ替えられても良いし、いくつかのステップが同時併行で実施されても良いし、いくつかのステップの処理内容が修正されても良い。
　また、振動信号生成部１５は、各音に対応する振動の強さが強弱を繰り返すように振動信号を生成しても良い。これによって、ユーザに対して音毎に何かが変わったと感じさせることができるため、各音源の方角に対応した箇所が振動しているように錯覚させ易くなる。
　また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができる処理プログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。
　１０…振動知覚位置制御装置
　１０Ａ…制御ユニット
　１０Ｂ…振動ユニット
　１１…定位情報取得部
　１２…振動パラメータ情報取得部
　１３…誘導パラメータ情報取得部
　１４…音像定位設定部
　１５…振動信号生成部
　１６…同期制御部
　１７…音制御部
　１８…振動制御部
　１９…誘導制御部
　２０…センサ情報取得部
　２１…重心推定部
　２２…方向角度推定部
　２３…映像重畳位置判定部
　１０１…ＣＰＵ
　１０２…メモリ
　１０３，１０３Ａ，１０３Ｂ…通信装置
　１０４…音響装置
　１０５…振動装置
　１０６…バス
　１０７…センサ
　Ｍ…方向マーク
　Ｐ…振動知覚位置
　Ｒ…圧覚刺激領域

 

Claims (8)

  1. 　音データに含まれる各音の音源の方角を示す情報に基づいて、音響装置の駆動信号に音像を定位させるための設定を行う音像定位設定部と、
    　ユーザの掌面に振動を与える振動装置の振動を示す情報に基づいて、振動信号を生成する振動信号生成部と、
    　音と振動を発生させるタイミングを同期する制御を行う同期制御部と、
    　前記掌面の向き及び角度を誘導する誘導情報の提示を制御する誘導制御部と、
    　前記駆動信号に従って前記音響装置を制御する音制御部と、
    　前記振動信号に従って前記振動装置の振動を制御する振動制御部と、
    　を備える、振動知覚位置制御装置。
  2. 　前記音像定位設定部は、前記振動の知覚位置が、前記振動装置に接している前記掌面において、前記ユーザの両耳を結ぶベクトル延長線上で変化していると知覚させるように前記音像を定位させるための設定を行う、請求項１に記載の振動知覚位置制御装置。
  3. 　前記誘導制御部は、前記振動の知覚位置が、前記振動装置に接している前記掌面での圧覚刺激が一定以上の領域内で変化していると知覚させるように、前記振動装置に接している前記掌面の向き及び角度を誘導する、請求項１に記載の振動知覚位置制御装置。
  4. 　前記誘導制御部は、前記振動装置に接している前記掌面の向き及び角度を誘導することで、前記振動の知覚位置の変化方向と変化領域範囲を制御する、請求項２又は３に記載の振動知覚位置制御装置。
  5. 　前記誘導制御部は、前記振動装置に接している前記掌面の向きを誘導することで、前記振動の知覚位置の変化方向を制御する、請求項２に記載の振動知覚位置制御装置。
  6. 　前記掌面の向きと角度を推定する方向角度推定部と、
    　前記掌面での前記振動装置との接触面の重心を推定する重心推定部と、
    　前記掌面の向きと角度の推定結果と前記重心の推定結果とに基づき、前記ユーザの掌もしくは仮想空間の任意の位置に映像コンテンツを重畳する重畳部と、
    　をさらに備える、請求項１に記載の振動知覚位置制御装置。
  7. 　振動の知覚位置を制御する装置が実行する方法であって、
    　音データに含まれる各音の音源の方角を示す情報に基づいて、音響装置の駆動信号に音像を定位させるための設定を行うステップと、
    　ユーザの掌面に振動を与える振動装置の振動を示す情報に基づいて、振動信号を生成するステップと、
    　音と振動を発生させるタイミングを同期する制御を行うステップと、
    　提示装置による、前記掌面の向き及び角度を誘導する誘導情報の提示を制御するステップと、
    　前記駆動信号に従って前記音響装置を制御するステップと、
    　前記振動信号に従って前記振動装置の振動を制御するステップと、
    　を備える、振動知覚位置制御方法。
  8. 　請求項１乃至６の何れか一項に記載の振動知覚位置制御装置の各部による処理をコンピュータに実行させる振動知覚位置制御プログラム。

     
PCT/JP2021/046038 2021-12-14 2021-12-14 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム Ceased WO2023112144A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/708,237 US20250013306A1 (en) 2021-12-14 2021-12-14 Vibration perception position control apparatus, vibration perception position control method, and vibration perception position control program
PCT/JP2021/046038 WO2023112144A1 (ja) 2021-12-14 2021-12-14 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム
JP2023567333A JP7694710B2 (ja) 2021-12-14 2021-12-14 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/046038 WO2023112144A1 (ja) 2021-12-14 2021-12-14 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム

Publications (1)

Publication Number Publication Date
WO2023112144A1 true WO2023112144A1 (ja) 2023-06-22

Family

ID=86773733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046038 Ceased WO2023112144A1 (ja) 2021-12-14 2021-12-14 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム

Country Status (3)

Country Link
US (1) US20250013306A1 (ja)
JP (1) JP7694710B2 (ja)
WO (1) WO2023112144A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002273051A (ja) * 2001-03-15 2002-09-24 Sega Corp ゲーム装置及びその制御方法及びシューティングゲーム装置及び通信ゲームシステム及び記憶媒体及びプログラム
JP2008134883A (ja) * 2006-11-29 2008-06-12 Nintendo Co Ltd 情報処理装置および情報処理プログラム
JP2011053777A (ja) * 2009-08-31 2011-03-17 Namco Bandai Games Inc プログラム、情報記憶媒体および画像制御システム
WO2019038888A1 (ja) * 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002273051A (ja) * 2001-03-15 2002-09-24 Sega Corp ゲーム装置及びその制御方法及びシューティングゲーム装置及び通信ゲームシステム及び記憶媒体及びプログラム
JP2008134883A (ja) * 2006-11-29 2008-06-12 Nintendo Co Ltd 情報処理装置および情報処理プログラム
JP2011053777A (ja) * 2009-08-31 2011-03-17 Namco Bandai Games Inc プログラム、情報記憶媒体および画像制御システム
WO2019038888A1 (ja) * 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置

Also Published As

Publication number Publication date
JPWO2023112144A1 (ja) 2023-06-22
JP7694710B2 (ja) 2025-06-18
US20250013306A1 (en) 2025-01-09

Similar Documents

Publication Publication Date Title
EP2949371B1 (en) Information processing system, information processing apparatus, information processing program, and information processing method
US10062247B2 (en) Vibration generation system, storage medium having stored therein vibration generation program, and vibration generation method
EP2942089B1 (en) Information processing apparatus, information processing program, information processing system, and information processing method
CN114885274B (zh) 空间化音频系统以及渲染空间化音频的方法
US11779836B2 (en) Vibration control apparatus
JP2018064264A (ja) 情報処理装置、情報処理方法およびプログラム
CN108472686A (zh) 用于声音的音频-触觉空间化和低音的感知的设备和方法
CN109086029B (zh) 一种音频播放方法及vr设备
US10754428B1 (en) Systems, methods, and devices for audio-tactile mapping
JP7140237B2 (ja) 振動体感装置
JP2025072810A (ja) 情報処理システム、情報処理システムの制御方法およびプログラム
JP2014083205A (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
US20180164885A1 (en) Systems and Methods For Compliance Illusions With Haptics
US10402153B2 (en) Creation and control of channels that provide access to content from various audio-provider services
CN110622106A (zh) 音频处理
JP2026035806A (ja) 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法
JP6756777B2 (ja) 情報処理装置および音発生方法
JP7694710B2 (ja) 振動知覚位置制御装置、振動知覚位置制御方法及び振動知覚位置制御プログラム
CN117956372A (zh) 音频处理方法、音频播放设备及计算机可读存储介质
WO2022176075A1 (ja) 振動知覚位置制御装置、振動知覚位置制御方法およびプログラム
WO2018066299A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015119237A1 (ja) 電子機器、および制御プログラム
CN122002209A (zh) 多模态协同处理方法、控制装置及终端设备
CN118947143A (zh) 音响信号处理装置、音响信号处理方法及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968061

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023567333

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18708237

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21968061

Country of ref document: EP

Kind code of ref document: A1