JP7476930B2 - Vibration Sensor - Google Patents
Vibration Sensor Download PDFInfo
- Publication number
- JP7476930B2 JP7476930B2 JP2022142034A JP2022142034A JP7476930B2 JP 7476930 B2 JP7476930 B2 JP 7476930B2 JP 2022142034 A JP2022142034 A JP 2022142034A JP 2022142034 A JP2022142034 A JP 2022142034A JP 7476930 B2 JP7476930 B2 JP 7476930B2
- Authority
- JP
- Japan
- Prior art keywords
- vibration
- user
- unit
- signal
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、ユーザに振動を体感させる、振動体感装置に関する。 The present invention relates to a vibration sensation device that allows a user to experience vibration.
コンサートやライブ等において、人は、耳に届く音だけでなく音圧を肌で感じることで
、より迫力のある演奏を楽しむことができる。一方、ヘッドホン、イヤホン又は小径のス
ピーカで音を再生する場合においては、音圧まで再現することは困難である。そこで、手
軽に臨場感が高いオーディオ再生環境を構築することが望まれる。
At concerts and live performances, people can enjoy a more powerful performance by feeling not only the sound that reaches their ears but also the sound pressure on their skin. However, when playing back sound through headphones, earphones, or small-diameter speakers, it is difficult to reproduce the sound pressure. Therefore, it is desirable to easily create an audio playback environment that provides a high level of realism.
下記の特許文献1には、音声信号の波形に沿った振動を発生する、簡易装着型体感振動
装置が記載されている。
The following
しかしながら、昨今のVR(バーチャルリアリティ)等では、オーディオ信号の定位即
ち音源方向も再現したコンテンツが増加しており、単にオーディオ信号に合わせて振動を
発生させるだけでは、かえって臨場感を欠くことになりかねない。
However, in recent years, with the advent of virtual reality (VR) and the like, there has been an increase in content that reproduces the positioning of audio signals, i.e., the direction of the sound source, and simply generating vibrations in time with the audio signal may result in a lack of realism.
本発明は、臨場感を高めることができる、振動体感装置を提供することを目的とする。 The present invention aims to provide a vibration sensation device that can enhance the sense of realism.
本発明は、複数の振動部と、オーディオ信号を取得する、オーディオ信号取得部と、を
備え、音源とユーザとの相対的な位置に基づいて振動させる前記振動部を決定し、前記オ
ーディオ信号で表される音の大きさに応じた大きさの振動信号を、前記オーディオ信号の
包絡線を用いて新たに生成し、前記決定した振動部に出力する振動体感装置を提供する。
The present invention provides a vibration sensation device that includes a plurality of vibration units and an audio signal acquisition unit that acquires an audio signal, determines which of the vibration units to vibrate based on the relative positions of a sound source and a user, generates a new vibration signal having a magnitude corresponding to the volume of sound represented by the audio signal using the envelope of the audio signal, and outputs the newly generated vibration signal to the determined vibration unit.
本発明によれば、臨場感を高めることができる、振動体感装置が提供される。 The present invention provides a vibration sensation device that can enhance the sense of realism.
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに
限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。
また、一部の構成要素を用いない場合もある。
<実施形態を用いたシステム>
図1は、実施形態に係る振動体感装置を用いたシステムの一例を模式的に示す図である
。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings, but the present invention is not limited thereto. The components of the embodiments described below can be appropriately combined.
In addition, some components may not be used.
<System using the embodiment>
FIG. 1 is a diagram illustrating an example of a system using a vibration sensing device according to an embodiment.
システム100は、ユーザUに振動を与える振動体感装置1と、映像及び音声を含むコ
ンテンツを再生するコンテンツ出力装置110と、を含む。
The
コンテンツは、映画、コンサート若しくはライブの映像及び音声、又は、ゲームが例示
されるが、これらに限定されない。映像は、2D又は3Dの動画像又は静止画像が例示さ
れる。
Examples of the content include, but are not limited to, movies, videos and audio of concerts or live performances, and games. Examples of the video include 2D or 3D moving images or still images.
実施形態では、コンテンツデータは、音を発するオブジェクト(音源)の位置情報を含
むものとする。一例として、オブジェクトベースオーディオ(オブジェクトオーディオと
も言う)データは、各々のオブジェクトの動き及び音量の変化等のデータを含んでおり、
AVアンプ等は、スピーカの位置や数にあわせて最適なレンダリングを行い、最終的な音
を再生する。
In the embodiment, the content data includes position information of an object (sound source) that emits a sound. As an example, object-based audio (also called object audio) data includes data on the movement and volume change of each object,
AV amplifiers and the like perform optimal rendering according to the position and number of speakers, and reproduce the final sound.
コンテンツ出力装置110は、携帯型の場合には、スマートフォン又はタブレットが例
示されるが、これらに限定されない。
If the
コンテンツ出力装置110は、据置型の場合には、コンテンツプレーヤ、パーソナルコ
ンピュータ又は据置型ゲーム機と、AVアンプと、表示装置と、音声出力装置と、の組み
合わせが例示される。コンテンツプレーヤは、Blu-ray(登録商標)プレーヤが例
示されるが、これに限定されない。表示装置は、VRヘッドマウントディスプレイ(以下
、VRHMDと言う)、テレビジョン装置又はプロジェクタが例示されるが、これらに限
定されない。音声出力装置は、スピーカ、ヘッドホン又はイヤホンが例示されるが、これ
らに限定されない。
In the case of a stationary type, the
コンテンツ出力装置110は、処理部111と、映像出力部112と、音声出力部11
3と、センサ部114と、通信部115と、記録媒体読取部116と、を含む。
The
3, a sensor unit 114, a
通信部115は、ネットワークNを介して、コンテンツデータをサーバ120から受信
して、処理部111に出力する。ネットワークNは、有線であっても良いし、無線であっ
ても良い。
The
記録媒体読取部116は、記録媒体117に記録されているコンテンツデータを読み取
って、処理部111に出力する。記録媒体117は、Blu-ray(登録商標)ディス
クが例示されるが、これに限定されない。
The recording
センサ部114は、ユーザUの位置及び向いている方向を検出して、処理部111に出
力する。ユーザUの向いている方向は、ユーザUの顔が向いている方向又はユーザUの身
体が向いている方向が例示されるが、これに限定されない。
The sensor unit 114 detects the position and the facing direction of the user U, and outputs the position and the facing direction to the processing unit 111. The facing direction of the user U is exemplified by, but is not limited to, the direction in which the face of the user U is facing or the direction in which the body of the user U is facing.
コンテンツ出力装置110が携帯型である場合には、センサ部114は、スマートフォ
ン又はタブレットの画像表示側に搭載された前面カメラ(インカメラ)が例示されるが、
これに限定されない。
When the
This is not limited to the above.
コンテンツ出力装置110が据置型である場合には、センサ部114は、室内に設置さ
れたカメラ又はビーコンが例示されるが、これに限定されない。
When the
処理部111は、コンテンツデータに含まれる映像データに基づいて、映像を映像出力
部112に表示させる。処理部111は、CPU(Central Processing Unit)が例示
されるが、これに限定されない。
The processing unit 111 displays a video on the
コンテンツ出力装置110が携帯型である場合には、映像出力部112は、スマートフ
ォン若しくはタブレットに搭載された表示パネル、又は、スマートフォン若しくはタブレ
ットに接続されたVRHMD、テレビジョン装置若しくはプロジェクタが例示されるが、
これらに限定されない。
When the
Not limited to these.
コンテンツ出力装置110が据置型である場合には、映像出力部112は、VRHMD
、テレビジョン装置又はプロジェクタが例示されるが、これらに限定されない。
When the
, a television device or a projector are examples, but are not limited to these.
処理部111は、コンテンツデータに含まれるオーディオデータに基づいて、音声を音
声出力部113に出力させる。
The processing unit 111 causes the audio output unit 113 to output audio based on the audio data included in the content data.
コンテンツ出力装置110が携帯型である場合には、音声出力部113は、スマートフ
ォン若しくはタブレットに搭載されたスピーカ、又は、スマートフォン若しくはタブレッ
トに接続されたヘッドホン又はイヤホンが例示されるが、これらに限定されない。
In the case where the
コンテンツ出力装置110が据置型である場合には、音声出力部113は、スピーカ、
ヘッドホン又はイヤホンが例示されるが、これらに限定されない。
When the
Examples include, but are not limited to, headphones or earphones.
処理部111は、オーディオ信号S1を、振動体感装置1に出力する。処理部111は
、コンテンツデータに含まれるオーディオデータをそのままオーディオ信号S1として振
動体感装置1に送信しても良い。
The processing unit 111 outputs the audio signal S1 to the
なお、人間は、高音よりも低音で音圧を感じる。従って、処理部111は、コンテンツ
データに含まれるオーディオデータの内の低音成分だけをオーディオ信号S1として振動
体感装置1に送信しても良い。
Since humans feel more sound pressure from low tones than from high tones, the processing unit 111 may transmit only the low-tone components of the audio data contained in the content data to the
一例として、処理部111は、コンテンツデータに含まれるオーディオデータを、予め
定められたカットオフ周波数を有するローパスフィルタに通過させた後の信号を、オーデ
ィオ信号S1として振動体感装置1に送信しても良い。
As an example, the processing unit 111 may transmit a signal obtained by passing audio data included in the content data through a low-pass filter having a predetermined cutoff frequency to the
或いは、処理部111は、コンテンツデータにオブジェクトベースオーディオデータが
含まれている場合には、予め定められた周波数以下の低音を発するオブジェクトのオーデ
ィオデータだけをオーディオ信号S1として振動体感装置1に送信しても良い。
Alternatively, when the content data includes object-based audio data, the processing unit 111 may transmit only the audio data of an object that emits a low-pitched sound having a frequency equal to or lower than a predetermined frequency to the
或いは、処理部111は、コンテンツデータにサブウーファーを駆動するためのオーデ
ィオデータが含まれている場合には、サブウーファーを駆動するためのオーディオデータ
をオーディオ信号S1として振動体感装置1に送信しても良い。
Alternatively, when the content data includes audio data for driving a subwoofer, the processing unit 111 may transmit the audio data for driving the subwoofer to the
また、処理部111は、オブジェクトの位置を表す情報である音源位置情報S2を、振
動体感装置1に出力する。音源位置情報S2は、スピーカが音を発する方向の情報を含ん
でも良い。
Furthermore, the processing unit 111 outputs sound source position information S2 , which is information indicating the position of the object, to the
一例として、処理部111は、コンテンツデータにオブジェクトベースオーディオデー
タが含まれている場合には、複数のオブジェクトの位置情報を音源位置情報S2として振
動体感装置1に送信しても良い。
As an example, when the content data includes object-based audio data, the processing unit 111 may transmit position information of a plurality of objects to the
或いは、処理部111は、支配的なオブジェクトの位置情報だけを音源位置情報S2と
して振動体感装置1に送信しても良い。支配的なオブジェクトとは、最も信号レベルが高
いオブジェクトが例示される。
Alternatively, the processing unit 111 may transmit only the position information of the dominant object as the sound source position information S2 to the
或いは、処理部111は、複数のオブジェクトの音の信号レベルに基づいて算出した、
複数のオブジェクトの平均的な位置情報を音源位置情報S2として振動体感装置1に送信
しても良い。平均的な位置情報は、複数の物体の質量及び位置関係から重心を算出するよ
うに、質量を信号レベルに置き換えて算出しても良い。信号レベルは、単位時間毎の信号
レベルの平均値を用いても良い。
Alternatively, the processing unit 111 may calculate based on the signal levels of the sounds of the multiple objects,
Average position information of a plurality of objects may be transmitted to the
或いは、処理部111は、予め定められた周波数以下の低音を発するオブジェクトの位
置情報だけを音源位置情報S2として振動体感装置1に送信しても良い。
Alternatively, the processing unit 111 may transmit only the position information of an object that emits a low-frequency sound equal to or lower than a predetermined frequency to the
また、処理部111は、オブジェクトが位置する空間内での、ユーザUの位置及び向い
ている方向を表す情報であるユーザ位置情報S3を、振動体感装置1に出力する。なお、
ユーザUの位置及び向いている方向は、オブジェクトが位置する空間内での絶対的な位置
及び方向であっても良いし、オブジェクトとユーザUとの相対的な位置及び方向であって
も良い。
<実施形態>
[構成]
図2は、実施形態に係る振動体感装置の構成を示す図である。振動体感装置1は、オー
ディオ信号取得部11と、音源位置情報取得部12と、ユーザ位置情報取得部13と、振
動部位算出部14と、振動信号生成部15と、複数の振動部16と、を含む。複数の振動
部16は、ユーザUの身体の複数の部位に夫々装着される。
The processing unit 111 also outputs user position information S3 , which is information indicating the position and facing direction of the user U in the space in which the object is located, to the
The position and facing direction of the user U may be an absolute position and direction in a space in which an object is located, or may be a relative position and direction between the object and the user U.
<Embodiment>
[composition]
2 is a diagram showing the configuration of a vibration sensation device according to an embodiment. The
図3及び図4は、実施形態に係る振動体感装置の複数の振動部の装着状態を示す図であ
る。図3は、ユーザUを正面から見た図である。図4は、ユーザUを背面から見た図であ
る。
3 and 4 are diagrams showing a state in which a plurality of vibration units of the vibration sensation device according to the embodiment are worn. Fig. 3 is a diagram showing a user U as viewed from the front. Fig. 4 is a diagram showing a user U as viewed from the back.
図3及び図4に示すように、実施形態では、複数の振動部16は、ベスト(vest)20
に取り付けられている。そして、ユーザUが、ベスト20を着用している。これにより、
複数の振動部16は、ユーザUに装着されている。なお、実施形態では、複数の振動部1
6がベスト20に取り付けられていることとしたが、これに限定されない。複数の振動部
16は、バンド、ベルト、腹巻等に取り付けられて、ユーザUに装着されても良い。
As shown in FIG. 3 and FIG. 4, in the embodiment, the plurality of
The
The plurality of
In the above embodiment, the
複数の振動部16は、ユーザUの身体の軸21の周りの複数の方向に装着されることが
好ましい。軸21は、ユーザUが直立した場合に、頭頂と両足間とを結ぶ線が例示される
が、これに限定されない。
The
例えば、複数の振動部16が2個である場合には、1個の振動部16がユーザUの腹部
に装着され、他の1個の振動部16がユーザUの背部に装着されることが好ましい。或い
は、1個の振動部16がユーザUの右脇腹に装着され、他の1個の振動部16がユーザU
の左脇腹に装着されることが好ましい。
For example, when there are two
It is preferable that the device be worn on the left flank of the patient.
また、例えば、複数の振動部16が4個である場合には、4個の振動部16が、ユーザ
Uの腹部と背部と右脇腹と左脇腹とに夫々装着されることが好ましい。
Furthermore, for example, when the number of
また、図3及び図4に示すように、軸21の周りの1つの方向において、軸21の延在
方向に沿って複数の振動部16が配置されることが好ましい。例えば、図3では、ユーザ
Uの身体の中央腹部には、軸21の延在方向に沿って3個の振動部16を含む振動部群1
6aが配置されている。そして、振動体感装置1は、例えば、オブジェクトの位置がユー
ザUの位置よりも高い場合に、振動部群16aの中で最も高い位置に配置されている振動
部16a1を最も強く振動させることが好ましい。例えば、振動体感装置1は、オブジェ
クトが飛行機である場合に、振動部群16aの中で最も高い位置に配置されている振動部
16a1を最も強く振動させることが好ましい。これにより、ユーザUは、臨場感をより
感じることができる。
3 and 4, it is preferable that a plurality of
6a is arranged. For example, when the position of the object is higher than the position of the user U, the
複数の振動部16の各々は、モータとバラストとで構成することや、磁石とコイルとで
構成することが例示されるが、これらに限定されない。
Each of the
なお、オーディオ信号取得部11、音源位置情報取得部12、ユーザ位置情報取得部1
3、振動部位算出部14及び振動信号生成部15は、ベスト20に取り付けられていても
良いし、ベスト20に取り付けられず、複数の振動部16と分離していても良い。
The audio
3. The vibration part calculation unit 14 and the vibration
再び図2を参照すると、オーディオ信号取得部11は、オーディオ信号S1をコンテン
ツ出力装置110から取得して、振動信号生成部15に出力する。
Referring back to FIG. 2, the audio
音源位置情報取得部12は、音源位置情報S2をコンテンツ出力装置110から取得し
て、振動部位算出部14に出力する。
The sound source position information acquisition unit 12 acquires the sound source position information S2 from the
ユーザ位置情報取得部13は、ユーザ位置情報S3をコンテンツ出力装置110から取
得して、振動部位算出部14に出力する。
The user position information acquisition unit 13 acquires the user position information S3 from the
振動部位算出部14は、音源位置情報S2及びユーザ位置情報S3に基づいて、振動を
与えるユーザUの部位を表す部位情報S4を算出し、振動信号生成部15に出力する。
The vibration part calculation unit 14 calculates part information S 4 indicating the part of the user U to which vibration is to be applied based on the sound source position information S 2 and the user position information S 3 , and outputs the information to the vibration
具体的な一例として、まず、振動部位算出部14は、ユーザUとオブジェクトとの相対
的な位置関係から、オブジェクトが音を発する方向を算出する。次に、振動部位算出部1
4は、ユーザUが向いている方向とオブジェクトが音を発する方向とから、振動が伝わる
べき方向を算出する。
As a specific example, first, the vibration part calculation unit 14 calculates the direction in which the object emits a sound from the relative positional relationship between the user U and the object.
4 calculates the direction in which the vibration should be transmitted based on the direction in which the user U is facing and the direction in which the object is emitting the sound.
図5は、オブジェクトとユーザとの位置関係の一例を示す図である。図5では、映像出
力部112は、テレビジョン装置である。
5 is a diagram showing an example of the positional relationship between an object and a user, in which the
映像出力部112は、Y軸方向と逆の方向に、映像を出力する。ユーザUは、映像出力
部112に正対している。つまり、ユーザUが向いている方向33は、Y軸方向である。
オブジェクト31は、ユーザUから見て、斜め右前の方向に位置している。オブジェクト
31は、Y軸方向と逆の方向32に、音を発する。この場合、振動部位算出部14は、オ
ブジェクト31からユーザUに向かう方向34を、振動が伝わるべき方向として算出する
。そして、振動部位算出部14は、方向33と方向34とがなす角度θに基づいて、ユー
ザUの右腹部35を、振動を与える部位として算出する。再び図3を参照すると、振動体
感装置1は、ユーザUの右腹部に配置された、3個の振動部16を含む振動部群16bを
振動させる。
The
The
なお、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近
い部位を、振動を与える部位として算出しても良い。再び図5を参照すると、ユーザUの
身体の部位の内でオブジェクト31に最も近い部位は、ユーザUの右腹部35である。従
って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近い
、ユーザUの右腹部35を、振動を与える部位として算出しても良い。
The vibration part calculation unit 14 may calculate the part of the user U's body that is closest to the
或いは、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向
する部位を、振動を与える部位として算出しても良い。再び図5を参照すると、ユーザU
の身体の部位の内でオブジェクト31に対向する部位は、ユーザUの右腹部35である。
従って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向す
る、ユーザUの右腹部35を、振動を与える部位として算出しても良い。
Alternatively, the vibration part calculation unit 14 may calculate a part of the body of the user U that faces the
The part of the user U's body facing the
Therefore, the vibration part calculation unit 14 may calculate the right
図6は、オブジェクトとユーザとの位置関係の一例を示す図である。図6は、図5に示
す状態から、ユーザUが、方向33をXY平面に垂直な方向を軸として、矢印36で示す
ように180度回転させた状態を示す図である。
Fig. 6 is a diagram showing an example of the positional relationship between an object and a user, in which the user U rotates the
ユーザUは、映像出力部112と反対の側を向いている。つまり、ユーザUが向いてい
る方向33は、Y軸方向と逆の方向である。オブジェクト31は、ユーザUから見て、斜
め左後の方向に位置している。オブジェクト31は、Y軸方向と逆の方向32に、音を発
する。この場合、振動部位算出部14は、オブジェクト31からユーザUに向かう方向3
4を、振動が伝わるべき方向として算出する。そして、振動部位算出部14は、方向33
と方向34とがなす角度θに基づいて、ユーザUの左背部37を、振動を与える部位とし
て算出する。再び図4を参照すると、振動体感装置1は、ユーザUの左背部に配置された
、3個の振動部16を含む振動部群16dを振動させる。
The user U faces away from the
The vibration part calculation unit 14 calculates
4, the
なお、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近
い部位を、振動を与える部位として算出しても良い。再び図6を参照すると、ユーザUの
身体の部位の内でオブジェクト31に最も近い部位は、ユーザUの左背部37である。従
って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近い
、ユーザUの左背部37を、振動を与える部位として算出しても良い。
The vibration part calculation unit 14 may calculate the part of the user U's body that is closest to the
或いは、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向
する部位を、振動を与える部位として算出しても良い。再び図6を参照すると、ユーザU
の身体の部位の内でオブジェクト31に対向する部位は、ユーザUの左背部37である。
従って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向す
る、ユーザUの左背部37を、振動を与える部位として算出しても良い。
Alternatively, the vibration part calculation unit 14 may calculate a part of the body of the user U that faces the
The part of the body facing the
Therefore, the vibration part calculation unit 14 may calculate the left back 37 of the user U, which is the part of the user U's body facing the
図7は、オブジェクトとユーザとの位置関係の一例を示す図である。ここでは、コンテ
ンツデータは、マルチカメラアングルを有するものとする。そして、図7は、図5に示す
状態から、ユーザUが、コンテンツ出力装置110を操作して、カメラアングルを時計回
りに移動させた状態を示す図である。カメラアングルを時計回りに移動させると、オブジ
ェクト31は、ユーザUから見て、X方向と逆の方向38に移動する。
Fig. 7 is a diagram showing an example of the positional relationship between an object and a user. Here, it is assumed that the content data has multiple camera angles. Fig. 7 is a diagram showing a state in which the user U operates the
ユーザUは、映像出力部112に正対している。つまり、ユーザUが向いている方向3
3は、Y軸方向である。オブジェクト31は、ユーザUから見て、斜め左前の方向に位置
している。オブジェクト31は、Y軸方向と逆の方向39に、音を発する。この場合、振
動部位算出部14は、オブジェクト31からユーザUに向かう方向40を、振動が伝わる
べき方向として算出する。そして、振動部位算出部14は、方向33と方向40とがなす
角度θに基づいて、ユーザUの左腹部41を、振動を与える部位として算出する。再び図
3を参照すると、振動体感装置1は、ユーザUの左腹部に配置された、3個の振動部16
を含む振動部群16cを振動させる。
The user U faces the
3 is the Y-axis direction. The
The
なお、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近
い部位を、振動を与える部位として算出しても良い。再び図7を参照すると、ユーザUの
身体の部位の内でオブジェクト31に最も近い部位は、ユーザUの左腹部41である。従
って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近い
、ユーザUの左腹部41を、振動を与える部位として算出しても良い。
The vibration part calculation unit 14 may calculate the part of the user U's body that is closest to the
或いは、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向
する部位を、振動を与える部位として算出しても良い。再び図7を参照すると、ユーザU
の身体の部位の内でオブジェクト31に対向する部位は、ユーザUの左腹部41である。
従って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向す
る、ユーザUの左腹部41を、振動を与える部位として算出しても良い。
Alternatively, the vibration part calculation unit 14 may calculate a part of the body of the user U that faces the
The part of the body facing the
Therefore, the vibration part calculation unit 14 may calculate the left
図8は、オブジェクトとユーザとの位置関係の一例を示す図である。図8では、映像出
力部112は、VRHMDである。
8 is a diagram showing an example of the positional relationship between an object and a user. In FIG. 8, the
ユーザUが向いている方向33は、Y軸方向である。オブジェクト31は、ユーザUか
ら見て、斜め右前の方向に位置している。オブジェクト31は、Y軸方向と逆の方向32
に、音を発する。この場合、振動部位算出部14は、オブジェクト31からユーザUに向
かう方向34を、振動が伝わるべき方向として算出する。そして、振動部位算出部14は
、方向33と方向34とがなす角度θに基づいて、ユーザUの右腹部35を、振動を与え
る部位として算出する。再び図3を参照すると、振動体感装置1は、ユーザUの右腹部に
配置された、3個の振動部16を含む振動部群16bを振動させる。
The
In this case, the vibration part calculation unit 14 calculates a
なお、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近
い部位を、振動を与える部位として算出しても良い。再び図8を参照すると、ユーザUの
身体の部位の内でオブジェクト31に最も近い部位は、ユーザUの右腹部35である。従
って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近い
、ユーザUの右腹部35を、振動を与える部位として算出しても良い。
The vibration part calculation unit 14 may calculate the part of the user U's body that is closest to the
或いは、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向
する部位を、振動を与える部位として算出しても良い。再び図8を参照すると、ユーザU
の身体の部位の内でオブジェクト31に対向する部位は、ユーザUの右腹部35である。
従って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向す
る、ユーザUの右腹部35を、振動を与える部位として算出しても良い。
Alternatively, the vibration part calculation unit 14 may calculate a part of the body of the user U that faces the
The part of the user U's body facing the
Therefore, the vibration part calculation unit 14 may calculate the right
図9は、オブジェクトとユーザとの位置関係の一例を示す図である。図9は、図8に示
す状態から、ユーザUが、方向33をXY平面に垂直な方向を軸として、矢印36で示す
ように180度回転させた状態を示す図である。
Fig. 9 is a diagram showing an example of the positional relationship between an object and a user, in which the user U has rotated the
ユーザUが向いている方向33は、Y軸方向と逆の方向である。オブジェクト31は、
ユーザUから見て、斜め左後の方向に位置している。オブジェクト31は、Y軸方向と逆
の方向32に、音を発する。この場合、振動部位算出部14は、オブジェクト31からユ
ーザUに向かう方向34を、振動が伝わるべき方向として算出する。そして、振動部位算
出部14は、方向33と方向34とがなす角度θに基づいて、ユーザUの左背部37を、
振動を与える部位として算出する。再び図4を参照すると、振動体感装置1は、ユーザU
の左背部に配置された、3個の振動部16を含む振動部群16dを振動させる。
The
The
Referring again to FIG. 4, the
The
なお、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近
い部位を、振動を与える部位として算出しても良い。再び図9を参照すると、ユーザUの
身体の部位の内でオブジェクト31に最も近い部位は、ユーザUの左背部37である。従
って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に最も近い
、ユーザUの左背部37を、振動を与える部位として算出しても良い。
The vibration part calculation unit 14 may calculate the part of the user U's body that is closest to the
或いは、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向
する部位を、振動を与える部位として算出しても良い。再び図9を参照すると、ユーザU
の身体の部位の内でオブジェクト31に対向する部位は、ユーザUの左背部37である。
従って、振動部位算出部14は、ユーザUの身体の部位の内でオブジェクト31に対向す
る、ユーザUの左背部37を、振動を与える部位として算出しても良い。
Alternatively, the vibration part calculation unit 14 may calculate a part of the body of the user U that faces the
The part of the body facing the
Therefore, the vibration part calculation unit 14 may calculate the left back 37 of the user U, which is the part of the user U's body facing the
図8及び図9では、映像出力部112がVRHMDである場合について説明したが、映
像出力部112がスマートフォン又はタブレットに搭載された表示パネルの場合も、同様
である。
Although a case has been described in which the
再び図2を参照すると、振動信号生成部15は、オーディオ信号S1で表される音の大
きさに応じた大きさの振動信号S5を、部位情報S4で表される部位に装着されている1
つ又は複数の振動部16に、出力する。
Referring again to FIG. 2, the vibration
The signal is output to one or
図10は、実施形態のオーディオ信号及び振動信号の一例を示す図である。 Figure 10 shows an example of an audio signal and a vibration signal according to an embodiment.
振動信号生成部15は、オーディオ信号S1の複数の極値50を算出する。次に、振動
信号生成部15は、複数の極値50の複数の絶対値51を算出する。そして、振動信号生
成部15は、複数の絶対値51に予め定められたゲインを乗じることにより、パルス状の
振動信号S5を生成する。従って、振動信号S5のパルスのタイミングは、オーディオ信
号S1の複数の極値50のタイミングと同じになる。振動信号生成部15は、振動信号S
5を、部位情報S4で表される部位に装着されている1つ又は複数の振動部16に、出力
する。振動信号S5が供給された1つ又は複数の振動部16は、振動信号S5の大きさに
応じた強さで振動する。
The vibration
The vibration signal S5 is output to one or
これにより、部位情報S4で表される部位に装着されている1つ又は複数の振動部16
は、音の大きさに応じた強さの振動をユーザUに与えることができる。従って、ユーザU
は、臨場感をより感じることができる。
As a result, one or
can give the user U a vibration of a strength corresponding to the loudness of the sound.
This allows you to feel a greater sense of realism.
なお、振動信号生成部15は、オーディオ信号S1の包絡線を算出し、包絡線から極値
50を算出しても良い。振動信号生成部15は、オーディオ信号S1にヒルベルト変換を
実施することにより、包絡線を算出しても良い。
The vibration
また、振動信号生成部15は、処理部111がオーディオ信号S1をローパスフィルタ
に通過させないで出力した場合には、オーディオ信号S1を、予め定められたカットオフ
周波数を有するローパスフィルタに通過させても良い。
In addition, when the processing unit 111 outputs the audio signal S1 without passing it through a low-pass filter, the vibration
また、振動信号生成部15は、極値50と極値50との間の時間長に応じて、振動信号
S5を出力する時間を変更することで、振動部16を振動させる時間を変更しても良い。
例えば、振動信号生成部15は、極値50と極値50との間の時間長が長い場合は、振動
信号S5を出力する時間を長く変更することで、振動部16を振動させる時間を長く変更
しても良い。また、振動信号生成部15は、極値50と極値50との間の時間長が短い場
合は、振動信号S5を出力する時間を短く変更することで、振動部16を振動させる時間
を短く変更しても良い。
Furthermore, the vibration
For example, when the time length between
これにより、例えば、キレがあるバスドラムによる振動時間は短くなり、伸びやかなベ
ースによる振動時間は長くなる。従って、ユーザUは、再現性の高い音圧を体感すること
ができ、臨場感をより感じることができる。
As a result, for example, the vibration time caused by a sharp bass drum becomes shorter, and the vibration time caused by a smooth bass becomes longer. Therefore, the user U can experience a highly reproducible sound pressure, and can feel a greater sense of realism.
なお、振動信号生成部15は、部位情報S4で表される部位と異なる部位に装着されて
いる1つ又は複数の振動部16にも、振動信号S5を出力しても良い。この場合、振動信
号生成部15は、部位情報S4で表される部位からの距離に応じて、振動信号S5の振幅
を小さくすると好適である。
The vibration
再び図3を参照すると、部位情報S4で表される部位が正面腹部部である場合には、振
動信号生成部15は、オーディオ信号S1で表される音の大きさに応じた大きさの振動信
号S5を、振動部群16aに出力する。加えて、振動信号生成部15は、部位情報S4で
表される部位からの距離に応じて振幅を小さくした振動信号S5を、右腹部に装着された
振動部群16b及び左腹部に装着された振動部群16cにも出力すると良い。
3 again, when the part represented by the part information S4 is the front abdominal part, the vibration
更に加えて、振動信号生成部15は、部位情報S4で表される正面腹部からの距離に応
じて振幅を小さくした振動信号S5を、右脇部、左脇部、右背面部、左背面部及び中央背
面部に装着された振動部群に出力しても良い。
In addition, the vibration
これにより、部位情報S4で表される部位と異なる部位に装着されている1つ又は複数
の振動部16は、部位情報S4で表される部位に装着されている1つ又は複数の振動部1
6からの距離に応じて、部位情報S4で表される部位に装着されている1つ又は複数の振
動部16よりも弱い振動をユーザUに与える。従って、ユーザUは、複数の部位で異なる
大きさの振動を与えられるので、臨場感をより感じることができる。
As a result, one or
Depending on the distance from the body part 6, the user U is given a vibration weaker than that of the one or
再び図2を参照すると、複数の振動部16は、振動信号S5のタイミングで、振動信号
S5の振幅に応じた強さの振動を発生する。
[動作]
図11は、実施形態の振動体感装置の動作を示すフローチャートである。振動体感装置
1は、予め定められた周期で、図11に示す処理を実行する。
Referring again to FIG. 2, the
[motion]
11 is a flowchart showing the operation of the vibration sensing device of the embodiment. The
オーディオ信号取得部11は、ステップS100において、オーディオ信号S1を処理
部111から取得し、振動信号生成部15に出力する。
In step S<b>100 , the audio
音源位置情報取得部12は、ステップS102において、音源位置情報S2を処理部1
11から取得し、振動部位算出部14に出力する。
In step S102, the sound source position information acquisition unit 12 outputs the sound source position information S2 to the
11 and outputs it to the vibration part calculation unit 14.
ユーザ位置情報取得部13は、ステップS104において、ユーザ位置情報S3を処理
部111から取得し、振動部位算出部14に出力する。
In step S104, the user position information acquisition unit 13 acquires the user position information S3 from the processing unit 111, and outputs it to the vibration part calculation unit .
振動部位算出部14は、ステップS106において、音源位置情報S2及びユーザ位置
情報S3に基づいて、振動を与えるユーザUの部位を表す部位情報S4を算出し、振動信
号生成部15に出力する。
In step S106, the vibration part calculation unit 14 calculates part information S4 indicating the part of the user U to which vibration is to be applied based on the sound source position information S2 and the user position information S3 , and outputs the information to the vibration
振動信号生成部15は、ステップS108において、オーディオ信号S1で表される音
の大きさに応じた大きさの振動信号S5を、1つ又は複数の振動部16に、出力する。
In step S108, the vibration
1つ又は複数の振動部16は、ステップS110において、振動信号S5のタイミング
で、振動信号S5の振幅に応じた強さの振動を発生する。
In step S110, one or
なお、振動している1つ又は複数の振動部16は、ユーザUと異なる人からの接触があ
った場合に、振動を中止しても良い。これにより、ユーザUと異なる人に振動が伝わらな
いようにすることができる。
Note that the one or more vibrating
また、振動信号生成部15が、1つ又は複数の振動部16に振動信号S5を供給してか
ら、1つ又は複数の振動部16が振動を開始し、ユーザUが振動を体感するまでの遅延時
間を処理部111に出力しても良い。そして、処理部111が、音声出力部113からの
音声の出力を遅延時間だけ遅らせると良い。これにより、音声出力部113から出力され
る音声と、1つ又は複数の振動部16で発生される振動と、を同期させることができる。
これにより、ユーザUは、臨場感をより感じることができる。
[効果]
以上説明したように、本実施形態によれば、オブジェクト31とユーザUとの位置関係
に応じたユーザUの身体の部位に、振動を与えることができる。これにより、ユーザUの
臨場感を高めることができる。
Furthermore, the vibration
This allows the user U to feel a greater sense of realism.
[effect]
As described above, according to the present embodiment, it is possible to apply vibrations to parts of the body of the user U in accordance with the positional relationship between the
1 振動体感装置、11 オーディオ信号取得部、12 音源位置情報取得部、13
ユーザ位置情報取得部、14 振動部位算出部、15 振動信号生成部、16 振動部、
16a,16b,16c,16d 振動部群、20 ベスト、31 オブジェクト、10
0 システム、110 コンテンツ出力装置、111 処理部、112 映像出力部、1
13 音声出力部、114 センサ部、115 通信部、116 記録媒体読取部、11
7 記録媒体、120 サーバ。
1 Vibration sensation device, 11 Audio signal acquisition unit, 12 Sound source position information acquisition unit, 13
User position information acquisition unit, 14 vibration part calculation unit, 15 vibration signal generation unit, 16 vibration unit,
16a, 16b, 16c, 16d vibration unit group, 20 vest, 31 object, 10
0 system, 110 content output device, 111 processing unit, 112 video output unit, 1
13 Audio output unit, 114 Sensor unit, 115 Communication unit, 116 Recording medium reading unit, 11
7 recording medium, 120 server.
Claims (1)
オーディオ信号を取得する、オーディオ信号取得部と、
を備え、
音源とユーザとの相対的な位置に基づいて振動させる前記振動部を決定し、
前記オーディオ信号で表される音の大きさに応じた大きさのパルス信号によって構成される振動信号を、前記オーディオ信号を用いて新たに生成し、前記決定した振動部に出力する
振動体感装置。 A plurality of vibration units;
an audio signal acquisition unit that acquires an audio signal;
Equipped with
determining which of the vibration units is to be vibrated based on a relative position between a sound source and a user;
a vibration signal constituted by a pulse signal having a magnitude corresponding to the magnitude of a sound represented by the audio signal is newly generated using the audio signal , and the vibration signal is output to the determined vibration unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022142034A JP7476930B2 (en) | 2017-12-28 | 2022-09-07 | Vibration Sensor |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017252982A JP6927029B2 (en) | 2017-12-28 | 2017-12-28 | Vibration experience device |
| JP2021095089A JP7140237B2 (en) | 2017-12-28 | 2021-06-07 | Vibration sensation device |
| JP2022142034A JP7476930B2 (en) | 2017-12-28 | 2022-09-07 | Vibration Sensor |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021095089A Division JP7140237B2 (en) | 2017-12-28 | 2021-06-07 | Vibration sensation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022172315A JP2022172315A (en) | 2022-11-15 |
| JP7476930B2 true JP7476930B2 (en) | 2024-05-01 |
Family
ID=67307432
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017252982A Active JP6927029B2 (en) | 2017-12-28 | 2017-12-28 | Vibration experience device |
| JP2021095089A Active JP7140237B2 (en) | 2017-12-28 | 2021-06-07 | Vibration sensation device |
| JP2022142034A Active JP7476930B2 (en) | 2017-12-28 | 2022-09-07 | Vibration Sensor |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017252982A Active JP6927029B2 (en) | 2017-12-28 | 2017-12-28 | Vibration experience device |
| JP2021095089A Active JP7140237B2 (en) | 2017-12-28 | 2021-06-07 | Vibration sensation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6927029B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI3960260T3 (en) * | 2019-11-04 | 2023-08-30 | Boreal Tech & Investment S L | Wearable device and method therefor |
| JP7192813B2 (en) * | 2020-03-12 | 2022-12-20 | 株式会社豊田中央研究所 | User interface device |
| JP7824781B2 (en) * | 2022-02-09 | 2026-03-05 | 株式会社デンソーテン | Information processing device, information processing method, program, and information processing system |
| CN114299991B (en) * | 2021-11-25 | 2025-11-14 | 歌尔股份有限公司 | Vibration generation method, apparatus, device, and storage medium based on audio signals |
| CN115206337A (en) * | 2022-06-27 | 2022-10-18 | 瑞声开泰声学科技(上海)有限公司 | Control method and device of vibration motor, storage medium and electronic equipment |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005349155A (en) | 2004-06-09 | 2005-12-22 | Sds:Kk | Sound source direction detecting and transmitting device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08116581A (en) * | 1994-02-28 | 1996-05-07 | Bodeisonitsuku Kk | Mount type body sensing vibrator |
| JP4484570B2 (en) * | 2004-04-14 | 2010-06-16 | 富士ゼロックス株式会社 | Acoustic information processing apparatus and acoustic information providing method |
| US9786201B2 (en) * | 2014-05-16 | 2017-10-10 | Not Impossible LLC | Wearable sound |
| EP3037918A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | System and method for localizing haptic effects on a body |
| JP6571701B2 (en) * | 2017-02-02 | 2019-09-04 | 日本電信電話株式会社 | EXPERIENCE DEVICE AND METHOD |
-
2017
- 2017-12-28 JP JP2017252982A patent/JP6927029B2/en active Active
-
2021
- 2021-06-07 JP JP2021095089A patent/JP7140237B2/en active Active
-
2022
- 2022-09-07 JP JP2022142034A patent/JP7476930B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005349155A (en) | 2004-06-09 | 2005-12-22 | Sds:Kk | Sound source direction detecting and transmitting device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7140237B2 (en) | 2022-09-21 |
| JP6927029B2 (en) | 2021-08-25 |
| JP2019121813A (en) | 2019-07-22 |
| JP2021145373A (en) | 2021-09-24 |
| JP2022172315A (en) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7476930B2 (en) | Vibration Sensor | |
| JP7270820B2 (en) | Mixed reality system using spatialized audio | |
| CN109691141B (en) | Spatialized audio system and method of rendering spatialized audio | |
| US20200372766A1 (en) | Tactile transducer with digital signal processing for improved fidelity | |
| CN108472686A (en) | Apparatus and method for audio-tactile spatialization of sound and perception of bass | |
| JP6246922B2 (en) | Acoustic signal processing method | |
| CN108377447B (en) | Portable wearable surround sound equipment | |
| US20210014615A1 (en) | Combined Near-Field and Far-Field Audio Rendering and Playback | |
| JP2019208185A (en) | Information processing unit and sound generation method | |
| JP6161886B2 (en) | Audio output system, information processing apparatus, information processing program, and audio output control method | |
| US12548545B2 (en) | Audio cancellation system and method | |
| JP6159515B2 (en) | GAME SYSTEM, GAME DEVICE, GAME PROGRAM, AND GAME PROCESSING CONTROL METHOD | |
| JP2016178627A (en) | Common sensation vibration headphone | |
| JP3573797B2 (en) | Stereo audio playback device | |
| TW201914315A (en) | Wearable audio processing device and audio processing method thereof | |
| WO2017159587A1 (en) | Acoustic playback device, acoustic playback method, and program | |
| JP6506486B2 (en) | Apparatus for providing virtual reality image and program for providing virtual reality image | |
| JP2018143479A (en) | Game program and game system | |
| KR102036021B1 (en) | Speaker apparatus providing stereo sound | |
| CN112752190A (en) | Audio adjusting method and audio adjusting device | |
| TW519849B (en) | System and method for providing rear channel speaker of quasi-head wearing type earphone | |
| JP7711704B2 (en) | Information processing device, information processing method, program, and recording/playback system | |
| GB2628358A (en) | A system for outputting audio for a user, and a method thereof | |
| US20100135509A1 (en) | Zeleny sonosphere | |
| WO2024189725A1 (en) | Information processing device and sound output method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7476930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |