JP7692402B2 - 音響再生方法、プログラム、及び、音響再生システム - Google Patents
音響再生方法、プログラム、及び、音響再生システム Download PDFInfo
- Publication number
- JP7692402B2 JP7692402B2 JP2022508208A JP2022508208A JP7692402B2 JP 7692402 B2 JP7692402 B2 JP 7692402B2 JP 2022508208 A JP2022508208 A JP 2022508208A JP 2022508208 A JP2022508208 A JP 2022508208A JP 7692402 B2 JP7692402 B2 JP 7692402B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- user
- head
- perceive
- arriving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
従来、仮想的な三次元空間内(以下、三次元音場という場合がある)で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている(例えば、特許文献1参照)。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置から発せられた音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到来時間差、及び、両耳間での音のレベル差などを生じさせる計算処理が必要となる。
[概要]
はじめに、実施の形態に係る音響再生システムの概要について説明する。図1は、実施の形態に係る音響再生システムの使用事例を示す概略図である。図1では、音響再生システム100を使用するユーザ99が示されている。
次に、図2を参照して、本実施の形態に係る音響再生システム100の構成について説明する。図2は、実施の形態に係る音響再生システムの機能構成を示すブロック図である。
次に、図3を参照して、上記に説明した音響再生システム100の動作について説明する。図3は、実施の形態に係る音響再生システムの動作を示すフローチャートである。図3に示すように、まず、音響再生システム100の動作が開始されると、第1音に関する第1音信号及び第2音に関する第2音信号が取得される(ステップS101)。ここでは、外部の装置から通信モジュール102が取得した音信号が、入力部111に入力されることで、処理モジュール101が第1音信号及び第2音信号を含む音信号を取得する。
以下、本実施の形態の変形例に係る音響再生システムの動作について、図5及び図6A~図6Cを参照して説明する。なお、以下の実施の形態の変形例についての説明では、上記の実施の形態と比較して、異なる点を中心に説明し、実質的に同等の点について省略又は簡略化して説明する。
以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。
100 音響再生システム
101 処理モジュール
102 通信モジュール
103 検知器
104 ドライバ
111 入力部
121 取得部
131 生成部
141 出力部
200 立体映像再生システム
P1、P1a 第1位置
P2、P2a 第2位置
P3、P3a 第3位置
P1m 第1中間位置
P2m 第2中間位置
Claims (9)
- 音響再生システムによって実行され、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生方法であって、
前記ユーザの頭部の動き速度を取得する取得ステップと、
前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成ステップと、を含み、
前記生成ステップでは、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置と前記第2位置との間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
音響再生方法。 - 前記生成ステップでは、
取得した前記動き速度が前記第1閾値以下の場合に、音を前記第1位置に定位させるための第1頭部伝達関数を、前記第1音に関する第1音信号に畳み込み、かつ、音を前記第2位置に定位させるための第2頭部伝達関数を、前記第2音に関する第2音信号に畳み込むことで前記出力音信号を生成し、
取得した前記動き速度が前記第1閾値より大きい場合に、音を前記第3位置に定位させるための第3頭部伝達関数を、前記第1音信号に前記第2音信号を加算した加算音信号に畳み込むことで前記出力音信号を生成する
請求項1に記載の音響再生方法。 - 前記動き速度は、前記ユーザの頭部を通過する第1軸回りの前記ユーザの頭部の回転速度であり、
前記第3位置は、前記三次元音場を前記第1軸の方向からみた仮想平面内において、前記第1位置及び前記第2位置のそれぞれと前記ユーザとを結ぶ直線同士が成す角を二等分する二等分線上の位置である
請求項1又は2に記載の音響再生方法。 - 前記回転速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを回転軸とする回転量を検知する検知器によって検知された単位時間当たりの回転量として取得される
請求項3に記載の音響再生方法。 - 前記動き速度は、前記ユーザの頭部を通過する第2軸方向に沿う前記ユーザの頭部の変位速度であり、
前記変位速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを変位方向とする変位量を検知する検知器によって検知された単位時間当たりの変位量として取得される
請求項1又は2に記載の音響再生方法。 - 前記音響再生方法では、前記第1位置及び前記第2位置を含む、前記三次元音場上の所定領域内の各位置から到達する複数の音であって、前記第1音及び前記第2音を少なくとも含む複数の音を前記ユーザに知覚させ、
前記生成ステップでは、前記動き速度が前記第1閾値より大きい場合に、前記複数の音の全てを前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
請求項1~5のいずれか一項に記載の音響再生方法。 - 前記音響再生方法では、前記第1位置及び前記第3位置の間の第1中間位置から到達する音として第1中間音をユーザに知覚させ、かつ、前記第2位置及び前記第3位置の間の第2中間位置から到達する音として第2中間音をユーザに知覚させ、
前記生成ステップでは、さらに、前記動き速度が前記第1閾値以下、かつ、前記第1閾値よりも小さい第2閾値より大きい場合に、前記第1中間音及び前記第2中間音を前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
請求項1~6のいずれか一項に記載の音響再生方法。 - 請求項1~7のいずれか一項に記載の音響再生方法をコンピュータに実行させるための
プログラム。 - 三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生システムであって、
前記ユーザの頭部の動き速度を取得する取得部と、
前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成部と、を含み、
前記生成部は、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置及び前記第2位置の間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
音響再生システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025092525A JP2025128231A (ja) | 2020-03-16 | 2025-06-03 | 音響再生方法、プログラム、及び、音響再生システム |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062990081P | 2020-03-16 | 2020-03-16 | |
| US62/990,081 | 2020-03-16 | ||
| JP2020209499 | 2020-12-17 | ||
| JP2020209499 | 2020-12-17 | ||
| PCT/JP2021/008539 WO2021187147A1 (ja) | 2020-03-16 | 2021-03-04 | 音響再生方法、プログラム、及び、音響再生システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025092525A Division JP2025128231A (ja) | 2020-03-16 | 2025-06-03 | 音響再生方法、プログラム、及び、音響再生システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021187147A1 JPWO2021187147A1 (ja) | 2021-09-23 |
| JPWO2021187147A5 JPWO2021187147A5 (ja) | 2024-03-14 |
| JP7692402B2 true JP7692402B2 (ja) | 2025-06-13 |
Family
ID=77772060
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022508208A Active JP7692402B2 (ja) | 2020-03-16 | 2021-03-04 | 音響再生方法、プログラム、及び、音響再生システム |
| JP2025092525A Pending JP2025128231A (ja) | 2020-03-16 | 2025-06-03 | 音響再生方法、プログラム、及び、音響再生システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025092525A Pending JP2025128231A (ja) | 2020-03-16 | 2025-06-03 | 音響再生方法、プログラム、及び、音響再生システム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US12075232B2 (ja) |
| EP (1) | EP4124065A4 (ja) |
| JP (2) | JP7692402B2 (ja) |
| CN (1) | CN115244947B (ja) |
| WO (1) | WO2021187147A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118339856A (zh) * | 2021-12-09 | 2024-07-12 | 松下电器(美国)知识产权公司 | 音响处理装置、音响处理方法以及程序 |
| EP4510633A4 (en) * | 2022-04-14 | 2025-08-06 | Panasonic Ip Corp America | ACOUSTIC SIGNAL PROCESSING DEVICE, ACOUSTIC SIGNAL PROCESSING METHOD, AND PROGRAM |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005021A (ja) | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| WO2016185740A1 (ja) | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2017184174A (ja) | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06233395A (ja) * | 1993-01-13 | 1994-08-19 | Victor Co Of Japan Ltd | テレビゲーム・オーサリング・システム |
| JP3433513B2 (ja) | 1994-06-17 | 2003-08-04 | ソニー株式会社 | 回転角度検出機能を備えたヘッドホン装置 |
| JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
| JP5983421B2 (ja) * | 2013-01-21 | 2016-08-31 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
| JP6201332B2 (ja) * | 2013-02-15 | 2017-09-27 | セイコーエプソン株式会社 | 音処理装置 |
| JP6292040B2 (ja) * | 2014-06-10 | 2018-03-14 | 富士通株式会社 | 音声処理装置、音源位置制御方法及び音源位置制御プログラム |
| US9977573B2 (en) * | 2014-10-31 | 2018-05-22 | Microsoft Technology Licensing, Llc | Facilitating interaction between users and their environments using a headset having input mechanisms |
| US9918177B2 (en) * | 2015-12-29 | 2018-03-13 | Harman International Industries, Incorporated | Binaural headphone rendering with head tracking |
| US11032660B2 (en) * | 2016-06-07 | 2021-06-08 | Philip Schaefer | System and method for realistic rotation of stereo or binaural audio |
| US10028071B2 (en) * | 2016-09-23 | 2018-07-17 | Apple Inc. | Binaural sound reproduction system having dynamically adjusted audio output |
| JP2018085595A (ja) | 2016-11-22 | 2018-05-31 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 |
| EP3503592B1 (en) * | 2017-12-19 | 2020-09-16 | Nokia Technologies Oy | Methods, apparatuses and computer programs relating to spatial audio |
| JP6863936B2 (ja) | 2018-08-01 | 2021-04-21 | 株式会社カプコン | 仮想空間における音声生成プログラム、四分木の生成方法、および音声生成装置 |
-
2021
- 2021-03-04 JP JP2022508208A patent/JP7692402B2/ja active Active
- 2021-03-04 CN CN202180019555.9A patent/CN115244947B/zh active Active
- 2021-03-04 EP EP21771288.4A patent/EP4124065A4/en active Pending
- 2021-03-04 WO PCT/JP2021/008539 patent/WO2021187147A1/ja not_active Ceased
-
2022
- 2022-09-06 US US17/903,345 patent/US12075232B2/en active Active
-
2024
- 2024-07-23 US US18/781,340 patent/US20240381051A1/en active Pending
-
2025
- 2025-06-03 JP JP2025092525A patent/JP2025128231A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005021A (ja) | 2011-06-13 | 2013-01-07 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| WO2016185740A1 (ja) | 2015-05-18 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2017184174A (ja) | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025128231A (ja) | 2025-09-02 |
| WO2021187147A1 (ja) | 2021-09-23 |
| JPWO2021187147A1 (ja) | 2021-09-23 |
| EP4124065A4 (en) | 2023-08-09 |
| US20240381051A1 (en) | 2024-11-14 |
| US12075232B2 (en) | 2024-08-27 |
| CN115244947A (zh) | 2022-10-25 |
| EP4124065A1 (en) | 2023-01-25 |
| US20220417697A1 (en) | 2022-12-29 |
| CN115244947B (zh) | 2025-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7165215B2 (ja) | 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム | |
| US20120207308A1 (en) | Interactive sound playback device | |
| US9544706B1 (en) | Customized head-related transfer functions | |
| JP2025128231A (ja) | 音響再生方法、プログラム、及び、音響再生システム | |
| JP7667187B2 (ja) | モバイル周辺デバイスに対する空間化されたオーディオ | |
| US20190116452A1 (en) | Graphical user interface to adapt virtualizer sweet spot | |
| JP7821354B2 (ja) | 情報処理方法、プログラム、及び、音響再生装置 | |
| JP2015523011A (ja) | 骨伝導スピーカーにおける外部振動の削減 | |
| JP2010147529A (ja) | 情報処理システムおよび情報処理方法 | |
| JP2025100877A (ja) | 音声信号処理方法、プログラム、及び、音声信号処理装置 | |
| EP4214535A2 (en) | Methods and systems for determining position and orientation of a device using acoustic beacons | |
| JP2026035806A (ja) | 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法 | |
| JP6756777B2 (ja) | 情報処理装置および音発生方法 | |
| JPH0647170A (ja) | 仮想現実感生成装置 | |
| JP2021114310A (ja) | 情報処理装置および警告提示方法 | |
| CN102568535A (zh) | 互动式声音录放装置 | |
| US20240345207A1 (en) | Methods and systems for determining position and orientation of a device using light beacons | |
| US20250024221A1 (en) | Sound signal processing device, sound signal processing method, and recording medium | |
| US20250362862A1 (en) | Information processing method, information processing device, acoustic reproduction system, and recording medium | |
| WO2022220182A1 (ja) | 情報処理方法、プログラム、及び情報処理システム | |
| JP2024056580A (ja) | 情報処理装置及びその制御方法及びプログラム | |
| CN117063489A (zh) | 信息处理方法、程序和信息处理系统 | |
| CN115942200A (zh) | 渲染空间音频内容 | |
| WO2023199815A1 (ja) | 音響処理方法、プログラム、及び音響処理システム | |
| JP2007318188A (ja) | 音像提示方法および音像提示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240304 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7692402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |