Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7692402B2 - 音響再生方法、プログラム、及び、音響再生システム - Google Patents
[go: Go Back, main page]

JP7692402B2 - 音響再生方法、プログラム、及び、音響再生システム - Google Patents

音響再生方法、プログラム、及び、音響再生システム Download PDF

Info

Publication number
JP7692402B2
JP7692402B2 JP2022508208A JP2022508208A JP7692402B2 JP 7692402 B2 JP7692402 B2 JP 7692402B2 JP 2022508208 A JP2022508208 A JP 2022508208A JP 2022508208 A JP2022508208 A JP 2022508208A JP 7692402 B2 JP7692402 B2 JP 7692402B2
Authority
JP
Japan
Prior art keywords
sound
user
head
perceive
arriving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508208A
Other languages
English (en)
Other versions
JPWO2021187147A1 (ja
JPWO2021187147A5 (ja
Inventor
成悟 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2021187147A1 publication Critical patent/JPWO2021187147A1/ja
Publication of JPWO2021187147A5 publication Critical patent/JPWO2021187147A5/ja
Priority to JP2025092525A priority Critical patent/JP2025128231A/ja
Application granted granted Critical
Publication of JP7692402B2 publication Critical patent/JP7692402B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本開示は、音響再生システム、及び、音響再生方法に関する。
従来、仮想的な三次元空間内で、感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている(例えば、特許文献1参照)。
特開2020-18620号公報
一方で、立体的な音をユーザに知覚させるための音を発生させる際には、膨大な計算処理が必要になる。ここで、従来の音響再生方法等では、適切な計算処理が行われていない場合があった。
上記に鑑みて、本開示は、より適切な計算処理により立体的な音をユーザに知覚させる音響再生方法等を提供することを目的とする。
本開示の一態様に係る音響再生方法は、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生方法であって、前記ユーザの頭部の動き速度を取得する取得ステップと、前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成ステップと、を含み、前記生成ステップでは、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置と前記第2位置との間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する。
また、本開示の一態様に係る音響再生システムは、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生システムであって、前記ユーザの頭部の動き速度を取得する取得部と、前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成部と、を含み、前記生成部は、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置及び前記第2位置の間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する。
また、本開示の一態様は、上記に記載の音響再生方法をコンピュータに実行させるためのプログラムとして実現することもできる。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
図1は、実施の形態に係る音響再生システムの使用事例を示す概略図である。 図2は、実施の形態に係る音響再生システムの機能構成を示すブロック図である。 図3は、実施の形態に係る音響再生システムの動作を示すフローチャートである。 図4は、実施の形態に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第1図である。 図5は、実施の形態の変形例に係る音響再生システムの動作を示すフローチャートである。 図6Aは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第1図である。 図6Bは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第2図である。 図6Cは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第3図である。
(開示の基礎となった知見)
従来、仮想的な三次元空間内(以下、三次元音場という場合がある)で、ユーザの感覚上の音源オブジェクトである音像の位置を制御することにより、立体的な音をユーザに知覚させるための音響再生に関する技術が知られている(例えば、特許文献1参照)。仮想的な三次元空間内における所定位置に音像を定位させることで、ユーザは、当該所定位置から発せられた音であるかのごとく、この音を知覚することができる。このように仮想的な三次元空間内の所定位置に音像を定位させるには、例えば、収音された音に対して、立体的な音として知覚されるような両耳間での音の到来時間差、及び、両耳間での音のレベル差などを生じさせる計算処理が必要となる。
このような計算処理の一例として、所定位置から到達する音として知覚させるための頭部伝達関数を目的の音の信号に対して畳み込む処理が知られている。この頭部伝達関数の畳み込みの処理を、より高解像度に実施することで、ユーザが体感する臨場感が向上される。一方で、頭部伝達関数の畳み込みは、計算処理としては比較的負荷が大きく、計算に資するリソースが要求される。すなわち、頭部伝達関数を畳み込む処理を高解像度に実施するためには、高性能な計算装置や、計算装置の使用に伴う電力などが要求される。
また、近年、仮想現実(VR:Virtual Reality)に関する技術の開発が盛んに行われている。仮想現実では、ユーザの動きに対して仮想的な三次元空間の位置が追従せず、あたかもユーザが仮想空間内を移動しているように体感できることが主眼に置かれている。特に、この仮想現実の技術において視覚的な要素に聴覚的な要素を取り入れることで、より臨場感を高めるといった試みが行われている。例えば、ユーザの正面に音像が定位しているときに、ユーザが右を向くと当該音像がユーザの左方向に移動し、ユーザが左を向くと当該音像がユーザの右方向に移動する。このように、ユーザの動きに対して、仮想空間内の音像の定位位置をユーザの動きとは逆方向に移動させる必要が生じる。
仮想空間の臨場感を向上させるためには、空間解像度を高めて頭部伝達関数の畳み込みの処理を実施することが要求される。したがって、上記の仮想現実など、高い臨場感で立体的な音をユーザに知覚させるための音響再生を行うには、計算装置及び消費電力などの制約がより顕著なものになる。
そこで、本開示では、上記に鑑みて、臨場感の低下を抑制しつつ、計算処理の負荷量を減少させることで、より適切な計算処理を実施する。本開示では、この適切な計算処理により立体的な音をユーザに知覚させる音響再生方法等を提供することを目的とする。
より具体的には、本開示の一態様に係る音響再生方法は、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生方法であって、前記ユーザの頭部の動き速度を取得する取得ステップと、前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成ステップと、を含み、前記生成ステップでは、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置と前記第2位置との間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する。
このような音響再生方法によれば、第1位置から到達する音として知覚される第1音、及び、第2位置から到達する音として知覚される第2音を、ユーザの頭部の動き速度が第1閾値よりも大きい場合に、第3位置から到達する音として知覚させることができる。このとき、第1音の音像を第1位置に定位させるための処理と、第2音の音像を第2位置に定位させるための処理とを、いずれも第3位置に定位させるための処理に共通化することができるので、処理量を低減できる。また、ここで、第1閾値が、ユーザの頭部の動き速度がこれを超える場合に、ユーザの音像位置の知覚が曖昧になるような値に設定されていれば、上記の処理を行ったとしても、音像位置の変化による臨場感への影響が抑制される。これにより、処理量を低減させることで生じ得るユーザの違和感を低減することもできる。よって、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記生成ステップでは、取得した前記動き速度が前記第1閾値以下の場合に、音を前記第1位置に定位させるための第1頭部伝達関数を、前記第1音に関する第1音信号に畳み込み、かつ、音を前記第2位置に定位させるための第2頭部伝達関数を、前記第2音に関する第2音信号に畳み込むことで前記出力音信号を生成し、取得した前記動き速度が前記第1閾値より大きい場合に、音を前記第3位置に定位させるための第3頭部伝達関数を、前記第1音信号に前記第2音信号を加算した加算音信号に畳み込むことで前記出力音信号を生成してもよい。
第1音の音像を第1位置に定位させる際に、第1頭部伝達関数を第1音に関する第1音信号に畳み込み、第2音の音像を第2位置に定位させる際に、第2頭部伝達関数を第2音に関する第2音信号に畳み込む。上記によれば、第1音及び第2音の音像を第3位置に定位させる場合に、第1音信号及び第2音信号を加算した加算音信号に対して、音を第3位置に定位させるための第3頭部伝達関数を畳み込む処理を行うのみでよい。つまり、第1音信号に対する第1頭部伝達関数の畳み込みの処理と、第2音信号に対する第2頭部伝達関数の畳み込みの処理とを、加算音信号に対する第3頭部伝達関数の畳み込みの処理に共通化することができる。よって、処理量を低減できるので、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記動き速度は、前記ユーザの頭部を通過する第1軸回りの前記ユーザの頭部の回転速度であり、前記第3位置は、前記三次元音場を前記第1軸の方向からみた仮想平面内において、前記第1位置及び前記第2位置のそれぞれと前記ユーザとを結ぶ直線同士が成す角を二等分する二等分線上の位置であってもよい。
これによれば、ユーザの頭部の回転の動きに対応して、設定された第3位置を用いることができる。このとき、第3位置は、三次元音場を回転軸である第1軸の方向からみた仮想平面内において、第1位置及び第2位置のそれぞれとユーザとを結ぶ直線同士が成す角を二等分する二等分線上の位置に設定される。したがって、ユーザの回転の動きによって曖昧になる音の到来方向に合わせて、ユーザから見た第1位置の方向と第2位置の方向との間の方向に第3位置を設定できる。よって、処理量を低減しながらも、音の到来方向の違和感を抑制して立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記回転速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを回転軸とする回転量を検知する検知器によって検知された単位時間当たりの回転量として取得されてもよい。
これによれば、動き速度として、ユーザの頭部の回転速度を、検知器を用いて取得することができる。よって、上記のようにして取得した回転速度に基づいて、音の到来方向の違和感を抑制して立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記動き速度は、前記ユーザの頭部を通過する第2軸方向に沿う前記ユーザの頭部の変位速度であり、前記変位速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを変位方向とする変位量を検知する検知器によって検知された単位時間当たりの変位量として取得されてもよい。
ユーザの頭部の変位の動きに対応して、設定された第3位置を用いることができる。このとき、ユーザの頭部の変位速度を、検知器を用いて取得することができる。よって、上記のようにして取得した変位速度に基づいて、音の到来方向の違和感を抑制して立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記音響再生方法では、前記第1位置及び前記第2位置を含む、前記三次元音場上の所定領域内の各位置から到達する複数の音であって、前記第1音及び前記第2音を少なくとも含む複数の音を前記ユーザに知覚させ、前記生成ステップでは、前記動き速度が前記第1閾値より大きい場合に、前記複数の音の全てを前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成してもよい。
これによれば、所定範囲内の複数の音の全てを第3位置から到達する音としてユーザに知覚させることができる。このため、所定範囲内の音それぞれに畳み込まれる頭部伝達関数を、音像を第3位置に定位させるための頭部伝達関数によって共通化することができる。よって、頭部伝達関数の畳み込みの処理量が削減され、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
また、例えば、前記音響再生方法では、前記第1位置及び前記第3位置の間の第1中間位置から到達する音として第1中間音をユーザに知覚させ、かつ、前記第2位置及び前記第3位置の間の第2中間位置からの音として第2中間音をユーザに知覚させ、前記生成ステップでは、さらに、前記動き速度が前記第1閾値以下、かつ、前記第1閾値よりも小さい第2閾値より大きい場合に、前記第1中間音及び前記第2中間音を前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成してもよい。
これによれば、第1位置及び第2位置のそれぞれよりも第3位置に近い第1中間位置及び第2中間位置を含む、狭い範囲内で上記と同様の処理を適用することができる。ここでは、ユーザの頭部の動き速度は、第1閾値よりは小さいため、第1位置及び第2位置等の音を第3位置に集約させると音像位置の変化を知覚できてしまうので違和感を覚える可能性があるためこれを実施していない。一方でユーザの頭部の動き速度は、第2閾値よりは大きいため、第1位置及び第2位置等を含む所定範囲よりも狭い、狭小範囲内の音を第3位置に集約させても、音像位置の変化は知覚されない。そこで、動き速度が第1閾値以下、かつ、第1閾値よりも小さい第2閾値より大きい場合に、このような狭小範囲内に含まれる第1中間位置及び第2中間位置の音を第3位置に集約させて計算処理の処理量を削減することができる。よって、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
また、本開示の一態様に係る音響再生システムは、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生システムであって、前記ユーザの頭部の動き速度を取得する取得部と、前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成部と、を含み、前記生成部は、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置及び前記第2位置の間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する。
これによれば、上記に記載の音響再生方法と同様の効果を奏する音響再生システムを実現することができる。
また、本開示の一態様は、上記に記載の音響再生方法をコンピュータに実行させるためのプログラムとして実現することもできる。
これによれば、コンピュータを用いて上記に記載の音響再生方法と同様の効果を奏することができる。
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。
また、以下の説明において、第1、第2及び第3等の序数が要素に付けられている場合がある。これらの序数は、要素を識別するため、要素に付けられており、意味のある順序に必ずしも対応しない。これらの序数は、適宜、入れ替えられてもよいし、新たに付与されてもよいし、取り除かれてもよい。
(実施の形態)
[概要]
はじめに、実施の形態に係る音響再生システムの概要について説明する。図1は、実施の形態に係る音響再生システムの使用事例を示す概略図である。図1では、音響再生システム100を使用するユーザ99が示されている。
図1に示す音響再生システム100は、立体映像再生システム200と同時に使用されている。上記に説明したように、本実施の形態では、立体的な画像及び立体的な音を同時に視聴することで、画像が聴覚的な臨場感を、音が視覚的な臨場感をそれぞれ高め合い、画像及び音が撮られた現場に居るかのように体感することができる。例えば、人が会話をする画像(動画像)が表示されている場合に、会話音の音像の定位が当該人の口元とずれている場合にも、ユーザ99が、当該人の口から発せられた会話音として知覚することが知られている。このように視覚情報によって、音像の位置が補正されるなど、画像と音とが併せられることで臨場感が高められることがある。
立体映像再生システム200は、ユーザ99の頭部に装着される画像表示デバイスである。したがって、立体映像再生システム200は、ユーザ99の頭部と一体的に移動する。例えば、立体映像再生システム200は、図示するように、ユーザ99の耳と鼻とで支持するメガネ型のデバイスである。
立体映像再生システム200は、ユーザ99の頭部の動きに応じて表示する画像を変化させることで、ユーザ99が三次元画像空間内で頭部を動かしているように知覚させる。つまり、ユーザ99の正面に三次元画像空間内の物体が位置しているときに、ユーザ99が右を向くと当該物体がユーザ99の左方向に移動し、ユーザ99が左を向くと当該物体がユーザの右方向に移動する。このように、立体映像再生システム200は、ユーザ99の動きに対して、三次元画像空間をユーザ99の動きとは逆方向に移動させる。
立体映像再生システム200は、ユーザ99の左右の目それぞれに視差分のずれが生じた2つの画像をそれぞれ表示する。ユーザ99は、表示される画像の視差分のずれに基づき、画像上の物体の三次元的な位置を知覚することができる。なお、音響再生システム100を睡眠誘導用のヒーリング音の再生に使用する等、ユーザ99が目を閉じて使用する場合等には、立体映像再生システム200が同時に使用される必要はない。つまり、立体映像再生システム200は、本開示の必須の構成要素ではない。
音響再生システム100は、ユーザ99の頭部に装着される音提示デバイスである。したがって、音響再生システム100は、ユーザ99の頭部と一体的に移動する。例えば、音響再生システム100は、ユーザ99の左右の耳にそれぞれ独立して装着される2つの耳栓型のデバイスである。この2つのデバイスは、互いに通信することで、右耳用の音と左耳用の音とを同期して提示する。
音響再生システム100は、ユーザ99の頭部の動きに応じて提示する音を変化させることで、ユーザ99が三次元音場内で頭部を動かしているようにユーザ99に知覚させる。このため、上記したように、音響再生システム100は、ユーザ99の動きに対して三次元音場をユーザの動きとは逆方向に移動させる。
ここで、ユーザ99の頭部の動きが一定以上になると、ユーザ99は、三次元音場内における音像の位置の識別が曖昧になることが知られている。本実施の形態に係る音響再生システム100は、この現象を利用することで計算処理の負荷量を減少させる。すなわち、音響再生システム100は、ユーザ99の頭部の動き速度を取得し、取得した動き速度が第1閾値より大きい場合に、三次元音場上の所定領域内から到達する音として知覚される複数の音を当該所定領域内の1箇所から到達する音として知覚させる。
この所定領域は、頭部の動き速度が速いことにより、ユーザ99による音像位置の知覚が曖昧になる範囲に該当する。したがって、ユーザ99ごとに設定される必要があるので、例えば、事前に実験などを行うことで設定されればよい。また、所定領域は、ユーザ99の頭部の動き量の影響も受けるので、ユーザ99の頭部の動き量を検知することで、動き量に応じた所定領域が設定されてもよい。
また、動き速度に対する第1閾値についても同様に、どの程度の動き速度から、ユーザ99による音像位置の知覚が曖昧になるかのユーザ99固有の数値設定が必要になる。したがって、事前に実験などを行うことで設定された値が採用されればよい。なお、複数のユーザ99の実験結果から、平均化することにより、一般化した所定領域及び第1閾値が設定されてもよい。
[構成]
次に、図2を参照して、本実施の形態に係る音響再生システム100の構成について説明する。図2は、実施の形態に係る音響再生システムの機能構成を示すブロック図である。
図2に示すように、本実施の形態に係る音響再生システム100は、処理モジュール101と、通信モジュール102と、検知器103と、ドライバ104と、を備える。
処理モジュール101は、音響再生システム100における各種の信号処理を行うための演算装置である、処理モジュール101は、例えば、プロセッサとメモリとを備え、メモリに記憶されたプログラムがプロセッサによって実行されることで、各種の機能を発揮する。
処理モジュール101は、入力部111、取得部121、生成部131、及び、出力部141を有する。処理モジュール101が有する各機能部の詳細は、処理モジュール101の他の構成の詳細と併せて以下に説明する。
通信モジュール102は、音響再生システム100への音信号の入力を受け付けるためのインタフェース装置である。通信モジュール102は、例えば、アンテナと信号変換器とを備え、無線通信により外部の装置から音信号を受信する。より詳しくは、通信モジュール102は、無線通信のための形式に変換された音信号を示す無線信号を、アンテナを用いて受波し、信号変換器により無線信号から音信号への再変換を行う。これにより、音響再生システム100は、外部の装置から無線通信により音信号を取得する。通信モジュール102によって取得された音信号は、入力部111に入力される。このようにして音信号は、処理モジュール101に入力される。なお、音響再生システム100と外部の装置との通信は、有線通信によって行われてもよい。
音響再生システム100が取得する音信号は、例えば、MPEG-H Audio等の所定の形式で符号化されている。一例として、符号化された音信号には、音響再生システム100によって再生される音についての情報と、当該音の音像を三次元音場内において所定位置に定位させる際の定位位置に関する情報とが含まれる。例えば、音信号には第1音及び第2音を含む複数の音に関する情報が含まれ、それぞれの音が再生された際の音像を三次元音場内における異なる位置に定位させる。
この立体的な音によって、例えば、立体映像再生システム200を用いて視認される画像と併せて、視聴されるコンテンツなどの臨場感を向上することができる。なお、音信号には、音についての情報のみが含まれていてもよい。この場合、定位位置に関する情報を別途取得してもよい。また、上記したように、音信号は、第1音に関する第1音信号、及び、第2音に関する第2音信号を含むが、これらを別個に含む複数の音信号をそれぞれ取得し、同時に再生することで音像を三次元音場内における異なる位置に定位させてもよい。このように、入力される音信号の形態に特に限定はなく、音響再生システム100に各種の形態の音信号に応じた入力部111が備えられればよい。
検知器103は、ユーザ99の頭部の動き速度を検知するための装置である。検知器103は、ジャイロセンサ、加速度センサなど動きの検知に使用される各種のセンサを組み合わせて構成される。本実施の形態では、検知器103は、音響再生システム100に内蔵されているが、例えば、音響再生システム100と同様にユーザ99の頭部の動きに応じて動作する立体映像再生システム200等、外部の装置に内蔵されていてもよい。この場合、検知器103は、音響再生システム100に含まれなくてもよい。また、検知器103として、外部の撮像装置などを用いて、ユーザ99の頭部の動きを撮像し、撮像された画像を処理することでユーザ99の動きを検知してもよい。
検知器103は、例えば、音響再生システム100の筐体に一体的に固定され、筐体の動きの速度を検知する。音響再生システム100は、ユーザ99が装着した後、ユーザ99の頭部と一体的に移動するため、結果としてユーザ99の頭部の動きの速度を検知することができる。
検知器103は、例えば、ユーザ99の頭部の動きの量として、三次元空間内で互いに直交する3軸の少なくとも一つを回転軸とする回転量を検知してもよいし、上記3軸の少なくとも一つを変位方向とする変位量を検知してもよい。また、検知器103は、ユーザ99の頭部の動きの量として、回転量及び変位量の両方を検知してもよい。
取得部121は、検知器103からユーザ99の頭部の動き速度を取得する。より具体的には、取得部121は、単位時間あたりに検知器103が検知したユーザ99の頭部の動きの量を動き速度として取得する。このようにして取得部121は、検知器103から回転速度及び変位速度の少なくとも一方を取得する。
ここで、生成部131は、取得したユーザ99の頭部の動き速度が上記の第1閾値よりも大きいか否かの判定を行う。生成部131は、この判定の結果に基づいて、計算処理の負荷量を減少させるか否かを決定する。生成部131のより詳細な動作については、後述する。生成部131は、上記の決定内容に従って、入力された音信号に対して計算処理を実施し、音を提示させるための出力音信号を生成する。
出力部141は、生成された出力音信号をドライバ104へと出力する機能部である。ドライバ104は、出力音信号に基づいてデジタル信号からアナログ信号への信号変換などを行うことで、波形信号を生成し、波形信号に基づいて音波を発生させ、ユーザ99に音を提示する。ドライバ104は、例えば、振動板とマグネット及びボイスコイルなどの駆動機構とを有する。ドライバ104は、波形信号に応じて駆動機構を動作させ、駆動機構によって振動板を振動させる。このようにして、ドライバ104は、出力音信号に応じた振動板の振動により、音波を発生させ、音波が空気を伝播してユーザ99の耳に伝達し、ユーザ99が音を知覚する。
[動作]
次に、図3を参照して、上記に説明した音響再生システム100の動作について説明する。図3は、実施の形態に係る音響再生システムの動作を示すフローチャートである。図3に示すように、まず、音響再生システム100の動作が開始されると、第1音に関する第1音信号及び第2音に関する第2音信号が取得される(ステップS101)。ここでは、外部の装置から通信モジュール102が取得した音信号が、入力部111に入力されることで、処理モジュール101が第1音信号及び第2音信号を含む音信号を取得する。
続いて、取得部121は、検知器103から検知結果として、ユーザ99の頭部の動き速度を取得する(取得ステップS102)。生成部131は、取得した動き速度と、第1閾値と比較して、動き速度が第1閾値よりも大きいか否かの判定を行う(ステップS103)。動き速度が第1閾値以下の場合(ステップS103でNo)、音響再生システム100は、第1音及び第2音を、それぞれの本来の音像位置である第1位置及び第2位置から到達する音としてユーザ99に知覚させる。このため、生成部131は、第1音信号に、音像を第1位置に定位させるための第1頭部伝達関数を畳み込む。また、生成部131は、第2音信号に、音像を第2位置に定位させるための第2頭部伝達関数を畳み込む(ステップS104)。生成部131は、このようにして畳み込みの処理を行った第1音信号及び第2音信号を含む出力音信号を生成する(ステップS105)。
一方で、動き速度が第1閾値より大きい場合(ステップS103でYes)、音響再生システム100は、第1音及び第2音の元の音像位置である第1位置及び第2位置に対して、これらの位置の間の第3位置から到達する音としてユーザ99に知覚させる。このため、生成部131は、第1音信号及び第2音信号を加算することで、第1音及び第2音が重畳された音に関する加算音信号を生成する。なお、第1位置及び第2位置の間とは、例えば、第1位置を通過する仮想直線と、当該仮想直線に平行な他の仮想直線であって第2位置を通過する他の仮想直線とに挟まれる領域を意味する。この際、仮想直線及び他の仮想直線上を当該領域内に含むとしてもよい。
生成部131は、さらに、この加算音信号に、音像を第3位置に定位させるための第3頭部伝達関数を畳み込む(ステップS107)。生成部131は、このようにして畳み込みの処理を行った加算音信号を含む出力音信号を生成する(ステップS108)。なお、ステップS103~ステップS108を併せて、生成ステップともいう。
出力部141は、生成部131によって生成された出力音信号をドライバ104に出力することでドライバ104を駆動させて、出力音信号に基づく音を提示させる(ステップS106)。このようにして、第1音及び第2音を併せて第3位置から到達する音として知覚させることができるため、第1音を第1位置から到達する音とし、第2音を第2位置から到達する音として知覚させる場合に比べ、音像を定位させるための計算処理を簡略化できる。これにより、一時的に要求処理能力を低下させ、プロセッサの駆動による発熱、計算処理に伴う電力消費などを低減できる。また、上記したように、計算処理の簡略化によっても、ユーザ99の音像位置の知覚が曖昧になっているため、臨場感への影響が少ない。音響再生システム100では、このように、必要に応じて計算処理を簡略化できるので、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
ここで、以上に説明した第3位置について、図4を参照してより詳しく説明する。図4は、実施の形態に係る第3頭部伝達関数によって音像が定位される第3位置について説明する図である。なお、図4では、三次元音場内での音像位置を黒点によって示し、黒点からユーザ99に向けて延びる矢印によってユーザ99への音の到来方向を示している。なお、音像位置を示す黒点には仮想的なスピーカが併せて示されている。
図4に示す例では、ユーザ99が頭部を回転させており、この回転の回転速度が第1閾値よりも大きいものとして説明を行う。なお、ユーザ99が頭部を変位させ、この変位の変位速度が第1閾値よりも大きい場合に、以下の動作が行われてもよい。この例では、白抜き両矢印に示すように、紙面に対して垂直方向の第1軸回りにユーザ99の頭部が回転している。このとき、図中に示すように、本例における第3位置P3又はP3aは、第1位置P1又はP1a及びユーザ99を結ぶ直線と、第2位置P2又はP2a及びユーザ99を結ぶ直線とが成す角を二等分する、図中にドットハッチングを付した矢印で指し示す二等分線上の位置である。
このようにして、頭部伝達関数の畳み込みの計算処理を簡略化することで、より適切な計算処理により立体的な音をユーザ99に知覚させることが可能となる。なお、頭部伝達関数に音像の定位される距離に関する情報が含まれる場合、同じ音の到来方向において、複数の距離の位置に音像を定位させる複数の頭部伝達関数が用意され、この中から選択された1つの頭部伝達関数を畳み込む構成としてもよい。この場合、第1音と第2音との到来方向及び音像位置までの距離が平均化されるため、ユーザ99が違和感を覚えやすいので、より狭小な所定領域が設定される等の違和感の低減のための構成がさらに含まれてもよい。
ユーザ99が頭部を変位させる場合、この変位の変位速度が第1閾値よりも大きいものとして説明を行う。この例では、例えば、紙面に沿う上下方向の第2軸に沿ってユーザ99の頭部が変位する。このとき、本例における第3位置P3は、第2軸方向に直交し、かつ、第1位置P1及び第2位置P2からの距離が等しい、等距離線上の位置である。このような位置に音像を定位させることで、ユーザ99の頭部の変位に合わせて弁別が曖昧になる距離の領域において平均的な第3位置P3を設定できる。なお、ユーザ99の頭部の変位方向は、一方向であってもよい。
また、第3位置の設定の際に、第1位置及び第2位置のいずれか一方のそのものに対応する位置が設定されてもよい。例えば、第1音がコンテンツ上の人のセリフであり、第2音がコンテンツ上の環境音である場合等に、第1音が優先され、第1音に設定された音像位置が第3位置として設定される。これによれば、第3位置に設定される第1位置から到達する音として第1音及び第2音が知覚される。この際、第1位置から到達する音として音をユーザ99に知覚させるための第1頭部伝達関数がそのまま使用される。
つまり、この例では、既に使用されていた頭部伝達関数を用いるため、例えば、上記の例に示すように、音信号によって、元より設定されている第1位置及び第2位置などのいずれの音像位置にも該当しない位置を第3位置とする必要がない。言い換えると、音信号によって元より設定されている音像位置を第3位置とすることができる。このため、元より設定されている音像位置に音像を定位させるための頭部伝達関数を流用できるので、三次元音場内の任意の点から到達する音としてユーザ99に音を知覚させるための頭部伝達関数をマッピングしたマッピング情報などを用いる必要がない。よって、設定された第3位置に対する頭部伝達関数の決定の処理が簡略化され、より適切な計算処理により立体的な音をユーザ99に知覚させることが可能となる。このように、第1位置と第2位置との間とは、第1位置及び第2位置そのものを含む範囲を意味する。
また、第3位置として、第1位置と第2位置とを空間的に結ぶ線分上の中間点が設定されてもよいし、単に第1位置と第2位置との間のランダムな位置が設定されてもよい。
[変形例]
以下、本実施の形態の変形例に係る音響再生システムの動作について、図5及び図6A~図6Cを参照して説明する。なお、以下の実施の形態の変形例についての説明では、上記の実施の形態と比較して、異なる点を中心に説明し、実質的に同等の点について省略又は簡略化して説明する。
図5は、実施の形態の変形例に係る音響再生システムの動作を示すフローチャートである。図6Aは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第1図である。図6Bは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第2図である。図6Cは、実施の形態の変形例に係る第3頭部伝達関数によって音像が定位される第3位置について説明する第3図である。本変形例に係る音響再生システムは、上記の実施の形態に係る音響再生システム100と比べて、第1閾値及び第2閾値を境に音信号に対して頭部伝達関数が畳み込まれる対象の音が変化する点が異なっている。
より具体的には、本変形例に係る音響再生システムでは、第1閾値よりも小さい第2閾値が設定される。第1閾値は、上記の実施の形態と同様に、第1音及び第2音を第3位置から到達する音としてユーザ99に知覚させるための第3頭部伝達関数を適用するか否かの判定に用いられる。本変形例では、さらに、第2閾値を用いた判定により、第1音及び第2音よりも第3位置に近い第1中間位置及び第2中間位置に定位されている第1中間音及び第2中間音を第3位置から到達する音としてユーザ99に知覚させる第3頭部伝達関数を畳み込むことで、計算処理の処理量の削減を実現する。
ここでは、ユーザ99の頭部の動き速度に基づく判定が行われ、動き速度が第2閾値以下の場合に、第1音が第1位置P1に定位され、第2音が第2位置P2に定位され、第1中間音が第1中間位置P1m(図6A等参照)に定位され、第2中間音が第2中間位置P2m(図6A等参照)に定位される。一方で、ユーザ99の頭部の動き速度が第1閾値より大きい場合に、上記のように、第1音及び第2音に関する音信号(つまり、第1音信号及び第2音信号)に第3頭部伝達関数を畳み込む処理が適用される。このとき、第1中間音及び第2中間音に関する音信号(つまり、第1中間音信号及び第2中間音信号)にも第3頭部伝達関数が畳み込まれ、第1音、第2音、第1中間音及び第2中間音がすべて第3位置P3に定位される。
これに加え、本変形例では、ユーザ99の頭部の動き速度が第2閾値よりも大きく、かつ、第1閾値以下の場合に、第1音が第1位置P1に定位され、第2音が第2位置P2に定位され、第1中間音及び第2中間音が第3位置P3に定位される。すなわち、本変形例では、第2閾値以下のように、ユーザ99の頭部の動き速度がそれほど速くない場合には、第1位置P1及び第2位置P2が含まれず、かつ、第1中間位置P1m及び第2中間位置P2mが含まれる、より狭小な所定領域(つまり狭小領域)について、頭部伝達関数の畳み込みの計算処理が簡略化される。
本変形例に係る音響再生システムにおける動作としては、図5に示すように、取得部121が動き速度を取得(ステップS102)した後、生成部131は、動き速度が第2閾値よりも大きいか否かの判定を行う(ステップS201)。動き速度が第2閾値以下の場合(ステップS201でNo)、ステップS202に進み、上記の実施の形態と同様に、それぞれの音信号について、本来定位されるべき位置に音像を定位させるための頭部伝達関数を畳み込む動作(ステップS202)が実施される。すなわち、第1音に関する第1音信号には、第1位置P1に音像を定位させるための第1頭部伝達関数が畳み込まれ、第2音に関する第2音信号には、第2位置P2に音像を定位させるための第2頭部伝達関数が畳み込まれ、第1中間音に関する第1中間音信号には、第1中間位置P1mに音像を定位させるための第1中間頭部伝達関数が畳み込まれ、第2中間音に関する第2中間音信号には、第2中間位置P2mに音像を定位させるための第2中間頭部伝達関数が畳み込まれる。
一方で、動き速度が第2閾値より大きい場合(ステップS201でYes)、生成部131は、動き速度が第1閾値よりも大きいか否かの判定をさらに行う(ステップS204)。動き速度が第1閾値以下の場合(ステップS204でNo)、音響再生システム100は、第1中間音及び第2中間音を、第3位置から到達する音としてユーザ99に知覚させる。このため、生成部131は、第1中間音に関する第1中間音信号及び第2中間音に関する第第2中間音信号を加算した加算音信号に、第3頭部伝達関数を畳み込む(ステップS205)。生成部131は、このようにして畳み込みの処理を行った第1音信号、第2音信号、ならびに、第1中間音信号及び第2中間音信号を加算した加算音信号を含む出力音信号を生成する(ステップS206)。その後、ステップS106に進み、上記の実施の形態と同様の動作が実施される。
一方で、動き速度が第1閾値より大きい場合(ステップS204でYes)、ステップS207に進み、上記の実施の形態と同様の動作により、第1音信号及び第2音信号を加算した加算音信号に対して第3頭部伝達関数を畳み込む処理が実施される。本変形例では、さらに、この加算音信号に第1中間音信号及び第2中間音信号も加算されており、第1音、第2音、第1中間音及び第2中間音が第3位置P3から到達する音としてユーザ99に知覚される。
以上の動作の結果、本実施の形態の変形例に係る音響再生システムでは、ユーザ99の動き速度が第2閾値以下の場合に、三次元音場内に、図6Aに示す音像が形成される。なお、図6Aでは、図4と同様に三次元音場を第1軸方向から見た図が示されている。図6Aに示すように、ユーザ99の動き速度が第2閾値以下の場合に、第1音、第2音、第1中間音、及び第2中間音のそれぞれは、本来の音像位置から到達する音としてユーザ99に知覚される。
また、本変形例に係る音響再生システムでは、ユーザ99の動き速度が第1閾値以下、かつ、第2閾値より大きい場合に、三次元音場内に、図6Bに示す音像が形成される。なお、図6Bでは、図4と同様に三次元音場を第1軸方向から見た図が示されている。
図6Bに示すように、ユーザ99の動き速度が第1閾値以下、かつ、第2閾値より大きい場合に、本来、第1位置P1よりも第3位置P3に近い第1中間位置P1mから到達する音としてユーザ99に知覚される第1中間音が、第3位置P3から到達する音としてユーザ99に知覚される。同様に、動き速度が第1閾値以下、かつ、第2閾値より大きい場合に、本来、第2位置P2よりも第3位置P3に近い第2中間位置P2mから到達する音としてユーザ99に知覚される第2中間音が、第3位置P3から到達する音としてユーザ99に知覚される。
さらに、本変形例に係る音響再生システムでは、ユーザ99の動き速度が第1閾値より大きい場合に、三次元音場内に、図6Cに示す音像が形成される。なお、図6Cでは、図4と同様に三次元音場を第1軸方向から見た図が示されている。
図6Cに示すように、ユーザ99の動き速度が第1閾値より大きい場合に、第1中間位置P1m及び第2中間位置P2mを含め、第1位置P1及び第2位置P2を内包する所定領域の中に含まれる音像位置に本来定位される音が、すべて第3位置P3から到達する音としてユーザ99に知覚される。
このようにすることで、動き速度が第2閾値を超えた際に、ユーザ99の動き速度に段階的に対応する広さの所定領域内の音が第3位置P3から到達する音としてユーザ99に知覚される。例えば、図中では、第1閾値を超える動き速度の場合、長破線で示す所定領域内の音が、第3位置P3から到達する音としてユーザ99に知覚される。また、第2閾値を超え、第1閾値以下の動き速度の場合、破線で示す狭小な所定領域(つまり狭小領域)内の音が、第3位置P3から到達する音としてユーザ99に知覚される。
なお、この時、第3位置P3として、第1中間位置P1m及び第2中間位置P2mが考慮される。つまり、第3位置P3は、第1位置P1、第2位置P2、第1中間位置P1m及び第2中間位置P2mの4つの位置に基づいて設定される。ここでは、例えば、第3位置P3として、第1位置P1、第2位置P2、第1中間位置P1m、及び第2中間位置P2m間の中心とユーザ99とを結ぶ直線上、かつ、第1位置P1、第2位置P2、第1中間位置P1m、及び第2中間位置P2mのそれぞれから、ユーザ99の位置までの距離のうち最も短い距離と同じ距離の位置が設定される。また、第3位置P3は、第1軸方向から見た平面座標内における4つの位置に対応する座標同士の平均座標などに設定されてもよい。
なお、さらに、ユーザ99の動き速度に対する第3閾値等の3以上の段階が設けられ、さらに狭小な所定領域内の音が第3位置P3から到達する音としてユーザ99に知覚される構成としてもよい。動き速度と所定領域の広さとの関係における段階の数に特に限定はない。
また、第2閾値については、上記の実施の形態の説明における第1閾値と同様に、どの程度の動き速度から、ユーザ99による音像位置の知覚が曖昧になるかのユーザ99固有の数値設定などに基づいて設定されてもよいし、一般化された数値が設定されてもよい。
(その他の実施の形態)
以上、実施の形態について説明したが、本開示は、上記の実施の形態に限定されるものではない。
例えば、上記の実施の形態では、ユーザの頭部の動きに音が追従しない例を説明したが、本開示の内容は、ユーザの頭部の動きに音が追従する場合においても有効である。つまり、ユーザの頭部の動きとともに相対的に移動する第1位置から到達する音として第1音をユーザに知覚させ、ユーザの頭部の動きとともに相対的に移動する第2位置から到達する音として第2音をユーザに知覚させる動作の中で、頭部の動き速度が第1閾値より大きい場合に、第1音及び第2音をユーザの頭部の動きとともに相対的に移動する第3位置から到達する音として知覚させる。
この場合においても、第1音及び第2音を第1位置及び第2位置に定位させるための頭部伝達関数をそれぞれの音信号に畳み込む処理が行われ、第1閾値を境に、音信号に畳み込まれる頭部伝達関数が共通化されるため、計算処理が簡略化される。すなわち、上記の実施の形態と同様に、一時的に要求処理能力を低下させ、プロセッサの駆動による発熱、計算処理に伴う電力消費などを低減できる。一方で、このような計算処理の簡略化を行ったとしてもユーザの頭部の動き速度が大きければ、音像の位置を正確に知覚することが難しくなるために、音像位置に対するユーザの違和感が大きくなりにくい。したがって、より適切な計算処理により立体的な音をユーザに知覚させることが可能となる。
また、例えば、上記の実施の形態に説明した音響再生システムは、構成要素をすべて備える一つの装置として実現されてもよいし、複数の装置に各機能が割り振られ、この複数の装置が連携することで実現されてもよい。後者の場合には、処理モジュールに該当する装置として、スマートフォン、タブレット端末、又は、PCなどの情報処理装置が用いられてもよい。
また、本開示の音響再生システムは、ドライバのみを備える再生装置に接続され、当該再生装置に対して、取得した音信号に基づいて頭部伝達関数の畳み込み処理を行った出力音信号を出力するのみの音響処理装置として実現することもできる。この場合、音響処理装置は、専用の回路を備えるハードウェアとして実現してもよいし、汎用のプロセッサに特定の処理を実行させるためのソフトウェアとして実現してもよい。
また、上記の実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、上記の実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路(又は集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
例えば、本開示は、コンピュータによって実行される音声信号再生方法として実現されてもよいし、音声信号再生方法コンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、ユーザの頭部の動きを伴う、立体的な音をユーザに知覚させる音響再生の際に有用である。
99 ユーザ
100 音響再生システム
101 処理モジュール
102 通信モジュール
103 検知器
104 ドライバ
111 入力部
121 取得部
131 生成部
141 出力部
200 立体映像再生システム
P1、P1a 第1位置
P2、P2a 第2位置
P3、P3a 第3位置
P1m 第1中間位置
P2m 第2中間位置

Claims (9)

  1. 音響再生システムによって実行され、三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生方法であって、
    前記ユーザの頭部の動き速度を取得する取得ステップと、
    前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成ステップと、を含み、
    前記生成ステップでは、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置と前記第2位置との間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
    音響再生方法。
  2. 前記生成ステップでは、
    取得した前記動き速度が前記第1閾値以下の場合に、音を前記第1位置に定位させるための第1頭部伝達関数を、前記第1音に関する第1音信号に畳み込み、かつ、音を前記第2位置に定位させるための第2頭部伝達関数を、前記第2音に関する第2音信号に畳み込むことで前記出力音信号を生成し、
    取得した前記動き速度が前記第1閾値より大きい場合に、音を前記第3位置に定位させるための第3頭部伝達関数を、前記第1音信号に前記第2音信号を加算した加算音信号に畳み込むことで前記出力音信号を生成する
    請求項1に記載の音響再生方法。
  3. 前記動き速度は、前記ユーザの頭部を通過する第1軸回りの前記ユーザの頭部の回転速度であり、
    前記第3位置は、記三次元音場を前記第1軸の方向からみた仮想平面内において、前記第1位置及び前記第2位置のそれぞれと前記ユーザとを結ぶ直線同士が成す角を二等分する二等分線上の位置である
    請求項1又は2に記載の音響再生方法。
  4. 前記回転速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを回転軸とする回転量を検知する検知器によって検知された単位時間当たりの回転量として取得される
    請求項に記載の音響再生方法。
  5. 前記動き速度は、前記ユーザの頭部を通過する第2軸方向に沿う前記ユーザの頭部の変位速度であり、
    前記変位速度は、前記ユーザの頭部と一体的に移動し、互いに直交する3軸の少なくとも一つを変位方向とする変位量を検知する検知器によって検知された単位時間当たりの変位量として取得される
    請求項1又は2に記載の音響再生方法。
  6. 前記音響再生方法では、前記第1位置及び前記第2位置を含む、前記三次元音場上の所定領域内の各位置から到達する複数の音であって、前記第1音及び前記第2音を少なくとも含む複数の音を前記ユーザに知覚させ
    前記生成ステップでは、前記動き速度が前記第1閾値より大きい場合に、前記複数の音の全てを前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
    請求項1~5のいずれか一項に記載の音響再生方法。
  7. 前記音響再生方法では、第1位置及び前記第3位置の間の第1中間位置から到達する音として第1中間音をユーザに知覚させ、かつ、前記第2位置及び前記第3位置の間の第2中間位置から到達する音として第2中間音をユーザに知覚させ
    前記生成ステップでは、さらに、前記動き速度が前記第1閾値以下、かつ、前記第1閾値よりも小さい第2閾値より大きい場合に、前記第1中間音及び前記第2中間音を前記第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成する
    請求項1~6のいずれか一項に記載の音響再生方法。
  8. 請求項1~7のいずれか一項に記載の音響再生方法をコンピュータに実行させるための
    プログラム。
  9. 三次元音場上の第1位置から到達する音として第1音をユーザに知覚させ、かつ、前記第1位置とは異なる第2位置から到達する音として第2音を前記ユーザに知覚させる音響再生システムであって、
    前記ユーザの頭部の動き速度を取得する取得部と、
    前記三次元音場上の所定位置から到達する音を前記ユーザに知覚させるための出力音信号を生成する生成部と、を含み、
    前記生成部は、取得した前記動き速度が第1閾値より大きい場合に、前記第1音及び前記第2音を前記第1位置及び前記第2位置の間の第3位置から到達する音として前記ユーザに知覚させるための前記出力音信号を生成す
    音響再生システム。
JP2022508208A 2020-03-16 2021-03-04 音響再生方法、プログラム、及び、音響再生システム Active JP7692402B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025092525A JP2025128231A (ja) 2020-03-16 2025-06-03 音響再生方法、プログラム、及び、音響再生システム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062990081P 2020-03-16 2020-03-16
US62/990,081 2020-03-16
JP2020209499 2020-12-17
JP2020209499 2020-12-17
PCT/JP2021/008539 WO2021187147A1 (ja) 2020-03-16 2021-03-04 音響再生方法、プログラム、及び、音響再生システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025092525A Division JP2025128231A (ja) 2020-03-16 2025-06-03 音響再生方法、プログラム、及び、音響再生システム

Publications (3)

Publication Number Publication Date
JPWO2021187147A1 JPWO2021187147A1 (ja) 2021-09-23
JPWO2021187147A5 JPWO2021187147A5 (ja) 2024-03-14
JP7692402B2 true JP7692402B2 (ja) 2025-06-13

Family

ID=77772060

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022508208A Active JP7692402B2 (ja) 2020-03-16 2021-03-04 音響再生方法、プログラム、及び、音響再生システム
JP2025092525A Pending JP2025128231A (ja) 2020-03-16 2025-06-03 音響再生方法、プログラム、及び、音響再生システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025092525A Pending JP2025128231A (ja) 2020-03-16 2025-06-03 音響再生方法、プログラム、及び、音響再生システム

Country Status (5)

Country Link
US (2) US12075232B2 (ja)
EP (1) EP4124065A4 (ja)
JP (2) JP7692402B2 (ja)
CN (1) CN115244947B (ja)
WO (1) WO2021187147A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118339856A (zh) * 2021-12-09 2024-07-12 松下电器(美国)知识产权公司 音响处理装置、音响处理方法以及程序
EP4510633A4 (en) * 2022-04-14 2025-08-06 Panasonic Ip Corp America ACOUSTIC SIGNAL PROCESSING DEVICE, ACOUSTIC SIGNAL PROCESSING METHOD, AND PROGRAM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013005021A (ja) 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2016185740A1 (ja) 2015-05-18 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017184174A (ja) 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233395A (ja) * 1993-01-13 1994-08-19 Victor Co Of Japan Ltd テレビゲーム・オーサリング・システム
JP3433513B2 (ja) 1994-06-17 2003-08-04 ソニー株式会社 回転角度検出機能を備えたヘッドホン装置
JP4735993B2 (ja) * 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP5983421B2 (ja) * 2013-01-21 2016-08-31 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
JP6201332B2 (ja) * 2013-02-15 2017-09-27 セイコーエプソン株式会社 音処理装置
JP6292040B2 (ja) * 2014-06-10 2018-03-14 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム
US9977573B2 (en) * 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking
US11032660B2 (en) * 2016-06-07 2021-06-08 Philip Schaefer System and method for realistic rotation of stereo or binaural audio
US10028071B2 (en) * 2016-09-23 2018-07-17 Apple Inc. Binaural sound reproduction system having dynamically adjusted audio output
JP2018085595A (ja) 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法
EP3503592B1 (en) * 2017-12-19 2020-09-16 Nokia Technologies Oy Methods, apparatuses and computer programs relating to spatial audio
JP6863936B2 (ja) 2018-08-01 2021-04-21 株式会社カプコン 仮想空間における音声生成プログラム、四分木の生成方法、および音声生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013005021A (ja) 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法及びプログラム
WO2016185740A1 (ja) 2015-05-18 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017184174A (ja) 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Also Published As

Publication number Publication date
JP2025128231A (ja) 2025-09-02
WO2021187147A1 (ja) 2021-09-23
JPWO2021187147A1 (ja) 2021-09-23
EP4124065A4 (en) 2023-08-09
US20240381051A1 (en) 2024-11-14
US12075232B2 (en) 2024-08-27
CN115244947A (zh) 2022-10-25
EP4124065A1 (en) 2023-01-25
US20220417697A1 (en) 2022-12-29
CN115244947B (zh) 2025-12-05

Similar Documents

Publication Publication Date Title
JP7165215B2 (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
US20120207308A1 (en) Interactive sound playback device
US9544706B1 (en) Customized head-related transfer functions
JP2025128231A (ja) 音響再生方法、プログラム、及び、音響再生システム
JP7667187B2 (ja) モバイル周辺デバイスに対する空間化されたオーディオ
US20190116452A1 (en) Graphical user interface to adapt virtualizer sweet spot
JP7821354B2 (ja) 情報処理方法、プログラム、及び、音響再生装置
JP2015523011A (ja) 骨伝導スピーカーにおける外部振動の削減
JP2010147529A (ja) 情報処理システムおよび情報処理方法
JP2025100877A (ja) 音声信号処理方法、プログラム、及び、音声信号処理装置
EP4214535A2 (en) Methods and systems for determining position and orientation of a device using acoustic beacons
JP2026035806A (ja) 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法
JP6756777B2 (ja) 情報処理装置および音発生方法
JPH0647170A (ja) 仮想現実感生成装置
JP2021114310A (ja) 情報処理装置および警告提示方法
CN102568535A (zh) 互动式声音录放装置
US20240345207A1 (en) Methods and systems for determining position and orientation of a device using light beacons
US20250024221A1 (en) Sound signal processing device, sound signal processing method, and recording medium
US20250362862A1 (en) Information processing method, information processing device, acoustic reproduction system, and recording medium
WO2022220182A1 (ja) 情報処理方法、プログラム、及び情報処理システム
JP2024056580A (ja) 情報処理装置及びその制御方法及びプログラム
CN117063489A (zh) 信息处理方法、程序和信息处理系统
CN115942200A (zh) 渲染空间音频内容
WO2023199815A1 (ja) 音響処理方法、プログラム、及び音響処理システム
JP2007318188A (ja) 音像提示方法および音像提示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250603

R150 Certificate of patent or registration of utility model

Ref document number: 7692402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150