JP7619077B2 - Sound signal processing device and control method thereof - Google Patents
Sound signal processing device and control method thereof Download PDFInfo
- Publication number
- JP7619077B2 JP7619077B2 JP2021023331A JP2021023331A JP7619077B2 JP 7619077 B2 JP7619077 B2 JP 7619077B2 JP 2021023331 A JP2021023331 A JP 2021023331A JP 2021023331 A JP2021023331 A JP 2021023331A JP 7619077 B2 JP7619077 B2 JP 7619077B2
- Authority
- JP
- Japan
- Prior art keywords
- sound signal
- processing
- output destination
- binaural
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、音信号処理装置およびその制御方法に関する。 The present invention relates to a sound signal processing device and a control method thereof.
従来、音信号にバイノーラル化処理を施すことで、ヘッドホンを通して聴いたときに、あたかもその場に居合わせたかのような臨場感を再現する技術が知られている。しかし、バイノーラル化処理を経た音をスピーカで聞くと違和感がある。そこで、接続された機器に応じて発音音色を切り替える技術も開示されている(特許文献1)。例えば、特許文献1では、特定の音色がヘッドホンから出力される際には、ヘッドホンに適したバイノーラル音色の音が出力される。
Conventionally, there is known a technology that performs binaural processing on sound signals to reproduce a sense of realism as if the listener were actually present when listening through headphones. However, sounds that have been binaurally processed can sound unnatural when heard through speakers. Therefore, a technology has been disclosed that switches the sound tone depending on the connected device (Patent Document 1). For example, in
しかしながら、ユーザは、バイノーラル化処理を常に適用したいとは限らない。ヘッドホンで聞く場合であっても、バイノーラル化処理の適用を望まない場合もある。 However, users do not always want to apply binaural processing. Even when listening through headphones, they may not want binaural processing applied.
本発明の一つの目的は、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる音信号処理装置およびその制御方法を提供することである。 One object of the present invention is to provide a sound signal processing device and a control method thereof that can output binaurally processed sound only to appropriate output destinations when binaural processing is enabled.
本発明の一形態によれば、ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択し、第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、前記第1処理におけるバイノーラル化処理の有効/無効を設定し、前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にし、前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する、音信号処理の制御方法が提供される。 According to one aspect of the present invention, there is provided a method for controlling sound signal processing, comprising: selecting an output destination of a sound signal from a mix bus from at least a first output destination and a second output destination; performing a first processing including at least a binaural processing on the first sound signal to generate a second sound signal and outputting the second sound signal to the mix bus; setting enable/disable of the binaural processing in the first processing; and , when the second output destination is selected, substantially disabling the application of at least the binaural processing of the first processing to the first sound signal ; performing a second processing on a third sound signal having a different number of channels from the first sound signal to generate a fourth sound signal, and outputting the fourth sound signal to the mix bus .
本発明の一形態によれば、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる。 According to one aspect of the present invention, when binaural processing is enabled, sound that has been subjected to binaural processing can be output only to appropriate output destinations.
以下、図面を参照して本発明の実施の形態を説明する。 The following describes an embodiment of the present invention with reference to the drawings.
図1は、本発明の一実施の形態に係る音信号処理装置のブロック図である。この音信号処理装置100は、一例としてミキサ装置として構成される。音信号処理装置100はCPU11を有し、CPU11は、バス10を介して複数の構成要素と情報をやりとりする。音信号処理装置100は、ROM12、RAM13、記憶部14、表示部15、設定操作部16を有する。また、音信号処理装置100は、外部機器を接続するための各種インターフェイスを有し、各種インターフェイスを介して、接続された外部機器とCPU11との間で信号が入出力される。各種インターフェイスには、通信部17、第1のマイク入力端子18、第2のマイク入力端子19、AUX端子20、USB端子21、HDMI(登録商標)入力端子22、HDMI出力端子23、ヘッドホン出力端子24、スピーカ出力端子25が含まれる。
Fig. 1 is a block diagram of a sound signal processing device according to an embodiment of the present invention. The sound
CPU11には不図示のタイマが接続されている。CPU11は、本装置全体を制御する。ROM12は、CPU11が実行する制御プログラムや各種テーブルデータ等を記憶する。RAM13は、各種データを記憶する。記憶部14は、上記制御プログラムを含む各種アプリケーションプログラムや各種データを記憶する。設定操作部16は、ユーザからの各種情報の入力を受け付ける。表示部15は、各種情報を表示する。通信部17は、LANインターフェイスやMIDI(Musical Instrument Digital Interface)を含んでもよい。
A timer (not shown) is connected to the
第1のマイク入力端子18、第2のマイク入力端子19には、外部マイクが接続可能である。例えば、第1のマイク入力端子18には第1のマイクロフォン26が接続され、第2のマイク入力端子19には、ヘッドホン31とセットになった第2のマイクロフォン27が接続される。AUX端子20には、スマートホン等の通信端末装置28が接続される。USB端子21には、USB機器、例えばパーソナルコンピュータであるPC29が接続される。HDMI入力端子22、HDMI出力端子23には、HDMI機器が接続可能である。例えば、HDMI入力端子22にゲーム装置30が接続され、HDMI出力端子23に表示モニタ42が接続される。ヘッドホン出力端子24には、ヘッドホン31が接続される。スピーカ出力端子25には、スピーカ32が接続される。スピーカ32は、2チャンネルスピーカに限らず、サラウンドスピーカであってもよく、発音のチャンネル数は例えば8チャンネル(7.1ch)である。
An external microphone can be connected to the first
図2は、音信号処理装置100における信号処理に関する構成を示すブロック図である。音信号処理装置100は、処理部A、B、C、ミックスバス34、切替部33、35などを備える。なお、処理部A、B、Cの機能は、必要なハードウェアに加えて、主としてCPU11、ROM12およびRAM13の協働により実現される。ミックスバス34、切替部33、35の動作はCPU11により制御される。
Figure 2 is a block diagram showing the configuration related to signal processing in the sound
ゲーム装置30で生成されHDMI入力端子22から入力される信号Sdは、HDMI出力端子23に出力され、表示モニタ42に供給される。信号Sdは、映像信号を含み、信号Sdに基づく映像が表示モニタ42で表示される。なお、信号Sdは、音信号を含んでもよく、HDMI出力端子23に音響機器が接続された場合は、信号Sdに基づく音響が音響機器から発生する。
The signal Sd generated by the
ゲーム装置30で生成されHDMI入力端子22から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Scとして処理部Aに入力される。音信号Scは、3チャンネル以上のチャンネル数の音信号であり、本実施の形態では8チャンネルの信号であるとする。処理部Aは、音信号Scに対してA処理(後述する)を施すことで音信号Sgを生成すると共に、音信号Sgをミックスバス34へ出力する。
A sound signal generated by the
通信端末装置28で生成されAUX端子20から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Sbとして処理部Bに入力される。音信号Sbとして、例えば、ボイスチャットの音信号が想定される。音信号Sbは、例えば、通信端末装置28またはPC29で実行されるアプリケーションソフトにより生成される。処理部Bは、音信号Sbに対してB処理を施すことで音信号Sfを生成すると共に、生成した音信号Sfをミックスバス34へ出力する。
A sound signal generated by the
切替部33は、第1のマイクロフォン26で集音され第1のマイク入力端子18から入力される音信号と、第2のマイクロフォン27で集音され第2のマイク入力端子19から入力される音信号とを、排他的に選択する。例えば、マイクロフォンが接続されたマイク入力端子が選択され、双方のマイク入力端子にマイクロフォンが接続された場合は第2のマイク入力端子19が優先的に選択される。そして切替部33は、選択したマイク入力端子からの音信号を、音信号Saとして処理部Cへ出力する。
The
処理部Cは、音信号SaにC処理を施すことで音信号Seを生成すると共に、音信号Seをミックスバス34へ出力する。C処理は、例えば、エフェクトやレベル調整などを含む。さらに処理部Cは、生成した音信号SeをAUX端子20とUSB端子21とに出力する。その際、D/A変換や2チャンネル化等の処理が介在してもよい。従って、AUX端子20、USB端子21にそれぞれ接続された通信端末装置28、PC29へ音信号Seが出力される。通信端末装置28、PC29での設定によっては、音信号Seに応じた音響が発生する。
The processing unit C applies C processing to the sound signal Sa to generate a sound signal Se and outputs the sound signal Se to the
なお、A処理、B処理、C処理は、互いに異なる処理である。また、音信号Saはマイクロフォンから入力されるとしたが、音信号Scの入力系統とは別の系統から入力される信号であればよい。また、ミックスバス34を介さずに出力される音信号Seの出力先(AUX端子20またはUSB端子21に接続されたもの)は、音信号Shの出力先(ヘッドホン出力端子24またはスピーカ出力端子25に接続されたもの)と異なればよい。
Note that the A process, the B process, and the C process are different processes. Also, although the sound signal Sa is said to be input from a microphone, it may be a signal input from a system other than the input system of the sound signal Sc. Also, the output destination of the sound signal Se that is output without passing through the mix bus 34 (connected to the
ミックスバス34は、少なくとも音信号Sgと音信号Sfとを混合して音信号Shを生成する。本実施の形態では、音信号Sgと音信号Sfとに加えて音信号Seが混合されて音信号Shが生成される。ミックスバス34は、切替部35を介してヘッドホン出力端子24またはスピーカ出力端子25に音信号Shを出力する。ここで、音信号Shは、ヘッドホン用信号Sh-1およびスピーカ用信号Sh-2を含む。切替部35は、音信号Shの出力先を排他的に選択する(後述する)。
The
図3は、処理部Aの詳細なブロック図である。処理部Aは、前段処理部A-1と後段処理部A-2とからなる。A処理は、前段処理部A-1によるバイノーラル化処理と後段処理部A-2による周囲音強調処理とからなる。前段処理部A-1は、バイノーラル化部36を含む。後段処理部A-2は、MS変換部37、DeEsser(ディエッサ)38、44、PEQ43、39、LR変換部40、PEQ41を含む。PEQ43、39、41はいずれも、一例として4bandのパラメトリックイコライザである。ただし、PEQ43、39、41は4bandである必要はなく、またPEQでなくてもよく、例えばグラフィックイコライザ(GEQ)であってもよい。
Figure 3 is a detailed block diagram of processing unit A. Processing unit A consists of a front-stage processing unit A-1 and a back-stage processing unit A-2. Processing A consists of binaural processing by the front-stage processing unit A-1 and ambient sound emphasis processing by the back-stage processing unit A-2. Front-stage processing unit A-1 includes a
図4は、バイノーラル化部36における信号の流れを示す図である。音信号Scは、一例として、7.1ch(C:センタ、L:フロントL、R:フロントR、SL:サラウンドL、SR:サラウンドR、BL:サラウンドバックL、BR:サラウンドバックR、LFE:サブウーファ)により構成されるオーディオ信号である。
Figure 4 is a diagram showing the flow of signals in the
頭部伝達関数(HRTF:Head Related Transfer Function)は、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。LFE以外の信号には、それぞれの信号に応じたHRTFおよびリバーブ(Reverb)が適用される。リバーブを適用するのは、音源との距離感を再現するためである。ただし、LFEは定位を感じにくいので、HRTFおよびリバーブを適用しない。8チャンネルの音信号Scは、バイノーラル化部36によるバイノーラル化処理を経てステレオ化され、すなわち、LとRの2チャンネルのステレオ信号に変換される。このステレオ信号が音信号Siとして後段処理部A-2におけるMS変換部37に入力される。
The Head Related Transfer Function (HRTF) is an impulse response that expresses the difference in the volume, arrival time, and frequency characteristics of sound from a virtual speaker installed at a certain position to the left and right ears. For signals other than the LFE, an HRTF and reverb corresponding to each signal are applied. Reverb is applied to reproduce the sense of distance from the sound source. However, since it is difficult to sense the position of the LFE, HRTF and reverb are not applied. The 8-channel sound signal Sc is stereo-converted through binaural processing by the
後段処理部A-2(図3)において、MS変換部37は、音信号Siから和信号Sjと差信号Skとを生成する。音信号Siの左信号をL、右信号をRで表すと、和信号Sjは、Sj=(SiのL)/2+(SiのR)/2により算出される。また、差信号Skは、Sk=(SiのL)/2-(SiのR)/2により算出される。
In the post-processing unit A-2 (FIG. 3), the
図5は、DeEsser38の詳細構成を示す図である。DeEsser44、38の構成および動作は互いに共通するので、代表してDeEsser38を説明する。DeEsser38は、HPF(ハイパスフィルタ)、LPF(ローパスフィルタ)、COMP(コンプレッサ)等を備え、和信号Sjに対して中音域の音圧を減少させる処理を行って和信号Spを生成する。DeEsser44は、差信号Skに対して中音域の音圧を減少させる処理を行って差信号Sqを生成する。
Figure 5 is a diagram showing the detailed configuration of
PEQ43は、和信号Spに対して所定の帯域の音圧を増加させる処理を行った処理後和信号Slを生成する。PEQ39は、差信号Sqに対して所定の帯域の音圧を増加させる処理を行った処理後差信号Smを生成する。
The
例えば、シューティングゲームを行っているとき、DeEsser38により、ゲームユーザの操作による銃声音が低減され、やかましさが緩和される。また、PEQ39により、サイドの音が強調され、射撃する敵の足音などがわかりやすくなる。従って、所定の帯域は限定されないが、周囲の音を聞きとりやすくするために、主に周囲の音が含まれるような、方向性を感じやすい周波数の帯域であることが望ましい。なお、和信号Sjの系統と差信号Skの系統の双方にDeEsserおよびPEQを設けたことで、処理後和信号Slと処理後差信号Smとの位相を合わせることが容易となる。しかし、位相合わせの効果を求めない場合は、DeEsser44およびPEQ43は廃止してもよい。
For example, when playing a shooting game, the
LR変換部40は、処理後和信号Slと処理後差信号Smとをステレオ信号に変換することで音信号Snを生成する。音信号Snの左信号をL、右信号をRで表すと、音信号SnのL信号は、Sl+Smにより算出される。音信号SnのR信号は、Sl-Smにより算出される。PEQ41は、設定に応じて音信号Snに対して各帯域の音圧を増減する。これにより、全体の音質が調整された音信号Sgが処理部Aから出力される。なお、PEQ41を設けることは必須でない。
The
処理部B(図2)が音信号Sbに対して施すB処理は、一例として、ボイスチャットに対するバイノーラル化処理を含む。例えば、音信号Sbに対して、HRTFとリバーブの少なくとも一方が適用されて、ステレオ信号である音信号Sfが生成される。なお、CPU11は、ユーザからの切り替え指示によって、HRTFとリバーブのいずれが適用されるかを切り替えてもよい。また、ユーザからの切り替え指示によって、HRTFとリバーブのいずれも適用しない場合があってもよい。
The B processing performed by processing unit B (Figure 2) on sound signal Sb includes, as an example, binaural processing for voice chat. For example, at least one of HRTF and reverb is applied to sound signal Sb to generate sound signal Sf, which is a stereo signal. Note that
切替部35(図2)の詳細な動作について説明する。ヘッドホン出力端子24は、ステレオ方式のヘッドホン31から伸びるプラグ(不図示)が挿入される端子(ステレオピンジャックまたははUSB端子等)である。ヘッドホン出力端子24に上記プラグが挿入されると、それに応じた検知信号がCPU11に送られる。その検知信号を受けて、CPU11は、ヘッドホン31がヘッドホン出力端子24に接続されているか否かを判別する。なお、ユーザによる設定操作部16の操作によって出力先が指定されてもよい。その場合は、プラグ挿入による検知信号が送信されるように構成する必要はなく、CPU11は、ユーザによる指定に基づいて出力先を選択する。
The detailed operation of the switching unit 35 (Figure 2) will be described. The
上述したように、切替部35は、CPU11による制御に従って、音信号Shの出力先を排他的に選択する。例えば、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として選択され、ヘッドホン31がヘッドホン出力端子24に接続されていない場合は、スピーカ出力端子25が出力先として選択される。ヘッドホン出力端子24が選択された場合は、ヘッドホン用信号Sh-1がヘッドホン31に出力される。スピーカ出力端子25が選択された場合は、スピーカ用信号Sh-2がスピーカ32に出力される。なお、切替部35が音信号Shを出力する際、レベル調整やD/A変換が施されてもよい。特に、ヘッドホン用信号Sh-1が出力される場合は、ヘッドホンに合わせた出力特性の調整も施されてもよい。
As described above, the switching
また、ユーザは、設定部としての設定操作部16を用いて、バイノーラル化処理の有効または無効の設定指示を入力する。CPU11は、設定操作部16を介したユーザからの指示に従って、バイノーラル化部36(図3)によるバイノーラル化処理の有効/無効を設定する。バイノーラル化処理の有効/無効の設定状態は、RAM13に記憶される。バイノーラル化部36によるバイノーラル化処理が実際に適用されるのは、バイノーラル化処理が「有効」に設定されていることが条件となる。バイノーラル化処理が「無効」に設定されている場合は、バイノーラル化処理が適用されることはない。
The user also inputs a setting instruction to enable or disable the binauralization process using the
CPU11は、バイノーラル化部36によるバイノーラル化処理の適用の有効/実質無効を制御する。CPU11は、バイノーラル化処理の設定状態と、ヘッドホン31がヘッドホン出力端子24に接続されているか否かの判定状態とに基づいて、バイノーラル化処理の適用を有効にするか、または実質的に無効にする。例えば、バイノーラル化処理の適用を無効にする場合は、CPU11は、音信号Siを、バイノーラル化部36に代えて不図示のダウンミックス部を通してMS変換部37へ入力させる。不図示のダウンミックス部では、8chの音信号Siが単純にL/Rの2ch信号にダウンミックスされる。
The
あるいは、バイノーラル化処理の適用を無効または実質的に無効にする(実質的に適用しない)場合、次の手法を採用してもよい。まず、バイノーラル化部36による通常のバイノーラル化処理においては、HRTFの実現の際、方程式における複数タップ(taps)のフィルタ係数がそれぞれ設定される。そこで、複数タップのフィルタ係数を調整することで、バイノーラル化処理の適用の度合いを弱めるようにしてもよい。すなわち、CPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせる。なお、複数タップのうち1つを除く他の全タップのフィルタ係数を0に設定すれば、バイノーラル化処理の適用を無効に(停止)することと同じになる。このような観点から、「実質的に無効」の概念には、バイノーラル化処理の適用停止だけでなく、バイノーラル化処理の適用の度合いを弱める処理を含めてもよい。
Alternatively, the following method may be adopted to disable or substantially disable (substantially not apply) the application of binauralization processing. First, in normal binauralization processing by the
図6は、信号処理を示すフローチャートである。この処理は、CPU11が、ROM12に格納されたプログラムをRAM13に展開して実行することにより実現される。この処理は、音信号処理装置100の電源が入れられるか、または信号出力モードに遷移すると開始される。
Figure 6 is a flowchart showing signal processing. This processing is realized by the
まず、CPU11は、ステップS101で、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。例えば、上述のように、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として判別される。なお、上述のように、ユーザ操作によって出力先が指定されている場合は、その指定に基づいて出力先が判別される。音信号Shの出力先がヘッドホン出力端子24である場合は、CPU11は、処理をステップS102に進める。一方、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS107に進める。
First, in step S101, the
ステップS102では、CPU11は、RAM13に記憶されたバイノーラル化処理の有効/無効の設定状態を参照し、バイノーラル化処理の設定が「有効」であるか否かを判別する。そして、バイノーラル化処理の設定が「有効」でない場合は、CPU11は、処理をステップS107に進める。バイノーラル化処理の設定が「有効」である場合は、CPU11は、処理をステップS103に進める。
In step S102, the
ステップS103では、上述したように、A処理において、バイノーラル化部36(図3)によるバイノーラル化処理を通常通り適用する。一方、ステップS107では、CPU11は、A処理において、バイノーラル化部36によるバイノーラル化処理の適用を実質的に無効(適用停止を含む)にする。ステップS103、S107の後、CPU11は、処理をステップS104に進める。
In step S103, as described above, in process A, the binauralization unit 36 (FIG. 3) applies the binauralization process as usual. On the other hand, in step S107, the
ステップS104では、CPU11は、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。そして、音信号Shの出力先がヘッドホン出力端子24である場合は、ステップS105で、CPU11は、切替部35における信号の出力先をヘッドホン出力端子24に切り替えると共に、ヘッドホン用信号Sh-1を、ヘッドホン出力端子24からヘッドホン31へ出力する。ヘッドホン用信号Sh-1は、バイノーラル化処理を経た音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、ヘッドホン31により臨場感のある音を聞くことができる。ステップS105の後、CPU11は処理をステップS106に進める。
In step S104, the
ステップS104での判別の結果、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS108に進める。ステップS108では、CPU11は、切替部35における信号の出力先をスピーカ出力端子25に切り替えると共に、スピーカ用信号Sh-2を、スピーカ出力端子25からスピーカ32へ出力する。スピーカ用信号Sh-2は、バイノーラル化処理が実質的に施されていない音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、スピーカ32により違和感のない音を聞くことができる。ステップS108の後、CPU11は処理をステップS106に進める。
If the result of the determination in step S104 is that the output destination of the sound signal Sh is not the
ステップS106では、CPU11は、その他の処理を実行して、処理をステップS101に戻す。その他の処理においては、例えば、ユーザからのバイノーラル化処理の有効/無効の設定指示等の各種指示の受け付けのほか、各種指示に応じた処理が実行される。またCPU11は、装置電源がオフされたり、信号出力モードの終了の指示があったりすれば、図6に示す処理を終了させる。
In step S106, the
本実施の形態によれば、選択部としての切替部35は、ミックスバス34からの音信号の出力先を、少なくともヘッドホン31(第1出力先)およびスピーカ32(第2出力先)の中から選択する。処理部A(第1処理部)は、音信号Sc(第1音信号)に対して、少なくともバイノーラル化処理を含むA処理(第1処理)を行って音信号Sg(第2音信号)を生成すると共に、音信号Sgをミックスバス34に出力する。A処理におけるバイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される。制御部としてのCPU11は、バイノーラル化処理が有効に設定され、且つ、出力先としてヘッドホン31が選択された場合は、A処理において音信号Scに対してバイノーラル化処理を通常適用する。CPU11は、出力先としてスピーカ32が選択された場合は、バイノーラル化処理が有効に設定されていたとしても、A処理のうち少なくともバイノーラル化処理については、音信号Scに対する適用を実質的に無効にする。従って、バイノーラル化処理が有効に設定されている場合に、適切な出力先であるヘッドホン31にだけ、バイノーラル化処理を施した音を出力することができる。
According to this embodiment, the switching
例えばCPU11は、音信号Scに対するバイノーラル化処理の適用を停止する。あるいはCPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせることで、バイノーラル化処理の適用の度合いを弱める。これらの処理により、スピーカ32へは実質的にバイノーラル化処理されない音信号が出力されるようにすることができ、違和感のない音を出力させることができる。
For example, the
また、処理部B(第2処理部)は、音信号Sc(第1音信号)とはチャンネル数が異なる音信号Sb(第3音信号)に対してB処理(第2処理)を行って音信号Sf(第4音信号)を生成すると共に、音信号Sfをミックスバス34に出力する。音信号Sfは音信号Sgと混合され、選択された出力先へ出力されるので、ボイスチャット音声など、チャンネル数が異なる別の音信号を併せて出力することができる。なお、B処理は、バイノーラル化処理を含むことは必須でない。
Furthermore, processing unit B (second processing unit) performs B processing (second processing) on sound signal Sb (third sound signal) which has a different number of channels from sound signal Sc (first sound signal) to generate sound signal Sf (fourth sound signal), and outputs sound signal Sf to mix
また、第1出力先と第2出力先とは排他的に選択されるので、バイノーラル化処理を実際に適用するかどうかを出力先に応じて明確に区別することができる。 In addition, since the first output destination and the second output destination are selected exclusively, it is possible to clearly distinguish whether or not to actually apply binaural processing depending on the output destination.
なお、第1出力先は、ヘッドホン31としたが、ヘッドホン31は耳装着型の音出力機器の一例であるので、第1出力先はイヤホンであってもよい。従って、通常通りバイノーラル化処理されたヘッドホン用信号Sh-1を、耳装着型の音出力機器だけに出力することができる。
Note that the first output destination is the
なお、処理部Cを設けることは必須でない。従って、音信号Shは、音信号Seを含まずに音信号Sgと音信号Sfとを混合した信号であってもよい。なお、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけ、バイノーラル化処理を施した音を出力する効果を得ることに限れば、処理部Aのうち後段処理部A-2を設けることは必須でない。なお、音信号Saの取得元はマイクロフォンに限定されない。 Note that it is not essential to provide the processing unit C. Therefore, the sound signal Sh may be a signal that is a mixture of the sound signals Sg and Sf, without including the sound signal Se. Note that it is not essential to provide the post-processing unit A-2 in the processing unit A, so long as it is only to obtain the effect of outputting sound that has been subjected to binaural processing only to an appropriate output destination when the binaural processing is set to be enabled. Note that the source of acquisition of the sound signal Sa is not limited to a microphone.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 The present invention has been described in detail above based on preferred embodiments, but the present invention is not limited to these specific embodiments, and various forms that do not deviate from the gist of the invention are also included in the present invention.
なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、音信号処理装置100に読み出すことによって、本発明と同様の効果を奏するようにしてもよい。その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ROMのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。
The same effect as the present invention may be achieved by reading a storage medium storing a control program represented by software for achieving the present invention into the sound
A、B、C 処理部、 Sc、Sg 音信号、 11 CPU、 31 ヘッドホン、 32 スピーカ、 34 ミックスバス、 35 切替部 A, B, C Processing section, Sc, Sg Sound signal, 11 CPU, 31 Headphones, 32 Speaker, 34 Mix bus, 35 Switching section
Claims (18)
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、
前記第1処理におけるバイノーラル化処理の有効/無効を設定し、
前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にし、
前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する、音信号処理装置の制御方法。 selecting an output destination of the sound signal from the mix bus from at least a first output destination and a second output destination;
performing a first process including at least a binaural process on the first sound signal to generate a second sound signal, and outputting the second sound signal to the mix bus;
Set whether or not binaural processing in the first processing is enabled;
When the second output destination is selected , application of at least the binaural processing of the first processing to the first sound signal is substantially disabled ;
A control method for a sound signal processing device , comprising: performing second processing on a third sound signal, the third sound signal having a different number of channels from the first sound signal, to generate a fourth sound signal; and outputting the fourth sound signal to the mix bus .
前記第2出力先は、スピーカである、請求項1乃至4のいずれか1項に記載の音信号処理装置の制御方法。 the first output destination is a headphone or an earphone,
The method for controlling a sound signal processing device according to claim 1 , wherein the second output destination is a speaker.
前記頭部伝達関数と前記リバーブのいずれが適用されるかは、ユーザ操作に応じて切り替えられる、請求項9または10に記載の音信号処理装置の制御方法。The method of claim 9 , further comprising the step of switching whether the head related transfer function or the reverb is applied in response to a user operation.
前記ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択する選択部と、
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力する第1処理部と、
前記第1処理におけるバイノーラル化処理の有効/無効を設定する設定部と、
前記選択部により前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にする制御部と、
前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する第2処理部と、
を有する、音信号処理装置。 Mix bus and
a selection unit that selects an output destination of an audio signal from the mix bus from at least a first output destination and a second output destination;
a first processing unit that performs a first process including at least a binaural process on a first sound signal to generate a second sound signal, and outputs the second sound signal to the mix bus;
A setting unit that sets whether or not a binaural process in the first process is enabled;
a control unit that, when the second output destination is selected by the selection unit , substantially disables application of at least the binaural processing of the first processing to the first sound signal;
a second processing unit that performs a second process on a third sound signal having a different number of channels from the first sound signal to generate a fourth sound signal, and outputs the fourth sound signal to the mix bus;
A sound signal processing device comprising:
前記第2出力先は、スピーカである、請求項12乃至15のいずれか1項に記載の音信号処理装置。 the first output destination is a headphone or an earphone,
The sound signal processing device according to claim 12 , wherein the second output destination is a speaker.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021023331A JP7619077B2 (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
| CN202210125054.5A CN114999439B (en) | 2021-02-17 | 2022-02-10 | Sound signal processing methods and sound signal processing devices |
| US17/673,322 US11871199B2 (en) | 2021-02-17 | 2022-02-16 | Sound signal processor and control method therefor |
| US18/364,566 US12532114B2 (en) | 2021-02-17 | 2023-08-03 | Sound signal processor and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021023331A JP7619077B2 (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022125636A JP2022125636A (en) | 2022-08-29 |
| JP7619077B2 true JP7619077B2 (en) | 2025-01-22 |
Family
ID=83058237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021023331A Active JP7619077B2 (en) | 2021-02-17 | 2021-02-17 | Sound signal processing device and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7619077B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009232301A (en) | 2008-03-25 | 2009-10-08 | Yamaha Corp | Monitor control system |
| JP2016086277A (en) | 2014-10-24 | 2016-05-19 | 株式会社河合楽器製作所 | Effect application device |
-
2021
- 2021-02-17 JP JP2021023331A patent/JP7619077B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009232301A (en) | 2008-03-25 | 2009-10-08 | Yamaha Corp | Monitor control system |
| JP2016086277A (en) | 2014-10-24 | 2016-05-19 | 株式会社河合楽器製作所 | Effect application device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022125636A (en) | 2022-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3311593B1 (en) | Binaural audio reproduction | |
| JP5325988B2 (en) | Method for rendering binaural stereo in a hearing aid system and hearing aid system | |
| US9607622B2 (en) | Audio-signal processing device, audio-signal processing method, program, and recording medium | |
| CN101489173B (en) | Signal processing apparatus, signal processing method | |
| WO2010074893A1 (en) | Surround sound virtualizer and method with dynamic range compression | |
| WO2004049759A1 (en) | Equalisation of the output in a stereo widening network | |
| JP2012503943A (en) | Binaural filters for monophonic and loudspeakers | |
| KR20100063092A (en) | A method and an apparatus of decoding an audio signal | |
| JP5118267B2 (en) | Audio signal reproduction apparatus and audio signal reproduction method | |
| US9226091B2 (en) | Acoustic surround immersion control system and method | |
| JP2003009296A (en) | Sound processing device and sound processing method | |
| KR20050064442A (en) | Device and method for generating 3-dimensional sound in mobile communication system | |
| JP7619077B2 (en) | Sound signal processing device and control method thereof | |
| JP2024507535A (en) | Virtualizer for binaural audio | |
| JP5038145B2 (en) | Localization control apparatus, localization control method, localization control program, and computer-readable recording medium | |
| US12532114B2 (en) | Sound signal processor and control method therefor | |
| EP2101517B1 (en) | Audio processor for converting a mono signal to a stereo signal | |
| JP7643070B2 (en) | Sound signal processing method and sound signal processing device | |
| JP2007336080A (en) | Sound compensation device | |
| JP2007006432A (en) | Binaural reproducing apparatus | |
| CN119653283A (en) | Audio signal transmission device, audio equipment and audio signal playing method | |
| WO2025227898A1 (en) | Audio processing method and electronic device | |
| KR20050060552A (en) | Virtual sound system and virtual sound implementation method | |
| JP2025135540A (en) | Generation device, playback system, generation method, playback method, and program | |
| JP2022161881A (en) | Sound processing method and sound processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7619077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |