Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7619077B2 - Sound signal processing device and control method thereof - Google Patents
[go: Go Back, main page]

JP7619077B2 - Sound signal processing device and control method thereof - Google Patents

Sound signal processing device and control method thereof Download PDF

Info

Publication number
JP7619077B2
JP7619077B2 JP2021023331A JP2021023331A JP7619077B2 JP 7619077 B2 JP7619077 B2 JP 7619077B2 JP 2021023331 A JP2021023331 A JP 2021023331A JP 2021023331 A JP2021023331 A JP 2021023331A JP 7619077 B2 JP7619077 B2 JP 7619077B2
Authority
JP
Japan
Prior art keywords
sound signal
processing
output destination
binaural
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021023331A
Other languages
Japanese (ja)
Other versions
JP2022125636A (en
Inventor
篤志 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2021023331A priority Critical patent/JP7619077B2/en
Priority to CN202210125054.5A priority patent/CN114999439B/en
Priority to US17/673,322 priority patent/US11871199B2/en
Publication of JP2022125636A publication Critical patent/JP2022125636A/en
Priority to US18/364,566 priority patent/US12532114B2/en
Application granted granted Critical
Publication of JP7619077B2 publication Critical patent/JP7619077B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音信号処理装置およびその制御方法に関する。 The present invention relates to a sound signal processing device and a control method thereof.

従来、音信号にバイノーラル化処理を施すことで、ヘッドホンを通して聴いたときに、あたかもその場に居合わせたかのような臨場感を再現する技術が知られている。しかし、バイノーラル化処理を経た音をスピーカで聞くと違和感がある。そこで、接続された機器に応じて発音音色を切り替える技術も開示されている(特許文献1)。例えば、特許文献1では、特定の音色がヘッドホンから出力される際には、ヘッドホンに適したバイノーラル音色の音が出力される。 Conventionally, there is known a technology that performs binaural processing on sound signals to reproduce a sense of realism as if the listener were actually present when listening through headphones. However, sounds that have been binaurally processed can sound unnatural when heard through speakers. Therefore, a technology has been disclosed that switches the sound tone depending on the connected device (Patent Document 1). For example, in Patent Document 1, when a specific tone is output from headphones, a binaural tone suitable for the headphones is output.

特開2018-10214号公報JP 2018-10214 A

しかしながら、ユーザは、バイノーラル化処理を常に適用したいとは限らない。ヘッドホンで聞く場合であっても、バイノーラル化処理の適用を望まない場合もある。 However, users do not always want to apply binaural processing. Even when listening through headphones, they may not want binaural processing applied.

本発明の一つの目的は、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる音信号処理装置およびその制御方法を提供することである。 One object of the present invention is to provide a sound signal processing device and a control method thereof that can output binaurally processed sound only to appropriate output destinations when binaural processing is enabled.

本発明の一形態によれば、ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択し、第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、前記第1処理におけるバイノーラル化処理の有効/無効を設定し、前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にし、前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する、音信号処理の制御方法が提供される。 According to one aspect of the present invention, there is provided a method for controlling sound signal processing, comprising: selecting an output destination of a sound signal from a mix bus from at least a first output destination and a second output destination; performing a first processing including at least a binaural processing on the first sound signal to generate a second sound signal and outputting the second sound signal to the mix bus; setting enable/disable of the binaural processing in the first processing; and , when the second output destination is selected, substantially disabling the application of at least the binaural processing of the first processing to the first sound signal ; performing a second processing on a third sound signal having a different number of channels from the first sound signal to generate a fourth sound signal, and outputting the fourth sound signal to the mix bus .

本発明の一形態によれば、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけバイノーラル化処理を施した音を出力することができる。 According to one aspect of the present invention, when binaural processing is enabled, sound that has been subjected to binaural processing can be output only to appropriate output destinations.

音信号処理装置のブロック図である。FIG. 2 is a block diagram of a sound signal processing device. 信号処理に関する構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration relating to signal processing. 処理部の詳細なブロック図である。FIG. 2 is a detailed block diagram of a processing unit. バイノーラル化部における信号の流れを示す図である。FIG. 2 is a diagram showing a signal flow in a binaural conversion unit. DeEsserの詳細構成を示す図である。FIG. 2 is a diagram showing a detailed configuration of DeEsser. 信号処理を示すフローチャートである。4 is a flowchart showing signal processing.

以下、図面を参照して本発明の実施の形態を説明する。 The following describes an embodiment of the present invention with reference to the drawings.

図1は、本発明の一実施の形態に係る音信号処理装置のブロック図である。この音信号処理装置100は、一例としてミキサ装置として構成される。音信号処理装置100はCPU11を有し、CPU11は、バス10を介して複数の構成要素と情報をやりとりする。音信号処理装置100は、ROM12、RAM13、記憶部14、表示部15、設定操作部16を有する。また、音信号処理装置100は、外部機器を接続するための各種インターフェイスを有し、各種インターフェイスを介して、接続された外部機器とCPU11との間で信号が入出力される。各種インターフェイスには、通信部17、第1のマイク入力端子18、第2のマイク入力端子19、AUX端子20、USB端子21、HDMI(登録商標)入力端子22、HDMI出力端子23、ヘッドホン出力端子24、スピーカ出力端子25が含まれる。 Fig. 1 is a block diagram of a sound signal processing device according to an embodiment of the present invention. The sound signal processing device 100 is configured as a mixer device as an example. The sound signal processing device 100 has a CPU 11, which exchanges information with multiple components via a bus 10. The sound signal processing device 100 has a ROM 12, a RAM 13, a storage unit 14, a display unit 15, and a setting operation unit 16. The sound signal processing device 100 also has various interfaces for connecting external devices, and signals are input and output between the connected external devices and the CPU 11 via the various interfaces. The various interfaces include a communication unit 17, a first microphone input terminal 18, a second microphone input terminal 19, an AUX terminal 20, a USB terminal 21, an HDMI (registered trademark) input terminal 22, an HDMI output terminal 23, a headphone output terminal 24, and a speaker output terminal 25.

CPU11には不図示のタイマが接続されている。CPU11は、本装置全体を制御する。ROM12は、CPU11が実行する制御プログラムや各種テーブルデータ等を記憶する。RAM13は、各種データを記憶する。記憶部14は、上記制御プログラムを含む各種アプリケーションプログラムや各種データを記憶する。設定操作部16は、ユーザからの各種情報の入力を受け付ける。表示部15は、各種情報を表示する。通信部17は、LANインターフェイスやMIDI(Musical Instrument Digital Interface)を含んでもよい。 A timer (not shown) is connected to the CPU 11. The CPU 11 controls the entire device. The ROM 12 stores the control program executed by the CPU 11, various table data, etc. The RAM 13 stores various data. The memory unit 14 stores various application programs including the control program and various data. The setting operation unit 16 accepts input of various information from the user. The display unit 15 displays various information. The communication unit 17 may include a LAN interface or a MIDI (Musical Instrument Digital Interface).

第1のマイク入力端子18、第2のマイク入力端子19には、外部マイクが接続可能である。例えば、第1のマイク入力端子18には第1のマイクロフォン26が接続され、第2のマイク入力端子19には、ヘッドホン31とセットになった第2のマイクロフォン27が接続される。AUX端子20には、スマートホン等の通信端末装置28が接続される。USB端子21には、USB機器、例えばパーソナルコンピュータであるPC29が接続される。HDMI入力端子22、HDMI出力端子23には、HDMI機器が接続可能である。例えば、HDMI入力端子22にゲーム装置30が接続され、HDMI出力端子23に表示モニタ42が接続される。ヘッドホン出力端子24には、ヘッドホン31が接続される。スピーカ出力端子25には、スピーカ32が接続される。スピーカ32は、2チャンネルスピーカに限らず、サラウンドスピーカであってもよく、発音のチャンネル数は例えば8チャンネル(7.1ch)である。 An external microphone can be connected to the first microphone input terminal 18 and the second microphone input terminal 19. For example, a first microphone 26 is connected to the first microphone input terminal 18, and a second microphone 27 set with a headphone 31 is connected to the second microphone input terminal 19. A communication terminal device 28 such as a smartphone is connected to the AUX terminal 20. A USB device, for example, a PC 29 which is a personal computer, is connected to the USB terminal 21. An HDMI device can be connected to the HDMI input terminal 22 and the HDMI output terminal 23. For example, a game device 30 is connected to the HDMI input terminal 22, and a display monitor 42 is connected to the HDMI output terminal 23. A headphone 31 is connected to the headphone output terminal 24. A speaker 32 is connected to the speaker output terminal 25. The speaker 32 is not limited to a two-channel speaker, but may be a surround speaker, and the number of sound channels is, for example, eight channels (7.1ch).

図2は、音信号処理装置100における信号処理に関する構成を示すブロック図である。音信号処理装置100は、処理部A、B、C、ミックスバス34、切替部33、35などを備える。なお、処理部A、B、Cの機能は、必要なハードウェアに加えて、主としてCPU11、ROM12およびRAM13の協働により実現される。ミックスバス34、切替部33、35の動作はCPU11により制御される。 Figure 2 is a block diagram showing the configuration related to signal processing in the sound signal processing device 100. The sound signal processing device 100 includes processing units A, B, and C, a mix bus 34, and switching units 33 and 35. The functions of processing units A, B, and C are realized mainly by cooperation of the CPU 11, ROM 12, and RAM 13 in addition to the necessary hardware. The operations of the mix bus 34 and switching units 33 and 35 are controlled by the CPU 11.

ゲーム装置30で生成されHDMI入力端子22から入力される信号Sdは、HDMI出力端子23に出力され、表示モニタ42に供給される。信号Sdは、映像信号を含み、信号Sdに基づく映像が表示モニタ42で表示される。なお、信号Sdは、音信号を含んでもよく、HDMI出力端子23に音響機器が接続された場合は、信号Sdに基づく音響が音響機器から発生する。 The signal Sd generated by the game device 30 and input from the HDMI input terminal 22 is output to the HDMI output terminal 23 and supplied to the display monitor 42. The signal Sd includes a video signal, and a video based on the signal Sd is displayed on the display monitor 42. The signal Sd may also include a sound signal, and when an audio device is connected to the HDMI output terminal 23, sound based on the signal Sd is generated from the audio device.

ゲーム装置30で生成されHDMI入力端子22から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Scとして処理部Aに入力される。音信号Scは、3チャンネル以上のチャンネル数の音信号であり、本実施の形態では8チャンネルの信号であるとする。処理部Aは、音信号Scに対してA処理(後述する)を施すことで音信号Sgを生成すると共に、音信号Sgをミックスバス34へ出力する。 A sound signal generated by the game device 30 and input from the HDMI input terminal 22, or a sound signal generated by the PC 29 and input from the USB terminal 21, is input to the processing unit A as a sound signal Sc. The sound signal Sc is a sound signal with three or more channels, and in this embodiment, it is an eight-channel signal. The processing unit A performs processing A (described later) on the sound signal Sc to generate a sound signal Sg, and outputs the sound signal Sg to the mix bus 34.

通信端末装置28で生成されAUX端子20から入力される音信号、またはPC29で生成されUSB端子21から入力される音信号が、音信号Sbとして処理部Bに入力される。音信号Sbとして、例えば、ボイスチャットの音信号が想定される。音信号Sbは、例えば、通信端末装置28またはPC29で実行されるアプリケーションソフトにより生成される。処理部Bは、音信号Sbに対してB処理を施すことで音信号Sfを生成すると共に、生成した音信号Sfをミックスバス34へ出力する。 A sound signal generated by the communication terminal device 28 and input from the AUX terminal 20, or a sound signal generated by the PC 29 and input from the USB terminal 21, is input to the processing unit B as a sound signal Sb. An example of the sound signal Sb is a voice chat sound signal. The sound signal Sb is generated, for example, by application software executed on the communication terminal device 28 or the PC 29. The processing unit B performs processing B on the sound signal Sb to generate a sound signal Sf, and outputs the generated sound signal Sf to the mix bus 34.

切替部33は、第1のマイクロフォン26で集音され第1のマイク入力端子18から入力される音信号と、第2のマイクロフォン27で集音され第2のマイク入力端子19から入力される音信号とを、排他的に選択する。例えば、マイクロフォンが接続されたマイク入力端子が選択され、双方のマイク入力端子にマイクロフォンが接続された場合は第2のマイク入力端子19が優先的に選択される。そして切替部33は、選択したマイク入力端子からの音信号を、音信号Saとして処理部Cへ出力する。 The switching unit 33 exclusively selects between the sound signal collected by the first microphone 26 and input from the first microphone input terminal 18, and the sound signal collected by the second microphone 27 and input from the second microphone input terminal 19. For example, the microphone input terminal to which a microphone is connected is selected, and when microphones are connected to both microphone input terminals, the second microphone input terminal 19 is preferentially selected. The switching unit 33 then outputs the sound signal from the selected microphone input terminal to the processing unit C as a sound signal Sa.

処理部Cは、音信号SaにC処理を施すことで音信号Seを生成すると共に、音信号Seをミックスバス34へ出力する。C処理は、例えば、エフェクトやレベル調整などを含む。さらに処理部Cは、生成した音信号SeをAUX端子20とUSB端子21とに出力する。その際、D/A変換や2チャンネル化等の処理が介在してもよい。従って、AUX端子20、USB端子21にそれぞれ接続された通信端末装置28、PC29へ音信号Seが出力される。通信端末装置28、PC29での設定によっては、音信号Seに応じた音響が発生する。 The processing unit C applies C processing to the sound signal Sa to generate a sound signal Se and outputs the sound signal Se to the mix bus 34. The C processing includes, for example, effects and level adjustment. Furthermore, the processing unit C outputs the generated sound signal Se to the AUX terminal 20 and the USB terminal 21. At this time, processing such as D/A conversion and two-channelization may be performed. Therefore, the sound signal Se is output to the communication terminal device 28 and the PC 29 connected to the AUX terminal 20 and the USB terminal 21, respectively. Depending on the settings of the communication terminal device 28 and the PC 29, a sound corresponding to the sound signal Se is generated.

なお、A処理、B処理、C処理は、互いに異なる処理である。また、音信号Saはマイクロフォンから入力されるとしたが、音信号Scの入力系統とは別の系統から入力される信号であればよい。また、ミックスバス34を介さずに出力される音信号Seの出力先(AUX端子20またはUSB端子21に接続されたもの)は、音信号Shの出力先(ヘッドホン出力端子24またはスピーカ出力端子25に接続されたもの)と異なればよい。 Note that the A process, the B process, and the C process are different processes. Also, although the sound signal Sa is said to be input from a microphone, it may be a signal input from a system other than the input system of the sound signal Sc. Also, the output destination of the sound signal Se that is output without passing through the mix bus 34 (connected to the AUX terminal 20 or the USB terminal 21) may be different from the output destination of the sound signal Sh (connected to the headphone output terminal 24 or the speaker output terminal 25).

ミックスバス34は、少なくとも音信号Sgと音信号Sfとを混合して音信号Shを生成する。本実施の形態では、音信号Sgと音信号Sfとに加えて音信号Seが混合されて音信号Shが生成される。ミックスバス34は、切替部35を介してヘッドホン出力端子24またはスピーカ出力端子25に音信号Shを出力する。ここで、音信号Shは、ヘッドホン用信号Sh-1およびスピーカ用信号Sh-2を含む。切替部35は、音信号Shの出力先を排他的に選択する(後述する)。 The mix bus 34 mixes at least the sound signal Sg and the sound signal Sf to generate the sound signal Sh. In this embodiment, the sound signal Sg, the sound signal Sf, and the sound signal Se are mixed to generate the sound signal Sh. The mix bus 34 outputs the sound signal Sh to the headphone output terminal 24 or the speaker output terminal 25 via the switching unit 35. Here, the sound signal Sh includes a signal Sh-1 for headphones and a signal Sh-2 for speakers. The switching unit 35 exclusively selects the output destination of the sound signal Sh (described later).

図3は、処理部Aの詳細なブロック図である。処理部Aは、前段処理部A-1と後段処理部A-2とからなる。A処理は、前段処理部A-1によるバイノーラル化処理と後段処理部A-2による周囲音強調処理とからなる。前段処理部A-1は、バイノーラル化部36を含む。後段処理部A-2は、MS変換部37、DeEsser(ディエッサ)38、44、PEQ43、39、LR変換部40、PEQ41を含む。PEQ43、39、41はいずれも、一例として4bandのパラメトリックイコライザである。ただし、PEQ43、39、41は4bandである必要はなく、またPEQでなくてもよく、例えばグラフィックイコライザ(GEQ)であってもよい。 Figure 3 is a detailed block diagram of processing unit A. Processing unit A consists of a front-stage processing unit A-1 and a back-stage processing unit A-2. Processing A consists of binaural processing by the front-stage processing unit A-1 and ambient sound emphasis processing by the back-stage processing unit A-2. Front-stage processing unit A-1 includes a binaural processing unit 36. Back-stage processing unit A-2 includes an MS conversion unit 37, DeEssers 38 and 44, PEQ 43 and 39, an LR conversion unit 40, and a PEQ 41. The PEQs 43, 39, and 41 are all, as an example, 4-band parametric equalizers. However, the PEQs 43, 39, and 41 do not have to be 4-band, and do not have to be PEQs, and may be, for example, graphic equalizers (GEQs).

図4は、バイノーラル化部36における信号の流れを示す図である。音信号Scは、一例として、7.1ch(C:センタ、L:フロントL、R:フロントR、SL:サラウンドL、SR:サラウンドR、BL:サラウンドバックL、BR:サラウンドバックR、LFE:サブウーファ)により構成されるオーディオ信号である。 Figure 4 is a diagram showing the flow of signals in the binaural conversion unit 36. As an example, the sound signal Sc is an audio signal composed of 7.1ch (C: center, L: front left, R: front right, SL: surround left, SR: surround right, BL: surround back left, BR: surround back right, LFE: subwoofer).

頭部伝達関数(HRTF:Head Related Transfer Function)は、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。LFE以外の信号には、それぞれの信号に応じたHRTFおよびリバーブ(Reverb)が適用される。リバーブを適用するのは、音源との距離感を再現するためである。ただし、LFEは定位を感じにくいので、HRTFおよびリバーブを適用しない。8チャンネルの音信号Scは、バイノーラル化部36によるバイノーラル化処理を経てステレオ化され、すなわち、LとRの2チャンネルのステレオ信号に変換される。このステレオ信号が音信号Siとして後段処理部A-2におけるMS変換部37に入力される。 The Head Related Transfer Function (HRTF) is an impulse response that expresses the difference in the volume, arrival time, and frequency characteristics of sound from a virtual speaker installed at a certain position to the left and right ears. For signals other than the LFE, an HRTF and reverb corresponding to each signal are applied. Reverb is applied to reproduce the sense of distance from the sound source. However, since it is difficult to sense the position of the LFE, HRTF and reverb are not applied. The 8-channel sound signal Sc is stereo-converted through binaural processing by the binaural conversion unit 36, that is, it is converted into a two-channel stereo signal of L and R. This stereo signal is input as the sound signal Si to the MS conversion unit 37 in the post-processing unit A-2.

後段処理部A-2(図3)において、MS変換部37は、音信号Siから和信号Sjと差信号Skとを生成する。音信号Siの左信号をL、右信号をRで表すと、和信号Sjは、Sj=(SiのL)/2+(SiのR)/2により算出される。また、差信号Skは、Sk=(SiのL)/2-(SiのR)/2により算出される。 In the post-processing unit A-2 (FIG. 3), the MS conversion unit 37 generates a sum signal Sj and a difference signal Sk from the sound signal Si. If the left signal of the sound signal Si is represented by L and the right signal by R, the sum signal Sj is calculated by Sj = (L of Si)/2 + (R of Si)/2. The difference signal Sk is calculated by Sk = (L of Si)/2 - (R of Si)/2.

図5は、DeEsser38の詳細構成を示す図である。DeEsser44、38の構成および動作は互いに共通するので、代表してDeEsser38を説明する。DeEsser38は、HPF(ハイパスフィルタ)、LPF(ローパスフィルタ)、COMP(コンプレッサ)等を備え、和信号Sjに対して中音域の音圧を減少させる処理を行って和信号Spを生成する。DeEsser44は、差信号Skに対して中音域の音圧を減少させる処理を行って差信号Sqを生成する。 Figure 5 is a diagram showing the detailed configuration of DeEsser 38. Since the configuration and operation of DeEssers 44 and 38 are the same, DeEsser 38 will be described as a representative. DeEsser 38 is equipped with an HPF (high pass filter), LPF (low pass filter), COMP (compressor), etc., and processes sum signal Sj to reduce the sound pressure in the midrange to generate sum signal Sp. DeEsser 44 processes difference signal Sk to reduce the sound pressure in the midrange to generate difference signal Sq.

PEQ43は、和信号Spに対して所定の帯域の音圧を増加させる処理を行った処理後和信号Slを生成する。PEQ39は、差信号Sqに対して所定の帯域の音圧を増加させる処理を行った処理後差信号Smを生成する。 The PEQ 43 generates a processed sum signal Sl by processing the sum signal Sp to increase the sound pressure in a specified band. The PEQ 39 generates a processed difference signal Sm by processing the difference signal Sq to increase the sound pressure in a specified band.

例えば、シューティングゲームを行っているとき、DeEsser38により、ゲームユーザの操作による銃声音が低減され、やかましさが緩和される。また、PEQ39により、サイドの音が強調され、射撃する敵の足音などがわかりやすくなる。従って、所定の帯域は限定されないが、周囲の音を聞きとりやすくするために、主に周囲の音が含まれるような、方向性を感じやすい周波数の帯域であることが望ましい。なお、和信号Sjの系統と差信号Skの系統の双方にDeEsserおよびPEQを設けたことで、処理後和信号Slと処理後差信号Smとの位相を合わせることが容易となる。しかし、位相合わせの効果を求めない場合は、DeEsser44およびPEQ43は廃止してもよい。 For example, when playing a shooting game, the DeEsser 38 reduces the sound of gunfire caused by the game user's operation, reducing the noise. Furthermore, the PEQ 39 emphasizes side sounds, making it easier to hear footsteps of a shooting enemy. Therefore, the specified band is not limited, but it is desirable to have a frequency band that is easy to sense directionality and that mainly includes surrounding sounds, in order to make it easier to hear surrounding sounds. Note that by providing the DeEsser and PEQ to both the system of the sum signal Sj and the system of the difference signal Sk, it becomes easy to align the phase of the processed sum signal Sl and the processed difference signal Sm. However, if the effect of phasing is not required, the DeEsser 44 and the PEQ 43 may be eliminated.

LR変換部40は、処理後和信号Slと処理後差信号Smとをステレオ信号に変換することで音信号Snを生成する。音信号Snの左信号をL、右信号をRで表すと、音信号SnのL信号は、Sl+Smにより算出される。音信号SnのR信号は、Sl-Smにより算出される。PEQ41は、設定に応じて音信号Snに対して各帯域の音圧を増減する。これにより、全体の音質が調整された音信号Sgが処理部Aから出力される。なお、PEQ41を設けることは必須でない。 The LR conversion unit 40 generates a sound signal Sn by converting the processed sum signal Sl and the processed difference signal Sm into a stereo signal. If the left signal of the sound signal Sn is represented by L and the right signal by R, the L signal of the sound signal Sn is calculated by Sl+Sm. The R signal of the sound signal Sn is calculated by Sl-Sm. The PEQ 41 increases or decreases the sound pressure of each band for the sound signal Sn according to the settings. As a result, a sound signal Sg with adjusted overall sound quality is output from the processing unit A. Note that it is not essential to provide the PEQ 41.

処理部B(図2)が音信号Sbに対して施すB処理は、一例として、ボイスチャットに対するバイノーラル化処理を含む。例えば、音信号Sbに対して、HRTFとリバーブの少なくとも一方が適用されて、ステレオ信号である音信号Sfが生成される。なお、CPU11は、ユーザからの切り替え指示によって、HRTFとリバーブのいずれが適用されるかを切り替えてもよい。また、ユーザからの切り替え指示によって、HRTFとリバーブのいずれも適用しない場合があってもよい。 The B processing performed by processing unit B (Figure 2) on sound signal Sb includes, as an example, binaural processing for voice chat. For example, at least one of HRTF and reverb is applied to sound signal Sb to generate sound signal Sf, which is a stereo signal. Note that CPU 11 may switch between applying HRTF and reverb in response to a switching instruction from the user. There may also be cases where neither HRTF nor reverb is applied in response to a switching instruction from the user.

切替部35(図2)の詳細な動作について説明する。ヘッドホン出力端子24は、ステレオ方式のヘッドホン31から伸びるプラグ(不図示)が挿入される端子(ステレオピンジャックまたははUSB端子等)である。ヘッドホン出力端子24に上記プラグが挿入されると、それに応じた検知信号がCPU11に送られる。その検知信号を受けて、CPU11は、ヘッドホン31がヘッドホン出力端子24に接続されているか否かを判別する。なお、ユーザによる設定操作部16の操作によって出力先が指定されてもよい。その場合は、プラグ挿入による検知信号が送信されるように構成する必要はなく、CPU11は、ユーザによる指定に基づいて出力先を選択する。 The detailed operation of the switching unit 35 (Figure 2) will be described. The headphone output terminal 24 is a terminal (such as a stereo pin jack or USB terminal) into which a plug (not shown) extending from stereo headphones 31 is inserted. When the plug is inserted into the headphone output terminal 24, a corresponding detection signal is sent to the CPU 11. In response to the detection signal, the CPU 11 determines whether the headphones 31 are connected to the headphone output terminal 24. The output destination may be specified by the user operating the setting operation unit 16. In that case, it is not necessary to configure the system so that a detection signal is sent in response to plug insertion, and the CPU 11 selects the output destination based on the user's specification.

上述したように、切替部35は、CPU11による制御に従って、音信号Shの出力先を排他的に選択する。例えば、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として選択され、ヘッドホン31がヘッドホン出力端子24に接続されていない場合は、スピーカ出力端子25が出力先として選択される。ヘッドホン出力端子24が選択された場合は、ヘッドホン用信号Sh-1がヘッドホン31に出力される。スピーカ出力端子25が選択された場合は、スピーカ用信号Sh-2がスピーカ32に出力される。なお、切替部35が音信号Shを出力する際、レベル調整やD/A変換が施されてもよい。特に、ヘッドホン用信号Sh-1が出力される場合は、ヘッドホンに合わせた出力特性の調整も施されてもよい。 As described above, the switching unit 35 exclusively selects the output destination of the sound signal Sh under the control of the CPU 11. For example, when the headphones 31 are connected to the headphone output terminal 24, the headphone output terminal 24 is selected as the output destination, and when the headphones 31 are not connected to the headphone output terminal 24, the speaker output terminal 25 is selected as the output destination. When the headphone output terminal 24 is selected, the headphone signal Sh-1 is output to the headphones 31. When the speaker output terminal 25 is selected, the speaker signal Sh-2 is output to the speaker 32. When the switching unit 35 outputs the sound signal Sh, level adjustment and D/A conversion may be performed. In particular, when the headphone signal Sh-1 is output, adjustment of the output characteristics to match the headphones may also be performed.

また、ユーザは、設定部としての設定操作部16を用いて、バイノーラル化処理の有効または無効の設定指示を入力する。CPU11は、設定操作部16を介したユーザからの指示に従って、バイノーラル化部36(図3)によるバイノーラル化処理の有効/無効を設定する。バイノーラル化処理の有効/無効の設定状態は、RAM13に記憶される。バイノーラル化部36によるバイノーラル化処理が実際に適用されるのは、バイノーラル化処理が「有効」に設定されていることが条件となる。バイノーラル化処理が「無効」に設定されている場合は、バイノーラル化処理が適用されることはない。 The user also inputs a setting instruction to enable or disable the binauralization process using the setting operation unit 16 as a setting unit. The CPU 11 sets the binauralization process by the binauralization unit 36 (FIG. 3) to be enabled/disabled in accordance with the instruction from the user via the setting operation unit 16. The setting state of the binauralization process to be enabled/disabled is stored in the RAM 13. The binauralization process by the binauralization unit 36 is actually applied only if the binauralization process is set to "enabled." If the binauralization process is set to "disabled," the binauralization process is not applied.

CPU11は、バイノーラル化部36によるバイノーラル化処理の適用の有効/実質無効を制御する。CPU11は、バイノーラル化処理の設定状態と、ヘッドホン31がヘッドホン出力端子24に接続されているか否かの判定状態とに基づいて、バイノーラル化処理の適用を有効にするか、または実質的に無効にする。例えば、バイノーラル化処理の適用を無効にする場合は、CPU11は、音信号Siを、バイノーラル化部36に代えて不図示のダウンミックス部を通してMS変換部37へ入力させる。不図示のダウンミックス部では、8chの音信号Siが単純にL/Rの2ch信号にダウンミックスされる。 The CPU 11 controls whether the application of binaural processing by the binauralization unit 36 is enabled/substantially disabled. The CPU 11 enables or substantially disables the application of binaural processing based on the setting state of the binaural processing and the determination state of whether the headphones 31 are connected to the headphone output terminal 24. For example, when disabling the application of binaural processing, the CPU 11 inputs the sound signal Si to the MS conversion unit 37 through a downmix unit (not shown) instead of the binauralization unit 36. In the downmix unit (not shown), the 8ch sound signal Si is simply downmixed to a 2ch signal of L/R.

あるいは、バイノーラル化処理の適用を無効または実質的に無効にする(実質的に適用しない)場合、次の手法を採用してもよい。まず、バイノーラル化部36による通常のバイノーラル化処理においては、HRTFの実現の際、方程式における複数タップ(taps)のフィルタ係数がそれぞれ設定される。そこで、複数タップのフィルタ係数を調整することで、バイノーラル化処理の適用の度合いを弱めるようにしてもよい。すなわち、CPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせる。なお、複数タップのうち1つを除く他の全タップのフィルタ係数を0に設定すれば、バイノーラル化処理の適用を無効に(停止)することと同じになる。このような観点から、「実質的に無効」の概念には、バイノーラル化処理の適用停止だけでなく、バイノーラル化処理の適用の度合いを弱める処理を含めてもよい。 Alternatively, the following method may be adopted to disable or substantially disable (substantially not apply) the application of binauralization processing. First, in normal binauralization processing by the binauralization unit 36, filter coefficients of multiple taps in the equation are set when realizing HRTF. The degree of application of binauralization processing may be weakened by adjusting the filter coefficients of the multiple taps. That is, the CPU 11 differs the parameters in the binauralization processing when substantially disabling the application of binauralization processing compared to when enabling the application of binauralization processing. Note that setting the filter coefficients of all taps except one of the multiple taps to 0 is equivalent to disabling (stopping) the application of binauralization processing. From this perspective, the concept of "substantially disabled" may include not only stopping the application of binauralization processing, but also a process of weakening the degree of application of binauralization processing.

図6は、信号処理を示すフローチャートである。この処理は、CPU11が、ROM12に格納されたプログラムをRAM13に展開して実行することにより実現される。この処理は、音信号処理装置100の電源が入れられるか、または信号出力モードに遷移すると開始される。 Figure 6 is a flowchart showing signal processing. This processing is realized by the CPU 11 expanding a program stored in the ROM 12 into the RAM 13 and executing the program. This processing is started when the sound signal processing device 100 is turned on or transitions to the signal output mode.

まず、CPU11は、ステップS101で、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。例えば、上述のように、ヘッドホン31がヘッドホン出力端子24に接続されている場合は、ヘッドホン出力端子24が出力先として判別される。なお、上述のように、ユーザ操作によって出力先が指定されている場合は、その指定に基づいて出力先が判別される。音信号Shの出力先がヘッドホン出力端子24である場合は、CPU11は、処理をステップS102に進める。一方、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS107に進める。 First, in step S101, the CPU 11 determines whether the output destination of the sound signal Sh is the headphone output terminal 24 (headphones 31). For example, as described above, if the headphones 31 are connected to the headphone output terminal 24, the headphone output terminal 24 is determined as the output destination. Note that, as described above, if the output destination is specified by a user operation, the output destination is determined based on that specification. If the output destination of the sound signal Sh is the headphone output terminal 24, the CPU 11 proceeds to step S102. On the other hand, if the output destination of the sound signal Sh is not the headphone output terminal 24, the output destination is the speaker output terminal 25 (speaker 32), and the CPU 11 proceeds to step S107.

ステップS102では、CPU11は、RAM13に記憶されたバイノーラル化処理の有効/無効の設定状態を参照し、バイノーラル化処理の設定が「有効」であるか否かを判別する。そして、バイノーラル化処理の設定が「有効」でない場合は、CPU11は、処理をステップS107に進める。バイノーラル化処理の設定が「有効」である場合は、CPU11は、処理をステップS103に進める。 In step S102, the CPU 11 refers to the enabled/disabled setting state of the binaural processing stored in the RAM 13, and determines whether the binaural processing setting is "enabled." If the binaural processing setting is not "enabled," the CPU 11 advances the process to step S107. If the binaural processing setting is "enabled," the CPU 11 advances the process to step S103.

ステップS103では、上述したように、A処理において、バイノーラル化部36(図3)によるバイノーラル化処理を通常通り適用する。一方、ステップS107では、CPU11は、A処理において、バイノーラル化部36によるバイノーラル化処理の適用を実質的に無効(適用停止を含む)にする。ステップS103、S107の後、CPU11は、処理をステップS104に進める。 In step S103, as described above, in process A, the binauralization unit 36 (FIG. 3) applies the binauralization process as usual. On the other hand, in step S107, the CPU 11 essentially disables (including stops application of) the binauralization process by the binauralization unit 36 in process A. After steps S103 and S107, the CPU 11 advances the process to step S104.

ステップS104では、CPU11は、音信号Shの出力先がヘッドホン出力端子24(ヘッドホン31)であるか否かを判別する。そして、音信号Shの出力先がヘッドホン出力端子24である場合は、ステップS105で、CPU11は、切替部35における信号の出力先をヘッドホン出力端子24に切り替えると共に、ヘッドホン用信号Sh-1を、ヘッドホン出力端子24からヘッドホン31へ出力する。ヘッドホン用信号Sh-1は、バイノーラル化処理を経た音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、ヘッドホン31により臨場感のある音を聞くことができる。ステップS105の後、CPU11は処理をステップS106に進める。 In step S104, the CPU 11 determines whether the output destination of the sound signal Sh is the headphone output terminal 24 (headphones 31). If the output destination of the sound signal Sh is the headphone output terminal 24, in step S105, the CPU 11 switches the signal output destination in the switching unit 35 to the headphone output terminal 24, and outputs the headphone signal Sh-1 from the headphone output terminal 24 to the headphones 31. The headphone signal Sh-1 is a sound signal in which the sound signal Sg and the sound signal Sf that have been subjected to binaural processing are mixed. Therefore, the user can hear a realistic sound through the headphones 31. After step S105, the CPU 11 advances the process to step S106.

ステップS104での判別の結果、音信号Shの出力先がヘッドホン出力端子24でない場合は、出力先はスピーカ出力端子25(スピーカ32)であるので、CPU11は、処理をステップS108に進める。ステップS108では、CPU11は、切替部35における信号の出力先をスピーカ出力端子25に切り替えると共に、スピーカ用信号Sh-2を、スピーカ出力端子25からスピーカ32へ出力する。スピーカ用信号Sh-2は、バイノーラル化処理が実質的に施されていない音信号Sgと音信号Sfとが混合された音信号である。従って、ユーザは、スピーカ32により違和感のない音を聞くことができる。ステップS108の後、CPU11は処理をステップS106に進める。 If the result of the determination in step S104 is that the output destination of the sound signal Sh is not the headphone output terminal 24, the output destination is the speaker output terminal 25 (speaker 32), and the CPU 11 advances the process to step S108. In step S108, the CPU 11 switches the output destination of the signal in the switching unit 35 to the speaker output terminal 25, and outputs the speaker signal Sh-2 from the speaker output terminal 25 to the speaker 32. The speaker signal Sh-2 is a sound signal that is a mixture of the sound signal Sg and the sound signal Sf that have not been substantially subjected to binaural processing. Therefore, the user can hear a natural sound from the speaker 32. After step S108, the CPU 11 advances the process to step S106.

ステップS106では、CPU11は、その他の処理を実行して、処理をステップS101に戻す。その他の処理においては、例えば、ユーザからのバイノーラル化処理の有効/無効の設定指示等の各種指示の受け付けのほか、各種指示に応じた処理が実行される。またCPU11は、装置電源がオフされたり、信号出力モードの終了の指示があったりすれば、図6に示す処理を終了させる。 In step S106, the CPU 11 executes other processes and returns the process to step S101. In other processes, for example, various instructions from the user, such as an instruction to enable/disable the binaural processing, are accepted, and processes are executed in response to the various instructions. In addition, if the device power is turned off or an instruction to end the signal output mode is received, the CPU 11 ends the process shown in FIG. 6.

本実施の形態によれば、選択部としての切替部35は、ミックスバス34からの音信号の出力先を、少なくともヘッドホン31(第1出力先)およびスピーカ32(第2出力先)の中から選択する。処理部A(第1処理部)は、音信号Sc(第1音信号)に対して、少なくともバイノーラル化処理を含むA処理(第1処理)を行って音信号Sg(第2音信号)を生成すると共に、音信号Sgをミックスバス34に出力する。A処理におけるバイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される。制御部としてのCPU11は、バイノーラル化処理が有効に設定され、且つ、出力先としてヘッドホン31が選択された場合は、A処理において音信号Scに対してバイノーラル化処理を通常適用する。CPU11は、出力先としてスピーカ32が選択された場合は、バイノーラル化処理が有効に設定されていたとしても、A処理のうち少なくともバイノーラル化処理については、音信号Scに対する適用を実質的に無効にする。従って、バイノーラル化処理が有効に設定されている場合に、適切な出力先であるヘッドホン31にだけ、バイノーラル化処理を施した音を出力することができる。 According to this embodiment, the switching unit 35 as a selection unit selects the output destination of the sound signal from the mix bus 34 from at least the headphones 31 (first output destination) and the speaker 32 (second output destination). The processing unit A (first processing unit) performs A processing (first processing) including at least binaural processing on the sound signal Sc (first sound signal) to generate a sound signal Sg (second sound signal) and outputs the sound signal Sg to the mix bus 34. The enable/disable of the binaural processing in the A processing is set according to a user operation. When the binaural processing is set to be enabled and the headphones 31 is selected as the output destination, the CPU 11 as a control unit normally applies the binaural processing to the sound signal Sc in the A processing. When the speaker 32 is selected as the output destination, the CPU 11 substantially disables the application of at least the binaural processing of the A processing to the sound signal Sc even if the binaural processing is set to be enabled. Therefore, when binaural processing is enabled, sound that has been subjected to binaural processing can be output only to the appropriate output destination, the headphones 31.

例えばCPU11は、音信号Scに対するバイノーラル化処理の適用を停止する。あるいはCPU11は、バイノーラル化処理の適用を有効にする場合に比べて、バイノーラル化処理の適用を実質的に無効にする場合は、バイノーラル化処理におけるパラメータを異ならせることで、バイノーラル化処理の適用の度合いを弱める。これらの処理により、スピーカ32へは実質的にバイノーラル化処理されない音信号が出力されるようにすることができ、違和感のない音を出力させることができる。 For example, the CPU 11 stops applying binaural processing to the sound signal Sc. Alternatively, when the CPU 11 effectively disables the application of binaural processing compared to when the application of binaural processing is enabled, the CPU 11 weakens the degree of application of the binaural processing by varying the parameters in the binaural processing. Through these processes, a sound signal that is not essentially binaurally processed can be output to the speaker 32, and a natural sound can be output.

また、処理部B(第2処理部)は、音信号Sc(第1音信号)とはチャンネル数が異なる音信号Sb(第3音信号)に対してB処理(第2処理)を行って音信号Sf(第4音信号)を生成すると共に、音信号Sfをミックスバス34に出力する。音信号Sfは音信号Sgと混合され、選択された出力先へ出力されるので、ボイスチャット音声など、チャンネル数が異なる別の音信号を併せて出力することができる。なお、B処理は、バイノーラル化処理を含むことは必須でない。 Furthermore, processing unit B (second processing unit) performs B processing (second processing) on sound signal Sb (third sound signal) which has a different number of channels from sound signal Sc (first sound signal) to generate sound signal Sf (fourth sound signal), and outputs sound signal Sf to mix bus 34. Since sound signal Sf is mixed with sound signal Sg and output to the selected output destination, it is possible to output another sound signal with a different number of channels, such as voice chat audio, together. Note that B processing does not necessarily have to include binaural processing.

また、第1出力先と第2出力先とは排他的に選択されるので、バイノーラル化処理を実際に適用するかどうかを出力先に応じて明確に区別することができる。 In addition, since the first output destination and the second output destination are selected exclusively, it is possible to clearly distinguish whether or not to actually apply binaural processing depending on the output destination.

なお、第1出力先は、ヘッドホン31としたが、ヘッドホン31は耳装着型の音出力機器の一例であるので、第1出力先はイヤホンであってもよい。従って、通常通りバイノーラル化処理されたヘッドホン用信号Sh-1を、耳装着型の音出力機器だけに出力することができる。 Note that the first output destination is the headphones 31, but since the headphones 31 are an example of an ear-worn sound output device, the first output destination may also be earphones. Therefore, the headphone signal Sh-1 that has been binaurally processed as usual can be output only to the ear-worn sound output device.

なお、処理部Cを設けることは必須でない。従って、音信号Shは、音信号Seを含まずに音信号Sgと音信号Sfとを混合した信号であってもよい。なお、バイノーラル化処理が有効に設定されている場合に、適切な出力先にだけ、バイノーラル化処理を施した音を出力する効果を得ることに限れば、処理部Aのうち後段処理部A-2を設けることは必須でない。なお、音信号Saの取得元はマイクロフォンに限定されない。 Note that it is not essential to provide the processing unit C. Therefore, the sound signal Sh may be a signal that is a mixture of the sound signals Sg and Sf, without including the sound signal Se. Note that it is not essential to provide the post-processing unit A-2 in the processing unit A, so long as it is only to obtain the effect of outputting sound that has been subjected to binaural processing only to an appropriate output destination when the binaural processing is set to be enabled. Note that the source of acquisition of the sound signal Sa is not limited to a microphone.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 The present invention has been described in detail above based on preferred embodiments, but the present invention is not limited to these specific embodiments, and various forms that do not deviate from the gist of the invention are also included in the present invention.

なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、音信号処理装置100に読み出すことによって、本発明と同様の効果を奏するようにしてもよい。その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ROMのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード等を用いることができる。非一過性のコンピュータ読み取り可能な記録媒体としては、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。 The same effect as the present invention may be achieved by reading a storage medium storing a control program represented by software for achieving the present invention into the sound signal processing device 100. In that case, the program code itself read from the storage medium realizes the novel function of the present invention, and the non-transient computer-readable recording medium storing the program code constitutes the present invention. The program code may also be supplied via a transmission medium, in which case the program code itself constitutes the present invention. In addition to ROM, the storage medium in these cases may be a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a non-volatile memory card, or the like. Non-transient computer-readable recording media also include those that hold a program for a certain period of time, such as a volatile memory (e.g., DRAM (Dynamic Random Access Memory)) inside a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.

A、B、C 処理部、 Sc、Sg 音信号、 11 CPU、 31 ヘッドホン、 32 スピーカ、 34 ミックスバス、 35 切替部 A, B, C Processing section, Sc, Sg Sound signal, 11 CPU, 31 Headphones, 32 Speaker, 34 Mix bus, 35 Switching section

Claims (18)

ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択し、
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力し、
前記第1処理におけるバイノーラル化処理の有効/無効を設定し、
前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にし、
前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する、音信号処理装置の制御方法。
selecting an output destination of the sound signal from the mix bus from at least a first output destination and a second output destination;
performing a first process including at least a binaural process on the first sound signal to generate a second sound signal, and outputting the second sound signal to the mix bus;
Set whether or not binaural processing in the first processing is enabled;
When the second output destination is selected , application of at least the binaural processing of the first processing to the first sound signal is substantially disabled ;
A control method for a sound signal processing device , comprising: performing second processing on a third sound signal, the third sound signal having a different number of channels from the first sound signal, to generate a fourth sound signal; and outputting the fourth sound signal to the mix bus .
前記第2出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理を停止する、請求項1に記載の音信号処理装置の制御方法。 The control method for the sound signal processing device according to claim 1, wherein, when the second output destination is selected and the binaural processing is enabled, at least the binaural processing of the first processing is stopped. 前記第1出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合に対し、前記第2出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理におけるパラメータを異ならせる、請求項1に記載の音信号処理装置の制御方法。 The control method for a sound signal processing device according to claim 1, wherein, when the first output destination is selected and the binaural processing is enabled, a parameter in at least the binaural processing of the first processing is made different when the second output destination is selected and the binaural processing is enabled. 前記ミックスバスは、前記第2音信号と前記第4音信号とを混合し、選択された出力先へ出力する、請求項1乃至3のいずれか1項に記載の音信号処理装置の制御方法。 The method of controlling a sound signal processing device according to claim 1 , wherein the mix bus mixes the second sound signal and the fourth sound signal and outputs the mixed signal to a selected output destination. 前記第1出力先は、ヘッドホンまたはイヤホンであり、
前記第2出力先は、スピーカである、請求項1乃至のいずれか1項に記載の音信号処理装置の制御方法。
the first output destination is a headphone or an earphone,
The method for controlling a sound signal processing device according to claim 1 , wherein the second output destination is a speaker.
前記第1出力先と前記第2出力先とは、排他的に選択される、請求項1乃至のいずれか1項に記載の音信号処理装置の制御方法。 The method of claim 1 , wherein the first output destination and the second output destination are exclusively selected. 前記第1処理における前記バイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される、請求項1乃至のいずれか1項に記載の音信号処理装置の制御方法。 The method of claim 1 , wherein the binaural processing in the first process is enabled/disabled in response to a user operation. 前記第3音信号はボイスチャットの音信号である、請求項1乃至7のいずれか1項に記載の音信号処理装置の制御方法。The method for controlling a sound signal processing device according to claim 1 , wherein the third sound signal is a sound signal for voice chat. 前記第2処理はボイスチャットに対するバイノーラル化処理を含む、請求項8に記載の音信号処理装置の制御方法。The method for controlling a sound signal processing device according to claim 8 , wherein the second processing includes binaural processing for voice chat. 前記第2処理における前記バイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される、請求項9に記載の音信号処理装置の制御方法。The method of claim 9 , wherein the binaural processing in the second processing is enabled/disabled in response to a user operation. 前記第2処理における前記バイノーラル化処理は、前記第3音信号に対する頭部伝達関数の適用またはリバーブの適用の少なくとも一方を含み、The binauralization process in the second processing includes at least one of application of a head-related transfer function or application of a reverb to the third sound signal,
前記頭部伝達関数と前記リバーブのいずれが適用されるかは、ユーザ操作に応じて切り替えられる、請求項9または10に記載の音信号処理装置の制御方法。The method of claim 9 , further comprising the step of switching whether the head related transfer function or the reverb is applied in response to a user operation.
ミックスバスと、
前記ミックスバスからの音信号の出力先を、少なくとも第1出力先および第2出力先の中から選択する選択部と、
第1音信号に対して、少なくともバイノーラル化処理を含む第1処理を行って第2音信号を生成すると共に、前記第2音信号を前記ミックスバスに出力する第1処理部と、
前記第1処理におけるバイノーラル化処理の有効/無効を設定する設定部と、
前記選択部により前記第2出力先が選択された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理については、前記第1音信号に対する適用を実質的に無効にする制御部と、
前記第1音信号とはチャンネル数が異なる第3音信号に対して第2処理を行って第4音信号を生成すると共に、前記第4音信号を前記ミックスバスに出力する第2処理部と、
を有する、音信号処理装置。
Mix bus and
a selection unit that selects an output destination of an audio signal from the mix bus from at least a first output destination and a second output destination;
a first processing unit that performs a first process including at least a binaural process on a first sound signal to generate a second sound signal, and outputs the second sound signal to the mix bus;
A setting unit that sets whether or not a binaural process in the first process is enabled;
a control unit that, when the second output destination is selected by the selection unit , substantially disables application of at least the binaural processing of the first processing to the first sound signal;
a second processing unit that performs a second process on a third sound signal having a different number of channels from the first sound signal to generate a fourth sound signal, and outputs the fourth sound signal to the mix bus;
A sound signal processing device comprising:
前記制御部は、前記第2出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理を停止する、請求項12に記載の音信号処理装置。 The sound signal processing device according to claim 12 , wherein the control unit stops at least the binaural processing of the first processing when the second output destination is selected and the binaural processing is set to enabled. 前記制御部は、前記第1出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合に対し、前記第2出力先が選択され且つ、前記バイノーラル化処理が有効に設定された場合は、前記第1処理のうち少なくとも前記バイノーラル化処理におけるパラメータを異ならせる、請求項12に記載の音信号処理装置。 13. The sound signal processing device according to claim 12, wherein the control unit changes a parameter in at least the binaural processing of the first processing when the first output destination is selected and the binaural processing is enabled, whereas when the second output destination is selected and the binaural processing is enabled, the control unit changes a parameter in at least the binaural processing of the first processing. 前記ミックスバスは、前記第2音信号と前記第4音信号とを混合し、選択された出力先へ出力する、請求項12乃至14のいずれか1項に記載の音信号処理装置。 The sound signal processing device according to claim 12 , wherein the mix bus mixes the second sound signal and the fourth sound signal and outputs the mixed signal to a selected output destination. 前記第1出力先は、ヘッドホンまたはイヤホンであり、
前記第2出力先は、スピーカである、請求項12乃至15のいずれか1項に記載の音信号処理装置。
the first output destination is a headphone or an earphone,
The sound signal processing device according to claim 12 , wherein the second output destination is a speaker.
前記第1出力先と前記第2出力先とは、排他的に選択される、請求項12乃至16のいずれか1項に記載の音信号処理装置。 The sound signal processing device according to claim 12 , wherein the first output destination and the second output destination are exclusively selected. 前記第1処理における前記バイノーラル化処理の有効/無効は、ユーザ操作に応じて設定される、請求項12乃至17のいずれか1項に記載の音信号処理装置。 The sound signal processing device according to claim 12 , wherein the binaural processing in the first processing is enabled/disabled in response to a user operation.
JP2021023331A 2021-02-17 2021-02-17 Sound signal processing device and control method thereof Active JP7619077B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021023331A JP7619077B2 (en) 2021-02-17 2021-02-17 Sound signal processing device and control method thereof
CN202210125054.5A CN114999439B (en) 2021-02-17 2022-02-10 Sound signal processing methods and sound signal processing devices
US17/673,322 US11871199B2 (en) 2021-02-17 2022-02-16 Sound signal processor and control method therefor
US18/364,566 US12532114B2 (en) 2021-02-17 2023-08-03 Sound signal processor and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021023331A JP7619077B2 (en) 2021-02-17 2021-02-17 Sound signal processing device and control method thereof

Publications (2)

Publication Number Publication Date
JP2022125636A JP2022125636A (en) 2022-08-29
JP7619077B2 true JP7619077B2 (en) 2025-01-22

Family

ID=83058237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021023331A Active JP7619077B2 (en) 2021-02-17 2021-02-17 Sound signal processing device and control method thereof

Country Status (1)

Country Link
JP (1) JP7619077B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232301A (en) 2008-03-25 2009-10-08 Yamaha Corp Monitor control system
JP2016086277A (en) 2014-10-24 2016-05-19 株式会社河合楽器製作所 Effect application device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232301A (en) 2008-03-25 2009-10-08 Yamaha Corp Monitor control system
JP2016086277A (en) 2014-10-24 2016-05-19 株式会社河合楽器製作所 Effect application device

Also Published As

Publication number Publication date
JP2022125636A (en) 2022-08-29

Similar Documents

Publication Publication Date Title
EP3311593B1 (en) Binaural audio reproduction
JP5325988B2 (en) Method for rendering binaural stereo in a hearing aid system and hearing aid system
US9607622B2 (en) Audio-signal processing device, audio-signal processing method, program, and recording medium
CN101489173B (en) Signal processing apparatus, signal processing method
WO2010074893A1 (en) Surround sound virtualizer and method with dynamic range compression
WO2004049759A1 (en) Equalisation of the output in a stereo widening network
JP2012503943A (en) Binaural filters for monophonic and loudspeakers
KR20100063092A (en) A method and an apparatus of decoding an audio signal
JP5118267B2 (en) Audio signal reproduction apparatus and audio signal reproduction method
US9226091B2 (en) Acoustic surround immersion control system and method
JP2003009296A (en) Sound processing device and sound processing method
KR20050064442A (en) Device and method for generating 3-dimensional sound in mobile communication system
JP7619077B2 (en) Sound signal processing device and control method thereof
JP2024507535A (en) Virtualizer for binaural audio
JP5038145B2 (en) Localization control apparatus, localization control method, localization control program, and computer-readable recording medium
US12532114B2 (en) Sound signal processor and control method therefor
EP2101517B1 (en) Audio processor for converting a mono signal to a stereo signal
JP7643070B2 (en) Sound signal processing method and sound signal processing device
JP2007336080A (en) Sound compensation device
JP2007006432A (en) Binaural reproducing apparatus
CN119653283A (en) Audio signal transmission device, audio equipment and audio signal playing method
WO2025227898A1 (en) Audio processing method and electronic device
KR20050060552A (en) Virtual sound system and virtual sound implementation method
JP2025135540A (en) Generation device, playback system, generation method, playback method, and program
JP2022161881A (en) Sound processing method and sound processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241223

R150 Certificate of patent or registration of utility model

Ref document number: 7619077

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150