JP7635786B2 - 音響処理システム、音響処理方法、およびプログラム - Google Patents

Description

本発明は、音響処理システム、音響処理方法、およびプログラムに関する。本発明は、例えば、ヘッドホン、イヤホンなどを用いて立体感を有する音を再現するための頭部インパルス応答（ＨＲＩＲ：Head Related Impulse Response）を取得する方法に関する。

従来から立体感を有する音を再現する方法が提案されている。例えば、特許文献１は、音源から受聴者の左右の耳に至る音波の伝達特性を頭部伝達関数として、それぞれソース音に畳み込んで２チャンネルの音響信号を合成する手法について開示している。この手法により得られた音響信号に基づく音を受聴者の左右の耳に提示することで、音源方向への音像定位が実現する。ＨＲＩＲは、頭部伝達関数を時間領域のインパルス応答として表現したものに相当する。
他方、予め共通なＨＲＩＲを用いて合成された音響信号を用いても、３割以上の受聴者には所望の立体感が得られないことが知られている。そのため、個々の受聴者に対してＨＲＩＲを取得することが重要となる。

特許文献１には、被験者の頭部の回りから発する疑似音源の信号を被験者の耳にマイクロホンを設置して頭部伝達関数を測定する測定装置について記載されている。この測定装置は、音源記憶部、出力制御部、出力部、入力部、測定開始を支持するキー入力部、データ記憶部に測定データの記録を行う入力制御部および反射板を有する。そして、この測定装置は、無反響処理の施されていない測定室での測定時に、出力制御部の出力と同期して入力を開始し、残響音が入力部に到達する前にデータ入力を終了し、測定時間内に入力部に到達する反射音の経路に反射板が配されていることを特徴とする。

日本国特開平８－３０７９８８号公報

しかしながら、ＨＲＩＲを取得するには、特殊な環境を要する。特殊な環境とは、無響室のように反射がない環境、もしくは、その影響が無視できるほど反射が少ない環境を指す。ＨＲＩＲに反射の影響が含まれていると、音像定位の目標とする目標方向から左右の各耳に到来する音波を再現できなくなるためである。この点、特許文献１に記載の測定装置は反射音の経路に反射板を配することで、マイクロホンへの反射を遮断することで反射の影響を低減している。そのため、反射音の経路に反射板を配することは、反射音の経路に係る知見を有する音響技術者を除いては困難である。

本発明は、上述の課題を解決すべくなされた。本発明の目的の一例は、より簡易にＨＲＩＲを取得することができる音響処理システム、音響処理方法、およびプログラムを提供することである。

本発明の第１の態様によれば、音響処理システムは、所定の音源信号に基づく音を発する音源と、到来した音の受音信号を取得する受音部と、前記受音信号から前記音源から前記受音部へのインパルス応答を取得する演算部と、前記音の発生から少なくとも所定の観測期間内に前記受音部に到来する反射音の経路上の物体を被覆する吸音材と、前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する測定環境情報取得部と、材質ごとに音の反射率の情報を含む反射特性関連データを保存する反射率保存部と、前記反射特性関連データを参照し、特定した材質に対応する反射率を特定し、前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する測定環境判定部と、を備える。

また本発明の第２の態様によれば、音響処理方法は、音源から音の発生から少なくとも所定の観測期間内に受音部に到来する反射音の経路上の物体を被覆する吸音材と、を備える音響処理システムのための音響処理方法であって、前記音源が、所定の音源信号に基づく音を発する第１のステップと、前記受音部が、到来した音の受音信号を取得する第２のステップと、演算処理部が、前記受音信号から前記音源から前記受音部へのインパルス応答を取得する第３ステップと、測定環境情報取得部が、前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する第４ステップと、測定環境判定部が、反射率保存部に保存された材質ごとに音の反射率の情報を含む反射特性関連データを参照し、特定した材質に対応する反射率を特定し、前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する第５ステップと、を有する。

また本発明の第３の態様によれば、プログラムは、音源から音の発生から少なくとも所定の観測期間内に受音部に到来する反射音の経路上の物体を被覆する吸音材と、を備える音響処理システムのコンピュータに、前記音源が、所定の音源信号に基づく音を発する第１のステップと、前記受音部が、到来した音の受音信号を取得する第２のステップと、演算処理部が、前記受音信号から前記音源から前記受音部へのインパルス応答を取得する第３ステップと、測定環境情報取得部が、前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する第４ステップと、測定環境判定部が、反射率保存部に保存された材質ごとに音の反射率の情報を含む反射特性関連データを参照し、特定した材質に対応する反射率を特定し、前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する第５ステップと、を実行させる。

本発明の一態様によれば、より簡易にＨＲＩＲを取得することができる。

第１の実施形態に係る音響処理システムの構成例を示す平面図である。 第１の実施形態に係る音響処理システムの構成例を示す側面図である。 第１の実施形態に係る音響処理装置のハードウェア構成例を示す概略ブロック図である。 第１の実施形態に係る音響処理装置の機能構成例を示す概略ブロック図である。 第１の実施形態に係るＨＲＩＲ測定処理の例を示すフローチャートである。 第２の実施形態に係る音響処理システムの構成例を示す側面図である。 第２の実施形態に係る制御部の機能構成例を示す概略ブロック図である。 第２の実施形態に係る測定環境判定処理の例を示すフローチャートである。 上記の実施形態の構成の一例を示す説明図である。

以下、本発明の複数の実施形態に係る音響処理システムについて、図面を参照して説明する。
＜第１の実施形態＞
第１の実施形態に係る音響処理システムは、音を発するための音源と、到来した音の受音信号を取得する受音部と、到来した音を吸音する吸音材と、音響処理装置を備える。音響処理装置１０の機能構成例については、後述する。
図１は、本実施形態に係る音響処理システム１の構成例を示す平面図である。図２は、本実施形態に係る音響処理システム１の構成例を示す側面図である。図２は、図１のＡ－Ａ’線を通過し、垂直方向に平行な側面を示す。

図１、図２に示す例では、音響処理システム１は、屋内の空間Ｒｍにおいて使用されている。空間Ｒｍは、空間全体として特段の防音、反響設備が施されていない室であってもよい。即ち、空間Ｒｍは、防音室、実験室などに限られず、事務室、教室、集会室、居室、などのいずれであってもよい。空間Ｒｍは、ほぼ直方体の形状を有し、平面視して長方形の形状を有する。空間Ｒｍは、４つの側面、１つの底面、および１つの天面に囲まれる。天面は、底面に向かい合った面であり、図１、図２において、底面よりも上方に表されている。側面、底面および天面を内面と総称する。側面、底面、天面は、それぞれ壁面、床面、天井をなす。空間Ｒｍには、音を放射するための音源として２個のスピーカＳｐ、吸音材Ａｓおよび座席Ｐｆが配置されている。

２個のスピーカＳｐは、空間Ｒｍの４つの側面のうち、２つの隣り合う側面（以下、隣接面と呼ぶ）が交わる交線となる１つの辺（以下、スピーカ設置辺と呼ぶ）から所定範囲内に近接した位置にそれぞれ設置されている。但し、２個のスピーカＳｐは、図２に示されるように垂直方向に異なる高さの位置に設置されている。２個のスピーカＳｐを、スピーカＳｐ０１、Ｓｐ０２などと呼ぶことで、両者を区別することがある。図１には、２個のスピーカＳｐのうち、スピーカＳｐ０１が表れ、スピーカＳｐ０１よりも低い位置に設置されたスピーカＳｐ０２は表れていない。音響処理装置１０からは、いずれか１個のスピーカＳｐ（図１に示す例では、スピーカＳｐ０１）に再生信号が入力される。スピーカＳｐは、音響処理装置１０から入力される音源信号に基づく音を放射（再生）する。

座席Ｐｆは、その中央部が、隣接面がなす角の二等分面上であって個々のスピーカＳｐから、それぞれ所定の距離（例えば、１～２ｍ）となる位置に対面するように設置されている。座席Ｐｆは、座板と背もたれを有し、これらにより被験者Ｓｂを座位の姿勢で静止して支持することを可能とする。被験者Ｓｂは、スピーカＳｐから左右各耳までのＨＲＩＲの測定対象とする人物である。

吸音材Ａｓは、空間Ｒｍの内面の少なくともその一部を覆うように設置される。図１、図２に示す例では、吸音材Ａｓは、底面の一部と隣接面の一部を覆うように設置されている。なお、図示が省略されているが、座席Ｐｆを覆う吸音材が設置されてもよい。吸音材Ａｓは、到来した音の反射率が十分に低い素材を含む。吸音材Ａｓは、到来する音の振動のエネルギーの大部分を熱に変換することで、音のエネルギーを吸収し、熱として散逸する素材であればよい。吸音材Ａｓは、例えば、グラスウール、ロックウール、ウレタンスポンジ、などが利用可能である。吸音材は、遮音材、防音材、などとも呼ばれることがある。吸音材Ａｓが設置される領域については、後述する。

被験者Ｓｂの左右の各耳には、受音部として、マイクロホンＭｉｃが装着される。左耳、右耳に装着されるマイクロホンを、それぞれマイクロホンＭｉｃＬ、ＭｉｃＲと呼ぶことで区別する。マイクロホンＭｉｃＬ、ＭｉｃＲは、それぞれ自部に到来した音を受音し、受音した音を受音信号に変換する。マイクロホンＭｉｃＬ、ＭｉｃＲは、それぞれ変換した受音信号を音響処理装置１０に出力する。以下の説明では、マイクロホンＭｉｃＬ、ＭｉｃＲから出力される受音信号を、それぞれ左受音信号、右受音信号と呼ぶことがある。

スピーカＳｐから放射される音波は、マイクロホンＭｉｃＬ、ＭｉｃＲまで、それぞれ多様な経路上を伝搬する。図１に例示されるようにスピーカＳｐからマイクロホンＭｉｃＬ、ＭｉｃＲの間にいずれの物体も設置されていない場合には、スピーカＳｐから放射される音波の一部は、直接音としてマイクロホンＭｉｃＬ、ＭｉｃＲに到来する。この音波の他の一部は、その経路上に配置された物体の表面で反射し、反射音としてマイクロホンＭｉｃＬ、ＭｉｃＲに到来する。

ここで、スピーカＳｐが発した音波Ｓが、物体表面のある反射点を伝搬経路として含み、その反射点で反射する場合を仮定する。この場合、いずれかのマイクロホンＭｉｃが設置された受音点において観測される反射波Ｓ_ｒｎは、式（１）で示される。

式（１）において、Ｒ、Ｌは、それぞれ、反射点における音波の反射率、距離に応じた減衰率を示す。
一般には、反射点は無数に存在するため、受音点に到来する反射波Ｓｒは、式（２）に示すように反射点ごとの反射波Ｓ_ｒｎを合成したものに相当する。式（２）において、Σは反射点間の和を示す。これらの反射点の集合が、スピーカＳｐから到来した音を反射する各種の反射体の表面に相当する。

従って、受音点に到来する音波Ｓ’は、式（３）に示すようにスピーカＳｐからの直接波Ｓの成分と反射波Ｓｒの成分を合成したものとなる。

他方、頭部インパルス応答は、音源から被験者Ｓｂの各耳までの音波の伝搬特性を示す。言い換えれば、頭部インパルス応答には、被験者Ｓｂの頭部の表面（例えば、耳介等）に音源から到来する音波の反射および回折による伝搬特性が含まれる。純粋な頭部インパルス応答を取得するには、反射波の影響を除去することが期待される。従来は、無響室など音波の反射が生じない環境で頭部インパルス応答を測定することが一般的であった。これは、音波の伝搬経路上に設置された物体による反射音による寄与を含めないためである。

本実施形態に係る音響処理システム１は、頭部インパルス応答には、少なくとも頭部における音波の反射および回折による成分が含まれる期間（以下、頭部伝達期間）において、その他の物体による反射音の成分を低減する。そこで、音響処理装置１０には、少なくとも頭部伝達期間を含む期間を頭部インパルス応答の観測期間として予め設定しておく。頭部伝達期間は、人間の頭部の大きさにもよるが、スピーカＳｐから到来する直接波が被験者Ｓｂの頭部に最初に到来する時刻を起点として、典型的には１～３ｍｓ程度の期間となる。よって、少なくとも観測期間内にマイクロホンＭｉｃＬ、ＭｉｃＲに到来する反射音をもたらす反射体の領域を吸音材Ａｓで覆うことで、その反射音の成分を低減することができる。吸音材Ａｓは設置されても反射板ほど空間Ｒｍの利用を妨げず、その設置に係る作業に係る負荷が軽い。そのため、図１に例示されるように、空間Ｒｍの隅などの、ありふれた環境においてもＨＲＩＲが取得可能となる。但し、音源と座席Ｐｆもしくは被験者Ｓｂとの位置関係は、図１、図２に例示されるものに限られない。例えば、座席Ｐｆは、空間Ｒｍの中央部に設置されてもよい。また、空間Ｒｍの形状も、図１、図２に例示されるものに限られない。例えば、空間Ｒｍの形状は、円柱であってもよい。

図１、図２に示す例では、吸音材Ａｓが設置されている領域は、底面のうちスピーカ設置辺から座席Ｐｆを含む正方形の部分領域と、２つの隣接面のそれぞれのうち底面の部分領域に接する部分から、少なくとも２つのスピーカＳｐ０１、Ｓｐ０２のうち高い方の高さよりも所定の高さを加えた高さにわたる領域を含む。スピーカが音を発する時刻から観測期間の起点までの時間（以下、観測開始時間）は、スピーカＳｐから被験者Ｓｂまでの距離と音速に基づいて算出される。音響処理装置１０には、観測開始時間を予め設定しておいてもよいし、スピーカＳｐの位置と座席Ｐｆもしくは被験者Ｓｂの位置に基づいて算出してもよい。また、吸音材Ａｓが設置される領域は、反射音が観測期間内にマイクロホンＭｉｃＬ、ＭｉｃＲに到来する部位を含んでいればよく、その領域の大きさ、形状は、図１、図２に例示されるものに限られない。例えば、吸音材Ａｓで床面を覆う領域の形状は、図９に例示されるように扇形であってもよいし、必ずしも座席Ｐｆの位置を含んでいなくてもよい。

吸音材ＡｓからマイクロホンＭｉｃＬ、ＭｉｃＲのそれぞれに到来する反射音の強度は完全にゼロにならないが、直接音の強度と比較して十分に低くなる。一般に、強度の異なる２つの音が被験者に提示されるとき、強度の弱い音は、強度の強い音にかき消されるために、聴取できない現象（マスキング）が知られている。吸音材Ａｓによれば、直接音の成分を信号成分、反射音の成分を雑音成分とするときのＳ／Ｎ比を、反射音を知覚できない程度にまで低減できる。そのため、本実施形態に係る音響処理システム１により取得された頭部インパルス応答によっても、無響室で測定した頭部インパルス応答と同程度の立体感を聴覚上実現することができる。

次に、本実施形態に係る音響処理装置１０の構成について説明する。
図３は、本実施形態に係る音響処理装置１０のハードウェア構成例を示す概略ブロック図である。
音響処理装置１０は、制御部１１０と、記憶部１３０と、入出力部１４０と、表示部１５０と、操作部１６０と、を含んで構成される。音響処理装置１０は、専用の装置として構成されてもよいし、汎用のコンピュータにより実現されてもよい。

制御部１１０は、音響処理装置１０が有する各種の機能を実現および制御するための処理を行う。制御部１１０は、制御部１１０は、アプリケーションプログラムなどの各種のプログラムに記述された命令（コマンド）で指示される処理を実行可能とし、音響処理装置１０を構成する各部の動作を実行および制御する。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）などの１個以上のプロセッサを含んで構成される。

記憶部１３０は、制御部１１０が用いる各種のデータ、制御部１１０により取得された各種のデータ、各種のプログラムなどを格納する。記憶部１３０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成される。

入出力部１４０は、音響処理装置１０とは別個の機器と有線または無線で接続し、各種のデータを入出力する。入出力部１４０は、通信ネットワークと有線または無線で接続し、通信ネットワークに接続された別個の機器と各種のデータを送受信してもよい。入出力部１４０は、例えば、入出力インタフェース、通信インタフェースなどの入出力デバイスを含んで構成される。

表示部１５０は、制御部１１０の制御のもとで、制御部１１０から入力される各種の表示データで指示される情報を視覚により認識可能に表示する。かかる表示データには、画像データ、テキストデータなどが含まれる。表示部１５０は、例えば、液晶ディスプレイ（ＬＣＤ: Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ: Organic Electro-luminescence Display）、などのいずれの形態の表示デバイスを含んで構成される。

操作部１６０は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号を制御部１１０に出力する。操作信号は、音響処理装置１０に対するユーザの指示、命令などの各種の情報を示す。操作部１６０は、例えば、プッシュボタン、スティックキーなどのいずれの形態の操作デバイスを含んで構成される。操作部１６０は、物理的に分離されている操作デバイス（例えば、リモートコントローラ）から無線（赤外線を含む）で受信する受信器を含んで構成されてもよい。

次に、本実施形態に係る音響処理装置１０の機能構成例について説明する。
図４は、本実施形態に係る音響処理装置１０の機能構成例を示す概略ブロック図である。音響処理装置１０は、制御部１１０において、測定制御部１１２、録音部１１４および演算部１１６を含んで構成される。

測定制御部１１２は、頭部インパルス応答の測定に係る各種の制御を行う。測定制御部１１２は、操作部１６０から測定開始を示す操作信号が入力されるとき、測定に用いるための所定の音源信号を生成する。音源信号は、例えば、インパルス信号である。インパルス信号は、あるサンプル時刻における信号値が有意にゼロとは異なる値（非零値）、その他の時刻における信号値がゼロとなる信号である。測定制御部１１２は、入出力部１４０を経由して生成した音源信号をスピーカＳｐに出力する。スピーカＳｐは、入力される音源信号に応じた音を発する。信号値が非零値をとるサンプル時刻が、スピーカＳｐからインパルス音が発される時刻に相当する。

なお、図２に例示されるようにスピーカＳｐの個数が複数となる場合には、測定制御部１１２は、音を発するスピーカＳｐを音源信号の出力先として特定してもよい。出力先となるスピーカＳｐは、操作部１６０から入力される操作信号で指示されてもよいし、所定の順序に従って選択されてもよい。

座席Ｐｆは、床面に対して平行な水平面を有し、回動可能とする座板を有していてもよい。座板上に着座した被験者Ｓｂが回転することで、スピーカＳｐとの水平面内の方向を相対的に変化させることができる。被験者Ｓｂは、所定の角度（例えば、３～６０°）ずつ向きを変更するごとに、操作部１６０を操作して測定開始を指示してもよい。これにより、水平面内の方向が異なるＨＲＩＲを測定することが簡便に測定することができる。測定制御部１１２は、座席Ｐｆの方向を示す方向情報を取得し、取得した方向情報を演算部１１６に出力し、演算部１１６に対して測定されたＨＲＩＲと対応付けて記憶部１３０に記憶させてもよい。

録音部１１４は、マイクロホンＭｉｃＬ、ＭｉｃＲから入出力部１４０を経由してそれぞれ入力される左受音信号、右受音信号を記憶（録音）する。
なお、マイクロホンＭｉｃＬ、ＭｉｃＲには、それぞれスピーカＳｐから直接または間接的に伝搬された音が到来し、到来した音が受音される。従って、録音部１１４には、マイクロホンＭｉｃＬ、ＭｉｃＲから、それぞれ左受音信号、右受音信号が入力される。音源信号としてインパルス信号が用いられる場合、左受音信号、右受音信号は、それぞれスピーカＳｐからマイクロホンＭｉｃＬ、ＭｉｃＲまでのＨＲＩＲを示す。そこで、録音部１１４は、操作部１６０から測定開始を示す操作信号が入力されるとき左受音信号、右受音信号の記録を開始し、記録の開始から所定の記録期間（例えば、０．２～２秒）の経過後、記録を停止してもよい。記録期間は、少なくとも上記の観測期間以上の長さを有していればよい。

演算部１１６は、操作部１６０から測定開始を示す操作信号が入力され、上記の記録期間が経過した後、録音部１１４から新たに記録された受音信号を読み取る。演算部１１６は、読み取った受音信号からＨＲＩＲを取得する。上記のように、観測期間内に含まれる反射音については吸音材Ａｓにより著しく減衰する。しかしながら、上記の観測期間よりも後に到来する反射音の成分が受音信号に残されることがある。

そこで、演算部１１６は、受音信号から得られるインパルス応答をなす信号値のうち、観測期間よりも後の期間の信号値を、漸次減衰（フェードアウト）させてもよい。演算部１１６は、例えば、観測期間の終点から受信信号の信号値を時間経過に応じて予め定めた減衰時間（例えば、１０～１００ｍｓ）をかけてゼロに達するまで減衰させ、それ以降の時刻の信号値を棄却する。よって、受信信号に現れる観測期間よりも後に到来する反射音（以下、後期反射音）の影響が除去され、演算部１１６は、ＨＲＩＲとして有意な部分を取得することができる。後期反射音の成分には、例えば、天井からの反射音、被験者Ｓｂの背面、つまり、座席ＰｆからスピーカＳｐの方向とは逆方向からの反射音、などが含まれる。演算部１１６は、取得したＨＲＩＲを示すＨＲＩＲ信号を記憶部１３０に記憶する。

次に、本実施形態に係るＨＲＩＲ測定処理の例について説明する。
図５は、本実施形態に係るＨＲＩＲ測定処理の例を示すフローチャートである。但し、以下の処理を開始する前にスピーカＳｐからのインパルスの発生から少なくとも観測期間内に被験者Ｓｂの左耳、右耳にそれぞれ装着されたマイクロホンＭｉｃＬ、ＭｉｃＲに到来するインパルスに対する反射音が到来する部位の反射物（即ち、床面、壁面、座席Ｐｆ等）を吸音材Ａｓで被覆しておく。

（ステップＳ１０２）測定制御部１１２は、インパルス信号をスピーカＳｐに出力する。スピーカＳｐは、インパルス信号に基づく測定音としてインパルスを発する。
（ステップＳ１０４）マイクロホンＭｉｃＬ、ＭｉｃＲは、それぞれ自部に到来した音を受音し、それぞれ受音した音を示す左受音信号、右受音信号を取得する。マイクロホンＭｉｃＬ、ＭｉｃＲは、左受音信号、右受音信号をそれぞれ録音部１１４に出力する。
（ステップＳ１０６）録音部１１４は、それぞれＨＲＩＲを含む左受音信号、右受音信号を記録する。
（ステップＳ１０８）演算部１１６は、録音部１１４に新たに記録された左受音信号、右受音信号のそれぞれから観測期間よりも後の期間の信号値を減衰および棄却することにより後期反射音を除去してＨＲＩＲを取得する。

なお、受音信号には、周囲からマイクロホンＭｉｃに到来するノイズが含まれることがある。そこで、測定制御部１１２は、測定開始が指示された後、ステップＳ１０２からステップＳ１０８までのＨＲＩＲ計測処理を所定回数以上反復させてもよい。反復回数として、測定制御部１１２には、２回以上の所定の回数を予め設定しておく。そこで、演算部１１６は、各回のＨＲＩＲ計測処理が終了した後、ＨＲＩＲ取得終了通知を測定制御部１１２に出力する。測定制御部１１２は、ＨＲＩＲ取得終了通知が入力されるごとに、計測回数を１ずつ加算（インクリメント）することにより計数する。但し、計測回数の初期値を０とする。そして、測定制御部１１２は、計測回数が反復回数に達したか否かを判定し、達したと判定するとき、計測終了通知を演算部１１６に出力する。測定制御部１１２は、達していないと判定するとき、次のＨＲＩＲ計測処理を開始する。

演算部１１６は、測定制御部１１２から計測終了通知が入力されるとき、取得された反復回数分のＨＲＩＲ信号に含まれる時刻ごとの信号値を、各時刻についてＨＲＩＲ計測処理の繰り返し間で加算して得られる和を信号値として含む新たなＨＲＩＲ信号を生成する（同期加算）。演算部１１６は、各時刻に係る信号値を繰り返し回数で除算して得られる商を、もとの信号値に代えて新たな信号値として含むＨＲＩＲ信号を生成してもよい（正規化）。演算部１１６は、生成したＨＲＩＲを記憶部１３０に記憶する。同期加算によりＨＲＩＲの信号成分よりも、ＨＲＩＲ計測処理の繰り返し間でランダムに重畳するノイズ成分が相対的に低減する。そのため、信号対雑音比（ＳＮＲ：Signal-to-Noise Ratio）が向上し、ノイズによる影響を低減することができる。

＜第２の実施形態＞
次に、第２の実施形態について第１の実施形態との差異点を主として説明する。特に断らない限り、第１の実施形態と同様の構成、処理については、同一の符号を付して、その説明を援用する。

図６は、本実施形態に係る音響処理システム１の構成例を示す側面図である。
本実施形態に係る音響処理システム１は、音源としてのスピーカＳｐ、受音部としてのマイクロホンＭｉｃ Ｌ、Ｍｉｃ Ｒ（但し、Ｍｉｃ Ｒは、図６に表れていない）、吸音材Ａｓおよび音響処理装置１０の他、測定環境情報取得部の一例として画像取得部Ｃｍを備える。画像取得部Ｃｍは、ＨＲＩＲの測定環境の画像を測定環境情報の一例として撮影する。画像取得部Ｃｍは、例えば、静止画像を撮影可能とするディジタルスチルカメラである。測定環境として、スピーカＳｐから放射される音に対する反射音のうち、マイクロホンＭｉｃ Ｌ、Ｍｉｃ Ｒに観測期間内にそれぞれ到来する反射音をもたらす反射体が分布もしくは配置されている領域（以下、評価領域）が含まれればよい。言い換えれば、画像取得部Ｃｍは、空間Ｒｍにおいて評価領域を視野内に含むように位置および向きが設置され、かつ、その視野角を設定しておけばよい。

音響処理装置１０は、画像取得部Ｃｍが撮影した画像に基づいて測定環境、とりわけ評価領域における吸音材の配置状態を判定する。音響処理装置１０は、配置状態と反射特性との関係を示す反射特性関連データを参照して、配置状態から反射特性を推定する。そして、音響処理装置１０は、推定した反射特性が所定の反射強度よりも著しいか否かに基づいてＨＲＩＲを測定するか否かを判定する。これにより、立体感の実現に利用可能なＨＲＩＲを測定することができるか否かが識別される。

次に、本実施形態に係る音響処理装置１０の機能構成例について説明する。図７は、本実施形態に係る音響処理システム１に備わる制御部１１０の機能構成例を示す概略ブロック図である。
制御部１１０は、測定制御部１１２と、録音部１１４と、演算部１１６と、反射率保存部１２４と、測定環境判定部１２６と、を備える。

反射率保存部１２４には、予め反射特性関連データを記憶しておく。反射特性関連データは、材質と、その材質に対して到来する音波に対する反射率を対応付けて示す情報を、材質ごとに含んで構成されるデータである。反射率は、到来する音波の強度に対する、その音波に対する反射波の強度の比である。反射特性関連データには、少なくとも１種類以上の吸音材となりうる材質に係る情報が含まれていればよい。反射特性関連データには、吸音材とならない材質に係る情報が含まれてもよいし、含まれなくでもよい。吸音材は、反射率が所定の反射率（例えば、－３０～－５０ｄＢ）よりも十分に反射率が低い材質に相当する。

測定環境判定部１２６には、画像取得部Ｃｍから撮影された画像を示す画像データが入力される。測定環境判定部１２６は、入力された画像データに対して所定の画像認識処理を実行して測定環境における吸音材の配置状態を判定する。より具体的には、測定環境判定部１２６は、画像認識処理により画像データに示される画像を所定の大きさに細分化したブロックごとに、そのブロックに配置されている物体の材質を識別する。測定環境判定部１２６には、例えば、画像特徴量と材質との関係を示す画像認識データを予め設定しておく。測定環境判定部１２６は、画像認識処理において、例えば、各ブロックについて、そのブロック内に配置された画素ごとの画素値に基づいて画像特徴量を算出し、画像認識データを参照して、算出した画像特徴量に対応する被写体の材質を特定することができる。ここで、特定された材質が吸音材に相当する材質となるブロックの集合が吸音材領域に相当し、吸音材領域の分布により吸音材の配置状態が示される。

測定環境判定部１２６は、吸音材の配置情報に基づいてＨＲＩＲを測定するか否かを判定する。より具体的には、測定環境判定部１２６は、反射特性関連データを参照して、評価領域に含まれるブロックごとに特定した材質の反射率を特定し、特定した反射率の評価領域内のブロック間の平均値を平均反射率として算出する。測定環境判定部１２６は、算出した平均反射率が予め定めた反射率の上限値（例えば、－２５～－４０ｄＢ）以下であるか否かにより、ＨＲＩＲを測定するか否かを判定する。測定環境判定部１２６には、撮影される画像における評価領域を示す評価領域情報を予め設定しておく。評価領域は、上記のように、スピーカＳｐと座席Ｐｆとの位置関係、空間内Ｒｍの反射体（壁面、側面、座席Ｐｆ、等）の分布、画像取得部Ｃｍの位置、向き、視野角の大きさなどに基づいて定まる。

測定環境判定部１２６は、例えば、ＨＲＩＲを測定するか否かを示す判定結果に相当する判定情報を含む表示データを生成し、生成した表示データを表示部１５０に出力する。表示部１５０には、判定結果として測定環境が適切な環境、つまり、受聴者に対して立体感を十分に知覚させることができるＨＲＩＲを測定できる環境であるか否かがユーザに通知される。ここで、ユーザは、ＨＲＩＲの測定に携わるオペレータであってもよいし、被験者Ｓｂ自身であってもよい。

測定環境判定部１２６は、その判定結果を示す判定情報を測定制御部１１２に出力してもよい。測定制御部１１２は、測定環境判定部１２６から入力される判定情報が、ＨＲＩＲを測定することを示す場合、上記のＨＲＩＲ測定処理を実行し、その判定情報が、測定環境がＨＲＩＲを測定しないことを示す場合、上記のＨＲＩＲ測定処理を実行しなくてもよい。これにより、測定環境が適切ではない場合には、ＨＲＩＲの測定が制限され、測定環境が適切な場合に、ＨＲＩＲが測定される。そのため、測定されるＨＲＩＲの品質が確保される。

次に、本実施形態に係る測定環境判定処理の例について説明する。図８は、本実施形態に係る測定環境判定処理の例を示すフローチャートである。但し、図８に示す処理の実行を開始する前に、予め反射特性関連データを保存しておく。反射特性関連データには、材質ごとに、その材質の反射率を示す情報が含めておく。

（ステップＳ２０２）画像取得部Ｃｍは、測定環境の画像を撮影し、撮影した画像を示す画像データを音響処理装置１０に出力する。
（ステップＳ２０４）測定環境判定部１２６は、画像取得部Ｃｍから入力される画像データに対して画像認識処理を行って、画像を細分化したブロックごとに視野内に表される測定環境における被写体の材質を特定する。測定環境判定部１２６は、反射特性関連データを参照して、ブロックごとに特定した材質の反射率を定める。

（ステップＳ２０６）測定環境判定部１２６は、所定の評価領域内のブロックごとに定めた反射率に基づいて、評価領域における反射率の代表値の例として平均反射率を定める。測定環境判定部１２６は、定めた平均反射率が所定の反射率の上限値以下であるか否かを判定する。測定環境判定部１２６は、平均反射率が上限値以下である判定されるとき、測定環境がＨＲＩＲを測定すると判定し、平均反射率が上限値よりも大きいと判定されるとき、測定環境がＨＲＩＲを測定しないと判定する。
測定環境判定部１２６は、判定結果を示す判定情報を表示部１５０に出力してもよいし、測定制御部１１２に出力してもよい。

なお、測定環境判定部１２６は、測定環境がＨＲＩＲを測定する環境であるか否か判定する際、吸音材の配置状態の指標の例として、評価領域における反射率を定める場合を例にしたが、これには限られない。例えば、測定環境判定部１２６は、吸音材の配置状態の指標の例として、評価領域における所定の材質の吸音材の被覆率を定めてもよい。ここで、測定環境判定部１２６には、部材ごとに、当該部材が吸音材であるか否かを示す吸音材情報を予め設定しておいてもよい。その場合には、反射率保存部１２４において予め反射特性関連データさせておかなくてもよい。

測定環境判定部１２６は、上記のように画像データに対して画像認識処理を行い、ブロックごとに被写体の材質を識別する。測定環境判定部１２６は、自部に設定されている吸音材情報を参照して、識別した材質が吸音材であるか否かを特定することができる。測定環境判定部１２６は、特定された材質を吸音材として判定されたブロックの集合を吸音領域として判定する。測定環境判定部１２６は、評価領域の面積の、その評価領域に含まれる吸音領域の面積の割合を、吸音領域比として算出することができる。そして、測定環境判定部１２６は、吸音材の配置状態を示す指標値として、吸音領域比が所定の比の下限（例えば、０．８～０．９８）以上であるか否かを判定する。測定環境判定部１２６は、吸音領域比が所定の下限以上と判定するとき、測定環境がＨＲＩＲを測定する環境として判定し、吸音領域比が所定の下限以下と判定するとき、測定環境がＨＲＩＲを測定しない環境として判定する。

次に、上記の実施形態の構成の一例について説明する。図９は、構成の一例を示す説明図である。上記の実施形態に係る音響処理システム１は、音源（例えば、スピーカＳｐ）と、受音部（例えば、マイクロホンＭｉｃ）と、演算部１１６と、吸音材Ａｓと、を備える。音源は、所定の音源信号に基づく音を発する。受音部は、到来した音の受音信号を取得する。演算部１１６は、取得された受音信号から音源から受音部へのインパルス応答を取得する。吸音材は、音の発生から少なくとも所定の観測期間内に到来する反射音の経路上の物体を被覆する。
この構成によれば、吸音材の設置により、インパルス応答において少なくとも観測期間内に到来する反射音の成分の強度が吸音材が設置されていない場合よりも低減する。また、吸音材は、音源から受音部までの音波の伝搬経路のうち、少なくとも観測期間内に到来する反射音の伝搬経路に係る物体が被覆されていれば足りる。そのため、無響室のような特段の設備を有していない、ありふれた空間であっても、ＨＲＩＲとして利用するインパルス応答を簡易に取得することができる。ここで、吸音材の設置に係る負荷は比較的軽微で済み、空間を有効に活用することができる。

また、演算部１１６は、取得したインパルス応答の観測期間の経過後の信号値を減衰させてもよい。
この構成によれば、取得したインパルス応答のうち観測期間内の部分が抽出され、観測期間の経過後の部分が除去される。そのため、観測期間内のＨＲＩＲとして音の立体感の知覚に重要な部分が維持されるとともに、観測期間後に到来する後期反射音の影響を回避することができる。

また、音響処理システム１は、音源からの音の発生、受音信号の取得、およびインパルス応答の取得を複数回反復させる測定制御部１１２を備えてもよい。演算部１１６は、取得された複数のインパルス応答を同期加算してもよい。
この構成によれば、同期加算により加算されたインパルス応答の成分に比べ、加算されたノイズ成分が相対的に低減する。そのため、より精度の高いインパルス応答を取得することができる。

また、音響処理システム１は、測定環境情報取得部（例えば、画像取得部Ｃｍ）と、測定環境判定部１２６と、を備えてもよい。測定環境情報取得部は、インパルス応答の測定環境の情報を取得する。測定環境判定部は、予め設定した反射特性関連データを参照し、取得された情報に基づいて吸音材の配置状態を判定し、判定した吸音材の配置状態に基づいて測定環境がインパルス応答を測定するか否かを判定する。
この構成によれば、吸音材の配置状態に基づいて測定環境が、受聴者に対して立体感を十分に知覚させることができるインパルス応答を取得できる適切な環境であるかが判定され、その判定結果に応じてインパルス応答の測定の要否が判定される。そのため、不適切なインパルス応答の取得が制限され、適切なインパルス応答の取得が促される。

また、音響処理システム１は、反射率保存部１２４を備えてもよい。反射率保存部１２４は、材質および音の反射率の情報を対応付けた情報を含む反射特性関連データを保存する。測定環境判定部１２６は、取得した情報として画像から特定される被写体の材質を特定し、反射特性関連データを参照して、特定した材質に対応する反射率を特定し、特定した反射率に基づいてインパルス応答を測定するか否かを判定する。
この構成によれば、取得された画像に表される被写体の材質を特定し、特定した材質から特定された反射率に基づいてインパルス応答を測定するか否かが判定される。そのため、実測を行わなくてもインパルス応答の測定環境における反射率が推定されるので、実測による音響環境の変化を伴わずにインパルス応答の測定の可否が判定される。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

この出願は、２０２０年９月１７日に出願された日本国特願２０２０－１５６３６８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、音響処理システム、音響処理方法、および記録媒体に適用してもよい。

１…音響処理システム
１０…音響処理装置
１１０…制御部
１１２…測定制御部
１１４…録音部
１１６…演算部
１２４…反射率保存部
１２６…測定環境判定部
１３０…記憶部
１４０…入出力部
１５０…表示部
１６０…操作部
Ａｓ…吸音材
Ｃｍ…画像取得部
Ｍｉｃ（Ｍｉｃ Ｌ、Ｍｉｃ Ｒ）…マイクロホン
Ｓｐ…スピーカ

Claims (5)

1. 所定の音源信号に基づく音を発する音源と、
   到来した音の受音信号を取得する受音部と、
   前記受音信号から前記音源から前記受音部へのインパルス応答を取得する演算部と、 前記音の発生から少なくとも所定の観測期間内に前記受音部に到来する反射音の経路上の物体を被覆する吸音材と、
   前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する測定環境情報取得部と、
   材質ごとに音の反射率の情報を含む反射特性関連データを保存する反射率保存部と、
   前記反射特性関連データを参照し、特定した材質に対応する反射率を特定し、
   前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する測定環境判定部と、を備える
   音響処理システム。
2. 前記演算部は、
   前記インパルス応答の前記観測期間の経過後の信号値を減衰させる
   請求項１に記載の音響処理システム。
3. 前記音源からの音の発生、前記受音信号の取得、および前記インパルス応答の取得を複数回反復させる測定制御部を備え、
   前記演算部は、
   複数の前記インパルス応答を同期加算する
   請求項１または請求項２に記載の音響処理システム。
4. 音源から音の発生から少なくとも所定の観測期間内に受音部に到来する反射音の経路上の物体を被覆する吸音材と、を備える音響処理システムのため音響処理方法であって、 前記音源が、所定の音源信号に基づく音を発する第１のステップと、
   前記受音部が、到来した音の受音信号を取得する第２のステップと、
   演算処理部が、前記受音信号から前記音源から前記受音部へのインパルス応答を取得する第３ステップと、
   測定環境情報取得部が、前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する第４ステップと、
   測定環境判定部が、反射率保存部に保存された材質ごとに音の反射率の情報を含む反射特性関連データを参照し、特定した材質に対応する反射率を特定し、
   前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する第５ステップと、を有する
   音響処理方法。
5. 音源から音の発生から少なくとも所定の観測期間内に受音部に到来する反射音の経路上の物体を被覆する吸音材と、を備える音響処理システムのコンピュータに、
   前記音源が、所定の音源信号に基づく音を発する第１のステップと、
   前記受音部が、到来した音の受音信号を取得する第２のステップと、
   演算処理部が、前記受音信号から前記音源から前記受音部へのインパルス応答を取得する第３ステップと、
   測定環境情報取得部が、前記インパルス応答の測定環境の画像に対して画像認識処理を行い前記測定環境における吸音材に相当する被写体の材質と、当該材質の分布を判定する第４ステップと、
   測定環境判定部が、反射率保存部に保存された材質ごとに音の反射率の情報を含む反射特性関連データを参照し、特定した材質に対応する反射率を特定し、
   前記材質の分布から算出される評価領域内の平均反射率に基づいて前記インパルス応答を測定する否かを判定する第５ステップと、
   を実行させるプログラム。

Images