JP7622852B2 - Estimation device, estimation method, and program - Google Patents
Estimation device, estimation method, and program Download PDFInfo
- Publication number
- JP7622852B2 JP7622852B2 JP2023539439A JP2023539439A JP7622852B2 JP 7622852 B2 JP7622852 B2 JP 7622852B2 JP 2023539439 A JP2023539439 A JP 2023539439A JP 2023539439 A JP2023539439 A JP 2023539439A JP 7622852 B2 JP7622852 B2 JP 7622852B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- reverberation
- estimation device
- value based
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the other groups of this subclass
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
本発明は、壁などの反射率を推定する推定技術に関する。 The present invention relates to an estimation technique for estimating the reflectance of walls and other objects.
LiDAR(Light Detection and RangingまたはLaser Imaging Detection and Ranging)に代表される点群センサを用いた機器は数多く存在する。例えば、非特許文献1では建物の内外の点群データを取得可能である機器が記載されている。ここで、点群データとは現実の所定の空間内を3次元座標空間とし、座標ごとに点の有無を表現するデータのことをいう。点群データには座標ごとの点の有無に加え付加情報を加えることも可能であるが、付加情報は一般に当該点の色に係る情報である。There are many devices that use point cloud sensors, such as LiDAR (Light Detection and Ranging or Laser Imaging Detection and Ranging). For example, Non-Patent
点群データを利用して当該空間における音響信号をシミュレーションしようとすると、点の有無だけではなく点の反射率を考慮する必要がある。なお、反射率とは、音が反射した際の波形の波の減衰値を表す。例えば、音が反射率0.5の壁にぶつかった場合、反射前の波の半分の振幅の波が壁から反射する。このような反射率を現実空間で測定しようとする場合、インパルス応答が用いられることがあるが、熟練者が時間をかけて行う必要がある。 When trying to simulate an acoustic signal in a given space using point cloud data, it is necessary to consider not only the presence or absence of points but also the reflectivity of the points. Reflectivity represents the attenuation of the wave of a waveform when sound is reflected. For example, when sound hits a wall with a reflectivity of 0.5, a wave with half the amplitude of the wave before reflection is reflected from the wall. When trying to measure such reflectivity in real space, impulse response is sometimes used, but this requires a skilled person to spend time on it.
本発明は、シミュレーション空間と現実空間を利用し、短時間での反射率の推定を可能とする技術を提供することを目的とする。 The present invention aims to provide a technology that utilizes simulation space and real space to enable estimation of reflectance in a short period of time.
上記の課題を解決するために、本発明の一態様によれば、推定装置は、所定の空間内における壁面の反射率を推定する。推定装置は、所定の空間内を模擬したシミュレーション空間における所定の位置から発せられた音響信号の残響に基づく値を取得するシミュレーション取得部と、現実空間である所定の空間において、所定の位置に対応する位置から発せられた音響信号の残響に基づく値を取得する現実空間取得部と、シミュレーション空間における残響に基づく値と、現実空間における残響に基づく値と、の差を用いた評価値を利用して壁面の反射率を推定するパラメータ推定部とを含む。In order to solve the above problem, according to one aspect of the present invention, an estimation device estimates the reflectance of a wall surface in a predetermined space. The estimation device includes a simulation acquisition unit that acquires a value based on the reverberation of an acoustic signal emitted from a predetermined position in a simulation space that simulates the predetermined space, a real space acquisition unit that acquires a value based on the reverberation of an acoustic signal emitted from a position corresponding to the predetermined position in the predetermined space, which is a real space, and a parameter estimation unit that estimates the reflectance of the wall surface using an evaluation value that uses the difference between the value based on the reverberation in the simulation space and the value based on the reverberation in the real space.
本発明によれば、短時間で反射率を推定することができるという効果を奏する。 The present invention has the effect of enabling reflectance to be estimated in a short period of time.
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。 Below, an embodiment of the present invention will be described. In the drawings used in the following description, components having the same functions and steps performing the same processing will be given the same reference numerals, and duplicate explanations will be omitted. In the following description, processing performed on each element of a vector or matrix will be applied to all elements of that vector or matrix, unless otherwise specified.
<第一実施形態のポイント>
(1)所定の空間内を模擬したシミュレーション空間における所定の位置から発せられた音響信号の残響に基づく値と、現実空間である所定の空間において、シミュレーション空間における所定の位置に対応する位置から発せられた音響信号の残響に基づく値との差分が最小となるように、壁面の反射率を推定する。
<Key Points of the First Embodiment>
(1) The reflectance of the wall surface is estimated so that the difference between a value based on the reverberation of an acoustic signal emitted from a specified position in a simulation space that simulates a specified space and a value based on the reverberation of an acoustic signal emitted from a position in the specified space, which is real space, that corresponds to the specified position in the simulation space, is minimized.
(2)音響信号の残響に基づく値として、RT60を用いることで、インパルス応答に比べて音源の位置やマイクロホンの位置による影響を減らし、計算量の削減を可能とする。(2) By using RT60 as a value based on the reverberation of the acoustic signal, the effects of the position of the sound source and the microphone are reduced compared to the impulse response, making it possible to reduce the amount of calculations.
<第一実施形態に係る推定システム>
図1は第一実施形態に係る推定システムの機能ブロック図を、図2はその処理フローを示す。
<Estimation system according to the first embodiment>
FIG. 1 is a functional block diagram of an estimation system according to a first embodiment, and FIG. 2 shows a process flow thereof.
推定システムは、取得部110と、推定装置100と、インパルス応答出力部190とを含む。
The estimation system includes an
推定システムは、取得部110を介して収音を行う空間の点群データを取得し、点群データを用いて所定の空間の反射率を推定し、反射率の推定値iを用いて、所定の空間における、任意の音源位置と任意のマイクロホン位置とのインパルス応答を推定し、出力する。The estimation system acquires point cloud data of the space where sound is collected via the
推定装置100は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。推定装置100は、例えば、中央演算処理装置の制御のもとで各処理を実行する。推定装置100に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。推定装置100の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。推定装置100が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも推定装置100がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、推定装置100の外部に備える構成としてもよい。The
以下、各部について説明する。 Each part is explained below.
<取得部110>
取得部110は、収音を行う空間の点群データRを取得し(S110)、出力する。図3は取得部110の機能ブロック図を、図4はその処理フローの例を示す。例えば、取得部110は、空間センシング部111とノイズ除去部113と空間モデル結合部115とを含む。
<
The
<空間センシング部111>
空間センシング部111は、収音を行う空間の点群データを取得し(S111)、出力する。例えば、空間センシング部111は、収音を行う空間内に設置されたLiDARからなり、光を対象物に向けて発射し、発光後反射光を受光するまでの時間の差により対象物までの距離を求め、発射方向から対象物の方向を求める。この距離や方向が点群データで表される。空間センシング技術としては、様々な従来技術を用いることができる。例えば、既存の空間センシング技術として参考文献1が知られている。
<
The
(参考文献1) 伊東 敏夫、「自動運転のためのLiDAR技術の原理と活用法」、科学情報出版株式会社、2020年
<ノイズ除去部113>
ノイズ除去部113は、点群データを受け取り、点群データに含まれるノイズを除去し(S113)、除去後の点群データを出力する。ノイズ除去技術としては、様々な従来技術を用いることができる。例えば、既存のノイズ除去技術として参考文献2が知られている。
(Reference 1) Toshio Ito, "Principles and Utilization of LiDAR Technology for Autonomous Driving", Science Information Publishing Co., Ltd., 2020 <
The
(参考文献2)Rusu, R. B., Z. C. Marton, N. Blodow, M. Dolha, and M. Beetz, "Towards 3D Point Cloud Based Object Maps for Household Environments", Robotics and Autonomous Systems Journal, 2008.
なお、図5および図6は、ノイズ除去後の点群データの例を表す。図5は空間センシング部111(例えばLiDAR)を仰角0度、図6は仰角-90度として取得した点群データである。
(Reference 2) Rusu, RB, ZC Marton, N. Blodow, M. Dolha, and M. Beetz, "Towards 3D Point Cloud Based Object Maps for Household Environments", Robotics and Autonomous Systems Journal, 2008.
5 and 6 show examples of point cloud data after noise removal. Fig. 5 shows point cloud data acquired with the spatial sensing unit 111 (e.g., LiDAR) at an elevation angle of 0 degrees, and Fig. 6 shows point cloud data acquired with an elevation angle of -90 degrees. It is.
<空間モデル結合部115>
空間モデル結合部115は、複数の点群データを受け取り、複数の点群データを結合して、空間の形状を復元し(S115)、空間の形状を示す点群データRを出力する。例えば、LiDARを回転させながら、仰角の異なる複数の点群データを得、反復最近接点(ICP: Iterative Closest Point)アルゴリズムにより複数の点群データを組み合わせて3次元シーンを再構成する。空間モデル結合技術としては、様々な従来技術を用いることができる。例えば、既存の空間モデル結合技術として参考文献3が知られている。
<Spatial Model Combination Unit 115>
The spatial
(参考文献3) Szymon.R and Marc.L, "Efficient Variants of the ICP Algorithm", Proceedings Third International Conference on 3-D Digital Imaging and Modeling, 2001, pp. 145-152.
<推定装置100>
推定装置100は、空間の形状を示す点群データRを受け取り、点群データRを用いて所定の空間の反射率を推定し、反射率の推定値iを出力する。
(Reference 3) Szymon.R and Marc.L, "Efficient Variants of the ICP Algorithm", Proceedings Third International Conference on 3-D Digital Imaging and Modeling, 2001, pp. 145-152.
<
The
例えば、推定装置100は、部屋形状作成部120、パラメータ入力部130、インパルス応答推定部140、残響時間計算部160、実環境インパルス応答取得部150、評価関数計算部170およびパラメータ推定部180を含む(図1参照)。For example, the
推定装置100は、推定装置100を構成するコンピュータ内に取得部110を含んでもよいし、含まなくともよい。取得部110を含まない場合には、推定装置100は図示しない点群データを入力するための入力インターフェースを含む。取得部110を含む場合には、推定装置100を構成するコンピュータ内で、処理S113および処理S115、または、処理S115を行ってもよい。この場合、コンピュータ内で行う処理に対応する部分の前段に図示しない入力部が設けられ、入力部は収音を行う空間の点群データに基づく情報(空間センシング部111の出力する点群データそのもの、または、ノイズ除去部113の出力するノイズを除去した点群データ)を受け取る。The
<部屋形状作成部120>
部屋形状作成部120は、空間の形状を示す点群データRを受け取り、点群データRに現れない空間の形状を補完し(S120)、補完した空間の形状Uを出力する。
<Room
The room
図7は部屋形状作成部120の機能ブロック図を、図8はその処理フローの例を示す。
Figure 7 shows a functional block diagram of the room
例えば、部屋形状作成部120は、壁面抽出部121と欠損補完部123とを含む。For example, the room
<壁面抽出部121>
壁面抽出部121は、空間の形状を示す点群データRを受け取り、空間の形状を用いて、空間を形成する壁面を抽出し(S121)、出力する。
<Wall
The wall
例えば、壁面抽出部121は、RANSAC(Random Sample Consensus)を壁面抽出用に改善したアルゴリズムを利用して、空間を形成する壁面のパラメータを取得することで、壁面を抽出する。以下にその例を示す。For example, the wall
(1)空間の形状を示す点群データRを、観測角度に基づき、分割する。例えば、水平面において、M個の方向に分割する。(1) Divide the point cloud data R that shows the shape of the space based on the observation angle. For example, divide it into M directions on the horizontal plane.
(2)M分割した方向の中からm番目の方向(ROI(region of interest))を指定する。ただし、m=1,2,…,Mとする。(2) Specify the mth direction (ROI (region of interest)) from among the M divided directions, where m = 1, 2, ..., M.
(3)ROIに属する点群から3点a,b,cをランダムに取得する。 (3) Randomly select three points a, b, and c from the point cloud belonging to the ROI.
(4)3点a,b,cから3点a,b,cを含む平面の方程式ax+by+cz+d=0の係数を計算する。例えば、ベクトルab,acの外積から係数を計算する。 (4) Calculate the coefficients of the equation ax+by+cz+d=0 of the plane containing the three points a,b,c from the three points a,b,c. For example, calculate the coefficients from the cross product of the vectors ab and ac.
(5)ROIに属する点群の各点と平面との距離を計算し、距離が所定の閾値以下となる点の数nqを求める。ただし、q=1,2,…,Qとする。例えば、d=n(p-a)により距離dを計算する。nは3点a,b,cを含む平面の法線ベクトルであり、pはROIに属する点群の各点である。 (5) Calculate the distance between each point of the point group belonging to the ROI and the plane, and find the number of points nq whose distance is equal to or less than a predetermined threshold, where q = 1, 2, ..., Q. For example, calculate the distance d by d = n(pa), where n is the normal vector of the plane that includes the three points a, b, and c, and p is each point of the point group belonging to the ROI.
(6)上述の(3)~(5)をQ回繰り返し、Q個の数nqの中から最大の点の数nmとその数に対応する係数をその方向mのパラメータとする。 (6) Repeat the above steps (3) to (5) Q times, and among the Q numbers n q, the maximum number of points n m and the coefficient corresponding to that number are set as the parameters of the direction m.
(7)上述の(2)~(6)をM回繰り返し、M個の数nmの中から最大の点の数の方向を選択する。 (7) Repeat the above steps (2) to (6) M times and select the direction with the maximum number of points from the M numbers n m .
(8)上述の(7)で選択した方向に対応する係数で示される平面との距離が閾値以下の点を集め、集めた点群から法線ベクトルを求める。例えば、SVD(Singular Value Decomposition)や共分散行列のPCA(Principal Component Analysis)で法線ベクトルを求めることができる。(8) Collect points whose distance from the plane indicated by the coefficient corresponding to the direction selected in (7) above is less than a threshold, and find the normal vector from the collected points. For example, the normal vector can be found using SVD (Singular Value Decomposition) or PCA (Principal Component Analysis) of the covariance matrix.
(9)法線ベクトルを点群データの中で最大の壁面として記録する。 (9) Record the normal vector as the largest wall surface in the point cloud data.
(10)最大の壁面に所属する点群データをデータから除き、(1)へ戻る。なお、最大の壁面に所属する点群データが、抽出された壁面を表す。 (10) Remove the point cloud data belonging to the largest wall from the data and return to (1). Note that the point cloud data belonging to the largest wall represents the extracted wall.
なお、最大の壁面に所属する点群データが全体の点群データRに占める割合がある所定の値以下になる場合、そこには壁面がないものとする。つまり、ある方向において、上述の(5)の閾値以下となる点の数nqの割合が所定の値以下になる場合には、そこに壁面がないものとする。さらに、上述の(10)で最大の壁面に所属する点群データをデータから除くため、抽出できる壁面が徐々に減っていき、自動的に収束する。なお、このような構成により、壁や天井だけでなく、反射がありそうなある程度の点群の平面形状を抽出し、結果として家具や機材もある空間として模擬する。例えば、最大の壁面に所属する点群データが為す平面が所定の閾値(例えば20cm四方)以下になるまで処理を繰り返すように制御してもよい。所定の閾値は処理量に合わせて推定すればよい。 In addition, when the ratio of the point cloud data belonging to the largest wall to the entire point cloud data R is equal to or less than a certain value, it is determined that there is no wall there. In other words, when the ratio of the number of points n q that are equal to or less than the threshold value in (5) above in a certain direction is equal to or less than a certain value, it is determined that there is no wall there. Furthermore, since the point cloud data belonging to the largest wall is removed from the data in (10) above, the number of walls that can be extracted gradually decreases and automatically converges. In addition, with this configuration, not only walls and ceilings but also a certain degree of planar shape of the point cloud that is likely to have reflections is extracted, and as a result, a space that also contains furniture and equipment is simulated. For example, the process may be controlled to be repeated until the plane formed by the point cloud data belonging to the largest wall is equal to or less than a predetermined threshold value (for example, 20 cm square). The predetermined threshold value may be estimated according to the amount of processing.
<欠損補完部123>
欠損補完部123は、空間を形成する壁面を受け取り、空間に壁面以外の物体が存在し、壁面の一部の形状を推定できない場合、推定できた壁面の他部の形状から壁面の一部の形状を推定し、推定した壁面の一部を用いて空間の形状を補完し(S123)、補完後の空間の形状Uを出力する。
<
The
上述の通り、LiDARはレーザの反射を利用して距離を計測しているため、遮蔽物がありレーザが届かない領域ではデータの欠損が生じる。そこで、欠損データを推定できた壁面の情報から補完し、頂点(部屋の角)を求める。As mentioned above, LiDAR uses the reflection of a laser to measure distance, so data is lost in areas where the laser cannot reach due to obstructions. Therefore, the missing data is supplemented using estimated wall information to find the vertices (room corners).
図9の例では、ディスプレイDが遮蔽物となり、図中、破線で囲まれている部分に存在している壁面が観測できない。なお、図9は、仰角0度の水平面の点群データであり、点OはLiDARの設置位置である。In the example of Figure 9, display D is an obstruction, and the wall surface in the area surrounded by the dashed line in the figure cannot be observed. Note that Figure 9 shows point cloud data on a horizontal plane with an elevation angle of 0 degrees, and point O is the installation position of the LiDAR.
例えば、平面近似によって壁面(a,b,c,d)のパラメータを抽出し、直線から壁の頂点座標を求める。つまり、図10のように、直線の交点Pを壁の頂点座標として求め、図10の破線部分に壁面があるものとして扱う。For example, the parameters of the wall (a, b, c, d) are extracted by plane approximation, and the coordinates of the vertices of the wall are found from the straight lines. In other words, as shown in Figure 10, the intersection point P of the straight lines is found as the coordinates of the vertex of the wall, and the wall is treated as being located in the dashed line area in Figure 10.
<パラメータ入力部130>
パラメータ入力部130は、音源位置Sとマイクロホン位置Mとを入力として受け付け(S130)、インパルス応答推定部140に出力する。所定の空間内を模擬したシミュレーション空間における音源位置Sおよびマイクロホン位置Mに対応する現実空間における位置にスピーカおよびマイクロホンが配置される。そのため、音源位置Sおよびマイクロホン位置Mは、現実空間において、スピーカおよびマイクロホンが配置可能な位置である。音源位置Sおよびマイクロホン位置Mとしてそれぞれ1つ以上の位置を想定することができる。パラメータ入力部130は例えばキーボードやマウス等の入力装置であり、音源位置はパラメータ入力部130を介して利用者によって入力される。例えば、パラメータ入力部130は、欠損補完部123の出力である補完後の空間の形状を受け取り(図1中、破線で示す)、補完後の空間の形状をディスプレイ等の表示装置を介して利用者に提示し、利用者が、マウス等を利用して補完後の空間のどこに音源を配置するかを指定する構成としてもよい。または、LiDARから取得した点群データRから参考文献4のような物体認識を利用し、自動で入力する構成としてもよいし、認識した物体の位置から人手に選択する構成としてもよい。
<
The
(参考文献4) D. Maturana and S. Scherer, "VoxNet: A 3D Convolutional Neural Network for real-time object recognition", 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 922-928, doi: 10.1109/IROS.2015.7353481.
また、パラメータ入力部130は記憶媒体の読み取り装置であり、推定装置100はパラメータ入力部130を介して音源位置とマイクロホン位置を記憶した記憶媒体を読み取ることで音源位置とマイクロホン位置を入力として受け付けてもよい。
(Reference 4) D. Maturana and S. Scherer, "VoxNet: A 3D Convolutional Neural Network for real-time object recognition", 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 922-928, doi: 10.1109/IROS.2015.7353481.
The
あるいは、人手によって事前に音源位置とマイクロホン位置を推定装置100に入力しておいてもよい。
Alternatively, the sound source position and microphone position may be manually input into the
<インパルス応答推定部140>
インパルス応答推定部140は、音源位置Sと空間の形状Uと受聴位置Mと反射率の推定値Rまたは初期値Riniとを入力とし、これらの値を用いて、空間の形状Uにおける音源位置Sと受聴位置Mのインパルス応答を推定し(S140)、インパルス応答の推定値ieを出力する。初期値Riniは事前に人手により入力されるものとする。例えば、Rini=0.5とする。反射率の推定値Rは、後述するパラメータ推定部180の出力である。
<Impulse
The impulse
例えば、インパルス応答推定部140は、音源位置Sと空間の形状Uと反射率の推定値Rまたは初期値Riniと受聴位置Mとを用いて、音源位置Sでの空間における受聴位置Mの空間伝達関数を算出する。空間伝達関数算出技術としては、様々な従来技術を用いることができる。例えば、空間の形状Uと反射率の推定値Rまたは初期値Riniとから音波伝搬をシミュレーションし、受聴位置Mでの到来音を予測するためFDTD法(finite-difference time-domain method)によるシミュレーションを行い、空間伝達関数を算出する。さらに、インパルス応答推定部140は、空間伝達関数を用いてインパルス応答を推定する。
For example, the impulse
<実環境インパルス応答取得部150>
実環境インパルス応答取得部150は、現実空間である所定の空間において、音源位置Sに対応する位置から発せられる音響信号を受聴位置Mに対応する位置で収音して、取得し、音源位置Sに対応する位置と受聴位置Mに対応する位置のインパルス応答を測定し(S150)、インパルス応答の測定値imを出力する。例えば、現実空間である所定の空間の音源位置Sに対応する位置に配置したスピーカからTSP(Time Stretched Pulse)信号を再生し、現実空間である所定の空間の受聴位置に対応する位置に配置したマイクロホンで収音し、インパルス応答を測定する。マイクとスピーカは、別装置であってもよいし、スマートスピーカなどの一体型の装置であってもよい。
<Real environment impulse
The real environment impulse
<残響時間計算部160>
残響時間計算部160は、インパルス応答の推定値ieとインパルス応答の測定値imとを入力とし、インパルス応答の推定値ieの残響時間reと、インパルス応答の測定値imの残響時間riとを計算し(S160)、出力する。例えば、残響時間としてRT60を用いる。RT60とは、部屋の残響が60dB下がるまでにかかる時間である。RT60を利用することで、インパルス応答のように場所や音源位置で過敏に変化せず、部屋の構造や材質による数値として頑健に得られることから利用している。
<Reverberation
The reverberation
インパルス応答推定部140と残響時間計算部160の組合せを、所定の空間内を模擬したシミュレーション空間における所定の位置(音源位置)から発せられた音響信号の残響に基づく値(RT60)を取得するため、シミュレーション取得部ともいう。The combination of the impulse
また、実環境インパルス応答取得部150と残響時間計算部160の組合せを、現実空間である所定の空間において、所定の位置に対応する位置から発せられた音響信号の残響に基づく値(RT60)を取得するため、現実空間取得部ともいう。
In addition, the combination of the real environment impulse
<評価関数計算部170>
評価関数計算部170は、残響時間reと残響時間rmとを入力とし、残響時間reと残響時間rmの差を用いて評価値Eを計算し(S170)、出力する。評価値としては、例えば、インパルス応答の推定値ieのRT60と、インパルス応答の測定値imのRT60との二乗誤差が考えられ、次式で表される。
<Evaluation
The evaluation
E=(re-rm)2
<パラメータ推定部180>
パラメータ推定部180は、評価値Eを入力とし、評価値を利用して壁面の反射率を推定し(S180)、推定値Rを出力する。
E = (r e -r m ) 2
<
The
本実施形態では、パラメータ推定部180は、ガウス過程によるパラメータ推定を行う。In this embodiment, the
ガウス過程によるパラメータ推定に必要な項目として、評価値Eと操作するパラメータを用いる。例えば、操作するパラメータは各壁面の反射率である。 The items required for parameter estimation using the Gaussian process are the evaluation value E and the parameter to be manipulated. For example, the parameter to be manipulated is the reflectance of each wall surface.
観測点を利用してガウス分布に従う回帰曲線を真値の範囲に絞る。 Using observation points, the regression curve that follows a Gaussian distribution is narrowed down to the range of true values.
どの点を取得していけば最大値が求まるかをガウス過程に従い効率よく探索する。 The Gaussian process is used to efficiently search for which points to obtain in order to find the maximum value.
図11は、ガウス過程によるパラメータ推定を説明するための図である。図の縦軸は評価値を表し、横軸は反射率のインデックスを表す。 Figure 11 is a diagram to explain parameter estimation using a Gaussian process. The vertical axis of the diagram represents the evaluation value, and the horizontal axis represents the reflectance index.
パラメータ推定部180は、各パラメータによって評価関数が一意に求まり、ガウス分布によって回帰曲線を予測し、評価値Eが最小となる予測されるパラメータ(反射率)に逐次更新し、高速な評価関数の最低値の探索が可能となっている。The
パラメータ推定部180は、繰り返し回数が所定の回数以下の場合には(S185のNO)、更新したパラメータをインパルス応答推定部140に出力し、処理S140~S180を行い、パラメータ推定を繰り返す。If the number of iterations is less than or equal to a predetermined number (NO at S185), the
パラメータ推定部180は、繰り返し回数が所定の回数を超えた場合には(S185のYES)、最小の評価関数となったパラメータを、最終的な反射率の推定値Rfとして出力する。
If the number of iterations exceeds a predetermined number (YES in S185), the
<インパルス応答出力部190>
インパルス応答出力部190は、音源位置S'と空間の形状Uと受聴位置M'と最終的な反射率の推定値Rfとを入力とし、これらの値を用いて、音源位置S'での空間における受聴位置M'のインパルス応答を推定し(S190)、インパルス応答の推定値iを出力する。例えば、インパルス応答推定部140と同様の方法によりインパルス応答を推定する。音源位置S'と受聴位置M'とを変更しながら様々な位置におけるインパルス応答を推定することができる。
<Impulse
The impulse
推定装置100は、推定装置100を構成するコンピュータ内にインパルス応答出力部190を含んでもよいし、含まなくともよい。The
<効果>
以上の構成により、短時間で反射率を推定することができる。また、RT60を利用することでインパルス応答に比べて音源の位置やマイクロホンの位置による影響を減らし、計算量の削減を可能とする。
<Effects>
The above configuration allows us to estimate the reflectance in a short time. In addition, by using RT60, the influence of the sound source position and microphone position is reduced compared to impulse response, making it possible to reduce the amount of calculation.
スマートスピーカなどに含まれるマイクロホンとスピーカ、および、LiDARなどの測位機能を持つ機器を用いて、本実施形態を適用することで、周囲の正確な構造と構造物の反射率などのパラメータを推定することができる。さらに、利用場所の推定や、正確なシミュレーション情報から音響処理への応用(雑音抑圧、残響抑圧)が可能となる。 By applying this embodiment to a microphone and speaker included in a smart speaker, etc., and a device with a positioning function such as LiDAR, it is possible to estimate the exact structure of the surroundings and parameters such as the reflectance of the structure. Furthermore, it is possible to estimate the location of use and apply accurate simulation information to acoustic processing (noise suppression, reverberation suppression).
<変形例>
本実施形態では、取得部110の出力値である空間の形状Uをインパルス応答推定部140の入力として用いているが、建物の設計時に作成したBIMデータ(建築CADデータ)をインパルス応答推定部140の入力として用いてもよい。この場合、取得部110および部屋形状作成部120を含まなくともよい。
<Modification>
In this embodiment, the spatial shape U, which is the output value of the
本実施形態では、音響信号の残響に基づく値としてRT60を利用しているが、音響信号の残響に基づく値としてインパルス応答を利用してもよい。この場合、推定装置100は、残響時間計算部160を含まなくともよい。ただし、前述の通り、RT60を利用することで、インパルス応答に比べて音源の位置やマイクロホンの位置による影響を減らし、計算量の削減を可能とする。In this embodiment, RT60 is used as a value based on the reverberation of the acoustic signal, but an impulse response may also be used as a value based on the reverberation of the acoustic signal. In this case, the
本実施形態では、評価値としては、E=(re-rm)2を用いているが、他の評価値を用いてもよい。例えば、E=-(re-rm)2を用いてもよい。この場合、パラメータ推定部180では、最大の評価関数となったパラメータを、最終的な反射率の推定値Rfとして出力する。
In this embodiment, E = (r e -r m ) 2 is used as the evaluation value, but other evaluation values may be used. For example, E = -(r e -r m ) 2 may be used. In this case, the
要は、シミュレーション空間における残響に基づく値と、現実空間における残響に基づく値と、の差を用い、(i)この差が大きくなるほど大きくなる値を用いて、最小の評価関数となったパラメータを、最終的な反射率の推定値Rfとするか、(ii)この差が大きくなるほど小さくなる値を用いて、最大の評価関数となったパラメータを、最終的な反射率の推定値Rfとすればよい。 In short, the difference between the value based on reverberation in the simulation space and the value based on reverberation in the real space is used, and (i) the larger the difference is, the larger the value that results in the smallest evaluation function is used as the final reflectance estimate Rf , or (ii) the smaller the value that results in the largest evaluation function is used as the final reflectance estimate Rf .
<シミュレーション結果>
FDTD法で推定すると非常に時間がかかるため、本シミュレーションでは鏡像法を利用する。鏡像法にはPyroomacousticsを利用する。反射率の真値を0.15とし、評価関数には、インパルス応答のL2ノルムではなく、RT60のノルムを利用する。
<Simulation results>
Since estimation using the FDTD method takes a very long time, this simulation uses the mirror image method. Pyroomacoustics is used for the mirror image method. The true value of the reflectance is set to 0.15, and the RT60 norm is used for the evaluation function instead of the L2 norm of the impulse response.
1変数の推定の結果、RT60の差を用いることで、インパルス応答の差を直接計算するより精度は落ちるが、真値に近づくことが確認された。実測値との差を埋める場合はRT60がインパルス応答に比べて誤差が少ないことが分かった。 As a result of estimating one variable, it was confirmed that using the difference in RT60 is less accurate than directly calculating the difference in impulse response, but it does get closer to the true value. It was found that when filling in the gap with the actual measured value, RT60 has less error than impulse response.
図12は、ガウス過程による更新と評価関数および推定したパラメータ値の表である。なお、図12中、iterは繰り返し回数を、targetは評価関数を、var_absは反射率を表す。真値0.15が繰り返し回数13回で評価関数を最大としている。本シミュレーションでは、評価関数(二乗誤差)にマイナスを掛けることで、評価関数が最大になる変数を探索している。 Figure 12 is a table showing updates using the Gaussian process, the evaluation function, and the estimated parameter values. In Figure 12, iter represents the number of iterations, target represents the evaluation function, and var_abs represents the reflectance. The true value of 0.15 maximizes the evaluation function after 13 iterations. In this simulation, the evaluation function (squared error) is multiplied by a negative number to search for variables that maximize the evaluation function.
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<Other Modifications>
The present invention is not limited to the above-mentioned embodiment and modified examples. For example, the above-mentioned various processes may be executed not only in chronological order as described, but also in parallel or individually depending on the processing capacity of the device executing the processes or as necessary. In addition, appropriate modifications are possible within the scope of the present invention.
<プログラム及び記録媒体>
上述の各種の処理は、図13に示すコンピュータの記憶部2020に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
<Program and recording medium>
The various processes described above can be implemented by loading a program that executes each step of the above method into the
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。The program describing the processing can be recorded on a computer-readable recording medium. Examples of computer-readable recording media include magnetic recording devices, optical disks, magneto-optical recording media, and semiconductor memories.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program may be distributed, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing it in a storage device of a server computer and transferring the program from the server computer to other computers via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。A computer that executes such a program, for example, first stores in its own storage device the program recorded on a portable recording medium or the program transferred from a server computer. Then, when executing a process, the computer reads the program stored in its own recording medium and executes the process according to the read program. As another execution form of this program, the computer may read the program directly from the portable recording medium and execute the process according to the program, or may execute the process according to the received program each time a program is transferred from the server computer to this computer. In addition, the server computer may not transfer the program to this computer, but may execute the above-mentioned process by a so-called ASP (Application Service Provider) type service that realizes the processing function only by issuing an execution instruction and obtaining the results. Note that the program in this embodiment includes information used for processing by an electronic computer that is equivalent to a program (such as data that is not a direct command to the computer but has a nature that specifies the processing of the computer).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In addition, in this embodiment, the device is configured by executing a specific program on a computer, but at least a portion of the processing content may be realized by hardware.
Claims (6)
前記所定の空間内を模擬したシミュレーション空間における所定の位置から発せられた音響信号の残響に基づく値を取得するシミュレーション取得部と、
現実空間である前記所定の空間において、前記所定の位置に対応する位置から発せられた音響信号の残響に基づく値を取得する現実空間取得部と、
前記シミュレーション空間における残響に基づく値と、前記現実空間における残響に基づく値と、の差を用いた評価値を利用して壁面の反射率を推定するパラメータ推定部と、
を含む推定装置。 An estimation device for estimating a reflectance of a wall surface in a predetermined space, comprising:
a simulation acquisition unit that acquires a value based on reverberation of an acoustic signal emitted from a predetermined position in a simulation space that simulates the predetermined space;
a real space acquisition unit that acquires a value based on reverberation of an acoustic signal emitted from a position corresponding to the predetermined position in the predetermined space, which is a real space;
a parameter estimation unit that estimates a reflectance of a wall surface by using an evaluation value that is a difference between a value based on reverberation in the simulation space and a value based on reverberation in the real space;
An estimation device comprising:
前記前記シミュレーション空間における残響に基づく値と、前記現実空間における残響に基づく値と、の二乗誤差に基づく値を前記評価値として求める評価関数計算部を含む、
推定装置。 The estimation device of claim 1,
an evaluation function calculation unit that calculates, as the evaluation value, a value based on a square error between a value based on reverberation in the simulation space and a value based on reverberation in the real space;
Estimation device.
前記パラメータ推定部は、ガウス分布によって回帰曲線を予測し、前記評価値が最小または最大となる反射率を推定する、
推定装置。 The estimation device according to claim 1 or 2,
The parameter estimation unit predicts a regression curve using a Gaussian distribution and estimates a reflectance at which the evaluation value is minimum or maximum.
Estimation device.
前記シミュレーション取得部は、
前記所定の空間内を模擬したシミュレーション空間における音源位置と受聴位置のインパルス応答を推定するンパルス応答推定部と、
インパルス応答の推定値の残響時間を計算する残響時間計算部と、を含み、
現実空間取得部は、
現実空間である前記所定の空間において、前記音源位置に対応する位置から発せられる音響信号を前記受聴位置に対応する位置で収音して、取得し、前記音源位置に対応する位置と前記受聴位置に対応する位置のインパルス応答を測定する実環境インパルス応答取得部と、
インパルス応答の測定値の残響時間を計算する残響時間計算部と、を含み、
前記シミュレーション空間における残響に基づく値は、インパルス応答の推定値の残響時間であり、
前記現実空間における残響に基づく値は、インパルス応答の測定値の残響時間である、
推定装置。 The estimation device according to any one of claims 1 to 3,
The simulation acquisition unit includes:
an impulse response estimation unit that estimates impulse responses of a sound source position and a listening position in a simulation space that simulates the predetermined space;
a reverberation time calculation unit for calculating a reverberation time of an estimated impulse response;
The real space acquisition unit includes:
a real-environment impulse response acquisition unit that acquires an acoustic signal emitted from a position corresponding to the sound source position at a position corresponding to the listening position in the predetermined space, which is a real space, and measures impulse responses at the position corresponding to the sound source position and the position corresponding to the listening position;
a reverberation time calculation unit for calculating the reverberation time of the measured impulse response;
the value based on the reverberation in the simulation space is the reverberation time of an estimate of the impulse response;
the value based on reverberation in real space is the reverberation time of a measured impulse response;
Estimation device.
前記推定装置が、前記所定の空間内を模擬したシミュレーション空間における所定の位置から発せられた音響信号の残響に基づく値を取得するシミュレーション取得ステップと、
前記推定装置が、現実空間である前記所定の空間において、前記所定の位置に対応する位置から発せられた音響信号の残響に基づく値を取得する現実空間取得ステップと、
前記推定装置が、前記シミュレーション空間における残響に基づく値と、前記現実空間における残響に基づく値と、の差を用いた評価値を利用して壁面の反射率を推定するパラメータ推定ステップと、
を含む推定方法。 An estimation method for estimating a reflectance of a wall surface in a predetermined space using an estimation device, comprising:
a simulation acquisition step in which the estimation device acquires a value based on reverberation of an acoustic signal emitted from a predetermined position in a simulation space that simulates the predetermined space;
a real space acquisition step in which the estimation device acquires, in the predetermined space, which is a real space, a value based on reverberation of an acoustic signal emitted from a position corresponding to the predetermined position;
a parameter estimation step in which the estimation device estimates a reflectance of a wall surface by using an evaluation value obtained by calculating a difference between a value based on reverberation in the simulation space and a value based on reverberation in the real space;
An estimation method including:
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/028897 WO2023012920A1 (en) | 2021-08-04 | 2021-08-04 | Estimation device, estimation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023012920A1 JPWO2023012920A1 (en) | 2023-02-09 |
| JP7622852B2 true JP7622852B2 (en) | 2025-01-28 |
Family
ID=85154411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023539439A Active JP7622852B2 (en) | 2021-08-04 | 2021-08-04 | Estimation device, estimation method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7622852B2 (en) |
| WO (1) | WO2023012920A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2838084A1 (en) | 2013-08-13 | 2015-02-18 | Thomson Licensing | Method and Apparatus for determining acoustic wave propagation within a modelled 3D room |
| JP2017085265A (en) | 2015-10-26 | 2017-05-18 | 日本放送協会 | Impulse response generation device and program |
| JP2020153906A (en) | 2019-03-22 | 2020-09-24 | アルパイン株式会社 | Acoustic characteristic measurement system, and acoustic characteristic measurement method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100573971B1 (en) * | 2003-11-19 | 2006-04-26 | 학교법인 한양학원 | Impulse Response System and Method Considering Material Properties of Wall in Virtual Space |
-
2021
- 2021-08-04 WO PCT/JP2021/028897 patent/WO2023012920A1/en not_active Ceased
- 2021-08-04 JP JP2023539439A patent/JP7622852B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2838084A1 (en) | 2013-08-13 | 2015-02-18 | Thomson Licensing | Method and Apparatus for determining acoustic wave propagation within a modelled 3D room |
| JP2017085265A (en) | 2015-10-26 | 2017-05-18 | 日本放送協会 | Impulse response generation device and program |
| JP2020153906A (en) | 2019-03-22 | 2020-09-24 | アルパイン株式会社 | Acoustic characteristic measurement system, and acoustic characteristic measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023012920A1 (en) | 2023-02-09 |
| JPWO2023012920A1 (en) | 2023-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| An et al. | Reflection-aware sound source localization | |
| US20160364907A1 (en) | Selective surface mesh regeneration for 3-dimensional renderings | |
| JP7521894B2 (en) | Extracting feature trees from meshes | |
| US8995675B2 (en) | Methods and systems for direct-to-indirect acoustic radiance transfer | |
| JP2018109976A (en) | Depth sensor noise | |
| JP7505880B2 (en) | Generating structured 3D models from raw meshes | |
| KR101949609B1 (en) | Method and system for updating occupancy map based on super ray | |
| CN114556421A (en) | Scene representation using image processing | |
| Ye et al. | 3d reconstruction in the presence of glasses by acoustic and stereo fusion | |
| CN113220018B (en) | Unmanned aerial vehicle path planning method and device, storage medium and electronic equipment | |
| Tekalp et al. | On statistical identification of a class of linear space-invariant image blurs using non-minimum-phase ARMA models | |
| Bertin et al. | Joint estimation of sound source location and boundary impedance with physics-driven cosparse regularization | |
| CN118225072A (en) | Map updating method and device based on 2D-SLAM, electronic equipment and storage medium | |
| JP7622852B2 (en) | Estimation device, estimation method, and program | |
| Antani et al. | Direct-to-indirect acoustic radiance transfer | |
| Charalampous et al. | Sound propagation in 3D spaces using computer graphics techniques | |
| WO2022153359A1 (en) | Microphone position presentation method, device therefor, and program | |
| Morell et al. | 3d maps representation using gng | |
| CN110060346A (en) | Determine the set for representing the facet of real object skin | |
| Santana et al. | An approach for 2d visual occupancy grid map using monocular vision | |
| Wiemann et al. | An evaluation of open source surface reconstruction software for robotic applications | |
| JP4877744B2 (en) | Building sound simulation system | |
| WO2019116541A1 (en) | Information processing device and measurable region simulation method | |
| KR102105752B1 (en) | System and method for sound source localization using reflection aware | |
| Justo et al. | 3d surfaces reconstruction and volume changes in underwater environments using msis sonar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241230 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7622852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |