Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7637386B2 - SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM - Google Patents
[go: Go Back, main page]

JP7637386B2 - SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM - Google Patents

SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM Download PDF

Info

Publication number
JP7637386B2
JP7637386B2 JP2021101271A JP2021101271A JP7637386B2 JP 7637386 B2 JP7637386 B2 JP 7637386B2 JP 2021101271 A JP2021101271 A JP 2021101271A JP 2021101271 A JP2021101271 A JP 2021101271A JP 7637386 B2 JP7637386 B2 JP 7637386B2
Authority
JP
Japan
Prior art keywords
sound
lens system
phase distribution
light
beam splitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021101271A
Other languages
Japanese (ja)
Other versions
JP2023000446A (en
Inventor
憲治 石川
善史 白木
健弘 守谷
靖広 及川
浩平 矢田部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
NTT Inc
NTT Inc USA
Original Assignee
Waseda University
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Waseda University
Priority to JP2021101271A priority Critical patent/JP7637386B2/en
Publication of JP2023000446A publication Critical patent/JP2023000446A/en
Application granted granted Critical
Publication of JP7637386B2 publication Critical patent/JP7637386B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Measurement Of Length By Optical Means (AREA)

Description

本発明は、光を用いた音場の可視化技術に関する。 The present invention relates to a technology for visualizing sound fields using light.

空間を音が伝播する様子や音源から音が放射される様子を直接観測することは、音響現象を理解する上で非常に重要である。そのような音の可視化は一般にマイクロホンアレイを用いて行われるが、多数のマイクロホンを空間的に密に並べることはシステムの肥大化やコストの増加に繋がるうえ、マイクロホンアレイの存在自体が測定対象となる音場を変化させてしまうといった課題がある。そのため、非接触かつ高い空間分解能を有する音の可視化手法として、光を用いた手法が提案されている。まず、音響光学効果と呼ばれる音による媒質の屈折率変化を利用した音場観測法について説明する。音響光学効果によると、音による光の位相変化φsは、

Figure 0007637386000001

と表される。ただし、kiは光の波数、n0は定常状態の空気屈折率、p0は定常状態の大気圧、γは空気の比熱比、pは音圧である。積分は光の伝搬経路に沿った線積分を表しており、ここでは光路をx軸と平行となるように定義した。ki、n0、p0、γは計測条件から分かる定数である。ここで測定される量は空間内の一点の音圧ではなく、光路に沿った音圧の線積分値に比例する。 Direct observation of how sound propagates through space and how sound is emitted from a sound source is extremely important in understanding acoustic phenomena. Such sound visualization is generally performed using a microphone array, but arranging a large number of microphones spatially densely leads to an increase in the size and cost of the system, and there are issues with the very existence of the microphone array changing the sound field being measured. For this reason, a method using light has been proposed as a non-contact sound visualization method with high spatial resolution. First, we will explain a sound field observation method that utilizes the change in refractive index of a medium caused by sound, known as the acousto-optic effect. According to the acousto-optic effect, the phase change φ s of light caused by sound is expressed as follows:
Figure 0007637386000001

where k i is the wave number of light, n 0 is the refractive index of air in a steady state, p 0 is the atmospheric pressure in a steady state, γ is the specific heat ratio of air, and p is the sound pressure. The integral represents the line integral along the propagation path of light, and here the light path is defined as being parallel to the x-axis. k i , n 0 , p 0 , and γ are constants that can be determined from the measurement conditions. The quantity measured here is proportional to the line integral value of the sound pressure along the light path, not the sound pressure at a point in space.

上述のような原理に基づいて、非特許文献1では並列位相シフト干渉法および高速度カメラを用いた瞬時2次元音場可視化手法が提案されている。音によって生じた光の位相変化を干渉光の強度変化として捉えることで、非接触な音の可視化を実現している。また、非特許文献2では、デジタルホログラフィの原理を用いることで音場の可視化を実現している。非特許文献3ではスペックルを利用したTVホログラフィ法によって同様な音の測定を実現している。 Based on the above principles, Non-Patent Document 1 proposes an instantaneous two-dimensional sound field visualization method using parallel phase-shifting interferometry and a high-speed camera. Non-contact sound visualization is achieved by capturing the phase change of light caused by sound as an intensity change of interference light. Non-Patent Document 2 also achieves sound field visualization by using the principles of digital holography. Non-Patent Document 3 achieves similar sound measurement using a TV holography method that utilizes speckles.

Kenji Ishikawa, Kohei Yatabe, Nachanant Chitanont, Yusuke Ikeda, Yasuhiro Oikawa, Takashi Onuma, Hayato Niwa, and Minoru Yoshii, "High-speed imaging of sound using parallel phase-shifting interferometry", Opt. Express 24, 12922-12932, 2016.Kenji Ishikawa, Kohei Yatabe, Nachanant Chitanont, Yusuke Ikeda, Yasuhiro Oikawa, Takashi Onuma, Hayato Niwa, and Minoru Yoshii, "High-speed imaging of sound using parallel phase-shifting interferometry", Opt. Express 24, 12922-12932, 2016. Osamu Matoba, Hiroki Inokuchi, Kouichi Nitta, and Yasuhiro Awatsuji, "Optical voice recorder by off-axis digital holography", Opt. Lett. 39, 6549-6552, 2014.Osamu Matoba, Hiroki Inokuchi, Kouichi Nitta, and Yasuhiro Awatsuji, "Optical voice recorder by off-axis digital holography", Opt. Lett. 39, 6549-6552, 2014. OJ. Lokberg, "Sound in flight: measurement of sound fields by use of TV holography", Appl Opt., 33(13), 2574-2584, 1994.OJ. Lokberg, "Sound in flight: measurement of sound fields by use of TV holography", Appl Opt., 33(13), 2574-2584, 1994.

このような従来の光による音場観測の課題のひとつが、観測範囲の拡大に伴うシステムの重量の増加である。一般的なレンズは口径が大きくなるほどレンズの厚みも増加するため、大口径では重量が著しく増加する。したがって、従来の音場観測のための光学系では、大口径にするほど重量が大幅に増加するという課題がある。特に数十cm以上の範囲を観測する大口径可視化システムの構築において、これらの課題が顕著である。 One of the challenges with conventional optical sound field observation is the increase in the weight of the system as the observation range expands. With a typical lens, the thickness of the lens increases as the aperture becomes larger, so the weight increases significantly with larger apertures. Therefore, conventional optical systems for sound field observation have the challenge of significantly increasing weight as the aperture becomes larger. These challenges are particularly pronounced when building large-aperture visualization systems that observe ranges of tens of centimeters or more.

本発明は、従来の音可視化システムよりもシステム全体の重量を抑えた音可視化システムを提供することを目的とする。 The present invention aims to provide a sound visualization system that has a lower overall system weight than conventional sound visualization systems.

上記の課題を解決するために、本発明の一態様によれば、音可視化システムは、レーザー光を放射するレーザーと、レーザー光の光路を2つに分離する第一ビームスプリッタと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、拡大レンズシステムを通過後の物体光のビーム径を縮小する縮小レンズシステムと、物体光と参照光とを結合する第二ビームスプリッタと、物体光と参照光とを結合して得られる干渉光から、演算によって、時系列の位相分布を得る位相分布計算部と、時系列の位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含み、可視化対象の音は、拡大レンズシステムと縮小レンズシステムとの間に生成される。 In order to solve the above problem, according to one aspect of the present invention, the sound visualization system includes a laser that emits laser light, a first beam splitter that splits the optical path of the laser light into two, a magnifying lens system that includes at least one lens that includes at least one of a fine structure and a discontinuous shape and expands the beam diameter of the object light after passing through the first beam splitter, a reduction lens system that includes at least one lens that includes at least one of a fine structure and a discontinuous shape and reduces the beam diameter of the object light after passing through the magnifying lens system, a second beam splitter that combines the object light and the reference light, a phase distribution calculation unit that obtains a time-series phase distribution by calculation from the interference light obtained by combining the object light and the reference light, and a filtering unit that removes components other than sound contained in the time-series phase distribution and extracts sound information, and the sound to be visualized is generated between the magnifying lens system and the reduction lens system.

上記の課題を解決するために、本発明の他の態様によれば、音可視化システムは、レーザー光を放射するレーザーと、レーザー光の光路を2つに分離する第一ビームスプリッタと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、拡大レンズシステムを通過後の物体光のビーム径を縮小する縮小レンズシステムと、縮小レンズシステムを通過後の物体光をスペックルパターンに変換するディフーザーと、スペックルパターンと参照光とを結合する第二ビームスプリッタと、スペックルパターンと参照光とを結合して得られる干渉光から、演算によって、時系列の位相分布を得る位相分布計算部と、時系列の位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含み、可視化対象の音は、拡大レンズシステムと縮小レンズシステムとの間に生成される。 In order to solve the above problem, according to another aspect of the present invention, the sound visualization system includes a laser that emits laser light, a first beam splitter that splits the optical path of the laser light into two, a magnifying lens system that includes at least one lens that includes at least one of a fine structure and a discontinuous shape and expands the beam diameter of the object light after passing through the first beam splitter, a reduction lens system that includes at least one lens that includes at least one of a fine structure and a discontinuous shape and reduces the beam diameter of the object light after passing through the magnifying lens system, a diffuser that converts the object light after passing through the reduction lens system into a speckle pattern, a second beam splitter that combines the speckle pattern and a reference light, a phase distribution calculation unit that obtains a time-series phase distribution by calculation from the interference light obtained by combining the speckle pattern and the reference light, and a filtering unit that removes components other than sound contained in the time-series phase distribution and extracts sound information, and the sound to be visualized is generated between the magnifying lens system and the reduction lens system.

本発明によれば、従来よりも音可視化システム全体の重量を抑えることができるという効果を奏する。 The present invention has the effect of reducing the weight of the entire sound visualization system compared to conventional systems.

第一実施形態に係る音可視化システムの機能ブロック図。FIG. 1 is a functional block diagram of a sound visualization system according to a first embodiment. 第一実施形態に係る音可視化システムの処理フローの例を示す図。FIG. 2 is a diagram showing an example of a processing flow of the sound visualization system according to the first embodiment. 干渉画像とホログラムの例を示す図。1A and 1B are diagrams showing examples of an interference image and a hologram. 音場を抽出する時空間フィルタによる効果を示す図。FIG. 13 is a diagram showing the effect of a spatiotemporal filter for extracting a sound field. フィルタなしの画像から計算した周波数スペクトルを示す図。FIG. 1 shows the frequency spectrum calculated from an unfiltered image. 第二実施形態に係る音可視化システムの機能ブロック図。FIG. 11 is a functional block diagram of a sound visualization system according to a second embodiment. 第二実施形態に係る音可視化システムの処理フローの例を示す図。FIG. 11 is a diagram showing an example of a processing flow of the sound visualization system according to the second embodiment. 第二実施形態の光学系によって生成されたスペックル画像および参照光を傾けたスペックル画像との差分の絶対値を示す図。13A and 13B are diagrams showing absolute values of the difference between a speckle image generated by the optical system of the second embodiment and a speckle image obtained by tilting the reference light. 本手法を適用するコンピュータの構成例を示す図。FIG. 13 is a diagram showing an example of the configuration of a computer to which the present technique is applied.

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。 The following describes an embodiment of the present invention. In the drawings used in the following description, components having the same functions and steps performing the same processing are denoted with the same reference numerals, and duplicate explanations will be omitted. In the following description, processing performed on an element-by-element basis of a vector or matrix is assumed to apply to all elements of that vector or matrix, unless otherwise specified.

<本発明のポイント>
従来の音場観測のための光学系では、大口径にするほど重量が大幅に増加するという課題に加え、以下の課題が考えられる。従来の装置では、音の計測のために精密な干渉計あるいはデジタルホログラフィを用いている。そこでは光波の干渉によって生じる干渉縞を観測するために、滑らかな表面を有するレンズが用いられる。このときレンズの表面が滑らかであるほど、レンズによって生じるむらが少なくきれいな干渉縞が得られる。レンズの表面をより滑らかにするほど精密な研磨が必要となるため、精密なレンズほど製造コストが増加するという課題が考えられる。
<Key Points of the Invention>
Conventional optical systems for observing sound fields have the problem that the weight increases significantly as the aperture is increased, and the following problems are also considered. Conventional devices use precision interferometers or digital holography to measure sound. Lenses with smooth surfaces are used to observe the interference fringes caused by the interference of light waves. The smoother the lens surface, the less unevenness caused by the lens and the cleaner the interference fringes that can be obtained. The smoother the lens surface, the more precise the polishing required, so there is a problem that the more precise the lens, the higher the manufacturing costs.

本発明は、音可視化システムに微細構造と形状の不連続との少なくとも何れかを含むレンズを用いる。微細構造と形状の不連続との少なくとも何れかを含むレンズとしては、フレネルレンズ、回折レンズ、メタレンズなどを用いることができる。このようなレンズを用いることで、軽量・薄型・小型な音可視化システムを構築することができる。特に、フレネルレンズを用いることで、製造コストを抑えることができるため、以降ではフレネルレンズを用いた例について説明する。フレネルレンズは通常の光学レンズの曲面を同心円状に分割し溝に置き換えたものであり、薄型・軽量でありながら光線を屈折させるレンズとしての機能を有する。大型化も容易であり低コストで製造可能であることから、主に集光用途や低品質の拡大鏡用途で利用されている。一方結像レンズとしての性能は低いため、高品質が要求されるイメージングや干渉計などの用途にはほとんど使用されていない。これは、フレネルレンズは構造上同心円状の不連続な形状を有するため、形状に起因する同心円状の線の発生、光の回折による結像性能の低下および波面の乱れが生じることなどが原因である。 The present invention uses a lens that includes at least one of a fine structure and discontinuous shape in a sound visualization system. As a lens that includes at least one of a fine structure and discontinuous shape, a Fresnel lens, a diffractive lens, a metalens, etc. can be used. By using such a lens, a light-weight, thin, and small sound visualization system can be constructed. In particular, by using a Fresnel lens, manufacturing costs can be reduced, so an example using a Fresnel lens will be described below. A Fresnel lens is a normal optical lens in which the curved surface is divided into concentric circles and replaced with grooves, and while being thin and lightweight, it functions as a lens that refracts light rays. Since it is easy to make it large and can be manufactured at low cost, it is mainly used for light-collecting applications and low-quality magnifying glass applications. On the other hand, since its performance as an imaging lens is low, it is rarely used for applications such as imaging and interferometers that require high quality. This is because the Fresnel lens has a concentric discontinuous shape due to its structure, which causes concentric lines due to the shape, a decrease in imaging performance due to light diffraction, and disturbance of the wavefront.

本発明は、フレネルレンズを光学系の一部として使用することにより、従来技術よりも低コストかつ軽量に大口径の光による音可視化システムを実現するものである。本発明では、測定対象である音場の物理的な特徴を利用し、フレネルレンズの使用によって生じる不都合を解消する。例えば、フレネルレンズによって発生する歪みパターンは時間的に変動しない量であるのに対して、音場は時空間的に変動する量であるので、信号処理によって変動する成分のみを抽出することによって低品質の干渉画像からでも音場情報を効率的に抽出することが可能となる。 The present invention uses a Fresnel lens as part of the optical system to realize a large-diameter light-based sound visualization system that is lower cost and lighter than conventional technology. The present invention uses the physical characteristics of the sound field to be measured to eliminate the inconveniences caused by the use of a Fresnel lens. For example, the distortion pattern generated by a Fresnel lens is a quantity that does not vary over time, whereas the sound field is a quantity that varies over time and space. Therefore, by extracting only the components that vary through signal processing, it becomes possible to efficiently extract sound field information even from low-quality interference images.

つまり、本発明のポイントは、音が時空間的に変動する成分であるという物理的な性質に着目して、通常は干渉計に不向きな低品質のフレネルレンズを用いた光学系で音場情報を観測可能とする点にある。単一の画像としては歪みやノイズが大きく測定対象が鮮明に観測されていない状態であっても、時系列画像に対して音の性質を考慮したフィルタリングを施すことにより音場を可視化することができる。フレネルレンズは、特に大口径の場合、一般的に干渉計に用いられるレンズに比べて遥かに軽量・薄型・安価であるため、従来よりも低コスト・軽量・薄型・小型な音可視化システムを構築することができる。 In other words, the key point of this invention is that it focuses on the physical property that sound is a component that fluctuates in time and space, and makes it possible to observe sound field information using an optical system that uses low-quality Fresnel lenses that are usually unsuitable for interferometers. Even if a single image has a lot of distortion and noise and the measurement target is not clearly observed, the sound field can be visualized by applying filtering to the time-series images that takes into account the properties of the sound. Fresnel lenses, especially in the case of large diameters, are much lighter, thinner, and less expensive than lenses generally used in interferometers, making it possible to build a sound visualization system that is lower cost, lighter, thinner, and smaller than conventional systems.

第一実施形態では、デジタルホログラフィによる方法(非特許文献2参照)を示す。 In the first embodiment, a method using digital holography (see Non-Patent Document 2) is shown.

<第一実施形態>
図1は第一実施形態に係る音可視化システムの機能ブロック図を、図2はその処理フローの例を示す。
First Embodiment
FIG. 1 is a functional block diagram of a sound visualization system according to a first embodiment, and FIG. 2 shows an example of the processing flow thereof.

音可視化システムは、レーザー110と、ビームスプリッタ120と、ミラー131,132と、レンズ141とフレネルレンズ143とを含む拡大レンズシステム140と、フレネルレンズ153とレンズ151とを含む縮小レンズシステム150と、ビームスプリッタ160と、カメラ170と、位相分布計算部180と、フィルタリング部190と、表示部195とを含む。 The sound visualization system includes a laser 110, a beam splitter 120, mirrors 131 and 132, a magnifying lens system 140 including a lens 141 and a Fresnel lens 143, a reducing lens system 150 including a Fresnel lens 153 and a lens 151, a beam splitter 160, a camera 170, a phase distribution calculation unit 180, a filtering unit 190, and a display unit 195.

なお、位相分布計算部180と、フィルタリング部190とを含む装置を音可視化装置ともいう。 Note that a device including the phase distribution calculation unit 180 and the filtering unit 190 is also referred to as a sound visualization device.

音可視化装置は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音可視化装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音可視化装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音可視化装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音可視化装置が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも音可視化装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置により構成し、音可視化装置の外部に備える構成としてもよい。 The sound visualization device is a special device configured by loading a special program into a publicly known or dedicated computer having, for example, a central processing unit (CPU), a main memory (RAM), etc. The sound visualization device executes each process under the control of the central processing unit, for example. Data input to the sound visualization device and data obtained in each process are stored in, for example, the main memory, and the data stored in the main memory is read out to the central processing unit as necessary and used for other processes. At least a part of each processing unit of the sound visualization device may be configured with hardware such as an integrated circuit. Each storage unit of the sound visualization device may be configured with, for example, a main storage device such as a RAM (Random Access Memory), or middleware such as a relational database or a key-value store. However, each storage unit does not necessarily have to be provided inside the sound visualization device, and may be configured with an auxiliary storage device configured with a semiconductor memory element such as a hard disk, optical disk, or flash memory, and may be configured to be provided outside the sound visualization device.

以下、各部について説明する。 Each part is explained below.

<光学系>
レーザー110は、レーザー光を放射する(S110)。
<Optical system>
The laser 110 emits a laser beam (S110).

ビームスプリッタ120は、レーザー光の光路を2つに分離する(S120)。一方のレーザー光を物体光とし、物体光路が音場を透過するように、他方のレーザー光を参照光とし、参照光路が音場を透過しないように、レーザー110と、ビームスプリッタ120と、ミラー131,132と、レンズ141とフレネルレンズ143と、フレネルレンズ153とレンズ151と、ビームスプリッタ160と、カメラ170とが配置される。 The beam splitter 120 splits the optical path of the laser light into two (S120). The laser 110, the beam splitter 120, the mirrors 131 and 132, the lens 141, the Fresnel lens 143, the Fresnel lens 153, the lens 151, the beam splitter 160, and the camera 170 are arranged so that one laser light is an object light and the object optical path passes through the sound field, and the other laser light is a reference light and the reference optical path does not pass through the sound field.

物体光は、ビームスプリッタ120を通過後、拡大レンズシステム140によってビーム径が拡大される(S140)。 After passing through the beam splitter 120, the object light has its beam diameter expanded by the magnifying lens system 140 (S140).

音場を透過した拡大された光は、縮小レンズシステム150によってビーム径が縮小される(S150)。 The expanded light that passes through the sound field has its beam diameter reduced by the reduction lens system 150 (S150).

ビームスプリッタ160は、物体光と参照光とを結合する(S160)。 The beam splitter 160 combines the object light and the reference light (S160).

カメラ170のイメージセンサは、ビームスプリッタ160によって結合された光を干渉画像として記録する(S170)。干渉画像は、カメラ170内のメモリに記録してもよいし、カメラ170と接続された音可視化装置の内部に設けられたメモリに記録してもよい。イメージセンサの前には結像レンズ系があってもよい。測定対象となる音場は、拡大レンズシステム140と縮小レンズシステム150の間に生成され、拡大された光は、音場を通過する。拡大レンズシステム140および縮小レンズシステム150に使用されるレンズの一部あるいは全部をフレネルレンズとする。図1の例では、拡大レンズシステム140、縮小レンズシステム150はそれぞれフレネルレンズ143,153を使用する。 The image sensor of the camera 170 records the light combined by the beam splitter 160 as an interference image (S170). The interference image may be recorded in a memory in the camera 170, or in a memory provided inside the sound visualization device connected to the camera 170. An imaging lens system may be provided in front of the image sensor. The sound field to be measured is generated between the magnifying lens system 140 and the reducing lens system 150, and the magnified light passes through the sound field. Some or all of the lenses used in the magnifying lens system 140 and the reducing lens system 150 are Fresnel lenses. In the example of FIG. 1, the magnifying lens system 140 and the reducing lens system 150 use Fresnel lenses 143 and 153, respectively.

高次の回折光および不要な周波数成分を除去するために、縮小レンズシステム150のフーリエ変換面に絞りを設置しても良い。本実施形態ではマッハツェンダ干渉計を例示しているが、マイケルソン干渉計、フィゾー干渉計などどのような干渉計を用いても良い。 To remove higher-order diffracted light and unnecessary frequency components, an aperture may be placed on the Fourier transform plane of the reduction lens system 150. In this embodiment, a Mach-Zehnder interferometer is used as an example, but any interferometer such as a Michelson interferometer or a Fizeau interferometer may be used.

<位相分布計算部180>
次に、位相分布計算部180は、メモリから干渉画像を取り出し、演算によって、可視化対象の音の時系列の位相分布を得る(S180)。例えば、位相分布計算部180は、干渉画像から音によって変調された物体光のホログラムあるいは位相分布を計算し、無音時の物体光の位相分布の画像と、音再生時の物体光の位相分布の時系列画像との差分である時系列の位相差分画像を得る。この時系列の位相差分画像が、前述の可視化対象の音の時系列の位相分布に相当する。
<Phase distribution calculation unit 180>
Next, the phase distribution calculation unit 180 retrieves the interference image from the memory, and obtains the time-series phase distribution of the sound to be visualized by calculation (S180). For example, the phase distribution calculation unit 180 calculates a hologram or phase distribution of the object light modulated by the sound from the interference image, and obtains a time-series phase difference image that is the difference between an image of the phase distribution of the object light when there is no sound and a time-series image of the phase distribution of the object light when the sound is reproduced. This time-series phase difference image corresponds to the time-series phase distribution of the sound to be visualized.

ある形態では、ビームスプリッタ160により結合される物体光および参照光の光軸を僅かにずらしたオフアクシス(非共軸)で重ね合わせる。位相分布計算部180は、干渉画像に記録された干渉縞から物体光のホログラムあるいは位相分布を計算する。 In one embodiment, the object light and the reference light combined by the beam splitter 160 are superimposed off-axis (non-coaxial) with the optical axes slightly shifted. The phase distribution calculation unit 180 calculates the hologram or phase distribution of the object light from the interference fringes recorded in the interference image.

別の形態では、干渉光に含まれる物体光と参照光の相対的な位相差をずらした複数枚の干渉画像を記録する。位相分布計算部180は、位相シフトアルゴリズムを用いて物体光のホログラムあるいは位相分布を計算する。物体光のホログラムを数値計算により逆伝播し、物体光路上の特定の面の物体光情報を計算し、その面での位相分布を画像として出力する。あるいは撮像面での位相分布を画像として出力する。 In another embodiment, multiple interference images are recorded in which the relative phase difference between the object light and the reference light contained in the interference light is shifted. The phase distribution calculation unit 180 calculates the hologram or phase distribution of the object light using a phase shift algorithm. The hologram of the object light is back-propagated by numerical calculation, object light information of a specific surface on the object light path is calculated, and the phase distribution at that surface is output as an image. Alternatively, the phase distribution at the imaging surface is output as an image.

イメージセンサは複数の干渉画像を記録し、位相分布計算部180は同様の手続きによって物体光の位相分布の時系列画像を得る。 The image sensor records multiple interference images, and the phase distribution calculation unit 180 obtains time-series images of the phase distribution of the object light by a similar procedure.

<フィルタリング部190>
フィルタリング部190は、位相分布計算部180で得られた時系列の位相差分画像から音情報を抽出するためのフィルタリングを行う(S190)。フィルタリングは位相分布に含まれる音以外の成分を除去する目的で行われる。フィルタの性質は測定対象である音の性質に基づいて決定する。なお、位相分布に含まれる音以外の成分とは、微細構造と形状の不連続との少なくとも何れかを含むレンズに起因するノイズを含む。
<Filtering Unit 190>
The filtering unit 190 performs filtering to extract sound information from the time-series phase difference images obtained by the phase distribution calculation unit 180 (S190). The filtering is performed for the purpose of removing components other than sound contained in the phase distribution. The properties of the filter are determined based on the properties of the sound to be measured. The components other than sound contained in the phase distribution include noise caused by a lens that has at least one of a fine structure and a discontinuous shape.

ある形態では、フィルタには画像の各ピクセルの時系列データを時間信号とみなして各ピクセルに対して独立したフィルタをかける。このとき、解析する音場の周波数帯域をあらかじめ規定し、その帯域の成分を通過させるバンドパスフィルタを用いることができる。また、低域あるいは高域の成分のみを通過させるローパスフィルタあるいはハイパスフィルタを用いることができる。 In one form, the filter treats the time series data of each pixel of the image as a time signal and applies an independent filter to each pixel. In this case, the frequency band of the sound field to be analyzed can be specified in advance, and a bandpass filter that passes the components of that band can be used. It is also possible to use a low-pass filter or high-pass filter that passes only low- or high-frequency components.

別の形態では、各画像に対して、空間周波数フィルタを用いることができる。同様に音の空間周波数を規定し、それに応じたフィルタを用いる。 Alternatively, a spatial frequency filter can be used for each image. Similarly, the spatial frequency of the sound is defined and a filter is used accordingly.

また別の形態では、3次元の時空間フィルタをかける方法がある。このとき、単一の時空間フィルタを用いることもできるし、時間フィルタと空間周波数フィルタの双方を独立して用いることもできる。 Another approach is to apply three-dimensional spatio-temporal filtering. In this case, a single spatio-temporal filter can be used, or both a time filter and a spatial frequency filter can be used independently.

ここで、測定する音場に周波数がイメージセンサのフレームレートの1/2以上の成分を含む場合、音の周波数はナイキスト周波数を超える。イメージセンサにはアンチエイリアスフィルタは搭載されていないので、ナイキスト周波数を超えた成分はナイキスト周波数を対称に折り返した周波数成分として記録される。したがってこのような場合は、折り返した周波数を対象として上述のフィルタリングを行う。 If the sound field being measured contains components whose frequency is equal to or greater than half the frame rate of the image sensor, the frequency of the sound will exceed the Nyquist frequency. Since the image sensor is not equipped with an anti-aliasing filter, components that exceed the Nyquist frequency will be recorded as frequency components that symmetrically fold back the Nyquist frequency. Therefore, in such cases, the filtering described above is performed on the folded back frequencies.

フィルタリング部190は、フィルタリングした位相分布の時系列画像を、時空間の音可視化データとして出力し、表示部195で表示する(S195)。表示部195は、例えば、ディスプレイやタッチパネル等からなる。 The filtering unit 190 outputs the filtered time-series image of the phase distribution as spatiotemporal sound visualization data and displays it on the display unit 195 (S195). The display unit 195 is, for example, a display or a touch panel.

<測定例>
次に第一実施形態の光学系による実際の測定例の結果を示す。超音波トランスデューサにより放射される40kHz正弦波音場を測定対象とした。撮影画像のサイズは240 × 240ピクセルであり、フレームレート100,000fpsの高速度カメラで100枚の画像を撮影した。図3に撮影した干渉画像sp1,ap1と、その画像に対してオフアクシスフレネル回折による逆伝播計算を施したホログラムsp2,ap2,sp3,ap3を示す。干渉画像sp1,ap1はカメラ170のイメージセンサが記録する干渉画像であり、位相差分画像p4は位相分布計算部180の出力値である。上段は無音時の干渉画像sp1,ホログラムsp2,sp3、下段は音再生時のあるフレームの干渉画像ap1,ホログラムap2,ap3である。最右の位相差分画像p4は音再生時と無音時のホログラムの位相sp3,ap3の差分を示している。干渉画像sp1,ap1においてフレネルレンズによる光量のむらが明確に観測されている。また、高周波の干渉縞も撮影されている。計算したホログラムsp2,ap2,sp3,ap3においてもフレネルレンズに起因するむらが支配的であり、位相分布は複雑なパターンを有している。位相差分画像p4では位相の不連続に起因する線状のパターンが現れている。ここでは音場を確認することはできないが、これは音場の振幅が約0.01radと小さく、ノイズパターンの方が顕著に大きいためである。この図3から、フレネルレンズを含む光学系を用いてもホログラムは取得可能であるが、その位相分布にはノイズがそのままでは大きく音の可視化は達成できていないことが分かる。
<Measurement example>
Next, the results of an actual measurement example using the optical system of the first embodiment are shown. The measurement target was a 40 kHz sine wave sound field emitted by an ultrasonic transducer. The size of the captured image was 240 × 240 pixels, and 100 images were captured using a high-speed camera with a frame rate of 100,000 fps. Figure 3 shows the captured interference images sp1 and ap1, and holograms sp2, ap2, sp3, and ap3 obtained by performing back propagation calculation using off-axis Fresnel diffraction on the images. The interference images sp1 and ap1 are interference images recorded by the image sensor of the camera 170, and the phase difference image p4 is the output value of the phase distribution calculation unit 180. The upper row shows the interference image sp1 and holograms sp2 and sp3 when there is no sound, and the lower row shows the interference image ap1, holograms ap2, and ap3 of a certain frame when sound is reproduced. The rightmost phase difference image p4 shows the difference between the phases sp3 and ap3 of the holograms when sound is reproduced and when there is no sound. In the interference images sp1 and ap1, the unevenness of the light amount due to the Fresnel lens is clearly observed. In addition, high-frequency interference fringes are also captured. In the calculated holograms sp2, ap2, sp3, and ap3, the unevenness due to the Fresnel lens is also dominant, and the phase distribution has a complex pattern. In the phase difference image p4, a linear pattern due to phase discontinuity appears. Here, the sound field cannot be confirmed, because the amplitude of the sound field is small at about 0.01 rad, and the noise pattern is significantly larger. From this Figure 3, it can be seen that although a hologram can be obtained using an optical system including a Fresnel lens, the phase distribution has a large amount of noise as it is, and sound visualization cannot be achieved.

図4に音場を抽出する時空間フィルタによる効果を示す。上段はフィルタを適用しない位相差分画像そのもの(位相分布計算部180の出力値の例)nf0,nf10,nf20、中段は各ピクセルに中心周波数40kHz、帯域幅1kHzの6次IIRバンドパスフィルタをかけた結果(フィルタリング部190の出力値の例(時間領域フィルタ))tf0,tf10,tf20、下段は中段の結果に対して標準偏差16ピクセルの2次元ガウス平滑化フィルタをかけた結果(フィルタリング部190の出力値の例(時間領域フィルタ+空間フィルタ))sf0,sf10,sf20を示す。なお図中の破線は音波面の位置を示すための補助線である。フィルタなしの結果nf0,nf10,nf20では音波面を認識することは難しい。一方、時間領域フィルタをかけた結果tf0,tf10,tf20では、3つのフレーム間で画像中右から左に向かって進行する波面が確認できるが、音波面に空間的に微細なフレネルレンズによるノイズパターンが重畳されている。空間フィルタをかけた結果sf0,sf10,sf20では、音波面は保存されたまま微細なノイズパターンが除去されている事が確認できる。この波面が音波であることを確認するため、上段のフィルタなしの画像nf0,nf10,nf20の中心部100ピクセルから計算した周波数スペクトルを図5に示す。音の周波数と一致する40kHzに明確なピークが現れており、可視化結果が音であることが確認された。 Figure 4 shows the effect of the spatio-temporal filter to extract the sound field. The top row shows the phase difference image itself without applying a filter (examples of output values of the phase distribution calculation unit 180) nf0, nf10, nf20, the middle row shows the results of applying a 6th order IIR bandpass filter with a center frequency of 40 kHz and a bandwidth of 1 kHz to each pixel (examples of output values of the filtering unit 190 (time domain filter)) tf0, tf10, tf20, and the bottom row shows the results of applying a 2D Gaussian smoothing filter with a standard deviation of 16 pixels to the results in the middle row (examples of output values of the filtering unit 190 (time domain filter + spatial filter)) sf0, sf10, sf20. Note that the dashed lines in the figure are auxiliary lines to indicate the position of the sound wavefront. It is difficult to recognize the sound wavefront with the results without a filter, nf0, nf10, nf20. On the other hand, in the results of applying the time domain filter, tf0, tf10, and tf20, a wavefront can be seen progressing from right to left in the image between the three frames, but a spatially fine noise pattern caused by a Fresnel lens is superimposed on the sound wavefront. In the results of applying the spatial filter, sf0, sf10, and sf20, it can be seen that the sound wavefront is preserved while the fine noise pattern has been removed. To confirm that this wavefront is a sound wave, the frequency spectrum calculated from the central 100 pixels of the unfiltered images nf0, nf10, and nf20 in the upper row is shown in Figure 5. A clear peak appears at 40 kHz, which coincides with the frequency of sound, confirming that the visualization result is sound.

<効果>
以上の構成により、従来よりも音可視化システム全体の重量を抑えることができる。
<Effects>
With the above configuration, the weight of the entire sound visualization system can be reduced compared to conventional systems.

フレネルレンズを用いることで、これまでコストやシステムの重量の観点からあまり実用的でなかった大口径の音可視化システムの構築が可能となる。例えば室内全体の音伝搬の様子を観測するためには、数十cm~数mの範囲を可視化することが望まれる。そのような大口径の干渉計を従来の光学系で実現しようとする場合、そのコストは非常に高くまたレンズも非常に重くなるため、実際に構築するのは非常に困難であった。それに対して本発明による方法を用いれば、安価かつ軽量なレンズで大口径の低コスト・軽量・薄型・小型な音可視化システムを構築することができる。そのような音可視化システムは、大型の楽器や電気音響機器、自動車や機械から放射される騒音など、多様な音場の可視化を実現し、音響現象の解明や音製品の品質向上・プロモーション等に有効である。
<その他の変形例>
本実施形態では、位相分布計算部180において、干渉画像から時系列の位相分布を得ているが、必ずしも干渉画像である必要はなく、干渉光から時系列の位相分布を得てもよい。本実施形態のように干渉光から干渉画像を得、干渉画像から時系列の位相分布を得てもよいし、干渉画像に限らず他の「干渉光から得られる情報」から時系列の位相分布を得てもよい。例えば、干渉光からチャネルごとの時間波形の集合を得、時間波形の集合から時系列の位相分布を得てもよい。
By using a Fresnel lens, it becomes possible to construct a large-aperture sound visualization system, which has not been very practical in the past due to the cost and weight of the system. For example, in order to observe the state of sound propagation throughout a room, it is desirable to visualize a range of several tens of centimeters to several meters. If such a large-aperture interferometer is to be realized using a conventional optical system, the cost is very high and the lens is very heavy, making it very difficult to actually build it. In contrast, by using the method of the present invention, a low-cost, lightweight, thin, and small-sized sound visualization system with a large aperture can be constructed using inexpensive and lightweight lenses. Such a sound visualization system can visualize various sound fields, such as noise emitted from large musical instruments, electroacoustic equipment, automobiles, and machines, and is effective in elucidating acoustic phenomena and improving and promoting the quality of sound products.
<Other Modifications>
In this embodiment, the phase distribution calculation unit 180 obtains the time series phase distribution from the interference image, but it is not necessarily an interference image, and the time series phase distribution may be obtained from the interference light. As in this embodiment, an interference image may be obtained from the interference light, and the time series phase distribution may be obtained from the interference image, or the time series phase distribution may be obtained from other "information obtained from the interference light" other than the interference image. For example, a set of time waveforms for each channel may be obtained from the interference light, and the time series phase distribution may be obtained from the set of time waveforms.

<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
Second Embodiment
The following description will focus on the differences from the first embodiment.

第二実施形態では、オフアクシススペックル干渉計による方法(非特許文献3参照)を示す。 In the second embodiment, a method using an off-axis speckle interferometer (see Non-Patent Document 3) is shown.

図6は第二実施形態に係る音可視化システムの機能ブロック図を、図7はその処理フローの例を示す。 Figure 6 shows a functional block diagram of the sound visualization system according to the second embodiment, and Figure 7 shows an example of the processing flow.

音可視化システムは、レーザー110と、ビームスプリッタ120と、ミラー131,132と、レンズ141とフレネルレンズ143とを含む拡大レンズシステム140と、フレネルレンズ153とレンズ151とを含む縮小レンズシステム150と、ディフューザー255と、絞り256と、レンズ257と、ビームスプリッタ160と、カメラ170と、位相分布計算部280と、フィルタリング部290と、表示部195とを含む。 The sound visualization system includes a laser 110, a beam splitter 120, mirrors 131 and 132, a magnifying lens system 140 including a lens 141 and a Fresnel lens 143, a reducing lens system 150 including a Fresnel lens 153 and a lens 151, a diffuser 255, an aperture 256, a lens 257, a beam splitter 160, a camera 170, a phase distribution calculation unit 280, a filtering unit 290, and a display unit 195.

なお、位相分布計算部280と、フィルタリング部290とを含む装置を音可視化装置ともいう。 Note that a device including the phase distribution calculation unit 280 and the filtering unit 290 is also referred to as a sound visualization device.

<ディフューザー255と、絞り256と、レンズ257>
本実施形態では、縮小レンズシステム150の後方にディフューザー255を設置する。ディフューザー255は、物体光をスペックルパターンに変換する(S255)。
<Diffuser 255, aperture 256, and lens 257>
In this embodiment, a diffuser 255 is installed behind the reduction lens system 150. The diffuser 255 converts the object light into a speckle pattern (S255).

ディフューザー255面上のスペックルパターンをレンズ257でカメラ170のイメージセンサ上に結像させる。本実施形態では、絞り256で光の量を調整する。第一実施形態と同様にビームスプリッタ160で参照光と物体光のスペックルパターンを結合し、干渉画像をカメラ170で記録する。図6の構成の他に、参照光側にもディフューザー・絞り・レンズを設置し、物体光スペックルパターンと参照光スペックルパターンの干渉画像を撮影してもよい。 The speckle pattern on the surface of the diffuser 255 is imaged on the image sensor of the camera 170 by the lens 257. In this embodiment, the amount of light is adjusted by the aperture 256. As in the first embodiment, the speckle patterns of the reference light and the object light are combined by the beam splitter 160, and an interference image is recorded by the camera 170. In addition to the configuration in FIG. 6, a diffuser, aperture, and lens may also be installed on the reference light side, and an interference image of the object light speckle pattern and the reference light speckle pattern may be captured.

本実施形態では、オフアクシススペックル干渉法によって干渉縞を撮像する。まず、音のない状態で物体光と参照光による干渉画像を記録する。次に、参照光の入射角を僅かに傾け、測定領域に測定対象となる音場を生成し、干渉画像を測定する。 In this embodiment, the interference fringes are captured using off-axis speckle interferometry. First, an interference image of the object light and reference light is recorded in a soundless state. Next, the angle of incidence of the reference light is slightly tilted to generate a sound field to be measured in the measurement area, and the interference image is measured.

<位相分布計算部280>
位相分布計算部280は、メモリから干渉画像を取り出し、干渉画像から、演算によって、時系列の位相分布を得る(S280)。例えば、位相分布計算部280は、音場再生時に測定した画像と初期状態の画像との差分を計算することで、オフアクシススペックル干渉画像を得る。このオフアクシススペックル干渉画像には、音場再生時の光波と初期状態の光波の位相差が干渉縞として含まれている。すなわち、参照光の角度変化に応じた空間周波数の干渉縞と音による光の位相変動成分が重畳された干渉画像が得られる。ここでこの干渉画像からフーリエ縞解析法などを用いて物体光の位相分布を計算する。この処理を各フレームに対して行うことによって、物体光の位相分布の時系列画像を得る。
<Phase distribution calculation unit 280>
The phase distribution calculation unit 280 retrieves the interference image from the memory, and obtains a time-series phase distribution from the interference image by calculation (S280). For example, the phase distribution calculation unit 280 obtains an off-axis speckle interference image by calculating the difference between an image measured during sound field reproduction and an image in an initial state. This off-axis speckle interference image contains the phase difference between the light wave during sound field reproduction and the light wave in the initial state as an interference fringe. That is, an interference image is obtained in which the interference fringe of the spatial frequency according to the angle change of the reference light and the phase fluctuation component of the light due to the sound are superimposed. Here, the phase distribution of the object light is calculated from this interference image using a Fourier fringe analysis method or the like. By performing this process for each frame, a time-series image of the phase distribution of the object light is obtained.

<フィルタリング部290>
この時系列画像には、音による位相変動の他に、スペックルによる雑音成分も含んでいるので、フィルタリング部290は、第一実施形態と同様のフィルタリング(S290)を行うことによって、スペックルによる雑音成分とともに、位相分布に含まれる音以外の成分を除去し、時空間の音可視化データを得る。
<Filtering Unit 290>
Since this time-series image contains noise components due to speckle in addition to phase fluctuations due to sound, the filtering unit 290 performs filtering (S290) similar to that of the first embodiment to remove components other than sound contained in the phase distribution, together with the noise components due to speckle, and obtains space-time sound visualization data.

本実施形態では、フレネルレンズによって光波面が乱れたとしても、ディフューザーがランダムなスペックルを生成するので、イメージセンサ全体に渡って性質が均一なスペックルが生成される。したがって、参照光を傾けることによって高いコントラストの干渉縞を生成することができる。第二実施形態の光学系によって生成されたスペックル画像および参照光を傾けたスペックル画像との差分の絶対値を図8に示す。図8の左の画像Aは初期スペックルパターンを、中央の画像Bは参照光を傾けたスペックルパターンを、右の画像Cは初期スペックルパターンと参照光を傾けたスペックルパターンとの差分の絶対値を示す。 In this embodiment, even if the light wavefront is disturbed by the Fresnel lens, the diffuser generates random speckles, so that speckles with uniform properties are generated across the entire image sensor. Therefore, by tilting the reference light, it is possible to generate interference fringes with high contrast. Figure 8 shows the absolute value of the difference between the speckle image generated by the optical system of the second embodiment and the speckle image with the reference light tilted. Image A on the left of Figure 8 shows the initial speckle pattern, image B in the center shows the speckle pattern with the reference light tilted, and image C on the right shows the absolute value of the difference between the initial speckle pattern and the speckle pattern with the reference light tilted.

参照光の入射角を傾けることで、フレネルレンズを用いたとしてもスペックル干渉縞が観測可能であることが分かる。このようなスペックル干渉計では、音の変動とランダムなスペックルパターンが重畳されて測定されるが、音と雑音成分の違いを利用して、フィルタリングによって効率的にスペックルパターンの除去が可能である。特にスペックルパターンの大きさが音波長に比べて十分に小さい場合は、ローパスフィルタによってスペックル成分を除去できる。 It can be seen that by tilting the angle of incidence of the reference light, speckle interference fringes can be observed even when a Fresnel lens is used. In such a speckle interferometer, sound fluctuations and random speckle patterns are measured in a superimposed manner, but by utilizing the difference between sound and noise components, it is possible to efficiently remove the speckle pattern by filtering. In particular, when the size of the speckle pattern is sufficiently small compared to the sound wavelength, the speckle component can be removed by a low-pass filter.

<効果>
このような構成とすることで、第一実施形態と同様の効果を得ることができる。
<Effects>
With this configuration, it is possible to obtain the same effects as in the first embodiment.

<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<Other Modifications>
The present invention is not limited to the above-mentioned embodiment and modified examples. For example, the above-mentioned various processes may be executed not only in chronological order as described, but also in parallel or individually depending on the processing capacity of the device executing the processes or as necessary. In addition, appropriate modifications are possible within the scope of the present invention.

<プログラム及び記録媒体>
上述の音可視化装置の処理は、図9に示すコンピュータの記憶部2020に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
<Program and recording medium>
The processing of the above-described sound visualization device can be implemented by loading a program for executing each step of the above-described method into the storage unit 2020 of the computer shown in FIG. 9 , and operating the control unit 2010, input unit 2030, output unit 2040, etc.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing this processing can be recorded on a computer-readable recording medium. Examples of computer-readable recording media include magnetic recording devices, optical disks, magneto-optical recording media, and semiconductor memories.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The program may be distributed, for example, by selling, transferring, or lending portable recording media such as DVDs or CD-ROMs on which the program is recorded. Furthermore, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to other computers via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program, for example, first stores in its own storage device the program recorded on a portable recording medium or the program transferred from a server computer. Then, when executing a process, the computer reads the program stored in its own recording medium and executes the process according to the read program. As another execution form of this program, the computer may read the program directly from the portable recording medium and execute the process according to the program, or may execute the process according to the received program each time a program is transferred from the server computer to this computer. Alternatively, the server computer may not transfer the program to this computer, but may execute the above-mentioned process by a so-called ASP (Application Service Provider) type service that realizes the processing function only by issuing an execution instruction and obtaining the results. Note that the program in this form includes information used for processing by an electronic computer that is equivalent to a program (such as data that is not a direct command to the computer but has properties that specify the processing of the computer).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In addition, in this embodiment, the device is configured by executing a specific program on a computer, but at least a portion of the processing may be realized by hardware.

Claims (6)

レーザー光を放射するレーザーと、
前記レーザー光の光路を2つに分離する第一ビームスプリッタと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小する縮小レンズシステムと、
前記縮小レンズシステムを通過後の前記物体光と参照光とを結合する第二ビームスプリッタと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、第二ビームスプリッタによって結合された光を干渉画像として記録するカメラと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算部と、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含
音可視化システム。
A laser that emits laser light;
a first beam splitter that splits the optical path of the laser light into two;
a magnifying lens system including at least one lens having a microstructure and/or a discontinuity in shape, and configured to magnify a beam diameter of the object light after passing through the first beam splitter;
a reduction lens system including at least a lens having at least one of a microstructure and a discontinuity in shape, the reduction lens system reducing a beam diameter of the object light after passing through the magnification lens system;
a second beam splitter for combining the object beam and the reference beam after passing through the reduction lens system ;
a camera for recording the light combined by the second beam splitter as an interference image;
a phase distribution calculation unit that obtains a time series phase distribution from the interference image by calculation;
A filtering unit that removes components other than sound included in the time-series phase distribution and extracts sound information.
Sound visualization system.
レーザー光を放射するレーザーと、
前記レーザー光の光路を2つに分離する第一ビームスプリッタと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小する縮小レンズシステムと、
前記縮小レンズシステムを通過後の前記物体光をスペックルパターンを備えた物体光に変換するディフューザーと、
前記スペックルパターンと参照光とを結合する第二ビームスプリッタと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、第二ビームスプリッタによって結合された光を干渉画像として記録するカメラと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算部と、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含
音可視化システム。
A laser that emits laser light;
a first beam splitter that splits the optical path of the laser light into two;
a magnifying lens system including at least one lens having a microstructure and/or a discontinuity in shape, and configured to magnify a beam diameter of the object light after passing through the first beam splitter;
a reduction lens system including at least a lens having at least one of a microstructure and a discontinuity in shape, the reduction lens system reducing a beam diameter of the object light after passing through the magnification lens system;
a diffuser that converts the object light after passing through the reduction lens system into an object light having a speckle pattern;
a second beam splitter for combining the speckle pattern and a reference beam;
a camera for recording the light combined by the second beam splitter as an interference image;
a phase distribution calculation unit that obtains a time series phase distribution from the interference image by calculation;
A filtering unit that removes components other than sound included in the time-series phase distribution and extracts sound information.
Sound visualization system.
請求項1または請求項2の位相分布計算部とフィルタリング部とを含む音可視化装置であって、
前記位相分布に含まれる音以外の成分は、微細構造と形状の不連続との少なくとも何れかを含むレンズに起因するノイズを含む、
音可視化装置。
A sound visualization device comprising the phase distribution calculation unit and a filtering unit according to claim 1 or 2,
The non-sound components included in the phase distribution include noise caused by a lens having at least one of a fine structure and a discontinuity in shape.
Sound visualization device.
レーザーがレーザー光を放射するステップと、
第一ビームスプリッタが前記レーザー光の光路を2つに分離するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む拡大レンズシステムが、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む縮小レンズシステムが、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小するステップと、
第二ビームスプリッタが前記縮小レンズシステムを通過後の前記物体光と参照光とを結合するステップと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、カメラが、第二ビームスプリッタによって結合された光を干渉画像として記録するステップと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算ステップと、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリングステップとを含
音可視化方法。
a laser emitting laser light;
A first beam splitter splits the optical path of the laser light into two;
A magnifying lens system including at least a lens having at least one of a microstructure and a discontinuity in shape expands a beam diameter of the object light after passing through the first beam splitter;
A reduction lens system including at least a lens having at least one of a microstructure and a discontinuity in shape, reducing a beam diameter of the object light after passing through the magnification lens system;
a second beam splitter combining the object beam and the reference beam after passing through the reduction lens system ;
a sound to be visualized is generated between the magnifying lens system and the reducing lens system, and a camera records the light combined by the second beam splitter as an interference image;
a phase distribution calculation step of obtaining a time series phase distribution from the interference image by calculation;
A filtering step of removing components other than sound included in the time series phase distribution and extracting sound information.
Sound visualization methods.
レーザーがレーザー光を放射するステップと、
第一ビームスプリッタが前記レーザー光の光路を2つに分離するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む拡大レンズシステムが、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む縮小レンズシステムが、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小するステップと、
ディフューザーが前記縮小レンズシステムを通過後の前記物体光をスペックルパターンを備えた物体光に変換するステップと、
第二ビームスプリッタが前記スペックルパターンと参照光とを結合するステップと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、カメラが、第二ビームスプリッタによって結合された光を干渉画像として記録するステップと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算ステップと、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリングステップとを含
音可視化方法。
a laser emitting laser light;
A first beam splitter splits the optical path of the laser light into two;
A magnifying lens system including at least a lens having at least one of a microstructure and a discontinuity in shape expands a beam diameter of the object light after passing through the first beam splitter;
A reduction lens system including at least a lens having at least one of a microstructure and a discontinuity in shape, reducing a beam diameter of the object light after passing through the magnification lens system;
a diffuser converting the object beam after passing through the reduction lens system into an object beam having a speckle pattern;
a second beam splitter combining the speckle pattern and a reference beam;
a sound to be visualized is generated between the magnifying lens system and the reducing lens system, and a camera records the light combined by the second beam splitter as an interference image;
a phase distribution calculation step of obtaining a time series phase distribution from the interference image by calculation;
A filtering step of removing components other than sound included in the time series phase distribution and extracting sound information.
Sound visualization methods.
請求項3の音可視化装置としてコンピュータを機能させるためのプログラム。 A program for causing a computer to function as the sound visualization device of claim 3.
JP2021101271A 2021-06-18 2021-06-18 SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM Active JP7637386B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021101271A JP7637386B2 (en) 2021-06-18 2021-06-18 SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021101271A JP7637386B2 (en) 2021-06-18 2021-06-18 SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2023000446A JP2023000446A (en) 2023-01-04
JP7637386B2 true JP7637386B2 (en) 2025-02-28

Family

ID=84687179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021101271A Active JP7637386B2 (en) 2021-06-18 2021-06-18 SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7637386B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025041282A1 (en) * 2023-08-23 2025-02-27 日本電信電話株式会社 Learning device, noise removal device, and training data generation device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000088515A (en) 1998-09-11 2000-03-31 Kazuhiro Hane Transition and speed sensors using a thin-film optical sensor that can transmit laser light
JP3090711U (en) 2002-04-11 2002-12-26 光群雷射科技股▲ふん▼有限公司 Continuous focus changing imaging device for interferometer
JP2003172656A (en) 2001-12-06 2003-06-20 Shibasoku:Kk Interferometer
JP2005241348A (en) 2004-02-25 2005-09-08 Matsushita Electric Ind Co Ltd Sound field visualization measuring device
JP2015206665A (en) 2014-04-19 2015-11-19 国立大学法人神戸大学 Sound field three-dimensional image measurement method by digital holography, and sound reproduction method
JP2019505804A (en) 2016-02-17 2019-02-28 エーファウ・グループ・エー・タルナー・ゲーエムベーハー Measuring device and measuring method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10132507A (en) * 1996-10-31 1998-05-22 Nikon Corp Interferometer
JPH1114462A (en) * 1997-06-24 1999-01-22 Toshiba Corp Phase measurement device
JPH11108763A (en) * 1997-09-30 1999-04-23 Seitai Hikarijoho Kenkyusho:Kk Light measuring device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000088515A (en) 1998-09-11 2000-03-31 Kazuhiro Hane Transition and speed sensors using a thin-film optical sensor that can transmit laser light
JP2003172656A (en) 2001-12-06 2003-06-20 Shibasoku:Kk Interferometer
JP3090711U (en) 2002-04-11 2002-12-26 光群雷射科技股▲ふん▼有限公司 Continuous focus changing imaging device for interferometer
JP2005241348A (en) 2004-02-25 2005-09-08 Matsushita Electric Ind Co Ltd Sound field visualization measuring device
JP2015206665A (en) 2014-04-19 2015-11-19 国立大学法人神戸大学 Sound field three-dimensional image measurement method by digital holography, and sound reproduction method
JP2019505804A (en) 2016-02-17 2019-02-28 エーファウ・グループ・エー・タルナー・ゲーエムベーハー Measuring device and measuring method

Also Published As

Publication number Publication date
JP2023000446A (en) 2023-01-04

Similar Documents

Publication Publication Date Title
Kelly et al. Resolution limits in practical digital holographic systems
JP6995376B2 (en) 3D object information measuring device
WO2012005315A1 (en) Holographic microscope, microscopic subject hologram image recording method, method of creation of hologram for reproduction of high-resolution image, and method for reproduction of image
JP2002526815A (en) Method and apparatus for simultaneously forming an amplitude contrast image and a quantitative phase contrast image by numerically reconstructing a digital hologram
CN112823316B (en) Holographic imaging device and holographic imaging method
JP7157505B1 (en) Optical measuring method and optical measuring system
JP7723988B2 (en) Optical measurement system and optical measurement method
Ishikawa et al. Interferometric imaging of acoustical phenomena using high-speed polarization camera and 4-step parallel phase-shifting technique
KR20190137733A (en) Apparatus and Method For Detecting Defects
CN117420098A (en) An adaptive diffraction phase microscopy imaging device and method
JP7637386B2 (en) SOUND VISUALIZATION SYSTEM, SOUND VISUALIZATION DEVICE, SOUND VISUALIZATION METHOD, AND PROGRAM
CN118444545A (en) Automatic phase distortion removing method applied to digital holographic microscopy
CN107885070A (en) A kind of incoherent digital hologram single exposure imaging method and system based on SLM
JP4069204B2 (en) Displacement distribution measurement method using digital holography
Zhong et al. Visual measurement of instable sound field using common-path off-axis digital holography
JP2018021891A (en) Method of acquiring phase of optical system and method of evaluating optical system
CN107526278A (en) A kind of digital hologram imaging method based on diffraction grating, system
CN117850185A (en) A method for suppressing zero-order terms in off-axis digital holography based on binary phase modulation
CN108594617A (en) The big view field imaging recording method of incoherent digital hologram and device
CN102288203B (en) Method for removing carrier frequency based on cutting principle
TW202605517A (en) Optical measurement system and optical measurement method
JP2018004621A (en) Method for acquiring phase of optical system and method for evaluating optical system
JP4038576B2 (en) Displacement distribution measurement method and object image reproduction method using digital holography
JP5106472B2 (en) Method and apparatus for generating original image restoration data
Shen et al. Large depth-of-field structured light system for 3D microscale measurement with integrated speckle denoising

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250206

R150 Certificate of patent or registration of utility model

Ref document number: 7637386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350