JP5456563B2 - 音源推定用画像の表示方法とその装置 - Google Patents

Description

本発明は、複数のマイクロフォンで採取した音の情報と、撮影手段で撮影した映像の情報とを用いて、音源を推定するための画像を表示する方法とその装置に関するものである。

従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。

具体的には、図７に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ₁₃と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ₂₄との比から、計測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、前記各マイクロフォン対を構成するマイクロフォン間の到達時間差Ｄ₁₃，Ｄ₂₄及びＤ_5j（ｊ＝１〜４）から、計測点と音源の位置との成す仰角φを推定する。
計測点から測った音源方向は、前記水平角θと前記仰角φとにより表わせる。

これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段を設けて前記推定された音源方向の画像を撮影した後、この画像データと音源方向のデータとを合成して、映像中に前記推定した音源方向と音圧レベルとを図形で表示した音源推定用画像をディスプレイ等の表示画面に表示するようにすれば、音源を視覚的に把握することができる。
また、音の採取と同時に映像採取手段にて映像を連続的に撮影し、音の情報である音圧波形データと映像の情報である画像データとをコンピュータのハードディスクに保存しておき、音の情報と映像の情報との採取後に、ハードディスクから音圧波形のデータを取出して音源方向を推定するとともに、この音源方向の推定計算に使用した音圧波形データに対応する画像データをハードディスクから取出し、この画像データと音源方向のデータとを合成して音源推定用画像を表示する方法も行われている。

特開２００２−１８１９１３号公報 特開２００６−３２４８９５号公報 特開２００８−２２４２５９号公報

大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５

ところで、前記従来の方法では、測定した音の情報と映像の情報とを全てハードディスクに保存するようにしているため、大きな容量のハードディスクを使用しなければばらないだけでなく、音の情報と映像の情報との採取後に音源方向の計算及び音源推定用画像の作成を行っているため、音源を推定するのに時間がかかっていた。
そこで、音の情報と映像の情報とを採取しながら音源推定用画像を作成して表示することで、現場にて容易に音源の推定を可能にする方法及び装置の開発が望まれている。

本発明は、従来の問題点に鑑みてなされたもので、音の情報と映像の情報とを採取しながら、映像中に推定した音源方向を表示した音源推定用画像を作成して表示することのできる方法とその装置を提供することを目的とする。

本願の請求項１に記載の発明は、複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像ユニットを用いて音の情報である音圧信号と映像の情報である映像信号とを採取して、この採取した音圧信号のデータと画像データとを用いて音源を推定するための音源推定画像を表示する方法であって、前記音・映像ユニットを用いて音の情報である音圧信号と映像の情報である映像信号とを同時に採取するステップ（ａ）と、音源方向の推定を開始する測定開始指令を発するステップ（ｂ）と、前記測定開始指令が発せられた場合には、前記採取した音圧信号と映像信号とをＡ／Ｄ変換してそれぞれ音圧波形データ及び画像データとしてバッファに一時的に保存するステップ（ｃ）と、音源の推定に用いる解析時間長分の音圧波形データを前記バッファから抽出し、前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音圧信号の位相差を算出して音源方向を推定するステップ（ｄ）と、前記ステップ（ｄ）において音源方向の推定に用いられた解析時間長分の画像データを前記バッファから抽出するステップ（ｅ）と、前記ステップ（ｄ）で推定された音源方向のデータと前記ステップ（ｅ）で抽出された画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、前記音源推定用画像を表示手段に表示するステップ（ｇ）と、音源推定用画像の作成後に、当該音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するステップ（ｈ）と、音源方向の推定を終了する測定終了指令が発せられたか否かを判定するステップ（ｉ）とを備え、前記ステップ（ｈ）では、前記バッファの空き領域の大きさが少なくとも前記解析時間長分の音圧波形データと画像データとを保存できる大きさと等しい大きさになった時に、音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するとともに、前記ステップ（ｉ）において、前記測定終了指令が発せられていないと判定された場合には、前記ステップ（ｂ）に戻り、前記測定終了指令が発せられた場合には、前記バッファに一時保存されている音圧波形データと画像データとを前記バッファとは異なる記憶手段に保存した後に、音源方向の推定を終了することを特徴とする。
ここで、前記所定の空き領域の大きさの最大値としては、バッファの記憶容量の１/５以下とすることが好ましい。なお、最小値は、解析時間長分の音圧波形データと画像データとを保存できる大きさである。
これにより、音の情報と映像の情報とを採取しながら音源推定用画像を作成して順次表示することができるので、作業者は、現場にて表示手段により表示される音源推定用の動画を見ることで音源を推定することができる。
なお、実際に音源を特定するためのデータが必要な場合には、改めて作業者が現場にて推定した音源方向からの音の情報と映像の情報とを採取して音源推定用画像を作成して保存すればよい。このときには、作業者が既に音源を推定しているので、ハードディスク等の記憶手段に記憶するする音圧波形データと画像データが少なくて済むだけでなく、計算時間も少なくて済むので、音源を確実にかつ効率よく推定することができる。
また、このような構成を採ることにより、作業者が表示手段を視認することで音源を推定できたときに、作業者が推定した音源の音源推定用画像を構築するための音圧波形データと画像データとを保存できるので、音源推定用画像を容易に再現できる。
また、音源推定の測定開始と測定終了のタイミングを適切に行うことにより、音源推定画像の作成に有効な音圧波形データと画像データとを保存できるので、音源の推定を効率よく行うことができる。

請求項２に記載の発明は、請求項１に記載の音源推定用画像の表示方法であって、前記ステップ（ｃ）と前記ステップ（ｄ）との間に、音源方向の推定を予め設定された遡行時間長だけ遡って測定する遡行測定指令を発するステップ（ｊ）を設けるとともに、前記ステップ（ｄ）では、前記遡行測定指令が発せられた時刻から所定の遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間の音圧波形データを前記バッファから抽出し、この抽出された音圧波形データを用いて音源方向を推定することを特徴とする。
これにより、突発的な音や間欠的な音が発生した場合でも、これらの音の発生源の方向を推定するための音源推定用画像についても表示することができるので、測定の仕損じをなくすことができる。

また、請求項３に記載の発明は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と前記音圧信号の採取と同時に撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を表示手段に表示する音源推定用画像の表示装置であって、音源方向の測定開始指令と測定終了指令を発する測定指令手段と、前記測定指令手段から音源方向の測定開始指令が発せられた場合に、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、前記Ａ／Ｄ変換された音圧信号を音圧波形データとして一時的に保存するとともに、前記Ａ／Ｄ変換された映像信号を画像データとして一時的に保存するバッファと、前記バッファから音源の推定に用いる解析時間長分の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源の方向を推定する推定演算を行う音源方向推定手段と、前記バッファから、前記推定演算に用いられた音圧波形データに対応する音圧信号を採取した時に撮影された映像信号の画像データを抽出する画像データ抽出手段と、前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、前記音源推定用画像の作成後に、当該音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するデータ消去手段と、前記バッファとは異なるデータ記憶手段と、データ保存手段とを備え、前記データ消去手段は、前記バッファの空き領域の大きさが少なくとも前記解析時間長分の音圧波形データと画像データとを保存できる大きさと等しい大きさになった時に、音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去し、前記データ保存手段は、前記測定指令手段から音源方向の測定終了指令が発せられて音源方向の推定が終了した時に、前記バッファに一時保存されている音圧波形データと画像データとを前記データ記憶手段に保存することを特徴とする。
このような構成の音源推定用画像表示装置を用いることにより、音の情報と映像の情報とを採取しながら音源推定用画像を作成して表示することができるので、現場にて直ちに音源の推定を行うことができるとともに、作業者が推定した音源の音源推定用画像を構築するための音圧波形データと画像データとを保存することができる。したがって、音源推定用画像を容易に再現できるとともに、音源の推定作業を効率よく行うことができる。

請求項４に記載の発明は、請求項３に記載の音源推定用画像の表示装置において、測定開始指令が発せられてから音源方向の推定を終了するまでの時間である測定時間を設定する測定時間設定手段を設けるとともに、前記測定指令手段は、測定開始指令を発した時刻から前記測定時間だけ経過した後に測定終了指令を発するようにしたことを特徴とする。
これにより、作業者は測定終了のタイミングについて配慮する必要がないので、音源の推定に集中できる。したがって、音源の推定を確実に行うことができる。

請求項５に記載の発明は、請求項３または請求項４に記載の音源推定用画像の表示装置において、音源方向の推定を予め設定された遡行時間長だけ遡って測定する遡行測定指令を発する遡行測定指令手段を設けるとともに、前記音源方向推定手段は、前記遡行測定指令が発せられたときに、前記遡行測定指令が発せられた時刻から所定の遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間の音圧波形データを前記バッファから抽出し、この抽出された音圧波形データを用いて音源方向を推定することを特徴とする。
これにより、突発的な音や間欠的な音の発生源の方向を推定するための音源推定用画像についても表示することができる。

請求項６に記載の発明は、請求項３〜請求項５のいずれかに記載の音源推定用画像の表示装置において、前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする。
これにより、少ないマイクロフォン数で、効率よくかつ正確に音源方向の水平角θと仰角φとを推定することができるので、精度の高い音源推定用画像を作成することができる。

なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。

本発明の実施の形態に係る音源推定用画像表示システムの構成を示す機能ブロック図である。 本実施の形態に係る音源推定用画像表示システムを用いた音源推定用画像の表示方法を示すフローチャートである。 音源推定用画像の一例を示す図である。 データの処理のタイミングを説明するための図である。 遡行モードを備えた音源推定用画像表示システムの構成を示す機能ブロック図である。 遡行モードを備えた音源推定用画像表示システムの動作を示すフローチャートである。 従来のマイクロフォン対を用いた音源探査方法におけるマイクロフォンの配列を示す図である。

以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

以下、本発明の実施の形態について、図面に基づき説明する。
図１は音源推定用画像表示システムの構成を示す機能ブロック図である。
音源推定用画像表示システムは、音・映像採取ユニット１０とデータ処理装置２０と演算装置３０と表示装置４０とデータ記憶手段としての記憶装置５０とを備える。
音・映像採取ユニット１０は、音採取手段１１と、映像採取手段としてのＣＣＤカメラ（以下、カメラという）１２と、マイクロフォン固定部１３と、カメラ支持台１４と、支柱１５と、回転台１６と、基台１７とを備える。
音採取手段１１は複数のマイクロフォンＭ１〜Ｍ５を備える。
マイクロフォンＭ１〜Ｍ５の配置は、図７に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
本例では、カメラ１２の撮影方向を、前記直交する２直線の交点を通り前記２直線とほぼ４５°をなす方向に設定している。したがって、音・映像採取ユニット１０の向きは、図１の白抜きの矢印Ｄの方向となる。カメラ１２は、音・映像採取ユニット１０の向きに応じた映像を採取する。

マイクロフォン固定部１３にはマイクロフォンＭ１〜Ｍ５が設置され、カメラ支持台１４にはカメラ１２が設置され、マイクロフォン固定部１３とカメラ支持台１４とは、３本の支柱１５によって連結されている。つまり、音採取手段１１とカメラ１２とは一体化されている。なお、マイクロフォンＭ１〜Ｍ５は、カメラ１２の上部に配置される。
基台１７は３脚から成る支持部材で、この基台１７上に回転台１６が設置されている。カメラ支持台１４は回転台１６の回転部材１６ｒに搭載されている。
したがって、回転部材１６ｒを回転させることにより、音採取手段１１とカメラ１２とを一体に回転させることができる。
マイクロフォンＭ１〜Ｍ５は、図示しない音源から伝播される音の音圧信号の大きさである音圧レベルをそれぞれ測定する。

データ処理装置２０は、測定指令手段としての測定スイッチ２１と、増幅器２２と、Ａ／Ｄ変換器２３と、映像入出力手段２４とを備える。
演算装置３０は、バッファ３１と、音圧波形データ抽出手段３２と、音源方向推定手段３３と、画像データ抽出手段３４と、音源推定用画像作成手段３５と、データ消去手段３６とデータ保存手段３７とを備える。この演算装置３０は、例えば、パーソナルコンピュータのソフトウェアにより構成される。
表示装置４０は、後述する音源位置を推定するための画像である音源推定用画像を表示する表示画面４０Ｍを備える。
記憶装置５０は、例えば、パーソナルコンピュータのハードディスクなどから構成される不揮発性メモリーである。

測定スイッチ２１は、音源方向の推定計算を指令する測定開始信号を増幅器２２と映像入出力手段２４とに出力するとともに、音源方向の推定計算の終了を指令する測定終了信号を増幅器２２と映像入出力手段２４と後述するデータ保存手段３７とに出力する。
本例では、測定スイッチ２１がＯＦＦ状態のときには、ＣＣＤカメラ１２の出力を表示装置４０に入力させるようにしている。このとき、表示装置４０にスピーカーを付加して、マイクロフォンＭ５の出力をスピーカーに入力させることで、ＣＣＤカメラ１２で撮影した映像を直接表示装置４０に表示させるとともに、撮影方向から伝搬する音をスピーカーにて再現するようにしてもよい。
増幅器２２はローパスフィルタを備え、指令信号が入力されると、マイクロフォンＭ１〜Ｍ５で採取した音の音圧信号から高周波ノイズ成分を除去するとともに、前記各音圧信号を増幅してＡ／Ｄ変換器２３に出力する。
Ａ／Ｄ変換器２３は、前記音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、バッファ３１の音データ保存領域３１ａに送る。
映像入出力手段２４は、指令信号が入力されると、カメラ１２で連続的に撮影された映像信号を入力してＡ／Ｄ変換し、このＡ／Ｄ変換された画像データを所定時間Ｔ_p（例えば、Ｔ_p＝１／３０秒）毎にバッファ３１の画像データ保存領域３１ｂに送る。
バッファ３１はＲＡＭなどの書き換え可能なメモリーから構成され、音圧波形データを順次保存する音データ保存領域３１ａと画像データを順次保存する画像データ保存領域３１ｂとを備える。
なお、前記所定時間Ｔ_p毎に出力される画像データは、表示装置４０の表示画面４０Ｍに表示される一つの画面、いわゆる動画の「一コマ」分の画像を構成する画像データである。
前記所定時間Ｔ_pを、以下、画面切換時間Ｔ_pという。
解析時間長Ｔ_wと画面切換時間Ｔ_pについては、それぞれ、後述する音圧波形データ抽出手段３２と画像データ抽出手段３４とに予め設定されているものとする。
解析時間長Ｔ_wは、通常、画面切換時間Ｔ_pの１/Ｎ（Ｎ；整数）に設定されるが、本例では、Ｎ＝１、すなわち、Ｔ_w＝Ｔ_pとした。

音圧波形データ抽出手段３２は、音源方向の推定演算を行うための解析時間長Ｔ_w分の音圧波形データをバッファ３１の音データ保存領域３１ａから抽出し、これを音ファイルＦＡ_k（ｋ＝１，２，３，……）として音源方向推定手段３３に順次出力する。
音源方向推定手段３３は、取出された音ファイルＦＡ_kから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを演算し、その演算結果を音源推定用画像作成手段３５に出力する。なお、音源方向（θ，φ）の推定方法の詳細については後述する。
画像データ抽出手段３４は、バッファ３１の画像データ保存領域３１ｂから、画面切換時間Ｔ_p分の画像データを抽出し、これを動画ファイルＦＢ_kとして音源推定用画像作成手段３５に出力する。前記抽出される画像データは、前記推定演算に用いられた音圧波形データに対応する音圧信号を採取した時に撮影された映像信号の画像データである。すなわち、本例では、画面切換時間Ｔ_pと解析時間長Ｔ_wは同じ長さなので、動画ファイルＦＢ_kを構成する画像データは、音源方向の推定に用いられる音ファイルＦＡ_kを構成する音圧波形データに対応するデータとなる。
音源推定用画像作成手段３５は、音ファイルＦＡ_kを用いて推定された音源方向のデータである水平角θ_kと仰角φ_kと画像データ抽出手段３４で抽出された動画ファイルＦＢ_kとを合成し、画像中に音源の方向を示す図形が描画された音源推定用画像Ｇ_kを作成して表示装置４０に出力する。
データ消去手段３６は、バッファ３１の音データ保存領域３１ａに一時保存されている音圧波形データと画像データ保存領域３１ｂに一時保存されている画像データから、音源推定用画像Ｇ_kの作成に用いられた音ファイルＦＡ_kを構成する音圧波形データと、動画ファイルＦＢ_kを構成する画像データとを消去して、音データ保存領域３１ａと画像データ保存領域３１ｂとに、それぞれ、音圧波形データと画像データとが保存可能な新たな空き領域３１ｖを生成する。
データ保存手段３７は、測定終了指令が発せられて音源方向の推定が終了した時に、バッファ３１に一時保存されている音圧波形データと画像データとを記憶装置５０に保存する。

次に、本例の音源推定用画像表示システムを用いた音源推定用画像の表示方法について、図２のフローチャートを参照して説明する。
まず、音・映像採取ユニット１０とデータ処理装置２０と演算装置３０と表示装置４０とを接続した後、音・映像採取ユニット１０を計測点にセットする（ステップＳ１０）。
そして、カメラ１２の撮影方向を測定予定場所に向け、表示画面４０Ｍを見てカメラ１２が測定予定場所を撮影していることを確認した後、マイクロフォンＭ１〜Ｍ５にて音を採取すると同時に、カメラ１２にて測定予定場所の映像を採取する（ステップＳ１１）。
計測点から測定予定場所を見たときに視野が映像視野よりも大きい場合には、回転台１６を、例えば、３°/sec.程度のゆっくりした速度で、測定予定場所の中央部を中心に往復回転させながら、音と映像とを採取するようにすればよい。回転範囲としては±６０°程度が適当である。なお、音・映像採取ユニット１０を固定して測定し、測定終了後に回転台１６を適宜回転させて撮影方向を音源がある推定される方向変更した後、再度、測定してもよい。

次に、測定スイッチ２１がＯＮ状態か否かを判定（ステップＳ１２）し、測定スイッチ２１がＯＦＦ状態の場合には、ステップＳ１１に戻って、音のデータと映像のデータとを採取する。
一方、測定スイッチ２１がＯＮ状態にあるときには、ステップＳ１３に進んで、マイクロフォンＭ１〜Ｍ５の出力信号を増幅してＡ／Ｄ変換しこのＡ／Ｄ変換した音圧波形データをバッファ３１の音データ保存領域３１ａに保存するととともに、カメラ１２の映像信号をＡ／Ｄ変換、このＡ／Ｄ変換した画像データをバッファ３１の画像データ保存領域３１ｂに保存する。
ステップＳ１４では、バッファ３１の音データ保存領域３１ａから予め指定されたサンプル数の音圧波形データ（解析時間長Ｔ_w分の音圧波形データ）を順次取り出し、これを音ファイルＦＡ_k（ｋ＝１，２，３，……）として音源方向推定手段３３に出力する。
次に、この音ファイルＦＡ_kを用いて音源方向の推定演算を行うとともに、伝播された音の音圧信号の大きさである音圧レベルを算出する（ステップＳ１５）。音圧レベルの算出は、マイクロフォンＭ５の音圧波形データを用いて行う。
音圧波形データの抽出は、音データ保存領域３１ａに解析時間長Ｔ_w分以上のデータが保存されている状態で行う必要があるため、測定から所定時間（例えば５秒）経過後に行うことが好ましい。あるいは、バッファ３１の音データ保存領域３１ａに保存されているデータ数をカウントする手段を別途設けて、解析時間長Ｔ_w分のデータが保存された段階で音圧波形データの取出しを行ってもよい。
音源方向の推定は、音圧波形データをＦＦＴにて周波数解析し、各周波数毎にマイクロフォンＭ１〜Ｍ５間のそれぞれの位相差を求め、この求められた位相差から各周波数毎に音源の方向を推定する。なお、本例では、位相差に代えて、位相差に比例する物理量である到達時間差Ｄ_ijを用いて水平角θ及び仰角φを求めている。
このステップＳ１５における水平角θ及び仰角φの計算方法については後述する。

次に、バッファ３１の画像データ保存領域３１ｂから、画面切換時間Ｔ_p分の画像データを抽出し、これを動画ファイルＦＢ_k（ｋ＝１，２，３，……）としてとして音源推定用画像作成手段３５に出力し、音源推定用画像作成手段３５にて、音ファイルＦＡ_kを用いて推定された音源方向のデータ（θ，φ）と画像データ抽出手段３４から出力された動画ファイルＦＢ_kとを合成し、この合成された画像である画像中に網目模様の丸印などの音源の方向を示す図形が描画された音源推定用画像Ｇ_kを作成（ステップＳ１６）し、これを表示装置４０の表示画面４０Ｍに表示する（ステップＳ１７）。
図３は表示画面４０Ｍに音源推定用画像Ｇ_kを表示した一例を示す図で、横軸は水平角θ、縦軸は仰角φ、同図の符号Ｓで示す網目模様の丸印の大きさは音圧レベルを表す。したがって、前記ステップＳ１２からステップＳ１７までを繰り返すことにより、表示画面４０Ｍには、音源推定用画像Ｇ_kが動画として表示されるので、ある程度の経験を積んだ作業者であれば、この動画を見ることで、音源を特定することができる。
なお、推定された音源の方向を、予め設定した周波数帯域毎に表示することも可能である。この場合には、周波数帯域毎に網目状の丸印Ｓの色を設定すればよい。
次に、測定スイッチ２１がＯＮ状態か否かを判定し（ステップＳ１８）、ＯＮ状態である場合には、音源推定用画像Ｇ_kの作成に用いられた音圧波形データと画像データとを消去してバッファ３１に空き領域３１ｖを生成（ステップＳ１９）した後、ステップＳ１３に戻って、音圧波形データと画像データとをバッファ３１に保存する処理を継続する。
なお、バッファ３１に所定の大きさの空き領域がある場合には、音圧波形データと画像データとの消去処理を省略して直ちにステップＳ１３に戻る。これにより、演算処理を高速化できる。
前記所定の空き領域の大きさとしては、少なくとも解析時間長Ｔ_w分の音圧波形データと画像データとを保存できる大きさであればよい。なお、所定の空き領域の大きさの最大値としては、バッファ３１の記憶容量の１/５以下とすることが好ましい。
前記所定の空き領域の大きさを、解析時間長Ｔ_w分の音圧波形データと画像データとを保存できる大きさとすれば、バッファ３１に一時保存されている音圧波形データと画像データのデータ数を最大にすることができるので、記憶装置５０に保存されるデータ数も最大になる。

ステップＳ１８において、測定スイッチ２１がＯＦＦ状態に変わっていた時には、バッファ３１に一時保存されている音圧波形データと画像データとを記憶装置５０に保存（ステップＳ２０）してから、測定及び音源推定用画像Ｇ_kの作成を終了する。
本例では、測定スイッチ２１をＯＦＦにする処理を作業者が表示画面４０Ｍに表示された音源推定用画像Ｇ_kの動画を見ながら行っている。これにより、作業者が音源確認後の適当な時間を経過した後測定スイッチ２１をＯＦＦにすれば、表示画面４０Ｍで音源を確認した後のデータも保存することができる。
具体的には、前記所定の空き領域の大きさを、解析時間長Ｔ_w分の音圧波形データと画像データとを保存できる大きさとし、バッファ３１に音圧波形データと画像データとを一時保存したときにバッファ３１の空き領域がなくなる時間を５分とすると、作業者が音源（実際には、網目模様の丸印Ｓが多くかつ集中した音源推定用画像Ｇ_k）を視認した場合、作業者はそれから所定時間後(例えば２分後)に測定スイッチ２１をＯＦＦにする。これにより、作業者が音源を視認する前の３分と視認した後の２分の合計５分間の音圧波形データと画像データとを記憶装置５０に保存することができる。したがって、記憶装置５０に保存された音圧波形データと画像データとを用いて、作業者が視認した音源推定用画像Ｇ_kを再現できるので、音源の推定を確実に行うことができる。

ステップＳ１５における水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤ_ijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭ_ｉ，Ｍ_ｊ間の到達時間差Ｄ_ijを算出することにより、前記水平角θ及び仰角φを求めることができる。

すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ₁₃と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ₂₄との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ₁₃，Ｄ₂₄と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ_5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。
なお、前記到達時間差Ｄ_ijは、２つのマイクロフォン対（Ｍ_ｉ，Ｍ_ｊ）に入力される信号のクロススペクトルＰ_ij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。

このように、本実施の形態では、複数のマイクロフォンＭ１〜Ｍ５とカメラ１２とを一体化した音・映像採取ユニット１０を用いて採取した音圧信号と映像信号とをＡ／Ｄ変換した音圧波形データ及び画像データを、それぞれ、バッファ３１の音データ保存領域３１ａと画像データ保存領域３１ｂに一時保存するとともに、前記音データ保存領域３１ａから予め指定されたサンプル数の音圧波形データ（解析時間長Ｔ_w分の音圧波形データ）を順次取り出し、これを音ファイルＦＡ_kとして音源方向推定手段３３に送って音源方向の推定を行った後、画像データ保存領域３１ｂから、前記音源方向の推定に使用した音ファイルＦＡ_kの音圧波形データ対応する画像データを動画ファイルＦＢ_kとして取り出し、音源方向のデータ（θ，φ）と動画ファイルＦＢ_kとを合成して、画像中に網目模様の丸印Ｓなどの音源の方向を示す図形が描画された音源推定用画像Ｇ_kを作成して表示装置４０の表示画面４０Ｍに表示し、しかる後に、音源推定用画像Ｇ_kの作成に用いられた音圧波形データと画像データとを消去してバッファ３１に空き領域３１ｖを生成する、という作業を繰り返すことで、表示装置４０の表示画面４０Ｍに音源推定用画像Ｇ_kの動画を表示することができるようにしたので、現場にて音の情報と映像の情報とを採取しながら音源推定用の動画を作業者に提供することができる。
また、測定終了後には、バッファ３１に一時保存されている音圧波形データと画像データとを記憶装置５０に保存するようにしたので、音源推定用画像Ｇ_kを再現することができる。したがって、音源の推定を効率よく行うことができる。

また、このような構成を採ることにより、演算装置３０において、音圧信号の採取と音源方向の推定演算、映像信号の採取と動画ファイルの抽出、音源推定用画像の作成といった一連の処理を細かく区切って、非同期にて実行させることができる。したがって、ハードディスクにデータを保存した後に音源推定用画像を作成する方法に比較して、処理の高速化・効率化を図ることができる。その代わり、音源推定用画像を表示する順番についてはこれを守るように制御する。
具体的には、図４に示すように、時間軸でｋ番目に表示される音源推定用画像Ｇ_kを表示画面４０Ｍに表示した画面Ｇ（ｋ）は、（ｋ−１）番目の画面Ｇ（ｋ−１）の表示後に表示されるが、音源推定用画像Ｇ_kが描写される音源の方向を示す図形が多い画像である場合には、画像の作成に時間が長くかかる。したがって、このような場合には、画面Ｇ（ｋ−１）の表示時間を音源推定用画像Ｇ_kの作成終了まで伸ばして表示する。なお、同図の破線で囲った枠の大きさは、基準の表示時間である１/３０秒を示す。
一方、（ｋ＋１）番目に表示される音源推定用画像Ｇ_k+1が描写された音源の方向を示す図形が少なく、したがって、画像の作成時間が短かくて済んだ場合には、音源推定用画像Ｇ_kの画面Ｇ（ｋ）の表示時間を音源推定用画像Ｇ_k+1の作成終了時間に合わせて短くし、作成された音源推定用画像Ｇ_k+1を直ちに画面Ｇ（ｋ＋１）として表示画面４０Ｍに表示する。これにより、画面Ｇ（ｋ）（ｋ＝１，２，……）の表示時間は、１/３０秒から若干上下する。しかし、実際には、互いに前後する音源推定用画像Ｇ_kと音源推定用画像Ｇ_k+1とでは、描写される図形が大きく異なることはないので、作業者が動画を見て音源を推定する上では問題はない。

なお、前記実施の形態では、バッファ３１に所定の大きさの空き領域がある場合には、音圧波形データと画像データとの消去処理を省略したが、音源推定用画像Ｇ_kの作成に用いられた音圧波形データと画像データとを、音源推定用画像Ｇ_kの表示後に消去してもよいし、音源源方向推定画像Ｇ_kの作成後に直ちに消去してもよい。あるいは、音源推定用画像Ｇ_kを複数回数表示した後の、複数回分の音圧波形データと画像データとを消去するようにしてもよいし、音源方向の推定に使用した音圧波形データを音源方向の推定計算後に消去し、画像データについては、音源推定用画像Ｇ_kの作成後に消去してもよい。但し、この場合には、バッファ３１の記憶容量は少なくて済むが、バッファ３１には、音源推定用画像Ｇ_kを再現できるだけのデータが保存されないので、音源の推定を再度行う必要がある。しかし、作業者が既に音源を視認しているので、音と映像を採取する範囲が作業者が視認した音源の方向を中心とした狭い範囲で済むので、この方法でも、音源の推定を効率よく行うことができる。

また、前記例では、測定開始から音源推定計算に使用する指定されたサンプル数の音圧波形データ（解析時間長Ｔ_w分の音圧波形データ）を順次取り出して音源推定用画像Ｇ_kを作成して表示するようにしたが、本発明の音源推定用画像表示システムにプレトリガー機能を設けることも可能である。
具体的には、図５に示すように、測定スイッチ２１に代えて、測定モードを通常モードと遡行モードとに切換えるモードスイッチ２１ａと、測定スイッチ２１ｂとを備えた切換機能付き測定スイッチ２１Ｚを設けるとともに、演算装置３０に、バッファ３１に保存されている音圧波形データ及び画像データのサンプル数をカウントする保存データ数検出手段３８と、音圧波形データ抽出手段３２と画像データ抽出手段３４にバッファ３１からのデータの抽出方法を指示する抽出方法指示手段３９とを設ける。
通常モードは、測定を開始するための指令信号指令信号である測定開始信号が入力された時刻から解析時間長Ｔ_w分のデータを順次抽出して音源推定用画像を作成し表示する。
遡行モードは、測定開始信号の入力時より予め設定された遡行時間だけ遡った時刻から解析時間長Ｔ_w分のデータを順次抽出して音源推定用画像を作成し表示する。

音源推定用画像表示システムにプレトリガー機能を設けた場合の音源推定用画像表示方法を示すフローチャートを図６に示す。
まず、音・映像採取ユニット１０とデータ処理装置２０と演算装置３０と表示装置４０とを接続した後、音・映像採取ユニット１０を計測点にセット（ステップＳ３０）した後、切換機能付き測定スイッチ２１Ｚのモードスイッチ２１ａを、通常モードと遡行モードのいずれかのモードに設定する（ステップＳ３１）。
次に、マイクロフォンＭ１〜Ｍ５にて音を採取すると同時に、カメラ１２にて測定予定場所の映像を採取する（ステップＳ３２）。
測定スイッチ２１ｂは、前記実施の形態と同様に、音と映像の採取と同時にＯＮしてもよいし、作業者が測定開始のタイミングを決定して測定スイッチ２１ｂをＯＮ状態にしてもよい。
次に、測定スイッチ２１ｂがＯＮ状態か否かを判定（ステップＳ３３）し、ＯＮ状態にあるときには、ステップＳ３４に進んで、マイクロフォンＭ１〜Ｍ５の出力信号を増幅してＡ／Ｄ変換しこのＡ／Ｄ変換した音圧波形データをバッファ３１の音データ保存領域３１ａに保存するととともに、カメラ１２の映像信号をＡ／Ｄ変換、このＡ／Ｄ変換した画像データをバッファ３１の画像データ保存領域３１ｂに保存する。
そして、測定開始後、解析時間長Ｔ_w分のデータが保存された段階で、測定モードが通常モードか遡行モードかを判定する（ステップＳ３５）。

測定モードが通常モードの場合には、図２のフローチャートに示したステップＳ１４〜ステップＳ１８と同じ内容のステップである、ステップＳ３６〜ステップＳ４０の処理を行い、ステップＳ４０において、測定スイッチ２１ｂがＯＮ状態であると判定された場合には、音源推定用画像Ｇ_kの作成に用いられた音圧波形データと画像データとを消去してバッファ３１に空き領域３１ｖを生成（ステップＳ４１）した後、ステップＳ３４に戻って、音圧波形データと画像データとの取り込みを継続する。ここでも、バッファ３１に所定の大きさの空き領域がある場合には、音圧波形データと画像データとの消去処理を省略して直ちにステップＳ３４に戻る。
ステップＳ４０にて、測定スイッチ２１ｂがＯＦＦ状態に変わっていた時には、バッファ３１に一時保存されている音圧波形データと画像データとを記憶装置５０に保存（ステップＳ４２）してから、測定及び音源推定用画像Ｇ_kの作成を終了する。

一方、測定モードが遡行モードの場合には、ステップＳ５１に進んで、バッファ３１に遡行分のデータ数が保存されているか否かを判定する。この判定は、保存データ数検出手段３８の検出した保存データ数に基づいて行う。
バッファ３１に遡行分のデータ数が保存されていない場合には、ステップＳ３４に戻って音圧波形データと画像データの保存を継続する。
ステップＳ５１において、バッファ３１に遡行分のデータ数が保存されていると判定された場合には、ステップＳ５２に進んで、抽出方法指示手段３９が音圧波形データ抽出手段３２と画像データ抽出手段３４とにバッファ３１からのデータの抽出方法を指示する抽出方法指示信号を送るとともに、バッファ３１の音データ保存領域３１ａから、測定指令信号が出された時刻から予め設定された遡行時間だけ遡った時刻から予め指定されたサンプル数の音圧波形データ（解析時間長Ｔ_w分の音圧波形データ）を順次抽出し、これを音ファイルＦＡ_m（ｍ＝１，２，３，……）として音源方向推定手段３３に出力する（ステップＳ５３）。
音源方向推定手段３３では、この音ファイルＦＡ_mを用いて音源方向の推定演算を行うとともに、伝播された音の音圧信号の大きさである音圧レベルを算出する（ステップＳ５４）。

次に、バッファ３１の画像データ保存領域３１ｂから、画面切換時間Ｔ_p毎の画像データを抽出し、これを動画ファイルＦＢ_m（ｋ＝１，２，３，……）として音源推定用画像作成手段３５に出力し、音源推定用画像作成手段３５にて、音ファイルＦＡ_mを用いて推定された音源方向のデータ（θ，φ）と画像データ抽出手段３４で抽出した動画ファイルＦＢ_mとを合成し、この合成された画像である画像中に網目模様の丸印Ｓなどの音源の方向を示す図形が描画された音源推定用画像Ｇ_mを作成（ステップＳ５５）し、これを表示装置４０の表示画面４０Ｍに表示する（ステップＳ５６）。
前記動画ファイルＦＢ_mを構成する画像データは、測定指令信号が出された時刻から予め設定された遡行時間だけ遡った時刻からの画像データである。
画像の表示後は、ステップＳ４０に進んで、測定スイッチ２１ｂがＯＮ状態であるかＯＦＦ状態であるかを判定する。測定スイッチ２１ｂがＯＮ状態であると判定された場合には、音源推定用画像Ｇ_mの作成に用いられた音圧波形データと画像データとを消去してバッファ３１に空き領域３１ｖを生成（ステップＳ４１）した後、ステップＳ３４に戻って、音圧波形データと画像データとの取り込みを継続する。ここでも、バッファ３１に所定の大きさの空き領域がある場合には、音圧波形データと画像データとの消去処理を省略して直ちにステップＳ３４に戻る。
ステップＳ４０にて、測定スイッチ２１ｂがＯＦＦ状態に変わっていた時には、バッファ３１に一時保存されている音圧波形データと画像データとを記憶装置５０に保存（ステップＳ４２）してから、測定及び音源推定用画像Ｇ_kの作成を終了する。
これにより、突発的な音や間欠的な音が発生した場合でも、これらの音の発生源の方向を推定するための音源推定用画像についても確実に表示できるので、測定の仕損じをなくすことができる。

また、前記例では、測定スイッチ２１をＯＦＦにする処理を作業者が行ったが、測定開始指令が発せられてから音源方向の推定を終了するまでの時間である測定時間Ｔ_mを設定する測定時間設定手段を設けるとともに、測定スイッチ２１に、測定開始指令を発した時刻から測定時間Ｔ_mだけ経過した後に測定終了指令を発する機能を付加してもよい。
例えば、測定時間Ｔ_mを５分とすれば、作業者が測定スイッチ２１をＯＮしてから５分後に測定スイッチ２１が自動的にＯＦＦになり測定終了指令が発せられる。これにより、作業者は測定終了のタイミングについて配慮する必要がないので、音源の推定に集中できる。したがって、音源の推定を確実に行うことができる。
また、前記例では、５本のマイクロフォンＭ１〜Ｍ５を用いて、計測点と音源位置とのなす水平角θと仰角φとを推定したが、音源位置が水平角θだけで十分な場合には、マイクロフォンＭ５を省略して、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３），（Ｍ２，Ｍ４）のみを用いればよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。

以上説明したように、本発明によれば、音の情報と映像の情報とを採取しながら、映像中に前記推定した音源方向と音圧レベルとを図形で表示した音源推定用画像を作成して表示することができるので、音源の推定を現場にて効率よく行うことができる。

１０ 音・映像採取ユニット、１１ 音採取手段、Ｍ１〜Ｍ５ マイクロフォン、
１２ ＣＣＤカメラ、１３ マイクロフォン固定部、１４ カメラ支持台、１５ 支柱、１６ 回転台、１７ 基台、
２０ データ処理装置、２１ 測定スイッチ、２２ 増幅器、２３ Ａ／Ｄ変換器、
２４ 映像入出力手段、
３０ 演算装置、３１ バッファ、３１ａ 音データ保存領域、
３１ｂ 画像データ保存領域、３２ 音圧波形データ抽出手段、
３３ 音源方向推定手段、３４ 画像データ抽出手段、３５ 音源推定用画像作成手段、３６ データ消去手段、３７ データ保存手段、
４０ 表示装置、４０Ｍ 表示画面、５０ 記憶装置。

Claims (6)

1. 複数のマイクロフォンと撮影手段とを一体に組み込んだ音・映像ユニットを用いて音の情報である音圧信号と映像の情報である映像信号とを同時に採取するステップ（ａ）と、
   音源方向の推定を開始する測定開始指令を発するステップ（ｂ）と、
   前記測定開始指令が発せられた場合には、前記採取した音圧信号と映像信号とをＡ／Ｄ変換してそれぞれ音圧波形データ及び画像データとしてバッファに一時的に保存するステップ（ｃ）と、
   音源の推定に用いる解析時間長分の音圧波形データを前記バッファから抽出し、前記抽出された音圧波形データを用いて、前記複数のマイクロフォンで採取した音圧信号の位相差を算出して音源方向を推定するステップ（ｄ）と、
   前記ステップ（ｄ）において音源方向の推定に用いられた解析時間長分の画像データを前記バッファから抽出するステップ（ｅ）と、
   前記ステップ（ｄ）で推定された音源方向のデータと前記ステップ（ｅ）で抽出された画像データとを合成し、前記推定された音源方向を示す図形が描画された音源推定用画像を作成するステップ（ｆ）と、
   前記音源推定用画像を表示手段に表示するステップ（ｇ）と、
   音源推定用画像の作成後に、当該音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するステップ（ｈ）と、
   音源方向の推定を終了する測定終了指令が発せられたか否かを判定するステップ（ｉ）とを備え、
   前記ステップ（ｈ）では、
   前記バッファの空き領域の大きさが少なくとも前記解析時間長分の音圧波形データと画像データとを保存できる大きさと等しい大きさになった時に、音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するとともに、
   前記ステップ（ｉ）において、
   前記測定終了指令が発せられていないと判定された場合には、前記ステップ（ｂ）に戻り、
   前記測定終了指令が発せられた場合には、前記バッファに一時保存されている音圧波形データと画像データとを前記バッファとは異なる記憶手段に保存した後に、音源方向の推定を終了することを特徴とする音源推定用画像の表示方法。
2. 前記ステップ（ｃ）と前記ステップ（ｄ）との間に、音源方向の推定を予め設定された遡行時間長だけ遡って測定する遡行測定指令を発するステップ（ｊ）を設けるとともに、
   前記ステップ（ｄ）では、前記遡行測定指令が発せられた時刻から所定の遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間の音圧波形データを前記バッファから抽出し、この抽出された音圧波形データを用いて音源方向を推定することを特徴とする請求項１に記載の音源推定用画像の表示方法。
3. 互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を有するマイクロフォン群と音源方向の映像を撮影する撮影手段と表示手段とを備え、前記マイクロフォン群で採取した音源から伝播する音の音圧信号と前記音圧信号の採取と同時に撮影された音源の方向の映像信号とから、音源の方向を示す図形が描画された画像である音源推定用画像を表示手段に表示する音源推定用画像の表示装置であって、
   音源方向の測定開始指令と測定終了指令を発する測定指令手段と、
   前記測定指令手段から音源方向の測定開始指令が発せられた場合に、前記各マイクロフォンで採取した音圧信号と撮影手段で撮影した映像信号とをそれぞれデジタル信号に変換するＡ／Ｄ変換器と、
   前記Ａ／Ｄ変換された音圧信号を音圧波形データとして一時的に保存するとともに、前記Ａ／Ｄ変換された映像信号を画像データとして一時的に保存するバッファと、
   前記バッファから音源の推定に用いる解析時間長分の音圧波形データを抽出し、この抽出された音圧波形データを周波数解析して前記２組のマイクロフォン対を構成するマイクロフォン間のそれぞれの位相差を求め、この求められた２組のマイクロフォン対の位相差の比から音源方向を推定する推定演算を行う音源方向推定手段と、
   前記バッファから、前記推定演算に用いられた音圧波形データに対応する音圧信号を採取した時に撮影された映像信号の画像データを抽出する画像データ抽出手段と、
   前記推定された音源方向のデータと前記抽出された画像データとを合成して、前記推定された音源方向を示す図形が描画された画像である音源推定用画像を作成する音源推定用画像作成手段と、
   前記音源推定用画像の作成後に、当該音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去するデータ消去手段と、
   前記バッファとは異なるデータ記憶手段と、
   データ保存手段とを備え、
   前記データ消去手段は、
   前記バッファの空き領域の大きさが少なくとも前記解析時間長分の音圧波形データと画像データとを保存できる大きさと等しい大きさになった時に、音源推定用画像の作成に使用した音圧波形データと画像データとを前記バッファから消去し、
   前記データ保存手段は、
   前記測定指令手段から音源方向の測定終了指令が発せられて音源方向の推定が終了した時に、前記バッファに一時保存されている音圧波形データと画像データとを前記データ記憶手段に保存することを特徴とする音源推定用画像の表示装置。
4. 測定開始指令が発せられてから音源方向の推定を終了するまでの時間である測定時間を設定する測定時間設定手段を設けるとともに、
   前記測定指令手段は、測定開始指令を発した時刻から前記測定時間だけ経過した後に測定終了指令を発することを特徴とする請求項３に記載の音源推定用画像の表示装置。
5. 音源方向の推定を予め設定された遡行時間長だけ遡って測定する遡行測定指令を発する遡行測定指令手段を設けるとともに、
   前記音源方向推定手段は、前記遡行測定指令が発せられたときに、前記遡行測定指令が発せられた時刻から所定の遡行時間長だけ遡った時刻から前記解析時間長分だけ経過した時刻までの間の音圧波形データを前記バッファから抽出し、この抽出された音圧波形データを用いて音源方向を推定することを特徴とする請求項３または請求項４に記載の音源推定用画像の表示装置。
6. 前記マイクロフォン群に、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンを追加するとともに、前記音源方向推定手段では、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて音源方向を推定することを特徴とする請求項３〜請求項５のいずれかに記載の音源推定用画像の表示装置。

Images