JP5836616B2 - 音声信号処理装置 - Google Patents

Description

本発明は、音声信号処理装置等に関する。

音声信号処理装置として、音声をマイクにより採取して録音する録音装置がある。音声を録音する録音機能は、録音装置のような録音のみを行う装置に採用されているだけではなく、撮像装置のような音声と映像とを同時に取得してムービーの生成が可能な装置にも搭載されている。

このような録音機能を搭載する装置には、音声信号に重畳される風切り音（風雑音）を低減する機能が搭載されてきている。当該低減技術として、特許文献１はマイクにより集音する音声に重畳する風切り音をハイパスフィルタで減衰する技術、および、ハイパスフィルタの時定数を雑音の大きさに基づいて変更する技術を開示している。特許文献２は、風を検出するために熱電対を用い、その出力にあわせて風切り音のレベルを推測し、雑音低減の為に使用するハイパスフィルタを選択している。

特開平５−１７６２１１号公報 特開平５−３２８４８０号公報

しかしながら、上述の提案技術では、風切り音を検出するまでに時間を要し、風切り音発生初期の雑音が精度良く低減できない。

そこで、本発明は、風切り音の発生初期の雑音を低減することを目的とする。

本発明に係る音声信号処理装置は、音声入力手段と、前記音声入力手段から入力された音声信号を一時的に記憶する記憶手段と、前記記憶手段から供給される音声信号から雑音を低減するための第１の雑音低減手段と、前記第１の雑音低減手段から出力される音声信号から雑音を低減するための第２の雑音低減手段と、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第１の雑音低減手段の時定数を設定し、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第２の雑音低減手段の時定数を設定する設定手段と、前記第１の雑音低減手段と前記第２の雑音低減手段との接続を切り替える切替手段と、前記第１の雑音低減手段の時定数が設定された後に、前記雑音を含む音声信号を、前記記憶手段から前記第１の雑音低減手段に供給する制御手段とを有し、前記設定手段は、前記第１の雑音低減手段と前記第２の雑音低減手段とが前記切替手段によって接続された後に、前記第２の雑音低減手段の時定数を設定することを特徴とする。
また、本発明に係る音声信号処理装置は、音声入力手段と、前記音声入力手段から入力された音声信号を一時的に記憶する記憶手段と、前記記憶手段から供給される音声信号から雑音を低減するための第１の雑音低減手段と、前記第１の雑音低減手段から出力される音声信号から雑音を低減するための第２の雑音低減手段と、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第１の雑音低減手段の時定数を設定し、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第２の雑音低減手段の時定数を設定する設定手段と、前記第１の雑音低減手段の時定数が設定された後に、前記雑音を含む音声信号を、前記記憶手段から前記第１の雑音低減手段に供給する制御手段とを有し、前記設定手段は、前記第１の雑音低減手段の時定数が設定された後に、前記第２の雑音低減手段の時定数を設定することを特徴とする。

本発明によれば、風切り音の発生初期の雑音を低減することができる。

発明の実施形態１に対応する音声信号処理装置のブロック図。 発明の実施形態に対応する雑音低減部の特性を説明する図。 発明の実施形態に対応する雑音低減部の他の特性を説明する図。 発明の実施形態に対応する雑音低減部の構成をアナログ回路で模式的に示す図。 発明の実施形態に対応する雑音低減処理のタイミングチャート。 発明の実施形態に対応する雑音低減処理の効果を説明する図。 発明の実施形態に対応する雑音検出処理のフローチャート。 発明の実施形態に対応する雑音低減処理のフローチャート。 発明の実施形態２に対応する音声信号処理装置のブロック図。 発明の実施形態２に対応する雑音低減処理のフローチャート。 発明の実施形態２に対応する音声信号処理装置の別態様を示すブロック図。

以下、添付図面を参照して発明の実施形態を説明する。

［実施形態１］
図１は、発明の実施形態１に対応する音声信号処理装置の構成例を示すブロック図であり、ステレオマイクを有する録音装置の例を示している。なお、音声信号処理装置は、当該録音装置の主要構成を含む撮像装置であってもよい。その場合、撮像装置は、音声と映像とを同期して記録可能な装置であればよく、たとえば、動画撮影機能を有するデジタルスチルカメラ、ビデオカメラ、携帯電話、ノートパソコン等が含まれるが、それらに限定されるものではない。

マイク１１Ｒ、１１Ｌは、音声を検出する音声検出部であって、ステレオマイクとして対になっている。マイク１１Ｒ、１１Ｌからのアナログ音声信号は、利得変更部１２に出力される。利得変更部１２は、利得変更部１２は、被写体音が小さい場合にはマイク１１Ｒ、１１Ｌの出力の増幅率を大きくしてＳ／Ｎを向上させる。一方で、被写体音が大きい時には増幅率を小さくして、増幅回路内での飽和を防止する。なお、音声信号をデジタル処理したい場合には、利得変更部１２がアナログ・デジタル変換器（ＡＤＣ）を含むことができ、マイクからのアナログ音声信号をデジタル音声信号に変換する。また、デジタル信号に変換する際に、利得を制御して所望の利得が得られるようにする。

記憶部１３は利得変更部１２から入力された音声信号を一時的に記憶しておくバッファである。記憶部１３からの出力は雑音低減部１４に入力される。雑音低減部１４は図２ａや図２ｂに示す特性を有する複数のハイパスフィルタ段（１４ａ、１４ｂ）で構成される。フィルタの段数は、本実施形態では２段としてるが、３段以上としてもよい。なお、図１ではマイクを左右で２本設けてあるのに対し、その後の信号処理の出力ラインは１本しかないが、実際には左右のマイク毎に個別に雑音低減信号処理が行われている。

図２ａは、マイクに入力された音声のマイクからの出力音声の周波数特性を示す。横軸は周波数、縦軸は入力される音声信号の出力時の利得を示している。図２ａにおいて１０Ｈｚより低い周波数の音声信号が減衰している（利得が低い）ことが分かる。ここには人の声も含まれ、被写体音源には１０Ｈｚ以下の低周波は殆どないので、図２ａのような特性を有する雑音低減部による被写体音の劣化は起こらない。図２ｂも、同様にマイクの出力音声の周波数特性であるが、ここでは２００Ｈｚより低い周波数の音声信号が減衰している場合を示している。風切り音の様に風がマイクにあたって発生する雑音は、２００Ｈｚ以下の周波数成分が多い。そのため、図２ｂの特性にすることで音声信号に含まれる風切り音の低減が可能となる。

以下、図２ａの特性から図２ｂの特性に切り替える方法について説明する。まず、雑音低減部が図３のようなアナログ回路で形成されている場合を説明する。

図３は公知のアナログ・ハイパス・フィルタであり、コンデンサ２２２と可変抵抗２２３とバッファアンプ２２１で構成されている。制御信号２２４は、可変抵抗２２３の抵抗値を制御するための制御信号であり、例えば雑音低減制御部１９から与えられる。コンデンサ２２２と可変抵抗２２３のインピーダンス積により図２ａの１０Ｈｚ、図２ｂの２００Ｈｚが設定できる。例えば、可変抵抗２２３の抵抗値を大きくして図２ａの特性にし、制御信号２２４により可変抵抗２２３の抵抗値を小さくして図２ｂの特性にすることができる。また、ハイパスフィルタを公知の差分方程式などのデジタルフィルタで形成する場合、入力値及び前回の出力値に掛け合わされる係数を調整することで図２ａ、図２ｂの特性が実現できる。また、ハイパスフィルタの動作中に上記係数を変更することで、図２ａの特性から図２ｂの特性に変更することができる。

図１に戻って、第１雑音低減部１４ａからの出力は、第２雑音低減部１４ｂを経て、あるいは、そのまま後述する次数変更部１５、利得復元部１６を介して音声記録部１７に記録される。音声記録部１７は記録媒体に音声信号を記録する記録媒体であって、固体メモリ、ＤＶＤ、ハードディスク、テープ等を含むが、特定の種類の記録媒体に限定されるものではない。

雑音検出部１８は、記憶部１３から入力された音声信号より風切り音を検出する。一般的にステレオマイクに入力される被写体音声は、左右のチャンネル間で強い相関関係があるのに対して風切り音は無相関であることが多い。そこで雑音検出部１８はまず、マイク１１Ｒおよび１１Ｌにより得られた音声信号を比較する。もし、両者に相関が無い場合には風切り音が発生していると判定し、且つ、相関の無い信号振幅に基づいて、風切り音のレベルを判定することができる。具体的に振幅が大きければ、風切り音が大きいと判定することができる。なお、相関判定は、一部の帯域に注目して行ってもよい。例えば、雑音検出部１８が４００Ｈｚ以下の周波数帯における相関性の高さを判定することにより、風切り音が大きいか否かを判定しても良い。

雑音低減制御部１９は、雑音検出部１８で検出された雑音信号のタイミングと大きさとを受けて雑音低減部１４の特性を変更する。当該変更は、雑音低減部１４を構成するハイパスフィルタの雑音低減特性を制御する時定数を変更することで実現する。例えば、図２ａの状態から図２ｂの状態に変更する。

本実施形態では、図２ａに示すフィルタ特性を、「時定数の大きなハイパスフィルタ特性」と呼ぶ。その一方で、図２ｂに示すフィルタ特性を、「時定数の小さなハイパスフィルタ特性」と呼ぶ。そして、雑音検出部１８が検出する雑音のレベル（マイク１１Ｒ、１１Ｌの無相関波形の振幅の大きさ）に応じて、時定数を決定できる。例えば、雑音レベルが一定値に満たないような風切り音の場合、図２ｂまで至らない１００Ｈｚ以下を減衰させるハイパスフィルタ特性を用いる。一方、雑音レベルが一定値以上になるような大きな風切り音の場合、図２ｂに示す２００Ｈｚ以下を減衰させるハイパスフィルタ特性を用いる。なお、更に大きな風切り音の場合、４００Ｈｚ以下を減衰させるハイパスフィルタ特性を用いてもよい。このように、風切り音の大きさに応じて、ハイパスフィルタのカットオフ周波数を変更することができる。

雑音低減制御部１９は、第２雑音低減部１４ｂも制御し、その時定数を変更する。第２雑音低減部１４ｂは第１雑音低減部１４ａと同じ構成のハイパスフィルタとすることができる。本実施形態で第１雑音低減部１４ａおよび第２雑音低減部１４ｂの２つを設けた理由は、以下の通りである。すなわち、第１雑音低減部１４ａは風切り音の大きさに応じてその特性を変更してゆく。風切り音が大きい時はハイパスフィルタを４００Ｈｚ以下を減衰する特性にまで変更する。しかしながらそれ以上大きな風切り音の場合に更に時定数を小さくして、例えば６００Ｈｚ以下を減衰させるハイパスフィルタ特性にすることはない。これは減衰させる周波数を高くしてゆくと、被写体の音声信号まで影響を受けて、劣化してしまうためである。

そこで本実施形態では、ハイパスフィルタ時定数の変更ではなく、次数の変更で対応する。即ち、２つのハイパスフィルタを直接に接続することで減衰を開始させる周波数は変化させずに低周波の減衰性能を高める。雑音低減制御部１９は、次数変更部１５に対して切替信号を出力し、次数変更部１５の内部スイッチを切り替えて、雑音低減部１４を再構成する。次数変更部１５は、第１雑音低減部１４ａのみ通過した音声信号と、第１雑音低減部１４ａおよび第２雑音低減部１４ｂを通過した音声信号を次数変更部１５で切り替えて利得復元部１６に出力する。なお、次数変更部１５の配置箇所は、第１雑音低減部１４ａと第２雑音低減部１４ｂとの出力端でなくてもよい。たとえば、第１雑音低減部１４ａの出力端に接続し、第２雑音低減部１４ｂをバイパスするか、第２雑音低減部１４ｂを通過させるかを切り替えるようにしてもよい。また、第２の雑音低減部１４ｂではなく第１雑音低減部１４ａをバイパスするか否かを切り替えるようにしてもよい。この場合、第２の雑音低減部１４ｂは常に使用され、第１雑音低減部１４ａは、検出雑音レベルに応じて使用される。

雑音低減制御部１９は風切り音のレベルが極めて大きくなり、雑音低減部１４ａだけでは対応できなくなった場合に、次数変更部１５を切り替えて第１雑音低減部１４ａ及び第２雑音低減部１４ｂを通過した音声信号を利得復元部１６に入力させる。利得復元部１６は利得変更部１２で変更された利得のばらつきを元に戻す役割を担っている。例えば、通常は利得変更部１２で２０倍のゲインを与えている時には利得復元部１６のゲインは１、利得変更部１２の利得が変更され、２倍のゲインを与えている時は利得復元部１６のゲインは１０となる。これにより、利得復元部１６から出力される音声信号は共通に２０倍のゲインが与えられていることになる。

利得変更部１２が音声信号を２０倍から２倍までの範囲でゲイン変更するのは、風切り音レベルが高くなって音声信号が飽和するのを防ぐためである。例えば、マイク１１に入力された音声信号に混入した風切り音のレベルが大きい場合には、利得変更部１２でのゲインを２倍にし、小さい場合には２０倍にする。そのため、雑音検出部１８において検出された雑音のレベルの検出結果を利得変更部１２にフィードバックして、ゲインを調整している。よって、利得復元部１６で１０倍のゲインを与えると再び飽和が生ずることになるが、実際には第１雑音低減部１４ａ及び第２雑音低減部１４ｂで風切り音レベルが低減されているので飽和が生ずることは無い。

全体制御部２０は、音声信号処理装置の全体的な動作を制御する。本実施形態では、雑音低減処理を実行するための各機能ブロックの主な動作を説明するが、当該動作は全体制御部２０による制御の元に実行される。

図４は図１のブロックのタイミングチャートであり、横軸は時間、縦軸は各要素の動作を表している。まず、雑音検出部１８は、記憶部１３に一時的に保存されている音声信号を読み出して雑音検出処理を行う。波形４１は雑音検出部１８の検出結果であり、対のマイク１１Ｒ、１１Ｌの相関状態およびその時の音圧レベルにより風切り音（風圧レベル）を検出している。波形４１では時刻ｔ１で風切り音が発生している。

雑音検出部１８は、波形４１の振幅値に基づいて風切り音の発生及びそのレベルを判定する。レベル判定は雑音検出部１８に設定されたレベル判定用の閾値を用いて行ってもよい。雑音検出部１８は、風切り音の発生を検知すると、風切り音の発生と検出したレベルを後述するように、記憶部１３に通知し、音声処理指示として音声信号と同期して記憶させる。雑音低減制御部１９は、音声信号に記録された音声処理指示に含まれる雑音レベルに基づいて時定数及び次数を決定して第１雑音低減部１４ａ及び第２雑音低減部１４ｂと、次数変更部１５とを制御する。

図４では、時刻ｔ１で第１雑音低減部１４ａの時定数１の設定が開始される。よって、時刻ｔ１で風切り音が検出された後、実際に雑音低減処理が開始されるのは、波形４４で示すように時刻ｔ２である。この波形４４は、検出された雑音が処理されるタイミングを示している。時刻ｔ１からｔ２の間に、波形４２で示すように第１雑音低減部１４ａの時定数１が小さくなる方向に変化する。風切り音のレベルによっては、例えば、図２ａから図２ｂの時定数に対応するように変化させることができる。時刻ｔ２で時定数１の設定が終了すると、第１雑音低減部１４ａは記憶部１３から音声信号を読み出す。このように、本実施形態では音声信号を記憶部１３に一時的に保存しておくので音声処理の系のために音声信号を遅延させることができ、処理を行うタイミングで音声信号を読み出すことができる。

図４に示す例では、雑音低減制御部１９は時刻ｔ１における波形４１の検出レベルでは図２ｂの特性までハイパスフィルタ特性を変更する必要は無いと判定する。その場合、雑音低減制御部１９は、例えば１００Ｈｚ以下を減衰させるフィルタ特性にまで時定数１を小さくした時点で時定数１の変更を終了する。レベルの判定手法としては、風切り音のレベルを閾値により複数段階に分け、段階毎に時定数を１つずつ関連づけておき、検出された風切り音のレベルが属する段階に応じて時定数を決定することができる。あるいは、風切り音の振幅値を入力とする線形関数に基づいて、検出された個々の風切り音のレベルに応じた時定数を決定してもよい。

時定数の変更は時刻ｔ２にちょうど終了する様に設定してあり、時刻ｔ２で音声信号から雑音を低減する処理を開始するときにはハイパスフィルタは既に所望の特性で待機状態にある。また、時定数の変更を時刻ｔ１から時刻ｔ２の間で一定時間をかけて徐々に変更している理由は以下の通りである。

まず、ハイパスフィルタの時定数を切り替える際に注意しなくてはならないのは出力位相の変化が生じることである。例えば図２ｂに示した２００Ｈｚ以下を減衰させる１次のハイパスフィルタでは２００Ｈｚの信号位相は元の信号と比べて４５度変化している。それに対して図２ａに示すような１０Ｈｚ以下を減衰させる１次のハイパスフィルタでは２００Ｈｚの信号位相の変化は少ない。そのため図２ａから図２ｂへ特性を瞬時に切り替えると２００Ｈｚ信号の連続性が失われ、そのタイミングで不要な雑音が発生する。それを避けるために所定時間（例えば１００ｍｓ）を費やして時定数を「大」から「小」に徐々に変更している。この所定時間は、時定数を変化させる場合には固定値としてもよい。その場合には、例えば、最大の変化幅（例えば、１０Ｈｚから２００Ｈｚ）で時定数を連続的に変化させた場合に、信号の連続性が損なわれない時間とすることができる。

次に時刻ｔ３では、波形４１に示すように雑音検出部１８が更に大きな風切り音の発生を検出している。雑音低減制御部１９は、時刻ｔ２で設定したハイパスフィルタの特性では風切り音低減に不十分であるとして、第１雑音低減部１４ａのハイパスフィルタの時定数１を更に小さく設定する。ここでは、ハイパスフィルタの特性を図２ｂに示した２００Ｈｚ以下を減衰させる特性にまで時刻ｔ３からｔ４までの間で変更する。ｔ４−ｔ３の時間も上記の所定時間に相当する。

次に、時刻ｔ５では波形４１に示すように雑音検出部１８が更に大きな風切り音の発生を検出している。この場合も、雑音低減制御部１９は雑音低減部１４ａであるハイパスフィルタの時定数１を更に小さくして音声の低周波領域の減衰を大きくし、雑音の低減を図ることも考えられる。例えば４００Ｈｚ以下を減衰させる特性にまで変更することである。しかしながら低減を開始する周波数を高周波側に変更（例えば２００Ｈｚを４００Ｈｚに変更）してゆくと被写体の音声までも減衰してしまい、違和感のある音声記録となってしまう。

そこで本実施形態では、低減すべき雑音レベルが所定レベルより大きくなった場合は、第１雑音低減部１４ａであるハイパスフィルタ時定数１を小さくするのではなく、更にハイパスフィルタを直列に追加することで対応する。即ち、第１雑音低減部１４ａであるハイパスフィルタの出力を第２雑音低減部１４ｂであるハイパスフィルタに入力する。これによりハイパスフィルタの時定数では無く、次数を増やすことで雑音レベルの低減を図る。

この場合、低減を開始する周波数を高周波側に変更（例えば２００Ｈｚを４００Ｈｚに変更）しないので被写体音への影響は少なくなる。雑音レベルが小さい場合に対しても上記次数を増やす対策を行うことも考えられる。しかし、次数を増やすことも被写体音への影響は少なからず生じる為に雑音レベルが小さい場合には、即ち雑音低減部１４ａであるハイパスフィルタのみを使用することで高品位の音声録音が行える。

雑音低減部１４の次数の切り替えは図１に示した様に次数変更部１５のスイッチ切り替えで行う。即ち、次数変更部１５には第１雑音低減部１４ａであるハイパスフィルタの出力、および、第１雑音低減部１４ａであるハイパスフィルタと第２雑音低減部１４ｂであるハイパスフィルタとの直列接続出力信号の両者が入力されている。次数変更部１５は、波形４５に示すような雑音低減制御部１９からの次数切替信号に応じて、パスを切替える。図４の例では、時刻ｔ５に、第１雑音低減部１４ａ単体のパスから、第１雑音低減部１４ａ及び第２雑音低減部１４ｂのパスに切り替える。

次数の切り替えに応じて第２雑音低減部１４ｂの時定数２が変更される。時定数２の変更は、第１雑音低減部１４ａの場合と同様に時間をかけて行う。図４では、時刻ｔ５からｔ６までの時間をかけて第２雑音低減部１４ｂの特性が、１０Ｈｚ以下を減衰させる特性から２００Ｈｚ以下を減衰させる特性に変更される。この結果、次数が変更され、第２雑音低減部１４ｂの時定数２の変更も終了した時刻ｔ６では、風切り音低減に十分な特性となっている。次に、波形４１に示すように時刻ｔ７では、風切り音のレベルが下がるので、波形４３に示すように第２雑音低減部１４ｂの時定数２を時刻ｔ８からｔ９にかけて大きくして初期の特性（例えば１０Ｈｚ以下を減衰させる特性）に戻す。また、第１雑音低減部１４ａの時定数１を、時刻ｔ７で検出された雑音レベルに応じて時刻ｔ８からｔ９にかけて大きくして、例えば５０Ｈｚ以下を減衰させる特性に変更する。時定数を大きくする場合、風切り音のレベルが下がる前の遅延された音声信号の処理が終了するまで時定数の変更タイミングを遅延させる。図４の例では、時刻ｔ７で風切り音のレベルの低下が検出されても、実際に時定数の変更が開始されるのは時刻ｔ８である。

また、時刻ｔ９で時定数の変更が終了した後、雑音低減制御部１９は波形４５に示すように、次数変更部１５を制御して、第１雑音低減部１４ａのみのパスに切り替える。波形４１に示すように時刻ｔ１０では風切り音レベルが更に下がるので波形４２に示すように第１雑音低減部１４ａの時定数を時刻ｔ１１からｔ１２にかけて大きくして初期の特性（例えば１０Ｈｚ以下を減衰させる特性）に戻す。

このようにして、記憶部１３に一時的に音声信号を保持し、必要な処理を順に行っていく音により、風切り音の発生初期から適切な時定数に基づく雑音低減を行うことが可能となる。なお、図４の波形４６は利得復元部１６の補正利得の様子をあらわしている。前述した様にマイク１１Ｒ、１１Ｌであるマイクの増幅レベルは被写体の大きさにより自動設定される（ＡＬＣ：オート・レベル・コントロール）。これは小さな被写体音もクリアに録音すること及び大きな被写体音も増幅による飽和無く録音するためである。そのため風切り音が生じるとそのレベルに応じてマイクの増幅レベルが小さくなる。前述したように風切り音は雑音低減部１４により低減されるので、マイクの増幅レベルが小さいと風切り音処理後の被写体音声は小さくなり不自然となる。

そこで風切り音処理後に変更された増幅レベルの補完（利得復元）を行う。図１においては次数変更部１５の出力が利得復元部１６に入力され、その利得を復元して音声記録部１７に出力する。尚、利得復元部１６にはマイクの増幅レベルを変更する利得変更部１２の利得変更信号が入力され、どのタイミングでどれくらい利得が変更されたかを伝えている。そのため利得復元部１６はその信号にあわせて利得の復元を行う。

図４の波形４６は利得復元レベルを表しており、ちょうど風切り音の発生レベル変化と各時刻で同期している。例えば時刻ｔ１で風切り音が発生するとマイクの増幅レベルが小さくなるので、雑音処理後の音声に対してはその分増幅の補完を行うべく波形４６に示す様に時刻ｔ２より徐々に増幅レベルを上げている。ここで利得を徐々に変化させているのは利得を急激に変化させることによる違和感を防ぐ為である。その後の時刻においても風切り音レベルに合わせて変化するマイクの増幅レベルを補うように利得の復元を行う。

次に図５（ａ）から（ｆ）を参照して、本発明の効果について対比説明する。本実施形態では、雑音低減部１４は雑音発生に先立って、特性を調整して待機することが可能であり、その結果として音声信号における雑音発生直後から雑音低減効果がある。図５（ａ）は被写体音に風切り音が重畳している波形であり、横軸は時間、縦軸は音圧レベルを示している。ここで５１ａ、５３ａは風切り音が無く被写体音のみの場合にマイク１１Ｒ或いは１１Ｌが検出する波形であり、男性の声のスペクトルにより擬似的に表している。５２ａは波形５１ａに風切り音が重畳している波形であり、風切り音のスペクトルより擬似的に表した波形に波形５１ａを混合している。

図５（ｂ）は図５（ａ）の波形を図２ｂで示す特性の雑音低減部１４で処理した結果であり、風切り音である低周波成分は低減している（波形５２ｂに低周波成分がない）。しかしながら波形５１ｂ、５３ｂを波形５１ａ、５３ａと比較すると若干低周波成分が劣化している。即ち、被写体音も雑音低減部１４による影響を受けている。そこで風切り音の発生している期間だけ雑音低減部１４を動作させることを考える。図５（ｃ）はその結果であり、波形５１ｃ、５３ｃでは雑音低減処理を行わず、波形５２ｃの区間のみ雑音低減部１４を動作させている。そのため波形５１ａ、５３ａと波形５１ｃ、５３ｃは差がない。波形５２ｃにおける風切り音の低減も十分行えているように見える。

図５（ｄ）は図５(ｂ）と図５（ｃ）との差を示している。風切り音の発生しない波形５１ｄ、５３ｄの区間においては雑音低減部１４で劣化した波形５１ｂ、５３ｂと雑音低減部１４を作動させていない波形５１ｃ、５３ｃの差になるので雑音低減部１４による被写体音の劣化状態が示される。

風切り音が発生している波形５２ｄの区間においては共に雑音低減部１４を作動させている為に同じ波形になり波形５２ｃ、５２ｂの差はゼロになる筈である。ところが図５（ｄ）に示すように、波形５２ｄの初期においては丸で囲んだ範囲５４にて風切り音未処理の部分が残っている。これは雑音低減部１４を作動させても直ぐにはその効果が得られない為である。

そこで、例えば図５（ｂ）の様に常に雑音低減部１４を作動させた波形と図５（ａ）のように雑音低減部１４未処理の波形の両者を常に用意しておく。そして、風切り音が発生したときにのみ図５（ｂ）の波形を図５（ａ）の波形に切り替える方法も考えられる。この場合、既に風切り音発生前に雑音低減部１４が作動しているので範囲５４の様な未処理の波形は無くなる。しかしながら、切替を行うとその接合部が不連続になる問題がある。これは雑音低減部１４により変形された信号（減衰や位相のズレあり）と、雑音低減部１４により変形されていない元の信号とを接続するためである。この不連続部分が音として聞こえる場合、品位のない録音となってしまう。

図５（ｅ）は、本実施形態に対応する処理を示している。波形５１ｅ、５３ｅでは雑音低減部１４を作動させていないので図５（ｃ）の手法と同様に被写体音の劣化は生じない。風切り音の発生している波形５２ｅに関しても雑音低減部１４の作動により風切り音である低周波成分は減衰している。

図４のタイミングチャートで説明したように、雑音低減部１４は風切り音発生に先立って周波数減衰特性を変化させていき（時定数を小さくしてゆき）、風切り音発生時点ではその風切り音レベルを低減するのに適したフィルタ特性になっている。即ち、波形５１ｅの後半期間５５で、雑音低減部１４が徐々に作動して、雑音低減効果が出てくる。このように雑音低減部１４の時定数を時間をかけて（期間５５）小さくしてゆく構成にしているので雑音低減部１４を突然作動させる図５（ｃ）の場合に比べて、雑音低減部１４の作動前後の波形の連続性が保たれる。

図５（ｆ）は図５（ｅ）と図５（ｂ）の差を示している。風切り音の発生しない波形５１ｆ、５３ｆの区間においては雑音低減部で劣化した波形５１ｂ、５３ｂと雑音低減部を作動させていない波形５１e、５３eの差になるので雑音低減部による被写体音の劣化状態が示される。風切り音が発生している波形５２ｆの区間においては共に雑音低減部１４を作動させている為に同じ波形になり波形５２e、５２ｂの差はゼロになる筈である。図５（ｆ)に示すように本実施形態では丸で囲んだ範囲５６の風切り音発生初期においても風切り音の低減が行えており高品位の録音が可能になっている。

次に図６を参照して、本実施形態における雑音検出部１８における処理を説明する。当該処理は音声の録音開始と共にスタートする。

マイク１１Ｒ、１１Ｌにて図１の記憶部１３に音声が記憶されるのと同期してスタートする。Ｓ６０１では、雑音検出部１８がマイク１１Ｒ、１１Ｌの比較を行うことで風切り音の検出を行う。もし、風切り音が検出されると（Ｓ６０１で「ＹＥＳ」）Ｓ６０２に進む。風切り音が検出されない間は（Ｓ６０１で「ＮＯ」）、風切り音の発生を監視する。続くＳ６０２では、雑音検出部１８が、雑音レベルをマイク１１Ｒ、１１Ｌの相関性のない波形の振幅（音圧）や、或いはローパスフィルタにより被写体音を減衰させた後の波形の振幅等を利用して測定する。

続くＳ６０３では、風切り音を検出したタイミングとそのレベルを、雑音検出部１８が記憶部１３に通知する。記憶部１３は、風切り音処理指示として、記憶部１３に記憶される音声信号と同期して記録する。この時、雑音検出部１８における検出遅れを見込んだタイミングで風切り音の処理を指示する「音声処理指示」を記録する。その後Ｓ６０１に戻る。

次に図７を参照して、本実施形態における雑音低減処理および利得復元、音声記録の処理を説明する。当該処理は、音声の録音開始より所定の時間遅れてスタートする。この時間遅れは、雑音検出部１８の検出遅れや雑音低減部１４の起動遅れを見込んだものである。まず、雑音低減制御部１９は、図６の処理で記録された音声処理指示の記録を確実に読み出せるだけの遅れを持って、記憶部１３から音声信号を読み出して処理を行う。第１雑音低減部１４ａはそれより更に、時定数を変更するために必要な所定時間の遅れをもって、記憶部１３から音声信号を読み出して処理を行う。あるいは、全体制御部２０が、各機能ブロックにおける、音声信号の読み出しタイミングを制御してもよい。

まず、Ｓ７０１では雑音低減制御部１９は、記憶部１３に記録されている音声信号を走査しつつ、図６のＳ６０３で記録された音声処理指示を探す。もし、音声処理指示を見つけた場合（Ｓ７０１で「ＹＥＳ」）、Ｓ７０２に移行する。音声処理指示が見つからない場合はＳ７０１で監視を継続する。

続くＳ７０２、Ｓ７０３及びＳ７０４では、雑音低減制御部１９は、音声処理指示に記録されている雑音レベルを判定し、雑音レベルに応じた雑音低減の選択を行う。雑音レベルの判定は、各レベルに対応する閾値を用いて判定する。レベル１は閾値Ｔｈ１を、レベル２は閾値Ｔｈ２を、レベル３は閾値Ｔｈ３をそれぞれ用いる。まず、Ｓ７０２では、雑音レベルが最も高いレベル３（閾値Ｔｈ３）以上か否かを判定しており、レベル３以上の場合（Ｓ７０２で「ＹＥＳ」）Ｓ７０９に進み、そうでないときは（Ｓ７０２で「ＮＯ」）Ｓ７０３に進む。Ｓ７０３では、雑音レベルが中間レベルのレベル２（閾値Ｔｈ２）以上か否かを判定し、レベル２以上の場合（Ｓ７０３で「ＹＥＳ」）Ｓ７０８に進み、そうでないときは（Ｓ７０３「ＮＯ」）Ｓ７０４に進む。Ｓ７０４では雑音レベルが最も低いレベル１（閾値Ｔｈ１）以上か否かを判定し、レベル１以上の場合（Ｓ７０４で「ＹＥＳ」）Ｓ７０５に進む。雑音レベルが閾値Ｔｈ１に満たない場合（Ｓ７０４で「ＮＯ」）、レベル検出不能として、音声処理指示を無視してＳ７０１に戻る。

Ｓ７０５では第１雑音低減部１４ａの時定数１を対応する時定数に変更する。ここでは雑音レベルが低いので時定数をそれほど小さくせず、例えば１００Ｈｚ以下の雑音を減衰させるフィルタ特性に対応する時定数：τ１に時定数を変更する。本実施形態では、所定時間（例えば、１００ｍｓ）をかけて時定数を変更するが、当該変更は、雑音低減制御部１９からの制御信号２４に基づいて行うことができる。

続くＳ７０６では、雑音低減部１４で処理した音声波形に対して利得復元部１６により利得を復元する。前述のように、風切り音が発生したときには利得変更部１２により音声を電気信号に変換する利得が自動的に小さくなる。よって、風切り音低減処理を行った後で、その利得変化分を補完して録音レベルを一定に保っている。続くＳ７０７では利得復元された音声信号を記録媒体２１に記録してＳ７０１に戻る。

次に、Ｓ７０３でレベル２以上と判定された場合を説明する。Ｓ７０８では、雑音低減制御部１９が、第１雑音低減部１４ａの時定数１を対応する時定数に変更する。このときの雑音レベルは比較的高いので、時定数を十分小さくし、例えば２００Ｈｚ以下の雑音を減衰させるフィルタ特性に対応する時定数：τ２にまで、所定時間をかけて変更する。その後Ｓ７０６に移行する。

次に、Ｓ７０２でレベル３以上と判定された場合を説明する。この場合、第１雑音低減部１４ａだけなく、第２雑音低減部１４ｂも作動させて雑音の低減を行う。そのためＳ７０９では、雑音低減制御部１９が、次数変更部１５を切り替えて第１雑音低減部１４ａ、第２雑音低減部１４ｂを直列接続した２次のハイパスフィルタによる処理を選択する。

続くＳ７１０では第１雑音低減部１４ａおよび第２雑音低減部１４ｂの各時定数を、次数変更部１５作動後に変更する。この時の雑音レベルは最大レベルであるので、時定数を変更する上限も最大レベルとなる。例えば２００Ｈｚ以下の雑音を減衰させるフィルタ特性に対応する時定数：τ２にまで所定時間をかけて変更する。尚、第１雑音低減部１４ａの時定数１が既に時定数τ２にまで変更済である場合は、第２雑音低減部１４ｂの時定数２のみ変更すればよい。その後、Ｓ７０６に移行する。以上の処理は、音声記録終了の指示があるまで継続する。

以上のように、本実施形態では音声信号を一時的に記憶部１３に記憶させておくと共に、予め風切り音の発生箇所を検出して記録しておく。そして実際の雑音低減処理では、検出された風切り音の発生タイミングに先だって、雑音低減部であるハイパスフィルタの時定数を検出された雑音レベルに対応する値に変更しておく。これにより、ハイパスフィルタの特性を、音声信号における風切り音の発生箇所直前で、十分な風切り音低減特性を有するように安定させておくことができる。よって、雑音低減処理に対する風切り音の検出遅れや雑音低減部の起動遅れの影響は解消され、かつ、雑音低減部の起動前後における信号の連続性も保たれて高品位な音声記録が可能となる。

［実施形態２］
以下、実施形態２を説明する。本実施形態では、雑音検出の機構として熱電対を使用する構成を説明する。図８は、実施形態２に対応する音声信号処理装置の構成例を示す図である。図８では、音声採取のための機構としてモノラルマイクを用いている。

音声検出部８０はマイクユニット８１、マイク８２、マイク支持部材８３、熱電対８４で構成され、部分的に示してある音声信号処理装置の筐体８５に取り付けてある。筐体８５には孔８５ａが設けてあり、孔８５ａを通って音声がマイク８２に到達する。マイク８２はマイクユニット８１に対して防振ゴムで成型されたマイク支持部材８３により弾性支持されているので、録音機器自体が発生する振動が音声として記録されない構造になっている。

熱電対８４はマイクユニット８１に取り付けられている。熱電対８４は風速計などに利用されており、風で熱電対８４が冷えることによる抵抗変化により風速を検出する。孔８５ａより流入する風はマイクユニット８１内で対流するため、マイクにあたる風と熱電対８４にあたる風の位相がずれる可能性がある。そこで、熱電対８４はマイク８２のできるだけ近傍に配置される必要がある。熱電対８４をマイクユニット８１内に配置すると、筐体８５に対して熱電対８４が露出しないため、信頼性が高くなる。

マイク８２の音声信号は、実施形態１と同様に雑音低減処理されて記録媒体２１に記録される。熱電対８４の信号は雑音検出部１８に入力される。雑音検出部１８は熱電対８４の信号を増幅し、公知のウィンドコンパレータ等を用いて風速の有無とそのレベルを検出する。雑音低減制御部１９は、雑音検出部１８からの風切り音レベルに応じて実施形態１で説明したのと同様に、雑音低減部１４を制御して、風切り音の低減処理を行う。

一般に、熱電対による風速の検出には遅れが生ずる。従って、リアルタイムで風切り音を処理しようとする場合、この検出遅延のために発生初期段階の風切り音の低減が困難であった。そこで、本実施形態では雑音検出部１８と雑音低減制御部１９との間に新たに遅れ補正部８６が設ける。遅れ補正部８６は、熱電対８４の検出遅れ（例えば０．２秒）が設定されており、図６のＳ６０３では、この検出遅れ分と時定数変更時間分を見込んで雑音低減部１４の起動タイミングを決定し、記憶部１３に記憶された音声信号に音声処理の指示を記録する。そのために記録媒体２１への音声記録時には風切り音の検出遅れは解消される。

電源状態検出部８７は電源８８の消耗状態を検出しており、電源が所定レベルまで下がった場合に、雑音検出部１８に通知して熱電対８４の駆動を停止する。これは熱電対８４を駆動することで電源が更に消耗するためである。電源状態検出部８７は、同時に雑音低減制御部１９にも通知して雑音低減部１４に対する時定数をその時点で設定していた時定数に固定的とする。なお、録音開始時から電源が消耗している場合、熱電対８４を一度駆動して風切り音レベルを検出した後に、雑音低減部１４ａ、１４ｂの特性と次数変更部１５の状態とを決定し、それらを固定した後に熱電対８４の駆動を中止する。電源８８は、音声信号処理装置が動作するための電源を供給する、例えばバッテリーであって、図８では電源状態検出手段８７以外との接続関係を省略しているが、各機能ブロックに電源供給を行っている。なお、図１では、発明の動作と直接に関連しないため、記載を省略していたものである。

図９は上記を説明するフローチャートであり、このフローは音声信号処理装置の電源が投入後に開始される。Ｓ９０１では電源状態検出部８７により電源状態の検出を行い、所定レベルよりも消耗している状態が検出された場合（Ｓ９０１で「ＹＥＳ」）、Ｓ９０２に進む。電源が所定レベルより消耗していない場合は（Ｓ９０１で「ＮＯ」）、Ｓ９０１に戻って、電源状態の監視を継続する。この場合は、通常の雑音低減処理が実行されることになる。

続くＳ９０２では、録音を開始してから既に雑音検出が行われたか否かを判定し、検出済の場合（Ｓ９０２で「ＹＥＳ」）Ｓ９０７に移行する。まだ、雑音検出が行われていない場合（Ｓ９０２で「ＮＯ」）、Ｓ９０３に進む。この雑音検出処理の有無については、雑音検出部１８が、前回の検出値を有しているか否かに基づいて判定すればよい。なお、検出値は電源投入時にリセットされるものとして、電源投入時は雑音検出が行われていないと判定される。

続くＳ９０３では、雑音検出部１８が熱電対８４の駆動して、続くＳ９０４では熱電対８４により風切り音レベルを検出する。Ｓ９０５では、検出した風切り音のレベルに応じて雑音低減制御部１９が雑音低減部１４ａ、１４ｂの時定数を決定し、次数変更部１５の状態を決める。この時、既に雑音検出が行われて時定数、次数が設定されている状態であるならば、既に設定されている時定数及び次数を変更しない。一方、新たに雑音検出を行った場合（即ち、Ｓ９０２で「ＮＯ」と判定された場合）は、Ｓ９０４で検出された雑音レベルに合わせた時定数及び次数を設定する。なお、設定値はその後固定される。なお、時定数、次数を変更する場合、例えば雑音低減部１４ａの時定数を変更後に次数変更部１５で次数を切り替え、その後に雑音低減部１４ｂの時定数を変更する。続くＳ９０６では、雑音検出部１８が熱電対８４の駆動を停止して省電力化を図りＳ９０１に戻る。

Ｓ９０７では、雑音検出部１８が、前回の雑音検出から一定時間が経過しているか否かを判定する。ここで一定時間は、例えば０．５ｓと設定することができる。もし、一定時間が経過している場合には（Ｓ９０７で「ＹＥＳ」）、Ｓ９０３に移行する。一方。一定時間が経過していない場合には（Ｓ９０７で「ＮＯ」）、Ｓ９０５に移行する。

以上の構成によれば、熱電対８４の稼働による電源消耗を抑えることができる。この方法は省電力化には貢献するが、雑音低減部１４の時定数、次数を固定的に設定してしまうとその後の風切り音の変化に対応できない場合も出てくる。そこで、Ｓ９０７において前回の雑音検出後に一定時間が経過したか否かを判定し、熱電対８４を間欠的に駆動することを可能とする。これにより、風切り音の変化に対応できるとともに、電源消費を抑制して省電力化を図ることができる。

以上のように実施形態２では熱電対を用いて雑音検出を行ったが、実施形態１のような対のマイクの出力相関値に基づく風切り音検出と組み合わせて風切り音検出精度を上げることもできる。例えば、対のマイク出力相関値を用いて風切り音発生タイミングを掴み、そのレベルは熱電対で検出する方法がある。また、共に風切り音を検出しているときのみ風切り音が発生していると判定して雑音低減処理を行ってもよい。

また、図８ではモノラルマイクの実施形態であったが、ステレオマイクにおいても熱電対を用いることもできる。例えば図１０に示すように熱電対８４はステレオマイクの片方にのみ設けてあり、その出力で左右の各チャンネルの音声信号を処理しても良いし、ステレオマイクの両方に熱電対８４を設け、その平均値で音声信号処理を行っても良い。

以上説明した発明の実施形態２では、風切り音検出のために熱電対を設けることで更に高精度に風切り音の検出ができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 音声入力手段と、
   前記音声入力手段から入力された音声信号を一時的に記憶する記憶手段と、
   前記記憶手段から供給される音声信号から雑音を低減するための第１の雑音低減手段と、
   前記第１の雑音低減手段から出力される音声信号から雑音を低減するための第２の雑音低減手段と、
   前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第１の雑音低減手段の時定数を設定し、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第２の雑音低減手段の時定数を設定する設定手段と、
   前記第１の雑音低減手段と前記第２の雑音低減手段との接続を切り替える切替手段と、
   前記第１の雑音低減手段の時定数が設定された後に、前記雑音を含む音声信号を、前記記憶手段から前記第１の雑音低減手段に供給する制御手段と
   を有し、
   前記設定手段は、前記第１の雑音低減手段と前記第２の雑音低減手段とが前記切替手段によって接続された後に、前記第２の雑音低減手段の時定数を設定することを特徴とする音声信号処理装置。
2. 前記切替手段は、前記記憶手段に記憶される音声信号に関する雑音のレベルが所定のレベル以上である場合、前記第１の雑音低減手段と前記第２の雑音低減手段とを接続することを特徴とする請求項１に記載の音声信号処理装置。
3. 前記切替手段は、前記記憶手段に記憶される音声信号に関する雑音のレベルが前記所定のレベル以上でない場合、前記第１の雑音低減手段と前記第２の雑音低減手段とを接続しないことを特徴とする請求項２に記載の音声信号処理装置。
4. 前記第１の雑音低減手段は、ハイパスフィルタであり、
   前記第２の雑音低減手段は、ハイパスフィルタであることを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
5. 前記第１の雑音低減手段は、第１の周波数以下の周波数に対応する音声信号を減衰させ、
   前記第２の雑音低減手段は、第２の周波数以下の周波数に対応する音声信号を減衰させることを特徴とする請求項１から４のいずれか１項に記載の音声信号処理装置。
6. 音声入力手段と、
   前記音声入力手段から入力された音声信号を一時的に記憶する記憶手段と、
   前記記憶手段から供給される音声信号から雑音を低減するための第１の雑音低減手段と、
   前記第１の雑音低減手段から出力される音声信号から雑音を低減するための第２の雑音低減手段と、
   前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第１の雑音低減手段の時定数を設定し、前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第２の雑音低減手段の時定数を設定する設定手段と、
   前記第１の雑音低減手段の時定数が設定された後に、前記雑音を含む音声信号を、前記記憶手段から前記第１の雑音低減手段に供給する制御手段と
   を有し、
   前記設定手段は、前記第１の雑音低減手段の時定数が設定された後に、前記第２の雑音低減手段の時定数を設定することを特徴とする音声信号処理装置。
7. 前記記憶手段に記憶される音声信号に関する雑音のレベルに応じて、前記第１の雑音低減手段と前記第２の雑音低減手段との接続を切り替える切替手段を有し、
   前記切替手段は、前記記憶手段に記憶される音声信号に関する雑音のレベルが所定のレベル以上である場合、前記第１の雑音低減手段と前記第２の雑音低減手段とを接続することを特徴とする請求項６に記載の音声信号処理装置。
8. 前記切替手段は、前記記憶手段に記憶される音声信号の雑音のレベルが前記所定のレベル以上でない場合、前記第１の雑音低減手段と前記第２の雑音低減手段とを接続しないことを特徴とする請求項７に記載の音声信号処理装置。
9. 前記設定手段は、前記第１の雑音低減手段と前記第２の雑音低減手段とが前記切替手段によって接続された後に、前記第２の雑音低減手段の時定数を設定することを特徴とする請求項７または８に記載の音声信号処理装置。
10. 前記第１の雑音低減手段は、ハイパスフィルタであり、
    前記第２の雑音低減手段は、ハイパスフィルタであることを特徴とする請求項６から９のいずれか１項に記載の音声信号処理装置。
11. 前記第１の雑音低減手段は、第１の周波数以下の周波数に対応する音声信号を減衰させ、
    前記第２の雑音低減手段は、第２の周波数以下の周波数に対応する音声信号を減衰させることを特徴とする請求項６から１０のいずれか１項に記載の音声信号処理装置。