JP7604154B2 - Audio processing device, control method, and program - Google Patents
Audio processing device, control method, and program Download PDFInfo
- Publication number
- JP7604154B2 JP7604154B2 JP2020161435A JP2020161435A JP7604154B2 JP 7604154 B2 JP7604154 B2 JP 7604154B2 JP 2020161435 A JP2020161435 A JP 2020161435A JP 2020161435 A JP2020161435 A JP 2020161435A JP 7604154 B2 JP7604154 B2 JP 7604154B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- audio signal
- audio
- parameter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、音声データに含まれるノイズを低減可能な音声処理装置に関する。 The present invention relates to an audio processing device capable of reducing noise contained in audio data.
音声処理装置の一例であるデジタルカメラは、動画データを記録する場合、周囲の音声も併せて記録することができる。また、デジタルカメラは、光学レンズを駆動することで、動画データの記録中に被写体に対してフォーカスを合わせるオートフォーカス機能を持つ。また、デジタルカメラは、動画の記録中に光学レンズを駆動してズームを行う機能を持つ。 A digital camera, which is an example of an audio processing device, can record surrounding audio when recording video data. Digital cameras also have an autofocus function that drives an optical lens to focus on a subject while recording video data. Digital cameras also have a function that drives an optical lens to zoom while recording video.
このように、動画の記録中に光学レンズを駆動すると、動画とともに記録される音声に光学レンズの駆動音がノイズとして含まれることがある。そこで、従来、デジタルカメラは、光学レンズが駆動する際に発生する摺動音等をノイズとして収音した場合、そのノイズを低減して周囲の音声を記録することができる。特許文献１では、スペクトルサブトラクション法によってノイズを低減するデジタルカメラが開示されている。
In this way, when an optical lens is driven while a video is being recorded, the sound of the optical lens being driven may be included as noise in the sound recorded along with the video. Conventionally, therefore, when a digital camera picks up noise such as the sliding sound generated when the optical lens is driven as noise, it is possible to reduce that noise and record surrounding sounds.
しかし、特許文献１では、デジタルカメラは、周囲の音声を記録するマイクによって集音されたノイズからノイズパターンを作成するため、光学レンズの筐体内で発生する摺動音から正確なノイズパターンを取得できない可能性がある。この場合、デジタルカメラは、収音した音声に含まれるノイズを効果的に低減できないおそれがあった。
However, in
そこで本発明は、効果的にノイズを低減することを目的とする。 Therefore, the present invention aims to effectively reduce noise.
音声処理装置は、ノイズ源としての駆動手段を有するレンズからの被写体の光学像を撮像する撮像手段と、環境音を取得するための第一のマイクと、前記ノイズ源からの音を取得するための第二のマイクと、前記第一のマイクからの音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、前記第二のマイクからの音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、前記第二の音声信号と、前記ノイズ源のノイズに係る第一のパラメータとを用いてノイズデータを生成する生成手段と、前記第一の音声信号から前記ノイズデータを減算する減算手段と、前記減算手段からの音声信号を逆フーリエ変換する第三の変換手段と、前記撮像手段によって生成された動画データと、前記第三の変換手段からの音声信号とを音声付き動画データとして記録媒体に記録する記録手段と、前記記録手段による音声付き動画データの記録が行われていない状態において、前記第一の音声信号と前記第二の音声信号とを用いて、前記ノイズ源のノイズに係るパラメータを生成し、前記生成したパラメータを用いて前記第一のパラメータを更新する更新手段と、を有し、前記更新手段は、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータの値が、前記第一のパラメータの値よりも小さいと判断した場合、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータを用いて前記第一のパラメータを更新する。 The audio processing device includes an imaging means for capturing an optical image of a subject from a lens having a driving means as a noise source, a first microphone for acquiring environmental sound, a second microphone for acquiring sound from the noise source, a first conversion means for Fourier transforming an audio signal from the first microphone to generate a first audio signal, a second conversion means for Fourier transforming an audio signal from the second microphone to generate a second audio signal, a generation means for generating noise data using the second audio signal and a first parameter related to the noise of the noise source, a subtraction means for subtracting the noise data from the first audio signal, a third conversion means for performing an inverse Fourier transform on the audio signal from the subtraction means, and a conversion means for converting the audio signal from the subtraction means into an inverse Fourier transform by the imaging means. a recording means for recording the video data generated by the first audio signal and the audio signal from the third conversion means on a recording medium as video data with audio; and an update means for generating a parameter related to the noise of the noise source using the first audio signal and the second audio signal when the recording means is not recording the video data with audio, and updating the first parameter using the generated parameter, and when the update means determines that the value of the parameter generated using the first audio signal and the second audio signal is smaller than the value of the first parameter, the update means updates the first parameter using the parameter generated using the first audio signal and the second audio signal.
本発明の音声処理装置は、効果的にノイズを低減することができる。 The audio processing device of the present invention can effectively reduce noise.
以下、図面を参照して本発明の実施例を詳細に説明する。 The following describes in detail an embodiment of the present invention with reference to the drawings.
［第一の実施例］
＜撮像装置１００の外観図＞
図１（ａ）、（ｂ）に本発明を適用可能な音声処理装置の一例としての撮像装置１００の外観図の一例を示す。図１（ａ）は撮像装置１００の前面斜視図の一例である。図１（ｂ）は撮像装置１００の背面斜視図の一例である。図１において、レンズマウント３０１には不図示の光学レンズが装着される。
[First embodiment]
<External view of
1A and 1B show an example of an external view of an
表示部１０７は画像データおよび文字情報等を表示する。表示部１０７は撮像装置１００の背面に設けられる。ファインダー外表示部４３は、撮像装置１００の上面に設けられた表示部である。ファインダー外表示部４３は、シャッター速度、絞り値等の撮像装置１００の設定値を表示する。接眼ファインダー１６は覗き込み型のファインダーである。ユーザは接眼ファインダー１６内のフォーカシングスクリーンを観察することで、被写体の光学像の焦点および構図を確認することができる。
The
レリーズスイッチ６１はユーザが撮影指示を行うための操作部材である。モード切替スイッチ６０はユーザが各種モードを切り替えるための操作部材である。メイン電子ダイヤル７１は回転操作部材である。ユーザはこのメイン電子ダイヤル７１を回すことで、シャッター速度、絞り値等の撮像装置１００の設定値を変更することができる。レリーズスイッチ６１、モード切替スイッチ６０、メイン電子ダイヤル７１は、操作部１１２に含まれる。
The
電源スイッチ７２は撮像装置１００の電源のオンおよびオフを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材である。ユーザは、サブ電子ダイヤル７３によって表示部１０７に表示された選択枠の移動および再生モードにおける画像送りなどを行える。十字キー７４は上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。撮像装置１００は十字キー７４の押された部分（方向）に応じた処理を実行する。電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４は操作部１１２に含まれる。
The
ＳＥＴボタン７５は押しボタンである。ＳＥＴボタン７５は、主に、ユーザが表示部１０７に表示された選択項目を決定するためなどに用いられる。ＬＶボタン７６はライブビュー（以下、ＬＶ）のオンおよびオフを切り替えるために使用されるボタンである。ＬＶボタン７６は、動画記録モードにおいては、動画撮影（記録）の開始および停止の指示に用いられる。拡大ボタン７７は撮影モードのライブビュー表示において拡大モードのオンおよびオフ、並びに、拡大モード中の拡大率の変更を行うための押しボタンである。ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７は操作部１１２に含まれる。
The
拡大ボタン７７は、再生モードにおいては表示部１０７に表示された画像データの拡大率を増加させるためのボタンとして機能する。縮小ボタン７８は表示部１０７において拡大表示された画像データの拡大率を低減させるためのボタンである。再生ボタン７９は撮影モードと再生モードとを切り替える操作ボタンである。撮像装置１００は撮影モード中にユーザが再生ボタン７９を押すと、撮像装置１００が再生モードに移行し、記録媒体１１０に記録された画像データを表示部１０７に表示する。縮小ボタン７８、再生ボタン７９は、操作部１１２に含まれる。
In playback mode, the
クイックリターンミラー１２（以下、ミラー１２）は、撮像装置１００に装着された光学レンズから入射した光束を接眼ファインダー１６側または撮像部１０１側のどちらかに入射するよう切り替えるためのミラーである。ミラー１２は、露光、ライブビュー撮影、および動画撮影の際に、制御部１１１によって不図示のアクチュエータを制御されることによりアップダウンされる。ミラー１２は通常時は接眼ファインダー１６へと光束を入射させるように配されている。ミラー１２は、撮影が行われる場合およびライブビュー表示の場合には、撮像部１０１に光束が入射するように上方に跳ね上がる（ミラーアップ）。またミラー１２はその中央部がハーフミラーとなっている。ミラー１２の中央部を透過した光束の一部は、焦点検出を行うための焦点検出部（不図示）に入射する。
The quick return mirror 12 (hereinafter, mirror 12) is a mirror for switching the light beam incident from the optical lens attached to the
通信端子１０は、撮像装置１００に装着された光学レンズ３００と撮像装置１００とが通信を行う為の通信端子である。端子カバー４０は外部機器との接続ケーブルと撮像装置１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。蓋４１は記録媒体１１０を格納したスロットの蓋である。レンズマウント３０１は不図示の光学レンズ３００を取り付けることができる取り付け部である。
The
Ｌマイク２０１ａおよびＲマイク２０１ｂはユーザの音声等の環境音を収音するためのマイクである。撮像装置１００の背面から見て、左側にＬマイク２０１ａが、右側にＲマイク２０１ｂが配置される。
The
＜撮像装置１００の構成＞
図２は本実施例における撮像装置１００の構成の一例を示すブロック図である。
<Configuration of
FIG. 2 is a block diagram showing an example of the configuration of the
光学レンズ３００は、撮像装置１００に着脱可能なレンズユニットである。例えば光学レンズ３００はズームレンズまたはバリフォーカルレンズである。光学レンズ３００は光学レンズ、光学レンズを駆動させるためのモーター、および後述する撮像装置１００のレンズ制御部１０２と通信する通信部を有する。光学レンズ３００は、通信部によって受信した制御信号に基づいて、光学レンズをモーターによって移動させることで、被写体に対するフォーカスおよびズーミング、並びに、手ブレの補正ができる。
The
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換するための撮像素子、および撮像素子で生成された電気信号から画像データまたは動画データを生成して出力する画像処理部とを有する。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）である。本実施例では、撮像部１０１において静止画像データや動画データを含む画像データを生成して撮像部１０１から出力する一連の処理を「撮影」という。撮像装置１００では、画像データは、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に従って、後述する記録媒体１１０に記録される。
The
レンズ制御部１０２は撮像部１０１から出力されたデータ、および後述する制御部１１１から出力された制御信号に基づいて、通信端子１０を介して光学レンズ３００に制御信号を送信し、光学レンズ３００を制御する。また、レンズ制御部１０２は、撮像装置１００に装着されている光学レンズ３００からレンズ情報を受信する。レンズ情報は、例えば、レンズの種類、レンズの型番、ズーム倍率、およびノイズ源の種類等である。
The
情報取得部１０３は、撮像装置１００の傾きおよび撮像装置１００の筐体内の温度などを検出する。例えば情報取得部１０３は撮像装置１００の傾きを加速度センサまたはジャイロセンサによって検出する。また、例えば情報取得部１０３は撮像装置１００の筐体内の温度を温度センサによって検出する。
The
音声入力部１０４は、マイクによって取得された音声から音声データを生成する。音声入力部１０４は、マイクによって撮像装置１００の周辺の音声を取得し、取得された音声に対してアナログデジタル変換（Ａ／Ｄ変換）、各種の音声処理を行い、音声データを生成する。本実施例では、音声入力部１０４はマイクを有する。音声入力部１０４の詳細な構成例については後述する。
The
揮発性メモリ１０５は、撮像部１０１において生成された画像データ、並びに音声入力部１０４によって生成された音声データを一時的に記録する。また、揮発性メモリ１０５は、表示部１０７に表示される画像データの一時的な記録領域、および制御部１１１の作業領域等としても使用される。
The
表示制御部１０６は、撮像部１０１から出力された画像データ、対話的な操作のための文字並びに、メニュー画面等を表示部１０７に表示するよう制御する。また、表示制御部１０６は静止画撮影および動画撮影の際、撮像部１０１から出力されたデジタルデータを逐次表示部１０７に表示するよう制御することで、表示部１０７を電子ビューファインダとして機能させることができる。例えば表示部１０７は、液晶ディスプレイまたは有機ＥＬディスプレイである。また、表示制御部１０６は、撮像部１０１から出力された画像データおよび動画データ、対話的な操作のための文字、並びにメニュー画面等を、後述する外部出力部１１５を介して外部のディスプレイに表示させるよう制御することもできる。
The
符号化処理部１０８は、揮発性メモリ１０５に一時的に記録された画像データおよび音声データをそれぞれ符号化することができる。例えば、符号化処理部１０８は、画像データをＪＰＥＧ規格またはＲＡＷ画像フォーマットに従って符号化およびデータ圧縮された動画データを生成することができる。例えば、符号化処理部１０８は、動画データをＭＰＥＧ２規格またはＨ．２６４／ＭＰＥＧ４－ＡＶＣ規格に従って符号化およびデータ圧縮された動画データを生成することができる。また例えば、符号化処理部１０８は、音声データをＡＣ３ＡＡＣ規格、ＡＴＲＡＣ規格、またはＡＤＰＣＭ方式に従って符号化およびデータ圧縮された音声データを生成することができる。また、符号化処理部１０８は、例えばリニアＰＣＭ方式に従って音声データをデータ圧縮しないように符号化してもよい。
The
記録制御部１０９は、データを記録媒体１１０に記録すること、および記録媒体１１０から読み出すことができる。例えば、記録制御部１０９は、符号化処理部１０８によって生成された静止画像データ、動画データ、および音声データを記録媒体１１０に記録すること、および記録媒体１１０から読み出すことができる。記録媒体１１０は例えばＳＤカード、ＣＦカード、ＸＱＤメモリーカード、ＨＤＤ（磁気ディスク）、光学式ディスク、および半導体メモリである。記録媒体１１０は、撮像装置１００に着脱可能なように構成してもよいし、撮像装置１００に内蔵されていてもよい。すなわち、記録制御部１０９は少なくとも記録媒体１１０にアクセスする手段を有していればよい。
The
制御部１１１は、入力された信号、および後述のプログラムに従ってデータバス１１６を介して撮像装置１００の各構成要素を制御する。制御部１１１は、各種制御を実行するためのＣＰＵ、ＲＯＭ、およびＲＡＭを有する。なお、制御部１１１が撮像装置１００全体を制御する代わりに、複数のハードウェアが分担して撮像装置全体を制御してもよい。制御部１１１が有するＲＯＭには、各構成要素を制御するためのプログラムが格納されている。また制御部１１１が有するＲＡＭは演算処理等に利用される揮発性メモリである。
The
操作部１１２は、撮像装置１００に対する指示をユーザから受け付けるためのユーザインタフェースである。操作部１１２は、例えば撮像装置１００の電源をオン状態またはオフ状態にするための電源スイッチ７２、撮影を指示するためのレリーズスイッチ６１、画像データまたは動画データの再生を指示するための再生ボタン、およびモード切替スイッチ６０等を有する。
The
操作部１１２はユーザの操作に応じて、制御信号を制御部１１１に出力する。また、表示部１０７に形成されるタッチパネルも操作部１１２に含めることができる。なお、レリーズスイッチ６１は、ＳＷ１およびＳＷ２を有する。レリーズスイッチ６１が、いわゆる半押し状態となることにより、ＳＷ１がオンとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮像の準備動作を行うための準備指示を受け付ける。また、レリーズスイッチ６１が、いわゆる全押し状態となることにより、ＳＷ２がオンとなる。このようなユーザ操作により、撮像動作を行うための撮像指示を受け付ける。また、操作部１１２は後述するスピーカ１１４から再生される音声データの音量を調整することができる操作部材（例えばボタン）を含む。
The
音声出力部１１３は、音声データをスピーカ１１４、および外部出力部１１５に出力することができる。音声出力部１１３に入力される音声データは、記録制御部１０９により記録媒体１１０から読み出された音声データ、不揮発性メモリ１１７から出力される音声データ、および符号化処理部から出力される音声データである。スピーカ１１４は、音声データを再生することができる電気音響変換器である。
The
外部出力部１１５は、画像データ、動画データ、および音声データなどを外部機器に出力することができる。外部出力部１１５は、例えば映像端子、マイク端子、およびヘッドホン端子等で構成される。
The
データバス１１６は、音声データ、動画データ、および画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックへ伝達するためのデータバスである。
不揮発性メモリ１１７は不揮発性メモリであり、制御部１１１で実行される後述のプログラム等が格納される。また、不揮発性メモリ１１７には、音声データが記録されている。この音声データは例えば、被写体に合焦した場合に出力される合焦音、撮影を指示された場合に出力される電子シャッター音、撮像装置１００を操作された場合に出力される操作音等の電子音の音声データである。
The
＜撮像装置１００の動作＞
これから、本実施例の撮像装置１００の動作について説明する。
<Operation of
The operation of the
本実施例の撮像装置１００は、ユーザが電源スイッチ７２を操作して電源をオンされたことに応じて、不図示の電源から、撮像装置の各構成要素に電力を供給する。例えば電源はリチウムイオン電池またはアルカリマンガン乾電池等の電池である。
In the
制御部１１１は、電力が供給されたことに応じてモード切替スイッチ６０の状態に基づいて、例えば、撮影モードおよび再生モードのどのモードで動作するかを判断する。動画記録モードでは、制御部１１１は撮像部１０１から出力された動画データと音声入力部１０４から出力された音声データとを１つの音声付き動画データとして記録する。再生モードでは、制御部１１１は記録媒体１１０に記録された画像データまたは動画データを記録制御部１０９によって読み出し、表示部１０７に表示するよう制御する。
When power is supplied, the
まず、動画記録モードについて説明する。動画記録モードでは、まず制御部１１１は、撮像装置１００を撮影待機状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。例えば、制御部１１１は、撮像部１０１および音声入力部１０４に以下のような動作をさせるよう制御する。
First, the video recording mode will be described. In the video recording mode, the
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換し、撮像素子で生成された電気信号から動画データを生成する。そして、撮像部１０１は動画データを表示制御部１０６に送信し、表示部１０７によって表示する。ユーザは表示部１０７に表示された動画データを見ながら撮影の準備を行うことができる。
The
音声入力部１０４は、複数のマイクから入力されたアナログ音声信号をそれぞれＡ／Ｄ変換し、複数のデジタル音声信号を生成する。そして音声入力部１０４はその複数のデジタル音声信号から複数のチャンネルの音声データを生成する。音声入力部１０４は生成された音声データを音声出力部１１３に送信し、スピーカ１１４から音声データを再生させる。ユーザは、スピーカ１１４から再生された音声データを聞きながら、音声付き動画データに記録される音声データの音量を操作部１１２によって調整することができる。
The audio input unit 104 A/D converts analog audio signals input from multiple microphones to generate multiple digital audio signals. The
次に、ユーザによってＬＶボタン７６が押下されたことに応じて、制御部１１１は、撮像装置１００の各構成要素に撮影開始の指示信号を送信する。例えば、制御部１１１は、撮像部１０１、音声入力部１０４、符号化処理部１０８、および記録制御部１０９に以下のような動作をさせるよう制御する。
Next, in response to the user pressing the
撮像部１０１は、光学レンズ３００を経て撮像面に結像された被写体の光学像を電気信号に変換し、撮像素子で生成された電気信号から動画データを生成する。そして、撮像部１０１は動画データを表示制御部１０６に送信し、表示部１０７によって表示する。また、また撮像部１０１は生成された動画データを揮発性メモリ１０５へ送信する。
The
音声入力部１０４は、複数のマイクから入力されたアナログ音声信号をそれぞれＡ／Ｄ変換し、複数のデジタル音声信号を生成する。そして音声入力部１０４はその複数のデジタル音声信号からマルチチャンネルの音声データを生成する。そして、音声入力部１０４は生成された音声データを揮発性メモリ１０５へ送信する。
The
符号化処理部１０８は、揮発性メモリ１０５に一時的に記録された動画データおよび音声データを読み出してそれぞれ符号化する。制御部１１１は、符号化処理部１０８によって符号化された動画データおよび音声データからデータストリームを生成し、記録制御部１０９に出力する。記録制御部１０９は、ＵＤＦまたはＦＡＴ等のファイルシステムに従って、入力されたデータストリームを音声付き動画データとして記録媒体１１０に記録していく。
The
撮像装置１００の各構成要素は以上の動作を動画撮影中において継続する。
Each component of the
そして、ユーザからＬＶボタン７６が押下されたことに応じて、制御部１１１は、撮像装置１００の各構成要素に撮影終了の指示信号を送信する。例えば、制御部１１１は撮像部１０１、音声入力部１０４、符号化処理部１０８、および記録制御部１０９に以下のような動作をさせるよう制御する。
Then, in response to the user pressing the
撮像部１０１は、動画データの生成を停止する。音声入力部１０４は、音声データの生成を停止する。
The
符号化処理部１０８は、揮発性メモリ１０５に記録されている残りの動画データおよび音声データを読み出して符号化する。制御部１１１は、符号化処理部１０８によって符号化された動画データおよび音声データからデータストリームを生成し、記録制御部１０９に出力する。
The
記録制御部１０９は、ＵＤＦまたはＦＡＴ等のファイルシステムに従って、データストリームを音声付き動画データのファイルとして記録媒体１１０に記録していく。そして、記録制御部１０９は、データストリームの入力が停止したことに応じて、音声付き動画データを完成させる。音声付き動画データの完成をもって、撮像装置１００の記録動作は停止する。
The
制御部１１１は、記録動作が停止したことに応じて、撮影待機状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。これにより、制御部１１１は撮像装置１００を撮影待機状態に戻るよう制御する。
In response to the recording operation being stopped, the
次に、再生モードについて説明する。再生モードでは、制御部１１１は、再生状態に移行させるように制御信号を撮像装置１００の各構成要素に送信する。例えば、制御部１１１は符号化処理部１０８、記録制御部１０９、表示制御部１０６、および音声出力部１１３に以下のような動作をさせるよう制御する。
Next, the playback mode will be described. In the playback mode, the
記録制御部１０９は、記録媒体１１０に記録された音声付き動画データを読み出して読みだした音声付き動画データを符号化処理部１０８に送信する。
The
符号化処理部１０８は、音声付き動画データから画像データ、および音声データを復号化する。符号化処理部１０８は、復号化された動画データを表示制御部１０６へ、復号化された音声データを音声出力部１１３へ、それぞれ送信する。
The
表示制御部１０６は、復号化された画像データを表示部１０７によって表示する。音声出力部１１３は、復号化された音声データをスピーカ１１４によって再生する。
The
以上のように、本実施例の撮像装置１００は画像データ、および音声データを記録および再生することができる。
As described above, the
本実施例では、音声入力部１０４は、マイクから入力された音声信号のレベルの調整処理等の音声処理を実行する。本実施例では、音声入力部１０４は動画記録が開始されたことに応じてこの音声処理を実行する。なお、この音声処理は、撮像装置１００の電源がオンにされてから実行されてもよい。また、この音声処理は、撮影モードが選択されたことに応じて実行されてもよい。また、この音声処理は、動画記録モードおよび音声メモ機能等の音声の記録に関連するモードが選択されたことに応じて実行されてもよい。また、この音声処理は、音声信号の記録が開始したことに応じて実行されてもよい。
In this embodiment, the
＜音声入力部１０４の構成＞
図３は本実施例における音声入力部１０４の詳細な構成の一例を示すブロック図である。
<Configuration of
FIG. 3 is a block diagram showing an example of a detailed configuration of the
本実施例において、音声入力部１０４は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの３つのマイクを有する。Ｌマイク２０１ａおよびＲマイク２０１ｂはそれぞれ第一のマイクの一例である。本実施例では、撮像装置１００は環境音をＬマイク２０１ａおよびＲマイク２０１ｂによって収音し、Ｌマイク２０１ａおよびＲマイク２０１ｂから入力された音声信号をステレオ方式で記録する。例えば環境音は、ユーザの音声、動物の鳴き声、雨音、および楽曲等の撮像装置１００の筐体外および光学レンズ３００の筐体外において発生する音である。
In this embodiment, the
また、ノイズマイク２０１ｃは第２のマイクの一例である。ノイズマイク２０１ｃは、撮像装置１００の筐体内、および光学レンズ３００の筐体内で発生する、所定の騒音源（ノイズ源）からの駆動音等の騒音（ノイズ）を収音するためのマイクである。ノイズ源は例えば、超音波モータ（Ｕｌｔｒａｓｏｎｉｃ Ｍｏｔｏｒ、以下ＵＳＭ）およびステッピングモータ（Ｓｔｅｐｐｅｒ Ｍｏｔｏｒ、以下ＳＴＭ）などのモータである。騒音（ノイズ）は例えば、ＵＳＭおよびＳＴＭ等のモータの駆動によって発生する振動音である。例えば、モータは被写体に合焦するためのＡＦ処理において駆動する。撮像装置１００は撮像装置１００の筐体内、および光学レンズ３００の筐体内で発生する駆動音等の騒音（ノイズ）をノイズマイク２０１ｃによって取得し、取得したノイズの音声データを用いて、後述するノイズパラメータを生成する。なお、本実施例では、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは無指向性のマイクである。本実施例における、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの配置例は図４を用いて後述する。
The
Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは、それぞれ取得した音声からアナログ音声信号を生成し、Ａ／Ｄ変換部２０２に入力する。ここで、Ｌマイク２０１ａから入力される音声信号をＬｃｈ、Ｒマイク２０１ｂから入力される音声信号をＲｃｈ、およびノイズマイク２０１ｃから入力される音声信号をＮｃｈと記載する。
The
Ａ／Ｄ変換部２０２は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃから入力されたアナログ音声信号をデジタル音声信号に変換する。Ａ／Ｄ変換部２０２は変換されたデジタル音声信号をＦＦＴ部２０３に出力する。本実施例においてＡ／Ｄ変換部２０２はサンプリング周波数を４８ｋＨｚ、およびビット深度を１６ｂｉｔとして標本化処理を実行することで、アナログ音声信号をデジタル音声信号に変換する。
The A/
ＦＦＴ部２０３は、Ａ／Ｄ変換部２０２から入力された時間領域のデジタル音声信号に高速フーリエ変換処理を施し、周波数領域のデジタル音声信号に変換する。本実施例において、周波数領域のデジタル音声信号は、０Ｈｚから４８ｋＨｚまでの周波数帯域において、１０２４ポイントの周波数スペクトルを有する。また、周波数領域のデジタル音声信号は、０Ｈｚからナイキスト周波数である２４ｋＨｚまでの周波数帯域においては、５１３ポイントの周波数スペクトルを有する。本実施例では、撮像装置１００は、ＦＦＴ部２０３から出力された音声データのうち、０Ｈｚから２４ｋＨｚまでの５１３ポイントの周波数スペクトルを利用して、ノイズ低減の処理を行う。
The
ここで、高速フーリエ変換されたＬｃｈの周波数スペクトルを、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｌｃｈ＿Ｂｅｆｏｒｅと記載する。また、高速フーリエ変換されたＲｃｈの周波数スペクトルを、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｒｃｈ＿Ｂｅｆｏｒｅと記載する。ここで、本実施例では、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］は０Ｈｚの音声の周波数スペクトル、およびＬｃｈ＿Ｂｅｆｏｒｅ［５１２］は２４ｋＨｚの音声の周波数スペクトルとする。なお、Ｌｃｈ＿Ｂｅｆｏｒｅおよび、Ｒｃｈ＿Ｂｅｆｏｒｅはそれぞれ第１の周波数スペクトルデータの一例である。 Here, the frequency spectrum of the Lch subjected to the fast Fourier transform is represented by array data of 513 points from Lch_Before[0] to Lch_Before[512]. When these array data are referred to collectively, they are written as Lch_Before. Also, the frequency spectrum of the Rch subjected to the fast Fourier transform is represented by array data of 513 points from Rch_Before[0] to Rch_Before[512]. When these array data are referred to collectively, they are written as Rch_Before. Here, in this embodiment, Lch_Before[0] is the frequency spectrum of a 0 Hz voice, and Lch_Before[512] is the frequency spectrum of a 24 kHz voice. Note that Lch_Before and Rch_Before are each an example of the first frequency spectrum data.
また、高速フーリエ変換されたＮｃｈの周波数スペクトルを、Ｎｃｈ＿Ｂｅｆｏｒｅ［０］～Ｎｃｈ＿Ｂｅｆｏｒｅ［５１２］の５１３ポイントの配列データで表す。これらの配列データを総称する場合、Ｎｃｈ＿Ｂｅｆｏｒｅと記載する。なお、Ｎｃｈ＿Ｂｅｆｏｒｅは第２の周波数スペクトルデータの一例である。 The frequency spectrum of Nch after fast Fourier transformation is represented by array data of 513 points, Nch_Before[0] to Nch_Before[512]. When these array data are collectively referred to, they are written as Nch_Before. Note that Nch_Before is an example of second frequency spectrum data.
ノイズデータ生成部２０４は、Ｎｃｈ＿Ｂｅｆｏｒｅに基づいて、Ｌｃｈ＿ＢｅｆｏｒｅおよびＲｃｈ＿Ｂｅｆｏｒｅに含まれるノイズを低減するためのデータを生成する。本実施例では、ノイズデータ生成部２０４は、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］に含まれるノイズをそれぞれ低減するためのＮＬ［０］～ＮＬ［５１２］の配列データをノイズパラメータを用いて生成する。また、ノイズデータ生成部２０４は、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］に含まれるノイズをそれぞれ低減するためのＮＲ［０］～ＮＲ［５１２］の配列データを生成する。ＮＬ［０］～ＮＬ［５１２］の配列データにおける周波数のポイントは、Ｌｃｈ＿Ｂｅｆｏｒｅ［０］～Ｌｃｈ＿Ｂｅｆｏｒｅ［５１２］の配列データにおける周波数のポイントと同じである。また、ＮＲ［０］～ＮＲ［５１２］の配列データにおける周波数のポイントは、Ｒｃｈ＿Ｂｅｆｏｒｅ［０］～Ｒｃｈ＿Ｂｅｆｏｒｅ［５１２］の配列データにおける周波数のポイントと同じである。
The noise
なお、ＮＬ［０］～ＮＬ［５１２］の配列データを総称する場合、ＮＬと記載する。また、ＮＲ［０］～ＮＲ［５１２］を総称する場合、ＮＲと記載する。ＮＬおよびＮＲはそれぞれ第３の周波数スペクトルデータの一例である。 Note that the array data NL[0] to NL[512] are collectively referred to as NL. Furthermore, the array data NR[0] to NR[512] are collectively referred to as NR. NL and NR are each an example of the third frequency spectrum data.
ノイズパラメータ記録部２０５には、ノイズデータ生成部２０４がＮｃｈ＿ＢｅｆｏｒｅからをＮＬおよびＮＲを生成するためのノイズパラメータが記録されている。ノイズパラメータ記録部２０５はレンズごとにノイズの種類に応じた複数種類のノイズパラメータを記録している。Ｎｃｈ＿ＢｅｆｏｒｅからＮＬを生成するためのノイズパラメータを総称する場合、ＰＬｘと記載する。Ｎｃｈ＿ＢｅｆｏｒｅからＮＲを生成するためのノイズパラメータを総称する場合、ＰＲｘと記載する。
The noise
ＰＬｘおよびＰＲｘはそれぞれＮＬおよびＮＲと同じ配列数を有する。例えば、ＰＬ１は、ＰＬ１［０］～ＰＬ１［５１２］の配列データである。また、ＰＬ１の周波数ポイントは、Ｌｃｈ＿Ｂｅｆｏｒｅの周波数ポイントと同じである。また例えばＰＲ１は、ＰＲ１［０］～ＰＲ１［５１２］の配列データである。ＰＲ１の周波数ポイントは、Ｒｃｈ＿Ｂｅｆｏｒｅと同じ周波数ポイントである。ノイズパラメータは図５を用いて後述する。 PLx and PRx have the same number of arrays as NL and NR, respectively. For example, PL1 is array data from PL1[0] to PL1[512]. The frequency points of PL1 are the same as the frequency points of Lch_Before. For example, PR1 is array data from PR1[0] to PR1[512]. The frequency points of PR1 are the same as the frequency points of Rch_Before. The noise parameters will be described later with reference to Figure 5.
ノイズパラメータ選択部２０６は、ノイズパラメータ記録部２０５に記録されているノイズパラメータから、ノイズデータ生成部２０４において使用されるノイズパラメータを決定する。ノイズパラメータ選択部２０６は、Ｌｃｈ＿Ｂｅｆｏｒｅ、Ｒｃｈ＿Ｂｅｆｏｒｅ、Ｎｃｈ＿Ｂｅｆｏｒｅ、およびレンズ制御部１０２から受信したレンズ情報等のデータに基づいて、ノイズデータ生成部２０４において用いられるノイズパラメータを決定する。ノイズパラメータ選択部２０６の動作については図８を用いて詳しく後述する。
The noise
なお、本実施例では、ノイズパラメータ記録部２０５には、ノイズパラメータとして５１３ポイントの周波数スペクトルそれぞれに対する係数がすべて記録されている。しかし、５１３ポイントの全ての周波数に対する係数ではなく、少なくともノイズを低減するために必要な周波数ポイントの係数が記録されていればよい。例えば、ノイズパラメータ記録部２０５は、ノイズパラメータとして、典型的な可聴周波数と考えられている２０Ｈｚ～２０ｋＨｚの周波数スペクトルそれぞれに対する係数を記録し、他の周波数スペクトルの係数を記録しなくてもよい。また例えば、ノイズパラメータとして、係数の値がゼロである周波数スペクトルに対する係数はノイズパラメータ記録部２０５に記録されていなくてもよい。
In this embodiment, the noise
減算処理部２０７は、Ｌｃｈ＿ＢｅｆｏｒｅおよびＲｃｈ＿ＢｅｆｏｒｅからＮＬおよびＮＲをそれぞれ減算する。例えば、減算処理部２０７はＬｃｈ＿ＢｅｆｏｒｅからＮＬを減算するＬ減算器２０７ａ、およびＲｃｈ＿ＢｅｆｏｒｅからＮＲを減算するＲ減算器２０７ｂを有する。Ｌ減算器２０７ａはＬｃｈ＿ＢｅｆｏｒｅからＮＬを減算し、Ｌｃｈ＿Ａｆｔｅｒ［０］～Ｌｃｈ＿Ａｆｔｅｒ［５１２］の５１３ポイントの配列データを出力する。Ｒ減算器２０７ｂはＲｃｈ＿ＢｅｆｏｒｅからＮＲを減算し、Ｒｃｈ＿Ａｆｔｅｒ［０］～Ｒｃｈ＿Ａｆｔｅｒ［５１２］の５１３ポイントの配列データを出力する。本実施例では、減算処理部２０７はスペクトルサブトラクション法によって減算処理を実行する。
The
ｉＦＦＴ部２０８は、減算処理部２０７から入力された周波数領域のデジタル音声信号を逆高速フーリエ変換（逆フーリエ変換）して時間領域のデジタル音声信号に変換する。
The
音声処理部２０９は、イコライザ、オートレベルコントローラ、およびステレオ感の強調処理等の時間領域のデジタル音声信号に対する音声処理を実行する。音声処理部２０９は、音声処理を行った音声データを揮発性メモリ１０５へ出力する。
The
ノイズパラメータ更新部２１６は、ノイズパラメータ記録部２０５に記録されているノイズパラメータを更新する。ノイズパラメータ更新部２１６は、Ｌｃｈ＿Ｂｅｆｏｒｅ、Ｒｃｈ＿Ｂｅｆｏｒｅ、Ｎｃｈ＿Ｂｅｆｏｒｅ、およびレンズ制御部１０２から受信したレンズ情報等のデータに基づいて、ノイズパラメータを生成する。そして、ノイズパラメータ更新部２１６は、生成したノイズパラメータを用いて、ノイズパラメータ記録部２０５に記録されているノイズパラメータを更新する。ノイズパラメータ更新部２１６の動作については図１１を用いて後述する。
The noise
なお、本実施例では撮像装置１００は第一のマイクとして２つのマイクを有するが、撮像装置１００は第一のマイクを１つのマイクまたは３つ以上のマイクとしてもよい。例えば撮像装置１００は、音声入力部１０４に第一のマイクとして１つのマイクを有する場合、１つのマイクによって取得された音声データをモノラル方式で記録する。また例えば撮像装置１００は、音声入力部１０４に第一のマイクとして３つ以上のマイクを有する場合、３つ以上のマイクによって取得された音声データをサラウンド方式で記録する。
In this embodiment, the
なお、本実施例では、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃは無指向性のマイクとしたが、これらのマイクは指向性マイクであってもよい。
In this embodiment, the
＜音声入力部１０４のマイクの配置＞
ここで、本実施例の音声入力部１０４のマイクの配置例を説明する。図４はＬマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃの配置例を示している。
<Arrangement of microphones in
Here, an example of the arrangement of the microphones in the
図４は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃが取り付けられた撮像装置１００の部分の断面図の一例である。この撮像装置１００の部分は、外装部３０２、マイクブッシュ３０３、および固定部３０４により構成される。
Figure 4 is an example of a cross-sectional view of a portion of the
外装部３０２は、マイクに環境音を入力するための穴（以下、マイク穴という）を有する。本実施例では、マイク穴はＬマイク２０１ａ、およびＲマイク２０１ｂの上方に形成される。一方、ノイズマイク２０１ｃは、撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音を取得するために設けられており、環境音を取得する必要はない。したがって、本実施例では、外装部３０２にはノイズマイク２０１ｃの上方にマイク穴は形成されない。
The
撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音は、マイク穴を介してＬマイク２０１ａ、およびＲマイク２０１ｂにより取得される。環境音が小さい状態で撮像装置１００および光学レンズ３００の筐体内において駆動音等が発生した場合、各マイクが取得する音声は、主としてこの駆動音となる。そのため、Ｌマイク２０１ａ、Ｒマイク２０１ｂからの音声レベルよりも、ノイズマイク２０１ｃからの音声レベルの方が大きい。つまり、この場合、各マイクから出力される音声信号のレベルの関係は、以下のようになる。
Ｌｃｈ≒Ｒｃｈ＜Ｎｃｈ
Drive sounds generated within the housings of the
Lch≒Rch<Nch
また、環境音が大きくなると、マイク２０１ｃからの、撮像装置１００または光学レンズ３００で発生した駆動音の音声レベルよりも、Ｌマイク２０１ａ、Ｒマイク２０１ｂからの環境音の音声レベルの方が大きくなる。そのため、この場合、各マイクから出力される音声信号のレベルの関係は、以下のようになる。
Ｌｃｈ≒Ｒｃｈ＞Ｎｃｈ
Furthermore, when the environmental sound becomes louder, the sound level of the environmental sound from the
Lch≒Rch>Nch
なお、本実施例では、外装部３０２に形成されるマイク穴の形状は楕円状であるが、円状または方形状等の他の形状でもよい。また、マイク２０１ａ上のマイク穴の形状とマイク２０１ｂ上のマイク穴の形状とは、互いに異なっていてもよい。
In this embodiment, the shape of the microphone hole formed in the
なお、本実施例では、ノイズマイク２０１ｃは、Ｌマイク２０１ａとＲマイク２０１ｂに近接するように配置される。また、本実施例では、ノイズマイク２０１ｃは、Ｌマイク２０１ａとＲマイク２０１ｂの間に配置される。これにより、撮像装置１００の筐体内および光学レンズ３００の筐体内において発生する駆動音等からノイズマイク２０１ｃによって生成される音声信号は、この駆動音等からＬマイク２０１ａおよびＲマイク２０１ｂによって生成される音声信号と似た信号になる。
In this embodiment, the
マイクブッシュ３０３は、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃを固定するための部材である。固定部３０４は、マイクブッシュ３０３を外装部３０２に固定する部材である。
The
なお、本実施例では、外装部３０２および固定部３０４はＰＣ材等のモールド部材で構成される。また、外装部３０２および固定部３０４はアルミまたはステンレス等の金属部材で構成されてもよい。また、本実施例では、マイクブッシュ３０３は、エチレンプロピレンジエンゴム等のゴム材で構成される。
In this embodiment, the
＜ノイズパラメータ＞
図５はノイズパラメータ記録部２０５に記録されているノイズパラメータの一例である。図５に示すノイズパラメータは、ある１つのレンズから発生するノイズに対するノイズパラメータである。ノイズパラメータは、撮像装置１００の筐体内、および光学レンズ３００の筐体内において発生した駆動音をノイズマイク２０１ｃが取得することにより生成した音声信号を補正するためのパラメータである。図５に示すように、本実施例では、ノイズパラメータ記録部２０５にはＰＬｘおよびＰＲｘが記録されている。本実施例では、駆動音の発生源は光学レンズ３００の筐体内であるとして説明する。光学レンズ３００の筐体内で発生した駆動音はレンズマウント３０１を介して撮像装置１００の筐体内に伝達し、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃによって取得される。
<Noise parameters>
FIG. 5 is an example of noise parameters recorded in the noise
駆動音の種類によって、駆動音の周波数が異なる。そのため、本実施例では、撮像装置１００は、駆動音（ノイズ）の種類に対応した複数のノイズパラメータを記録する。そして、これら複数のノイズパラメータのうちの何れかを用いてノイズデータを生成する。本実施例では、撮像装置１００は、恒常的なノイズとしてホワイトノイズに対するノイズパラメータを記録する。また、撮像装置１００は、例えば光学レンズ３００内のギアがかみ合わさることによって発生する短期的なノイズに対するノイズパラメータを記録する。また、撮像装置１００は、長期的なノイズとして、例えばレンズ３００の筐体内における摺動音に対するノイズパラメータを記録する。他にも、撮像装置１００は光学レンズ３００の種類ごと、並びに、情報取得部１０３によって検出される撮像装置１００の筐体内の温度および撮像装置１００の傾きごとにノイズパラメータを記録してもよい。
The frequency of the drive sound varies depending on the type of drive sound. Therefore, in this embodiment, the
＜ノイズデータの生成方法＞
図６および図７を用いて、ノイズデータ生成部２０４におけるノイズデータの生成処理を説明する。ここではＬｃｈのデータに関するノイズデータの生成処理について説明するが、Ｒｃｈのデータに関するノイズデータの生成方法も同様である。
<Method of generating noise data>
6 and 7, the process of generating noise data in the
まず、環境音がないと見なせる状況において、ノイズパラメータを生成する処理について説明する。図６（ａ）は、環境音がないと見なせる状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。図６（ｂ）は、環境音がないと見なせる状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。横軸は０ポイント目から５１２ポイント目までの周波数を示す軸、縦軸は周波数スペクトルの振幅を示す軸である。
First, the process of generating noise parameters in a situation where it is considered that there is no environmental sound will be described. Fig. 6(a) is an example of the frequency spectrum of Lch_Before when drive sound occurs within the housing of the
環境音がないと見なせる状況のため、Ｌｃｈ＿ＢｅｆｏｒｅおよびＮｃｈ＿Ｂｅｆｏｒｅでは、同じ周波数帯域の周波数スペクトルの振幅が大きくなる。また、光学レンズ３００の筐体内において駆動音が発生しているため、同じ駆動音に対する各周波数スペクトルの振幅はＬｃｈ＿ＢｅｆｏｒｅよりもＮｃｈ＿Ｂｅｆｏｒｅのほうが大きい傾向になる。
Because it is assumed that there is no environmental sound, the amplitude of the frequency spectrum in the same frequency band is large in Lch_Before and Nch_Before. In addition, because drive sound is generated inside the housing of the
図６（ｃ）は本実施例におけるＰＬｘの一例である。本実施例では、ＰＬｘは、環境音の小さい状況において、Ｌｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅をＮｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅で除算したことによって算出された各周波数スペクトルの係数である。この除算の結果を、Ｌｃｈ＿Ｂｅｆｏｒｅ／Ｎｃｈ＿Ｂｅｆｏｒｅと記載する。すなわち、ＰＬｘはＬｃｈ＿ＢｅｆｏｒｅおよびＮｃｈ＿Ｂｅｆｏｒｅの振幅の比である。ノイズパラメータ記録部２０５は、Ｌｃｈ＿Ｂｅｆｏｒｅ／Ｎｃｈ＿Ｂｅｆｏｒｅの値をノイズパラメータＰＬｘとして記録している。前述のように、同じ駆動音に対する周波数スペクトルの振幅はＬｃｈ＿ＢｅｆｏｒｅよりもＮｃｈ＿Ｂｅｆｏｒｅのほうが大きい傾向にあるため、ノイズパラメータＰＬｘの各係数の値は１よりも小さい値になる傾向になる。ただし、Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値が所定の閾値より小さい場合、ノイズパラメータ記録部２０５はＰＬｘ［ｎ］＝０としてノイズパラメータＰＬｘを記録する。
Figure 6 (c) is an example of PLx in this embodiment. In this embodiment, PLx is the coefficient of each frequency spectrum calculated by dividing the amplitude of each frequency spectrum of Lch_Before by the amplitude of each frequency spectrum of Nch_Before in a situation where the environmental sound is low. The result of this division is written as Lch_Before/Nch_Before. In other words, PLx is the ratio of the amplitudes of Lch_Before and Nch_Before. The noise
次に、生成されたノイズパラメータをＮｃｈ＿Ｂｅｆｏｒｅに適用する処理について説明する。図７（ａ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。図７（ｂ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮｃｈ＿Ｂｅｆｏｒｅの周波数スペクトルの一例である。横軸は０ポイント目から５１２ポイント目までの周波数を示す軸、縦軸は周波数スペクトルの振幅を示す軸である。
Next, the process of applying the generated noise parameters to Nch_Before will be described. FIG. 7(a) is an example of the frequency spectrum of Lch_Before when drive sound occurs within the housing of the
図７（ｃ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＮＬの一例である。ノイズデータ生成部２０４は、Ｎｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルと、ＰＬｘの各係数とを乗算し、ＮＬを生成する。ＮＬは、このように生成された周波数スペクトルである。
Figure 7 (c) is an example of NL when drive sound occurs inside the housing of the
図７（ｄ）は環境音が存在している状況において光学レンズ３００の筐体内で駆動音が発生した場合におけるＬｃｈ＿Ａｆｔｅｒの一例である。減算処理部２０７は、Ｌｃｈ＿ＢｅｆｏｒｅからＮＬを減算し、Ｌｃｈ＿Ａｆｔｅｒを生成する。Ｌｃｈ＿Ａｆｔｅｒは、このように生成された周波数スペクトルである。
Figure 7 (d) is an example of Lch_After when drive sound occurs inside the housing of the
これにより、撮像装置１００は、光学レンズ３００の筐体内の駆動音が原因であるノイズを低減し、ノイズの少ない環境音を記録することができる。
This allows the
＜ノイズパラメータ選択部２０６の説明＞
図８は、ノイズパラメータ選択部２０６の詳細な構成の一例を示すブロック図である。
<Description of Noise
FIG. 8 is a block diagram showing an example of a detailed configuration of the noise
ノイズパラメータ選択部２０６には、Ｌｃｈ＿Ｂｅｆｏｒｅ、Ｒｃｈ＿Ｂｅｆｏｒｅ、Ｎｃｈ＿Ｂｅｆｏｒｅ、レンズ情報、およびレンズ制御信号が入力される。
Lch_Before, Rch_Before, Nch_Before, lens information, and lens control signal are input to the noise
Ｎｃｈノイズ検出部２０６１は、光学レンズ３００の筐体内で発生した駆動音よるノイズをＮｃｈ＿Ｂｅｆｏｒｅから検出する。なお、本実施例では、Ｎｃｈノイズ検出部２０６１はＮｃｈ＿Ｂｅｆｏｒｅの５１３ポイントのデータを利用してノイズを検出する。
The Nch
環境音検出部２０６２は、環境音のレベルをＬｃｈ＿ＢｅｆｏｒｅおよびＲｃｈ＿Ｂｅｆｏｒｅから検出する。
The environmental
ノイズ判定部２０６３は、レンズ情報およびレンズ制御信号、Ｎｃｈノイズ検出部２０６１から入力されるデータ、ならびに環境音検出部から入力されるデータに基づいて、ノイズデータ生成部２０４が用いるノイズパラメータを決める。ノイズ判定部２０６３は、決定したノイズパラメータの種類を示すデータをノイズデータ生成部２０４およびノイズパラメータ更新部２１６に出力する。
The
Ｎｃｈ微分部２０６４はＮｃｈ＿Ｂｅｆｏｒｅに対して微分処理を実行する。Ｎｃｈ微分部２０６４はＮｃｈ＿Ｂｅｆｏｒｅを微分処理した結果を示すデータを短期雑音検出部２０６５に出力する。短期雑音検出部２０６５は、Ｎｃｈ微分部２０６４から入力されたデータに基づいて、短期的なノイズが発生しているか否かを検出する。短期雑音検出部２０６５は、短期的なノイズが発生しているか否かを示すデータをノイズ判定部２０６３に出力する。なお、Ｎｃｈ微分部２０６４および短期雑音検出部２０６５はＮｃｈノイズ検出部２０６１に含まれる。
The
Ｎｃｈ積分部２０６６は、Ｎｃｈ＿Ｂｅｆｏｒｅに対して積分処理を実行する。Ｎｃｈ積分部２０６６はＮｃｈ＿Ｂｅｆｏｒｅを微分処理した結果を示すデータを長期雑音検出部２０６７に出力する。長期雑音検出部２０６７は、Ｎｃｈ積分部２０６６から入力されたデータに基づいて、長期的なノイズが発生しているか否かを検出する。長期雑音検出部２０６７は、長期的なノイズが発生しているか否かを示すデータをノイズ判定部２０６３に出力する。なお、Ｎｃｈ積分部２０６６および長期雑音検出部２０６７はＮｃｈノイズ検出部２０６１に含まれる。
The
環境音抽出部２０６８は、環境音を抽出する。本実施例では、環境音抽出部２０６８はノイズラメータに基づいて、ノイズの影響が少ない周波数のデータを抽出する。例えば、環境音抽出部２０６８はノイズパラメータが所定の値以下である周波数のデータを抽出する。そして、環境音抽出部２０６８は抽出した周波数のデータに基づいて、環境音の大きさを示すデータを出力する。なお、環境音抽出部２０６８は環境音検出部２０６２に含まれる。
The environmental
環境音判定部２０６９は、環境音の大きさを判定する。環境音判定部２０６９は、判定した環境音の大きさを示すデータをＮｃｈノイズ検出部２０６１およびノイズ判定部２０６３に入力する。Ｎｃｈノイズ検出部２０６１は、環境音判定部２０６９から入力された環境音の大きさを示すデータに基づいて、後述する第一の閾値および第二の閾値を変更する。なお、環境音判定部２０６９は環境音検出部２０６２に含まれる。
The environmental
＜ノイズ低減処理のタイミングチャート＞
本実施例におけるノイズ低減処理に関して、図９を用いて説明する。
<Timing chart of noise reduction processing>
The noise reduction process in this embodiment will be described with reference to FIG.
図９（ａ）～（ｉ）はノイズデータ生成部２０４、ノイズパラメータ選択部２０６、および減算処理部２０７における音声処理のタイミングチャートの一例である。本実施例では説明の簡易化のため、Ｌｃｈの音声処理について説明するが、Ｒｃｈの音声処理も同様である。図９（ａ）～（ｉ）におけるグラフの横軸はすべて時間軸である。
Figures 9(a) to (i) are example timing charts of audio processing in the noise
図９（ａ）はレンズ制御信号の一例を示す。レンズ制御信号はレンズ制御部１０２が光学レンズ３００に駆動するよう指示する信号である。本実施例では、レンズ制御信号のレベルはＨｉｇｈとＬｏｗの２値で表される。レンズ制御信号のレベルがＨｉｇｈである場合、レンズ制御部１０２は光学レンズ３００に駆動するよう指示している状態である。レンズ制御信号のレベルがＬｏｗである場合、レンズ制御部１０２は光学レンズ３００に駆動を指示していない状態である。
Figure 9 (a) shows an example of a lens control signal. The lens control signal is a signal that the
図９（ｂ）はＬｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値の一例を示すグラフである。縦軸はＬｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値を示す軸である。本実施例では、Ｌｃｈ＿Ｂｅｆｏｒｅ［ｎ］はＦＦＴ部２０３から出力されるＬｃｈ＿Ｂｅｆｏｒｅのうち、光学レンズ３００の駆動音を示す信号が特徴的に表れるｎ番目の周波数ポイントの信号である。なお、本実施例では、ｎ番目の周波数ポイントの信号について説明するが、ほかの周波数に対しても同様に音声処理が実行される。また、信号Ｘおよび信号Ｙで示す信号はノイズが含まれる信号である。本実施例では信号Ｘは短期的なノイズが含まれる信号を示す。信号Ｙは長期的なノイズが含まれるノイズ信号を示す。
Figure 9 (b) is a graph showing an example of the value of Lch_Before[n]. The vertical axis indicates the value of Lch_Before[n]. In this embodiment, Lch_Before[n] is the signal at the nth frequency point, among the Lch_Before output from the
図９（ｃ）は環境音抽出部２０６８において抽出された環境音の大きさの一例を示すグラフである。縦軸は取得された環境音から生成された音声信号のレベルを示す。閾値Ｔｈ１および閾値Ｔｈ２は、環境音判定部２０６９において用いられる２つの閾値である。
Figure 9 (c) is a graph showing an example of the volume of the environmental sound extracted by the environmental
図９（ｄ）はＮｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値の一例を示すグラフである。Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］は、ＦＦＴ部２０３から出力されるＮｃｈ＿Ｂｅｆｏｒｅのうち、光学レンズ３００の駆動音を示す信号が特徴的に表れるｎ番目の周波数ポイントの信号である。縦軸は、Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］の値を示す軸である。Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］には、図９（ｂ）における、信号Ｘおよび信号Ｙで示したノイズ信号がＬｃｈ＿Ｂｅｆｏｒｅよりも特徴的に表れる。
Figure 9 (d) is a graph showing an example of the value of Nch_Before[n]. Nch_Before[n] is the signal at the nth frequency point, among the Nch_Before output from the
図９（ｅ）はＮｄｉｆｆ［ｎ］の値の一例を示すグラフである。Ｎｄｉｆｆ［ｎ］は、Ｎｃｈ微分部２０６４から出力されるＮｄｉｆｆのうち、ｎ番目の周波数ポイントの信号の値を示したものである。縦軸は、Ｎｄｉｆｆ［ｎ］の値を示す軸である。Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］の所定時間あたりの値の変化量が大きい場合、Ｎｄｉｆｆ［ｎ］の値が大きくなる。短期雑音検出部２０６５は、短期的なノイズを検出するために、第一の閾値である閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］を持つ。閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］は、環境音判定部２０６９から入力された環境音の大きさを示すデータおよびレンズ制御信号に基づいて、レベル１～３の間で変化する。閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］の初期値はレベル２とする。また閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］のレベルは横の破線で表される。
9(e) is a graph showing an example of the value of Ndiff[n]. Ndiff[n] indicates the value of the signal at the nth frequency point of Ndiff output from the
図９（ｆ）はＮｉｎｔ［ｎ］の値の一例を示すグラフである。本実施例では、Ｎｉｎｔ［ｎ］は、Ｎｃｈ積分部２０６６から出力されるＮｉｎｔのうち、ｎ番目の周波数ポイントの信号の値を示したものである。縦軸は、Ｎｉｎｔ［ｎ］の値を示す軸である。Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］が継続的に大きい場合、Ｎｉｎｔ［ｎ］の値が大きくなる。長期雑音検出部２０６７は、長期的なノイズを検出するために、第二の閾値である閾値Ｔｈ＿Ｎｉｎｔ［ｎ］を持つ。閾値Ｔｈ＿Ｎｉｎｔ［ｎ］は、環境音判定部２０６９から入力された環境音の大きさを示すデータおよびレンズ制御信号に基づいてレベル１～３の間で変化する。閾値Ｔｈ＿Ｎｉｎｔ［ｎ］の初期値はレベル２とする。また閾値Ｔｈ＿Ｎｉｎｔ［ｎ］のレベルは横の破線で表される。
Figure 9(f) is a graph showing an example of the value of Nint[n]. In this embodiment, Nint[n] indicates the value of the signal at the nth frequency point of Nint output from the
図９（ｇ）はノイズパラメータ選択部２０６によって選択されたノイズパラメータの一例を表す。本実施例では、無地部はＰＬ１のノイズパラメータのみが選択されていることを示す。斜線部はＰＬ１およびＰＬ２のノイズパラメータが選択されていることを示す。格子縞部はＰＬ１およびＰＬ３のノイズパラメータが選択されていることを示す。
Figure 9(g) shows an example of noise parameters selected by the noise
図９（ｈ）はＮＬ［ｎ］の値の一例を示すグラフである。本実施例では、ＮＬ［ｎ］は、ノイズデータ生成部２０４で生成されるＮＬのうち、ｎ番目の周波数ポイントの信号の値を示したものである。縦軸は、ＮＬ［ｎ］の値を示す軸である。
Figure 9 (h) is a graph showing an example of the value of NL[n]. In this embodiment, NL[n] indicates the signal value of the nth frequency point of NL generated by the noise
図９（ｉ）はＬｃｈ＿Ａｆｔｅｒ［ｎ］の値の一例を示すグラフである。本実施例では、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］は、減算処理部２０７から出力されるＬｃｈ＿Ａｆｔｅｒのうち、ｎ番目の周波数ポイントの信号の値を示したものである。縦軸は、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］の値を示す軸である。
Figure 9(i) is a graph showing an example of the value of Lch_After[n]. In this embodiment, Lch_After[n] indicates the value of the signal at the nth frequency point of Lch_After output from the
次にそれぞれの動作に関してタイミングを時刻ｔ７０１～ｔ７０９を用いて説明する。 Next, the timing of each operation will be explained using times t701 to t709.
時刻ｔ７０１において、レンズ制御部１０２は光学レンズ３００およびノイズパラメータ選択部２０６に、レンズ制御信号としてＨｉｇｈの信号を出力する（図９（ａ））。時刻ｔ７０１において、光学レンズ３００の筐体内で駆動音が発生する可能性が高いため、短期雑音検出部２０６５は閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］をレベル１に下げる（図９（ｅ））。また時刻ｔ７０１において、光学レンズ３００の筐体内で駆動音が発生する可能性が高いため、長期雑音検出部２０６７は閾値Ｔｈ＿Ｎｉｎｔ［ｎ］をレベル１に下げる（図９（ｆ））。
At time t701, the
時刻ｔ７０２において、光学レンズ３００が駆動し、ギアのかみ合う音などの短期的な駆動音が発生する。ノイズマイク２０１ｃがその短期的な駆動音を収音したことにより、Ｎｄｉｆｆ［ｎ］の値が閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］を超える（図９（ｅ））。これに応じて、ノイズパラメータ選択部２０６はノイズパラメータＰＬ１およびＰＬ２を選択する（図９（ｇ））。ノイズデータ生成部２０４はＮｃｈ＿Ｂｅｆｏｒｅ［ｎ］、およびノイズパラメータＰＬ１およびＰＬ２に基づいてＮＬ［ｎ］を生成する（図９（ｈ））。減算処理部２０７は、Ｌｃｈ＿Ｂｅｆｏｒｅ［ｎ］からＮＬ［ｎ］を減算し、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］を出力する（図９（ｉ））。この場合、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］は恒常的なノイズおよび短期的なノイズが低減された音声信号になる。
At time t702, the
時刻ｔ７０３において、光学レンズ３００が連続的な駆動を開始し、光学レンズ３００の筐体内において摺動音などの長期的な駆動音が発生する。ノイズマイク２０１ｃがその長期的な駆動音を収音したことにより、Ｎｉｎｔ［ｎ］の値が閾値Ｔｈ＿Ｎｉｎｔ［ｎ］を超える（図９（ｆ））。これに応じて、ノイズパラメータ選択部２０６はノイズパラメータＰＬ１およびＰＬ３を選択する（図９（ｇ））。ノイズデータ生成部２０４はＮｃｈ＿Ｂｅｆｏｒｅ［ｎ］、および、ノイズパラメータＰＬ１およびＰＬ３に基づいてＮＬ［ｎ］を生成する（図９（ｈ））。減算処理部２０７は、Ｌｃｈ＿Ｂｅｆｏｒｅ［ｎ］からＮＬ［ｎ］を減算し、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］を出力する（図９（ｉ））。この場合、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］は恒常的なノイズおよび長期的なノイズが低減された音声信号になる。
At time t703, the
時刻ｔ７０４において、光学レンズ３００が連続的な駆動を停止する。ノイズマイク２０１ｃがその長期的な駆動音を収音しなくなるため、Ｎｉｎｔ［ｎ］の値が閾値Ｔｈ＿Ｎｉｎｔ［ｎ］以下になる（図９（ｆ））。これに応じて、ノイズパラメータ選択部２０６はノイズパラメータＰＬ１を選択する（図９（ｇ））。ノイズデータ生成部２０４は、Ｎｃｈ＿Ｂｅｆｏｒｅ［ｎ］、および、ノイズパラメータＰＬ１に基づいてＮＬ［ｎ］を生成する（図９（ｈ））。減算処理部２０７は、Ｌｃｈ＿Ｂｅｆｏｒｅ［ｎ］からＮＬ［ｎ］を減算し、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］を出力する（図９（ｉ））。この場合、Ｌｃｈ＿Ａｆｔｅｒ［ｎ］は恒常的なノイズが低減された音声信号になる。
At time t704, the
時刻ｔ７０５においてレンズ制御部１０２は、光学レンズ３００およびノイズパラメータ選択部２０６にレンズ制御信号としてＬｏｗの信号を出力する（図９（ａ））。この場合、光学レンズ３００の筐体内において駆動音が発生する可能性が低くなるため、短期雑音検出部２０６５は閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］をレベル２に上げる（図９（ｅ））。また、この場合、光学レンズ３００の筐体内において駆動音が発生する可能性が低くなるため、長期雑音検出部２０６７は閾値Ｔｈ＿Ｎｉｎｔ［ｎ］をレベル２に上げる（図９（ｆ））。
At time t705, the
時刻ｔ７０６において、環境音抽出部２０６８において抽出された環境音の大きさが閾値Ｔｈ１を超える。環境音が大きい場合、ユーザには音声信号に含まれるノイズが感じられにくくなるため、短期雑音検出部２０６５は閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］をレベル３に上げる（図９（ｅ））。また、環境音が大きい場合、ユーザには音声信号に含まれるノイズが感じられにくくなるため、長期雑音検出部２０６７は閾値Ｔｈ＿Ｎｉｎｔ［ｎ］をレベル３に上げる（図９（ｆ））。
At time t706, the volume of the environmental sound extracted by the environmental
時刻ｔ７０７において、レンズ制御部１０２は光学レンズ３００およびノイズパラメータ選択部２０６に、レンズ制御信号としてＨｉｇｈの信号を出力する（図９（ａ））。この場合、光学レンズ３００の筐体内において駆動音が発生する可能性が高いため、短期雑音検出部２０６５は閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］をレベル２に下げる（図９（ｅ））。また、この場合、光学レンズ３００の筐体内において駆動音が発生する可能性が高いため、長期雑音検出部２０６７は閾値Ｔｈ＿Ｎｉｎｔ［ｎ］をレベル２に下げる（図９（ｆ））。
At time t707, the
時刻ｔ７０８において、環境音抽出部２０６８において抽出された環境音の大きさが閾値Ｔｈ２を超える。環境音がさらに大きい場合、ユーザには音声信号に含まれるノイズはほとんど感じられないため、ノイズパラメータ選択部２０６はＮｃｈノイズ検出部２０６１から入力されるデータにかかわらずノイズパラメータＰＬ１のみを選択する。
At time t708, the volume of the environmental sound extracted by the environmental
以上のように、撮像装置１００は第２のマイクであるノイズマイク２０１ｃを利用してノイズ低減処理を実行することで、ノイズが低減された環境音を記録することができる。
As described above, the
なお、本実施例では、撮像装置１００は、光学レンズ３００の筐体内で発生する駆動音を低減したが、撮像装置１００内で発生する駆動音を低減してもよい。撮像装置１００内で発生する駆動音は例えば、基板の音鳴き、および無線電波ノイズである。なお、基板の音鳴きは、例えば基板上のコンデンサに電圧を印加した際に生じる基板のきしみによって発生する音である。
In this embodiment, the
なお、環境音判定部２０６９の閾値Ｔｈ１および閾値Ｔｈ２、短期雑音検出部２０６５の閾値Ｔｈ＿Ｎｄｉｆｆ［ｎ］、並びに、長期雑音検出部２０６７の閾値Ｔｈ＿Ｎｉｎｔ［ｎ］は発生する駆動音と環境音とに基づいて決定される。そのため、撮像装置１００は、光学レンズ３００の種類および撮像装置１００の傾き等によって、これらの閾値をそれぞれ変更してもよい。
The thresholds Th1 and Th2 of the environmental
＜レンズごとのノイズパラメータ＞
まず、ユーザが光学レンズ３００を交換した場合において、それぞれのレンズに対して同じノイズパラメータを適用した場合ついて図７および図１０を用いて説明する。図７と図１０とでは、撮像装置１００には互いに異なるレンズが装着されているものとする。なお、図７および図１０では同じ環境音が発生している状況とする。
<Noise parameters for each lens>
First, a case where the user replaces the
図７（ａ）および図１０（ａ）では、Ｌｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅が示されている。図７（ｂ）および図１０（ｂ）では、Ｎｃｈ＿Ｂｅｆｏｒｅの各周波数スペクトルの振幅が示されている。ここで、それぞれの周波数スペクトルを比較すると、少なくとも一部において互いに異なることが読み取れる。これは、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃのそれぞれに取得されるノイズが、レンズの形状および構造、並びに、レンズに含まれる駆動体等のノイズ源の数および位置によって異なるためである。
Figures 7(a) and 10(a) show the amplitude of each frequency spectrum of Lch_Before. Figures 7(b) and 10(b) show the amplitude of each frequency spectrum of Nch_Before. Comparing the frequency spectra, it can be seen that they differ from each other in at least some parts. This is because the noise picked up by the
図７（ｃ）および図１０（ｃ）では、ＮＬの各周波数スペクトルの振幅が示されている。ここでは、撮像装置１００に装着されているレンズに関わりなく、同じノイズパラメータが利用されてＮＬが生成される。
Figures 7(c) and 10(c) show the amplitude of each frequency spectrum of NL. Here, the same noise parameters are used to generate NL regardless of the lens attached to the
図７（ｄ）および図１０（ｄ）では、Ｌｃｈ＿Ａｆｔｅｒの各周波数スペクトルの振幅が示されている。Ｌｃｈ＿Ａｆｔｅｒは環境音として記録される音声信号であるから、理想的には図７（ｄ）および図１０（ｄ）に示される周波数スペクトルは同じになる。しかし、図７（ｄ）および図１０（ｄ）のそれぞれの周波数スペクトルを比較すると、少なくとも一部において互いに異なることが読み取れる。これは、Ｌｃｈ＿Ｂｅｆｏｒｅから減算されるＮＬの周波数スペクトルがそれぞれのレンズで発生したノイズの周波数スペクトルと異なるからである。ＮＬの周波数スペクトルがノイズの周波数スペクトルと異なる理由は、ノイズパラメータがレンズから発生するノイズに合わせて作られたパラメータではなく、ある種類のノイズに対する汎用的なパラメータであるためである。すなわち、種々のレンズから発生するノイズに対して同じノイズパラメータを適用した場合、記録媒体１１０に環境音として記録される音声データは、撮像装置１００に装着されるレンズごとに異なる音声データとなってしまう。
7(d) and 10(d) show the amplitude of each frequency spectrum of Lch_After. Since Lch_After is an audio signal recorded as environmental sound, ideally the frequency spectrum shown in FIG. 7(d) and FIG. 10(d) would be the same. However, when comparing the frequency spectra of FIG. 7(d) and FIG. 10(d), it can be seen that they are at least partially different from each other. This is because the frequency spectrum of NL subtracted from Lch_Before is different from the frequency spectrum of the noise generated in each lens. The reason why the frequency spectrum of NL is different from the frequency spectrum of the noise is because the noise parameters are not parameters created to match the noise generated from the lens, but are general-purpose parameters for a certain type of noise. In other words, if the same noise parameters are applied to noise generated from various lenses, the audio data recorded on the
そこで本実施例では、撮像装置１００は、レンズが交換されたことに応じてノイズパラメータを更新することで、ノイズを効果的に低減し、環境音をより正確に記録する。
Therefore, in this embodiment, the
＜ノイズパラメータの更新＞
ここで、ノイズパラメータ更新部２１６がノイズパラメータを更新する処理について説明する。本実施例では、撮像装置１００がＰＬｘのノイズパラメータを更新する処理について説明する。なお、ＰＲｘのノイズパラメータの更新処理は、ＰＬｘのノイズパラメータを更新する処理と同様である。
<Noise parameter update>
Here, a process in which the noise
図１１は、ノイズパラメータ更新部２１６のブロック図の一例である。
Figure 11 is an example of a block diagram of the noise
ノイズパラメータ演算部２１６１は、入力されたＬｃｈ＿ＢｅｆｏｒｅおよびＮｃｈ＿ＢｅｆｏｒｅからＰＬｘを生成する。
The noise
比較器２１６２は、ノイズパラメータ演算部２１６１において生成されたＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘと、を比較する。ここで、比較器２１６２は、ノイズパラメータ選択部２０６から入力されたノイズパラメータの種類を示すデータに基づいて、ノイズパラメータ記録部２０５に記録されているＰＬｘを読み込む。例えば、ノイズパラメータの種類が長期的なノイズである場合、比較器２１６２は、長期的なノイズに対するノイズパラメータをノイズパラメータ記録部２０５から読み込む。比較器２１６２は、ノイズパラメータ演算部２１６１により生成されたＰＬｘの各周波数スペクトル係数のうち，ノイズパラメータ記録部２０５に記録されているＰＬｘの各周波数スペクトルの係数よりも値が小さい係数を上書き記録する。このように更新する理由は次の通りである。
The
例えば、ある１つの周波数における、Ｌマイク２０１ａに収音される環境音の周波数スペクトルの振幅をＳ、レンズからのノイズ音の周波数スペクトルの振幅をＮｆｌとする。また、その周波数において、ノイズマイク２０１ｃに収音される、レンズからのノイズ音の周波数スペクトルの振幅をＮｆｎとする。なお、本実施例では、ノイズマイク２０１ｃに収音される環境音の振幅はＮｆｎと比べて十分小さいものとする。この場合ＰＬｘは次の式で表せる。
ＰＬｘ＝（Ｓ＋Ｎｆｌ）／Ｎｆｎ
For example, let S be the amplitude of the frequency spectrum of the environmental sound picked up by the
PLx=(S+Nfl)/Nfn
ノイズを効果的に軽減するためには、ノイズパラメータはＳが０に近い場合におけるＰＬｘ（≒Ｎｆｌ／Ｎｆｎ）が望ましい。すなわち、望ましいノイズパラメータＰＬｘの値は小さい値になる。また、Ｓが０に近い場合とは、環境音が小さい場合である。そのため本実施例では、比較器２１６２は、ノイズパラメータ演算部２１６１において生成されたＰＬｘの値のうち、ノイズパラメータ記録部２０５に記録されているＰＬｘよりも値が小さい周波数スペクトルの係数を、新しいノイズパラメータとして記録する。この場合、ノイズパラメータ演算部２１６１においてＰＬｘが生成されたときの環境音の振幅は、ノイズパラメータ記録部２０５に記録されているＰＬｘが生成されたときの環境音の振幅よりも小さい。
To effectively reduce noise, the noise parameter PLx (≈Nfl/Nfn) is preferably set when S is close to 0. That is, the desirable value of the noise parameter PLx is a small value. Also, when S is close to 0, the environmental sound is small. Therefore, in this embodiment, the
なお、比較器２１６２は、ノイズパラメータに記録されている周波数スペクトルごとに、ＰＬｘを比較する。また、比較器２１６２は、ノイズパラメータ演算部２１６１において生成されたＰＬｘの値のうち、ノイズパラメータ記録部２０５に記録されているＰＬｘの値以上の周波数スペクトルの係数は、更新しない。
The
カウンター２１６３は、比較器２１６２において、ノイズパラメータが比較された回数をカウントする。本実施例では、ノイズパラメータが比較された回数の初期値は０である。カウンター２１６３は、レンズが交換された場合、ノイズパラメータが比較された回数をリセットする。本実施例では、カウンター２１６３は、レンズ制御部１０２からレンズ情報を受信したことに応じて、ノイズパラメータが比較された回数をリセットする。
The
これから、図１２のタイミングチャートを用いて、ノイズパラメータ更新部２１６によるノイズパラメータの更新処理について説明する。本タイミングチャートでは、ユーザが撮像装置１００の電源をオンにしたタイミングを時刻ｔ０とする。なお、本実施例ではある１つの周波数スペクトルに対するノイズパラメータＰＬｘについて説明する。本実施例では、このノイズパラメータＰＬｘの初期値を１．４とする。
The noise parameter update process by the noise
本実施例では、時刻ｔ０の後、撮像装置１００は、ライブビュー動作を開始し、被写体に対してＡＦ処理を行う。このＡＦ処理に伴って、光学レンズ３００のモータの駆動等によって発生したノイズが検出された場合、ノイズパラメータの更新処理が行われる。なお、ノイズパラメータの更新処理中において、ノイズパラメータ選択部２０６はノイズの種類の判別処理を行う。
In this embodiment, after time t0, the
時刻ｔ１において、ノイズパラメータ演算部２１６１は、レンズの駆動が開始したことに応じてノイズパラメータＰＬｘを計算する。例えば、被写体に合焦させるための操作を撮像装置１００が受け付けたことに応じて、このレンズの駆動が行われる。ここで、例えば、時刻ｔ１から時刻ｔ２までレンズが駆動した場合、レンズ制御信号がその間Ｈｉｇｈになる。ノイズパラメータ演算部２１６１は、レンズ制御信号がＨｉｇｈである間、ノイズパラメータ選択部２０６からのノイズパラメータの種類を示すデータに基づいて、ＰＬｘを計算する。また、ノイズパラメータ演算部２１６１は、時刻ｔ２でレンズ制御信号がＬｏｗになったことに応じて、ＰＬｘの計算を終了する。ここでは、ノイズパラメータ演算部２１６１によって生成されたＰＬｘの値は１．３とする。なお、例えば、時刻ｔ１から時刻ｔ２までの間に、光学レンズ３００において複数の種類のノイズが発生した場合ノイズパラメータ演算部２１６１は、それぞれのノイズに対してＰＬｘを生成する。ノイズパラメータ演算部２１６１は、ノイズパラメータの種類を示すデータ、および生成されたＰＬｘを比較器２１６２に出力する。
At time t1, the noise
時刻ｔ２において、比較器２１６２は、ノイズパラメータ演算部２１６１によって生成されたＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘとを比較し、より小さい値をノイズパラメータＰＬｘの値として決定する。時刻ｔ２では、ノイズパラメータ演算部２１６１によって新たに生成されたＰＬｘ（＝１．３）のほうが、ノイズパラメータ記録部２０５に記録されているＰＬｘよりも小さい。そのため、比較器２１６２はノイズパラメータＰＬｘの値として、１．３をノイズパラメータ記録部２０５に記録することで、ＰＬｘを更新する。
At time t2, the
なお、比較器２１６２は、ノイズパラメータ演算部２１６１から出力された、ノイズパラメータの種類を示すデータおよびＰＬｘに基づいて、更新対象となるノイズパラメータの種類を決定する。例えば、短期的なノイズに対するＰＬｘがノイズパラメータ演算部２１６１から出力された場合、比較器２１６２は、ノイズパラメータ演算部２１６１から出力されたＰＬｘとノイズパラメータ記録部２０５に記録されているＰＬ２とを比較する。
The
なお、ノイズパラメータ演算部２１６１から同じ種類のノイズに対して複数のＰＬｘが出力された場合、比較器２１６２は、その複数のＰＬｘのうち、周波数スペクトルごとに最も値が低い係数を組み合わせて生成されたノイズパラメータを用いる。これは、より値が低い係数のほうが、生成されたときの環境音の振幅が小さいと考えられるからである。この場合、比較器２１６２は、組み合わせて生成されたノイズパラメータと、ノイズパラメータ記録部２０５に記録されているＰＬｘと比較する。
When the noise
同様に、時刻ｔ３から時刻ｔ４までレンズが駆動した場合において、時刻ｔ４においてノイズパラメータ演算部２１６１によって算出されたＰＬｘは１．１とする。時刻ｔ４において、比較器２１６２は、ノイズパラメータ演算部２１６１によって算出されたＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘとを比較し、より小さい値をノイズパラメータＰＬｘとして決定する。時刻ｔ４では、ノイズパラメータ演算部２１６１によって算出されたＰＬｘ（＝１．１）のほうが小さいため、比較器２１６２はノイズパラメータＰＬｘの値として、１．１をノイズパラメータ記録部２０５に記録することで、ＰＬｘを更新する。
Similarly, when the lens is driven from time t3 to time t4, the PLx calculated by the noise
他方、時刻ｔ５から時刻ｔ６までレンズが駆動した場合において、時刻ｔ６においてノイズパラメータ演算部２１６１によって算出されたＰＬｘは１．６とする。時刻ｔ６において、比較器２１６２は、ノイズパラメータ演算部２１６１によって算出されたＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘとを比較し、より小さい値をノイズパラメータＰＬｘとして決定する。時刻ｔ６では、ノイズパラメータ記録部２０５に記録されているＰＬｘ（＝１．１）のほうが小さいため、比較器２１６２はＰＬｘを更新しない。
On the other hand, when the lens is driven from time t5 to time t6, the PLx calculated by the noise
以降、同様に光学レンズ３００が駆動したことに応じて、ノイズパラメータ更新部２１６はノイズパラメータＰＬｘの更新処理を実行する。
Thereafter, the noise
なお、他にも、ユーザが、動画撮影を開始する前に、撮像装置１００に対して、ノイズを伴う動作をさせるような操作を行った場合にも、撮像装置１００によるノイズパラメータの更新処理が行われる。例えば、ユーザがレリーズスイッチ６１を半押ししたことに応じて、撮像装置１００は光学レンズ３００のモータを駆動させ、被写体に合焦させる。この時発生したノイズを利用して、撮像装置１００はノイズパラメータの更新処理を行う。
Note that the
なお、ノイズパラメータ更新部２１６がノイズパラメータを更新した場合でも、ノイズパラメータ記録部２０５はノイズパラメータの初期値を保持する。これは、撮像装置１００に装着される光学レンズ３００が交換された場合に、ノイズパラメータ更新部２１６がノイズパラメータを初期値に変更するためである。上述したように、撮像装置１００に装着される光学レンズ３００が交換された場合、Ｌマイク２０１ａ、Ｒマイク２０１ｂ、およびノイズマイク２０１ｃによって取得されるノイズが変化する。本実施例では、その変化に対応するため、ノイズパラメータ更新部２１６は、ノイズパラメータを汎用的な初期値から更新する。撮像装置１００はレンズが交換されるたびにノイズパラメータを汎用的な初期値から更新することで、装着されるレンズに適応したノイズパラメータを使用してノイズ低減処理を行うことができる。
Note that even if the noise
次に、図１３のフローチャートおよび図１４のタイミングチャートを用いて撮像装置１００のノイズパラメータ更新処理について説明する。この撮像装置１００の処理は、例えば、ユーザによって電源スイッチ７２が操作され、電源をオンされたことをトリガに開始される。また、例えば、この撮像装置１００の処理は、ユーザによってモードダイヤルが操作され、撮像装置１００のモードが撮影モードにされたことをトリガに開始される。
Next, the noise parameter update process of the
ここで、本実施例では、撮像装置１００は、電源をオンされた後、撮像部１０１によって撮像された映像をライブビュー表示している。
In this embodiment, after the
ステップＳ１３００では、レンズ制御部１０２は、光学レンズ３００からレンズ情報を受信する。レンズ情報は、例えば、レンズの種類、レンズの型番、およびノイズ源の種類等である。レンズ制御部１０２は、受信したレンズ情報を制御部１１１およびカウンター２１６３に出力する。制御部１１１は受信したレンズ情報を不揮発性メモリ１１７に記録する。
In step S1300, the
ステップＳ１３０１では、レンズ制御部１０２は、レンズが交換されたか否かを判断する。例えば、レンズ制御部１０２は、ステップＳ１３０１の処理より前に不揮発性メモリ１１７に記録されていたレンズ情報と、ステップＳ１３００において受信したレンズ情報とを比較する。２つのレンズ情報が一致すると判断した場合、レンズ制御部１０２はレンズが交換されていないと判断する。２つのレンズ情報が不一致であると判断した場合、レンズ制御部１０２はレンズが交換されたと判断する。また、例えば、ステップＳ１３０１の処理より前に不揮発性メモリ１１７にレンズ情報が記録されていない場合、レンズ制御部１０２はレンズが交換されたと判断する。レンズ制御部１０２がレンズが交換されたと判断した場合、ステップＳ１３０２の処理が実行される。レンズ制御部１０２がレンズが交換されていないと判断した場合、ステップＳ１３０５の処理が実行される。
In step S1301, the
ステップＳ１３０２では、ノイズパラメータ更新部２１６は、ノイズパラメータ記録部２０５に記録されているノイズパラメータの値を初期値に変更する。
In step S1302, the noise
ステップＳ１３０３では、カウンター２１６３は、ノイズパラメータが比較された回数をリセットする。例えば、カウンター２１６３は、ノイズパラメータが比較された回数を０回にする。
In step S1303,
ステップＳ１３０４では、制御部１１１は、ノイズパラメータ更新部２１６への録音パスをオンにする。例えば、制御部１１１は、音声処理を開始するよう音声入力部１０４を制御する。なお、本ステップにおいて、ノイズパラメータ選択部２０６も処理を開始する。
In step S1304, the
ステップＳ１３０５では、制御部１１１は、ノイズパラメータが比較された回数が所定回数以下か否かを判断する。例えば、制御部１１１はノイズパラメータが比較された回数が４回以下か否かを判断する。ノイズパラメータが比較された回数が所定回数以下であると判断された場合、ステップＳ１３０６の処理が実行される。ノイズパラメータが比較された回数が所定回数より多いと判断された場合、ステップＳ１３１２の処理が実行される。
In step S1305, the
ステップＳ１３０６では、制御部１１１は、光学レンズ３００が駆動を開始したか否かを判断する。例えば、制御部１１１は、レンズ制御部１０２から出力されるレンズ制御信号のレベルがＨｉｇｈかＬｏｗかを判断する。レンズ制御信号のレベルがＨｉｇｈである場合、制御部１１１は、光学レンズが駆動を開始したと判断する。レンズ制御信号のレベルがＬｏｗである場合、制御部１１１は、光学レンズが駆動していないと判断する。光学レンズ３００が駆動を開始したと判断された場合、ステップＳ１３０７の処理が実行される。光学レンズ３００が駆動していないと判断された場合、ステップＳ１３１０の処理が実行される。
In step S1306, the
ステップＳ１３０７では、ノイズパラメータ更新部２１６は、ノイズパラメータＰＬｘを生成する。なお、本ステップにおいて、ノイズパラメータ更新部２１６は、ノイズが発生するたびに、そのノイズに対するノイズパラメータを生成する。
In step S1307, the noise
ステップＳ１３０８では、制御部１１１は、光学レンズ３００が駆動を終了したか否かを判断する。例えば、制御部１１１は、レンズ制御部１０２から出力されるレンズ制御信号のレベルがＨｉｇｈかＬｏｗかを判断する。レンズ制御信号のレベルがＨｉｇｈである場合、制御部１１１は、光学レンズが駆動していると判断する。レンズ制御信号のレベルがＬｏｗである場合、制御部１１１は、光学レンズが駆動を終了したと判断する。光学レンズ３００が駆動していると判断された場合、ステップＳ１３０７の処理が実行される。光学レンズ３００が駆動を終了したと判断された場合、ステップＳ１３０９の処理が実行される。
In step S1308, the
ステップＳ１３０９では、ノイズパラメータ更新部２１６は、ノイズパラメータが比較された回数を１回増加させる。
In step S1309, the noise
ステップＳ１３１０では、ノイズパラメータ更新部２１６は、ステップＳ１３０７において生成されたノイズパラメータＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘと、を比較する。ステップＳ１３０７において生成されたノイズパラメータＰＬｘのほうが小さいと判断された場合、ステップＳ１３１１の処理が実行される。ノイズパラメータ記録部２０５に記録されているＰＬｘのほうが小さいと判断された場合、ステップＳ１３１３の処理が実行される。
In step S1310, the noise
ステップＳ１３１１では、ノイズパラメータ更新部２１６はＰＬｘを更新する。例えば、ノイズパラメータ更新部２１６は、ステップＳ１３０７において生成されたノイズパラメータＰＬｘを、ノイズパラメータ記録部２０５に記録されているＰＬｘに上書き記録する。これにより、撮像装置１００は望ましいノイズパラメータを後述の動画記録において利用することができる。また、撮像装置１００は望ましいノイズパラメータを利用することで効果的にノイズを低減することができる。なお、ノイズパラメータ記録部２０５は、本ステップの処理が実行された場合でもノイズパラメータの初期値を保持している。
In step S1311, the noise
ここまで、ノイズパラメータの比較回数が所定回数以下の場合について説明した。図１４のタイミングチャートでは、時刻ｔ１～ｔ８の期間に相当する。次にステップＳ１３０５の処理において、ノイズパラメータの比較回数が所定回数より多いと判断された場合の処理について説明する。図１４のタイミングチャートでは、時刻ｔ８以降の期間に相当する。 So far, we have explained the case where the number of noise parameter comparisons is equal to or less than the predetermined number. In the timing chart of FIG. 14, this corresponds to the period from time t1 to t8. Next, we will explain the process when it is determined in the process of step S1305 that the number of noise parameter comparisons is greater than the predetermined number. In the timing chart of FIG. 14, this corresponds to the period from time t8 onwards.
ステップＳ１３１２では、制御部１１１は、ノイズパラメータ更新部２１６への録音パスをオフにする。例えば、制御部１１１は、音声処理を停止するよう音声入力部１０４を制御する。なお、本ステップにおいて、ノイズパラメータ選択部２０６も処理を停止する。
In step S1312, the
ステップＳ１３１３では、制御部１１１は、動画記録を開始するか否かを判断する。例えば、制御部１１１は、レリーズスイッチ６１を押下されたことに応じて、動画記録を開始すると判断する。逆に、制御部１１１は、レリーズスイッチ６１を押下されていない場合、動画記録を開始しないと判断する。制御部１１１が動画記録を開始すると判断した場合、ステップＳ１３１４の処理が実行される。制御部１１１が動画記録を開始しないと判断した場合、ステップＳ１３００の処理が実行される。
In step S1313, the
ステップＳ１３１４では、制御部１１１は、音声入力部１０４への録音パスをオンにする。例えば、制御部１１１は、音声処理を開始するよう音声入力部１０４を制御する。
In step S1314, the
ステップＳ１３１５では、制御部１１１は動画記録する。例えば、前述したように、制御部１１１は記録媒体１１０に音声付き動画データを記録する。この動画記録中の音声処理では、ノイズパラメータ記録部２０５に記録されたノイズパラメータが利用される。
In step S1315, the
ステップＳ１３１６では、制御部１１１は動画記録を終了するか否かを判断する。例えば、制御部１１１は、レリーズスイッチ６１を押下されたことに応じて、動画記録を終了すると判断する。逆に、制御部１１１は、レリーズスイッチ６１を押下されていない場合、動画記録を終了しないと判断する。制御部１１１が動画記録を終了すると判断した場合、ステップＳ１３１７の処理が実行される。制御部１１１が動画記録を終了しないと判断した場合、ステップＳ１３１５の処理が実行される。
In step S1316, the
ステップＳ１３１７では、制御部１１１は、ノイズパラメータ更新部２１６への録音パスをオフにする。例えば、制御部１１１は、音声処理を停止するよう音声入力部１０４を制御する。
In step S1317, the
以上、撮像装置１００のノイズパラメータの更新処理について説明した。このように動画記録処理の開始前にレンズの駆動に応じて新たにノイズパラメータを生成する。そして、既に生成済のノイズパラメータよりも、新たに生成されたノイズパラメータの方が適切にノイズを低減できる場合には、新たに生成したノイズパラメータを用いて、記録済のノイズパラメータを更新する。更新されたノイズパラメータを用いて、動画記録中の音声に含まれるノイズを低減することで、撮像装置１００は音質の良い音声付き動画データを記録することができる。
The noise parameter update process of the
なお、ノイズパラメータ記録部２０５は、撮像装置１００の電源がオフされた後も、更新されたノイズパラメータを保持する。これにより、撮像装置１００は、次に撮像装置１００の電源がオンされたときに、レンズが交換されていない状態であれば、更新されたノイズパラメータを用いて音声付き動画データを記録することができる。
The noise
なお、本実施例では、ノイズパラメータ更新部２１６は、動画記録中はノイズパラメータを更新する処理を実行しない。撮像装置１００は、動画記録中においてノイズパラメータを一定にすることで、音質を保ちながら音声を記録することができる。
In this embodiment, the noise
なお、本実施例では、ノイズパラメータ更新部２１６はノイズパラメータが比較される前のステップにおいて、ノイズパラメータが比較された回数を増加させているが、ノイズパラメータを比較した後にノイズパラメータが比較された回数を増加させてもよい。
In this embodiment, the noise
なお、ノイズパラメータ更新部２１６は、情報取得部１０３によって取得された撮像装置１００の傾きに基づいて、ノイズパラメータを更新するか否かを判断してもよい。例えば、ノイズパラメータが撮像装置１００が水平である場合に適用されることを想定されている場合、撮像装置１００が上向きの状態では、ノイズパラメータ更新部２１６は、ノイズパラメータを正しく計算できないおそれがある。そのため、この場合、ノイズパラメータ更新部２１６は、撮像装置１００が水平であると判断した場合、ノイズパラメータを更新する更新処理を実行する。逆に、ノイズパラメータ更新部２１６は、撮像装置１００が水平ではないと判断した場合、ノイズパラメータを更新する更新処理を実行しない。なお、例えば、撮像装置１００が水平であるとみなせる傾きの範囲は、水平方向に対して撮像装置１００の傾きが±３０度以内の範囲である。
The noise
なお、ノイズパラメータ更新部２１６は、光学レンズ３００がズームレンズである場合、レンズ制御部１０２によって取得された光学レンズ３００のズーム倍率に基づいて、ノイズパラメータを更新するか否かを判断してもよい。例えば、ノイズパラメータが光学レンズ３００がワイド端である場合に適用されることを想定されている場合、光学レンズ３００がテレ端の状態では、ノイズパラメータ更新部２１６は、ノイズパラメータを正しく計算できないおそれがある。そのため、この場合、ノイズパラメータ更新部２１６は、光学レンズ３００がワイド端であると判断した場合、ノイズパラメータを更新する更新処理を実行する。逆に、ノイズパラメータ更新部２１６は、光学レンズ３００がワイド端ではないと判断した場合、ノイズパラメータを更新する更新処理を実行しない。なお、例えば、光学レンズ３００がワイド端であるとみなせるズーム倍率の範囲は、光学レンズ３００のズーム倍率が１～２倍の範囲である。
When the
なお、ノイズパラメータ記録部２０５は、レンズごとにノイズパラメータを記録してもよい。これはレンズごとに音声入力部１０４のマイクに収音されるノイズが異なることに対応してノイズ低減するためである。この場合、撮像装置１００は、レンズごとのノイズパラメータに対してノイズパラメータを更新する更新処理を実行する。
The noise
［第二の実施例］
第二の実施例では、第一の実施例とは異なるノイズパラメータの更新処理について説明する。ここで、撮像装置１００の構成は、第一の実施例と同様である。なお、本実施例においてもＰＬｘのノイズパラメータの更新処理について説明するが、ＰＲｘのノイズパラメータの更新処理は、ＰＬｘのノイズパラメータを更新する処理と同様である。
[Second embodiment]
In the second embodiment, a noise parameter update process different from that in the first embodiment will be described. Here, the configuration of the
これから、図１５のフローチャートおよび図１６のタイミングチャートを用いて撮像装置１００のノイズパラメータ更新処理について説明する。この撮像装置１００の処理は、例えば、ユーザによって電源スイッチ７２が操作され、電源をオンされたことをトリガに開始される。
The noise parameter update process of the
ステップＳ１５００～Ｓ１５１０までの処理は、それぞれ図１３のステップＳ１３００～Ｓ１３１０の処理と同様であるため説明を省略する。 The processing from steps S1500 to S1510 is similar to the processing from steps S1300 to S1310 in FIG. 13, so a description thereof will be omitted.
ステップＳ１５１１では、ノイズパラメータ更新部２１６は、ステップＳ１３０７において生成されたノイズパラメータＰＬｘを、ノイズパラメータ記録部２０５に記録されているＰＬｘに上書き記録する。ステップＳ１５１０の処理後、ステップＳ１５１１の処理が実行される。
In step S1511, the noise
ステップＳ１５１２では、制御部１１１は、ノイズパラメータ更新部２１６への録音パスをオフにする。例えば、制御部１１１は、音声処理を停止するよう音声入力部１０４を制御する。
In step S1512, the
ステップＳ１５１３～Ｓ１５１５までの処理は、それぞれ図１３のステップＳ１３１３～Ｓ１３１５の処理と同様であるため説明を省略する。 The processing from steps S1513 to S1515 is similar to the processing from steps S1313 to S1315 in FIG. 13, so the explanation is omitted.
ステップＳ１５１６では、制御部１１１は、光学レンズ３００が駆動したか否かを判断する。例えば、制御部１１１は、レンズ制御部１０２から出力されるレンズ制御信号のレベルがＨｉｇｈかＬｏｗかを判断する。レンズ制御信号のレベルがＨｉｇｈである場合、制御部１１１は、光学レンズが駆動したと判断する。レンズ制御信号のレベルがＬｏｗである場合、制御部１１１は、光学レンズが駆動していないと判断する。光学レンズ３００が駆動したと判断された場合、ステップＳ１５１７の処理が実行される。光学レンズ３００が駆動していないと判断された場合、ステップＳ１５１９の処理が実行される。
In step S1516, the
ステップＳ１５１７では、ノイズパラメータ更新部２１６は、ノイズパラメータＰＬｘを生成する。
In step S1517, the noise
ステップＳ１５１８では、ノイズパラメータ更新部２１６は、ノイズパラメータが比較された回数を１回増加させる。
In step S1518, the noise
ステップＳ１５１９では、ノイズパラメータ更新部２１６は、ステップＳ１５１７において生成されたノイズパラメータＰＬｘと、ノイズパラメータ記録部２０５に記録されているＰＬｘと、を比較する。ステップＳ１５１７において生成されたノイズパラメータＰＬｘのほうが小さいと判断された場合、ステップＳ１５２０の処理が実行される。ノイズパラメータ記録部２０５に記録されているＰＬｘのほうが小さいと判断された場合、ステップＳ１５２１の処理が実行される。
In step S1519, the noise
ステップＳ１５２０では、ノイズパラメータ更新部２１６はＰＬｘを更新する。例えば、ノイズパラメータ更新部２１６は、ステップＳ１５１７において生成されたノイズパラメータＰＬｘを、ノイズパラメータ記録部２０５に記録されているＰＬｘに上書き記録する。なお、ノイズパラメータ記録部２０５は、本ステップの処理が実行された場合でもノイズパラメータの初期値を保持している。
In step S1520, the noise
ステップＳ１５２１では、制御部１１１は動画記録を終了するか否かを判断する。例えば、制御部１１１は、レリーズスイッチ６１を押下されたことに応じて、動画記録を終了すると判断する。逆に、制御部１１１は、レリーズスイッチ６１を押下されていない場合、動画記録を終了しないと判断する。制御部１１１が動画記録を終了すると判断した場合、ステップＳ１５２２の処理が実行される。制御部１１１が動画記録を終了しないと判断した場合、ステップＳ１５１５の処理が実行される。
In step S1521, the
ステップＳ１５２１では、制御部１１１は、ノイズパラメータ更新部２１６への録音パスをオフにする。例えば、制御部１１１は、音声処理を停止するよう音声入力部１０４を制御する。
In step S1521, the
このように、本実施例では、撮像装置１００は動画記録前ではノイズパラメータを更新したことに応じて、録音パスをオフにする。これにより、撮像装置１００は、早ければ１回のレンズ駆動によって録音パスをオフにすることができるため、音声入力部１０４における電力の消費を抑えることができる。また、本実施例では、撮像装置１００は動画記録中もノイズパラメータを更新する。これにより、動画記録中であっても効率的にノイズ低減して音声を記録することができる。
In this manner, in this embodiment, the
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other embodiments]
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiment as it is, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention. In addition, various inventions can be formed by appropriately combining the multiple components disclosed in the above-described embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components from different embodiments may be appropriately combined.
Claims (19)
環境音を取得するための第一のマイクと、
前記ノイズ源からの音を取得するための第二のマイクと、
前記第一のマイクからの音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二のマイクからの音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係る第一のパラメータとを用いてノイズデータを生成する生成手段と、
前記第一の音声信号から前記ノイズデータを減算する減算手段と、
前記減算手段からの音声信号を逆フーリエ変換する第三の変換手段と、
前記撮像手段によって生成された動画データと、前記第三の変換手段からの音声信号とを音声付き動画データとして記録媒体に記録する記録手段と、
前記記録手段による音声付き動画データの記録が行われていない状態において、前記第一の音声信号と前記第二の音声信号とを用いて、前記ノイズ源のノイズに係るパラメータを生成し、前記生成したパラメータを用いて前記第一のパラメータを更新する更新手段と、
を有し、
前記更新手段は、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータの値が、前記第一のパラメータの値よりも小さいと判断した場合、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータを用いて前記第一のパラメータを更新することを特徴とする音声処理装置。 an imaging means for capturing an optical image of a subject through a lens having a driving means as a noise source;
a first microphone for acquiring environmental sounds;
a second microphone for acquiring sound from the noise source;
a first conversion means for performing a Fourier transform on the audio signal from the first microphone to generate a first audio signal;
a second conversion means for performing a Fourier transform on the audio signal from the second microphone to generate a second audio signal;
a generating means for generating noise data by using the second audio signal and a first parameter related to the noise of the noise source;
a subtraction means for subtracting the noise data from the first audio signal;
a third transform means for performing an inverse Fourier transform on the audio signal from the subtraction means;
a recording means for recording the moving image data generated by the imaging means and the audio signal from the third conversion means on a recording medium as moving image data with audio;
an update means for generating parameters relating to noise from the noise source using the first audio signal and the second audio signal while the recording means is not recording audio-accompanying moving image data, and updating the first parameters using the generated parameters;
having
The voice processing device is characterized in that when the update means determines that the value of the parameter generated using the first voice signal and the second voice signal is smaller than the value of the first parameter, it updates the first parameter using the parameter generated using the first voice signal and the second voice signal.
環境音を取得するための第一のマイクと、
前記ノイズ源からの音を取得するための第二のマイクと、
前記第一のマイクからの音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二のマイクからの音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係る第一のパラメータとを用いてノイズデータを生成する生成手段と、
前記第一の音声信号から前記ノイズデータを減算する減算手段と、
前記減算手段からの音声信号を逆フーリエ変換する第三の変換手段と、
前記撮像手段によって生成された動画データと、前記第三の変換手段からの音声信号とを音声付き動画データとして記録媒体に記録する記録手段と、
前記記録手段による音声付き動画データの記録が行われていない状態において、前記第一の音声信号と前記第二の音声信号とを用いて、前記ノイズ源のノイズに係るパラメータを生成し、前記生成したパラメータを用いて前記第一のパラメータを更新する更新手段と、
を有し、
前記更新手段は、前記記録手段による音声付き動画データの記録が行われている状態においても、前記第一のパラメータを更新する処理を行うことを特徴とする音声処理装置。 an imaging means for capturing an optical image of a subject through a lens having a driving means as a noise source;
a first microphone for acquiring environmental sounds;
a second microphone for acquiring sound from the noise source;
a first conversion means for performing a Fourier transform on the audio signal from the first microphone to generate a first audio signal;
a second conversion means for performing a Fourier transform on the audio signal from the second microphone to generate a second audio signal;
a generating means for generating noise data by using the second audio signal and a first parameter related to the noise of the noise source;
a subtraction means for subtracting the noise data from the first audio signal;
a third transform means for performing an inverse Fourier transform on the audio signal from the subtraction means;
a recording means for recording the moving image data generated by the imaging means and the audio signal from the third conversion means on a recording medium as moving image data with audio;
an update means for generating parameters relating to noise from the noise source using the first audio signal and the second audio signal while the recording means is not recording audio-accompanying moving image data, and updating the first parameters using the generated parameters;
having
2. The audio processing device according to claim 1, wherein the update means performs processing for updating the first parameter even when the recording means is recording audio-accompanying moving image data.
ノイズ源としての駆動手段を有するレンズからの被写体の光学像を撮像する撮像手段と、
環境音を取得するための第一のマイクと、
前記ノイズ源からの音を取得するための第二のマイクと、
前記第一のマイクからの音声信号をフーリエ変換して第一の音声信号を生成する第一の変換手段と、
前記第二のマイクからの音声信号をフーリエ変換して第二の音声信号を生成する第二の変換手段と、
前記第二の音声信号と、前記ノイズ源のノイズに係る第一のパラメータとを用いてノイズデータを生成する生成手段と、
前記第一の音声信号から前記ノイズデータを減算する減算手段と、
前記減算手段からの音声信号を逆フーリエ変換する第三の変換手段と、
前記撮像手段によって生成された動画データと、前記第三の変換手段からの音声信号とを音声付き動画データとして記録媒体に記録する記録手段と、
前記記録手段による音声付き動画データの記録が行われていない状態において、前記第一の音声信号と前記第二の音声信号とを用いて、前記ノイズ源のノイズに係るパラメータを生成し、前記生成したパラメータを用いて前記第一のパラメータを更新する更新手段と、
を有し、
前記更新手段は、前記音声処理装置に取り付けられた前記レンズが交換されたと判断した場合、前記更新手段により更新された前記第一のパラメータを初期値に変更することを特徴とする音声処理装置。 1. An audio processing device, comprising:
an imaging means for capturing an optical image of a subject through a lens having a driving means as a noise source;
a first microphone for acquiring environmental sounds;
a second microphone for acquiring sound from the noise source;
a first conversion means for performing a Fourier transform on the audio signal from the first microphone to generate a first audio signal;
a second conversion means for performing a Fourier transform on the audio signal from the second microphone to generate a second audio signal;
a generating means for generating noise data by using the second audio signal and a first parameter related to the noise of the noise source;
a subtraction means for subtracting the noise data from the first audio signal;
a third transform means for performing an inverse Fourier transform on the audio signal from the subtraction means;
a recording means for recording the moving image data generated by the imaging means and the audio signal from the third conversion means on a recording medium as moving image data with audio;
an update means for generating parameters relating to noise from the noise source using the first audio signal and the second audio signal while the recording means is not recording audio-accompanying moving image data, and updating the first parameters using the generated parameters;
having
The sound processing device is characterized in that, when it is determined that the lens attached to the sound processing device has been replaced, the update means changes the first parameter updated by the update means to an initial value.
前記更新手段は、前記判定手段によって判定されたノイズの種類に基づいて、前記複数の第一のパラメータのうち前記第二の音声信号に含まれるノイズの種類に対応したパラメータを更新することを特徴とする請求項１１または１２に記載の音声処理装置。 The method further includes a determination unit for determining a type of noise contained in the second audio signal,
The voice processing device according to claim 11 or 12, characterized in that the update means updates a parameter among the plurality of first parameters corresponding to the type of noise contained in the second voice signal based on the type of noise determined by the determination means.
前記第一のマイクからの音声信号をフーリエ変換して第一の音声信号を生成するステップと、
前記第二のマイクからの音声信号をフーリエ変換して第二の音声信号を生成するステップと、
前記第二の音声信号と、前記ノイズ源のノイズに係る第一のパラメータとを用いてノイズデータを生成する生成ステップと、
前記第一の音声信号から前記ノイズデータを減算する減算ステップと、
前記減算ステップによって生成された音声信号を逆フーリエ変換するステップと、
前記撮像手段によって生成された動画データと、前記逆フーリエ変換された音声信号とを音声付き動画データとして記録媒体に記録する記録ステップと、
音声付き動画データの記録が行われていない状態において、前記第一の音声信号と前記第二の音声信号とを用いて、前記ノイズ源のノイズに係るパラメータを生成し、前記生成したパラメータを用いて前記第一のパラメータを更新する更新ステップと、を有し、
前記更新ステップは、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータの値が、前記第一のパラメータの値よりも小さいと判断した場合、前記第一の音声信号と前記第二の音声信号とを用いて生成したパラメータを用いて前記第一のパラメータを更新することを特徴とする制御方法。 A method for controlling a sound processing device having an imaging means for capturing an optical image of a subject from a lens having a driving means as a noise source, a first microphone for acquiring environmental sound, and a second microphone for acquiring sound from the noise source, comprising:
performing a Fourier transform on the audio signal from the first microphone to generate a first audio signal;
performing a Fourier transform on the audio signal from the second microphone to generate a second audio signal;
a generating step of generating noise data using the second audio signal and a first parameter related to the noise of the noise source;
a subtraction step of subtracting the noise data from the first audio signal;
performing an inverse Fourier transform on the audio signal produced by the subtraction step;
a recording step of recording the moving image data generated by the imaging means and the inverse Fourier transformed audio signal on a recording medium as moving image data with audio;
an updating step of generating parameters relating to the noise of the noise source using the first audio signal and the second audio signal in a state in which audio-accompanied moving image data is not being recorded, and updating the first parameters using the generated parameters;
A control method characterized in that the updating step updates the first parameter using a parameter generated using the first audio signal and the second audio signal when it is determined that the value of the parameter generated using the first audio signal and the second audio signal is smaller than the value of the first parameter.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020161435A JP7604154B2 (en) | 2020-09-25 | 2020-09-25 | Audio processing device, control method, and program |
| US17/410,592 US11729548B2 (en) | 2020-08-27 | 2021-08-24 | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020161435A JP7604154B2 (en) | 2020-09-25 | 2020-09-25 | Audio processing device, control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022054315A JP2022054315A (en) | 2022-04-06 |
| JP7604154B2 true JP7604154B2 (en) | 2024-12-23 |
Family
ID=80996898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020161435A Active JP7604154B2 (en) | 2020-08-27 | 2020-09-25 | Audio processing device, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7604154B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013110629A (en) | 2011-11-22 | 2013-06-06 | Sony Corp | Imaging apparatus and sound collection method |
| JP2014036395A (en) | 2012-08-10 | 2014-02-24 | Canon Inc | Image pick-up apparatus |
| JP2014044313A (en) | 2012-08-27 | 2014-03-13 | Xacti Corp | Noise reduction device |
| JP2019036867A (en) | 2017-08-17 | 2019-03-07 | キヤノン株式会社 | Speech processing apparatus and control method thereof |
-
2020
- 2020-09-25 JP JP2020161435A patent/JP7604154B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013110629A (en) | 2011-11-22 | 2013-06-06 | Sony Corp | Imaging apparatus and sound collection method |
| JP2014036395A (en) | 2012-08-10 | 2014-02-24 | Canon Inc | Image pick-up apparatus |
| JP2014044313A (en) | 2012-08-27 | 2014-03-13 | Xacti Corp | Noise reduction device |
| JP2019036867A (en) | 2017-08-17 | 2019-03-07 | キヤノン株式会社 | Speech processing apparatus and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022054315A (en) | 2022-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8253823B2 (en) | Camera body, interchangeable lens, and imaging apparatus | |
| JP2006279185A (en) | Imaging apparatus, audio recording method, and program | |
| JP4639907B2 (en) | Imaging apparatus, audio recording method, and program | |
| US11657794B2 (en) | Audio processing apparatus for reducing noise using plurality of microphones, control method, and recording medium | |
| JP5034605B2 (en) | Imaging apparatus, noise removal method, and program | |
| JP4639902B2 (en) | Imaging apparatus, audio recording method, and program | |
| JP7604154B2 (en) | Audio processing device, control method, and program | |
| JP7608092B2 (en) | Audio processing device, control method, and program | |
| JP7665304B2 (en) | Audio processing device, control method, and program | |
| US11729548B2 (en) | Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones | |
| JP7566552B2 (en) | Audio processing device, control method, and program | |
| JP7580996B2 (en) | Audio processing device, control method, and program | |
| JP7686439B2 (en) | Audio processing device, control method, and program | |
| US9064487B2 (en) | Imaging device superimposing wideband noise on output sound signal | |
| JP7725236B2 (en) | Audio processing device, control method, and program | |
| JP7725244B2 (en) | Audio processing device and control method thereof | |
| CN107211084B (en) | camera | |
| US7456893B2 (en) | Method of controlling digital image processing apparatus for efficient reproduction and digital image processing apparatus using the method | |
| JP2000278581A (en) | Video camera | |
| JP2022054317A (en) | Sound processor, control method, and program | |
| JP7757079B2 (en) | Audio processing device, control method, and program | |
| JPWO2017047000A1 (en) | Audio signal processing apparatus and imaging apparatus using the same | |
| JP2013047710A (en) | Sound signal processing apparatus, imaging apparatus, sound signal processing method, program, and recording medium | |
| US7595832B2 (en) | Method of controlling digital image processing apparatus for convenient reproduction | |
| US20060152613A1 (en) | Method and apparatus for displaying digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230912 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7604154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |