JP7362765B2 - 操作デバイス - Google Patents

Description

本発明は、マイクロホンを備える操作デバイス、及び音声信号処理方法に関する。

ユーザーの操作入力を受け付ける操作デバイスの中には、ユーザーの声などの音声を集音するマイクロホンを備えるものがある。このような操作デバイスは、マイクロホンによって集音された音声信号に対してノイズを除去するノイズ除去処理を実行する場合がある。

ノイズ除去処理の対象となるノイズには、操作デバイスが備える操作部材に対するユーザーの操作によって生じる操作音や、操作デバイスに内蔵された振動機構などの機構が動作することによって生じる動作音など、操作デバイス自身から発生されるノイズが含まれることがある。このような操作デバイス自身から発生されるノイズをどのように除去すればよいかについて、十分な検討がされていない。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、操作デバイス自身から発生するノイズをマイクロホンによって集音された音声信号から効果的に除去できる操作デバイス、及び音声信号処理方法を提供することにある。

本発明に係る操作デバイスは、マイクロホンを備える操作デバイスであって、前記マイクロホンが集音した集音音声信号からノイズを除去するノイズ除去処理を実行するノイズ除去部と、ノイズの発生が想定される動作状態にある場合に、その旨を示すノイズ発生情報を出力する出力部と、を含み、前記ノイズ除去部は、前記出力されるノイズ発生情報に応じて前記ノイズ除去処理の内容を変化させることを特徴とする。

本発明に係る音声信号処理方法は、マイクロホンを備える操作デバイスが実行する音声信号処理方法であって、前記操作デバイスがノイズの発生が想定される動作状態にある場合に、その旨を示すノイズ発生情報を出力するステップと、前記マイクロホンにより集音された集音音声信号からノイズを除去するノイズ除去処理を実行するステップと、を含み、前記ノイズ除去処理を実行するステップでは、前記ノイズ発生情報に応じて前記ノイズ除去処理の内容を変化させることを特徴とする。

本発明の実施の形態に係る操作デバイスを含む音声信号処理システムの全体構成図である。 本発明の実施の形態に係る操作デバイスの外観の一例を示す図である。 制御回路と音声信号処理回路との間で送受信されるデータの一例を示す図である。 ノイズ発生情報の一例を示す図である。 傾倒操作部材に対するユーザーの操作内容とデバイスノイズの関係を説明するための図である。 本発明の第２形態に係る操作デバイスが実行する処理の一例を示す図である。

以下、本発明の実施の形態について、図面に基づき詳細に説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る操作デバイス１０を含む音声信号処理システム１の全体構成図である。また、図２は、操作デバイス１０の外観の一例を示す図である。これらの図に示されるように、音声信号処理システム１は、操作デバイス１０と情報処理装置５０とを含んで構成されている。本実施形態において操作デバイス１０と情報処理装置５０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの無線通信によってデータを送受信することとする。なお、ここでは無線通信によってデータの送受信を行うこととしているが、これに限らず操作デバイス１０と情報処理装置５０とは例えばＵＳＢ等の規格により有線で通信接続されることとしてもよい。

操作デバイス１０は、例えば家庭用ゲーム機用のコントローラ等であって、制御回路１１と、音声信号処理回路１２と、スピーカー１３と、ヘッドホン端子１４と、マイクロホン１５と、複数の操作部材１６と、振動機構１７と、力覚提示機構１８と、を含んで構成されている。

制御回路１１は、マイクロプロセッサ等であって、操作デバイス１０の各部を制御するための処理を実行する。具体的に制御回路１１は、情報処理装置５０から受信した制御命令にしたがって、振動機構１７や力覚提示機構１８などを動作させるための制御信号を出力する。また、定期的に各操作部材１６の状態を走査してユーザーが行った操作内容を特定し、その操作内容を示す操作信号を情報処理装置５０に対して送信する。

また、制御回路１１は、情報処理装置５０から再生用音声信号を受信し、この再生用音声信号を音声信号処理回路１２に対して送信する。また、音声信号処理回路１２から集音音声信号を受信し、この集音音声信号を情報処理装置５０に対して送信する。このような各種音声信号の授受を行うために、制御回路１１と音声信号処理回路１２とは、Ｉ２Ｓ（Inter-IC Sound）などのインタフェース規格によって相互にデータ通信可能に接続されている。

音声信号処理回路１２は、デジタルシグナルプロセッサ等であって、デジタルの音声信号に対して各種の信号処理を行う。具体的に音声信号処理回路１２は、制御回路１１から受信した再生用音声信号を、ヘッドホン端子１４に接続されたヘッドホンやスピーカー１３から鳴動させる。また、マイクロホン１５が集音した集音音声信号に対して必要な音声信号処理を実行して、制御回路１１に対して送信する。特に本実施形態において、音声信号処理回路１２は、制御回路１１から受信した情報を用いて集音音声信号に対するノイズ除去処理を実行する。このノイズ除去処理の詳細については、後述する。

スピーカー１３は、音声信号処理回路１２が出力する再生用音声信号に基づく音声を再生する。ヘッドホン端子１４にはヘッドホンが接続可能であって、ヘッドホン端子１４にヘッドホンが接続された場合、音声信号処理回路１２は再生用音声信号に基づく音声をスピーカー１３の代わりにそのヘッドホンから再生させることもできる。

マイクロホン１５は、操作デバイス１０を使用するユーザーが発話した音声など、操作デバイス１０周囲の音声を集音する。なお、マイクロホン１５は、複数のマイクロホン素子によって構成されるマイクロホンアレイであってもよい。

複数の操作部材１６は、ユーザーとのインタラクションのための部材の一種であって、ユーザーによる操作入力を受け付けるための部材である。操作部材１６は、各種の部材を含んでよい。本実施形態において操作部材１６は、複数の押しボタン１６ａと、押し込み量を検出可能な複数のトリガーボタン１６ｂと、ユーザーが傾けて操作する複数の傾倒操作部材１６ｃと、を含むものとする。

押しボタン１６ａは、ユーザーが押下して操作する部材である。トリガーボタン１６ｂも同様にユーザーが押下して操作する部材だが、その押し込み量（操作量）を数値として計測可能に構成されている。これにより、ユーザーがトリガーボタン１６ｂを少しだけ押し込んだ状態を維持したり、素早く最後まで押し込んだり、といった押し込み操作の内容をより詳細に特定可能になっている。

傾倒操作部材１６ｃは、操作デバイス１０表面から突出する部材によって構成されており、３６０度任意の方向にユーザーが傾けて操作できるようになっている。制御回路１１は、傾倒操作部材１６ｃがどの方向にどの程度傾けられたかを検出する。すなわち、この傾倒操作部材１６ｃも、その傾き量をユーザーの操作量として計測可能になっている。また、この傾倒操作部材１６ｃを動かすことでユーザーは方向を指示する操作入力を行うことができる。

振動機構１７は、ユーザーとのインタラクションのための部材の一つである。具体的に振動機構１７は、振動を発生させるデバイスであって、ボイスコイルモーターなど各種のデバイスであってよい。制御回路１１の指示に応じて振動機構１７が振動を発生させることによって、操作デバイス１０を把持しているユーザーの手に振動が伝達される。なお、操作デバイス１０は複数の振動機構１７を備えていてもよく、その場合に複数の振動機構１７は互いに異なる種類の振動機構であってもよい。

力覚提示機構１８は、ユーザーとのインタラクションのための部材の一つである。具体的に力覚提示機構１８は、ユーザーが操作部材１６に対する操作を行った際などに、ユーザーに対して力覚を提示するデバイスである。本実施形態では、トリガーボタン１６ｂに力覚提示機構１８が接続されており、ユーザーがトリガーボタン１６ｂを押し込む操作を行った場合に、その押込み操作と逆向きの力覚を提示するものとする。

さらに本実施形態において力覚提示機構１８は、制御回路１１からの指示に応じて、トリガーボタン１６ｂの操作量（押し込み量）に応じて提示する力覚の内容を制御できるものとする。すなわち、これにより力覚提示機構１８は、例えばトリガーボタン１６ｂの操作量が所与の値範囲に含まれている間だけユーザーに力覚を提示したり、トリガーボタン１６ｂの操作量が所与の閾値を超えた場合にそれまで実行していた力覚提示を終了したり、といった制御を実現してもよい。

情報処理装置５０は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、操作デバイス１０から受信した操作信号や音声信号を用いて各種の処理を実行する。また、操作デバイス１０に対して、振動機構１７や力覚提示機構１８を動作させる制御命令や、スピーカー１３等から鳴動させるための再生用音声信号を送信する。

以下、マイクロホン１５によって集音された集音音声信号に対して実行されるノイズ除去処理の内容について、説明する。前述したように音声信号処理回路１２は、マイクロホン１５によって集音された集音音声信号に対してノイズ除去処理を行い、ノイズ除去処理が適用された集音音声信号を制御回路１１に対して送信する。この集音音声信号はさらに制御回路１１によって情報処理装置５０に送信され、各種の処理に利用される。

集音音声信号には、操作デバイス１０自体から発生するノイズが含まれる可能性がある。具体的には、操作部材１６や振動機構１７、力覚提示機構１８などのユーザーとのインタラクションのために用いられる各部材が、ユーザーとインタラクションを行う際にノイズを発生させる可能性がある。このようなノイズには、ユーザーが操作部材１６を操作することによって発生するノイズ（例えば押しボタン１６ａが押下される際に発生する音）や、振動機構１７や力覚提示機構１８などの各種機構が動作することによって発生するノイズなどが含まれうる。以下では、このような操作デバイス１０自体が発生させるノイズをデバイスノイズという。

操作デバイス１０がデバイスノイズを発生すると想定される状況にある場合、制御回路１１は、操作部材１６の走査結果や各機構に対して出力する制御信号などによってこのような状況を知ることができる。そこで本実施形態において制御回路１１は、ユーザーとのインタラクションのために用いられる各部材の動作状態が所与の判定条件を満たすか否かを判定し、その判定結果に応じた内容のノイズ発生情報を出力し、音声信号処理回路１２に対して送信する。この所与の判定条件は、これらの部材をノイズ源とするデバイスノイズの発生が想定されるか否かに関する条件である。なお、このような判定条件の具体例については、後述する。制御回路１１は、予め用意された複数の判定条件のそれぞれについて判定を行い、いずれかの判定条件を満たすと判定された場合にその旨を示すノイズ発生情報を音声信号処理回路１２に送信する。また、判定条件を満たさない場合にその旨を示すノイズ発生情報も送信してもよい。このような制御によれば、デバイスノイズの発生タイミングや発生するデバイスノイズの種類を音声信号処理回路１２に知らせることができる。音声信号処理回路１２は、制御回路１１から受信したノイズ発生情報を用いて、発生すると想定されるデバイスノイズに合わせた内容のノイズ除去処理を実行する。これにより、ノイズ除去の精度をより高めることができる。

図３は、制御回路１１と音声信号処理回路１２との間で送受信されるデータの内容を模式的に示すタイムチャートである。図３の上段は同期信号を示しており、この同期信号に合わせたタイミングで制御回路１１と音声信号処理回路１２との間で音声データが授受される。同期信号の周期は、送受信される音声信号のサンプリングレートに応じて決定されてよい。

図３の中段は、音声信号処理回路１２から制御回路１１に送信される音声データの内容を示している。同図に示されるように、音声信号処理回路１２は、ノイズ除去処理を含む各種の音声信号処理を適用した後の集音音声信号のデータを、制御回路１１に対して送信する。なお、ここでは集音音声信号は２チャンネルのステレオ音声データであることとし、同期信号に合わせてチャンネル１の集音音声信号とチャンネル２の集音音声信号が交互に送信される。

図３の下段は、制御回路１１から音声信号処理回路１２に送信されるデータの内容を示している。同図に示されるように、制御回路１１は、情報処理装置５０から受信した再生用音声信号のデータを音声信号処理回路１２に対して送信する。ここでは、再生用音声信号は１チャンネルのモノラル音声データであることとする。そのため、送信すべき再生用音声信号のデータ量は、集音音声信号よりも１チャンネル分少なくなっている。そこで制御回路１１は、この空きチャンネルに前述したノイズ発生情報を含めて送信することとする。具体的に制御回路１１は、１チャンネルの再生用音声信号とノイズ発生情報とを交互に送信する。このような制御によれば、別途の通信チャンネルを設けることなく、Ｉ２Ｓなどの音声信号伝送用の通信規格を利用してノイズ発生情報を定期的に音声信号処理回路１２に通知することができる。

なお、制御回路１１は、同期信号の繰り返し周期と同じ時間間隔でノイズ発生情報の内容を更新する必要はなく、より低い更新頻度でノイズ発生情報の内容を更新し、内容を更新したタイミングで新たなノイズ発生情報を送信してもよい。また、制御回路１１は更新の結果ノイズ発生情報の内容に変化があった場合にその内容を送信することとし、内容に変化がない場合にはノイズ発生情報を送信しないこととしてもよい。この場合、音声信号処理回路１２は、新たなノイズ発生情報を受信するまでは、前回受信した内容に基づいてノイズ除去処理を実行する。また、制御回路１１は同期信号の繰り返し周期ごとにノイズ発生情報の全体を一度に送信する必要はなく、所与の大きさに分割して複数回に分けて送信してもよい。

以下、ノイズ発生情報の具体的内容、及びその内容を決定するための判定条件の具体例について説明する。図４は、制御回路１１が出力し、音声信号処理回路１２に送信されるノイズ発生情報に含まれる情報の具体例を示している。同図に示されるように、ノイズ発生情報には、各操作部材１６に対する操作入力に基づく内容の操作状況情報が含まれてよい。また、操作デバイス１６が備える各種の機構の動作状況に基づく内容の動作状況情報が含まれてもよい。

操作状況情報は、ユーザーによる操作入力の有無についての判定結果を示す情報である。操作状況情報には、どの操作部材１６に対して操作が行われたかを示す情報が含まれてよい。また、その操作部材１６に対する操作の内容についての判定結果に応じた情報が含まれてよい。

具体的に、操作状況情報には、押しボタン操作情報が含まれてよい。押しボタン操作情報は、ユーザーによる押しボタン１６ａの押下が検知されたことを示す情報である。押しボタン操作情報には、複数の押しボタン１６ａのうちのどの押しボタン１６ａが押下されたかを示す情報が含まれてもよい。押しボタン１６ａの種類や位置によって、マイクロホン１５が集音するデバイスノイズの大きさや周波数などが変化すると想定されるからである。

押しボタン１６ａから発生するデバイスノイズは、押しボタン１６ａが押されたタイミングで発生すると想定され、ユーザーが押しボタン１６ａを押し続けている間や押しボタン１６ａから指を離したタイミングでは発生しないものと想定される。そこで制御回路１１は、ユーザーがそれまで操作していなかった押しボタン１６ａを押下する操作を行ったと検知した場合にその旨を示す押しボタン操作情報を音声信号処理回路１２に通知することとし、その後は、押しボタン１６ａが押下され続けていることを検出しても押しボタン操作情報を通知しないこととしてもよい。

操作状況情報にはトリガーボタン操作情報が含まれてもよい。トリガーボタン操作情報は、ユーザーによるトリガーボタン１６ｂの操作によってデバイスノイズが発生することを示す情報である。ここで、制御回路１１は、トリガーボタン１６ｂに対するユーザーの操作量が所与の判定条件を満たした場合に、その旨を示すノイズ発生情報を通知することとしてもよい。

押しボタン操作情報と同様に、トリガーボタン１６ｂについてもその可動部が一番奥まで押し込まれたタイミングで特にデバイスノイズが発生すると想定される。トリガーボタン１６ｂの可動部が最大まで押し込まれると、それ以上可動部が押し込まれないように操作デバイス１０内の規制部材に衝突し、そのタイミングで衝突音が発生するからである。そこで制御回路１１は、トリガーボタン１６ｂの操作量が最大値に到達したか否か、又は最大値近傍の所定の閾値を超えたか否かを判定し、このような判定条件を満たしたタイミングで、その旨を示すトリガーボタン操作情報を音声信号処理回路１２に通知することとしてもよい。

また、操作状況情報には傾倒操作部材操作情報が含まれてもよい。傾倒操作部材操作情報は、ユーザーによる傾倒操作部材１６ｃの操作によってデバイスノイズが発生することを示す情報である。傾倒操作部材操作情報も、ユーザーによる傾倒操作部材１６ｃに対する操作量が所与の判定条件を満たしたことを示す情報であってよい。

特に本実施形態では、傾倒操作部材１６ｃが任意の方向に最大量まで傾けられた場合に、それ以上の操作を規制する規制部材に衝突してデバイスノイズが発生すると想定される。そこで制御回路１１は、傾倒操作部材１６ｃが規制部材に衝突する可能性のある領域まで操作されたと判定された場合に、その旨を示す傾倒操作部材操作情報を送信する。

前述したように、本実施形態において傾倒操作部材１６ｃは３６０度任意の方向に傾ける操作が可能になっている。ユーザーが操作中の傾倒操作部材１６ｃの位置は、２次元の位置座標によって特定される。図５は、傾倒操作部材１６ｃの操作内容とデバイスノイズの関係を説明するための図であって、この位置座標が取り得る値の範囲を示している。この座標空間の中心Ｏは、ユーザーが傾倒操作部材１６ｃを操作していない状態における位置（ニュートラルポジション）を示している。そのため、検出された位置の中心Ｏからの方向、及び距離が、ユーザーが傾倒操作部材１６ｃをどの方向にどの程度傾けているかを示すことになる。

ここで、傾倒操作部材１６ｃの可動範囲（操作可能な範囲）は、傾倒操作部材１６ｃの周囲に配置された円形の規制部材によって規制されている。そのため、検出される位置座標は、図５において円Ｃで示される範囲内に制限される。傾倒操作部材１６ｃの検出位置が円Ｃの円周に沿った位置にある場合、傾倒操作部材１６ｃが最大量まで傾けられて規制部材に当接していることを示している。傾倒操作部材１６ｃが発生させる主なデバイスノイズは、傾倒操作部材１６ｃが最大量まで傾けられた際に規制部材に衝突して発生する衝突音である。そこで制御回路１１は、この衝突音が発生すると想定される場合のみ、その旨を示す傾倒操作部材操作情報を音声信号処理回路１２に送信すればよい。

具体的に、例えば制御回路１１は、傾倒操作部材１６ｃの検出位置が図５において網がけされている外周領域Ａ内にあると判定された場合に、その旨を音声信号処理回路１２に通知することとする。外周領域Ａ内に傾倒操作部材１６ｃが位置しているときには規制部材と衝突してデバイスノイズを発生させる可能性があるが、外周領域Ａ以外の位置（中心Ｏよりの位置）にある場合、傾倒操作部材１６ｃが規制部材と衝突する可能性はなく、衝突によるデバイスノイズを考慮する必要はないためである。この外周領域Ａ内は、中心Ｏからの距離が閾値Ｄｔｈより大きくなる領域である。すなわち、この例において制御回路１１は、傾倒操作部材１６ｃの操作量が閾値Ｄｔｈより大きくなる場合にノイズ発生の可能性があることを示す傾倒操作部材操作情報を送信することになる。このような条件を満たしたタイミングで傾倒操作部材操作情報が送信されることで、音声信号処理回路１２は、衝突によるデバイスノイズが発生するまさにそのタイミングで集音された集音音声信号に対して、そのノイズに適したノイズ除去処理を実行することができる。

さらに制御回路１１は、上述した操作量の条件に加えて、操作の速度が所与の判定条件を満たした場合に、ノイズ発生の可能性があることを示す情報を送信してもよい。ユーザーがゆっくりと傾倒操作部材１６ｃを操作している場合、傾倒操作部材１６ｃの操作量が閾値Ｄｔｈを超えていたとしても、規制部材への衝突によって大きなノイズが発生する可能性は低い。また、傾倒操作部材１６ｃが規制部材に衝突して停止した後も、さらに衝突によるノイズが発生するとは想定されない。そこで、例えば制御回路１１は、操作速度が閾値Ｖｔｈ以下の場合には、ノイズ発生の可能性があることを示す傾倒操作部材操作情報を送信しないこととし、操作量が閾値Ｄｔｈを超え、かつ操作速度が閾値Ｖｔｈを超えている状態が検出された場合だけ傾倒操作部材操作情報を送信することとしてもよい。これにより、より実際のノイズ発生に合わせたノイズ除去処理を実行することができるようになる。

なお、操作量が閾値Ｄｔｈを超え、操作速度は閾値Ｖｔｈを超えていない場合、傾倒操作部材１６ｃと規制部材が擦れて生じる擦過音のように、衝突音とは異なるノイズが発生する可能性がある。そのため、制御回路１１はこのような状態を示す傾倒操作部材操作情報を音声信号処理回路１２に通知することとしてもよい。この場合音声信号処理回路１２は、通知された傾倒操作部材操作情報の内容に応じて、異なる種類のノイズ除去処理を実行する。これにより、より効果的なノイズ除去処理を実行できる。

ここで、傾倒操作部材１６ｃの操作速度は、直近の過去所定期間における傾倒操作部材１６ｃの位置の移動量を特定することによって算出できる。例えば制御回路１１は、過去複数回のサンプリングで得られた位置の変化から、その期間における移動量を操作速度として算出する。これにより、操作速度が閾値Ｖｔｈを超えているか否かを判定することができる。

さらに制御回路１１は、操作方向（傾倒操作部材１６ｃの位置の移動方向）に応じて通知する傾倒操作部材操作情報の内容を変化させてもよい。例えば操作量が閾値Ｄｔｈを超えて傾倒操作部材１６ｃが規制部材近傍に位置していたとしても、その位置が中心Ｏに向かって移動している場合、規制部材と衝突したり擦れたりしてノイズを発生することは想定できない。そのため制御回路１１は、直近の傾倒操作部材１６ｃの移動方向が外周方向（規制部材に近づく方向）であると判定された場合に限って、ノイズ発生の可能性があることを示す傾倒操作部材操作情報を送信することとしてもよい。

次に、動作状況情報の具体例について説明する。動作状況情報には、振動機構動作情報が含まれてよい。振動機構動作情報は、振動機構１７の動作状況についての判定結果を示す情報である。振動機構１７が動作中には、その動作音がデバイスノイズとして発生すると想定される。そこで制御回路１１は、振動機構１７を動作させる制御信号の出力を開始する際に、そのタイミングで振動機構１７が動作中になることを示す振動機構動作情報を音声信号処理回路１２に送信する。また、振動機構１７の動作を停止させたタイミングで、その旨を示す振動機構動作情報を送信する。

なお、操作デバイス１０に複数の振動機構１７が内蔵されている場合、振動機構動作情報はどの振動機構１７が動作中であるかを示す情報を含んでもよい。また、振動機構動作情報には、制御回路１１が振動機構１７に発生させる振動の強さや周波数など、振動の内容を示す情報が含まれてもよい。振動を発生させる振動機構１７の種類や操作デバイス１０内における位置、また発生させる振動の内容などによって、集音音声信号に含まれるデバイスノイズの大きさや周波数などが変化すると想定されるからである。

また、動作状況情報には、力覚提示機構動作情報が含まれてよい。力覚提示機構動作情報は、力覚提示機構１８の動作状況についての判定結果を示す情報である。前述したように、本実施形態において力覚提示機構１８はユーザーのトリガーボタン１６ｂに対する操作に反応して力覚を提示する。そのため、制御回路１１が力覚提示機構１８の動作制御を行う指示を情報処理装置５０から受け付けていたとしても、力覚提示機構１８は直ちに力覚の提示を開始するわけではなく、トリガーボタン１６ｂに対するユーザーの操作が所与の動作条件を満たした場合に動作を開始し、力覚を提示する。そこで制御回路１１は、ユーザーのトリガーボタン１６ｂに対する操作内容を走査した結果、力覚提示機構１８を動作させる条件を満たしたと判定し、実際に力覚提示機構１８に力覚の提示を実行させるタイミングで、その旨を示す力覚提示機構動作情報を音声信号処理回路１２に送信する。また、力覚提示機構１８による力覚の提示を終了した場合には、その旨を示す力覚提示機構動作情報を送信する。さらに制御回路１１は、提示する力覚の内容（力覚の強さなど）を力覚提示機構動作情報に含めてもよい。

音声信号処理回路１２は、以上説明したような内容を含むノイズ発生情報を受信し、その内容に従って集音音声信号に対して適用するノイズ除去処理の内容を変化させる。具体的には、デバイスノイズの発生を示すノイズ発生情報が受け付けられていない間は、デバイスノイズと関係ない通常のノイズ除去処理を実行する。押しボタン１６ａが押下されたことを示すノイズ発生情報が受け付けられた場合、そのタイミングで取得された集音音声信号に対して、押しボタン１６ａが発生させるノイズを低減するようなノイズ除去処理を実行する。同様に、トリガーボタン１６ｂが最大量まで押下されることを示すノイズ発生情報が受け付けられた場合、トリガーボタン１６ｂが発生させるノイズを低減するノイズ除去処理を実行する。また、傾倒操作部材１６ｃが最大量まで傾けられることを示すノイズ発生情報が受け付けられた場合、傾倒操作部材１６ｃと規制部材との衝突により発生するノイズを低減するノイズ除去処理を実行する。

さらに、振動機構１７が動作中であることを示すノイズ発生情報が受け付けられた場合、音声信号処理回路１２は振動機構１７が発生させるノイズを低減するノイズ除去処理を実行する。力覚提示機構１８が動作中であることを示すノイズ発生情報が受け付けられた場合は、そのノイズを低減するノイズ除去処理を実行する。このように、制御回路１１がデバイスノイズの発生が想定されるタイミングで送信するノイズ発生情報を利用することで、音声信号処理回路１２は発生するデバイスノイズに適した内容のノイズ除去処理をリアルタイムで実行することができる。

以上説明したように、本実施形態に係る操作デバイス１０によれば、操作デバイス１０自身が発生させるデバイスノイズを効果的に除去することができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明では操作デバイス１０は家庭用ゲーム機のコントローラであることとしたが、これに限らず、マイクロホンとユーザーによる操作対象となる操作部材を備える各種の機器であってよい。

また、以上の説明では操作デバイス１０は押しボタン１６ａ、トリガーボタン１６ｂ、及び傾倒操作部材１６ｃの３種類の操作部材１６を備えることとしたが、操作デバイス１０はこれ以外にもタッチパッドなどの各種の操作部材１６を備えてよい。そして、これらの操作部材１６がユーザーの操作時にノイズを発生させる可能性がある場合、これまでの説明と同様、制御回路１１は操作部材１６に対する操作が受け付けられたことを示す操作部材操作情報を音声信号処理回路１２に送信する。また、操作デバイス１０は、振動機構１７、及び力覚提示機構１８以外にもノイズを発生させる可能性がある各種の機構を備えてよい。この場合にも、制御回路１１は、これらの機構を動作させる場合に、その状況を示す動作状況情報を音声信号処理回路１２に送信する。これにより、音声信号処理回路１２は適切なノイズ除去処理を実行できる。

［第２実施形態］
以上説明した本発明の第１実施形態に係る操作デバイス１０においては、操作デバイス１０がノイズの発生が想定される動作状態にあると判定される場合、制御回路１１がその旨を示すノイズ発生情報を出力し、音声信号処理回路１２に対して通知することとした。すなわち、ノイズの発生が想定される動作状態にあるか否かを判定するノイズ発生判定処理を制御回路１１が実行することとした。しかしながら、本発明の実施の形態はこのようなものに限られない。以下、本発明の第２実施形態に係る操作デバイスとして、ノイズ発生判定処理を音声信号処理回路１２が実行する実施形態について説明する。なお、本実施形態においても、音声信号処理システム全体のハードウェア構成は図１及び図２を用いて説明した第１実施形態と同様のものであってよい。そのため、システムを構成する各構成要素については第１実施形態と同じ符号を用いて参照する。

本実施形態において制御回路１１は、操作デバイス１０の各部材の動作状態を定期的に走査（スキャン）し、その結果を示す情報（スキャンデータ）を定期的に情報処理装置５０に対して送信する。そして、このスキャンデータを、所定のタイミングで音声信号処理回路１２にも送信する。音声信号処理回路１２は、制御回路１１から受信したスキャンデータに基づいて、操作デバイス１０がノイズの発生が想定される状態にあるか否かを判定し、判定結果に応じたノイズ発生情報を出力する。すなわち、本実施形態では、これまでの説明において制御回路１１が実施することとしたノイズ発生判定処理を音声信号処理回路１２が実行し、その実行結果を示すノイズ発生情報を出力する。そして、音声信号処理回路１２は自身が出力するノイズ発生情報に応じて第１実施形態の場合と同様に自身が実行するノイズ除去処理の内容を変化させる。つまり、本実施形態においては音声信号処理回路１２がノイズ除去部、及び出力部双方の機能を実現することとなる。

以下、本実施形態において制御回路１１及び音声信号処理回路１２が実行する処理の具体例について、図６のタイムチャートを用いて説明する。

本実施形態において制御回路１１は、所定の時間Ｔ１が経過するごとに、その時点における各操作部材１６の状態を走査し、得られたデータを１個のスキャンデータとして自身に内蔵されているバッファメモリ内に記録する。時間Ｔ１はスキャン処理の実行周期である。スキャンデータは、操作デバイス１０が備えるユーザーとのインタラクションのための各部材について、その動作状態を示すデータを含んでいる。具体的にスキャンデータは、押しボタン１６ａが押されているか否か、トリガーボタン１６ｂがどの程度押し込まれているか、また傾倒操作部材１６ｃがどの方向にどの程度傾けられているか、など、各操作部材１６に対するユーザーの操作内容を示す操作情報を含んでいる。また、スキャンデータは、振動機構１７や力覚提示機構１８など、制御回路１１が制御対象とする各部材の動作状態を示す情報を含んでもよい。

制御回路１１は、最新の１個だけでなく、過去Ｎ回のスキャン処理によって得られたＮ個のスキャンデータをバッファメモリ内に記録しておく。Ｎ個のスキャンデータが記録された状態で新たなスキャン処理を実行すると、制御回路１１は最新のスキャンデータをバッファメモリ内に記録するとともに、最も古いスキャンデータを消去する。

制御回路１１は、所定の時間Ｔ２が経過するごとに、最新のスキャンデータを情報処理装置５０に対して送信する。時間Ｔ２は情報処理装置５０に対するスキャンデータの送信周期であって、時間Ｔ１以上であることが好ましい。情報処理装置５０は、操作デバイス１０の制御回路１１から受信したスキャンデータを参照することで、操作デバイス１０の状態を知ることができ、ユーザーが行った操作内容や操作デバイス１０各部の動作状態に応じた処理を実行することができる。

なお、時間Ｔ２が時間Ｔ１より長い場合、制御回路１１が定期的に記録したスキャンデータの全てが情報処理装置５０に送信されるとは限らず、タイミングによっては情報処理装置５０に対して送信されないスキャンデータが生じる場合もある。しかしながら、制御回路１１は常に最新の（すなわち、直近の過去に取得された）スキャンデータを送信するので、情報処理装置５０は最新の操作デバイス１０の状態に応じた処理を実行できる。

一方、制御回路１１は、音声信号処理回路１２からの要求に応じて、自身のバッファメモリ内に記録されている複数個のスキャンデータをまとめて音声信号処理回路１２に提供する。具体的に制御回路１１は、音声信号処理回路１２から受信する送信要求に応じて決まるタイミングで、音声信号処理回路１２内のバッファメモリに対して、複数個のスキャンデータを書き込む。この送信要求の詳細については後述する。この例において、音声信号処理回路１２内に書き込むスキャンデータは、前回書き込みの対象とされたスキャンデータ以降に取得された全てのスキャンデータである。この制御回路１１から音声信号処理回路１２への書き込みは、例えばＳＰＩ（シリアル・ペリフェラル・インタフェース）規格に基づく通信によって実現されてよい。

音声信号処理回路１２は、マイクロホン１５によって集音されたアナログ音声信号をＡＤコンバータによってデジタル音声信号に変換し、集音音声信号データとして取得する集音音声信号取得処理を、継続的に実行する。そして、所定の時間Ｔ３が経過するごとに、過去に取得された時間Ｔ３分の長さの集音音声信号データについて、エコーキャンセル処理を実行する。時間Ｔ３はエコーキャンセル処理の実行周期である。

さらに音声信号処理回路１２は、所定の時間Ｔ４が経過するごとに、エコーキャンセル処理が実行された後の集音音声信号データに対して、ノイズ除去処理を実行する。時間Ｔ４はノイズ除去処理の実行周期である。ここでは時間Ｔ４は、時間Ｔ３の２倍の時間であることとし、音声信号処理回路１２は１回のノイズ除去処理において過去２回分のエコーキャンセル処理において処理対象とされた集音音声信号データを処理対象とする。なお、ここでは時間Ｔ４が時間Ｔ３より長いこととしたが、両者は同じ時間であってもよい。

さらに音声信号処理回路１２は、ノイズ除去処理を実行するタイミングで、併せて制御回路１１に対して次のスキャンデータを送信するよう要求する。本実施形態では、この送信要求は、ＧＰＩＯ（汎用入出力）の信号線（以下、制御信号線という）に出力する電圧の高低（Ｈ／Ｌ）を切り替えることによって行うものとする。すなわち、音声信号処理回路１２は、所定の時間Ｔ４が経過するごとにノイズ除去処理を実行し、その処理中に制御信号線の出力電圧を変化させることで、制御回路１１に対してスキャンデータの送信要求を行う。制御回路１１は、この制御信号線の出力電圧の変化を検出すると、前述したようにその時点までに取得した未送信のスキャンデータを音声信号処理回路１２内のバッファメモリに書き込む。このため、制御回路１１は、時間Ｔ４を実行周期として、スキャンデータを音声信号処理回路１２に書き込む書き込み処理を定期的に実行することになる。

なお、本実施形態では音声信号処理回路１２はスキャンデータの書き込み先となる記憶領域を２個確保し、制御回路１１はこれらの２個の記憶領域に交互にスキャンデータの書き込むこととする。これにより、制御回路１１が直近の過去２回にわたって送信したスキャンデータが常に音声信号処理回路１２内に記録された状態とすることができる。具体的に、音声信号処理回路１２内にはバッファＢ１及びバッファＢ２の２個の記憶領域が確保されているものとする。制御回路１１は、制御信号線の出力電圧がＬからＨに切り替えられたときにはバッファＢ１にスキャンデータを書き込み、ＨからＬに切り替えられたときにはバッファＢ２にスキャンデータを書き込む。このとき、書き込み先のバッファに記録されていた古いスキャンデータは上書きされて消去される。このような構成によれば、音声信号処理回路１２は１本の制御信号線の出力電圧を切り替えることで、新たなスキャンデータの書き込みを制御回路１１に要求するとともに、併せて次の書き込み先のバッファを制御回路１１に対して指定することができる。

前述したように、制御回路１１は前回スキャンデータの送信を実行した後に取得した複数個のスキャンデータをまとめて音声信号処理回路１２に送信する。ここでは具体例として、時間Ｔ１（スキャン処理の実行周期）は１ｍｓで、時間Ｔ４（ノイズ除去処理の実行周期）は１０．６６ｍｓであるものとする。この時間Ｔ４は、２４ｋＨｚのサンプリングレートで２５６サンプル分の音声信号をサンプリングする時間に相当する。この例では、時間Ｔ４が経過する間にスキャン処理が１０回又は１１回実行されることになるため、制御回路１１は一度に１０個又は１１個のスキャンデータを音声信号処理回路１２に対してまとめて送信する。音声信号処理回路１２内のバッファＢ１及びＢ２のそれぞれには、この１０個又は１１個のスキャンデータが格納されることになる。

音声信号処理回路１２は、ノイズ除去処理を実行する際には、前回のノイズ除去処理を実行した際の送信要求に応じて制御回路１１が書き込んだスキャンデータを用いて、ノイズ除去処理を行う。具体的に、まず音声信号処理回路１２は、バッファＢ１及びＢ２のうち、今回書き込み先として指定したバッファとは別のバッファ（すなわち、前回のノイズ除去処理時に書き込み先として指定したバッファ）から、前回制御回路１１によって書き込まれた１０個又は１１個のスキャンデータを読み出す。

その後、音声信号処理回路１２は、読み出したスキャンデータに基づいて、操作デバイス１０がノイズの発生が想定される動作状態にあるか否かを判定するノイズ発生判定処理を実行し、判定結果をノイズ発生情報として出力する。そして、出力したノイズ発生情報に応じて決まる内容で、ノイズ除去処理を行う。このノイズ発生判定処理は、前述した第１実施形態において制御回路１１が実行することとした処理と同様の処理であってよい。また、ノイズ発生情報に基づくノイズ除去処理は、第1実施形態において音声信号処理回路１２が実行することとした処理と同様の処理であってよい。

具体的に、例えば音声信号処理回路１２は、時間的に連続する２個のスキャンデータに含まれる操作情報の内容を比較することで、それまで押下されていなかった押しボタン１６ａが押下され始めたか否かを判定する。ある時点のスキャンデータはある押しボタン１６ａが押下されていないことを示しているが、その次のタイミングで取得されたスキャンデータは同じ押しボタン１６ａが押下されていることを示している場合、そのスキャンデータが取得されたタイミングでその押しボタン１６ａが押下されたと判定される。このような場合、そのタイミングで押しボタン１６ａの押下に起因するノイズが発生した可能性がある。そこで音声信号処理回路１２は、読み出したスキャンデータが取得された時間区間に対応する時間区間を対象としたノイズ除去処理を実行する際に、押しボタン１６ａの押下によるノイズに対応したフィルタを用いるなどして、そのノイズを除去可能なノイズ除去処理を実行する。

また、トリガーボタン１６ｂの操作量が所定の閾値Ｄｔｈを超えることを示すスキャンデータが取得された場合、音声信号処理回路１２はその旨を示すノイズ発生情報を出力し、その出力に応じたノイズ除去処理を実行することとする。同様に、傾倒操作部材１６ｃが図５で例示したような外周領域Ａまで操作されたことを示すスキャンデータが取得された場合、音声信号処理回路１２は傾倒操作部材１６ｃがノイズを発生させる可能性があると判定し、その出力に応じたノイズ除去処理を実行する。また、音声信号処理回路１２は、振動機構１７や力覚提示機構１８が動作中であることを示すスキャンデータが取得された場合に、その内容に応じたノイズ除去処理を実行してもよい。

以下、ある時刻ｔｘに押しボタン１６ａが押下された場合の制御回路１１及び音声信号処理回路１２の処理の流れについて、説明する。なお、図６においては、この時刻ｔｘの直後に取得されるスキャンデータ、及びこの時刻ｔｘを含む時間区間に取得された集音音声信号データを処理対象とする処理が、網がけで示されている。ただし、バッファＢ１に対する網がけは、対象とされるスキャンデータがバッファＢ１に記録されている期間を示している。

時刻ｔｘに押しボタン１６ａが押下されると、その直後に実行されるスキャン処理Ｐ１において、押しボタン１６ａが押下されたことを示すスキャンデータが生成される。

一方、音声信号処理回路１２は前述したように集音音声信号取得処理を継続的に実行している。ここでは音声信号処理回路１２は、時間Ｔ３が経過して２４ｋＨｚのサンプリングレートで１２８サンプル分の音声信号データを取得するごとに、集音音声信号データに対するエコーキャンセル処理を実行することとしている。ただし、音声信号処理回路１２は直近の過去に取得された集音音声信号データに対して直ちにエコーキャンセル処理を実行するわけではなく、時間Ｔ４に相当する分（すなわち、後述するノイズ除去処理の実行周期１回分）だけ処理の実行を遅延させる。すなわち、音声信号処理回路１２は、時間Ｔ３が経過するごとに、時間Ｔ４に相当する期間だけ過去に取得された集音音声信号データを対象として、エコーキャンセル処理を実行する。

そのため、時刻ｔｘを含む時刻ｔ１から時刻ｔ２までの期間に集音音声信号取得処理Ｐ２が実行された後、音声信号処理回路１２は、この期間より時間Ｔ４分だけ過去に取得された集音音声信号データを対象としてエコーキャンセル処理Ｐ３を実行する。エコーキャンセル処理Ｐ３が時刻ｔ３に終了すると、続いて音声信号処理回路１２は、過去２回のエコーキャンセル処理の対象となった集音音声信号データに対して、ノイズ除去処理Ｐ４を実行する。このとき音声信号処理回路１２は、バッファＢ２に格納されているスキャンデータを用いてノイズ発生判定処理を実行し、その結果に応じてノイズ除去処理の内容を変化させる。また、このノイズ除去処理Ｐ４の実行中に、制御信号線の出力電圧をＬからＨに切り替えることによってスキャンデータの送信を制御回路１１に要求する。この要求に応じて制御回路１１は、バッファＢ１を書き込み先としてスキャンデータの書き込み処理Ｐ５を実行する。これは、スキャン処理Ｐ１を含む直近の過去に実行された１０回分のスキャン処理によって得られる１０個のスキャンデータを、音声信号処理回路１２内のバッファＢ１に書き込む処理である。

その後、音声信号処理回路１２は、時刻ｔ２から時間Ｔ３が経過した後の時刻ｔ４に次のエコーキャンセル処理Ｐ６を実行し、さらに時刻ｔ４から時間Ｔ３が経過した後の時刻ｔ５にエコーキャンセル処理Ｐ７を実行する。このエコーキャンセル処理Ｐ７が、集音音声信号取得処理Ｐ２で取得された集音音声信号データを対象とした処理となる。

エコーキャンセル処理Ｐ７が時刻ｔ６に終了すると、続いて音声信号処理回路１２は、エコーキャンセル処理Ｐ６及びＰ７でエコーキャンセル処理が適用された集音音声信号データに対して、ノイズ除去処理Ｐ８を実行する。このとき音声信号処理回路１２は、バッファＢ１に格納されている１０個のスキャンデータを参照してノイズ発生判定処理を実行し、その結果に応じてノイズ除去処理の内容を変化させる。すなわち、ノイズ除去処理Ｐ８は、その実行開始時点よりも時間Ｔ４以上前のタイミングまでに取得された集音音声信号データを対象とした処理であり、かつ、その集音音声信号データが取得された期間と対応する期間に取得されたスキャンデータを用いたノイズ発生判定処理を含む処理である。

前述したように、ノイズ除去処理Ｐ８を実行する時点でバッファＢ１に格納されているスキャンデータは、押しボタン１６ａが押下された時刻ｔｘの直後に取得されたスキャンデータを含んでいる。そのため音声信号処理回路１２は、ノイズ除去処理Ｐ８において、押しボタン１６ａが押下されたことにより発生すると想定されるノイズに対応したノイズ除去処理を実行する。このように、音声信号処理回路１２は時間Ｔ４が経過するごとに次のスキャンデータを制御回路１１に要求するとともに、前回送信されたスキャンデータを用いてノイズ発生判定処理を実行する。そして、時間Ｔ４以上以前に取得された集音音声信号データを対象としてノイズ除去処理を行う。これにより、ノイズが発生すると想定されるタイミングに取得された集音音声信号データに対して、想定されるノイズに対応したノイズ除去処理を実行することができる。

以上説明したように、本実施形態に係る操作デバイス１０においては、音声信号処理用の回路である音声信号処理回路１２が制御回路１１から提供されるスキャンデータを用いてノイズ発生情報出力処理を実行するようにした。このような構成によれば、制御回路１１は、情報処理装置５０に対して送信するために生成するスキャンデータ（ユーザーによる各操作部材１６に対する操作内容を含む操作情報を含んだデータ）を音声信号処理回路１２にも提供すればよく、情報処理装置５０に提供するデータの生成と音声信号処理回路１２に提供するデータの生成を二重に実行する必要がなくなる。

なお、以上の説明における各処理の実行周期や、制御回路１１と音声信号処理回路１２との間のデータ授受のためのインタフェースなどは、例示に過ぎず、以上説明した内容と異なってもよい。

１ 音声信号処理システム、１０ 操作デバイス、１１ 制御回路、１２ 音声信号処理回路、１３ スピーカー、１４ ヘッドホン端子、１５ マイクロホン、１６ 操作部材、１６ａ 押しボタン、１６ｂ トリガーボタン、１６ｃ 傾倒操作部材、１７ 振動機構、１８ 力覚提示機構、５０ 情報処理装置。

Claims (6)

1. ユーザーとのインタラクションのための部材と、マイクロホンと、を備える操作デバイスであって、
   前記マイクロホンが集音した集音音声信号からノイズを除去するノイズ除去処理を実行するノイズ除去部と、
   前記インタラクションのための部材の動作状態が所与の判定条件を満たすか否かを判定し、当該判定の結果ノイズの発生が想定される動作状態にある場合に、その旨を示すノイズ発生情報を出力する出力部と、
   を含み、
   前記インタラクションのための部材は、前記ユーザーが可動範囲内で任意の方向に動かすことによって、前記ユーザーから方向を指示する操作を受け付ける操作部材を含み、
   前記出力部は、前記操作部材に対する操作入力が受け付けられた場合に、ユーザーによって動かされる前記操作部材の位置の移動方向が前記可動範囲の外周に近づく方向であるか否かを判定し、近づく方向の操作である場合にその旨を示す前記ノイズ発生情報を出力し、
   前記ノイズ除去部は、前記出力されるノイズ発生情報に応じて前記ノイズ除去処理の内容を変化させる
   ことを特徴とする操作デバイス。
2. 請求項１に記載の操作デバイスにおいて、
   前記操作部材は、当該操作部材に対するユーザーの操作量を計測可能に構成されており、
   前記出力部は、前記操作量が所与の判定条件を満たすか否かを判定する
   ことを特徴とする操作デバイス。
3. 請求項２に記載の操作デバイスにおいて、
   前記出力部は、前記操作量、及び操作の速度が所与の判定条件を満たすか否かを判定する
   ことを特徴とする操作デバイス。
4. 請求項１から３のいずれか一項に記載の操作デバイスにおいて、
   前記インタラクションのための部材は、ユーザーに振動を提示する振動機構を含み、
   前記出力部は、前記振動機構の動作状態が所与の判定条件を満たすか否かを判定する
   ことを特徴とする操作デバイス。
5. 請求項１から４のいずれか一項に記載の操作デバイスにおいて、
   前記インタラクションのための部材は、ユーザーに力覚を提示する力覚提示機構を含み、
   前記出力部は、前記力覚提示機構の動作状態が所与の判定条件を満たすか否かを判定する
   ことを特徴とする操作デバイス。
6. ユーザーとのインタラクションのための部材と、マイクロホンと、を備える操作デバイスが実行する音声信号処理方法であって、
   前記インタラクションのための部材の動作状態が所与の判定条件を満たすか否かを判定し、当該判定の結果前記操作デバイスがノイズの発生が想定される動作状態にある場合に、その旨を示すノイズ発生情報を出力するステップと、
   前記マイクロホンにより集音された集音音声信号からノイズを除去するノイズ除去処理を実行するステップと、
   を含み、
   前記インタラクションのための部材は、前記ユーザーが可動範囲内で任意の方向に動かすことによって、前記ユーザーから方向を指示する操作を受け付ける操作部材を含み、
   前記ノイズ発生情報を出力するステップでは、前記操作部材に対する操作入力が受け付けられた場合に、ユーザーによって動かされる前記操作部材の位置の移動方向が前記可動範囲の外周に近づく方向であるか否かを判定し、近づく方向の操作である場合にその旨を示す前記ノイズ発生情報を出力し、
   前記ノイズ除去処理を実行するステップでは、前記ノイズ発生情報に応じて前記ノイズ除去処理の内容を変化させる
   ことを特徴とする音声信号処理方法。

Images