JP5134876B2 - 音声通信装置及び音声通信方法並びにプログラム - Google Patents

Description

本発明は、音声で遠隔地にいる人同士が会話するテレビ会議システムや、携帯電話のテレビ電話、カーナビのハンズフリー通話といった遠隔地と通話を行う装置及び方法に関する。
に関する。

スピーカとマイクロホンを双方に有し、ネットワークで接続して遠隔地の人と音声で会話することができる電話会議システムもしくはテレビ会議システムがある。このシステムでは、マイクロホンを設置した場所に近い話者の音声は大きく受音され、マイクロホンを設置した場所から遠い話者の音声は小さく受音されるという問題があった。

そこで、従来からユーザーが音量を増幅したいときには、音量増幅ボタンを押すことで、音量を増幅することができる、音量操作リモコンが用いられてきた。

しかし、これらの音量操作リモコンでは、話者音量が異なるたびに、手動で音量を調整しなければならず、操作が煩雑であるという問題があった。

そこで、話者感度を自動的に補正するというＡＧＣが用いられてきた（例えば、非特許文献２参照、特許文献２参照）。

しかし、ＡＧＣでは、話者交替時など、発話者の音量が変化した場合に、変化後の音量に適応するまで、時間がかかり、その間、適切な音量レベルで音声を聞くことができないという問題があった。またＡＧＣは、背景雑音が存在する場合、背景雑音を音声と誤認し、増幅してしまう危険性があり、プロジェクタのファンの音などの背景雑音が存在するテレビ会議システムで用いるのは困難となる。

話者交替時に、一時的に音量レベルが適切なレベルにならないことを補正することを目的として、話者位置に応じた発話レベル調整法が提案されている（例えば、特許文献１、３参照）。これらのレベル調整法では、何らかの方法で、発話位置を特定し、発話位置が変化した場合は、この特定結果から発話位置の変化を知る。そして発話位置に応じた音量レベルをメモリから読み出し、音量レベルを読み出したレベルに設定する。また推定した発話レベルは、特定した発話位置に応じたメモリ領域に保存する。このような手順で、話者交替時の発話レベルの調整を行なっている。
特開平０６−２５３３０５号公報 特開平１１−１８７１３０号公報 特開２００５−１３６７０１号公報 R.Martin, "Noise power spectral density estimation based on optimal smoothing and minimum statistics", IEEE Trans. Speech Audio Process, T-SA-9(5), 504-512, 2001. E.Hansler,G.Schmidt, "Acoustic Echo and Noise Control", Wiley Series, pp.148-151, 2004,

しかしながら、上記従来例おいては、発話位置を特定する手法が、音声以外の情報を用いる場合、例えばカメラの画像情報である場合は、マイクロホン以外の他のデバイスが必要となるというデメリットがある。また音声の音源方向の情報を用いた音声区間検出による自動話者検出法を用いる場合であっても、検出ミスにより、背景雑音を拡声してしまうという課題がある。

また、上記ＡＧＣ等の自動話者感度補正では、ユーザーが望む適切な話者音量に必ずしも補正されないという問題がある。

そこで本発明は、上記問題点に鑑みてなされたもので、話者の交替時に、一時的に音量レベルが適切なレベルになることを補正するとともに、背景雑音を誤って拡声することなく、ユーザーにとって煩雑な操作を要することなく、適切なレベルに音量を補正することを目的とする。

本発明は、複数の拠点間で音声通信を行う音声通信装置であって、音声を収集する集音素子を複数備えたマイクロホンアレイと、前記複数の集音素子が収集した音声から音源の方位を特定する音源方位特定部と、前記収集した音声を他の拠点へ送信する音声送信部と、他の拠点からの音声を受信する音声受信部と、前記受信した音声を再生する再生部と、前記再生中の音声に対する再生情報を設定する再生情報設定部と、前記再生情報を設定した音源の方位を前記音源方位特定部から取得して、当該音源の方位と再生情報を対応付けて格納する話者感度情報格納部と、前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する音声変更部と、を備え、前記音声変更部は、前記音源の方位が変化したときには、前記話者感度情報格納部から新たな音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更し、前記複数の拠点は、ネットワークで接続された第１の拠点と第２の拠点とを含み、前記第１の拠点は、前記マイクロホンアレイの前記複数の集音素子が収集した音声から第１の拠点における音源の方位を特定する前記音源方位特定部と、前記収集した音声と前記特定した音源の方位を第２の拠点へ送信する送信部と、を有し、前記第２の拠点は、前記第１の拠点から音声と音源の方位を受信する受信部と、前記受信した音声を再生する前記再生部と、前記再生中の音声に対する再生情報を設定する前記再生情報設定部と、前記設定された再生情報と受信した音源の方位とを対応付けて格納する前記話者感度情報格納部と、前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する前記音声変更部と、を有する。

したがって、本発明は、話者が交替するときには音源方位が変化するので、話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を適用することで、ユーザが設定した音量レベル等の再生情報に補正することができ、煩雑な操作を要することなく、適切な音声となるように補正することが可能となる。さらに、音源方位の情報から特定した話者毎の再生情報（音量または感度）となるように音声の補正を行うため、背景雑音を発話音声と誤認して拡声することを防止することが可能となる。

以下、本発明の一実施形態を添付図面に基づいて説明する。

図１は、本発明の第１の実施形態を示すシステム構成図である。図１は、本発明を適用したテレビ会議システムの１拠点におけるシステム構成を示している。

テレビ会議システム１００は、音響信号処理または画像処理、通信処理を計算機１０１で行う。計算機１０１は、演算処理を行うプロセッサＣＰＵと、プログラムやデータを一時的に格納するメモリＭＥＭと、プログラムやデータを格納するストレージ装置ＳＴＧと、話者音量調整リモコン１６０１と赤外線によって通信を行うための赤外線通信部ＩＲとを含んで構成される。

計算機１０１にはＡ／ＤＤ／Ａ変換装置１０２がつながっており、マイクロホンアレイ１０５で収録したアナログの音声信号はＡ／ＤＤ／Ａ装置１０２によってデジタルの音声信号に変換され計算機１０１に送られる。マイクロホンアレイ１０５は複数のマイクロホン素子（集音素子）を有する。計算機１０１では、入力されたデジタルの音声信号に対して音響信号処理を施し、処理後の音声信号はハブ１０３を介して、ネットワーク上に送られる。ハブ１０３を介して、テレビ会議システム１００に送られてきた他拠点の画像信号は画像表示装置１０４に送られ、画面に表示される。ハブ１０３を介して送られてきた他拠点の音声信号は計算機１０１で音量を調整した後、Ａ／ＤＤ／Ａ変換装置１０２でアナログ信号へ変換されてスピーカ１０６から出力される。

マイクロホンアレイ１０５で受音される音声内には、スピーカ１０６からマイクロホンアレイ１０５まで伝わる音響エコーが含まれており、除去することが必要となる。この音響エコーの除去などの処理は、後述するように計算機１０１で行われる。図中デジタルケーブル１１０及びデジタルケーブル１１３は、ＵＳＢケーブルなどを用いる。

図２は、上記図１で示したテレビ会議システム１００を使って、遠隔地と通話する際の他拠点との接続構成について、拠点間の中央にサーバ１０を設けて相互にネットワークで接続した場合の通信構成を示している。図２（Ａ）に２拠点（拠点Ａ、Ｂ）の場合を示しており、図２（Ｂ）に３拠点（拠点Ａ、Ｂ、Ｃ）以上の場合を示している。なお、各拠点Ａ〜Ｃはネットワークを介して接続され、図１に示すように構成されている。

図２（Ａ）の２拠点でのテレビ会議の場合、拠点Ａ、拠点Ｂから他拠点に送信した情報が一旦サーバ１０に蓄積された後、サーバ１０から他方の拠点へ送信される。サーバ１０が各拠点へ送信する情報は、音声情報や画像情報及び音源方向に関する情報と、各拠点のシステムパラメータである。サーバ１０から送信された音声情報は他拠点のスピーカ１０６で再生される。拠点Ａ、拠点Ｂのそれぞれの拠点に設けられたマイクロホンアレイ１０５は、それぞれの拠点でのユーザーの発話を受音し、計算機１０１を介してもう一方の拠点に送信する。

図２（Ｂ）で示すように、３拠点以上のテレビ会議の場合は、全ての拠点に設けられたマイクロホンアレイ１０５の信号が一旦中央のサーバ１０に取り込まれる。そして、サーバ１０は各拠点に対して、それら拠点以外の音声をミキシングして出力する。

図３は、図１で示したテレビ会議システム１００を使って、遠隔地と通話する際の他拠点との接続構成について、図２に示したサーバ１０を介さない通信構成を示している。図３（Ａ）は２拠点（拠点Ａ、Ｂ）での場合を示しており、（Ｂ）に３拠点（拠点Ａ〜Ｃ）以上の場合を示している。

図３（Ａ）に示す２拠点でのテレビ会議の場合、拠点Ａからサーバーを介さず、直接拠点Ｂに情報が送信される。拠点Ａが送信する情報は、音声情報や画像情報及び音源方向に関する情報と、各拠点のシステムパラメータである。拠点Ａから送信された音声情報は他拠点（拠点Ｂ）の計算機１０１を介してスピーカ１０６で再生される。拠点Ａ、拠点Ｂのそれぞれの拠点に設けられたマイクロホンアレイ１０５はそれぞれの拠点でのユーザー発話を受音し、計算機１０１を介してもう一方の拠点に送信する。

図３（Ｂ）に示す３拠点以上のテレビ会議の場合は、各々の拠点からの情報がその拠点以外の全ての接続拠点に対してマルチキャストなどの通信方式により送信される。そしてそれぞれの拠点で情報を受信する。音声信号は、受信拠点の計算機１０１によってミキシングされ、スピーカ１０６より再生される。各々の拠点に設けられたマイクロホンアレイ１０５はそれぞれの拠点でのユーザー発話を受音する。

図４は、本発明の話者音量調整リモコン１６０１を用いたテレビ会議システム１００の利用状況を示す説明図である。図４は、拠点Ａにおいて話者音量調整リモコン１６０１を持ったユーザーがテレビ会議システム１００を利用する状態を示す。画像表示装置１０４には、他拠点にいる人物Ｐ１、人物Ｐ２が表示されている。画像表示装置１０４上の２人のうち人物Ｐ１が発話中であり、人物Ｐ１の音声が計算機１０１を介してスピーカ１０６より再生されているものとする。

また、各拠点には他の拠点の話者の音量を調整する話者音量調整リモコン１６０１を備えており、図４で示すように、話者音量調整リモコン１６０１は、音量を調整する拠点を指定するための音量調整拠点指定ボタン１６１０と、指定した拠点の音量を増大する音量増幅ボタン１６１１と、指定した拠点の音量を減少する音量減衰ボタン１６１２と、音声を消去する消音ボタン１６１３とを備えている。

音量増幅ボタン（「＋」ボタン）１６１１を押すことで、ユーザーは現在聞いている話者の音量を増幅して聞くことが可能となる。同様に音量減衰ボタン（「−」ボタン）１６１２を押すことで、ユーザーは現在聞いている話者の音量を減衰して聞くことが可能となる。消音ボタン１６１０（muteボタン）を押すことで、ユーザーは現在聞いている話者の音量を消音することが可能となる。これらのボタンを押すことで、現在聞いている話者の音量は変化するが、その後話者交替後には、計算機１０１が新しい話者の音量を自動的に調整するため、現在の音量操作により、話者交替時に問題が起こることはない。

音量調整拠点指定ボタン１６１０は、多拠点接続時に、音量を調整したい拠点を指定するためのボタンであり、このボタンで調整する拠点を選択した後で、音量増幅ボタン１６１１、音量減衰ボタン１６１２、消音ボタン１６１３を押すことで、音量を調整する拠点を１拠点に絞ることが可能となる。

次に、図４において、拠点Ａのユーザは、スピーカー１０６より再生される音声を聞いており、発話者である人物Ｐ１の音量が小さいため、少々音量を上げたいと思ったとする。この場合、話者音量調整リモコン１６０１上の上記３つのボタン「＋」、「−」、「ｍｕｔｅ」のうち、ユーザーは「＋」の音量増幅ボタン１６１１を押下し、音量を上げることができる。以上の処理までは、上記従来例のテレビ会議システム用の音量調整と同様である。

次に、人物Ｐ１の発話が終了し、人物Ｐ２の発話が開始され、このとき、人物Ｐ２の音量は人物Ｐ１より大きいとする。この場合、ユーザーは「＋」ボタン（音量増幅ボタン１６１１）を押下している場合、上記従来例のテレビ会議システムでは、再生ボリュームはかなり大きいものとなり、今度は、「−」ボタン（音量低減ボタン１６１２）を押下する必要がある。しかし、再度人物Ｐ１に話者交替すると、今度は、逆に再生音が小さすぎるため、「＋」ボタンを押しなおす必要がある。このように従来のテレビ会議システム用の音量調整リモコンでは、人物毎の音量の差を調整するために、非常に煩雑な操作を要していた。

本発明の話者音量調整リモコン１６０１では、話者が交替したことを音源方向の情報から検出し、人物Ｐ１の発話中に設定された音量ではなく、人物Ｐ２の発話時に設定された音量の記憶値を読み出し、記憶値に基づいてボリューム調整を行う。こうすることで、話者がＰ２に交替したときでも、煩雑な操作を行うことなく、適切な音量で音声を聞くことが可能となる。

また本発明では、人物毎に「ｍｕｔｅ」（消音）を設定することができるため、テレビ会議システム１００の使用中に、会議の流れとは異なる内容を発話している話者の音声をカットし、会議の流れに関連した音声だけを聞くことができる。

図５に、拠点Ａ、拠点Ｂ、拠点Ｃの３拠点を接続して行う多拠点のテレビ会議システム１００（例えば、図２（Ｂ）または図３（Ｂ））における音声発話及び再生のタイムチャートの例を示す。図５は横軸が、時刻となっている。

時刻ｔ１で、拠点Ｃに居るユーザーＵ１のみが発話したとする。このとき、拠点Ａ、及び拠点ＢではユーザーＵ１の音声が再生される。拠点ＡではユーザーＵ１の音声が小さく聞こえたとする。このとき、拠点Ａでは、話者音量調整リモコン１６０１の「＋ボタン」を押下し、ユーザーＵ１のボリュームを上げたとする。次の時刻ｔ２に拠点Ａでは、Ｕ１の音声は拡大して再生される。

一方、拠点Ｂではユーザーの音量調整操作がないため、ユーザーＵ１の音声は通常の大きさで再生される。時刻ｔ３で拠点ＢのユーザーＵ２が発話したとする。このとき、拠点Ａでは、Ｕ１は引き続き拡声されて聞こえるが、ユーザーＵ２は通常の音量で再生される。

時刻ｔ４では、拠点ＣでユーザーＵ３が発話を開始する。ここで音源方向による話者交替検出機能が自動的に話者交替を検出し、音量設定をＵ３の設定に変更する。このとき、拠点Ａでは、ユーザーＵ３の音量が大きく聞こえたため、「−」ボタンを押下し、音量を下げたとする。また拠点Ｂでは、ユーザーＵ３の発話は、会議の流れとは異なると判断し、「ｍｕｔｅ」ボタンを押下したとする。

時刻ｔ５では、拠点Ｂでは、ユーザーＵ３の音声は消音され、拠点ＡではＵ３の声は減衰して再生される。時刻ｔ６では再度ユーザーＵ１が発話する。再度話者交替検出機能が自動的に話者交替を検出し、音量設定をユーザーＵ３の設定値に変更する。このとき、拠点Ａでは、過去、ユーザーＵ１の発話時に「＋ボタン」を押下していたため、ユーザーＵ１の音声が拡声されて聞こえる。拠点ＢではユーザーＵ１の発話時に音量調節をしていないため、ユーザーＵ１の音声は通常の音量で再生される。

時刻ｔ７に拠点Ｃで、ユーザーＵ１とユーザーＵ３が同時に発話する。このとき、拠点Ｃの計算機１０１では同時発話状態であると判定し、周波数毎に入力音声を分離し、ユーザーＵ１とユーザーＵ３の音声を生成する。そして、それぞれの音量設定を使って、感度（音量）調整し、再合成する。このとき、拠点Ａと拠点Ｂごとにユーザーの音量設定が異なるため、それぞれの拠点Ａ、Ｂの計算機１０１が個別の設定で感度（音量）調整する。

図６は、本発明のテレビ会議システム１００の機能ブロック図である。図６の構成では、感度調整は全て音声を録音した拠点にて行われ、感度調整後の音声が他の拠点に送信される。図６において、多チャンネルＡ／Ｄ変換部６０１の処理は、図１に示すＡ／ＤＤ／Ａ変換装置１０２で行われ、多チャンネルフレーム処理部６０２〜ユーザ操作送信部６１７までの機能が計算機１０１で実行され、ユーザ操作部６１８は話者音量調整リモコン１６０１での処理となる。

マイクロホンアレイ１０５で得たマイクロホン素子毎のアナログ音圧データは、多ｃｈＡ／Ｄ変換部６０１でマイクロホン素子毎のデジタル音圧データｘｉ（ｔ）に変換される。ここで、ｉはマイクロホン素子番号を意味するインデックス（０、１、…Ｍ−１）とする。Ｍはマイクロホン素子数とする。ｔはサンプリング周期毎の離散時間である。

変換されたデジタル音圧データｘｉ（ｔ）は、計算機１０１へ入力されて多ｃｈフレーム処理部６０２に渡る。多ｃｈフレーム処理部６０２では、ｔ＝τＳからｔ＝τＳ＋Ｆ−１までのｘｉ（ｔ）をｔ＝０からｔ＝Ｆ−１までのＸｆ＿ｉ（ｔ、τ）に移し変える。ここで、τはフレームインデックスと呼び、多ｃｈフレーム処理部６０２から音声送信部６１６までの処理が完了した後で、１ずつインクリメントされる。Ｓはフレームシフトと呼び、フレーム毎にずらすサンプル数を意味する。Ｆはフレームサイズと呼び、フレーム毎に一度に処理するサンプル数を意味する。

その後、Ｘｆ＿ｉ（ｔ、τ）は多ｃｈ短時間周波数分析部６０３に渡される。多ｃｈ短時間周波数分析部６０３では、Ｘｆ＿ｉ（ｔ、τ）に、直流成分カット及びハミング窓、ハニング窓、ブラックマン窓などの窓処理を施した後、短時間フーリエ変換を施し、周波数領域の信号Ｘｆ＿ｉ（ｆ、τ）に変換する。Ｃｈ毎の周波数領域信号は多ｃｈ音響エコーキャンセラ部６０４に送られる。

他の拠点から送信された信号は音声受信部６０５で受信される。音声受信部６０５では、ＴＣＰ／ＩＰ、ＲＴＰプロトコルによる音声受信を行う。サーバー１０を拠点間に介する図２に示した多拠点のテレビ会議システム１００の場合は、音声受信部６０５では、他拠点の音声信号が混合した状態で音声を受信する。この場合、音声受信部６０５は混合音声をそのまま出力する。

一方、図３で示したように、サーバー１０を拠点間の中央に介さず、各拠点の計算機１０１同士がマルチキャストなどを用いて通信を行う多拠点のテレビ会議システム１００の場合は、音声受信部６０５は、それぞれの拠点の音声信号をそれぞれの拠点から直接受信する。この場合、音声受信部６０５は、それぞれの拠点の音声を混合した後、混合音声を出力する。音声再生部６０６では、他拠点の混合音声をスピーカ１０６に出力し、再生する。

多ｃｈ音響エコーキャンセラ部６０４では、音声受信部６０５から得た混合音声のコピー信号（参照信号）と多ｃｈ短時間周波数分析部６０３から得たマイクロホン素子毎の周波数領域信号Ｘｆ＿ｉ（ｆ、τ）に基づいて、スピーカ１０６から出力した音響エコー信号成分を減衰するためのエコー抑圧信号を出力する。音響エコーキャンセラの減衰に際しては、ＮＬＭＳアルゴリズムなど周知のアルゴリズムを用いればよく、本発明においては、音響エコーキャンセラの差異は、本質的な機能の差にはならない。

多ｃｈ音響エコーキャンセラ部６０４で音響エコー成分を減衰した後の周波数領域信号（エコー抑圧信号）をＥ＿ｉ（ｆ、τ）とする。

周波数領域信号Ｅ＿ｉ（ｆ、τ）は、音源定位部６０８及び音声区間検出部６０７に送られる。音源定位部６０８では、予め設定されたマイクロホンアレイ１０５の物理的なマイク配置６１５の情報を用いて、入力信号中に含まれる音源の音源到来方向を特定する。音源到来方向の特定には、修正遅延和アレイ法などを用いる。音源定位部の詳細構成は後に説明する。音源定位部６０８では、新たな音源方位が特定されると、話者感度情報６１４に新たなレコードを生成する。なお、マイク配置６１５は、計算機１０１のメモリまたはストレージ装置に格納される。

音声区間検出部６０７では、音響エコー減衰後の周波数領域信号Ｅ＿ｉ（ｆ、τ）から音量Ｐを、次の数１で算出する。

そして、算出された音量Ｐから後に説明する方法で音声区間検出を行う。

音声区間検出部６０７は、音声区間が検出できたかどうかの情報とともに、その音声区間で最も大きい音源の到来方向φを出力する。音声区間検出部６０７の出力結果は、拠点毎感度調整部（音声変更部）６１０に送られる。

拠点毎感度調整部６１０は、Ｅ＿ｉ（ｆ、τ）を音声区間検出の結果から得られる感度値に応じて、次の数２で変更する。

上記数２において、感度ベクトルＶｌｏｃ（φ）は、話者感度情報６１４に設定されている感度設定値６１４３を読み込む。話者感度情報６１４にφ方向の音を消音するという情報（−∞）が記憶されている場合、Ｖｌｏｃ（φ）＝０として、完全に音を消音する。Ｖｌｏｃ（φ）は各拠点ごとに値が異なるため、感度調整は、各拠点毎に行う。感度調整後の周波数信号Ｏ＿ｌｏｃ，ｉ（ｆ、τ）は拠点毎時間信号生成部６１１に送られて、逆ＦＦＴを掛けられ、時間領域信号Ｏ＿ｌｏｃ，ｉ（ｔ、τ）に変換される。時間領域信号Ｏ＿ｌｏｃ，ｉ（ｔ、τ）は、所定のフレーム周期毎にオーバーラップして加算され、かつ窓関数の逆数を施されたＯ２＿ｌｏｃ，ｉ（ｔ）に変換され、この変換された時間領域信号Ｏ２＿ｌｏｃ，ｉ（ｔ）が音声送信部６１６に送られる。なお、話者感度情報６１４は、計算機１０１のメモリまたはストレージ装置に格納され、後述するように設定される。

音声送信部６１６では、拠点間でサーバー１０を介する場合は、サーバ１０に対して、各拠点毎に生成した時間領域信号（音声信号）Ｏ２＿ｌｏｃ，ｉ（ｔ）を送信する。サーバー１０を介さない場合は、各拠点に対して、時間領域信号Ｏ２＿ｌｏｃ，ｉ（ｔ）をＴＣＰ／ＩＰやＲＴＰプロトコルを用いて送信する。マルチキャストを用いる場合は、全ての拠点に対して、同じ信号が送信されるため、本システム構成ではマルチキャストを用いることはできない。

遠端ユーザー操作受信部６１２は、ＴＣＰ／ＩＰプロトコル、ＲＴＰプロトコルを用いて、サーバー１０もしくは遠端ＣＰＵ（他の拠点の計算機１０１）と通信を行い、遠端ユーザー（他の拠点のユーザー）の音量操作情報を受信する。

音量操作情報には、どの拠点のどの範囲の方向をどの程度増幅もしくは減衰もしくは消音するかについての情報（感度設定値）が含まれており、後述する図８の話者感度調整データと同様の構成とすることができる。

他の拠点から受信した遠端ユーザー操作情報は、遠端ユーザー操作歴６１３に記憶される。遠端ユーザー操作歴６１３には、その操作が記憶された時刻情報も共に記憶される。

拠点毎感度変更部６０９では、音声区間が検出された場合のみ以下の処理を行う。検出されなかった場合は、何もしないで終了する。遠端ユーザ操作歴６１３に音量操作情報が保存されており、かつ音量操作情報が記憶された時刻と音声区間が検出された時刻の差が予め定義する最大時刻差を下回っている場合、感度調整を行なう。

一方、拠点毎感度変更部６０９は、音量操作情報が記憶された時刻と音声区間が検出された時刻の差が、所定の最大時刻差を上回っている場合は、音量操作情報が過去の情報であると考え、感度調整を行わない。感度調整は、遠端ユーザー操作歴６１３に記憶されている音量操作情報が全て無くなるまで過去の操作歴から順番に繰り返し行い、参照した音量操作情報は遠端ユーザー操作歴６１３から削除する。感度調整には、増幅と減衰、及び消音の３つの機能がある。増幅と減衰はそれぞれ、話者感度情報６１４に格納されている過去の感度調整値からの増分・減少分として定義される。例えば、増幅＋６ｄｂの感度調整を行なう際には、話者感度情報６１４から過去の感度調整値を読み出し、その値に６ｄｂ上乗せする。減少−６ｄｂの感度調整を行なう際には、話者感度情報６１４から過去の感度調整値を引き出し、その値から６ｄｂ差し引く。消音は減衰で−∞ｄｂを指定した場合と取ることができるが、完全に音量を０にするため、減衰とは異なった処理として、特別に扱うようにしてもよい。

なお、他の拠点の計算機１０１は、話者音量調整リモコン１６０１からの操作を受け付けると、現在時刻と話者音量調整リモコン１６０１の操作量を音量操作情報として送信する。そして、送信側の拠点の計算機１０１は、遠端ユーザ操作受信部６１２で受信した他の拠点からの音量操作情報を、音量操作情報に含まれる時刻において発話中の話者に対する感度値として遠端ユーザー操作歴６１３に格納する。例えば、他の拠点から音量操作情報を受信したときの、発話中の方位を音源低位部６０８から取得して、受信した音量操作情報と話者の関係を対応付けることができる。また、受信した音量操作情報は、話者音量調整リモコン１６０１の操作量を予め設定した関数等によって感度値に変換すればよい。例えば、操作量が話者音量調整リモコン１６０１の「＋ボタン」等の操作時間である場合には、操作時間が長くなるにつれて感度値の補正量を大きくする関数を設定しておけばよい。

拠点毎感度変更部６０９は、遠端ユーザー操作歴６１３の音量操作情報で感度調整した後には、使用した音量操作情報に設定された感度値の補正量と話者の方位から、話者感度情報６１４の方位に対応する感度値を上記補正量で更新する。そして、拠点毎感度変更部６０９は、使用した音量操作情報を遠端ユーザー操作歴６１３から削除する。

このように、拠点毎感度変更部６０９は、他の拠点から音量操作情報を受信する度に、音声の感度（音量）を変更し、話者の方位に対応する感度値を更新していく。

また、当拠点でのユーザの話者音量調整リモコン１６０１の操作は、図６のユーザ操作部６１８で行われる。ユーザ操作部６１８は、計算機１０１が赤外線通信部ＩＲを介して話者音量調整リモコン１６０１の指令を受信する。そして、ユーザ操作送信部６１７では、計算機１０１が受信した話者音量調整リモコン１６０１からの操作を、音量の操作量に変換し、さらに操作を行った時刻を操作量に付加して音量操作情報を生成し、他の拠点へ送信する。

図７は、本発明を適用して音声送信元で感度調整を行なうタイプ（図３（Ａ）または図３（Ｂ））のテレビ会議システム１００の起動から終了までの処理フローを示したフローチャートである。

図１に示した計算機１０１やマイクロホンアレイ１０５など各拠点のシステムの構成要素を起動してテレビ会議システム１００を起動する。テレビ会議システム１００の起動後、計算機１０１は、音響エコーキャンセラ適応処理を行なう（Ｓ１００１）。

音響エコーキャンセラ適応処理では、計算機１０１がスピーカ１０６より白色信号、時間方向に周波数が変化するタイプの全帯域信号ＮＬＭＳ法などを再生させ、音響エコーキャンセラのフィルタを初期化する。

その後、テレビ会議システム１００の計算機１０１は、他拠点からの接続要求を受信するか、または、自拠点から他拠点に対して接続要求を送信するまで待機する（Ｓ１００２、Ｓ１００３）。Ｓ１００２では、他拠点から接続されたかどうかをチェックし、もし接続されていれば、他拠点の接続処理（Ｓ１００４）を行い、そうでなければ、自拠点から接続要求が出たか否かを判定し（Ｓ１００３）、自拠点から接続要求が出れば、他拠点との接続処理を行う（Ｓ１００４）。自拠点から接続要求が出ていなければＳ１００２へ戻って、他拠点からの接続要求または自拠点から接続要求が出るまで待機する。

他拠点と接続した後は、Ｓ１００５にて、スピーカ１０６から他拠点の音声再生を実行し、音響エコーキャンセラや音源定位あるいは音声区間検出といった処理を繰り返し行なう（Ｓ１００６）。その際、常に他拠点のユーザーの感度操作歴（図６の遠端ユーザー操作歴６１３）があるか否かのチェックを行い（Ｓ１００７）、感度操作歴があれば、Ｓ１００８に進んで感度変更処理を行なう。また、Ｓ１００６の音源定位の出力結果を用いて、送信先の拠点毎に感度調整処理を行ない、感度調整処理後の音声を他の拠点へ送信する（Ｓ１００９）。

次に、Ｓ１０１０では、他拠点との接続が切れたか否かの判定を行い、もし接続が切れていれば、他拠点との接続を切断し、会議の処理を終了する（Ｓ１０１２）。もし他拠点との接続が切れていなければ、自拠点からの切断要求があるか否かのチェックを行い（Ｓ１０１１）、切断要求があれば、他拠点から切断Ｓ１０１２し、終了する。切断要求がなければ、Ｓ１００５へ戻ってスピーカ再生以降の処理を繰り返して実行する。

図８は、音声送信元で感度調整を行なう時の、話者感度調整データのデータ構造である。話者感度調整データは、図６に示した話者感度情報６１４に格納され、送信先の拠点の情報６１４１と、感度調整の調整範囲の情報６１４２と、感度設定値６１４３の合計３つの情報を持っている。例えば、図８の第一行目は、音源範囲が「方位角０°」、「仰角０°」、「距離１．０ｍ」の範囲にあるとき、拠点Ａに送信する音声は１０ｄｂ増幅してから送信するということを意味する。なお、拠点の情報６１４１には送信先の拠点名または識別子が設定される。なお、範囲６１４２には、マイクロフォンアレイ１０５からの方位角、仰角、距離などが設定される。また、送信元の計算機１０１で音声の音量を調整する場合では、図８の話者感度調整データは、自拠点のデータのみとなり、調整範囲の情報６１４２には音源定位部６０８で特定された音源の方位（方位角）が設定され、感度設定値６１４３には、他の拠点から受信した音量操作情報に基づいて拠点毎感度変更部６０９が決定した感度設定値が設定される。

図９は、図６に示した音源定位部６０８と音声区間検出部６０７で行われる修正遅延和アレイ法を用いて音源定位（音源到来方向の特定）と、音声区間検出を行なう際の詳細なブロック図である。

音源定位部６０８には、多チャンネル音響エコーキャンセラ部６０４から周波数領域信号（エコー抑圧信号）Ｅ＿ｉ（ｆ、τ）が入力される。音源定位部６０８では音響エコー成分を減衰した後の周波数領域信号Ｅ＿ｉ（ｆ，τ）を、
Ｅ（ｆ，τ）＝［Ｅ＿０（ｆ，τ）、Ｅ＿１（ｆ，τ），…，Ｅ＿Ｍ−１（ｆ、τ）］
とベクトル形式に変換する。また音源定位部６０８では、音源到来方向をθ、音源位置での振幅レベルを１と仮定したときのマイクロホン素子ｉへの入力信号を、Ａθ＿ｉ（ｆ）と表記する。

音源とマイクロホン素子ｉまでの距離は無限遠と仮定できる程度に、十分遠いと仮定する。そして、上記ベクトル化した周波数領域信号とマイクロホン素子ｉへの入力信号から、
Ａθ（ｆ）＝［Ａθ＿０（ｆ，τ），Ａθ＿１（ｆ，τ），…，Ａθ＿Ｍ−１（ｆ，τ）］
とベクトル化する。ここで、Ａθ（ｆ）の２乗ノルムを１に正規化し、かつＡθ＿０（ｆ、τ）の位相成分を０に正規化したものを同じ変数名Ａθ（ｆ）で表記する。計算機１０１の環境の室温が一定の場合、音は、物理空間を一定の音速Ｃ［ｍ／ｓ］で伝わると仮定できる。また音源から各方向に均一に音が放射されると仮定すると、エネルギー保存の法則から、音源パワーは距離の２乗に反比例して減衰する。つまり振幅は距離に比例して減衰する。このことから、マイクロホン素子ｉへの入力信号Ａθ（ｆ）はマイク配置６１５から計算することができる。もし周波数領域信号Ｅ＿ｉ（ｆ，τ）が音源方向θから到来する成分のみで構成されているとすると、
Ｅ＿ｉ（ｆ，τ）＝Ｓ（ｆ，τ）Ａθ（ｆ）
となるはずである。上記Ｓ（ｆ、τ）はスカラー量である。ここで、到来方向φ≠θとする。Ａθ（ｆ）の２乗ノルムが１で正規化されていることから、次の、数３が成立する。

したがって、

となるΘが、音源方向θと等しくなる。修正遅延和アレイ法では、このことから、周波数領域信号Ｅ（ｆ、τ）から、次の数５で求めたΘ（ｆ、τ）をフレームτ、周波数ｆの音源方向の推定値とする。

そして、この音源方向の情報から、次の、数６に示す式で音源方向θ毎のヒストグラムＰ（θ）を生成する。

図９において、ステアリングベクトル計算部１７０４では、マイクロホン素子ｉへの入力信号Ａθ（ｆ）を計算する。ベクトル内積計算部１７０３では、マイクロホン素子ｉへの入力信号Ａθ（ｆ）と周波数領域信号（エコー抑圧信号）Ｅ＿ｉ（ｆ、τ）との音源方向毎に内積を計算する。内積最大値計算部１７０５では、ベクトル内積計算部１７０３の結果から上記式より到来方向推定値Θをフレームτ、周波数ｆごとに求める。ヒストグラム計算部１７０６では、上記数６から音源方向θ毎のヒストグラムＰ（θ）を計算する。音源定位部１７０６はＰ（θ）及びフレームτ、周波数ｆ毎の到来方向推定値Θを出力する。音声区間検出部１７０７は、入力信号の音量から次のように音声区間を検出する。図１０、図１１に音声区間検出及び感度変更の処理フローを示す。

図１０は、計算機１０１の音声区間検出部６０７で行われる処理の一例を示し、ユーザーが設定した感度情報を自動的に検出した音声区間検出結果に応じて行なう際の処理フローである。

まず、音声区間検出部６０７では、入力音声レベルから背景雑音レベルを推定する（Ｓ１９０１）。背景雑音レベルの推定はminimum statistics（例えば、非特許文献１参照）などを用いて推定する。背景雑音レベルから音声区間検出の閾値を設定する（Ｓ１９０２）。この音声区間検出の閾値は、例えば、推定した背景雑音レベルの定数倍などに設定する。設定した閾値と入力音声レベルとを比較して（Ｓ１９０３）、音声レベルが閾値を越えている場合は、変数Ｆｒａｍｅに１を足す。また変数Ｐａｕｓｅを０にする。そして、音源方向ヒストグラムＰ（θ）をＳｕｍＰ（θ）に加算する（Ｓ１９０４）。音声レベルが閾値を越えない場合は、変数Ｐａｕｓｅに１を足す（Ｓ１９０５）。その後、Ｐａｕｓｅが予め定める閾値ＴｈＰａｕｓｅを超えているかどうか判定し（Ｓ１９０６）、超えている場合は、変数Ｐａｕｓｅと、Ｆｒａｍｅに０を代入し、ヒストグラムをクリアし、音声区間未検出で終了する（Ｓ１９０７）。

一方、変数Ｐａｕｓｅが予め定める閾値ＴｈＰａｕｓｅを超えていない場合は、次に変数Ｆｒａｍｅが予め定める閾値ＴｈＦｒａｍｅを超えているかどうか判定し（Ｓ１９０８）、超えている場合は、到来方向推定値Θ＝ｍａｘ（ＳｕｍＰ（θ））として、ヒストグラムのピークＰ（θ）を算出し、そのピークを音源方向として出力する（Ｓ１９０９）。

次に、到来方向推定値Θ方向の感度を話者感度情報６１４に格納された感度値によって変更する。そして、Ｆｒａｍｅ、Ｐａｕｓｅ、ＳｕｍＰ（θ）といった変数は０にクリアする（Ｓ１９１０）。その後終了する。

ここで、Ｓ１９１０における話者感度情報６１４の感度設定値６１４３の更新は、話者感度情報６１４の話者感度調整データを検索し、到来方向推定値Θに相当する方位角を有する範囲６１４２の感度設定値６１４３を読み込んで感度調整を実行する。

次に、図１１は、上記図１０のＳ１９１０で感度情報を調整する際に、ユーザーに調整する音源方向を提示し、確認を得た後、変更する音声区間検出及び感度変更の処理フローである。

まず、音声区間検出部６０７では、入力音声レベルから背景雑音レベルを推定する（Ｓ２００１）。背景雑音レベルの推定はminimum statistics（例えば、非特許文献１参照）などを用いて推定する。次に、背景雑音レベルから音声区間検出の閾値を設定する（Ｓ２００２）。この音声区間検出の閾値は、例えば、推定した背景雑音レベルの定数倍などに設定する。設定した閾値と入力音声レベルとを比較して（Ｓ２００３）、音声レベルが閾値を越えている場合は、変数Ｆｒａｍｅに１を足す。また変数Ｐａｕｓｅを０にする。そして、音源方向ヒストグラムＰ（θ）をＳｕｍＰ（θ）に加算する（Ｓ２００４）。音声レベルが閾値を越えない場合は、変数Ｐａｕｓｅに１を足す（Ｓ２００５）。その後、変数Ｐａｕｓｅが予め定める閾値ＴｈＰａｕｓｅを超えているかどうか判定し（Ｓ２００６）、超えている場合は、変数Ｐａｕｓｅ、Ｆｒａｍｅに０を代入し、ヒストグラムをクリアし（Ｓ２００７）、音声区間未検出で終了する。

一方、変数Ｐａｕｓｅが予め定める閾値ＴｈＰａｕｓｅを超えていない場合は、次に変数Ｆｒａｍｅが予め定める閾値ＴｈＦｒａｍｅを超えているかどうかを判定し（Ｓ２００８）、超えている場合は、到来方向推定値Θ＝ｍａｘ（ＳｕｍＰ（θ））として、ヒストグラムのピークＰ（θ）を算出し、そのピークを音源方向として出力する（Ｓ２００９）。そして、その音源方向を音量変更方向としてユーザーに感度変更していいかどうかを確認するポップアップ画面もしくは音声ガイダンスを画像表示装置１０４へ出力する（Ｓ２０１０）。ポップアップ画面の「ＯＫ」ボタンを押すなどして、音量変更にユーザーが同意した場合、到来方向推定値Θ方向の感度を話者感度情報６１４に格納された感度値によって変更する。そして、Ｆｒａｍｅ、Ｐａｕｓｅ、ＳｕｍＰ（θ）といった変数は０にクリアする（Ｓ２０１０）。その後終了する。ユーザーが音量変更に同意しない場合は、終了する。

ここで、Ｓ２０１０における感度の設定（変更）は、話者感度情報６１４の話者感度調整データを検索し、到来方向推定値Θに相当する方位角を有する範囲６１４２の感度設定値６１４３を読み込んで感度調整を実行する。

図１２は、音源方向の情報を画像表示装置１０４上に表示し、ユーザーの音量操作をサポートするユーザーインターフェースの一例である。ユーザーは、この画面を見ることで、今、どの話者が喋っているかを確認することができ、より正確に、話者音量を調整することが可能となる。

以上のように本発明では、音源方向を推定する音源定位部６０８と、音声区間を音量にて推定する音声区間検出部６０７と、音声区間全体における音源方向の情報からどの話者が発話したかを特定し、その話者に対応する音量となる感度に設定する拠点毎感度調整部６１０と、ユーザーが話者音量調整リモコン１６０１にて音量操作を行なった前後に発話した話者の音量だけを変更する拠点毎感度変更部６１０とを備える。これにより、話者毎に適切な音量に設定することができ、かつ話者が交替したときに、ユーザーが該当話者に対して予め設定した音量（感度）を話者感度情報６１４から自動的に読み込んで、音量（感度）を自動調整するため、ユーザーの煩雑なボリューム操作が不要となってテレビ会議システム１００の操作性を向上させることができる。

したがって、本発明では、話者の交替時に、一時的に音量が適切なレベルから逸脱するのを防ぎ、さらにユーザーが煩雑な音量操作を行うことなく、話者毎に適切なレベルに音量を補正することが可能となるのである。

さらに、音源方向の情報から特定した話者に設定された音量（感度）となるように補正を行うため、背景雑音を発話音声と誤認して拡声することを防止することが可能となる。

＜第２の実施形態＞
図１３〜図１７は、第２の実施形態を示し、前記第１実施形態の図２に示したように拠点間にサーバ１０を備えた構成で、サーバ１０において感度（音量）調整を行うようにしたものである。

図１３は、感度調整をサーバで行なう際のクライアントサイド（拠点側）の計算機システムの構成を示すブロック図である。サーバサイドのブロック構成については、図１４に示す。

図１３において、多チャンネルＡ／Ｄ変換部６０１の処理は、図１に示すＡ／ＤＤ／Ａ変換装置１０２で行われ、多チャンネルフレーム処理６０２以降の処理が計算機１０１で実行される。また、前記第１実施形態の図６に示した処理部と同一のものには同一の符号を付して重複説明を省略する。

第２実施形態における各拠点の計算機システムでは、音量の感度調整をサーバ１０で実行するため、感度に関する処理部（拠点毎感度変更部６０９、拠点毎感度調整部６１０）をサーバ１０へ移動し、マイクロフォンアレイ１０５で検出した音声から話者の方向（音源方向）と背景雑音を除去した音声信号をサーバ１０へ送信する。

計算機１０１では、話者の位置（マイクロフォンアレイに対する角度＝音源方向で）と音声（時間領域信号）を含む情報をサーバ１０へ送信し、サーバ１０を介して他の拠点へ配信される。前記第１実施形態の図６と異なる点は、前記第１実施形態の音声送信部６１６に代わって時間領域信号と音源方向をサーバ１０を介して他の拠点へ送信する音声／音源方向送信部８１２を設けた点である。また、ユーザ操作送信部６１７では、音量操作情報をサーバ１０へ送信する点が前記第１実施形態と異なる点である。

音源方向の特定と、背景雑音の除去等については前記第１実施形態の図６と同調であるので説明を省略する。

図１４は、感度調整を行うサーバ１０の構成を示すブロック図である。

ユーザ操作受信部９０６は各拠点から送られてきたユーザの音量操作情報を受信する。受信した音量操作情報はユーザ操作歴９０５に送られて、記録される。ユーザ操作歴９０５に記録する情報は、操作元拠点、操作先拠点、及び操作内容であり、記録時刻も共に一緒に記録される。

音声／音源方向受信部９０２では、各拠点から送られてくる音声（時間領域信号）Ｏ２＿ｌｏｃ，ｉ（ｔ）と到来方向推定値Θ（音源方向）の情報を合わせて受信する。拠点毎感度変更部９０３では、音声送信元の拠点毎に送られてくる音声（時間領域信号）Ｏ２＿ｌｏｃ，ｉ（ｔ）の感度調整を到来方向推定値ΘがＮＵＬＬ以外の場合に行なう。更に感度調整は音声送信先の拠点毎に行なう。拠点毎感度変更部９０３は、ユーザ操作歴９０５に含まれる音量操作情報の中で、操作先拠点と音声送信元拠点とが一致する音量操作情報を全て抽出し、その中で、記録時刻が古いものから順番に処理を行なう。ただし、拠点毎感度変更部９０３は、記録時刻と現在の時刻との時刻差が予め定義する最大時刻差を下回っている場合のみ、処理を行なう。記録時刻と現在の時刻との時刻差が予め定義する最大時刻差を上回っている場合は、処理を行なわない。

拠点毎感度変更部９０３では、音声送信元の到来方向推定値Θ、操作先拠点の情報と操作元拠点の情報とを検索キーとして、話者感度情報９０４から過去の該当話者感度を検索する。そして、抽出した話者感度（感度設定値）をユーザーの音量操作情報に基づき、調整する。この調整は、増幅、減衰、消音の３つである。例えば、＋６ｄｂの増幅が操作内容の場合は、上記話者感度を＋６ｄｂしたものを話者感度情報９０４に保存する。

拠点毎感度調整部９０１は、音声／音源方向受信部９０２から送られてくる音声送信元（拠点）ごとの音声／音源方向を音声送信先毎に音量を調整する。調整に用いる感度値は、音声送信元、音声送信先、音源方向をキーとして、話者感度情報９０４より検索する。拠点毎感度調整部９０１は検索した感度設定値を音声信号に掛け合わせて音量の調整を実施する。そして、拠点毎感度調整部９０１は音声の送信先ごとに、その拠点以外のその他全ての音声送信元の感度調整信号を混合したものを出力し、音声送信部９０７では混合信号を各拠点に送信する。

図１５は、本発明を適用してサーバ１０で感度調整を行なう（図２（Ａ）または図２（Ｂ））のテレビ会議システム１００の起動から終了までの処理フローを示したフローチャートである。

図１に示した計算機１０１やマイクロホンアレイ１０５など各拠点のシステムの構成要素を起動し、また、サーバ１０を起動してテレビ会議システム１００を起動する。テレビ会議システム１００の起動後、各拠点の計算機１０１はテレビ会議システムが起動した後、まず、音響エコーキャンセラ適応処理Ｓ１２０１を行なう。

音響エコーキャンセラ適応処理では、計算機１０１がスピーカ１０６より白色信号、時間方向に周波数が変化するタイプの全帯域信号ＮＬＭＳ法などを再生させ、音響エコーキャンセラのフィルタを初期化する。

その後、テレビ会議システム１００の計算機１０１は、サーバ１０からの接続要求を受信するか、または、自拠点からサーバ１０に対して接続要求を送信するまで待機する（Ｓ１２０２、Ｓ１２０３）。Ｓ１２０２では、サーバ１０から接続されたかどうかをチェックし、もし接続されていれば、サーバ１０との接続処理を行い（Ｓ１２０４）、そうでなければ、自拠点の接続要求が出たか否かを判定し（Ｓ１２０３）、自拠点から接続要求が出れば、サーバ１０との接続処理を行い（Ｓ１２０４）、接続要求が出ていなければ、再びＳ１２０２へ戻って待機する。

サーバ１０と接続した後は、まずサーバ１０にて、各拠点毎に感度調整後の音声生成を行なう。各拠点のユーザー操作歴９０５があるか否かのチェックを行い（Ｓ１２０５）、操作歴がある場合、サーバ１０にて感度変更処理を行い（Ｓ１２０６）、音声送信元拠点から送られてきた音声の感度設定値を音声送信元の音源方向に基づき、話者感度情報９０４の感度設定値を変更する。そして、ユーザ操作履歴９０５がない場合もしくは、感度変更処理が終わった後は、送信元各拠点から送られてきた音声の感度設定値と送信元各拠点から送られてきた音源方向に基づき音量を変更する。音量の変更後、音声を送信元拠点以外の全ての拠点について、混合して、混合音声を各拠点に送信する（Ｓ１２０７）。

その後、各拠点毎に音響エコーキャンセラ、音源定位、音声区間検出を行い（Ｓ１２０８）、各拠点はこれらの各処理後の音声と音源方向の情報をサーバ１０に送信する（Ｓ１２０９）。

Ｓ１２１０では、計算機１０１がサーバ１０との接続が切断されたか否かの判定を行い（Ｓ１２１０）、もし接続が切れていれば、サーバ１０との接続を切断する処理を行って終了する（Ｓ１２１２）。

サーバ１０との接続が切断されていなければ、計算機１０１は自拠点からの切断要求があるか否かのチェックを行い（Ｓ１２１１）、切断要求があれば、サーバ１０から接続を切断して、処理を終了する（Ｓ１２１２）。一方、切断要求がなければ、Ｓ１２０５の処理に戻って、以降の処理を繰り返して実行する。

図１６は、サーバ１０にて感度調整を行なう場合の、話者感度調整データのデータ構造を示す。話者感度調整データは、図１４に示した話者感度情報９０４に格納され、送信先の拠点の情報６１４４と、送信元の拠点の情報６１４５と、感度調整の調整範囲の情報６１４２と、感度設定値６１４３の合計４つの情報を持っている。例えば、図１６の第一行目は、拠点Ａから受信した音声の音源範囲が、方位角０°、仰角０°、距離１．０ｍの範囲にあるとき、１０ｄｂ増幅してから拠点Ｃに送信するということを意味する。

図１７は、上記図１５のＳ１２０７で実行される感度調整の処理フローを示している。

まず、サーバ１０は、感度情報として図１６に示した話者感度情報９０４から送信元の拠点情報６１４４と、受信先の拠点情報６１４５と、調整範囲６１４２の方位（音源方位）をキーにして話者感度調整データを検索し、感度設定値を抽出する（Ｓ１８０１）。

次に、送信元の拠点から受信した音声（時間領域信号）に、感度設定値を乗じて音量を調整する（Ｓ１８０２）。

以上の処理により、受信する拠点毎に、話者に応じて予め設定された音量へ自動的に補正することができる。

以上のように第２実施形態も前記第１実施形態と同様に。音源方向を推定する音源定位部６０８と、音声区間を音量にて推定する音声区間検出部６０７と、音声区間全体における音源方向の情報からどの話者が発話したかを特定し、その話者に対応する音量となる感度に設定する拠点毎感度調整部９０１と、ユーザーが話者音量調整リモコン１６０１にて音量操作を行なった前後に発話した話者の音量だけを変更する拠点毎感度変更部９０３とを備える。これにより、サーバ１０では話者毎に適切な音量に設定することができ、かつ話者が交替したときに、ユーザーが該当話者に対して予め設定した音量（感度）を話者感度情報９０４から自動的に読み込んで、音量（感度）を自動調整するため、ユーザーの煩雑なボリューム操作が不要となってテレビ会議システム１００の操作性を向上させることができる。

したがって、本発明では、話者の交替時に、一時的に音量が適切なレベルから逸脱するのを防ぎ、さらにユーザーが煩雑な音量操作を行うことなく、話者毎に適切なレベルに音量を補正することが可能となるのである。

さらに、音源方向の情報から特定した話者に設定された音量（感度）となるように補正を行うため、背景雑音を発話音声と誤認して拡声することを防止することが可能となる。

＜第３の実施形態＞
図１８〜図２０は、第３の実施形態を示し、前記第１実施形態の図３に示したように拠点間で直接通信を行い、受信側の拠点において感度（音量）調整を行うようにしたものである。

図１８は、前記第１実施形態とは逆に、感度調整を受信側の拠点で行う場合の拠点の計算機システムの構成を示すブロック図である。

図１８において、多チャンネルＡ／Ｄ変換部６０１の処理は、図１に示すＡ／ＤＤ／Ａ変換装置１０２で行われ、多チャンネルフレーム処理６０２以降の処理が計算機１０１で実行される。また、前記第１実施形態の図６に示した処理部と同一のものには同一の符号を付して重複説明を省略する。

第３実施形態における各拠点の計算機システムでは、音量の感度調整を受信側で実行するため、感度に関する処理部では、前記第１実施形態では自拠点の音声に対して処理を行ったのに対し、他の拠点からの音声に対して処理を行う点が相違するが、処理の内容自体は前記第１実施形態と同様である。

計算機１０１は、マイクロフォンアレイ１０５で検出した音声から話者の方向（音源方向）と背景雑音を除去した音声信号を他の拠点へ送信する。

ユーザー操作部７１２では、自拠点のユーザーが話者音量調整リモコン１６０１によって指示した増幅、減衰、消音の操作を受けつける。受け付けた音量操作情報は、ユーザー操作歴７１３に送られて、記録される。ユーザー操作歴７１３には、音量操作情報が記憶された時刻情報も共に記憶される。音声／音源方向受信部７０５は、各拠点の音声（時間領域信号）Ｏ２＿ｌｏｃ，ｉ（ｔ）とともにその音声の到来方向推定値Θ（音源方向）とを受信する。受信した各拠点の音声とその音源方向とは、拠点毎感度調整部６１０に送られる。

拠点毎感度調整部６１０では話者感度情報に保持された拠点毎、音源方向毎の感度設定値Ｖｌｏｃ（φ）を読み出し、感度調整を上記数２を用いて行なう。音源方向がＮＵＬＬ値の場合は、感度設定値Ｖｌｏｃ（φ）＝１とする。感度調整後の信号を加算し、Ｘ（ｔ）として、拠点毎感度調整部６１０はＸ（ｔ）を出力する。拠点毎感度変更部６０９では、音源方向にＮＵＬＬ値が代入されている場合は以下の処理を行なわない。ユーザー操作歴７１３にユーザーの音量操作情報が記録されている場合、過去の音量操作情報から順番に感度変更処理を行なう。ただし、音量操作情報の記録時刻と現在の時刻が予め設定する最大時刻差を上回っている場合、感度変更処理は行なわない。過去の音量操作情報には、どの拠点のどの範囲の方向をどの程度増幅もしくは減衰もしくは消音するかについての情報が記憶されているものとする。つまりユーザー操作部７１２はそのような情報をユーザーが入力するインタフェースを備えている。この情報に従い、拠点毎感度変更部６０９では、話者感度情報６１４を更新する。拠点毎時間信号生成部６１１では音響エコーキャンセラ後の信号に逆ＦＦＴを施すとともに、フレーム周期毎にオーバーラップし、加算され、かつ窓関数の逆数を施された時間領域信号に変換され音声／音源方向送信部７１６に送られる。音声／音源方向送信部７１６は、音声区間検出部が検出する音源方向情報と拠点毎時間信号生成部６１１が出力する時間領域信号とをともに他の拠点へ送信する。音声区間検出部６０７が音源方向を検出できなかった場合は、音源方向として、ＮＵＬＬ値を代入して送信する。

図１９は、本発明を適用して音声受信元で感度調整を行なうタイプのテレビ会議システム１００の起動から終了までの処理フローを示したフローチャートである。

図１に示した計算機１０１やマイクロホンアレイ１０５など各拠点のシステムの構成要素を起動してテレビ会議システム１００を起動する。テレビ会議システム１００の起動後、計算機１０１は、音響エコーキャンセラ適応処理を行なう（Ｓ１１０１）。

音響エコーキャンセラ適応処理では、計算機１０１がスピーカ１０６より白色信号、時間方向に周波数が変化するタイプの全帯域信号ＮＬＭＳ法などを再生させ、音響エコーキャンセラのフィルタを初期化する。

その後、テレビ会議システム１００の計算機１０１は、他拠点からの接続要求を受信するか、または、自拠点から他拠点に対して接続要求を送信するまで待機する（Ｓ１１０２、Ｓ１１０３）。Ｓ１１０２では、他拠点から接続されたかどうかをチェックし、もし接続されていれば、他拠点の接続処理（Ｓ１１０４）を行い、そうでなければ、自拠点から接続要求が出たか否かを判定し（Ｓ１１０３）、自拠点から接続要求が出れば、他拠点との接続処理を行う（Ｓ１１０４）。自拠点から接続要求が出ていなければＳ１００２へ戻って、他拠点からの接続要求または自拠点から接続要求が出るまで待機する。

接続後には自拠点のユーザーの感度操作歴７１３があるか否かのチェックを行い（Ｓ１１０５）、感度操作歴があれば、Ｓ１１０６に進んで感度変更処理を行なう。そして、Ｓ１１０７では、他拠点から送られてきた音声の感度設定値を他拠点から送られてきた音源方向に基づき、音量を変更する。そして、感度操作歴７１３がない場合もしくは、感度変更処理が終わった後は、他拠点から送られてきた音声を感度設定値と他拠点から送られてきた音源方向に基づき他の拠点からの音声の音量を変更し、変更後音声を自拠点以外の全ての拠点について、混合して、混合音をスピーカ１０６から再生する。

その後、音響エコーキャンセラ、音源定位、音声区間検出を行い（Ｓ１１０８）、これらの処理後の音声と音源方向の情報を他の拠点毎に送信する（Ｓ１１０９）。

他の拠点との接続が切れたか否かの判定を行い（Ｓ１１１０）、もし接続が切れていれば、他拠点との接続を終了する（Ｓ１１１２）。もし接続が切れていなければ、自拠点からの切断要求があるか否かのチェックを行い（Ｓ１１１１）、切断要求があれば、他拠点から自拠点を切断して終了する（Ｓ１１１２）。切断要求がなければ、Ｓ１１０５の処理へ戻って上記処理を繰り返す。

図２０は、音声受信側で感度調整を行なうときの、話者感度調整データのデータ構造である。話者感度調整データは、図１８に示した話者感度情報６１４に格納され、送信元の拠点の情報６１４４と感度調整の調整範囲の情報６１４２と、感度設定値６１４３の合計３つの情報を持っている。例えば、図２０の第一行目は、拠点Ａから受信した音声の音源範囲が、方位角０°、仰角０°、距離１．０ｍの範囲にあるとき、１０ｄｂ増幅してから自拠点で再生するということを意味する。

以上のように第３実施形態も前記第１実施形態と同様に。音源方向を推定する音源定位部６０８と、音声区間を音量にて推定する音声区間検出部６０７と、音声区間全体における音源方向の情報からどの話者が発話したかを特定し、その話者に対応する音量となる感度に設定する拠点毎感度調整部６１０と、ユーザーが話者音量調整リモコン１６０１にて音量操作を行なった前後に発話した話者の音量だけを変更する拠点毎感度変更部６０９とを備える。これにより、受信側の拠点の計算機１０１では話者毎に適切な音量に設定することができ、かつ話者が交替したときに、ユーザーが該当話者に対して予め設定した音量（感度）を話者感度情報６１４から自動的に読み込んで、音量（感度）を自動調整するため、ユーザーの煩雑なボリューム操作が不要となってテレビ会議システム１００の操作性を向上させることができる。

したがって、本発明では、話者の交替時に、一時的に音量が適切なレベルから逸脱するのを防ぎ、さらにユーザーが煩雑な音量操作を行うことなく、話者毎に適切なレベルに音量を補正することが可能となるのである。

さらに、音源方向の情報から特定した話者に設定された音量（感度）となるように補正を行うため、背景雑音を発話音声と誤認して拡声することを防止することが可能となる。

また、上記各実施形態では、テレビ会議システム１００が話者の音量を変更する例を示したが、音量に変わって、話速や、声の高さに相当するピッチを変更するようにしても良い。例え声了解度が向上する。また声の高さが低く、こもり気味の人のピッチを高くすることで、同様に音声了解度が向上する。これらの、音量、話速、ピッチの設定値は、音声を再生する際の再生情報として、図８、図１６、図２０に示した話者感度情報の感度設定値へ格納しておき、拠点毎感度変更部は話者感度情報の感度設定値に基づいて再生する音声の音量や話速またはピッチを変更することができる。

また、上記各実施形態では、音源方向と音声の２つの情報をやり取りするが、この２つの情報を記憶装置に格納しておき、音声検索エンジンにかけることで、所望の話者が所望のキーワードを発した時間帯を特定可能となる。
本発明の構成は、テレビ会議システムに限らず、携帯電話のテレビ電話やカーナビゲーション装置のハンズフリー通話装置に、適用可能である。

また、上記各実施形態では、図８、図１６、図２０で示したように、話者感度調整データの範囲６１４２には話者毎の方位角を設定するが、計算機１０１で算出した到来方向推定値Θと比較する際には、方位角に所定の範囲（例えば、＋３°〜−３°）を加味した値と到来方向推定値Θとの比較を行うようにすることで、既存の話者が新たな話者として誤認されるのを防ぐことができる。

＜補足＞
１２．ネットワークで接続された第１の拠点と第２の拠点とを含む複数の拠点間で音声通信を行う音声通信方法であって、
前記第２の拠点が、前記第１の拠点から音声を受信するステップと、
前記第２の拠点が、前記受信した音声を再生するステップと、
前記第２の拠点が、前記再生中の音声に対する再生情報を設定するステップと、
前記第２の拠点が、前記再生情報を前記第１の拠点へ送信するステップと、
前記第１の拠点が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定するステップと、
前記第１の拠点が、前記第２の拠点から再生情報を受信するステップと、
前記第１の拠点が、前記第２の拠点へ送信中の音源の方位と前記受信した再生情報を対応付けて話者感度情報格納部へ格納するステップと、
前記第１の拠点が、前記音源の方位に対応する再生情報を前記話者感度情報格納部から取得して、前記収集した音声を前記取得した再生情報に基づいて変更するステップと、
前記第１の拠点が、前記変更された音声を前記第２の拠点へ送信するステップと、
を含むことを特徴とする音声通信方法。

１３．ネットワークで接続された第１の拠点と第２の拠点とを含む複数の拠点間で音声通信を行う音声通信方法であって、
前記第１の拠点が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定するステップと、
前記第１の拠点が、前記収集した音声と前記特定した音源の方位を第２の拠点へ送信するステップと、
前記第２の拠点が、前記第１の拠点から音声と音源の方位を受信するステップと、
前記第２の拠点が、前記受信した音声を再生するステップと、
前記第２の拠点が、前記再生中の音声に対する再生情報を設定するステップと、
前記第２の拠点が、前記設定された再生情報と受信した音源の方位とを対応付けて話者感度情報格納部へ格納するステップと、
前記第２の拠点が、前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更するステップと、
を含むことを特徴とする音声通信方法。

１４．ネットワークで接続された第１の拠点と第２の拠点及びサーバとを含む複数の拠点間で音声通信を行う音声通信方法であって、
前記第１の拠点が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定するステップと、
前記第１の拠点が、前記収集した音声と前記特定した音源の方位を前記サーバへ送信するステップと、を有し、
前記第２の拠点が、前記サーバから音声を受信するステップと、
前記第２の拠点が、前記受信した音声を再生するステップと、
前記第２の拠点が、前記再生中の音声に対する再生情報を設定するステップと、
前記第２の拠点が、前記再生情報を前記サーバへ送信するステップと、
前記サーバが、前記第１の拠点から音声と音源の方位を受信するステップと、
前記サーバが、前記第２の拠点から再生情報を受信するステップと、
前記サーバが、前記第１の拠点から受信した音源の方位と前記第２の拠点から受信した再生情報を対応付けて話者感度情報格納部へ格納するステップと、
前記サーバが、前記音源の方位に対応する再生情報を前記話者感度情報格納部から取得して、前記受信した音声を前記取得した再生情報に基づいて変更するステップと、
前記サーバが、前記音声変更部で変更された音声を前記第２の拠点へ送信するステップと、を含むことを特徴とする音声通信方法。


１５．ネットワークで接続された第１の拠点の計算機と第２の拠点の計算機とを含む複数の拠点間で音声通信を行う音声通信方法であって、
前記第２の拠点の計算機が、前記第１の拠点から音声を受信する処理と、
前記第２の拠点の計算機が、前記受信した音声を再生する処理と、
前記第２の拠点の計算機が、前記再生中の音声に対する再生情報を設定する処理と、
前記第２の拠点の計算機が、前記再生情報を前記第１の拠点へ送信する処理と、
前記第１の拠点の計算機が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定する処理と、
前記第１の拠点の計算機が、前記第２の拠点から再生情報を受信する処理と、
前記第１の拠点の計算機が、前記第２の拠点へ送信中の音源の方位と前記受信した再生情報を対応付けて話者感度情報格納部へ格納する処理と、
前記第１の拠点の計算機が、前記音源の方位に対応する再生情報を前記話者感度情報格納部から取得して、前記収集した音声を前記取得した再生情報に基づいて変更する処理と、
前記第１の拠点の計算機が、前記変更された音声を前記第２の拠点へ送信する処理と、
を前記計算機に機能させることを特徴とするプログラム。

１６．ネットワークで接続された第１の拠点の計算機と第２の拠点の計算機とを含む複数の拠点間で音声通信を行う音声通信方法であって、
前記第１の拠点の計算機が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定する処理と、
前記第１の拠点の計算機が、前記収集した音声と前記特定した音源の方位を第２の拠点へ送信する処理と、
前記第２の拠点の計算機が、前記第１の拠点から音声と音源の方位を受信する処理と、
前記第２の拠点の計算機が、前記受信した音声を再生する処理と、
前記第２の拠点の計算機が、前記再生中の音声に対する再生情報を設定する処理と、
前記第２の拠点の計算機が、前記設定された再生情報と受信した音源の方位とを対応付けて話者感度情報格納部へ格納する処理と、
前記第２の拠点の計算機が、前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する処理と、
を含むことを特徴とする音声通信方法。

１７．ネットワークで接続された第１の拠点と第２の拠点及びサーバとを含む複数の拠点間で音声通信を行うプログラムであって、
前記第１の拠点の計算機が、マイクロホンアレイの複数の集音素子で収集した音声から第１の拠点における音源の方位を特定する処理と、
前記第１の拠点の計算機が、前記収集した音声と前記特定した音源の方位を前記サーバへ送信する処理と、を有し、
前記第２の拠点の計算機が、前記サーバから音声を受信する処理と、
前記第２の拠点の計算機が、前記受信した音声を再生する処理と、
前記第２の拠点の計算機が、前記再生中の音声に対する再生情報を設定する処理と、
前記第２の拠点の計算機が、前記再生情報を前記サーバへ送信する処理と、
前記サーバが、前記第１の拠点から音声と音源の方位を受信する処理と、
前記サーバが、前記第２の拠点から再生情報を受信する処理と、
前記サーバが、前記第１の拠点から受信した音源の方位と前記第２の拠点から受信した再生情報を対応付けて話者感度情報格納部へ格納する処理と、
前記サーバが、前記音源の方位に対応する再生情報を前記話者感度情報格納部から取得して、前記受信した音声を前記取得した再生情報に基づいて変更する処理と、
前記サーバが、前記音声変更部で変更された音声を前記第２の拠点へ送信する処理と、を前記計算機及びサーバに機能させることを特徴とするプログラム。

以上のように、本発明は複数の地点間で音声通信を行い、各地点で複数の話者が切り替わる通信装置に適用することができ、例えば、テレビ会議システムやテレビ電話あるいは車両用のハンズフリー装置に適用することができる。

本発明の第１の実施形態を示し、テレビ会議システムの１拠点におけるシステム構成を示すブロック図。 テレビ会議システムの接続形態を示すブロック図で、（Ａ）は２拠点間にサーバを備えた例を示し、（Ｂ）は３拠点間にサーバを備えた例を示す。 テレビ会議システムの接続形態を示すブロック図で、（Ａ）は２拠点間を直接接続する例を示し、（Ｂ）は３拠点を相互に接続する例を示す。 話者音量調整リモコンの使用状況を示す説明図である。 ３拠点でテレビ会議システムを利用した場合の音声発話及び再生のタイムチャートである。 テレビ会議システムの機能ブロック図。 音声送信元で感度調整を行なうテレビ会議システムの起動から終了までの処理の一例を示すフローチャート。 音声送信元で感度調整を行なう時の、話者感度調整データの一例を示す説明図。 修正遅延和アレイ法を用いて音源定位、音声区間検出を行なう際の機能要素の一例を示すブロック図。 感度調整の処理の一例を示すフローチャート。 ユーザーが設定した感度情報を自動的に検出した音声区間検出結果に応じて行なう際の処理の一例を示すフローチャート。 音源方向に関する情報を画像表示装置上に表示し、ユーザーの音量操作をサポートするユーザーインターフェースの画面イメージ。 第２の実施形態を示し、テレビ会議システムの拠点側の機能ブロック図。 第２の実施形態を示し、テレビ会議システムのサーバ側の機能ブロック図。 第２の実施形態を示し、音声送信元で感度調整を行なうテレビ会議システムの起動から終了までの処理の一例を示すフローチャート。 第２の実施形態を示し、音声送信元で感度調整を行なう時の、話者感度調整データの一例を示す説明図。 第２の実施形態を示し、図１５のＳ１２０７で実行される感度調整の処理の一例を示すフローチャート。 第３の実施形態を示し、テレビ会議システムの拠点側の機能ブロック図。 第３の実施形態を示し、音声受信元で感度調整を行なうテレビ会議システムの起動から終了までの処理の一例を示すフローチャート。 第３の実施形態を示し、音声送信元で感度調整を行なう時の、話者感度調整データの一例を示す説明図。

符号の説明

１００ テレビ会議システム
１０１ 計算機
１０２ Ａ／ＤＤ／Ａ変換装置
１０４ 画像表示装置
１０５ マイクロホンアレイ
１０６ スピーカ
６０１ 多ｃｈＡ／Ｄ変換部
６０２ 多ｃｈフレーム処理部
６０３ 多ｃｈ短時間周波数分析部
６０４ 多ｃｈ音響エコーキャンセラ部
６０５ 音声受信部
６０６ 音声再生部
６０７ 音声区間検出部
６０８ 音源定位部
６０９ 拠点毎感度変更部
６１０ 拠点毎感度調整部
６１１ 拠点毎時間信号生成部
６１２ 遠端ユーザー操作受信部
６１３ 遠端ユーザー操作歴
６１４ 話者感度情報
６１５ マイク配置
６１６ 音声送信部

Claims (11)

1. 複数の拠点間で音声通信を行う音声通信装置であって、
   音声を収集する集音素子を複数備えたマイクロホンアレイと、
   前記複数の集音素子が収集した音声から音源の方位を特定する音源方位特定部と、
   前記収集した音声を他の拠点へ送信する音声送信部と、
   他の拠点からの音声を受信する音声受信部と、
   前記受信した音声を再生する再生部と、
   前記再生中の音声に対する再生情報を設定する再生情報設定部と、
   前記再生情報を設定した音源の方位を前記音源方位特定部から取得して、当該音源の方位と再生情報を対応付けて格納する話者感度情報格納部と、
   前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する音声変更部と、を備え、
   前記音声変更部は、
   前記音源の方位が変化したときには、前記話者感度情報格納部から新たな音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更し、
   前記複数の拠点は、ネットワークで接続された第１の拠点と第２の拠点とを含み、
   前記第１の拠点は、
   前記マイクロホンアレイの前記複数の集音素子が収集した音声から第１の拠点における音源の方位を特定する前記音源方位特定部と、
   前記収集した音声と前記特定した音源の方位を第２の拠点へ送信する送信部と、を有し、
   前記第２の拠点は、
   前記第１の拠点から音声と音源の方位を受信する受信部と、
   前記受信した音声を再生する前記再生部と、
   前記再生中の音声に対する再生情報を設定する前記再生情報設定部と、
   前記設定された再生情報と受信した音源の方位とを対応付けて格納する前記話者感度情報格納部と、
   前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する前記音声変更部と、
   を有することを特徴とする音声通信装置。
2. 複数の拠点間で音声通信を行う音声通信装置であって、
   音声を収集する集音素子を複数備えたマイクロホンアレイと、
   前記複数の集音素子が収集した音声から音源の方位を特定する音源方位特定部と、
   前記収集した音声を他の拠点へ送信する音声送信部と、
   他の拠点からの音声を受信する音声受信部と、
   前記受信した音声を再生する再生部と、
   前記再生中の音声に対する再生情報を設定する再生情報設定部と、
   前記再生情報を設定した音源の方位を前記音源方位特定部から取得して、当該音源の方位と再生情報を対応付けて格納する話者感度情報格納部と、
   前記話者感度情報格納部から再生中の音声の音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更する音声変更部と、を備え、
   前記音声変更部は、
   前記音源の方位が変化したときには、前記話者感度情報格納部から新たな音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更し、
   前記複数の拠点は、ネットワークで接続された第１の拠点と第２の拠点及びサーバを含み、
   前記第１の拠点は、
   前記マイクロホンアレイの前記複数の集音素子が収集した音声から第１の拠点における音源の方位を特定する前記音源方位特定部と、
   前記収集した音声と前記特定した音源の方位を前記サーバへ送信する送信部と、を有し、
   前記第２の拠点は、
   前記サーバから音声を受信する前記音声受信部と、
   前記受信した音声を再生する前記再生部と、
   前記再生中の音声に対する再生情報を設定する前記再生情報設定部と、
   前記再生情報を前記サーバへ送信する再生情報送信部と、を有し、
   前記サーバは、
   前記第１の拠点から音声と音源の方位を受信する受信部と、
   前記第２の拠点から再生情報を受信する再生情報受信部と、
   前記第１の拠点から受信した音源の方位と前記第２の拠点から受信した再生情報を対応付けて格納する前記話者感度情報格納部と、
   前記音源の方位に対応する再生情報を前記話者感度情報格納部から取得して、前記受信した音声を前記取得した再生情報に基づいて変更する前記音声変更部と、
   前記音声変更部で変更された音声を前記第２の拠点へ送信する前記音声送信部と、を有することを特徴とする音声通信装置。
3. 前記音源方位特定部は、
   発話中の話者の方位を特定することを特徴とする請求項１または請求項２に記載の音声通信装置。
4. 前記再生情報は、
   再生する音声の音量、話速またはピッチの少なくともひとつを含むことを特徴とする請求項１または請求項２に記載の音声通信装置。
5. 前記再生情報は、
   再生する音声の音量を含み、
   前記再生情報設定部は、
   消音を含めて音量を変更し、
   前記音声変更部は、
   前記再生情報が消音の場合には、当該再生情報に対応する音源の方位で発話する話者の音声の再生を中止することを特徴とする請求項１または請求項２に記載の音声通信装置。
6. 前記話者感度情報格納部は、
   前記音源の方位を話者の方位とし、当該話者毎に再生情報を対応付けて格納することを特徴とする請求項１または請求項２に記載の音声通信装置。
7. 前記再生情報設定部は、
   前記再生情報の設定があったときに、再生中の音源の方位を話者の方位として表示装置に表示するユーザインターフェースを有することを特徴とする請求項１または請求項２に記載の音声通信装置。
8. 複数の拠点間で音声通信を行う音声通信方法であって、
   前記複数の拠点は、ネットワークで接続された第１の拠点の音声通信装置と、第２の拠点の音声通信装置とを含み、
   前記第１の拠点の音声通信装置が、音声を収集する集音素子を複数備えたマイクロホンアレイで音声を収集し、前記複数の集音素子が収集した音声から音源の方位を特定する第１のステップと、
   前記第１の拠点の音声通信装置が、前記収集した音声と前記特定した音源の方位を第２の拠点へ送信する第２のステップと、
   前記第２の拠点の音声通信装置が、前記第１の拠点から音声と音源の方位を受信する第３のステップと、
   前記第２の拠点の音声通信装置が、前記受信した音声を再生し、前記再生中の音声に対する再生情報を設定して前記再生情報と受信した音源の方位とを対応付けて話者感度情報として前記音声通信装置の話者感度情報格納部に格納する第４のステップと、
   前記第２の拠点の音声通信装置が、前記話者感度情報格納部から再生中の音声の音源の方位に対応する前記再生情報を取得し、当該再生情報に基づいて音声を変更する第５のステップと、を含み、
   前記第５のステップは、
   前記音源の方位が変化したときには、前記話者感度情報格納部から新たな音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更することを特徴とする音声通信方法。
9. 複数の拠点間で音声通信を行う音声通信方法であって、
   前記複数の拠点は、ネットワークで接続された第１の拠点の音声通信装置と、第２の拠点の音声通信装置と、サーバとを含み、
   前記第１の拠点の音声通信装置が、音声を収集する集音素子を複数備えたマイクロホンアレイで音声を収集し、前記複数の集音素子が収集した音声から音源の方位を特定する第１のステップと、
   前記第１の拠点の音声通信装置が、前記収集した音声と前記特定した音源の方位を前記サーバへ送信する第２のステップと、
   前記第２の拠点の音声通信装置が、前記サーバから音声と音源の方位を受信する第３のステップと、
   前記第２の拠点の音声通信装置が、前記受信した音声を再生し、前記再生中の音声に対する再生情報を設定し、前記再生情報を前記サーバへ送信する第４のステップと、
   前記サーバが、前記第１の拠点の音声通信装置から音声と音源の方位を受信する第５のステップと、
   前記サーバが、前記第２の拠点の音声通信装置から再生情報を受信する第６のステップと、
   前記サーバが、前記第１の拠点の音声通信装置から受信した音源の方位と、前記第２の拠点の音声通信装置から受信した再生情報を対応付けた話者感度情報を格納する第７のステップと、
   前記サーバが、前記音源の方位に対応する再生情報を前記話者感度情報から取得して、前記受信した音声を前記取得した再生情報に基づいて変更し、当該変更した音声を前記第２の拠点の音声通信装置へ送信する第８のステップと、
   を含むことを特徴とする音声通信方法。
10. 計算機をそれぞれ備えた拠点間で音声通信を行うプログラムであって、
    音声と音源の方位を受信する第１の手順と、
    前記受信した音声を再生し、前記再生中の音声に対する再生情報を設定して前記再生情報と受信した音源の方位とを対応付けて話者感度情報として格納する第２の手順と、
    前記話者感度情報から再生中の音声の音源の方位に対応する前記再生情報を取得し、当該再生情報に基づいて音声を変更する第３の手順と、を前記計算機に実行させ、
    前記第３の手順は、
    前記音源の方位が変化したときには、前記話者感度情報から新たな音源の方位に対応する再生情報を取得し、当該再生情報に基づいて音声を変更することを特徴とするプログラム。
11. 計算機をそれぞれ備えた第１の拠点及び第２の拠点とサーバ間で音声通信を行うプログラムであって、
    前記第１の拠点から音声と音源の方位を受信する第１の手順と、
    前記第２の拠点から再生情報を受信する第２の手順と、
    前記第１の拠点から受信した音源の方位と、前記第２の拠点から受信した再生情報を対応付けた話者感度情報を格納する第３の手順と、
    前記音源の方位に対応する再生情報を前記話者感度情報から取得して、前記受信した音声を前記取得した再生情報に基づいて変更し、当該変更した音声を前記第２の拠点へ送信する第４の手順と、
    を前記サーバに実行させることを特徴とするプログラム。

Images