JP4586090B2 - 信号処理方法、処理装置および音声復号器 - Google Patents

Description

本発明は、信号処理の分野に関し、より詳細には、信号処理方法、処理装置および音声復号器に関する。

本出願は、「信号処理のための方法および装置」（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ）と題する２００７年１１月５日にＰ．Ｒ．Ｃの国家知的財産局に提出された中国特許出願第２００７１０１６９６１６．１号からの優先権を主張する。

リアルタイム音声通信システムでは、音声データはＶｏＩＰ（Voice over IP）システムのように時間内に確実に伝送されることが必要とされる。しかしながら、ネットワークシステム自身の不信頼性のために、送信側から受信側への伝送プロセス時にデータパケットが落ちたり、時間内に宛て先に到着しなかったりする可能性がある。これら２つの状況は、受信側によってネットワークパケット損失と認識される。ネットワークパケット損失は不可避であって、音声通信の質に影響を及ぼす主要な要因の１つである。したがって、リアルタイム音声通信システムでは、ネットワークパケット損失が発生する状況下で、損失データパケットを復元し、音声通信の良好な質を保つために強力なパケット損失隠蔽方法が必要とされる。

従来のリアルタイム音声通信技術では、送信側において、符号手段が広帯域音声を２つのサブバンド（sub-band）に、すなわち高帯域と低帯域とに分割し、適応差分パルス符号変調（ＡＤＰＣＭ - adaptive differential pulse code modulation）を使用してこれら２つのサブバンドをそれぞれ符号化し、これら２つの符号化されたサブバンドをネットワークを介して受信側に送る。受信側では、２つのサブバンドはそれぞれＡＤＰＣＭ復号手段によって復号され、直交ミラーフィルタ（ＱＭＦ-quadrature mirror filter）によって最終信号に合成される。

２つの異なるサブバンドに対して異なるパケット損失隠蔽（ＰＬＣ - packet loss concealment）方法が使用される。低域信号に関しては、パケット損失が起こらなかった場合には、再構成信号はクロスフェード中に変化しない。パケット損失が起こった場合には、過去信号（本出願における過去信号は損失フレームの前の音声信号を意味する）を分析するために短期予測手段と長期予測手段とが使用され、音声クラス情報が抽出される。そして、ピッチ反復に基づく線形予測符号化（ＬＰＣ - linear predictive coding）方法を取ることによって、また、これら予測手段と音声クラス情報とを使用することによって、損失フレームの信号は再構成される。ＡＤＰＣＭの状態は、良好フレームが現れるまで同期的に更新されるべきである。更に損失フレームに対応する信号だけでなく、クロスフェードのための信号も生成されるべきである。また、いったん良好フレームが受信されれば、この良好フレームと上記の信号とに対してクロスフェードが実行され得る。受信側がフレーム損失の後に良好フレームを受信した場合にだけクロスフェードが実行されることを留意されたい。

本発明を実現するプロセス中に本発明者は、従来技術には下記の問題、すなわち、損失フレームを再構成する信号は過去信号を使用して合成される、という問題があることを見出している。波形及びエネルギーは、履歴バッファ内の信号、すなわち合成信号の末尾における損失フレームの前の信号に、より類似しているが、新しく復号した信号には類似していない。これは、損失フレームと損失フレームに続く最初のフレームとの間の連結部で、合成信号の波形及びエネルギーの突然の変化が発生する原因となる可能性がある。この突然の変化は図１に示されている。図１には２本の垂直線によって分けられた信号の３個のフレームが含まれている。フレームＮは損失フレームであり、他の２つのフレームは良好フレームである。最上列の信号は元の信号に対応している。これら３つのデータフレームすべてが伝送において失われてはいない。また中央の破線は、フレームＮの前フレームＮ−１、Ｎ−２などを使用することによって合成した信号に対応している。最下列の信号は、従来技術を使用することによって合成した信号に対応している。図１から、最終出力信号フレームＮとフレームＮ＋１との遷移には、特に音声の末尾に、又、より長いフレームについて、エネルギーに突然の変化があることが見られる。よって、同ピッチ反復信号をあまりに多く繰り返すことは結果的に音楽雑音を招く可能性がある。

本発明の実施形態は、パケット損失隠蔽において、損失フレームと合成信号における最初のフレームとの間の連結部の波形が円滑に遷移するように合成信号を処理することに適応した信号処理方法を提供する。

本発明の実施形態は、パケット損失隠蔽において合成信号を処理することに適応した信号処理方法であって、

損失フレームに続く良好フレームを受信し、この良好フレームの信号のエネルギーと、この良好フレームと同じ時間の合成信号のエネルギーと、のエネルギー比を取得し、

上記エネルギー比にしたがって上記合成信号を調整することを含む信号処理方法を提供する。

本発明の実施形態はまた、パケット損失隠蔽において合成信号を処理することに適応した信号処理装置であって、

損失フレームに続く良好フレームを受信し、

この良好フレームの信号のエネルギーと、この良好フレームと同じ時間に対応する合成信号のエネルギーと、のエネルギー比を取得し、

上記エネルギー比にしたがって上記合成信号を調整するように構成された信号処理方法を提供する。

本発明の実施形態はまた、音声信号を復号することに適応した音声復号器であって、低域復号ユニットと、高域復号ユニットと、直交ミラーフィルタユニットと、を含む音声復号器を提供する。

上記低域復号ユニットは、受信した低域復号信号を復号して損失した低域信号フレームを補正するように構成される。

上記高域復号ユニットは、受信した高域復号信号を復号して損失した高域信号フレームを補正するように構成される。

上記直交ミラーフィルタユニットは、低域復号信号と高域復号信号とを合成して最終出力信号を得るように構成される。

上記低域復号ユニットは低域復号サブユニットと、ピッチ反復ベースの線形予測符号化サブユニットと、信号処理サブユニットと、クロスフェードサブユニットとを含む。

低域復号サブユニットは受信した低域コードストリーム信号を復号するように構成される。

ピッチ反復に基づく線形予測符号化サブユニットは損失フレームに対応する合成信号を生成するように構成される。

信号処理サブユニットは、損失フレームに続く良好フレームを受信し、上記良好フレームの信号のエネルギーと、上記良好フレームと同じ時間に対応する合成信号のエネルギーと、のエネルギー比を取得し、このエネルギー比にしたがって合成信号を調整するように構成される。

クロスフェードサブユニットは、低域復号サブユニットによって復号された信号と信号処理サブユニットによるエネルギー調整後の信号とをクロスフェードするように構成される。

本発明の実施形態はまた、コンピュータプログラムコードを含むコンピュータプログラムを提供する。このコンピュータプログラムコードは、プログラムコードがコンピュータによって実行されるとき、パケット損失隠蔽における上記信号処理方法の任意のステップをコンピュータに実行させることができる。

従来技術と比較して本発明の実施形態は下記の利点を有する。

損失フレームと該損失フレームに続く最初のフレームとが連結される場所で波形及びエネルギーの突然の変化がないことを保証するために、損失フレームに続く最初の良好フレームのエネルギーと、合成信号のエネルギーと、のエネルギー比にしたがって合成信号を調整し、波形の滑らかな遷移と音楽雑音の回避を実現する。

本発明の実施形態を付属図面とあわせて、より詳細に説明する。

本発明の第１の実施形態は、パケット損失隠蔽において合成信号を処理することに適応した信号処理方法を提供する。図２に示されるように、前記方法は下記のステップを備える。

ステップｓ１０１では、損失フレームに続く１つのフレームが良好フレームとして検出される。

ステップｓ１０２では、良好フレームの信号のエネルギーと、同期した合成信号のエネルギーと、のエネルギー比が取得される。

ステップｓ１０３では、合成信号がエネルギー比にしたがって調整される。

ステップｓ１０２における「同期した合成信号」は、良好フレームと同じ時間に対応する合成信号を意味する。本出願の他の部分に現れる「同期した合成信号」も同様に理解され得る。

本発明の第１の実施形態の信号処理方法を、次のように特定の適用例とあわせて説明する。

本発明の第１の実施形態は、パケット損失隠蔽において合成信号を処理することに適応した信号処理方法を提供する。この原理の概略図を図３に示す。

現在フレームが損失しなかった場合には、低域ＡＤＰＣＭ復号手段は、受信した現在フレームを復号し、信号ｘｌ（ｎ），ｎ＝０，．．．，Ｌ−１を得る。又、現在フレームに対応する出力はｚｌ（ｎ），ｎ＝０，．．．，Ｌ−１である。この条件下では、再構成した信号は、クロスフェードのときに変わらない。すなわち、ｚｌ [ｎ]＝ｘｌ [ｎ]，ｎ＝０，．．．，Ｌ−１であって、ここでＬはフレーム長である。

現在フレームが損失した場合には、ピッチ反復に基づく線形予測符号化方法を使用することによって、現在フレームに対応している合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ−１を生成する。現在フレームに続く次のフレームが失われたか否かにしたがって異なる処理が実行される。

現在フレームに続く次のフレームが損失した場合：

この条件下では、合成信号にエネルギー拡大縮小処理（energy scaling）を実行しない。第１の損失フレームｚｌ（ｎ），ｎ＝０，．．．，Ｌ−１に対応する出力信号は、合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ−１である、すなわちｚｌ [ｎ]＝ｙｌ [ｎ]＝ｙｌ’ [ｎ]，ｎ＝０，．．．，Ｌ−１である。

現在フレームに続く次のフレームが損失しなかった場合：

エネルギー拡大縮小が実行されるとき、使用されている良好フレーム（第１の損失フレームに続く次のフレームである）は、ＡＤＰＣＭ復号手段によって復号された後に取得される良好フレームｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１であると仮定する。ここでＭはエネルギーが計算されるときの信号サンプルの数である。良好フレームの信号と同じ時間に対応する使用された合成信号は、ピッチ反復に基づく線形予測符号化によって生成される信号ｙｌ’（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１である。エネルギー的にｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１と整合し得る信号ｙｌ（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１を得るために、ｙｌ’（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１はエネルギー的に拡大縮小される。ここでＮはクロスフェードのための信号長である。現在フレームに対応する出力信号ｚｌ（ｎ），ｎ＝０，．．．，Ｌ−１はｚｌ（ｎ）＝ｙｌ（ｎ），ｎ＝０，．．．，Ｌ−１である。

ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１は、ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１とｙｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１とのクロスフェードによって得られる信号ｚｌ（ｎ）として更新される。

図３に関連したピッチ反復に基づく線形予測符号化方法は図４に示されている。

損失フレームが現れる前に、受信したフレームが良好フレームであるときにはｚｌ（ｎ）は将来の使用のためにバッファに記憶される。

第１の損失フレームが現れたとき、最終信号ｙｌ’（ｎ）を合成するために２つのステップが必要とされる。最初に過去信号ｚｌ（ｎ），ｎ＝−Ｑ，．．．，−１が分析され、それから信号ｙｌ’（ｎ）が分析結果と組み合わせて合成される。ここでＱは過去信号を分析するときに必要とされる該信号の長さである。

ピッチ反復に基づく線形予測符号化モジュールは、特に下記の部分を備える：

（１）線形予測（ＬＰ）分析

短期分析フィルタＡ（ｚ）及び合成フィルタ１／Ａ（ｚ）は、次数（order）PのＬＰフィルタに基づいている。ＬＰ分析フィルタは下記のように定義される：

フィルタＡ（ｚ）のＬＰ分析の後に、過去信号ｚｌ（ｎ），ｎ＝−Ｑ，．．．，−１に対応する剰余信号ｅ（ｎ），−Ｑ，．．．，−１は下記の公式を使用して得られる：

（２）過去信号分析

損失信号を補正するためには、ピッチ反復方法を使用する。したがって、過去信号ｚｌ（ｎ），ｎ＝−Ｑ，．．．，−１に対応するピッチ周期Ｔ₀を推定する必要がある。詳細なステップは次の通りである。最初に長期予測（ＬＴＰ- long time prediction）分析には必要でない低周波部を除去するためにｚｌ（ｎ）を事前処理し、それから、ｚｌ（ｎ）のピッチ周期Ｔ₀をＬＴＰ分析によって取得する。そして、ピッチ周期Ｔ₀を取得した後に、信号クラスモジュールと組み合わせて音声クラスを取得する。

表１は音声クラスを示す：

（３）ピッチ反復

ピッチ反復モジュールは、損失フレームに対応するＬＰ剰余信号ｅ（ｎ），ｎ＝０，．．．，Ｌ−１を推定するために使用される。ピッチ反復の前、音声クラスがＶＯＩＣＥＤでない場合、各サンプルの大きさは下記の公式によって限定される：

音声クラスがＶＯＩＣＥＤである場合、損失信号に対応する剰余ｅ（ｎ），ｎ＝０，．．．，Ｌ−１は、新しく受信した良好フレームの信号における最後のピッチ周期に対応する剰余信号を繰り返すことによって得られる、すなわち、

他の音声クラスに関しては、生成データが強い周期性をもつことを避けるために（ＵＮＶＯＩＣＥＤ信号が強い周期性をもつ場合、音楽雑音または他の不快な雑音のように響くため）、損失信号に対応する剰余信号ｅ（ｎ），ｎ＝０，．．．，Ｌ−１を生成するために下記の数式を使用する：

損失フレームに対応する剰余信号を生成することに加えて、損失フレームと該損失フレームに続く最初の良好フレームとの間の連結を滑らかに保つために、更なるＮ個のサンプルの剰余信号ｅ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１が継続的に生成されてクロスフェードのための信号を成す。

（４）ＬＰ合成

損失フレームに対応する剰余信号ｅ（ｎ）とクロスフェード用信号とを生成した後、損失フレームの再構成信号は下記の式によって与えられる：

ここで、ｅ（ｎ），ｎ＝０，．．．，Ｌ−１はピッチ反復において得られた剰余信号である。更に、上記の公式を使用してｙｌ_pre（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１のＮサンプルが生成され、これらのサンプルはクロスフェードのために使用される。

（５）適応弱音化（adaptive muting）

ｙｌ_pre（ｎ）のエネルギーは表１であげた異なる音声クラスにしたがって制御される。すなわち、

ここで、ｇ_mute（ｎ）は、各サンプルに対応する弱音化係数に対応する。ｇ_mute（ｎ）の値は、異なる音声クラスとパケット損失の状況とにしたがって変化する。これに関して、次のような一例を挙げる。

大きなエネルギー変化を有する音声、例えば表１のＴＲＡＮＳＩＥＮＴクラス及びＶＵＶ ＴＲＡＮＳＩＴＩＯＮクラスの音声に対応する破裂音に関しては、フェードの速度は僅かに高くてもよい。小さなエネルギー変化を有する音声に関しては、フェードの速度は僅かに低くてもよい。説明の便宜上、１ｍｓの信号はＲ個のサンプルを含むことを仮定する。

具体的にはＴＲＡＮＳＩＥＮＴクラスの音声に関しては、ｇ_mute（−１）＝１とすると、１０ｍｓ（全部でＳ＝１０＊Ｒ個のサンプル）以内にｇ_mute（ｎ）は１から０にフェードする。１０ｍｓ後のサンプルに対応するｇ_mute（ｎ）は０である。これは下記の公式を使用して示すことができる：

ＶＵＶ ＴＲＡＮＳＩＴＩＯＮクラスの音声に関しては初期の１０ｍｓ以内のフェード速度は僅かに低く、続く１０ｍｓ以内で迅速に０にフェードする。これは下記の公式を使用して示すことができる：

他のクラスの音声に関しては、初期１０ｍｓ以内のフェード速度は僅かに低くてもよく、続く１０ｍｓ以内のフェード速度は僅かに高くてもよく、該音声は続く２０ｍｓ以内に迅速に０にフェードする。これは下記のような公式を使用して示すことができる：

図３におけるエネルギー拡大縮小とは次のことである：

ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１とｙｌ’（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１とにしたがってエネルギー拡大縮小をｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１に対して実行するための詳細な方法は、図３によれば下記のステップを含む。

ステップｓ２０１では、合成信号ｙｌ’（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１に対応するエネルギーＥ₁と信号ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１に対応するエネルギーＥ₂とがそれぞれ計算される。 具体的には

であり、ここでＭはエネルギーが計算されるときの信号サンプルの数である。Ｍの値は特定のケースにしたがって柔軟に設定され得る。例えば、フレーム長が５ｍｓより短いといったフレーム長が少し短い状況下では、Ｍ＝Ｌが推奨され、フレーム長が少し長くてピッチ周期が１フレーム長より短い状況下では、Ｍは１ピッチ周期信号の対応する長さに設定され得る。

ステップｓ２０２では、Ｅ₁対Ｅ₂のエネルギー比Ｒが計算される。具体的には

ここで関数ｓｉｇｎ（）は符号関数であり、これは次のように定義される：

ステップｓ２０３では、信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１の大きさがエネルギー比Ｒにしたがって調整される。 具体的には

ここでＮは現在フレームによってクロスフェードのために使用される長さである。Ｎの値は特定のケースにしたがって柔軟に設定され得る。フレーム長が少し短い状況下では、Ｎは１フレームの長さに、すなわちＮ＝Ｌに設定され得る。

上記の方法を使用するにあたって、Ｅ₁＜Ｅ₂の場合にエネルギーの大きさがオーバーフローする（エネルギーの大きさが、サンプルの対応する大きさの許容最大値を超える）状況を避けるために、上記の公式は、信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１をフェードするために、Ｅ₁＞Ｅ₂の場合にだけ使用される。

前フレームが損失フレームであり且つ現在フレームも損失フレームである場合、エネルギー拡大縮小は前フレームには実行されない、すなわち前フレームに対応するｙｌ（ｎ）は次の通りである： ｙｌ（ｎ）＝ｙｌ’（ｎ） ｎ＝０，．．．，Ｌ−１

図３におけるクロスフェードは具体的には以下の通りである：

滑らかなエネルギー遷移を実現するために、合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１によってエネルギー拡大縮小を実行することを通してｙｌ（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１を生成した後に、低域信号をクロスフェードによって処理する必要がある。これに関するルールを表２に示す。

表２において、ｚｌ（ｎ）は、最後に出力した現在フレームに対応する信号である。ｘｌ（ｎ）は、現在フレームに対応する良好フレームの信号である。ｙｌ（ｎ）は、現在フレームと同じ時間に対応する合成信号である。

上記のプロセスの概略図は図５に示されている。

１列目は元の信号である。２列目は破線で示された合成信号である。最下列は点線で示された出力信号であって、これはエネルギー調整後の信号である。フレームＮは損失フレームであり、フレームＮ−１とＮ＋１は両者とも良好フレームである。最初に、フレームＮ＋１の受信信号のエネルギーと、フレームＮ＋１に対応する合成信号のエネルギーと、のエネルギー比が計算され、それから、このエネルギー比にしたがって合成信号をフェードして、最下列の出力信号を得る。フェード方法は上記のステップｓ２０３を参照して行なってもよい。クロスフェードの処理は最後に実行される。フレームＮに関しては、フレームＮのフェード後の出力信号は、フレームＮの出力である（ここでは、信号の出力は少なくとも１フレームの遅延を有することを許される、すなわち、フレームＮはフレームＮ＋１が入力された後に出力され得ることが仮定されている）。フレームＮ＋１に関しては、クロスフェードの原理にしたがって、下降ウィンドウにより乗算されたフェード後のフレームＮ＋１の出力信号は、上昇ウィンドウにより乗算されたフレームＮ＋１の受信する元の信号に重畳される。重畳によって得られた信号はフレームＮ＋１の出力である。

本発明の第２の実施形態は、パケット損失隠蔽における合成信号を処理することに適応した信号処理方法を提供する。第２の実施形態の処理方法は第１の実施形態とは異なる。第１の実施形態ではピッチ周期に基づく方法が信号ｙｌ’（ｎ）を合成するために使用される場合、図６に示されるように位相不連続の状態が発生し得る。

図６に示されるように、２つの垂直な実線間の信号は信号の１フレームに対応する。人間の声の多様性と変動性とによって、音声に対応するピッチ周期は、不変に保たれることはなく、絶えず変化している。したがって、損失フレームの信号を合成するために過去信号の最後のピッチ周期が繰り返し使用されると、合成信号の末尾と現在フレームの先頭との間の波形が不連続になるという状況が起こる。この場合、波形は、突然の変化、すなわち位相不整合の状態を有する。現在フレームの開始点から合成信号の左の最小距離整合点までの距離はｄ_eであり、現在フレームの開始点から合成信号の右の最小距離整合点までの距離はｄ_cであることが図６から見られる。従来技術では、合成信号を補間することによって位相整合を実現する方法が提供されている。例えばフレーム長がＬであるとき、対応する位相差異ｄは−ｄ_eである（最適整合点が現在フレームの開始点の左側にあり、且つ、該最適点と現在フレームの開始点との間の距離がｄ_eである場合、ｄ＝−ｄ_eであり、最適整合点が現在フレームの開始点の右側にあり、且つ、該最適点と現在フレームの開始点との間の距離がｄ_cである場合、ｄ＝ｄ_cである）。それから、Ｌ＋ｄ個のサンプルの信号は補間法によってＮ個のサンプルの信号を生成するために補間される。

図６に示されるようなピッチ反復に基づいて信号が合成されるため、位相不整合が必然的に発生する。この状況を回避するために、ある方法を提供し、その原理概略図を図７に示す。この実施形態は第１の実施形態と異なり、ピッチ反復に基づく線形予測符号化信号に位相整合を実行した後にエネルギー拡大縮小処理が実行され得る。すなわち、エネルギー拡大縮小の前に信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１に位相整合が実行される。例えば、補間信号ｙｌ’’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１は上記の補間法を使用してｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１に補間処理を実行して得てもよく、又、信号ｙｌ（ｎ）は信号ｘｌ（ｎ）および信号ｙｌ’’（ｎ）と組み合わせてｙｌ’’(ｎ）にエネルギー拡大縮小を実行することによって得てもよい。最後に、クロスフェードのステップは第１の実施形態のステップと同じである。

本発明の実施形態によって提供される信号処理方法を使用することによって、損失フレームと該損失フレームに続く最初のフレームとが合成信号のために連結される場所に波形とエネルギーの突然の変化がないことを保証するために、損失フレームに続く最初の良好フレームのエネルギーと、合成信号のエネルギーと、のエネルギー比にしたがって合成信号を調整し、波形の滑らかな遷移と音楽雑音の回避を実現する。

本発明の第３の実施形態はまた、パケット損失隠蔽における合成信号を処理することに適応した信号処理装置を提供する。この構造の概略図を図８に示す。本装置は下記、すなわち、

損失フレームに続く次のフレームが良好フレームであることを検出したときにエネルギー取得モジュール３０に通知するように構成された検出モジュール１０と、

検出モジュール１０によって送られた通知を受信したときに、良好フレーム信号のエネルギーと、同期化された合成信号のエネルギーと、のエネルギー比を取得するように構成されたエネルギー取得モジュール３０と、

エネルギー取得モジュール３０によって取得したエネルギー比にしたがって合成信号を調整するように構成された合成信号調整モジュール４０とを含む。

具体的にはエネルギー取得モジュール３０は更に、

良好フレーム信号のエネルギーを取得するように構成された良好フレーム信号エネルギー取得サブモジュール２１と、

合成信号のエネルギーを取得するように構成された合成信号エネルギー取得サブモジュール２２と、

良好フレーム信号のエネルギーと、同期化された合成信号のエネルギーと、のエネルギー比を取得するように構成されたエネルギー比取得サブモジュール２３とを含む。

更に前記信号処理装置は、

本発明の第３の実施形態によって提供される第２の信号処理装置として、入力した合成信号に位相整合を実行し、図９に示したエネルギー取得モジュール３０に位相整合後の合成信号を送るように構成された位相整合モジュール２０を備える。

更に図１０に示されるように位相整合モジュール２０を、エネルギー取得モジュール３０と合成信号調整モジュール４０との間に配置してもよく、良好フレーム信号のエネルギーと、良好フレームと同じ時間に対応する合成信号のエネルギーと、のエネルギー比を取得し、位相整合モジュール２０に入力した信号に位相整合を実行して、位相整合後の信号を合成信号調整モジュール４０に送るように構成してもよい。

本発明の第３の実施形態の処理装置の特定の適用ケースを図１１に示す。現在フレームが失われない場合には低域ＡＤＰＣＭ復号手段は、受信した現在フレームを復号して、信号ｘｌ（ｎ），ｎ＝０，．．．，Ｌ−１を得る。また、現在フレームに対応する出力はｚｌ（ｎ），ｎ＝０，．．．，Ｌ−１である。この状況では、再構成信号はクロスフェードのときに変化しない。すなわち、ｚｌ [ｎ]＝ｘｌ [ｎ]，ｎ＝０，．．．，Ｌ−１であり、ここでＬはフレーム長である。

現在フレームが失われた場合には、現在フレームに対応している合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ−１はピッチ反復に基づく線形予測符号化方法を使用することによって生成される。現在フレームに続く次のフレームが失われるか否かにしたがって異なる処理が実行される。

現在フレームに続く次のフレームが失われた場合：

この状況では、本発明の実施形態の信号処理装置は合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ−１を処理しない。第１の損失フレームに対応する出力信号ｚｌ（ｎ），ｎ＝，．．．，Ｌ−１は合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ−１である。すなわち、ｚｌ [ｎ]＝ｙｌ [ｎ]＝ｙｌ’ [ｎ]，ｎ＝０，．．．，Ｌ−１である。

現在フレームに続く次のフレームが失われなかった場合：

合成信号ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１が本発明の実施形態の信号処理装置を使用して処理されるときに使用される良好フレーム（第１の損失フレームに続く次のフレームである）は、ＡＤＰＣＭ復号手段による復号の後に得られる良好フレームｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｍ−１であり、ここでＭはエネルギーを計算するときの信号サンプルの数である。良好な信号と同じ時間に対応する使用される合成信号は、ピッチ反復に基づく線形予測符号化によって生成される信号ｙｌ’（ｎ），ｎ＝Ｌ，．．．，Ｌ＋M−１である。ｙｌ’（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１は信号ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１にエネルギー的に整合し得る信号ｙｌ（ｎ），ｎ＝０，．．．，Ｌ＋Ｎ−１を得るために処理される。ここでＮはクロスフェードを実行するための信号長である。現在フレームに対応する出力信号ｚｌ（ｎ），Ｎ＝０，．．．，Ｌ−１は：ｚｌ（ｎ）＝ｙｌ（ｎ），ｎ＝０，．．．，Ｌ−１である。ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１は、ｘｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１とｙｌ（ｎ），ｎ＝Ｌ，．．．，Ｌ＋Ｎ−１とのクロスフェードによって取得される信号ｚｌ（ｎ）に更新される。

本発明の実施形態によって提供される信号処理方法を使用することによって、損失フレームと該損失フレームに続く最初のフレームとが合成信号のために連結される場所に波形及びエネルギーの突然の変化がないことを保証するために、損失フレームに続く最初の良好フレームのエネルギーと、合成信号のエネルギーと、のエネルギー比にしたがって合成信号を調整し、波形の滑らかな遷移と音楽雑音の回避を実現する。

本発明の第４の実施形態は、受信した高域復号信号を復号し、損失した高域信号フレームを補正するように構成された高域復号ユニット５０と、受信した低域復号信号を復号し、損失した低域信号フレームを補正するように構成された低域復号ユニット６０と、低域復号信号と高域復号信号とを合成して最終出力信号を得るように構成された直交ミラーフィルタユニット７０とを含む、図１２に示したような音声復号器を提供する。高域復号ユニット５０は、受信した高域コードストリーム信号を復号し、損失した高域信号フレームを合成する。低域復号ユニット６０は、受信した低域コードストリーム信号を復号し、損失した低域信号フレームを合成する。直交ミラーフィルタユニット７０は、低域復号ユニット６０から出力された低域復号信号と高域復号信号ユニット５０から出力された高域復号信号とを合成して最終復号信号を得る。

低域復号ユニット６０は、図１３に示されるように、具体的には、下記のモジュール、すなわち、損失フレームに対応する合成信号を生成するように構成されたピッチ反復に基づく線形予測符号化サブユニット６１と、受信した低域コードストリーム信号を復号するように構成された低域復号サブユニット６２と、合成信号を調整するように構成された信号処理サブユニット６３と、低域復号サブユニットによって復号された信号と信号処理サブユニット６３によって調整された信号とをクロスフェードするように構成されたクロスフェードサブユニット６４とを含む。

低域復号サブユニット６２は、受信した低域信号を復号する。ピッチ反復に基づく線形予測符号化サブユニット６１は、損失した低域信号フレームの線形予測符号化によって合成信号を取得する。信号処理サブユニット６３は、合成信号のエネルギー量を低域復号サブユニット６２によって処理された復号信号のエネルギー量に一致させ、又、音楽雑音の出現を防止するように、合成信号を調整する。クロスフェードサブユニット６４は、低域復号サブユニット６２によって処理された復号信号と、信号処理サブユニット６３によって調整された合成信号と、をクロスフェードして、損失フレーム補正後の最終復号信号を得る。

信号処理サブユニット６３の構造は、図８〜図１０に示した信号処理装置の構造の概略図に対応する３つの異なる形態を持っているが、詳細な説明は省略する。

上記の実施形態の説明を介して、本発明は、ソフトウエアと必要とされる一般的なハードウエアプラットフォームとを使用することによって、あるいはハードウエアによって達成され得るが、多くの場合に前者がより良好な実施形態であることを当業者は明らかに理解し得るであろう。このような理解に基づいて、本発明の技法的ソリューションにおける実質的な事柄は、あるいは従来技術に寄与する部分は、ソフトウエア製品の形で実現され得る。コンピュータのソフトウエア製品は記憶媒体に記憶され、またこれらは本発明の各実施形態において説明した方法を装置に実行させるための多数の命令を備える。

本開示の図解と説明はその好適な実施形態とあわせて与えられたが、本開示の範囲から逸脱せずに付属の請求項に記載した形と細部における種々の変更が行われ得ることは、当業者によって認められよう。

従来技術において、損失フレームと該損失フレームに続く最初の良好フレームとが連結する場所における波形及びエネルギーの突然の変化を示す概略図である。 本発明の第１の実施形態の信号処理方法の流れ図である。 本発明の第１の実施形態の信号処理方法の原理概略図である。 ピッチ反復に基づく線形予測符号化モジュールの概略図である。 本発明の第１の実施形態における幾つかの異なる信号の概略図である。 本発明の第２の実施形態においてピッチ反復に基づく方法が信号を合成するために使用される場合に発生する位相不連続を示す概略図である。 本発明の第２の実施形態における信号処理方法の原理の概略図である。 本発明の第３の実施形態における第１の信号処理装置の構造の概略図である。 本発明の第３の実施形態における第２の信号処理装置の構造の概略図である。 本発明の第３の実施形態における第３の信号処理装置の構造の概略図である。 本発明の第３の実施形態における処理装置の適用ケースを示す概略図である。 本発明の第４の実施形態における音声復号器のモジュール概略図である。 本発明の第４の実施形態における音声復号器の低域復号ユニットのモジュール概略図である。

Claims (14)

1. パケット損失隠蔽における信号処理方法であって、
   損失フレームに続く良好フレームを受信し、前記良好フレームの信号のエネルギーと、少なくとも、前記損失フレームと、前記損失フレームに続く良好フレームと、にわたって生成された合成信号の前記良好フレームと同じ時間に対応するエネルギーと、のエネルギー比を取得し、
   前記エネルギー比にしたがって前記合成信号を調整する、
   信号処理方法。
2. 前記合成信号は、ピッチ反復に基づく線形予測符号化によって生成された合成信号である、
   請求項１に記載の信号処理方法。
3. 前記良好フレームの信号のエネルギーと、前記良好フレームと同じ時間に対応する前記合成信号のエネルギーと、の前記エネルギー比を取得した後に、前記良好フレームの信号のエネルギーが前記良好フレームと同じ時間に対応する前記合成信号のエネルギーより小さいと判定すると、前記エネルギー比にしたがって前記合成信号を調整することを更に含む、
   請求項１に記載の信号処理方法。
4. 前記良好フレームの信号のエネルギーと、前記良好フレームと同じ時間に対応する前記合成信号のエネルギーと、のエネルギー比Ｒは、式（１）であり、
   

   

   ここで、ｓｉｇｎ（）は符号関数であり、Ｅ_１は前記良好フレームと同じ時間に対応する前記合成信号のエネルギーであり、Ｅ_２は前記良好フレームの信号のエネルギーである、
   請求項１または２に記載の信号処理方法。
5. 前記合成信号は、式（２）にしたがって調整され、
   

   

   ここで、Ｌはフレーム長であり、Ｎはクロスフェードのために必要とされる信号の長さであり、ｙｌ’（ｎ）は調整前の前記合成信号であり、ｙｌ（ｎ）は調整後の前記合成信号である、
   請求項４に記載の信号処理方法。
6. 前記エネルギー比にしたがって前記合成信号を調整する前に、前記合成信号に位相整合を実行することを更に含む、
   請求項１に記載の信号処理方法。
7. 前記エネルギー比にしたがって前記合成信号を調整した後に、前記良好フレームの信号と前記良好フレームと同じ時間に対応する前記合成信号とをクロスフェードして、前記良好フレームと同じ時間に対応する出力信号を得ることを更に含む、
   請求項１に記載の信号処理方法。
8. パケット損失隠蔽において合成信号を処理することに適応した信号処理装置であって、
   損失フレームに続く良好フレームを受信し、
   前記良好フレームの信号のエネルギーと、少なくとも、前記損失フレームと、前記損失フレームに続く良好フレームと、にわたって生成された合成信号の前記良好フレームと同じ時間に対応するエネルギーと、のエネルギー比を取得し、
   前記エネルギー比にしたがって前記合成信号を調整する、
   ように構成された、
   信号処理装置。
9. 前記損失フレームに続くフレームが前記良好フレームであることを検出した場合にエネルギー取得モジュールに通知するように構成された検出モジュールと、
   前記検出モジュールによって送られた前記通知を受信したとき、前記良好フレームの信号のエネルギーと、前記良好フレームと同じ時間に対応する前記合成信号のエネルギーと、の前記エネルギー比を取得するように構成された前記エネルギー取得モジュールと、
   前記エネルギー取得モジュールによって取得された前記エネルギー比にしたがって前記合成信号を調整するように構成された合成信号調整モジュールと、
   を備える、
   請求項８に記載の信号処理装置。
10. 前記エネルギー取得モジュールは、
    前記良好フレームの信号のエネルギーを取得するように構成された良好フレーム信号エネルギー取得サブモジュールと、
    前記合成信号のエネルギーを取得するように構成された合成信号エネルギー取得サブモジュールと、
    前記良好フレームの信号のエネルギーと、前記良好フレームと同じ時間に対応する前記合成信号のエネルギーと、の前記エネルギー比を取得するように構成されたエネルギー比取得サブモジュールと、
    を更に備える、
    請求項９に記載の信号処理装置。
11. 前記合成信号に位相整合を実行し、前記位相整合後の前記合成信号を前記エネルギー取得モジュールに送るように構成されるか、又は、
    前記エネルギー取得モジュールから送られた前記合成信号に位相整合を実行し、前記位相整合後の前記合成信号を前記合成信号調整モジュールに送るように構成された、
    位相整合モジュールを更に備える、
    請求項９に記載の信号処理装置。
12. 音声復号器であって、
    低域復号ユニットと、
    高域復号ユニットと、
    直交ミラーフィルタユニットと、
    を備え、
    前記低域復号ユニットは、受信した低域復号信号を復号し、損失した低域信号フレームを補正するように構成されており、
    前記高域復号ユニットは、受信した高域復号信号を復号し、損失した高域信号フレームを補正するように構成されており、
    前記直交ミラーフィルタユニットは、前記低域複合信号と前記高域復号信号とを合成して最終出力信号を得るように構成されており、
    前記低域復号ユニットは、低域復号サブユニットと、ピッチ反復に基づく線形予測符号化サブユニットと、信号処理サブユニットと、クロスフェードサブユニットと、を含み、
    前記低域復号サブユニットは、受信した低域コードストリーム信号を復号するように構成されており、
    前記ピッチ反復に基づく線形予測符号化サブユニットは、損失フレームに対応する合成信号を生成するように構成されており、
    前記信号処理サブユニットは、請求項９〜１１のいずれか一項に記載の信号処理装置であり、
    前記クロスフェードサブユニットは、前記低域復号サブユニットによって復号された前記低域復号信号と、前記信号処理サブユニットによってエネルギー調整された後の前記合成信号と、をクロスフェードする、
    ように構成されている、
    音声復号器。
13. コンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムは請求項１〜７のうちのいずれかの信号処理方法をコンピュータに実行させる、
    コンピュータ読み取り可能な記録媒体。
14. 請求項１〜７のうちのいずれかの信号処理方法をコンピュータに実行させる、
    コンピュータプログラム。

Images