JP5355387B2 - 符号化装置および符号化方法 - Google Patents

Description

本発明は、移動体通信システムまたはインターネットプロトコル（ＩＰ：Internet Protocol）を用いたパケット通信システム等において、ステレオ音声信号やステレオ・オーディオ信号の符号化を行う際に用いられる符号化装置および符号化方法に関する。

移動体通信システムまたはＩＰを用いたパケット通信システム等において、ＤＳＰ（Digital Signal Processor）によるディジタル信号処理速度と帯域幅の制限は徐々に緩和されつつある。伝送レートのさらなる高ビットレート化が進めば、複数チャネルを伝送するだけの帯域を確保できるようになるため、現在はモノラル方式が主流となる音声通信においても、ステレオ方式による通信（ステレオ通信）が普及することが期待される。

現在の携帯電話は既に、ステレオ機能を有するマルチメディアプレイヤやＦＭラジオの機能を搭載することができる。従って、第４世代の携帯電話およびＩＰ電話等にステレオ・オーディオ信号だけでなく、ステレオ音声による音声通信やステレオ音声信号の録音、再生等の機能を追加するのは自然なことである。

ステレオ音声信号を符号化する１つの一般的な方法は、モノラル音声コーデックに基づく信号予測手法を使用することによる。すなわち、基本チャネル信号を公知のモノラル音声コーデックを使用して送信し、この基本チャネル信号から、追加の情報およびパラメータを使用して左チャネルまたは右チャネルを予測する。多くのアプリケーションでは、基本チャネル信号として、ミックスされたモノラル信号が選択される。

従来、ステレオ信号を符号化する方法としてＩＳＣ（Intensity Stereo Coding：強度ステレオ符号化）、ＢＣＣ（Binaural Cue Coding：バイノーラル・キュー符号化）、およびＩＣＰ（Inter-Channel Prediction：チャネル間予測）などがある。これらのパラメトリックなステレオ符号化方式は、それぞれ異なる長所および短所を持ち、それぞれ異なる音源（source materials）の符号化に適している。

非特許文献１には、これらの符号化方法を用いて、モノラルコーデックに基づきステレオ信号を予測する技術が開示されている。具体的には、ステレオ信号を構成するチャネル信号、例えば、左チャネル信号と右チャネル信号とを用いた合成によりモノラル信号を生成し、得られるモノラル信号を公知の音声コーデックを使用して符号化／復号し、さらに予測パラメータを用いてモノラル信号から左チャネルと右チャネルの差信号（サイド信号（side signal））を予測する。このような符号化方法において、符号化側は、モノラル信号とサイド信号との関係を時間依存性の適応フィルタを使用してモデル化し、フレーム毎に算出されたフィルタ係数を復号側に送信する。復号側では、モノラルコーデックによって送信された高品質なモノラル信号をフィルタリングすることによって、差信号を再生成し、再生成した差信号とモノラル信号から、左チャネル信号および右チャネル信号を算出する。

また、非特許文献２には、チャネル間相関キャンセラー（Cross-Channel Correlation Canceller）と呼ばれる符号化方法が開示されており、ＩＣＰ方式の符号化方法においてチャネル間相関キャンセラーの技術を適用する場合、一方のチャネルから他方のチャネルを予測することができる。

また、近年、オーディオ圧縮技術が急速に発展し、その中で、変形離散コサイン変換（
ＭＤＣＴ）方式が、高品質のオーディオ符号化における主要な手法となっている（非特許文献３、非特許文献４参照）。

ＭＤＣＴでは、エネルギを集中させる能力に加えて、クリティカルサンプリング（critical sampling）と、ブロック効果（block effect）低減と、柔軟な窓切り替えとが同時に達成され得る。ＭＤＣＴでは、時間領域エイリアス除去（ＴＤＡＣ：time domain alias cancellation）と、周波数領域エイリアス除去（frequency domain alias cancellation）というコンセプトを使用する。ＭＤＣＴは、完全な再生成が達成されるように設計されている。

ＭＤＣＴは、オーディオ符号化のパラダイムにおいて幅広く使用されている。適切な窓ウィンドウ（例：正弦窓）が使用される場合、ＭＤＣＴは、聴覚上大きな問題が生じることなくオーディオ圧縮に適用されてきた。最近では、ＭＤＣＴは、マルチモード変換予測符号化（multimode transform predictive coding）のパラダイムにおいて重要な役割を果たしている。

マルチモード変換予測符号化とは、音声符号化の原理とオーディオ符号化の原理とをひとつの符号化体系としてまとめるものである（非特許文献４）。ただし、非特許文献４における、ＭＤＣＴに基づく符号化構造およびその適用は、１つのチャネルの信号のみを符号化するように設計され、異なる周波数領域におけるＭＤＣＴ係数を、異なる量子化方式を使用して量子化している。
Extended AMR Wideband Speech Codec (AMR-WB+): Transcoding functions, 3GPP TS 26.290. S. Minami and O. Okada, "Stereophonic ADPCM voice coding method," in Proc. ICASSP’90, Apr. 1990. Ye Wang and Miikka Vilermo, "The modified discrete cosine transform: its implications for audio coding and error concealment," in AES 22ndInternational Conference on Virtual, Synthetic and Entertainment, 2002. Sean A. Ramprashad, "The multimode transform predictive coding paradigm," IEEE Tran. Speech and Audio Processing, vol. 11, pp. 117 - 129, Mar. 2003.

非特許文献２において使用されている符号化方式の場合、２つのチャネル間の相関が高いときには、ＩＣＰのパフォーマンスは十分なものである。しかしながら、相関が低いときには、より高い次数の適応フィルタ係数が必要であり、場合によっては、予測利得を高めるためのコストがかかりすぎる。フィルタ次数を増やさないと、予測誤差のエネルギレベルが基準信号のエネルギレベルと変わらないことがあり、そのような状況ではＩＣＰは有用ではない。

音声信号の品質にとっては、周波数帯域の低帯域部分が本質的に重要である。復号化した音声の低帯域部分におけるわずかな誤りによって、音声全体の品質が大きく損なわれる。音声符号化におけるＩＣＰの予測性能の限界のため、２つのチャネル間の相関が高くないときには、低帯域部分について満足なパフォーマンスを達成することが難しく、別の符号化方式を採用した方が望ましい。

非特許文献１では、時間領域において高帯域部分の信号に対してのみＩＣＰを適用している。これは、上記の問題に対する１つの解決策である。しかしながら、非特許文献１では、符号器におけるＩＣＰ予測に、入力モノラル信号を使用している。好ましくは、復号
されたモノラル信号を使用すべきである。なぜなら、復号器側において、再生成されたステレオ信号はＩＣＰ合成フィルタによって得られ、このＩＣＰ合成フィルタは、モノラル復号器によって復号されたモノラル信号を使用するためである。しかしながら、モノラル符号器が、特に広帯域（７ｋＨｚ以上）オーディオ符号化に幅広く使用されているＭＤＣＴ変換符号化などの変換符号化タイプの符号器である場合、符号器側において時間領域で復号されたモノラル信号を取得するためには、何らかの追加のアルゴリズム遅延が発生する。

本発明の目的は、ＭＤＣＴおよびＩＣＰを使用してスケーラブルなステレオ音声符号化を実行する場合において、符号化・復号の高効率化と復号音声の高品質化の両方を実現することができる符号化装置および符号化方法を提供することである。

本発明の符号化装置は、ステレオ信号の第１チャネル信号および第２チャネル信号に対する線形予測残差信号である第１チャネル残差信号および第２チャネル残差信号を取得する残差信号取得手段と、前記第１チャネル残差信号および前記第２チャネル残差信号をそれぞれ周波数領域に変換し、第１チャネル周波数係数および第２チャネル周波数係数を得る周波数領域変換手段と、相対的に高い精度の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の閾値周波数未満の帯域部分に対して符号化を行う第１符号化手段と、相対的に低い精度の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の前記閾値周波数以上の帯域部分に対して符号化を行う第２符号化手段と、を具備する構成を採る。

本発明の符号化方法は、ステレオ信号の第１チャネル信号および第２チャネル信号に対する線形予測残差信号である第１チャネル残差信号および第２チャネル残差信号を取得する残差信号取得ステップと、前記第１チャネル残差信号および前記第２チャネル残差信号をそれぞれ周波数領域に変換し、第１チャネル周波数係数および第２チャネル周波数係数を得る周波数領域変換ステップと、相対的に高い精度の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の閾値周波数未満の帯域部分に対して符号化を行う第１符号化ステップと、相対的に低い精度の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の前記閾値周波数以上の帯域部分に対して符号化を行う第２符号化ステップと、を有する方法を採る。

本発明によれば、聴感上、重要度が相対的に高い低帯域部分に対して高い量子化精度の符号化方法を用い、重要度が相対的に低い高帯域部分に対してＩＣＰを用いた効率の高い符号化方法を用いることにより、符号化・復号の高効率化と復号音声の高品質化の両方を実現することができる。

また、ＭＤＣＴ変換符号化器によってＭＤＣＴ領域で復号されたモノラル信号をＩＣＰプロセスに使用することにより、ＩＣＰがＭＤＣＴ領域において直接実行されるため、アルゴリズムに起因する追加の遅延が発生しない。

（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。なお、以下の説明において、左チャネル信号、右チャネル信号、モノラル信号、およびそれらの再生成信号を、それぞれ、Ｌ、Ｒ、Ｍ、Ｌ’、Ｒ’、Ｍ’として表す。また、以下の説明では、各フレームの長さをＮ、モノラル、左、右の各信号に対するＭＤＣＴ領域信号（周波数係数と称する）を、それぞれ、ｍ（ｆ）、ｌ（ｆ）、ｒ（ｆ）として表す。なお、信号名と記号との対応関係は、上記記載に限定されるものではない。

図１は、本実施の形態に係る符号化装置の構成を示すブロック図である。図１に示す符号化装置１００には、ＰＣＭ（Pulse Code Modulation）形式における左チャネル信号と右チャネル信号とからなるステレオ信号がフレーム毎に入力される。

モノラル信号合成部１０１は、左チャネル信号Ｌ、右チャネル信号Ｒを以下の式（１）により合成し、モノラル音声信号Ｍを生成する。モノラル信号合成部１０１は、左チャネル信号Ｌおよび右チャネル信号ＲをＬＰ（Linear Prediction：線形予測）分析・量子化部１０２およびＬＰ逆フィルタ１０３に出力し、モノラル音声信号Ｍをモノラル符号化部１０４に出力する。

この式（１）において、ｎは、フレームにおける時間インデックス（time index）である。なお、モノラル信号を生成するためのミックス方法は、式（１）に限定されない。例えば、適応的に重み付けしてミックスする方法等、他の方法を使用して、モノラル信号を生成することもできる。

ＬＰ分析・量子化部１０２は、左チャネル信号Ｌおよび右チャネル信号Ｒに対してＬＰ分析（線形予測分析）によるＬＰパラメータの算出および算出ＬＰパラメータの量子化を行い、得られたＬＰパラメータの符号化データを多重部１２０に出力し、ＬＰ係数Ａ_Ｌ／Ａ_ＲをＬＰ逆フィルタ１０３に出力する。

ＬＰ逆フィルタ１０３は、ＬＰ係数Ａ_Ｌ／Ａ_Ｒを用いて、左チャネル信号Ｌおよび右チャネル信号Ｒに対してＬＰ逆フィルタリングを行い、得られた左チャネル／右チャネルの残差信号Ｌres／Ｒresをピッチ分析・量子化部１０５およびピッチ逆フィルタ１０６に出力する。

モノラル符号化部１０４は、モノラル信号Ｍを符号化し、得られた符号化データを多重部１２０に出力する。一方、モノラル符号化部１０４は、モノラル残差信号Ｍresをピッチ分析部１０７およびピッチ逆フィルタ１０８に出力する。なお、残差信号は励振信号ともいう。この残差信号は、ほとんどのモノラル音声符号化装置（例：ＣＥＬＰベースの符号化装置）において、あるいは、ＬＰ残差信号またはローカルに復号化される残差信号を生成するプロセスが含まれるタイプの符号化装置において取り出すことが可能である。

ピッチ分析・量子化部１０５は、左チャネル／右チャネルの残差信号Ｌres／Ｒresに対してピッチ分析および量子化を行い、得られた左チャネル／右チャネル残差信号のピッチパラメータ（ピッチ周期Ｐ_Ｌ／Ｐ_Ｒおよびピッチ利得Ｇ_Ｌ／Ｇ_Ｒ）をピッチ逆フィルタ１０６に出力し、ピッチパラメータの符号化データを多重部１２０に出力する。

ピッチ逆フィルタ１０６は、ピッチパラメータを用いて、左チャネル／右チャネルの残差信号Ｌres／Ｒresに対してピッチ逆フィルタリングを行い、ピッチ周期成分を除去した左チャネル／右チャネルの残差信号ｅｘｃ_Ｌ／ｅｘｃ_Ｒを窓掛け部１０９に出力する。

ピッチ分析部１０７は、モノラル残差信号Ｍresに対してピッチ分析を行い、モノラル残差信号のピッチ周期Ｐ_Ｍをピッチ逆フィルタ１０８に出力する。ピッチ逆フィルタ１０８は、ピッチ周期Ｐ_Ｍを用いて、モノラル残差信号Ｍresに対してピッチ逆フィルタリングを行い、ピッチ周期成分を除去したモノラル残差信号ｅｘｃ_Ｍを窓掛け部１１０に出力する。

窓掛け部１０９は、左チャネル／右チャネルの残差信号ｅｘｃ_Ｌ／ｅｘｃ_Ｒに対して窓掛け処理（windowing）を行い、ＭＤＣＴ変換部１１１に出力する。窓掛け部１１０は、モノラル残差信号ｅｘｃ_Ｍに対して窓掛け処理を行い、ＭＤＣＴ変換部１１２に出力する。窓掛け部１０９および窓掛け部１１０の窓かけ処理に必要な正弦窓ｈ（ｋ）は、先行技術において幅広く使用されており、以下の式（２）によって計算される。

ＭＤＣＴ変換部１１１は、窓掛け処理後の左チャネル／右チャネルの残差信号ｅｘｃ_Ｌ／ｅｘｃ_Ｒに対してＭＤＣＴ変換を実行し、得られた左チャネル／右チャネル残差信号の周波数係数ｌ（ｆ）／ｒ（ｆ）を相関計算部１１３およびスペクトル分割部１１５に出力する。ＭＤＣＴ変換部１１２は、窓掛け処理後のモノラル残差信号ｅｘｃ_Ｍに対してＭＤＣＴ変換を実行し、得られたモノラル残差信号の周波数係数ｍ（ｆ）を相関計算部１１３およびスペクトル分割部１１６に出力する。なお、ＭＤＣＴ変換により得られた周波数係数は、一般に「ＭＤＣＴ係数」と呼ばれる。

ＭＤＣＴ変換部１１１におけるＭＤＣＴ変換により得られる左チャネル残差信号の周波数係数ｌ（ｆ）は、以下の式（３）によって算出される。なお、この式（３）において、ｓ（ｋ）は長さ２Ｎの窓掛けされた残差信号である。なお、右チャネル残差信号の周波数係数ｒ（ｆ）も同様に算出される。

相関計算部１１３は、左チャネル残差信号の周波数係数ｌ（ｆ）とモノラル残差信号の周波数係数ｍ（ｆ）との相関値ｃ_１、右チャネル残差信号の周波数係数ｒ（ｆ）とモノラル残差信号の周波数係数ｍ（ｆ）との相関値ｃ_２をそれぞれ計算し、相関値の絶対値をＩＣＰ次数割り当て部１１４に出力する。そして、相関計算部１１３は、計算結果を使用して、以下の式（４）により、分割周波数Ｆ_ＴＨを決定し、分割周波数を示す情報をスペクトル分割部１１５およびスペクトル分割部１１６に出力する。なお、式（４）により、相関が高いほど分割周波数Ｆ_ＴＨは低くなる。また、以下の説明で、分割周波数Ｆ_ＴＨより低い周波数帯域を低帯域部分、分割周波数Ｆ_ＴＨ以上の周波数帯域を高帯域部分という。

式（４）において、Ｆｓはサンプリング周波数を表す。サンプリング周波数は、１６ｋＨｚ、２４ｋＨｚ、３２ｋＨｚ、または４８ｋＨｚとすることができる。なお、式（４）における定数「１ｋ」および「３２」は一例であり、本実施の形態では、これらの値を任意に設定することができる。

なお、分割周波数Ｆ_ＴＨは、ビットレートに基づいて計算することもできる。例えば、所定のビットレートで符号化するために、左チャネル残差信号の周波数係数ｌ（ｆ）および右チャネル残差信号の周波数係数ｒ（ｆ）の低帯域部分について符号化できるＭＤＣＴ係数の合計がＸ個のみであるとする。モノラル周波数係数ｍ（ｆ）との相関が高い方のチャネルは、符号化に必要なＭＤＣＴ係数の数が少なくて済む。相関計算部１１３は、左チャネル残差信号の周波数係数ｌ（ｆ）の低帯域部分の周波数係数の数を、Ｘ×ｃ_２／（ｃ_１＋ｃ_２）によって計算し、右チャネル残差信号の残差信号の周波数係数ｒ（ｆ）の低帯域部分の周波数係数の数を、Ｘ×ｃ_１／（ｃ_１＋ｃ_２）によって計算する。

左右のチャネルのＩＣＰの次数の合計は、通常では一定である。ＩＣＰ次数割り当て部１１４は、相関が高いほどＩＣＰ次数が小さくなるように、相関値に基づいて左チャネルに割り当てるＩＣＰの次数を計算する。ＩＣＰの次数の合計をＩＣＰ_ｏｒとすれば、ＩＣＰ次数割り当て部１１４は、左チャネルのＩＣＰの次数を、ＩＣＰ_ｏｒ×ｃ_２／（ｃ_１＋ｃ_２）によって計算する。なお、右チャネルのＩＣＰの次数は、ＩＣＰ_ｏｒ×ｃ_１／（ｃ_１＋ｃ_２）によって計算することができる。ＩＣＰ次数割り当て部１１４は、左チャネルのＩＣＰ次数を示す情報を、ＩＣＰ分析部１１７および多重部１２０に出力する。

スペクトル分割部１１５は、分割周波数Ｆ_ＴＨを境として左チャネル／右チャネル残差信号の周波数係数ｌ（ｆ）／ｒ（ｆ）の帯域を分割し、その低帯域部分の周波数係数ｌ_Ｌ（ｆ）／ｒ_Ｌ（ｆ）を低帯域符号化部１１９に出力し、その高帯域部分の周波数係数ｌ_Ｈ（ｆ）／ｒ_Ｈ（ｆ）をＩＣＰ分析部１１７に出力する。また、スペクトル分割部１１５は、低帯域符号化部１１９において符号化するＭＤＣＴ係数の数を示す分割フラグを量子化し、多重部１２０に出力する。

スペクトル分割部１１６は、分割周波数Ｆ_ＴＨを境としてモノラル残差信号の周波数係数ｍ（ｆ）の帯域を分割し、その高帯域部分の周波数係数ｍ_Ｈ（ｆ）をＩＣＰ分析部１１７に出力する。

ＩＣＰ分析部１１７は、適応フィルタからなり、左チャネル残差信号の高帯域部分の周波数係数ｌ_Ｈ（ｆ）とモノラル残差信号の高帯域部分の周波数係数ｍ_Ｈ（ｆ）との相関関係を用いてＩＣＰ分析を行い、左チャネル残差信号のＩＣＰパラメータを生成する。同様に、ＩＣＰ分析部１１７は、右チャネル残差信号の高帯域部分の周波数係数ｒ_Ｈ（ｆ）とモノラル残差信号の高帯域部分の周波数係数ｍ_Ｈ（ｆ）との相関関係を用いてＩＣＰ分析を行い、右チャネル残差信号のＩＣＰパラメータを生成する。なお、各ＩＣＰパラメータの次数は、ＩＣＰ次数割り当て部１１４で計算されたものとなる。ＩＣＰ分析部１１７は、各ＩＣＰパラメータをＩＣＰパラメータ量子化部１１８に出力する。

ＩＣＰパラメータ量子化部１１８は、ＩＣＰ分析部１１７から出力された各ＩＣＰパラメータを量子化し、多重部１２０に出力する。なお、ＩＣＰパラメータ量子化部１１８においてＩＣＰパラメータの量子化に使用されるビットの数も、モノラルと各チャネルとの相関によって調整することができる。この場合、相関が高いほど、ＩＣＰビット数を少なくする。総ビット数をＢＩＴと表すと、左チャネル残差信号のＩＣＰパラメータ量子化のビット数は、ＢＩＴ×ｃ_２／（ｃ_１＋ｃ_２）によって計算することができる。同様に、右チャネル残差信号のＩＣＰパラメータ量子化のビット数は、ＢＩＴ×ｃ_１／（ｃ_１＋ｃ_２
）によって計算することができる。

低帯域符号化部１１９は、左チャネル／右チャネル残差信号の低帯域部分の周波数係数ｌ_Ｌ（ｆ）／ｒ_Ｌ（ｆ）を符号化し、得られた符号化データを多重部１２０に出力する。

多重部１２０は、ＬＰ分析・量子化部１０２から出力されたＬＰパラメータの符号化データ、モノラル符号化部１０４から出力されたモノラル信号の符号化データ、ピッチ分析・量子化部１０５から出力されたピッチパラメータの符号化データ、ＩＣＰ次数割り当て部１１４から出力された左チャネル残差信号のＩＣＰ次数を示す情報、スペクトル分割部１１５から出力された量子化分割フラグ、ＩＣＰパラメータ量子化部１１８から出力された量子化ＩＣＰパラメータ、および低帯域符号化部１１９から出力された左チャネル／右チャネル残差信号の低帯域部分の周波数係数の符号化データを多重し、得られたビットストリームを出力する。

図２は、ＩＣＰ分析部１１７を構成する適応フィルタの構成および動作を説明するための図である。この図において、Ｈ（ｚ）は、Ｈ（ｚ）＝ｂ_０＋ｂ_１（ｚ^−１）＋ｂ_２（ｚ^−２）＋…＋ｂ_ｋ（ｚ^−ｋ）であり、適応フィルタ、例えばＦＩＲ(Finite Impulse Response)フィルタのモデル（伝達関数）を示す。ここで、ｋは適応フィルタ係数の次数を示し、ｂ＝［ｂ_０，ｂ_１，…，ｂ_ｋ］は適応フィルタ係数を示す。ｘ(ｎ)は適応フィルタの入力信号、ｙ’(ｎ)は適応フィルタの出力信号（予測信号）、ｙ(ｎ)は適応フィルタの基準信号を示す。ＩＣＰ分析部１１７において、ｘ（ｎ）はｍ_Ｈ（ｆ）に相当し、ｙ（ｎ）はｌ_Ｈ（ｆ）またはｒ_Ｈ（ｆ）に相当する。

適応フィルタは、下記の式（５）に従って、予測信号と基準信号との平均二乗誤差（ＭＳＥ）が最小となるような、適応フィルタパラメータｂ＝［ｂ_０，ｂ_１，…，ｂ_ｋ］を求めて出力する。なお、式（５）において、Ｅは統計的期待演算子(statistical expectation operator)を表し、Ｅ｛．｝はアンサンブル平均演算（ensemble average operation）、Ｋはフィルタ次数、ｅ(ｎ)は予測誤差を示す。

なお、図２におけるＨ（ｚ）には、多数の別の構造が存在する。図３は、そのうちの１つを示している。図３に示したフィルタ構造は、従来のＦＩＲフィルタである。

図４は、本実施の形態に係る復号装置の構成を示すブロック図である。図１に示した符号化装置１００から送信されたビットストリームは、図４に示す復号装置４００に受信される。

分離部４０１は、復号装置４００に受信されたビットストリームを分離し、ＬＰパラメータの符号化データをＬＰパラメータ復号部４１７に出力し、ピッチパラメータの符号化データをピッチパラメータ復号部４１５に出力し、量子化ＩＣＰパラメータをＩＣＰパラメータ復号部４０３に出力し、モノラル信号の符号化データをモノラル復号部４０２に出力し、左チャネル残差信号のＩＣＰ次数を示す情報をＩＣＰ合成部４０９に出力し、量子化分割フラグをスペクトル分割部４０８に出力し、左チャネル／右チャネル残差信号の低帯域部分の周波数係数の符号化データを低帯域復号部４１０に出力する。

モノラル復号部４０２は、モノラル信号の符号化データを復号してモノラル信号Ｍ’お
よびモノラル残差信号Ｍ'resを得る。モノラル復号部４０２は、得られたモノラル残差信号Ｍ'resをピッチ分析部４０４およびピッチ逆フィルタ４０５に出力する。

ＩＣＰパラメータ復号部４０３は、量子化ＩＣＰパラメータを復号し、得られた左チャネル／右チャネルＩＣＰパラメータをＩＣＰ合成部４０９に出力する。

ピッチ分析部４０４は、モノラル残差信号Ｍ'resに対してピッチ分析を行い、モノラル残差信号のピッチ周期Ｐ'_Ｍをピッチ逆フィルタ４０５に出力する。ピッチ逆フィルタ４０５は、ピッチ周期Ｐ'_Ｍを用いて、モノラル残差信号Ｍ'resに対してピッチ逆フィルタリングを行い、ピッチ周期成分を除去したモノラル残差信号ｅｘｃ'_Ｍを窓掛け部４０６に出力する。

窓掛け部４０６は、モノラル残差信号ｅｘｃ'_Ｍに対して窓掛け処理を行い、ＭＤＣＴ変換部４０７に出力する。なお、窓掛け部４０６の窓掛け処理における窓関数は上記式（２）によって与えられる。

ＭＤＣＴ変換部４０７は、窓掛け処理後のモノラル残差信号ｅｘｃ'_Ｍに対してＭＤＣＴ変換を実行し、得られたモノラル残差信号の周波数係数ｍ'（ｆ）をスペクトル分割部４０８に出力する。なお、ＭＤＣＴ変換部４０７におけるＭＤＣＴ変換の計算は上記式（３）によって与えられる。

スペクトル分割部４０８は、分割周波数Ｆ_ＴＨを境として全帯域を分割した後、モノラル残差信号の高帯域部分の周波数係数ｍ'_Ｈ（ｆ）をＩＣＰ合成部４０９に出力する。

ＩＣＰ合成部４０９は、適応フィルタからなり、左チャネルのＩＣＰパラメータを用いてモノラル残差信号の高帯域部分の周波数係数ｍ'_Ｈ（ｆ）をフィルタリングすることにより、左チャネル残差信号の高帯域部分の周波数係数ｌ'_Ｈ（ｆ）を計算する。同様に、ＩＣＰ合成部４０９は、右チャネルのＩＣＰパラメータを用いてモノラル残差信号の高帯域部分の周波数係数ｍ'_Ｈ（ｆ）をフィルタリングすることにより、右チャネル残差信号の高帯域部分の周波数係数ｒ'_Ｈ（ｆ）を計算する。ＩＣＰ合成部４０９は、左チャネル／右チャネル残差信号の高帯域部分の周波数係数ｌ'_Ｈ（ｆ）／ｒ'_Ｈ（ｆ）を加算部４１１に出力する。

なお、左チャネル残差信号の高帯域部分の周波数係数ｌ'_Ｈ（ｆ）は、以下の式（６）によって計算することができる。なお、式（６）において、ｂ_ｉ ^Ｌは、左チャネルの再生成されたＩＣＰパラメータの第ｉ次の要素である。Ｋは、左チャネルのＩＣＰ次数を示す情報によって得られる。なお、右チャネル残差信号の高帯域部分の周波数係数ｒ'_Ｈ（ｆ）も同様に計算することができる。

低帯域復号部４１０は、左チャネル／右チャネル残差信号の低帯域部分の周波数係数の符号化データを復号し、得られた左チャネル／右チャネル残差信号の低帯域部分の周波数係数ｌ_Ｌ'（ｆ）／ｒ_Ｌ'（ｆ）を加算部４１１に出力する。

加算部４１１は、左チャネル／右チャネル残差信号の低帯域部分の周波数係数ｌ_Ｌ'（ｆ）／ｒ_Ｌ'（ｆ）と左チャネル／右チャネル残差信号の高帯域部分の周波数係数ｌ'_Ｈ（ｆ）／ｒ'_Ｈ（ｆ）とを結合し、得られた左チャネル／右チャネル残差信号の周波数係数
ｌ'（ｆ）／ｒ'（ｆ）をＩＭＤＣＴ変換部４１２に出力する。

ＩＭＤＣＴ変換部４１２は、左チャネル／右チャネル残差信号の周波数係数ｌ'（ｆ）／ｒ'（ｆ）に対してＩＭＤＣＴ変換を実行する。左チャネル残差信号の周波数係数ｌ'（ｆ）に対するＩＭＤＣＴ変換の計算は、以下の式（７）によって行われる。ここで、式（７）において、ｓ(k)は、時間領域エイリアシングを含んでいるＩＭＤＣＴ係数である。なお、右チャネル残差信号の周波数係数ｒ'（ｆ）に対するＩＭＤＣＴ変換の計算も同様に行われる。

左チャネル／右チャネル残差信号を再生成するため、窓掛け部４１３が、ＩＭＤＣＴ変換部４１２の出力信号に対して窓掛け処理を行い、重ね合わせ加算部４１４が、窓掛け部４１３の出力信号に対して重ね合わせ加算（overlap and add）を行い、左チャネル／右チャネルの残差信号ｅｘｃ'_Ｌ／ｅｘｃ'_Ｒを得る。再生成された左チャネル／右チャネルの残差信号ｅｘｃ'_Ｌ／ｅｘｃ'_Ｒは、ピッチ合成部４１６に出力される。

ピッチパラメータ復号部４１５は、ピッチパラメータの符号化データを復号し、得られた左チャネル／右チャネル残差信号のピッチパラメータ（ピッチ周期Ｐ_Ｌ／Ｐ_Ｒおよびピッチ利得Ｇ_Ｌ／Ｇ_Ｒ）をピッチ合成部４１６に出力する。

ピッチ合成部４１６は、左チャネル／右チャネルの残差信号ｅｘｃ'_Ｌ／ｅｘｃ'_Ｒに対して、ピッチ周期Ｐ_Ｌ／Ｐ_Ｒおよびピッチ利得Ｇ_Ｌ／Ｇ_Ｒを用いてピッチ合成フィルタリングを行い、得られた左チャネル／右チャネル残差信号Ｌ'res／Ｒ'resをＬＰ合成フィルタ４１８に出力する。

ＬＰパラメータ復号部４１７は、ＬＰパラメータの符号化データを復号し、得られたＬＰ係数Ａ_Ｌ／Ａ_ＲをＬＰ合成フィルタ４１８に出力する。

ＬＰ合成フィルタ４１８は、左チャネル／右チャネル残差信号Ｌ'res／Ｒ'resに対して、ＬＰ係数Ａ_Ｌ／Ａ_Ｒを用いてＬＰ合成フィルタリングを行い、左チャネル信号Ｌ'および右チャネル信号Ｒ'を得る。

このように、図４の復号装置４００は、受信した図１の符号化装置１００の信号に対して復号処理を行うことにより、モノラル信号Ｍ’とステレオ音声信号Ｌ'／Ｒ'の両方を得ることができる。

以上のように、本実施の形態によれば、聴感上、重要度が相対的に高い低帯域部分に対して高い量子化精度の符号化方法を用い、重要度が相対的に低い高帯域部分に対してＩＣＰを用いた効率の高い符号化方法を用いることにより、符号化・復号の高効率化と復号音声の高品質化の両方を実現することができる。

また、本実施の形態によれば、ＭＤＣＴ変換符号化器によってＭＤＣＴ領域で復号されたモノラル信号をＩＣＰプロセスに使用することにより、ＩＣＰがＭＤＣＴ領域において直接実行されるため、アルゴリズムに起因する追加の遅延が発生しない。

（その他の実施の形態）
本発明は、実施の形態１において、ピッチ分析およびピッチフィルタリングに関連する
図１のブロック１０５、１０６、１０７、１０８、図４のブロック４０４、４０５、４１５、４１６を省いても、依然として使用することができる。

また、実施の形態１において、スペクトル分割部１１５、１１６で使用される適応的な周波数分割器を、分割周波数が固定のものに変更することができる。この場合、分割周波数を、例えば１ｋＨｚ等、任意に設定する。

また、実施の形態１において、ＩＣＰ次数割り当て部１１４における適応的なＩＣＰ次数の計算、ＩＣＰパラメータ量子化部１１８におけるＩＣＰパラメータの適応的なビット割り当てを、それぞれ、固定のＩＣＰ次数、固定のビット割り当てに変更することができる。

また、実施の形態１において、モノラル符号器がＭＤＣＴ変換符号化などの変換符号化である場合、ＭＤＣＴ領域における復号モノラル信号（または復号モノラル残差信号）を、符号器側においてはモノラル符号器から、復号器側においてはモノラル復号器から、直接得ることができる。すなわち、実施の形態１において、符号器側では、図１のブロック１０７、１０８、１１０、１１２を省略し、ＭＤＣＴ変換部１１２からの出力であるモノラル残差信号の周波数係数ｍ（ｆ）の代わりに、モノラル符号化部１０４から復号モノラル残差信号の周波数係数を直接得るようにすることができる。また、復号器側では、図４のブロック４０４、４０５、４０６、４０７を省略し、ＭＤＣＴ変換部４０７からの出力であるモノラル残差信号の周波数係数ｍ'（ｆ）の代わりに、モノラル復号部４０２から復号モノラル残差信号の周波数係数を直接得るようにすることができる。

また、上述したように、本発明は、ＰＣＭ形式の音声信号に適用することができる。そして、本発明は、ＬＰフィルタリングおよびピッチフィルタリングを省いても、依然として使用することができる。この場合、窓掛けされたモノラルおよび左／右チャネルの音声信号をＭＤＣＴ領域に変換する。ＭＤＣＴ係数の高帯域部分をＩＣＰによって符号化する。低帯域部分は、高精度の符号器によって符号化する。復号器側において、伝送された低帯域部分と、ＩＣＰ合成により再生成された高帯域部分とを結合して、左／右のチャネルの音声信号のＭＤＣＴ係数を再生成する。その後、ＩＭＤＣＴ、窓掛け、重ね合わせ加算することにより、合成された音声信号を得ることができる。

また、上記実施の形態１において説明した符号化方式は、モノラル残差信号を使用して左／右のチャネルの残差信号を再生成する方式であり、この方式をＭ−ＬＲ符号化方式と呼ぶことができる。本発明は、これとは別のＭ−Ｓ符号化方式と呼ばれる符号化方式を採用することができる。この代替方式においては、モノラル残差信号を使用してサイド残差信号を再生成することができる。この場合の符号器側の構成は、実施の形態１におけるＭ−ＬＲ符号化方式の符号器側ブロック図１とほぼ同じであるが、左右のチャンネル信号に対する処理ブロックである１０２、１０３、１０５、１０６、１０９、１１１、１１５、１１９を、サイドチャンネル信号用の処理に置き換えたものになる。また、サイド音声信号Ｓ（ｎ）は、モノラル信号合成部１０１において、以下の式（８）によって計算することによって算出する。なお、式（８）において、ｎは長さＮのフレームにおける時間インデックスである。また、復号器側の構成は、実施の形態１における図４とほぼ同じであるが、左右のチャンネル信号に対する処理ブロックである４０９、４１０、４１１、４１２、４１３、４１５、４１６、４１７、４１８を、サイドチャンネル信号用の処理に置き換えたものになる。

さらに、復号器において、左右のチャネルの合成された音声信号（Ｌ’およびＲ’）は、再生成されたサイド信号Ｓ’と、再生成されたモノラル信号Ｍ’とを使用することによって、以下の式（９）によって算出される。

また、本発明は、ＭＤＣＴ計算によって得られた全帯域の周波数係数すべてに対して、共通な１つのＩＣＰプロセスを適用することができる。この場合、ＩＣＰ予測誤差信号（特に低帯域部分における予測誤差信号）を符号化して送信することが望ましい。

また、本発明は、ＭＤＣＴ計算の後、周波数係数をｋ（＞２）個のサブ帯域に分割し、サブ帯域それぞれに対してＩＣＰ分析を個々に行うことができる。各サブ帯域に対するＩＣＰパラメータ数（ＩＣＰ次数）は異なっていてよい。この数は、相関値やサブ帯域の位置に依存する。一般的には、高い周波数サブ帯域ほど、ＩＣＰパラメータ数を少なくする。あるいは、本発明は、各サブ帯域のビット割り当てを適応的に制御するようにしてもよい。

また、上記実施の形態１では、ＩＣＰの計算を上記式（５）によって行い、フィルタの構造として図３に示したものを使用している。本発明は、これに代えて、この片側ＩＣＰを両側ＩＣＰに変更し、式（５）における予測信号ｙ’（ｎ）の計算を、以下の式（１０）に置き換えることができる。この場合、ＩＣＰ次数はＮ_１＋Ｎ_２となる（Ｎ１、Ｎ２はいずれも正の定数）。

また、上記本実施の形態では、ＭＤＣＴ変換を用いて周波数領域への変換を行う場合について説明したが、本発明はこれに限られず、ＭＤＣＴ変換の代わりに、高速フーリエ変換（ＦＦＴ）等の他の周波数変換方式を用いて周波数領域への変換を行っても良い。

また、本発明では、ＩＣＰ分析部１１７において使用するＩＣＰ計算において誤差重み付けを適用して、心理音響（Psychoacoustic）を考慮することができる。これは、上記式（５）においてＥ［ｅ^２（ｆ）］の代わりにＥ［ｅ^２（ｆ）×ｗ（ｆ）］を最小化することで実現することができる。ここで、ｗ（ｆ）は心理音響モデルから導かれる重み付け係数である。この重み付け係数は、エネルギの高い周波数（または帯域）に対しては小さい重み、エネルギの低い周波数（または帯域）に対しては大きい重みを乗ずることによって、予測誤差を調整するように使用する。例えば、ｗ（ｆ）は、ｍ_Ｈ（ｆ）のエネルギに反比例する重み付け係数とすることができる。従って、ｗ（ｆ）の１つの可能な形式は、以下の式（１１）である（α，βは調整パラメータ）。

なお、上記各実施の形態に係る復号装置は、上記各実施の形態に係る符号化装置が送信したビットストリームを受信して処理を行う場合を例にとって説明したが、本発明はこれに限定されず、上記各実施の形態に係る復号装置が受信して処理するビットストリームは
、この復号装置で処理可能なビットストリームを生成可能な符号化装置が送信したものであれば良い。

なお、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、符号化装置、復号装置を有するシステムであればどのような場合にも適用することができる。

また、本発明に係る符号化装置および復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る符号化装置と同様の機能を実現することができる。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。

２００７年３月３０日出願の特願２００７−０９２７５１の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る符号化装置および符号化方法は、携帯電話、ＩＰ電話、テレビ会議等に用いるに好適である。

本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係るＩＣＰ符号化部の内部の主要な構成を示すブロック図 ＩＣＰ分析およびＩＣＰ合成において使用する適応ＦＩＲフィルタの構造の一例を示す図 本発明の実施の形態１に係る復号装置の構成を示すブロック図

Claims (5)

1. ステレオ信号の第１チャネル信号および第２チャネル信号に対する線形予測残差信号である第１チャネル残差信号および第２チャネル残差信号を取得する残差信号取得手段と、
   前記第１チャネル残差信号および前記第２チャネル残差信号をそれぞれ周波数領域に変換し、第１チャネル周波数係数および第２チャネル周波数係数を得る周波数領域変換手段と、
   第１の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の閾値周波数未満の帯域部分に対して符号化を行う第１符号化手段と、
   チャネル間予測分析および前記第１の符号化方法より効率の高い第２の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の前記閾値周波数以上の帯域部分に対して符号化を行う第２符号化手段と、
   を具備する符号化装置。
2. 前記ステレオ信号から生成されるモノラル信号に対する線形予測残差信号を周波数領域に変換し、モノラル周波数係数を得る第２周波数領域変換手段を更に具備し、
   前記第２符号化手段は、前記第１チャネル周波数係数と前記モノラル周波数係数との相関関係および前記第２チャネル周波数係数と前記モノラル周波数係数との相関関係に基づいて前記チャネル間予測分析を行い、前記チャネル間予測分析によって得られた前記第１チャネルおよび前記第２チャネルの予測パラメータを量子化する、
   請求項１記載の符号化装置。
3. 前記第２符号化手段は、前記第１チャネル周波数係数と前記モノラル周波数係数との第１相関値および前記第２チャネル周波数係数と前記モノラル周波数係数との第２相関値に基づいて前記閾値周波数を設定する閾値周波数設定手段を具備する、
   請求項２記載の符号化装置。
4. 前記第１チャネル周波数係数と前記モノラル周波数係数との第１相関値および前記第２チャネル周波数係数と前記モノラル周波数係数との第２相関値に基づいて前記第１チャネルおよび前記第２チャネルの予測符号化パラメータの次数を割り当てる次数割り当て手段を更に具備する、
   請求項２記載の符号化装置。
5. ステレオ信号の第１チャネル信号および第２チャネル信号に対する線形予測残差信号である第１チャネル残差信号および第２チャネル残差信号を取得する残差信号取得ステップと、
   前記第１チャネル残差信号および前記第２チャネル残差信号をそれぞれ周波数領域に変換し、第１チャネル周波数係数および第２チャネル周波数係数を得る周波数領域変換ステップと、
   第１の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の閾値周波数未満の帯域部分に対して符号化を行う第１符号化ステップと、
   チャネル間予測分析および前記第１の符号化方法より効率の高い第２の符号化方法を用いて、前記第１チャネル周波数係数および第２チャネル周波数係数の前記閾値周波数以上の帯域部分に対して符号化を行う第２符号化ステップと、
   を有する符号化方法。
   

Images