JP3951690B2 - 符号化装置および方法、並びに記録媒体 - Google Patents
符号化装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3951690B2 JP3951690B2 JP2001370663A JP2001370663A JP3951690B2 JP 3951690 B2 JP3951690 B2 JP 3951690B2 JP 2001370663 A JP2001370663 A JP 2001370663A JP 2001370663 A JP2001370663 A JP 2001370663A JP 3951690 B2 JP3951690 B2 JP 3951690B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- signal
- mixing
- encoding method
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化装置および方法、並びに記録媒体に関し、特に、より高効率で、オーディオ信号を符号化できるようにした符号化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、いわゆる「知覚オーディオ符号化器（復号器）」が開発され、従来のCD-ROM(Compact Disk-Read Only Memory)において、一般に使用されているビットレートの約１２分の１以下のビットレートで、高音質なオーディオ信号の伝送、および蓄積が可能となっている。
【０００３】
このような符号化器は、オーディオ信号に含まれる、人間の聴覚系の制限により聞き取ることができない波形部分を利用して符号化しており、ステレオオーディオ信号に対しては、例えば、MSステレオ符号化（中間部/側部ステレオ符号化）を利用した符号化器、およびISステレオ符号化（インテンシティステレオ符号化）を利用した符号化器が知られている。
【０００４】
図１は、MSステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【０００５】
ステレオオーディオ信号を構成する左信号Lと右信号Rは演算部１に入力され、加算器１−１において加算され、乗算器１−２に出力される。一方、それらの信号の差信号が減算器１−３において生成され、乗算器１−４に出力される。乗算器１−２および１−４において、加算器１−１および減算器１−３の出力に係数xが乗算されて和信号Mおよび差信号Sが生成され、符号化部２で符号化されて、記録メディアやネットワークなどよりなる伝送路３に出力される。
【０００６】
復号部４は、入力された符号列を復号処理し、和信号M'および差信号S'を生成する。和信号M'および差信号S'は、加算器５−１で加算され、乗算器５−２で係数yが乗算されて、左信号L'として出力される。また、和信号M'および差信号S'は、減算器５−３で減算され、乗算器５−４で係数yが乗算されて、右信号R'として出力される。例えば、係数xは0.5とされ、係数yは1.0とされる。
【０００７】
人間の聴覚に影響を与えるのは、差信号よりも和信号であり、このように、和信号Mと差信号Sを生成し、和信号Mに、より多くのデータ（ビット数）を割り当てることにより、それぞれを単独で符号化（デュアル符号化）するよりも、より高効率で符号化することができる。なお、MSステレオ符号化は、低い周波数帯域の信号に対して有効である。
【０００８】
図２は、ISステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【０００９】
演算部１１に入力された右信号L、左信号Rは、加算器１１−１で加算され、それらの信号の相関関係によって求められるインテンシティ信号Iが生成される。また、左信号L、および右信号Rのそれぞれのパワーを示すパワー左信号Pl、パワー右信号Pr（エネルギーの内容を記述するスケーリング信号）が演算部１１で生成される。インテンシティ信号I、パワー左信号Pl、およびパワー右信号Prは、符号化部１２に入力され、符号化された後、伝送路１３に出力される。
【００１０】
復号部１４は、入力されてきた信号を復号し、得られたインテンシティ信号I'、パワー左信号Pl'、およびパワー右信号Pr'を演算部１５に出力する。演算部１５においては、乗算器１５−１がインテンシティ信号I'とパワー左信号P'lに基づいて、また、乗算器１５−２がインテンシティ信号I'とパワー右信号P'rに基づいて、それぞれ左信号L'、および右信号R'を再生し、外部に出力する。
【００１１】
ISステレオ符号化を利用して符号化することにより、人間の聴覚の時間差による位置検出能力は高域の信号ほど低いという特性を利用することができ、例えば、高い周波数帯域において、左右の信号をそれぞれ単独で符号化する場合に較べて、約半分のデータレートで符号化することができる。
【００１２】
ところで、MSステレオ符号化およびISステレオ符号化は、全ての入力信号に対して、同等の効果が得られるわけではない。例えば、MSステレオ符号化は、差信号Sが和信号Mに比べてエネルギーが小さくなる場合にのみ有効な手段であり、そうでない場合には、和信号M'および差信号S'から、左信号L'、右信号R'を再生する際に、符号化または復号(量子化/逆量子化)によって発生する量子化雑音が相互干渉を引起し、聴感上、明らかに聞こえる雑音を生じることがある。
【００１３】
また、IS符号化において、ステレオ信号の高周波成分を合成し、それを時間領域から周波数領域に変換して得られるスペクトルSPmと、本来のパワースペクトルPl，Prの包絡形状に高い相関がない場合、例えば、左信号Lがトランペットの信号であり、右信号Rがシンバルの信号であるような場合には、それぞれの音源（楽器）の位置関係を保存することができなくなり、聴感上、明らかに聞こえる雑音を生じることがある。
【００１４】
そこで、図３、図４、および図５に示すように、左右の信号をそれぞれ独立に符号化するデュアル符号化と、MSまたはISステレオ符号化を組み合わせ、入力信号に応じて、適宜、符号化方式を選択する符号化装置が考えられている。
【００１５】
図３は、時間領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【００１６】
フィルタバンク３１−１は、入力された左信号L(t)を、所定の周波数帯域の信号Ln(t)，Ln-1(t)，…，L1(t)（nは分割帯域数）に分割し、それぞれの信号を、対応するデュアル符号化部３２およびMS/IS符号化部３３に出力する。なお、図３においては、信号Ln(t)を処理するデュアル符号化部３２およびMS/IS符号化部３３のみが示されているが、信号Ln-1(t)，Ln-2(t)，…，L1(t)に対応する各符号化部がLn(t)を処理する符号化部と同様に設けられている。
【００１７】
また、フィルタバンク３１−２も、フィルタバンク３１−１と同様に、右信号R(t)を所定の周波数帯域の信号Rn(t)，Rn-1(t)，…，R1(t)に分割し、それぞれの信号をデュアル符号化部３２およびMS/IS符号化部３３に出力する。なお、以下において、フィルタバンク３１−１とフィルタバンク３１−２のそれぞれを、個々に区別する必要がない場合、まとめてフィルタバンク３１と称する。他の装置についても同様とする。
【００１８】
デュアル符号化部３２は、入力された信号をデュアル符号化方式により符号化（左信号Ln(t)と右信号Rn(t)をそれぞれ独立に符号化）し、得られたデータをスイッチ３５に出力する。また、デュアル符号化部３２は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(t)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(t)1を生成し、符号化制御部３４に供給する。
【００１９】
MS/IS符号化部３３は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ３５に出力する。また、MS/IS符号化部３３は、必要ビット数情報Bn(t)2、および歪み率情報En(t)2を生成し、符号化制御部３４に供給する。
【００２０】
符号化制御部３４は、デュアル符号化部３２、およびMS/IS符号化部３３から供給された情報に基づいて、歪み率の小さい符号化方式、または、必要ビット数が少ない符号化方式により符号化された符号列を選択するように、スイッチ３５の接点を切り替える。スイッチ３５により選択された符号列は、マルチプレクサ３６に入力される。
【００２１】
マルチプレクサ３６は、フィルタバンク３１により分割された各帯域毎の符号列Cn，Cn-1，…，C1を合成し、合成符号列Cを、図示せぬ伝送路などの符号化装置２１の外部の装置に出力する。
【００２２】
図４は、周波数領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【００２３】
領域変換部５１−１は、入力された左信号L(t)を周波数領域にスペクトル変換し、生成したスペクトル信号Ln(f)を、デュアル符号化部５２およびMS/IS符号化部５３に出力する。また、領域変換部５１−２も、領域変換部５１−１と同様に、右信号R(t)をスペクトル変換し、得られたスペクトル信号Rn(f)を、デュアル符号化部５２およびMS/IS符号化部５３に出力する。
【００２４】
デュアル符号化部５２は、入力された信号をデュアル符号化方式により符号化し、得られた符号列をスイッチ５５に出力する。また、デュアル符号化部５２は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(f)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(f)1を生成し、符号化制御部５４に供給する。
【００２５】
MS/IS符号化部５３は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ５５に出力する。また、MS/IS符号化部５３は、必要ビット数情報Bn(f)2、および歪み率情報En(f)2を生成し、符号化制御部５４に供給する。
【００２６】
符号化制御部５４は、デュアル符号化部５２、およびMS/IS符号化部５３から供給された情報に基づいて、歪み率がより小さい符号化方式、または必要ビット数がより少ない符号化方式により符号化された符号列を選択するように、スイッチ５５を制御する。
【００２７】
図５は、図３の符号化装置２１、および図４の符号化装置３１を組み合わせて構成した、従来の符号化装置の構成例を示すブロック図である。
【００２８】
すなわち、この例においては、それぞれの入力信号L(t)，R(t)が、フィルタバンク７１−２，７１−２により所定数の帯域に分割され、分割されたそれぞれの信号が領域変換部７２−１，７２−２によりスペクトル変換される。変換されたスペクトル信号は、デュアル符号化部７３およびMS/IS符号化部７４により符号化される。符号化制御部７５とスイッチ７６においては、デュアル符号化部７３およびMS/IS符号化部７４において符号化された符号列のうち、より効率のいい（歪み率がより小さい、またはデータ量がより少ない）符号化方式による符号列が選択され、マルチプレクサ７７に出力される。そして、マルチプレクサ７７により、入力された全帯域のデータが合成されたのち、符号化装置６１の外部に出力される。
【００２９】
次に、図６のフローチャートを参照して、図３の符号化装置２１の符号化制御部３４の処理について説明する。なお、説明は省略するが、図４の符号化制御部５４、および図５の符号化制御部７５の処理も同様の処理である。また、この例においては、符号化制御部３４は、歪み率に基づいて符号化方式を選択するものとする。
【００３０】
ステップS１において、符号化制御部３４は、デュアル符号化部３２から通知されてきた歪み率情報En(t)1、およびMS/IS符号化部３３から通知されてきた歪み率情報En(t)2を比較する。そして、符号化制御部３４は、ステップS２において、デュアル符号化部３２から通知されてきた歪み率がMS/IS符号化部３３から通知されてきた歪み率より小さいか否かを判定し、小さいと判定した場合、ステップS３で、スイッチ３５を制御し、デュアル符号化部３２により符号化されたデータをマルチプレクサ３６に出力させる。
【００３１】
一方、符号化制御部３４は、ステップS２において、デュアル符号化部３２から通知されてきた歪み率がMS/IS符号化部３３から通知されてきた歪み率より大きいと判定した場合、ステップS４に進み、スイッチ３５を制御し、MS/IS符号化部３３により符号化されたデータをマルチプレクサ３６に出力させる。
【００３２】
同様の処理が、他の帯域においても行われる。これにより、より高効率な符号化方式により帯域毎に符号化された符号列Cが生成され、符号化装置２１の外部に出力される。
【００３３】
上述したように、それぞれの符号化方式の符号化効率を比較し、その結果に応じて、最適な方式を選択することにより、１つの符号化方式で符号化する場合に較べて、より高効率な符号化データを取得することができる。
【００３４】
図７(A)乃至(D)は、図３乃至図５の符号化装置におけるMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISと、符号化（量子化）された信号の信号対雑音比SNR(signal power to noise power ratio)と、左右信号のセパレーションの関係の例を示す図である。
【００３５】
図７(A)に示すように、横軸に示される確率PMSまたはPISと、縦軸に示されるSNRは比例しており、確率PMSまたはPISが１００％（モノラル）に近づくにつれ、SNRは向上する。
【００３６】
図７(B)は、確率PMSまたはPISの時間的変化を示す図であり、図７(C)は、SNRの時間的変化を示す図である。これらの図に示すように、それぞれの波形は、同位相の波形となり、入力信号に応じて確率PMSまたはPISを上げることにより、符号化効率は向上するため、SNRも向上し、音質が向上する。そのため、符号化効率の観点からは、確率PMSまたはPISが高いことが好ましい。
【００３７】
しかしながら、確率PMSが高いということは、左右の信号に高い相関があるということを示しており、確率PISが高いということは、パワーレベルこそ違えども、符号化されるインテンシティ信号およびスペクトルは１チャネル分であることを示している。すなわち、確率PMSまたはPISが高いということは、ステレオ信号がモノラル化することを示しており、図７(D)に示すように、左右信号のセパレーションは、確率PMS/PISの増加に伴って悪化する。
【００３８】
また、確率PMSまたはPISと、SNRは連動しているため、確率PMSまたはPISの値が高いと、入力信号の性質または時間変化によって、SNRが聴覚心理モデルにおける知覚限界雑音レベル（それ以上SNRが下がると、ノイズとして感知出来るレベル）以下にまで達してしまうおそれがある。従って、総合的には、確率PMSまたはPISの値が高いことは必ずしも好ましいことではない。
【００３９】
【発明が解決しようとする課題】
ところで、図３乃至図５に示すような符号化装置においては、MSステレオ符号化、またはISステレオ符号化により符号化した場合の効率と、デュアル符号化により符号化した場合の効率とで、どちらが優れているかという判断は、２つの符号化処理を実際に実行しないとわからないため、それぞれの符号化部の処理量が増大するという課題があった。
【００４０】
また、MSステレオ符号化またはISステレオ符号化がON状態のとき、符号化効率を高く（量子化雑音を低く）することができるが、OFF状態のときは、そのような効果は得られない。したがって、MSステレオ符号化またはISステレオ符号化がON状態のときとOFF状態のときとでは、時間的な音質変動が大きく、聴者に、聴感上、大きな違和感を感じさせてしまうことがあるという課題もある。
【００４１】
本発明はこのような状況に鑑みてなされたものであり、聴者に違和感を感じさせることを抑制しつつ、より高効率で、オーディオ信号を符号化または復号できるようにしたものである。
【００４２】
【課題を解決するための手段】
本発明の符号化装置は、入力信号に基づいて符号化方式を選択する符号化方式選択手段と、符号化方式選択手段により選択された符号化方式に基づいて、入力信号を符号化する符号化手段と、符号化手段による符号化の歪み率を検出する歪み率検出手段と、歪み率検出手段により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシング手段とを備え、符号化方式選択手段は、ミキシング手段によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００４３】
符号化手段により符号化された入力信号を復号するときの出力補正情報を生成する出力補正情報生成手段をさらに備えるようにすることができる。
【００４４】
符号化方式選択手段は、符号化装置の構成により決定される閾値に基づいて、入力信号の符号化方式を選択するようにすることができる。
【００４５】
符号化方式選択手段は、デュアル符号化方式、MSステレオ符号化方式、ISステレオ符号化方式のいずれかから符号化方式を選択するようにすることができる。
【００４６】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関が低いとき、デュアル符号化方式により符号化することを選択するようにすることができる。
【００４７】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関を、左右成分の差信号の総和に対する和信号の総和の比を用いて判定するようにすることができる。
【００４８】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関が高いとき、MSステレオ符号化方式、ISステレオ符号化方式のどちらを選択するかを、入力信号の左右成分の差信号の絶対値の最大値に基づいて決定するようにすることができる。
【００４９】
ミキシング手段は、ミキシング割合を記憶し、直前に決定されたミキシング割合と、現在決定されているミキシング割合の補間関数に基づいてミキシング割合を変化させるようにすることができる。
【００５０】
入力信号を記憶する入力信号記憶手段をさらに備え、ミキシング手段は、入力信号を符号化した際の歪み率に基づいて、同じ入力信号の左右成分を再度ミキシングするようにすることができる。
【００５１】
本発明の符号化装置の符号化方法は、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００５２】
本発明の記録媒体のプログラムは、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００５６】
本発明の符号化装置および方法、並びに記録媒体のプログラムにおいては、入力信号に基づいて符号化方式が選択され、選択された符号化方式に基づいて、入力信号が符号化され、検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分がミキシングされる。また、ミキシングされた入力信号に基づいて、符号化方式が選択される。
【００５８】
【発明の実施の形態】
図８は、本発明を適用した符号化装置の構成例を示すブロック図である。
【００５９】
フィルタバンク１０１−１は、入力されたオーディオ信号のうちの左信号L(t)をn個の周波数帯域の信号Ln(t)，Ln-1(t)，…，L1(t)に分割し、生成した信号Ln(t)を適応ミキシング部１０２に出力する。また、フィルタバンク１０１−２も、フィルタバンク１０１−１と同様に、入力されてきたオーディオ信号のうちの右信号R(t)をn個の周波数帯域の信号Rn(t)，Rn-1(t)，…，R1(t)に分割し、生成した信号Rn(t)を適応ミキシング部１０２に出力する。図示は省略するが、信号Ln-1(t)，…，L1(t)，Rn-1(t)，…，R1(t)についても、同様に対応する処理部が設けられている。
【００６０】
適応ミキシング部１０２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、信号Ln(t)，Rn(t)に対して、ミキシング処理を施し、信号Ln(t)mix，Rn(t)mixを生成する（その詳細は、図９を参照して後述する）。生成された信号Ln(t)mix、およびRn(t)mixは、それぞれ領域変換部１０３−１，１０３−２に供給される。後述するように、歪み率検出部１０６は、符号化部１０５における符号化の結果に応じて歪み率情報En(f)を生成するので、動作の初期状態では、ミキシング比率は０とされる。すなわち、信号L0(t)，R0(t)に対し、ミキシング処理は施されない。
【００６１】
また、適応ミキシング部１０２は、左右の信号の出力を補正するパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。
【００６２】
領域変換部１０３−１は、供給された信号Ln(t)mixに対して、例えば、MDCT(Modified Discrete Cosine Transform)などの領域変換を施し、生成したスペクトル信号Ln(f)を、符号化制御部１０４および符号化部１０５に出力する。同様に、領域変換部１０３−２は、供給されてきた信号Rn(t)mixを領域変換し、生成したスペクトル信号Rn(f)を、符号化制御部１０４および符号化部１０５に出力する。
【００６３】
符号化制御部１０４は、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)に基づいて、符号化部１０５において実行される符号化処理の符号化方式を選択し、符号化部１０５を制御する。
【００６４】
符号化部１０５は、符号化制御部１０４からの制御に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)を符号化し、得られたデータ列Cnをマルチプレクサ１０７に出力する。以上の処理は、他の周波数帯域の信号Ln-1(t)，…，L1(t)，Rn-1(t)，…，R1(t)においても同様に行われる。
【００６５】
マルチプレクサ１０７は、符号化部１０５から供給されてきた所定の帯域の符号列Cnを、他の帯域の符号列Cn-1，…，C1と合成し、合成オーディオデータCを符号化装置９１の外部に設けられる図示せぬ装置や、ネットワークなどに出力する。合成オーディオデータCには、適応ミキシング部１０２から通知されたパワー補正情報Pn,adj(t)や、いずれの符号化方式により符号化されたかなどの情報も含まれる。
【００６６】
図９は、図８の適応ミキシング部１０２の詳細な構成例を示すブロック図である。
【００６７】
パワー算出部１２１は、フィルタバンク１０１−１，１０１−２により所定の帯域に分割された信号Ln(t)，Rn(t)から、それぞれの信号のパワー値Pln，Prnを算出し、パワー補正部１２３に出力する。
【００６８】
ミキシング係数設定部１２２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、内蔵する記憶部に記憶されている対応テーブルからミキシング係数を抽出し、乗算器１２４−１，１２４−２のミキシング係数aと、乗算器１２５−１，１２５−２のミキシング係数bを設定する。また、ミキシング係数設定部１２２は、抽出したミキシング係数a，bをパワー補正部１２３に通知する。
【００６９】
乗算器１２４−１，１２４−２は、それぞれ、ミキシング係数設定部１２２により設定されたミキシング係数aを、入力された信号Ln(t)，Rn(t)に乗算し、得られた信号を加算器１２６−１，１２６−２に出力する。乗算器１２５−１，１２５−２は、それぞれ、ミキシング係数設定部１２２により設定されたミキシング係数bを、入力された信号Rn(t)，Ln(t)に乗算し、得られた信号を加算器１２６−１，１２６−２に出力する。
【００７０】
加算器１２６−１は、乗算器１２４−１で係数aが乗算された左信号Ln(t)と、乗算器１２５−１で係数bが乗算された右信号Rn(t)を加算し、加算結果を信号Ln(t)mixとして、領域変換部１０３−１に出力する。また、加算器１２６−２は、乗算器１２４−２で係数aが乗算された右信号Rn(t)と、乗算器１２５−２で係数bが乗算された左信号Ln(t)を加算し、信号Rn(t)mixとして、領域変換部１０３−２に出力する。
【００７１】
図１０は、ミキシング係数設定部１２２の図示せぬ記憶部に記憶されている、歪み率情報En(f)とミキシング係数a，bの対応テーブルの例を示す図である。
【００７２】
この例では、歪み率情報En(f)はパーセントで示されており、以下、この値をEと記載する。例えば、E=0%は、知覚雑音がゼロであることを意味する。また、E=100％は、すべてのスペクトル領域において、雑音が知覚できるレベルであることを意味する。
【００７３】
この例においては、歪み率E=0%に対応して、ミキシング係数a=1.00，b=0.00が設定されている。この場合、左右の入力信号Ln(t)，Rn(t)がミキシングされないため、完全に分離された状態（完全ステレオ）で符号化が行われる。また、歪み率E=100%に対応して、ミキシング係数a=0.50，b=0.50が設定されている。この場合、左右の入力信号Ln(t)，Rn(t)が同比率でミキシングされ、完全に単一化された状態（完全モノラル）で符号化が行われる。
【００７４】
パワー補正部１２３は、パワー算出部１２１から供給されてきた信号Ln(t)，Rn(t)のパワー値Pln，Prn、およびミキシング係数設定部１２２から通知されたミキシング係数a，bに基づいて、後述する復号装置１５１（図１９）においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。すなわち、パワー補正部１２３は、図示せぬ記憶部に、パワー補正情報Pn,adj(t)、ミキシング係数a，b、およびパワー値Pln，Prnなどの関係を記述した対応テーブルを記憶している。
【００７５】
図１１は、パワー補正部１２３に記憶されている対応テーブルの例を示す図である。
【００７６】
この例においては、パワー算出部１２１において算出されたパワー値Pln，Prn、歪み率情報En(f)、ミキシング係数a，b、復号装置１５１において、再生される信号Ln'(t)mix，Rn'(t)mixのパワー値Plnmix，Prnmixおよびパワー補正情報Pn,adj(t)が対応づけられている。この例では、パワー補正情報Pn,adj(t)は、復号装置１５１において設定されるパワーウエイティング係数c，dで表されている。
【００７７】
例えば、図１１の２段目に示すように、信号Ln(t)のパワー値がPln=1.0、信号Rn(t)のパワー値がPrn=1.0で、かつ、歪み率E=0%であるとき、図１０に示した対応表から、ミキシング係数がa=1.00，b=0.00で設定される。復号装置１５１における信号L'n(t)mixのパワー値はPlnmix=1.0とされ、信号R'n(t)mixのパワー値はPrnmix=1.0とされる。パワー補正情報Pn,adj(t)は、再生信号を、入力信号に近づける係数を含んでいるため、信号L'n(t)mixのパワーを補正するための係数がc=1.00とされ、信号R'n(t)mixのパワーを補正するための係数がd=1.00とされる。
【００７８】
図１２は、乗算器１２４−１の詳細な構成例を示すブロック図である（図示は省略するが、乗算器１２４−２も同様に構成される）。
【００７９】
この例においては、バッファ１２４A，１２４Bが設けられており、現在（時刻t=0）、設定されているミキシング係数a(t0)がバッファ１２４Aに、直前に設定されていた（時刻t=1のときに設定されていた）ミキシング係数a(t1)がバッファ１２４Bに、それぞれ記憶されるようになされている。
【００８０】
ミキシング係数を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図１３の曲線（１）乃至（３）に示すように、直線的、または曲線的にミキシング係数を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが２つ設けられることとしているが、３つ以上設けられるようにしてもよい。また、それぞれのミキシング係数を補間する補間関数は、１次でもよいし、２次または３次関数などとしてもよい。当然、乗算器１２５−１，１２５−２にも、同様に、バッファが設けられ、ミキシング係数bが記憶され、補間関数に基づいてミキシング係数が変化されるようにすることもできる。
【００８１】
図１４は、図８の符号化制御部１０４の詳細な構成例を示すブロック図である。
【００８２】
正規化部１４１−１は、領域変換部１０３−１から入力されたスペクトル信号Ln(f)を、分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化し、正規化スペクトル信号ln(f)を生成し、加算器１４２−１、および減算器１４２−２に出力する。同様に、正規化部１４１−２は、領域変換部１０３−２から入力されてきたスペクトル信号Rn(f)を正規化し、正規化スペクトル信号rn(f)を生成し、加算器１４２−１、および減算器１４２−２に出力する。正規化スペクトル信号ln(f)，rn(f)は、加算器１４２−１、減算器１４２−２において、それぞれスペクトル上で加算または減算され、生成された信号sn(f)(=|ln(f)+rn(f)|)，dn(f)(=|ln(f)-rn(f)|)が、比較部１４３に供給される。
【００８３】
比較部１４３は、入力された信号sn(f)，dn(f)のそれぞれの分割周波数帯域毎の総和値S，Dを算出し、その比S/Dに基づいて、符号化部１０５において行われるスペクトル信号Ln(f)，Rn(f)の符号化方式を選択する。なお、比較部１４３においては、デュアル符号化により符号化するか否かが判定され、MSステレオ符号化およびISステレオ符号化のどちらを用いてスペクトル信号Ln(f)，Rn(f)を符号化するかは、後述する比較部１４４において判定される。
【００８４】
比較部１４４は、比較部１４３から通知された正規化スペクトル信号ln(f)，rn(f)の差成分dn(f)(=ln(f)-rn(f))に基づいて、MSステレオ符号化、またはISステレオ符号化のうち、いずれの符号化方式によりスペクトル信号Ln(f)，Rn(f)を符号化するかを選択する。
【００８５】
次に、図１５のフローチャートを参照して、図８の符号化装置９１の動作について説明する。
【００８６】
ステップS１１において、フィルタバンク１０１は、入力されたオーディオ信号を所定の周波数帯域毎に分割し、生成した信号を適応ミキシング部１０２に出力する。すなわち、フィルタバンク１０１−１は、左信号L(t)をn個の帯域に分割し、左信号Ln(t)を適応ミキシング部１０２に出力する。また、フィルタバンク１０１−２は、右信号R(t)をn個の帯域に分割し、左信号Rn(t)を適応ミキシング部１０２に出力する。
【００８７】
ステップS１２において、適応ミキシング部１０２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、入力された信号Ln(t)，Rn(t)に対し、ミキシング処理を施す。ミキシング処理の詳細については、図１６のフローチャートを参照して後述する。
【００８８】
ミキシング処理により生成された信号Ln(t)mix、およびRn(t)mixは、領域変換部１０３に供給され、ステップS１３で、それぞれMDCTなどにより、時間領域から周波数領域のスペクトル信号に変換され、変換後のスペクトル信号Ln(f)，Rn(f)が、符号化制御部１０４および符号化部１０５に出力される。
【００８９】
ステップS１４において、符号化制御部１０４は、符号化部１０５に入力されたスペクトル信号Ln(f)，Rn(f)の符号化方式を制御する処理を行う。符号化制御処理の詳細については、図１７のフローチャートを参照して後述する。
【００９０】
ステップS１５において、符号化部１０５は、符号化制御部１０４からの指示に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)を、選択された方式で符号化し、得られた符号列Cnをマルチプレクサ１０７に出力する。なお、いずれの符号化方式により符号化したかは、例えば、スペクトル信号を符号化する際に、参照される符号帳を識別する情報、量子化の精度に関する情報、または、正規化情報などの組み合わせなどにより、復号装置１５１において、一意的に決定されるようになされている。
【００９１】
歪み率検出部１０６は、符号化部１０５で実行される符号化処理の歪み率を検出し、歪み率情報En(f)を生成する。生成された歪み率情報En(f)は、ステップS１６において、適応ミキシング部１０２に通知され、以降の処理に利用される。以上の処理は、全ての帯域において行われる。
【００９２】
ステップS１７において、マルチプレクサ１０７は、符号化部１０５から供給された符号列Cnを、他の帯域の符号化部からの符号列Cn-1，Cn-2，…，C1と合成し、取得した合成符号列Cを符号化装置９１の外部に設けられる図示せぬ装置やネットワークなどに出力する。なお、合成符号列Cには、適応ミキシング部１０２から通知されたパワー補正情報Pn,adj(t)などの情報が含まれる。
【００９３】
次に、図１６のフローチャートを参照して、図１５のステップS１２において実行される適応ミキシング部１０２のミキシング処理について説明する。
【００９４】
ステップS３１において、ミキシング係数設定部１２２は、歪み率検出部１０６から歪み率情報En(f)が通知されたか否かを判定し、通知されたと判定したとき、ステップS３２に進み、歪み率情報En(f)に基づいて、乗算器１２４，１２５のミキシング係数a，bを設定する。ミキシング係数設定部１２２は、例えば、歪み率E=10%であることが通知されたとき、図１０に示すような対応テーブルから、ミキシング係数a=0.95，b=0.05を抽出し、乗算器１２４のミキシング係数aを「0.95」と設定し、また、乗算器１２５のミキシング係数bを「0.05」と設定する。ミキシング係数設定部１２２は、設定したミキシング係数をパワー補正部１２３に通知する。
【００９５】
一方、ステップS３１で、歪み率検出部１０６から歪み率情報En(f)が通知されていないと判定された場合、ステップS３３において、ミキシング係数設定部１２２は、初期状態のミキシング係数を、乗算器１２４，１２５に、それぞれ設定する。すなわち、上述したように、初期状態では歪み率E=0%となっており、ミキシング係数a=1.00、b=0.00が設定される。
【００９６】
ステップS３４において、加算器１２６−１は、乗算器１２４−１で左信号Ln(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器１２５−１で右信号Rn(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Ln(t)mixを生成し、領域変換部１０３−１に出力する。
【００９７】
ステップS３５において、加算器１２６−２は、乗算器１２４−２で右信号Rn(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器１２５−２で左信号Ln(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Rn(t)mixを生成し、領域変換部１０３−２に出力する。
【００９８】
すなわち、ステップS３４，S３５により、上述したミキシング係数（a=0.95，b=0.05）がそれぞれの乗算器１２４，１２５に設定されている場合、左右の信号Ln(t)，Rn(t)の一方は、他方の5%がミキシングされた上で、領域変換部１０３に出力される。また、初期状態の場合、左右信号Ln(t)，Rn(t)がミキシングされずに、完全ステレオの状態で領域変換部１０３に出力される。
【００９９】
ステップS３６において、パワー算出部１２１は、フィルタバンク１０１により所定の帯域に分割された信号Ln(t)，Rn(t)のパワー値Pln，Prnを算出し、パワー補正部１２３に通知する。
【０１００】
ステップS３７において、パワー補正部１２３は、パワー算出部１２１から供給された信号Ln(t)，Rn(t)のパワー値Pln，Prn、およびミキシング係数設定部１２２から通知されたミキシング係数a，bに基づいて、後述する復号装置１５１（図１９参照）においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。
【０１０１】
例えば、パワー算出部１２１から、信号Ln(t)のパワー値Pln=5.0，Rn(t)のパワー値Prn=1.0が通知され、ミキシング係数設定部１２２から、ミキシング係数a=0.75，b=0.25であることが通知された場合（歪み率E=50%の場合）、図１１の上から４段目に示すように、パワー補正情報Pn,adj(t)（パワーウエイティング係数）として、c=1.25，d=0.50が抽出される。すなわち、復号装置１５１においては、信号Ln(t)のデータを復号したとき得られる信号L'n(t)mixが、パワー値Plnmix=4.0で再生され、信号Rn(t)のデータを復号したとき得られる信号R'n(t)mixが、パワー値Prnmix=2.0で再生されるため、再生信号に乗算したときに、入力信号と等しくなるパワーウエイティング係数c，dが抽出され、マルチプレクサ１０７に出力される。
【０１０２】
例えば、適応ミキシング部１０２は、歪み率が高い場合には、左右信号をモノラル的に変化させるように、ミキシング係数を設定し、MSステレオ符号化またはISステレオ符号化の動作確率を高める。これにより、SNRを高くすることができ、歪み率を低くすることができる。また、上述したように、フィードバックされてきた歪み率情報に基づいて、ミキシング係数を設定することにより、正規化されたスペクトルln(f)，rn(f)の領域では高い相関がなかった領域において、高い相関をもつ領域が生成されることとなる。さらに、復号装置においては、パワー補正情報Pn,adj(t)に基づいてパワー補正が行われるため、左右の信号のセパレートが保存される。
【０１０３】
次に、図１７のフローチャートを参照して、図１５のステップS１４において実行される符号化制御部１０４の符号化制御処理について説明する。
【０１０４】
ステップS５１において、正規化部１４１は、入力された信号を分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化する。生成された正規化スペクトル信号ln(f)，rn(f)は、加算器１４２−１および減算器１４２−２に供給され、ステップS５２において、正規化スペクトル信号の和信号sn(f)(=|ln(f)+rn(f)|)が加算器１４２−１により、差信号dn(f) (=|ln(f)-rn(f)|)が減算器１４２−２により、それぞれ生成される。生成された正規化スペクトル信号の和信号sn(f)および差信号dn(f)は、比較部１４３に供給される。
【０１０５】
ステップS５３において、比較部１４３は、入力された信号sn(f)の全帯域の総和値Sを次式（１）により、信号dn(f)の正規化された範囲の総和値Dを次式（２）によりそれぞれ算出する。
【数１】
【数２】
これらの式において、f0は正規化された範囲の先頭スペクトル番号を、f1は終端スペクトルの番号を、それぞれ示している。
【０１０６】
正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が似ている（相関が高い）ほど、総和値Sが大きく、総和値Dが小さくなる。逆に、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が異なる（相関が低い）場合には、総和値Sと総和値Dは同じような値となるため、総和値S，Dの比(総和値比S/D)を算出することにより、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関関係を取得することができる。例えば、総和値比S/Dは、その値が「1」より大きい場合には、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関が高いことを示している。
【０１０７】
そして、比較部１４３は、ステップS５４において、ステップS５３で算出した総和値比S/Dが、分割された周波数帯域、または正規化された小領域毎に予め設定されている許容誤差レベル（閾値）Thrより小さいか否かを判定する。比較部１４３は、総和値比S/Dが許容誤差レベルThrより小さいと判定したとき、ステップS５５に進み、符号化部１０５に入力されているスペクトル信号Ln(f)，Rn(f)を、デュアル符号化により符号化することを選択し、符号化部１０５に通知する。すなわち、許容誤差レベルは、総和値比S/Dが所定のレベル以上であれば（正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)に所定レベル以上の相関があれば）、強制的にMSまたはISステレオ符号化により符号化すべく設定される。なお、本実施例では、上記総和値ＳおよびＤの比を用いて正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関を判定しているが、相関の判定方法は当然これに限られるものではなく、ln(f)とrn(f)の絶対値を比較して相関係数を得るなど、他のパラメータを用いて判定してもよい。
【０１０８】
一方、ステップS５４において、比較部１４３は、総和値比S/Dが許容誤差レベルThrより大きいと判定したとき、その旨を比較部１４４に通知する。そして、比較部１４４は、ステップS５６において、対象としている帯域のスペクトルに対するdn(f)の最大値が、復号装置１５１で実現可能な量子化精度レベルThqより大きいか否かを判定する。すなわち、比較部１４４は、差信号dn(f)を符号化する必要がある場合にはMSステレオ符号化を選択し、符号化する必要がない場合にはISステレオ符号化を選択する。
【０１０９】
比較部１４４は、ステップS５６において、dn(f)の最大値が量子化精度レベルThqより大きいと判定した場合、ステップS５７に進み、符号化部１０５に入力されるスペクトル信号Ln(f)，Rn(f)を、MSステレオ符号化により符号化することを選択し、符号化部１０５に通知する。また、比較部１４４は、ステップS５６で、dn(f)の最大値が量子化精度レベルThqより小さいと判定した場合、ステップS５８に進み、符号化部１０５に入力されるスペクトル信号Ln(f)，Rn(f)を、ISステレオ符号化により符号化することを選択し、符号化部１０５に通知する。
【０１１０】
これにより、たとえ、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)は高い相関があり、MSまたはISステレオ符号化よりも、デュアル符号化の方が、より高いSNRを実現できる可能性があっても、総和値比S/Dが、聴感上、ノイズとして聞き取ることができない閾値より高い場合には、MSまたはISステレオ符号化により入力信号が符号化される。
【０１１１】
また、差信号dn(f)が符号化されない場合であっても、左右信号の正規化に関する情報は符号化されているため、ISステレオ符号化も、MSステレオ符号化と等価と考えることができる。これにより、MSステレオ符号化を行う処理部と、ISステレオ符号化を行う処理部を別々に設けることがなくなり、符号化装置９１を、より小さく構成することができる。
【０１１２】
なお、許容誤差レベルThrは、領域変換のブロック長や、ビットアロケーションなどの符号化システムの構成に応じて設定される。また、量子化精度レベルThqは、符号化装置９１で実現可能な最高量子化精度レベルを設定してもよいし、周波数帯域毎に量子化精度レベルThq(f)を設定するようにしてもよい。すなわち、量子化精度レベルThqも、許容誤差レベルThrと同様に、システムに応じて設定される。
【０１１３】
図１８は、符号化装置９１におけるセパレーションと信号対雑音比SNRとの関係（図１８(A)）、符号化（量子化）された信号の信号対雑音比SNRの時間的変化（図１８(B)）、MSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISの時間的変化（図１８(C)）、および、左右信号のセパレーションの時間的変化（図１８(D)）を示す図である。
【０１１４】
図１８(B)および図１８(C)に示すように、信号対雑音比SNRとMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISは連動しているため、上述したようにミキシング係数を適宜変動させることにより、PMS，PISを制御して、SNRを向上させることができる。これによって、音質を向上させることができる。
【０１１５】
また、図１８(A)に示すように、SNRが向上するにつれ、左右信号のセパレーションは悪化する（モノラル化する）ため、図１８(A)に示すSNRの変動に合わせて、セパレーションは、図１８(D)に示すように悪化するが、上述したように、パワー補正情報Pn,adj(t)を生成し、復号する際にパワー調整を行うようにしたので、左右信号のセパレーションも改善することができる。なお、図１８(B)，(C)，(D)において、線L1，L3，L5は、図８の符号化装置９１の特性を示し、線L2，L4，L6は、従来の符号化装置の特性を示している。
【０１１６】
上述した例においては、符号化の歪み率を検出し、その値に応じてミキシング係数を設定し、次のタイミングの入力信号をミキシングするとしたが、歪み率が所定の閾値以下となるまで、所定の帯域の入力信号が、繰り返しミキシングされるような構成にしてもよい。この場合、フィルタバンク１０１―１により生成された信号Ln(t)およびフィルタバンク１０１−２により生成された信号Ｒn(t)は図示しないメモリ等に蓄積され、適応ミキシング部１０２にフィードバックされた歪み率情報En(f)により再度ミキシング、領域変換および符号化が施される。
【０１１７】
図１９は、本発明を適用した復号装置の構成例を示すブロック図である。
【０１１８】
デマルチプレクサ１６１は、図示せぬ伝送路を介して供給された符号列Cを所定の帯域毎の符号列Cn，Cn-1，…，C1に分解し、それぞれの符号列Ciを対応する復号部（説明の便宜上、復号部１６２だけが示されている）に出力する。符号列Cnは、復号部１６２に供給される。
【０１１９】
復号部１６２は、入力された符号列Cnを、符号化方式に対応する復号方式により復号し、得られたスペクトル信号L'n(f)を領域変換部１６３−１に、スペクトル信号R'n(f)を領域変換部１６３−２に、それぞれ出力する。また、復号部１６２は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部１６４に供給する。
【０１２０】
領域変換部１６３は、入力されたスペクトル信号L'n(f)，R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix，R'n(t)mixをパワーウエイティング部１６４に出力する。
【０１２１】
パワーウエイティング部１６４は、通知されてきたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、領域変換部１６３から供給されてきた信号L'n(t)mix，R'n(t)mixのパワー補正を実行し、生成した信号L'n(t)をフィルタバンク１６５−１に、信号R'n(t)をフィルタバンク１６５−２に、それぞれ出力する。
【０１２２】
フィルタバンク１６５は、パワーウエイティング部１６４から供給されてきた信号L'n(t)，R'n(t)を、他の帯域の信号L'n-1(t)，…，L'1(t)，R'n-1(t)，…，R'1(t)と合成し、生成した全帯域のオーディオ信号L'(t)，R'(t)を復号装置１５１の外部に出力する。
【０１２３】
図２０は、パワーウエイティング部１６４の詳細な構成例を示すブロック図である。
【０１２４】
パワーウエイティング係数設定部１７１は、供給されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数cを乗算器１７２−１に、パワーウエイティング係数dを乗算器１７２−２に、それぞれ設定する。
【０１２５】
乗算器１７２−１は、入力された信号L'n(t)mixに対してパワーウエイティング係数cを乗算し、乗算器１７２−２は、入力されてきた信号R'n(t)mixに対してパワーウエイティング係数dを乗算し、得られた信号L'n(t)，R'n(t)がフィルタバンク１６５−１，１６５−２に出力される。
【０１２６】
図２１は、乗算器１７２−１の詳細な構成例を示すブロック図である（図示は省略するが、乗算器１７２−２も同様に構成される）。
【０１２７】
この例においては、バッファ１７２A，１７２Bが設けられており、現在（時刻t=0）、設定されているパワーウエイティング係数c(t0)がバッファ１２４Aに、直前に設定されていた（時刻t=1のときに設定されていた）パワーウエイティング係数c(t1)がバッファ１７２Bに、それぞれ記憶されるようになされている。
【０１２８】
すなわち、パワーウエイティング係数c(t)を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図２２の線（１）乃至（３）に示すように、直線的または曲線的にパワーウエイティング係数c(t)を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが２つ設けられることとしているが、３つ以上設けられるようにしてもよい。また、それぞれのパワーウエイティング係数を補間する補間関数は、１次でもよいし、２次または３次関数などにより補間するようにしてもよい。
【０１２９】
次に、図２３のフローチャートを参照して、図１９の復号装置１５１の復号処理について説明する。
【０１３０】
ステップS７１において、デマルチプレクサ１６１は、入力された符号列Cを所定の帯域数nの符号列Cn，Cn-1，…，C1に分割し、対応する復号部に出力する。
【０１３１】
復号部１６２は、ステップS７２で、正規化情報、量子化精度情報、符号帳番号などの組合せから復号方式を選択し、入力されてきた符号列Cnを復号し、得られたスペクトル信号L'n(f)を領域変換部１６３−１に、スペクトル信号R'n(f)を領域変換部１６３−２に、それぞれ出力する。また、復号部１６２は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部１６４に出力する。
【０１３２】
ステップS７３において、領域変換部１６３−１，１６３−２は、入力されたスペクトル信号L'n(f)，R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix，R'n(t)mixをパワーウエイティング部１６４に出力する。信号Ln'(t)mix，Rn'(t)mixは、符号化装置９１においてミキシングが施された可能性のある信号であり、ミキシング係数の設定によって、本来ステレオ信号であったものが、ほとんどモノラル信号となっている場合もある。そのため、ステップS７４において、パワーウエイティング部１６４は、通知されてきたパワー補正情報Pn,adj(t)に基づいて、パワーウエイティング処理を実行して擬似的なステレオ信号を再生する。パワーウエイティング処理の詳細は、図２４のフローチャートを参照して後述する。
【０１３３】
パワーウエイティング処理により得られた信号L'n(t)，R'n(t)は、それぞれフィルタバンク１６５−１，１６５−２に出力される。以上の処理は、各帯域毎に行われる。
【０１３４】
そして、フィルタバンク１６５は、ステップS７５で、パワーウエイティング部１６４から供給された信号L'n(t)，R'n(t)を、他の帯域の信号L'n-1(t)，…，L'1(t)，R'n-1(t)，…，R'1(t)と合成し、合成した全帯域のオーディオ信号L'(t)，R'(t)を、復号装置１５１の外部に出力する。
【０１３５】
次に、図２４のフローチャートを参照して、図２３のステップS７４において実行されるパワーウエイティング処理について説明する。
【０１３６】
ステップS９１において、パワーウエイティング係数設定部１７１は、復号部１６２から通知されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、乗算器１７２−１，１７２−２のパワーウエイティング係数c，dを設定する。
【０１３７】
ステップS９２において、乗算器１７２−１，１７２−２は、それぞれ、パワーウエイティング係数c，dを、入力された信号L'n(t)mix，R'n(t)mixに乗算し、生成した信号L'n(t)，R'n(t)をフィルタバンク１６５−１，１６５−２にそれぞれ出力する。
【０１３８】
例えば、上述したように、パワー補正部１２３において、パワー補正情報Pn,adj(t)（パワーウエイティング係数）がc=1.25，d=0.05とされ、パワーウエイティング係数設定部１７１により、それぞれのパワーウエイティング係数c，dが設定されている場合、乗算器１７２−１は、入力信号L'n(t)mixのパワーを1.25倍し、生成した信号L'n(t)をフィルタバンク１６５−１に出力する。また、乗算器１７２−２は、入力信号R'n(t)mixのパワーを0.05倍し、生成した信号R'n(t)をフィルタバンク１６５−２に出力する。
【０１３９】
これにより、符号化する際に、左右の信号のセパレーションが悪化した場合であっても擬似的なステレオ信号を再生することができる。
【０１４０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、符号化装置９１は、図２５に示されるようなパーソナルコンピュータ１８１により構成される。
【０１４１】
図２５において、CPU（Central Processing Unit）１９１は、ROM（Read Only Memory）１９２に記憶されているプログラム、または、記憶部１９８からRAM（Random Access Memory）１９３にロードされたプログラムに従って各種の処理を実行する。RAM１９３にはまた、CPU１９１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１４２】
CPU１９１、ROM１９２、およびRAM１９３は、バス１９４を介して相互に接続されている。このバス１９４にはまた、入出力インタフェース１９５も接続されている。
【０１４３】
入出力インタフェース１９５には、キーボード、マウスなどよりなる入力部１９６、CRT，LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１９７、ハードディスクなどより構成される記憶部１９８、モデム、ターミナルアダプタなどより構成される通信部１９９が接続されている。通信部１９９は、ネットワークを介しての通信処理を行う。
【０１４４】
入出力インタフェース１９５にはまた、必要に応じてドライブ２００が接続され、磁気ディスク２０１、光ディスク２０２、光磁気ディスク２０３、あるいは半導体メモリ２０４などが、適宜、装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部１９８にインストールされる。
【０１４５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータ１８１などに、ネットワークや記録媒体からインストールされる。
【０１４６】
この記録媒体は、図２５に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２０１（フロッピディスクを含む）、光ディスク２０２（CD-ROM，DVD(Digital Versatile Disk)を含む）、光磁気ディスク２０３（MD(Mini-Disk)を含む）、もしくは半導体メモリ２０４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１９２や、記憶部１９８に含まれるハードディスクなどで構成される。
【０１４７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４８】
【発明の効果】
本発明の符号化装置および方法、並びに記録媒体のプログラムによれば、入力信号に基づいて符号化方式を選択し、選択した符号化方式に基づいて、入力信号を符号化し、検出した歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングする。そして、ミキシングした入力信号に基づいて、符号化方式を選択するようにしたので、より高効率で、オーディオ信号を符号化することができる。
【図面の簡単な説明】
【図１】 MSステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図２】 ISステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図３】従来の符号化装置の構成例を示すブロック図である。
【図４】従来の他の符号化装置の構成例を示すブロック図である。
【図５】従来のさらに他の符号化装置の構成例を示すブロック図である。
【図６】従来の符号化装置の処理を説明するフローチャートである。
【図７】従来の符号化装置の動作と生成する信号の関係を示す図である
【図８】本発明を適用した符号化装置の構成例を示すブロック図である。
【図９】図８の適応ミキシング部の構成例を示すブロック図である。
【図１０】図９のミキシング係数設定部に記憶される情報の例を示す図である。
【図１１】図９のパワー補正部に記憶される情報の例を示す図である。
【図１２】図９の乗算器の構成例を示す図である。
【図１３】ミキシング係数の補間関数の例を示す図である。
【図１４】図８の符号化制御部の構成例を示すブロック図である。
【図１５】図８の符号化装置の処理を説明するフローチャートである。
【図１６】図１５のステップS１２において実行される処理の詳細を説明するフローチャートである。
【図１７】図１５のステップS１４において実行される処理の詳細を説明するフローチャートである。
【図１８】図８の符号化装置の動作と生成する信号の関係を示す図である
【図１９】本発明を適用した復号装置の構成例を示すブロック図である。
【図２０】図１９のパワーウエイティング部の構成例を示すブロック図である。
【図２１】図２０の乗算器の構成例を示すブロック図である。
【図２２】パワーウエイティング係数の補間関数の例を示す図である。
【図２３】図１９の復号装置の処理を説明するフローチャートである。
【図２４】図２３のステップS７４において実行される処理の詳細を説明するフローチャートである。
【図２５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
９１ 符号化装置， １０１−１および１０１−２ フィルタバンク， １０２ 適応ミキシング部， １０３−１および１０３−２ 領域変換部， １０４符号化制御部， １０５ 符号化部， １０６ 歪み率検出部， １０７ マルチプレクサ， １２１ パワー算出部， １２２ ミキシング係数設定部， １２３ パワー補正部， １２４−１および１２４−２ 乗算器， １２４Aおよび１２４B バッファ， １２５−１および１２５−２ 乗算器， １２６−１および１２６−２ 加算器， １４１−１および１４１−２ 正規化部， １４２−１ 加算器， １４２−２ 減算器， １４３ 比較部， １４４ 比較部， １５１ 復号装置， １６１ デマルチプレクサ， １６２ 復号部， １６３−１および１６３−２ 領域変換部， １６４ パワーウエイティング部， １６５−１および１６５−２ フィルタバンク， １７１ パワーウエイティング係数設定部， １７２−１および１７２−２ 乗算器， １７２Aおよび１７２B バッファ
【発明の属する技術分野】
本発明は、符号化装置および方法、並びに記録媒体に関し、特に、より高効率で、オーディオ信号を符号化できるようにした符号化装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、いわゆる「知覚オーディオ符号化器（復号器）」が開発され、従来のCD-ROM(Compact Disk-Read Only Memory)において、一般に使用されているビットレートの約１２分の１以下のビットレートで、高音質なオーディオ信号の伝送、および蓄積が可能となっている。
【０００３】
このような符号化器は、オーディオ信号に含まれる、人間の聴覚系の制限により聞き取ることができない波形部分を利用して符号化しており、ステレオオーディオ信号に対しては、例えば、MSステレオ符号化（中間部/側部ステレオ符号化）を利用した符号化器、およびISステレオ符号化（インテンシティステレオ符号化）を利用した符号化器が知られている。
【０００４】
図１は、MSステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【０００５】
ステレオオーディオ信号を構成する左信号Lと右信号Rは演算部１に入力され、加算器１−１において加算され、乗算器１−２に出力される。一方、それらの信号の差信号が減算器１−３において生成され、乗算器１−４に出力される。乗算器１−２および１−４において、加算器１−１および減算器１−３の出力に係数xが乗算されて和信号Mおよび差信号Sが生成され、符号化部２で符号化されて、記録メディアやネットワークなどよりなる伝送路３に出力される。
【０００６】
復号部４は、入力された符号列を復号処理し、和信号M'および差信号S'を生成する。和信号M'および差信号S'は、加算器５−１で加算され、乗算器５−２で係数yが乗算されて、左信号L'として出力される。また、和信号M'および差信号S'は、減算器５−３で減算され、乗算器５−４で係数yが乗算されて、右信号R'として出力される。例えば、係数xは0.5とされ、係数yは1.0とされる。
【０００７】
人間の聴覚に影響を与えるのは、差信号よりも和信号であり、このように、和信号Mと差信号Sを生成し、和信号Mに、より多くのデータ（ビット数）を割り当てることにより、それぞれを単独で符号化（デュアル符号化）するよりも、より高効率で符号化することができる。なお、MSステレオ符号化は、低い周波数帯域の信号に対して有効である。
【０００８】
図２は、ISステレオ符号化を利用した従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【０００９】
演算部１１に入力された右信号L、左信号Rは、加算器１１−１で加算され、それらの信号の相関関係によって求められるインテンシティ信号Iが生成される。また、左信号L、および右信号Rのそれぞれのパワーを示すパワー左信号Pl、パワー右信号Pr（エネルギーの内容を記述するスケーリング信号）が演算部１１で生成される。インテンシティ信号I、パワー左信号Pl、およびパワー右信号Prは、符号化部１２に入力され、符号化された後、伝送路１３に出力される。
【００１０】
復号部１４は、入力されてきた信号を復号し、得られたインテンシティ信号I'、パワー左信号Pl'、およびパワー右信号Pr'を演算部１５に出力する。演算部１５においては、乗算器１５−１がインテンシティ信号I'とパワー左信号P'lに基づいて、また、乗算器１５−２がインテンシティ信号I'とパワー右信号P'rに基づいて、それぞれ左信号L'、および右信号R'を再生し、外部に出力する。
【００１１】
ISステレオ符号化を利用して符号化することにより、人間の聴覚の時間差による位置検出能力は高域の信号ほど低いという特性を利用することができ、例えば、高い周波数帯域において、左右の信号をそれぞれ単独で符号化する場合に較べて、約半分のデータレートで符号化することができる。
【００１２】
ところで、MSステレオ符号化およびISステレオ符号化は、全ての入力信号に対して、同等の効果が得られるわけではない。例えば、MSステレオ符号化は、差信号Sが和信号Mに比べてエネルギーが小さくなる場合にのみ有効な手段であり、そうでない場合には、和信号M'および差信号S'から、左信号L'、右信号R'を再生する際に、符号化または復号(量子化/逆量子化)によって発生する量子化雑音が相互干渉を引起し、聴感上、明らかに聞こえる雑音を生じることがある。
【００１３】
また、IS符号化において、ステレオ信号の高周波成分を合成し、それを時間領域から周波数領域に変換して得られるスペクトルSPmと、本来のパワースペクトルPl，Prの包絡形状に高い相関がない場合、例えば、左信号Lがトランペットの信号であり、右信号Rがシンバルの信号であるような場合には、それぞれの音源（楽器）の位置関係を保存することができなくなり、聴感上、明らかに聞こえる雑音を生じることがある。
【００１４】
そこで、図３、図４、および図５に示すように、左右の信号をそれぞれ独立に符号化するデュアル符号化と、MSまたはISステレオ符号化を組み合わせ、入力信号に応じて、適宜、符号化方式を選択する符号化装置が考えられている。
【００１５】
図３は、時間領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【００１６】
フィルタバンク３１−１は、入力された左信号L(t)を、所定の周波数帯域の信号Ln(t)，Ln-1(t)，…，L1(t)（nは分割帯域数）に分割し、それぞれの信号を、対応するデュアル符号化部３２およびMS/IS符号化部３３に出力する。なお、図３においては、信号Ln(t)を処理するデュアル符号化部３２およびMS/IS符号化部３３のみが示されているが、信号Ln-1(t)，Ln-2(t)，…，L1(t)に対応する各符号化部がLn(t)を処理する符号化部と同様に設けられている。
【００１７】
また、フィルタバンク３１−２も、フィルタバンク３１−１と同様に、右信号R(t)を所定の周波数帯域の信号Rn(t)，Rn-1(t)，…，R1(t)に分割し、それぞれの信号をデュアル符号化部３２およびMS/IS符号化部３３に出力する。なお、以下において、フィルタバンク３１−１とフィルタバンク３１−２のそれぞれを、個々に区別する必要がない場合、まとめてフィルタバンク３１と称する。他の装置についても同様とする。
【００１８】
デュアル符号化部３２は、入力された信号をデュアル符号化方式により符号化（左信号Ln(t)と右信号Rn(t)をそれぞれ独立に符号化）し、得られたデータをスイッチ３５に出力する。また、デュアル符号化部３２は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(t)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(t)1を生成し、符号化制御部３４に供給する。
【００１９】
MS/IS符号化部３３は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ３５に出力する。また、MS/IS符号化部３３は、必要ビット数情報Bn(t)2、および歪み率情報En(t)2を生成し、符号化制御部３４に供給する。
【００２０】
符号化制御部３４は、デュアル符号化部３２、およびMS/IS符号化部３３から供給された情報に基づいて、歪み率の小さい符号化方式、または、必要ビット数が少ない符号化方式により符号化された符号列を選択するように、スイッチ３５の接点を切り替える。スイッチ３５により選択された符号列は、マルチプレクサ３６に入力される。
【００２１】
マルチプレクサ３６は、フィルタバンク３１により分割された各帯域毎の符号列Cn，Cn-1，…，C1を合成し、合成符号列Cを、図示せぬ伝送路などの符号化装置２１の外部の装置に出力する。
【００２２】
図４は、周波数領域において、入力信号を符号化する従来の符号化装置の構成例を示すブロック図である。
【００２３】
領域変換部５１−１は、入力された左信号L(t)を周波数領域にスペクトル変換し、生成したスペクトル信号Ln(f)を、デュアル符号化部５２およびMS/IS符号化部５３に出力する。また、領域変換部５１−２も、領域変換部５１−１と同様に、右信号R(t)をスペクトル変換し、得られたスペクトル信号Rn(f)を、デュアル符号化部５２およびMS/IS符号化部５３に出力する。
【００２４】
デュアル符号化部５２は、入力された信号をデュアル符号化方式により符号化し、得られた符号列をスイッチ５５に出力する。また、デュアル符号化部５２は、符号化したデータのデータ量に関する情報である必要ビット数情報Bn(f)1、および符号化する際の正弦波との歪み率に関する情報である歪み率情報En(f)1を生成し、符号化制御部５４に供給する。
【００２５】
MS/IS符号化部５３は、入力された信号をMSステレオ符号化方式、またはISステレオ符号化方式により符号化し、得られたデータをスイッチ５５に出力する。また、MS/IS符号化部５３は、必要ビット数情報Bn(f)2、および歪み率情報En(f)2を生成し、符号化制御部５４に供給する。
【００２６】
符号化制御部５４は、デュアル符号化部５２、およびMS/IS符号化部５３から供給された情報に基づいて、歪み率がより小さい符号化方式、または必要ビット数がより少ない符号化方式により符号化された符号列を選択するように、スイッチ５５を制御する。
【００２７】
図５は、図３の符号化装置２１、および図４の符号化装置３１を組み合わせて構成した、従来の符号化装置の構成例を示すブロック図である。
【００２８】
すなわち、この例においては、それぞれの入力信号L(t)，R(t)が、フィルタバンク７１−２，７１−２により所定数の帯域に分割され、分割されたそれぞれの信号が領域変換部７２−１，７２−２によりスペクトル変換される。変換されたスペクトル信号は、デュアル符号化部７３およびMS/IS符号化部７４により符号化される。符号化制御部７５とスイッチ７６においては、デュアル符号化部７３およびMS/IS符号化部７４において符号化された符号列のうち、より効率のいい（歪み率がより小さい、またはデータ量がより少ない）符号化方式による符号列が選択され、マルチプレクサ７７に出力される。そして、マルチプレクサ７７により、入力された全帯域のデータが合成されたのち、符号化装置６１の外部に出力される。
【００２９】
次に、図６のフローチャートを参照して、図３の符号化装置２１の符号化制御部３４の処理について説明する。なお、説明は省略するが、図４の符号化制御部５４、および図５の符号化制御部７５の処理も同様の処理である。また、この例においては、符号化制御部３４は、歪み率に基づいて符号化方式を選択するものとする。
【００３０】
ステップS１において、符号化制御部３４は、デュアル符号化部３２から通知されてきた歪み率情報En(t)1、およびMS/IS符号化部３３から通知されてきた歪み率情報En(t)2を比較する。そして、符号化制御部３４は、ステップS２において、デュアル符号化部３２から通知されてきた歪み率がMS/IS符号化部３３から通知されてきた歪み率より小さいか否かを判定し、小さいと判定した場合、ステップS３で、スイッチ３５を制御し、デュアル符号化部３２により符号化されたデータをマルチプレクサ３６に出力させる。
【００３１】
一方、符号化制御部３４は、ステップS２において、デュアル符号化部３２から通知されてきた歪み率がMS/IS符号化部３３から通知されてきた歪み率より大きいと判定した場合、ステップS４に進み、スイッチ３５を制御し、MS/IS符号化部３３により符号化されたデータをマルチプレクサ３６に出力させる。
【００３２】
同様の処理が、他の帯域においても行われる。これにより、より高効率な符号化方式により帯域毎に符号化された符号列Cが生成され、符号化装置２１の外部に出力される。
【００３３】
上述したように、それぞれの符号化方式の符号化効率を比較し、その結果に応じて、最適な方式を選択することにより、１つの符号化方式で符号化する場合に較べて、より高効率な符号化データを取得することができる。
【００３４】
図７(A)乃至(D)は、図３乃至図５の符号化装置におけるMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISと、符号化（量子化）された信号の信号対雑音比SNR(signal power to noise power ratio)と、左右信号のセパレーションの関係の例を示す図である。
【００３５】
図７(A)に示すように、横軸に示される確率PMSまたはPISと、縦軸に示されるSNRは比例しており、確率PMSまたはPISが１００％（モノラル）に近づくにつれ、SNRは向上する。
【００３６】
図７(B)は、確率PMSまたはPISの時間的変化を示す図であり、図７(C)は、SNRの時間的変化を示す図である。これらの図に示すように、それぞれの波形は、同位相の波形となり、入力信号に応じて確率PMSまたはPISを上げることにより、符号化効率は向上するため、SNRも向上し、音質が向上する。そのため、符号化効率の観点からは、確率PMSまたはPISが高いことが好ましい。
【００３７】
しかしながら、確率PMSが高いということは、左右の信号に高い相関があるということを示しており、確率PISが高いということは、パワーレベルこそ違えども、符号化されるインテンシティ信号およびスペクトルは１チャネル分であることを示している。すなわち、確率PMSまたはPISが高いということは、ステレオ信号がモノラル化することを示しており、図７(D)に示すように、左右信号のセパレーションは、確率PMS/PISの増加に伴って悪化する。
【００３８】
また、確率PMSまたはPISと、SNRは連動しているため、確率PMSまたはPISの値が高いと、入力信号の性質または時間変化によって、SNRが聴覚心理モデルにおける知覚限界雑音レベル（それ以上SNRが下がると、ノイズとして感知出来るレベル）以下にまで達してしまうおそれがある。従って、総合的には、確率PMSまたはPISの値が高いことは必ずしも好ましいことではない。
【００３９】
【発明が解決しようとする課題】
ところで、図３乃至図５に示すような符号化装置においては、MSステレオ符号化、またはISステレオ符号化により符号化した場合の効率と、デュアル符号化により符号化した場合の効率とで、どちらが優れているかという判断は、２つの符号化処理を実際に実行しないとわからないため、それぞれの符号化部の処理量が増大するという課題があった。
【００４０】
また、MSステレオ符号化またはISステレオ符号化がON状態のとき、符号化効率を高く（量子化雑音を低く）することができるが、OFF状態のときは、そのような効果は得られない。したがって、MSステレオ符号化またはISステレオ符号化がON状態のときとOFF状態のときとでは、時間的な音質変動が大きく、聴者に、聴感上、大きな違和感を感じさせてしまうことがあるという課題もある。
【００４１】
本発明はこのような状況に鑑みてなされたものであり、聴者に違和感を感じさせることを抑制しつつ、より高効率で、オーディオ信号を符号化または復号できるようにしたものである。
【００４２】
【課題を解決するための手段】
本発明の符号化装置は、入力信号に基づいて符号化方式を選択する符号化方式選択手段と、符号化方式選択手段により選択された符号化方式に基づいて、入力信号を符号化する符号化手段と、符号化手段による符号化の歪み率を検出する歪み率検出手段と、歪み率検出手段により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシング手段とを備え、符号化方式選択手段は、ミキシング手段によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００４３】
符号化手段により符号化された入力信号を復号するときの出力補正情報を生成する出力補正情報生成手段をさらに備えるようにすることができる。
【００４４】
符号化方式選択手段は、符号化装置の構成により決定される閾値に基づいて、入力信号の符号化方式を選択するようにすることができる。
【００４５】
符号化方式選択手段は、デュアル符号化方式、MSステレオ符号化方式、ISステレオ符号化方式のいずれかから符号化方式を選択するようにすることができる。
【００４６】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関が低いとき、デュアル符号化方式により符号化することを選択するようにすることができる。
【００４７】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関を、左右成分の差信号の総和に対する和信号の総和の比を用いて判定するようにすることができる。
【００４８】
符号化方式選択手段は、入力信号をミキシングして得られる信号の左右成分の相関が高いとき、MSステレオ符号化方式、ISステレオ符号化方式のどちらを選択するかを、入力信号の左右成分の差信号の絶対値の最大値に基づいて決定するようにすることができる。
【００４９】
ミキシング手段は、ミキシング割合を記憶し、直前に決定されたミキシング割合と、現在決定されているミキシング割合の補間関数に基づいてミキシング割合を変化させるようにすることができる。
【００５０】
入力信号を記憶する入力信号記憶手段をさらに備え、ミキシング手段は、入力信号を符号化した際の歪み率に基づいて、同じ入力信号の左右成分を再度ミキシングするようにすることができる。
【００５１】
本発明の符号化装置の符号化方法は、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００５２】
本発明の記録媒体のプログラムは、入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、符号化方式選択ステップの処理により選択された符号化方式に基づいて、入力信号を符号化する符号化ステップと、符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、歪み率検出ステップの処理により検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングするミキシングステップとを含み、符号化方式選択ステップの処理は、ミキシングステップの処理によりミキシングされた入力信号に基づいて、符号化方式を選択することを特徴とする。
【００５６】
本発明の符号化装置および方法、並びに記録媒体のプログラムにおいては、入力信号に基づいて符号化方式が選択され、選択された符号化方式に基づいて、入力信号が符号化され、検出された歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分がミキシングされる。また、ミキシングされた入力信号に基づいて、符号化方式が選択される。
【００５８】
【発明の実施の形態】
図８は、本発明を適用した符号化装置の構成例を示すブロック図である。
【００５９】
フィルタバンク１０１−１は、入力されたオーディオ信号のうちの左信号L(t)をn個の周波数帯域の信号Ln(t)，Ln-1(t)，…，L1(t)に分割し、生成した信号Ln(t)を適応ミキシング部１０２に出力する。また、フィルタバンク１０１−２も、フィルタバンク１０１−１と同様に、入力されてきたオーディオ信号のうちの右信号R(t)をn個の周波数帯域の信号Rn(t)，Rn-1(t)，…，R1(t)に分割し、生成した信号Rn(t)を適応ミキシング部１０２に出力する。図示は省略するが、信号Ln-1(t)，…，L1(t)，Rn-1(t)，…，R1(t)についても、同様に対応する処理部が設けられている。
【００６０】
適応ミキシング部１０２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、信号Ln(t)，Rn(t)に対して、ミキシング処理を施し、信号Ln(t)mix，Rn(t)mixを生成する（その詳細は、図９を参照して後述する）。生成された信号Ln(t)mix、およびRn(t)mixは、それぞれ領域変換部１０３−１，１０３−２に供給される。後述するように、歪み率検出部１０６は、符号化部１０５における符号化の結果に応じて歪み率情報En(f)を生成するので、動作の初期状態では、ミキシング比率は０とされる。すなわち、信号L0(t)，R0(t)に対し、ミキシング処理は施されない。
【００６１】
また、適応ミキシング部１０２は、左右の信号の出力を補正するパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。
【００６２】
領域変換部１０３−１は、供給された信号Ln(t)mixに対して、例えば、MDCT(Modified Discrete Cosine Transform)などの領域変換を施し、生成したスペクトル信号Ln(f)を、符号化制御部１０４および符号化部１０５に出力する。同様に、領域変換部１０３−２は、供給されてきた信号Rn(t)mixを領域変換し、生成したスペクトル信号Rn(f)を、符号化制御部１０４および符号化部１０５に出力する。
【００６３】
符号化制御部１０４は、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)に基づいて、符号化部１０５において実行される符号化処理の符号化方式を選択し、符号化部１０５を制御する。
【００６４】
符号化部１０５は、符号化制御部１０４からの制御に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)を符号化し、得られたデータ列Cnをマルチプレクサ１０７に出力する。以上の処理は、他の周波数帯域の信号Ln-1(t)，…，L1(t)，Rn-1(t)，…，R1(t)においても同様に行われる。
【００６５】
マルチプレクサ１０７は、符号化部１０５から供給されてきた所定の帯域の符号列Cnを、他の帯域の符号列Cn-1，…，C1と合成し、合成オーディオデータCを符号化装置９１の外部に設けられる図示せぬ装置や、ネットワークなどに出力する。合成オーディオデータCには、適応ミキシング部１０２から通知されたパワー補正情報Pn,adj(t)や、いずれの符号化方式により符号化されたかなどの情報も含まれる。
【００６６】
図９は、図８の適応ミキシング部１０２の詳細な構成例を示すブロック図である。
【００６７】
パワー算出部１２１は、フィルタバンク１０１−１，１０１−２により所定の帯域に分割された信号Ln(t)，Rn(t)から、それぞれの信号のパワー値Pln，Prnを算出し、パワー補正部１２３に出力する。
【００６８】
ミキシング係数設定部１２２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、内蔵する記憶部に記憶されている対応テーブルからミキシング係数を抽出し、乗算器１２４−１，１２４−２のミキシング係数aと、乗算器１２５−１，１２５−２のミキシング係数bを設定する。また、ミキシング係数設定部１２２は、抽出したミキシング係数a，bをパワー補正部１２３に通知する。
【００６９】
乗算器１２４−１，１２４−２は、それぞれ、ミキシング係数設定部１２２により設定されたミキシング係数aを、入力された信号Ln(t)，Rn(t)に乗算し、得られた信号を加算器１２６−１，１２６−２に出力する。乗算器１２５−１，１２５−２は、それぞれ、ミキシング係数設定部１２２により設定されたミキシング係数bを、入力された信号Rn(t)，Ln(t)に乗算し、得られた信号を加算器１２６−１，１２６−２に出力する。
【００７０】
加算器１２６−１は、乗算器１２４−１で係数aが乗算された左信号Ln(t)と、乗算器１２５−１で係数bが乗算された右信号Rn(t)を加算し、加算結果を信号Ln(t)mixとして、領域変換部１０３−１に出力する。また、加算器１２６−２は、乗算器１２４−２で係数aが乗算された右信号Rn(t)と、乗算器１２５−２で係数bが乗算された左信号Ln(t)を加算し、信号Rn(t)mixとして、領域変換部１０３−２に出力する。
【００７１】
図１０は、ミキシング係数設定部１２２の図示せぬ記憶部に記憶されている、歪み率情報En(f)とミキシング係数a，bの対応テーブルの例を示す図である。
【００７２】
この例では、歪み率情報En(f)はパーセントで示されており、以下、この値をEと記載する。例えば、E=0%は、知覚雑音がゼロであることを意味する。また、E=100％は、すべてのスペクトル領域において、雑音が知覚できるレベルであることを意味する。
【００７３】
この例においては、歪み率E=0%に対応して、ミキシング係数a=1.00，b=0.00が設定されている。この場合、左右の入力信号Ln(t)，Rn(t)がミキシングされないため、完全に分離された状態（完全ステレオ）で符号化が行われる。また、歪み率E=100%に対応して、ミキシング係数a=0.50，b=0.50が設定されている。この場合、左右の入力信号Ln(t)，Rn(t)が同比率でミキシングされ、完全に単一化された状態（完全モノラル）で符号化が行われる。
【００７４】
パワー補正部１２３は、パワー算出部１２１から供給されてきた信号Ln(t)，Rn(t)のパワー値Pln，Prn、およびミキシング係数設定部１２２から通知されたミキシング係数a，bに基づいて、後述する復号装置１５１（図１９）においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。すなわち、パワー補正部１２３は、図示せぬ記憶部に、パワー補正情報Pn,adj(t)、ミキシング係数a，b、およびパワー値Pln，Prnなどの関係を記述した対応テーブルを記憶している。
【００７５】
図１１は、パワー補正部１２３に記憶されている対応テーブルの例を示す図である。
【００７６】
この例においては、パワー算出部１２１において算出されたパワー値Pln，Prn、歪み率情報En(f)、ミキシング係数a，b、復号装置１５１において、再生される信号Ln'(t)mix，Rn'(t)mixのパワー値Plnmix，Prnmixおよびパワー補正情報Pn,adj(t)が対応づけられている。この例では、パワー補正情報Pn,adj(t)は、復号装置１５１において設定されるパワーウエイティング係数c，dで表されている。
【００７７】
例えば、図１１の２段目に示すように、信号Ln(t)のパワー値がPln=1.0、信号Rn(t)のパワー値がPrn=1.0で、かつ、歪み率E=0%であるとき、図１０に示した対応表から、ミキシング係数がa=1.00，b=0.00で設定される。復号装置１５１における信号L'n(t)mixのパワー値はPlnmix=1.0とされ、信号R'n(t)mixのパワー値はPrnmix=1.0とされる。パワー補正情報Pn,adj(t)は、再生信号を、入力信号に近づける係数を含んでいるため、信号L'n(t)mixのパワーを補正するための係数がc=1.00とされ、信号R'n(t)mixのパワーを補正するための係数がd=1.00とされる。
【００７８】
図１２は、乗算器１２４−１の詳細な構成例を示すブロック図である（図示は省略するが、乗算器１２４−２も同様に構成される）。
【００７９】
この例においては、バッファ１２４A，１２４Bが設けられており、現在（時刻t=0）、設定されているミキシング係数a(t0)がバッファ１２４Aに、直前に設定されていた（時刻t=1のときに設定されていた）ミキシング係数a(t1)がバッファ１２４Bに、それぞれ記憶されるようになされている。
【００８０】
ミキシング係数を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図１３の曲線（１）乃至（３）に示すように、直線的、または曲線的にミキシング係数を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが２つ設けられることとしているが、３つ以上設けられるようにしてもよい。また、それぞれのミキシング係数を補間する補間関数は、１次でもよいし、２次または３次関数などとしてもよい。当然、乗算器１２５−１，１２５−２にも、同様に、バッファが設けられ、ミキシング係数bが記憶され、補間関数に基づいてミキシング係数が変化されるようにすることもできる。
【００８１】
図１４は、図８の符号化制御部１０４の詳細な構成例を示すブロック図である。
【００８２】
正規化部１４１−１は、領域変換部１０３−１から入力されたスペクトル信号Ln(f)を、分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化し、正規化スペクトル信号ln(f)を生成し、加算器１４２−１、および減算器１４２−２に出力する。同様に、正規化部１４１−２は、領域変換部１０３−２から入力されてきたスペクトル信号Rn(f)を正規化し、正規化スペクトル信号rn(f)を生成し、加算器１４２−１、および減算器１４２−２に出力する。正規化スペクトル信号ln(f)，rn(f)は、加算器１４２−１、減算器１４２−２において、それぞれスペクトル上で加算または減算され、生成された信号sn(f)(=|ln(f)+rn(f)|)，dn(f)(=|ln(f)-rn(f)|)が、比較部１４３に供給される。
【００８３】
比較部１４３は、入力された信号sn(f)，dn(f)のそれぞれの分割周波数帯域毎の総和値S，Dを算出し、その比S/Dに基づいて、符号化部１０５において行われるスペクトル信号Ln(f)，Rn(f)の符号化方式を選択する。なお、比較部１４３においては、デュアル符号化により符号化するか否かが判定され、MSステレオ符号化およびISステレオ符号化のどちらを用いてスペクトル信号Ln(f)，Rn(f)を符号化するかは、後述する比較部１４４において判定される。
【００８４】
比較部１４４は、比較部１４３から通知された正規化スペクトル信号ln(f)，rn(f)の差成分dn(f)(=ln(f)-rn(f))に基づいて、MSステレオ符号化、またはISステレオ符号化のうち、いずれの符号化方式によりスペクトル信号Ln(f)，Rn(f)を符号化するかを選択する。
【００８５】
次に、図１５のフローチャートを参照して、図８の符号化装置９１の動作について説明する。
【００８６】
ステップS１１において、フィルタバンク１０１は、入力されたオーディオ信号を所定の周波数帯域毎に分割し、生成した信号を適応ミキシング部１０２に出力する。すなわち、フィルタバンク１０１−１は、左信号L(t)をn個の帯域に分割し、左信号Ln(t)を適応ミキシング部１０２に出力する。また、フィルタバンク１０１−２は、右信号R(t)をn個の帯域に分割し、左信号Rn(t)を適応ミキシング部１０２に出力する。
【００８７】
ステップS１２において、適応ミキシング部１０２は、歪み率検出部１０６から通知された歪み率情報En(f)に基づいて、入力された信号Ln(t)，Rn(t)に対し、ミキシング処理を施す。ミキシング処理の詳細については、図１６のフローチャートを参照して後述する。
【００８８】
ミキシング処理により生成された信号Ln(t)mix、およびRn(t)mixは、領域変換部１０３に供給され、ステップS１３で、それぞれMDCTなどにより、時間領域から周波数領域のスペクトル信号に変換され、変換後のスペクトル信号Ln(f)，Rn(f)が、符号化制御部１０４および符号化部１０５に出力される。
【００８９】
ステップS１４において、符号化制御部１０４は、符号化部１０５に入力されたスペクトル信号Ln(f)，Rn(f)の符号化方式を制御する処理を行う。符号化制御処理の詳細については、図１７のフローチャートを参照して後述する。
【００９０】
ステップS１５において、符号化部１０５は、符号化制御部１０４からの指示に基づいて、デュアル符号化、MSステレオ符号化、またはISステレオ符号化を選択し、領域変換部１０３から供給されたスペクトル信号Ln(f)，Rn(f)を、選択された方式で符号化し、得られた符号列Cnをマルチプレクサ１０７に出力する。なお、いずれの符号化方式により符号化したかは、例えば、スペクトル信号を符号化する際に、参照される符号帳を識別する情報、量子化の精度に関する情報、または、正規化情報などの組み合わせなどにより、復号装置１５１において、一意的に決定されるようになされている。
【００９１】
歪み率検出部１０６は、符号化部１０５で実行される符号化処理の歪み率を検出し、歪み率情報En(f)を生成する。生成された歪み率情報En(f)は、ステップS１６において、適応ミキシング部１０２に通知され、以降の処理に利用される。以上の処理は、全ての帯域において行われる。
【００９２】
ステップS１７において、マルチプレクサ１０７は、符号化部１０５から供給された符号列Cnを、他の帯域の符号化部からの符号列Cn-1，Cn-2，…，C1と合成し、取得した合成符号列Cを符号化装置９１の外部に設けられる図示せぬ装置やネットワークなどに出力する。なお、合成符号列Cには、適応ミキシング部１０２から通知されたパワー補正情報Pn,adj(t)などの情報が含まれる。
【００９３】
次に、図１６のフローチャートを参照して、図１５のステップS１２において実行される適応ミキシング部１０２のミキシング処理について説明する。
【００９４】
ステップS３１において、ミキシング係数設定部１２２は、歪み率検出部１０６から歪み率情報En(f)が通知されたか否かを判定し、通知されたと判定したとき、ステップS３２に進み、歪み率情報En(f)に基づいて、乗算器１２４，１２５のミキシング係数a，bを設定する。ミキシング係数設定部１２２は、例えば、歪み率E=10%であることが通知されたとき、図１０に示すような対応テーブルから、ミキシング係数a=0.95，b=0.05を抽出し、乗算器１２４のミキシング係数aを「0.95」と設定し、また、乗算器１２５のミキシング係数bを「0.05」と設定する。ミキシング係数設定部１２２は、設定したミキシング係数をパワー補正部１２３に通知する。
【００９５】
一方、ステップS３１で、歪み率検出部１０６から歪み率情報En(f)が通知されていないと判定された場合、ステップS３３において、ミキシング係数設定部１２２は、初期状態のミキシング係数を、乗算器１２４，１２５に、それぞれ設定する。すなわち、上述したように、初期状態では歪み率E=0%となっており、ミキシング係数a=1.00、b=0.00が設定される。
【００９６】
ステップS３４において、加算器１２６−１は、乗算器１２４−１で左信号Ln(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器１２５−１で右信号Rn(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Ln(t)mixを生成し、領域変換部１０３−１に出力する。
【００９７】
ステップS３５において、加算器１２６−２は、乗算器１２４−２で右信号Rn(t)にミキシング係数aが乗算されることにより得られた信号と、乗算器１２５−２で左信号Ln(t)にミキシング係数bが乗算されることにより得られた信号を加算し、ミキシング信号Rn(t)mixを生成し、領域変換部１０３−２に出力する。
【００９８】
すなわち、ステップS３４，S３５により、上述したミキシング係数（a=0.95，b=0.05）がそれぞれの乗算器１２４，１２５に設定されている場合、左右の信号Ln(t)，Rn(t)の一方は、他方の5%がミキシングされた上で、領域変換部１０３に出力される。また、初期状態の場合、左右信号Ln(t)，Rn(t)がミキシングされずに、完全ステレオの状態で領域変換部１０３に出力される。
【００９９】
ステップS３６において、パワー算出部１２１は、フィルタバンク１０１により所定の帯域に分割された信号Ln(t)，Rn(t)のパワー値Pln，Prnを算出し、パワー補正部１２３に通知する。
【０１００】
ステップS３７において、パワー補正部１２３は、パワー算出部１２１から供給された信号Ln(t)，Rn(t)のパワー値Pln，Prn、およびミキシング係数設定部１２２から通知されたミキシング係数a，bに基づいて、後述する復号装置１５１（図１９参照）においてパワー補正されるときに利用されるパワー補正情報Pn,adj(t)を生成し、マルチプレクサ１０７に出力する。
【０１０１】
例えば、パワー算出部１２１から、信号Ln(t)のパワー値Pln=5.0，Rn(t)のパワー値Prn=1.0が通知され、ミキシング係数設定部１２２から、ミキシング係数a=0.75，b=0.25であることが通知された場合（歪み率E=50%の場合）、図１１の上から４段目に示すように、パワー補正情報Pn,adj(t)（パワーウエイティング係数）として、c=1.25，d=0.50が抽出される。すなわち、復号装置１５１においては、信号Ln(t)のデータを復号したとき得られる信号L'n(t)mixが、パワー値Plnmix=4.0で再生され、信号Rn(t)のデータを復号したとき得られる信号R'n(t)mixが、パワー値Prnmix=2.0で再生されるため、再生信号に乗算したときに、入力信号と等しくなるパワーウエイティング係数c，dが抽出され、マルチプレクサ１０７に出力される。
【０１０２】
例えば、適応ミキシング部１０２は、歪み率が高い場合には、左右信号をモノラル的に変化させるように、ミキシング係数を設定し、MSステレオ符号化またはISステレオ符号化の動作確率を高める。これにより、SNRを高くすることができ、歪み率を低くすることができる。また、上述したように、フィードバックされてきた歪み率情報に基づいて、ミキシング係数を設定することにより、正規化されたスペクトルln(f)，rn(f)の領域では高い相関がなかった領域において、高い相関をもつ領域が生成されることとなる。さらに、復号装置においては、パワー補正情報Pn,adj(t)に基づいてパワー補正が行われるため、左右の信号のセパレートが保存される。
【０１０３】
次に、図１７のフローチャートを参照して、図１５のステップS１４において実行される符号化制御部１０４の符号化制御処理について説明する。
【０１０４】
ステップS５１において、正規化部１４１は、入力された信号を分割周波数帯域毎、または同一の分割周波数帯域内のスペクトルを何本かでまとめた小領域の範囲毎に正規化する。生成された正規化スペクトル信号ln(f)，rn(f)は、加算器１４２−１および減算器１４２−２に供給され、ステップS５２において、正規化スペクトル信号の和信号sn(f)(=|ln(f)+rn(f)|)が加算器１４２−１により、差信号dn(f) (=|ln(f)-rn(f)|)が減算器１４２−２により、それぞれ生成される。生成された正規化スペクトル信号の和信号sn(f)および差信号dn(f)は、比較部１４３に供給される。
【０１０５】
ステップS５３において、比較部１４３は、入力された信号sn(f)の全帯域の総和値Sを次式（１）により、信号dn(f)の正規化された範囲の総和値Dを次式（２）によりそれぞれ算出する。
【数１】
【０１０６】
正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が似ている（相関が高い）ほど、総和値Sが大きく、総和値Dが小さくなる。逆に、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)が異なる（相関が低い）場合には、総和値Sと総和値Dは同じような値となるため、総和値S，Dの比(総和値比S/D)を算出することにより、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関関係を取得することができる。例えば、総和値比S/Dは、その値が「1」より大きい場合には、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関が高いことを示している。
【０１０７】
そして、比較部１４３は、ステップS５４において、ステップS５３で算出した総和値比S/Dが、分割された周波数帯域、または正規化された小領域毎に予め設定されている許容誤差レベル（閾値）Thrより小さいか否かを判定する。比較部１４３は、総和値比S/Dが許容誤差レベルThrより小さいと判定したとき、ステップS５５に進み、符号化部１０５に入力されているスペクトル信号Ln(f)，Rn(f)を、デュアル符号化により符号化することを選択し、符号化部１０５に通知する。すなわち、許容誤差レベルは、総和値比S/Dが所定のレベル以上であれば（正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)に所定レベル以上の相関があれば）、強制的にMSまたはISステレオ符号化により符号化すべく設定される。なお、本実施例では、上記総和値ＳおよびＤの比を用いて正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)の相関を判定しているが、相関の判定方法は当然これに限られるものではなく、ln(f)とrn(f)の絶対値を比較して相関係数を得るなど、他のパラメータを用いて判定してもよい。
【０１０８】
一方、ステップS５４において、比較部１４３は、総和値比S/Dが許容誤差レベルThrより大きいと判定したとき、その旨を比較部１４４に通知する。そして、比較部１４４は、ステップS５６において、対象としている帯域のスペクトルに対するdn(f)の最大値が、復号装置１５１で実現可能な量子化精度レベルThqより大きいか否かを判定する。すなわち、比較部１４４は、差信号dn(f)を符号化する必要がある場合にはMSステレオ符号化を選択し、符号化する必要がない場合にはISステレオ符号化を選択する。
【０１０９】
比較部１４４は、ステップS５６において、dn(f)の最大値が量子化精度レベルThqより大きいと判定した場合、ステップS５７に進み、符号化部１０５に入力されるスペクトル信号Ln(f)，Rn(f)を、MSステレオ符号化により符号化することを選択し、符号化部１０５に通知する。また、比較部１４４は、ステップS５６で、dn(f)の最大値が量子化精度レベルThqより小さいと判定した場合、ステップS５８に進み、符号化部１０５に入力されるスペクトル信号Ln(f)，Rn(f)を、ISステレオ符号化により符号化することを選択し、符号化部１０５に通知する。
【０１１０】
これにより、たとえ、正規化スペクトル信号ln(f)と正規化スペクトル信号rn(f)は高い相関があり、MSまたはISステレオ符号化よりも、デュアル符号化の方が、より高いSNRを実現できる可能性があっても、総和値比S/Dが、聴感上、ノイズとして聞き取ることができない閾値より高い場合には、MSまたはISステレオ符号化により入力信号が符号化される。
【０１１１】
また、差信号dn(f)が符号化されない場合であっても、左右信号の正規化に関する情報は符号化されているため、ISステレオ符号化も、MSステレオ符号化と等価と考えることができる。これにより、MSステレオ符号化を行う処理部と、ISステレオ符号化を行う処理部を別々に設けることがなくなり、符号化装置９１を、より小さく構成することができる。
【０１１２】
なお、許容誤差レベルThrは、領域変換のブロック長や、ビットアロケーションなどの符号化システムの構成に応じて設定される。また、量子化精度レベルThqは、符号化装置９１で実現可能な最高量子化精度レベルを設定してもよいし、周波数帯域毎に量子化精度レベルThq(f)を設定するようにしてもよい。すなわち、量子化精度レベルThqも、許容誤差レベルThrと同様に、システムに応じて設定される。
【０１１３】
図１８は、符号化装置９１におけるセパレーションと信号対雑音比SNRとの関係（図１８(A)）、符号化（量子化）された信号の信号対雑音比SNRの時間的変化（図１８(B)）、MSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISの時間的変化（図１８(C)）、および、左右信号のセパレーションの時間的変化（図１８(D)）を示す図である。
【０１１４】
図１８(B)および図１８(C)に示すように、信号対雑音比SNRとMSステレオ符号化の動作時間確率PMS、またはISステレオ符号化の動作時間確率PISは連動しているため、上述したようにミキシング係数を適宜変動させることにより、PMS，PISを制御して、SNRを向上させることができる。これによって、音質を向上させることができる。
【０１１５】
また、図１８(A)に示すように、SNRが向上するにつれ、左右信号のセパレーションは悪化する（モノラル化する）ため、図１８(A)に示すSNRの変動に合わせて、セパレーションは、図１８(D)に示すように悪化するが、上述したように、パワー補正情報Pn,adj(t)を生成し、復号する際にパワー調整を行うようにしたので、左右信号のセパレーションも改善することができる。なお、図１８(B)，(C)，(D)において、線L1，L3，L5は、図８の符号化装置９１の特性を示し、線L2，L4，L6は、従来の符号化装置の特性を示している。
【０１１６】
上述した例においては、符号化の歪み率を検出し、その値に応じてミキシング係数を設定し、次のタイミングの入力信号をミキシングするとしたが、歪み率が所定の閾値以下となるまで、所定の帯域の入力信号が、繰り返しミキシングされるような構成にしてもよい。この場合、フィルタバンク１０１―１により生成された信号Ln(t)およびフィルタバンク１０１−２により生成された信号Ｒn(t)は図示しないメモリ等に蓄積され、適応ミキシング部１０２にフィードバックされた歪み率情報En(f)により再度ミキシング、領域変換および符号化が施される。
【０１１７】
図１９は、本発明を適用した復号装置の構成例を示すブロック図である。
【０１１８】
デマルチプレクサ１６１は、図示せぬ伝送路を介して供給された符号列Cを所定の帯域毎の符号列Cn，Cn-1，…，C1に分解し、それぞれの符号列Ciを対応する復号部（説明の便宜上、復号部１６２だけが示されている）に出力する。符号列Cnは、復号部１６２に供給される。
【０１１９】
復号部１６２は、入力された符号列Cnを、符号化方式に対応する復号方式により復号し、得られたスペクトル信号L'n(f)を領域変換部１６３−１に、スペクトル信号R'n(f)を領域変換部１６３−２に、それぞれ出力する。また、復号部１６２は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部１６４に供給する。
【０１２０】
領域変換部１６３は、入力されたスペクトル信号L'n(f)，R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix，R'n(t)mixをパワーウエイティング部１６４に出力する。
【０１２１】
パワーウエイティング部１６４は、通知されてきたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、領域変換部１６３から供給されてきた信号L'n(t)mix，R'n(t)mixのパワー補正を実行し、生成した信号L'n(t)をフィルタバンク１６５−１に、信号R'n(t)をフィルタバンク１６５−２に、それぞれ出力する。
【０１２２】
フィルタバンク１６５は、パワーウエイティング部１６４から供給されてきた信号L'n(t)，R'n(t)を、他の帯域の信号L'n-1(t)，…，L'1(t)，R'n-1(t)，…，R'1(t)と合成し、生成した全帯域のオーディオ信号L'(t)，R'(t)を復号装置１５１の外部に出力する。
【０１２３】
図２０は、パワーウエイティング部１６４の詳細な構成例を示すブロック図である。
【０１２４】
パワーウエイティング係数設定部１７１は、供給されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数cを乗算器１７２−１に、パワーウエイティング係数dを乗算器１７２−２に、それぞれ設定する。
【０１２５】
乗算器１７２−１は、入力された信号L'n(t)mixに対してパワーウエイティング係数cを乗算し、乗算器１７２−２は、入力されてきた信号R'n(t)mixに対してパワーウエイティング係数dを乗算し、得られた信号L'n(t)，R'n(t)がフィルタバンク１６５−１，１６５−２に出力される。
【０１２６】
図２１は、乗算器１７２−１の詳細な構成例を示すブロック図である（図示は省略するが、乗算器１７２−２も同様に構成される）。
【０１２７】
この例においては、バッファ１７２A，１７２Bが設けられており、現在（時刻t=0）、設定されているパワーウエイティング係数c(t0)がバッファ１２４Aに、直前に設定されていた（時刻t=1のときに設定されていた）パワーウエイティング係数c(t1)がバッファ１７２Bに、それぞれ記憶されるようになされている。
【０１２８】
すなわち、パワーウエイティング係数c(t)を変化させた場合、そのときに出力される信号に不連続点が生じることがある。そのため、図２２の線（１）乃至（３）に示すように、直線的または曲線的にパワーウエイティング係数c(t)を変化させることにより、不連続点が発生することを抑制することができる。なお、この例においては、バッファが２つ設けられることとしているが、３つ以上設けられるようにしてもよい。また、それぞれのパワーウエイティング係数を補間する補間関数は、１次でもよいし、２次または３次関数などにより補間するようにしてもよい。
【０１２９】
次に、図２３のフローチャートを参照して、図１９の復号装置１５１の復号処理について説明する。
【０１３０】
ステップS７１において、デマルチプレクサ１６１は、入力された符号列Cを所定の帯域数nの符号列Cn，Cn-1，…，C1に分割し、対応する復号部に出力する。
【０１３１】
復号部１６２は、ステップS７２で、正規化情報、量子化精度情報、符号帳番号などの組合せから復号方式を選択し、入力されてきた符号列Cnを復号し、得られたスペクトル信号L'n(f)を領域変換部１６３−１に、スペクトル信号R'n(f)を領域変換部１６３−２に、それぞれ出力する。また、復号部１６２は、符号列Cnから取得したパワー補正情報Pn,adj(t)をパワーウエイティング部１６４に出力する。
【０１３２】
ステップS７３において、領域変換部１６３−１，１６３−２は、入力されたスペクトル信号L'n(f)，R'n(f)に対して逆MDCTなどを利用して時間領域の信号に変換し、得られた信号L'n(t)mix，R'n(t)mixをパワーウエイティング部１６４に出力する。信号Ln'(t)mix，Rn'(t)mixは、符号化装置９１においてミキシングが施された可能性のある信号であり、ミキシング係数の設定によって、本来ステレオ信号であったものが、ほとんどモノラル信号となっている場合もある。そのため、ステップS７４において、パワーウエイティング部１６４は、通知されてきたパワー補正情報Pn,adj(t)に基づいて、パワーウエイティング処理を実行して擬似的なステレオ信号を再生する。パワーウエイティング処理の詳細は、図２４のフローチャートを参照して後述する。
【０１３３】
パワーウエイティング処理により得られた信号L'n(t)，R'n(t)は、それぞれフィルタバンク１６５−１，１６５−２に出力される。以上の処理は、各帯域毎に行われる。
【０１３４】
そして、フィルタバンク１６５は、ステップS７５で、パワーウエイティング部１６４から供給された信号L'n(t)，R'n(t)を、他の帯域の信号L'n-1(t)，…，L'1(t)，R'n-1(t)，…，R'1(t)と合成し、合成した全帯域のオーディオ信号L'(t)，R'(t)を、復号装置１５１の外部に出力する。
【０１３５】
次に、図２４のフローチャートを参照して、図２３のステップS７４において実行されるパワーウエイティング処理について説明する。
【０１３６】
ステップS９１において、パワーウエイティング係数設定部１７１は、復号部１６２から通知されたパワー補正情報Pn,adj(t)に含まれるパワーウエイティング係数に基づいて、乗算器１７２−１，１７２−２のパワーウエイティング係数c，dを設定する。
【０１３７】
ステップS９２において、乗算器１７２−１，１７２−２は、それぞれ、パワーウエイティング係数c，dを、入力された信号L'n(t)mix，R'n(t)mixに乗算し、生成した信号L'n(t)，R'n(t)をフィルタバンク１６５−１，１６５−２にそれぞれ出力する。
【０１３８】
例えば、上述したように、パワー補正部１２３において、パワー補正情報Pn,adj(t)（パワーウエイティング係数）がc=1.25，d=0.05とされ、パワーウエイティング係数設定部１７１により、それぞれのパワーウエイティング係数c，dが設定されている場合、乗算器１７２−１は、入力信号L'n(t)mixのパワーを1.25倍し、生成した信号L'n(t)をフィルタバンク１６５−１に出力する。また、乗算器１７２−２は、入力信号R'n(t)mixのパワーを0.05倍し、生成した信号R'n(t)をフィルタバンク１６５−２に出力する。
【０１３９】
これにより、符号化する際に、左右の信号のセパレーションが悪化した場合であっても擬似的なステレオ信号を再生することができる。
【０１４０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、符号化装置９１は、図２５に示されるようなパーソナルコンピュータ１８１により構成される。
【０１４１】
図２５において、CPU（Central Processing Unit）１９１は、ROM（Read Only Memory）１９２に記憶されているプログラム、または、記憶部１９８からRAM（Random Access Memory）１９３にロードされたプログラムに従って各種の処理を実行する。RAM１９３にはまた、CPU１９１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０１４２】
CPU１９１、ROM１９２、およびRAM１９３は、バス１９４を介して相互に接続されている。このバス１９４にはまた、入出力インタフェース１９５も接続されている。
【０１４３】
入出力インタフェース１９５には、キーボード、マウスなどよりなる入力部１９６、CRT，LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１９７、ハードディスクなどより構成される記憶部１９８、モデム、ターミナルアダプタなどより構成される通信部１９９が接続されている。通信部１９９は、ネットワークを介しての通信処理を行う。
【０１４４】
入出力インタフェース１９５にはまた、必要に応じてドライブ２００が接続され、磁気ディスク２０１、光ディスク２０２、光磁気ディスク２０３、あるいは半導体メモリ２０４などが、適宜、装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部１９８にインストールされる。
【０１４５】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータ１８１などに、ネットワークや記録媒体からインストールされる。
【０１４６】
この記録媒体は、図２５に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２０１（フロッピディスクを含む）、光ディスク２０２（CD-ROM，DVD(Digital Versatile Disk)を含む）、光磁気ディスク２０３（MD(Mini-Disk)を含む）、もしくは半導体メモリ２０４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１９２や、記憶部１９８に含まれるハードディスクなどで構成される。
【０１４７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４８】
【発明の効果】
本発明の符号化装置および方法、並びに記録媒体のプログラムによれば、入力信号に基づいて符号化方式を選択し、選択した符号化方式に基づいて、入力信号を符号化し、検出した歪み率に対応して決定されるミキシング割合に基づいて、入力信号の左右成分をミキシングする。そして、ミキシングした入力信号に基づいて、符号化方式を選択するようにしたので、より高効率で、オーディオ信号を符号化することができる。
【図面の簡単な説明】
【図１】 MSステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図２】 ISステレオ符号化による従来のオーディオ信号伝送システムの構成例を示すブロック図である。
【図３】従来の符号化装置の構成例を示すブロック図である。
【図４】従来の他の符号化装置の構成例を示すブロック図である。
【図５】従来のさらに他の符号化装置の構成例を示すブロック図である。
【図６】従来の符号化装置の処理を説明するフローチャートである。
【図７】従来の符号化装置の動作と生成する信号の関係を示す図である
【図８】本発明を適用した符号化装置の構成例を示すブロック図である。
【図９】図８の適応ミキシング部の構成例を示すブロック図である。
【図１０】図９のミキシング係数設定部に記憶される情報の例を示す図である。
【図１１】図９のパワー補正部に記憶される情報の例を示す図である。
【図１２】図９の乗算器の構成例を示す図である。
【図１３】ミキシング係数の補間関数の例を示す図である。
【図１４】図８の符号化制御部の構成例を示すブロック図である。
【図１５】図８の符号化装置の処理を説明するフローチャートである。
【図１６】図１５のステップS１２において実行される処理の詳細を説明するフローチャートである。
【図１７】図１５のステップS１４において実行される処理の詳細を説明するフローチャートである。
【図１８】図８の符号化装置の動作と生成する信号の関係を示す図である
【図１９】本発明を適用した復号装置の構成例を示すブロック図である。
【図２０】図１９のパワーウエイティング部の構成例を示すブロック図である。
【図２１】図２０の乗算器の構成例を示すブロック図である。
【図２２】パワーウエイティング係数の補間関数の例を示す図である。
【図２３】図１９の復号装置の処理を説明するフローチャートである。
【図２４】図２３のステップS７４において実行される処理の詳細を説明するフローチャートである。
【図２５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
９１ 符号化装置， １０１−１および１０１−２ フィルタバンク， １０２ 適応ミキシング部， １０３−１および１０３−２ 領域変換部， １０４符号化制御部， １０５ 符号化部， １０６ 歪み率検出部， １０７ マルチプレクサ， １２１ パワー算出部， １２２ ミキシング係数設定部， １２３ パワー補正部， １２４−１および１２４−２ 乗算器， １２４Aおよび１２４B バッファ， １２５−１および１２５−２ 乗算器， １２６−１および１２６−２ 加算器， １４１−１および１４１−２ 正規化部， １４２−１ 加算器， １４２−２ 減算器， １４３ 比較部， １４４ 比較部， １５１ 復号装置， １６１ デマルチプレクサ， １６２ 復号部， １６３−１および１６３−２ 領域変換部， １６４ パワーウエイティング部， １６５−１および１６５−２ フィルタバンク， １７１ パワーウエイティング係数設定部， １７２−１および１７２−２ 乗算器， １７２Aおよび１７２B バッファ
Claims (11)
- 入力信号に基づいて符号化方式を選択する符号化方式選択手段と、
前記符号化方式選択手段により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化手段と、
前記符号化手段による符号化の歪み率を検出する歪み率検出手段と、
前記歪み率検出手段により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシング手段と
を備え、
前記符号化方式選択手段は、前記ミキシング手段によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とする符号化装置。 - 前記符号化手段により符号化された前記入力信号を復号するときの出力補正情報を生成する出力補正情報生成手段をさらに備える
ことを特徴とする請求項１に記載の符号化装置。 - 前記符号化方式選択手段は、前記符号化装置の構成により決定される閾値に基づいて、前記入力信号の前記符号化方式を選択する
ことを特徴とする請求項１に記載の符号化装置。 - 前記符号化方式選択手段は、デュアル符号化方式、MSステレオ符号化方式、ISステレオ符号化方式のいずれかから前記符号化方式を選択する
ことを特徴とする請求項１に記載の符号化装置。 - 前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関が低いとき、前記デュアル符号化方式により符号化することを選択する
ことを特徴とする請求項４に記載の符号化装置。 - 前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関を、前記左右成分の差信号の総和に対する和信号の総和の比を用いて判定する
ことを特徴とする請求項５に記載の符号化装置。 - 前記符号化方式選択手段は、前記入力信号をミキシングして得られる信号の左右成分の相関が高いとき、MSステレオ符号化方式、ISステレオ符号化方式のどちらを選択するかを、前記入力信号の左右成分の差信号の絶対値の最大値に基づいて決定する
ことを特徴とする請求項５に記載の符号化装置。 - 前記ミキシング手段は、前記ミキシング割合を記憶し、
直前に決定された前記ミキシング割合と、現在決定されている前記ミキシング割合の補間関数に基づいて前記ミキシング割合を変化させる
ことを特徴とする請求項１に記載の符号化装置。 - 前記入力信号を記憶する入力信号記憶手段をさらに備え、
前記ミキシング手段は、当該入力信号を符号化した際の歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号記憶手段に記憶されている当該入力信号の左右成分を少なくとも１回ミキシングする
ことを特徴とする請求項１に記載の符号化装置。 - 入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、
前記符号化方式選択ステップの処理により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化ステップと、
前記符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、
前記歪み率検出ステップの処理により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシングステップと
を含み、
前記符号化方式選択ステップの処理は、前記ミキシングステップの処理によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とする符号化方法。 - 入力信号に基づいて符号化方式を選択する符号化方式選択ステップと、
前記符号化方式選択ステップの処理により選択された前記符号化方式に基づいて、前記入力信号を符号化する符号化ステップと、
前記符号化ステップの処理による符号化の歪み率を検出する歪み率検出ステップと、
前記歪み率検出ステップの処理により検出された前記歪み率に対応して決定されるミキシング割合に基づいて、前記入力信号の左右成分をミキシングするミキシングステップと
を含み、
前記符号化方式選択ステップの処理は、前記ミキシングステップの処理によりミキシングされた前記入力信号に基づいて、前記符号化方式を選択する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001370663A JP3951690B2 (ja) | 2000-12-14 | 2001-12-04 | 符号化装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-380642 | 2000-12-14 | ||
| JP2000380642 | 2000-12-14 | ||
| JP2001370663A JP3951690B2 (ja) | 2000-12-14 | 2001-12-04 | 符号化装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002244698A JP2002244698A (ja) | 2002-08-30 |
| JP3951690B2 true JP3951690B2 (ja) | 2007-08-01 |
Family
ID=26605846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001370663A Expired - Fee Related JP3951690B2 (ja) | 2000-12-14 | 2001-12-04 | 符号化装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3951690B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672832B2 (en) | 2011-07-01 | 2017-06-06 | Sony Corporation | Audio encoder, audio encoding method and program |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100501930B1 (ko) * | 2002-11-29 | 2005-07-18 | 삼성전자주식회사 | 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 |
| US7343281B2 (en) * | 2003-03-17 | 2008-03-11 | Koninklijke Philips Electronics N.V. | Processing of multi-channel signals |
| SE0301273D0 (sv) * | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
| SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| JP2006121213A (ja) * | 2004-10-19 | 2006-05-11 | Sharp Corp | データ変換装置、データ変換方法、データ変換プログラム及びプログラム記録媒体 |
| US7848932B2 (en) | 2004-11-30 | 2010-12-07 | Panasonic Corporation | Stereo encoding apparatus, stereo decoding apparatus, and their methods |
| JP4842147B2 (ja) * | 2004-12-28 | 2011-12-21 | パナソニック株式会社 | スケーラブル符号化装置およびスケーラブル符号化方法 |
| NO328256B1 (no) * | 2004-12-29 | 2010-01-18 | Tandberg Telecom As | Audiosystem |
| KR100707177B1 (ko) * | 2005-01-19 | 2007-04-13 | 삼성전자주식회사 | 디지털 신호 부호화/복호화 방법 및 장치 |
| US7751572B2 (en) | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| EP1876586B1 (en) * | 2005-04-28 | 2010-01-06 | Panasonic Corporation | Audio encoding device and audio encoding method |
| CN101167124B (zh) | 2005-04-28 | 2011-09-21 | 松下电器产业株式会社 | 语音编码装置和语音编码方法 |
| JP2007004050A (ja) * | 2005-06-27 | 2007-01-11 | Nippon Hoso Kyokai <Nhk> | ステレオ信号の符号化装置及び符号化プログラム |
| US20100010811A1 (en) * | 2006-08-04 | 2010-01-14 | Panasonic Corporation | Stereo audio encoding device, stereo audio decoding device, and method thereof |
| JP4999846B2 (ja) * | 2006-08-04 | 2012-08-15 | パナソニック株式会社 | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 |
| KR101149449B1 (ko) * | 2007-03-20 | 2012-05-25 | 삼성전자주식회사 | 오디오 신호의 인코딩 방법 및 장치, 그리고 오디오 신호의디코딩 방법 및 장치 |
| CN105225667B (zh) | 2009-03-17 | 2019-04-05 | 杜比国际公司 | 编码器系统、解码器系统、编码方法和解码方法 |
| JP5568999B2 (ja) * | 2010-01-15 | 2014-08-13 | ヤマハ株式会社 | 再生装置、楽音信号出力装置、再生システム及びプログラム |
| JP5533502B2 (ja) * | 2010-09-28 | 2014-06-25 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
| KR20140017338A (ko) * | 2012-07-31 | 2014-02-11 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 장치 및 방법 |
| WO2016184958A1 (en) * | 2015-05-20 | 2016-11-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Coding of multi-channel audio signals |
| CN108269577B (zh) | 2016-12-30 | 2019-10-22 | 华为技术有限公司 | 立体声编码方法及立体声编码器 |
| US11145316B2 (en) * | 2017-06-01 | 2021-10-12 | Panasonic Intellectual Property Corporation Of America | Encoder and encoding method for selecting coding mode for audio channels based on interchannel correlation |
-
2001
- 2001-12-04 JP JP2001370663A patent/JP3951690B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672832B2 (en) | 2011-07-01 | 2017-06-06 | Sony Corporation | Audio encoder, audio encoding method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002244698A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3951690B2 (ja) | 符号化装置および方法、並びに記録媒体 | |
| JP5934922B2 (ja) | 復号装置 | |
| US7672744B2 (en) | Method and an apparatus for decoding an audio signal | |
| KR101178114B1 (ko) | 복수의 입력 데이터 스트림을 믹싱하기 위한 장치 | |
| JP4589962B2 (ja) | レベル・パラメータを生成する装置と方法、及びマルチチャネル表示を生成する装置と方法 | |
| JP4772279B2 (ja) | オーディオ信号のマルチチャネル／キュー符号化／復号化 | |
| CN101356573B (zh) | 对双耳音频信号的解码的控制 | |
| RU2639952C2 (ru) | Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием | |
| JP5455647B2 (ja) | オーディオデコーダ | |
| KR101569032B1 (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
| JP5554065B2 (ja) | 複雑さの軽減されたパラメトリックステレオデコーダ | |
| US20070160219A1 (en) | Decoding of binaural audio signals | |
| NO344093B1 (no) | Kompatibel flerkanal-koding/dekoding. | |
| WO2013156814A1 (en) | Stereo audio signal encoder | |
| CN112567765B (zh) | 空间音频捕获、传输和再现 | |
| US6614365B2 (en) | Coding device and method, decoding device and method, and recording medium | |
| EP2093757A1 (en) | Multi-channel decoding device, multi-channel decoding method, program, and semiconductor integrated circuit | |
| WO2007080225A1 (en) | Decoding of binaural audio signals | |
| WO2007043388A1 (ja) | 音響信号処理装置および音響信号処理方法 | |
| KR100763919B1 (ko) | 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치 | |
| CN118946930A (zh) | 参数化空间音频编码 | |
| JP5483813B2 (ja) | マルチチャネル音声音響信号符号化装置および方法、並びにマルチチャネル音声音響信号復号装置および方法 | |
| JP4125520B2 (ja) | 変換符号化されたデータの復号方法及び変換符号化されたデータの復号装置 | |
| JP2006323314A (ja) | マルチチャネル音声信号をバイノーラルキュー符号化する装置 | |
| HK1129535A (en) | Decoding of binaural audio signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070416 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |