JP4124702B2

JP4124702B2 - 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム

Info

Publication number: JP4124702B2
Application number: JP2003166934A
Authority: JP
Inventors: 靖茂中山; 馨渡辺; 智康小森
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-06-11
Filing date: 2003-06-11
Publication date: 2008-07-23
Anticipated expiration: 2023-06-11
Also published as: JP2005006018A

Description

【０００１】
【発明の属する技術分野】
本発明は、立体感のある音響効果を生じさせる立体音響信号を生成し、符号化する立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラムに関する。
【０００２】
【従来の技術】
従来、音像（音源に対応してつくられた音場の空間的な広がり）の方向性、距離感を再現するために、複数の音響信号を合成して立体感のある音響効果を生じさせる立体音響信号を生成して、この生成した立体音響信号を符号化する技術として、例えば、特許文献１に記載されている「音像再生システム」がある。
【０００３】
この音像再生システムは、３次元音像の符号化方法（立体音響信号を符号化する方法）によって、送信側から音響信号とこの音源の位置や向き等の情報である補助情報とを送信している。この音像再生システムでは、当該補助情報が当該音響信号の増加に伴って増加してしまい、送信側から送信する情報量が増加してしまう。このため、この音像再生システムでは、受信側（再生側）のスピーカアレイの距離制御および方向感制御に用いる距離制御信号および方向感制御信号を送信側で符号化する際に使用する制御信号テーブルと、受信側で復号化する際に使用する制御信号テーブルとを共通化することで、補助情報の情報量の増加を抑制している。
【０００４】
【特許文献１】
特開２００１−３４６２９７号公報（段落１３−段落２９、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の音響再生システムでは、補助情報の情報量の増加を抑制することはできるが、送信する音響信号の情報量を抑制する対策が施されていないので、音響信号数に比例して音響信号の情報量が増加してしまうという問題がある。
【０００６】
ただし、従来の音響再生システムでは、送信する音響信号の情報量を抑制しようとすると、受信側で当該音響信号を再生する際に、音像の定位感（音源が特定される位置、距離感）等の臨場感を損なうおそれが生じるという問題がある。
【０００７】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、音像の定位感等の臨場感を損なうことなく、送信する音響信号の情報量を抑制することができる立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の立体音響信号符号化装置は、再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化装置であって、フィルタ分析手段と、方向一致組合せ抽出手段と、音源距離差計算手段と、合成帯域変換データ記録手段と、音響信号関連情報生成出力手段と、立体音響信号合成手段と、立体音響信号ビット割当符号化手段と、位置データ符号化手段と、多重化手段と、多重化データ出力手段と、を備える構成とした。
【０００９】
かかる構成によれば、立体音響信号符号化装置は、フィルタ分析手段によって、各音源から入力された音響信号を時間周波数変換して、前記音響信号の周波数成分を分析する。なお、フィルタ分析手段は、音響信号にＤＣＴ（離散コサイン変換）を施すものであり、音響信号周波数は、ＤＣＴ係数である。続いて、立体音響信号符号化装置は、方向一致組合せ抽出手段によって、音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する。そして、立体音響信号符号化装置は、音源距離差計算手段によって、方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、距離方向のインデックスの差分を取ることで計算する。また、立体音響信号符号化装置は、音響信号関連情報生成出力手段によって、音源距離差計算手段で計算した音源同士の距離差と合成帯域変換データにおける距離差とに対応する周波数と、方向一致組合せ抽出手段で抽出された音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する。そして、立体音響信号符号化装置は、立体音響信号合成手段によって、音響信号関連情報生成出力手段で生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする。そして、立体音響信号符号化装置は、立体音響信号ビット割当符号化手段によって、合成した立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとし、位置データ符号化手段によって、音源位置データを符号化した符号化位置データとする。そして、立体音響信号符号化装置は、多重化手段によって、符号化位置データと符号化立体音響データとを多重化した多重化データとし、多重化データ出力手段によって、多重化データを出力する。なお、この多重化データを出力する際に、当該多重化データをストリーム化した多重化データストリームを生成して出力してもよい。
【００１０】
請求項２記載の立体音響信号符号化装置は、再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化装置であって、フィルタ分析手段と、方向一致組合せ抽出手段と、音源距離差計算手段と、合成帯域変換データ記録手段と、音響信号関連情報生成出力手段と、立体音響信号合成手段と、フィルタ合成手段と、分解音響信号符号化手段と、位置データ符号化手段と、データ出力手段と、を備える構成とした。
【００１１】
かかる構成によれば、立体音響信号符号化装置は、フィルタ分析手段によって、各音源から入力された音響信号を時間周波数変換して、音響信号の周波数成分を分析する。続いて、立体音響信号符号化装置は、方向一致組合せ抽出手段によって、音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する。そして、立体音響信号符号化装置は、音源距離差計算手段によって、方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、距離方向のインデックスの差分を取ることで計算する。そして、立体音響信号符号化装置は、音響信号関連情報生成出力手段によって、音源距離差計算手段で計算した音源同士の距離差と合成帯域変換データにおける距離差とに対応する周波数と、方向一致組合せ抽出手段で抽出された音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する。そして、立体音響信号符号化装置は、立体音響信号合成手段によって、音響信号関連情報生成出力手段で生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする。そして、立体音響信号符号化装置は、フィルタ合成手段によって、立体音響信号合成手段によって合成した立体音響信号を分解した分解音響信号とする。そして、立体音響信号符号化装置は、分解音響信号符号化手段によって、フィルタ合成手段によって分解した分解音響信号を符号化した符号化分解音響データとし、位置データ符号化手段によって、音源位置データを符号化した符号化位置データとした後、データ出力手段によって、符号化分解音響データおよび符号化位置データを出力する。
【００１４】
請求項３記載の立体音響信号符号化方法は、再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化方法であって、フィルタ分析ステップと、方向一致組合せ抽出ステップと、音源距離差計算ステップと、音響信号関連情報生成出力ステップと、立体音響信号合成ステップと、立体音響信号ビット割当符号化ステップと、位置データ符号化ステップと、多重化ステップと、多重化データ出力ステップと、を含むものとした。
【００１５】
かかる手順によれば、立体音響信号符号化方法は、フィルタ分析ステップにおいて、音響信号を時間周波数変換して、前記音響信号の周波数成分を分析する。続いて、立体音響信号符号化方法は、方向一致組合せ抽出ステップにおいて、音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する。そして、立体音響信号符号化方法は、音源距離差計算ステップにおいて、方向一致組合せ抽出ステップにて抽出された音源番号に係る音源同士の距離差を、距離方向のインデックスの差分を取ることで計算する。そして、立体音響信号符号化方法は、音響信号関連情報生成出力ステップにおいて、音源距離差計算ステップにて計算した音源同士の距離差と、音源同士の距離差と周波数とを関連付けた合成帯域変換データにおける距離差と、に対応する周波数と、方向一致組合せ抽出ステップにて抽出された音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する。そして、立体音響信号符号化方法は、立体音響信号合成ステップにおいて、音響信号関連情報生成出力ステップにて生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする。そして、立体音響信号符号化方法は、立体音響信号ビット割当符号化ステップにおいて、立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとし、位置データ符号化ステップにおいて、音源位置データを符号化した符号化位置データとする。そして、立体音響信号符号化方法は、多重化ステップにおいて、符号化位置データと符号化立体音響データとを多重化した多重化データとし、多重化データ出力ステップにおいて、多重化した多重化データを出力する。
【００１６】
請求項４記載の立体音響信号符号化プログラムは、再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化するために、音源同士の距離差と、周波数とを関連付けた合成帯域変換データを予め記録している合成帯域変換データ記録手段を備えたコンピュータを、フィルタ分析手段、方向一致組合せ抽出手段、音源距離差計算手段、音響信号関連情報生成出力手段、立体音響信号合成手段、立体音響信号ビット割当符号化手段、位置データ符号化手段、多重化手段、多重化データ出力手段、として機能させる構成とした。
【００１７】
かかる構成によれば、立体音響信号符号化プログラムは、フィルタ分析手段によって、音響信号を時間周波数変換して、音響信号の周波数を分析する。続いて、立体音響信号符号化プログラムは、方向一致組合せ抽出手段によって、音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する。そして、立体音響信号符号化プログラムは、音源距離差計算手段によって、方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、距離方向のインデックスの差分を取ることで計算する。そして、立体音響信号符号化プログラムは、音響信号関連情報生成出力手段によって、前記音源距離差計算手段で計算した音源同士の距離差と前記合成帯域変換データにおける距離差とに対応する周波数と、前記方向一致組合せ抽出手段で抽出された前記音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する。そして、立体音響信号符号化プログラムは、立体音響信号合成手段によって、音響信号関連情報生成出力手段で生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする。そして、立体音響信号符号化プログラムは、立体音響信号ビット割当符号化手段によって、立体音響信号合成手段で合成した立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとし、位置データ符号化手段によって、音源位置データを符号化した符号化位置データとする。そして、立体音響信号符号化プログラムは、多重化手段によって、符号化位置データと符号化立体音響データとを多重化した多重化データとし、多重化データ出力手段によって、多重化手段で多重化した多重化データを出力する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
この実施の形態では、二つの実施の形態について、立体音響信号符号化装置の構成、動作を説明し（第一実施形態の構成を図１、動作を図２、第二実施形態の構成を図３、動作を図４）、続いて、音源の位置を示す音源位置データについて説明し（図５を使用）、最後に、音源の距離差と周波数との関連を示した合成帯域変換データについて説明する（図６を使用）。
【００１９】
（立体音響信号符号化装置の構成［第一実施形態］）
図１に立体音響信号符号化装置のブロック図を示す。この図１に示すように、立体音響信号符号化装置１は、音像（音源に対応してつくられた音場の空間的な広がり）の方向性、距離感を再現するために、複数の音源から発せられた音響信号を合成して、当該音源の立体的な距離感（奥行き、立体感のある音響効果）を再生する際に生じさせる立体音響信号を生成した後、符号化するもので、フィルタ分析部３と、音響信号関連情報生成部５と、立体音響信号合成部７と、立体音響信号ビット割当符号化部９と、音源位置データ符号化部１１と、多重化部１３と、多重化データストリーム生成出力部１５とを備えている。
【００２０】
なお、一般に、音像の距離感は、ラウドネス（音の大きさ）、直接音と間接音とのパワー比（以下、直間比とする）、周波数特性等を手がかりとして得られることが知られている。また、一般的な試聴環境（無響音室ではなく残響音が存在する環境）では、直間比が距離判断の突出した手がかりとなることが知られている。しかし、直間比によって音像の距離判断をする場合、音源から発せられる音響信号の全ての周波数帯域が一様に寄与するのではなく、ある周波数帯域においては殆ど音像の距離判断に寄与しないことが実験によって確認された。そこで、この立体音響信号符号化装置１では、音像の距離判断に殆ど寄与しない周波数帯域を音響信号毎に結合して、情報量を削減する処理を行っている。
【００２１】
また、音響信号を符号化する場合、周波数帯域を制限することが伝送容量の増加を抑制するのに有効であることが知られているので、この立体音響信号符号化装置１では、立体音響信号ビット割当符号化部９で、周波数帯域を制限して音響信号を符号化している（詳細は後記する）。
【００２２】
フィルタ分析部３は、複数の音源（Ａ、Ｂ、Ｃ）から入力された音響信号にどのような周波数成分が含まれているかを分析するスペクトル解析を行うもので、当該音響信号を時間周波数変換した音響信号の周波数成分（この実施の形態では、ＤＣＴ係数［離散コサイン変換したもの］）を出力するものである。すなわち、フィルタ分析部３では、それぞれの音響信号を、一定サンプル毎にフレーム分割した後で、時間周波数変換、例えば、ＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）を行っている。時間周波数に変換された音響信号は、臨界帯域（例えば、ツヴィッカー著「心理音響学」西村書店Ｐ７４表１参照）毎に周波数帯域に分割される（サブバンド処理が施される）。このフィルタ分析部３が特許請求の範囲に記載したフィルタ分析手段に相当するものである。
【００２３】
音響信号関連情報生成部５は、音源の位置（仮想的な聴取者の位置を原点とした場合の三次元空間における相対的な位置）を示す音源位置データに基づいて、音響信号から立体音響信号を合成する際の、音響信号の組み合わせに関する情報である音響信号関連情報を生成するもので、方向一致組合せ抽出手段１７と、音源距離差計算手段１９と、合成帯域変換データ記録手段２１と、音響信号関連情報生成出力手段２３とを備えている。この音響信号関連情報生成部５が特許請求の範囲に記載した音響信号関連情報生成手段に相当するものである。
【００２４】
なお、音源には、それぞれの音源を識別するための音源番号が付されている。そして、この音源番号と、仮想的な聴取者を原点とした場合の三次元空間における位置を示す座標（ｘ，ｙ，ｚ）との対が一つのデータとして当該装置１で取り扱われている。この図１に示したように、音響信号Ａの音源の音源番号はＰａであり、音源位置データはＰａ（ｘａ，ｙａ，ｚａ）（図示せず）であり、音響信号Ｂの音源の音源番号はＰｂであり、音源位置データはＰｂ（ｘｂ，ｙｂ，ｚｂ）（図示せず）であり、音響信号Ｃの音源の音源番号はＰｃであり、音源位置データはＰｃ（ｘｃ，ｙｃ，ｚｃ）（図示せず）である。
【００２５】
方向一致組合せ抽出手段１７は、音源位置データに基づいて、音源の方向が一致している音源同士を組み合わせて抽出するものである。例えば、仮想的な聴取者の位置を原点とした場合、この原点から右方向に位置する音源同士の組み合わせがつくられ（探索され）、各音源の音源番号が抽出される。なお、この方向一致組合せ抽出手段１７によって音源の方向が一致しているとの判断は、原点から各音源に向けて直線を引いて（原点と各音源とを直線で結んで）、この直線の傾きが近似している場合である。
【００２６】
音源距離差計算手段１９は、方向一致組合せ抽出手段１７によって、方向が一致しているものとして抽出された音源同士の距離差（相対距離差）を、音源位置データに基づいて計算して、この距離差を音源番号と共に、音響信号関連情報生成出力手段２３に出力するものである。音源同士の距離差の計算は、簡便な測量法（距離測定方法）に従って行っている。
【００２７】
合成帯域変換データ記録手段２１は、符号化された立体音響信号（符号化立体音響データ）を受信した受信側（再生側）で、当該立体音響信号によって、音像の距離感を生じさせるために、各音響信号を発生させる音源同士の距離差と周波数との関係を設定した（関連付けた）合成帯域変換データを記録するものである。この合成帯域変換データの詳細については後記する（図６を使用）。
【００２８】
音響信号関連情報生成出力手段２３は、音源距離差計算手段１９から出力された音源番号および距離差と、合成帯域変換データ記録手段２１に記録されている合成帯域変換データとに基づいて、音響信号関連情報を生成して、立体音響信号合成部７に出力するものである。音響信号関連情報は、フィルタ分析部３で各音源からの音響信号が音響信号周波数に変換されたものを立体音響信号合成部７で立体音響信号に合成する際に利用されるものであり、また、この音響信号関連情報は、受信側（再生側）で再生した場合に立体的な音響効果を生じさせるための補助情報となるものである。
【００２９】
立体音響信号合成部７は、フィルタ分析部３で分析された音響信号周波数を、音響信号関連情報に基づいて、インテンシティ合成するものである。このインテンシティ合成の例としては、ＩＳＯ／ＩＥＣ１３８１８−７ＭＰＥＧ２ａｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇの手法が挙げられる。この立体音響信号合成部７でインテンシティ合成されたものを立体音響信号とする。この立体音響信号合成部７が特許請求の範囲に記載した立体音響信号合成手段に相当するものである。
【００３０】
立体音響信号ビット割当符号化部９は、立体音響信号合成部７でインテンシティ合成された立体音響信号に所定のビット数を割り当てて符号化して、符号化立体音響データとして多重化部１３に出力するものである。この立体音響信号ビット割当符号化部９が特許請求の範囲に記載した立体音響信号ビット割当符号化手段に相当するものである。
【００３１】
音源位置データ符号化部１１は、音源位置データを符号化して、符号化位置データとして多重化部１３に出力するものである。この音源位置データ符号化部１１における音源位置データの符号化方法は、特開２００１−３４６２９７号公報に開示されている位置データ符号化器によって符号化する方法と同様な方法（音源毎の位置データを補助情報として符号化する方法）である。この音源位置データ符号化部１１が特許請求の範囲に記載した位置データ符号化手段に相当するものである。
【００３２】
多重化部１３は、立体音響信号ビット割当符号化部９で符号化された符号化立体音響データと、音源位置データ符号化部１１で符号化された符号化位置データとを多重化した多重化データとして、多重化データストリーム生成出力部１５に出力するものである。この多重化部１３が特許請求の範囲に記載した多重化手段に相当するものである。
【００３３】
多重化データストリーム生成出力部１５は、多重化部１３で多重化された多重化データをストリーム化して多重化データストリームとして出力するものである。この多重化データストリーム生成出力部１５が特許請求の範囲に記載した多重化データ出力手段に相当するものである。
【００３４】
この立体音響信号符号化装置１によれば、フィルタ分析部３によって、各音源から入力された音響信号が時間周波数変換されて、音響信号の周波数成分が分析され、また、音響信号関連情報生成部５によって、音響信号の音源の位置を示す音源位置データに基づいて、音響信号の組み合わせに関する情報である音響信号関連情報が生成される。続いて、立体音響信号合成部７によって、音響信号関連情報に基づいて、音響信号の周波数成分毎に合成されて、立体音響信号とされ、立体音響信号ビット割当符号化部９によって、合成された立体音響信号に所定のビットが割り当てられて符号化されて、符号化立体音響データとされ、さらに、音源位置データ符号化部１１によって、音源位置データが符号化されて符号化位置データとされる。そして、多重化部１３によって、符号化位置データと符号化立体音響データとが多重化されて、多重化データとされ、多重化データストリーム生成出力部１５によって、多重化データがストリーム化されて、多重化データストリームが生成され、出力される。このため、音源からの方向と同方向の音源同士の距離差とを参照して生成された音響信号関連情報に基づいて、音響信号を立体音響信号に合成しているので、音像の定位感等の臨場感を損なうことなく、また、音源の数が増加しても、当該音源に関する情報が音響信号関連情報によって一元的に纏められているので、送信する音響信号の情報量を抑制することができる。
【００３５】
（立体音響信号符号化装置の動作［第一実施形態］）
次に、図２に示すフローチャートを参照して、立体音響信号符号化装置１の動作を説明する（適宜、図１参照）。
【００３６】
まず、立体音響信号符号化装置１のフィルタ分析部３に音響信号（Ａ、Ｂ、Ｃ）が入力され、このフィルタ分析部３において時間周波数変換され、音響信号周波数とされる（Ｓ１）。また、音響信号（Ａ、Ｂ、Ｃ）に対応する音源位置データ（Ｐａ、Ｐｂ、Ｐｃ）が、立体音響信号符号化装置１の音響信号関連情報生成部５に入力され、この音響位置データ（音源番号、音源の座標）と、合成帯域変換データ記録手段２１に記録されている合成帯域変換データとに基づいて、音響信号関連情報が生成される（Ｓ２）。
【００３７】
そして、フィルタ分析部３にて変換された音響信号周波数が立体音響信号合成部７で、音響信号関連情報生成部５にて生成された音響信号関連情報に基づいて、立体音響信号にインテンシティ合成される（Ｓ３）。そして、この立体音響信号が立体音響信号ビット割当符号化部９で、所定のビット数が割り当てられて符号化され、符号化立体音響データとされる（Ｓ４）。
【００３８】
また、音源位置データが音源位置データ符号化部１１で符号化され、符号化音源位置データとされる（Ｓ５）。そして、多重化部１３で、これら符号化立体音響データおよび符号化音源位置データが多重化され、多重化データとされる（Ｓ６）。この多重化部１３で多重化された多重化データが多重化データストリーム生成出力部１５でストリーム化され、多重化データストリームとして出力される（Ｓ７）。
【００３９】
（立体音響信号符号化装置の構成［第二実施形態］）
次に、図３に立体音響信号符号化装置のブロック図を示す。この図３に示すように、立体音響信号符号化装置３１は、立体音響信号符号化装置１と同様に、音像の方向性、距離感を再現するために、複数の音源から発せられた音響信号を合成して、当該音源の立体的な距離感を再生する際に生じさせる立体音響信号を生成した後、符号化するもので、フィルタ分析部３と、音響信号関連情報生成部５と、立体音響信号合成部７と、音源位置データ符号化部１１と、フィルタ合成部３３と、分解音響信号符号化部３５と、出力部３７とを備えている。なお、立体音響信号符号化装置１の各構成と同様な構成は同一の名称符号を付して、その説明を省略する。
【００４０】
フィルタ合成部３３は、立体音響信号合成部７で合成された立体音響信号を分解して、分解音響信号に変換するものである。分解音響信号は、既存の音響符号化器に適合する音響信号であり、それぞれの音響信号には音響信号関連情報が付されていない。このフィルタ合成部３３が特許請求の範囲に記載したフィルタ合成手段に相当するものである。
【００４１】
分解音響信号符号化部３５は、フィルタ合成部３３で分解された分解音響信号を符号化して、符号化分解音響データとして、出力部３７に出力するものである。この分解音響信号符号化部３５が特許請求の範囲に記載した分解音響信号符号化手段に相当するものである。
【００４２】
出力部３７は、分解音響信号符号化部３５にて符号化された符号化分解音響データと、音源位置データ符号化部１１にて符号化された符号化位置データとを外部に出力するものである。この出力部３７が特許請求の範囲に記載したデータ出力手段に相当するものである。
【００４３】
この立体音響信号符号化装置３１によれば、フィルタ分析部３によって、各音源から入力された音響信号が時間周波数変換されて、音響信号の周波数成分が分析される。また、音響信号関連情報生成部５によって、音響信号の音源の位置を示す音源位置データに基づいて、音響信号の組み合わせに関する情報である音源信号関連情報が生成される。続いて、立体音響信号合成部７によって、音響信号関連情報に基づいて、音響信号の周波数成分毎に合成され、立体音響信号とされ、この立体音響信号がフィルタ合成部３３によって分解された分解音響信号とされ、分解音響信号符号化部３５によって、分解音響信号が符号化された符号化分解音響データとされる。さらに、音源位置データ符号化部１１によって、音源位置データが符号化された符号化位置データとされた後、出力部３７によって、符号化分解音響データおよび符号化位置データが出力される。このため、音源からの方向と同方向の音源同士の距離差とを参照して生成された音響信号関連情報に基づいて、音響信号を立体音響信号に合成しているので、音像の定位感等の臨場感を損なうことがない。また、フィルタ合成部３３で立体音響信号を分解音響信号に分解しているので、既存の音響信号符号化器に対応した形式で送信することができる。
【００４４】
（立体音響信号符号化装置の動作［第二実施形態］）
次に、図４に示すフローチャートを参照して、立体音響信号符号化装置３１の動作を説明する（適宜、図３参照）。
【００４５】
まず、立体音響信号符号化装置３１のフィルタ分析部３に音響信号（Ａ、Ｂ、Ｃ）が入力され、このフィルタ分析部３において時間周波数変換され、音響信号の周波数成分とされる（Ｓ１１）。また、音響信号（Ａ、Ｂ、Ｃ）に対応する音源位置データ（Ｐａ、Ｐｂ、Ｐｃ）が、立体音響信号符号化装置３１の音響信号関連情報生成部５に入力され、この音響位置データ（音源番号、音源の座標）と、合成帯域変換データ記録手段２１に記録されている合成帯域変換データとに基づいて、音響信号関連情報が生成される（Ｓ１２）。
【００４６】
そして、フィルタ分析部３にて変換された音響信号の周波数成分が立体音響信号合成部７で、音響信号関連情報生成部５にて生成された音響信号関連情報に基づいて、立体音響信号にインテンシティ合成される（Ｓ１３）。そして、この立体音響信号がフィルタ合成部３３で分解音響信号に分解され、分解音響信号符号化部３５に出力される（Ｓ１４）。続いて、この分解音響信号が分解音響信号符号化部３５で符号化分解音響データに符号化される（Ｓ１５）。
【００４７】
また、音源位置データが音源位置データ符号化部１１で符号化され、符号化音源位置データとされる（Ｓ１６）。そして、出力部３７で、これら符号化分解音響データおよび符号化音源位置データが出力される（Ｓ１７）。
【００４８】
（音源位置データについて）
次に、図５を参照して、音源位置データについて説明する。
この図５に示すように、複数の音源位置データである、音源ａ、音源ｂ、音源ｃおよび音源ｄは、仮想的な聴取者を中心（原点）とした曲座標によって表されている。音源位置データは、音源番号が２ｂｉｔ（２ビット）、距離方向のインデックスが７ｂｉｔ（７ビット）および左右方向のインデックスが７ｂｉｔ（７ビット）の合計１６ｂｉｔ（１６ビット）で構成されている。距離方向のインデックスは、０．５ｍ〜１０ｍの距離を１２８分割したものであり、左右方向のインデックスは３６０度を３度毎に１２０分割したものである。
【００４９】
図５に示したように、例えば、距離方向のインデックスおよび左右方向のインデックスが「０００１１１１０００１０１０」である場合、距離方向のインデックスは「０００１１１１」であり、この２進数を１０進数にすると「１５」となり、｛（１０−０．５）／１２８｝×（１５＋１）≒１．２ｍとなり、また、左右方向のインデックスは「０００１０１０」であり、この２進数を１０進数にすると「１０」となり、３度×１０＝３０度（聴取位置から右へ３０度）となる。
【００５０】
つまり、音源位置データは、１６ビットのデータとして表現され、最上位ビット（ＭＳＢ）の２ビットで音源を特定する音源番号が表現されており、次の７ビットで距離表現、その次の７ビットで方向表現がなされているものである。この音源位置データの左右方向のインデックスが立体音響信号符号化装置１、３１の音響信号関連情報生成部５の方向一致組合せ抽出手段１７で抽出される。すなわち、全ての音源位置データから左右方向のインデックスを表現した７ビット（最下位ビット（ＬＳＢ）を含む位置にある）を抜き出して、各左右方向のインデックスの比較を行って、すべてのビットが一致したものから音源番号の組を抽出する。
【００５１】
そして、音源距離差計算手段１９では、方向が一致している音源番号の組み合わせの中から距離方向のインデックスを表現した７ビットをそれぞれ抜き出して差分をとり、方向が一致している音源同士の距離差を計算している。その後、音響信号関連情報生成出力手段２３では、音源番号の組と、距離差と、音源位置データと、合成帯域変換データ記録手段２１に記録されている合成帯域変換データとに基づいて、音響信号関連情報（合成すべき周波数帯域を示したもの）を生成して出力している。
【００５２】
（合成帯域変換データについて）
最後に、図６を参照して、合成帯域変換データについて説明する。
図６に示したように、合成帯域変換データは、組み合わせられる音源番号の組の中で、距離の近い音源毎に（図６中、近い音源の距離）１個のファイル（図６中、距離差を横軸に、周波数を縦軸にとった表）として構成されているものである。なお、各ファイルは、音源同士の距離差と周波数とが関連付けられている。
【００５３】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、立体音響信号符号化装置１、３１の各構成の処理を汎用的なコンピュータ言語で記述した立体音響信号符号化プログラムとみなすことや、各構成の処理を一つずつの過程ととられた立体音響信号符号化方法とみなすことは可能である。これらの場合、立体音響信号符号化装置１、３１と同様の効果を得ることができる。
【００５４】
【発明の効果】
請求項１、３、４記載の発明によれば、音源からの方向と同方向の音源同士の距離差とを参照して生成された音響信号関連情報に基づいて、音響信号を立体音響信号に合成しているので、音像の定位感等の臨場感を損なうことがない。また、音源の数が増加しても、当該音源に関する情報が音響信号関連情報によって一元的に纏められているので、送信する音響信号の情報量を抑制することができる。
【００５５】
請求項２に記載の発明によれば、さらに、立体音響信号を分解音響信号に分解しているので、既存の音響信号符号化器に対応した形式で送信することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である立体音響信号符号化装置のブロック図である。
【図２】図１に示した立体音響信号符号化装置の動作を説明したフローチャートである。
【図３】本発明による他の実施の形態である立体音響信号符号化装置のブロック図である。
【図４】図３に示した立体音響信号符号化装置の動作を説明したフローチャートである。
【図５】音源位置データを説明した図である。
【図６】合成帯域変換データを説明した図である。
【符号の説明】
１、３１立体音響信号符号化装置
３フィルタ分析部（フィルタ分析手段）
５音響信号関連情報生成部（音響信号関連情報生成手段）
７立体音響信号合成部（立体音響信号合成手段）
９立体音響信号ビット割当符号化部（立体音響信号ビット割当符号化手段）
１１音源位置データ符号化部（位置データ符号化手段）
１３多重化部（多重化手段）
１５多重化データストリーム生成出力部（多重化データ出力手段）
１７方向一致組合せ抽出手段
１９音源距離差計算手段
２１合成帯域変換データ記録手段
２３音響信号関連情報生成出力手段
３３フィルタ合成部（フィルタ合成手段）
３５分解音響信号符号化部（分解音響信号符号化手段）
３７出力部（データ出力手段）

Claims

再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化装置であって、
前記音響信号を時間周波数変換して、前記音響信号の周波数成分を分析するフィルタ分析手段と、
前記音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する方向一致組合せ抽出手段と、
この方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、前記距離方向のインデックスの差分を取ることで計算する音源距離差計算手段と、
前記音源同士の距離差と、周波数とを関連付けた合成帯域変換データを予め記録している合成帯域変換データ記録手段と、
前記音源距離差計算手段で計算した音源同士の距離差と前記合成帯域変換データにおける距離差とに対応する周波数と、前記方向一致組合せ抽出手段で抽出された前記音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する音響信号関連情報生成出力手段と、
この音響信号関連情報生成出力手段によって生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする立体音響信号合成手段と、
この立体音響信号合成手段によって合成した立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとする立体音響信号ビット割当符号化手段と、
前記音源位置データを符号化した符号化位置データとする位置データ符号化手段と、
前記符号化位置データと前記符号化立体音響データとを多重化した多重化データとする多重化手段と、
この多重化手段によって多重化した多重化データを出力する多重化データ出力手段と、
を備えることを特徴とする立体音響信号符号化装置。
再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化装置であって、
前記音響信号を時間周波数変換して、前記音響信号の周波数成分を分析するフィルタ分析手段と、
前記音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する方向一致組合せ抽出手段と、
この方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、前記距離方向のインデックスの差分を取ることで計算する音源距離差計算手段と、
前記音源同士の距離差と、周波数とを関連付けた合成帯域変換データを予め記録している合成帯域変換データ記録手段と、
前記音源距離差計算手段で計算した音源同士の距離差と前記合成帯域変換データにおける距離差とに対応する周波数と、前記方向一致組合せ抽出手段で抽出された前記音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する音響信号関連情報生成出力手段と、
この音響信号関連情報生成出力手段によって生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする立体音響信号合成手段と、
この立体音響信号合成手段によって合成した立体音響信号を分解した分解音響信号とするフィルタ合成手段と、
このフィルタ合成手段によって分解した分解音響信号を符号化した符号化分解音響データとする分解音響信号符号化手段と、
前記音源位置データを符号化した符号化位置データとする位置データ符号化手段と、
前記符号化分解音響データおよび前記符号化位置データを出力するデータ出力手段と、
を備えることを特徴とする立体音響信号符号化装置。
再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化する立体音響信号符号化方法であって、
前記音響信号を時間周波数変換して、前記音響信号の周波数成分を分析するフィルタ分析ステップと、
前記音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する方向一致組合せ抽出ステップと、
この方向一致組合せ抽出ステップにて抽出された音源番号に係る音源同士の距離差を、前記距離方向のインデックスの差分を取ることで計算する音源距離差計算ステップと、
前記音源距離差計算ステップにて計算した音源同士の距離差と、前記音源同士の距離差と周波数とを関連付けた合成帯域変換データにおける距離差と、に対応する周波数と、前記方向一致組合せ抽出ステップにて抽出された前記音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する音響信号関連情報生成出力ステップと、
この音響信号関連情報生成出力ステップにおいて生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする立体音響信号合成ステップと、
この立体音響信号合成ステップにおいて合成した立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとする立体音響信号ビット割当符号化ステップと、
前記音源位置データを符号化した符号化位置データとする位置データ符号化ステップと、
前記符号化位置データと前記符号化立体音響データとを多重化した多重化データとする多重化ステップと、
この多重化ステップにおいて多重化した多重化データを出力する多重化データ出力ステップと、
を含むことを特徴とする立体音響信号符号化方法。
再生する際に立体感のある音響効果を生じさせる立体音響信号を、複数の音響信号を合成して生成し、当該立体音響信号を符号化するために、音源同士の距離差と、周波数とを関連付けた合成帯域変換データを予め記録している合成帯域変換データ記録手段を備えたコンピュータを、
前記音響信号を時間周波数変換して、前記音響信号の周波数を分析するフィルタ分析手段、
前記音響信号の音源の位置を示す音源位置データの音源番号、距離方向のインデックスおよび左右方向のインデックスを用い、当該左右方向のインデックスにより方向が一致している当該音源番号の組合せを抽出する方向一致組合せ抽出手段、
この方向一致組合せ抽出手段で抽出された音源番号に係る音源同士の距離差を、前記距離方向のインデックスの差分を取ることで計算する音源距離差計算手段、
前記音源距離差計算手段で計算した音源同士の距離差と前記合成帯域変換データにおける距離差とに対応する周波数と、前記方向一致組合せ抽出手段で抽出された前記音源番号の組合せとを含み、合成すべき音響信号の周波数帯域を示す音響信号関連情報を生成して出力する音響信号関連情報生成出力手段、
この音響信号関連情報生成出力手段によって生成した音響信号関連情報で示される音源番号の組合せによる音響信号同士について、当該音響信号の周波数帯域を合成することで立体音響信号とする立体音響信号合成手段、
この立体音響信号合成手段によって合成した立体音響信号に所定のビットを割り当てて符号化した符号化立体音響データとする立体音響信号ビット割当符号化手段、
前記音源位置データを符号化した符号化位置データとする位置データ符号化手段、
前記符号化位置データと前記符号化立体音響データとを多重化した多重化データとする多重化手段、
この多重化手段によって多重化した多重化データを出力する多重化データ出力手段、
として機能させることを特徴とする立体音響信号符号化プログラム。