JP7753312B2 - Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 - Google Patents
Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現Info
- Publication number
- JP7753312B2 JP7753312B2 JP2023176461A JP2023176461A JP7753312B2 JP 7753312 B2 JP7753312 B2 JP 7753312B2 JP 2023176461 A JP2023176461 A JP 2023176461A JP 2023176461 A JP2023176461 A JP 2023176461A JP 7753312 B2 JP7753312 B2 JP 7753312B2
- Authority
- JP
- Japan
- Prior art keywords
- hoa
- representation
- sound
- compressed
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Description
特許文献3に記載されるHOA圧縮器の全体的なアーキテクチャーが図1に示されている。これは、図1のAに描かれる空間的HOAエンコード部と、図1のBに描かれる知覚的および源エンコード部とを有する。空間的HOAエンコーダは、I個の信号からなる第一の圧縮されたHOA表現を、そのHOA表現をどのように生成するかを記述するサイド情報とともに提供する。知覚的およびサイド情報源符号化器では、該I個の信号は知覚的にエンコードされ、該サイド情報は源エンコードにかけられる。その後、二つの符号化された表現が多重化される。
第一段階では、もとのHOA表現の現在のk番目のフレームC(k)が方向およびベクトル推定処理段階またはステージ11に入力される。該段階はタプル集合MDIR(k)およびMVEC(k)を提供すると想定される。タプル集合MDIR(k)は、第一の要素が方向性信号のインデックスを表わし、第二の要素がそれぞれの量子化された方向を表わす諸タプルからなる。タプル集合MVEC(k)は、第一の要素がベクトル・ベースの信号のインデックスを表わし、第二の要素がそれらの信号の方向分布、すなわち該ベクトル・ベースの信号のHOA表現がどのようにして計算されるかを定義するベクトルを表わす諸タプルからなる。
によって与えられる情報を用いて、フレーム
に含まれる適切な信号およびフレーム
に含まれる適切な信号を、I個の利用可能なチャネルに割り当て、信号フレーム
を与える。さらに、フレーム
およびフレーム
に含まれる適切な信号も、I個の利用可能なチャネルに割り当てられて、予測された信号フレームyP,i(k-2)、i=1,…,Iを与える。
を出力する。予測された信号フレームyP,i(k-2)、i=1,…,Iは、相続くブロックの間の激しい利得変化を避けるために一種の先読みを許容する。サイド情報データMDIR(k-1)、MVEC(k-1)、ei(k-2)、βi(k-2)、ζ(k-1)およびvA(k-2)はサイド情報源符号化器段階またはステージ17において源符号化され、エンコードされたサイド情報フレーム
を与える。マルチプレクサ18において、フレーム(k-2)のエンコードされた信号
およびこのフレームについてのエンコードされたサイド情報データ
が組み合わされて、出力フレーム
を与える。
特許文献3に記載されるHOA圧縮解除器の全体的なアーキテクチャーが図2に示されている。これは、上記HOA圧縮器のコンポーネントの、逆順に配列された対応物からなり、図2のAに描かれる知覚的および源デコード部と、図2のBに描かれる空間的HOAデコード部とを含む。
を受領し、前記I個の信号の知覚的に符号化された表現
と、そのHOA表現をどのようにして生成するかを記述する符号化されたサイド情報データ
とを与える。信号
は知覚的デコーダ段階またはステージ22において知覚的にデコードされて、デコードされた信号
を与える。符号化されたサイド情報データ
はサイド情報源デコーダ段階またはステージ23においてデコードされて、データ集合MDIR(k+1)、MVEC(k+1)、指数ei(k)、例外フラグβi(k)、予測パラメータζ(k+1)および割り当てベクトルvAMB,ASSIGN(k)を与える。vAとvAMB,ASSIGNの間の相違については、上述したMPEGの非特許文献1を参照。
空間的HOAデコード部では、知覚的にデコードされた信号
のそれぞれが、関連する利得補正指数ei(k)および利得補正例外フラグβi(k)と一緒に逆利得制御処理段階またはステージ24、241に入力される。i番目の逆利得制御処理段階/ステージは利得補正された信号フレーム
〔^yi(k)〕を与える。
のすべては割り当てベクトルvAMB,ASSIGN(k)およびタプル集合MDIR(k+1)およびMVEC(k+1)と一緒にチャネル再割り当て段階またはステージ25に供給される。タプル集合MDIR(k+1)およびMVEC(k+1)の上記の定義を参照。割り当てベクトルvAMB,ASSIGN(k)はI個の成分からなり、これらの成分は各伝送チャネルについて、周囲HOA成分の係数シーケンスを含んでいるかどうかおよびどの係数シーケンスを含んでいるかを示す。チャネル再割り当て段階/ステージ25において、利得補正された信号フレーム^yi(k)は、すべての優勢音信号(すなわちすべての方向性およびベクトル・ベースの信号)のフレーム
〔^XPS(k)〕および周囲HOA成分の中間表現のフレームCI,AMB(k)を再構成するために再分配される。さらに、k番目のフレームにおいてアクティブである、周囲HOA成分の係数シーケンスのインデックスの集合IAMB,ACT(k)と、(k-1)番目のフレームにおいて有効にされる、無効にされるまたはアクティブなままである必要がある周囲HOA成分の係数インデックスのデータ集合IE(k-1)、ID(k-1)およびIU(k-1)とが提供される。
〔^CPS(k-1)〕のHOA表現が、すべての優勢音信号のフレーム^XPS(k)から、タプル集合MDIR(k+1)および予測パラメータの集合ζ(k+1)、タプル集合MVEC(k+1)およびデータ集合IE(k-1)、ID(k-1)およびIU(k-1)を使って計算される。
〔^CAMB(k-1)〕が、周囲HOA成分の中間表現のフレームCI,AMB(k)から、k番目のフレームにおいてアクティブである周囲HOA成分の係数シーケンスのインデックスの集合IAMB,ACT(k)を使って生成される。一フレームぶんの遅延が、優勢音HOA成分との同期に起因して導入されている。最後に、HOA組成段階またはステージ28において、周囲HOA成分フレーム^CAMB(k-1)および優勢音HOA成分のフレーム^CPS(k-1)が重畳されて、デコードされたHOAフレーム^C(k-1)を与える。
本発明の処理を使うために、(全)入力HOA表現信号の正規化が、事前に実行される。HOA圧縮については、フレームごとの処理が実行される。ここで、もとの入力HOA表現のk番目のフレームC(k)は、〈高次アンビソニックスの基礎〉の節の式(54)において指定される時間連続的なHOA係数シーケンスのベクトルc(t)に関して
のように定義される。ここで、kはフレーム・インデックス、Lはフレーム長(サンプル単位)を表わし、O=(N+1)2はHOA係数シーケンスの数であり、TSはサンプリング周期を示す。
fliege/nodes/nodes.htmlにある。これらの位置は一般に、「球状の一様分布」の定義の種類に依存するもので、よって曖昧さがないこともない。
においてまとめられる。ここで、(・)Tは転置を表わす。仮想方向Ωj (N)、1≦j≦Oに関するモード行列を
によって定義されるΨで表わすと、レンダリング・プロセスは、行列乗算
w(t)=(Ψ)-1・c(t) (5)
として定式化されることができる。
である。これは、各仮想スピーカー信号の大きさは範囲[-1,1[内にあることが要求されることを意味している。時間tの時刻は、サンプル・インデックスlと前記HOAデータ・フレームのサンプル値のサンプル周期TSとによって表現される。
を満たす。HOAデータ・フレーム表現のレンダリングおよび正規化は、図1のAの入力C(k)の上流で実行される。
入力HOA表現の正規化が〈入力HOA表現の正規化〉の節の記述に従って実行されるとして、HOA圧縮器における利得制御処理ユニット15、151に入力される信号yi、i=1,…,lの値範囲について以下で考察する。これらの信号は、HOA係数シーケンスまたは優勢音信号xPS,d、d=1,…,Dおよび/または周囲HOA成分cAMB,n、n=1,…,Oの特定の諸係数シーケンス(その一部には空間変換が適用される)のうちの一つまたは複数の、利用可能なI個のチャネルへの割り当てによって生成される。よって、式(6)での正規化の想定のもとに、ここに挙げた異なる信号型の可能な値範囲を分析することが必要である。すべての種類の信号は、もとのHOA係数シーケンスから中間的に計算されるので、それらの可能な値範囲を見ておく。
時間連続的なHOA表現は仮想スピーカー信号から
c(t)=Ψw(t) (8)
によって得られる。これは、式(5)の逆演算である。よって、すべてのHOA係数シーケンスの全パワーは、式(8)および(7)を使って次のように制限される。
球面調和関数のN3D正規化の想定のもとでは、モード行列の二乗されたユークリッド・ノルムは
||Ψ||2 2=K・O (10a)
によって書くことができる。ここで、
K=||Ψ||2 2/O (10b)
はモード行列の二乗されたユークリッド・ノルムとHOA係数シーケンスの数Oとの間の比を表わす。この比は特定のHOA次数Nおよび特定の諸仮想スピーカー方向Ωj (N)、1≦j≦Oに依存する。このことは、
K=K(N,Ω1 (N),…,ΩO (N)) (10c)
のように、この比の後に個々のパラメータ・リストを付けることによって表わせる。
ここで、最初の不等号はノルムの定義から直接帰結する。
モード・ベクトルに対する直交性の想定が破られるほど、真のノルム||c(lTS)||2は式(12)の近似から異なってくる。
優勢音信号の両方の型(方向性およびベクトル・ベース)は、HOA表現への寄与が、N+1のユークリッド・ノルムをもつ、すなわち
||v1||2=N+1 (13)
となる単一のベクトルv1∈ROによって記述されることで共通している。
このベクトルは、HOA表現によって、信号源方向ΩS,1への方向性ビームを記述する。ベクトル・ベースの信号の場合、ベクトルv1はいかなる方向に関するモード・ベクトルにも制約されず、よってモノラルのベクトル・ベースの信号の、より一般的な方向性分布を記述しうる。
x(t)=[x1(t) x2(t) … xD(t)]T (16)
に従ってベクトルx(t)に集められることができる。これらの信号は、モノラルの優勢音信号xd(t)、d=1,…,Dの方向性分布を表わすすべてのベクトルvd、d=1,…,Dから形成される行列
V:=[v1 v2 … vD] (17)
に基づいて決定される必要がある。
a)各優勢音信号はもとのHOA表現の係数シーケンスの線形結合として得られる、すなわち
x(t)=A・c(t) (18)
ここで、A∈RD×Oは混合行列を表わす。
b)混合行列Aは、そのユークリッド・ノルムが値1を超えない、すなわち
ように、かつもとのHOA表現と優勢音信号のHOA表現との間の残差の二乗されたユークリッド・ノルム(または等価だがパワー)がもとのHOA表現の二乗されたユークリッド・ノルム(または等価だがパワー)より大きくない、すなわち
となるよう、選ばれるべきである。
と等価であることが見て取れる。ここで、Iは恒等行列を表わす。
によって見出される。よって、優勢音信号がもとのHOA係数シーケンスと同じ範囲(式(11)参照)内に留まること、すなわち、
となることが保証される。
制約条件(20)を満たす混合行列をどのようにして決定するかの例が、抽出後の残差のユークリッド・ノルムが最小化される、すなわち
となるように優勢音信号を計算することによって得られる。式(26)の最小化問題に対する解は
x(t)=V+c(t) (27)
によって与えられる。ここで、(・)+はムーア・ペンローズの擬似逆行列を示す。式(27)を式(18)と比較することによって、この場合、混合行列が行列Vのムーア・ペンローズ擬似逆行列に等しい、すなわちA=V+となることがわかる。
を満たすよう選ばれる必要がある。
であり、この場合、制約条件(28)は、任意の二つの隣接する方向の距離が小さすぎないように源信号方向ΩS,d、d=1,…,Dを選ぶことによって満たされることができる。
周囲HOA成分は、もとのHOA表現から優勢音信号のHOA表現を引くことによって計算される。すなわち、
優勢音信号x(t)のベクトルが基準(20)に従って決定される場合、
と結論できる。
特許文献2および上述した非特許文献1のMPEG文書において提案されたHOA圧縮処理におけるさらなる側面は、周囲HOA成分の最初のOMIN個の係数シーケンスが常に、トランスポート・チャネルに割り当てられるよう選ばれるということである。ここで、OMIN=(NMIN+1)2であり、NMIN≦Nは典型的にはもとのHOA表現の次数よりも小さな次数である。これらのHOA係数シーケンスを脱相関させるために、これらは(〈入力HOA表現の正規化〉の節で述べた概念と同様に)いくつかのあらかじめ定義された方向ΩMIN,d、d=1,…,OMINから入射する仮想スピーカー信号に変換されることができる。次数インデックスn≦NMINをもつ周囲HOA成分のすべての係数シーケンスのベクトルをcAMB,MIN(t)によって定義し、仮想方向ΩMIN,d、d=1,…,OMINに関するモード行列をΨMINによって定義すると、wMIN(t)という(によって定義される)すべての仮想スピーカー信号のベクトルは
によって得られる。
となる。
であることが見て取れる。
HOA表現から生成される仮想スピーカー信号の振幅が値1を超えないことを要求する条件(6)を満たすよう入力HOA表現を制約することによって、利得制御前の信号の振幅が値(√K)・Oを超えないことが、次の条件のもとで、保証できる(式(25)、(34)、(40)参照):
a)すべての優勢音信号x(t)のベクトルが式/制約条件(18)、(19)、(20)に従って計算される;
b)仮想スピーカー位置として上述した非特許文献2の論文において定義されるものが使われる場合、空間変換が適用される周囲HOA成分の最初の諸係数シーケンスの数OMINを決定する最小次数NMINが9未満である必要がある。
特に、図3から、初期空間変換について仮想スピーカー方向Ωj (N)、1≦j≦Oが非特許文献2の論文における分布に従って選ばれていると想定される場合であり、加えて、関心対象の最大次数がNMAX=29である(たとえば非特許文献1のMPEG文書のように)と想定される場合、この特別な場合には√KMAX<1.5なので、利得制御前の信号の振幅は1.5Oを超えない。すなわち、√KMAX=1.5が選択されることができる。
よって、知覚的符号化前の信号が区間[-1,1]内にあることを保証するために利得制御によって適用される最大利得は
によって与えられる。
までの因子でなめらかに増幅することが可能であることが提案されている。ここで、eMAX≧0は符号化されたHOA表現内でサイド情報として伝送される。
利得制御前の信号の振幅が小さすぎない場合には、式(42)は次のように単純化できる。
このビット数βeは、利得制御段階/ステージ15、…、151の入力において計算されることができる。
のうちからデマルチプレクサ21から受領される非差分的な利得値は、利得制御段階/ステージ15、…、151において実行された処理の逆の仕方で、正しい利得制御を適用するために、逆利得制御段階またはステージ24、…、241において使われる。
〈HOA圧縮〉、〈空間的HOAエンコード〉、〈HOA圧縮解除〉および〈空間的HOAデコード〉の節において述べたような具体的なHOA圧縮/圧縮解除システムを実装するとき、前記指数を符号化するためのビットの量βeが、スケーリング因子KMAX,DESに依存して式(42)に従って設定される必要がある。このKMAX,DES自身は圧縮されるべきHOA表現の所望される(desired)最大次数NMAX,DESおよびある種の仮想スピーカー方向
に依存する。
デシベル単位での値は
γdB=20log10(γ) (44)
によって得られる。
であれば、利得制御処理ユニット15、151より前のすべての信号は相応してこの値を超えないことが見て取れる。これは、適正なHOA圧縮のための要件である。
によって制限されることが見出される。結果として、γが式(43)に従って設定され、PCMフォーマットでの仮想スピーカー信号が
を満たす場合、式(7)から、
となり、要件(45)が満たされていることになる。
高次アンビソニックス(HOA)は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、関心領域内の位置xおよび時刻tにおける音圧の空間時間的挙動p(t,x)は、斉次の波の式(homogeneous wave equation)によって物理的に完全に決定される。以下では、図6に示される球面座標系を想定する。使用されるこの座標系では、x軸は前方位置を向き、y軸は左を向き、z軸は上を向く。空間内の位置x=(r,θ,φ)Tは動径r>0(すなわち、座標原点までの距離)、極軸zから測った傾斜角θ∈[0,π]およびxy平面においてx軸から反時計回りに測った方位角φ∈[0,2π[によって表現される。さらに、(・)Tは転置を表わす。
Ft(・)によって表わされる時間に関する音圧のフーリエ変換、すなわち
は、
に従って球面調和関数級数に展開されうることが示せる。ここで、csは音速を表わし、kは角波数を表わす。角波数は角周波数ωに、k=ω/csによって関係付けられる。さらに、jn(・)は第一種の球面ベッセル関数を表わし、Sn m(θ,φ)は次数(order)n、陪数(degree)mの実数値の球面調和関数を表わす。これは〈実数値球面調和関数の定義〉の節で定義される。展開係数An m(k)は角波数kのみに依存する。音圧が空間的に帯域制限されていることが暗黙的に想定されていることを注意しておく。よって、級数は次数インデックスnに関して上限Nで打ち切られる。このNはHOA符号化表現の次数と呼ばれる。
ここで、展開係数Cn m(k)は展開係数An m(k)に、
An m(k)=inCn m(k) (52)
によって関係付けられる。個々の係数Cn m(k=ω/cs)が角周波数ωの関数であるとすると、逆フーリエ変換(F-1(・)によって表わされる)の適用は、各次数nおよび陪数mについて、時間領域関数
を与える。これらの時間領域関数はここでは連続時間HOA係数シーケンスと称され、これは
によって単一のベクトルc(t)にまとめることができる。
n(n+1)+1+m
によって与えられる。ベクトルc(t)内の全体的な要素数はO=(N+1)2によって与えられる。
最終的なアンビソニックス・フォーマットは、サンプリング周波数fsを使って、c(t)のサンプリングされたバージョンを、
として与える。ここで、Ts=1/fsはサンプリング周期を表わす。c(lTs)の要素は離散時間HOA係数シーケンスと称される。これは常に実数値であることが示せる。この属性は、連続時間バージョンcn m(t)についても成り立つ。
実数値の球面調和関数Sn m(θ,φ)(非特許文献5、3.1章に基づくSN3D規格化を想定)は次式によって与えられる。
ルジャンドル陪関数Pn,m(x)は次式によって定義される。
ここで、ルジャンドル多項式Pn(x)を用いているが、非特許文献3とは異なり、コンドン・ショートリー(Condon-Shortley)位相項(-1)mがない。
〔態様1〕
HOAデータ・フレーム表現(C(k))の圧縮のHOAデータ・フレームのうちの個々のもののチャネル信号に関連付けられた非差分的な利得値(2e)を含む符号化されたHOAデータ表現
であって、各フレームにおける各チャネル信号はサンプル値のグループを含み、前記HOAデータ・フレームの各フレームの各チャネル信号(y1(k-2),…,yI(k-2))に対して差分利得値が割り当てられ、そのような差分利得値は現在HOAデータ・フレーム((k-2))におけるチャネル信号のサンプル値の振幅の、直前のHOAデータ・フレーム((k-3))におけるそのチャネル信号のサンプル値に対する変化を引き起こすものであり、そのような利得適応されたチャネル信号はエンコーダ(16)においてエンコードされたものであり、
前記HOAデータ・フレーム表現(C(k))は空間領域においてO個の仮想スピーカー信号wj(t)にレンダリングされており、それらの仮想スピーカーの位置は単位球上にあり、その単位球上で一様に分布させられるよう目標とされており、前記レンダリングは行列乗算w(t)=(Ψ)-1・c(t)によって表現され、w(t)はすべての仮想スピーカー信号を含むベクトルであり、Ψは仮想スピーカー位置モード行列であり、c(t)は前記HOAデータ・フレーム表現(C(k))の対応するHOA係数シーケンスのベクトルであり、
前記HOAデータ・フレーム表現(C(k))は
となるよう正規化されており、前記チャネル信号についての前記非差分的な利得値(2e)を表現するために必要とされる最低の整数ビット数βeは:
・前記の正規化されたHOAデータ・フレーム表現(C(k))から、前記チャネル信号(y1(k-2),…,yI(k-2))を、サブステップa)、b)、c)、すなわち
a)前記チャネル信号における優勢音信号(x(t))を表現するために、HOA係数シーケンスの前記ベクトルc(t)に混合行列Aを乗算するサブステップであって、混合行列Aのユークリッド・ノルムは1より大きくなく、混合行列Aは前記正規化されたHOAデータ・フレーム表現の係数シーケンスの線形結合を表わす、サブステップ;
b)前記チャネル信号における周囲成分cAMB(t)を表現するために、前記正規化されたHOAデータ・フレーム表現(C(k))から前記優勢音信号を減算し、前記周囲成分cAMB(t)の係数シーケンスの少なくとも一部を選択し、||cAMB(t)||2 2≦||c(t)||2 2であり、結果として得られる最小周囲成分cAMB,MIN(t)を、wMIN(t)=ΨMIN -1・cAMB,MIN(t)を計算することによって変換し、||ΨMIN -1||2<1であり、ΨMINは前記最小周囲成分cAMB,MIN(t)についてのモード行列である、サブステップ;
c)前記HOA係数シーケンスc(t)の一部を選択するサブステップであって、選択された係数シーケンスは、空間変換が適用される前記周囲HOA成分の係数シーケンスに関係し、前記選択された係数シーケンスの数を記述する最小次数NMINはNMIN≦9である、サブステップ;
のうちの一つまたは複数によって形成する段階と;
・前記チャネル信号についての前記非差分的な利得値(2e)を表現するために必要とされる前記最低の整数ビット数βeを
に設定する段階であって、
であり、Nは前記次数であり、NMAXは関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は前記仮想スピーカーの方向であり、O=(N+1)2はHOA係数シーケンスの数であり、Kは前記モード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比である、段階とによって決定されたものである、
方法。
〔態様2〕
前記変換された最小周囲成分に加えて、前記周囲成分cAMB(t)の変換されていない周囲係数シーケンスが前記チャネル信号(y1(k-2),…,yI(k-2))に含まれる、態様1記載の符号化されたHOAデータ・フレーム表現。
〔態様3〕
前記HOAデータ・フレームのうちの個々のものの前記チャネル信号に関連付けられた前記非差分的な利得値(2e)がサイド情報として含まれ、そのそれぞれがβeビットによって表現される、態様1または2記載の符号化されたHOAデータ・フレーム表現。
〔態様4〕
前記最低の整数ビット数βeが
に設定され、eMAX>0は利得制御(15、151)前のチャネル信号のサンプル値の振幅が小さすぎる場合に前記ビット数βeを増すはたらきをする、
態様1ないし3のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様5〕
√KMAX=1.5である、態様1ないし4のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様6〕
前記混合行列Aが、モノラル優勢音信号の方向分布を表わすすべてのベクトルから形成されるモード行列のムーア・ペンローズの擬似逆行列を取ることによって、もとのHOA表現と優勢音信号のものとの間の残差のユークリッド・ノルムを最小にするよう決定される、態様1ないし6のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
〔態様7〕
前記O個の仮想スピーカー信号の位置がβeの計算のために想定されたものと一致せず、
・これらの仮想スピーカー位置についてのモード行列Ψが計算され(51);
・このモード行列のユークリッド・ノルム||Ψ||2が計算され(52);
・前記正規化における最大の許容される振幅1を置き換える最大許容される振幅値
が計算されており(53)、
であり、Nは前記次数であり、O=(N+1)2はHOA係数シーケンスの数であり、Kは、前記モード行列の二乗されたユークリッド・ノルムとOとの比であり、NMAX,DESは関心対象の次数でありΩDES,1 (N),…ΩDES,1 (N)は各次数について、前記HOAデータ・フレーム表現(C(k))の前記圧縮の実装のために想定された仮想スピーカーの方向であり、よってβeは、前記非差分的な利得値の底2に対する指数(e)を符号化するために
によって選ばれたものである、
態様1ないし6のうちいずれか一項記載の符号化されたHOAデータ・フレーム表現。
Claims (3)
- 音または音場の圧縮された高次アンビソニックス(HOA)音表現をデコードする方法であって、当該方法は:
前記圧縮されたHOA音表現を含むビットストリームを受領する段階と;
前記圧縮されたHOA表現をビットストリームから多重分離する段階と;
前記圧縮されたHOA音表現をデコードして、知覚的にデコードされた信号を決定する段階と;
前記知覚的にデコードされた信号に基づいて、周囲HOA成分の中間表現を決定する段階と;
周囲合成を実行して、前記周囲HOA成分の前記中間表現からHOA成分フレームを決定する段階とを含み、
前のHOAデータ・フレームでのチャネル信号に適用される非差分的な利得値のそれぞれは最低の整数数β e のビットによって表現され、前記最低の整数数β e は、
に基づいて決定され、
eMAX>0であり、
であり、Nは前記圧縮されたHOA音表現の次数であり、NMAXは前記圧縮されたHOA音表現の関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は前記HOA音表現をレンダリングするための仮想スピーカーの方向であり、O=(N+1)2であり、Kは仮想スピーカー位置モード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比である、
方法。 - プロセッサによって実行されると請求項1記載の方法を実行する命令を含んでいる非一時的なコンピュータ読み取り可能な記憶媒体。
- 音または音場の圧縮された高次アンビソニックス(HOA)音表現をデコードする装置であって、当該装置は:
前記圧縮されたHOA音表現を含むビットストリームを受領する受領器と;
前記圧縮されたHOA表現をビットストリームから多重分離するデマルチプレクサと;
前記圧縮されたHOA音表現をデコードして、知覚的にデコードされた信号を決定するデコーダと;
前記知覚的にデコードされた信号に基づいて、周囲HOA成分の中間表現を決定するチャネル再割り当てプロセッサと;
周囲合成を実行して、前記周囲HOA成分の前記中間表現からHOA成分フレームを決定する周囲合成プロセッサとを含み、
前のHOAデータ・フレームでのチャネル信号に適用される非差分的な利得値のそれぞれは最低の整数数β e のビットによって表現され、前記最低の整数数β e は、
に基づいて決定され、
eMAX>0であり、
であり、Nは前記圧縮されたHOA音表現の次数であり、NMAXは前記圧縮されたHOA音表現の関心対象の最大次数であり、Ω1 (N),…,ΩO (N)は前記HOA音表現をレンダリングするための仮想スピーカーの方向であり、O=(N+1)2であり、Kは仮想スピーカー位置モード行列の二乗されたユークリッド・ノルム||Ψ||2 2とOとの間の比である、
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025165095A JP2026012702A (ja) | 2014-06-27 | 2025-10-01 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14306027 | 2014-06-27 | ||
| EP14306027.5 | 2014-06-27 | ||
| JP2016575020A JP6656182B2 (ja) | 2014-06-27 | 2015-06-22 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2020016868A JP6972195B2 (ja) | 2014-06-27 | 2020-02-04 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2021179491A JP7423585B2 (ja) | 2014-06-27 | 2021-11-02 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021179491A Division JP7423585B2 (ja) | 2014-06-27 | 2021-11-02 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025165095A Division JP2026012702A (ja) | 2014-06-27 | 2025-10-01 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2023179673A JP2023179673A (ja) | 2023-12-19 |
| JP2023179673A5 JP2023179673A5 (ja) | 2024-03-26 |
| JP7753312B2 true JP7753312B2 (ja) | 2025-10-14 |
Family
ID=51178842
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016575020A Active JP6656182B2 (ja) | 2014-06-27 | 2015-06-22 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2020016868A Active JP6972195B2 (ja) | 2014-06-27 | 2020-02-04 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2021179491A Active JP7423585B2 (ja) | 2014-06-27 | 2021-11-02 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2023176461A Active JP7753312B2 (ja) | 2014-06-27 | 2023-10-12 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2025165095A Pending JP2026012702A (ja) | 2014-06-27 | 2025-10-01 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016575020A Active JP6656182B2 (ja) | 2014-06-27 | 2015-06-22 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2020016868A Active JP6972195B2 (ja) | 2014-06-27 | 2020-02-04 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
| JP2021179491A Active JP7423585B2 (ja) | 2014-06-27 | 2021-11-02 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025165095A Pending JP2026012702A (ja) | 2014-06-27 | 2025-10-01 | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US9794713B2 (ja) |
| EP (2) | EP3162087B1 (ja) |
| JP (5) | JP6656182B2 (ja) |
| KR (4) | KR20250051142A (ja) |
| CN (5) | CN119676630A (ja) |
| TW (6) | TWI748636B (ja) |
| WO (1) | WO2015197517A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2960903A1 (en) | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
| KR20250051142A (ko) * | 2014-06-27 | 2025-04-16 | 돌비 인터네셔널 에이비 | Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현 |
| KR102655047B1 (ko) * | 2014-06-27 | 2024-04-08 | 돌비 인터네셔널 에이비 | Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 방법 |
| US10249312B2 (en) | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
| US9961467B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
| DE102016104665A1 (de) * | 2016-03-14 | 2017-09-14 | Ask Industries Gmbh | Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals |
| CN114582357B (zh) | 2020-11-30 | 2025-09-12 | 华为技术有限公司 | 一种音频编解码方法和装置 |
| CN113345448B (zh) * | 2021-05-12 | 2022-08-05 | 北京大学 | 一种基于独立成分分析的hoa信号压缩方法 |
| CN115376527B (zh) * | 2021-05-17 | 2026-04-07 | 华为技术有限公司 | 三维音频信号编码方法、装置和编码器 |
| CN115938388A (zh) * | 2021-05-31 | 2023-04-07 | 华为技术有限公司 | 一种三维音频信号的处理方法和装置 |
| CN115497485B (zh) * | 2021-06-18 | 2024-10-18 | 华为技术有限公司 | 三维音频信号编码方法、装置、编码器和系统 |
| CN115881140B (zh) * | 2021-09-29 | 2025-09-26 | 华为技术有限公司 | 编解码方法、装置、设备、存储介质及计算机程序产品 |
| CN113940684B (zh) * | 2021-11-25 | 2025-02-25 | 江苏正心智能科技有限公司 | 一种可穿戴便携式心脏监护设备 |
| CN115331681B (zh) * | 2022-08-09 | 2025-12-09 | 深蓝感知(杭州)物联科技有限公司 | 一种基于感兴趣区域的音频增强编码传输系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012133366A (ja) | 2010-12-21 | 2012-07-12 | Thomson Licensing | 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置 |
| WO2013171083A1 (en) | 2012-05-14 | 2013-11-21 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics signal representation |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE522453C2 (sv) * | 2000-02-28 | 2004-02-10 | Scania Cv Ab | Sätt och anordning för styrning av ett mekaniskt tillsatsaggregat i ett motorfordon |
| JP5434592B2 (ja) | 2007-06-27 | 2014-03-05 | 日本電気株式会社 | オーディオ符号化方法、オーディオ復号方法、オーディオ符号化装置、オーディオ復号装置、プログラム、およびオーディオ符号化・復号システム |
| EP2094032A1 (en) * | 2008-02-19 | 2009-08-26 | Deutsche Thomson OHG | Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same |
| KR102294460B1 (ko) * | 2010-03-26 | 2021-08-27 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치 |
| EP2451196A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three |
| EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
| CN102760437B (zh) * | 2011-04-29 | 2014-03-12 | 上海交通大学 | 实时声道控制转换的音频解码装置 |
| EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
| EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
| KR102429953B1 (ko) * | 2012-07-19 | 2022-08-08 | 돌비 인터네셔널 에이비 | 다채널 오디오 신호들의 렌더링을 향상시키기 위한 방법 및 디바이스 |
| EP2743922A1 (en) | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
| EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
| EP4354432B1 (en) * | 2014-06-27 | 2026-03-11 | Dolby International AB | Apparatus for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values |
| KR20250051142A (ko) * | 2014-06-27 | 2025-04-16 | 돌비 인터네셔널 에이비 | Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현 |
| EP2960903A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
-
2015
- 2015-06-22 KR KR1020257010552A patent/KR20250051142A/ko active Pending
- 2015-06-22 JP JP2016575020A patent/JP6656182B2/ja active Active
- 2015-06-22 CN CN202411885310.6A patent/CN119676630A/zh active Pending
- 2015-06-22 EP EP15729524.7A patent/EP3162087B1/en active Active
- 2015-06-22 CN CN202011175807.0A patent/CN112216292B/zh active Active
- 2015-06-22 KR KR1020227020118A patent/KR102606212B1/ko active Active
- 2015-06-22 WO PCT/EP2015/063919 patent/WO2015197517A1/en not_active Ceased
- 2015-06-22 CN CN202411885343.0A patent/CN119743722A/zh active Pending
- 2015-06-22 US US15/319,353 patent/US9794713B2/en active Active
- 2015-06-22 KR KR1020167036584A patent/KR102410307B1/ko active Active
- 2015-06-22 CN CN202011175798.5A patent/CN112216291B/zh active Active
- 2015-06-22 EP EP21158332.3A patent/EP3855766A1/en active Pending
- 2015-06-22 CN CN201580035108.7A patent/CN107077852B/zh active Active
- 2015-06-22 KR KR1020237040090A patent/KR102791174B1/ko active Active
- 2015-06-26 TW TW109130726A patent/TWI748636B/zh active
- 2015-06-26 TW TW113137494A patent/TW202533210A/zh unknown
- 2015-06-26 TW TW110143955A patent/TWI811864B/zh active
- 2015-06-26 TW TW109102610A patent/TWI705433B/zh active
- 2015-06-26 TW TW104120629A patent/TWI686793B/zh active
- 2015-06-26 TW TW112127255A patent/TWI860790B/zh active
-
2017
- 2017-09-12 US US15/702,471 patent/US10165384B2/en active Active
-
2018
- 2018-12-05 US US16/210,957 patent/US10516958B2/en active Active
-
2020
- 2020-02-04 JP JP2020016868A patent/JP6972195B2/ja active Active
-
2021
- 2021-11-02 JP JP2021179491A patent/JP7423585B2/ja active Active
-
2023
- 2023-10-12 JP JP2023176461A patent/JP7753312B2/ja active Active
-
2025
- 2025-10-01 JP JP2025165095A patent/JP2026012702A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012133366A (ja) | 2010-12-21 | 2012-07-12 | Thomson Licensing | 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置 |
| WO2013171083A1 (en) | 2012-05-14 | 2013-11-21 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics signal representation |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7751696B2 (ja) | 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する装置 | |
| JP7753312B2 (ja) | Hoaデータ・フレーム表現のデータ・フレームの個々のもののチャネル信号に関連付けられた非差分的な利得値を含む符号化されたhoaデータ・フレーム表現 | |
| JP7757471B2 (ja) | 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する装置 | |
| JP6567571B2 (ja) | 非差分的な利得値を表現するのに必要とされる最低整数ビット数をhoaデータ・フレーム表現の圧縮のために決定する方法および装置 | |
| HK40118598A (zh) | 声音或声场的压缩hoa声音表示的解码方法和装置 | |
| HK40100970A (zh) | 用於解码声音或声场的高阶高保真度立体声响复制(hoa)表示的方法 | |
| HK40064596B (zh) | 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的方法 | |
| HK40039421B (zh) | 声音或声场的压缩hoa声音表示的解码方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231109 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20250502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7753312 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |