RS62160B1

RS62160B1 - Poboljšana ekstenzija frekvencijskog opsega u dekoderu audio frekventnih signala

Info

Publication number: RS62160B1
Application number: RS20210945A
Authority: RS
Inventors: Magdalena Kaniewska; Stéphane Ragot
Original assignee: Koninklijke Philips Nv
Priority date: 2014-02-07
Filing date: 2015-02-04
Publication date: 2021-08-31
Also published as: SI3103116T1; US10043525B2; HRP20211187T1; JP6775065B2; DK3330966T3; PL3327722T3; JP2019168710A; RU2763848C2; SMT202300335T1; ES2878401T3; JP2019168709A; SI3330966T1; CN107993667B; RU2763481C2; RU2017144521A; ZA201708366B; HUE055111T2; SMT202100395T1; KR20160119150A; US11325407B2

Description

Opis

[0001] Predmetni pronalazak se odnosi na područje kodiranja / dekodiranja i obrade audiofrekventnih signala (kao što su govor, muzika ili drugi signali) za njihov prenos ili njihovo skladištenje.

[0002] Preciznije, pronalazak se odnosi na postupak i uređaj za ekstenziju frekvencijskog opsega u dekoderu ili procesoru koji vrši poboljšanje audio-frekventnog signala.

[0003] Postoje mnoge tehnike za sabijanje (sa gubitkom) audio (zvučnog) signala kao što su govor ili muzika.

[0004] Klasični postupci kodiranja za konverzacione primene uglavnom se klasifikuju kao kodiranje talasnih oblika (MIC za „impulsnu modulaciju i kodiranje“, MICDA za „impulsnu modulaciju i prilagodljivo diferencijalno kodiranje“, kodiranje putem transformacije, itd.), parametarsko kodiranje (LPC za „linearno prediktivno kodiranje“ na engleskom, sinusoidno kodiranje ...) i hibridno parametarsko kodiranje sa kvantizacijom parametara urađeno „analizom putem sinteze“, od kojih CELP kodiranje (za „Code Excited Linear Prediction“ na engleskom) je najpoznatiji primer.

[0005] Za primene koje nisu govorne, stanje tehnike u kodiranju zvučnih (mono) signala sastoji se od perceptivnog kodiranja transformisanjem ili po podopsezima, sa parametarskim kodiranjem visokih frekvencija replikacijom opsega (SBR za Spectral Band Replication na engleskom). Pregled klasičnih postupaka kodiranja govora i zvuka može se naći u W.B. Kleijn i K.K. Palival (sistem elektronskih dokumenata), Kodiranje i sinteza govora, Elsevier, 1995; M. Bosi, R.E. Goldberg, Uvod u digitalno zvučno kodiranje i standarde, Springer 2002; J. Benesty, M.M. Sondhi, Y. Huang (ur.), Priručnik za obradu govora, Springer 2008.

[0006] Ovde smo posebno zainteresovani za kodek (koder i dekoder) standardizovani 3GPP AMR-WB (za „Adaptive Multi-Rate Wideband“ na engleskom jeziku) koji radi na jednoj ulaznoj / izlaznoj frekvenciji od 16 kHz i u kojem je signal podeljen na dva podopsega, niski opseg (0-6,4 kHz) koji je uzorkovan na 12,8 kHz i kodiran CELP modelom i visoki opseg (6,4-7 kHz) koji je parametarski rekonstruiran „ekstenzijom opsega“ (ili BWE za „Bandwidth Extension“ na engleskom) sa dodatnim informacijama ili bez njih, zavisno od režima trenutnog frejma. Ovde se može primetiti da je ograničenje kodiranog opsega AMR-WB kodeka na 7 kHz u suštini povezano s činjenicom da je odgovor u frekvenciji u emisiji terminala proširenog opsega približan trenutku normalizacije (ETSI / 3GPP poznatim UIT-T) prema frekvencijskoj maski definisanoj u standardu UIT-T P.341 i još preciznije upotrebom takozvanog « P341» filtra definisanog u standardu UIT-T G.191 koji smanjuje frekvencije iznad 7 kHz (ovaj filtar poštuje masku definisanu u P.341). Međutim, u teoriji je dobro poznato da jedan signal uzorkovan na 16 kHz može imati definisani zvučni opseg od 0 do 8000 Hz; AMR-WB kodek stoga uvodi ograničenje visokog opsega u poređenju s teoretskom širinom opsega od 8 kHz.

[0007] Govorni kodek 3GPP AMR-WB je standardizovan 2001. godine prvenstveno za telefonske aplikacije u režimu kola (CS) preko GSM (2G) i UMTS (3G). Ovaj isti kodek je standardizovan 2003. za UIT-T kao preporuka G.722.2 „Govor kodiran širokim opsegom i brzinom od oko 16 kbit/s korišćenjem prilagodljivog više režimnog kodeka širokog opsega (AMR-WB)“.

[0008] Obuhvata devet brzina protoka bitova, nazvanih režimi, od 6.6 do 23.85 kbit/s, i obuhvata kontinuirane mehanizme transmisije (DTX za „Discontinuous Transmission“) sa detekcijom glasovne aktivnosti (VAD za „Voice Activity Detection“) i generisanjem komfornog šuma (CNG za „Confort Noise Generation“) iz frejmova opisa tišine (SID za „Silence Insertion Descriptor“), kao i mehanizme za korekciju izgubljenih frejmova (FEC za „Frame Erasure Concealment“, ponekad nazivanim PLC za „Packet Loss Concealment“).

[0009] Ovde nećemo ponovo navoditi detalje algoritma AMR-WB kodiranja i dekodiranja, detaljan opis ovog kodeka možete pronaći u specifikaciji 3GPP (TS 26.190, 26.191, 26.192, 26.193, 26.194, 26.204) i UIT-TG-722.2 (prilozi i odgovarajući dodaci) kao i u članku B. Bessette i sar. pod nazivom „The adaptive multirate wideband speech codec (AMR-WB)“, IEEE Transactions on Speech and Audio, vol.10, br.8, 2002, str.620-636 i izvornim kodovima 3GPP i UIT-T povezanih standarda.

[0010] Princip ekstenzije opsega u AMR-WB kodeku prilično je elementaran. Zapravo, visoki opseg (6,4-7 kHz) se generiše oblikovanjem belog šuma kroz jedan vremenski omotač (primenjen u obliku pojačanja po podfrejmu) i frekvencijski (primenom jednog filtera za sintezu linearnog predviđanja ili LPC za „Linear Predictive Coding“). Ova tehnika ekstenzije frejma prikazana je na slici 1.

[0011] Beli šum, uHB1(n), n = 0, •••, 79, generiše se na 16 kHz po podfrejmu od 5 ms pomoću linearnog kongruentnog generatora (blok 100). Ovaj šum uHB1(n) oblikuje se tokom vremena primenom pojačanja po podfrejmu; ova operacija je podeljena u dve etape obrade (blokovi 102, 106 ili 109):

• Izračunava se prvi faktor (blok 101) za postavljanje belog šuma uHB1(n) (blok 102) na nivo sličan nivou ekscitacije, u (n), n = 0, •••, 63, dekodiran na 12,8 kHz u niskom opsegu:

[0012] Ovde se može primetiti da se standardizacija energija vrši upoređivanjem blokova različite veličine (64 za u(n) i 80 za uHB1(n)), bez kompenzacije razlika u frekvencijama uzorkovanja (12,8 ili 16 kHz).

• Zatim se dobija pobuda u visokom opsegu (blok 106 ili 109) u obliku:

gde se pojačanje ĝHBdobija različito u zavisnosti od brzine protoka bita. Ako je brzina protoka bita trenutnog frejma <23,85 kbit/s, pojačanje ĝHBse procenjuje „na slepo“ (tj. bez dodatnih informacija); u ovom slučaju, blok 103 filtrira dekodirani signal u niskom opsegu visokopropusnim filterom koji ima graničnu frekvenciju od 400 Hz da bi se dobio signal Ŝhp(n), n = 0, •••, 63 - ovaj visokopropusni filter eliminiše uticaj vrlo niskih frekvencija koje mogu da iskrive procenu dobijenu u bloku 104 - tada se „nagib“ (indikator spektralnog nagiba) označen etiltsignala Ŝhp(n) izračunava autokorelacionom standarizacijom (blok 104):

i na kraju se izračunava ĝHBu obliku:

gde je gSP= 1-enagibpojačanje primenjeno u aktivnim govornim frejmovima (SP za govor), gBG= 1,25 gSPje pojačanje primenjeno u neaktivnim govornim frejmovima povezanim sa pozadinskom šumom (BG za Background-pozadina), a wSPje funkcija ponderisanja koja zavisi od detekcije glasovne aktivnosti (VAD). Podrazumeva se da procena nagiba (enagib) omogućava prilagođavanje nivoa visokog opsega u zavisnosti od spektralne prirode signala; ova procena je posebno važna kada je spektralni nagib dekodiranog signala CELP takav da se prosečna energija smanjuje kada se frekvencija povećava (slučaj zvučnog signala gde je enagibblizu 1, pa je prema tome gSP= 1-enagibsmanjen).Takođe, imajte na umu da je faktor ĝHBu AMR-WB dekodiranju ograničen na vrednosti u intervalu [0,1, 1,0]. U stvari, za signale čiji spektar ima više energije na visokim frekvencijama (enagibblizu -1, gSPblizu 2), pojačanje ĝHBje obično potcenjeno.

[0013] Pri stopi bita od 23,85 kbit/s, informacija o korekciji se prenosi koderom AMR-WB i dekodirana je (blokovi 107, 108) kako bi se preciziralo procenjeno pojačanje po podfrejmu (4 bita na svakih 5 ms, tj.0,8 kbit/s).

[0014] Veštačko pobuđivaje uHB(n) se zatim filtrira (blok 111) pomoću LPC filtera za sintezu prenosne funkcije 1/AHB(z) i koji radi na frekvenciji uzorkovanja od 16 kHz. Realizacija ovog filtera zavisi od brzine protoka bita trenutnog frejma:

• Pri brzini protoka bita od 6,6 kbit/s, filter 1/AHB(z) se dobija ponderisanjem faktorom y= 0,9 jedan LPC filter reda 20, 1 / <ext>(z) koji „ekstrapoluje“ LPC filter reda 16, 1/(z), dekodiran u niskom opsegu (na 12,8 kHz) - detalji ekstrapolacije u domenu ISF parametara (za „Imittance Spectral Frequency“ na engleskom) opisani su u standardu

tom slučaju,

• Pri brzini protoka bita> 6,6 kbit/s, filter 1/AHB(z) je reda 16 i jednostavno odgovara:

gde je γ = 0,6. Imajte na umu da se u ovom slučaju koristi 1/(z/γ) filter sa 16 kHz, što rezultira širenjem (po homotetičnosti) frekvencijskog odgovora ovog filtera sa [0, 6.4 kHz] na [0, 8 kHz ].

Rezultat, SHB(n), se konačno obrađuje opsežno propusnim filterom (blok 112) tipa FIR („Finite Impulse Response“), da bi zadržao samo opseg 6 - 7 kHz; pri brzini od 23,85 kbit/s, u obradu se dodaje, takođe, jedan niskopropusni filter tipa FIR (blok 113) da bi se dodatno umanjile frekvencije iznad 7 kHz. Sinteza visoke frekvencije (HF) konačno je dodata (blok 130) sintezi niske frekvencije (BF) koja je dobijena sa blokovima 120 do 123 i ponovo uzorkovana na 16 kHz (blok 123). Tako, čak i ako se visoki opseg u teoriji proteže od 6,4 do 7 kHz u AMR-WB kodeku, HF sinteza je više uključena u opseg 6-7 kHz pre dodavanja sa BF sintezom.

[0015] Nekoliko nedostataka može se identifikovati kod tehnike ekstenzije opsega AMR-WB kodeka:

• Signal u visokom opsegu je oblikovani beli šum (vremenskim pojačanjima po podfrejmima, filtriranjem sa 1/AHB(z) i pojasno propusnim filtriranjem), što nije dobar opšti model signala u opsegu 6,4-7 kHz . Na primer, postoje vrlo harmonični muzički signali za koje opseg 6,4-7 kHz sadrži sinusoidne komponente (ili tonove) i nema šuma (ili malo šuma), za ove signale ekstenzije opsega AMR-WB kodek veoma pogoršava kvalitet.

• Niskopropusni filter od 7 kHz (blok 113) uvodi pomak od skoro 1 ms između niskog i visokog opsega, što potencijalno može pogoršati kvalitet određenih signala laganom desinhronizacijom dva opsega pri 23,85 kbit/s - ova desinhronizacija može, takođe, da predstavlja problem prilikom prelaska brzine sa 23,85 kbit/s na druge režime.

• Procena pojačanja po podfrejmu (blok 101, 103 do 105) nije optimalna. Delimično se zasniva na izjednačavanju „apsolutne“ energije po podfrejmu (blok 101) između signala na različitim frekvencijama: veštačko pobuđivanje na 16 kHz (beli šum) i jedan signal na 12,8 kHz (dekodirana pobuda ACELP). Posebno se može primetiti da ovaj pristup implicitno indukuje slabljenje pobude visokog opsega (odnosom 12,8 / 16 = 0,8); u stvari, takođe će se primetiti da se ne vrši nikakvo smanjenje na visokom opsegu u AMR-WB kodeku, što implicitno indukuje relativno povećanje blizu 0,6 (što odgovara vrednosti frekvencije odgovora od 1 / (1-0,68z<-1>) na 6400 Hz).

[0016] U stvari, faktori 1/0,8 i 0,6 približno se međusobno nadoknađuju.

• U govoru, testovi karakterizacije 3GPP AMR-WB kodeka, dokumentovani u izveštaju 3GPP TR 26.976, pokazali su da režim sa 23,85 kbit/s ima niži kvalitet od 23,05 kbit/s, njegov kvalitet je zapravo sličan kvalitetu režima sa 15,85 kbit/s. Ovo naročito pokazuje da nivo veštačkog HF signala mora biti kontrolisan vrlo pažljivo, jer se kvalitet smanjuje na 23,85 kbit/s, dok bi 4 bita po frejmu trebalo da se bolje približe energiji izvornih visokih frekvencija.

• Ograničenje kodiranog opsega na 7 kHz proizilazi iz primene strogog modela prenosnog odgovora akustičkih terminala (filter P.341 u standardu UIT-T G.191). Međutim, za frekvenciju uzorkovanja od 16 kHz, frekvencije u opsegu 7-8 kHz ostaju značajne, posebno za muzičke signale, kako bi se osigurao dobar nivo kvaliteta.

[0017] Algoritam dekodiranja AMR-WB poboljšan je delom razvojem skalabilnog kodeka UIT-T G.718 koji je standardizovan 2008. godine.

[0018] Standard UIT-T G.718 uključuje takozvani interoperativni režim, za koji je centralno kodiranje kompatibilno sa kodiranjem G.722.2 (AMR-WB) pri 12,65 kbit/s; štaviše, G.718 dekoder ima tu posebnost što je u stanju da dekodira AMR-WB / G.722.2 bitni tok pri svim mogućim brzinama prenosa bita AMR-WB kodeka (od 6,6 do 23,85 kbit /s).

[0019] Interoperativni dekoder G.718 u režimu sa malim kašnjenjem („low delay“ na engleskom) (G.718-LD) prikazan je na slici 2. Poboljšanja u funkcionisanju dekodiranja AMR –WB bitnog toka u dekoderu G.718 navedena su u nastavku, uz upućivanje na sliku 1 gde je potrebno:

Ekstenzija opsega (opisano, na primer, u tački 7.13.1 preporuke G.718, blok 206) identičan je onome kod AMR-WB dekodera, osim što niskopropusni filter 6-7 kHz i filter za sintezu 1/AHB(z) (blokovi 111 i 112) su u obrnutim redosledu. Pored toga, pri 23,85 kbit/s, 4 bita koja prenose podfrejmi AMR-WB kodera ne koriste se u interoperativnom G.718 dekoderu; sinteza visokih frekvencija (HF) pri 23,85 kbit/s je, dakle, identična sa 23,05 kbit/s čime se izbegava poznati problem kvaliteta AMR-WB dekodiranja pri 23,85 kbit/s. Pored toga, niskopropusni filter od 7 kHz (blok 113) se ne koristi, a specifično dekodiranje režima od 23,85 kbit/s je izostavljeno (blokovi 107 do 109).

[0020] Naknadna obrada sinteze od 16 kHz (vidi klauzulu 7.14 G.718) primenjena je u G.718 „kapijom šuma“ u bloku 208 (za „poboljšanje“ kvaliteta tišine smanjenjem nivoa), dok visokopropusno filtriranje (blok 209), niskofrekventni naknadni filter (nazvan „niskopropusni postfilter“) u bloku 210 umanjuju međuharmonični šum na niskim frekvencijama i konvertuju u potpunosti 16-bita sa kontrolom zasićenja (sa kontrolom pojačanja ili AGC) u bloku 211.

[0021] Međutim, ekstenzija opsega u AMR-WB i/ili G.718 kodecima (interoperativni režim) je i dalje ograničena u nekoliko aspekata.

[0022] Posebno, sinteza visokih frekvencija oblikovana belim šumom (vremenskim pristupom tipa LPC izvor-filter) vrlo je ograničen model signala u opsegu frekvencija iznad 6,4 kHz.

[0023] Veštački se ponovo sintetiše samo opseg od 6,4-7 kHz, dok je u praksi širi opseg (do 8 kHz) teoretski moguć pri frekvenciji uzorkovanja od 16 kHz, što potencijalno može poboljšati kvalitet signala, ako nisu prethodno obrađeni filterom tipa P.341 (50-7000 Hz) kako je definisano u Biblioteci softverskih alata (standard G.191) UIT-T.

[0024] Nova poboljšanja Alata za ekstenziju frekventnog opsega zvuka (New Enhancements to the Audio Bandwidth Extension Toolkit ili ABET) je članak koji predstavlja skup alata za obradu zvučnih signala i neka moguća poboljšanja (ABET). ABET uključuje preciznu spektralnu zamenu (Accurate Spectral Replacement ili ASR), model fraktalne samosličnosti (FSSM) i višepojasno kodiranje vremenske amplitude (Multi-Band Temporal Amplitude Coding ili MBTAC).

[0025] Zbog toga postoji potreba za poboljšanjem ekstenzije opsega u kodeku AMR-WB tipa ili interoperativne verzije ovog kodeka ili, uopštenije, za poboljšanjem exstenzije opsega jednog zvučnog signala, posebno za poboljšanjem sadržaja frekvencije ekstenzije opsega.

[0026] Predmetni pronalazak poboljšava situaciju.

[0027] U tu svrhu, pronalazak predlaže postupak za ekstenziju frekvencijskog opsega audiofrekventnog signala tokom procesa dekodiranja ili poboljšanja koji obuhvata etapu dobijanja dekodiranog signala u prvom frekvencijskom opsegu koji se naziva niski opseg. Postupak je takav da obuhvata etape prema patentnom zahtevu 1.

[0028] Primetiće se da će se u daljem tekstu „ekstenzija opsega“ uzimati u širem smislu i da će obuhvatiti ne samo slučaj ekstenzije jednog podopsega visokih frekvencija, već i slučaj zamene postavljenih podopsega stavljenih na nula (tipa punjenje šumom „noise filling“ u kodiranju putem transformacije).

[0029] Stoga, uzimanje u obzir tonskih komponenti i jednog ambijentalnog signala izvučenog iz signala koji je rezultat dekodiranja niskog opsega, omogućava izvođenje ekstenzije opsega pomoću modela signala prilagođenog pravoj prirodi zvuka za razliku od upotrebe veštačke buke. Kvalitet ekstenzije opsega je na taj način poboljšan i posebno za određene vrste signala kao što su muzički signali.

[0030] Zapravo, dekodirani signal u donjem opsegu sadrži deo koji odgovara ambijentalnom zvuku i koji se može transponovati na visoke frekvencije, tako da mešanje harmonijskih komponenata i postojećeg ambijenta omogućava osiguravanje doslednog rekonstruisanja jednog visokog opsega.

[0031] Primetiće se da, čak i ako je pronalazak motivisan poboljšanjem kvaliteta ekstenzije opsega u kontekstu interoperacionalnog AMR-WB kodiranja, različiti načini tehničkih rešenja se primenjuju na opštiji slučaj ekstenzije opsega jednog zvučnog signala, posebno u uređaju za ekstenziju koji vrši analizu zvučnog signala za izdvajanje parametara neophodnih za ekstenziju opsega.

[0032] Različiti posebni načini tehničkih rešenja navedeni u nastavku mogu se dodati nezavisno ili u kombinaciji jedni sa drugima, sa etapama prethodno definisanog postupka ekstenzije.

[0033] U jednom tehničkom rešenju, ekstenzija opsega se izvodi u domenu pobude, a dekodirani niskopojasni signal je jedan dekodirani niskopojasni pobuđujući signal.

[0034] Prednost ovog tehničkog rešenja je to što je transformacija bez funkcije prozora (ili na ekvivalentni način sa implicitnom pravougaonom funkcijom prozora dužine frejma) moguća u domenu pobude. U ovom slučaju se tada ne čuje nijedan artefakt (efekti bloka).

[0035] Izdvajanje tonskih komponenata i ambijentalnog signala vrši se prema sledećim etapama: • dobijanje ambijentalnog signala izračunavanjem prosečne vrednosti spektra dekodiranog ili dekodiranog i proširenog signala niskog opsega;

• dobijanje tonskih komponenti oduzimanjem izračunatog ambijentalnog signala od dekodiranog ili dekodiranog i proširenog signala niskog opsega.

U jednom tehničkom rešenju etape kombinovanja, faktor kontrole energetskog nivoa koji se koristi za adaptivno mešanje izračunava se u funkciji ukupne energije dekodiranog ili dekodiranog i proširenog signala niskog opsega i tonskih komponenti.

[0036] Primena ovog kontrolnog faktora omogućava etapi kombinovanja da se prilagodi karakteristikama signala kako bi se optimizovao relativni udeo ambijentalnog signala u mešavini. Na taj način se energetski nivo kontroliše tako da se izbegnu zvučni artefakti.

[0037] Dekodirani signal niskog opsega prolazi kroz etapu razgradnje u podopsege transformacijom ili pomoću grupe filtera, pri čemu se etape ekstrakcije i kombinovanja izvode u frekvencijskom domenu ili u podopsezima.

[0038] Tehničko rešenje ekstenzije opsega u frekvencijskom domenu omogućava dobijanje preciznosti frekvencijske analize koja se ne dobija vremenskim pristupom, a takođe omogućava i frekvencijsku rezoluciju dovoljnu za otkrivanje tonskih komponenti.

[0039] U jednom detaljnom načinu rešenja, dekodirani i prošireni signal niskog opsega se dobija prema sledećoj jednačini:

gde je k indeks uzorka, U (k) spektar signala dobijenog nakon jedne etape transformacije UHB1(k) spektar proširenog signala i start_band jedna unapred definisana promenljiva. Dakle, ova funkcija uključuje ponovno uzorkovanje signala dodavanjem uzoraka u spektar ovog signala. Međutim, mogući su i drugi načini proširenja signala, na primer preslikavanje u obradi podopsega.

[0040] Predmetni pronalazak se, takođe, odnosi na uređaj za ekstenziju frekvencijskog opsega jednog zvučno-frekventnog signala, pri čemu je signal dekodiran u prvom frekvencijskom opsegu koji se naziva niski opseg. Uređaj je takav da sadrži karakteristike prema patentnom zahtevu 6.

[0041] Ovaj uređaj ima iste prednosti kao i prethodno opisani postupak koji primenjuje.

[0042] Pronalazak se odnosi na dekoder koji sadrži uređaj kako je opisano.

[0043] Namenjen je računarskom programu koji sadrži uputstva koda za primenu etapa postupka ekstenzije opsega, kako je opisano, kada ove instrukcije izvršava procesor.

[0044] Konačno, pronalazak se odnosi na medijum za skladištenje, koji čita procesor, integrisan ili neintegrisan u uređaj za ekstenziju opsega, koji je moguće ukloniti, i koji memoriše jedan računarski program koji primenjuje postupak ekstenzije opsega kako je prethodno opisano.

[0045] Ostale karakteristike i prednosti pronalaska postaće jasniji čitanjem sledećeg opisa, datog samo kao neograničavajući primer, i koji je napravljen uz upućivanje na priložene crteže, u kojima:

• slika 1 prikazuje deo dekodera tipa AMR-WB koji primenjuje etape ekstenzije frekvencijskog opsega poznate u tehnici i kako je prethodno opisano;

• slika 2 prikazuje dekoder interoperativnog tipa G.718-LD sa 16 kHz poznat u tehnici i kako je prethodno opisano;

• slika 3 prikazuje interoperativan dekoder sa AMR-WB kodiranjem i koji integriše uređaj za ekstenziju opsega prema jednom tehničkom rešenju pronalaska;

• slika 4 prikazuje u obliku dijagrama toka glavne etape postupka proširenja opsega prema jednom tehničkom rešenja pronalaska;

• slika 5 prikazuje jedan način tehničkog rešenja u frekvencijskom domenu jednog uređaja za ekstenziju opsega prema pronalasku integrisanog u dekoderu; i

• slika 6 prikazuje računarski hardver jednog uređaja za ekstenziju opsega prema pronalasku.

[0046] Slika 3 prikazuje primer dekodera, kompatibilnog sa normom AMR-WB / G.722.2, u kojoj postoji naknadna obrada slična onoj koja je uvedena u G.718 i opisana u odnosu na sliku 2 i u kojoj je poboljšana ekstenzija opsega prema postupku ekstenzije prema pronalasku, izveden pomoću uređaja za ekstenziju opsega ilustrovanog blokom 309.

[0047] Za razliku od AMR-WB dekodiranja koje funkcioniše sa izlaznom frekvencijom uzorkovanja od 16 kHz i sa G.718 dekodiranjem koje funkcioniše na 8 ili 16 kHz, ovde razmatramo jedan dekoder koji može da funkcioniše sa izlaznim signalom (sintezom) na frekvenciji fs = 8, 16, 32 ili 48 kHz. Treba znati da se ovde pretpostavlja da je kodiranje izvedeno prema AMR-WB algoritmu sa internom frekvencijom od 12,8 kHz za CELP kodiranje u niskom opsegu i pri 23,85 kbit/s kodiranju pojačanja po podfrejmu na frekvenciji 16 kHz, ali moguće su i interoperativne varijante kodera AMR-WB; čak i ako je pronalazak ovde opisan na nivou dekodiranja, ovde se pretpostavlja da kodiranje takođe može funkcionisati sa ulaznim signalom na frekvenciji fs = 8, 16, 32 ili 48 kHz i odgovarajuće operacije ponovnog uzorkovanja, prevazilazeći okvir pronalaska, se primenjuju u kodiranju u funkciji vrednosti fs. Može se primetiti da kada je fs = 8 kHz na dekoderu, u slučaju dekodiranja kompatibilnog sa AMR-WB, nije potrebno proširivati niski opseg od 0-6,4 kHz, jer je zvučni opseg rekonstruisan na frekvenciji fs ograničen do 0-4000 Hz.

[0048] Na slici 3, CELP dekodiranje (BF za niske frekvencije) uvek radi na internoj frekvenciji od 12,8 kHz, kao u AMR-WB i G.718, a ekstenzija opsega (HF za visoke frekvencije) koja je predmet pronalaska funkcioniše na frekvenciji od 16 kHz, sinteze BF i HF se kombinuju (blok 312) na frekvenciji fs nakon odgovarajućeg ponovnog uzorkovanja (blokovi 307 i 311). U varijantama pronalaska, kombinacija niskog i visokog opsega može se izvršiti na 16 kHz, nakon što je ponovo uzrokovan niski opseg sa 12,8 na 16 kHz, pre ponovnog uzorkovanja kombinovanog signala na frekvenciji fs.

[0049] Dekodiranje prema slici 3 zavisi od AMR-WB režima (ili brzine protoka bita) povezanog sa trenutnim dobijenim frejmom. Kao indikacija i bez uticaja na blok 309, dekodiranje dela CELP u niskom opsegu sadrži sledeće etape:

• Demultipleksiranje kodiranih parametara (blok 300) u slučaju tačno primljenog frejma (bfi = 0 gde je bfi « indikator lošeg frejma » jednak 0 za primljeni frejm i 1 za izgubljeni frejm). • Dekodiranje ISF parametara sa interpolacijom i pretvaranjem u LPC koeficijente (blok 301) kako je opisano u klauzuli 6.1 norme G.722.2.

• Dekodiranje CELP pobude (blok 302), sa prilagodljivim i fiksnim delom za rekonstrukciju pobude (exc ili u'(n)) u svakom podfrejmu dužine 64 do 12,8 kHz:

sledeći oznake klauzule 7.1.2.1 G.718 u vezi sa CELP dekodiranjem, gde su v(n) i c(n), redom kodne reči adaptivnog i fiksnog rečnika, a ĝpi ĝcsu povezana dekodirana povećanja. Ovo pobuđivanje u'(n) se koristi u adaptivnom rečniku sledećeg podfrejma; ono se zatim naknadno obrađuje i razlikujemo, kao u G.718, pobudu u'(n) (takođe, zabeleženo exc) od njene modifikovane naknadno obrađene verzije u(n) (takođe, primećeno exc2) koja služi kao ulaz u filter za sintezu, 1/(z), u bloku 303. U varijantama koje se mogu primeniti za pronalazak, naknadni tretmani primenjeni na pobudu mogu se modifikovati (na primer, fazna disperzija može biti poboljšana) ili se ova naknadna obrada može proširiti (na primer, može se primeniti međuharmoničko smanjenje šuma), bez uticaja na prirodu postupka ekstenzije opsega prema pronalasku.

• Sintezno filtriranje od 1/(z) (blok 303) gde je dekodirani LPC filter (z) reda 16 • Naknadna obrada uskog frejma (blok 304) prema klauzuli 7.3 G.718 ako je fs = 8 kHz. • Umanjivanje (blok 305) filterom 1 / (1-0,68z<-1>)

• Niskofrekventna naknadna obrada (blok 306) kako je opisano u klauzuli 7.14.1.1 G.718.

Ova obrada uvodi kašnjenje koje se uzima u obzir kod dekodiranja visokog opsega (> 6,4 kHz).

• Ponovno uzorkovanje sa interne frekvencije od 12,8 kHz na izlaznu frekvenciju fs (blok 307). Moguće je nekoliko realizacija. Bez gubitka opštosti, ovde kao primer smatramo da ako se fs = 8 ili 16 kHz, novo uzorkovanje opisano u klauzuli 7.6 u G.718 se ovde izvodi, a ako je fs = 32 ili 48 kHz, koriste se dodatni filteri sa konačnim impulsnim odgovorom (FIR )

• Proračun parametara „kapije šuma” (blok 308) koji se poželjno izvodi kako je opisano u klauzuli 7.14.3 u G.718.

U varijantama koje se mogu primeniti za pronalazak, naknadni tretmani primenjeni na pobudu mogu se modifikovati (na primer, fazna disperzija se može poboljšati) ili se ovi naknadni tretmani mogu proširiti (na primer, međuharmoničko smanjenje šuma može se primeniti), bez uticaja na prirodu ekstenzije opsega. Ovde ne opisujemo slučaj dekodiranja niskog opsega kada se izgubi trenutni opseg (bfi = 1), koji informiše u 3GPP AMR-WB standardu; uopšte, bilo da se radi o AMR-WB dekoderu ili o opštem dekoderu zasnovanom na modelu filtra izvora, obično je pitanje procene u najboljem slučaju LPC pobude i koeficijente sinteze LPC filtera kako bi se rekonstituisao izgubljeni signal zadržavajući model izvor-filtera.

Kada je bfi = 1, ovde smatramo da ekstenzija opsega (blok 309) može da deluje kao u slučaju bfi = 0 i stopa bita <23,85 kbit/s; prema tome, opis pronalaska pretpostaviće u nastavku i bez gubitka opštosti da je bfi = 0.

Može se primetiti da je upotreba blokova 306, 308, 314 neobavezna.

Takođe će se primetiti da gore opisano dekodiranje niskog opsega pretpostavlja trenutni frejm koji se naziva « aktivan » sa stopom bita između 6,6 i 23,85 kbit/s. U stvari, kada je aktiviran režim DTX (neprekidni prenos na francuskom), određeni frejmovi mogu biti kodirani kao « neaktivni » i u ovom slučaju možemo preneti deskriptor tišine (na 35 bita) ili ne prenositi ništa. Posebno se podseća da SID frejm AMR-WB kodera opisuje nekoliko parametara: ISF parametri uprosečeni za 8 frejma, prosečna energija za 8 frejma, „flag de dithering“ za rekonstrukciju nestalne buke. U svim slučajevima, kod dekodera nalazimo isti model dekodiranja kao i za aktivni kadar, sa rekonstrukcijom pobude i LPC filterom za trenutni kadar, što omogućava primenu pronalaska čak i na neaktivnim frejmima. Isto važi i za dekodiranje « izgubljenih frejmova » (ili FEC, PLC) u kojem se primenjuje LPC model.

[0050] Ovaj primer dekodera funkcioniše u domenu pobude i prema tome sadrži etapu dekodiranja signala pobude niskog opsega. Uređaj za ekstenziju opsega i postupak ekstenzije opsega u smislu pronalaska, takođe, funkcioniše u domenu različitom od domena pobude i naročito sa direktnim signalom dekodiranim u niskom opsegu ili signalom koji je ponderisan perceptualnim filterom.

[0051] Za razliku od AMR-WB ili G.718 dekodiranja, opisani dekoder omogućava proširivanje dekodiranog niskog opsega (50-6400 Hz uzimajući u obzir visokopropusno filtriranje na 50 Hz u dekoderu, 0-6400 Hz u opštem slučaju) do produženog opsega čija širina varira, u rasponu od približno od 50-6900 Hz do 50-7700 Hz, u zavisnosti od režima primenjenog u trenutnom frejmu. Tako možemo govoriti o prvom frekvencijskom opsegu od 0 do 6400Hz i drugom frekvencijskom opsegu od 6400 do 8000Hz. U stvarnosti, u poželjnom tehničkom rešenju, pobuda za visoke frekvencije se generiše u frekvencijskom domenu u opsegu od 5000 do 8000 Hz, da bi se omogućilo propusno filtriranje opsega širine 6000 do 6900 ili 7700 Hz, čiji nagib nije suviše strm u gornjem odbijenom opsegu.

[0052] Deo sinteze visokog opsega izveden je u bloku 309 koji predstavlja uređaj za ekstenziju opsega prema pronalasku i koji je detaljno prikazan na slici 5 u jednom načinu tehničkog rešenja.

[0053] Da bi se uskladili dekodirani niski i visoki opsezi, uvodi se kašnjenje (blok 310) radi sinhronizacije izlaza iz blokova 306 i 309 i visoki opseg sintetisan na 16 kHz se ponovo uzorkuje sa 16 kHz na frekvenciji fs (izlaz bloka 311 ). Vrednost kašnjenja T mora biti prilagođena za ostale slučajeve (fs = 32, 48 kHz) u skladu sa primenjenom obradom. Podseća se da kada je fs = 8 kHz, nije potrebno primenjivati blokove 309 do 311, jer je opseg signala na izlazu dekodera ograničen na 0-4000 Hz.

[0054] Treba znati da postupak ekstenzije pronalaska, primenjen u bloku 309 prema prvom tehničkom rešenju, poželjno ne uvodi nikakvo dodatno kašnjenje u odnosu na niski opseg rekonstruisan na 12,8 kHz; međutim, u varijantama pronalaska (na primer, korišćenjem transformacije vremena / frekvencije sa pokrivanjem), može se uvesti kašnjenje. Stoga će generalno vrednost T u bloku 310 morati da se prilagodi u skladu sa specifičnim tehničkim rešenjem. Na primer, u slučaju kada se ne koristi naknadna obrada niskih frekvencija (blok 306), kašnjenje koje se uvodi za fs = 16 kHz može biti fiksirano na T = 15.

[0055] Donji i visoki opsezi se zatim kombinuju (dodaju) u bloku 312 i dobijena sinteza se naknadno obrađuje visokopropusnim filtriranjem na 50 Hz (tipa IIR) reda 2, čiji koeficijenti zavise od frekvencije fs (blok 313 ) i izlazne naknadne obrade uz opcionu primenu „kapije šuma“ slično G.718 (blok 314).

[0056] Uređaj ekstenzije opsega u skladu sa pronalaskom, prikazan je blokom 309 u skladu sa načinom tehničkog rešenja dekodera sa slike 5, primenjuje postupak ekstenzije opsega (u širem smislu) koji je sada opisan uz upućivanje na sliku 4.

[0057] Ovaj uređaj za ekstenziju, takođe, može biti nezavisan od dekodera i može primeniti postupak opisan na slici 4 za izvođenje ekstenzije opsega postojećeg zvučnog signala koji se čuva ili prenosi na uređaj, uz analizu zvučnog signala da bi se iz nje izvukla, na primer jedna pobuda i jedan LPC filter.

Ovaj uređaj prima na ulazu dekodirani signal u prvom frekvencijskom opsegu koji se naziva niski opseg u(n) i koji može biti u domenu pobude ili u domenu signala. U ovde opisanom tehničkom rešenju, etapa dekompozicije u podopsege (E401b) pomoću vremensko-frekvencijske transformacije ili grupe filtera se primenjuje na dekodirani signal niskog opsega da bi se dobio spektar dekodiranog signala niskog opsega U(k) za ostvarenje u frekvencijskoj oblasti.

[0058] Etapa E401a ekstenzije dekodiranog signala niskog opsega u drugom frekventnom opsegu većem od prvog frekventnog opsega, da bi se dobio prošireni dekodirani signal niskog opsega UHB1(k), može se izvršiti na ovom dekodiranom signalu niskog opsega pre ili nakon etape analize (razlaganje na podopsege). Ova etapa ekstenzije može uključivati istovremeno jednu etapu ponovnog uzorkovanja i jednu etapu ekstenzije ili jednostavno jednu etapu preslikavanja ili frekvencione transpozicije u funkciji signala dobijenog na ulazu. Primetiće se da će u varijantama, etapa E401a moći da bude izvedena na kraju obrade opisane na slici 4, odnosno na kombinovanom signalu, ova obrada se uglavnom izvodi na signalu niskog opsega pre ekstenzije, rezultat je ekvivalentan.

[0059] Ova etapa je detaljno opisana kasnije u tehničkom rešenju opisanom uz upućivanje na sliku 5.

[0060] Etapa E402 ekstrakcije ambijentalnog signala (UHBA(k)) i tonskih komponenti (y (k)) izvodi se iz dekodiranog signala niskog opsega (U(k)) ili dekodiranog i proširenog signala niskog opsega. (UHB1(k)). Ambijent je ovde definisan kao rezidualni signal koji se dobija uklanjanjem u postojećem signalu glavnih (ili dominantnih) harmonika (ili tonskih komponenti) iz postojećeg signala.

[0061] U većini signala u proširenom opsegu (uzorkovanih na 16 kHz), visoki opseg (> 6 kHz) sadrži informaciju o ambijentu koja je generalno slična onoj prisutnoj u niskom opsegu.

[0062] Ova etapa se dobija:

• dobijanjem ambijentalnog signala izračunavanjem proseka dekodiranog (ili dekodiranog i proširenog) signala niskog opsega; i

• dobijanjem tonskih komponenti oduzimanjem izračunatog ambijentalnog signala od dekodiranog (ili dekodiranog i proširenog) signala niskog opsega.

[0063] Tonske komponente i ambijentalni signal se zatim na adaptivan način kombinuju pomoću faktora za kontrolu energetskog nivoa u etapi E403 da bi se dobio signal takozvani kombinovani (UHB2(k)). Zatim se može primeniti etapa ekstenzije E401a ako već nije izvedena na dekodiranom signalu niskog opsega.

[0064] Dakle, kombinacija ove dve vrste signala omogućava dobijanje kombinovanog signala sa karakteristikama koje više odgovaraju određenim tipovima signala kao što su muzički signali i bogatiji su frekvencijskim sadržajem i u proširenom frekvencijskom opsegu koji odgovara celom jednom frekvencijskom opsegu uključujući prvi i drugi frekvencijski opseg.

[0065] Ekstenzija opsega prema postupku poboljšava kvalitet za ovaj tip signala u poređenju sa ekstenzijom opisanom u AMR-WB standardu.

[0066] Činjenica korišćenja kombinacije ambijentalnog signala i tonskih komponenti omogućava obogaćivanje ovog signala ekstenzije kako bi se približio karakteristikama stvarnog signala, a ne veštačkog signala.

[0067] Ova etapa kombinovanja biće detaljno opisana kasnije uz upućivanje na sliku 5.

[0068] Jedna etapa sinteze, koja odgovara analizi iz 401b, izvodi se u E404b da bi se signal vratio u vremensku oblast.

[0069] Po želji, etapa podešavanja energetskog nivoa signala visokog opsega može se izvršiti u E404a, pre i/ili nakon etape sinteze, primenom pojačanja i/ili odgovarajućim filtriranjem. Ova etapa će biti detaljnije objašnjena u tehničkom rešenju opisanom na slici 5 za blokove 501 do 507.

[0070] U jednom primeru tehničkog rešenja, uređaj za ekstenziju opsega 500 je sada opisan uz upućivanje na sliku 5, koja prikazuje i ovaj uređaj, ali i module obrade pogodne za primenu u dekoderu interoperativnog tipa sa kodiranjem AMR-WB. Ovaj uređaj 500 primenjuje prethodno opisan postupak ekstenzije opsega uz upućivanje na sliku 4.

[0071] Dakle, blok za obradu 510 prima dekodirani signal niskog opsega (u(n)). U posebnom tehničkom rešenju, ekstenzija opsega koristi pobudu dekodiranu na 12,8 kHz (exc2 ili u(n)) na izlazu iz bloka 302 sa slike 3.

[0072] Ovaj signal se razlaže na frekventne podopsege pomoću modula za razlaganje na podopsege 510 (koji primenjuje etapu E401b sa slike 4) koji generalno vrši transformaciju ili primenjuje grupu filtera, da bi se postigla razgradnja na podopsege U(k) signala u(n).

[0073] U određenom načinu tehničkog rešenja, transformacija tipa DCT-IV (za „Discrete Cosine Transform“ - tip IV na engleskom) (blok 510) primenjuje se na trenutni frejm od 20 ms (256 uzoraka), bez funkcije prozora, što dovodi do direktne transformacije u(n) sa n = 0, •••, 255 prema sledećoj formuli:

[0074] Transformacija bez funkcije prozora (ili na ekvivalentni način sa implicitnom pravougaonom funkcijom prozora dužine frejma) je moguća kada se obrada vrši u domenu pobude, a ne u domenu signala. U ovom slučaju se ne čuje nikakav artefakt (blok efekti), što predstavlja važnu prednost ovog tehničkog rešenja pronalaska.

[0075] U ovom tehničkom rešenju, DCT-IV transformacija je izvršena pomoću FFT prema takozvanom algoritmu „Evolved DCT (EDCT)“ opisanom u članku D.M. Zhang-a, H.T Li, Transformacija niske složenosti - Evolved DCT, IEEE 14. međunarodna konferencija o računarskoj nauci i inženjerstvu (CSE), avg. 2011, pp.144-149, i primenjeno u standardima UIT-T G.718 Aneks B i G.729.1 Aneks E.

[0076] U varijantama pronalaska i bez gubitka opštosti, transformacija DCT-IV može se zameniti drugim kratkotrajnim vremensko-frekvencijskim transformacijama iste dužine i u oblasti pobude ili u oblasti signala, poput FFT-a ( za „Fast Fourier Transform“ na engleskom jeziku) ili DCT-II (Discrete Cosine Transform - type II). Na alternativni način, mogli bismo da zamenimo DCT-IV na frejmu transformacijom sa dodavanjem-pokrivanjem i funkcijom prozora dužine veće od dužine trenutnog frejma, na primer upotrebom MDCT (za „Modified Discrete Cosine Tranform“ na engleskom). U ovom slučaju će kašnjenje T u bloku 310 sa slike 3 morati da se prilagodi (smanji) na odgovarajući način u funkciji dodatnog kašnjenja zbog analize/sinteze ovom transformacijom.

[0077] U još jednom tehničkom rešenju, razlaganje na podopsege se izvodi primenom grupe filtera, na primer stvarnog ili složenog tipa PQMF (Pseudo-QMF). Za određene grupe filtera dobijamo, za svaki podopseg u datom frejmu, ne jednu spektralnu vrednost, već niz vremenskih vrednosti povezanih sa podopsegom; u ovom slučaju, poželjan način tehničkog rešenja u pronalasku može se primeniti izvođenjem, na primer, transformacije svakog podopsega i izračunavanjem ambijentalnog signala u oblasti apsolutnih vrednosti, pri čemu se tonske komponente uvek dobijaju razlikom između signala (u apsolutnoj vrednosti) i ambijentalnog signala. U slučaju složene grupe filtera, kompleksni modul uzoraka zameniće apsolutnu vrednost.

[0078] U drugim tehničkim rešenjima, pronalazak će se primeniti u sistemu koji koristi dva podopsega, pri čemu se donji opseg analizira transformisanjem ili pomoću grupe filtera.

[0079] U slučaju jednog DCT, DCT spektra, U(k), od 256 uzoraka koji pokrivaju opseg 0-6400 Hz (pri 12,8 kHz), zatim se proširuje (blok 511) u spektar od 320 uzoraka koji pokrivaju opseg 0 - 8000 Hz (na 16 kHz) u sledećem obliku:

gde preferencijalno uzimamo start_frejm = 160.

[0080] Blok 511 realizuje etapu E401a sa slike 4, odnosno ekstenziju dekodiranog signala niskog opsega. Ova etapa, takođe, može da uključi ponovno uzorkovanje od 12,8 do 16 kHz u frekvencijskom domenu, dodavanjem 1⁄4 uzoraka (k = 240, •••, 319) u spektar, a odnos između 16 i 12,8 je 5/4.

[0081] U frekvencijskom opsegu koji odgovara uzorcima u rasponu od indeksa 200 do 239, originalni spektar je sačuvan, kako bi se mogao u njemu primeniti progresivni odgovor prigušenja visokopropusnog filtera u ovom frekvencijskom opsegu, a takođe i da se ne uvedu izobličenja čujnih signala tokom etape dodavanja sinteze niskih frekvencija visokofrekventnoj sintezi.

[0082] Primetiće se da se u ovom načinu tehničkog rešenja generisanje preduzorkovanog proširenog spektra vrši u frekvencijskom opsegu u rasponu od 5 do 8 kHz, što uključuje drugi frekventni opseg (6,4-8 kHz) veći od prvog frekvencijskog opsega. (0 -6,4 kHz).

[0083] Prema tome, ekstenzija dekodiranog signala niskog opsega odvija se barem preko drugog frekvencijskog opsega, ali i preko dela prvog frekvencijskog opsega.

[0084] Očigledno, vrednosti koje definišu ove frekvencijske opsege mogu biti različite u zavisnosti od dekodera ili uređaja za obradu na koji se pronalazak odnosi.

[0085] Pored toga, blok 511 izvodi implicitno visokopropusno filtriranje u opsegu 0-5000 Hz pošto je prvih 200 uzoraka UHB1(k) postavljeno na nulu; kao što je kasnije objašnjeno, ovo visokopropusno filtriranje, takođe, može biti dopunjeno jednim delom progresivnim ublažavanjem spektralnih vrednosti indeksa k = 200, •••, 255 u opsegu 5000-6400 Hz, ovo progresivno ublažavanje je uvedeno u rad u bloku 501, ali bi moglo da se izvodi odvojeno izvan bloka 501. Na ekvivalentni način i u varijantama pronalaska, izvođenje visokopropusnog filtriranja odvojenog u blokove koeficijenata indeksa k = 0, •••, 199 podešen na nulu, sa koeficijentom k = 200, •••, 255 , ublažen u transformisanom domenu, moći će da se izvrši u jednoj etapi.

[0086] U ovom primeru tehničkog rešenja i prema definiciji UHB1(k), primećujemo da se opseg 5000-6000 Hz UHB1(k) (koji odgovara indeksima k = 200, •••, 239) kopira počevši od opsega 5000 -6000 Hz U(k). Ovaj pristup omogućava čuvanje originalnog spektra u ovom opsegu i izbegava uvođenje izobličenja u opsegu 5000-6000 Hz tokom dodavanja HF sinteze sa BF sintezom -posebno je faza signala (implicitno predstavljena u DCT-IV domenu) u ovom opsegu sačuvana.

[0087] Opseg 6000-8000 Hz UHB1(k) ovde je definisan kopiranjem opsega U(k) opsega 4000-6000 Hz, pošto je vrednost start_frejma poželjno postavljena na 160.

[0088] U jednoj varijanti tehničkog rešenja, vrednost start_frejma može se učiniti prilagodljivom oko vrednosti 160, bez modifikovanja prirode pronalaska. Detalji adaptacije vrednosti start_frejma ovde nisu opisani jer prevazilaze obim pronalaska bez njegove promene.

[0089] U većini signala proširenog opsega (uzorkovanih na 16 kHz), visoki opseg (> 6 kHz) sadrži informacije o ambijentu koji je prirodno sličan onom koji je prisutan u niskom opsegu. Ambijent je ovde definisan kao rezidualni signal koji se dobija uklanjanjem glavnih (ili dominantnih) harmonika sa postojećeg signala. Nivo harmonika u opsegu 6000-8000 Hz je generalno u korelaciji sa nivoom donjih frekvencijskih opsega.

[0090] Ovaj dekodirani i prošireni signal niskog opsega se isporučuje na ulazu uređaja 500 za ekstenziju, a posebno na ulazu modula 512. Tako blok 512 za ekstrakciju tonskih komponenti i ambijentalnog signala, sprovodi etapu E402 sa slike 4 u frekvencijskom domenu.

Tako se dobija ambijentalni signal, UHBA(k) za k = 240, •••, 319 (80 uzoraka) za drugi frekventni opseg koji se naziva visoka frekvencija, da bi se zatim prilagodljivo kombinovao sa tonalnim komponentama ekstrahovanim y(k) u kombinovanom bloku 513.

[0091] U određenom tehničkom rešenju, ekstrakcija tonskih komponenata i ambijentalnog signala (u opsegu 6000-8000 Hz) vrši se prema sledećim operacijama:

• Proračun ukupne energije produženog dekodiranog signala niskog opsega enerHB:

gde je ε = 0,1 (ova vrednost može biti različita, ovde se postavlja kao primer).

• Proračun ambijenta (u apsolutnoj vrednosti) koji ovde odgovara prosečnom nivou visokog spektra lev(i) (liniju po liniju) i proračun energije enertonaldominantnih tonskih delova (u spektru visokih frekvencija)

Za i = 0... L-1, ovaj srednji nivo dobijamo sledećom jednačinom:

To odgovara prosečnom nivou (u apsolutnoj vrednosti) i stoga predstavlja neku vrstu omotača spektra.

U ovom načinu tehničkog rešenja, L = 80 i predstavlja dužinu spektra, a indeks i od 0 do L-1 odgovara indeksima j 240 od 240 do 319, odnosno spektru od 6 do 8 kHz.

Generalno fb (i) = i-7 i fn (i) = i 7, međutim 7 prvih i poslednjih indeksa (i = 0, •••, 6 i i = L-7, •••, L- 1) zahtevaju poseban tretman i bez gubitka opštosti onda se definiše:

U varijantama pronalaska, prosek | UHB1(j 240) |, j = fb (i), ..., fn (i), može se zameniti srednjom vrednošću na istom skupu vrednosti, neka lev (i) = medianj = fb (i), ..., fn (i)(| UHB1(j 240) |)

Ova varijanta ima nedostatak što je složenija (u smislu broja proračuna) od „kliznog proseka“. U drugim varijantama, neujednačeno ponderisanje može se primeniti na prosečne pojmove ili bi srednje filtriranje moglo biti zamenjeno, na primer, drugim nelinearnim filtrima tipa „stack filters“.

[0092] Takođe, izračunavamo rezidualni signal:

koji odgovara (približno) tonalnim komponentama ako je vrednost y (i) na datoj liniji i pozitivna (y(i)> 0).

Stoga ovaj proračun uključuje implicitno otkrivanje tonskih komponenti.

Tonski delovi se prema tome implicitno otkrivaju pomoću posrednog izraza y(i) koji predstavlja adaptivni prag.

Uslov otkrivanja je y(i)> 0.

U varijantama pronalaska, ovaj uslov bi se mogao promeniti, na primer, definisanjem adaptivnog praga koji je funkcija lokalnog omotača signala ili u obliku y(i)> lev(i) x dB gde x ima unapred definisanu vrednost (na primer x = 10 dB).

Energija dominantnih tonskih delova definisana je sledećom jednačinom:

Naravno, mogu se razmotriti i druge metode ekstrakcije ambijentalnog signala.

Na primer, ovaj ambijentalni signal može se izdvojiti iz niskofrekventnog signala ili eventualno drugog frekvencijskog opsega (ili nekoliko frekvencijskih opsega).

Otkrivanje vrhova ili tonskih komponenti može se učiniti drugačije.

Izdvajanje ovog ambijentalnog signala takođe se može izvršiti na dekodiranom pobuđivanju, ali ne i produženom, odnosno pre etape ekstenzije ili spektralnog preslikavanja, to jest, na primer pre na delu niskofrekventnog signala, a ne direktno na signalu visoke frekvencije.

[0093] U drugim varijantama pronalaska, apsolutna vrednost spektralnih vrednosti će biti zamenjena, na primer kvadratom spektralnih vrednosti, bez promene principa pronalaska; u ovom slučaju kvadratni koren će biti potreban za povratak u domen signala, što je složenije postići.

[0094] Modul kombinacije 513 izvodi etapu kombinovanja adaptivnim mešanjem ambijentalnog signala i tonskih komponenti. Za ovo je jedan faktor Γ kontrole nivoa ambijenta G definisan sledećom jednačinom:

β je faktor za koji je jedan primer izračunavanja dat u nastavku.

Da bismo dobili prošireni signal, prvo dobijamo kombinovani signal u apsolutnim vrednostima za i = 0... L-1:

na koje primenjujemo znakove UHB1(k):

pri čemu funkcija sgn(.) daje znak:

Po definiciji faktor Γ je> 1. Tonske komponente, detektovane liniju po liniju uslovom y (i)> 0, umanjene su za faktor Γ ; prosečni nivo se pojačava faktorom 1/Γ .

U bloku adaptivnog mešanja 513, faktor upravljanja energetskim nivoom izračunava se u funkciji ukupne energije dekodiranih (ili dekodiranih i proširenih) signala niskog opsega i tonskih komponenti.

U poželjnom načinu tehničkog rešenja adaptivnog mešanja, podešavanje energije se izvodi na sledeći način:

UHB2(k) je kombinovani signal ekstenzije opsega.

Faktor prilagođavanja definisan je sledećom jednačinom:

Gde y omogućava izbegavanje precenjivanja energije.

U jednom primeru tehničkog rešenja, β se izračunava tako da zadrži isti nivo ambijentalnog signala u odnosu na energiju tonskih komponenti u uzastopnim opsezima signala.

Izračunavamo energiju tonskih komponenti u tri opsega: 2000-4000 Hz, 4000-6000 Hz i 6000-8000 Hz, sa

A gde je N (k1, k2) skup indeksa k za koje je koeficijent indeksa k klasifikovan kao povezan sa tonalnim komponentama.

Ovaj skup se na primer može dobiti otkrivanjem lokalnih vrhova u U'(k) verifikacijom |U'(k)|> lev(k) ili lev(k) se izračunava kao srednji nivo spektra linija po linija.

Može se primetiti da su mogući i drugi postupci izračunavanja energije tonskih komponenti, na primer uzimanjem srednje vrednosti spektra na razmatranom opsegu.

Podesili smo β tako da odnos između energije tonskih komponenti u opsezima 4-6 kHz i 6-8 kHz bude isti kao među opsezima 2-4 kHz i 4-6 kHz:

i max (.,.) je funkcija koja daje maksimum od dva argumenta.

U varijantama pronalaska, izračunavanje β može se zameniti drugim metodama.

Na primer, u jednoj varijanti možemo izdvojiti (izračunati) različite parametre (ili « features » na engleskom) koji karakterišu signal u niskom opsegu, od kojih jedan parametar « nagib » je sličan onom izračunatom u AMR-WB kodeku, i mi ćemo proceniti faktor β u funkciji linearne regresije iz ovih različitih parametara ograničavanjem njegove vrednosti između 0 i 1.

Linearna regresija se, na primer, može proceniti na supervizovani način procenom faktora β davanjem originalnog visokog opsega u jednu bazu podataka. Primetiće se da postupak izračunavanja β ne ograničava prirodu pronalaska.

Zatim se parametar β može koristiti za izračunavanje γ uzimajući u obzir činjenicu da se signal sa dodatim ambijentalnim signalom u datom opsegu generalno doživljava kao mnogo jači od harmonijskog signala pri istoj energiji u istom opsegu.

Ako definišemo α kao količinu ambijentalnog signala koja se dodaje harmonijskom signalu:

možemo izračunati y kao opadajuću funkciju α, na primer

b = 1,1, a = 1,2 i y ograničen od 0,3 do 1. Ovde su opet moguće druge definicije α i γ u frejmu pronalaska.

[0095] Na izlazu iz uređaja za ekstenziju opsega 500, blok 501, u određenom načinu tehničkog rešenja, opciono izvodi dvostruku operaciju primenom frekvencijskog odziva propusnog opsega i filtriranja umanjivanja intenziteta u frekvencijskom domenu.

[0096] U varijanti pronalaska, filtriranje umanjivanja intenziteta može se izvršiti u vremenskom domenu, posle bloka 502 ili čak pre bloka 510; međutim, u ovom slučaju, filtriranje propusnog opsega izvedeno u bloku 501 može ostaviti neke niskofrekventne komponente vrlo niskih nivoa koje su povećane ovim filtriranjem, što može blago primetno izmeniti dekodirani donji opseg. Iz tog razloga je ovde poželjno da se izvrši umanjivanje intenziteta u frekvencijskom domenu. U poželjnom tehničkom rešenju, koeficijenti indeksa k = 0, •••, 199 su postavljeni na nulu, tako da je umanjivanje intenziteta ograničeno na više koeficijente.

Pobudi se prvo umanjuje intenzitet prema sledećoj jednačini:

gde je Gdeemph(k) frekvencijski odgovor filtera 1/(1-0,68z<-1>) u ograničenom diskretnom frekvencijskom opsegu. Uzimajući u obzir diskretne (neparne) frekvencije DCT-IV, ovde definišemo Gdeemph(k) kao:

U slučaju kada se koristi transformacija koja nije DCT-IV, definicija θkse može prilagoditi (na primer za parne frekvencije).

Treba zabeležiti da se umanjivanje intenziteta primenjuje u dve faze za k = 200, •••, 255 što odgovara frekvencijskom opsegu 5000-6400 Hz, gde se odziv 1/(1-0,68z<-1>) primenjuje na 12,8 kHz , a za k = 256, •••, 319 koji odgovara frekvencijskom opsegu 6400-8000 Hz, gde je odgovor ovde proširen sa 16 kHz na konstantnu vrednost u opsegu 6,4-8 kHz.

[0097] Može se primetiti da u AMR-WB kodeku sinteza HF nije dezakcentualna. U ovde prikazanom tehničkom rešenju, visokofrekventni signal je suprotno umanjenog intenziteta da bi se vratio u domen koji je u skladu sa niskofrekventnim signalom (0-6,4 kHz) koji izlazi iz bloka 305 sa slike 3.

Ovo je važno za procenu i naknadno prilagođavanje energije HF sinteze.

[0098] U jednoj varijanti tehničkog ršeenja, da bi se smanjila složenost, moguće je fiksirati Gdeemph(k) na konstantnu vrednost nezavisnu od k, na primer uzimanjem Gdeemph(k) = 0,6 što približno odgovara srednjoj vrednosti Gdeemph(k) za k = 200, •••, 319 pod uslovima ranije opisanog tehničkog rešenja.

[0099] U drugoj varijanti tehničkog rešenja dekodera, umanjivanje intenziteta može se izvršiti na ekvivalentan način u vremenskom domenu nakon obrnutog DCT.

[0100] Pored umanjivanja intenziteta, propusno opsežno filtriranje primenjuje se sa dva odvojena dela: jednim fiksnim visokopropusnim, drugim adaptivnim niskopropusnim (zavisno od brzine protoka bita).

[0101] Ovo filtriranje se izvodi u frekvencijskom domenu.

[0102] U poželjnom načinu tehničkog rešenja, delimični odgovor niskopropusnog filtra u frekvencijskom domenu izračunava se na sledeći način:

Primetiće se da u varijantama pronalaska vrednosti Ghp(k) mogu da se modifikuju, zadržavajući progresivno slabljenje. Slično tome, niskopropusno filtriranje sa promenljivom širinom opsega, Glp(k), može se prilagoditi različitim vrednostima ili različitim frekvencijskim medijumom, bez promene principa ove etape filtriranja.

[0103] Takođe će se primetiti da se pojasno propusno filtriranje može prilagoditi definisanjem jedne jedine etape filtriranja kombinovanjem visokopropusnog i niskopropusnog filtriranja.

[0104] U još jednom načinu tehničkog rešenja, filtriranje propusnog opsega može se izvršiti na ekvivalentan način u vremenskom domenu (kao u bloku 112 sa slike 1) sa različitim koeficijentima filtera u zavisnosti od brzine protoka bita, nakon inverznog DCT koraka.

Međutim, primetiće se da je korisno ovu etapu izvoditi direktno u frekvencijskom domenu, jer se filtriranje vrši u domenu pobude LPC, pa su stoga problemi kružne konvolucije i ivičnih efekata veoma ograničeni u ovom domenu.

[0105] Blok 502 inverzne transformacije izvodi inverzni DCT na 320 uzoraka da bi se pronašao visokofrekventni signal uzorkovan na 16 kHz. Njegova primena je identična bloku 510, jer je DCT-IV ortonormalan, osim što je dužina transformacije 320 umesto 256, i dobijamo:

[0106] U slučaju kada blok 510 nije DCT, već druga transformacija ili razgradnja u podopsege, blok 502 vrši sintezu koja odgovara analizi izvedenoj u bloku 510.

[0107] Signal uzorkovan na 16 kHz se zatim po potrebi skalira pojačanjima definisanim pomoću podfrejma 80 uzorka (blok 504).

U poželjnom tehničkom rešenju, prvo izračunavamo (blok 503) pojačanje gHB1(m) po podfrejmu odnosima energije podfrejma tako da je u svakom podfrejmu indeks m = 0, 1, 2 ili 3 trenutni frejm:

Gde

što pokazuje da je u uHBsignalu osiguran isti odnos između energije po podfrejmu i energije po frejmu kao u signalu u(n).

Blok 504 vrši skaliranje kombinovanog signala (uključenog u etapi E404a sa slike 4) prema sledećoj jednačini:

[0108] Primetiće se da se tehničko rešenje bloka 503 razlikuje od bloka 101 sa slike 1, jer se energija na nivou trenutnog frejma više uzima u obzir od energije podfrejma. To omogućava da se dobije odnos energije svakog podfrejma u odnosu na energiju frejma.

Zbog toga upoređujemo energetske odnose (ili relativne energije), pre nego apsolutne energije između niskog i visokog opsega.

[0109] Dakle, ova etapa skaliranja omogućava da se održi u visokom opsegu odnos energije između podfrejma i frejma na isti način kao u niskom opsegu.

Po želji, blok 506 zatim vrši skaliranje signala (uključeno u etapi E404a sa slike 4) prema sledećoj jednačini:

pri čemu se pojačanje gHB2(m) dobija iz bloka 505 izvršavanjem blokova 103, 104 i 105 AMR-WB kodeka (ulaz bloka 103 predstavlja dekodiranu pobudu u niskom opsegu, u(n)).

Blokovi 505 i 506 su korisni za podešavanje nivoa LPC filtera za sintezu (blok 507), ovde u funkciji nagiba signala.

Ostale metode izračunavanja pojačanja gHB2(m) su moguće bez promene prirode pronalaska.

[0110] Konačno, signal, uHB'(n) ili uHB"(n), se filtrira modulom filtera 507 koji se ovde može realizovati uzimajući za prenosnu funkciju 1 / (z / γ), gde je γ = 0,9 do 6,6 kbit/s i γ = 0,6 pri ostalim brzinama protoka bita, što ograničava redosled filtera na red od 16.

U jednoj varijanti, ovo filtriranje će moći da se izvede na isti način kao što je opisano za blok 111 sa slike 1 dekodera AMR-WB, međutim, redosled filtera se menja sa stope bita 20 na stopu 6,6, što ne menja značajno kvalitet sintetisanog signala.

U jednoj drugoj varijanti, filtriranje LPC sinteze moglo bi se izvršiti u frekvencijskom domenu, nakon izračunavanja frekvencijskog odgovora filtera primenjenog u bloku 507.

[0111] U varijantama tehničkog rešenja pronalaska, kodiranje niskog opsega (0-6,4 kHz) može se zameniti CELP koderom koji nije onaj koji se koristi u AMR-WB, kao što je na primer CELP koder u G.718 do 8 kbit/s. Bez gubitka opštosti, mogli bi se koristiti drugi koderi proširenog opsega ili koji funkcionišu sa frekvencijama iznad 16 kHz, u kojima kodiranje niskog opsega funkcioniše na internoj frekvenciji od 12,8 kHz.

Dalje, pronalazak se očigledno može prilagoditi frekvencijama uzorkovanja različitim od 12,8 kHz, kada koder niske frekvencije radi na frekvenciji uzorkovanja nižoj od one kod originalnog ili rekonstruisanog signala.

Kada dekodiranje u niskom opsegu ne koristi linearno predviđanje, nema signala pobude za proširenje, u ovom slučaju može se izvršiti LPC analiza signala rekonstruisanog u trenutnom frejmu i izračunati LPC pobuda kako bi mogao da se primeni pronalazak.

[0112] Konačno, u drugoj varijanti pronalaska, pobuda ili signal niskog opsega (u(n)) se ponovo uzorkuje, na primer linearnom interpolacijom ili kubnim „splinom“, od 12,8 do 16 kHz pre transformacije (primerom DCT-IV) dužine 320.

Ova varijanta ima nedostatak što je složenija, jer se transformacija (DCT-IV) pobude ili signala izračunava na većoj dužini i ponovno uzorkovanje se ne vrši u domenu transformacije.

[0113] Štaviše, u varijantama pronalaska, svi proračuni neophodni za procenu povećanja (GHBN, gHB1(m), gHB2(m), gHBN, itd.) mogli bi se izvršiti u logaritamskom domenu.

[0114] Slika 6 predstavlja primer materijalnog tehničkog rešenja uređaja za ekstenziju opsega 600 prema pronalasku. Ovo može biti sastavni deo nekog dekodera zvučno-frekvencijskog signala ili neke opreme koja prima zvučno-frekvencijske signale, dekodirane ili ne.

[0115] Ovaj tip uređaja sadrži procesor PROC koji sarađuje sa memorijskim blokom BM koji sadrži memoriju za skladištenje i/ili radnu memoriju MEM .

Takav jedan uređaj sadrži ulazni modul E sposoban da primi dekodirani zvučni signal ili ekstrakt u prvom frekvencijskom opsegu koji se naziva niski opseg vraćen u frekvencijski domen (U(k)). Sadrži izlazni modul S sposoban da prenosi signal ekstenzije u drugom frekvencijskom opsegu (UHB2(k)), na primer, modulu 501 za filtriranje sa slike 5.

[0116] Poželjno je da memorijski blok sadrži računarski program koji sadrži uputstva koda za primenu etape postupka ekstenzije opsega u smislu pronalaska, kada ove instrukcije izvršava procesor PROC, a posebno etape za ekstrakciju (E402) tonalnih komponenata i ambijentalnog signala iz jednog signala poreklom iz dekodiranog signala niskog opsega (U(k)), iz kombinacije (E403) tonskih komponenti (y(k)) i ambijentalnog signala (UHBA(k)) adaptivnim mešanjem koristeći faktore kontrole energetskog nivoa da se dobije jedan zvučni signala.koji se naziva kombinovani signal (UHB2(k)), ekstenzije (E401a) na najmanje drugom frekvencijskom opsegu većem od prvog frekvencijskog opsega dekodiranog signala niskog opsega pre etape ekstrakcije ili od kombinovanog signala nakon etape kombinovanja.

[0117] Obično, opis sa slike 4 ponavlja etape jednog algoritma jednog takvog računarskog programa. Računarski program, takođe, može biti uskladišten na jednom memorijskom medijumu koji čita čitač uređaja ili se može preuzeti u memorijskom prostoru ovog uređaja.

[0118] Memorija MEM generalno beleži sve podatke potrebne za ostvarenje postupka.

[0119] U jednom mogućem načinu tehničkog rešenja, ovako opisani uređaj može, takođe, da uključuje funkcije dekodiranja niskog opsega i druge funkcije obrade opisane, na primer, na slikama 5 i 3, pored funkcija ekstenzije opsega prema pronalasku.

Claims

Patentni zahtevi 1. Postupak za proširenje frekvencijskog opsega audio-frekventnog signala tokom jednog procesa dekodiranja ili za poboljšanje koje sadrži jednu etapu dobijanja dekodiranog signala u prvom frekvencijskom opsegu koji se naziva niski opseg, ovaj postupak obuhvata sledeće etape izvedene u frekvencijskom domenu: - ekstrakciju (E402) tonskih komponenti i jednog ambijentalnog signala od signala poreklom iz jednog dekodiranog signala niskog opsega; - kombinovanje (E403) tonskih komponenti i ambijentalnog signala prilagodljivim mešanjem koristeći kontrolne faktore energetskog nivoa da bi se dobio kombinovani signal; - ekstenziju (E401a) na barem drugom frekvencijskom opsegu većem od prvog frekvencijskog opsega jednog dekodiranog signala niskog opsega pre etape ekstrakcije ili od kombinovanog signala nakon etape kombinovanja; - sintezu (E404b) jednog audio signala za unošenje u vremenski domen: - kombinovani signal ako se etapa ekstenzije (E401a) izvodi pre etape ekstrakcije (E402), ili - prošireni kombinovani signal ako se etapa ekstenzije (E401a) izvodi nakon etape kombinovanja (E403); postupak je naznačen time što se etapa ekstrakcije tonskih komponenti i ambijentalnog signala izvodi prema sledećim etapama: - dobijanje ambijentalnog signala izračunavanjem prosečne vrednosti spektra dekodiranog ili dekodiranog i proširenog signala niskog opsega; - dobijanje tonskih komponenti oduzimanjem izračunatog ambijentalnog signala od dekodiranog ili dekodiranog i proširenog signala niskog opsega.
2 . Postupak prema patentnom zahtevu 1, naznačen time što je dekodirani signal niskog opsega dekodirani signal pobude niskog opsega.
3. Postupak prema patentnom zahtevu 1, naznačen time što se kontrolni faktor energetskog nivoa koji se koristi za adaptivno mešanje izračunava u funkciji ukupne energije dekodiranog ili dekodiranog i proširenog signala niskog opsega i tonskih komponenti.
4. Postupak prema jednom od prethodnih patentnih zahteva, naznačen time što se dekodirani signal niskog opsega podvrgava etapi razgradnje u podopsege transformacijom ili pomoću grupe filtera, gde se etape ekstrakcije i kombinovanja odvijaju u frekvencijskom domenu ili u podopsezima.
5. Postupak prema jednom od prethodnih patentnih zahteva, naznačen time što se etapa ekstenzije dekodiranog signala niskog opsega izvodi prema sledećoj jednačini:

gde je k indeks uzorka, U(k) je spektar dekodiranog signala niskog opsega dobijenog nakon etape transformacije, UHB1(k) je spektar proširenog signala i start_opseg je unapred definisana promenljiva.
6. Uređaj za ekstenziju frekvencijskog opsega audio-frekventnog signala, gde je signal dekodiran u prvom frekvencijskom opsegu koji se naziva niski opseg, a uređaj sadrži: - modul (512) za ekstrakciju, u frekvencijskom domenu, tonskih komponenti i ambijentalnog signala iz signala koji potiče iz dekodiranog signala niskog opsega; - modul (513) za kombinovanje, u frekvencijskom domenu, tonskih komponenti i ambijentalnog signala adaptivnim mešanjem koje koristi kontrolne faktore energetskog nivoa za dobijanje jednog kombinovanog signala; - modul (511) ekstenzije u frekvencijskom domenu na najmanje drugom frekvencijskom opsegu većem od prvog frekvencijskog opsega primenjenog na dekodiranom signalu niskog opsega pre modula ekstrakcije ili jednom kombinovanom signalu nakon modula za kombinovanje, - modul (502) za sintezu jednog zvučnog signala za unošenje u vremenski domen: • kombinovani signal ako je modul (511) za ekstenziju primenjen pre modula (512) za ekstrakciju, ili • prošireni kombinovani signal ako je modul (511) za ekstenziju primenjen nakon modula (513) za kombinovanje; pri čemu je uređaj naznačen time što je modul za ekstrakciju tonskih komponenti i ambijentalnog signala konfigurisan - da se dobije ambijentalni signal izračunavanjem prosečne vrednosti spektra dekodiranog ili dekodiranog i proširenog signala niskog opsega - da se dobiju tonske komponente oduzimanjem izračunatog ambijentalnog signala od dekodiranog ili dekodiranog i proširenog signala niskog opsega.
7. Dekoder zvučno-frekventnog signala, naznačen time što sadrži uređaj za ekstenziju frekvencijskog opsega prema patentnom zahtevu 6.
8. Računarski program koji sadrži kodna uputstva za sprovođenje etape postupka ekstenzije frekvencijskog opsega prema jednom od patentnih zahteva od 1 do 5, kada ove instrukcije izvršava procesor.
9. Medijum za skladištenje podataka koji se čita uređajem za ekstenziju frekvencijskog opsega na kojem je snimljen informatički program koji sadrži kodna uputstva za izvršavanje etapa postupka ekstenzije frekvencijskog opsega prema jednom od patentnih zahteva 1 do 5.