RS67270B1 - Uređaj za uklanjanje redundantne sintakse iz sintakse podataka spajanja - Google Patents

Description

Opis

POZADINA OTKRIVANJA

Oblast otkrivanja

[0001] Ova tehnologija odnosi se na uređaj za uklanjanje redundantne sintakse iz sintakse podataka spajanja u sistemu za kodiranje video zapisa/slike.

Stanje tehnike

[0002] Nedavno, potražnja za slikama/video zapisima visoke rezolucije i visokog kvaliteta kao što su slike/video zapisi 4K, 8K ili veće ultravisoke definicije (UHD) raste u raznim oblastima. Kako rezolucija ili kvalitet slike/video zapisa postaje veći, relativno veća količina informacija ili bitova prenosi se nego za konvencionalne podatke o slici/video zapisu. Prema tome, ako se podaci o slici/video zapisu prenose preko medijuma kao što je postojeća žičana/bežična širokopojasna linija ili se čuvaju u zastarelom medijumu za skladištenje, troškovi prenosa i skladištenja se stoga povećavaju.

[0003] Osim toga, rastu interes i potražnja za sadržajima virtuelne realnosti (VR) i veštačke realnosti (AR), i imerzivnim medijima kao što je hologram; i takođe raste emitovanje slika/video zapisa koje imaju karakteristike slike/video zapisa različite od onih stvarne slike/video zapisa, kao što su slike/video zapisi igre.

[0004] Prema tome, postoji potreba za visokoefikasnom tehnikom kompresije slike/video zapisa za efikasno komprimovanje i prenos, skladištenje, ili reprodukovanje slika/video zapisa visoke rezolucije i visokog kvaliteta koji imaju različite karakteristike kao što je prethodno opisano.

SUŠTINA

[0005] Jedan aspekt ovog otkrivanja je da se obezbedi uređaj za poboljšanje efikasnosti kodiranja slike.

[0006] Neki drugi aspekt ovog otkrivanja je da obezbedi uređaj za efikasno izvođenje inter predikcije.

[0007] Još neki aspekt ovog otkrivanja je da obezbedi uređaj za uklanjanje nepotrebne signalizacije tokom inter predikcije.

[0008] Još neki aspekt ovog otkrivanja je da obezbedi uređaj za efikasnu signalizaciju informacija o režimu spajanja tokom inter predikcije.

[0009] Još neki aspekt ovog dokumenta je da obezbedi uređaj za uklanjanje redundantne sintakse iz sintakse podataka spajanja.

[0010] Ovaj pronalazak definisan je priloženim nezavisnim patentnim zahtevima. Zavisni patentni zahtevi čine načine ostvarivanja ovog pronalaska.

[0011] Prema načinu ostvarivanja ovog otkrivanja, može se poboljšati ukupna efikasnost kompresije slike/video zapisa.

[0012] Prema načinu ostvarivanja ovog otkrivanja, može se efikasno izvesti inter predikcija.

[0013] Prema načinu ostvarivanja ovog otkrivanja, signalizacija nepotrebne sintakse može se efikasno ukloniti tokom inter predikcije.

[0014] Prema načinu ostvarivanja ovog otkrivanja, informacije o režimu spajanja mogu se efikasno signalizirati tokom inter predikcije.

[0015] Prema načinu ostvarivanja ovog otkrivanja, moguće je ukloniti redundantnu sintaksu iz sintakse podataka spajanja.

KRATAK OPIS NACRTA

[0016]

FIG.1 šematski prikazuje primer sistema za kodiranje video zapisa/slike na kojem se načini ostvarivanja ovog otkrivanja mogu primeniti.

FIG.2 je dijagram koji šematski prikazuje konfiguraciju uređaja za kodiranje video zapisa/slike na kojem se načini ostvarivanja ovog otkrivanja mogu primeniti.

FIG.3 je dijagram koji šematski objašnjava konfiguraciju uređaja za dekodiranje video zapisa/slike na kojem se načini ostvarivanja ovog otkrivanja mogu primeniti.

FIG.4 je dijagram koji šematski prikazuje inter prediktor u uređaju za kodiranje.

FIG.5 je dijagram koji šematski prikazuje inter prediktor u uređaju za dekodiranje.

FIG.6 je dijagram koji prikazuje prostornog kandidata koji može da se koristi za inter predikciju. FIG.7 je dijagram koji prikazuje vremenskog kandidata koji može da se koristi za inter predikciju. FIG.8 je dijagram koji prikazuje postupak predikcije vremenskog vektora pokreta na osnovu podblokova, koji može da se koristi u inter predikciji.

FIG.9 je dijagram koji prikazuje režim particionisanja koji se može primeniti na inter predikciji. FIG.10 i 11 šematski prikazuju primer postupka za kodiranje video zapisa/slike koji uključuje postupak inter predikcije i povezane komponente prema nekom načinu ostvarivanja ovog dokumenta.

FIG.12 i 13 šematski prikazuju primer postupka za dekodiranje video zapisa/slike koji uključuje postupak inter predikcije i povezane komponente prema nekom načinu ostvarivanja ovog dokumenta.

FIG.14 prikazuje primer sistema za strimovanje sadržaja na kojem se mogu primeniti načini ostvarivanja otkriveni u ovom otkrivanju.

OPIS PRIMERA NAČINA OSTVARIVANJA

[0017] Ovo otkrivanje može da se modifikuje u razne oblike, a njegovi specifični načini ostvarivanja biće opisani i prikazani u nacrtu. Međutim, nije namera da načini ostvarivanja ograniče ovo otkrivanje koje je definisano priloženim nezavisnim patentnim zahtevima.

[0018] U međuvremenu, svaka od komponenata u nacrtu opisana u ovom otkrivanju prikazana je nezavisno radi lakšeg opisa koji se odnosi na različite karakteristične funkcije, i ne znači da se komponente realizuju u zasebnom hardveru ili zasebnom softveru.

U ovom dokumentu, simbol "/" i "," treba da se tumači kao "i/ili." Na primer, izraz "A/B" se tumači kao "A i/ili B", a izraz "A, B" se tumači kao "A i/ili B." Dodatno, izraz "A/B/C" znači "najmanje jedan od A, B, i/ili C." Dalje, izraz "A, B, C" takođe znači "najmanje jedan od A, B, i/ili C." (U ovom dokumentu, pojam "/" i "," treba da se tumači da označava "i/ili." Na primer, izraz "A/B" može da znači "A i/ili B." Dalje, "A, B" može da znači "A i/ili B." Dalje, "A/B/C" može da znači "najmanje jedan od A, B, i/ili C." Takođe, "A/B/C" može da znači "najmanje jedan od A, B, i/ili C.")

[0019] Dodatno, u ovom dokumentu, pojam "ili" treba da se tumači kao "i/ili." Na primer, izraz "A ili B" može da znači 1) samo "A", 2) samo "B", i/ili 3) "i A i B." Drugim rečima, pojam "ili" u ovom dokumentu može da znači "dodatno ili alternativno." (Dalje, u ovom dokumentu, pojam "ili" treba da se tumači da označava "i/ili." Na primer, izraz "A ili B" može da obuhvata 1) samo A, 2) samo B, i/ili 3) i A i B. Drugim rečima, pojam "ili" u ovom dokumentu treba da se tumači da označava "dodatno ili alternativno.")

[0020] Ovaj dokument odnosi se na kodiranje video zapisa/slike. Na primer, postupak/način ostvarivanja opisan u ovom dokumentu može se primeniti na postupak opisan u standardu raznovrsnog video kodiranja (VVC). Takođe, na primer, postupak/način ostvarivanja opisan u ovom dokumentu može se primeniti na postupak opisan u standardu osnovnog video kodiranja (EVC), AOMedia Video 1 (AV1) standardu, standardu audio video kodiranja 2. generacije (AVS2) ili standardu za kodiranje video zapisa/slike sledeće generacije (npr., H.267, H.268, ili slično).

[0021] U nastavku, primeri ovog načina ostvarivanja detaljno su opisani upućivanjem na prateće crteže. Pored toga, slične pozivne oznake koriste se za označavanje sličnih elemenata na crtežima, te će isti opisi sličnih elemenata biti izostavljeni.

[0022] FIG.1 prikazuje primer sistema za kodiranje video zapisa/slike na kojem se ovo otkrivanje može primeniti.

[0023] Upućivanjem na FIG.1, sistem za kodiranje video zapisa/slike može da uključuje izvorni uređaj i prijemni uređaj. Izvorni uređaj može da prenese kodirane informacije ili podatke o video zapisu/slici u obliku datoteke ili strimovanja prijemnom uređaju preko digitalnog medijuma za skladištenje ili mreže.

[0024] Izvorni uređaj može da uključuje izvor video zapisa, uređaj za kodiranje i predajnik. Prijemni uređaj može da uključuje prijemnik, uređaj za dekodiranje i prikazivač. Uređaj za kodiranje može se nazvati uređaj za kodiranje video zapisa/slike, a uređaj za dekodiranje može se nazvati uređaj za dekodiranje video zapisa/slike. Predajnik može da bude uključen u uređaju za kodiranje. Prijemnik može da bude uključen u uređaju za dekodiranje. Prikazivač može da uključuje ekran, a ekran može da bude konfigurisan kao poseban uređaj ili eksterna komponenta.

[0025] Izvor video zapisa može da dobije video zapis/sliku postupkom snimanja, sinteze ili generisanja video zapisa/slike. Izvor video zapisa može da uključuje uređaj za snimanje video zapisa/slike i/ili uređaj za generisanje video zapisa/slike. Uređaj za snimanje video zapisa/slike može da uključuje, na primer, jednu ili više kamera, arhive video zapisa/slike uključujući prethodno snimljene video zapise/slike, i slično. Uređaj za generisanje video zapisa/slike može da uključuje, na primer, računare, tablete i pametne telefone, i može (elektronski) da generiše video zapis/sliku. Na primer, virtuelni video zapis/slika može da se generiše računarom ili slično. U ovom slučaju, postupak snimanja video zapisa/slike može se zameniti postupkom generisanja povezanih podataka.

[0026] Uređaj za kodiranje može da kodira ulazni video zapis/sliku. Uređaj za kodiranje može da izvede serije procedura kao što su predikcija, transformacija i kvantizacija za efikasnost kompresije i kodiranja. Kodirani podaci (kodirane informacije o video zapisu/slici) mogu da se otpreme u obliku toka bitova.

[0027] Predajnik može da prenese kodirane informacije ili podatke o slici/slici emitovane u obliku toka bitova prijemniku prijemnog uređaja preko digitalnog medijuma za skladištenje ili mreže u obliku datoteke ili strimovanja. Digitalni medijum za skladištenje može da uključuje različite medijume za skladištenje kao što su USB, SD, CD, DVD, Blu-ray, HDD, SSD, i slično. Predajnik može da uključuje element za generisanje medijske datoteke preko unapred određenog formata datoteke i može da uključuje neki element za prenos preko radiodifuzne/komunikacione mreže. Prijemnik može da primi/izdvoji tok bitova i prenese primljeni tok bitova uređaju za dekodiranje.

[0028] Uređaj za dekodiranje može da dekodira video zapis/sliku izvođenjem niza procedura kao što su dekvantizacija, inverzna transformacija i predikcija koje odgovaraju operaciji uređaja za kodiranje.

[0029] Prikazivač može da prikaže dekodiran video zapis/sliku. Prikazan video zapis/slika može da se prikaže preko ekrana.

[0030] U ovom dokumentu, može se izostaviti najmanje jedno od kvantizacije/dekvantizacije i/ili transformacije/inverzne transformacije. U slučaju gde je izostavljena kvantizacija/dekvantizacija, kvantizovani koeficijent transformacije može se nazvati koeficijent transformacije. U slučaju gde je izostavljena transformacija/inverzna transformacija, koeficijent transformacije može se nazvati koeficijent ili rezidualni koeficijent, ili se i dalje može zvati koeficijent transformacije radi jedinstva izražavanja.

[0031] U ovom dokumentu, kvantizovani koeficijent transformacije i koeficijent transformacije mogu se nazvati koeficijent transformacije i skaliran koeficijent transformacije, tim redom. U ovom slučaju, rezidualne informacije mogu da uključuju informacije o koeficijentu(ima) transformacije, i informacije o koeficijentu(ima) transformacije mogu da se signaliziraju putem rezidualne sintakse kodiranja.

Koeficijenti transformacije mogu se izvesti na osnovu rezidualnih informacija (ili informacija o koeficijentu(ima) transformacije), a skalirani koeficijenti transformacije mogu se izvesti pomoću inverzne transformacije (skaliranja) koeficijenata transformacije. Rezidualni uzorci mogu se izvesti na osnovu inverzne transformacije (transformacije) skaliranih koeficijenata transformacije. Ovo se može primeniti/izvesti na isti način u odnosu na druge delove ovog dokumenta.

[0032] U ovom dokumentu, video zapis može da se odnosi na serije slika tokom vremena. Slika uopšteno predstavlja jedinicu koja predstavlja jednu sliku u određenom vremenskom periodu, a isečak/pločica odnosi se na jedinicu koja čini deo slike u smislu kodiranja. Isečak/pločica može da uključuje jednu ili više jedinica stabla kodiranja (CTU). Jedna slika može da se sastoji od jednog ili više isečaka/pločica. Jedna slika može da se sastoji od jedne ili više grupa pločica. Jedna grupa pločica može da uključuje jednu ili više pločica. Brik može da predstavlja pravougaonu oblast CTU redova unutar pločice u slici (brik može da predstavlja pravougaonu oblast CTU redova unutar pločice u slici). Pločica može da se podeli na više brikova, od kojih svaki može da se sastoji od jednog ili više CTU redova unutar pločice (Pločica može da se podeli na više brikova, od kojih se svaki sastoji od jednog ili više CTU redova unutar pločice). Pločica koja nije podeljena na više brikova može takođe da se naziva brik. Skeniranje brikova može da predstavlja specifično sekvencijalno uređivanje CTU-ova koje dele sliku, pri čemu CTU mogu biti poređane u CTU rasterskom skeniranju u briku, a brikovi unutar pločice mogu biti poređani uzastopno u rasterskom skeniranju brikova pločice, i pločice u slici mogu biti poređane uzastopno u rasterskom skeniranju pločica slike (Skeniranje brikova je specifično sekvencijalno uređivanje CTU-ova koje dele sliku u kojoj su CTU poređane uzastopno u CTU rasterskom skeniranju u briku, brikovi unutar pločice poređani su uzastopno u rasterskom skeniranju brikova pločice, i pločice u slici poređane su uzastopno u rasterskom skeniranju pločica slike). Pločica je posebna kolona pločica i pravougaona površina CTU-ova unutar posebne kolone pločica (Pločica je pravougaona površina CTU-ova unutar posebne kolone pločica i posebnog reda pločica u slici). Kolona pločica je pravougaona površina CTU-ova, koja ima visinu jednaku visini slike i širinu koja može biti određena sintaksičkim elementima u skupu parametara slike (Kolona pločica je pravougaona površina CTU-ova koje imaju visinu jednaku visini slike i širinu određenu sintaksičkim elementima u skupu parametara slike). Red pločica je pravougaona površina CTU-ova, koja ima širinu određenu sintaksičkim elementima u skupu parametara slike i visinu koja može biti jednaka visini slike (Pločica je pravougaona površina CTU-ova koje imaju visinu određenu sintaksičkim elementima u skupu parametara slike i širinu jednaku širini slike). Skeniranje pločica može da predstavlja specifični sekvencijalni redosled CTU-ova koje dele sliku, i CTU mogu biti poređane uzastopno u CTU rasterskom skeniranju u pločici dok pločice u slici mogu biti poređane uzastopno u rasterskom skeniranju pločica slike (Skeniranje pločica je specifični sekvencijalni redosled CTU-ova koje dele sliku u kojoj su CTU poređane uzastopno u CTU rasterskom skeniranju u pločici dok su pločice u slici poređane uzastopno u rasterskom skeniranju pločica slike). Isečak može da uključuje ceo broj brikova slike, a ceo broj brikova može biti uključen u jednoj NAL jedinici (Isečak uključuje ceo broj brikova slike koji mogu biti isključivo sadržani u jednoj NAL jedinici). Isečak može biti konstruisan sa više kompletnih pločica, ili može biti uzastopna sekvenca kompletnih brikova jedne pločice (Isečak može da se sastoji ili od nekog broja kompletnih pločica ili samo od uzastopne sekvence kompletnih brikova jedne pločice). U ovom dokumentu, grupa pločica i isečak mogu da se koriste jedan umesto drugog. Na primer, u ovom dokumentu, grupa pločica/zaglavlje grupe pločica može da se naziva isečak/zaglavlje isečka.

[0033] Piksel ili pel može da znači najmanja jedinica koja čini jednu sliku (ili sliku). Takođe, 'uzorak' može da se koristi kao pojam koji odgovara pikselu. Uzorak može uopšteno da predstavlja piksel ili vrednost piksela, a može da predstavlja samo piksel/vrednost piksela luma komponente ili samo piksel/vrednost piksela hroma komponente.

[0034] Jedinica može da predstavlja osnovnu jedinicu za obradu slike. Jedinica može da uključuje najmanje jedan od određene oblasti slike i informacija koje se odnose na tu oblast. Jedna jedinica može da uključuje jedan luma blok i dva hroma (npr. cb, cr) bloka. Jedinica može da se koristi naizmenično sa pojmovima kao što su blok ili površina u nekim slučajevima. U opštem slučaju, M×N blok može da uključuje uzorke (ili nizove uzoraka) ili skup (ili niz) koeficijenata transformacije od M kolona i N redova.

[0035] FIG.2 je dijagram koji šematski prikazuje konfiguraciju uređaja za kodiranje video zapisa/slike na kojem se ovo otkrivanje može primeniti. U daljem tekstu, ono što se naziva uređaj za video kodiranje može da uključuje uređaj za kodiranje slike.

[0036] Upućivanjem na FIG.2, uređaj 200 za kodiranje može da uključuje i da bude konfigurisan sa razdelnikom 210 slike, prediktorom 220, rezidualnim procesorom 230, entropijskim koderom 240, sabiračem 250, filterom 260 i memorijom 270. Prediktor 220 može da uključuje inter prediktor 221 i intra prediktor 222. Rezidualni procesor 230 može da uključuje transformator 232, kvantizator 233, dekvantizator 234 i inverzni transformator 235. Rezidualni procesor 230 može dalje da uključuje oduzimač 231. Sabirač 250 se može nazvati rekonstruktor ili generator rekonstruisanog bloka. Razdelnik 210 slike, prediktor 220, rezidualni procesor 230, entropijski koder 240, sabirač 250 i filter 260, koji su prethodno opisani, mogu biti konfigurisani sa jednom ili više komponenti hardvera (npr., čipsetovi ili procesori kodera) prema nekom načinu ostvarivanja. Pored toga, memorija 270 može da uključuje bafer za dekodiranu sliku (DPB), i može, takođe, da bude konfigurisana sa digitalnim medijumom za skladištenje. Komponenta hardvera može dalje da uključuje memoriju 270 kao internu/eksternu komponentu.

[0037] Razdelnik 210 slike može da deli ulaznu sliku (ili sliku, frejm) unetu u uređaj 200 za kodiranje na jednu ili više jedinica za obradu. Kao primer, jedinica za obradu može se nazvati jedinica za kodiranje (CU). U ovom slučaju, jedinica za kodiranje može biti rekurzivno podeljena prema strukturi kvadratnog stabla, binarnog stabla ili ternarnog stabla (QTBTTT) iz jedinice stabla za kodiranje (CTU) ili najveće jedinice za kodiranje (LCU). Na primer, jedna jedinica za kodiranje može da se podeli na mnoštvo jedinica za kodiranje veće dubine na osnovu strukture kvadratnog stabla, strukture binarnog stabla i/ili strukture ternarnog stabla. U ovom slučaju, na primer, struktura kvadratnog stabla prva se primenjuje dok se struktura binarnog stabla i/ili struktura ternarnog stabla može primeniti kasnije. Alternativno, struktura binarnog stabla može, takođe, prvo da se primeni. Procedura kodiranja prema ovom otkrivanju može da se izvede na osnovu finalne jedinice za kodiranje koja se više ne deli. U ovom slučaju, na osnovu efikasnosti kodiranja prema karakteristikama slike ili slično, najveća jedinica za kodiranje može direktno da se koristi kao finalna jedinica za kodiranje, ili po potrebi, jedinica za kodiranje može da bude rekurzivno podeljena na jedinice za kodiranje veće dubine, tako da jedinica za kodiranje koja ima optimalnu veličinu može da se koristi kao finalna jedinica za kodiranje. Ovde, procedura kodiranja može da uključuje proceduru kao što je predikcija, transformacija i rekonstrukcija, koje su objašnjene u nastavku. Kao drugi primer, jedinica za obradu može dalje da uključuje prediktivnu jedinicu (PU) ili transformacionu jedinicu (TU). U ovom slučaju, i prediktivna jedinica i transformaciona jedinica mogu biti podeljene ili izdvojene iz prethodno opisane finalne jedinice za kodiranje. Prediktivna jedinica može biti jedinica za predikciju uzorka, dok transformaciona jedinica može biti jedinica za izvođenje koeficijenta transformacije i/ili jedinica za izvođenje rezidualnog signala iz koeficijenta transformacije.

[0038] Jedinica može da se koristi naizmenično sa pojmom kao što je blok ili površina u istim slučajevima. Generalno, MxN blok može da predstavlja uzorke koji se sastoje od M kolona i N redova ili grupu koeficijenata transformacije. Uzorak može generalno da predstavlja piksel ili vrednost piksela, a može da predstavlja samo piksel/vrednost piksela luma komponente, a takođe predstavlja samo piksel/ vrednost piksela hroma komponente. Uzorak može da se koristi kao pojam koji odgovara pikselu ili pelu koji konfiguriše jednu sliku (ili sliku).

[0039] Uređaj 200 za kodiranje može da generiše rezidualni signal (rezidualni blok, niz rezidualnih uzoraka) oduzimanjem prediktovanog signala (prediktovani blok, niz uzoraka predikcije) otpremljenog iz inter prediktora 221 ili intra prediktor 222 od ulaznog signala slike (originalni blok, niz originalnih uzoraka), i generisani rezidualni signal prenosi se transformatoru 232. U ovom slučaju, kao što je prikazano komponenta za oduzimanje prediktovanog signala (prediktovani blok, niz uzoraka predikcije) od ulaznog signala slike (originalni blok, niz originalnih uzoraka) unutar kodera 200 može se nazvati oduzimač 231. Prediktor može da izvede predikciju za blok koji se obrađuje (u nastavku, naziva se trenutni blok), i generiše prediktovani blok uključujući uzorke predikcije trenutnog bloka. Prediktor može da odredi da li se primenjuje intra predikcija ili se primenjuje inter predikcija u jedinicama trenutnog bloka ili CU. Prediktor može da generiše različite informacije o predikciji, kao što su informacije o režimu predikcije, da prenese generisane informacije entropijskom koderu 240 kao što je opisano u nastavku u opisu svakog režima predikcije. Informacije o predikciji mogu da se kodiraju entropijskim koderom 240 da bi se otpremile u obliku toka bitova.

[0040] Intra prediktor 222 može da predvidi trenutni blok upućivanjem na uzorke u trenutnoj slici. Uzorci na koje je upućeno mogu da budu smešteni susedno trenutnom bloku, ili mogu da budu smešteni i udaljeno od trenutnog bloka u skladu sa režimom predikcije. Režimi predikcije u intra predikciji mogu da uključuju veći broj neusmerenih režima i mnoštvo usmerenih režima. Neusmereni režim može da uključuje, na primer, DC režim ili planarni režim. Usmereni režim može da uključuje, na primer, 33 usmerenih režima predikcije ili 65 usmerenih režima predikcije prema stepenu detalja smera predikcije. Međutim, ovo je samo primer, a manje ili više od gorepomenutog broja usmerenih režima predikcije može da se koristi zavisno od podešavanja. Intra prediktor 222 može da određuje i režim predikcije primenjen na trenutnom bloku korišćenjem režima predikcije primenjenog na susednom bloku.

[0041] Inter prediktor 221 može izvesti prediktovan blok trenutnog bloka na osnovu referentnog bloka (niz referentnih uzoraka) koji je naznačen vektorom pokreta na referentnoj slici. Istovremeno, da bi se smanjila količina informacija o pokretima preneta u režimu inter predikcije, informacije o pokretima mogu se predvideti u jedinicama bloka, podbloka ili uzorka na osnovu korelacije informacija o pokretima između susednog bloka i trenutnog bloka. Informacije o pokretima mogu da uključuju vektor pokreta i indeks referentne slike. Informacije o pokretima mogu dalje da uključuju informacije o smeru inter predikcije (L0 predikcija, L1 predikcija, Bi predikcija, ili slično). U slučaju inter predikcije, susedni blok može da uključuje prostorni susedni blok koji postoji u trenutnoj slici i vremenski susedni blok koji postoji u referentnoj slici. Referentna slika koja uključuje referentni blok i referentna slika koja uključuje vremenski susedni blok mogu biti međusobno iste, a mogu i da se međusobno razlikuju. Vremenski susedni blok može se nazvati kolociran referentni blok, kolocirana CU (colCU), ili slično, a referentna slika koja uključuje vremenski susedni blok može se nazvati i kolocirana slika (colPic). Na primer, inter prediktor 221 može da konfiguriše listu kandidata za informacije o pokretima na osnovu susednih blokova, i generiše informacije koje pokazuju koji je kandidat korišćen da bi se izveo vektor pokreta i/ili indeks referentne slike trenutnog bloka. Inter predikcija može da se izvede na osnovu različitih režima predikcije, i na primer, u slučaju režima preskakanja i režima spajanja, inter prediktor 221 može da koristi informacije o pokretima susednog bloka kao informacije o pokretima trenutnog bloka. U slučaju režima preskakanja, rezidualni signal možda se ne prenese za razliku od režima spajanja. Režim predikcije vektora pokreta (MVP) može da naznačava vektor pokreta trenutnog bloka korišćenjem vektora pokreta susednog bloka kao prediktora vektora pokreta, i signalizacijom razlike vektora pokreta.

[0042] Prediktor 220 može da generiše prediktovani signal na osnovu različitih postupaka predikcije opisanih u nastavku. Na primer, prediktor može ne samo da primeni intra predikciju ili inter predikciju da bi predvideo jedan blok, već i istovremeno da primeni intra predikciju i inter predikciju. Ovo se može nazvati kombinovana inter i intra predikcija (CIIP). Dalje, prediktor može da se zasniva na režimu predikcije kopije intra bloka (IBC) ili režimu palete kako bi se izvela predikcija na bloku. IBC režim predikcije ili režim palete može da se koristi za kodiranje sadržaja slike/video zapisa za igre ili slično, kao što je kodiranje sadržaja ekrana (SCC). IBC u osnovi izvodi predikciju u trenutnoj slici, ali može da bude izvedena slično inter predikciji po tome što izvodi referentni blok u trenutnoj slici. To jest, IBC može da koristi najmanje jednu od tehnika inter predikcije opisanih u ovom dokumentu. Režim palete može se smatrati primerom intra kodiranja ili intra predikcije. Kada se primenjuje režim palete, vrednost uzorka u slici može da se signalizira na osnovu informacija o indeksu palete i tabele palete.

[0043] Prediktovani signal generisan prediktorom (uključujući inter prediktor 221 i/ili intra prediktor 222) može da se koristi za generisanje rekonstruisanog signala ili za generisanje rezidualnog signala.

[0044] Transformator 232 može da generiše koeficijente transformacije primenom tehnike transformacije na rezidualni signal. Na primer, tehnika transformacije može da uključuje najmanje jedno od diskretne kosinusne transformacije (DCT), diskretne sinusne transformacije (DST), Karhunen-Loève transformacije (KLT), transformacije zasnovane na grafikonu (GBT), ili uslovne nelinearne transformacije (CNT). Ovde, kada se informacije o vezi između piksela prikažu kao grafikon, GBT predstavlja transformaciju dobijenu iz grafikona. CNT predstavlja transformaciju koja se dobija na osnovu prediktovanog signala generisanog korišćenjem svih prethodno rekonstruisanih piksela. Pored toga, postupak transformacije može da se primeni i na blok piksela koji ima istu veličinu kvadrata, i može da se primeni na blok sa promenljivom veličinom umesto kvadratnih. Kvantizator 233 može kvantizovati koeficijente transformacije da bi se kvantizovani koeficijenti transformacije preneli entropijskom koderu 240, a entropijski koder 240 može da kodira kvantizovan signal (informacije o kvantizovanim koeficijentima transformacije) u kodirani kvantizovani signal toku bitova. Informacije o kvantizovanim koeficijentima transformacije mogu se nazvati rezidualne informacije.

[0045] Kvantizator 233 može da preuredi kvantizovane koeficijente transformacije koji imaju oblik bloka u jednodimenzionalni vektorski oblik na osnovu redosleda skeniranja koeficijenata, i takođe da generiše informacije o kvantizovanim koeficijentima transformacije na osnovu kvantizovanih koeficijenata transformacije jednodimenzionalnog vektorskog oblika.

[0046] Entropijski koder 240 može da izvodi različite postupke kodiranja, na primer, kao što su eksponencijalno Golomb kodiranje, kontekstno-adaptivno kodiranje promenljive dužine (CAVLC) i kontekstno-adaptivno binarno aritmetičko kodiranje (CABAC). Entropijski koder 240 može da kodira i informacije (npr., vrednosti sintaksičkih elemenata i slično) potrebne za rekonstrukciju video zapisa/slike zajedno sa ili odvojeno od kvantizovanih koeficijenata transformacije. Kodirane informacije (npr., kodirane informacije o video zapisu/slici) mogu se preneti ili čuvati u jedinicama jedinice sloja apstrakcije mreže (NAL) u obliku toka bitova. Informacije o video zapisu/slici mogu dalje da uključuju informacije o različitim skupovima parametara kao što su skup parametara za adaptaciju (APS), skup parametara slike (PPS), skup parametara za sekvencu (SPS), skup parametara video zapisa (VPS). Pored toga, informacije o video zapisu/slici mogu dalje da uključuju opšte informacije o ograničenjima.

Signalizirane/prenete informacije i/ili sintaksički elementi, koji su opisani u nastavku u ovom dokumentu, mogu da se kodiraju pomoću gorepomenute procedure kodiranja i tako da budu uključeni u toku bitova. Tok bitova može se preneti preko mreže, ili se može sačuvati u digitalnom medijumu za skladištenje. Ovde, mreža može da uključuje radiodifuznu mrežu i/ili komunikacionu mrežu, ili slično, a digitalni medijum za skladištenje može da uključuje različite medijume za skladištenje kao što su USB, SD, CD, DVD, Blue-ray, HDD i SSD. Predajnik (nije prikazan) za prenos izlaza signala iz entropijskog kodera 240 i/ili memorije (nije prikazana) koja čuva signal, može biti konfigurisan kao interni/eksterni element uređaja 200 za kodiranje, ili predajnik može da bude uključen i u entropijskom koderu 240.

[0047] Kvantizovani koeficijenti transformacije koji izlaze iz kvantizatora 233 mogu da se koriste za generisanje prediktovanog signala. Na primer, dekvantizator 234 i inverzni transformator 235 primenjuju dekvantizaciju i inverznu transformaciju na kvantizovane koeficijente transformacije, tako da se rezidualni signal (rezidualni blok ili rezidualni uzorci) može rekonstruisati. Sabirač 250 dodaje rekonstruisani rezidualni signal prediktovanom signalu koji izlazi iz inter prediktora 221 ili intra prediktora 222, tako da se rekonstruisani signal (rekonstruisana slika, rekonstruisani blok, niz rekonstruisanih uzoraka) može generisati. Kao u slučaju gde se primenjuje režim preskakanja, ako nema ostatka za blok koji se obrađuje, prediktovani blok može da se koristi kao rekonstruisani blok. Sabirač 250 se može nazvati rekonstruktor ili generator rekonstruisanog bloka. Generisani rekonstruisani signal može da se koristi za intra predikciju sledećeg bloka koji se obrađuje unutar trenutne slike, i kao što je opisano u nastavku, može da se koristi i za inter predikciju sledeće slike filtriranjem.

[0048] U međuvremenu, luma mapiranje sa hroma skaliranjem (LMCS) može takođe da se primeni u postupku kodiranja i/ili rekonstrukcije slike.

[0049] Filter 260 može da primeni filtriranje na rekonstruisani signal, čime se poboljšavaju subjektivni/objektivni kvaliteti slike. Na primer, filter 260 može da primeni razne postupke filtriranja na rekonstruisanu sliku da bi se generisala modifikovana rekonstruisana slika, i čuva modifikovanu rekonstruisanu sliku u memoriji 270, određenije, DPB memorije 270. Različiti postupci filtriranja mogu da uključuju, na primer, filtriranje za deblokiranje, adaptivno pomeranje uzorka, filter adaptivne petlje, bilateralni filter, i slično. Filter 260 može da generiše razne informacije koje se odnose na filtriranje i prenese generisane informacije entropijskom koderu 240, kao što je opisano u nastavku u opisu svakog postupka filtriranja. Informacije koje se odnose na filtriranje mogu da se kodiraju u entropijskom koderu 240 i pošalju u obliku toka bitova.

[0050] Modifikovana rekonstruisana slika koja se prenosi memoriji 270 može da se koristi kao referentna slika u inter prediktoru 221. Ako se inter predikcija primenjuje inter prediktorom, uređaj za kodiranje može izbeći nepodudarnost predikcije između uređaja 200 za kodiranje i uređaja za dekodiranje i može da se poboljša efikasnost kodiranja.

[0051] DPB memorije 270 može da čuva modifikovanu rekonstruisanu sliku kako bi se koristila kao referentna slika u inter prediktoru 221. Memorija 270 može da čuva informacije o pokretima bloka u kojem se informacije o pokretima unutar trenutne slike izvode (ili kodiraju) i/ili informacije o pokretima blokova u prethodno rekonstruisanoj slici. Sačuvane informacije o pokretima mogu se preneti inter prediktoru 221 da bi se koristile kao informacije o pokretima prostornog susednog bloka ili informacije o pokretima vremenskog susednog bloka. Memorija 270 može da čuva rekonstruisane uzorke rekonstruisanih blokova u trenutnoj slici, i može da prenese rekonstruisane uzorke intra prediktoru 222.

[0052] FIG.3 je dijagram koji šematski objašnjava konfiguraciju uređaja za dekodiranje video zapisa/slike na kojem se ovo otkrivanje može primeniti.

[0053] Upućivanjem na FIG.3, uređaj 300 za dekodiranje može da uključuje i da se konfiguriše sa entropijskim dekoderom 310, rezidualnim procesorom 320, prediktorom 330, sabiračem 340, filterom 350 i memorijom 360. Prediktor 330 može da uključuje inter prediktor 331 i intra prediktor 332.

Rezidualni procesor 320 može da uključuje dekvantizator 321 i inverzni transformator 322. Entropijski dekoder 310, rezidualni procesor 320, prediktor 330, sabirač 340 i filter 350, koji su prethodno opisani, mogu se konfigurisati sa jednom ili više komponenti hardvera (npr., čipsetovi ili procesori dekodera) prema nekom načinu ostvarivanja. Osim toga, memorija 360 može da uključuje bafer za dekodiranu sliku (DPB), i može da bude konfigurisana digitalnim medijumom za skladištenje. Komponenta hardvera može dalje da uključuje memoriju 360 kao internu/eksternu komponentu.

[0054] Kada tok bitova koji uključuje informacije o video zapisu/slici predstavlja ulaz, uređaj 300 za dekodiranje može da rekonstruiše sliku kao odgovor na postupak u kojem se obrađuju informacije o video zapisu/slici u uređaju za kodiranje prikazanom na FIG.2. Na primer, uređaj 300 za dekodiranje može da izvede jedinice/blokove na osnovu informacija koje se odnose na podelu blokova dobijenih iz toka bitova. Uređaj 300 za dekodiranje može da izvede dekodiranje pomoću jedinice za obradu primenjene u uređaju za kodiranje. Prema tome, jedinica za obradu za dekodiranje može biti, na primer, jedinica za kodiranje, a jedinica za kodiranje može da bude podeljena prema strukturi kvadratnog stabla, strukturi binarnog stabla, i/ili strukturi ternarnog stabla iz jedinice stabla za kodiranje ili najveće jedinice za kodiranje. Jedna ili više transformacionih jedinica može se izvesti iz jedinice za kodiranje. Takođe, rekonstruisani signal slike koji je dekodiran i poslat uređajem 300 za dekodiranje može da se reprodukuje pomoću uređaja za reprodukciju.

[0055] Uređaj 300 za dekodiranje prima signal koji izlazi iz uređaja za kodiranje prikazanog na FIG.2 u obliku toka bitova, i taj primljen signal može da se dekodira pomoću entropijskog dekodera 310. Na primer, entropijski dekoder 310 može da izvede informacije (npr., informacije o video zapisu/slici) potrebne za rekonstrukciju slike (ili rekonstrukciju slike) raščlanjivanjem toka bitova. Informacije o video zapisu/slici mogu dalje da uključuju informacije o različitim skupovima parametara kao što su skup parametara za adaptaciju (APS), skup parametara slike (PPS), skup parametara za sekvencu (SPS) i skup parametara video zapisa (VPS). Pored toga, informacije o video zapisu/slici mogu dalje da uključuju opšte informacije o ograničenjima. Uređaj za dekodiranje može dalje da dekodira sliku na osnovu informacija o skupu parametara i/ili opštih informacija o ograničenjima. Signalizirane/primljene informacije i/ili sintaksički elementi opisani u nastavku u ovom dokumentu mogu se dekodirati procedurom dekodiranja i dobiti iz toka bitova. Na primer, entropijski dekoder 310 može da dekodira informacije u toku bitova na osnovu postupka za kodiranje kao što je eksponencijalno Golomb kodiranje, CAVLC ili CABAC, i šalje vrednost sintaksičkog elementa potrebnu za rekonstrukciju slike i kvantizovane vrednosti koeficijenta transformacije u vezi ostatka. Određenije, CABAC postupak entropijskog dekodiranja može da prima bin koji odgovara svakom sintaksičkom elementu iz toka bitova, da odredi kontekstni model korišćenjem informacija o sintaksičkom elementu koje se dekodiraju i dekodiranjem informacija susednog bloka i bloka koji se dekodira ili informacija o simbolu/binu dekodiranom u prethodnoj fazi, i da generiše simbol koji odgovara vrednosti svakog sintaksičkog elementa predikcijom verovatnoće generisanja bina u skladu sa određenim kontekstnim modelom da bi se izvelo aritmetičko dekodiranje bina. U to vreme CABAC postupak entropijskog dekodiranja može da odredi kontekstni model i potom ažurira kontekstni model pomoću informacija o dekodiranom simbolu/binu za kontekstni model sledećeg simbola/bina. Informacije o predikciji među informacijama dekodiranim entropijskim dekoderom 310 mogu se obezbediti prediktoru (inter prediktor 332 i intra prediktor 331), a vrednost ostatka pri kojoj se izvodi entropijsko dekodiranje entropijskim dekoderom 310, to jest, kvantizovani koeficijenti transformacije i povezane informacije o parametru mogu se uneti u rezidualni procesor 320.

[0056] Rezidualni procesor 320 može da izvede rezidualni signal (rezidualni blok, rezidualni uzorci i niz rezidualnih uzoraka). Pored toga, informacije o filtriranju među informacijama dekodiranim entropijskim dekoderom 310 mogu se obezbediti filteru 350. U međuvremenu, prijemnik (nije prikazan) za prijem signala koji izlazi iz uređaja za kodiranje može se dalje konfigurisati kao interni/eksterni element uređaja 300 za dekodiranje, ili prijemnik može da bude i komponenta entropijskog dekodera 310. U međuvremenu, uređaj za dekodiranje prema ovom dokumentu može se nazvati uređaj za dekodiranje video zapisa/slike/slike, a uređaj za dekodiranje takođe može da se klasifikuje u dekoder informacija (dekoder informacija video zapisa/slike/slike) i dekoder uzoraka (dekoder uzoraka video zapisa/slike/slike). Dekoder informacija može da uključuje entropijski dekoder 310, dok dekoder uzoraka može da uključuje najmanje jedno od dekvantizatora 321, inverznog transformatora 322, sabirača 340, filtera 350, memorije 360, inter prediktora 332 i intra prediktora 331.

[0057] Dekvantizator 321 može da dekvantizuje kvantizovane koeficijente transformacije da bi otpremio koeficijente transformacije. Dekvantizator 321 može da preuredi kvantizovane koeficijente transformacije u dvodimenzionalnom obliku bloka. U ovom slučaju, preuređenje se može izvesti na osnovu redosleda skeniranja koeficijenata kojeg izvodi uređaj za kodiranje. Dekvantizator 321 može da izvede dekvantizaciju za kvantizovane koeficijente transformacije korišćenjem parametra kvantizacije (npr., informacije o veličini faze kvantizacije), i izvede koeficijente transformacije.

[0058] Inverzni transformator 322 obrnuto transformiše koeficijente transformacije da bi se dobio rezidualni signal (rezidualni blok, niz rezidualnih uzoraka).

[0059] Prediktor 330 može da izvede predikciju trenutnog bloka, i generiše prediktovani blok koji uključuje uzorke predikcije za trenutni blok. Prediktor može da odredi da li se primenjuje intra predikcija ili se primenjuje inter predikcija na trenutnom bloku na osnovu informacija o predikciji koje izlaze iz entropijskog dekodera 310, i može da odredi određeni režim intra/inter predikcije.

[0060] Prediktor može da generiše prediktovani signal na osnovu različitih postupaka predikcije koji su opisani u nastavku. Na primer, prediktor može ne samo da primeni intra predikciju ili inter predikciju za predikciju jednog bloka, već može da primeni i intra predikciju i inter predikciju istovremeno. Ovo se može nazvati kombinovana inter i intra predikcija (CIIP). Dalje, prediktor može da se zasniva na režimu predikcije kopije intra bloka (IBC), ili režimu palete kako bi se izvela predikcija na bloku. IBC režim predikcije ili režim palete može da se koristi za kodiranje sadržaja slike/video zapisa za igre ili slično, kao što je kodiranje sadržaja ekrana (SCC). IBC u osnovi izvodi predikciju u trenutnoj slici, ali se može izvesti slično inter predikciji tako što izvodi referentni blok u trenutnoj slici. To jest, IBC može da koristi najmanje jednu od tehnika inter predikcije opisanih u ovom dokumentu. Režim palete može se smatrati primerom intra kodiranja ili intra predikcije. Kada se primenjuje režim palete, informacije o tabeli palete i indeks palete mogu da bude uključeni u informacije o video zapisu/slici i signalizirani.

[0061] Intra prediktor 331 može da predvidi trenutni blok upućivanjem na uzorke unutar trenutne slike. Referentni uzorci mogu da budu locirani susedno trenutnom bloku prema režimu predikcije, ili mogu da budu locirani odvojeno od trenutnog bloka. Režimi predikcije u intra predikciji mogu da uključuju veći broj neusmerenih režima i više usmerenih režima. Intra prediktor 331 može da odredi i režim predikcije primenjen na trenutnom bloku korišćenjem režima predikcije primenjenog na susednom bloku.

[0062] Inter prediktor 332 može da indukuje prediktovani blok trenutnog bloka na osnovu referentnog bloka (niz referentnih uzoraka) naznačenog vektorom pokreta na referentnoj slici. Istovremeno, kako bi se smanjila količina informacija o pokretima preneta u režimu inter predikcije, informacije o pokretima mogu se predvideti u jedinicama bloka, podbloka ili uzorka na osnovu korelacije informacija o pokretima između susednog bloka i trenutnog bloka. Informacije o pokretima mogu da uključuju vektor pokreta i indeks referentne slike. Informacije o pokretima mogu dalje da uključuju informacije o smeru inter predikcije (L0 predikcija, L1 predikcija, Bi predikcija, ili slično). U slučaju inter predikcije, susedni blok može da uključuje prostorni susedni blok koji postoji u trenutnoj slici i vremenski susedni blok koji postoji u referentnoj slici. Na primer, inter prediktor 332 može da konfiguriše listu kandidata za informacije o pokretima na osnovu susednih blokova, i izvede vektor pokreta i/ili indeks referentne slike trenutnog bloka na osnovu primljenih informacija o izboru kandidata. Inter predikcija može se izvesti na osnovu različitih režima predikcije, i informacije o predikciji mogu da uključuju informacije koje naznačavaju režim inter predikcije trenutnog bloka.

[0063] Sabirač 340 može da doda dobijen rezidualni signal prediktovanom signalu (prediktovani blok, niz uzoraka predikcije) koji izlazi iz prediktora (uključujući inter prediktor 332 i/ili intra prediktor 331) da bi se generisao rekonstruisan signal (rekonstruisana slika, rekonstruisani blok, niz rekonstruisanih uzoraka). Kao u slučaju gde se primenjuje režim preskakanja, ako nema ostatka za blok koji se obrađuje, prediktovani blok može da se koristi kao rekonstruisani blok.

[0064] Sabirač 340 može se nazvati rekonstruktor ili generator rekonstruisanog bloka. Generisan rekonstruisan signal može da se koristi za intra predikciju sledećeg bloka koji se obrađuje unutar trenutne slike, i kao što je opisano u nastavku, može da se otpremi i filtriranjem ili može takođe da se koristi za inter predikciju sledeće slike.

[0065] U međuvremenu, luma mapiranje sa hroma skaliranjem (LMCS) može se takođe primeniti u postupku dekodiranja slike.

[0066] Filter 350 može da primeni filtriranje na rekonstruisanom signalu, čime se poboljšavaju subjektivni/objektivni kvaliteti slike. Na primer, filter 350 može da primeni različite postupke filtriranja na rekonstruisanu sliku da bi se generisala modifikovana rekonstruisana slika, i prenese modifikovanu rekonstruisanu sliku memoriji 360, određenije, DPB memorije 360. Različiti postupci filtriranja mogu da uključuju, na primer, filtriranje za deblokiranje, adaptivno pomeranje uzorka, filter adaptivne petlje, dvosmerni filter, i slično.

[0067] (Modifikovana) rekonstruisana slika koja se čuva u DPB memorije 360 može da se koristi kao referentna slika u inter prediktoru 332. Memorija 360 može da čuva informacije o pokretima bloka u kojem se informacije o pokretima izvode (ili dekodiraju) unutar trenutne slike i/ili informacije o pokretima blokova unutar prethodno rekonstruisane slike. Sačuvane informacije o pokretima mogu se preneti inter prediktoru 260 da bi se koristile kao informacije o pokretima prostornog susednog bloka ili informacije o pokretima vremenskog susednog bloka. Memorija 360 može da čuva rekonstruisane uzorke rekonstruisanih blokova unutar trenutne slike, i prenese sačuvane rekonstruisane uzorke intra prediktoru 331.

[0068] U ovoj specifikaciji, primeri načina ostvarivanja opisani za filter 260, inter prediktor 221 i intra prediktor 222 uređaja 200 za kodiranje mogu se primeniti na isti način ili tako da odgovaraju filteru 350, inter prediktoru 332 i intra prediktoru 331 uređaja 300 za dekodiranje, tim redom.

[0069] Postupak za kodiranje video zapisa/slike prema ovom otkrivanju može se izvesti na osnovu sledeće strukture particionisanja. Posebno, procedure predikcije, obrade ostatka ((inverzna) transformacija i (de)kvantizacija), kodiranja sintaksičkog elementa i filtriranja koje su opisane u nastavku mogu se izvesti na osnovu CTU i CU (i/ili TU i PU) izvedenih na osnovu strukture particionisanja.

Procedura particionisanja blokova može se izvesti pomoću razdelnika 210 slike prethodno opisanog uređaja za kodiranje, i informacije u vezi particionisanja mogu se (kodiranje) obraditi pomoću entropijskog kodera 240, i mogu se preneti uređaju za dekodiranje u obliku toka bitova. Entropijski dekoder 310 uređaja za dekodiranje može izvesti strukturu particionisanja bloka za trenutnu sliku na osnovu informacija u vezi particionisanja dobijenih iz toka bitova, i na osnovu ovoga, može izvesti serije procedura (npr., predikcija, obrada ostatka, rekonstrukcija bloka/slike, filtriranje u petlji, i slično) za dekodiranje slike. CU veličina i TU veličina mogu biti međusobno jednake, ili veći broj TU može biti prisutan unutar CU oblasti. U međuvremenu, CU veličina može generalno da predstavlja veličinu bloka za kodiranje (CB) luma komponente (uzorka). TU veličina može generalno da predstavlja veličinu bloka za transformaciju (TB) luma komponente (uzorka). Veličina CB ili TB hroma komponente (uzorka) može se izvesti na osnovu veličine CB ili TB luma komponente (uzorka) prema odnosu komponenata prema formatu boje (hroma format, npr., 4:4:4, 4:2:2, 4:2:0 i slično) slike/slike. TU veličina može se izvesti na osnovu maxTbSize. Na primer, ako je CU veličina veća od maxTbSize, veći broj TU (TB) za maxTbSize može se izvesti iz CU, a transformacija/inverzna transformacija može se izvesti u jedinici u TU (TB). Dalje, na primer, u slučaju da se primenjuje intra predikcija, režim/tip intra predikcije može se izvesti u jedinici u CU (ili CB), i procedure izvođenja susednih referentnih uzoraka i generisanja uzoraka predikcije mogu se izvesti u jedinici u TU (ili TB). U ovom slučaju, jedna ili više TU (ili TB) može biti prisutno u jednoj CU (ili CB) oblasti, i u ovom slučaju, veći broj TU (ili TB) može da deli isti režim/tip intra predikcije.

[0070] Dalje, u kodiranju video zapisa/slike prema ovom otkrivanju, jedinica za obradu slike može da ima hijerarhijsku strukturu. Jedna slika može da se podeli na jednu ili više pločica, brikova, isečaka i/ili grupa pločica. Jedan isečak može da uključuje jedan ili više brikova. Jedan brik može da uključuje jedan ili više CTU redova u pločici. Isečak može da uključuje ceo broj brikova slike. Jedna grupa pločica može da uključuje jednu ili više pločica. Jedna pločica može da uključuje jednu ili više CTU-ova. CTU može da se podeli na jednu ili više CU. Pločica predstavlja pravougaonu oblast CTU-ova unutar određene kolone pločica i određenog reda pločica u slici. Grupa pločica može da uključuje ceo broj pločica u skladu sa rasterskim skeniranjem pločica u slici. Zaglavlje isečka može da nosi informacije/parametre koji se mogu primeniti na odgovarajući isečak (blokove u isečku). U slučaju da uređaj za kodiranje/dekodiranje ima višejezgarni procesor, postupci za kodiranje/dekodiranje za pločice, isečke, brikove i/ili grupe pločica mogu da se obrade paralelno. U ovom dokumentu, isečak ili grupa pločica može da se koristi naizmenično. To jest, zaglavlje grupe pločica može se nazvati zaglavlje isečka. Ovde, isečak može da ima jedan od tipova isečaka koji uključuju intra (I) isečak, prediktivni (P) isečak i bi-prediktivni (B) isečak. Kod predviđanja blokova u I isečku, inter predikcija može da se ne koristi, a može da se koristi samo intra predikcija. Naravno, čak i u ovom slučaju, signalizacija se može izvesti kodiranjem vrednosti originalnog uzorka bez predikcije. S obzirom na blokove u P isečku, može da se koristi intra predikcija ili inter predikcija, a u slučaju korišćenja inter predikcije, može da se koristi samo uni-predikcija. U međuvremenu, s obzirom na blokove u B isečku, može da se koristi intra predikcija ili inter predikcija, a u slučaju korišćenja inter predikcije, najviše bi-predikcije može maksimalno da se koristi.

[0071] Koder može da odredi pločicu/grupu pločica, brik, isečak i najveću i najmanju veličinu jedinice za kodiranje s obzirom na efikasnost kodiranja ili paralelnu obradu prema karakteristikama (npr., rezolucija) video slike, i informacije za njih ili informacije koje mogu dovesti do njih mogu biti uključene u tok bitova.

[0072] Dekoder može da dobije informacije koje predstavljaju pločicu/grupu pločica, brik i isečak trenutne slike, i da li je CTU u pločici podeljena na više jedinica za kodiranje. Omogućavanjem da se takve informacije dobijaju (prenose) samo pod određenim uslovima, efikasnost se može poboljšati.

[0073] Zaglavlje isečka (sintaksa zaglavlja isečka) može da uključuje informacije/parametre koji se obično mogu primeniti na isečak. APS (APS sintaksa) ili PPS (PPS sintaksa) može da uključuje informacije/parametre koji se obično mogu primeniti na jednu ili više slika. SPS (SPS sintaksa) može da uključuje informacije/parametre koji se obično mogu primeniti na jednu ili više sekvenci. VPS (VPS sintaksa) može da uključuje informacije/parametre koji se obično mogu primeniti na više slojeva. DPS (DPS sintaksa) može da uključuje informacije/parametre koji se obično mogu primeniti na ceo video zapis. DPS može da uključuje informacije/parametre koji se odnose na koncentraciju kodirane video sekvence (CVS).

[0074] U ovom dokumentu, sintaksa gornjeg nivoa može da uključuje najmanje jednu od APS sintakse, PPS sintakse, SPS sintakse, VPS sintakse, DPS sintakse i sintakse zaglavlja isečka.

[0075] Dalje, na primer, informacije o particionisanju i konfiguraciji pločice/grupe pločica/brika/isečka mogu se konfigurisati kodirajućim krajem pomoću sintakse gornjeg nivoa, i mogu se preneti uređaju za dekodiranje u obliku toka bitova.

[0076] U kodiranju slike/video zapisa, slika koju čini slika/video zapis može biti kodirana/dekodirana prema redosledu dekodiranja. Redosled slika, koji odgovara izlaznom redosledu dekodiranih slika, može se postaviti različito od redosleda dekodiranja, na osnovu kojeg se predikcija unazad kao i predikcija unapred mogu takođe izvesti u inter predikciji.

[0077] Procedura za dekodiranje slike može šematski da uključuje proceduru dobijanja informacija o slici/video zapisu iz toka bitova (dekodiranjem), proceduru rekonstrukcije slike i proceduru filtriranja u petlji za rekonstruisanu sliku. Procedura rekonstrukcije slike može se izvesti na osnovu rezidualnih uzoraka i uzoraka predikcije dobijenih pomoću inter/intra predikcije i rezidualne procedure (dekvantizacija, inverzna transformacija za kvantizovani koeficijent transformacije) koje su ovde opisane. Pomoću procedure filtriranja u petlji za rekonstruisanu sliku koja je generisana pomoću procedure rekonstrukcije slike, može da se generiše modifikovana rekonstruisana slika koja se može poslati kao dekodirana slika, i može takođe da se čuva u baferu za dekodiranje slike ili memoriji 360 uređaja za dekodiranje i koristi kao referentna slika u proceduri inter predikcije kasnijeg dekodiranja slike. U skladu sa okolnostima, može se izostaviti procedura filtriranja u petlji, i u ovom slučaju, rekonstruisana slika može se poslati kao dekodirana slika, i može da se čuva u baferu za dekodiranje slike ili memoriji 360 uređaja za dekodiranje i koristi kao referentna slika u proceduri inter predikcije kasnijeg dekodiranja slike. Procedura filtriranja u petlji može da uključuje proceduru filtriranja za deblokiranje, proceduru adaptivnog pomeranja uzorka (SAO), proceduru filtera adaptivne petlje (ALF), i/ili proceduru bilateralnog filtera kao što je prethodno opisano, od kojih se sve ili neke mogu izostaviti. Dalje, jedna ili neka od procedure filtriranja za deblokiranje, procedure adaptivnog pomeranja uzorka (SAO), procedure filtera adaptivne petlje (ALF) i procedure bilateralnog filtera može se sekvencijalno primeniti, ili se sve mogu sekvencijalno primeniti. Na primer, nakon primene procedure deblokiranja na rekonstruisanu sliku, SAO procedura se može izvesti na njoj. Alternativno, na primer, nakon što se primeni procedura filtriranja za deblokiranje na rekonstruisanu sliku, na njoj se može izvesti ALF procedura. Ovo se može izvesti na isti način u uređaju za kodiranje.

[0078] Procedura kodiranja slike može šematski da uključuje proceduru generisanja rekonstruisane slike za trenutnu sliku i proceduru (opciono) primene filtriranja u petlji na rekonstruisanoj slici, kao i proceduru kodiranja informacija za rekonstrukciju slike (npr., informacije o predikciji, rezidualne informacije, informacije o particionisanju ili slično) i njihovo slanje u obliku toka bitova. Uređaj za kodiranje može izvesti (modifikovane) rezidualne uzorke iz kvantizovanog koeficijenta transformacije pomoću dekvantizatora 234 i inverznog transformatora 235, i može da generiše rekonstruisanu sliku na osnovu (modifikovanih) rezidualnih uzoraka i uzoraka predikcije. Rekonstruisana slika generisana na ovaj način može biti ista kao prethodno opisana rekonstruisana slika generisana u uređaju za dekodiranje. Pomoću procedure filtriranja u petlji za rekonstruisanu sliku, može se generisati modifikovana rekonstruisana slika koja se može čuvati u baferu za dekodiranje slike ili memoriji 270, i koristiti kao referentna slika u proceduri inter predikcije kasnijeg kodiranja slike, slično slučaju uređaja za dekodiranje. Kao što je prethodno opisano, cela ili deo procedure filtriranja u petlji može se izostaviti zavisno od okolnosti. U slučaju gde se izvodi procedura filtriranja u petlji, informacije (parametar) u vezi filtriranja (u petlji) mogu da se kodiraju u entropijskom koderu 240 i poslati u obliku toka bitova, a uređaj za dekodiranje može izvesti proceduru filtriranja u petlji na isti način kao kod uređaja za kodiranje na osnovu informacija u vezi filtriranja.

[0079] Kroz ovu proceduru filtriranja u petlji, moguće je smanjiti šumove, kao što su artefakti deblokiranja i artefakti zvonjenja, koji se generišu tokom kodiranja slike/video zapisa, i povećati subjektivni/objektivni vizuelni kvalitet. Dalje, kako se procedura filtriranja u petlji izvodi i u uređaju za kodiranje i u uređaju za dekodiranje, uređaj za kodiranje i uređaj za dekodiranje mogu dobiti isti rezultat predikcije, povećati pouzdanost kodiranja slike i smanjiti količinu podataka koja se prenosi za kodiranje slike.

[0080] Kao što je prethodno opisano, procedura rekonstrukcije slike može se izvesti u uređaju za kodiranje kao i u uređaju za dekodiranje. Na osnovu intra predikcije/inter predikcije na svaku jedinicu bloka, može da se generiše rekonstruisani blok, i može da se generiše rekonstruisana slika koja uključuje rekonstruisane blokove. U slučaju gde trenutna grupa slika/isečaka/pločica predstavlja I grupu slika/isečaka/pločica, blokovi uključeni u trenutnoj grupi slika/isečaka/pločica mogu da se rekonstruišu samo na osnovu intra predikcije. U međuvremenu, u slučaju gde trenutna grupa slika/isečaka/pločica predstavlja P ili B grupu slika/isečaka/pločica, blokovi uključeni u trenutnoj grupi slika/isečaka/pločica mogu da se rekonstruišu na osnovu intra predikcije ili inter predikcije. U ovom slučaju, inter predikcija može se primeniti na neke od blokova u trenutnoj grupi slika/isečaka/pločica, i intra predikcija može se primeniti na neke od ostatka blokova. Komponenta boje slike može da uključuje luma komponentu i hroma komponentu, a postupci i načini ostvarivanja predloženi u ovom dokumentu mogu se primeniti na luma komponentu i hroma komponentu osim ako nije eksplicitno ograničeno ovim dokumentom.

[0081] U međuvremenu, kako je prethodno opisano, u izvođenju video kodiranja, predikcija se izvodi radi poboljšanja efikasnosti kompresije. Na ovaj način, može da se generiše prediktovani blok koji uključuje uzorke predikcije za trenutni blok kao blok koji se kodira (tj., ciljni blok kodiranja). Ovde, prediktovani blok uključuje uzorke predikcije u prostornom domenu (ili domenu piksela). Prediktovani blok izvodi se na identičan način u uređaju za kodiranje i uređaju za dekodiranje, a uređaj za kodiranje može da signalizira informacije (rezidualne informacije) o ostatku između originalnog bloka i prediktovanog bloka, pre nego vrednost originalnog uzorka originalnog bloka, uređaju za dekodiranje, čime se povećava efikasnost kodiranja slike. Uređaj za dekodiranje može da izvede rezidualni blok uključujući rezidualne uzorke na osnovu rezidualnih informacija, doda rezidualni blok i prediktovani blok da bi se generisali rekonstruisani blokovi koji uključuju rekonstruisane uzorke, i generiše rekonstruisanu sliku koja uključuje rekonstruisane blokove.

[0082] Rezidualne informacije mogu da se generišu postupcima transformacije i kvantizacije. Na primer, uređaj za kodiranje može da izvede rezidualni blok između originalnog bloka i prediktovanog bloka, izvede postupak transformacije na rezidualnim uzorcima (niz rezidualnih uzoraka) uključenim u rezidualnom bloku kako bi se izveli koeficijenti transformacije, izvede postupak kvantizacije na koeficijentima transformacije kako bi se izveli kvantizovani koeficijenti transformacije, i signalizira povezane rezidualne informacije uređaju za dekodiranje (kroz tok bitova). Ovde, rezidualne informacije mogu da uključuju informacije o vrednostima kvantizovanih koeficijenata transformacije, informacije o položaju, neku tehniku transformacije, jezgro transformacije, parametar kvantizacije, i slično. Uređaj za dekodiranje može da izvede postupak dekvantizacije/inverzne transformacije na osnovu rezidualnih informacija i izvede rezidualne uzorke (ili rezidualne blokove). Uređaj za dekodiranje može da generiše rekonstruisanu sliku na osnovu prediktovanog bloka i rezidualnog bloka. Takođe, za referencu za inter predikciju naknadne slike, uređaj za kodiranje može takođe da dekvantizuje/inverzno transformiše kvantizovane koeficijente transformacije kako bi se izveo rezidualni blok i generisala rekonstruisana slika na osnovu toga.

[0083] U slučaju da je inter predikcija primenjena na trenutnom bloku, prediktor uređaja za kodiranje/uređaja za dekodiranje može izvesti uzorke predikcije izvođenjem inter predikcije u jedinici bloka. Inter predikcija može biti predikcija izvedena na način koji zavisi od elemenata podataka (npr., vrednosti uzorka ili informacije o pokretima) slike(a) pre nego od trenutne slike. U slučaju da je inter predikcija primenjena na trenutnom bloku, prediktovani blok (niz uzoraka predikcije) za trenutni blok može se izvesti na osnovu referentnog bloka (niz referentnih uzoraka) naznačenog vektorom pokreta na referentnoj slici na koju upućuje indeks referentne slike. U ovom slučaju, kako bi se smanjila količina informacija o pokretima prenetih u režimu inter predikcije, informacije o pokretima trenutnog bloka mogu se predvideti u jedinici bloka, podbloka ili uzorka na osnovu korelacije informacija o pokretima između susednog bloka i trenutnog bloka. Informacije o pokretima mogu da uključuju vektor pokreta i indeks referentne slike. Informacije o pokretima mogu dalje da uključuju informacije o tipu inter predikcije (L0 predikcija, L1 predikcija, Bi predikcija, i slično). U slučaju primene inter predikcije, susedni blok može da uključuje prostorni susedni blok prisutan u trenutnoj slici i vremenski susedni blok koji postoji u referentnoj slici. Referentna slika koja uključuje referentni blok i referentna slika koja uključuje vremenski susedni blok mogu biti iste ili različite. Vremenski susedni blok može se nazvati kolociran referentni blok ili kolocirana CU (colCU), a referentna slika koja uključuje vremenski susedni blok može se nazvati kolocirana slika (colPic). Na primer, lista kandidata informacija o pokretima može da se konfiguriše na osnovu susednih blokova trenutnog bloka, i mogu da se signaliziraju informacije o zastavici ili indeksu koje naznačavaju koji se kandidat bira (koristi) kako bi se izveo vektor pokreta trenutnog bloka i/ili indeks referentne slike. Inter predikcija se može izvesti na osnovu različitih režima predikcije, a na primer, u slučaju režima preskakanja i (normalnog) režima spajanja, informacije o pokretima trenutnog bloka mogu biti iste kao informacije o pokretima izabranog susednog bloka. U slučaju režima preskakanja, za razliku od režima spajanja, može da se ne prenosi rezidualni signal. U slučaju režima predikcije vektora pokreta (MVP), vektor pokreta izabranog susednog bloka može da se koristi kao prediktor vektora pokreta i može da se signalizira razlika vektora pokreta. U ovom slučaju, vektor pokreta trenutnog bloka može se izvesti korišćenjem sume prediktora vektora pokreta i razlike vektora pokreta.

[0084] Procedura za kodiranje video zapisa/slike na osnovu inter predikcije može šematski da uključuje, na primer, sledeće.

[0085] FIG.4 je dijagram koji šematski prikazuje inter prediktor u uređaju za kodiranje.

[0086] Upućivanjem na FIG.4, uređaj za kodiranje izvodi inter predikciju na trenutnom bloku. Uređaj za kodiranje može izvesti režim inter predikcije i informacije o pokretima trenutnog bloka, i generiše uzorke predikcije trenutnog bloka. Ovde, određivanje režima inter predikcije, izvođenje informacija o pokretima i procedura generisanja uzoraka predikcije mogu se izvesti istovremeno, ili se izvode jedna za drugom. Na primer, inter prediktor 221 uređaja za kodiranje može da uključuje određivač režima predikcije 221_1, izvođač informacija o pokretima 221_2, i izvođač uzoraka predikcije 221_3. Određivač režima predikcije 221_1 može da odredi režim predikcije za trenutni blok; izvođač informacija o pokretima 221_2 može da izvede informacije o pokretima trenutnog bloka; i izvođač uzoraka predikcije 221_3 može da izvede uzorke predikcije trenutnog bloka. Na primer, inter prediktor 221 uređaja za kodiranje može da izvede pretragu bloka sličnog trenutnom bloku u određenoj oblasti (oblast pretrage) referentnih slika procenom pokreta, i može izvesti referentni blok koji se razlikuje od trenutnog bloka minimalno ili je jednak ili manji od određenog nivoa. Na osnovu ovoga, može se izvesti indeks referentne slike koji određuje referentnu sliku u kojoj je smešten referentni blok, i može se izvesti vektor pokreta na osnovu razlike u položaju između referentnog bloka i trenutnog bloka. Uređaj za kodiranje može da odredi režim primenjen na trenutnom bloku među raznim režimima predikcije. Uređaj za kodiranje može da poredi troškove distorzije brzine (RD) za različite režime predikcije i odredi optimalni režim predikcije za trenutni blok.

[0087] Na primer, u slučaju da se režim preskakanja ili režim spajanja primenjuje na trenutnom bloku, uređaj za kodiranje može da konfiguriše listu kandidata spajanja koja je opisana u nastavku i izvede referentni blok kod kojeg je razlika od trenutnog bloka minimalna ili prethodno određena referenca ili manja, među referentnim blokovima naznačenim spajanjem kandidata uključenih u listu kandidata spajanja. U ovom slučaju, može se odabrati kandidat za spajanje povezan sa izvedenim referentnim blokom, a informacije o indeksu spajanja koje naznačavaju izabranog kandidata za spajanje mogu se generisati i signalizirati uređaju za dekodiranje. Informacije o pokretima za trenutni blok mogu se izvesti korišćenjem informacija o pokretima izabranog kandidata za spajanje.

[0088] Kao neki drugi primer, u slučaju da se (A)MVP režim primenjuje na trenutnom bloku, uređaj za kodiranje može da konfiguriše listu (A)MVP kandidata koja je opisana u nastavku, i može da koristi vektor pokreta kandidata prediktora vektora pokreta (mvp) izabranog među mvp kandidatima uključenim u (A)MVP listu kandidata kao mvp trenutnog bloka. U ovom slučaju, na primer, vektor pokreta koji određuje referentni blok izveden prethodno opisanom procenom pokreta može da se koristi kao vektor pokreta trenutnog bloka, i mvp kandidat koji ima vektor pokreta koji ima najmanju razliku od vektora pokreta trenutnog bloka, među mvp kandidatima, može postati izabrani mvp kandidat. Može se izvesti razlika vektora pokreta (MVD), koja je razlika dobijena oduzimanjem mvp od vektora pokreta trenutnog bloka. U ovom slučaju, informacije o MVD mogu se signalizirati uređaju za dekodiranje. Dalje, u slučaju da se primenjuje (A)MVP režim, vrednost indeksa referentne slike može da se konfiguriše kao informacije o indeksu referentne slike i može da se posebno signalizira uređaju za dekodiranje.

[0089] Uređaj za kodiranje može izvesti rezidualne uzorke na osnovu uzoraka predikcije. Uređaj za kodiranje može izvesti rezidualne uzorke poređenjem originalnih uzoraka trenutnog bloka sa uzorcima predikcije.

[0090] Uređaj za kodiranje kodira informacije o slici koje uključuju informacije o predikciji i rezidualne informacije. Uređaj za kodiranje može da otpremi kodirane informacije o slici u obliku toka bitova. Informacije o predikciji mogu biti informacije koje se odnose na proceduru predikcije i mogu da uključuju informacije o informacijama o režimu predikcije (npr., zastavica preskakanja, zastavica spajanja ili indeks režima) i informacije o pokretima. Informacije o informacijama o pokretima mogu da uključuju informacije o izboru kandidata (npr., indeks spajanja, mvp zastavica ili mvp indeks) koje su informacije za izvođenje vektora pokreta. Dalje, informacije o informacijama o pokretima mogu da uključuju informacije o gorepomenutim informacijama o MVD i/ili indeksu referentne slike. Dalje, informacije o informacijama o pokretima mogu da uključuju informacije koje naznačavaju da li je primenjena L0 predikcija, L1 predikcija ili bi-predikcija. Rezidualne informacije su informacije koje se odnose na rezidualne uzorke. Rezidualne informacije mogu da uključuju informacije o kvantizovanim koeficijentima transformacije za rezidualne uzorke.

[0091] Izlazni tok bitova može da se čuva u (digitalnom) medijumu za skladištenje i prenese uređaju za dekodiranje ili se može preneti uređaju za dekodiranje preko mreže.

[0092] U međuvremenu, kao što je prethodno opisano, uređaj za kodiranje može da generiše rekonstruisanu sliku (uključujući rekonstruisane uzorke i rekonstruisane blokove) na osnovu referentnih uzoraka i rezidualnih uzoraka. Ovo je za uređaj za kodiranje kako bi se izveo isti rezultat predikcije kao onaj izveden pomoću uređaja za dekodiranje, i na ovaj način, može da se poboljša efikasnost kodiranja. Prema tome, uređaj za kodiranje može da čuva rekonstruisanu sliku (ili rekonstruisani uzorci ili rekonstruisani blokovi) u memoriji, i može da koristi sačuvanu rekonstruisanu sliku kao referentnu sliku za inter predikciju. Kao što je prethodno opisano, procedura filtriranja u petlji može se dalje primeniti na rekonstruisanu sliku.

[0093] Procedura za dekodiranje video zapisa/slike na osnovu inter predikcije može šematski da uključuje, na primer, sledeće.

[0094] FIG.5 je dijagram koji šematski prikazuje inter prediktor u uređaju za dekodiranje.

[0095] Upućivanjem na FIG.5, uređaj za dekodiranje može da izvede operaciju koja odgovara operaciji koju izvodi uređaj za kodiranje. Uređaj za dekodiranje može da izvede predikciju za trenutni blok na osnovu primljenih informacija o predikciji, i može da izvede uzorke predikcije.

[0096] Određenije, uređaj za dekodiranje može da odredi režim predikcije za trenutni blok na osnovu primljenih informacija o predikciji. Uređaj za dekodiranje može da odredi koji se režim inter predikcije primenjuje na trenutnom bloku na osnovu informacija o režimu predikcije u informacijama o predikciji.

[0097] Na primer, uređaj za dekodiranje može da odredi da li se primenjuje režim spajanja ili (A)MVP režim se određuje u odnosu na trenutni blok na osnovu zastavice spajanja. Dalje, uređaj za dekodiranje može da izabere jedan od raznih kandidata režima inter predikcije na osnovu indeksa režima. Kandidati režima inter predikcije mogu da uključuju režim preskakanja, režim spajanja i/ili (A)MVP režim, ili mogu da uključuju različite režime inter predikcije opisane u nastavku.

[0098] Uređaj za dekodiranje izvodi informacije o pokretima trenutnog bloka na osnovu određenog režima inter predikcije. Na primer, u slučaju da se režim preskakanja ili režim spajanja primenjuje na trenutnom bloku, uređaj za dekodiranje može da konfiguriše listu kandidata spajanja opisanu u nastavku, i može da odabere jednog od kandidata spajanja uključenih u listu kandidata spajanja. Takav izbor može se izvesti na osnovu prethodno opisanih informacija o izboru (indeks spajanja). Informacije o pokretima trenutnog bloka mogu se izvesti korišćenjem informacija o pokretima izabranog kandidata spajanja. Informacije o pokretima izabranog kandidata spajanja mogu da se koriste kao informacije o pokretima trenutnog bloka.

[0099] Kao neki drugi primer, u slučaju gde se (A)MVP režim primenjuje na trenutnom bloku, uređaj za dekodiranje može da konfiguriše listu (A)MVP kandidata opisanu u nastavku, i može da koristi vektor pokreta kandidata prediktora vektora pokreta (mvp) izabranog među mvp kandidatima uključenim u listu (A)MVP kandidata kao mvp trenutnog bloka. Takav izbor može se izvesti na osnovu prethodno opisanih informacija o izboru (mvp zastavica ili mvp indeks). U ovom slučaju, MVD trenutnog bloka može se izvesti na osnovu informacija o MVD, a vektor pokreta trenutnog bloka može se izvesti na osnovu mvp trenutnog bloka i MVD. Dalje, indeks referentne slike trenutnog bloka može se izvesti na osnovu informacija o indeksu referentne slike. Slika naznačena indeksom referentne slike u listi referentnih slika za trenutni blok može se izvesti kao referentna slika koja se odnosi na inter predikciju trenutnog bloka.

[0100] U međuvremenu, kao što je opisano u nastavku, informacije o pokretima trenutnog bloka mogu se izvesti bez konfigurisanja liste kandidata, i u ovom slučaju, informacije o pokretima trenutnog bloka mogu se izvesti prema proceduri opisanoj u režimu predikcije koji je opisan u nastavku. U ovom slučaju, može se izostaviti prethodno opisana konfiguracija liste kandidata.

[0101] Uređaj za dekodiranje može da generiše uzorke predikcije za trenutni blok na osnovu informacija o pokretima trenutnog bloka. U ovom slučaju, referentna slika može se izvesti na osnovu indeksa referentne slike trenutnog bloka, a uzorci predikcije za trenutni blok mogu se izvesti korišćenjem uzoraka referentnog bloka naznačenog vektorom pokreta trenutnog bloka na referentnoj slici. U ovom slučaju, kao što je opisano u nastavku, procedura filtriranja uzoraka predikcije za sve ili delove uzoraka predikcije trenutnog bloka može se dalje izvesti u nekim slučajevima.

[0102] Na primer, inter prediktor (332) uređaja za dekodiranje može da uključuje jedinicu za određivanje režima predikcije (332_1), jedinicu za izvođenje informacija o pokretima (332_2) i jedinicu za izvođenje uzoraka predikcije (332_3). Jedinica za određivanje režima predikcije (332_1) može da odredi režim predikcije za trenutni blok na osnovu primljenih informacija o režimu predikcije, jedinica za izvođenje informacija o pokretima (332_2) može izvesti informacije o pokretima (vektor pokreta i/ili indeks referentne slike) trenutnog bloka na osnovu informacija o primljenim informacijama o pokretima, i jedinica za izvođenje uzoraka predikcije (332_3) može izvesti uzorke predikcije trenutnog bloka.

[0103] Uređaj za dekodiranje generiše rezidualne uzorke za trenutni blok na osnovu primljenih rezidualnih informacija. Uređaj za dekodiranje može da generiše rekonstruisane uzorke za trenutni blok na osnovu uzoraka predikcije i rezidualnih uzoraka, i na osnovu ovoga, može da generiše rekonstruisanu sliku. Nakon toga, kao što je prethodno opisano, procedura filtriranja u petlji može se dalje primeniti na rekonstruisanu sliku.

[0104] Kao što je prethodno opisano, procedura inter predikcije može da uključuje faze određivanja režima inter predikcije, izvođenja informacija o pokretima prema određenom režimu predikcije i izvođenja predikcije (generisanje uzoraka predikcije) na osnovu izvedenih informacija o pokretima. Kao što je prethodno opisano, procedura inter predikcije može se izvesti pomoću uređaja za kodiranje i uređaja za dekodiranje. U ovom dokumentu, uređaj za kodiranje može da uključuje uređaj za kodiranje i/ili uređaj za dekodiranje.

[0105] Za predikciju trenutnog bloka u slici, mogu da se koriste različiti režimi inter predikcije. Na primer, mogu da se koriste različiti režimi, kao što su režim spajanja, režim preskakanja, režim predikcije vektora pokreta (MVP), afini režim, režim spajanja podblokova, spajanje sa MVD (MMVD) režimom, i režim istorijske predikcije vektora pokreta (HMVP). Režim preciziranja vektora pokreta na strani dekodera (DMVR), režim adaptivne rezolucije vektora pokreta (AMVR), bi-predikcija sa težinom CU-nivoa (BCW), i dvosmerni optički tok (BDOF) mogu se koristiti dalje ili umesto njih kao sporedni načini. Afini režim može se nazvati režim predikcije afinih pokreta. MVP režim može se nazvati režim napredne predikcije vektora pokreta (AMVP). U ovom dokumentu, određeni režim i/ili kandidat informacija o pokretima izveden pomoću određenog režima može biti uključeni kao jedan od kandidata u vezi informacija o pokretima drugog režima. Na primer, HMVP kandidat može se dodati kao kandidat za spajanje u režimu spajanja/preskakanja ili se može dodati kao mvp kandidat u MVP režimu.

[0106] Informacije o režimu predikcije koje naznačavaju režim inter predikcije za trenutni blok mogu da se signaliziraju iz uređaja za kodiranje uređaju za dekodiranje. Informacije o režimu predikcije mogu biti uključene u tok bitova i može ih primiti uređaj za dekodiranje. Informacije o režimu predikcije mogu da uključuju informacije o indeksu koje naznačavaju jedan od više režima kandidata. Dalje, režim inter predikcije može se naznačiti hijerarhijskom signalizacijom informacija o zastavici. U ovom slučaju, informacije o režimu predikcije mogu da uključuju jednu ili više zastavica. Na primer, da li se primenjuje režim preskakanja može se naznačiti signalizacijom zastavice preskakanja, i u slučaju da se ne primenjuje režim preskakanja, da li se primenjuje režim spajanja može se naznačiti signalizacijom zastavice spajanja, a u slučaju da se ne primenjuje režim spajanja, može biti naznačeno da se primenjuje MVP režim, ili se može dalje signalizirati zastavica za dodatnu podelu. Afini režim može da se signalizira kao nezavisni režim, ili može da se signalizira kao zavisni režim u odnosu na režim spajanja ili MVP režim. Na primer, afini režim može da uključuje afini režim spajanja i afini MVP režim.

[0107] U međuvremenu, mogu da se signaliziraju informacije koje pokazuju da li se koristi prethodno opisana list0 (L0) predikcija, list1 (L1) predikcija ili bi-predikcija za trenutni blok (trenutna jedinica za kodiranje). Informacije se mogu nazvati informacije o pravcu predikcije pokreta, informacije o pravcu inter predikcije ili informacije o indikaciji inter predikcije, i mogu se konfigurisati/kodirati/signalizirati u obliku, na primer, inter_pred_idc sintaksičkog elementa. To jest, inter_pred_idc sintaksički element može da pokaže da li se koristi prethodno opisana list0 (L0) predikcija, list1 (L1) predikcija ili bi-predikcija za trenutni blok (trenutna jedinica za kodiranje). U ovom dokumentu, radi lakšeg opisa, tip inter predikcije (L0 predikcija, L1 predikcija ili BI predikcija) naznačen sa inter_pred_idc sintaksičkim elementom može se prikazati kao pravac predikcije pokreta. L0 predikcija, L1 predikcija i bi-predikcija mogu se prikazati kao pred_L0, pred_L1 i pred_BI, tim redom. Na primer, sledeći tipovi predikcije mogu se odrediti u skladu sa vrednošću inter_pred_idc sintaksičkog elementa.

[0108] Kao što je prethodno opisano, jedna slika može da uključuje jedan ili više isečaka. Isečak može da ima jedan od tipova isečaka uključujući intra (I) isečak, prediktivni (P) isečak i bi-prediktivni (B) isečak. Tip isečka može se naznačiti na osnovu informacija o tipu isečka. Za blokove za predikciju u I isečku, inter predikcija može da se ne koristi, te samo intra predikcija može da se koristi. Naravno, čak i u ovom slučaju, signalizacija se može izvesti kodiranjem vrednosti originalnog uzorka bez predikcije. S obzirom na blokove u P isečku, može da se koristi intra predikcija ili inter predikcija, i u slučaju korišćenja inter predikcije, može da se koristi samo uni-predikcija. U međuvremenu, u odnosu na blokove u B isečku, može da se koristi intra predikcija ili inter predikcija, i u slučaju korišćenja inter predikcije, do bipredikcije može se maksimalno koristiti.

[0109] L0 i L1 mogu da uključuju referentne slike kodirane/dekodirane pre trenutne slike. Na primer, L0 može da uključuje referentne slike pre i/ili nakon trenutne slike u POC redosledu, a L1 može da uključuje referentne slike nakon i/ili pre trenutne slike u POC redosledu. U ovom slučaju, za L0, relativno niži indeks referentne slike može se dodeliti referentnim slikama pre trenutne slike u POC redosledu, a za L1, relativno niži indeks referentne slike može se dodeliti referentnim slikama nakon trenutne slike u POC redosledu. U slučaju B isečka, može se primeniti bi-predikcija, te čak i u ovom slučaju, može se primeniti jednosmerna bi-predikcija ili se može primeniti dvosmerna bi-predikcija. Dvosmerna bi-predikcija može se nazvati prava bi-predikcija.

[0110] Određenije, na primer, informacije o režimu inter predikcije za trenutni blok mogu se kodirati i signalizirati na nivou CU (CU sintakse), ili se mogu implicitno odrediti prema uslovima. U ovom slučaju, informacije mogu se eksplicitno signalizirati u odnosu na neke režime, a mogu se implicitno izvesti u odnosu na preostale režime.

[0111] Na primer, CU sintaksa može nositi informacije o režimu (inter) predikcije kao u Tabeli 1 dole.

[Tabela 1]

[0112] Ovde, cu_skip_flag može da pokazuje da li je režim preskakanja primenjen na trenutnom bloku (CU).

[0113] pred_mode_flag jednako 0 određuje da je trenutna jedinica za kodiranje kodirana u režimu inter predikcije. pred_mode_flag jednako 1 određuje da je trenutna jedinica za kodiranje kodirana u režimu intra predikcije.

[0114] pred_mode_ibc_flag jednako 1 određuje da je trenutna jedinica za kodiranje kodirana u IBC režimu predikcije. pred_mode_ibc_flag jednako 0 određuje da trenutna jedinica za kodiranje nije kodirana u IBC režimu predikcije.

[0115] pcm_flag[x0][y0] jednako 1 određuje da je pcm_sample( ) sintaksička struktura prisutna i da transform_tree( ) sintaksička struktura nije prisutna u jedinici za kodiranje koja uključuje luma blok za kodiranje na položaju (x0, y0). pcm_flag[x0][y0] jednako 0 određuje da pcm_sample( ) sintaksička struktura nije prisutna. To jest, pcm_flag može da pokazuje da li je režim impulsne kodne modulacije (PCM) primenjen na trenutnom bloku. Ako je PCM režim primenjen na trenutnom bloku, predikcija, transformacija i kvantizacija mogu da se ne primene, a vrednost originalnog uzorka u trenutnom bloku može da se kodira i signalizira.

[0116] intra_mip_flag[x0][y0] jednako 1 određuje da tip intra predikcije za luma uzorke predstavlja intra predikciju na bazi matrice (MIP). intra_mip_flag[x0][y0] jednako 0 određuje da tip intra predikcije za luma uzorke nije intra predikciju na bazi matrice. To jest, intra_mip_flag može da pokazuje da li je režim (tip) MIP predikcije primenjen na trenutnom bloku (luma uzorci trenutnog bloka).

[0117] intra_chroma_pred_mode[x0][y0] određuje režim intra predikcije za hroma uzorke u trenutnom bloku.

[0118] general_merge_flag[x0][y0] određuje da li su parametri inter predikcije za trenutnu jedinicu za kodiranje izvedeni iz susedne inter-prediktovane particije. To jest, general_merge_flag može da pokazuje da je omogućeno regularno spajanje, i ako je general_merge_flag vrednost jednaka 1, omogućeni su režim regularnog spajanja, mmvd režim i režim spajanja podblokova (režim za spajanje podblokova). Na primer, ako je general_merge_flag vrednost jednaka 1, sintaksa podataka spajanja može se raščlaniti iz kodiranih informacija o video zapisu/slici (ili toka bitova), i sintaksa podataka spajanja može biti konfigurisana/kodirana kako bi uključivala informacije kao što je prikazano u Tabeli 2 dole.

[0119] Ovde, regular_merge_flag[x0][y0] jednako 1 određuje da se režim regularnog spajanja koristi za generisanje parametara inter predikcije trenutne jedinice za kodiranje. To jest, regular_merge_flag pokazuje da je režim spajanja (režim regularnog spajanja) primenjen na trenutnom bloku..

[0120] mmvd_merge_flag[x0][y0] jednako 1 određuje da se koristi režim spajanja sa razlikom vektora pokreta za generisanje parametara inter predikcije trenutne jedinice za kodiranje. To jest, mmvd_merge_flag pokazuje da je MMVD primenjena na trenutnom bloku.

[0121] mmvd_cand_flag[x0][y0] određuje da li se prvi (0) ili drugi (1) kandidat u listi kandidata spajanja koristi sa razlikom vektora pokreta izvedenoj iz mmvd_distance_idx[x0][y0] i mmvd_direction_idx[x0][y0].

[0122] mmvd_distance_idx[x0][y0] određuje indeks korišćen za izvođenje MmvdDistance[x0][y0].

[0123] mmvd_direction_idx[x0][y0] određuje indeks korišćen za izvođenje MmvdSign[x0][y0].

[0124] merge_subblock_flag[x0][y0] određuje da li parametri inter predikcije na osnovu podblokova za trenutno kodiranje. To jest, merge_subblock_flag može da pokazuje da li je režim spajanja podblokova (ili afini režim spajanja) primenjen na trenutnom bloku.

[0125] merge_subblock_idx[x0][y0] određuje indeks kandidata spajanja iz liste kandidata spajanja na osnovu podblokova.

[0126] ciip_flag[x0][y0] određuje da li su kombinovano spajanje inter-slike i predikcija intra-slike primenjeni za trenutnu jedinicu za kodiranje.

[0127] merge_triangle_idx0[x0][y0] određuje prvi indeks kandidata spajanja iz liste kandidata za kompenzaciju pokreta zasnovanu na obliku trougla.

[0128] merge_triangle_idx1[x0][y0] određuje drugi indeks kandidata spajanja iz liste kandidata za kompenzaciju pokreta zasnovanu na obliku trougla.

[0129] merge _idx[x0][y0] određuje indeks kandidata spajanja iz liste kandidata spajanja.

[0130] U međuvremenu, upućivanjem ponovo na CU sintaksu iz Tabele 1, mvp_l0_flag[x0][y0] određuje indeks prediktora vektora pokreta iz liste 0. To jest, u slučaju da je primenjen MVP režim, mvp_l0_flag može da pokazuje da je kandidat izabran za MVP izvođenje trenutnog bloka u listi MVP kandidata.

[0131] ref_idx_l1[x0] [y0] ima iste semantike kao ref_idx_l0, pri čemu su l0, L0 i lista 0 zamenjeni sa 11, L1 i listom 1, tim redom.

[0132] inter_pred_idc[x0][y0] određuje da li se list0, list1 ili bi-predikcija koristi za trenutnu jedinicu za kodiranje.

[0133] sym_mvd_flag[x0][y0] jednako 1 određuje da sintaksički elementi ref_idx_l0[x0][y0] i ref_idx_l1[x0][y0], i mvd_coding(x0, y0, refList ,cpIdx) sintaksička struktura za refList jednako 1 nisu prisutni. To jest, sym_mvd_flag pokazuje da li se simetrična MVD koristi u mvd kodiranju.

[0134] ref_idx_l0[x0][y0] određuje indeks referentne slike liste 0 za trenutnu jedinicu za kodiranje.

[0135] ref_idx_l1[x0][y0] ima iste semantike kao ref_idx_l0, pri čemu su l0, L0 i lista 0 zamenjeni sa 11, L1 i listom 1, tim redom.

[0136] inter_affine_flag[ x0 ][ y0 ] jednako 1 određuje da se za trenutnu jedinicu za kodiranje, prilikom dekodiranja P ili B isečka, koristi kompenzacija pokreta na bazi afinog modela za generisanje uzoraka predikcije trenutne jedinice za kodiranje.

[0137] cu_affine_type_flag[x0][y0] jednako 1 određuje da se za trenutnu jedinicu za kodiranje, prilikom dekodiranja P ili B isečka, koristi kompenzacija pokreta na bazi 6-parametarnog afinog modela za generisanje uzoraka predikcije trenutne jedinice za kodiranje. cu_affine type_flag[x0][y0] jednako 0 određuje da se koristi kompenzacija pokreta na bazi 4-parametarnog afinog modela za generisanje uzoraka predikcije trenutne jedinice za kodiranje.

[0138] amvr _flag[x0][y0] određuje rezoluciju razlike vektora pokreta. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike. amvr_flag[x0][y0] jednako 0 određuje da je rezolucija razlike vektora pokreta jednaka 1/4 luma uzorka. amvr_flag[x0][y0] jednako 1 određuje da je rezolucija razlike vektora pokreta dalje određena sa amvr_precision_flag[x0][y0].

[0139] amvr_precision_flag[x0][y0] jednako 0 određuje da je rezolucija razlike vektora pokreta jedan celobrojni luma uzorak ako je inter_affine_flag[x0][y0] jednako 0, i 1/16 luma uzorka u suprotnom. amvr_precision_flag[x0][y0] jednako 1 određuje da je rezolucija razlike vektora pokreta četiri luma uzoraka ako je inter_affine_flag[x0][y0] jednako 0, i jedan celobrojni luma uzorak u suprotnom. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0140] bcw _idx[x0][y0] određuje indeks težine bi-predikcije sa CU težinama.

[0141] Uređaj za kodiranje može izvesti inter predikciju korišćenjem informacija o pokretima trenutnog bloka. Uređaj za kodiranje može izvesti optimalne informacije o pokretima za trenutni blok procedurom procene pokreta. Na primer, uređaj za kodiranje može da izvede pretragu sličnog referentnog bloka sa visokom korelacijom u jedinici delimičnog piksela u okviru određenog opsega pretrage u referentnoj slici korišćenjem originalnog bloka u originalnoj slici za trenutni blok, i na ovaj način, uređaj za kodiranje može izvesti informacije o pokretima. Sličnost blokova može se izvesti na osnovu razlike između vrednosti uzoraka zasnovanih na fazi. Na primer, sličnost blokova može se izračunati na osnovu SAD između trenutnog bloka (ili šablon trenutnog bloka) i referentnog bloka (ili šablon referentnog bloka). U ovom slučaju, informacije o pokretima mogu se izvesti na osnovu referentnog bloka sa najmanjom SAD u oblasti koja se pretražuje. Izvedene informacije o pokretima mogu da se signaliziraju uređaju za dekodiranje u skladu sa nekoliko postupaka na osnovu režima inter predikcije.

[0142] Uređaj za kodiranje može izvesti uzorak(uzorke) predikcije za trenutni blok na osnovu informacija o pokretima. Trenutni blok koji uključuje uzorke predikcije može se nazvati prediktovani blok.

[0143] Prediktovani blok može da uključuje uzorke predikcije (niz uzoraka predikcije) trenutnog bloka. U slučaju da vektor pokreta trenutnog bloka naznačava jedinicu delimičnog uzorka, može se izvesti procedura interpolacije, i na ovaj način, mogu se izvesti uzorci predikcije trenutnog bloka na osnovu referentnih uzoraka u jedinici delimičnog uzorka u referentnoj slici. U slučaju da je afina inter predikcija primenjena na trenutnom bloku, uređaj za kodiranje može da generiše uzorke predikcije na osnovu vektora pokreta (MV) u jedinici uzorka/podbloka. U slučaju da je primenjena bi-predikcija, uzorci predikcije izvedeni putem ponderisanog zbira ili ponderisanog proseka (prema fazama) uzoraka predikcije izvedenih na osnovu L0 predikcije (tj., predikcija koja koristi referentnu sliku u listi referentnih slika L0 i MVL0) i uzoraka predikcije izvedenih na osnovu L1 predikcije (tj., predikcija koja koristi referentnu sliku u listi referentnih slika L1 i MVL1) mogu da se koriste kao uzorci predikcije trenutnog bloka. Ako su referentna slika korišćena za L0 predikciju i referentna slika korišćena za L1 predikciju smeštene u različitim vremenskim pravcima na osnovu trenutne slike kada se primenjuje bi-predikcija (tj., u slučaju koji odgovara bi-predikciji i bi-usmerenoj predikciji), mogu se nazvati prava bi-predikcija.

[0144] Rekonstruisani uzorci i rekonstruisana slika mogu se generisati na osnovu izvedenih uzoraka predikcije, i nakon toga, mogu se izvesti procedure filtriranja u petlji i slično.

[0145] FIG.6 je dijagram koji objašnjava prostorne kandidate koji mogu da se koriste za inter predikciju.

[0146] U slučaju da se režim spajanja primenjuje tokom inter predikcije, informacije o pokretima trenutnog bloka ne prenose se direktno, i informacije o pokretima trenutnog bloka indukuju se korišćenjem informacija o pokretima susednog predikcionog bloka. Prema tome, uređaj za kodiranje može da predstavlja informacije o pokretima trenutnog bloka prenosom informacija o zastavici koja pokazuje da se režim spajanja koristi i indeks spajanja koji pokazuje koji se susedni predikcioni blok koristi. Režim spajanja može se nazvati režim regularnog spajanja.

[0147] Uređaj za kodiranje pretražuje blokove kandidata spajanja koji se koriste za indukovanje informacija o pokretima trenutnog bloka kako bi se izveo režim spajanja. Na primer, može da se koristi najviše 5 blokova kandidata spajanja, ali u ovom načinu ostvarivanja, broj blokova kandidata spajanja nije ograničen na njega. Dalje, informacije o najvećem broju blokova kandidata spajanja mogu se preneti u zaglavlju isečka ili zaglavlju grupe pločica, ali ovaj način ostvarivanja nije ograničen na to. Nakon pronalaženja blokova kandidata spajanja, uređaj za kodiranje može da generiše listu kandidata spajanja, i može da izabere blok kandidata spajanja koji imaju najmanji trošak među njima kao finalni blok kandidata spajanja.

[0148] Ovaj dokument obezbeđuje različite načine ostvarivanja za blokove kandidata spajanja koji čine listu kandidata spajanja.

[0149] Lista kandidata spajanja može da uključuje, na primer, 5 blokova kandidata spajanja. Na primer, mogu da se koriste 4 prostorna kandidata spajanja i jedan vremenski kandidat spajanja. Kao poseban primer, u slučaju prostornih kandidata spajanja, blokovi A0, A1, B0, B1i B2prikazani na FIG.6 mogu da se koriste kao prostorni kandidati spajanja. U nastavku, prostorni kandidat spajanja ili prostorni MVP kandidat opisan u nastavku može se nazvati SMVP, a vremenski kandidat spajanja ili vremenski MVP kandidat opisan u nastavku može se nazvati TMVP.

[0150] Lista kandidata spajanja za trenutni blok može da se konfiguriše na osnovu, na primer, sledeće procedure.

[0151] Kao prvo, uređaj za kodiranje (uređaj za kodiranje/uređaj za dekodiranje) može da unese prostorne kandidate spajanja izvedene pretragom prostornih susednih blokova trenutnog bloka u listu kandidata spajanja. Na primer, prostorni susedni blokovi mogu da uključuju susedni blok u donjem levom uglu A0, levi susedni blok A1, susedni blok u gornjem levom uglu B0, gornji susedni blok B1i susedni blok u gornjem levom uglu B2trenutnog bloka. Međutim, ovo je primer, a dodatni susedni blokovi, kao što su desni susedni blok, donji susedni blok, donji desni susedni blok, mogu se dalje koristiti kao prostorni susedni blokovi pored prethodno opisanih prostornih susednih blokova. Uređaj za kodiranje može da detektuje omogućene blokove pretraživanjem prostornih susednih blokova na osnovu prioriteta i može da izvede informacije o pokretima detektovanih blokova kao prostorne kandidate spajanja. Na primer, uređaj za kodiranje i/ili uređaj za dekodiranje može da pretraži 5 blokova prikazanih na FIG.6 prema redosledu A1, B1, B0, A0i B2, i može da konfiguriše listu kandidata spajanja sekvencijalnim indeksiranjem omogućenih kandidata.

[0152] Dalje, uređaj za kodiranje može da unese vremenske kandidate spajanja izvedene pretragom vremenskih susednih blokova trenutnog bloka u listu kandidata spajanja. Vremenski susedni blok može biti smešten na referentnoj slici koja je slika različita od trenutne slike u kojoj se nalazi trenutni blok. Referentna slika, u kojoj se nalazi vremenski susedni blok, može se nazvati kolocirana slika ili col slika. Vremenski susedni blok može se pretražiti redosledom od susednog blok u donjem desnom uglu i donjeg desnog centralnog bloka kolociranog bloka za trenutni blok na col slici.

[0153] U međuvremenu, uređaj za kodiranje može da identifikuje da li je broj trenutnih kandidata spajanja manji od broja maksimalnih kandidata spajanja. Broj maksimalnih kandidata spajanja može da se prethodno definiše, ili može da se signalizira iz uređaja za kodiranje uređaju za dekodiranje. Na primer, uređaj za kodiranje može da generiše informacije o broju maksimalnih kandidata spajanja, kodira informacije i prenese kodirane informacije uređaju za dekodiranje u obliku toka bitova. Ako je ispunjen broj maksimalnih kandidata spajanja, naknadni postupak dodavanja kandidata može da se ne izvede.

[0154] Ako je broj trenutnih kandidata spajanja manji od broja maksimalnih kandidata spajanja kao rezultat identifikacije, uređaj za kodiranje može da umetne dodatne kandidate spajanja u listu kandidata spajanja. Dodatni kandidati spajanja mogu da uključuju najmanje jedan od, na primer, kandidata spajanja na osnovu istorije, prosečnog(ih) kandidata spajanja u parovima, ATMVP, kombinovanog(ih) biprediktivnog(ih) kandidata spajanja (u slučaju da tip grupe isečaka/pločica trenutne grupe isečaka/pločica predstavlja B tip), i/ili kandidata spajanja nultog vektora.

[0155] Ako broj trenutnih kandidati spajanja nije manji od broja maksimalnih kandidata spajanja kao rezultat identifikacije, uređaj za kodiranje može da završi konfiguraciju liste kandidata spajanja. U ovom slučaju, uređaj za kodiranje može da odabere optimalnog kandidata spajanja među kandidatima spajanja koji čine listu kandidata spajanja na osnovu troška distorzije brzine (RD), i može da signalizira informacije o izboru (npr., indeks spajanja) koje označavaju izabranog kandidata spajanja uređaju za dekodiranje. Uređaj za dekodiranje može da izabere optimalnog kandidata spajanja na osnovu liste kandidata spajanja i informacija o izboru.

[0156] Informacije o pokretima izabranog kandidata spajanja mogu da se koriste kao informacije o pokretima trenutnog bloka, i kao što je prethodno opisano, uzorci predikcije trenutnog bloka mogu se izvesti na osnovu informacija o pokretima trenutnog bloka. Uređaj za kodiranje može da izvede rezidualne uzorke trenutnog bloka na osnovu uzoraka predikcije, i može da signalizira rezidualne informacije o rezidualnim uzorcima uređaju za dekodiranje. Kao što je prethodno opisano, uređaj za dekodiranje može da generiše rekonstruisane uzorke na osnovu rezidualnih uzoraka izvedenih na osnovu rezidualnih informacija i uzoraka predikcije, i na osnovu ovoga, uređaj za dekodiranje može da generiše rekonstruisanu sliku.

[0157] U slučaju da se režim preskakanja primenjuje tokom inter predikcije, informacije o pokretima trenutnog bloka mogu se izvesti na isti način kao u slučaju gde se primenjuje režim spajanja. Međutim, u slučaju da se primenjuje režim preskakanja, rezidualni signal za odgovarajući blok može se izostaviti, i na taj način se uzorci predikcije mogu neposredno koristiti kao rekonstruisani uzorci. Režim preskakanja može se primeniti, na primer, ako je vrednost zastavice preskakanja CU (cu_skip_flag) jednaka 1.

[0158] FIG.7 je dijagram koji objašnjava vremenski kandidat koji se može koristiti za inter predikciju.

[0159] Ovde, vremenski kandidat može da predstavlja prethodno opisanog vremenskog kandidata spajanja. Dalje, vektor pokreta uključen u vremenskom kandidatu može da odgovara vremenskom mvp kandidatu.

[0160] U ovoj fazi, samo jedan kandidat dodaje se na listu kandidata. Određenije, u izvođenju ovog vremenskog kandidata spajanja, skaliran vektor pokreta izvodi se na osnovu kolocirane CU koja pripada kolociranoj referentnoj slici (može se nazvati colPic). Lista referentnih slika koja se koristi za izvođenje kolocirane CU eksplicitno se signalizira u zaglavlju isečka. Skaliran vektor pokreta za vremenski kandidat spajanja dobija se kao što je prikazano isprekidanom linijom na Fig.7, koji je skaliran iz vektora pokreta kolocirane CU korišćenjem POC rastojanja, tb i td, gde je tb definisano da je POC rastojanje između referentne slike za trenutnu sliku i trenutne slike dok je td definisano da je POC rastojanje između referentne slike za kolociranu sliku i kolocirane slike. Indeks referentne slike vremenskog kandidata spajanja postavljen je na nulu.

[0161] Pored režima spajanja, gde se implicitno izvedene informacije o pokretima direktno koriste za generisanje uzoraka predikcije trenutne CU, režim spajanja sa razlikama vektora pokreta (MMVD) uvodi se u VVC. Zato što se koriste slični postupci za izvođenje informacija o pokretima za režim preskakanja i režim spajanja, MMVD se može primeniti na režim preskakanja. MMVD zastavica (npr. mmvd_flag) može da se signalizira odmah nakon slanja zastavice preskakanja i zastavice spajanja da bi se odredilo da li se koristi MMVD režim za CU.)

[0162] U MMVD, nakon što se izabere kandidat spajanja, dalje je usavršeno signaliziranim MVD informacijama. Ako je MMVD primenjen na trenutnom bloku (tj. ako je mmvd_flag jednako 1), dalje informacije za MMVD mogu da se signaliziraju.

[0163] Dalje informacije uključuju zastavicu o kandidatu spajanja (npr. mmvd_merge_flag) koja pokazuje da li se prvi (0) ili drugi (1) kandidat u listi kandidata spajanja koristi sa razlikom vektora pokreta, indeks za određivanje veličine pokreta (npr. mmvd_distance_idx), i indeks za označavanje pravca pokreta (npr. mmvd_direction_idx). U MMVD režimu, jedan za prva dva kandidata u listi spajanja bira je kako bi se koristio kao MV osnova. Zastavica o kandidatu spajanja signalizira se da označi koji se koristi.

[0164] Indeks rastojanja određuje informacije o veličini pokreta i označava prethodno definisan pomeraj iz polazne tačke.

[0165] Pomeraj se dodaje ili horizontalnoj komponenti ili vertikalnoj komponenti polaznog MV. Odnos indeksa rastojanja i prethodno definisanog pomeraja dat je u Tabeli 3.

[0166] Ovde, slice_fpel_mmvd_enabled_flag jednako 1 određuje da režim spajanja sa razlikom vektora pokreta koristi preciznost celobrojnog uzorka u trenutnom isečku. slice_fpel_mmvd_enabled_flag jednako 0 određuje da režim spajanja sa razlikom vektora pokreta može da koristi delimičnu preciznost uzorka u trenutnom isečku. Ako nije prisutno, utvrđuje se da je vrednost slice_fpel_mmvd_enabled_flag jednaka 0. slice_fpel_mmvd_enabled_flag sintaksički element može da se signalizira preko (može biti sadržan u) zaglavlja isečka.

[0167] Indeks pravca predstavlja pravac MVD u odnosu na polaznu tačku. Indeks pravca može da predstavlja četiri pravca kao što je prikazano u Tabeli 4. Naznačeno je da značenje MVD znaka može biti varijanta prema informacijama o polaznim MV. Kada polazni MV predstavljaju un-predikcioni MV ili bipredikcione MV sa obe liste usmerene na istu stranu trenutne slike (tj. POC dve reference su veći od POC trenutne slike, ili su manji od POC trenutne slike), znak u Tabeli 4 određuje znak MV pomeraja dodatog polaznom MV. Kada polazni MV predstavljaju bi-predikcione MV sa dva MV usmerena na različite strane trenutne slike (tj. POC jedne reference veće je od POC trenutne slike, a POC druge reference manji je od POC trenutne slike), znak u Tabeli 4 određuje znak MV pomeraja dodat list0 MV komponenti polaznog MV a znak za list1 MV ima suprotnu vrednost.

[Tabela 4]

[0168] Obe komponente spajanja plus MVD pomeraj MmvdOffset[x0][y0] izvode se kao što sledi.

[0169] FIG.8 je dijagram koji objašnjava postupak predikcije vremenskog vektora pokreta na osnovu podbloka koji se može koristiti tokom inter predikcije.

[0170] Postupak predikcije vremenskog vektora pokreta na osnovu podbloka (SbTMVP) može da se koristi za inter predikciju. Slično predikciji vremenskog vektora pokreta (TMVP), SbTMVP koristi polje pokreta u kolociranoj slici kako bi se poboljšala predikcija vektora pokreta i režim spajanja za CU-ove u trenutnoj slici. Ista kolocirana slika korišćena za TMVP koristi se za SbTVMP. SbTMVP razlikuje se od TMVP u sledeća dva glavna aspekta.

1. TMVP predviđa pokret na CU nivou, a SbTMVP predviđa pokret na sub-CU nivou.

2. Dok TMVP preuzima vremenske vektore pokreta iz kolociranog bloka u kolociranoj slici (kolocirani blok je donji desni ili centralni (donji desni centralni) blok u odnosu na trenutnu CU), SbTMVP primenjuje pomeranje pokreta pre preuzimanja informacija o vremenskim pokretima iz kolocirane slike, gde se pomeranje pokreta dobija iz vektora pokreta iz jednog od prostornih susednih blokova trenutne CU.

[0171] FIG.8 prikazuje SbTVMP postupak. SbTMVP predviđa vektore pokreta sub-CU-ova unutar trenutne CU u dve faze. U prvoj fazi se ispituje prostorni susedni A1. Ako se identifikuje da A1 ima vektor pokreta koji koristi kolociranu sliku kao svoju referentnu sliku, ovaj vektor pokreta (može se nazvati vremenski MV (tempVM)) bira se za pomeranje pokreta koje će se primeniti.) Ako nije identifikovan takav pokret, onda se pomeranje pokreta postavlja na (0, 0).

[0172] U drugoj fazi, primenjuje se pomeranje pokreta identifikovano u Fazi 1 (tj. dodato koordinatama trenutnog bloka) kako bi se dobile informacije o pokretima na sub-CU-nivou (vektori pokreta i referentni indeksi) iz kolocirane slike kao što je prikazano na Fig. 8. Primer na Fig.8 pretpostavlja da se pomeranje pokreta postavlja na pokret bloka A1. Zatim, za svaku sub-CU, informacije o pokretima njenog odgovarajućeg bloka (najmanja mreža pokreta koja pokriva centralni uzorak) u kolociranoj slici koristi se za izvođenje informacija o pokretima za sub-CU. Centralni uzorak (ispod desnog centralnog uzorka) može da odgovara donjem desnom uzorku među 4 centralna uzorka u sub-CU kada podblok ima jednaku dužinu, širinu i visinu.)

[0173] Nakon što se identifikuju informacije o pokretima kolocirane sub-CU, konvertuju se u vektore pokreta i referentne indekse trenutne sub-CU na sličan način kao za TMVP postupak, gde se može primeniti skaliranje vremenskih pokreta da bi se poravnale referentne slike vremenskih vektora pokreta sa onima od trenutne CU.

[0174] Kombinovana lista spajanja zasnovana na podblokovima koja sadrži i SbTVMP kandidat i afine kandidate spajanja može da se koristi za signalizaciju afinog režima spajanja (može se nazvati režim spajanja (zasnovan na) podblokova). SbTVMP režim je omogućen/neomogućen zastavicom o skupu parametara za sekvencu (SPS). Ako je SbTMVP režim omogućen, SbTMVP prediktor se dodaje kao prvi unos u listu kandidata spajanja podblokova, nakon toga slede kandidati afinog spajanja. Najveća dozvoljena veličina liste kandidata afinog spajanja može biti 5.

[0175] sub-CU veličina korišćena u SbTMVP može se fiksirati da je 8x8, i kao što je izvedeno za afini režim spajanja, SbTMVP režim može se samo primeniti na CU čije su i širina i visina veće od ili jednake 8.

[0176] Logika kodiranja dodatnog SbTMVP kandidata spajanja je ista kao za druge kandidate spajanja, to jest, za svaku CU u P ili B isečku, dodatna RD provera može se izvesti da bi se odlučilo da li se koristi SbTMVP kandidat.

[0177] FIG.9 je dijagram koji objašnjava režim particionisanja koji se može primeniti na inter predikciju.

[0178] Režim particionisanja na trouglove može da se koristi za inter predikciju. Režim particionisanja na trouglove može se samo primeniti na CU-ove koji su 8x8 ili veći. Režim particionisanja na trouglove signalizira se korišćenjem zastavice CU-nivoa kao jedna vrsta režima spajanja, sa drugim režimima spajanja uključujući režim regularnog spajanja, MMVD režim, CIIP režim i režim spajanja podblokova.

[0179] Kada se koristi ovaj režim, CU se može podeliti ravnomerno na dve particije oblika trougla, korišćenjem ili dijagonalne podele ili anti-dijagonalne podele kao što je prikazano na Fig.9. Svako particionisanje na trouglove u CU je inter-prediktovano korišćenjem sopstvenog pokreta; samo unipredikcija omogućena je za svaku particiju, to jest, svaka particija ima jedan vektor pokreta i jedan referentni indeks. Ograničenje uni-predikcije pokreta primenjeno je da bi se osiguralo da su, kao kod konvencionalne bi-predikcije, samo dve kompenzovane predikcije pokreta potrebne za svaku CU.

[0180] Ako se režim particionisanja na trouglove koristi za trenutnu CU, onda se dalje signaliziraju zastavicu koja pokazuje pravac particionisanja na trouglove (dijagonalno ili anti-dijagonalno), i dva indeksa spajanja (po jedan za svaku particiju). Broj maskimalne veličine TPM kandidata signalizira se eksplicitno na nivou isečka i određuje se binarizacija sintakse za TMP indekse spajanja. Nakon predikcije svake od particija oblika trougla, vrednosti uzoraka zajedno sa dijagonalnom ili anti-dijagonalnom ivicom podešavaju se korišćenjem obrade mešanjem sa adaptivnim težinama. Ovo je signal predikcije za celu CU, a postupak transformacije i kvantizacije primeniće se na celu CU kao u drugim režimima predikcije. Konačno, polje pokreta u CU prediktovanoj korišćenjem režima particionisanja na trouglove čuva se u jedinicama od 4x4. Režim particionisanja na trouglove ne koristi se u kombinaciji sa SBT, to jest, ako je režim signaliziranih trouglova jednak 1, zaključuje se da je cu_sbt_flag jednako 0 bez signalizacije.

[0181] Lista kandidata za uni-predikciju izvodi se direktno iz liste kandidata spajanja konstruisane kao što je prethodno opisano.

[0182] Nakon predikcije svake particije oblika trougla korišćenjem sopstvenog pokreta, primenjuje se mešanje na dva signala predikcije da bi se izveli uzorci oko dijagonalne ili anti-dijagonalne ivice.

[0183] Kombinovana inter i intra predikcija mogu se primeniti na trenutnom bloku. Dodatna zastavica (npr. ciip_flag) može da se signalizira da bi naznačila da li se kombinovani režim inter/intra predikcije (CIIP) primenjuje na trenutnoj CU. Na primer, ako se CU kodira u režimu spajanja, ako CU sadrži najmanje 64 luma uzoraka (to jest, CU širina puta CU visina jednako je ili veće od 64), a ako su i CU širina i CU visina manje od 128 luma uzoraka, signalizira se dodatna zastavica da bi naznačila da li se kombinovani režim inter/intra predikcije (CIIP) primenjuje na trenutnoj CU. Kao što joj naziv govori, CIIP predikcija kombinuje signal inter predikcije sa signalom intra predikcije. Signal inter predikcije u P_inter CIIP režima izvodi se korišćenjem istog postupka inter predikcije primenjenog na režimu regularnog spajanja; a P_intra signala intra predikcije izvodi se nakon postupka regularne intra predikcije sa planarnim režimom. Zatim, signali intra i inter predikcije kombinuju se korišćenjem ponderisanog izvođenja proseka, gde se ponderisana vrednost izračunava zavisno od režima kodiranja gornjih i levih susednih blokova kao što sledi.

[0184] Ako je gornji sused dostupan i intra kodiran, onda se isIntraTop postavlja na 1, u suprotnom se isIntraTop postavlja na 0.

[0185] Ako je levi sused dostupan i intra kodiran, onda se isIntraLeft postavlja na 1, u suprotnom se isIntraLeft postavlja na 0.

[0186] Ako je (isIntraLeft isIntraLeft) jednako 2, onda se wt postavlja na 3.

[0187] U suprotnom, ako je (isIntraLeft isIntraLeft) jednako 1, onda se wt postavlja na 2.

[0188] U suprotnom, wt postavlja se na 1.

[0189] CIIP predikcija formira se kao što sledi.

[0190] U međuvremenu, kako bi se generisao prediktovani blok, uređaj za kodiranje može da indukuje informacije o pokretima na osnovu prethodno opisanih režima regularnog spajanja, režima preskakanja, SbTMVP režima, MMVD režima, režima particionisanja na trouglove (režim particionisanja) i/ili CIIP režima. Svaki režim može biti omogućen/neomogućen pomoću zastavice uključeno/isključeno za svaki režim uključen u skupu parametara za sekvencu (SPS). Ako je zastavica uključeno/isključeno za određeni režim onemogućena, uređaj za kodiranje ne signalizira sintaksu koja se eksplicitno prenosi za odgovarajući režim predikcije u jedinici od CU ili PU.

[0191] U ovom dokumentu, kako bi se uklonila signalizacija redundantne sintakse, opisan je postupak za signalizaciju sintakse s obzirom na uključeno/isključeno i postupak primene režima spajanja/preskakanja.

[0192] Na primer, u slučaju regular_merge_flag, mogući kandidati nisu prisutni osim za režim regularnog spajanja pod uslovom da MMVD, spajanje podblokova, CIIP spajanje i spajanje trouglova nisu dozvoljeni, te prema tome nije potrebno da se signalizira zastavica (npr., zastavica regularnog spajanja).

[0193] Dalje, nije potrebno da se signalizira zastavica u vezi mmvd (npr., mmvd_merge_flag) pod uslovom da nisu dozvoljeni spajanje podblokova, CIIP spajanje i spajanje trouglova.

[0194] Nije potrebno da se signalizira zastavica u vezi podblokova (npr., merge_subblock_flag) pod uslovom da nisu dozvoljeni CIIP spajanje i spajanje trouglova.

[0195] Nije potrebno da se signalizira zastavica u vezi CIIP (npr., ciip_flag) pod uslovom da nije dozvoljeno spajanje trouglova.

[0196] Prema sintaksi podataka spajanja iz Tabele 2, u slučaju da su određeni režimi za režim spajanja/preskakanja onemogućeni potpuno ili delimično, javlja se redundantna signalizacija zastavice uključeno/isključeno. Prema tome, u ovom dokumentu, sledeći postupak može da se koristi da bi se sprečila redundantna signalizacija istih informacija (zastavice) u postupku izbora režima spajanja koji je primenjen na trenutnom bloku.

[0197] Sledeći crteži pripremljeni su da bi se objasnio određeni primer ovog dokumenta. Budući da su nazivi određenih uređaja i signala/informacija opisanih na crtežima samo primeri, tehničke karakteristike ove specifikacije nisu ograničene na posebne nazive korišćene na sledećim crtežima.

[0198] FIG.10 i 11 šematski prikazuju primer postupka za kodiranje video zapisa/slike uključujući postupak inter predikcije i povezane komponente prema nekom načinu ostvarivanja ovog otkrivanja.

[0199] Postupak za kodiranje opisan na FIG.10 može se izvesti pomoću uređaja 200 za kodiranje opisanog na FIG.2. Određenije, na primer, S1000 do S1030 na FIG.10 mogu se izvesti pomoću prediktora 220 uređaja 200 za kodiranje, i S1040 može se izvesti pomoću rezidualnog procesora 230 uređaja 200 za kodiranje, i S1050 može se izvesti pomoću entropijskog kodera 240 uređaja 200 za kodiranje. Postupak za kodiranje otkriven na FIG.10 može da uključuje prethodno opisane načine ostvarivanja ovog dokumenta.

[0200] Određenije, upućivanjem na FIG.10 i 11, prediktor uređaja za kodiranje može da odredi režim predikcije trenutnog bloka (S1000). Kao primer, u slučaju da je inter predikcija primenjena na trenutnom bloku, prediktor uređaja za kodiranje može da odredi bilo koji od režima regularnog spajanja, režima preskakanja, MMVD režima, režima spajanja podblokova, režima particionisanja i CIIP režima kao režim predikcije za trenutni blok.

[0201] Ovde, režim regularnog spajanja može se definisati kao režim za indukovanje informacija o pokretima trenutnog bloka korišćenjem informacija o pokretima susednog bloka. Režim preskakanja može se definisati kao režim u kojem se koristi prediktovani blok kao rekonstruisani blok. MMVD režim može se primeniti na režim spajanja ili režim preskakanja, i može se definisati kao režim spajanja (ili preskakanja) koji koristi razliku vektora pokreta. Režim spajanja podblokova može se definisati kao režim spajanja na osnovu podbloka. Režim particionisanja može se definisati kao režim u kojem se izvodi predikcija podelom trenutnog bloka na dve particije (dijagonalna ili anti-dijagonalna). CIIP režim može se definisati kao režim u kojem se spajanje inter-slike i predikcija intra-slike međusobno kombinuju.

[0202] Prediktor uređaja za kodiranje može da konfiguriše listu kandidata spajanja na osnovu režima predikcije trenutnog bloka (S1010). Na primer, u slučaju da je režim predikcije za trenutni blok određen kao (regularni) režim spajanja, prediktor uređaja za kodiranje može da konfiguriše listu kandidata spajanja (ili lista kandidata informacija o pokretima) na osnovu prostornih susednih blokova i vremenskih susednih blokova trenutnog bloka, i na osnovu ovoga, prediktor uređaja za kodiranje može da generiše informacije o pokretima.

[0203] Prediktor uređaja za kodiranje može da izvede informacije o pokretima trenutnog bloka na osnovu liste kandidata spajanja (S1020). Informacije o pokretima mogu da uključuju vektor pokreta i indeks referentne slike. Na primer, u slučaju da je režim predikcije za trenutni blok određen kao (regularni) režim spajanja, prediktor uređaja za kodiranje može da konfiguriše listu kandidata spajanja (ili lista kandidata informacija o pokretima) na osnovu prostornih susednih blokova i vremenskih susednih blokova trenutnog bloka, i na osnovu ovoga, prediktor uređaja za kodiranje može da generiše informacije o pokretima. U ovom slučaju, prediktor uređaja za kodiranje može izvesti referentni blok koji ima razliku od trenutnog bloka, koja je minimalna ili je jednaka ili manja od prethodno određene reference pretragom bloka sličnog trenutnom bloku u određenoj oblasti (oblast pretrage) referentnih slika procenom pokreta, i na osnovu ovoga, prediktor uređaja za kodiranje može da izvede indeks referentne slike koji naznačava referentnu sliku u kojoj se nalazi referentni blok. Dalje, prediktor uređaja za kodiranje može da izvede vektor pokreta na osnovu razlike u položaju između referentnog bloka i trenutnog bloka.

[0204] Prediktor uređaja za kodiranje može izvesti uzorke predikcije (prediktovani blok) trenutnog bloka na osnovu režima predikcije za trenutni blok i informacije o pokretima za trenutni blok (S1030). Dalje, prediktor uređaja za kodiranje može da generiše informacije o režimu predikcije na osnovu režima predikcije. Ovde, informacije o režimu predikcije mogu da uključuju informacije o klasifikaciji inter/intra predikcije i informacije o režimu inter predikcije, i mogu da uključuju razne sintaksičke elemente povezane sa informacijama.

[0205] Rezidualni procesor uređaja za kodiranje može da generiše rezidualne uzorke na osnovu originalnih uzoraka (originalni blok) za trenutni blok i uzorke predikcije (prediktovani blok) za trenutni blok (S1040). Dalje, rezidualni procesor uređaja za kodiranje može da izvede informacije o rezidualnim uzorcima na osnovu rezidualnih uzoraka.

[0206] Koder uređaja za kodiranje može da kodira informacije o slici koje uključuju informacije o rezidualnim uzorcima i informacije o režimu predikcije (S1050). Informacije o slici mogu da uključuju informacije u vezi particionisanja, informacije u vezi režima predikcije, rezidualne informacije i informacije u vezi filtriranja u petlji, i mogu da uključuju razne sintaksičke elemente povezane se informacijama. Informacije kodirane koderom uređaja za kodiranje mogu se otpremiti u obliku toka bitova. Tok bitova može se preneti uređaju za dekodiranje preko mreže ili medijuma za skladištenje.

[0207] Na primer, informacije o slici mogu da uključuju informacije o različitim skupovima parametara, kao što su skup parametara za adaptaciju (APS), skup parametara slike (PPS), skup parametara za sekvencu (SPS), ili skup parametara video zapisa (VPS). Dalje, informacije o slici mogu da uključuju informacije o režimu predikcije za trenutni blok, kao što su sintaksa jedinice za kodiranje i sintaksa podataka spajanja. Ovde, skup parametara za sekvencu može da uključuje zastavicu o omogućenom kombinovanom spajanju inter-slike i predikciji intra-slike (CIIP) (zastavica o omogućenom CIIP) i omogućenu zastavicu za režim particionisanja. Sintaksa jedinice za kodiranje može da uključuje zastavicu CU preskakanja koja pokazuje da li je režim preskakanja primenjen na trenutnom bloku.

[0208] Kako bi se sprečio dupli prenos iste sintakse, uređaj za kodiranje primenjuje delove ili sve od regular_merge_flag uslova signalizacije i povezanih semantika, MMVD_merge_flag uslova signalizacije i povezanih semantika, merge_subblock_flag uslova signalizacije i povezanih semantika, i/ili uslova signalizacije CIIP zastavice i povezanih semantika na osnovu uslova pri kojem je MMVD (MMVD režim) dozvoljen (MMVDAllowed), uslova pri kojem je podblok spajanja (režim spajanja podblokova) dozvoljen (MergeSubBlockAllowed), uslova pri kojem je CIIP spajanja (CIIP režim) dozvoljen (MergeCIIPAllowed), i/ili uslova pri kojem je trougao spajanja (režim particionisanja) dozvoljen (MergeTriangleAllowed).

[0209] Za ovo, sintaksa podataka spajanja konfigurisana je kao u Tabeli 5 dole.

[0210] U Tabeli 5, opšta zastavica spajanja[x0][y0] određuje da li su parametri inter predikcije za trenutnu jedinicu za kodiranje izvedeni iz susedne inter-prediktovane particije. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0211] Ako general_merge_flag[x0][y0] nije prisutno, izvodi se sledeće.

- Ako je cu_skip_flag[x0][y0] jednako 1, zaključuje se da je general_merge_flag[x0][y0] jednako 1.

- U suprotnom, zaključuje se da je general_merge_flag[x0][y0] jednako 0.

[0212] U Tabeli 5, uslov kod kojeg je MMVD (MMVD režim) dozvoljen (MMVDAllowed), uslov kod kojeg je podblok spajanja (režim spajanja podblokova) dozvoljen (MergeSubBlockAllowed), uslov kod kojeg je CIIP spajanja (CIIP režim) dozvoljen (MergeCIIPAllowed), i/ili uslov kod kojeg je trougao spajanja (režim particionisanja) dozvoljen (MergeTriangleAllowed) indukuju se prema sledećim uslovima.

[0213] Ako su svi od sledećih uslova tačni, promenljiva MMVDAllowed se postavlja da je jednaka tačno.

- general_merge_flag[x0][y0] je jednako 1

- sps_mmvd_enabled_flag je jednako 1

- cbWidth *cbHeight je veće od 32

[0214] Ako su svi od sledećih uslova tačni, promenljiva MergeSubblockAllowed se postavlja da je jednaka tačno.

- general_merge_flag[x0][y0] je jednako 1

- MaxNumSubblockMergeCand > 0

- cbWidth je veće od ili jednako 8 i cbHeight je veće od ili jednako 8

[0215] Ako su svi od sledećih uslova tačni, promenljiva MergeCIIPAllowed se postavlja da je jednaka tačno.

- general_merge_flag[x0][y0] je jednako 1

- sps_ciip_enabled_Flag je jednako 1

- cu_skip_flag[x0][y0] je jednako 0

- cbWidth * cbHeight je veće od ili jednako 64

- cbWidth je manje od 128 i cbHeight je manje od 128

[0216] Ako su svi od sledećih uslova tačni, MergeTriangleAllowed se postavlja da je jednako tačno.

- general_merge_flag[x0][y0] je jednako 1

- sps_triangle_enalbed_Flag je jednako 1 i slice_type je jednako B

- NaxNumTriangleMergeCand je veće od ili jednako 2

- cbWidth * cbHeight je veće od ili jednako 64

[0217] Među gorepomenutim uslovima, MMVDAllowed predstavlja uslov pri kojem je MMVD dozvoljeno, i u ovom slučaju, uslov na osnovu veličine bloka je ispunjen u slučaju da trenutni blok nije blok od 4x8 ili blok od 8x4. Međutim, u slučaju da je MMVD uni-predikcije dozvoljeno u bloku od 4x8 i/ili bloku od 8x4, efikasnost kompresije se može poboljšati, i na taj način MMVDAllowed uslov se može promeniti kao što sledi.

[0218] Ako su svi od sledećih uslova tačni, promenljiva MMVDAllowed se postavlja da je jednaka tačno.

- general_merge_flag[x0][y0] je jednako 1

- sps_mmvd_enabled_flag je jednako 1

[0219] U međuvremenu, regular_merge_flag[x0][y0] jednako 1 određuje da se režim regularnog spajanja koristi za generisanje parametara inter predikcije trenutne jedinice za kodiranje. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0220] Upućivanjem na Tabelu 5, zastavica regularnog spajanja uključena je u informacijama o slici i može da se signalizira u obliku toka bitova u slučaju da je najmanje jedna vrednost uslova na osnovu MMVD režima (MMVDAllowed), uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0221] Kao primer, u slučaju da je CIIP omogućeno, zastavica regularnog spajanja može biti uključena u tok bitova. Slučaj da je CIIP omogućeno može da se odredi na osnovu najmanje jedne od opšte zastavice spajanja, zastavice o omogućenom CIIP, veličine trenutnog bloka i zastavice CU preskakanja. Na primer, zastavica regularnog spajanja može biti uključena u tok bitova u slučaju da je vrednost opšte zastavice spajanja jednaka 1, vrednost zastavice o omogućenom CIIP jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, visina trenutnog bloka ili širina trenutnog bloka manja od 128 ili vrednost zastavice preskakanja jednaka 0. Dalje, zastavica regularnog spajanja može biti uključena u tok bitova u slučaju da su ispunjeni svi uslovi na osnovu opšte zastavice spajanja, zastavice o omogućenom CIIP, veličine trenutnog bloka i zastavice CU preskakanja.

[0222] Kao neki drugi primer, zastavica regularnog spajanja može da bude uključena u tok bitova u slučaju da je omogućen režim particionisanja. Slučaj da je omogućen režim particionisanja može se odrediti na osnovu najmanje jednog od opšte zastavice spajanja, zastavice o omogućenom režimu particionisanja koja pokazuje da li je omogućen režim particionisanja i informacija o trenutnom bloku. Na primer, zastavica regularnog spajanja može biti uključena u tok bitova u slučaju da je vrednost opšta zastavice spajanja jednaka 1, vrednost zastavice o omogućenom režimu particionisanja jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, da tip isečka trenutnog bloka predstavlja B isečak ili da je maksimalni broj kandidata režima particionisanja jednak ili veći od 2. Dalje, zastavica regularnog spajanja može biti uključena u tok bitova u slučaju da su svi gorepomenuti uslovi ispunjeni.

[0223] Ako regular_merge_flag[x0][y0] nije prisutno u sintaksi podataka spajanja, izvodi se sledeće.)

[0224] Ako su svi od sledećih uslova tačni, zaključuje se da je regular_merge_flag[x0][y0] jednako 1.

- MMVDAllowed je jednako 0

- MergeSubBlockAllowed je jednako 0

- MergeCIIPAllowed je jednako 0

- MergeTriangleAllowed je jednako 0

- U suprotnom, zaključuje se da je regular_merge_flag[x0][y0] jednako 0.

[0225] U međuvremenu, mmvd_merge_flag[x0][y0] jednako 1 određuje da se koristi režim spajanja sa razlikom vektora pokreta za generisanje parametara inter predikcije trenutne jedinice za kodiranje. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0226] Upućivanjem na Tabelu 5, zastavica MMVD spajanja može biti uključena u informacijama o slici i može da se signalizira u obliku toka bitova u slučaju da je najmanje jedna vrednost uslova na osnovu MMVD režima (MMVDAllowed), uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0227] Ako mmvd_merge_flag[x0][y0] nije prisutno u sintaksi podataka spajanja, izvodi se sledeće.

[0228] Ako su svi od sledećih uslova tačni, zaključuje se da je mmvd_merge_flag[x0][y0] jednako 1.

- regular_merge_flag[x0][y0] je jednako 0

- MMVDAllowed je jednako 0

- MergeSubBlockAllowed je jednako 0

- MergeCIIPAllowed je jednako 0

- MergeTriangleAllowed je jednako 0

- U suprotnom, zaključuje se da je mmvd_merge_flag[x0][y0] jednako 0.

[0229] mmvd_cand_flag[x0][y0] određuje da li se prvi (0) ili drugi (1) kandidat u listi kandidata spajanja koristi sa razlikom vektora pokreta izvedenoj iz mmvd_distance_idx[x0][y0] i mmvd_direction_idx[x0][y0]. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike. Ako mmvd_cand_flag[x0][y0] nije prisutno, zaključuje se da je jednako 0.

[0230] mmvd_distance_idx[x0][y0] određuje indeks korišćen za izvođenje MmvdDistance[x0][y0] kao što je navedeno u Tabeli 3. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0231] mmvd_direction_idx[x0][y0] određuje indeks korišćen za izvođenje MmvdSign[x0][y0] kao što je navedeno u Tabeli 4. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0232] Obe komponente spajanja plus MVD pomeraj MmvdOffset[x0][y0] izvode se kao u Jednačini 1.

[0233] merge_subblock_flag[x0][y0] određuje da li se parametri inter predikcije na osnovu podblokova za trenutnu jedinicu za kodiranje izvode iz susednih blokova. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0234] Upućivanjem na Tabelu 5, zastavica podbloka za spajanje može biti uključena u informacijama o slici i može da se signalizira u obliku toka bitova u slučaju da je najmanje jedna vrednost uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0235] Ako merge_subblock_flag[x0][y0] nije prisutno u sintaksi podataka spajanja, izvodi se kao što sledi.

[0236] Ako su svi od sledećih uslova tačni, zaključuje se da je merge_subblock_flag[x0][y0] jednako 1.

- regular_merge_flag[x0][y0] je jednako 0

- mmvd_merge_flag[x0][y0] je jednako 0

- MergeSubBlockAllowed je jednako 0

- MergeCIIPAllowed je jednako 0

- MergeTriangleAllowed je jednako 0

- U suprotnom, zaključuje se da je merge_subblock_flag[x0][y0] jednako 0.

[0237] merge_subblock_idx[x0][y0] određuje indeks kandidata spajanja iz liste kandidata spajanja na osnovu podblokova gde x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0238] Ako merge_subblock_idx[x0][y0] nije prisutno, zaključuje se da je jednako 0.

[0239] U međuvremenu, ciip_flag[x0][y0] određuje da li se kombinovano spajanje inter-slike i predikcija intra-slike primenjuje za trenutnu jedinicu za kodiranje. Indeksi niza x0, y0 određuju položaj (x0, y0) gornjeg levog luma uzorka razmatranog bloka za kodiranje u odnosu na gornji levi luma uzorak slike.

[0240] Upućivanjem na Tabelu 5, CIIP zastavica može biti uključena u informacijama o slici i može da se signalizira u obliku toka bitova u slučaju da je najmanje jedna vrednost od uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režim particionisanja (MergeTriangleAllowed) jednaka 1.

[0241] Na primer, CIIP zastavica može biti uključena u tok bitova u slučaju da je omogućen režim particionisanja. Slučaj da je omogućen režim particionisanja može se odrediti na osnovu najmanje jednog od opšte zastavice spajanja, zastavice o omogućenom režimu particionisanja koja pokazuje da li je omogućen režim particionisanja i informacija o trenutnom bloku. Na primer, CIIP zastavica može biti uključena u tok bitova u slučaju da je vrednost opšte zastavice spajanja jednaka 1, vrednost zastavice o omogućenom režimu particionisanja jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, da tip isečka trenutnog bloka predstavlja B isečak ili da je maksimalni broj kandidata režima particionisanja jednak ili veći od 2. Dalje, CIIP zastavica može biti uključena u tok bitova u slučaju da su svi gorepomenuti uslovi ispunjeni.

[0242] Ako ciip_flag[x0][y0] nije prisutno, izvodi se sledeće.

[0243] Ako su svi sledeći uslovi tačni, ciip_flag[x0][y0] se postavlja da je jednako 1.

- MergeCIIPAllowed je jednako 0

- MergeTriangleAllowed je jednako 0

- U suprotnom, ciip_flag[x0][y0] se postavlja da je jednako 0.

[0244] Ako je ciip_flag[x0][y0] jednako 1, promenljiva IntraPredModeY[x][y] sa x = xCb..xCb cbWidth -1 i y = yCb..yCb cbHeight - 1 postavlja se da je jednaka INTRA_PLANAR.

[0245] Promenljiva MergeTriangleFlag[x0][y0], koja određuje da li se kompenzacija pokreta na osnovu oblika trougla koristi za generisanje uzoraka predikcije trenutne jedinice za kodiranje, ako se dekodira B isečak, izvodi se kao što sledi.

[0246] Ako su svi sledeći uslovi tačni, MergeTriangleFlag[x0][y0] se postavlja da je jednako 1.

- MergeTriangleAllowed je jednako 1

- regular_merge_flag[x0][y0] je jednako 0

- mmvd_merge_flag[x0][y0] je jednako 0

- merge_subblock_flag[x0][y0] je jednako 0

- ciip_flag[x0][y0] je jednako 0

- U suprotnom, MergeTriangleFlag[x0][y0] je jednako 0.

[0247] FIG.12 i 13 šematski prikazuju primer postupka za dekodiranje video zapisa/slike koji uključuje postupak inter predikcije i povezane komponente prema nekom načinu ostvarivanja ovog dokumenta.

[0248] Postupak za dekodiranje otkriven na FIG.12 može se izvesti pomoću uređaja 300 za dekodiranje otkrivenog na FIG.3 i 13. Određenije, na primer, S1200 do S1230 na FIG.12 mogu se izvesti pomoću prediktora 330 uređaja 300 za dekodiranje. U ovom dokumentu, postupka za dekodiranje opisan na FIG.

12 može da uključuje prethodno opisane načine ostvarivanja.

[0249] Upućivanjem na FIG.12 i 13, uređaj za dekodiranje može da dobije informacije o režimu predikcije za trenutni blok iz toka bitova, i na osnovu ovoga, uređaj za dekodiranje može da odredi režim predikcije za trenutni blok (S1200). Određenije, entropijski dekoder 310 uređaja za dekodiranje može izvesti rezidualne informacije i informacije o režimu predikcije iz signala primljenog iz uređaja za kodiranje sa FIG.2 u obliku toka bitova. Ovde, informacije o režimu predikcije mogu se nazvati informacije u vezi predikcije. Informacije o režimu predikcije mogu da uključuju informacije o klasifikaciji inter/intra predikcije i informacije o režimu inter predikcije, i mogu da uključuju različite sintaksičke elemente povezane sa informacijama.

[0250] U toku bitova mogu biti uključene informacije o slici koje uključuju informacije o različitim skupovima parametara kao što su skup parametara za adaptaciju (APS), skup parametara slike (PPS), skup parametara za sekvencu (SPS) ili skup parametara video zapisa (VPS). Informacije o slici mogu dalje da uključuju informacije o režimu predikcije za trenutni blok, kao što su sintaksa jedinice za kodiranje i sintaksa podataka spajanja. Skup parametara za sekvencu može da uključuje zastavicu o omogućenom CIIP i omogućenu zastavicu za režim particionisanja. Sintaksa jedinice za kodiranje može da uključuje zastavicu CU preskakanja koja pokazuje da li je režim preskakanja primenjen na trenutnom bloku.

[0251] Prediktor 320 uređaja za dekodiranje može da konfiguriše listu kandidata informacija o pokretima (ili lista kandidata spajanja) za trenutni blok na osnovu režima predikcije za trenutni blok (S1210). Dalje, prediktor 320 uređaj za dekodiranje može da izabere kandidat spajanja iz liste kandidata informacija o pokretima na osnovu informacija o izboru kandidata (indeks spajanja) dobijenih iz toka bitova, i može da izvede informacije o pokretima za trenutni blok korišćenjem informacija o pokretima izabranog kandidata spajanja (S1220).

[0252] Ako se izvedu informacije o pokretima za trenutni blok, prediktor uređaja za dekodiranje može da generiše uzorke predikcije trenutnog bloka na osnovu informacija o pokretima trenutnog bloka (S1230).

[0253] U međuvremenu, rezidualni procesor 320 uređaja za dekodiranje može da generiše rezidualne uzorke na osnovu rezidualnih informacija dobijenih iz toka bitova.

[0254] Sabirač 340 uređaja za dekodiranje može da generiše rekonstruisane uzorke na osnovu uzoraka predikcije generisanih pomoću prediktora 330 i rezidualnih uzoraka generisanih pomoću rezidualnog procesora 320. Rekonstruisana slika može se generisati na osnovu rekonstruisanih uzoraka. Nakon toga, po potrebi, kako bi se poboljšao subjektivni/objektivni kvalitet slike, procedura filtriranja u petlji, kao što je filtriranje za deblokiranje, SAO i/ili ALF procedure, mogu se primeniti na rekonstruisanu sliku.

[0255] Kao način ostvarivanja, u određivanju režima predikcije za trenutni blok, prediktor uređaja za dekodiranje može da dobije ili raščlani zastavicu regularnog spajanja iz toka bitova u slučaju da je najmanje jedna vrednost od uslova na osnovu MMVD režima (MMVDAllowed), uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0256] Kao neki primer, u slučaju da je omogućen CIIP, uređaj za dekodiranje može da raščlani zastavicu regularnog spajanja iz toka bitova. Slučaj kada je omogućen CIIP može se odrediti na osnovu najmanje jedne od opšte zastavice spajanja, zastavice o omogućenom CIIP, veličine trenutnog bloka i zastavice CU preskakanja. Na primer, uređaj za dekodiranje može da odredi da je CIIP omogućen u slučaju ako je vrednost opšte zastavice spajanja jednaka 1, vrednost zastavice o omogućenom CIIP jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, visina trenutnog bloka ili širina trenutnog bloka manja od 128 ili vrednost zastavice preskakanja jednaka 0. Dalje, uređaj za dekodiranje može da odredi da je omogućen CIIP u slučaju ako su ispunjeni svi uslovi na osnovu opšte zastavice spajanja, zastavice o omogućenom CIIP, veličine trenutnog bloka i zastavice CU preskakanja.

[0257] Kao neki drugi primer, uređaj za dekodiranje može da raščlani zastavicu regularnog spajanja iz toka bitova u slučaju da je omogućen režim particionisanja. Slučaj da je omogućen režim particionisanja može se odrediti na osnovu najmanje jednog od opšte zastavice spajanja, zastavice o omogućenom režimu particionisanja koja pokazuje da li je omogućen režim particionisanja i informacija o trenutnom bloku. Na primer, uređaj za dekodiranje može da odredi da je omogućen režim particionisanja u slučaju ako je vrednost opšte zastavice spajanja jednaka 1, vrednost zastavice o omogućenom režimu particionisanja jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, ako tip isečka trenutnog bloka predstavlja B isečak ili ako je maksimalni broj kandidata režima particionisanja jednak ili veći od 2. Dalje, uređaj za dekodiranje može da odredi da je omogućen režim particionisanja u slučaju da su svi gorepomenuti uslovi ispunjeni.

[0258] U međuvremenu, u određivanju režima predikcije za trenutni blok, prediktor uređaja za dekodiranje može da dobije ili raščlani zastavicu MMVD spajanja iz toka bitova u slučaju da je najmanje jedna vrednost od uslova na osnovu MMVD režima (MMVDAllowed), uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0259] Dalje, u određivanju režima predikcije za trenutni blok, prediktor uređaja za dekodiranje može da dobije ili raščlani zastavicu o podbloku spajanja iz toka bitova u slučaju da je najmanje jedna vrednost od uslova na osnovu režima spajanja podblokova (MergeSubBlockAllowed), uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1.

[0260] Dalje, u određivanju režima predikcije za trenutni blok, prediktor uređaja za dekodiranje može da dobije ili raščlani CIIP zastavicu iz toka bitova u slučaju da je najmanje jedna vrednost od uslova na osnovu CIIP režima (MergeCIIPAllowed) i uslova na osnovu režima particionisanja (MergeTriangleAllowed) jednaka 1. Kao neki primer, uređaj za dekodiranje može da raščlani CIIP zastavicu iz toka bitova u slučaju da je režim particionisanja omogućen. Slučaj da je omogućen režim particionisanja može da se odredi na osnovu najmanje jednog od opšte zastavice spajanja, zastavice o omogućenom režimu particionisanja koja pokazuje da li je omogućen režim particionisanja i informacija o trenutnom bloku. Na primer, uređaj za dekodiranje može da odredi da je omogućen režim particionisanja u slučaju da je vrednost opšte zastavice spajanja jednaka 1, vrednost zastavice o omogućenom režimu particionisanja jednaka 1, proizvod visine trenutnog bloka i širine trenutnog bloka jednak ili veći od 64, da tip isečka trenutnog bloka predstavlja B isečak ili da je maksimalni broj kandidata režima particionisanja jednak ili veći od 2. Dalje, uređaj za dekodiranje može da odredi da je režim particionisanja omogućen u slučaju da su svi gorepomenuti uslovi ispunjeni.

[0261] Iako je gorepomenuti primer sistema opisan na osnovu dijagrama toka u kojem su faze ili blokovi navedeni u sekvenci, faze ovog otkrivanja nisu ograničene na određeni redosled. Stoga, određena faza može se izvesti u drugačijoj fazi ili drugačijim redosledom ili istovremeno sa onim što je prethodno opisano, sve dok je u skladu sa priloženim nezavisnim patentnim zahtevima.

[0262] Gorepomenuti postupak prema ovom otkrivanju može biti u obliku softvera, a uređaj za kodiranje i/ili uređaj za dekodiranje prema ovom otkrivanju mogu biti uključeni u uređaj za izvođenje obrade slike, na primer, TV, računar, pametni telefon, set-top boks, uređaj za prikaz, ili slično.

[0263] Kada se načini ostvarivanja realizuju pomoću softvera u ovom otkrivanju, gorepomenuti postupak može se realizovati pomoću modula (procedura, funkcija, itd.) koji izvodi gorepomenutu funkciju. Modul može da se čuva u memoriji i izvrši procesorom. Memorija se može smestiti u procesoru, unutar ili van, i može da se poveže sa procesorom na različite dobro poznate načine.

Procesor može da uključuje integrisana kola specifične namene (ASIC), druge čipsetove, logička kola i/ili uređaje za obradu podataka. Memorija može da uključuje memoriju samo za čitanje (ROM), memoriju sa slučajnim pristupom (RAM), fleš memoriju, memorijske kartice, medijume za skladištenje i/ili druge uređaje za skladištenje. To jest, ovde opisani načini ostvarivanja mogu se realizovati i izvesti na procesoru, mikroprocesoru, kontroleru ili čipu. Na primer, funkcionalne jedinice prikazane na svakom crtežu mogu se realizovati i izvesti na računaru, procesoru, mikroprocesoru, kontroleru ili čipu. U ovom slučaju, informacije za realizaciju (npr. informacije o instrukcijama) ili algoritmi mogu se čuvati u digitalnom medijumu za skladištenje.

[0264] Pored toga, uređaj za dekodiranje i uređaj za kodiranje na kojima se može primeniti ovo otkrivanje može biti uključen u primopredajnik za multimedijalno emitovanje, mobilni komunikacioni terminal, video uređaj za kućni bioskop, video uređaj za digitalni bioskop, kameru za nadzor, uređaj za video ćaskanje i uređaj za komunikaciju u realnom vremenu kao što je video komunikacija, mobilni uređaj za strimovanje, medijum za skladištenje, kamkorder, uređaj za pružanje usluge video na zahtev (VoD), (OTT) video uređaj na vrhu, uređaj za pružanje usluge internet strimovanja, 3D video uređaj, uređaj za virtualnu stvarnost (VR), uređaj za proširenu realnost (AR), video uređaj za video telefoniju, terminal za vozilo (npr. terminal za vozilo (uključujući autonomno vozilo), terminal za avion, terminal za brod, itd.) i medicinski video uređaj, i slično, i može da se koristi za obradu video signala ili signala podataka. Na primer, OTT video uređaj može da uključuje konzolu za igre, Blu-ray plejer, TV sa pristupom Internetu, sistem kućnog bioskopa, pametan telefon, tablet računar, digitalni video rekorder (DVR), i slično.

[0265] Pored toga, postupak za obradu na kojem se primenjuje ovo otkrivanje može se proizvesti u obliku programa kojeg izvršava računar i može da se čuva u računarski čitljivom medijumu za snimanje. Multimedijalni podaci koji imaju strukturu podataka prema ovom otkrivanju mogu se takođe čuvati u računarski čitljivom medijumu za snimanje. Računarski čitljiv medijum za snimanje uključuje sve vrste uređaja za skladištenje i distributivne uređaje za skladištenje u kojima se čuvaju računarski čitljivi podaci. Računarski čitljiv medijum za snimanje može da uključuje, na primer, Blu-ray disk (BD), univerzalnu serijsku magistralu (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetnu traku, disketu i optički uređaj za skladištenje podataka. Računarski čitljiv medijum za snimanje uključuje i medijume izvedene u obliku nosećeg talasa (npr. prenos preko Interneta). Pored toga, tok bitova generisan postupkom za kodiranje može da se čuva u računarski čitljivom medijumu za snimanje ili prenese preko žičane ili bežične komunikacione mreže.

[0266] Pored toga, način ostvarivanja ovog otkrivanja može se izvesti kao proizvod računarskog programa na osnovu programskog koda, i programski kod može se izvesti na računaru prema načinu ostvarivanja ovog otkrivanja dokument. Programski kod može se čuvati na računarski čitljivom nosaču.

[0267] FIG.14 prikazuje primer sistema za strimovanje sadržaja na kojem se mogu primeniti načini ostvarivanja opisani u ovom dokumentu.

[0268] Upućivanjem na FIG.14, sistem za strimovanje sadržaja na kojem se primenjuje(u) način(i) ostvarivanja ovog dokumenta može generalno da uključuje server za kodiranje, server za strimovanje, veb server, medijume za skladištenje, korisnički uređaj i multimedijalni ulazni uređaj.

[0269] Server za kodiranje komprimuje ulaz sadržaja iz multimedijalnih ulaznih uređaja kao što su pametni telefon, kamera, kamkorder, itd. u digitalne podatke da bi se generisao tok bitova i preneo tok bitova serveru za strimovanje. Kao neki drugi primer, u slučaju gde multimedijalni ulazni uređaji kao što su pametni telefoni, kamere, kamkorderi, itd. direktno generišu tok bitova, može se izostaviti server za kodiranje.

[0270] Tok bitova može se generisati postupkom za kodiranje ili postupkom za generisanje toka bitova na kojem se primenjuje(u) način(i) ostvarivanja ovog dokumenta, a server za strimovanje može privremeno da čuva tok bitova u postupku prenosa ili prijema toka bitova.

[0271] Server za strimovanje prenosi multimedijalne podatke korisničkom uređaju na osnovu zahteva korisnika preko veb servera, a veb server služi kao medijum za informisanje korisnika usluga. Kada korisnik zahteva željenu uslugu od veb servera, veb server je prenosi serveru za strimovanje, i server za strimovanje prenosi multimedijalne podatke korisniku. U ovom slučaju, sistem za strimovanje sadržaja može da uključuje zaseban upravljački server. U ovom slučaju, upravljački server služi za kontrolu komande/odgovora između uređaja u sistemu za strimovanje sadržaja.

[0272] Server za strimovanje može da primi sadržaj iz skladišta medija i/ili servera za kodiranje. Na primer, kada server za kodiranje primi sadržaj, taj sadržaj može biti primljen u realnom vremenu. U ovom slučaju, kako bi se obezbedila neometana usluga strimovanja, server za strimovanje može da čuva tok bitova za prethodno određeno vreme.

[0273] Primeri korisničkog uređaja mogu da uključuju mobilni telefon, pametni telefon, laptop računar, terminal za digitalno emitovanje, ličnog digitalnog asistenta (PDA), prenosivi multimedijalni plejer (PMP), navigaciju, slejt računar, tablet računare, ultrabukove, nosive uređaje (npr. pametni satovi, pametne naočare, ekrane montiran na glavi), digitalne TV, desktop računare, digital signage, i slično.

[0274] Svaki server u sistemu za strimovanje sadržaja može da radi kao distributivni server, a u tom slučaju podaci primljeni od strane svakog servera mogu se distribuirati.

Claims (3)

Patentni zahtevi

1. Uređaj za dekodiranje kako bi se dekodirala slika za raznovrsno video kodiranje, VVC, pri čemu taj uređaj za dekodiranje obuhvata:

memoriju; i

najmanje jedan procesor povezan sa memorijom, pri čemu je najmanje jedan procesor konfigurisan da:

odredi režim predikcije trenutnog bloka na osnovu informacija o režimu predikcije dobijenih iz toka bitova;

konfiguriše listu kandidata spajanja na osnovu režima predikcije;

izvede informacije o pokretima trenutnog bloka na osnovu liste kandidata spajanja; i generiše uzorke predikcije trenutnog bloka na osnovu informacija o pokretima,

pri čemu tok bitova uključuje zastavicu o omogućenom kombinovanom spajanju inter-slike i predikciji intra-slike, CIIP, koja pokazuje da li je omogućeno CIIP, opštu zastavicu spajanja koja pokazuje da li su parametri inter predikcije za trenutni blok izvedeni iz susedne interprediktovane particije, i zastavicu preskakanja koja pokazuje da li je režim preskakanja primenjen na trenutnom bloku, i

pri čemu se režim predikcije trenutnog bloka određuje:

dobijanjem zastavice regularnog spajanja iz toka bitova ako su svi od sledećih uslova tačni: vrednost zastavice o omogućenom CIIP jednaka je 1, vrednost opšte zastavice spajanja jednaka je 1, vrednost zastavice preskakanja jednaka je 0, proizvod visine trenutnog bloka i širine trenutnog bloka je veći od ili jednak 64, visina trenutnog bloka je manja od 128, i širina trenutnog bloka manja je od 128, pri čemu zastavica regularnog spajanja pokazuje da li je režim spajanja primenjen na trenutnom bloku, i

određivanjem režima regularnog spajanja kao režima predikcije trenutnog bloka ako je vrednost zastavice regularnog spajanja jednaka 1.

2. Uređaj za kodiranje kako bi se kodirala slika za raznovrsno video kodiranje, VVC, pri čemu uređaj za kodiranje obuhvata:

memoriju; i

najmanje jedan procesor povezan sa memorijom, pri čemu je najmanje jedan procesor konfigurisan da:

odredi režim predikcije trenutnog bloka kao režim regularnog spajanja;

konfiguriše listu kandidata spajanja na osnovu režima predikcije;

izvede informacije o pokretima trenutnog bloka na osnovu liste kandidata spajanja;

izvede uzorke predikcije trenutnog bloka na osnovu informacija o pokretima;

izvede rezidualne uzorke na osnovu uzoraka predikcije; i

kodira informacije o slici koje uključuju informacije o režimu predikcije generisane na osnovu režima predikcije, i rezidualne informacije generisane na osnovu rezidualnih uzoraka, pri čemu informacije o slici uključuju zastavicu o omogućenom kombinovanom spajanju interslike i predikciji intra-slike, CIIP, koja pokazuje da li je omogućeno CIIP, opštu zastavicu spajanja koja pokazuje da li su parametri inter predikcije za trenutni blok izvedeni iz susedne interprediktovane particije, i zastavicu preskakanja koja pokazuje da li je režim preskakanja primenjen na trenutnom bloku,

pri čemu informacije o slici uključuju zastavicu regularnog spajanja ako su svi od sledećih uslova tačni: vrednost zastavice o omogućenom CIIP jednaka je 1, vrednost opšte zastavice spajanja jednaka je 1, vrednost zastavice preskakanja jednaka je 0, proizvod visine trenutnog bloka i širine trenutnog bloka je veći od ili jednak 64, visina trenutnog bloka je manja od 128, i širina trenutnog bloka manja je od 128, pri čemu zastavica regularnog spajanja pokazuje da li je režim spajanja primenjen na trenutnom bloku, i

pri čemu vrednost zastavice regularnog spajanja koja je jednaka 1 pokazuje da je režim regularnog spajanja određen da bude režim predikcije trenutnog bloka.

3. Uređaj za prenos podataka za sliku za raznovrsno video kodiranje, VVC, pri čemu taj uređaj obuhvata:

najmanje jedan procesor konfigurisan za dobijanje toka bitova, pri čemu se tok bitova generiše na osnovu određivanja režima predikcije trenutnog bloka kao režim regularnog spajanja, konfigurisanje liste kandidata spajanja na osnovu režima predikcije, izvođenje informacija o pokretima trenutnog bloka na osnovu liste kandidata spajanja, izvođenje uzoraka predikcije trenutnog bloka na osnovu informacija o pokretima, izvođenje rezidualnih uzoraka na osnovu uzoraka predikcije, i generisanje toka bitova kodiranjem informacija o slici koje uključuju informacije o režimu predikcije generisane na osnovu režima predikcije, i rezidualne informacije generisane na osnovu rezidualnih uzoraka; i

predajnik konfigurisan za prenos podataka koji obuhvataju tok bitova,

pri čemu informacije o slici uključuju zastavicu o omogućenom kombinovanom spajanju interslike i predikciji intra-slike, CIIP, koja pokazuje da li je omogućeno CIIP, opštu zastavicu spajanja koja pokazuje da li su parametri inter predikcije za trenutni blok izvedeni iz susedne interprediktovane particije, i zastavicu preskakanja koja pokazuje da li je režim preskakanja primenjen na trenutnom bloku,

pri čemu informacije o slici uključuju zastavicu regularnog spajanja ako su svi od sledećih uslova tačni: vrednost zastavice o omogućenom CIIP jednaka je 1, vrednost opšte zastavice spajanja jednaka je 1, vrednost zastavice preskakanja jednaka je 0, proizvod visine trenutnog bloka i širine trenutnog bloka je veći od ili jednak 64, visina trenutnog bloka manja je od 128, i širina trenutnog bloka manja je od 128, pri čemu zastavica regularnog spajanja pokazuje da li je režim spajanja primenjen na trenutnom bloku, i

pri čemu vrednost zastavice regularnog spajanja koja je jednaka 1 pokazuje da je režim regularnog spajanja određen da bude režim predikcije trenutnog bloka.