RS64927B1 - Postupci za slanje ili prijem medijskih podataka - Google Patents

Description

Opis

[Oblast tehnike]

[0001] Ovaj opis se uopšteno odnosi na postupak i uređaj koji vrše prenos medijskog sadržaja za enkapsulaciju MPEG (Motion Picture Experts Group) MMT (Media Transport) resursa u ISO (International Organization for Standardization) osnovnim medijskim datotekama.

[Stanje tehnike]

[0002] MPEG (Motion Picture Experts Group) MMT (Media Transport) daje specifikaciju tehnologije za prenos kodiranih medijskih podataka za multimedijalne servise preko heterogenog Internet protokola (IP) u mrežnim okruženjima. Preneti kodirani medijski podaci sadrže i (i) audio-vizuelne medijske podatke za koje jedinice podataka imaju inherentni vremenski redosled (odnosno vremenski zavisni podaci) i (ii) druge tipove podataka koji nemaju inherentni vremenski redosled između svojih jedinica podataka (odnosno vremenski nezavisni podaci).

[Opis]

[Tehnički problem]

[0003] MMT je dizajniran pod pretpostavkom da se kodirani medijski podaci prosleđuju kroz mrežu za prenos podataka u paketima koja koristi Internet protokole kao što su na primer RTP (Realtime Transport Protocol), TCP (Transmission Control Protocol) i UDP (User Datagram Protocol).

[Tehničko rešenje]

[0004] Predmetni pronalazak opisuje postupak i uređaj u skladu sa zahtevima namenjen za enkapsulaciju MPEG (Motion Picture Experts Group) MMT (Media Transport) resursa u ISO (International Organization for Standardization) osnovnim medijskim datotekama.

[0005] Pre navođenja DETALJNOG OPISA u nastavku, može biti korisno da se iznesu definicije određenih reči i fraza koje se koriste u ovom patentnom dokumentu. Izrazi "uključuju" i "sadrže", kao i njihovi derivati, podrazumevaju uključivanje bez ograničenja. Termin "ili" je uključujući i znači i/ili. Fraza „povezan sa“, kao i njeni derivati, može značiti uključiti, biti uključen u, povezati se sa, sadržati, biti sadržan unutar, povezati se sa ili sa, povezati se sa ili nečim, biti u komunikaciji sa, sadejstvovati sa, preplitati, uporedo, biti blizak, biti vezan za ili sa, imati, imati karakteristiku, biti u vezi sa ili nečim, ili slično. Termin "kontroler" označava svaki uređaj, sistem ili njegov deo koji kontroliše najmanje jednu operaciju, a takav uređaj može biti implementiran kroz hardver ili kroz kombinaciju hardvera i softvera/firmvera. Potrebno je napomenuti da funkcionalnost povezana sa bilo kojim određenim kontrolerom može biti centralizovana ili distribuirana, bilo lokalno ili daljinski. Izraz „najmanje jedan od“, kada se koristi sa listom stavki, znači da se mogu koristiti različite kombinacije jedne ili većeg broja navedenih stavki i da samo jedna stavka sa liste može biti potrebna. Na primer „najmanje jedno od: A, B i C“ uključuje bilo koju od sledećih kombinacija: A, B, C, A i B, A i C, B i C, i A i B i C. Definicije za određene reči i fraze su date kroz čitav ovaj patentni dokument, a osobe sa uobičajenim poznavanjem ove oblasti tehnike bi trebalo da razumeju da se u mnogim, ako ne i u većini slučajeva, takve definicije primenjuju na prethodnu, kao i na buduću upotrebu tako definisanih reči i fraza.

[Opis slika nacrta]

[0006] Radi potpunijeg razumevanja predmetnog pronalaska i njegovih prednosti, tekst se sada poziva na sledeći opis dat u vezi sa pratećim slikama nacrta na kojima slične pozivne oznake predstavljaju slične delove:

Slika 1 ilustruje primer prenosa skalabilnog video sadržaja preko heterogene mreže sa različitim klijentima u skladu sa predmetnim pronalaskom;

Slika 2 ilustruje primer MMT uređaja u skladu sa predmetnim pronalaskom; Slika 3 ilustruje primere funkcionalnosti koje obezbeđuje MPEG (Motion Picture Experts Group) MMT (Media Transport) u skladu sa predmetnim pronalaskom;

Slika 4 ilustruje primer MMT enkapsulacije u skladu sa predmetnim pronalaskom;

Slika 5 ilustruje primer MMT enkapsulacije sa trakom informacija datom na nivou odbirka i trakom medija datom na nivou odbirka vremenski određenog medija u skladu sa predmetnim pronalaskom;

Slika 6 ilustruje primer MMT enkapsulacije medija koji ne uključuje vremenski određeni medij u skladu sa predmetnim pronalaskom; i

Slika 7 ilustruje primer postupka za prijem jedinica medijskih fragmenata (MFU - Media Fragment Unit) u skladu sa predmetnim pronalaskom.

[Najbolji režim]

[0007] Slike 1 do 7, o kojima se govori u nastavku, i različita izvođenja koja se koriste za opisivanje principa predmetnog pronalaska u ovom patentnom dokumentu su dati samo radi ilustracije i ne treba ih tumačiti kao ograničavajuće po pitanju obima pronalaska ni na koji način. Stručnjaci iz predmetne oblasti razumeju da se principi ovog pronalaska mogu primeniti u bilo kom pogodnom uređaju ili sistemu.

[0008] Slika 1 ilustruje primer prenosa skalabilnog video sadržaja preko heterogene mreže različitim klijentima u skladu sa predmetnim pronalaskom. Izvođenje koje je prikazano na slici 1 je dato samo kao ilustracija. Druga izvođenja se mogu koristiti bez odstupanja od obima predmetnog pronalaska.

[0009] Heterogena mreža 102 uključuje MPEG (Motion Picture Experts Group) MMT (Media Transport) server 104 koji pruža medijski sadržaj (kao što su slike, audio i video sadržaj) MMT klijentima 106-114. MMT server 104 i MMT klijenti 106-114 predstavljaju MMT uređaje i mogu se implementirati kao što je prikazano na SLICI 2 ili na bilo koji drugi pogodan način. MMT server 104 može da šalje video strimove 116 u punoj rezoluciji preko heterogene mreže 102 do MMT klijenata 106-114. MMT klijenti 106-114 primaju neke ili sve video strimove 116 u jednom ili većim brojem bitskih brzina 118-126 i u jednoj ili većem broju rezolucija 130-138 zasnovanih (između ostalog) na tipu konekcije na heterogenu mrežu 102 i tipu MMT klijenta. Tipovi i bitske brzine konekcija na heterogenu mrežu 102 mogu uključivati konekciju 128 velike bitske brzine na glavnu mrežu, konekciju 118 brzine 1000 megabita u sekundi (Mbps), konekciju 120 brzine 312 kilobita u sekundi (kbps), konekciju 122 brzine 1 Mbps, konekciju 124 brzine 4 Mbps, konekciju 126 brzine 2 Mbps i tako dalje. Rezolucije 130-138 mogu uključivati 1080 rezoluciju 130 sa progresivnim skeniranjem (1080p) pri 60 Herca (1080p@60Hz), rezoluciju 132 četvrtine uobičajenog srednjeg formata (QCIF) pri 10Hz, rezoluciju 134 standardne definicije (SD) pri 24Hz, 720 rezoluciju sa progresivnim skeniranjem (720p) pri 60Hz 136 i pri 30Hz 138 i tako dalje. Tipovi klijenata 106-114 mogu uključivati desktop računar 106, mobilni telefon 108, PDA uređaj 110 (personalni digitalni asistent), laptop 112 i tablet 114.

[0010] Medijski sadržaj, koji se takođe naziva MMT resurs, prosleđuje se putem MMT kontejnera od strane MMT servera 104 do MMT klijenata 106-114 kroz jednu ili veći broj MFU jedinica. MMT klijenti 106-114 mogu konzumirati MMT resurs, čak i kada MMT klijenti 106-114 ne primaju sve MFU jedinice. MMT kontejner identifikuje MFU jedinice koji su primljene i koje nisu primljene tako da MMT klijenti 106-114 mogu da prikažu MFU jedinice koje su primljene i ne prikazuju MFU jedinice koje nisu primljene.

[0011] Slika 2 ilustruje primer MMT uređaja 202 prema predmetnom pronalasku. Izvođenje MMT uređaja 202 koje je prikazano na slici 2 je dato samo kao ilustracija. Druga izvođenja MMT se takođe mogu koristiti bez odstupanja od obima predmetnog pronalaska.

[0012] MMT uređaj 202 sadrži antenu 205, radio-frekventni (RF) primopredajnik 210, kolo 215 za obradu pri slanju (TX), mikrofon 220 i kolo 225 za obradu pri prijemu (RX). MMT uređaj 202 takođe sadrži zvučnik 230, procesorsku jedinicu 240, ulazno/izlazni (I/O) interfejs 245 (IF), tastaturu 250, displej 255 i memoriju 260. MMT uređaj 202 može da sadrži bilo koji broj svake od navedenih komponenti.

[0013] Procesorska jedinica 240 sadrži kola za obradu koja su konfigurisana da izvršavaju instrukcije, kao što su na primer instrukcije koje se čuvaju u memoriji 260 ili interno unutar procesorske jedinice 240. Memorija 260 sadrži program osnovnog operativnog sistema 261 (OS) i jednu ili veći broj aplikacija 262. MMT uređaj 202 može predstavljati bilo koji pogodan uređaj koji koristi MMT, kao što je na primer MMT klijent 106-114 ili MMT server 104. Kod posebnih izvođenja MMT uređaj 202 predstavlja mobilni telefon, pametni telefon, personalni digitalni asistent ili tablet računar. MMT uređaj 202 šalje, prima ili prikazuje medijski sadržaj preko MMT-a.

[0014] RF primopredajnik 210 prima, od antene 205, dolazni RF signal koji emituje bazna stanica ili neki drugi uređaj u bežičnoj mreži. RF primopredajnik 210 konvertuje naniže dolazni RF signal kako bi proizveo signal prelazne frekvencije (IF) ili u osnovnom opsegu. IF signal ili signal u osnovnom opsegu se prosleđuje u kolo 225 za RX obradu koje proizvodi obrađeni signal u osnovnom opsegu (kao na primer filtriranjem, dekodiranjem i/ili digitalizacijom IF signala ili signala u osnovnom opsegu). Kolo 225 za RX obradu može da za zvučnik 230 obezbedi obrađeni signal u osnovnom opsegu (za glasovne podatke) ili za procesorsku jedinicu 240 radi dalje obrade (kao na primer za pretraživanje mreže ili druge podatke).

[0015] Kolo 215 za TX obradu od mikrofona 220 prima analogne ili digitalne glasovne podatke ili od procesorske jedinice 240 druge odlazne podatke u osnovnom opsegu (kao što su podaci sa mreže, e-pošta ili podaci o interaktivnim video igrama). Kolo 215 za TX obradu kodira, multipleksira i/ili digitalizuje odlazne podatke u osnovnom opsegu kako bi se proizveo obrađeni signal u osnovnom opsegu ili IF signal. RF primopredajnik 210 prima odlazni obrađeni signal u osnovnom opsegu ili IF signal iz kola 215 za TX obradu i konvertuje naviše signal u osnovnom opsegu ili IF signal u RF signal koji se emituje preko antene 205.

[0016] Prema nekim izvođenjima procesorska jedinica 240 sadrži centralnu procesorsku jedinicu 242 (CPU) i grafičku procesorsku jedinicu 244 (GPU) realizovanu kroz jedan ili više diskretnih uređaja. Prema nekim izvođenjima CPU 242 i GPU 244 su implementirani kao jedno ili veći broj integrisanih kola raspoređenih na jednoj ili većem broju štampanih ploča. Memorija 260 je povezana sa procesorskom jedinicom 240. Prema nekim izvođenjima deo memorije 260 predstavlja memoriju sa slučajnim pristupom (RAM), dok drugi deo memorije 260 predstavlja fleš memoriju koja služi samo kao memorija za čitanje (ROM).

[0017] Prema nekim izvođenjima memorija 260 je medijum koji se može očitati od strane računa na kojem se čuvaju programske instrukcije za prenos medijskog sadržaja preko MMT. Kada se programske instrukcije izvršavaju od strane procesorske jedinice 240, programske instrukcije dovode do toga da jedna ili veći broj procesorskih jedinica 240, CPU 242 i GPU 244 izvršavaju različite funkcije i programe u skladu sa realizacijama predmetnog pronalaska.

[0018] Procesorska jedinica 240 izvršava osnovni OS program 261 koji se čuva u memoriji 260 kako bi kontrolisala sveukupni rad MMT uređaja 202. Na primer, procesorska jedinica 240 može da kontroliše RF primopredajnik 210, kolo 225 za RX obradu i kolo 215 za TX obradu u skladu sa dobro poznatim principima za kontrolu prijema signala sa dolaznog kanala i slanja signala preko povratnog kanala.

[0019] Procesorska jedinica 240 je takođe sposobna da izvršava i druge procese i programe koji se nalaze u memoriji 260, kao što su na primer operacije za identifikaciju MFU lokacija pomoću informacione trake kao što će biti detaljnije opisano u nastavku. Procesorska jedinica 240 takođe može da premešta podatke u ili iz memorije 260 kako to zahteva izvršni proces. Prema nekim izvođenjima procesorska jedinica 240 je konfigurisana da izvršava veći broj aplikacija 262. Procesorska jedinica 240 može da upravlja aplikacijama 262 na osnovu OS programa 261 ili kao odgovor na signal koji je primljen od bazne stanice. Procesorska jedinica 240 je povezana sa I/O interfejsom 245 koji obezbeđuje MMT uređaju 202 mogućnost povezivanja sa drugim uređajima, kao što su laptop računari, ručni računari i serverski računari. I/O interfejs 245 je put komunikacije između ovih dodataka i procesorske jedinice 240.

[0020] Procesorska obradu 240 je takođe opciono povezana sa tastaturom 250 i jedinicom 255 za prikaz. Operater MMT uređaja 202 koristi tastaturu 250 kako bi uneo podatke u MMT uređaj 202. Jedinica 255 za prikaz može biti displej sa tečnim kristalima, ekran sa LED diodama ili neki drugi ekran koji može da prikaže tekst i/ili bar ograničenu grafiku sa mrežnih lokacija. Alternativna izvođenja mogu koristiti i druge tipove ulazno/izlaznih uređaja i displeja.

[0021] Za efikasnu i efektivnu isporuku kodiranih medijskih podataka preko heterogenih mrežnih okruženja koja koriste Internet protokol (IP), MMT obezbeđuje sledeće elemente:

- logički model za konstruisanje sadržaja sastavljenog od različitih komponenti za mešane aplikacije;

- strukturu podataka koja prenosi informacije o kodiranim medijskim podacima za obradu na strani sloja za slanje, kao što je paketizacija i adaptacija;

- postupak paketizacije i strukturu paketa za prenos medijskog sadržaja agnostičkog po pitanju specifične vrste medija ili korišćenog postupka kodiranja preko TCP ili UDP protokola, uključujući i hibridnu isporuku;

- format signalnih poruka za upravljanje prezentacijom i prenosom medijskog sadržaja;

- format signalnih poruka za upravljanje prezentacijom i prenosom medijskog sadržaja; i

- format informacija koje se razmenjuju kroz slojeve kako bi se olakšala poprečna komunikacija kroz slojeve.

[0022] Slika 3 ilustruje primere funkcionalnosti koje obezbeđuje MMT u skladu sa predmetnim pronalaskom. Izvođenje koje je prikazano na SLICI 3 je dato samo kao ilustracija. Mogu se koristiti i druga izvođenja bez odstupanja od obima predmetnog pronalaska.

[0023] Funkcionalnosti koje obezbeđuje MMT su kategorizovane u tri funkcionalne oblasti, odnosno u enkapsulacioni sloj 302, prenosni sloj 304 i signalizacioni sloj 306. Enkapsulacioni sloj 302 definiše logičku strukturu medijskog sadržaja, MMT paketa i formata jedinica podataka koje će obraditi entitet koji je u saglasnosti sa MMT. MMT paket uključuje jednu ili veći broj komponenti koje imaju medijski sadržaj i opise odnosa između komponenti kako bi se obezbedile informacije za prenosni sloj 304 ispod radi adaptivnog rada. Format jedinica podataka je definisan tako da enkapsulira kodirane medijske podatke medijskog sadržaja koji se čuvaju ili prenose kao korisni sadržaj u protokolu za prenos i da se lako konvertuje između različitih protokola za prenos.

[0024] Prenosni sloj 304 definiše protokol aplikativnog sloja i format korisnog sadržaja. Protokol aplikativnog sloja pruža poboljšane karakteristike, kao što je multipleksiranje, za prenos kodiranih medijskih podataka u poređenju sa konvencionalnim protokolima aplikativnog sloja za prenos medijskog sadržaja (koji se takođe naziva i "multimedija"). Format korisnog sadržaja je definisan tako da prenosi kodirane medijske podatke nezavisno od specifičnog tipa medija ili postupka kodiranja.

[0025] Signalizacioni sloj 306 definiše format poruka za upravljanje prenosom i konzumacijom MMT paketa. Poruke za upravljanje konzumacijom se koriste da signaliziraju strukturu MMT paketa. Poruke za upravljanje prenosom se koriste da signaliziraju strukturu formata korisnog sadržaja i konfiguraciju protokola.

[0026] Enkapsulacioni sloj 302 definiše logičku strukturu i instanciranje MMT paketa unutar osnovnog formata medijske datoteke (ISOBMFF – International Organization for Standardization Base Media File Format) radi distribuiranog čuvanja i adaptivnog prenosa od strane mrežnog entiteta. Ovde MMT paket predstavlja logički entitet koji agregira kodirane medijske podatke medijskog sadržaja (drugim rečima MMT resurse) i informacije za obradu na prenosnom sloju. MMT resurs predstavlja logičku strukturu koja nosi kodirane medijske podatke. MMT resursi mogu zajedno da upućuju na određeni broj MPU jedinica sa istom identifikacijom MMT resursa (ID).

[0027] Bilo koji tip podataka koji može pojedinačno da se koristi od strane entiteta koji je direktno povezan sa MMT klijentom je zasebni MMT resurs. Ovo uključuje ne samo kodirane medijske podatke koji se mogu dekodirati jednim medijskim kodekom, već i druge vrste podataka koji su već multipleksirani. MPU jedinice obezbeđuju informacije o medijskim podacima za adaptivnu paketizaciju u skladu sa ograničenjima veličine paketa osnovnog prenosnog sloja, kao što su granice i veličine malih fragmenata podataka koji se prenose kroz MPU jedinice. Takvi mali fragmenti su poznati kao MFU jedinice (Media Fragment Units). Ovo omogućava entitetu prenosnog sloja ispod da vrši dinamičku paketizaciju MPU jedinica adaptivno na osnovu veličine maksimalne jedinice prenosa prenosnog sloja 304. MFU jedinice nose male fragmente kodiranih medijskih podataka gde takvi fragmenti mogu biti nezavisno dekodirani ili odbačeni, kao što je npr. NAL jedinica (Network Abstraction Layer) AVC (Advanced Video Coding) bit strima.

[0028] Format MMT enkapsulacije koji je instanciran sa ISOBMFF uključuje nekoliko karakteristika za ispravno hvatanje logičke strukture MMT paketa i ostvarivanje MMT ciljeva i prednosti koje uključuju:

- kompatibilnost unazad u smislu da MMT enkapsulacija ponovo koristi ISOBMFF što je moguće više i da ISOBMFF parsira i pristupa/izdvaja medijske podatke iz datoteke u kojoj se čuva MMT paket;

- otpornost na greške za ispravno oporavljanje početne strukture čak i u slučaju nedostajućih MFU jedinica;

- eksterno adresiranje za efikasno lociranje i adresiranje MPU jedinica nezavisno od slojeva iznad i entiteta za prenos bez specifične lokacije MPU jedinica;

- podrška za jedinstvenu strukturu za čuvanje i prenos vremenski zavisnih i vremenski nezavisnih podataka;

- lak pristup MPU jedinicama i MFU jedinicama radi lakog izdvajanja metapodataka MPU jedinice i MFU jedinica radi adaptivnog paketizovanog prenosa i omogućavanje lake konverzije između formata za čuvanje i formata za prenos, idealno sa formatom za čuvanje koji je jednak formatu za prenos; - podrška za enkapsulaciju nasleđenih (tzv. legacy) formata podataka, kao što je MPEG-2 transportni strim (TS); i

- niska redundantnost.

[0029] Prethodni MMT dizajni imaju nekoliko poznatih problema, uključujući:

- prisustvo MFU „kutije“ za svaku MFU jedinicu u strimu, što rezultuje velikom količinom MFU kutija i veoma značajnim uvećanjem dužine (kao što je veličina MFU kutije od 100 bajtova i NAL veličina od 1.000 bajtova, što dovodi do uvećanja od 10%);

- MFU kutija se referencira na medijske podatke u njoj, ograničavajući fleksibilnost u pogledu pakovanja medijskog sadržaja kroz prenosni sloj;

- format za čuvanje se razlikuje od formata za prenos, a format za prenos nije jasno definisan; i

- medijski podaci koji nisu vremenski zavisni se čuvaju na način koji nije unazad kompatibilan.

[0030] Pored toga, IOSBMFF ne nudi različite karakteristike koje poseduje MMT, uključujući:

- nezavisno adresiranje ili konzumaciju fragmenata filma;

- pravilno parsiranje i konzumaciju fragmenta filma ukoliko nedostaju delovi ili paketi u toku paketnog prenosa; i

- opšta upotreba informacionih traka za podršku paketizaciji koja je adaptivna po pitanju veličine maksimalne jedinice prenosa (MTU) osnovne mreže za isporuku.

[0031] Izvođenja predmetnog pronalaska enkapsuliraju MMT sadržaj unutar ISOBMFF definisanjem informacione trake za strukturu MFU jedinice. Svaka MFU jedinica je opisana u informacionom odbirku MMT informacione trake. Informacioni odbirak MMT informacione trake odgovara zaglavlju MFU jedinice koje se koristi za prenos MFU jedinica. MMT informacioni odbirak nosi informacije o lokaciji odgovarajućih medijskih podataka. MMT uređaj koristi ove informacije, zajedno sa rednim brojem MFU jedinice, rednim brojem MPU jedinice i identifikatorom resursa, da rekonstruiše inicijalu strukturu MMT resursa dok ispravno identifikuje MFU jedinice koji nedostaju u prenosu.

[0032] Prema nekim izvođenjima MMT informacioni odbirci su ekvivalentni zaglavljima Fragmentacionih Jedinica MMT, kao što je ilustrovano i opisano u vezi sa slikom 4. Neka izvođenja takođe mogu imati odbirke MMT informacione trake i odbirke MMT medijske trake koji su prepleteni na nivou odbirka, kao što je slučaj na primer kada je svaka MFU jedinica jedan odbirak i svaki deo uključuje jedan odibirak i u informacionoj traci i u medijskoj traci, kao što je ilustrovano i opisano u vezi sa slikama 5 i 6.

[0033] Slika 4 ilustruje primer MMT enkapsulacije prema predmetnom pronalasku. Izvođenje koje je prikazano na slici 4 je dato samo kao ilustracija. Druga izvođenja se takođe mogu koristiti bez odstupanja od obima predmetnog pronalaska.

[0034] Kao što je prikazano na slici 4, MMT resurs 402 (mast) i MPU kutija 404 (mmpu) su razgraničeni zasebnim kutijama. Ove kutije olakšavaju eksternu adresabilnost. Format za čuvanje koji je ovde prikazan se razlikuje od formata za prenos, a MMT server koristi MMT informacionu traku 406 kako bi konvertovao format za čuvanje u format za prenos u toku izvođenja paketizacije. MMT server čuva vremenski zavisni medij kao traku ISOBMFF, koji sadrži jednu medijsku traku 408. MMT server čuva vremenski nezavisni medij kao deo meta-podataka u ISOBMFF.

[0035] Medijska traka 408 ISOBMFF je indeksirana preko "moov" kutije 410 na način koji je potpunosti kompatibilan unazad. MPU kutija 404 se završava na kraju datoteke ili pre početka sledeće MPU jedinice kako bi se implicitno ukazalo na granice MPU jedinice i omogućila veća fleksibilnost u uređivanju, snimanju i inkrementalnom generisanju živog sadržaja. Prema nekim izvođenjima medijska traka 408 ISOBMFF je indeksirana "moof" kutijom (kao što je moof kutija 502 sa slike 5).

[0036] MMT informaciona traka 406 vodi entitet prenosnog sloja, kao što su na primer MMT server 104 ili MMT klijenti 106-114, u konverziji uskladištenog MMT resursa 402 u paketizovani medijski strim. Paketizovani medijski strim prenosi MMT server MMT klijentu koristeći MMT protokol (MMTP) kao protokol prenosa.

[0037] MMT informaciona traka 408 obezbeđuje entitetu koji generiše pakete za prenos, kao što je na primer MMT server 104, informacije o lokaciji MFU jedinica iz MPU jedinice radi adaptivne paketizacije i donošenja odluka o prenosu. Odluke o paketizaciji i prenosu uključuju statističko multipleksiranje i izbacivanje pojedinih MFU jedinice kako bi se izborilo sa trenutnim zagušenjem mreže. Medijski podaci MMT resursa unutar MMT kontejnera se ekstrahuju zajedno sa MMT informacionim odbircima kako bi se generisali MMT paketi. Jedan ili veći broj MFU jedinica se tada može koristiti za konstruisanje jednog MMTP paketa. U skladu sa tim formati za čuvanje nisu u potpunosti isti kao format za prenos, što zahteva aktivan mrežni entitet koji je u stanju da u hodu izdvoji i enkapsulira medijske podatke kako bi konstruisao MMTP pakete. Medijski podaci mogu biti sačuvani na takav način da entitet koji je u saglasnosti sa ISOBMFF može parsirati medijske podatke.

[0038] MMT informaciona traka 406 pruža informacije o MFU jedinicama za mrežne entitete radi generisanja MMT paketa. Ukoliko nije potrebna dalja fragmentacija MPU jedinica radi prenosa, informaciona traka 406 može biti u potpunosti izostavljena.

[0039] Prema nekim izvođenjima MMT informacione trake (kao što je informaciona traka 406) su informacione trake sa formatom unosa u opisu odbirka "mmth" i mogu se definisati, na primer, kao:

aligned(8) class MMTHintSampleEntry() extends

SampleEntry(’mmtp’ {

unsigned int(16) hinttrackversion = 1;

unsigned int(16) highestcompatibleversion = 1;

unsigned int(1) has_mfus_flag;

unsigned int(1) is_timed;

unsigned int(6) reserved;

MMTAsset asset;

}

[0040] Format opisa odbirka koji je prikazan iznad je dat samo radi ilustracije. Mogu se koristiti i drugačija izvođenja bez odstupanja od obima predmetnog pronalaska. Semantika opisa formata odbirka datog iznad uključuje:

- has_mfus_flag: označava da li MPU jedinice pružaju informacije o MFU jednicama, da li informaciona traka obezbeđuje kompletne MPU jedinice tako da svaka MFU jedinica koja je identifikovana od strane informacione trake može imati jedan odbirak kada MPU jedinice ne obezbeđuju informacije o MFU jedinicama, i da li se svaki odbirak informacione trake odnosi na MFU jedinicu kada MPU jedinice obezbeđuju informacije o MFU jedinicama; i

- is_timed: označava da li je medij koji je opisan ovom trakom vremenski zavisan ili nije.

[0041] Svaki medijski odbirak je pridružen jednoj ili većem broju MFU jedinica. Svaki odbirak informacione trake može da generiše jednu ili veći broj MFU jedinica koje mogu da koriste sledeću sintaksu:

aligned(8) class MMTHSample {

unsigned int(32) sequence_number;

if (is_timed) {

signed int(8) trackrefindex;

unsigned int(32) samplenumber;

unsigned int(16) offset;

unsigned int(32) length;

} else {

unsigned int(16) item_ID;

}

unsigned int(1) mfu_lost_flag;

unsigned int(7) reserved;

}

[0042] Format odbirka koji je prikazan iznad je dat samo kao ilustracija. Moguće je korišćenje i drugih izvođenja bez odstupanja od obima predmetnog pronalaska. Sintaksa formata odbirka datog iznad uključuje:

- sequence_number je redni broj koji je dodeljen ovoj MFU jedinici;

- trackrefindex je identifikacija medijske trake is koje se ekstrahuju MFU podaci; - samplenumber je redni broj koji je dodeljen odbirku iz kojeg je ekstrahovana ova MFU jedinica;

- item_ID se odnosi na stavku koja gradi ovu MFU jedinicu za vremenski nezavisne medijske podatke;

- ofset daje ofset tj. pomeraj medijskih podataka, a osnova za pomeraj je početak "mdat" kutije koja sadrži odbirak;

- length daje dužinu MFU jedinice u bajtovima; i

- mfu_lost_flag označava da li je MFU jedinica izgubljena, kao na primer da li nedostaju odgovarajući medijski podaci ili ne.

[0043] Slika 5 ilustruje primer MMT enkapsulacije sa informacionom trakom na nivou odbirka i medijskom trakom na nivou odbirka vremenski zavisnog medija u skladu sa predmetnim pronalaskom. Izvođenje koje je prikazano na slici 5 je dato samo kao ilustracija. Moguće je korišćenje i drugih izvođenja bez odstupanja od obima predmetnog pronalaska.

[0044] U preplitanju zasnovanom na odbircima za prenos odbiraka, format za prenos odgovara formatu korisnog MMT sadržaja i uključuje zaglavlje MFU jedinice i medijske podatke MFU jedinice. Zaglavlje MFU jedinice je kopija informacionog odbirka što olakšava kreiranje korisnog MMTP sadržaja i paketa.

[0045] Na slici 5 se informaciona traka 504 i medijska traka 506 prepliću na nivou odbirka unutar "moof" kutije 502 MMT kontejnera 508. Ovo rezultuje jednim odbirkom po komadu i jednostavnim procesom paketizacije. MMT kontejner 508 takođe uključuje "mast" kutiju 510, "moov" kutiju 512, "mmpu" kutiju 514, "moof" kutije 502 i 518, i "mdat" kutije 516 i 520. Moof kutije 502 i 518 uključuju informacione trake 504 i 522 i medijske trake 506 i 524 MMT. mdat kutije 516 i 520 uključuju jednu ili veći broj MFU jedinica 522. MFU jedinice 522 uključuju MFU zaglavlja 524 i korisni sadržaj 526. Svako MFU zaglavlje 524 uključuje MFU broj sekvence i opciono sadrži mfu_lost_flag.

[0046] Slika 6 ilustruje primer MMT enkapsulacije medija koji ne uključuje vremenski zavisan medij u skladu sa predmetnim pronalaskom. Izvođenje koje je prikazano na slici 6 je dato samo kao ilustracija. Moguće je korišćenje i drugih izvođenja bez odstupanja od obima predmetnog pronalaska.

[0047] Na slici 6 je informaciona traka 602 unutar "moov" kutije 604 MMT kontejnera 606. MMT kontejner 606 uključuje "mast" kutiju 610, "moov" kutiju 604, "mmpu" kutiju 614, "meta" kutiju 632 i "mdat" kutiju 620. Moov kutija 604 uključuje MMT informacionu traku 602. Meta kutija 632 uključuje "hdlr" kutiju 602, "iloc" kutiju 630 i "iinf" kutiju 628. Mdat kutija 620 uključuje jednu ili veći broj MFU jedinica 622, od kojih svaka uključuje MFU zaglavlje 624 i korisni sadržaj 626.

[0048] Slika 7 ilustruje primer postupka za prijem MFU jedinica u skladu sa predmetnim pronalaskom. Postupak koji je prikazan na Slici 7 se može implementirati na bilo koji pogodan način, kao što je pomoću kola za obradu podataka u MMT serveru 104, MMT klijentu 106-114 ili nekom drugom uređaju.

[0049] U bloku 702 MMT uređaj, kao što je na primer MMT server 104 ili klijent 106-114, prima MFU jedinicu MMT kontejnera. MFU jedinica je jedna od jedne ili većeg broja MFU jedinica koji se koriste za prenos medijskog sadržaja sadržanog u MMT kontejneru. U bloku 704 MMT uređaj deli MFU jedinicu na zaglavlje MFU jedinice i medijske podatke MFU jedinice. U bloku 706 MMT uređaj koristi meta-podatke MPU jedinice i redni broj MFU jedinice iz zaglavlja MFU jedinice kako bi locirao informacioni odbirak MFU jedinice u MMT kontejneru. Prema nekim izvođenjima MMT uređaj pasira zaglavlje MFU jedinice, što odgovara informacionom odbirku MFU jedinice.

[0050] U bloku 708 MMT uređaj određuje da li medijski sadržaj MMT kontejnera uključuje vremenski zavisan medij. Ukoliko medijski sadržaj uključuje vremenski zavisan medij, postupak se nastavlja u bloku 710. Ukoliko medijski sadržaj ne uključuje vremenski zavisan medij, postupak se nastavlja u bloku 712. U bloku 710 MMT uređaj koristi meta-podatke MPU jedinice i informacije odbirka MFU jedinice da locira medijske podatke MFU jedinice iz MFU jedinice primljene u MMT kontejneru. Postupak se zatim nastavlja u bloku 714. U bloku 712 MMT uređaj koristi meta-podatke MPU jedinice i identifikator stavke kako bi locirao medijske podatke u MMT kontejneru. Postupak se zatim nastavlja u bloku 714.

[0051] U bloku 714 MMT uređaj označava nedostajuće MFU jedinice u metapodacima MPU jedinice u MMT kontejneru. Prema nekim izvođenjima nedostajuće MFU jedinice se obeležavaju korišćenjem mfu_lost_flag vrednosti za svaku MFU jedinicu u okviru „mdat“ kutije MMT kontejnera.

[0052] Ukoliko MMT resurs uključuje vremenski zavisan medijum, u toku obrade MMT uređaj postavlja MMT informacioni odbirak u ispravan položaj unutar MMT kontejnera. Ovo postavljanje je zasnovano na rednom broju MFU jedinice, što se prevodi u broj odbirka u informacionom odbirku. MMT uređaj takođe koristi informacije o odbirku i ofsetu u zaglavlju MFU jedinice, zajedno sa tabelama odbiraka medijske trake (kao što su „stco“ „stsz“ i „stsc“ tabele ili „trun“ tabela) kako bi locirao položaj medijskih podataka u MMT kontejneru. Ukoliko tokom prenosa nedostaju MFU jedinice, odgovarajuća oblast u MMT kontejneru ostaje prazna. Pri tome MMT uređaj može za MFU jedinice da bezbedno locira podatke koji su ispravno primljeni i preskoči MFU jedinice koje nedostaju u prenosu.

[0053] Iako su na slikama i u prethodnom opisu prikazane različite karakteristike, na slikama se mogu izvršiti različite izmene. Na primer, veličina, oblik, postavka i razmeštaj komponenti koje su prikazane na slikama dati su samo radi ilustracije. Svaka komponenta može imati bilo koju odgovarajuću veličinu, oblik i dimenzije, a veći broj komponenti može imati bilo koju odgovarajuću postavku i razmeštaj. Takođe, različite komponente na slikama se mogu kombinovati, dalje podeliti ili izostaviti, a dodatne komponente se mogu uvesti prema posebnim potrebama. Dalje, svaka komponenta u uređaju ili sistemu može biti implementirana korišćenjem bilo koje strukture (jedne ili više njih) pogodne za izvršavanje opisane funkcije (jedne ili više njih). Pored toga, dok slika 7 ilustruje različite nizove koraka, različiti koraci na slici 7 se mogu preklapati, odvijati paralelno, dešavati više puta ili dešavati se prema različitom redosledu.

[0054] Dok je predmetni dokument opisao određena izvođenja i generalno povezane postupke, stručnjacima iz predmetne oblasti će biti očigledne promene i permutacije ovih izvođenja i postupaka. U skladu sa tim, prethodni opis primera izvođenja ne definiše niti ograničava predmetni pronalazak. Takođe su moguće i druge promene, izmene i modifikacije bez odstupanja od sledećih zahteva.

Claims (10)

PATENTNI ZAHTEVI

1. Postupak za prenos medijskih podataka, od strane entiteta na strani slanja u MPEG MMT (Media Transport) sistemu, gde postupak sadrži:

identifikaciju najmanje jedne jedinice za obradu medija, MPU, pri čemu svaka od najmanje jedne MPU jedinice uključuje najmanje jednu jedinicu medijskog fragmenta, MFU;

konfigurisanje korisnog sadržaja koji uključuje medijske podatke prve MFU jedinice od najmanje jedne MFU jedinice; i

prenos paketa koji uključuje konfigurisani korisni sadržaj do entiteta na strani prijema,

pri čemu, u slučaju da su medijski podaci prve MFU jedinice vremenski zavisni medijski podaci, korisni sadržaj uključuje informaciju o broju odbirka koja ukazuje na broj odbirka kojem pripadaju medijski podaci prve MFU jedinice i informaciju o ofsetu koja ukazuje na pomeraj medijskih podataka prve MFU jedinice u odbirku, i

pri čemu odgovarajuća MFU jedinica u zaglavlju MFU jedinice sadrži informacioni odbirak MMT informacione trake koji se odnosi na medijske podatke odgovarajuće MFU jedinice, gde informacioni odbirak uključuje informacije o rednom broju koje ukazuju na redni broj odgovarajuće MFU jedinice.

2. Postupak prema zahtevu 1, pri čemu u slučaju da su medijski podaci prve MFU jedinice vremenski nezavisni medijski podaci, korisni sadržaj uključuje informacije o identifikaciji stavke koje ukazuju na identifikator stavke koja je pridružena prvoj MFU jedinici.

3. Postupak prema zahtevu 1, pri čemu informacija o ofsetu ukazuje na početnu poziciju medijskih podataka prve MFU jedinice u odbirku.

4. Postupak prema zahtevu 1, pri čemu korisni sadržaj dalje uključuje informacije koje ukazuju na dužinu u bajtovima koja odgovaraju prvoj MFU jedinici.

5. Postupak prema zahtevu 1, pri čemu korisni sadržaj dalje sadrži indikator koji ukazuje da li su medijski podaci prve MFU jedinice vremenski zavisni medijski podaci ili vremenski nezavisni medijski podaci.

6. Postupak za prijem medijskih podataka, od strane entiteta na strani prijema u MPEG MMT (Media Transport) sistemu, gde postupak sadrži:

prijem paketa koji uključuje korisni sadržaj od entiteta na strani slanja, gde korisni sadržaj uključuje medijske podatke prve MFU jedinice od najmanje jedne jedinice medijskog fragmenta, MFU, u jedinici za obradu medija, MPU; i

dobijanje prve MFU jedinice iz paketa,

pri čemu, u slučaju da su medijski podaci prve MFU jedinice vremenski zavisni medijski podaci, korisni sadržaj uključuje informaciju o broju odbirka koja ukazuje na broj odbirka kojem pripadaju medijski podaci prve MFU jedinice i informaciju o ofsetu koja ukazuje na pomeraj medijskih podataka prve MFU jedinice u odbirku,

pri čemu odgovarajuća MFU jedinica u zaglavlju MFU jedinice sadrži informacioni odbirak MMT informacione trake koji se odnosi na medijske podatke odgovarajuće MFU jedinice, gde informacioni odbirak uključuje informacije o rednom broju koje ukazuju na redni broj odgovarajuće MFU jedinice.

7. Postupak prema zahtevu 6, pri čemu u slučaju da su medijski podaci prve MFU jedinice vremenski nezavisni medijski podaci, korisni sadržaj uključuje informacije o identifikaciji stavke koje ukazuju na identifikator stavke koja je pridružena prvoj MFU jedinici.

8. Postupak prema zahtevu 6, pri čemu informacija o ofsetu ukazuje na početnu poziciju medijskih podataka prve MFU jedinice u odbirku.

9. Postupak prema zahtevu 6, pri čemu korisni sadržaj dalje uključuje informacije koje ukazuju na dužinu u bajtovima koja odgovaraju prvoj MFU jedinici.

10. Postupak prema zahtevu 6, pri čemu korisni sadržaj dalje sadrži indikator koji ukazuje da li su medijski podaci prve MFU jedinice vremenski zavisni medijski podaci ili vremenski nezavisni medijski podaci.