Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6516766B2 - 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム - Google Patents
[go: Go Back, main page]

JP6516766B2 - 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム - Google Patents

分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム Download PDF

Info

Publication number
JP6516766B2
JP6516766B2 JP2016557148A JP2016557148A JP6516766B2 JP 6516766 B2 JP6516766 B2 JP 6516766B2 JP 2016557148 A JP2016557148 A JP 2016557148A JP 2016557148 A JP2016557148 A JP 2016557148A JP 6516766 B2 JP6516766 B2 JP 6516766B2
Authority
JP
Japan
Prior art keywords
representation
data
media
video
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016557148A
Other languages
English (en)
Other versions
JP2017515336A (ja
JP2017515336A5 (ja
Inventor
マゼ フレデリック
マゼ フレデリック
ドゥヌアル フランク
ドゥヌアル フランク
コンコラト シリル
コンコラト シリル
ル フェーブル ジャン
ル フェーブル ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017515336A publication Critical patent/JP2017515336A/ja
Publication of JP2017515336A5 publication Critical patent/JP2017515336A5/ja
Application granted granted Critical
Publication of JP6516766B2 publication Critical patent/JP6516766B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、一般的には、通信ネットワーク、たとえば、インターネットプロトコル(IP)規格に適合する通信ネットワークを介したタイムドメディアデータストリーミングの分野に関する。より詳細には、本発明は、分割タイムドメディアデータのストリーミング、特に、ハイパーテキスト転送プロトコル(HTTP)を使用したIPネットワークを介したタイル化タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラムに関する。
ビデオコード化は、一連のビデオ画像を、ビデオ画像を送信または記憶することができるようにコンパクトなデジタル化ビットストリームに変換する方法である。符号化デバイスが使用されてビデオ画像がコード化され、関連する復号デバイスが、表示および閲覧のためにビットストリームを再構築するために利用可能である。一般的な目的は、元のビデオ情報よりもサイズが小さくなるように、ビットストリームを形成することである。これによって、ビットストリームコードを送信または記憶するために必要とされる、伝送ネットワークまたは記憶デバイスの容量が低減される利点がある。送信するために、ビデオビットストリームは一般的には、ヘッダおよびチェックビットを一般的には追加する送信プロトコルに従ってカプセル化される。
通信ネットワークを介したメディアデータのストリーミングは、一般的に、メディアプレゼンテーションを表すデータが、サーバと称されるホストコンピュータによって、通信ネットワークを介して、クライアントデバイスと称される再生デバイスに提供されることを意味する。クライアントデバイスは、一般的には、デスクトップパーソナルコンピュータ(PC)、タブレットPC、ノートブックまたはポータブルコンピュータ、セルラ電話、無線手持ち式デバイス、携帯情報端末(PDA)、ゲーミングコンソールなどのような、様々な従来のコンピューティングデバイスのいずれかとして実装されるメディア再生コンピュータである。クライアントデバイスは、一般的に、ストリーミングされるコンテンツを、(ファイル全体が配信されるのを待つのではなく)ホストから受信されるときにレンダリングする。
メディアプレゼンテーションは、一般的に、クライアントデバイスによって一緒に再生されるようにするために、サーバからクライアントデバイスに送信することができる、オーディオ、ビデオ、テキスト、および/またはサブタイトルのようないくつかのメディアコンポーネントを含む。それらのメディアコンポーネントは一般的に、別個のメディアストリームに個々に符号化され、次に、それらは、一緒にまたは個々にのいずれかで複数のメディアセグメントにカプセル化され、クライアントデバイスによって一緒に再生されるようにするために、サーバからクライアントデバイスに送信される。
一般的な方法では、クライアントデバイスが1つのバージョンをその特性(たとえば、分解能、計算能力、および帯域幅)として選択することができるように、同じメディアコンポーネントのいくつかのバージョンにアクセスすることを目的とする。既存の独占所有権のあるソリューションによれば、代替的なバージョンの各々が記述され、メディアデータが小さい時間セグメントにセグメント化される。
HTTPを介した動的適応型ストリーミングの文脈において、DASH(HTTPを介した動的適応型ストリーミング)と呼ばれる新たな規格が、MPEG標準化委員会から出現している(「ISO/IEC 23009−1、HTTPを介した動的適応型ストリーミング(DASH)、パート1:メディアプレゼンテーション記述およびセグメントフォーマット」)。この規格は、メディアプレゼンテーションのメディアコンテンツのコンパクトな記述の、HTTPユニフォームリソースロケイション(URL)との関連付けを可能にする。そのような関連付けは一般的に、マニフェストファイルまたは記述ファイルと呼ばれるファイル内に記述される。DASHの文脈において、このマニフェストファイルは、MPDファイル(メディアプレゼンテーション記述)とも呼ばれるXMLファイルである。
MPDファイルを受信することによって、クライアントデバイスは、各メディアコンテンツコンポーネントの記述を得る。したがって、クライアントデバイスは、メディアプレゼンテーションにおいて提示されているメディアコンテンツコンポーネントの種類を知っており、関連付けられたメディアセグメントをダウンロードするために使用されるべきHTTP URLが分かる。それゆえ、クライアントデバイスは、いずれのメディアコンテンツコンポーネントを(HTTP要求を介して)ダウンロードし、再生(すなわち、メディアセグメントの受信後に復号および再生)すべきかを決定することができる。
そのような関連付けに加えて、DASH規格は、各メディアコンテンツを、期間の関数として分割することを提案している。時間分解は、MPDファイル内に記述される。したがって、後者は、各期間にわたるメディアコンテンツからの各コンポーネントのHTTP URLとコンパクトな記述との間の関連付けを定義する。各メディアコンテンツコンポーネントは、これらの期間に対応する複数の独立したメディアセグメントにカプセル化することができる。
この規格は、クライアントが、所望の期間にわたるメディアプレゼンテーションの所望のメディアコンテンツコンポーネントをダウンロードすることを可能にする。
MPEG DASHにおいてメディアセグメント内のメディアコンテンツコンポーネントをストリーミングするために使用されるカプセル化ファイルフォーマットは、MPEG標準化活動の文脈において定義されているISOベースメディアファイルフォーマットに適合し得る。特に、カプセル化ファイルフォーマットは、特に関心領域(ROI)に対して、より一般的に圧縮ビデオにおける空間アクセスのために高効率ビデオコード化(HEVC)タイルを使用するときの、HEVC、および、ISOベースメディアファイルフォーマットにおけるそのスケーラブルな拡張(ISO/IEC14496 パート15)のカプセル化の標準化に関係し得る。
タイル組成に依拠する関心領域の抽出/ストリーミングおよび表示は、たとえば、ユーザが、ビデオシーケンス内の特定の領域をクリックして、特定の選択された領域のより分解能の高いビデオを得ることを可能にすることによって、ストリーミング中にインタラクティブな高品質のズームイン機能を有効にするために特に有用であることも留意されるべきである。
ビデオ分解能は、標準精細度(SD)から高精細度(HD)、および超高精細度(たとえば、4K2Kまたは8K4K)へと向かって絶えず増大していることが想起されるべきである。ビデオシーケンスは、単層(たとえば、HEVC)または多層(たとえば、スケーラブルHEVC)コード化規格のいずれかを使用して符号化することができる。多層コード化フォーマットの場合、ある所与の層を、1つまたは複数の他の層に対する基準データとして使用することができる。階層ビデオ編成は、各コンポーネントが異なるスケーラビリティレベルにあるビデオ層を表す、複数の従属するメディアコンテンツコンポーネントを使用して効率的に表すことができる。所与のメディアコンテンツコンポーネントを復号するために、クライアントデバイスは、メディアコンテンツコンポーネント自体だけでなく、当該コンポーネントが従属するすべてのメディアコンテンツコンポーネントにもアクセスすることができなければならない。
ビデオストリーミング機能を有するモバイルおよび接続デバイスが普及していることも想起されるべきである。したがって、モバイル・デバイスのユーザが、品質を保持またはさらには改善することによって、ビデオシーケンスのサブパートを表示またはフォーカスすることを所望する場合、ビデオシーケンスをタイルに分割することが重要になる。それゆえ、タイルを使用することによって、ユーザは、ビデオシーケンスの空間サブパートをインタラクティブに要求することができる。スケーラブルビデオコード化フォーマット(たとえば、スケーラブルHEVCまたはマルチビューHEVC)の場合、各ビデオ層は、エンハンスメントレイヤのタイルとベースレイヤの1つまたは複数のタイルとの間にコード化従属関係が存在し得ることを除いて、複数の独立した空間サブパートに編成することができる。
米国特許出願US2010/0299630号明細書は、パノラマ画像内の関心領域を見るためのシステムを開示している。その目的のために、関心領域は、サーバ側で事前に生成されるか、または、クライアントデバイス内でビデオ全体から切り取られる。
Packet Video conference 2010において発行された「An interactive region−of−interest video streaming system for online lecture viewing」と題する論文において、著者達は、ストリーミングまたは関心領域のためにタイルを使用することに言及している。著者達はまた、タイル(実際にはH.264スライス)の識別子および位置情報を提供するためにマニフェストも使用する。URLは各タイルには提供されないため、記載されているソリューションは、サーバ側に、選択されたタイルをストリーミングするためにクライアントデバイスから送信される特定のHTTPクエリを解釈するための何らかのインテリジェンスを必要とする。
国際出願WO2012168365号は、位置情報(URL)を有する1つまたは複数の空間セグメントストリームを記述す空間マニフェストファイルを開示している。ユーザは、1つまたは複数の空間領域を選択する可能性を有する。マニフェストファイルは、空間セグメント間の関係を記述している。一度に2つ以上のタイルをストリーミングおよび表示するために、クライアントデバイス内に同期エンジンが必要とされる(タイルトラックは個々にカプセル化されていない)。
サブパート効率的なストリーミングおよびビデオの空間サブパートへの高速の空間的および時間的アクセスのために、ISOベースメディアファイルフォーマットは、復号可能HEVCタイルを異なるトラック(またはメディアコンテンツコンポーネント)に独立して記憶することを提案している。すべてのタイルトラックに共通のデータ(たとえば、VPS、SPSまたはPPS NALユニット)を含み、従属先である各タイルトラックを参照することによって完全なビデオを再構築するための追加の特定のトラック(「層トラック基準」、「複合トラック」または「ベーストラック」と呼ばれる)を定義することができる。
DASHの文脈において、メディアプレゼンテーションを形成するためにメディアコンテンツをメディアデータセグメントにカプセル化するために、ISO BMFF規格が使用される。ISO BMFFに従ってタイルを記述するための可能な方法は、ビデオシーケンスの各サブパート(すなわち、タイル)を異なるトラックにカプセル化し、トラックの変形行列を使用して、タイル位置をシグナリングすることである。一般的に、DASHを使用して、各トラックは、マニフェスト内で、独立したメディアコンテンツとして記述される。マニフェストは、各トラックが同じビデオシーケンスのサブパートであることをシグナリングするようには設計されていない。それゆえ、現行のMPD定義では、タイル化ビデオが記述できない。
実際には、ユーザは、(moov/track/tkhdとして知られているボックス内のトラックおよび行列定義を介して)MPDにおいて記述されている各ビデオシーケンスがタイル化ビデオシーケンスのサブパートであることを判定するために(マニフェストに加えて)最初の初期セグメント(イニシャリゼーションセグメント)をダウンロードしなくてはならない。次に、ユーザは、最低でも、(moof/traf/tfhdとして知られているボックスを介して)タイル位置とビデオコンテンツとの間の関連付けを取り出すために、各ビデオコンテンツの各最初のメディアデータセグメントの始まりをダウンロードしなくてはならない。この初期情報のダウンロードにより、遅延および更なるのHTTPのやりとりが発生する。
これらの課題を解決するために、様々な従属関係を有するすべてのメディアコンテンツコンポーネントが、マニフェスト内でコンパクトに記述される。そのようにして、空間ビデオサブパートとHTTP URLとの間の関連付けを確立することができ、ビデオサブパートのダウンロードが、すべての既存の従属関係に関して最適に実行される。言い換えれば、マニフェスト内の異なる適応セット/表現(リプリゼンテーション)間の従属関係を正確に表現し、ダウンロードされなければならないもの、および、ビデオ表現を選択するときに最適にダウンロードされ得るものを、ストリーミングするクライアントに対して指示する必要がある。
これらの制約に直面し、本発明者らは、分割タイムドメディアデータをストリーミングするためのデバイスを提供する。
本発明の広範な目的は、上述したような従来技術の欠点を改善することである。
本発明の第1の態様に基づく記述データの提供方法は、メディアデータに応じた1又は複数のメディアセグメントをMPEG−DASH規格に従って取得するためにクライアントによって参照される記述データの提供方法であって、MPEG−DASH規格において規定されるリプリゼンテーションと依存関係にある他のリプリゼンテーションを識別するための記述情報と、前記リプリゼンテーションと前記他のリプリゼンテーションとの依存関係のタイプに関するタイプ情報とを含む前記記述データを取得する取得ステップと、前記取得された記述データを前記クライアントからのリクエストに応答して前記クライアントに対して送信する送信ステップと、を有する。
また、本発明の第1の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを受信するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
コンポーネントの記述を含むマニフェストを受信すること、
分割タイムドメディアデータの少なくとも一部分を再構築するために少なくとも1つのコンポーネントを選択することと、
マニフェストから、選択されたコンポーネントと少なくとも1つの他のコンポーネントとの間の従属関係を示す情報の従属関係項目を得ることと、
マニフェストから、情報の従属関係項目を解釈するための情報の従属関係特性化項目を得ることと、
選択されたコンポーネント、および、情報の従属関係特性化項目を考慮した情報の従属関係項目の値に応じた少なくとも1つの他のコンポーネントを要求すること、
要求されたコンポーネントを受信すると、受信したコンポーネントから分割タイムドメディアデータの対応する部分を再構築し、再生可能メディア表現ビットストリームを生成することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の正規の従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対して選択されたメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、情報の従属関係特性化項目を考慮した情報の従属関係項目の値に応じて、および、ユーザの選択に応じて、少なくとも1つの他のコンポーネントが要求される。
ある実施形態において、ストリーミングされたタイムドメディアデータは、スケーラビリティ層にさらに編成され、各層は、時間メディアセグメントに編成される。
ある実施形態において、情報の従属関係特性化項目は、HEVC規格に適合するサブストリーム、または、分割タイムドメディアデータの空間部分を表すサブストリームを示す。
ある実施形態において、情報の従属関係特性化項目は、考慮されているコンポーネントが従属するコンポーネントのタイプを示す。
ある実施形態において、情報の従属関係特性化項目は、選択されたコンポーネントがサブサンプル、複数のサブサンプル、またはサンプルに対応するかを示す情報の従属関係項目と関連付けられた属性(要素または記述子とも呼ばれる)である。
ある実施形態において、選択されたコンポーネントは、選択されたコンポーネントがそのサブサンプルまたはその複数のサブサンプルに対応することを情報の従属関係特性化項目が示す場合に、サブサンプルまたは複数のサブサンプルを含むサンプルを表す別のコンポーネントに従属する。
ある実施形態において、選択されたコンポーネントと関連付けられた第1の空間情報はマニフェストから得られ、他のコンポーネントは、第1の空間情報に関係付けられた他の空間情報を有する。
ある実施形態において、情報の従属関係特性化項目は、カプセル化コンポーネントがいずれの層に属するかをさらに示す。
ある実施形態において、情報の従属関係項目は「dependencyId」属性であり、情報の従属関係特性化項目は「@codec」属性である。
ある実施形態において、情報の従属関係特性化項目は、考慮されているコンポーネントに関する従属関係のタイプを示す。
ある実施形態において、マニフェスト内の情報の従属関係特性化項目は、コンポーネントをカプセル化するステップの間に生成される、異なる値のセットのうちのタイプ値である。
異なる値のセットは、ISOBMFFにおいて定義されているトラック基準タイプに対応することが好ましい。
ある実施形態において、情報の従属関係特性化項目は、属性(要素または記述子とも呼ばれる)である。
ある実施形態において、タイプ値のセットは、
分割タイムドメディアデータの対応する部分を再構築するために他のコンポーネントの選択が必須であることを示す第1のタイプ値、および/または、
分割タイムドメディアデータの対応する部分を再構築するために他のコンポーネントの選択が任意選択であることを示す第2のタイプ値を含む。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第2の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを受信するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
コンポーネントの記述を含むマニフェストを受信することであって、前記マニフェストは、少なくとも1つのコンポーネントの少なくとも2つの異なる記述を含み、少なくとも2つの記述のうちの第1の記述は、少なくとも1つのコンポーネントから別のコンポーネントへの従属関係を示す少なくとも第1の情報の従属関係項目を含み、少なくとも2つの記述のうちの第2の記述は、別のコンポーネントから少なくとも1つのコンポーネントへの従属関係を示す少なくとも第2の情報の従属関係項目を含む、受信することと、
分割タイムドメディアデータの少なくとも一部分を再構築するために少なくとも1つのコンポーネントを選択することと、
選択されたコンポーネントを再構築するために必要とされる1つのコンポーネントを識別することであって、前記選択されたコンポーネントを再構築するために必要とされる前記コンポーネントは、選択されたコンポーネントと関連付けられた記述の第1の情報の従属関係項目に応じて識別されるか、または、そのコンポーネントと関連付けられた記述の第2の情報の従属関係項目に応じて識別される、識別することと、
選択および識別されたコンポーネントを要求すること、
要求されたコンポーネントの受信をすると、受信されたコンポーネントから分割タイムドメディアデータの対応する部分を再構築し、再生可能メディア表現ビットストリームを生成することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、2つの異なる記述は、少なくとも2つのサブサンプルを含むサンプルを表すコンポーネントに対応する。
ある実施形態において、ストリーミングされたタイムドメディアデータは、スケーラビリティ層にさらに編成され、各層は、時間メディアセグメントに編成される。
ある実施形態において、分割タイムドメディアデータの少なくとも一部分を再構築するために選択することができるコンポーネントは、そのコンポーネントと関連付けられた情報項目に応じて識別される。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第2の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを送信するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
コンポーネントの記述を含むマニフェストを送信することであって、記述は少なくとも、第1のコンポーネントと第2のコンポーネントとの間の従属関係を示す情報の従属関係項目、および、情報の従属関係項目を解釈するための情報の従属関係特性化項目を含む、送信することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
本発明の第3の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを送信するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
コンポーネントの記述を含むマニフェストを送信することであって、前記マニフェストは、少なくとも1つのコンポーネントの少なくとも2つの異なる記述を含み、少なくとも2つの記述のうちの第1の記述は、少なくとも1つのコンポーネントから別のコンポーネントへの従属関係を示す少なくとも第1の情報の従属関係項目を含み、少なくとも2つの記述のうちの第2の記述は、別のコンポーネントから少なくとも1つのコンポーネントへの従属関係を示す少なくとも第2の情報の従属関係項目を含む、送信することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第4の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを生成するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
分割タイムドメディアデータの複数のコンポーネントのコンポーネント間の従属関係、および、従属関係の各々に関する従属関係の特性化を得ることと、
コンポーネントの記述を含むマニフェストを送信することであって、前記記述は少なくとも、第1のコンポーネントと第2のコンポーネントとの間の従属関係を示す情報の従属関係項目、および、情報の従属関係項目を解釈するための情報の従属関係特性化項目を含む、送信することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
本発明の第5の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを生成するための方法が提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記方法は、
少なくとも1つのコンポーネントから別のコンポーネントへの従属関係を示す少なくとも第1の情報の従属関係項目、および、別のコンポーネントから少なくとも1つのコンポーネントへの従属関係を示す少なくとも第2の情報の従属関係項目を得ることと、
コンポーネントの記述を含むマニフェストを送信することであって、前記マニフェストは、少なくとも1つのコンポーネントの少なくとも2つの異なる記述を含み、少なくとも2つの記述のうちの第1の記述は、少なくとも第1の情報の従属関係項目を含み、少なくとも2つの記述のうちの第2の記述は、少なくとも第2の情報の従属関係項目を含む、送信することと、を含む。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第6の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを受信するためのデバイスが提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記デバイスは、
コンポーネントの記述を含むマニフェストを受信するステップと、
分割タイムドメディアデータの少なくとも一部分を再構築するために少なくとも1つのコンポーネントを選択するステップと、
マニフェストから、選択されたコンポーネントと少なくとも1つの他のコンポーネントとの間の従属関係を示す情報の従属関係項目を得るステップと、
マニフェストから、情報の従属関係項目を解釈するための情報の従属関係特性化項目を得るステップと、
選択されたコンポーネント、および、情報の従属関係特性化項目を考慮した情報の従属関係項目の値に応じた少なくとも1つの他のコンポーネントを要求するステップと、
要求されたコンポーネントの受信を受けて、受信されたコンポーネントから分割タイムドメディアデータの対応する部分を再構築し、再生可能メディア表現ビットストリームを生成するステップとを実行するように構成されている少なくとも1つのマイクロプロセッサを備える。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングするクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、マイクロプロセッサは、情報の従属関係特性化項目を考慮した情報の従属関係項目の値に応じて、および、ユーザの選択に応じて、少なくとも1つの他のコンポーネントが要求されるようにさらに構成される。
ある実施形態において、ストリーミングされたタイムドメディアデータは、スケーラビリティ層にさらに編成され、各層は、時間メディアセグメントに編成される。
ある実施形態において、情報の従属関係特性化項目は、HEVC規格に適合するサブストリーム、または、分割タイムドメディアデータ(パーティションドタイムドメディアデータ)の空間部分を表すサブストリームを示す。
ある実施形態において、情報の従属関係特性化項目は、考慮されているコンポーネントが従属するコンポーネントのタイプを示す。
ある実施形態において、情報の従属関係特性化項目は、選択されたコンポーネントがサブサンプル、複数のサブサンプル、またはサンプルに対応するかを示す情報の従属関係項目と関連付けられた属性(要素または記述子とも呼ばれる)である。
ある実施形態において、選択されたコンポーネントは、選択されたコンポーネントがそのサブサンプルまたはその複数のサブサンプルに対応することを情報の従属関係特性化項目が示す場合に、サブサンプルまたは複数のサブサンプルを含むサンプルを表す別のコンポーネントに従属する。
ある実施形態において、マイクロプロセッサは、選択されたコンポーネントと関連付けられた第1の空間情報がマニフェストから得られ、他のコンポーネントが、第1の空間情報に関係付けられた他の空間情報を有するようにさらに構成される。
ある実施形態において、情報の従属関係特性化項目は、カプセル化コンポーネントがいずれの層に属するかをさらに示す。
ある実施形態において、情報の従属関係項目は「dependencyId」属性であり、情報の従属関係特性化項目は「@codec」属性である。
ある実施形態において、情報の従属関係特性化項目は、考慮されているコンポーネントに関する従属関係のタイプを示す。
ある実施形態において、マニフェスト内の情報の従属関係特性化項目は、コンポーネントをカプセル化するステップの間に生成される、異なる値のセットのうちのタイプ値を参照する。
異なる値のセットは、ISOBMFFにおいて定義されているトラック基準タイプに対応することが好ましい。
ある実施形態において、情報の従属関係特性化項目は、属性(要素または記述子とも呼ばれる)である。
ある実施形態において、タイプ値のセットは、分割タイムドメディアデータ(パーティションドタイムドメディアデータ)の対応する部分を再構築するために他のコンポーネントの選択が必須であることを示す第1のタイプ値、および/または、分割タイムドメディアデータの対応する部分を再構築するために他のコンポーネントの選択が任意選択であることを示す第2のタイプ値を含む。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第7の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを受信するためのデバイスが提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記デバイスは、
コンポーネントの記述を含むマニフェストを受信するステップであって、マニフェストは、少なくとも1つのコンポーネントの少なくとも2つの異なる記述を含み、少なくとも2つの記述のうちの第1の記述は、少なくとも1つのコンポーネントから別のコンポーネントへの従属関係を示す少なくとも第1の情報の従属関係項目を含み、少なくとも2つの記述のうちの第2の記述は、別のコンポーネントから少なくとも1つのコンポーネントへの従属関係を示す少なくとも第2の情報の従属関係項目を含む、受信するステップと、
分割タイムドメディアデータの少なくとも一部分を再構築するために少なくとも1つのコンポーネントを選択するステップと、
選択されたコンポーネントを再構築するために必要とされる1つのコンポーネントを識別するステップであって、選択されたコンポーネントを再構築するために必要とされるコンポーネントは、選択されたコンポーネントと関連付けられた記述の第1の情報の従属関係項目に応じて識別されるか、または、そのコンポーネントと関連付けられた記述の第2の情報の従属関係項目に応じて識別される、識別するステップと、
選択および識別されたコンポーネントを要求するステップと、
要求されたコンポーネントの受信を受けて、受信されたコンポーネントから分割タイムドメディアデータの対応する部分を再構築し、再生可能メディア表現ビットストリームを生成するステップとを実行するように構成されている少なくとも1つのマイクロプロセッサを備える。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、2つの異なる記述は、少なくとも2つのサブサンプルを含むサンプルを表すコンポーネントに対応する。
ある実施形態において、ストリーミングされたタイムドメディアデータは、スケーラビリティ層にさらに編成され、各層は、時間メディアセグメントに編成される。
ある実施形態において、マイクロプロセッサは、分割タイムドメディアデータの少なくとも一部分を再構築するために選択することができるコンポーネントが、そのコンポーネントと関連付けられた情報項目に応じて識別されるようにさらに構成される。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第8の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを送信するためのデバイスが提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記デバイスは、
コンポーネントの記述を含むマニフェストを送信するステップであって、前記記述は少なくとも、第1のコンポーネントと第2のコンポーネントとの間の従属関係を示す情報の従属関係項目、および、情報の従属関係項目を解釈するための情報の従属関係特性化項目を含む、送信するステップを実行するように構成されている少なくとも1つのマイクロプロセッサを備える。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第9の態様によれば、時間メディアセグメントに編成されている、ストリーミングされるタイムドメディアデータを生成するためのデバイスが提供され、タイムドメディアデータは、タイムドサンプルを含む分割タイムドメディアデータに属しており、各タイムドサンプルは複数のサブサンプルを含み、タイムドメディアデータは、各々が独立してカプセル化された少なくとも1つのコンポーネントを含む、少なくとも2つのメディアセグメントファイルとして送信され、前記デバイスは、
分割タイムドメディアデータの複数のコンポーネントのコンポーネント間の従属関係、および、従属関係の各々に関する従属関係の特性化を得るステップと、
コンポーネントの記述を含むマニフェストを送信するステップであって、記述は少なくとも、第1のコンポーネントと第2のコンポーネントとの間の従属関係を示す情報の従属関係項目、および、情報の従属関係項目を解釈するための情報の従属関係特性化項目を含む、送信するステップとを実行するように構成されている少なくとも1つのマイクロプロセッサを備える。
したがって、より豊富な従属関係記述メカニズムを与えるためのソリューションが提供され、ストリーミングマニフェストファイルを拡張することによって、または、複数の情報を組み合わせることによって、ビデオ表現間の限定された従属関係を表現することができる。特に、このソリューションは、DASH MPDに容易に統合することができる。このソリューションを使用することによって、ユーザは、特に、所与のROIに対する選択されるメディアコンテンツコンポーネントに加えて必須または任意選択であるいくつかの追加のメディアコンテンツコンポーネントがある場合に、メディアコンテンツコンポーネント間の従属関係(スケーラビリティ層、空間サブビデオ)を認識し、これらのサブビデオをダウンロードするためのHTTPアドレスを認識する。
このソリューションは、ストリーミングするクライアントデバイスが、マニフェストファイルから、任意選択のデータとは対照的に必要とされるデータを識別し、ストリーミングするための任意選択のデータのセットを動的に選択することを可能にする。タイルに適用されると、これは、ストリーミングをユーザ定義の関心領域に動的に適応させることを可能にする。
本発明によって、ストリーミングクライアントデバイスに、メディアプレゼンテーションからのビデオが空間アクセスをもたらすことを通知することができる。マニフェストファイルからの情報を使用することによって、ストリーミングするクライアントは、ビデオの特定の空間領域に動的に切り替え、また、フルフレームビデオに動的に切り替え戻すことを決定することができる。
ある実施形態において、マニフェストのデータ構造およびデータ構造パラメータはDASH規格に適合する。
本発明の第10の態様および第11の態様によれば、上述したデバイスを備えるビデオ復号器およびビデオ符号化器が提供される。
本発明はソフトウェアにおいて実装することができるため、本発明は、任意の適切なキャリア媒体上でプログラム可能装置に提供するためのコンピュータ可読コードとして具現化することができる。有形キャリア媒体は、フロッピーディスク、CD−ROM、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスなどのような記憶媒体を含であろう。一時的キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、たとえば、マイクロ波もしくはRF信号のような信号を含むであろう。
本発明のさらなる利点は、図面および詳細な説明を精査すれば、当業者には明らかになろう。任意の追加の利点が本明細書に組み込まれることが意図されている。
ここで、本発明の実施形態が、単なる例として、以下の図面を参照して説明される。
図1は、ビデオシーケンスの関心領域をストリーミングするためのタイルの使用を概略的に示す。 図2は、本発明の実施形態が基づく、HTTPを介したメディアストリーミングの一般的原理を示す。 図3は、メディアプレゼンテーションおよび対応するマニフェストファイルを生成するためのステップを示す。 図4aは、ベーストラックおよび独立したタイルトラックを含むトラックセットとしてのHEVCビットストリームのカプセル化の例を示す。 図4bは、MPDにおけるメディアコンテンツ構成要素の間の空間的関係を示す。 図5は、ビデオタイル化、および、ビデオタイル化が圧縮ビデオデータにどのように適用されるかを示す。 (6a)および(6b)よりなる図6は、タイル化構成の例を示す。 図7は、SNR(信号対雑音比)タイプのスケーラビリティに関するタイル化構成の例を示す。 (8a)、(8b)、および(8c)よりなる図8は、タイルおよびスライスセグメントの例を示す。 図9は、各層が2つのタイルを含む、2つのスケーラビリティ層を含むタイル化構成において解決されるべき従属関係の例を示す。 (10a)および(10b)よりなる図10は、それぞれ、スケーラビリティがない、および、スケーラビリティがある、2つのタイル化構成において解決されるべき従属関係の2つの例を示す。 図11は、タイル化構成において解決されるべき従属関係の例を示す。 図12は、本発明の記載されている各実施形態の各々またはいくつかのステップを実行するために使用することができるコンピューティングデバイスの概略ブロック図である。 図13は、本発明による実施形態を示す流れ図である。 図14は、本発明による実施形態を示す流れ図である。 図15は、本発明による実施形態を示す流れ図である。
本発明の一般的な実施形態は、圧縮ビデオストリーム内のユーザ選択の関心領域のHTTPストリーミングの文脈に関する。ユーザ選択の領域とは、所定でない(すなわち、前もって定義されない)関心領域を意味し、したがって、コンテンツに対する個人化されたアクセスを提供する。
本発明の実施形態によれば、MPDにおけるメディアコンテンツコンポーネント間の豊富な従属関係メカニズムが、従属関係メカニズムを明示的に拡張することによって、または、複数の情報項目を組み合わせることによって従属関係メカニズムを黙示的に拡張することによって提供される。したがって、ビデオ表現(ビデオリプリゼンテーション)間の正規の従属関係を表現することができ、クライアントによって、ダウンロードすべき適切なメディアセグメントセットを効率的に選択するために使用することができる。
本発明の特定の実施形態によれば、ビデオシーケンスは、独立した空間タイル、および、場合によっては、複数のスケーラビリティ層に符号化される。各符号化タイルは、独立したトラックとしてのファイルフォーマットにカプセル化される。共通のデータを提供し、所与のスケーラビリティ層におけるいくつかのタイルトラックの組成を記述するために、1つの追加のトラック(基準トラック)を使用することができる。カプセル化は、ストリーミングクライアントに、空間アクセスの可用性について通知するために、マニフェスト内でシグナリングされる。マニフェストは、クライアントが、メディアコンテンツコンポーネント(トラック)間に存在する従属関係のタイプを判定することを可能にする情報をさらに含む。マニフェストによって、クライアントは、所与の関心領域(ROI)に対してダウンロードされるべきメディアセグメントのリストを決定することができる。
そのような一般的な実施形態に基づいて、各々が結果として、構文修正の程度と記述の完全性との間のトレードオフをもたらす、いくつかの特定の実施形態を以下に記述する。
図1は、ビデオシーケンスの関心領域をストリーミングするためのタイルの使用を概略的に示す。
図示されているように、複数の分解能層が、画像セット105−1〜105−nを含む高空間分解能入力ビデオ100から計算され、各層が複数のタイルに分割され、各タイルは独立して符号化される。代替的な実施形態において、タイルはまた、同じスケーラビリティ層にあるか、または他のより下位のスケーラビリティ層からの他のタイルに対する幾つかの従属関係で符号化されてもよい。従来のビデオストリームと同様に、ベースレイヤタイルが、ビデオシーン全体を示すことができる。代替的な実施形態において、ベースレイヤはまた、いくつかのタイルから構成されてもよい。ユーザがビデオにズームインしたいときに、より高位の分解能層のタイルが、より品質の高い詳細を提供するために取り出される。それゆえ、クライアントデバイスは、特定の関心領域をレンダリングするために、複数のタイルの復号および同期する必要がある。
あるいは、任意の関心領域を満足するために1つのタイルのみが必要とされるような、重複タイル化方式が使用されてもよい。複数の異なるディスプレイサイズおよびネットワーク条件に対処するために、各タイルは、複数の異なる空間および品質分解能で符号化される。
図2は、本発明の実施形態が基づく、HTTPを介したメディアストリーミングの一般的原理を示す。
図示されているように、メディアサーバ200は、メディアプレゼンテーションを含み、その中に特に、複数の異なるメディアコンテンツコンポーネント、たとえば、オーディオおよびビデオデータストリームを含むメディアプレゼンテーション205がある。オーディオおよびビデオストリームは、インターリーブされてもよく、または、独立して格納されてもよい。メディアプレゼンテーションは、メディアコンテンツコンポーネントの(異なるビットレート、品質、分解能、サンプリングレートなどを有する)代替的な表現(リプリゼンテーション)を提示することができる。
このメディアプレゼンテーションのメディアコンテンツコンポーネントがカプセル化される方法の例を、図3を参照して説明する。カプセル化ステップの結果として、各代替表現(たとえば、表現1および表現2)が、小さい独立した連続する時間メディアセグメント210−1〜210−3および211−1〜211−3、たとえば、独立してアドレス指定およびダウンロードすることができるMP4規格(ISO/IEC 14496−14)適合するメディアセグメントに時間的に分割される。各メディアセグメントは、1つまたは複数のメディアコンテンツコンポーネントを含み得る。アドレス(すなわち、記載されている実施形態においてはHTTP URLアドレス)は、すべてのメディアセグメントについてサーバ200によって設定され、図3を参照して説明したように、マニフェストが作成される。
マニフェストは、所与のメディア表現(メディアリプリゼンテーション)についてアクセスすることができるすべてのメディアコンテンツコンポーネントを記述する文書、一般的にはXMLファイルである。そのような記述は、メディアコンテンツコンポーネントのタイプ(たとえば、オーディオ、ビデオ、オーディオ−ビデオ、またはテキスト)、メディアセグメントの持続時間、および、メディアセグメントと関連付けられたアドレス(たとえば、URL)、すなわち、そこからメディアコンテンツコンポーネントを得ることができるアドレスを含んでもよい。
一般的に、MPDは、階層データモデルに基づく。これは、1つまたは複数の期間から構成され、各期間は、開始時点および持続時間を有し、1つまたは複数の適応セットから構成される。適応セットは、1つまたは複数のメディアコンテンツコンポーネントおよびその様々な符号化代替物に関する情報を提供し、同じメディアコンテンツコンポーネントの各符号化代替物は、表現(リプリゼンテーション)として参照される。同様に、各表現(リプリゼンテーション)は一般的に、1つまたは複数のメディアセグメントから構成される。
例示のために、メディアプレゼンテーション205のオーディオおよびビデオストリームは、インターリーブされているものと考えられる。それらのインターリーブされているオーディオおよびビデオデータストリームは、2つの代替的な表現(リプリゼンテーション)として提示されており、各表現は、連続する時間メディアセグメントに、たとえば、3つの連続する期間に対応する3つの連続する時間メディアセグメント210−1〜210−3および211−1〜211−3に分割される。マニフェストファイルは、いくつかのメディアセグメントを含む少なくとも2つの表現を含む少なくとも1つの適応セット(図示せず)から構成されるものとしてのメディアプレゼンテーションを記述する。これらのセグメントのアドレスは、サーバ200によって設定される。これらのアドレスと、メディアコンテンツコンポーネントならびにメディアセグメント210−1〜210−3および211−1〜211−3に対する情報の他の項目は、メディアプレゼンテーション205に対応するマニフェスト215においてアクセス可能である。
このマニフェストファイルは、クライアントデバイス220に送信される(ステップ225)。受信された後、マニフェストファイル215は、メディアプレゼンテーション205の利用可能な表現およびアクセス可能なメディアセグメント210−1〜210−3および211−1〜211−3、これらのメディアセグメントのhttpアドレス、ならびに、これらのメディアセグメント間の関係を判定するために、クライアントデバイス220によって分析される。更に、マニフェストファイル215は、メディアプレゼンテーションのコンテンツに関する情報項目を与える(すなわち、所与の例におけるインターリーブされているオーディオおよびビデオ)。これらの情報項目は、分解能、ビットレート、および同様の情報を含んでもよい。
それゆえ、この情報を考慮して、クライアントデバイス220は、メディアセグメントをダウンロードすることを求める対応するhttp要求を受信し発する(ステップ230)ために、適切な表現からメディアセグメントを選択することができる。それに応じて、サーバ200は、要求されている時間メディアセグメントを送信する(ステップ235)。これらの時間メディアセグメントは、復号器240において復号し、ディスプレイ245上に表示することができる。
図3は、メディアプレゼンテーションおよび対応するマニフェストファイルを生成するためのステップを示す。そのようなステップは、一般的に、図2のサーバ200のようなサーバによって実行される。
それぞれ300および305として示されているオーディオおよびビデオデータは、たとえば、通信ネットワークを介して、図3に示すステップを実行するサーバに接続されているデータ記憶サーバのような、外部ソースから得ることができる。
オーディオデータが、ステップ310の間に圧縮される。そのような圧縮は、たとえば、MP3規格に基づいてもよい(MPEG−1/2オーディオ層3)。並行して(または前にもしくは後に)、ビデオデータがステップ315の間に圧縮される。その目的のために、MPEG4、MPEG/AVC、SVC、HEVC、またはスケーラブルHEVCのようなビデオデータ圧縮アルゴリズムを使用することができる。
オーディオおよびビデオデータは、それぞれ参照符号320および325を用いて示すように、データエレメンタリストリームとして圧縮される。これらのエレメンタリストリームは、メディアプレゼンテーション335全体を作成するために、ステップ330の間にカプセル化される。
たとえば、符号化オーディオおよびビデオエレメンタリストリームのコンテンツを、メディアプレゼンテーション全体として記述するために、ISO BMFF規格(または、依然として例示のために、このISO BMFF規格の、AVC、SVC、HEVCまたはスケーラブルHEVCに対する拡張)を使用することができる。したがって、カプセル化メディアプレゼンテーションは、マニフェスト、たとえば、XMLマニフェスト345の生成(ステップ340)のための入力として使用される。
図4aは、ISOベースメディアファイルフォーマットによるビデオサブパートに対する高速の空間的および時間的アクセスを可能にする、ベーストラックおよび独立したタイルトラックを含むトラックセットとしてのHEVCビットストリームのカプセル化の例を示す。HEVCビットストリームは、ベーストラック(複合または基準トラックとも呼ばれ、図4aにおいて415として示す)および独立したタイルトラック(図4aにおいて420として示す)を含むトラックセットとしてカプセル化される。各トラックは、別個のメディアセグメント内に記憶することができるメディアコンテンツコンポーネントを形成する。したがって、クライアントデバイスは、表示されるべきタイルに対応するメディアセグメントのみをダウンロードすることができる。
上述したように、DASHフォーマットに適合するマニフェストファイル(MPD)は、期間、適応セット、表現、およびセグメントによって階層的に編成される。言い換えれば、メディアプレゼンテーションは、時間的期間に分割され、MPDは、各期間に関係付けられたすべてのデータを含む。対応する情報項目を受信することによって、クライアントデバイスは、各期間のメディアプレゼンテーションコンテンツを判定することができる。
ここでも、このコンテンツは複数の適応セットに編成され、可能な編成は、メディアプレゼンテーション内に含まれるメディアコンテンツコンポーネントタイプあたり1つまたは複数の適応セットを有することである。ビデオデータに関係する適応セットは、一般的に、サーバから利用可能な対応する符号化ビデオコンテンツコンポーネントの複数の異なる可能な表現に関する情報項目を含む。例示のために、第1の表現は、640×480ピクセルの空間分解能において符号化され、500kbits/sのビットレートにおいて圧縮されているビデオデータに関するものであり得る。第2の表現は、同様であるが、250kbits/sのビットレートにおいて圧縮されているビデオコンテンツに関するものであり得る。その後、各表現は、クライアントデバイスが対応するhttpアドレスを認識していることを条件として、http要求を使用してメディアセグメントとしてクライアントデバイスによってダウンロードすることができる。
各表現のビデオデータとhttpアドレスとの間の関連付けは、時間メディアセグメントと称される特定レベルの記述を使用することによって行われる。したがって、各ビデオ表現は、(一般的に数秒の持続時間を有する)時間メディアセグメントに分割される。それゆえ、各時間メディアセグメントは、特定のhttpアドレス(URLまたは1バイト範囲を有するURL)を通じてアクセス可能である、サーバ内に記憶されているビデオコンテンツコンポーネントの一部分である。
加えて、初期セグメントとして知られている特定のセグメントが作製され、クライアントデバイスにとってアクセス可能になる。この初期セグメントは、カプセル化ビデオストリームを記述しているMP4初期情報項目(ビデオがISO BMFFまたは拡張を使用することによってカプセル化されている場合)を含むことができる。例示のために、これらの情報項目は、クライアントデバイスが、アクセスされる圧縮ビデオデータに関係する復号アルゴリズムをインスタンス化するのに役立つ。初期セグメントおよびメディアセグメントのhttpアドレスは、MPDファイルにおいて与えられる。
MPDファイルの具体例が図4bに与えられている。
図4aに示すように、カプセル化ビットストリーム400は、トラックに関する定義を与える動画ボックス(「moov」)を含む初期セグメントファイル405と、ベーストラック415および12個のタイルトラック420−1〜420−12(タイルトラック420−1〜420−12の各々は、ビデオシーケンスの1つのタイルと関連付けられる)を表すメディアセグメントファイル410とを含む。
ベーストラック415は、セグメントタイプボックス「styp」(図示せず)と、トラックセグメントタイプおよび識別子のようなメタデータを含む少なくとも1つの動画フラグメントボックス「moof」425と、ビデオデータサンプル毎に、PPSおよびビデオデータに対する基準を含む少なくとも1つのメディアデータボックス「mdat」430とを含む。
同様に、タイルトラック420−1〜420−12の各々は、セグメントタイプボックス「styp」(図示せず)と、トラックセグメントタイプおよび識別子のようなメタデータを含む少なくとも1つの動画フラグメントボックス「moof」と、NALユニット(NALU)にパッケージされている圧縮ビデオデータを含む少なくとも1つのメディアデータボックス「mdat」とを含む。
識別子2〜13を有するタイルトラック420−1〜420−12は、初期セグメントファイル405の(より正確には、識別子id=1を有するベーストラックの定義における、初期セグメントファイル405の動画ボックス「moov」の)トラック基準ボックス「tref」において参照される。
図示されているように、ベーストラック415は、他のトラックからのデータに対するポインタまたは基準として機能する抽出器を含む。例示のために、いくつかのパラメータ、中でも、ベーストラック415の抽出器435−1および435−pに対応するタイルトラックのインデックス(track_ref_index)、データオフセット(data_offset)、およびデータ長(data_length)が図示されている。
更に例示のために、ベーストラック415のNALユニット435−1が処理されるとき、これが抽出器タイプのNALユニット(16進値6200に等しいNALUnitHeader)を表すと判定される。したがって、これは、対応する圧縮ビデオデータを取り出すために処理される。その目的のために、そのタイルトラックインデックス(すなわち、track_ref_index=1)が得られる。このインデックスから、初期セグメントファイル405内に記憶されているタイルトラック定義からタイルトラック識別子を取り出すことが可能である。この所与の例において、インデックスは1に等しいため、「tref」ボックスの第1のタイルトラック識別子が選択される(id=2)。次に、この識別子が、対応するタイルトラックにアクセスするために使用され、その後、抽出器435−1のデータオフセット(すなわち、情報源として使用されることになる、識別されているトラック内のサンプルの相対インデックス)およびデータ長(すなわち、コピーすべきバイト数、たとえば、data_length=0であるときはNALU全体)パラメータを使用して、圧縮ビデオデータが、タイルトラック420−1(すなわち、この所与の例においてはコード化スライスセグメントNALU440)から抽出される。
処理された後、抽出器は、それが参照するデータに置き換えられる。図4aに示す例によれば、抽出器435−1を構文解析および処理することによって、抽出器はコード化スライスセグメントNALU440に置き換えられることになり、したがって、HEVC適合ビットストリームが形成される。
タイル化およびHEVCカプセル化の文脈において、それらの抽出器は、構文解析時にデータの不在をサポートすることができる特定の抽出器である。したがって、アプリケーションが、その要求されている空間領域に一致するベーストラックおよびタイルトラックに対応するメディアセグメントのみをダウンロードすることが可能であり、タイルトラックを欠くにもかかわらず、依然として、HEVC適合ビットストリームを構築することができる。
付録において与えられているコード1の引用は、所与のスケーラブルメディアプレゼンテーションの標準的なDASHマニフェストつまりMPDの例を示している。この例の目的は、MPDの主な特性を紹介し、表現間の従属関係が既存のDASH仕様においてどのように記載されているかを紹介することである。
図示例によれば、2つのメディアが記載されている。第1のメディアは、英語オーディオストリームであり、第2のメディアは、スケーラブルビデオストリーム(SVCを使用)である。英語オーディオストリームは、「AdaptationSet」タグを通じて導入される(500)。2つの表現が、このオーディオストリームに関係付けられる。
・501として示す第1の表現は、64kbytes/sのビットレートを有するMP4カプセル化エレメンタリオーディオストリームである。(mp4構文解析後に)このエレメンタリストリームに対処するために必要とされるコーデックは、この規格において属性「mp4a.0x40」によって定義される。これは、アドレス:<BaseURL>audio−64k.mp4</BaseURL>での要求によってアクセス可能である。<BaseURL>はMPDにおいて「http://cdn1.example.com/」によって、および、「http://cdn2.example.com/」(同じコンテンツをストリーミングするために2つのサーバが利用可能である)によって定義されているため、クライアントデバイスは、以下のアドレスのうちの1つに対する要求から、英語オーディオストリームを要求することができる。
「http://cdn1.example.com/audio−64k.mp4」、または
「http://cdn2.example.com/audio−64k.mp4」。
・502として示す第2の表現は、32kbytes/sのビットレートを有するMP4カプセル化エレメンタリオーディオストリームである。
図示されているように、503として示す、ビデオシーケンスに関係付けられた適応セットは、3つの表現を含む。これらの表現は、異なる空間分解能(320×240、640×480、1280×720)および異なるビットレート(512〜1,024キロバイト毎秒)のビデオを含む。
第1の表現は、いかなる他のビデオからも独立している(@dependencyId属性なし)。第2の表現は、第1のビデオのエンハンスメントレイヤである。この従属関係は、@dependencyId属性によってシグナリングされる(@dependencyId=”tag5”)。第3の表現は、第1の表現と第2の表現の両方に従属する(@dependencyId=”tag5 tag6”)。DASH標準化によれば、@dependencyId属性は、「復号および/または提示プロセスにおいて表現が従属するすべての相補的な表現を、@id属性の値のスペース区切りのリストとして指定する」。この従属関係は、有効なビットストリームを得るために必須である。したがって、@dependencyId属性によって与えられるものとしての順序において、従属表現からのメディアセグメントに、相補的な表現の各々の対応するメディアセグメントが先行しなければならない。
これらの表現の各々について、異なるURLが関連付けられる。それゆえ、クライアントは、推定帯域幅、画面解像度などのような種々の基準に従って、同じビデオのこれらの代替的な表現の間で選択することができる。明瞭にするために、時間セグメントへの分解は、コード1の引用において与えられている例には示されていないことが留意されるべきである。
コード1の引用を参照して説明したような標準的なMPDは、関心領域のストリーミングのためのタイルトラックの記述に関する制約を提示している。図4aを参照して説明したように、ファイルフォーマットにおけるHEVCタイル化カプセル化は、タイルあたり1つのトラックに加えて、すべてのトラックに共通するデータを含むベーストラックを使用し、また、場合によりすべてのタイルトラックに対する抽出器を用いて実施される。
タイルトラックを、フルフレームビデオシーケンスの表現として記述することが可能である場合、タイルトラックは、表示可能でない場合がある(タイルトラックがタイルデータのみを含む場合、復号器のための初期データを欠く場合がある)。標準的なMPD、および、タイルトラックあたり1つの表現を使用することによって、ストリーミングクライアントデバイスは、タイル組み合わせの可能性またはさらには不適合性に関する情報を有しないことになる。各タイルは、別のタイルに対する代替物として考えられ、したがって、複数のタイル選択が防止される。シグナリングされ得る唯一の組み合わせは、たとえば、複合トラックの表現要素内のdependencyId属性を使用するとすべてのタイルであり、または、フルフレームビデオシーケンスがマニフェスト内にそれ自体の表現要素を有するならば、タイルがまったくない、である。
ここで、DASHにおいて、メディアコンテンツコンポーネントの表現間の復号および/または提示の従属関係を表現することを可能にする「Representation@dependencyId」として参照される1つの属性が存在することが想起される。より正確には、dependencyId属性は、復号および/または提示プロセスにおいて、処理済みの表現が従属するすべての相補的な表現を、@id属性の値のスペース区切りのリストとして指定する任意選択の属性である。この属性が存在しない場合、処理済みの表現は、いかなる他の表現からも独立して復号および提示することができる。従属関係が存在しない場合、この属性は存在しないものとする。
ここで、上述したMPDの制約を克服するためのいくつかの実施形態を以下に提示する。
DASH規格は、適応セット、表現または部分表現のいずれかのレベルにおいて、MPDにおけるメディアコンテンツコンポーネントの間の空間的関係を表現する能力を導入する。この能力は、「urn:mpeg:dash:srd:2014」に等しい@schemeIdURIを有するSupplementalProperty(補助的特性)またはEssentialProperty(基本特性)記述子のいずれかを使用することに存する。@value属性は、SRD(「空間関係記述」)パラメータの値のコンマ区切りのリストから構成される。
− source_id:メディアコンテンツのソースに対する識別子を与える。一定期間内で「source_id値」と呼ばれる同じ値を共有する異なるSRDにおいて使用されるパラメータ(x,y,w,h)を、2つの表現が空間的に互いに関係することを判定するために比較しても良い。
− x:このSRD記述子によって画定される基準空間において、この記述子を使用する適応セット、表現または部分表現の左上隅の水平位置を与える。
− y:このSRD記述子によって画定される基準空間において、この記述子を使用する適応セット、表現または部分表現の左上隅の垂直位置を与える。
− w:このSRD記述子によって画定される基準空間において、この記述子を使用する適応セット、表現または部分表現の幅を与える。
− h:このSRD記述子によって画定される基準空間において、この記述子を使用する適応セット、表現または部分表現の高さを与える。
− W:同じsource_id値を有するSRDを有する表現または部分表現のx軸における最大の広がりを与える。存在しないとき、この値は、同じsource_id値を有するSRD注記のW値に設定される。所与のsource_id値に対して、少なくとも1つのW値が指定されるものとする。
− Y:同じsource_id値を有するSRDを有する表現または部分表現のy軸における最大の広がりを与える。存在しないとき、この値は、同じsource_id値を有するSRD注記のY値に設定される。所与のsource_id値に対して、少なくとも1つのY値が指定されるものとする。
−group_id:同じsource_id値を有する表現または部分表現のグループに対する識別子を与える。group_idは、表現または部分表現のグループが、重複しないもしくは間隙なしに連続するビデオのグループを形成するか、または、同じスケーラビリティ層の一部分であることを示すために使用することができる。
xおよびyパラメータ(それぞれwおよびh)は、source_idパラメータによって識別される、ソースに関連付けられた座標系における、関連付けられた適応セット、表現または部分表現の2D位置(それぞれ2Dサイズ)を表す。この座標系は、任意の原点を使用し、x軸は左から右へと方向付けられ、y軸は上から下へと方向付けられる。同じsource_id値を共有するすべてのSRDは、同じ原点および軸方向を有する。
WおよびH値は、この座標系における基準空間を規定する。x、y、w、およびhパラメータの値は、WおよびHパラメータの値に関連する。同じsource_id値を共有するSRDの位置(x,y)およびサイズ(w,h)は、基準空間のサイズを考慮に入れた後に、すなわち、xおよびw値がW値で除算され、yおよびh値がそれらのそれぞれの記述子のH値で除算された後に、比較するであろう。
図4bは、任意の単位を有する基準空間内の4つのタイル(AS1〜AS4)から構成されるビデオを有する、SRD記述子の例を示す。例示のために、タイルAS1およびAS2のMPD記述のみが示されている。
第1の適応セットはタイルAS1に対応する。これは、1920×1080ピクセルの分解能を有する1つのビデオ表現から構成される。SRD記述子(SupplementalProperty記述子を使用する)は、このビデオが1に等しいsource_idを有するタイルであり、基準空間の左上隅に位置する(座標x=0およびy=0)ことを指定する。ビデオのサイズは、各方向において基準空間の半分を表す(幅および高さが、基準空間の200任意単位に対して100をカバーする)。SRD記述子から、基準空間全体が実際には4k2kビデオ(3840×2160ピクセル)を表すと推測することができる。
SRD記述子から、第2の適応セットがタイルAS2に対応すると推測することができる。このSRD記述子は、今回は、タイルが第1の適応セットとよりも基準空間に関連する(同じsource_id=1)こと、x軸上の中域(200に対して値100)に位置し、y軸の基点(値0)上に位置することを指定するEssentialProperty記述子を使用して導入される。
SupplementalProperty記述子とEssentialProperty記述子との間の差は、親要素(適応セットまたは表現)が、schemeIdURI「urn:mpeg:dash:srd:2014」を理解しないクライアントによって処理されるときに生じる。事実、EssentialPropertyの場合、クライアントがschemeIdURIを理解しない場合、クライアントは、記述子を含む親要素を含むschemeIdURIを無視しなければならない。SupplementalPropertyの場合、クライアントは、ただ記述子自体は無視すると予測されるが、依然として親要素を使用することはできる。
そのため、SRD記述子がMPDにおいて使用されるとき、空間関係記述を理解しないクライアントとの下位互換性のために、少なくとも1つのSupplementalProperty記述子に依拠することが推奨される。
図5は、ビデオタイル化、および、ビデオタイル化が圧縮ビデオデータにどのように適用されるかを示す。図示されているように、ビデオストリーム500は、連続する時間フレームのセットを含む(例示のために、3つの連続する時間フレームが図示されている)。各フレームは、タイルTn(nは1〜8で変化する)として参照される複数の長方形、たとえば、参照符号505で示されているような8つの長方形に分割することができる。当然ながら、タイルの数および形状は異なってもよい。しかしながら、例示のために、考慮されているビデオフレームのインデックスが何であれ、タイル化は同じであると考えられる。
タイル化の結果として、独立したサブビデオ(図示例では8つ)が得られる。510として参照されるこれらのサブビデオは、ビデオ全体の区分化である。各独立したサブビデオは、たとえば、AVCまたはHEVC規格に適合する独立したビットストリームとして符号化することができるか、または、HEVCビットストリームにおけるタイルもしくはAVCにおけるスライスのような、単一のビデオビットストリームの一部分とすることができる。
ビデオのこのタイル化編成は、特にSVCまたはスケーラブルHEVCのようなスケーラブルビデオ符号化フォーマットを考慮するときに、他の構成に拡張することができる。
HEVC規格は、画像の種々の下位区分、すなわち、タイル、スライスおよびスライスセグメントを定義している。これらの種々の区分化は、異なる目的のために導入されている。スライスは、ストリーミング問題に関係し、一方で、タイルおよびスライスセグメントは並列処理のために定義されている。
HEVC規格によれば、タイルは、整数個のコード化ツリーユニット(CTU)を含む画像の長方形領域を規定する。
(6a)および(6b)よりなる図6は、タイル化構成の2つの例を示す。
図6の(6a)は、ビデオシーケンス(図示せず)のフレーム600が、ベースレイヤフレーム605、および、8つのタイル部分(T1〜T8)に分割されている空間エンハンスメントレイヤフレーム610を有するスケーラブルビデオとして符号化される特定のタイル化構成を示す。この例によれば、ベースレイヤはタイル化されない。それゆえ、エンハンスメントレイヤの各タイル(たとえば、エンハンスメントレイヤフレーム610の各タイル部分)は、ベースレイヤ全体に従属する。そのようなフレーム編成において、部分615のような画像の一部分がフレームの空間部分(たとえば、フレーム600の右下部分)をストリーミングするために選択されるとき、選択されたタイル(たとえば、タイルT6およびT8)およびベースレイヤが必要とされる。図6の(6a)に示すように、関心領域を表す選択される部分615は、2つのタイルT6およびT8ならびにベースレイヤ605によって包含される。
図6の(6b)は、別の特定のタイル化構成を示す。図示されているように、フレーム650を含むビデオシーケンスが、タイルベースである空間従属関係を有するタイル化ベースレイヤ(すなわち、タイルベースレイヤフレーム655)およびタイル化空間エンハンスメントレイヤ(すなわち、タイル化空間エンハンスメントレイヤフレーム660)として符号化され、エンハンスメントレイヤの1つのタイルは、ベースレイヤ内の同じ位置にあるタイルにのみ従属する。そのような構成において、ユーザがROI665のような関心領域を選択するとき、ユーザは、エンハンスメントレイヤフレーム660の2つのタイルT6およびT8、ならびに、ベースレイヤフレーム655の2つの基準タイルT06およびT08を必要とする。
図7は、SNR(信号対雑音比)タイプのスケーラビリティに関するタイル化構成の例を示す。そのような構成において、エンハンスメントレイヤのタイル、たとえば、フレーム700のエンハンスメントレイヤフレーム710のタイル部分T1〜T2は、ベースレイヤの同じタイル、たとえば、ベースレイヤフレーム705のタイル部分T01〜T08に従属する。従属関係はタイルベースである。そのような場合、ユーザがストリーミングするための画像部分、たとえば、フレーム700の領域715を選択するとき、エンハンスメントレイヤのタイルは、ベースレイヤの対応する従属タイルとともにストリーミングされ、たとえば、エンハンスメントレイヤフレーム710からのタイル部分T6およびT8は、ベースレイヤフレーム705のタイル部分TO6およびT08とともにストリーミングされる。
ユーザ選択の関心領域は、1つまたはいくつかの隣接するタイル(たとえば、図6および図7に示す例においてはタイルT6およびT8の組み合わせ)に対応するであろう。
上述したように、本発明の実施形態は、特に、HEVCビデオフォーマットに適用することができる。
HEVC規格によれば、画像を、タイル、スライス、およびスライスセグメントに空間的に分割することができる。この規格において、タイルは、水平および垂直境界(すなわち、行および列)によって規定される画像の矩形領域に対応する。これは、整数個のコード化ツリーユニット(CTU)を含む。それゆえ、タイルは、たとえば、関心領域の位置およびサイズを規定することによって、関心領域を識別するのに効率よく使用することができる。しかしながら、HEVCビットストリームの構造およびネットワーク抽象化層(NAL)ユニットとしてのそのカプセル化は、タイルの観点から編成されず、スライスに基づく。
HEVC規格において、スライスはスライスセグメントのセットであり、スライスセグメントのセットのうちの第1のスライスセグメントは独立したスライスセグメント、すなわち、ヘッダ内に記憶されている一般的な情報が別のスライスセグメントのものを参照しないスライスセグメントである。スライスセグメントセットの他のスライスセグメントは、存在する場合、従属スライスセグメント(すなわち、ヘッダ内に記憶されている一般的な情報が独立スライスセグメントのものを参照するスライスセグメント)である。
スライスセグメントは、整数個の連続した(ラスタ走査順の)コード化ツリーユニットを含む。それゆえ、スライスセグメントは、矩形形状のものとすることができるか、またはそうでなくてもよく、したがって、関心領域を表現するのに適していない。これは、スライスセグメントデータが後続するスライスセグメントヘッダの形態においてHEVCビットストリームI内に符号化される。独立スライスセグメントと従属スライスセグメントとは、それらのヘッダが異なっており、従属スライスセグメントは独立スライスセグメントに従属するため、そのヘッダの情報量が独立スライスセグメントにおけるものよりも小さい。独立スライスセグメントおよび従属スライスセグメントは両方とも、タイルを定義するために、または、エントロピー復号同期点として使用される、対応するビットストリームへのエントリポイントのリストを含む。
(8a)、(8b)、および(8c)よりなる図8は、タイルおよびスライスセグメントの例を示す。より正確には、図8の(8a)は、垂直境界805−1および805−2ならびに水平境界810−1および810−2によって9つの部分に分割されている画像(800)を示す。815−1〜815−9として参照される9つの部分の各々が、特定のタイルを表す。
図8の(8b)は、垂直境界805’によって区切られている2つの垂直タイルを含む画像(800’)を示す。画像800’は、5つのスライスセグメント、すなわち、1つの独立スライスセグメント820−1(斜線によって表されている)および4つの従属スライスセグメント820−2〜820−5を含む単一のスライス(参照符号なし)を含む。
図8の(8c)は、垂直境界805”によって区切られている2つの垂直タイルを含む画像(800”)を示す。左タイルは2つのスライス、すなわち、1つの独立スライスセグメント(820’−1)および1つの従属スライスセグメント(820’−2)を含む第1のスライス、ならびに、1つの独立スライスセグメント(820’−3)および1つの従属スライスセグメント(820’−4)を含む第2のスライスを含む。右タイルは、1つの独立スライスセグメント(820’−5)および1つの従属スライスセグメント(820’−6)を含む1つのスライスを含む。
HEVC規格によれば、スライスセグメントは、以下のように要約することができる規則に従って、タイルにリンクされる(一方または両方の条件が満たされなければならない)。
− スライスセグメント内のすべてのCTUが同じタイルに属する(すなわち、スライスセグメントは複数のタイルに属することができない)、および
− 1つのタイル内のすべてのCTUが同じスライスセグメントに属する(すなわち、タイルは、スライスセグメントの各々がそのタイルにのみ属することを条件として、タイルは複数のスライスセグメントに分割することができる)。
明瞭にするために、以下の記述において、1つのタイルが1つの独立スライスセグメントのみを有する1つのスライスを含むと考えられる。しかしながら、本発明の実施形態は、図8の(8b)および図8の(8c)に示すもののような他の構成によって実行されてもよい。
上述したように、タイルは関心領域のための適切なサポートと考えることができるが、スライスセグメントは、通信ネットワークにわたる搬送のためにNALユニット内に実際に置かれ、アクセスユニット(すなわち、ファイルフォーマットレベルにおけるコード化画像またはサンプル)を形成するために集約されるエンティティである。
HEVC規格によれば、このタイプのNALユニットは、以下のように定義することができるNALユニットヘッダの2バイの上で符号化されることが想起されるべきである。
nal_unit_header () {
forbidden_zero_bit
nal_unit_type
nuh_layer_id
nuh_temporal_id_plus1

スライスセグメントをコード化するために使用されるNALユニットは、スライスセグメントアドレス構文要素によってスライスセグメント内の最初のCTUのアドレスを示すスライスセグメントヘッダを含む。そのようなスライスセグメントヘッダは以下のように定義することができる。
slice_segment_header () {
first_slice_segment_in_pic_flag
if(nal_unit_type >= BLA_W_LP && nal_unit_type <= RSV_IRAP_VCL23)
no_output_of_prior_pics_flag
slice_pic_parameter_set_id
if(!first_slice_segment_in_pic_flag){
if(dependent_slice_segments_enabled_flag)
dependent_slice_segment_flag
slice_segment_address

If(!dependent_slice_segment_flag){
[…]
タイル化情報は、PPS(画像パラメータセット)NALユニットにおいて提供される。その後、スライスセグメントとタイルとの間の関係をこれらのパラメータから推測することができる。
空間予測は(定義により)タイル境界上でリセットされるが、タイルが基準フレーム内の異なるタイルからの時間予測器を使用することを妨げるものはない。したがって、独立タイルを構築するために、符号化中、予測ユニットの運動ベクトルは、基準フレーム内の同じ位置にあるタイル内にあるままにするために、タイル内部に制約されることが有利である。加えて、1つのみのタイルを複合しているときにエラードリフトが導入されないように、タイル境界上ではインループフィルタ(非ブロック化およびサンプル適応オフセット(SAO)フィルタ)は機能停止されていることが好ましい。そのようなインループフィルタの制御はHEVC規格において利用可能であることが留意されるべきである。これは、スライスセグメントヘッダ内でloop_filter_across_tiles_enabled_flagとして知られているフラグによって設定される。このフラグを明示的にゼロに設定することによって、タイル境界にある画素が、隣接するタイルの境界にかかる画素に従属することはできない。運動ベクトルおよびインループフィルタに関係するこれら2つの条件が満たされるとき、タイルは「独立復号可能タイル」または「独立タイル」と考えることができる。タイルコード化従属関係に関するこの情報は、ROI情報をシグナリングするためにHEVCビットストリームの専用SEI(補足強化情報)内で設定することができる。
ビデオビットストリームが独立タイルのセットとして符号化されると、これはその後、基準データの喪失および再構築エラーの伝播の一切の危険性なしにフレームごとのタイルベースの復号を可能にする。したがって、この構成は、たとえば、図6および図7に示す関心領域(タイルT6およびT8を含む)に対応する可能性がある元のビデオの空間部分のみを再構築することを可能にする。そのような構成、独立したタイル、およびタイルベースの従属関係は、ビデオビットストリーム内のSEIメッセージ内で示すことができる。これは、タイルベースの復号が信頼可能であることを示すように、カプセル化および記述レベルで利用することができる。
マニフェスト内で記述される前に各タイルは、標準フォーマットにおいてカプセル化するために処理されなければならない。そのようなカプセル化段階は、図3を参照して説明する。例示のために、カプセル化フォーマットは、ISO BMFF規格に適合する(または、この規格に適合するメディアファイルの拡張である)。これは、MPEG/DASH規格が作成要領を指定しているフォーマットの1つである。
独立したタイルは、カプセル化モジュールの入力として与えられ、各タイルは、カプセル化のための独立したトラックとして考えられる。各符号化タイルについて、タイルトラックが、結果としてもたらされるISO BMFFファイル内で定義される。したがって、各タイルトラックは、ビデオ全体(またはフルフレームビデオ)の空間部分を表す。オーディオトラックまたはテキストトラックのような追加のトラックが、同じファイル内で使用およびカプセル化されてもよい。
ISO BMFFファイル内で、複合トラックが作成および定義される。これは、タイルの任意の組み合わせに対応するために使用される。
タイルトラックおよび複合トラックのこの編成によれば、タイルデータは独立したアドレス指定可能なトラックに分割され、それによって、タイルトラックの任意の組み合わせを、そのタイルトラックを参照する複合トラックから容易に構築することができる。
各タイルトラックについて、タイル位置、タイルサイズ、および帯域幅のようなタイル情報項目がトラックヘッダ、たとえば、「moov」ボックスとして知られているトラックヘッダボックス内に記憶される。ストリーミングのために、これらの情報項目は、DASH規格において定義されている初期セグメント内に記憶することができる。
初期セグメントに加えて、カプセル化プロセスは、小さい期間に対応するセグメントファイル(MPDが生成されるときにURLを通じてアクセスするであろうメディアセグメント)を生成する。セグメントは一般的に、動画フラグメントに対応する(たとえば、「moof」および「mdat」として知られているボックス)。動画フラグメントあたり、および、タイルトラックあたり1つのmp4セグメントファイルが生成され、それによって、ビデオの各空間−時間部分はアドレス指定可能になる。
複合トラックは同じ時間分解に従い、同じく時間的にアドレス指定することができる。これは主に、抽出器、一般的にはmp4抽出器から構成されており、各抽出器が1つのタイルトラックを参照する。これはまた、構文解析時に、データの不在をサポートする特定の抽出器をも含む。無論、動画フラグメントおよび対応するmp4セグメントの数ならびにそれらの粒度は限定されない。その選択は、応用形態に応じて行われる。
カプセル化プロセスは、マニフェスト内に、メディアプレゼンテーション内に含まれるビデオを記述するためにマニフェスト生成器によって使用される。
上記で説明したように、現行のストリーミングマニフェスト、特にMPDは、ビデオストリームが、任意選択の切り替え可能なコンポーネントのセットとして記述されることを可能にしない。さらに、現行のカプセル化方式によれば、表示することができるビデオトラックは、複合トラックのmp4構文解析(すなわち、抽出器の分解能)からもたらされるもののみである。タイルトラックは、単独で表示可能であるようには意図されていない。
それゆえ、複合トラックは、マニフェスト内で、アドレス指定可能なビデオ表現として記述される。複合トラックは、タイルトラックを指し示す抽出器から構築されるため、複合トラックはそれ自体、何らデータを含まない(タイルトラックに共通する何らかのヘッダ情報項目を除く)。これは、タイルトラックがまた、マニフェスト内で記述されなければならず、ユーザ(またはクライアント)によるタイル選択に応じて、それらのいくつかがまたダウンロードもされなければならないことを意味する。
そのため、解決されるべき1つの課題は、MPD内で複合およびタイルトラックをどのように記述すべきか、および、クライアントが必須の従属関係と任意選択の従属関係との間で区別することができるように、それらの間の従属関係をどのように表現すべきか、である。
第1の実施形態によれば、追加の属性および/または要素はMPD内でシグナリングされない。それゆえ、メディアコンテンツコンポーネントの表現が、別のメディアコンテンツコンポーネントからの別の表現に従属することをシグナリングするために、既存の「representation@dependencyId」属性が使用される。しかしながら、従属関係が必須または任意選択であるか否かを判定するために、MPDから得られる別の情報項目、たとえば、@codecとして知られている属性が使用される。
このファイルフォーマット定義によれば、@codec属性値は、メディアコンテンツコンポーネントのタイプを示す。@codec属性の現在の値は以下の通りである。
− 「hvc1」、「hev1」、「hvc2」、および「hev2」はHEVCストリームの異なるタイプを示す、ならびに
− 「hvt1」は、タイルトラックサブストリームを示す。
図13は、第1の実施形態の例を示す。この実施形態によれば、@codec属性値は、以下のアルゴリズム(など)に従って従属関係のタイプを判定するために使用される。
− クライアントデバイスは、マニフェストを構文解析し(1300)、利用可能な表現のリストを構築する(1301)。このリストは、タイル「ベーストラック」とも呼ばれるタイルの複合または基準トラックに対応する可能性のある表現、および、空間タイルトラックに対応する表現を含む、種々のスケーラビリティ層における可能性のある表現を含み得る。
− クライアントデバイスは、ユーザによって選択される空間領域(1302)、ディスプレイの解像度、利用可能な帯域幅、所望のフレームレートに従って再生するための必要とされる表現を識別する(1303)。MPDは、クライアントによって、各適応セット/表現の記述におけるその選択を実施するために必要とされるすべての情報を提供する。特に、SRD記述子((図4b)を参照して記載されているような)が、表現によってカバーされる空間領域に関する情報を提供する。
クライアントが少なくとも1つの表現を選択すると(1304)、その表現に対応するメディアコンポーネントタイプが、Representation@codec属性を見ることによって、チェックされる(1305)。
この属性が「hvt1」(1305)(上記で定義)と異なる場合、この表現に関連付けられたメディアセグメント、および、存在する場合は(Representation@dependencyId属性によって定義される)すべての従属表現のメディアセグメントをダウンロードするために、DASHによって定義される従来のアルゴリズムが使用される(1307、1308)。そのような事例においては、すべての従属関係が必須であると考えられる。
そうではなく、選択された表現の属性Representation@codecが「hvt1」である場合(1306)、本発明に従って以下のアルゴリズムが使用される。これは、すべての従属関係を解決し、ダウンロードすべきメディアセグメントのリストを決定することを可能にする。
定義により、@codec=‘hvt1’を有する表現は、HEVCタイルトラック(すなわち、HEVCストリームの空間サブパート)に対応する。そのようなトラックにおいて、トラック内及びサンプル記述ボックス内のサンプルのいずれも、VPS、SPS及びPPS NALユニットを含まないはずである。これらのNALユニットは、サンプル内または関連付けられたタイルベーストラック(基準/複合トラック)のサンプル記述ボックス内にあるはずである。言い換えれば、@codec=‘hvt1’を有する表現は単独で再生することができず、関連付けられたタイルベーストラックもダウンロードされなければならない。そのため、タイルトラックとそのタイルベーストラックとの間には黙示的な従属関係がある。要求されているタイルベーストラックを取り出す前に、クライアントは、ダウンロードされるべき属性Representation@dependencyIdとともにシグナリングされる現在のタイルトラックのすべての従属関係をマークする(1309)が、まだそれらをダウンロードしない。最初に、その関連付けられたタイルベーストラックが識別される必要がある。更に、スケーラビリティ従属関係が解決されるであろう。
その後、関連付けられたタイルベーストラックが取り出される(1310)。この目的のために、要求されている層に対応する属性Representation@codecを有する同じsource_idおよび同じgroup_idを有する表現を取り出すためにSRD記述子を使用することができる(すなわち、これは@codec≠’hvt1’を有する表現である)。
group_idが明示的に定義されていない場合、これは、タプル(W,H)から推測される。同じタプル(W,H)を有する表現は、黙示的に、共通の表現グループを形成する。
次に、クライアントは、以下のように、タイルベーストラック表現の従属関係を解決する(1311)。
・ @dependencyId属性は、従属関係表現のリストを与える。
− 各従属表現について、
・ クライアントデバイスは、関連付けられた@codec属性をチェックする(@codec=‘hvt1’は、従属表現がタイルトラックサブストリームであることを示す)(1312)。
@codec=‘hvt1’である場合、先行するステップにおいて従属表現がダウンロードするために必須であるとしてマークされている場合を除き、従属関係は任意選択である(1313、1314)。
・ 現在の表現が「hvt1」タイプのものでない(@codec≠‘hvt1’)場合、これは、従属表現がスケーラブル部分層表現であり、そのため、ダウンロードするために必須であるとしてマークされることを意味する(1315)。
クライアントは、上記のアルゴリズムをすべての従属表現に対して再帰的に実施する(1316)。
− クライアントデバイスは、必須であるとしてマークされているすべての表現に対応するメディアセグメントをダウンロードする(1317)(1つの表現が複数回現れる場合、これは一度ダウンロードされる)、および
− クライアントデバイスは、連結されているメディアセグメントを構文解析し、非ボイドデータ(すなわち、選択されたタイル(複数可))を指摘する抽出器を解決する(1318)。
図9は、第1の実施形態による本発明の実施形態を例示するために、各層が2つのタイルを含む、2つのスケーラビリティ層を含むタイル化構成において解決されるべき従属関係の例を示す。
図示されているように、ベースレイヤは、識別子1および2を有する2つのタイル(BLTTおよびBLTT)に従属する、識別子Aを有するベースレイヤベーストラック(BLBT)から構成される。これら3つの表現が、group_id=1を有するSRDグループを形成する。同様に、エンハンスメントレイヤは、スケーラビリティに起因してベースレイヤ(BLBT)に従属し、識別子3および4を有するエンハンスメントレイヤからのタイル(ELTTおよびELTT)に従属する、識別子Bを有するエンハンスメントレイヤベーストラック(ELBT)から構成される。2つの関連付けられたタイルを有するエンハンスメントレイヤは、group_id=2を有するSRDグループを形成する。
更に、図9に示すように、スケーラビリティに起因して、タイルELTT1はタイルBLTT1に従属し、タイルELTT2はBLTT2に従属する。
これらの層およびこれらのタイルに対応するトラックの@codec属性は、以下のように表現することができる。<Representation id=1 codec=”hvt1” >
<!−− SRD for tile BLTT1 −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 0, 0, 100, 200, 200, 200, 1”/>
</Representation>
<Representation id=2 codec=”hvt1” >
<!−− SRD for tile BLTT2 −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 100, 0, 100, 200, 200, 200, 1”/>
</Representation>
<Representation id=A codec=”hev1” dependencyId=”1 2”>
<!−− SRD for full resolution (base layer) −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 0, 0, 200, 200, 200, 200, 1”/>/>
</Representation>
<Representation id=3 codec=”hvt1” dependencyId=”1”>
<!−− SRD for tile ELTT1 −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 0, 0, 100, 200, 200, 200, 2”/>
</Representation>
<Representation id=4 codec=”hvt1” dependencyId=”2”>
<!−− SRD for tile ELTT2 −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 100, 0, 100, 200, 200, 200, 2”/>
</Representation>
<Representation id=B codec=”hev1” dependencyId=”A 3 4”/>
<!−− SRD for full resolution (enhancement layer) −−>
<SupplementalProperty schemeIdUri=”urn:mpeg:dash:srd:2014” value=”1, 0, 0, 200, 200, 200, 200, 2”/>
</Representation>
ここで、タイルトラックサブストリーム(すなわち、ベースレイヤタイルトラックおよびエンハンスメントレイヤタイルトラック)について、この値は、「hev1」に設定される。
例示のために、ユーザが、タイルELTT1に対応するエンハンスメントレイヤ内でビデオのサブパートを表示したい場合、第1のステップは、上述したアルゴリズムに従って、図14を参照して下記に記載するステップに本質がある。
このアルゴリズムによれば、アルゴリズムは最初に、SRD記述子からの空間記述を使用して、タイルELTT1に対応する表現を探す。アルゴリズムは、id=3を有する表現がその基準に一致することを発見する。その後、アルゴリズムは、この表現がコーデックタイプ「hvt1」を有すると判定し、これは、これがタイルトラックであることを意味する。このタイルトラックは、id=1を有する表現に対する従属関係を定義するdependencyIdを有する。表現1は、ダウンロードするために必須であるとしてマークされる。
第1のステップの間に選択された表現が「hvt1」に等しい@codec属性を有するとき、クライアントはその後、関連付けられたタイルベーストラックを探す。そのため、クライアントは、同じsource_idおよびgroup_idを有するcodec=”hev1”を有する表現を探す。
クライアントは、これらの基準に対応する表現Bを発見する。Bは、表現A、3および4に従属する。本発明がなければ、クライアントは、これらすべての表現をダウンロードするために必須であるとしてマークしたであろう。本発明によれば、クライアントは最初に、各従属表現のコーデックを見る。
− 表現Aは、その@codec値が「hev1」に等しく、これはベースレイヤに対応するため、そこから、この表現がダウンロードするために必須であると判定される。クライアントデバイスは、この表現をダウンロードすべきであるとしてマークするが、直ちにこれをダウンロードすることはしない、および
表現3および4の両方がcodec=hvt1を有し、そのため、クライアントは、それらの表現がタイルトラックに対応すると推測する。それらの従属関係は任意選択であるとして識別される。
その後、これは、2つの表現1および2に従属する表現A(先行するステップにおいて必須であるとしてマークされている)に関する従属関係に従う。それら両方の従属表現が値「hvt1」を有する@codec属性を有し、そのため、それらの従属表現は、表現1がすでに必須であるとして識別されていることを除いて、先験的に任意選択である。そのため、この表現からのメディアセグメントがダウンロードされることになる。
結論として、@dependencyId属性によるダウンロード順序は、BLTT1、BLBT、ELTT1、ELBTとなる。
次に、復号および表示される、必要とされるトラックを得るために、このプロセスが規格ベースで実行される。
第2の実施形態によれば、ここでは@dependencyTypeとして示される新たな属性が、@dependencyId属性によって定義される従属関係のタイプを明示的に特性化するために作成される。
標準ファイルフォーマット定義によれば、トラック関係はトラック基準タイプ(「tref」ボックス)を通じて記述されることが想起されるべきである。たとえば、「tbas」タイプは、タイルセットの間で共有される共通データに対する基準トラックに従属するトラックを示し、「scal」タイプは、トラックが基準トラックのデータに従属することを示し、「cdsc」タイプは、参照されるトラック内のコンテンツ(たとえば、メタデータ)の記述を与えるトラックを示す。
たとえば、メタデータの場合、@dependencyType属性を使用して、DASHクライアントは、メタデータ表現が、従属するビデオ表現の記述を与えることを通知される(「cdsc」の意味)。この新たな@dependencyType属性がなければ、クライアントがメタデータ表現の1つを選択する場合、@dependencyId属性はこの表現を、復号および/または提示のためにメタデータ表現が従属する相補的な表現として記述するため、クライアントは、従属するビデオ表現をダウンロードするようにされるであろう。
これは、MPEGグリーンメタデータまたは品質基準メタデータに使用することができる(付録のコード1参照)。
これらのタイプは、カプセル化レベルにおいて定義されている関係を反映するという利点をもって、MPDにおいて再使用することができる。
(10a)および(10b)を含む図10は、第2の実施形態による本発明の実施態様を例示するために、それぞれ、スケーラビリティがない、および、スケーラビリティがある、2つのタイル化構成において解決されるべき従属関係の2つの例を示す。
図10の(10a)に示すように、タイル化構成は、4つのタイル(TT TT)に従属するベーストラック(BT)を含む。したがって、スケーラビリティがないとき、以下の記述を得ることができる。
/* −−−− Base track −−−− */
<Representation id= ‘BT’ codec=’xxx.hev1.xxx’ dependencyId=’TT1 TT2… TTN’ dependencyType=’tile’ …/>
/* −−−− Tile track −−−− */
<Representation id=”Ti” codec=’xxx.hvt1.xxx’ dependencyId=’BT’ dependencyType=’tbas’ …/>
上記の例において、タイルベーストラック(基準/複合トラック)とその関連付けられたタイルトラックとの間の従属関係は、新たな従属関係タイプ「tile」を使用して定義される。新たな基準タイプ「tile」を定義する代わりに、代替的な実施形態は、ファイルフォーマットにおいて使用されるような既存の基準タイプ(タイプ「scal」)を保持し、スケーラビリティ従属関係をシグナリングするために使用される基準「scal」と、タイル化従属関係をシグナリングするために使用される「scal」との間の既存の不明確さを除去するために、この情報を、@codec属性からの情報と組み合わせることであってもよい。事実、表現が、「hvt1」に等しい@codec属性を有する従属表現に対するタイプ「scal」の従属関係を有する場合、この従属関係はタイルに対する従属関係であると推測することができる。
図10の(10b)に示すように、ベースレイヤは、4つのタイル(BLTT〜BLTT)に従属するベースレイヤベーストラック(BLBT)から構成される。同様に、エンハンスメントレイヤは、スケーラビリティに起因してベースレイヤ全体(BLBT+BLTT+BLTT+BLTT+BLTT)に従属し、エンハンスメントレイヤからのタイル(ELTT〜ELTT)に従属する、エンハンスメントレイヤベーストラック(ELBT)から構成される。したがって、スケーラビリティがあるとき、以下の記述を得ることができる。
/* −−−− Base Layer base track −−−− */
<Representation id= ‘BLBT’ codec=’xxx.hev1.xxx’ dependencyId=’BLTT1 BLTT2… BLTTN’ dependencyType=’tile’ …/>
/* −−−− Base Layer tile track −−−− */
<Representation id=’BLTTi’ codec=’xxx.hvt1.xxx’ dependencyId=’BLBT’ dependencyType=’tbas’ …/>
/* −−−− Enhancement Layer Base track −−−− */
<Representation id= ‘ELBT’ codec=’xxx.hev1.xxx’ dependencyId=’BLBT,ELTT1…ELTTN’ dependencyType=’scal, tile, tile, …’ …/>
/* −−−− Enhancement Layer Tile track −−−− */
<Representation id=’ELTi’ codec=’xxx.hvt1.xxx’ dependencyId=’ELBT’ dependencyType=’tbas’ …/>
選択された空間領域に応じてダウンロードするためのメディアセグメントを取り出すために、クライアントデバイスにおいて以下のアルゴリズムを実施することができる。
− クライアントデバイスは、マニフェストを構文解析し(1400)、表現タイルのリストを構築する(1401)。このリストは、タイルベーストラック(複合/基準トラックとしても知られている)に対応する表現、および、空間タイルトラックに対応する表現を含む可能性のある、異なるスケーラビリティ層における表現を含むであろう。
− ユーザは、ビデオ上の空間領域を選択する(1402)。
・ SRD@x,y属性の値を使用して、クライアントデバイスは、この選択を候補表現のリストに変換する(1403)。SRD@W,H属性の値は、適切な空間分解能を選択するのに役立つことが出来ることが留意されるべきである。クライアントが再生したい候補表現(タイル)を選択すると(1405)、クライアントは、「tbas」に設定されているdependencyTypeを有するdependencyIdを見ることによって、関連付けられたタイルベーストラックを取り出すことができる。
・ クライアントデバイスは、候補表現について、@dependencyType属性が「tbas」に等しい表現の識別子を得る(1406)。
○ これによって、共通の初期情報を含むベーストラックが与えられ、これは、異なるタイルベーストラックが発見される場合はエラーである(1408)。
○ クライアントデバイスは、従属関係を候補表現について解決済みとしてマークし(140)、このときはこれらの表現をダウンロードしない。
候補表現が他の表現に対するタイプ「scal」の従属関係を有する場合、それらの表現も、候補表現としてマークされる。
・ ベーストラックから、クライアントデバイスは、従属表現を識別し、以下の規則に関して対応するセグメントをダウンロードする。
○ dependencyType属性値が「scal」に等しい場合、従属表現のセグメントをダウンロードすることは必須である。
○ dependencyType属性値が「tile」に等しい場合、従属表現が候補の一部分であるか否かに応じて、従属表現のセグメントをダウンロードすることは任意選択である。
− クライアントデバイスは、図13を参照して説明したように、選択されたタイルおよびベースメディアセグメントをダウンロードする(1408〜1416)、および
− クライアントデバイスは、連結されているメディアセグメントを構文解析し、非ボイドデータ(すなわち、選択されたタイル(複数可))を指し示す抽出器を解決する。
「tile」に等しい新たな基準タイプを定義する代わりに、代替的な実施形態は、従属関係タイプを、従属表現のコーデック属性と組み合わせることに本質が有る。「dependencyType=‘scal’かつ@codec=‘hvt1’である場合」、候補表現の一部分である場合を除いてダウンロードすることは任意選択である。
第3の実施形態によれば、複合または基準トラックは2つの異なる目的のために2回提示され、第1の目的は、複合または基準トラックをエントリポイント(すなわち、選択可能な表現)として使用することに関し、第2の目的は、従属関係を表現することである(それらは「ゴースト」または「仮想」表現を表す)。
任意の従属関係サイクルが解決されること(すなわち、タイルトラック表現が基準トラック表現に従属し(dependencyType=’tbas’)、基準トラック表現がタイルトラック表現に従属する(dependencyType=’scal’ or ‘tile’)場合)を回避するために、下記に説明するように、同じ基準トラックの2つの仮想表現がMPDにおいて定義される。このように、新たな属性を作成する必要なしに、MPDにおいて従属関係サイクルを断つことができる。
図11は、第3の実施形態による本発明の実施形態を例示するために、タイル化構成において解決されるべき従属関係の例を示す。この所与の例によれば、破線は、ファイルフォーマットにおいて定義されているトラックを表し、実線は、MPDにおいて定義されている表現を表す。
図示例にしたがって、かつ、タイルフォーマットにおいてベースレイヤについて定義されているすべてのトラック(すなわち、破線で示されている、ベースレイヤベーストラックまたは基準トラック(BLBT)およびベースレイヤタイルトラック(BLTT1+BLTT2+BLTT3+BLTT4))を考慮することによって、MPDを作成するときに以下の表現が作成される。
− 最大分解能を再構築するために必要とされるすべてのタイル表現に従属するBLFR(ベースレイヤ最大分解能表現)(dependencyId=”BLTR1…BLTR4”)。
− BLFRと同じメディアセグメントリストを有するが、従属関係は有しないBLBR(ベースレイヤベース表現)。この表現は、他の表現に対する従属関係を一切有しない部分データしか含まないために再生可能でないため、幅および高さパラメータをヌルに設定することによって、再生可能でないとしてマークされる、および
− すべてBLBRに対する従属関係を有する、タイルトラックを表すBLTR1〜BLTR4(ベースレイヤタイル表現)。
代替的な実施形態として、表現内の新たな特定の属性もしくはフラグを定義することによって、または、表現に関連付けられた特定の記述子を定義することによって、この表現は再生可能でないとしてシグナリングされる(たとえば、EssentialPropertyに基づく、そのため、クライアントが「再生可能でない」特性を理解しない場合、クライアントはこの表現をMPDから除去することになる)。
したがって、クライアントデバイスが最大分解能を再生したい場合、クライアントは、BLFR表現を選択することができ、すべての必要なメディアセグメント(ベーストラックおよびすべての関連付けられたタイルトラック)をダウンロードするために、DASHによって定義されるようにその従属関係を解決する。
同様に、クライアントデバイスがいくつかのタイルのみを再生したい場合、クライアントは、対応するタイル表現(BLTRi)を選択することができ、わずかに詳細を追加されて、DASHによって定義されるようにBLBRに対するそれらの従属関係を解決し、複数のタイルがダウンロードされる場合、BLBRは1回しかダウンロードされない。
これらの表現の記述は、以下のように表すことができる。
<AdaptationSet>
<Role
schemeIdUri=” urn:mpeg:dash:role:2011”
value=”supplementary”/>
<EssentialProperty
schemeIdUri=” urn:mpeg:dash:srd:2014”
value=”0 0 0 0”/>
<Representation id=”BLBR” w=h=0…>
</Representation>
<Representation id=”ELBR” w=h=0…>
</Representation>
</AdaptationSet>
<AdaptationSet>
<Role
schemeIdUri=” urn:mpeg:dash:role:2011”
value=”main”/>
<SupplementalProperty
schemeIdUri=” urn:mpeg:dash:srd:2014”
value=”0 0 W H”/>
<Representation id=”BLFR”
dependencyId=”BLTR1 … BLTR4” …>
</Representation>
<Representation id=”ELFR”
dependencyId=”ELTR1 … ELTR4” …>
</Representation>
</AdaptationSet>
<AdaptationSet>
<Role
schemeIdUri=” urn:mpeg:dash:role:2011”
value=”alternate”/>
<SupplementalProperty
schemeIdUri=” urn:mpeg:dash:srd:2014”
value=”0 0 W/2 H/2”/>
<Representation id=”BLTR1”
dependencyId=”BLBR”…>
</Representation>
<Representation id=”ELTR1”
dependencyId=”BLTR1 ELBR”…>
</Representation>
</AdaptationSet>

<AdaptationSet>
<Role
schemeIdUri=” urn:mpeg:dash:role:2011”
value=”alternate”/>
<SupplementalProperty
schemeIdUri=” urn:mpeg:dash:srd:2014”
value=”W/2 H/2 W/2 H/2”/>
<Representation id=”BLTR4”
dependencyId=”BLBR”…>
</Representation>
<Representation id=”ELTR4”
dependencyId=”BLTR1 ELBR”…>
</Representation>
</AdaptationSet>
この実施形態によれば、DASH従属関係は、抽出器の順序になっている。トラックと表現との間の分離に関して、同じトラックを指し示すが、従属関係は異なる様にいくつかの表現が複製される(たとえば、BLBR〜BLTRまたはELBR〜ELTR)。これは、後方互換性デフォルト再生のために必要とされる場合、総トラックのみに対して仮想表現を追加し、同じリソースを2回ダウンロードしないスマートクライアントデバイスに依拠する。
以下の説明は、図15を参照して行われる。クライアントデバイスの挙動は、以下のように要約することができる。
− クライアントデバイスが、マニフェストを構文解析し(1500)、
・ 複数の異なるスケーラビリティ層にあり、複数の異なる空間タイルについての表現を含む可能性がある表現のリストを構築し(1501)、
・ 選択可能または選択不可能(「ゴースト」、再生不可能)として表現を分類し(1502)、
○ たとえば、representation@w,h=0、SRD@w,h=0、表現内の特定の属性、または、表現と関連付けられた特定の記述子、
− ユーザが、ビデオ上の空間領域を選択し(1503)、
・ クライアントデバイスが、SRD注記を使用して候補表現を識別し(1504)、
・ クライアントデバイスが、各選択された表現毎に、従属関係に従い、従属表現を候補として含め(1506)、
・ クライアントデバイスが、第1のインスタンスのみを保持することによって、冗長な従属表現のリストを除去し(1507)、
− クライアントデバイスが、候補表現について、選択されたタイルおよびベースメディアセグメントをダウンロードし(1508、1509)、
− クライアントデバイスが、連結されているメディアセグメントを構文解析し、非ボイドデータ(すなわち、選択されたタイル(複数可))を指摘する抽出器を解決する(1510)。
たとえば、クライアントが表現ELTR1に対応するタイルを再生したい場合、@dependencyId属性は、この表現が表現BLTR1およびELBRに従属することをシグナリングする。最初に、BLTR1(ベースレイヤからのタイル1)に対する第1の従属関係が解決される。BLTR1はまた、タイルベーストラックBLBRに従属すると考えられる。また、BLBRは、いかなる従属関係も有せず、そのため、BLTR1についてのすべての従属関係を解決する。その後、クライアントは、ELBRに対する従属関係をチェックする。これも、一切の従属性を有しない。そのときには、すべての従属性が解決されており、ELTR1にアクセスするための従属性の以下のリスト、すなわち、BLBR BLTR1 ELBR ELTR1が得られる。
別の例として、クライアントがエンハンスメントレイヤの最大分解能にアクセスしたい場合、クライアントは、表現ELFRを選択するか、すべての従属関係に従うことができる。ELFRはBLFRおよびELTR1〜ELTR4に従属し、BLFRはBLTR1〜BLTR4に従属する。したがって、従属関係のリストは、BLTR1 BLTR2 BLTR3 BLTR4 BLFR ELTR1 ELTR2 ELTR3 ELTR4 ELFRである。
図12は、本発明の記載されている実施形態の各々または各々のいくつかのステップを実行に移すために使用することができるコンピューティングデバイス1200の概略ブロック図である。コンピューティングデバイス1200は、マイクロコンピュータ、ワークステーション、または軽量ポータブルデバイスのようなデバイスであってもよい。
コンピューティングデバイス1200は、以下に接続されている通信バスを備える。
− CPUとして示されている、マイクロプロセッサのような中央処理装置1205、
− RAMとして示されている、本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ1210、ならびに、マニフェストを読み出しおよび書き込みし、および/または、ビデオを符号化し、および/または、所与のファイルフォーマット下でデータを読み出しもしくは生成するための方法を実施するために必要な変数およびパラメータを記録するように構成されているレジスタ、そのメモリ容量は、たとえば、拡張ポートに接続される任意選択のRAMによって拡張することができる、
− ROMとして示されている、本発明の実施形態を実施するためのコンピュータプログラムを記憶するための読み出し専用メモリ1215、
− 処理されるべきデジタルデータがそれを介して送信または受信される通信ネットワークに一般的に接続されているネットワークインターフェース1220。ネットワークインターフェース1220は、単一のネットワークインターフェースであってもよく、または、複数の異なるネットワークインターフェース(たとえば、有線および無線インターフェース、または、異なる種類の有線もしくは無線インターフェース)のセットから構成されてもよい。データは、CPU1205内で作動するソフトウェアアプリケーションの制御下で、送信のためにネットワークインターフェースに書き込まれ、または、受信のためにネットワークインターフェースから読み出される、
− ユーザからの入力の受信、または、ユーザへの情報の表示のためのユーザインターフェース1225、
− HDとして示されているハードディスク1230、および
− ビデオソースまたはディスプレイのような外部デバイスから/へデータを受信/送信するためのI/Oモジュール1235。
実行可能コードは、読み出し専用メモリ1215内、ハードディスク1230上、または、たとえば、ディスクのような取り外し可能デジタル媒体上のいずれかに記憶されてもよい。変形形態によれば、実行可能プログラムコードは、実行される前に、ハードディスク1230のような、通信デバイス1200の記憶手段の1つの中に記憶するために、ネットワークインターフェース1220を介して、通信ネットワークによって受信されてもよい。
中央処理装置1205は、本発明の実施形態による1つまたは複数のプログラムの命令またはソフトウェアコード部分の実行を制御および指示するように構成されており、その命令は、上記で言及した記憶手段のうちの1つの中に記憶される。電源投入された後、CPU1205は、たとえば、プログラムROM1215またはハードディスク1230から命令がロードされた後に、ソフトウェアアプリケーションに関係するメインRAMメモリ1210からそれらの命令を実行することが可能である。そのようなソフトウェアアプリケーションは、CPU1205によって実行されると、前述したアルゴリズムのステップを実施させる。
この実施形態において、装置は、本発明を実施するためにソフトウェアを使用するプログラム可能装置である。しかしながら、あるいは、本発明の実施形態は、ハードウェア(たとえば、特定用途向け集積回路すなわちASICの形態)において実施されてもよい。
本発明の実施形態は、たとえば、特定の関心領域にズームインするために、カメラ、スマートフォン、または、TVのリモートコントローラとして機能するタブレットのようなデバイス内に組み込まれてもよい。それらはまた、特定の関心領域を選択することによって、TV番組の個別化された試聴体験を有するために同じデバイスから使用することもできる。ユーザによるこれらのデバイスの別の用途は、ユーザが好むビデオの選択されたサブパートを、他の接続されているデバイスと共有することである。それらは、監視カメラが本発明の生成部分をサポートしているならば、監視下に置かれている建造物の特定の領域内で起こっていることをモニタリングするために、スマートフォンまたはタブレット内で使用することもできる。
以上、特定の実施形態を参照して本発明を説明してきたが、本発明は、それら特定の実施形態には限定されず、本発明の範囲内にある修正が、当業者には明確であろう。
単なる例として与えられており、本発明の範囲を限定するようには意図されておらず、その範囲は添付の特許請求項によってのみ決定される、上記の例示的な実施形態を参照すれば、多くのさらなる修正および変形が、当業者には示唆される。特に、異なる実施形態からの異なる特徴は、必要に応じて交換されてもよい。
付録
<?xml version=”1.0” encoding=”UTF−8”?>
<MPD
xmlns:xsi=”http://www.w3.org/2001/XMLSchema−instance”
xmlns=”urn:mpeg:dash:schema:mpd:2011”
xsi:schemaLocation=”urn:mpeg:dash:schema:mpd:2011 DASH−MPD.xsd”
type=”static”
mediaPresentationDuration=”PT3256S”
minBufferTime=”PT1.2S”
profiles=”urn:mpeg:dash:profile:isoff−on−demand:2011”>

<BaseURL>http://cdn1.example.com/</BaseURL>
<BaseURL>http://cdn2.example.com/</BaseURL>

<!−− In this Period the multimedia presentation is composed of two media content component types: one audio and one video −−>
<Period>
<!-English audio −−>
<AdaptationSet
mimeType=”audio/mp4”
codecs=”mp4a.0x40”
subsegmentAlignment=”true”
subsegmentStartsWithSAP=”1”
lang=”en”>
<Representation
id=”audio1”
bandwidth=”64000”>
<BaseURL>audio−64k.mp4</BaseURL>
</Representation>
<Representation
id=”audio2”
bandwidth=”32000”>
<BaseURL>audio−32k.mp4</BaseURL>
</Representation>
</AdaptationSet>
<!−− In this Adaptation Set, the scalable SVC stream is split into three representations −−>
<AdaptationSet
subsegmentAlignment=”true”
subsegmentStartsWithSAP=”2”
minBandwidth=”512000”
maxBandwidth=”1024000”
frameRate=”30”>
<!−− Independent Representation −−>
<Representation
mimeType=”video/mp4”
codecs=”avc1.4D401E”
id=”tag5”
width=”320”
height=”240”
bandwidth=”512000”>
<BaseURL>video−512k.mp4</BaseURL>
<SegmentBase indexRange=”0−4332”/>
</Representation>
<!−− Representation dependent on above −−>
<Representation
mimeType=”video/mp4”
codecs=”avc2.56401E”
id=”tag6”
width=”640”
height=”480”
dependencyId=”tag5”
bandwidth=”768000”>
<BaseURL>video−768k.mp4</BaseURL>
<SegmentBase indexRange=”0−3752”/>
</Representation>
<!−− Representation dependent on both above −−>
<Representation
mimeType=”video/mp4”
codecs=”avc2.56401E ”
id=”tag7”
dependencyId=”tag5 tag6”
width=”1280”
height=”720”
bandwidth=”1024000”>
<BaseURL>video−1024k.mp4</BaseURL>
<SegmentBase indexRange=”0−3752”/>
</Representation>
</AdaptationSet>
</Period>
</MPD>
コード1の引用:マニフェストファイル

Claims (15)

  1. メディアデータに応じた1又は複数のメディアセグメントをMPEG−DASH規格に従って取得するためにクライアントによって参照される記述データの提供方法であって、MPEG−DASH規格において規定されるリプリゼンテーションと依存関係にある他のリプリゼンテーションを識別するための記述情報と、前記リプリゼンテーションと前記他のリプリゼンテーションとの依存関係のタイプに関するタイプ情報とを含む前記記述データを取得する取得ステップと、
    前記取得された記述データを前記クライアントからのリクエストに応答して前記クライアントに対して送信する送信ステップと、
    を有することを特徴とする記述データの提供方法。
  2. 前記記述データに記述される前記タイプ情報には、tbas、scal、cdscのうち、少なくとも1つが含まれることを特徴とする請求項1に記載の提供方法。
  3. 前記タイプ情報は、前記リプリゼンテーションと前記他のリプリゼンテーションが、タイルビデオと、タイル間で共通するデータとの関係であることを示すことを特徴とする請求項1に記載の提供方法。
  4. 前記タイプ情報は、前記リプリゼンテーションと前記他のリプリゼンテーションがデコードにおける従属関係を有することを表すことを特徴とする請求項1に記載の提供方法。
  5. 前記タイプ情報は、前記リプリゼンテーションと前記他のリプリゼンテーションがメディアコンテンツとメタデータの関係であることを表すことを特徴とする請求項1に記載の提供方法。
  6. 前記タイプ情報は、前記他のリプリゼンテーションがhvt1タイプか、他のタイプかを識別可能にする情報であることを特徴とする請求項1に記載の提供方法。
  7. 前記タイプ情報は、前記他のリプリゼンテーションがタイル化されたビデオデータに対応するか否かを識別可能にする情報であることを特徴とする請求項1に記載の提供方法。
  8. 前記記述データには、複数のリプリゼンテーションのそれぞれのソースの識別子であるソースIDがさらに記述されることを特徴とする請求項1乃至4のうち、何れか1項に記載の提供方法。
  9. 前記記述データは、複数のメディアコンテンツコンポーネントのそれぞれのソースの識別子であるソースIDと、前記複数のメディアコンテンツコンポーネントのそれぞれが属するグループを識別するためのグループIDとがさらに記述されることを特徴とする請求項1乃至5のうち、何れか1項に記載の提供方法。
  10. MPEG−DASH規格において規定されるリプリゼンテーションにより表されるメディアデータである1又は複数のメディアコンテンツコンポーネントを要求するためにクライアントによって参照される記述データの提供方法であって、
    メディアコンテンツコンポーネントと依存関係にある他のメディアコンテンツコンポーネントを識別するための記述情報と、前記メディアコンテンツコンポーネントと前記他のメディアコンテンツコンポーネントとの依存関係のタイプに関するタイプ情報とを含む記述データを取得する取得ステップと、
    前記取得された記述データを前記クライアントからのリクエストに応答して前記クライアントに対して送信する送信ステップと
    を有することを特徴とする記述データの提供方法。
  11. メディアデータに応じた1又は複数のメディアセグメントをMPEG−DASH規格に従って取得するためにクライアントによって参照される記述データを提供する提供装置であって、
    MPEG−DASH規格において規定されるリプリゼンテーションと依存関係にある他のリプリゼンテーションを識別するための記述情報と、前記リプリゼンテーションと前記他のリプリゼンテーションとの依存関係のタイプに関するタイプ情報とを含む前記記述データを取得する取得手段と、
    前記取得手段により取得された記述データを前記クライアントからのリクエストに応答して前記クライアントに対して送信する送信手段と、
    を有することを特徴とする記述データの提供装置。
  12. 前記記述データに記述される前記タイプ情報には、tbas、scal、cdscのうち、少なくとも1つが含まれることを特徴とする請求項11に記載の提供装置。
  13. 前記タイプ情報は、前記リプリゼンテーションと前記他のリプリゼンテーションが、タイルビデオと、タイル間で共通するデータとの関係であることを示すことを特徴とする請求項11に記載の提供装置。
  14. 前記タイプ情報は、前記リプリゼンテーションと前記他のリプリゼンテーションがデコードにおける従属関係を有することを表すことを特徴とする請求項11に記載の提供装置。
  15. コンピュータに、請求項1乃至10のうち、何れか1項に記載の提供方法を実行させるためのプログラム。
JP2016557148A 2014-03-25 2015-03-24 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム Active JP6516766B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1405365.6A GB2524531B (en) 2014-03-25 2014-03-25 Methods, devices, and computer programs for improving streaming of partitioned timed media data
GB1405365.6 2014-03-25
PCT/EP2015/056317 WO2015144735A1 (en) 2014-03-25 2015-03-24 Methods, devices, and computer programs for improving streaming of partitioned timed media data

Publications (3)

Publication Number Publication Date
JP2017515336A JP2017515336A (ja) 2017-06-08
JP2017515336A5 JP2017515336A5 (ja) 2018-06-07
JP6516766B2 true JP6516766B2 (ja) 2019-05-29

Family

ID=50686909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016557148A Active JP6516766B2 (ja) 2014-03-25 2015-03-24 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US10862943B2 (ja)
JP (1) JP6516766B2 (ja)
GB (2) GB2524531B (ja)
WO (1) WO2015144735A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation
US11997413B2 (en) 2019-03-11 2024-05-28 JBF Interlude 2009 LTD Media content presentation

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3028472B1 (en) 2013-07-29 2020-02-26 Koninklijke KPN N.V. Providing tile video streams to a client
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
EP3162074A1 (en) 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream
WO2016002496A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置および方法
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
EP3360330B1 (en) 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
WO2017093611A1 (en) * 2015-12-02 2017-06-08 Nokia Technologies Oy A method for video encoding/decoding and an apparatus and a computer program product for implementing the method
FI20165114A7 (fi) 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
GB2578227B (en) * 2016-05-23 2021-09-15 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
US10652631B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
CN109511284B (zh) * 2016-05-26 2023-09-01 Vid拓展公司 视窗自适应360度视频传送的方法和设备
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
US10362241B2 (en) * 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
CN109074678B (zh) * 2016-12-30 2021-02-05 华为技术有限公司 一种信息的处理方法及装置
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
JP6843655B2 (ja) * 2017-03-09 2021-03-17 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US11100108B2 (en) * 2017-04-12 2021-08-24 International Business Machines Corporation Inflationary segment approach to temporal data partitioning for optimized model scoring
US20180310040A1 (en) * 2017-04-21 2018-10-25 Nokia Technologies Oy Method and apparatus for view dependent delivery of tile-based video content
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data
WO2019008174A1 (en) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS
GB2579389B (en) * 2018-11-29 2022-07-27 Canon Kk Method, device and computer program for encapsulating media data into a media file
US10939139B2 (en) 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
EP4102852A1 (en) * 2018-12-03 2022-12-14 Sony Group Corporation Information processing apparatus and method
US12074934B2 (en) 2019-03-15 2024-08-27 Nokia Technologies Oy Method and apparatus for grouping entities in media content
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
GB2590435B (en) 2019-12-17 2023-12-20 Canon Kk Method, device, and computer program for improving encapsulation of media content
CN113453046B (zh) * 2020-03-24 2022-07-12 腾讯科技(深圳)有限公司 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
KR102869436B1 (ko) * 2020-07-23 2025-10-14 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치
GB2611324B (en) * 2021-09-29 2024-01-17 Canon Kk Encapsulating sample into duplicate samples with time boundary and indication of time correction to synchronise data part

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4818373B2 (ja) 2006-01-09 2011-11-16 韓國電子通信研究院 Svcファイルのデータ共有方法およびそのファイル
US20130097334A1 (en) * 2010-06-14 2013-04-18 Thomson Licensing Method and apparatus for encapsulating coded multi-component video
CN103098484A (zh) * 2010-06-14 2013-05-08 汤姆森许可贸易公司 用于封装编码多组件视频的方法和装置
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9116988B2 (en) * 2010-10-20 2015-08-25 Apple Inc. Temporal metadata track
CN108366070A (zh) * 2011-03-16 2018-08-03 韩国电子通信研究院 用于提供媒体内容的方法和客户端
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
CN103583050B (zh) * 2011-06-08 2018-09-14 皇家Kpn公司 空间分段的内容的递送
US9591361B2 (en) 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
US9401968B2 (en) * 2012-01-20 2016-07-26 Nokia Techologies Oy Method and apparatus for enabling pre-fetching of media
US20150172762A1 (en) * 2012-07-10 2015-06-18 Sharp Kabushiki Kaisha Content transmission device, content playback device, content delivery system, control method for content transmission device, control method for content playback device, data structure, control program, and recording medium
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
KR101786276B1 (ko) * 2012-10-12 2017-11-15 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
EP3139698B1 (en) * 2012-10-26 2020-05-06 Intel Corporation Streaming with coordination of video orientation (cvo)
CN105230024B (zh) * 2013-07-19 2019-05-24 华为技术有限公司 一种媒体表示自适应方法、装置及计算机存储介质
JP6239102B2 (ja) * 2013-10-25 2017-11-29 華為技術有限公司Huawei Technologies Co.,Ltd. アダプティブ・ストリーミングにおいてリプレゼンテーション(Representation)を関連付けるシステムおよび方法
CN106031183A (zh) * 2014-03-07 2016-10-12 华为技术有限公司 通信方法、用户设备、内容服务器和控制器
JP6675475B2 (ja) * 2015-08-20 2020-04-01 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ メディア・ストリームに基づくタイルド・ビデオの形成
GB2578227B (en) * 2016-05-23 2021-09-15 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11563915B2 (en) 2019-03-11 2023-01-24 JBF Interlude 2009 LTD Media content presentation
US11997413B2 (en) 2019-03-11 2024-05-28 JBF Interlude 2009 LTD Media content presentation

Also Published As

Publication number Publication date
GB2524531A (en) 2015-09-30
US10862943B2 (en) 2020-12-08
WO2015144735A1 (en) 2015-10-01
JP2017515336A (ja) 2017-06-08
GB2524531B (en) 2018-02-07
GB2558086B (en) 2019-02-20
GB2558086A (en) 2018-07-04
GB201405365D0 (en) 2014-05-07
GB201721997D0 (en) 2018-02-07
US20170223083A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6516766B2 (ja) 分割タイムドメディアデータのストリーミングを改善するための方法、デバイス、およびコンピュータプログラム
JP6591009B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6643430B2 (ja) 再生装置、再生方法、及びプログラム
US11412017B2 (en) Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
JP6743059B2 (ja) カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム
JP6556126B2 (ja) ファイルの生成方法、ファイルの生成装置、及び、プログラム。
JP6746507B2 (ja) 処理装置及び処理方法
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
JP2016521497A5 (ja)
WO2015011109A1 (en) Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
CN111034203A (zh) 处理具有动态逐区封装的全向媒体
GB2535453A (en) Method, device, and computer program for encapsulating hevc layered media data
CN110870323A (zh) 使用全向媒体格式处理媒体数据
EP3652957A1 (en) Enhanced region-wise packing and viewport independent hevc media profile
HK40016389A (en) Processing media data using an omnidirectional media format
HK40016389B (en) Processing media data using an omnidirectional media format

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190416

R151 Written notification of patent or utility model registration

Ref document number: 6516766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151