JP7659096B2 - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 - Google Patents
ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 Download PDFInfo
- Publication number
- JP7659096B2 JP7659096B2 JP2024016838A JP2024016838A JP7659096B2 JP 7659096 B2 JP7659096 B2 JP 7659096B2 JP 2024016838 A JP2024016838 A JP 2024016838A JP 2024016838 A JP2024016838 A JP 2024016838A JP 7659096 B2 JP7659096 B2 JP 7659096B2
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- information
- atlas
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2362—Generation or processing of Service Information [SI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Security & Cryptography (AREA)
- Biophysics (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
mented Reality、増強現実)、MR(Mixed Reality、複合
現実)及び自律走行サービスなどの様々なサービスを提供するために、ポイントクラウド
(Point Cloud)コンテンツを提供する方案を提供する。
多く、ポイントクラウドデータの生成が難しいという問題がある。
がある。
に送受信するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデー
タ受信装置及び受信方法を提供することにある。
解決するためのポイントクラウドデータ送信装置、送信方法、ポイントクラウドデータ受
信装置及び受信方法を提供することにある。
導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
法は、ポイントクラウドデータを符号化する段階;ポイントクラウドデータをカプセル化
(encapsulating)する段階;及びポイントクラウドデータを送信する段階
を含む(備える;構成する;構築する;設定する;包接する;包含する;含有する)。
受信部;ポイントクラウドデータをデカプセル化(decapsulating)するデ
カプセル化部;及びポイントクラウドデータを復号するデコーダを含む。
信方法及び受信装置は、良質のポイントクラウドサービスを提供することができる。
信方法及び受信装置は、様々なビデオコーデック方式を達成することができる。
信方法及び受信装置は、自立走行サービスなどの汎用のポイントクラウドコンテンツを提
供することができる。
す。
参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというよりは
、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に対する徹底
な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実
行できることは当業者にとって明らかである。
るが、一部は出願人によって任意に選択されたものであり、その意味は必要によって以下
に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する
意味に基づいて理解されるべきである。
ム構造の一例を示す。
ugmented Reality、増強現実)、MR(Mixed Reality、
混合現実)及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラ
ウドコンテンツを提供する方案を提供する。実施例によるポイントクラウドコンテンツは
、客体をポイントによって表現したデータを示し、ポイントクラウド、ポイントクラウド
データ、ポイントクラウドビデオデータ、ポイントクラウドイメージデータなどとも呼ば
れる。
ce)10000は、ポイントクラウドビデオ取得部(Point Cloud Vid
eo Acquisition unit)10001、ポイントクラウドビデオエンコ
ーダ(Point Cloud Video Encoder)10002、ファイル/
セグメントカプセル化部10003及び/又は送信機(Transmitter(or
Communication module))10004を含む。実施例による送信装
置は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保して処理し、
送信することができる。実施例によって、送信装置は、固定局(fixed stati
on)、BTS(base transceiver system)、ネットワーク、
AI(Artificial Intelligence)機器及び/又はシステム、ロ
ボット、AR/VR/XR機器及び/又はサーバーなどを含む。また実施例によって、送
信装置10000は、無線接続技術(例えば、5G NR(New RAT)、LTE(
Long Term Evolution))を用いて、基地局及び/又は他の無線機器
と通信を行う機器、ロボット、車両、AR/VR/XR機器、携帯機器、家電、IoT(
Internet of Thing)機器、AI機器/サーバーなどを含む。
Acquisition unit)10001は、ポイントクラウドビデオのキャプチ
ャー、合成又は生成プロセスなどによってポイントクラウドビデオを取得する。
o Encoder)10002は、ポイントクラウドビデオデータを符号化する。実施
例によって、ポイントクラウドビデオエンコーダ10002は、ポイントクラウドエンコ
ーダ、ポイントクラウドデータエンコーダ、エンコーダなどと呼ばれる。また実施例によ
るポイントクラウド圧縮コーティング(符号化)は、上述した実施例に限らない。ポイン
トクラウドビデオエンコーダは、符号化されたポイントクラウドビデオデータを含むビッ
トストリームを出力する。ビットストリームは符号化されたポイントクラウドビデオデー
タのみならず、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含
む。
Cloud Compression)符号化方式及び/又はV-PCC(Video-
based Point Cloud Compression)符号化方式をいずれも
支援する。またエンコーダはポイントクラウド(ポイントクラウドデータ又はポイントの
全てを称する)及び/又はポイントクラウドに関するシグナリングデータを符号化するこ
とができる。実施例による符号化の具体的な動作については後述する。
Video-based point Cloud Compression(V-PC
C))を意味し、V-PCC用語はビジュアルボリュメトリックビデオ基盤のコーディン
グ(Visual Volumetric Video-based Coding(V
3C))と同一であり、相互補完して称することができる。
apsulation module)10003は、ポイントクラウドデータをファイ
ル及び/又はセグメントの形式でカプセル化する。実施例によるポイントクラウドデータ
送信方法/装置は、ポイントクラウドデータをファイル及び/又はセグメントの形式で送
信することができる。
module))10004は、符号化されたポイントクラウドビデオデータをビットス
トリームの形式で送信する。実施例によって、ファイル又はセグメントは、ネットワーク
を介して受信装置へ送信されるか、又はデジタル記憶媒体(例えば、USB、SD、CD
、DVD、ブルーレイ、HDD、SSDなど)に格納される。実施例による送信機は受信
装置(又は受信機(Receiver))と4G、5G、6Gなどのネットワークを介し
て有/無線通信が可能である。また送信機はネットワークシステム(例えば、4G、5G
、6Gなどの通信ネットワークシステム)に応じて必要なデータ処理の動作を行うことが
できる。また送信装置はオン・デマンド(On Demand)の方式によってカプセル
化されたデータを送信することもできる。
10005は、受信機(Receiver)10006、ファイル/セグメントデカプセ
ル化部10007、ポイントクラウドビデオデコーダ(Point Cloud vid
eo Decoder)10008、及び/又はレンダラー(Renderer)100
09を含む。実施例によって受信装置は無線接続技術(例えば、5G NR(New R
AT)、LTE(Long Term Evolution))を用いて、基地局及び/
又は他の無線機器と通信を行う機器、ロボット、車両、AR/VR/XR機器、携帯機器
、家電、IoT(Internet of Thing)機器、AI機器/サーバーなど
を含む。
タを含むビットストリームを受信する。実施例によって受信機10006は、フィードバ
ック情報(Feedback Information)をポイントクラウドデータ送信
装置10000に送信する。
ation module)10007は、ポイントクラウドデータを含むファイル及び
/又はセグメントをデカプセル化する。実施例によるデカプセル化部は実施例によるカプ
セル化過程の逆過程を行う。
er)10007は、受信したポイントクラウドビデオデータを復号する。実施例による
デコーダは実施例による符号化の逆過程を行う。
ータをレンダリングする。実施例によってレンダラー10007は受信端側で取得したフ
ィードバック情報をポイントクラウドビデオデコーダ10006に送信する。実施例によ
るポイントクラウドビデオデータはフィードバック情報を受信機に送信する。実施例によ
れば、ポイントクラウド送信装置が受信したフィードバック情報は、ポイントクラウドビ
デオエンコーダに提供される。
(feedback information)の送信経路を示す。フィードバック情報
は、ポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報で
あって、ユーザの情報(例えば、ヘッドオリエンテーション情報、ビューポート情報など
)を含む。特にポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例
えば、自律走行サービスなど)のためのものである場合、フィードバック情報はコンテン
ツ送信側(例えば、送信装置10000)及び/又はサービス供給者に伝送される。実施
例によっては、フィードバック情報は送信装置10000だけではなく受信装置1000
5で使用されることもあり、提供されないこともある。
などに関する情報である。実施例による受信装置10005は、ヘッドオリエンテーショ
ン情報に基づいてビューポート情報を算出する。ビューポート情報はユーザが見ているポ
イントクラウドビデオの領域に関する情報である。視点(viewpoint)はユーザ
がポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。
即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはFOV(
Field Of View)により決定される。従って、受信装置10004は、ヘッ
ドオリエンテーション情報の他に、装置が支援する垂直(vertical)或いは水平
(horizontal)FOVなどに基づいてビューポート情報を抽出することができ
る。また受信装置10005はゲイズ分析(Gaze Analysis)などを行って
、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、
凝視時間などを確認する。実施例によれば、受信装置10005はゲイズ分析の結果を含
むフィードバック情報を送信装置10000に送信する。実施例によるフィードバック情
報はレンダリング及び/又はディスプレイプロセスで得られる。実施例によるフィードバ
ック情報は、受信装置10005に含まれた一つ又はそれ以上のセンサにより確保される
。また実施例によれば、フィードバック情報は、レンダラー10009又は別の外部エレ
メント(又はデバイス、コンポーネントなど)により確保される。図1に示された点線は
レンダラー10009で確保したフィードバック情報の伝送プロセスを示す。ポイントク
ラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータ
を処理(符号化/復号)する。従って、ポイントクラウドビデオデータデコーダ1000
8はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置100
05はフィードバック情報を送信装置に送信する。送信装置(又はポイントクラウドビデ
オデータエンコーダ10002)は、フィードバック情報に基づいて符号化動作を行う。
従って、ポイントクラウドコンテンツ提供システムは、全てのポイントクラウドデータを
処理(符号化/復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユー
ザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイ
ントクラウドコンテンツを提供することができる。
れ、受信装置10004はデコーダ、受信デバイス、受信機などと呼ばれる。
号化/送信/復号/レンダリングの一連のプロセスで処理される)ポイントクラウドデー
タは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれ
る。実施例によれば、ポイントクラウドコンテンツデータはポイントクラウドデータに関
連するメタデータ又はシグナリング情報を含む概念として使用することができる。
トウェア、プロセッサ及び/又はそれらの組み合わせなどで具現できる。
mented Reality、増強現実)、MR(Mixed Reality、混合
現実)及び自立走行サービスなどの様々なサービスを提供するために、ポイントクラウド
コンテンツを提供する。
オを得る。得られたポイントクラウドビデオは、一連のプロセスにより送信され、受信側
で受信したデータを再び元のポイントクラウドビデオに加工てレンダリングする。これに
より、ポイントクラウドビデオをユーザに提供することができる。実施例はこれらの一連
のプロセスを効果的に行うために必要な方案を提供する。
ウドデータ送信方法及び/又はポイントクラウドデータ受信方法)は、取得プロセス、符
号化プロセス、送信プロセス、復号プロセス、レンダリングプロセス及び/又はフィード
バックプロセスを含む。
するプロセスは、ポイントクラウド圧縮(Point Cloud Compressi
on)プロセスとも呼ぶ。実施例によれば、ポイントクラウド圧縮プロセスは、ジオメト
リ基盤のポイントクラウド圧縮(Geometry-based Point Clou
d Compression)プロセスを意味する。
各要素は、ハードウェア、ソフトウェア、プロセッサ及び/又はそれらの組み合わせなど
を意味する。
オを得る。得られたポイントクラウドビデオは、一連のプロセスにより送信され、受信側
で受信したデータを再び元のポイントクラウドビデオに加工てレンダリングする。これに
より、ポイントクラウドビデオをユーザに提供することができる。本発明はこれらの一連
のプロセスを効果的に行うために必要な方案を提供する。
ス、符号化プロセス、送信プロセス、復号プロセス、レンダリングプロセス及び/又はフ
ィードバックプロセスを含む。
スはポイントクラウドビデオを符号化してビットストリームを出力し、それをファイル又
はストリーミング(ストリーミングセグメント)の形式でデジタル記憶媒体又はネットワ
ークを介して受信デバイスへ伝送する。デジタル記憶媒体は、USB、SD、CD、DV
D、ブルーレイ、HDD、SSDなど様々な記憶媒体を含む。
ーダ、ファイル/セグメントカプセル化部、送信部を含む。受信デバイスは概略に受信部
、ファイル/セグメントデカプセル化部、ポイントクラウドビデオデコーダ及びレンダラ
ーを含む。エンコーダはポイントクラウドビデオ/映像/ピクチャー/フレーム符号化装
置とも呼ばれ、デコーダはポイントクラウドビデオ/映像/ピクチャー/フレーム復号装
置とも呼ばれる。送信機はポイントクラウドビデオエンコーダに含まれてもよい。受信機
はポイントクラウドビデオデコーダに含まれてもよい。レンダラーはディスプレイ部を含
んでもよく、レンダラー及び/又はディスプレイ部は別のデバイス又は外部コンポーネン
トで構成されてもよい。送信デバイス及び受信デバイスはフィードバックプロセスのため
の別の内部又は外部のモジュール/ユニット/コンポーネントをさらに含んでもよい。
生成プロセスなどを通じてポイントクラウドビデオを得るプロセスを行う。取得プロセス
によって、多数のポイントに対する3D位置(x、y、z)/属性(色、反射率、透明度
など)データ、例えば、PLY(Polygon File format or th
e Stanford Triangle format)ファイルなどが生成される。
複数のフレームを有するビデオの場合、1つ以上のファイルを得ることができる。キャプ
チャープロセスにおいてポイントクラウドに関連するメタデータ(例えば、キャプチャー
に関するメタデータなど)が生成される。
るエンコーダ、及びポイントクラウドデータを送信する送信機を含んでもよい。またポイ
ントクラウドを含むビットストリームの形式で送信されてもよい。
受信部、ポイントクラウドデータを復号するデコーダ、及びポイントクラウドデータをレ
ンダリングするレンダラーを含む。
ウドデータ受信装置を示す。
プチャーの方法は、例えば、内向き方式(inward-facing)及び/又は外向
き方式(outward-facing)がある。
は1つ以上のカメラが客体の外側から内側へ撮影して取得するキャプチャー方式である。
ラが客体の内側から外側へ撮影して取得する方式である。例えば、実施例によればカメラ
が4つある。
の3D空間上に表現される客体/環境のビデオ又は停止映像である。実施例によれば、ポ
イントクラウドコンテンツは客体(objectなど)に対するビデオ/オーディオ/イ
メージなどを含む。
ラ装備(赤外線パターンプロジェクターと赤外線カメラとの組み合わせ)と深さ情報に対
応する色情報が抽出可能なRGBカメラの組み合わせによって構成される。又はレーザパ
ルスを打ち、反射して戻る時間を測定して、反射体の位置座標を測定するレーダーシステ
ムを用いるライダー(LiDAR)によって深さ情報を抽出することができる。深さ情報
より3D空間上の点で構成されたジオメトリ(geometry)の形式を抽出し、RG
B情報より各点の色/反射を表現する特質(attribute)を抽出することができ
る。ポイントクラウドコンテンツは点に対する位置(x、y、z)、色(YCbCr又は
RGB)又は反射率(r)情報で構成される。ポイントクラウドコンテンツは、外部環境
をキャプチャーする外向き方式(outward-facing)と、中心客体をキャプ
チャーする内向き方式(inward-facing)とがある。VR/AR環境におい
て客体(例えば、キャラクター、選手、物、俳優などの核心となる客体)を360°にユ
ーザが自由に見られるポイントクラウドコンテンツとして構成する場合、キャプチャーカ
メラの構成は内向き方式を用いる。また、自立走行のように自動車の現在周辺環境をポイ
ントクラウドコンテンツとして構成する場合は、キャプチャーカメラの構成は外向き方式
を用いる。複数のカメラによってポイントクラウドコンテンツがキャプチャーされるため
、カメラ間のグローバル空間座標系(global coordinate syste
m)を設定するためにコンテンツをキャプチャーする前にカメラの校正プロセスが必要と
なることもある。
オ又は停止映像である。
ラウドビデオに基づいて任意のポイントクラウドビデオが合成できる。又はコンピュータ
ーで生成された仮想の空間に対するポイントクラウドビデオを提供しようとする場合、実
際にカメラによるキャプチャーが行われないことがある。この場合、単に、関連データが
生成されるプロセスによって該当キャプチャープロセスが代替できる。
処理が必要である。映像キャプチャープロセスにおいてカメラ装備が提供する範囲内で最
大/最小の深さ値が調整できるが、その後にも所望しない領域のポイントデータが含まれ
ることがあり、所望しない領域(例えば、背景)を除去するか、又は連結された空間を認
識して穴(spatial hole)を埋める後処理を行ってもよい。また、空間座標
系を共有するカメラから抽出されたポイントクラウドは、校正プロセスによって取得した
各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への変換プロセ
スにより、1つのコンテンツに統合できる。これにより、1つの広い範囲のポイントクラ
ウドコンテンツを生成することもでき、又はポイントの密度の高いポイントクラウドコン
テンツを取得することもできる。
のビデオストリームに符号化する。1つのポイントクラウドビデオは、複数のフレームを
含んでもよく、1つのフレームは停止映像/ピクチャーに対応する。本文書において、ポ
イントクラウドビデオとは、ポイントクラウド映像/フレーム/ピクチャー/ビデオ/オ
ーディオ/イメージなどを含み、ポイントクラウドビデオはポイントクラウド映像/フレ
ーム/ピクチャーと混用できる。ポイントクラウドビデオエンコーダは、ビデオベースポ
イントクラウド圧縮(V-PCC)の手順を行う。ポイントクラウドビデオエンコーダは
、圧縮及びコーティングの効率のために、予測、変換、量子化、エントロピー符号化など
の一連の手順を行う。符号化されたデータ(符号化されたビデオ/映像情報)は、ビット
ストリームの形態で出力される。V-PCC手順に基づく場合、ポイントクラウドビデオ
エンコーダはポイントクラウドビデオを、後述のように、ジオメトリビデオ、特質(at
tribute)ビデオ、占有(occupancy)マップビデオ、また付加情報(a
uxiliary information)に分けて符号化する。ジオメトリビデオは
ジオメトリイメージを含み、特質(attribute)ビデオは特質イメージを含み、
占有(occupancy)マップビデオは占有マップイメージを含む。付加情報は付加
パッチ情報(auxiliary patch information)を含む。特質
ビデオ/イメージはテキスチャービデオ/イメージを含む。
ule)10003は、符号化されたポイントクラウドビデオデータ及び/又はポイント
クラウドビデオ関連メタデータをファイルなどの形式でカプセル化する。ここで、ポイン
トクラウドビデオ関連メタデータは、メタデータ処理部などから伝送される。メタデータ
処理部は、ポイントクラウドビデオエンコーダに含まれてもよく、又は別のコンポーネン
ト/モジュールで構成されてもよい。カプセル化部は該当データをISOBMFFなどの
ファイルフォーマットでカプセル化してもよく、その他のDASHセグメントなどの形式
で処理してもよい。カプセル化処理部は、実施例によれば、ポイントクラウドビデオ関連
メタデータをファイルフォーマット上に含ませてもよい。ポイントクラウドビデオ関連メ
タデータは、例えば、ISOBMFFファイルフォーマット上の多様なレベルのボックス
に含まれるか、又はファイル内で別のトラックに含まれる。実施例によれば、カプセル化
処理部は、ポイントクラウドビデオ関連メタデータそのものをファイルでカプセル化する
。送信処理部はファイルフォーマットによってカプセル化されたポイントクラウドビデオ
データに送信のための処理を加えてもよい。送信処理部は、送信部に含まれてもよく、又
は別のコンポーネント/モジュールで構成されてもよい。送信処理部は、任意の送信プロ
トコルに従ってポイントクラウドビデオデータを処理する。送信のための処理には、放送
網を介して伝送するための処理、ブロードバンドを介して伝送するための処理を含む。実
施例による送信処理部は、ポイントクラウドビデオデータのみならず、メタデータ処理部
からポイントクラウドビデオ関連メタデータが伝送され、これに送信するための処理を加
える。
情報又はデータをファイル又はストリーミングの形式でデジタル記憶媒体又はネットワー
クを介して受信デバイスの受信機へ伝送する。デジタル記憶媒体にはUSB、SD、CD
、DVD、ブルーレイ、HDD、SSDなどが含まれる。送信部は所定のファイルフォー
マットをによってメディアファイルを生成するための要素を含み、放送/通信ネットワー
クを介した送信のための要素を含む。受信部はビットストリームを抽出して復号装置に伝
送する。
トクラウドビデオデータを受信する。送信されるチャネルに応じて、受信部は、放送網を
介してポイントクラウドビデオデータを受信してもよく、ブロードバンドを介してポイン
トクラウドビデオデータを受信してもよい。又はデジタル記憶媒体を介してポイントクラ
ウドビデオデータを受信してもよい。
処理を行う。受信処理部は受信部に含まれてもよく、又は別のコンポーネント/モジュー
ルで構成されてもよい。送信側で送信のための処理が行われることに対応するように、受
信処理部は上述した送信処理部の逆プロセスを行う。受信処理部は取得したポイントクラ
ウドビデオデータはデカプセル化処理部に伝送し、取得したポイントクラウドビデオ関連
メタデータはメタデータ処理部に伝送する。受信処理部が取得するポイントクラウドビデ
オ関連メタデータはシグナリングテーブルの形式であってもよい。
dule)10007は、受信処理部から伝送されたファイル形式のポイントクラウドビ
デオデータをデカプセル化する。デカプセル化処理部はISOBMFFなどによるファイ
ルをデカプセル化し、ポイントクラウドビデオビットストリームないしポイントクラウド
ビデオ関連メタデータ(メタデータビットストリーム)を取得する。取得したポイントク
ラウドビデオビットストリームは、ポイントクラウドビデオデコーダに伝送し、取得した
ポイントクラウドビデオ関連メタデータ(メタデータビットストリーム)はメタデータ処
理部に伝送する。ポイントクラウドビデオビットストリームはメタデータ(メタデータビ
ットストリーム)を含んでもよい。メタデータ処理部はポイントクラウドビデオデコーダ
に含まれてもよく、又は別のコンポーネント/モジュールで構成されてもよい。デカプセ
ル化処理部が取得するポイントクラウドビデオ関連メタデータは、ファイルフォーマット
内のボックス又はトラックの形式であってもよい。デカプセル化処理部は、必要な場合、
メタデータ処理部からデカプセル化に必要なメタデータが伝送される。ポイントクラウド
ビデオ関連メタデータは、ポイントクラウドビデオデコーダに伝送されてポイントクラウ
ドビデオ復号の手順に用いられるか、又はレンダラーに伝送されてポイントクラウドビデ
オレンダリングの手順に用いられる。
ビデオエンコーダの動作に対応する動作を行い、ビデオ/映像を復号する。この場合、ポ
イントクラウドビデオデコーダは、ポイントクラウドビデオを、後述のように、ジオメト
リビデオ、特質(attribute)ビデオ、占有(occupancy)マップビデ
オ、また付加情報(auxiliary information)に分けて復号する。
ジオメトリビデオはジオメトリイメージを含み、特質(attribute)ビデオは特
質イメージを含み、占有(occupancy)マップビデオは占有マップイメージを含
む。付加情報は付加パッチ情報(auxiliary patch informati
on)を含む。特質ビデオ/イメージはテキスチャービデオ/イメージを含む。
トリが復元され、その後平滑化プロセスを経てもよい。平滑化された3Dジオメトリにテ
キスチャーイメージを用いてカラー値を与えることで、カラーポイントクラウド映像/ピ
クチャーが復元される。レンダラーは、復元されたジオメトリ、カラーポイントクラウド
映像/ピクチャーをレンダリングする。レンダリングされたビデオ/映像は、ディスプレ
イ部によってディスプレイされる。ユーザはVR/ARディスプレイ又は一般のディスプ
レイなどによってレンダリングされた結果の全部又は一部の領域を見る。
な様々なフィードバック情報を送信側に伝送するか、受信側のデコーダに伝送するプロセ
スを含んでもよい。フィードバックプロセスにより、ポイントクラウドビデオの消費にお
いて相互作用(interactivity)が提供される。実施例によれば、フィード
バックプロセスにおいてヘッドオリエンテーション(Head Orientation
)情報、ユーザが現在見ている領域を示すビューポート(Viewport)情報などが
伝送される。実施例によれば、ユーザは、VR/AR/MR/自立走行環境上に具現され
たものと相互作用できるが、この場合、その相互作用に関連する情報がフィードバックプ
ロセスで送信側ないしサービス供給者側に伝送されることがある。実施例によってフィー
ドバックプロセスは行わなくてもよい。
ある。この情報に基づいて、ユーザがポイントクラウドビデオ内で現在見ている領域の情
報、即ち、ビューポート情報が算出される。
る。これにより、ゲイズ分析(Gaze Analysis)が行われ、ユーザがどんな
方式でポイントクラウドビデオを消費するか、ポイントクラウドビデオのどの領域をどの
くらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィード
バックチャネルを介して伝送される。VR/AR/MRディスプレイなどの装置は、ユー
ザの頭の位置/方向、装置が支援する垂直(vertical)又は水平(horizo
ntal)FOVなどに基づいてビューポート領域を抽出する。
信側で消費されてもよい。即ち、上述したフィードバック情報を用いて受信側の復号、レ
ンダリングのプロセスなどが行われる。例えば、ヘッドオリエンテーション情報及び/又
はビューポート情報を用いて、ユーザが現在見ている領域に対するポイントクラウドビデ
オのみを優先して復号及びレンダリングする。
イントクラウドビデオで見ている領域である。視点(viewpoint)はユーザがポ
イントクラウドビデオで見ている地点であって、ビューポート領域の真ん中を意味する。
即ち、ビューポートは視点を中心とした領域であり、その領域が占めるサイズ、形態など
はFOV(Field Of View)により決定される。
細書に開示の方法/実施例は、MPEG(Moving Picture Expert
s Group)のPCC(point Cloud compression or
Point Cloud coding)標準又は次世代ビデオ/イメージコーティング
標準に適用できる。
単位を意味する。
る最小の単位を意味する。また、ピクセルに対応する用語として「サンプル(sampl
e)」が用いられる。サンプルは、一般に、ピクセル又はピクセルの値を示し、輝度(l
uma)成分のピクセル/ピクセル値のみを示してもよく、彩度(chroma)成分の
ピクセル/ピクセル値のみを示してもよく、又は深さ(depth)成分のピクセル/ピ
クセル値のみを示してもよい。
域及びその領域に関する情報のうちの少なくとも1つを含む。ユニットは、場合によって
、ブロック(block)又は領域(area)又はモジュールなどの用語と混用する。
一般の場合、MxNブロックは、M個の列とN個の行からなるあサンプル(又はサンプル
アレイ)又は変換係数(transform coefficient)の集合(又はア
レイ)を含む。
示す。
れ、ジオメトリイメージ、テクスチャイメージが生成される。実施例によれば、ポイント
クラウドはポイントクラウドデータと同一の意味で使用される。
客体が位置し、これをバウンディングボックスなどで表現するポイントクラウドを示す。
図3の中間の図はジオメトリイメージを示し、右側の図はテキスチャーイメージ(ノン-
パッド)を示す。
d Compression、V-PCC)は、HEVC(Efficiency Vi
deo Coding)、VVC(Versatile Video Coding)な
どの2Dビデオコーデック(video codec)に基づいて3Dポイントクラウド
データを圧縮する方法である。V-PCC圧縮プロセスにおいて、以下のようなデータ及
び情報が生成される。
けて2D平面にマップするとき、2D平面の該当位置にデータが存在するか否かを0又は
1の値で知らせる2進マップ(binary map)を示す。占有マップ(occup
ancy map)はアトラスに対応する2Dアレイを示し、占有マップの値はアトラス
内の各サンプル位置が3Dポイントに対応するか否かを示す。アトラス(ATLAS)と
は、各ポイントクラウドフレームに対する2Dパッチに関する情報を含む対象を意味する
。例えば、アトラスはパッチの2D配置及びサイズ、3Dポイント内の対応する3D領域
の位置、プロジェクションプラン、LOD(Level of Detail)パラメー
タなどがある。
の3Dバウンディングボックスに対応する矩形フレームに位置する2Dバウンディングボ
ックス及びそれに関連する情報の集合である。
as)を構成する1つ以上のアトラスフレーム(atlas frame)と関連データ
に対するビットストリームである。
ジェクションされたアトラスサンプル(atlas sample)の2D矩形配列であ
る。
るパッチ(patch)がプロジェクションされた矩形フレームのポジション(posi
tion)である。
タイルは2Dフレームを分割する単位である。即ち、タイルはアトラスというポイントク
ラウドデータのシグナリング情報を分割する単位である。
する点は3D空間上で互いに隣接し、2Dイメージへのマッピングプロセスにおいて6面
の境界ボックス平面のうち同じ方向にマップされることを示す。
るシグナリング情報である。
ョンタイムを有する実際ビデオデータである特質ビデオデータ、ジオメトリビデオデータ
、占有ビデオデータを復元することができる。
パッチ単位で表現する深さマップの形式のイメージを示す。ジオメトリイメージは1チャ
ネルのピクセル値で構成される。ジオメトリはポイントクラウドフレームに連関する座標
のセットを示す。
の色情報をパッチ単位で表現するイメージを示す。テキスチャーイメージは複数のチャネ
ルのピクセル値(例えば、3チャネルR、G、B)で構成される。テキスチャーは特質に
含まれる。実施例によれば、テキスチャー及び/又は特質は同一の対象及び/又は包含関
係として解釈される。
ントクラウドを再構成するために必要なメタデータを示す。付加パッチ情報は、パッチの
2D/3D空間における位置、サイズなどに関する情報を含む。
ス、占有マップ、ジオメトリ、特質などを含む。
ば、直方形(rectangular)フレームにプロジェクトされたパッチである。ま
た、3D空間において3Dバウンディングボックスに対応し、ポイントクラウドのサブセ
ットを示す。
(scalar)又はベクトル(vector)を示し、例えば、カラー(colour
)、反射率(reflectance)、面法線(surface normal)、タ
イムスタンプ(time stamps)、マテリアルID(material ID)
などがある。
int Cloud Compression)方式によるPCCデータを示す。ポイン
トクラウドデータは複数のコンポーネントを含む。例えば、占有マップ、パッチ、ジオメ
トリ及び/又はテキスチャーなどを含む。
etry image)、テキスチャーイメージ(texture image)、付加
パッチ情報(auxiliary patch information)を生成して圧
縮するためのV-PCC符号化プロセス(encoding process)を示す。
図4のV-PCC符号化プロセスは、図1のポイントクラウドビデオエンコーダ1000
2によって処理される。図4の各構成要素は、ソフトウェア、ハードウェア、プロセッサ
及び/又はそれらの組み合わせによって行われる。
ポイントクラウドフレーム(ポイントクラウドデータを含むビットストリームの形式であ
ってもよい)を受信する。パッチ生成部40000は、ポイントクラウドデータからパッ
チを生成する。また、パッチの生成に関する情報を含むパッチ情報を生成する。
イントクラウドデータに対するパッチをパッグする。例えば、1つ又は1つ以上のパッチ
をパックする。また、パッチパッキングに関する情報を含む占有マップを生成する。
40002又はジオメトリイメージ生成器は、ポイントクラウドデータ、パッチ、及び/
又はパックされたパッチに基づいてジオメトリイメージを生成する。ジオメトリイメージ
は、ポイントクラウドデータに関するジオメトリを含むデータをいう。
40003又はテキスチャーイメージ生成器は、ポイントクラウドデータ、パッチ、及び
/又はパックされたパッチに基づいてテキスチャーイメージを生成する。また再構成され
た(reconstructed)ジオメトリイメージをパッチ情報に基づいて平滑化(
番号)が平滑化処理をして生成された平滑化ジオメトリにさらに基づいて、テキスチャー
イメージを生成する。
エラーを緩和又は除去する。例えば、再構成された(reconstructed)ジオ
メトリイメージをパッチ情報に基づいて、データ間エラーを誘発するような部分を柔らか
にフィールタリングして平滑化したジオメトリを生成する。
ion)40005又は付加パッチ情報圧縮部は、パッチ生成プロセスで生成されたパッ
チ情報に関する付加(auxiliary)パッチ情報を圧縮する。また、圧縮された付
加パッチ情報は多重化装置へ伝送され、ジオメトリイメージ生成部40002も付加パッ
チ情報を用いる。
パッド部は、ジオメトリイメージ及びテキスチャーイメージをそれぞれパッドする。即ち
、パッドデータがジオメトリイメージ及びテキスチャーイメージにパッドされる。
メージパッドと同様に、テキスチャーイメージにデータを付加する。付加パッチ情報がテ
キスチャーイメージに挿入される。
11又はビデオ圧縮部は、パッドされたジオメトリイメージ、パッドされたテキスチャー
イメージ及び/又は占有マップをそれぞれ圧縮する。圧縮はジオメトリ情報、テキスチャ
ー情報、占有情報などを符号化する。
ロピー圧縮部は、占有マップをエントロピー方式に基づいて圧縮(例えば、符号化)する
。
び/又はロッシー(lossy)した場合、占有マップフレームに対してエントロピー圧
縮及び/又はビデオ圧縮が行われる。
、圧縮されたテキスチャーイメージ、圧縮された占有マップをビットストリームに多重化
する。
)するために、マッピングを行う単位であるパッチでポイントクラウドを分割するプロセ
スを意味する。パッチ生成のプロセスは、以下のようにノーマル(normal)値の計
算、セグメント(segmentation)、パッチ(patch)分割の3つのステ
ップに分けられる。
)及び法線ベクトル(normal vector)の一例を示す。
おいて以下のように用いられる。
れは法線という3Dのベクトルで示される。K-D treeなどを用いて求められる各
点の隣接点(neighbors)を用いて、図5のようなポイントクラウドの表面を成
す各点の接平面(tangent plane)及び法線ベクトル(normal ve
ctor)を求める。隣接点を探すプロセスにおけるサーチ範囲(search ran
ge)はユーザによって定義される。
を完全に含んでいる平面を示す。
box)の一例を示す。
を生成するプロセスにおいてバウンディングボックスを用いる。
面体に基づいて分割する単位のボックスである。
体を3D空間上の六面体に基づいて各々の六面体の平面にプロジェクトするプロセスにお
いて用いる。バウンディングボックスは、図1のポイントクラウドビデオ取得部1000
0、ポイントクラウドビデオエンコーダ10002によって生成、処理される。また、バ
ウンディングボックスに基づいて、図2のV-PCC符号化プロセスのパッチ生成400
00、パッチパッキング40001、ジオメトリイメージ生成40002、テキスチャー
イメージ生成40003が行われる。
tion)と改善分割(refine segmentation)との2つのプロセス
からなる。
ングボックスの一面にプロジェクトする。具体的に、ポイントクラウドを成す各点は、図
6のように、ポイントクラウドを囲む6つのバウンディングボックスの面の一面にプロジ
ェクトされるが、初期分割(initial segmentation)は、各点がプ
ロジェクトされるバウンディングボックスの平面のうちの1つを決定するプロセスである
。
er index)として識別される。
tial segmentation)のプロセスで決定されたポイントクラウドを成す
各点のプロジェクション平面を隣接点のプロジェクション平面を考慮して改善するプロセ
スである。このプロセスでは、上述した初期分割プロセスにおいてプロジェクション平面
を決定するために考慮した各点のノーマルとバウンディングボックスの各平面のノーマル
値との類似度を成すscore normalと共に、現在点のプロジェクション平面と
隣接点のプロジェクション平面との一致度を示すスコア平滑化score smooth
とが同時に考慮される。
考慮することができ、このとき、加重値はユーザによって定義される。改善分割は繰り返
し的に行われ、繰り返し回数もユーザに定義される。
のプロジェクション平面情報に基づいて、全体のポイントクラウドを隣接した点の集合で
あるパッチに分けるプロセスである。パッチ分割は、以下のようなステップからなる。
。最大の隣接点の数はユーザによって定義される。
デックス(cluster index)値を有する場合)、現在の点とその隣接点を1
つのパッチに抽出する。
トリイメージ、テクスチャイメージなどが決定される。
tch)の位置決めの一例を示す。
ップを生成することができる。
pancy map generation)40001
別パッチの2Dイメージ内における位置を決定するプロセスである。占有マップ(Occ
upancy map)は2Dイメージの1つであって、その位置におけるデータの存否
を0又は1の値で知らせる2進マップ(binary map)である。占有マップは、
ブロックからなり、ブロックのサイズに応じて解像度が決定されるが、一例としてブロッ
クのサイズが1*1である場合、ピクセル(pixel)単位の解像度を有する。ブロッ
クのサイズ(occupancy packing block size)はユーザに
よって決定される。
atch.sizeU0)、垂直座標が(0、occupancySizeV-patc
h.sizeV0)の範囲にある点(u、 v)にパッチを位置させる。
が(0、patch.sizeV0)の範囲にある点(x、y)を現在点(ポイント)と
して設定する。
チ内の該当地点にデータが存在し)、全体の占有マップの(u+x、v+y)座標値が1
(以前のパッチにより占有マップが満たされた場合)、ラスタ順に(x、y)位置を変更
して、3)~4)のプロセスを繰り返す。そうではない場合、6)のプロセスを行う。
有マップの該当部分に割り当てる(copy)。
し、単位は占有パッキングサイズブロック(occupancy packing bl
ock size)である。
を示し、単位は占有パッキングブロックサイズである。
パッキングブロックサイズである。
有パッキングブロックサイズである。
イズを有するパッチに対応するボックスが存在し、ボックス内ポイント(x、y)が位置
してもよい。
バイタンジェント(bitangent)軸の関係の一例を示す。
を生成することができる。ジオメトリイメージとは、ポイントクラウドのジオメトリ情報
を含むイメージデータを意味する。ジオメトリイメージの生成プロセスは、図8のパッチ
の3つの軸(ノーマル、タンジェント、バイタンジェント)を用いる。
40002
決定し、上述したパッチパッキング(patch packing)のプロセスで決定さ
れたパッチの位置に基づいて全体のジオメトリイメージを生成する。個別パットのジオメ
トリイメージを構成する深さ値を決定するプロセスは以下のように構成される。
ような情報を含む。
ロセスで求められ、タンジェント軸はノーマルと直角の軸のうちパッチイメージの水平(
u)軸と一致する軸であり、バイタンジェント軸はノーマルと直角の軸のうちパッチイメ
ージの垂直(v)軸と一致する軸であって、3つの軸は、以下の図のように示される。
を示す。
生成するために、パッチに基づくプロジェクションを行い、実施例によるプロジェクショ
ンのモードは最小モード及び最大モードがある。
出される。例えば、パッチの3D空間座標にパッチのタンジェント方向最小値(patc
h 3D shift tangent axis)、パッチのバイタンジェント方向最
小値(patch 3D shift bitangent axis)、パッチのノー
マル方向最小値(patch 3D shift normal axis)などが含ま
れる。
ズを示す。水平方向サイズ(patch 2D size u)はバウンディングボック
スのタンジェント方向の最大値と最小値との差であり、垂直方向サイズ(patch 2
D size v)はバウンディングボックスのバイタンジェント方向の最大値と最小値
との差である。
る。プロジェクションモードは、最小モード(min mode)と最大モード(max
mode)のいずれか1つである。パッチのジオメトリ情報は、深さ値で示されるが、
パッチのノーマル方向にパッチを成す各点をプロジェクトするとき、深さ値の最大値で構
成されるイメージと最小値で構成されるイメージの2つのレイヤ(layer)のイメー
ジが生成される。
うに最小深さがd0に構成され、最小深さから表面厚さ(surface thickn
ess)以内に存在する最大深さがd1に構成される。
複数のパッチがあってもよい。図のように、同じ陰影で示されたポイントが同一のパッチ
に属することを示す。空欄で示されたポイントのパッチをプロジェクトするプロセスを示
す。
0、1、2、..6、7、8、9のように1つずつ増加しながら右側にポイントの深さの
算出のための数字を表記する。
て、全てのポイントクラウドに同一の方法が適用されてもよく、フレーム又はパッチごと
に異なる方法が適用されてもよい。フレーム又はパッチごとに異なるプロジェクションモ
ードが適用される場合、圧縮効率を高めたり、消失点(missed point)が最
小化できるプロジェクションモードが適応的に選ばれる。
atch 3D shift normal axis)から1)のプロセスで算出され
たパッチのノーマル方向最小値(patch 3D shift normal axi
s)を引いた値であるdepth0でd0イメージを構成する。同一の位置にdepth
0と表面厚さ以内の範囲にその他の深さ値が存在する場合、この値をdepth1に設定
する。存在しない場合は、depth0の値をdepth1にも割り当てる。Depth
1の値でd1イメージを構成する。
6 0 0 9 9 0 8 0)。また、d1のポイントの深さを決定することにお
いて2つ以上のポイントのうち大きい値が算出されるか、1つのポイントだけがある場合
はその値が算出される(4 4 4 4 6 6 6 8 9 9 8 8 9)。また
、パッチのポイントが符号化、再構成(reconstruct)されるプロセスにおい
て一部のポイントが損失される(例えば、図では8つのポイントが損失)。
ーマル方向最小値(patch 3D shift normal axis)から1)
のプロセスで算出されたパッチのノーマル方向最小値(patch 3D shift
normal axis)を引いた値であるdepth0でd0イメージを構成する。同
一の位置にdepth0と表面厚さ以内の範囲にその他の深さ値が存在する場合、この値
をdepth1に設定する。存在しない場合、depth0の値をdepth1にも割り
当てる。Depth1の値でd1イメージを構成する。
6 6 8 9 9 8 8 9)。また、d1のポイントの深さを決定することにお
いて2つ以上のポイントのうち小さい値が算出されるか、1つのポイントだけがある場合
はその値が算出される(4 2 4 4 5 6 0 6 9 9 0 8 0)。また
、パッチのポイントが符号化、再構成(reconstruct)されるプロセスにおい
て一部のポイントが損失される(例えば、図では6つのポイントが損失)。
パッキングプロセスを通じて生成された個別パッチの位置情報を用いて、全体のジオメト
リイメージに配置させることで、全体のジオメトリイメージを生成することができる。
る。第一は、以前に生成したd1イメージの深さ値をそのまま符号化する方法(abso
lute d1 encoding method)である。第二は、以前に生成したd
1イメージの深さ値とd0イメージの深さ値との差を符号化する方法(differen
tial encoding method)である。
間にそのその他の点が存在する場合、その点のジオメトリ情報を符号化するプロセスで失
うため、無損失圧縮(lossless coding)のために、Enhanced-
Delta-Depth(EDD)codeを用してもよい。
部のプロセス(例えば、ビデオ圧縮40009)などは、EODコードに基づいてポイン
トのジオメトリ情報を符号化することができる。
進で符号化する方法である。一例として、図の左側から二番目の列に含まれる点の場合、
D0の上方に一番目、四番目の位置に点が存在し、二番目と三番目の位置は空いているた
め、0b1001(=9)のEDD codeで示される。D0と共にEDD code
を符号化して送信すると、受信端では全ての点のジオメトリ情報を損失なく復元すること
ができる。
り、4つのビットに基づいてコードが表現される。
性を除去する作業であり、ポイントクラウドビデオエンコーダ又は平滑化部で行われる。
on)する。本プロセスは、上述したジオメトリイメージ生成の逆過程といえる。例えば
、符号化の逆過程が再生成である。
隣接点を算出する。
、現在点とは異なるプロジェクション平面(cluster index)を有する隣接
点が存在する場合、その点はパッチの境界面に位置していると判断できる。
座標に位置)へ移動させる。即ち、ジオメトリ値を変更する。存在しない場合には以前の
ジオメトリ値を維持する。
ring)の一例を示す。
03は、復色に基づいてテキスチャーイメージを生成することができる。
0003
と同様に、個別パッチのテキスチャーイメージを生成し、これらを決められた位置に配置
することで、全体のテキスチャーイメージを生成するプロセスからなる。ただし、個別パ
ッチのテキスチャーイメージを生成するプロセスにおいて、ジオメトリ生成のための深さ
値に代わってその位置に対応するポイントクラウドを構成する点のカラー値(例えば、R
、G、B)を有するイメージが生成される。
化のプロセスを経たジオメトリが用いられる。平滑化されたポイントクラウドはオリジナ
ルポイントクラウドにおいて一部点の位置が移動した状態である可能性があるため、変更
された位置に適するカラーを探す復色のプロセスが必要となる。復色は隣接点のカラー値
を用いて行われる。一例として、図のように、新たなカラー値は最隣接点のカラー値と隣
接点のカラー値を考慮して算出できる。
情報の平均及び/又はポイントに対する最も近いオリジナル位置の特質情報の平均に基づ
いて変更された位置の適するカラー値を算出する。
ージのように、t0/t1の2つのレイヤで生成される。
ion)40005
ッチ情報(ポイントクラウドに関する付加的な情報)を圧縮することができる。
プロセスなどで生成した付加パッチ情報を圧縮する。付加パッチ情報には以下のようなパ
ラメータが含まれる:
クス(cluster index)
ft tangent axis)、パッチのバイタンジェント方向最小値(patch
3D shift bitangent axis)、パッチのノーマル方向最小値(
patch 3D shift normal axis)
、垂直方向サイズ(patch 2D size v)、水平方向最小値(patch
2D shift u)、垂直方向最小値(patch 2D shift u)
index)(上述したパッチの2D空間位置、サイズ情報に基づいてパッチを順に位置
させた場合、1つのブロックに重複して複数のパッチがマップされることがある。このと
き、マップされるパッチが候補リストを構成し、このリストの何番目のパッチのデータが
該当ブロックに存在するかを示すインデックス)、local patch index
(フレームに存在する全体のパッチのうちの1つを示すインデックス)。 Table
1は、candidate listとlocal patch indexを用いたブ
ロックとパッチのマッチングプロセスを示す疑似コード(pseudo code)であ
る。
) {
didate_index]
ll background filling)の一例を示す。
up dilation)40006、40007、40008
づいてパッチ領域以外の空間を意味のない付加的なデータで満たすことができる。
ないデータで満たすプロセスである。イメージパディングのために、パッチ内部の境界面
側に該当する列又は行のピクセル値がコピーされて空き空間を満たす方法が用いられる。
又は、図のように、パッドされないイメージの解像度を段階的に減らし、再び解像度が高
めるプロセスにおいて低い解像度のイメージからのピクセル値で空き空間を満たすプッシ
ュプルバックグラウンドフィリング(push-pull background fi
lling)方法が用いられてもよい。
レイヤからなるジオメトリ、テキスチャーイメージの空き空間を満たす方法であって、上
述したイメージパディングによって算出された2つのレイヤの空き空間の値を、2つのレ
イヤの同一位置に対する値の平均値で満たすプロセスである。
ーサルオーダー(traversal order)の一例を示す。
、40011
lossy)圧縮のためのビデオ圧縮(video compression)と無損失
(lossless)圧縮のためのエントロピー圧縮(entropy compres
sion)との2つの方法がある。ビデオ圧縮については後述する。
合に1を符号化し、次のブロックに同じプロセスを繰り返す。そうではない場合には0を
符号化し、2)~5)のプロセスを行う。
th coding)を行うためのbest traversal orderを決定す
る。図は4*4サイズのブロックに対して可能な4つのtraversal order
を一例として示す。
方式に基づいてブロックをコーティング(符号化)する。
t traversal orderを選択し、そのインデックスを符号化する。一例と
して、上述した図13の3番目のトラバーサルオーダーを選択する場合であり、この場合
、run数は2と最小化でき、これをベストトラバーサルオーダー(best trav
ersal order)として選択する。
、2を符号化する。
1番目のrunが満たされていないピクセルに該当するため、0を符号化する。
。図14の例では、1番目のrunと2番目のrunの長さである6と10を順次に符号
化する。
11
eo codec)などを用いて、上述したプロセスで生成されたジオメトリイメージ、
テキスチャーイメージ、占有マップイメージなどのシーケンスを符号化する。
ge Encoder)の一例を示す。
09、40010、40011が適用される実施例であって、ビデオ/映像信号の符号化
が行われる2Dビデオ/イメージエンコーダ15000の概略なブロック図を示す。2D
ビデオ/イメージエンコーダ15000は、上述したポイントクラウドビデオエンコーダ
10002に含まれるか、又は内部/外部のコンポーネントからなる。図15の各構成要
素は、ソフトウェア、ハードウェア、プロセッサ及び/又はそれらの組み合わせに対応す
る。
イメージ)、占有マップイメージなどを含む。ポイントクラウドビデオエンコーダの出力
ビットストリーム(即ち、ポイントクラウドビデオ/イメージビットストリーム)は、各
入力映像(ジオメトリイメージ、テキスチャーイメージ(特質イメージ)、占有マップイ
メージなど)に対する出力ビットストリームを含む。
ち、予測部は、インター予測部15090及びイントラ予測部15100を含む。変換部
15030、量子化部15040、逆量子化部15050、逆変換部15060を合わせ
て、残余(residual)処理部とも呼ぶ。残余処理部はさらに減算部15020を
含む。上述した映像分割部15010、減算部15020、変換部15030、量子化部
15040、逆量子化部15050、逆変換部15060、加算部155、フィールタリ
ング部15070、インター予測部15090、イントラ予測部15100及びエントロ
ピー符号化部15110は、実施例によって、1つのハードウェアコンポーネント(例え
ば、エンコーダ又はプロセッサ)で構成される。また、メモリ15080は、DPB(d
ecoded picture buffer)を含み、デジタル記憶媒体で構成される
。
ー、フレーム)を1つ以上の処理ユニット(processing unit)に分割す
る。一例として、処理ユニットは、コーディングユニット(coding unit、C
U)とも呼ぶ。この場合、コーディングユニットは、コーディングツリーユニット(co
ding tree unit、CTU)又は最大コーディングユニット(larges
t coding unit、LCU)からQTBT(Quad-tree binar
y-tree)構造によって再帰的に(recursively)分割される。例えば、
1つのコーディングユニット、Quad-tree構造及び/又はbinary-tre
e構造に基づいて下位(deeper)深さの複数のコーディングユニットに分割される
。この場合、例えば、先にQuad-treeが適用されて、その後にbinary-t
reeが適用されてもよい。又はbinary-treeが先に適用されてもよい。これ
以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順
が行われてもよい。この場合、映像の特性に応じたコーディング効率などに基づいて、最
大のコーディングユニットが最終符号化ユニットとして用いられてもよく、又は必要に応
じてコーディングユニットは再帰的に(recursively)より下位深さのコーデ
ィングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディング
ユニットとして用いられる。ここで、コーディング手順とは、後述する予測、変換、及び
復元などの手順を含む。その他の例として、処理ユニットは予測ユニット(PU:Pre
diction Unit)又は変換ユニット(TU:Transform Unit)
をさらに含んでもよい。この場合、予測ユニット及び変換ユニットのそれぞれは、上述し
た最終コーディングユニットから分割又はパーティショニングされる。予測ユニットはサ
ンプル予測の単位であり、変換ユニットは変換係数を誘導する単位及び/又は変換係数か
ら残余信号(residual signal)を誘導する単位である。
ールなどの用語と混用する。一般の場合、MxNブロックは、M個の列とN個の行からな
るサンプル又は変換係数(transform coefficient)の集合を示す
。サンプルは、一般にピクセル又はピクセルの値を示し、輝度(luma)成分のピクセ
ル/ピクセル値だけを示してもよく、彩度(chroma)成分のピクセル/ピクセル値
だけを示してもよい。サンプルは1つのピクチャー(又は、映像)をピクセル(pixe
l)又はペル(pel)に対応する用語として使用する。
レイ)においてインター予測部15090又はイントラ予測部15100から出力された
予測信号(予測されたブロック、予測サンプルアレイ)を減算して、残余信号(resi
dual signal、残余ブロック、残余サンプルアレイ)を生成し、生成した残余
信号は変換部15030へ送信される。この場合、図示のように、符号化装置15000
内で入力映像信号(オリジナルブロック、オリジナルサンプルアレイ)において予測信号
(予測ブロック、予測サンプルアレイ)を減算するユニットは減算部15020と呼ぶ。
予測部は処理対象ブロック(以下、現在ブロックという)に対する予測を行い、現在ブロ
ックに対する予測サンプルを含む予測されたブロック(predicted block
)を生成する。予測部は現在ブロック又はCU単位でイントラ予測を適用するか、又はイ
ンター予測を適用するかを決定する。予測部は、各々の予測モードに関して後述するよう
に、予測モード情報などの予測に関する様々な情報を生成してエントロピー符号化部15
110に伝送する。予測に関する情報はエントロピー符号化部15110で符号化されて
ビットストリームの形式で出力される。
ロックを予測する。参照されるサンプルは、予測モードに応じて現在ブロックに隣接(n
eighbor)して位置するか、又は離れて位置する。イントラ予測において予測モー
ドは複数の非方向性モードと複数の方向性モードを含む。非方向性モードは、例えばDC
モード及び平面モード(Planarモード)を含む。方向性モードは、予測方向の精密
度に応じて、例えば33つの方向性予測モード又は65つの方向性予測モードを含む。た
だし、これは例示であって、設定によってその以上又はその以下の方向性予測モードが用
いられる。イントラ予測部15100の隣接ブロックに適用された予測モードを用いて、
現在ブロックに適用される予測モードを決定してもよい。
される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測され
たブロックを導く。このとき、インター予測モードで送信される動き情報の量を減らすた
めに、隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック
、サブブロック又はサンプル単位で予測する。動き情報は、動きベクトル及び参照ピクチ
ャーインデックスを含む。動き情報はさらにインター予測方向(L0予測、L1予測、B
i予測など)情報を含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在
する空間的隣接ブロック(spatial neighboring block)と参
照ピクチャーに存在する時間的隣接ブロック(temporal neighborin
g block)を含む。参照ブロックを含む参照ピクチャーと時間的隣接ブロックを含
む参照ピクチャーは同一であってもよく、異なってもよい。時間的隣接ブロックは、同一
位置参照ブロック(collocated reference block)、同一位
置CU(colCU)などと呼ばれ、時間的隣接ブロックを含む参照ピクチャーは、同一
位置ピクチャー(collocated picture、colPic)とも呼ばれる
。例えば、インター予測部15090は隣接ブロックに基づいて動き情報の候補リストを
構成し、現在ブロックの動きベクトル及び/又は参照ピクチャーインデックスを導出する
ためにいずれの候補が使用されるかを指示する情報を生成する。様々な予測モードに基づ
いてインター予測が行われ、例えばスキップモードとマージモードの場合、インター予測
部は隣接ブロックの動き情報を現在ブロックの動き情報として用いる。スキップモードの
場合、マージモードとは異なり、残余信号が送信されないことがある。動き情報予測(m
otion vector prediction、MVP)モードの場合、隣接ブロッ
クの動きベクトルを動きベクトル予測者(motion vector predict
or)として用いて、動きベクトル差分(motion vector differe
nce)をシグナリングすることで現在ブロックの動きベクトルを指示する。
は、復元信号の生成のために用いられるか、残余信号の生成のために用いられる。
oefficients)を生成する。例えば、変換方法は、DCT(Discrete
Cosine Transform)、DST(Discrete Sine Tra
nsform)、KLT(Karhunen-Loeve Transform)、GB
T(Graph-Based Transform)、又はCNT(Condition
ally Non-linear Transform)のうち少なくとも1つを含む。
ここで、GBTはピクセル間の関係情報をグラフで表現するとき、このグラフから得られ
た変換を意味する。CNTは以前に復元された全てのピクセル(all previou
sly reconstructed pixel)を用いて予測信号を生成し、それに
基づいて取得される変換を意味する。また、変換プロセスは、正方形の同一サイズのピク
セルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されても
よい。
し、エントロピー符号化部15110は量子化した信号(量子化した変換係数に関する情
報)を符号化してビットストリームに出力する。量子化した変換係数に関する情報は残余
情報と呼ぶ。量子化部15040は係数スキャン順(scan order)に基づいて
ブロック形態の量子化変換係数を1次元ベクトル形に再整列し、1次元ベクトル形の量子
化変換係数に基づいて量子化した変換係数に関する情報を生成することもできる。エント
ロピー符号化部15110は、例えば、指数ゴロム(exponential Golo
mb)、CAVLC(context-adaptive variable leng
th coding)、CABAC(context-adaptive binary
arithmetic coding)などのような様々な符号化方法を行う。エント
ロピー符号化部15110は、量子化した変換係数の他にビデオ/イメージの復元に必要
な情報(例えば、シンタックス要素(syntax elements)の値など)を共
に又は別として符号化する。符号化した情報(例えば、符号化したビデオ/映像情報)は
ビットストリームの形式でNAL(network abstraction laye
r)ユニットの単位で送信又は格納される。ビットストリームはネットワークを介して送
信されてもよく、デジタル記憶媒体に記憶されてもよい。ここで、ネットワークは放送網
及び/又は通信網などを含み、デジタル記憶媒体はUSB、SD、CD、DVD、ブルー
レイ、HDD、SSDなどの様々な記憶媒体を含む。エントロピー符号化部15110か
ら出力された信号を送信する送信部(未図示)及び/又は記憶する記憶部(未図示)が符
号化装置15000の内部/外部要素として構成されてもよく、又は送信部はエントロピ
ー符号化部15110に含まれてもよい。
用いられる。例えば、量子化した変換係数に逆量子化部15040及び逆変換部1506
0によって逆量子化及び逆変換を適用することで、残余信号(残余ブロック又は残余サン
プル)を復元する。加算部15200は復元された残余信号をインター予測部15090
又はイントラ予測部15100から出力された予測信号に加えることで、復元(reco
nstructed)信号(復元ピクチャー、復元ブロック、復元サンプルアレイ)を生
成する。スキップモードが適用された場合のように、処理対象ブロックに対する残余がな
い場合、予測されたブロックが復元ブロックとして用いられる。加算部155は復元部又
は復元ブロック生成部と呼ばれる。生成された復元信号は現在ピクチャー内の次の処理対
象ブロックのイントラ予測のために用いられてもよく、後述のようにフィルタリングを経
て次のピクチャーのインター予測のために用いられてもよい。
的な画質を向上させることができる。例えば、フィルタリング部15070は、復元ピク
チャーに様々なフィルタリング方法を適用して修正した(modified)復元ピクチ
ャーを生成し、修正した復元ピクチャーをメモリ15080、具体的にメモリ15080
のDPBに格納する。様々なフィルタリング方法には、例えば、デブロッキングフィルタ
リング、サンプル適応的オフセット(sample adaptive offset)
、適応的ループフィルター(adaptive loop filter)、双方向フィ
ルター(bilateral filter)などがある。フィルタリング部15070
は、後述する各々のフィルタリング方法のように、フィルタリングに関する様々な情報を
生成してエントロピー符号化部15110へ伝送する。フィルタリングに関する情報はエ
ントロピー符号化部15110で符号化されてビットストリームの形式で出力される。
ター予測部15090において参照ピクチャーとして用いられる。符号化装置はこれによ
ってインター予測が適用される場合、符号化装置15000及び復号装置における予測ミ
スマッチを避けることができ、符号化の効率を向上させることもできる。
おける参照ピクチャーとして用いるために格納する。メモリ15080は、現在ピクチャ
ー内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復
元したピクチャー内のブロックの動き情報を格納する。格納した動き情報は空間的隣接ブ
ロックの動き情報又は時間的隣接ブロックの動き情報として活用するためにインター予測
部15090に伝送する。メモリ15080は現在ピクチャー内において復元したブロッ
クの復元サンプルを格納して、イントラ予測部15100へ伝送する。
。例えば、PCM(pulse code modulation)が適用されるブロッ
クに対しては、予測、変換、量子化の手順を省略し、オリジナルサンプルの値をそのまま
符号化してビットストリームに出力してもよい。
)の一例を示す。
(又はエンコーダ)の逆プロセスとなる。図16の各構成要素は、ソフトウェア、ハード
ウェア、プロセッサ、及び/又はそれらの組み合わせに対応する。
ームを逆多重化して圧縮されたテキスチャーイメージ、圧縮されたジオメトリイメージ、
圧縮された占有マップイメージ、圧縮された付加パッチ情報をそれぞれ出力する。
ビデオ復元部は、圧縮されたテキスチャーイメージ及び圧縮されたジオメトリイメージの
それぞれを復元する。
03又は占有マップ復元部は、圧縮された占有マップイメージを復元する。
ecompression)16004又は付加パッチ情報復元部は、圧縮された付加パ
ッチ情報を復元する。
はジオメトリ再構成部は、復元されたジオメトリイメージ、復元された占有マップ、及び
/又は復元された付加パッチ情報に基づいてジオメトリ情報を復元(再構成)する。例え
ば、符号化プロセスにおいて変更したジオメトリを再構成する。
対して平滑化を適用する。例えば、平滑化フィルタリングが適用される。
はテキスチャー再構成部は、復元されたテキスチャーイメージ及び/又は平滑化されたジ
オメトリからテキスチャーを再構成する。
再構成されたテキスチャーからカラー値を平滑化する。例えば、平滑化フィルタリングが
適用される。
情報を復号してポイントクラウドを再構成するためのV-PCCの復号プロセスを示す。
実施例による各プロセスの動作は以下のようである。
ックを用いて、上記プロセスで生成されたジオメトリイメージ、テキスチャーイメージ、
占有マップイメージの圧縮されたビットストリームを復号するプロセスである。
e Decoder)の一例を示す。
となる。
施例であって、ビデオ/映像信号の復号が行われる2D video/image de
coder17000の概略なブロック図を示す。2Dビデオ/イメージデコーダ170
00は、図1のポイントクラウドビデオデコーダに含まれるか、又は内外部のコンポーネ
ントで構成される。図17の各構成要素はソフトウェア、ハードウェア、プロセッサ及び
/又はそれらの組み合わせに対応する。
ジ(特質イメージ)、占有マップイメージなどに対するビットストリームを含む。復元映
像(又は出力映像、復号された映像)は、上述したジオメトリイメージ、テキスチャーイ
メージ(特質イメージ)、占有マップイメージに対する復元映像を示す。
予測部と呼ぶ。即ち、予測部はインター予測部180及びイントラ予測部185を含む。
逆量子化部17020、逆変換部17030を合わせて残余処理部と呼ぶ。即ち、残余処
理部は逆量子化部17020、逆変換部17030を含む。上記エントロピー復号部17
010、逆量子化部17020、逆変換部17030、加算部17040、フィルタリン
グ部17050、インター予測部17070及びイントラ予測部17080は、実施例に
よって、1つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)によっ
て構成される。また、メモリ17060はDPB(decoded picture b
uffer)を含んでもよく、デジタル記憶媒体によって構成されてもよい。
0.2-1の符号化装置においてビデオ/映像情報が処理されたプロセスに対応して映像
を復元する。例えば、復号装置17000は、符号化装置で適用された処理ユニットを用
いて復号を行う。よって、復号の処理ユニットは、例えば、コーディングユニットであり
、コーディングユニットはコーディングツリーユニット又は最大コーディングユニットか
らQuad-tree構造及び/又はbinary-tree構造によって分割される。
また、復号装置17000によって復号されて出力された復元映像信号は再生装置で再生
される。
信し、受信した信号はエントロピー復号部17010で復号される。例えば、エントロピ
ー復号部17010はビットストリームをパーシングして映像復元(又はピクチャー復元
)に必要な情報(例えば、ビデオ/映像情報)を導出する。例えば、エントロピー復号部
17010は指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基
づいてビットストリーム内の情報を復号し、映像復元に必要なシンタックス要素の値、残
余に関する変換係数の量子化された値を出力する。より詳細に、CABACエントロピー
復号方法は、ビットストリームにおいて各構文要素に該当するビンを受信し、復号対象構
文要素情報と隣接及び復号対象ブロックの復号情報又は前のステップで復号されたシンボ
ル/ビンの情報を用いて文脈(context)モデルを決定して、決定した文脈モデル
に応じてビン(bin)の発生確率を予測し、ビンの算術復号(arithmetic
decoding)を行って、各構文要素の値に該当するシンボルを生成する。このとき
、CABACエントロピー復号方法は、文脈モデルを決定した後、次のシンボル/ビンの
文脈モデルのために復号されたシンボル/ビンの情報を用いて文脈モデルをアップデート
する。エントロピー復号部17010で復号された情報のうち予測に関する情報は、予測
部(インター予測部17070及びイントラ予測部17080)に提供され、エントロピ
ー復号部17010でエントロピー復号が行われた残余値、即ち量子化された変換係数及
び関連パラメータ情報は、逆量子化部17020へ入力される。また、エントロピー復号
部17010で復号された情報のうちフィルタリングに関する情報は、フィルタリング部
17050へ提供される。一方、符号化装置から出力された信号を受信する受信部(未図
示)が復号装置17000の内部/外部要素としてさらに構成されてもよく、受信部はエ
ントロピー復号部17010の構成要素であってもよい。
量子化部17020は量子化された変換係数を2次元のブロック形に再整列する。この場
合、符号化装置で行われた係数スキャン順に基づいて再整列を行う。逆量子化部1702
0は量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて量子化された変換
係数に対する逆量子化を行い、変換係数(transform coefficient
)を取得する。
アレイ)を取得する。
予測されたブロック(predicted block)を生成する。予測部はエントロ
ピー復号部17010から出力された予測に関する情報に基づいて現在ブロックにイント
ラ予測が適用されるか、又はインター予測が適用されるかを決定して、具体的なイントラ
/インター予測モードを決定する。
する。参照されるサンプルは予測モードに応じて、現在のブロックに隣接(neighb
or)して位置してもよく、又は離れて位置してもよい。イントラ予測において予測モー
ドは複数の非方向性モードと複数の方向性モードとを含む。イントラ予測部265は隣接
ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定
する。
照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロッ
クを導く。このとき、インター予測モードにおいて送信される動き情報の量を減らすため
に隣接ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サ
ブブロック又はサンプル単位で予測する。動き情報は動きベクトル及び参照ピクチャーイ
ンデックスを含む。動き情報はさらにインター予測方法(L0予測、L1予測、Bi予測
など)情報を含む。インター予測の場合、隣接ブロックは現在ピクチャー内に存在する空
間的隣接ブロック(spatial neighboring block)と参照ピク
チャーに存在する時間的隣接ブロック(temporal neighboring b
lock)を含む。例えば、インター予測部17070は隣接ブロックに基づいて動き情
報候補リストを構成し、受信した候補選択情報に基づいて現在ブロックの動きベクトル及
び/又は参照ピクチャーインデックスを導出する。様々な予測モードに基づいてインター
予測が行われ、予測に関する情報は現在ブロックに対するインター予測のモードを指示す
る情報を含む。
0又はイントラ予測部17080から出力された予測信号(予測されたブロック、予測サ
ンプルアレイ)に加えることで復元信号(復元ピクチャー、復元ブロック、復元サンプル
アレイ)を生成する。スキップモードが適用された場合のように、処理対象ブロックに対
する残余がない場合、予測されたブロックが復元ブロックとして用いられる。
ピクチャー内の次の処理対象ブロックのイントラー予測のために用いられてもよく、後述
のように、フィルタリングを経て次のピクチャーのインター予測のためにも用いられても
よい。
画質を向上させる。例えば、フィルタリング部17050は復元ピクチャーに様々なフィ
ルタリング方法を適用して、修正された(modified)復元ピクチャーを生成し、
修正された復元ピクチャーをメモリ17060、具体的にメモリ17060のDPBに送
信する。様々なフィルタリング方法には、例えば、デブロッキングフィルタリング、サン
プル適応的オフセット(sample adaptive offset)、適応的ルー
プフィルター(adaptive loop filter)、双方向フィルター(bi
lateral filter)などが含む。
測部17070において参照ピクチャーとして使用される。メモリ17060は、現在ピ
クチャー内の動き情報が導出された(又は復号された)ブロックの動き情報及び/又は既
に復元されたピクチャー内のブロックの動き情報を格納する。格納された動き情報は空間
的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、イ
ンター予測部17070へ伝送する。メモリ17060は現在ピクチャー内の復元された
ブロックの復元サンプルを格納して、イントラ予測部17080へ伝送する。
80及びイントラ予測部185で説明した実施例は、復号装置17000のフィルタリン
グ部17050、インター予測部17070及びイントラ予測部17080にも同一又は
対応する方法が適用できる。
よい。例えば、PCM(pulse code modulation)が適用されるブ
ロックに対しては、予測、逆変換、逆量子化の手順を省略して、復号されたサンプルの値
をそのまま復元映像のサンプルとして使用する。
03
号して占有マップを復元するプロセスである。
ssion)16004
ームを復号して付加パッチ情報を復元するプロセスである。
パッチ情報に含まれるパッチの2D位置/サイズ情報及びブロックとパッチとのマッピン
グ情報を用いてジオメトリイメージからパッチを抽出する。この後、抽出したパッチのジ
オメトリイメージと付加パッチ情報に含まれるパッチの3D位置情報を用いて、ポイント
クラウドを3D空間上に復元する。1つのパッチ内に存在する任意の点(u、v)に該当
するジオメトリ値をg(u、v)といい、パッチの3D空間上の位置のnormal軸、
tangent軸、bitangent軸の座標値を(δ0、s0、r0)とするとき、
点(u、v)にマップされる3D空間上の位置のnormal軸、tangent軸、b
itangent軸の座標値であるδ(u、v)、s(u、v)、r(u、v)は、以下
のように示される。
劣化によりパッチ境界面から生じ得る不連続性を除去するためのプロセスである。
ウドを復元するプロセスである。上述したジオラマ再構成のプロセスで再構成されたジオ
メトリイメージとポイントクラウドのマッピング情報を用いて、2D空間でジオメトリイ
メージと同一位置のテキスチャーイメージピクセルに該当するカラー値を、3D空間で同
一位置に対応するポイントクラウドの点に付与することで行われる。
によってパッチ境界面から生じ得るカラー値の不連続性を除去するためのプロセスである
。カラー平滑化は、以下のように行われる。
点の隣接点を算出する。上述したジオメトリ平滑化のプロセスで算出された隣接点情報を
そのまま用いてもよい。
たジオメトリ平滑化のプロセスで算出された境界面情報をそのまま用いてもよい。
どうかを判断する。一例として、輝度値のエントロピーが境界値(threshold
local entry)以下である場合(類似する輝度値が多い場合)、エッジ部分で
はないと判断して平滑化を行う。平滑化の方法としては、隣接点の平均値でその点のカラ
ー値を置き換える方法がある。
オ/イメージエンコーダに対応するか、それらの動作の一部/全部を行ってもよい。送信
装置の各構成要素は、ソフトウェア、ハードウェア、プロセッサ及び/又はそれらの組み
合わせに対応する。
に示めすようである。
(point cloud)の2Dイメージマッピングのためのパッチ(patch)を
生成する。パッチ生成の結果物としてパッチ情報及び/又は付加パッチ情報が生成され、
生成されたパッチ情報及び/又は付加パッチ情報は、ジオメトリイメージ(geomet
ry image)生成、テクスチャイメージ(texture image)生成、平
滑化(smoothing)又は平滑化のためのジオメトリ復元プロセスに用いられる。
にマップするパッチパッキングのプロセスを行う。パッチパッキングの結果物として占有
マップ(occupancy map)が生成され、占有マップはジオメトリイメージ生
成、テクスチャイメージ生成、平滑化のためのジオメトリ復元プロセスに用いられる。
トリイメージを生成し、生成したジオメトリイメージはビデオ符号化により1つのビット
ストリームに符号化される。
メージ又は符号化されたジオメトリビットストリームを復号して再生成されたジオメトリ
イメージは3Dジオメトリ復号に使用され、その後、平滑化過程が行われる。
ラウドデータ、付加パッチ情報及び占有マップを用いてテクスチャーイメージを生成する
。生成されたテクスチャーイメージは1つのビデオビットストリームに符号化される。
ムに符号化する。
る。
ビデオビットストリームと付加パッチ情報メタデータビットストリームを1つのビットス
トリームに多重化する。
リ、テクスチャーイメージ、占有マップのビデオビットストリームと付加パッチ情報メタ
データビットストリームは1つ以上のトラックデータでファイルが生成されるか、セグメ
ントでカプセル化されて送信部から受信端に送信される。
オ/イメージエンコーダに対応するか、それらの動作の一部/全部を行う。受信装置の各
構成要素は、ソフトウェア、ハードウェア、プロセッサ及び/又はそれらの組み合わせに
対応する。
セスは図面に従う。V-PCC受信端の動作は、図18のV-PCC送信端の動作の逆過
程である。
に圧縮されたジオメトリイメージ、テキスチャーイメージ、占有マップのビデオビットス
トリームと付加パッチ情報メタデータビットストリームに逆多重化部19000により逆
多重化される。ビデオ復号部19001とメタデータ復号化部19002は逆多重化され
たビデオビットストリームとメタデータビットストリームを復号する。ジオメトリ復元部
19003により復号されたジオメトリイメージと占有マップ及び付加パッチ情報を用い
て3Dジオメトリが復元され、その後、平滑化部19004による平滑化過程が行われる
。平滑化された3Dジオメトリにテキスチャーイメージを用いてカラー値を付与すること
により、カラーポイントクラウド映像/ピクチャーがテキスチャー復元部19005によ
り復元される。その後、客観的/主観的な視覚品質を向上させるために、カラー平滑化過
程をさらに行い、これにより導出された修正された(modified)ポイントクラウ
ド映像/ピクチャーは、レンダリングプロセス後にユーザに見せられる。なお、カラー平
滑化プロセスは、場合によっては省略してもよい。
ーミングのためのアーキテクチャの一例を示す。
の2Dビデオ/イメージエンコーダ、図16の復号プロセス、図18の送信装置、及び/
又は図19の受信装置などの一部/全部を含む。図面の各構成要素は、ソフトウェア、ハ
ードウェア、プロセッサ及びそれらの組み合わせに対応する。
す。実施例による送受信装置及びシステムを全て含めて、実施例による送受信装置と称す
る。
化されたポイントクラウドデータを含むビットストリームを送信するためのデータフォー
マットに合うコンテナを生成する。
、効率的な送受信のために必要な付加データをコンテナにさらに追加する。
受信して、パース(parse)する。図19などに該当する受信装置はパースされたビ
ットストリームからポイントクラウドデータを復号して復元する。
ラウドデータを格納又はストリーミングするための全体的なアーキテクチャを示す。ポイ
ントクラウドデータの格納及びストリーミングのプロセスは、取得プロセス、符号化プロ
セス、送信プロセス、復号プロセス、レンダリングプロセス及び/又はフィードバックプ
ロセスを含む。
提案する。
タを効率的に提供するために、まず、ポイントクラウドビデオを取得する。例えば、1つ
以上のカメラによって、ポイントクラウドのキャプチャー、合成又は生成プロセスなどを
通じたポイントクラウドデータを取得する。この取得プロセスにより、各ポイントの3D
位置(x、y、z位置値などで示され、以下、ジオメトリと呼ぶ)、各ポイントの特質(
色、反射率、透明度など)を含むポイントクラウドビデオを取得することができる。また
取得したポイントクラウドビデオはこれを含む、例えば、PLY(Polygon Fi
le format or the Stanford Triangle forma
t)ファイルなどで生成することができる。複数のフレームを有するポイントクラウドデ
ータの場合、1つ以上のファイルを取得することができる。このプロセスにおいてポイン
トクラウド関連メタデータ(例えば、キャプチャーなどに関連するメタデータなど)を生
成することができる。
処理が必要となる場合がある。映像キャプチャーのプロセスにおいて、カメラ装備が提供
する範囲内で最大/最小の深さ値を調整してもよいが、調整後にも所望しない領域のポイ
ントデータが含まれることがあるため、所望しない領域(例えば、背景)を除去したり、
連結された空間を認識して穴(spatial hole)を埋める後処理を行ってもよ
い。また、空間座標系を共有するカメラから抽出されたポイントクラウドは校正によって
取得された各カメラの位置座標を基準として、各ポイントに対するグローバル座標系への
変換プロセスにより1つのコンテンツに統合してもよい。これにより、ポイントの密度の
高いポイントクラウドビデオを取得することができる。
unit)20001は、ポイントクラウドビデオを1つ以上のピクチャー/フレーム
に生成する。ここで、ピクチャー/フレームは、一般に特定の時間帯の1つの映像を示す
単位を意味する。また、ポイントクラウドビデオを構成する点を1つ以上のパッチ(ポイ
ントクラウドを構成する点の集合であって、同じパッチに属する点は3D空間上において
互いに隣接し、2Dイメージへのマッピングプロセスにおいて6面のバウンディングボッ
クスの平面のうち同じ方向にマップされる点の集合)に分けて2D平面にマップする際に
、2D平面のその位置にデータが存在するか否かを0又は1の値で知らせる2進マップ(
binary map)である占有マップピクチャー/フレームを生成することができる
。また、ポイントクラウドビデオを成す各点の位置情報(geometry)をパッチ単
位で表す深さマップ形式のピクチャー/フレームであるジオメトリピクチャー/フレーム
を生成することができる。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表
すピクチャー/フレームであるテクスチャーピクチャー/フレームを生成することができ
る。このプロセスにおいて、個別パッチからポイントクラウドを再構成するために必要な
メタデータを生成することができ、このメタデータは、各パッチの2D/3D空間におけ
る位置、サイズなどのパッチに関する情報(付加情報又は付加パッチ情報という)を含む
。このようなピクチャー/フレームが時間順に連続して生成され、ビデオストリーム又は
メタデータストリームを構成することができる。
1つ以上のビデオストリームに符号化することができる。1つのビデオは複数のフレーム
を含み、1つのフレームは停止映像/ピクチャーに対応する。この明細書において、ポイ
ントクラウドビデオとは、ポイントクラウド映像/フレーム/ピクチャーを含み、ポイン
トクラウドビデオはポイントクラウド映像/フレーム/ピクチャーと混用することがある
。ポイントクラウドビデオエンコーダは、ビデオベースポイントクラウド圧縮(V-PC
C)の手順を行う。ポイントクラウドビデオエンコーダは、圧縮及びコーティングの効率
のために、予測、変換、量子化、エントロピーコーティングなどの一連の手順を行うこと
ができる。符号化されたデータ(符号化されたビデオ/映像情報)は、ビットストリーム
形式で出力される。V-PCC手順に基づく場合、ポイントクラウドビデオエンコーダは
、後述のように、ポイントクラウドビデオをジオメトリビデオ、特質(attribut
e)ビデオ、占有(occupancy)マップビデオ、またメタデータ、例えば、パッ
チに関する情報に分けて符号化することができる。ジオメトリビデオはジオメトリイメー
ジを含んでもよく、特質(attribute)ビデオは特質イメージを含んでもよく、
占有(occupancy)マップビデオは占有マップイメージを含んでもよい。付加情
報であるパッチデータは、パッチに関する情報を含んでもよい。特質ビデオ/イメージは
、テキスチャービデオ/イメージを含んでもよい。
る1つ以上のイメージに符号化することができる。ポイントクラウドイメージエンコー2
0003は、ビデオベースポイントクラウド圧縮(V-PCC)の手順を行う。ポイント
クラウドイメージエンコーダは、圧縮及びコーティングの効率のために、予測、変換、量
子化、エントロピーコーティングなどの一連の手順を行うことができる。符号化されたイ
メージは、ビットストリーム形式で出力される。V-PCC手順に基づく場合、ポイント
クラウドイメージエンコーダ20003は、後述のように、ポイントクラウドイメージを
ジオメトリイメージ、特質(attribute)イメージ、占有(occupancy
)マップイメージ、またメタデータ、例えば、パッチに関する情報に分けて符号化するこ
とができる。
エンコーダは、実施例によるPCCビットストリーム(G-PCC及び/又はV-PCC
ビットストリーム)を生成する。
オデコーダ20006、イメージデコーダは、上述のように、1つのエンコーダ/デコー
ダによって行われてもよく、図面のように、別の経路によって行われてもよい。
20004は、符号化されたポイントクラウドデータ及び/又はポイントクラウドに関連
するメタデータをファイル又はストリーミングのためのセグメントなどの形式でカプセル
化する。ここで、ポイントクラウドに関連するメタデータは、メタデータ処理部などから
伝送されてもよい。メタデータ処理部は、ポイントクラウドビデオ/イメージエンコーダ
に含まれてもよく、別のコンポーネント/モジュールで構成されてもよい。カプセル化処
理部は、そのビデオ/イメージ/メタデータをISOBMFFなどのファイルフォーマッ
トにカプセル化するか、DASHセグメントなどの形態に処理する。カプセル化処理部は
、実施例によれば、ポイントクラウドに関連するメタデータをファイルフォーマット上に
含ませることができる。ポイントクラウドメタデータは、例えば、ISOBMFFファイ
ルフォーマット上の様々なレベルのボックス(box)に含まれるか、ファイル内におい
て別のトラック内のデータに含まれる。実施例によれば、カプセル化処理部は、ポイント
クラウド関連メタデータそのものをファイルにカプセル化することができる。
ムをファイル内の1つ或いは複数のトラックに分割格納し、そのためのシグナリング情報
も共にカプセル化する。また、G-PCC/V-PCCビットストリーム上に含まれてい
るatlasストリームをファイル内のトラックに格納し、関連するシグナリング情報を
格納してもよい。さらに、 G-PCC/V-PCCビットストリーム上に存在するSE
Iメッセージをファイル内のトラックに格納し、関連するシグナリング情報を格納しても
よい。
タに送信のための処理を施してもよい。送信処理部は、送信部に含まれてもよく、別のコ
ンポーネント/モジュールで構成されてもよい。送信処理部は、任意の送信プロトコルに
従ってポイントクラウドデータを処理することができる。送信のための処理には、放送網
を介する伝送のための処理、ブロードバンドを介する伝送のための処理を含んでもよい。
実施例によれば、送信処理部は、ポイントクラウドデータだけではなく、メタデータ処理
部からポイントクラウド関連メタデータが伝送され、これに送信のための処理を施しても
よい。
ル/セグメントをデジタル記憶媒体又はネットワークを介して受信装置の受信部へ伝送す
る。送信のために、任意の送信プロトコルによる処理を行ってもよい。送信のために処理
されたデータは、放送網及び/又はブロードバンドを介して伝送される。このデータは、
オン・デマンド(On Demand)方式で受信側に伝送される。デジタル記憶媒体に
は、USB、SD、CD、DVD、ブルーレイ、HDD、SSDなどの様々なものが含ま
れる。送信部は、所定のファイルフォーマットでメディアファイルを生成するための要素
を含み、放送/通信ネットワークを介する送信のための要素を含んでもよい。受信部は、
ビットストリームを抽出して復号装置に送信する。
ウドデータを受信する。送信されるチャネルに応じて、受信部は、放送網を介してポイン
トクラウドデータを受信してもよく、ブロードバンドを介してポイントクラウドデータを
受信してもよい。又は、デジタル記憶媒体によってポイントクラウドビデオデータを受信
してもよい。受信部は、受信したデータを復号し、これをユーザのビューポートなどに応
じてレンダリングしてもよい。
る処理を行う。受信処理部は、受信部に含まれてもよく、別のコンポーネント/モジュー
ルで構成されてもよい。送信側で送信のための処理が行われたことに対応して、受信処理
部は、上述した送信処理部の逆過程を行う。受信処理部は、取得したポイントクラウドビ
デオをデカプセル化部へ伝送し、取得したポイントクラウドに関連するメタデータはメタ
データ処理部へ伝送する。
)20005は、受信処理部から送信されたファイル形式のポイントクラウドデータをデ
カプセル化する。デカプセル化部は、ISOBMFFなどによるファイルをデカプセル化
し、ポイントクラウドビットストリーム又はポイントクラウド関連メタデータ(又は、別
のメタデータビットストリーム)を取得することができる。取得したポイントクラウドビ
ットストリームは、ポイントクラウドビデオデコーダ及びポイントクラウドイメージデコ
ーダに伝送され、取得したポイントクラウド関連メタデータ(又はメタデータビットスト
リーム)は、メタデータ処理部に伝送される。ポイントクラウドビットストリームは、メ
タデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部は、ポイン
トクラウドビデオデコーダに含まれてもよく、別のコンポーネント/モジュールで構成さ
れてもよい。デカプセル化部が取得するポイントクラウド関連メタデータは、ファイルフ
ォーマット内のボックス又はトラック形式であってもよい。デカプセル化処理部は、必要
な場合、メタデータ処理部からデカプセル化に必要なメタデータが伝送されることがある
。ポイントクラウド関連メタデータは、ポイントクラウドビデオデコーダ及び/又はポイ
ントクラウドイメージデコーダに伝送されてポイントクラウド復号に用いられてもよく、
又はレンダラーに伝送されてポイントクラウドレンダリングに用いられてもよい。
クラウドビデオエンコーダの動作に対応する逆過程を行うことでビデオ/映像を復号する
。この場合、ポイントクラウドビデオデコーダ20006は、後述のように、ポイントク
ラウドビデオをジオメトリビデオ、特質(attribute)ビデオ、占有(occu
pancy)マップビデオ、また付加パッチ情報(auxiliary patch i
nformation)に分けて復号することができる。ジオメトリビデオはジオメトリ
イメージを含んでもよく、特質(attribute)ビデオは特質イメージを含んでも
よく、占有(occupancy)マップビデオは占有マップイメージを含んでもよい。
付加情報は、付加パッチ情報(auxiliary patch informatio
n)を含んでもよい。特質ビデオ/イメージはテキスチャービデオ/イメージを含んでも
よい。
ジオメトリが復元され、その後に平滑化処理を行う。平滑化された3Dジオメトリに、テ
クスチャービデオ/イメージを用いてカラー値を割り当てることで、カラーポイントクラ
ウド映像/ピクチャーが復元される。レンダラーは、復元されたジオメトリ、カラーポイ
ントクラウド映像/ピクチャーをレンダリングする。レンダリングされたビデオ/映像は
、ディスプレイ部でディスプレイされる。ユーザは、VR/ARディスプレイ又は一般の
ディスプレイなどによってレンダリングされた結果の全部又は一部の領域を見ることがで
きる。
ーザ又は受信側からオリエンテーション情報及び/又はユーザビューポート情報を取得し
て受信部及び/又は送信部に送信する。オリエンテーション情報は、ユーザの頭の位置、
角度、動きなどに関する情報を示したり、ユーザが見ている装置の位置、角度、動きなど
に関する情報を示す。この情報に基づいて、現在ユーザが3D空間で見ている領域に関す
る情報、即ちビューポート情報を算出する。
いる領域に関する情報であってもよい。ディスプレイなどの装置は、オリエンテーション
情報、装置が支援する垂直(vertical)又は水平(horizontal)FO
Vなどに基づいてビューポート領域を抽出することができる。オリエンテーション又はビ
ューポート情報は、受信側で抽出又は算出する。受信側で分析したオリエンテーション又
はビューポート情報は、フィードバックチャネルを介して送信側へ伝送されてもよい。
び/又はユーザが現在見ている領域を示すビューポート情報を使用して特定の領域、即ち
オリエンテーション情報及び/又はビューポート情報が示す領域のメディアデータだけを
効率的にファイルから抽出又は復号する。また送信部は、センシング/トラッキング部に
よって取得されたオリエンテーション情報及び/又はビューポート情報を使用して特定の
領域、即ちオリエンテーション情報及び/又はビューポート情報が示す領域のメディアデ
ータだけを効率的に符号化したり、ファイルを生成及び送信することができる。
レンダリングされたビデオ/映像は、ディスプレイ部を介してディスプレイされる。ユー
ザは、VR/ARディスプレイ又は一般のディスプレイなどを介してレンダリングされた
結果の全部又は一部の領域を見ることができる。
々なフィードバック情報を送信側に送信するか、又は受信側のデコーダに送信することを
含んでもよい。フィードバックプロセスによって、ポイントクラウドデータの消費におい
て相互作用(interactivity)を提供することができる。実施例によれば、
フィードバックプロセスにおいて、ヘッドオリエンテーション(Head Orient
ation)情報、ユーザが現在見ている領域を示すビューポート(Viewport)
情報などを伝送することができる。実施例によれば、ユーザは、VR/AR/MR/自立
走行環境において具現されたものと相互作用することができるが、この場合、相互作用に
関する情報をフィードバックプロセスにおいて送信側及びサービス供給者側に伝送するこ
ともできる。実施例によれば、フィードバックプロセスは省略してもよい。
受信側で消費することもできる。即ち、上述したフィードバック情報を用いて受信側のデ
カプセル化処理、復号、レンダリングプロセスなどを行ってもよい。例えば、オリエンテ
ーション情報及び/又はビューポート情報を用いて、ユーザが現在見ている領域に対する
ポイントクラウドデータを優先してデカプセル化、復号及びレンダリングしてもよい。
る段階;ポイントクラウドデータをカプセル化する段階;及びポイントクラウドデータを
送信する段階;を含む。
段階;ポイントクラウドデータをデカプセル化する段階;及びポイントクラウドデータを
復号する段階;を含む。
す。
図1の送受信装置、図4の符号化プロセス、図15の2Dビデオ/イメージエンコーダ、
図16の復号プロセス、図18の送信装置及び/又は図19の受信装置などの一部/全部
を含むことができる。また、図20のシステムの一部/全部に含まれるか、対応すること
ができる。
の各構成要素は、モジュール/ユニット/コンポーネント/ハードウェア/ソフトウェア
/プロセッサなどであってもよい。
などは、それぞれ独立したストリームで構成されるか、又はファイルにおいてそれぞれ異
なるトラックに格納されてもよい。さらに、別のセグメントに含まれてもよい。
t)21000は、ポイントクラウドを取得する。例えば、1つ以上のカメラを介してポ
イントクラウドのキャプチャー、合成又は生成プロセスなどによりポイントクラウドデー
タを取得する。このような取得プロセスにより、各ポイントの3D位置(x、y、z位置
値などで示され、以下、これをジオメトリと呼ぶ)、各ポイントの特質(色、反射率、透
明度など)を含むポイントクラウドデータが得られ、これを含む、例えば、PLY(Po
lygon File format or the Stanford Triang
le format)ファイルなどで生成することができる。複数のフレームを有するポ
イントクラウドデータの場合、1つ以上のファイルを取得することができる。このプロセ
スにおいて、ポイントクラウド関連メタデータ(例えば、キャプチャーなどに関連するメ
タデータなど)を生成することができる。
トクラウドデータからパッチを生成する。パッチ生成部21001は、ポイントクラウド
データ又はポイントクラウドビデオを1つ以上のピクチャー/フレームで生成する。一般
に、ピクチャー/フレームは、特定の時間帯の1つの映像を示す単位を意味する。ポイン
トクラウドビデオを構成する点を1つ以上のパッチ(ポイントクラウドを構成する点の集
合であり、同じパッチに属する点は3D空間において互いに隣接しており、2Dイメージ
へのマッピングプロセスにおいて6面のバウンディングボックス平面のうち同じ方向にマ
ップされる点の集合)に分けて2D平面にマップする際、2D平面のその位置にデータが
存在するか否かを0又は1の値で知らせる2進マップ(binary map)である占
有(occupancy)マップピクチャー/フレームを生成することができる。また、
ポイントクラウドビデオを成す各点の位置情報(geometry)をパッチ単位で表す
深さマップ形式のピクチャー/フレームであるジオメトリピクチャー/フレームを生成す
る。ポイントクラウドビデオを成す各点の色情報をパッチ単位で表すピクチャー/フレー
ムであるテクスチャーピクチャー/フレームを生成することができる。このプロセスにお
いて、個別パッチからポイントクラウドを再構成するために必要なメタデータを生成する
ことができ、このメタデータは、各パッチの2D/3D空間における位置、サイズなどパ
ッチに関する情報を含んでもよい。このようなピクチャー/フレームが時間順に連続して
生成され、ビデオストリーム又はメタデータストリームを構成することができる。
クラウドデータが立方体の各面にプロジェクトされる。パッチ生成後、生成されたパッチ
に基づいて、ジオメトリイメージ、1つ又は1つ以上の特質イメージ、占有マップ、付加
データ及び/又はメッシュデータなどを生成することができる。
eometry image Generation)、特質イメージ生成(Attri
bute image Generation)、占有マップ生成(Occupancy
map Generation)、付加データ生成(Auxiliary Data
Generation)及び/又はメッシュデータ生成(Mesh Data Gene
ration)が行われる。
unit)21002は、パッチ生成の結果物に基づいてジオメトリイメージを生成する
。ジオメトリは、3D空間上のポイントを示す。パッチに基づいてパッチの2Dイメージ
パッキングに関連する情報を含む占有マップ、付加データ(パッチデータ)及び/又はメ
ッシュデータなどを使用して、ジオメトリイメージを生成する。ジオメトリイメージは、
パッチ生成後に生成されたパッチの深さ(例えば、近さ、遠さ)などの情報に関連する。
it)21003は、特質イメージを生成する。例えば、特質はテキスチャー(Text
ure)を示すことができる。テキスチャーは、各ポイントに対応するカラー値であって
もよい。実施例によれば、テキスチャーを含む複数(N個)の特質(色、反射率など)イ
メージを生成する。複数の特質は、マテリアル(材質に関する情報)、反射率などを含む
。また、実施例によれば、特質は、同じテキスチャーでも視覚、光によってカラーが変わ
る情報をさらに含んでもよい。
21004は、パッチから占有マップを生成する。占有マップは、そのジオメトリ又は特
質イメージなどのピクセルにデータの存否を示す情報を含む。
)21005は、パッチに関する情報を含む付加データを生成する。即ち、付加データは
、ポイントクラウド客体のパッチに関するメタデータを示す。例えば、パッチに対する法
線(normal)ベクトルなどの情報を示すことができる。具体的には、実施例によれ
ば、付加データは、パッチからポイントクラウドを再構成するために必要な情報を含む(
例えば、パッチの2D/3D空間上の位置、サイズなどに関する情報、プロジェクション
平面(normal)識別情報、パッチマッピング情報など)。
006は、パッチからメッシュデータを生成する。メッシュは、隣接したポイント間の連
結情報を示す。例えば、三角形のデータを示してもよい。例えば、実施例によるメッシュ
データは、各ポイント間の接続(connectivity)情報を意味する。
イメージ生成、占有マップ生成、付加データ生成、メッシュデータ生成に関連するメタデ
ータ(Metadata)を生成する。
及び/又はイメージ符号化を行う。ポイントクラウド送信装置は、ポイントクラウドビデ
オデータだけではなく、ポイントクラウドイメージデータを生成する。実施例によれば、
ポイントクラウドデータはビデオデータのみを、イメージデータのみを、及び/又はビデ
オデータ及びイメージデータの両方を含んでもよい。
デオ圧縮、付加データ圧縮及び/又はメッシュデータ圧縮を行う。ビデオ符号化部は、符
号化された各々のビデオデータを含むビデオトリームを生成する。
化する。特質ビデオ圧縮はポイントクラウドの特質ビデオデータを符号化する。付加デー
タ圧縮はポイントクラウドビデオデータに関連する付加データを符号化する。メッシュデ
ータ圧縮(Mesh data compression)はポイントクラウドビデオデ
ータのメッシュデータを符号化する。ポイントクラウドビデオ符号化部の各動作は、並列
に行われる。
ップイメージ圧縮、付加データ圧縮及び/又はメッシュデータ圧縮を行う。イメージ符号
化部は、符号化された各々のイメージデータを含むイメージを生成する。
を符号化する。特質イメージ圧縮はポイントクラウドの特質イメージデータを符号化する
。付加データ圧縮はポイントクラウドイメージデータに関連する付加データを符号化する
。メッシュデータ圧縮(Mesh data compression)はポイントクラ
ウドイメージデータに関連するメッシュデータを符号化する。ポイントクラウドイメージ
符号化部の各動作は、並列に行われる。
デオ符号化部及び/又はイメージ符号化部はメタデータに基づいて各々の符号化プロセス
を行う。
tion)21009は、ビデオストリーム及び/又はイメージをファイル及び/又はセ
グメント形式にカプセル化する。ファイル/セグメントカプセル化部はビデオトラックカ
プセル化、メタデータトラックカプセル化及び/又はイメージカプセル化を行う。
上のトラックカプセル化することができる。
タデータを1つ又は1つ以上のトラックにカプセル化する。メタデータは、ポイントクラ
ウドデータのコンテンツに関連するデータを含む。例えば、初期ビューイングオリエンテ
ーションメタデータ(Initial Viewing Orientation Me
tadata)を含む。実施例によれば、メタデータは、メタデータトラックにカプセル
化されてもよく、ビデオトラック又はイメージトラックに共にカプセル化されてもよい。
アイテムにカプセル化する。
入力される場合、4つのビデオストリーム及び2つのイメージを1つのファイル内にカプ
セル化する。
エンコーダは、実施例によるG-PCC/V-PCCビットストリームを生成する。
/セグメントカプセル化部は、メタデータに基づいてカプセル化を行う。
、ポイントクラウド送信装置又は送信部によって送信される。例えば、DASHベースの
プロトコルに基づいてセグメントが伝達(Delivery)できる。
内に1つ又は複数のトラックに分割格納し、そのためのシグナリング情報も共にカプセル
化することができる。また、V-PCCビットストリーム上に含まれているatlasス
トリームをファイル内のトラックに格納し、関連するシグナリング情報を格納することが
できる。さらに、V-PCCビットストリーム上に存在するSEIメッセージをファイル
内のトラックに格納し、関連するシグナリング情報を格納することができる。
トリームを含むファイル/セグメントをデジタル記憶媒体又はネットワークを介して受信
装置の受信部に伝達する。送信のために、任意の送信プロトコルによる処理を行う。送信
のための処理を終えたデータは、放送網及び/又はブロードバンドを介して伝送される。
このデータは、オン・デマンド(On Demand)方式で受信側へ伝送してもよい。
デジタル記憶媒体には、USB、SD、CD、DVD、ブルーレイ、HDD、SSDなど
の様々な記憶媒体がある。伝達部は、所定のファイルフォーマットでメディアファイルを
生成するための要素を含み、放送/通信ネットワークを介する送信のための要素を含む。
伝達部は、受信部からオリエンテーション情報及び/又はビューポート情報を受信する。
伝達部は、取得したオリエンテーション情報及び/又はビューポート情報(又はユーザが
選択した情報)を前処理部、ビデオ符号化部、イメージ符号化部、ファイル/セグメント
カプセル化部及び/又はポイントクラウド符号化部に伝送する。オリエンテーション情報
及び/又はビューポート情報に基づいて、ポイントクラウド符号化部は全てのポイントク
ラウドデータを符号化するか、又はオリエンテーション情報及び/又はビューポート情報
が示すポイントクラウドデータを符号化する。オリエンテーション情報及び/又はビュー
ポート情報に基づいて、ファイル/セグメントカプセル化部は全てのポイントクラウドデ
ータをカプセル化するか、又はオリエンテーション情報及び/又はビューポート情報が示
すポイントクラウドデータをカプセル化することができる。オリエンテーション情報及び
/又はビューポート情報に基づいて、伝達部は全てのポイントクラウドデータを伝達する
か、又はオリエンテーション情報及び/又はビューポート情報が示すポイントクラウドデ
ータを伝達する。
よく、オリエンテーション情報及び/又はビューポート情報が示すポイントクラウドデー
タに対して動作を行ってもよい。ビデオ符号化部及び/又はイメージ符号化部は、全ての
ポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報
及び/又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行わ
ってもよい。ファイル/セグメントカプセル化部は、全てのポイントクラウドデータに対
して上述した動作を行ってもよく、オリエンテーション情報及び/又はビューポート情報
が示すポイントクラウドデータに対して上述した動作を行ってもよい。送信部は、全ての
ポイントクラウドデータに対して上述した動作を行ってもよく、オリエンテーション情報
及び/又はビューポート情報が示すポイントクラウドデータに対して上述した動作を行っ
てもよい。
図1の送受信装置、図4の符号化プロセス、図15の2Dビデオ/イメージエンコーダ、
図16の復号プロセス、図18の送信装置、及び/又は図19の受信装置などの一部/全
部を含むことができる。また、図20及び図21のシステムの一部/全部に含まれるか又
は対応する。
ウェア/プロセッサなどであってもよい。伝達クライアント(Delivery Cli
ent)は、実施例によるポイントクラウドデータ送信装置が送信したポイントクラウド
データ、ポイントクラウドビットストリーム又はそのビットストリームを含むファイル/
セグメントを受信する。送信されるチャネルに応じて、受信装置は、放送網を介してポイ
ントクラウドデータを受信するか、又はブロードバンドを介してポイントクラウドデータ
を受信する。又は、デジタル記憶媒体によってポイントクラウドデータを受信してもよい
。受信装置は、受信したデータを復号し、これをユーザのビューポートなどに従ってレン
ダリングするプロセスを含んでもよい。受信処理部は、受信されたポイントクラウドデー
タに対して送信プロトコルに従う処理を行う。受信処理部は受信部に含まれてもよく、別
のコンポーネント/モジュールで構成されてもよい。送信側で行った送信のための処理に
対応して、受信処理部は、上述した送信処理部の逆過程を行う。受信処理部は、取得した
ポイントクラウドデータをファイル/セグメントデカプセル化部に伝送し、取得したポイ
ントクラウド関連メタデータはメタデータ処理部に伝送することができる。
ション情報及び/又はビューポート情報を取得する。センシング/トラッキング部は、取
得したオリエンテーション情報及び/又はビューポート情報を伝達クライアント、ファイ
ル/セグメントデカプセル化部、ポイントクラウド復号部に伝送する。
、全てのポイントクラウドデータを受信するか、又はオリエンテーション情報及び/又は
ビューポート情報が示すポイントクラウドデータを受信する。ファイル/セグメントデカ
プセル化部は、オリエンテーション情報及び/又はビューポート情報に基づいて、全ての
ポイントクラウドデータをデカプセル化するか、又はオリエンテーション情報及び/又は
ビューポート情報が示すポイントクラウドデータをデカプセル化する。ポイントクラウド
復号部(ビデオ復号部及び/又はイメージ復号部)は、オリエンテーション情報及び/又
はビューポート情報に基づいて、全てのポイントクラウドデータを復号するか、又はオリ
エンテーション情報及び/又はビューポート情報が示すポイントクラウドデータを復号す
る。ポイントクラウドプロセシング部は、全てのポイントクラウドデータを処理するか、
又はオリエンテーション情報及び/又はビューポート情報が示すポイントクラウドデータ
を処理する。
ation unit)22000は、ビデオトラックデカプセル化(Video Tr
ack Decapsulation)、メタデータトラックデカプセル化(Metad
ata Track Decapsulation)及び/又はイメージデカプセル化(
Image Decapsulation)を行う。デカプセル化処理部は、受信処理部
から伝達されたファイル形式のポイントクラウドデータをデカプセル化する。デカプセル
化処理部は、ISOBMFFなどによるファイル又はセグメントをデカプセル化し、ポイ
ントクラウドビットストリーム及びポイントクラウド関連メタデータ(又は別のメタデー
タビットストリーム)を取得する。取得したポイントクラウドビットストリームは、ポイ
ントクラウド復号部に伝送し、取得したポイントクラウド関連メタデータ(又はメタデー
タビットストリーム)は、メタデータ処理部に伝送する。ポイントクラウドビットストリ
ームは、メタデータ(メタデータビットストリーム)を含んでもよい。メタデータ処理部
は、ポイントクラウドビデオデコーダに含まれてもよく、別のコンポーネント/モジュー
ルで構成されてもよい。デカプセル化処理部が取得するポイントクラウド関連メタデータ
は、ファイルフォーマット内のボックス又はトラックの形態であってもよい。ファイル/
セグメントデカプセル化部は、必要な場合、メタデータ処理部からデカプセル化に必要な
メタデータが伝送されてもよい。ポイントクラウド関連メタデータは、ポイントクラウド
復号部に伝送されて、ポイントクラウド復号に用いられてもよく、ポイントクラウドレン
ダリング部に伝送されて、ポイントクラウドレンダリングに用いられてもよい。ファイル
/セグメントデカプセル化部は、ポイントクラウドデータに関連するメタデータを生成す
ることができる。
n)は、ファイル及び/又はセグメントに含まれたビデオトラックをデカプセル化する。
ジオメトリビデオ、特質ビデオ、占有マップ、付加データ及び/又はメッシュデータを含
むビデオストリームをデカプセル化する。
ation)は、ポイントクラウドデータに関連するメタデータ及び/又は付加データな
どを含むビットストリームをデカプセル化する。
メージ、特質イメージ、占有マップ、付加データ及び/又はメッシュデータを含むイメー
ジをデカプセル化する。
リームをファイル内の1つ又は複数のトラックに基づいて分割処理パーシング(デカプセ
ル化)し、そのためのシグナリング情報も共にデカプセル化する。また、G-PCC/V
-PCCビットストリーム上に含まれているatlasストリームをファイル内のトラッ
クに基づいてデカプセル化し、関連するシグナリング情報をパーシングする。さらにG-
PCC/V-PCCビットストリーム上に存在するSEIメッセージをファイル内のトラ
ックに基づいてデカプセル化し、関連するシグナリング情報を共に取得することができる
。
ビデオ復元、特質ビデオ復元、占有マップ復元、付加データ復元及び/又はメッシュデー
タ復元を行う。ビデオ復号部は、実施例によるポイントクラウド送信装置のビデオ符号化
付加を行うプロセスに対応して、ジオメトリビデオ、特質ビデオ、付加データ及び/又は
メッシュデータを復号する。
復元、特質イメージ復元、占有マップ復元、付加データ復元及び/又はメッシュデータ復
元を行う。イメージ復号部は、実施例によるポイントクラウド送信装置のイメージ符号化
部が行うプロセスに対応して、ジオメトリイメージ、特質イメージ、付加データ及び/又
はメッシュデータを復号する。
ジデコーダによって処理されてもよく、図のように別のパスで行われてもよい。
関連するメタデータを生成する。
エンコーダは、実施例によるG-PCC/V-PCCビットストリームを復号する。
unit)22003は、ジオメトリ再構成(Geometry Reconstruc
tion)及び/又は特質再構成(Attribute Reconstruction
)を行う。
ら、占有マップ、付加データ及び/又はメッシュデータに基づいて、ジオメトリビデオ及
び/又はジオメトリイメージを復元する。
ップ、付加データ及び/又はメッシュデータに基づいて、特質ビデオ及び/又は特質イメ
ージを復元する。実施例によれば、例えば、特質はテキスチャーである。実施例によれば
、特質は複数の特質情報を意味する。複数の特質がある場合、実施例によるポイントクラ
ウドプロセシング部は、複数の特質再構成を行う。
ル/セグメントデカプセル化部からメタデータを受信し、メタデータに基づいてポイント
クラウドを処理することができる。
nit)は、再構成されたポイントクラウドをレンダリングする。ポイントクラウドレン
ダリング部はビデオ復号部、イメージ復号部及び/又はファイル/セグメントデカプセル
化部からメタデータを受信し、メタデータに基づいてポイントクラウドをレンダリングす
る。
する。
タを符号化/復号した後、ポイントクラウドデータを含むビットストリームをファイル及
び/又はセグメント形式にカプセル化及び/又はデカプセル化する。
ファイルに基づいてカプセル化し、このとき、ファイルには、ポイントクラウドに関する
パラメータを含むV-PCCトラック、ジオメトリを含むジオメトリトラック、特質を含
む特質トラック及び占有マップを含む占有トラックを含む。
イルに基づいてデカプセル化し、このとき、ファイルにはポイントクラウドに関するパラ
メータを含むV-PCCトラック、ジオメトリを含むジオメトリトラック、特質を含む特
質トラック及び占有マップを含む占有トラックを含む。
グメントカプセル化部、図22のファイル/セグメントデカプセル化部などによって行わ
れる。
の一例を示す。
、XR装置2330、スマートフォン2340、家電2350及び/又はHMD2370
のうちのいずれかがクラウドネットワーク2310と接続する。ここで、ロボット231
0、自立走行車両2320、XR装置2330、スマートフォン2340又は家電235
0などを装置と呼ぶ。また、XR装置1730は、実施例によるポイントクラウド圧縮デ
ータ(PCC)装置に対応するか、PCC装置と連動してもよい。
するか、クラウドコンピューティングインフラ内に存在するネットワークを意味してもよ
い。ここで、クラウドネットワーク2300は、3Gネットワーク、4G又はLTE(L
ong Term Evolution)ネットワーク又は5Gネットワークなどを用い
て構成されてもよい。
0、スマートフォン2340、家電2350及び/又はHMD2370のうちの少なくと
も1つ以上とクラウドネットワーク2300を介いて接続され、接続された装置2310
~2370のプロセシングの少なくとも一部を補助する。
置及び/又はPCC装置が具現できるタイプの1つを示す。実施例によるHMDタイプの
装置は、コミュニケーションユニット、コントロールユニット、メモリユニット、I/O
ユニット、センサユニット、またパワー供給ユニットなどを含む。
。ここで、図23に示された装置2310~2350は、上述した実施例によるポイント
クラウドデータの送受信装置と連動/結合することができる。
HMD(Head-Mount Display)、車両に備えられたHUD(Head
-Up Display)、TV、携帯電話、スマートフォン、コンピューター、ウェア
ラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなど
で具現される。
ントクラウドデータ又はイメージデータを分析して3Dポイントに対する位置データ及び
特質データを生成することで周辺空間又は現実客体に関する情報を得て、出力するXR客
体をレンダリングして出力することができる。例えば、XR/PCC装置2330は認識
された物体に関する付加情報を含むXR客体を該当認識された物体に対応して出力するこ
とができる。
現される。
、ディスプレイする。
、無人飛行体などで具現される。
えた自律走行車両やXR映像内での制御/相互作用の対象となる自律走行車両などを意味
してもよい。特に、XR映像内での制御/相互作用の対象となる自律走行車両2320は
XR装置2330とは区分され、互いに連動できる。
サからセンサ情報を取得し、取得したセンサ情報に基づいて生成されたXR/PCC映像
を出力する。例えば、自律走行車両はHUDを備えてXR/PCC映像を出力することで
、搭乗者に現実客体又は画面内の客体に対応するXR/PCC客体を提供する。
くとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力されるこ
とがある。一方、XR/PCC客体が自律走行車両内に備えられるディスプレイに出力さ
れる場合には、XR/PCC客体の少なくとも一部が画面内の客体にオーバーラップされ
るように出力されることがある。例えば、自律走行車両は車路、他の車両、信号灯、交通
表示板、二輪車、歩行者、建物などのような客体に対応するXR/PCC客体を出力する
ことができる。
d Reality)技術、MR(Mixed Reality)技術及び/又はPCC
(Point Cloud Compression)技術は、様々なデバイスに適用可
能である。
ある。一方、AR技術は実際物事の映像上に仮想のCG映像を共に見せる技術である。ま
た、MR技術は、現実世界に仮想客体を混ぜて見せるという点では上述したAR技術と類
似する。しかし、AR技術では現実の客体とCG映像からなる仮想の客体との区別が明ら
かであり、現実客体を補完する形式で仮想の客体を使用する反面、MR技術では仮想の客
体と現実の客体とが同等な性格と見なされるという点でAR技術とは区別される。より具
体的には、例えば、上記MR技術が適用されたことがホログラムサービスである。
ed Reality)技術と呼んでいる。よって、本発明の実施例はVR、AR、MR
、XR技術のいずれにも適用可能である。かかる技術はPCC、V-PCC、G-PCC
技術ベースの符号化/復号が適用される。
。
無線通信可能に接続された場合、自律走行サービスと共に提供できるAR/VR/PCC
サービス関連コンテンツデータを受信/処理して自立走行車両に送信することができる。
また、ポイントクラウドデータ送受信装置が自立走行車両に搭載された場合は、ポイント
クラウド送受信装置は、ユーザインターフェース装置で入力されたユーザ入力信号によっ
てAR/VR/PCCサービス関連コンテンツデータを受信/処理してユーザに提供する
ことができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受
信することができる。実施例によるユーザ入力信号は自律走行サービスを指示する信号を
含んでもよい。
受信装置はポイントクラウドデータを受信する装置である。
送受信装置に含まれたポイントクラウドエンコーダとデコーダ、ポイントクラウドデータ
を送受信するためのデータを生成してパース(parse)する装置、プロセッサ及び/
又はそれらに対応する方法などを意味する。
及びポイントクラウドデータを送信する送信機などを含む。ポイントクラウドデータ送信
装置はさらに、ポイントクラウドデータの効率的な送信のためのフォーマットで構成可能
なポイントクラウドデータカプセル化部を含む。ポイントクラウドデータを圧縮するエン
コーダ及び送信のためにカプセル化するカプセル化部などを含めてポイントクラウドデー
タシステムという。上記の構成要素をこの明細書では簡単に実施例による方法/装置と称
する。
びポイントクラウドデータを受信する受信機などを含む。ポイントクラウドデータ受信装
置はさらに、ポイントクラウドデータの効率的な受信のためのフォーマットのデータ構造
からポイントクラウドデータをパース(parse)するデカプセル化部を含む。ポイン
トクラウドデータを復元するデコーダ及び受信・パースのためにデカプセル化するデカプ
セル化部などを含めてポイントクラウドデータシステムという。上記の構成要素をこの明
細書では簡単に実施例による方法/装置と称する。
compression)は、V3C(Visual Volumetric Vid
eo-based Coding)と同一である。実施例による用語V-PCCは、V3
Cと混用して同じ意味で使われる。
を生成し、そのためのシグナリング方案を提供する(File encapsulati
on of Dynamic point cloud object)。
図15のエンコーダ、図18の送信装置、図29のビデオ/イメージエンコーダ2000
2,20003、図21のプロセッサ、エンコーダ21000ないし21008、及び図
23のXRデバイス2330などは、実施例によるポイントクラウドデータを含むビット
ストリームを生成する。
カプセル化部20004、図21のファイル/セグメントカプセル化部21009、及び
図23のXRデバイスは、図24及び図25のファイル構造にビットストリームを初期化
(formatting)する。
、図20ないし図23のファイル/セグメントデカプセル化部20005,21009,
22000、及び図23のXRデバイス2330は、ファイルを受信してデカプセル化し
てビットストリームをパースする。ビットストリームは図1のポイントクラウドビデオデ
コーダ101008、図16及び図17のデコーダ、図19の受信装置、図20ないし図
23のビデオ/イメージデコーダ20006,21007,21008,22001,2
2002、及び図23のXRデバイス2330により復号され、ポイントクラウドデータ
が復元される。
タのコンテナの構造を示す。
構造である。
イントクラウドデータ関連の追加データをコンテナファイルに含めて送受信する。
うに符号化された特質データ24040を含む。
うに符号化されたジオメトリデータ24050を含む。
どのように符号化された占有データ24060を含む。
ータに関するデータを含むアトラスビットストリーム27070を含む。
に対応するユニットである。N番目のフレームを復号するためには、N番目のフレームに
対応するサンプル又はサンプルエントリーが必要である。サンプルエントリーはサンプル
を記述する情報を含む。
000に含まれたデータはボックスというデータコンテナのフォーマットを有する。v3
cトラック25000はV3Cコンポーネントトラック25010ないし25030に関
する参照情報を含む。
ナ(ファイルとも称する)を受信して、V3Cトラックをパースする。v3cトラックに
含まれた参照情報に基づいて占有データ、ジオメトリデータ、特質データを復号して復元
する。
メトリトラック25020は第3トラック24020に対応し、ジオメトリデータを含む
。特質トラック25030は第1トラック24000に対応し、特質データを含む。
く説明する。
ントクラウドデータを含むビットストリームの構造である。
成し、ビットストリームに関するファイルフォーマットを提案し、そのためのシグナリン
グ方案を提供する。
ラックに効率的に格納し、それに対するシグナリングを提供するポイントクラウドコンテ
ンツサービスを提供するための送信機、受信機及び/又はプロセッサである。
ムを格納するデータフォーマットを提供する。それにより、実施例による受信方法/装置
がポイントクラウドデータを受信し、ポイントクラウドデータに効率的に接近できるデー
タの格納及びシグナリング方案を提供する。従って、効率的な接近のポイントクラウドデ
ータを含むファイル格納技法に基づいて、送信機及び/又は受信機はポイントクラウドコ
ンテンツサービスを提供することができる。
トリーム)をファイルのトラック内に効率的に格納する。効率的な格納技法に関するシグ
ナリング情報を生成してファイル内に格納する。ファイル内に格納されたV-PCCビッ
トストリームに対する効率的な接近を支援できるように、ファイル実施例による格納技法
にさらに(又はさらに変形/結合して)V-PCCビットストリームをファイル内1つ以
上の複数のトラックに分割格納する技法を提供する。
AD:アトラスデータ(atlas data)。OVD:占有ビデオデータ(occu
pancy video data)。GVD:ジオメトリビデオデータ(geomet
ry video data)。AVD:特質ビデオデータ(attribute vi
deo data)。ACL:アトラスコーディングレイヤ(Atlas Coding
Layer)。AAPS:アトラス適応パラメータセット(Atlas Adapta
tion Parameter Set)。ASPS:アトラスシーケンスパラメータセ
ット(atlas sequence parameter set)。実施例によるシ
ンタックス要素を含むシンタックス構造は、ゼロ又は1つ以上の全体コーディングされた
アトラスシーケンス(CASs)に適用され、各タイルグループヘッダ内のシンタックス
要素により参照されるASPSのシンタックス要素のコンテンツにより決定される。
eter set)。シンタックス要素を含むシンタックス構造はゼロ又1つ以上の全体
コーディングされたアトラスフレームに適用され、タイルグループヘッダ内のシンタック
ス要素のコンテンツにより決定される。
ormation)
レームにプロジェクションされた、3D空間に3次元バウンディングボックスに対応する
矩形フレームにプロジェクションされたパッチである。アトラスはポイントクラウドのサ
ブセットを示す。
スNALビットストリーム部分を含むV-PCCビットストリームから抽出されたサブビ
ットストリームである。
いて符号化されるポイントクラウドである。
ラスビットストリームを伝達するボリュメトリックビジュアルトラックである。
:V-PCCビットストリームの占有マップ、ジオメトリ、特質コンポーネントビデオビ
ットストリームに対する2Dビデオ符号化されたデータを伝達するビデオトラックである
。
ss)を支援するための実施例を説明する。実施例はファイルシステムレベル(file
system level)において、各空間領域(spatial region)
に含まれるV-PCC客体の一部データに連関するアトラスタイルグループ(atlas
tile group)情報を含む。また実施例は各アトラスタイルグループ(atl
as tile group)が含んでいるラベル(label)及び/又はパッチ(p
atch)情報に対する拡張したシグナリング方案を含む。
クラウドビットストリームの構造を示す。
アル情報のボリュメトリック符号化及び復号を示す。
d sequence,CPCS)を含むポイントクラウドビットストリーム(V-PC
Cビットストリーム又はV3Cビットストリームなどと称される、26000)は、サン
プルストリームV-PCCユニット26010で構成される。サンプルストリームV-P
CCユニット26010は、V-PCCパラメータセット(VPS)データ26020、
アトラスビットストリーム26030、2Dビデオ符号化占有マップビットストリーム2
6040、2Dビデオ符号化ジオメトリビットストリーム26050、及びゼロ及び1つ
以上の2Dビデオ符号化特質ビットストリーム26060を伝達する。
6070を含む。
bytes_minus1):この値に1を加えると、全てのサンプルストリームV-P
CCユニット内のSSVU VPCCユニットサイズ(ssvu_vpcc_unit_
size)要素のバイト単位の精度を示す。ssvh_unit_size_preci
sion_bytes_minus1は0~7の範囲を有する。
通りである。各サンプルストリームV-PCCユニットは、VPS、AD、OVD、GV
D及びAVDのV-PCCユニットのいずれかのタイプを含む。各サンプルストリームV
-PCCユニットのコンテンツは、サンプルストリームV-PCCユニット内に含まれた
V-PCCユニットと同一のアクセスユニットに連関する。
ブシーケンス(subsequent)V-PCCユニットのバイト単位サイズを示す。
ssvu_vpcc_unit_sizeを示すときに使用されるビット数は、(ssv
h_unit_size_precision_bytes_minus1+1)*8で
ある。
トストリームを受信して、カプセル化部20004,21009などにより図24及び図
25のようなファイルを生成する。
ル化部22000などによりポイントクラウドデータを復号する。
30にカプセル化される。
る。
る。
サンプルストリームV-PCCユニットは、V-PCCユニットサイズ27010及びV
-PCCユニット27020を含む。
)、AD(atlas data)、OVD(occupancy video dat
a)、GVD(geometry video data)、AVD(attribut
e video data)
PCCユニットペイロード27040を含む。V-PCCユニットヘッダ27030はV
-PCCユニットタイプを記述する。特質ビデオデータV-PCCユニットヘッダは特質
タイプ及びそのインデックス、支援される同一の特質タイプの複数のインスタンスなどを
説明する。
7070は、ビデオデータユニットに対応する。例えば、占有ビデオデータ、ジオメトリ
ビデオデータ、特質ビデオデータ27050,27060,27070は、HEVC N
ALユニットである。かかるビデオデータは実施例によるビデオデコーダにより復号され
る。
ダ27030のシンタックスを示す。
トタイプがV-PCCシーケンス内の1番目のV-PCCユニットタイプであると期待す
る。全ての他のV-PCCユニットタイプはそれらのコーディング順内で追加制限なしに
このユニットタイプに従う。占有ビデオ、特質ビデオ又はジオメトリビデオを伝達するV
-PCCユニットのV-PCCユニットペイロードは、1つ又は1つ以上のNALユニッ
トで構成される(A V-PCC bitstream contains a ser
ies of V-PCC sequences. A vpcc unit type
with a value of vuh_unit_type equal to
VPCC_VPS is expected to be the first V-P
CC unit type in a V-PCC sequence. All ot
her V-PCC unit types follow this unit ty
pe without any additional restrictions i
n their coding order. A V-PCC unit paylo
ad of V-PCC unit carrying Occupancy vide
o, attribute video, or geometry video is
composed of one or more NAL units)。
_AVD)、ジオメトリビデオデータ(VPCC_GVD)、占有ビデオデータ(VPC
C_OVD)又はアトラスデータ(VPCC_AD)を示すと、VUH VPCCパラメ
ータセットID(vuh_vpcc_parameter_set_id)及びVUHア
トラスID(vuh_atlas_id)がユニットヘッダ内で伝達される。V-PCC
ユニットに連関するパラメータセットID及びアトラスIDを伝達することができる。
ス(vuh_attribute_index)、特質パーティションインデックス(v
uh_attribute_partition_index)、マップインデックス(
vuh_map_index)、付加ビデオフラグ(vuh_auxiliary_vi
deo_flag)を伝達する。
ap_index)、付加ビデオフラグ(vuh_auxiliary_video_f
lag)を伝達する。
追加予約されたビットを含む。
et_id):アクティブV-PCC VPSのためのvps_vpcc_parame
ter_set_idの値を示す。現在V-PCCユニットのヘッダのVPCCパラメー
タセットIDによりVPSパラメータセットのIDを把握でき、V-PCCユニットとV
-PCCパラメータセットの間の関係を知らせることができる。
るアトラスのインデックスを示す。現在V-PCCユニットのヘッダのアトラスIDによ
り、アトラスのインデックスを把握でき、V-PCCユニットに対応するアトラスを知ら
せることができる。
ータユニットから伝達される特質データのインデックスを示す。
ion_index):特質ビデオデータユニットから伝達される特質ディメンショング
ループのインデックスを示す。
現在ジオメトリ又は特質ストリームのマップインデックスを示す。
の値が1であると、関連ジオメトリ又は特質ビデオデータユニットがただRAW及び/又
はEOMコーディングされたポイントビデオであることを示す。この値が0であると、関
連ジオメトリ又は特質ビデオデータユニットがRAW及び/又はEOMコーディングされ
たポイントを含むことができることを示す。
ット(VPCC_VPS)であると。V-PCCユニットのペイロードはパラメータセッ
ト(vpcc_parameter_set( ))を含む。
タ(VPCC_AD)であると、V-PCCユニットのペイロードはアトラスサブビット
ストリーム(atlas_sub_bitstream( ))を含む。
ータ(VPCC_OVD)、ジオメトリビデオデータ(VPCC_GVD)又は特質ビデ
オデータ(VPCC_AVD)であると、V-PCCユニットのペイロードはビデオビッ
トストリーム(video_sub_bitstream( ))を含む。
を示す。
020のペイロード27040がパラメータセットを含む場合、パラメータセットのシン
タックスを示す。
トリーム上の制限を示す。ビットストリームを復号するために必要な能力に対する制限を
示す。プロファイル、ティア(tier)及びレベルは個別デコーダ実行間の相互適用性
ポイントを示すために使用される(specifies restrictions o
n the bitstreams and hence limits on the
capabilities needed to decode the bitst
reams. Profiles, tiers, and levels may a
lso be used to indicate interoperability
points between individual decoder imple
mentations)。
のシンタックス要素による参照のためのV-PCC VPSのための識別子を提供する(
provides an identifier for the V-PCC VPS
for reference by other syntax elements)
。
加えると、現在ビットストリーム内に支援されるアトラスの総数を示す(plus 1
indicates the total number of supported
atlases in the current bitstream)。
ラスのための整数ルーマサンプルのV-PCCフレーム幅を示す。フレーム幅はインデッ
クスJを有するアトラスのための全てのV-PCCコンポーネントに関連する公称幅であ
る(indicates the V-PCC frame width in ter
ms of integer luma samples for the atlas
with index j. This frame width is the n
ominal width that is associated with all
V-PCC components for the atlas with ind
ex j)。
アトラスのための整数ルーマサンプルのV-PCCフレーム高さを示す。このフレーム高
さはインデックスJを有するアトラスのための全てのV-PCCコンポーネントに関連す
る公称高さである(indicates the V-PCC frame heigh
t in terms of integer luma samples for t
he atlas with index j. This frame height
is the nominal height that is associate
d with all V-PCC components for the atla
s with index j)。
加えると、インデックスJを有するジオメトリ及び特質データを符号化するために使用さ
れるマップの数を示す(plus 1 indicates the number o
f maps used for encoding the geometry an
d attribute data for the atlas with inde
x j)。
と、以下のパラメータがパラメータセットにさらに含まれる。
以下のパラメータがパラメータセットにさらに含まれる。
ms_present_flag[j]):この値が0であると、インデックスJのため
の全てのジオメトリ又は特質マップがシングルジオメトリ又は特質ビデオストリームのそ
れぞれに存在することを示す。この値が1であると、インデックスJを有するアトラスの
ための全てのジオメトリ又は特質マップが個別(separate)ビデオストリームに
存在することを示す(equal to 0 indicates that all
geometry or attribute maps for the atlas
with index j are placed in a single geo
metry or attribute video stream, respect
ively. vps_multiple_map_streams_present_
flag[j] equal to 1 indicates that all ge
ometry or attribute maps for the atlas w
ith index j are placed in separate video
streams)。
ms_present_flag[j])が1を示すと、vps_map_absolu
te_coding_enabled_flag[j][i]がパラメータセットにさら
に含まれ、そうではないと、vps_map_absolute_coding_ena
bled_flag[j][i]は1を有する。
g_enabled_flag[j][i]):この値が1であると、インデックスJを
有するアトラスのためのインデックスIを有するジオメトリマップがどのようなマップ予
測形態なしにコーディングされることを示す。この値が1であると、インデックスJを有
するアトラスのためのインデックスIを有するジオメトリマップがコーディング前にコー
ディングされたマップより早く他のものより1番目に予測されることを示す(equal
to 1 indicates that the geometry map wi
th index i for the atlas with index j is
coded without any form of map predictio
n. vps_map_absolute_coding_enabled_flag[
j][i]equal to 0 indicates that the geome
try map with index i for the atlas with
index j is first predicted from another,
earlier coded map, prior to coding)。
g_enabled_flag[j][0])が1であると、インデックス0を有するジ
オメトリマップがマップ予測なしにコーディングされることを示す。
g_enabled_flag[j][i])が0であり、Iが0より大きいと、vps
_map_predictor_index_diff[j][i]がパラメータセット
にさらに含まれる。そうではないと、vps_map_predictor_index
_diff[j][i]は0になる。
iff[j][i]):この値はマップ絶対コーディング有効フラグ(vps_map_
absolute_coding_enabled_flag[j][i])が0である
と、インデックスJを有するアトラスのためのインデックスIを有するジオメトリマップ
の予測子を計算するために使用される(is used to compute the
predictor of the geometry map with inde
x i for the atlas with index j when vps_
map_absolute_coding_enabled_flag[j][i] i
s equal to 0)。
flag[j]):この値が1であると、RAW又はEOMパッチデータのようなインデ
ックスJを有するアトラスのための付加情報が付加ビデオストリームと称される個別ビデ
オストリームに格納されることを示す。この値が0であると、インデックスJを有するア
トラスのための付加情報が個別ビデオストリームに格納されないことを示す(equal
to 1 indicates that auxiliary informati
on for the atlas with index j, i.e. RAW
or EOM patch data, may be stored in a se
parate video stream, refered to as the a
uxiliary video stream. vps_auxiliary_vid
eo_present_flag[j] equal to 0 indicates
that auxiliary information for the atlas
with index j is not be stored in a sepa
rate video stream)。
る情報を含む(includes occupancy video related
information)。
オに関連する情報を含む(includes geometry video rela
ted information)。
る情報を含む(includes attribute video related
information)。
ックス要素拡張長さ(vps_extension_length)がパラメータセット
(vpcc_parameter_set)シンタックス構造に存在することを示す。こ
の値が0であると、シンタックス要素拡張長さ(vps_extension_leng
th)が存在しないことを示す(equal to 1 specifies that
the syntax element vps_extension_length
is present in vpcc_parameter_set syntax
structure. vps_extension_present_flag e
qual to 0 specifies that syntax element
vps_extension_length is not present)。
を加えると、このシンタックス要素をフォローする拡張データ(vps_extensi
on_data_byte)要素の数を示す(plus 1 specifies th
e number of vps_extension_data_byte elem
ents that follow this syntax element)。
張データがパラメータセットにさらに含まれる。
るいかなるデータを含むことができる(may have any value)。
8の送信装置、及び図20、図21のシステムなどにより符号化されるタイルを含むアト
ラスフレームを示し、図1のデコーダ10008、図16及び図17のデコーダ、図19
の受信装置、及び図23のシステムなどにより復号されるタイルを含むアトラスフレーム
を示す。
けられる。タイルはアトラスフレームの矩形領域である。タイルグループはアトラスフレ
ームの複数のタイルを含む。タイル及びタイルグループは互いに区別されず、タイルグル
ープが1つのタイルに対応することができる。ただ矩形タイルグループが支援される。こ
のモードにおいて、タイルグループ(又はタイル)がアトラスフレームの矩形領域を集合
的に複数のタイルを含む。図31は実施例によるアトラスフレームのタイル又はタイルグ
ループ分割を示す。アトラスフレームの24個のタイル(6個のタイル列及び4個のタイ
ル行)及び9個の矩形タイルグループが図31に示されている。実施例によるタイルグル
ープとタイルを区別せず、タイルグループがタイルに対応する用語として使用される。
31010とも称される。またタイル31010はタイルパーティションに対応し、タイ
ルパーティションとも称される。シグナリング情報の名称もこのような相互補完的対応関
係によって変更して称することができる。
040がアトラスサブ-ビットストリーム32000を伝達する例示を示す。
イロードは、1つ又は1つ以上のサンプルストリームNALユニット32010を含む。
ヘッダ32020及びサンプルストリームNALユニット32010を含む。
_unit_size_precision_bytes_minus1)を含む。この
値に1を加えると、全てのサンプルストリームNALユニット内のNALユニットサイズ
(ssnu_nal_unit_size)要素のバイト単位内精度を示す。ssnh_
unit_size_precision_bytes_minus1は0~7の範囲を
有する(plus 1 specifies the precision, in b
ytes, of the ssnu_nal_unit_size element
in all sample stream NAL units. ssnh_uni
t_size_precision_bytes_minus1 is in the
range of 0 to 7)。
nal_unit_size)を含む。
NALユニットのバイト単位内サイズを示す。ssnu_nal_unit_sizeを
示すために使用されるビット数は、(ssnh_unit_size_precisio
n_bytes_minus1+1)*8である(specifies the siz
e, in bytes, of the subsequent NAL_unit.
The number of bits used to represent ss
nu_nal_unit_size is equal to (ssnh_unit_
size_precision_bytes_minus1+1)*8)。
バイト数(NumBytesInRbsp)などを含む。
バイトであり、初期値は0にセットされる。
n_zero_bit)、NALユニットタイプ(nal_unit_type)、NA
LレイヤID(nal_layer_id)、NAL臨時ID(nal_tempora
l_id_plus1)などを含む。
NALユニットのエラー検出のために使用されるフィールドであり、必ず0である。
ット内に含まれたRBSPデータ構造のタイプを示す。
イヤの識別子又はNON-ACL NALユニットが適用されるレイヤの識別子を示す(
specifies the identifier of the layer to
which an ACL NAL unit belongs or the id
entifier of a layer to which a non-ACL N
AL unit applies)。
くと、NALユニットの臨時識別子を示す(minus 1 specifies a
temporal identifier for the NAL unit)。
ALユニットヘッダに含まれるNALユニットタイプの種類を示す。
ングアトラスフレームのコーディングされたタイルグループがNALユニットに含まれる
。NALユニットのRBSPシンタックス構造はアトラスタイルグループレイヤ(atl
as_tile_group_layer_rbsp( ))又はアトラスタイルレイヤ
(atlas_tile_layer_rbsp( ))である。NALユニットのタイ
プクラスはACLである。実施例によってタイルグループはタイルに対応する。
Lユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイルグ
ループレイヤ(atlas_tile_group_layer_rbsp( ))又は
アトラスタイルレイヤ(atlas_tile_layer_rbsp( ))である。
NALユニットのタイプクラスはACLである。
NALユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイ
ルグループレイヤ(atlas_tile_group_layer_rbsp( ))
又はアトラスタイルレイヤ(atlas_tile_layer_rbsp( ))であ
る。NALユニットのタイプクラスはACLである。
NALユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイ
ルグループレイヤ(atlas_tile_group_layer_rbsp( ))
又はアトラスタイルレイヤ(atlas_tile_layer_rbsp( ))であ
る。NALユニットのタイプクラスはACLである。
NALユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイ
ルグループレイヤ(atlas_tile_group_layer_rbsp( ))
又はアトラスタイルレイヤ(atlas_tile_layer_rbsp( ))であ
る。NALユニットのタイプクラスはACLである。
NALユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイ
ルグループレイヤ(atlas_tile_group_layer_rbsp( ))
又はアトラスタイルレイヤ(atlas_tile_layer_rbsp( ))であ
る。NALユニットのタイプクラスはACLである。
ACL NALユニットタイプがNALユニットに含まれる。NALユニットのタイプ
クラスはACLである。
P:BLAアトラスフレームのコーディングされたタイルグループがNALユニットに含
まれる。NALユニットのRBSPシンタックス構造はアトラスタイルグループレイヤ(
atlas_tile_group_layer_rbsp( ))又はアトラスタイル
レイヤ(atlas_tile_layer_rbsp( ))である。NALユニット
のタイプクラスはACLである。
N_LP:GBLAアトラスフレームのコーディングされたタイルグループがNALユニ
ットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイルグループ
レイヤ(atlas_tile_group_layer_rbsp( ))又はアトラ
スタイルレイヤ(atlas_tile_layer_rbsp( ))である。NAL
ユニットのタイプクラスはACLである。
のコーディングされたタイルグループがNALユニットに含まれる。NALユニットのR
BSPシンタックス構造はアトラスタイルグループレイヤ(atlas_tile_gr
oup_layer_rbsp( ))又はアトラスタイルレイヤ(atlas_til
e_layer_rbsp( ))である。NALユニットのタイプクラスはACLであ
る。
レームのコーディングされたタイルグループがNALユニットに含まれる。NALユニッ
トのRBSPシンタックス構造はアトラスタイルグループレイヤ(atlas_tile
_group_layer_rbsp( ))又はアトラスタイルレイヤ(atlas_
tile_layer_rbsp( ))である。NALユニットのタイプクラスはAC
Lである。
Lユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイルグ
ループレイヤ(atlas_tile_group_layer_rbsp( ))又は
アトラスタイルレイヤ(atlas_tile_layer_rbsp( ))である。
NALユニットのタイプクラスはACLである。
NALユニットに含まれる。NALユニットのRBSPシンタックス構造はアトラスタイ
ルグループレイヤ(atlas_tile_group_layer_rbsp( ))
又はアトラスタイルレイヤ(atlas_tile_layer_rbsp( ))であ
る。NALユニットのタイプクラスはACLである。
AP ACL NALユニットタイプがNALユニットに含まれる。NALユニットのタ
イプクラスはACLである。
n-IRAP ACL NALユニットタイプがNALユニットに含まれる。NALユニ
ットのタイプクラスはACLである。
。NALユニットのRBSPシンタックス構造はアトラスシーケンスパラメータセット(
atlas_sequence_parameter_set_rbsp( ))である
。NALユニットのタイプクラスはnon-ACLである。
NALユニットのRBSPシンタックス構造はアトラスフレームパラメータセット(at
las_ frame _parameter_set_rbsp( ))である。NA
Lユニットのタイプクラスはnon-ACLである。
iter)がNALユニットに含まれる。NALユニットのRBSPシンタックス構造は
アクセスユニットデリミター(access_unit_delimiter_rbsp
( ))である。NALユニットのタイプクラスはnon-ACLである。
に含まれる。NALユニットのRBSPシンタックス構造はアクセスユニットデリミター
(access_unit_delimiter_rbsp( ))である。NALユニ
ットのタイプクラスはnon-ACLである。
ニットのRBSPシンタックス構造はエンド・オブ・シーケンス(end_of_seq
_rbsp( ))である。NALユニットのタイプクラスはnon-ACLである。
ALユニットのRBSPシンタックス構造はエンド・オブ・アトラスサブビットストリー
ム(end_of_atlas_sub_bitstream_rbsp( ))である
。NALユニットのタイプクラスはnon-ACLである。
r_data_rbsp( ))である。NALユニットのタイプクラスはnon-AC
Lである。
タイプが非必須補足強化情報(Non-essential supplemental
enhancement information)である。NALユニットのRBS
Pシンタックス構造はSEI(sei_rbsp( ))である。NALユニットのタイ
プクラスはnon-ACLである。
タイプが必須補足強化情報(Essential supplemental enha
ncement information)である。NALユニットのRBSPシンタッ
クス構造はSEI(sei_rbsp( ))である。NALユニットのタイプクラスは
non-ACLである。
s adaptation parameter set)である。NALユニットのR
BSPシンタックス構造はアトラス適応パラメータセット(atlas_adaptat
ion_parameter_set_rbsp( ))である。NALユニットのタイ
プクラスはnon-ACLである。
ットタイプが予約されたnon-ACL NALユニットタイプである。NALユニット
のタイプクラスはnon-ACLである。
プが未記述のnon-ACL NALユニットタイプである。NALユニットのタイプク
ラスはnon-ACLである。
nce parameter set)を示す。
ニットに含まれるRBSPデータ構造のシンタックスを示す。
PS、AAPS、AFPS、1つ又は1つ以上のアトラスタイルグループ情報及びSEI
のいずれかを含む。
れるASPS内のシンタックス要素のコンテンツにより決定されるゼロ又は1つ以上の全
体コーディングされたアトラスシーケンス(CASs)に適用されるシンタックス要素を
含む。
ence_parameter_set_id):他のシンタックス要素による参照のた
めのアトラスシーケンスパラメータセットのための識別子を提供する。
ーネントのルーマサンプルに対応する。サンプルの整数の個数の観点でアトラスフレーム
幅を示す(indicates the atlas frame width in
terms of integer number of samples, wher
e a sample corresponds to a luma sample
of a video component)。
ンポーネントのルーマサンプルに対応する、サンプルの整数の個数の観点でアトラスフレ
ーム高さを示す(indicates the atlas frame height
in termS of integer number of samples,
where a sample corresponds to a luma sam
ple of a video component)。
acking_block_size):アトラス内パッチの水平及び垂直位置のために
使用される変数PatchPackingBlockSizeの値を示す(specif
ies the value of the variable PatchPacki
ngBlockSize, that is used for the horizo
ntal and vertical placement of the patch
es within the atlas)。
_max_atlas_frame_order_cnt_lsb_minus4):ア
トラスフレームオーダーカウントのための復号プロセス内で使用される変数MaxAtl
asFrmOrderCntLsbの変数を示す(specifies the val
ue of the variable MaxAtlasFrmOrderCntLs
b that is used in the decoding process f
or the atlas frame order count)。
atlas_frame_buffering_minus1):この値に1を加えると
、アトラスフレームバッファー記憶装置に対する復号されたアトラスフレームの最大値が
要求されるサイズを示す(plus 1 specifies the maximum
required size of the decoded atlas fram
e buffer for the CAS in units of atlas f
rame storage buffers)。
atlas_frames_flag):この値が0であると、CAS内のコーディング
されたアトラスフレームのインター予測のために使用される長期参照アトラスフレームが
ないことを示す。この値が1であると、長期参照アトラスフレームがCAS内の1つ又は
1つ以上のコーディングされたアトラスフレームのインター予測を利用できることを示す
(equal to 0 specifies that no long term
reference atlas frame is used for inter
prediction of any coded atlas frame in t
he CAS. asps_long_term_ref_atlas_frames_
flag equal to 1 specifies that long term
reference atlas frames may be used for
inter prediction of one or more coded at
las frames in the CAS)。
rame_lists_in_asps):アトラスシーケンスパラメータセットに含ま
れた参照リスト構造(ref_list_struct(rlsIdx))シンタックス
構造の数を示す(specifies the number of the ref_
list_struct(rlsIdx) syntax structures in
cluded in the atlas sequence parameter s
et)。
0より大きいと、atgh_ref_atlas_frame_list_sps_fl
agをアトラスタイルグループ(タイル)ヘッダが含む。
1より大きいと、ATGH_ref_atlas_frame_list_idxがアト
ラスタイルグループ(タイル)ヘッダに含まれる。
l_afoc_lsb_present_flag[j]がアトラスタイルグループ(タ
イル)ヘッダに含まれる。
rame_lists_in_asps)だけ参照リスト構造(ref_list_st
ruct(i))がアトラスシーケンスパラメータセット内に含まれる。
ntations_flag):この値が0であると、インデックスIを有するフレーム
内のインデックスJを有するパッチのパッチオリエンテーションインデックス(pdu_
orientation_index[i][j])が0~1(含み)の範囲内であるこ
とを示す。この値が1であると、インデックスIを有するフレーム内のインデックスJを
有するパッチのためのパッチオリエンテーションインデックス(pdu_orienta
tion_index[i][j])が0~7(含み)の範囲であることを示す(equ
al to 0 specifies that the patch orienta
tion index for a patch with index j in a
frame with index i, pdu_orientation_ind
ex[i][j], is in the range of 0 to 1, inc
lusive. asps_use_eight_orientations_flag
equal to 1 specifies that the patch ori
entation index for a patch with index j
in a frame with index i, pdu_orientation
_index[i][j], is in the range of 0 to 7,
inclusive)。
ction_enabled_flag):この値が0であると、パッチプロジェクショ
ン情報が現在アトラスタイルグループ又はアトラスタイルに対してシグナリングされない
ことを示す。この値が1であると、現在アトラスタイルグループ又はアトラスタイルに対
するパッチプロジェクション情報がシグナリングされることを示す(equal to
0 specifies that the patch projection in
formation is not signalled for the curre
nt atlas tile group. asps_extended_proje
ction_enabled_flag equal to 1 specifies
that the patch projection information is
signalled for the current atlas tile gr
oup)。
ない場合、以下の要素がアトラスタイルグループ(又はタイル)ヘッダに含まれる。
ts_quantization_enabled_flag):この値が1であると、
量子化パラメータがパッチデータユニット、統合パッチデータユニット又はインターパッ
チデータユニットの垂直軸関連要素を量子化するために使用され、シグナリングされるこ
とを示す。この値が0であると、パッチデータユニット、統合パッチデータユニット又は
インターパッチデータユニットの垂直軸関連要素上に量子化が適用されないことを示す(
equal to 1 specifies that quantization p
arameters shall be signalled and used fo
r quantizing the normal axis related ele
ments of a patch data unit, a merge patc
h data unit, or an inter patch data unit
. If asps_normal_axis_limits_quantizatio
n_enabled_flag is equal to 0, then no qu
antization is applied on any normal axis
related elements of a patch data unit,
a merge patch data unit, or an inter pat
ch data unit)。
abled_flagが1であると、atgh_pos_min_z_quantize
rがアトラスタイルグループ(又はタイル)ヘッダに含まれる。
ax_delta_value_enabled_flag):この値が1であると、イ
ンデックスJを有するフレームのインデックスIを有するパッチのジオメトリ情報内に存
在し得る垂直軸の最大値公称シフト値が各パッチデータユニット、統合パッチデータユニ
ット又はインターパッチデータユニットに対するビットストリーム内に指示されることを
示す。この値が0であると、インデックスJを有するフレーム内のインデックスIを有す
るパッチのジオメトリ情報内に存在し得る垂直軸の最大値公称シフト値が各パッチデータ
ユニット、統合パッチデータユニット又はインターパッチデータユニットに対するビット
ストリーム内に指示されないことを示す(equal to 1 specifies
that the maximum nominal shift value of
the normal axis that may be present in t
he geometry information of a patch with
index i in a frame with index j will be
indicated in the bitstream for each patc
h data unit, a merge patch data unit, or
an inter patch data unit. If asps_norma
l_axis_max_delta_value_enabled_flag is e
qual to 0 theN the maximum nominal Shift
value of the normal axis that may be pr
esent in the geometry information of a p
atch with index i in a frame with index
j shall not be be indicated in the bitst
ream for each patch data unit, a merge p
atch data unit, or an inter patch data u
nit)。
d_flagが1であると、atgh_pos_delta_max_z_quanti
zerがアトラスタイルグループ(又はタイル)ヘッダに含まれる。
_point_enabled_flag):この値が1であると、重複ポイントが行イ
ンデックスマップから他のポイントと同一の2D及び3Dジオメトリ座標を有するポイン
トであるところで、重複ポイントが現在アトラスに対して再構成されないことを示す。こ
の値が0であると、全てのポイントが再構成されることを示す(equal to 1
indicates that duplicated points are not
econstructed for the current atlas, whe
re a duplicated point is a point with th
e same 2D and 3D geometry coordinates as
another point from a Lower index map. a
sps_remove_duplicate_point_enabled_flag
equal to 0 indicates that all points are
reconstructed)。
atlas_frame_buffering_minus1):この値に1を加えると
、アトラスフレームバッファー記憶装置のユニット内のCASのための復号されたアトラ
スフレームバッファーの最大値要求サイズを示す(plus 1 specifies
the maximum required size of the decoded
atlas frame buffer for the CAS in units
of atlas frame storage buffers)。
rleaving_flag)この値が1であると、現在アトラスのための復号されたジ
オメトリ及び特質ビデオが2つのマップから空間的にインターリービングされたピクセル
を含むことを示す。この値が0であると、現在アトラスに対応する復号されたジオメトリ
及び特質ビデオがただシングルマップからピクセルを含むことを示す(equal to
1 indicates that the decoded geometry a
nd attribute videos for the current atla
s contain spatially interleaved pixels f
rom two maps. asps_pixel_deinterleaving_
flag equal to 0 indicates that the decod
ed geometry and attribute videos corresp
onding to the current atlas contain pixe
lS from only a single map)。
e_order_flag):この値が1であると、現在アトラスに対するパッチ優先順
位(優先度)が復号順と同一であることを示す。この値が0であると、現在アトラスに対
するパッチ優先順位が復号順の逆であることを示す(equal to 1 indic
ates that patch precedence for the curre
nt atlas is the same as the decoding ord
er. asps_patch_precedence_order_flag equ
al to 0 indicates that patch precedence
for the current atlas is the reverse of
the decoding order)。
ntizer_present_flag):この値が1であると、パッチサイズ量子化
パラメータがアトラスタイルグループヘッダ又はアトラスタイルヘッダに存在することを
示す。この値が0であると、パッチサイズ量子化パラメータが存在しないことを示す(e
qual to 1 indicates that the patch size
quantization parameters are present in a
n atlas tile group header. If asps_patch
_size_quantizer_present_flag is equal to
0, then the patch size quantization par
ameters are not present)。
1であると、atgh_patch_size_x_info_quantizer及び
atgh_patch_size_y_info_quantizerがアトラスタイル
グループ(又はタイル)ヘッダに含まれる。
_flag):この値が1であると、現在アトラスに対する復号された占有マップビデオ
が2つの深さマップ間の中間深さポジションが占有されているか否かに関連する情報を含
むことを示す。この値が0であると、復号された占有マップビデオが2つの深さマップ間
の中間深さポジションが占有されているか否かに関連する情報を含まないことを示す(e
qual to 1 indicates that the decoded occ
upancy map video for the current atlas c
ontains information related to whether i
nterMediate depth positions between two
depth maps are occupied. ASPS_eom_patch_
enabled_flag equal to 0 indicates that t
he decoded occupancy map video does not
contain information related to whether I
nterMediate depth positions between two
depth maps are occupied)。
ag):この値が1であると、現在アトラスに対する復号されたジオメトリ及び特質ビデ
オがRAWコーディングされたポイントに関連する情報を含むことを示す。この値が0で
あると、復号されたジオメトリ及び特質ビデオがRAWコーディングされたポイントに関
連する情報を含まないことを示す(equal to 1 indicates tha
t the decoded geometry and attribute vid
eos for the current atlas contains infor
mation related to RAW coded points. asps
_raw_patch_enabled_flag equal to 0 indic
ates that the decoded geometry and attri
bute videos do not contain information r
elated to RAW Coded points)。
_flag)又はASPS行パッチ有効フラグ(asps_raw_patch_ena
bled_flag)が1であると、APSP付加ビデオ有効フラグ(asps_aux
iliary_video_enabled_flag)がアトラスシーケンスパラメー
タセットシンタックスに含まれる。
bled_flag):この値が1であると、RAW及びEOMパッチタイプに関連する
情報が付加ビデオサブビットストリーム内に位置することを示す。この値が0であると、
RAW及びEOMパッチタイプに関連する情報がただ最初のビデオサブビットストリーム
内だけに位置することを示す(equal to 1 indicates that
information associated with RAW and EOM
patch types could be placed in auxiliary
video sub-bitstreams. asps_auxiliary_vi
deo_enabled_flag equal to 0 indicates th
at information associated with RAW and E
OM patch types can only be placed in Pri
mary video sub-bitstreams)。
construction_enabled_flag):この値が1であると、ポイン
トローカル再構成モード情報が現在アトラスに対するビットストリーム内に存在すること
を示す。この値が0であると、ポイントローカル再構成モードに関連する情報が現在アト
ラスに対するビットストリーム内に存在しないことを示す(equal to 1 in
dicates that point local reconstruction
mode information may be present in the b
itstream for the current atlas. asps_poi
nt_local_reconstruction_enabled_flag equ
al to 0 indicates that no information re
lated to the point local reconstruction
mode is present in the bitstream for the
current atlas)。
construction_enabled_flag)が1であると、ASPSポイン
トローカル再構成情報(asps_point_local_reconstructi
on_information)がアトラスシーケンスパラメータセットに伝達される。
1を加えると、現在アトラスに対するジオメトリ及び特質データを符号化するために使用
されるマップ数を示す(plus 1 indicates the number o
f maps that may be used for encoding the
geometry and attribute data for the cur
rent atlas)。
terleaving_enabled_flag):この値が1であると、現在アトラ
スに対する復号されたジオメトリ及び特質ビデオが空間的にインターリービングされたピ
クセルを含むことを示す。この値が0であると、現在アトラスに対する復号されたジオメ
トリ及び特質ビデオがただシングルマップからピクセルを含むことを示す(equal
to 1 indicates that the decoded geometry
and attribute videos for the current at
las contain spatially interleaved pixels
. asps_pixel_deinterleaving_flag equal t
o 0 indicates that the decoded geometry
and attribute videos corresponding to th
e current atlas contain pixelS from only
a single map)。
nterleaving_map_flag[i]):この値が1であると、現在アトラ
ス内のインデックスiを有するマップに対応する復号されたジオメトリ及び特質ビデオが
2つのマップに対応する空間的にインターリービングされたピクセルを含むことを示す。
この値が0であると、現在アトラス内のインデックスiのマップに対応する復号されたジ
オメトリ及び特質ビデオがシングルマップに対応するピクセルを含むことを示す(equ
al to 1 indicates that decoded geometry
and attribute videos correpsonding to ma
p with index i in the current atlas cont
ain spatially interleaved pixelS corresp
onding to two maps. asps_pixel_deinterle
aving_map_flag[i] equal to 0 indicates t
hat decoded geometry and attribute video
s corresponding to map index i in the cu
rrent atlas contain pixelS corresponding
to a single map)。
nterleaving_map_flag[i])が1であると、ASPSマップカウ
ント(asps_map_count_minus1)の値によって、ASPSピクセル
デインターリービングマップフラグ(asps_pixel_deinterleavi
ng_map_flag[i])がアトラスシーケンスパラメータセットに伝達される。
_flag)及びASPSマップカウント(asps_map_count_minus
1)が1であると、ASPS EOM固定ビットカウント(asps_eom_fix_
bit_count_minus1)がアトラスシーケンスパラメータセットに伝達され
る。
t_minus1):この値に1を加えると、EOMコードワードのビット内のサイズを
示す(plus 1 indicates the size in bits of
the EOM codeword)。
terleaving_enabled_flag)又はASPSポイントローカル復元
有効フラグ(asps_point_local_reconstruction_en
abled_flag)が1であると、ASPS表面厚さ(asps_surface_
thickness_minus1)がアトラスシーケンスパラメータセットに伝達され
る。
:この値に1を加えると、asps_pixel_deinterleaving_en
abled_flag又はasps_point_local_reconstruct
ion_enabled_flagが1である場合、明確にコーディングされた深さ値及
び補間深さ値の間の最大絶対値の差を示す(plus 1 specifies the
maximum absolute difference between an
explicitly coded depth value and interpo
lated depth value when asps_pixel_deinte
rleaving_enabled_flag or asps_point_loca
l_reconstruction_enabled_flag is equal t
o 1)。
present_flag):この値が1であると、vui_parameters(
)シンタックス構造が存在することを示す。この値が0であると、vui_parame
ters( )シンタックス構造が存在しないことを示す(equal to 1 sp
ecifies that the vui_parameters( ) synta
x structure is present. asps_vui_paramet
ers_present_flag equal to 0 specifies th
at the vui_parameters( ) syntax structur
e is not present)。
と、asps_extension_data_flagシンタックス要素がASPS
RBSP シンタックス構造内に存在しないことを示す(equal to 0 spe
cifies that no asps_extension_data_flag
syntax elements are present in the ASPS
RBSP syntax structure)。
拡張のためのデータがASPS RBSPシンタックス構造内に含まれることを示す。
示するためのストップビット(stop bit)である1を追加した後、バイトアライ
ン(byte align)のために0で残りのビットを満たすために使用される。
parameter set)を示す。
Lユニットに含まれたアトラスフレームパラメータセット(Atlas frame p
arameter set)のシンタックスである。
set, AFPS)は、ゼロ又は1つ以上の全体コーディングされたアトラスフレーム
に適用されるシンタックス要素を含むシンタックス構造を含む。
_parameter_set_id):他のシンタックス要素による参照のためのアト
ラスフレームパラメータセットを識別する。AFPSのアトラスフレームパラメータセッ
トによりシンタックス要素により参照できる識別子を提供する。
ence_parameter_set_id):アクティブアトラスシーケンスパラメ
ータセットの値を示す(specifies the value of asps_a
tlas_sequence_parameter_set_id for the a
ctive atlas sequence parameter set)。
ion():図35を参照しながら説明する。
sent_flag):この値が1であると、アトラスタイルグループヘッダフレームア
ウトプットフラグ(atgh_frame_output_flag)又はアトラスタイ
ルヘッダフレームアウトプットフラグ(ath_frame_output_flag)
シンタックス要素が関連タイルグループヘッダ又はタイルヘッダに存在することを示す。
この値が0であると、アトラスタイルグループヘッダフレームアウトプットフラグ(at
gh_frame_output_flag)又はアトラスタイルヘッダフレームアウト
プットフラグ(ath_frame_output_flag)シンタックス要素が関連
タイルグループヘッダ又はタイルヘッダに存在しないことを示す(equal to 1
indicates that the atgh_frame_output_fl
ag syntax element is present in the asso
ciated tile group headers. afps_output_f
lag_present_flag equal to 0 indicates th
at the atgh_frame_output_flag syntax ele
ment is not present in the associated ti
le group headers)。
active_minus1):この値に1を加えると、atgh_num_ref_i
dx_active_override_flagが0であるタイルグループ又はタイル
に対する変数NumRefIdxActiveの推論値を示す(plus 1 spec
ifies the inferred value of the variable
NumRefIdxActive for the tile group with
atgh_num_ref_idx_active_override_flag e
qual to 0)。
n):アトラスフレームの参照のための復号プロセス内で使用される変数MaxLtAt
lasFrmOrderCntLsbの値を示す(specifies the val
ue of the variable MaxLtAtlasFrmOrderCnt
Lsb that is used in the decoding process
for reference atlas frame)。
count_minus1):この値に1を加えると、afps_atlas_fram
e_parameter_set_idを称するアトラスタイルグループ又はアトラスタ
イル内のインデックスJを有するパッチのpdu_3d_pos_x[j]の固定長さ表
現内のビット数を示す(plus 1 specifies the number o
f bits in the fixed-length representatio
n of pdu_3d_pos_x[j] of patch with index
j in an atlas tile group that refers to
afps_atlas_frame_parameter_set_id)。
count_minus1):この値に1を加えると、afps_atlas_fram
e_parameter_set_idを称するアトラスタイルグループ又はアトラスタ
イル内のインデックスJを有するパッチのpdu_3d_pos_y[j]の固定長さ表
現内のビット数を示す(plus 1 specifies the number o
f bits in the fixed-length representatio
n of pdu_3d_pos_y[j] of patch with index
j in an atlas tile group that refers to
afps_atlas_frame_parameter_set_id)。
flag):この値が1であると、LODパラメータがパッチ内に存在し得ることを示す
。この値が0であると、LODパラメータがパッチ内に存在しないことを示す(equa
l to 1 indicates that the LOD parameters
may be present in a patch. afps_lod_mod
e_enabled_flag equal to 0 indicates that
the LOD parameters are not be present i
n a patch)。
_depth_flag):この値が1であると、afps_eom_number_o
f_patch_bit_count_minus1及びafps_eom_max_b
it_count_minus1の値が明示的にビットストリーム内に存在することを示
す。この値が0であると、afps_eom_number_of_patch_bit
_count_minus1及びafps_eom_max_bit_count_mi
nus1の値が暗示的に誘導されることを示す(equal to 1 indicat
es that the values of afps_eom_number_of
_patch_bit_count_minus1 and afps_eom_max
_bit_count_minus1 is explicitly present
in the bitstream. afps_override_eom_for_
depth_flag equal to 0 indicates that the
values of afps_eom_number_of_patch_bit_
count_minus1 and afps_eom_max_bit_count_
minus1 are implicitly derived)。
patch_bit_count_minus1):アトラスフレームパラメータセット
に関連するアトラスフレーム内のEOM特質パッチ内に連関するジオメトリパッチの数を
示すために使用されるビット数を示す(plus 1 specifies the n
umber of bits used to represent the numb
er of geometry patches associated in an
EOM attribute patch in an atlas frame th
at is associated with this atlas frame p
arameter set)。
unt_minus1):このアトラスフレームパラメータセットに連関するアトラスフ
レーム内のEOM特質パッチに連関するジオメトリパッチごとのEOMポイントの数を示
すために使用されるビット数を示す(plus 1 specifies the nu
mber of bits used to represent the numbe
r of EOM points per geometry patch assoc
iated with an EOM attribute patch in an
atlas frame that is associated with this
atlas frame parameter set)。
w_3d_pos_bit_count_explicit_mode_flag):こ
の値が1であると、rpdu_3d_pos_x、rpdu_3d_pos_y及びrp
du_3d_pos_zの固定長さ表現内のビット数がafps_atlas_fram
e_parameter_set_idを称するアトラスタイルグループヘッダ又はアト
ラスタイルヘッダ内のatgh_raw_3d_pos_axis_bit_count
_minus1又はath_raw_3d_pos_axis_bit_count_m
inus1により明確にコーディングされることを示す。この値が0であると、atgh
_raw_3d_pos_axis_bit_count_minus1又はath_r
aw_3d_pos_axis_bit_count_minus1の値が暗示的に誘導
されることを示す(equal to 1 indicates that the n
umber of bits in the fixed-length repres
entation of rpdu_3d_pos_x, rpdu_3d_pos_y
, and rpdu_3d_pos_z is explicitly coded
by atgh_raw_3d_pos_axis_bit_count_minus1
in the atlas tile group header that ref
ers to afps_atlas_frame_parameter_set_id
. afps_raw_3d_pos_bit_count_explicit_mod
e_flag equal to 0 indicates the value of
atgh_raw_3d_pos_axis_bit_count_minus1 i
s implicitly derived)。
_flagが1であると、atgh_raw_3d_pos_axis_bit_cou
nt_minus1がアトラスタイルグループ(又はタイル)ヘッダに含まれる。
と、AFPS RBSPシンタックス構造内のafps_extension_data
_flagシンタックス要素が存在しないことを示す(equal to 0 spec
ifies that no afps_extension_data_flag s
yntax elements are present in the AFPS R
BSP syntax structure)。
拡張関連データを含む。
e_information)を示す。
le_in_atlas_frame_flag):この値が1であると、AFPSを参
照する各々のアトラスフレーム内にただ1つのタイルが存在することを示す。この値が0
であると、AFPSを参照する各々のアトラスフレーム内に1つ以上のタイルが存在する
ことを示す(equal to 1 specifies that there is
only one tile in each atlas frame refer
ring to the AFPS. afti_single_tile_in_at
las_frame_flag equal to 0 specifies that
there is more than one tile in each atl
as frame referring tお the AFPS)。
g_flag):この値が1であると、タイル列及び行の境界がアトラスフレームに対し
て均一に分配され、afti_tile_cols_width_minus1及びaf
ti_tile_rows_height_minus1、シンタックス要素をそれぞれ
使用してシグナリングされることを示す。この値が0であると、タイル列及び行の境界が
アトラスフレームに対して均一に分配されるか或いは分配されず、afti_num_t
ile_columns_minus1、afti_num_tile_rows_mi
nus1、a list of syntax element pairs afti
_tile_column_width_minus1[i]、afti_tile_r
ow_height_minus1[i]などのシンタックス要素を使用してシグナリン
グされることを示す。
:この値に1を加えると、afti_uniform_tile_spacing_fl
agが1である場合、64サンプル単位内のアトラスフレームの最右側タイル列を除いた
タイル列の幅を示す(plus 1 specifies the width of
the tile columns excluding the right-mos
t tile column of the atlas frame in unit
s of 64 samples when afti_uniform_tile_s
pacing_flag is equal to 1)。
1):この値に1を加えると、afti_uniform_tile_spacing_
flagが1である場合、64サンプル単位内のアトラスフレームの底タイル行を除いた
タイル行の高さを示す(plus 1 specifies the height o
f the tile rows excluding the bottom til
e row of the atlas frame in units of 64
samples when afti_uniform_tile_spacing_f
lag is equal to 1)。
):この値に1を加えると、afti_uniform_tile_spacing_f
lagが0である場合、アトラスフレームを分割するタイル列の数を示す(plus 1
specifies the number of tile columns pa
rtitioning the atlas frame when afti_uni
form_tile_spacing_flag is equal to 0)。
の値に1を加えると、afti_uniform_tile_spacing_flag
が0である場合、アトラスフレームを分割するタイル行の数を示す(Plus 1 sp
ecifies the number of tile rows partitio
ning the atlas frame when pti_uniform_ti
le_spacing_flag is equal to 0)。
1[i]):この値に1を加えると、64サンプル単位内のI番目のタイル列の幅を示す
(plus 1 specifies the width of the i-th
tile column in units of 64 samples)。
[i]):この値に1を加えると、64サンプル単位内のI番目のタイル行の高さを示す
(plus 1 specifies the height of the i-th
tile row in units of 64 samples)。
le_per_tile_group_flag):この値が1であると、AFPSを示
す各タイルグループ(又はタイル)が一つのタイルを含むことを示す。この値が0である
と、このAFPSを示すタイルグループ(又はタイル)が一つのタイル以上を含めること
を示す(equal to 1 specifies that each tile
group that refers to this AFPS includes
one tile. afti_single_tile_per_tile_grou
p_flag equal to 0 specifies that a tile
group that refers to this AFPS may inclu
de more than one tile)。
le_per_tile_group_flag)が0であると、afti_num_t
ile_groups_in_atlas_frame_minus1がアトラスフレー
ムタイル情報内に伝達される。afti_num_tile_groups_in_at
las_frame_minus1によって、afti_top_left_tile_
idx[i]及びafti_bottom_right_tile_idx_delta
[i]がアトラスフレームタイル情報内に伝達される。
tile_groups_in_atlas_frame_minus1):AFPSを
示す各々のアトラスフレーム内のタイルグループ(又はタイル)の数を示す(plus
1 specifies the number of tile groups in
each atlas frame referring to the AFPS)
。
[i]):I番目のタイルグループ(又はタイル)の左上部コーナーに位置するタイルの
タイルインデックスを示す(specifies the tile index of
the tile located at the top-left corner
of the i-th tile group)。
ile_idx_delta[i]):afti_top_left_tile_idx
[i]及びI番目のタイルグループ(又はタイル)の右下部コーナーに位置するタイルの
タイルインデックス間の差の値を示す(specifies the differen
ce between the tile index of the tile lo
cated at the bottom-right corner of the
i-th tile group and afti_top_left_tile_i
dx[i])。
d_tile_group_id_flag):この値が1であると、各々のタイルグル
ープ又は各々のタイルに対するタイルグループID又はタイルIDがシグナリングされる
ことを示す(equal to 1 specifies that the tile
group ID for each tile group is signall
ed)。
d_tile_group_id_flag)が1であると、afti_signall
ed_tile_group_id_length_minus1及びafti_til
e_group_id[i]がアトラスフレームタイル情報内に伝達される。
_tile_group_id_length_minus1):この値に1を加えると
、シンタックス要素afti_tile_group_id[i]を示すために使用され
るビットの数を示す。存在する場合、シンタックス要素タイルグループヘッダ又はタイル
ヘッダ内にatgh_addressがあり得る(plus 1 specifies
the number of bits used to represent the
syntax element afti_tile_group_id[i] wh
en present, and the syntax element atgh_
address in tile group headers)。
目のタイルグループ(又はタイル)のIDを示す。シンタックス要素afti_tile
_group_id[i]の長さはafti_signalled_tile_grou
p_id_length_minus1に1を加えたビットである(specifies
the tile group ID of the i-th tile grou
p. The length of the afti_tile_group_id[
i] syntax element is afti_signalled_tile
_group_id_length_minus1 +1 bits)。
on_parameter_set_rbsp())を示す。
するアトラス適応パラメータセットのシンタックスを示す。
ディングされたタイルグループ(又はタイル)NALユニットにより示されるパラメータ
を含む。最大1つのAAPS RBSPが復号プロセス動作の間の所定の瞬間にアクティ
ブであるとみなされる。特定のAAPS RBSPの活性化は以前のアクティブAAPS
RBSPの非活性化の結果に繋がる(An AAPS RBSP includes
parameters that can be referred to by th
e coded tile group NAL units of one or m
ore coded atlas frames. At most one AAPS
RBSP is considered active at any given
moment during the operation of the decod
ing process, and the activation of any p
articular AAPS RBSP results in the deact
ivation of the previously-active AAPS RB
SP)。
ion_parameter_set_id):他のシンタックス要素による参照のため
のアトラス適応パラメータセットを識別する(identifies the atla
s adaptation parameter set for reference
by other syntax elements)。
ence_parameter_set_id):アクティブアトラスシーケンスパラメ
ータセットのためのasps_atlas_sequence_parameter_s
et_idの値を示す(specifies the value of asps_a
tlas_sequence_parameter_set_id for the a
ctive atlas sequence parameter set)。
s_present_flag):この値が1であると、カメラパラメータが現在アトラ
ス適応パラメータセット内に存在することを示す。この値が0であると、現在適応パラメ
ータセットのためのカメラパラメータが存在しないことを示す(equal to 1
specifies that camera parameters are pre
sent in the current atlas adaptation par
ameter set. aaps_camera_parameters_prese
nt_flag equal to 0 specifies that camera
parameters for the currrent adaptation
parameter Set are not be present)。
と、aaps_extension_data_flagシンタックス要素がAAPS
RBSPシンタックス構造内に存在しないことを示す(equal to 0 spec
ifies that no aaps_extension_data_flag s
yntax elements are present in the AAPS R
BSP syntax structure)。
拡張に関するデータを含む。
ameters)を示す。
トに関連するポイントクラウドフレームのためのカメラモデルを示す(indicate
s the camera model for point cloud frame
s that are associated with the current a
daptation parameter set)。
CIFIEDであることを示す。
(Orthographic camera model)であることを示す。
。
オフセット、ローテーションに関連する以下の要素がアトラスカメラパラメータに含まれ
る。
値が1であると、現在カメラモデルのためのスケールパラメータが存在することを示す。
この値が0であると、現在カメラモデルのためのスケールパラメータが存在しないことを
示す(equal to 1 indicates that scale param
eters for the current camera model are p
resent. acp_scale_enabled_flag equal to
0 indicates that scale parameters for th
e current camera model are not present)。
あると、d値ごとにACPスケールオン軸(acp_scale_on_axis[d]
)がアトラスカメラパラメータに含まれる。
この値が1であると、現在カメラモデルのためのオフセットパラメータが存在することを
示す。この値が0であると、現在カメラモデルのためのオフセットパラメータが存在しな
いことを示す(equal to 1 indicates that offset
parameters for the current camera model
are present. acp_offset_enabled_flag equ
al to 0 indicates that offset parameters
for the current camera model are not pr
esent)。
1であると、d値ごとにACPオフセット軸(acp_offset_on_axis[
d])要素がアトラスカメラパラメータに含まれる。
ag):この値が1であると、現在カメラモデルのためのローテーションパラメータが存
在することを示す。この値が0であると、現在カメラモデルのためのローテーションパラ
メータが存在しないことを示す(equal to 1 indicates that
rotation parameters for the current cam
era model are present. acp_rotation_enab
led_flag equal to 0 indicates that rotat
ion parameters for the current camera mo
del are not present)。
デルのためのd軸に対するスケール値を示す。d値は0~2(含み)の範囲を有する。x
、y、z軸のそれぞれが0,1,2値に対応する(specifies the val
ue of the scale, Scale[d], along the d a
xis for the current camera model. The va
lue of d is in the range of 0 to 2, incl
usive, with the values of 0, 1, and 2 co
rresponding to the X, Y, and Z axis, res
pectively)。
)の範囲を有するdに対して、現在カメラモデルのためのd軸に沿ってオフセットOff
set[d]値を示す。d値は0,1,2のようであり、それぞれx、y、z軸に対応す
る(indicates the value of the offset, Off
set[d], along the d axis for the current
camera model where d is in the range of
0 to 2, inclusive. The values of d equa
l to 0, 1, and 2 correspond to the X, Y,
and Z axis, respectively)。
ag)が1であると、以下のローテーション値がアトラスカメラパラメータに含まれる。
る現在カメラモデルのローテーションのためのxコンポーネントqXを示す(speci
fies the x component, qX, for the rotati
on of the current camera model using the
quaternion representation)。
る現在カメラモデルのローテーションのためのyコンポーネントqYを示す(speci
fies the y component, qY, for the rotati
on of the current camera model using the
quaternion representation)。
る現在カメラモデルのローテーションのためのzコンポーネントqZを示す(speci
fies the z component, qZ, for the rotati
on of the current camera model using the
quaternion representation)。
up_layer)、アトラスタイルグループヘッダ(atlas_tile_grou
p_header)を示す。
ラスタイルグループレイヤのシンタックス及びアトラスタイルグループレイヤに含まれた
アトラスタイルグループヘッダのシンタックスを示す。
ルグループ’は‘タイル’とも称される。同様に、用語‘atgh’は‘ath’とも解
釈される。
ヘッダ又はアトラスタイルヘッダを含む。
ない場合、アトラスタイルグループ(又はタイル)データがアトラスタイルグループ(又
はタイル)レイヤに含まれる。
_parameter_set_id):現在アトラスタイルグループ(又はタイル)に
対するアクティブアトラスフレームパラメータセットのためのafps_atlas_f
rame_parameter_set_idの値を示す(specifies the
value of afps_atlas_frame_parameter_set
_id for the active atlas frame parameter
set for the current atlas tile group)。
ion_parameter_set_id):現在アトラスタイルグループ(又はタイ
ル)に対するアクティブアトラス適応パラメータセットのためのaaps_atlas_
adaptation_parameter_set_idの値を示す(specifi
es the value of aaps_atlas_adaptation_pa
rameter_set_id for the active atlas adap
tation parameter set for the current atl
as tile group)。
イルグループ(又はタイル)アドレスを示す。存在しない場合、atgh_addres
sの値は0と推論される。タイルグループ(又はタイル)アドレスはタイルグループ(又
はタイル)のタイルグループ(又はタイル)IDである。atgh_addressの長
さはafti_signalled_tile_group_id_length_mi
nus1+1ビットである。afti_signalled_tile_group_i
d_flagが0であると、atgh_addressの値は0ないしafti_num
_tile_groups_in_atlas_frame_minus1(含み)の範
囲を有する。反面、atgh_addressの値は0~2(afti_signall
ed_tile_group_id_length_minus1+1)-1(含み)の
範囲を有する(specifies the tile group address
of the tile group. When not present, the
value of atgh_address is inferred to be
equal to 0. The tile group address is t
he tile group ID of the tile group. The
length of atgh_address is afti_signalled
_tile_group_id_length_minus1 + 1 bits. I
f afti_signalled_tile_group_id_flag is e
qual to 0, the value of atgh_address is
in the range of 0 to afti_num_tile_group
S_in_atlas_frame_minus1, inclusive. Othe
rwise, the value of atgh_address is in t
he range of 0 to 2(afti_signalled_tile_g
roup_id_length_minus1 +1 )-1, inclusive)
。
のコーディングタイプを示す。
TILE_GRP(Inter atlas tile group、インターアトラス
タイルグループ(又はタイル))である。
TILE_GRP(Intra atlas tile group、イントラアトラス
タイルグループ(又はタイル))である。
IP_TILE_GRP(SKIP atlas tile group、スキップアト
ラスタイルグループ(又はタイル))である。
値を有する。
g):この値は復号されたアトラスアウトプット及び除去プロセッサに影響を及ぼす(a
ffectS the decoded atlas output and remo
val processes)。
er_cnt_lsb):現在アトラスタイプグループ又はアトラスタイルに対するアト
ラスフレームオーダーカウントモジュロMaxAtlasFrmOrderCntLsb
を示す(specifies the atlas frame order coun
t modulo MaxAtlasFrmOrderCntLsb for the
current atlas tile group)。
スタイルグループ(タイル)ヘッダがatgh_atlas_output_flag及
びatgh_atlas_frm_order_cnt_lsbを含む。
frame_list_sps_flag):この値が1であると、現在アトラスタイル
グループの参照アトラスフレームリストがアクティブASPS内のref_list_s
truct(rlsIdx)シンタックス構造の1つに基づいて誘導される。この値が0
であると、現在アトラスタイルグループ又はアトラスタイルのタイルグループヘッダ又は
タイルヘッダに直接含まれたref_list_struct(rlsIdx)シンタッ
クス構造に基づいて現在アトラスタイルリストの参照アトラスフレームリストが誘導され
ることを示す(equal to 1 specifies that the ref
erence atlas frame list of the current a
tlas tile group is derived based on one
of the ref_list_struct(rlsIdx) syntax st
ructures in the active asps. atgh_ref_at
las_frame_list_sps_flag equal to 0 speci
fies that the reference atlas frame list
of the current atlas tile list is deriv
ed based on the ref_list_struct(rlsIdx)
syntax structure that is directly includ
ed in the tile group header of the curre
nt atlas tile group)。
と、ref_list_struct(asps_num_ref_atlas_fra
me_lists_in_asps)がアトラスタイルグループ(タイル)ヘッダに含ま
れる。
frame_list_idx):現在アトラスタイルグループ(又はタイル)に対する
参照アトラスフレームの誘導に使用されるref_list_struct(rlsId
x)シンタックス構造のアクティブASPSに含まれたref_list_struct
(rlsIdx)シンタックス構造のリストに対するインデックスを示す(specif
ies the index, into the list of the ref_
list_struct(rlsIdx) syntax structures in
cluded in the active ASPS, of the ref_li
st_struct(rlsIdx) syntax structure that
is used for derivation of the reference
atlas frame list for the current atlas t
ile group)。
c_lsb_present_flag[j]):この値が1であると、atgh_ad
ditional_afoc_lsb_val[j]が現在アトラスタイルグループ又は
アトラスタイルに対して存在することを示す。この値が0であると、atgh_addi
tional_afoc_lsb_val[j]は存在しない(equal to 1
specifies that atgh_additional_afoc_lsb_
val[j] is present for the current atlas
tile group. atgh_additional_afoc_lsb_pre
sent_flag[j] equal to 0 specifies that a
tgh_additional_afoc_lsb_val[j] is not pr
esent)。
]が1であると、atgh_additional_afoc_lsb_val[j]が
アトラスタイルグループ(又はタイル)ヘッダに含まれる。
b_val[j]):現在アトラスタイルグループ又はタイルに対するFullAtla
sFrmOrderCntLsbLt[RlsIdx][j]の値を示す(specif
ies the value of FullAtlasFrmOrderCntLsb
Lt[RlsIdx][j] for the current atlas tile
group)。
er):パッチpのpdu_3d_pos_min_z[p]値に適用される量子化器を
示す。atgh_pos_min_z_quantizerが存在しない場合、この値は
0に推論される(specifies the quantizer that is
to be applied to the pdu_3d_pos_min_z[p]
value of the patch p. If atgh_pos_min_z
_quantizer is not present, its value is
inferred to be equal to 0)。
x_z_quantizer):インデックスpを有するパッチのpdu_3d_pos
_delta_max_z[p]の値に適用される量子化器を示す。atgh_pos_
delta_max_z_quantizerが存在しない場合、この値は0に推論され
る(specifies the quantizer that is to be
applied to the pdu_3d_pos_delta_max_z[p]
value of the patch with index p. If atg
h_pos_delta_max_z_quantizer is not prese
nt, its value is inferred to be equal to
0)。
o_quantizer):インデックスpを有するパッチのpdu_2d_size_
x_minus1[p]、mpdu_2d_delta_size_x[p]、ipdu
_2d_delta_size_x[p]、rpdu_2d_size_x_minus
1[p]及びepdu_2d_size_x_minus1[p]の変数に適用されるP
atchSizeXQuantizer量子化器の値を示す。atgh_patch_s
ize_x_info_quantizerが存在しない場合、この値はasps_lo
g2_patch_packing_block_sizeに推論される(specif
ies the value of the quantizer PatchSize
XQuantizer that is to be applied to the
variables pdu_2d_size_x_minus1[p], mpdu_
2d_delta_size_x[p], Ipdu_2d_delta_size_x
[p], rpdu_2d_size_x_minus1[p], and epdu_
2d_size_x_minus1[p] of a patch with inde
x p. If atgh_patch_size_x_info_quantizer
is not present, its value is inferred t
o be equal to asps_log2_patch_packing_bl
ock_size)。
o_quantizer):インデックスPを有するパッチのpdu_2d_size_
y_minus1[p]、mpdu_2d_delta_size_y[p]、ipdu
_2d_delta_size_y[p]、rpdu_2d_size_y_minus
1[p]及びepdu_2d_size_y_minus1[p]の変数に適用されるP
atchSizeYQuantizer量子化器の値を示す。atgh_patch_s
ize_y_info_quantizerが存在しない場合、この値はasps_lo
g2_patch_packing_block_sizeに推論される(specif
ies the value of the quantizer PatchSize
YQuantizer that is to be applied to the
variables pdu_2d_size_y_minus1[p], mpdu_
2d_delta_size_y[p], Ipdu_2d_delta_size_y
[p], rpdu_2d_size_y_minus1[p], and epdu_
2d_size_y_minus1[p] of a patch with inde
x p. If atgh_patch_size_y_info_quantizer
is not present, its value shall be infe
rred to be equal to asps_log2_patch_pack
ing_block_size)。
is_bit_count_minus1):この値に1を加えると、pos_x、rp
du_3d_pos_y及びrpdu_3d_pos_zの固定長さ表現内のビット数を
示す(plus 1 specifies the number of bits i
n the fixed-length representation of rpd
u_3d_pos_x, rpdu_3d_pos_y, and rpdu_3d_p
os_z)。
ntries[rlsIdx]が1より大きいと、atgh_num_ref_idx_
active_override_flagがアトラスタイルグループ(又はタイル)ヘ
ッダに含まれる。また、atgh_num_ref_idx_active_overr
ide_flagが1であると、atgh_num_ref_idx_active_m
inus1がアトラスタイルグループ(又はタイル)ヘッダに含まれる。
m_ref_idx_active_override_flag):この値が1である
と、シンタックス要素atgh_num_ref_idx_active_minus1
が現在アトラスタイルグループ又はアトラスタイルに対して存在することを示す。この値
が0であると、シンタックス要素atgh_num_ref_idx_active_m
inus1が存在しないことを示す。atgh_num_ref_idx_active
_override_flagが存在しないと、この値は0に推論される(equal
to 1 specifies that the syntax element a
tgh_num_ref_idx_active_minus1 is present
for the current atlas tile group. atgh_
num_ref_idx_active_override_flag equal t
o 0 specifies that the syntax element at
gh_num_ref_idx_active_minus1 is not pres
ent. If atgh_num_ref_idx_active_override
_flag is not present, its value shall be
inferred to be equal to 0)。
active_minus1):現在アトラスタイルグループ又はタイルを復号するため
に使用される参照アトラスフレームリストのための最大値参照インデックスを示す。Nu
mRefIdxActiveの値が0であると、参照アトラスフレームリストの参照イン
デックスが現在アトラスタイルグループ又はアトラスタイルを復号するために使用されな
いことを示す(specifies the maximum reference i
ndex for reference the atlas frame list
that may be used to decode the current a
tlas tile group. When the value of NumRe
fIdxActive is equal to 0, no reference i
ndex for the reference atlas frame list
may be used to decode the current atlas
tile group)。
ビット(stop bit)である1を追加した後、バイト整列のために0で残りのビッ
トを満たすために使用される。
トラスタイルのヘッダなどに含まれる参照リスト構造のシンタックスである。
ist_struct(rlsIdx)シンタックス構造内のエントリー数を示す(sp
ecifies the number of entries in the ref
_list_struct(rlsIdx) syntax structure)。
造に含まれる。
あると、参照アトラスフレームフラグ(st_ref_atlas_frame_fla
g[rlsIdx][i])が参照リスト構造に含まれる。
lsIdx][i]):この値が1であると、ref_list_struct(rls
Idx)シンタックス構造内のi番目のエントリーが短期参照アトラスフレームエントリ
ーであることを示す。st_ref_atlas_frame_flag[rlsIdx
][i]が0であると、ref_list_struct(rlsIdx)構造内のi番
目のエントリーが長期参照アトラスフレームエントリーであることを示す。存在しない場
合は、st_ref_atlas_frame_flag[rlsIdx][i]の値は
1に推論される(equal to 1 specifies that the i-
th entry in the ref_list_struct(rlsIdx)
syntax structure is a Short term referen
ce atlas frame entry. st_ref_atlas_frame
_flag[rlsIdx][i] equal to 0 specifies th
at the i-th entry in the ref_list_struct
(rlsIdx) syntax structure is a long term
reference atlas frame entry. When not p
resent, the value of st_ref_atlas_frame_
flag[rlsIdx][i] is inferred to be equal
to 1)。
と、absデルタafoc(abs_delta_afoc_st[rlsIdx][i
])が参照リスト構造内に含まれる。
):i番目のエントリーがref_list_struct(rlsIdx)内の1番目
の短期参照アトラスフレームエントリーである場合、現在アトラスタイルグループ(又は
タイル)のアトラスフレームオーダーカウント値及びi番目のエントリーにより称される
アトラスフレーム間の差の絶対値を示す。i番目のエントリーが短期参照アトラスフレー
ムであり、ref_list_struct(rlsIdx)内の1番目の短期参照アト
ラスフレームエントリーではない場合は、i番目のエントリーにより称されるアトラスフ
レームのアトラスフレームオーダーカウント値及びref_list_struct(r
lsIdx)シンタックス構造内の以前の短期参照アトラスフレームエントリーにより称
されるアトラスフレームのアトラスフレームオーダーカウント値間の差の絶対値を示す(
when the i-th entry is the first Short t
erm reference atlas frame entry in ref_l
ist_struct(rlsIdx) syntax structure, spe
cifies the absolute difference between t
he atlas frame order count values of the
current atlas tile group and the atlas
frame Referred to by the i-th entry, or,
when the i-th entry is a Short term ref
erence atlas frame entry but not the fir
st short term reference atlas frame entr
y in the ref_list_struct(rlsIdx) syntax
structure, specifies the absolute differ
ence between the atlas frame order count
values of the atlas frames referred to
by the i-th entry and by the previous Sh
ort term reference atlas frame entry in
the ref_list_struct(rlsIdx) syntax struc
ture)。
ると、エントリーサインフラグ(strpf_entry_sign_flag[rls
Idx][i])が参照リスト構造内に含まれる。
x][i]):この値が1であると、シンタックス構造ref_list_struct
(rlsIdx)内のi番目のエントリーが0であるか又はそれより大きい値を有するこ
とを示す。strpf_entry_sign_flag[rlsIdx][i]が0で
あると、シンタックス構造ref_list_struct(rlsIdx)内のi番目
のエントリーが0より小さい値を有することを示す。存在しない場合は、strpf_e
ntry_sign_flag[rlsIdx][i]の値は1であると推論される(e
qual to 1 specifies that i-th entry in t
he syntax structure ref_list_struct(rlsI
dx) has a value greater than or equal to
0. strpf_entry_sign_flag[rlsIdx][i] equ
al to 0 specifies that the i-th entry in
the syntax structure ref_list_struct(rl
sIdx) has a value less than 0. When not
present, the value of strpf_entry_sign_f
lag[rlsIdx][i] is inferred to be equal t
o 1)。
ist_struct(rlsIdx)シンタックス構造内のI番目のエントリーにより
称されるアトラスフレームのアトラスフレームオーダーカウントモジュロMaxAtla
sFrmOrderCntLsbの値を示す。afoc_lsb_lt[rlsIdx]
[i]シンタックス要素の長さはasps_log2_max_atlas_frame
_order_cnt_lsb_minus4+4ビットである(specifies
the value of the atlas frame order count
modulo MaxAtlasFrmOrderCntLsb of the at
las frame referred to by the i-th entry
in the ref_list_struct(rlsIdx) syntax st
ructure. The length of the afoc_lsb_lt[r
lsIdx][i] syntax element is ASPS_log2_MA
X_atlas_frame_order_cnt_lsb_minus4 + 4 b
its)。
up_data_unit)を示す。
れたアトラスタイルグループデータのシンタックスを示す。同様にアトラスタイルグルー
プデータはアトラスタイルデータに対応し、タイルグループという用語はタイルとも称す
ることができる。
タイルグループ(又はタイル)データに含まれる。
ープ(又はタイル)内のインデックスpを有するパッチに対するパッチモードを示す。タ
イプ(atgh_type)がスキップタイル(SKIP_TILE_GRP)であると
、タイルグループ(又はタイル)が全体タイルグループ(又はタイル)情報が1番目の参
照アトラスフレームに対応する現在タイルグループ(又はタイル)と同じアドレス(at
gh_address)を有するタイルグループ(又はタイル)から直接コピーされるこ
とを示す(indicates the patch mode for the pa
tch with index p in the current atlas ti
le Group. a tile group with atgh_type =
SKIP_TILE_GRP implies that the entire ti
le group information is copied directly
from the tile group with the same atgh_a
ddress as that of the current tile group
that corresponds to the first reference
atlas frame)。
ch_mode[p]がP_ENDではない場合、インデックスpごとにpatch_i
nformation_data及びatgdu_patch_mode[p]がアトラ
スタイルグループデータ(又はアトラスタイルデータ)に含まれる。
下のように表現できる。
entifier)はI_INTRAであり、予測されないパッチモード(Non-pr
edicted Patch mode)であることを示す。
entifier)はI_RAWであり、RAWポイントパッチモード(RAW poi
nt Patch mode)であることを示す。
entifier)はI_EOMであり、EOMポイントパッチモード(EOM poi
nt Patch mode)であることを示す。
別子(Identifier)はI_RESERVEDであり、予約モード(Reser
ved modes)であることを示す。
dentifier)はI_ENDであり、パッチ終了モード(Patch termi
nation mode)であることを示す。
ードタイプは以下のように表現できる。
tifier)はP_SKIPであり、パッチスキップモード(Patch Skip
mode)であることを示す。
tifier)はP_MERGEであり、パッチマージモード(Patch Merge
mode)であることを示す。
tifier)はP_INTERであり、インター予測パッチモード(Inter pr
edicted Patch mode)であることを示す。
tifier)はP_INTRAであり、非予測パッチモード(Non-predict
ed Patch mode)であることを示す。
tifier)はP_RAWであり、RAWポイントパッチモード(RAW point
Patch mode)であることを示す。
tifier)はP_EOMであり、EOMポイントパッチモード(EOM point
Patch mode)であることを示す。
(Identifier)はP_RESERVEDであり、予約モード(Reserve
d mode)であることを示す。
(Identifier)はP_RESERVEDであり、予約モード(Reserve
d mode)であることを示す。
ntifier)はP_ENDであり、パッチ終了モード(Patch termina
tion mode)であることを示す。
ッチモードタイプは以下のように表現できる。
Pであり、パッチスキップモード(Patch Skip mode)であることを示す
。
設定される。
ta)を示す。
ッチ情報データのシンタックスを示す。
ラスタイル)(SKIP_TILE_GR)であると、スキップパッチデータユニット(
パッチインデックス)(skip_patch_data_unit(patchIdx
))がパッチ情報データとして含まれる。
LE_GR)であり、パッチモード(patchMode)がパッチスキップモード(P
_SKIP)であると、スキップパッチデータユニット(パッチインデックス)(ski
p_patch_data_unit(patchIdx)がパッチ情報データとして含
まれる。パッチモードがパッチマージモード(P_MERGE)であると、統合パッチデ
ータユニット(パッチインデックス)(merge_patch_data_unit(
patchIdx))がパッチ情報データとして含まれる。パッチモードが非予測パッチ
モード(P_INTRA)であると、パッチデータユニット(パッチインデックス)(p
atch_data_unit(patchIdx))がこのシンタックス構造(以下、
パッチ情報データを称する)に含まれる。パッチモードがインター予測パッチモード(P
_INTER)であると、インターパッチデータユニット(パッチインデックス)(in
ter_patch_data_unit(patchIdx))がこのシンタックス構
造に含まれる。パッチモードがRAWポイントパッチモード(P_RAW)であると、行
パッチデータユニット(パッチインデックス)(raw_patch_data_uni
t(patchIdx)がこのシンタックス構造に含まれる。パッチモードがEOMポイ
ントパッチモード(P_EOM)であると、EOMパッチデータユニット(パッチインデ
ックス)(eom_patch_data_unit(patchIdx))がこのシン
タックス構造に含まれる。
ードが非予測パッチモード(I_INTRA)であると、パッチデータユニット(パッチ
インデックス)(patch_data_unit(patchIdx))がこのシンタ
ックス構造に含まれる。パッチモードがRAWポイントパッチモード(I_RAW)であ
ると、RAWパッチデータユニット(パッチインデックス(raw_patch_dat
a_unit(patchIdx))がこのシンタックス構造に含まれる。パッチモード
がEOMポイントパッチモード(I_EOM)であると、EOMパッチデータユニット(
パッチインデックス)(eom_patch_data_unit(patchIdx)
)がこのシンタックス構造に含まれる。
す。
グループ(又はタイル)内のパッチpに対するパッチバウンディングボックスの左上部コ
ーナーのx座標(又は左部オフセット)を示す。アトラスタイルグループはタイルグルー
プインデックスを有し、アトラスタイルはタイルインデックスを有する。このインデック
スが複数のパッチパッキングブロックサイズ(PatchPackingBlockSi
ze)として表現される(specifies the x-coordinate (
or left offset) of the top-left corner o
f the patch bounding box for patch p in
the current atlas tile group, tileGroupI
dx, expressed as a multiple of PatchPack
ingBlockSize)。
グループ(又はタイル)内のパッチpに対するパッチバウンディングボックスの左上部コ
ーナーのy座標(又は上部オフセット)を示す。アトラスタイルグループはタイルグルー
プインデックスを有し、アトラスタイルはタイルインデックスを有する。このインデック
スが複数のパッチパッキングブロックサイズ(PatchPackingBlockSi
ze)として表現される(specifies the y-coordinate (
or top offset)of the top-left corner of
the patch bounding box for patch p in th
e current atlas tile group, tileGroupIdx
, expressed as a multiple of PatchPackin
gBlockSize)。
に1を加えると、現在アトラスタイルグループ、tileGroupIdx又は現在アト
ラスタイル、tiledx内のインデックスpを有するパッチの量子化された幅の値を示
す(plus 1 specifies the quantized width v
alue of the patch with index p in the cu
rrent atlas tile group, tileGroupIdx)。
に1を加えると、現在アトラスタイルグループ、tileGroupIdx又は現在アト
ラスタイル、tiledx内のインデックスpを有するパッチの量子化された高さの値を
示す(plus 1 specifies the quantized height
value of the patch with index p in the
current atlas tile group, tileGroupIdx)。
アトラスタイルグループ又は現在アトラスタイルのインデックスpを有するパッチ内の復
元されたパッチポイントに適用されるシフトを示す(specifies the sh
ift to be applied to the reconstructed p
atch points in patch with index p of the
current atlas tile group along the tang
ent axis)。
在アトラスタイルグループ又は現在アトラスタイルのインデックスpを有するパッチ内の
復元されたパッチポイントに適用されるシフトを示す(specifies the s
hift to be applied to the reconstructed
patch points in patch with index p of th
e current atlas tile group along the bit
angent axis)。
って現在アトラスタイルグループ又はアトラスタイルのインデックスpを有するパッチ内
の復元されたパッチポイントに適用されるシフトを示す(specifies the
shift to be applied to the reconstructed
patch points in patch with index p of t
he current atlas tile group along the no
rmal axis)。
d_flagが1であると、pdu_3d_pos_delta_max_z[patc
hIdx]がパッチデータユニットに含まれる。
x_z[p]):この値が存在すると、垂直軸に沿って現在アトラスタイルグループ又は
アトラスタイルのインデックスpを有するパッチ内の公称表現に転換された後、復元され
たビット深さパッチジオメトリサンプル内に存在すると期待されるシフトの公称最大値を
示す(If present, specifies the nominal max
imum value of the shift expected to be p
resent in the reconstructed bitdepth pat
ch geometry samples, after conversion to
their nominal representation, in patch
with index p of the current atlas tile g
roup Along the normal axis)。
トラスタイルグループ又は現在アトラスタイルのインデックスpを有するパッチに対する
プロジェクション平面に対するノーマルのインデックス及びプロジェクションモードの値
を示す(specifies the values of the projecti
on mode and of the index of the normal t
o the projection plane for the patch wit
h index p of the current atlas tile grou
p)。
x[p]):現在アトラスタイルグループ又はアトラスタイルのインデックスpを有する
パッチに対するパッチオリエンテーションインデックスを示す(indicates t
he patch orientation index for the patch
with index p of the current atlas tile
group)。
d_enabled_flag[patchIndex]がパッチデータユニットに含ま
れる。pdu_lod_enabled_flag[patchIndex]が0より大
きいと、pdu_lod_scale_x_minus1[patchIndex]及び
pdu_lod_scale_y[patchIndex]がパッチデータユニットに含
まれる。
の値が1であると、LODパラメータが現在パッチpに対して存在することを示す。この
値が0であると、現在パッチに対してLODパラメータが存在しないことを示す(equ
al to 1 specifies that the LOD parameter
s are present for the current patch p. I
f pdu_lod_enabled_flag[p] is equal to 0,
no LOD parameters are present for the c
urrent patch)。
:パッチ座標Patch3DPosX[p]に加える前に、現在アトラスタイルグループ
又はアトラスタイルのインデックスpを有するパッチ内ポイントのローカルX座標に適用
されるLOD倍率(scaling factor)を示す(specifies th
e LOD scaling factor to be applied to th
e local x coordinate of a point in a pat
ch with index p of the current atlas til
e group, prior to its addition to the pa
tch coordinate Patch3DPosX[p])。
atch3DPosY[p]に加える前に、現在アトラスタイルグループ又はアトラスタ
イルのインデックスpを有するパッチ内ポイントのローカルY座標に適用されるLOD倍
率を示す(specifies the LOD scaling factor to
be applied to the local y coordinate of
a point in a patch with index p of the
current atlas tile group, prior to its a
ddition to the patch coordinate Patch3DP
osY[p])。
_flagが1であると、point_local_reconstruction_d
ata(patchIdx)がパッチデータユニットに含まれる。
construction_data(patchIdx)):デコーダ端で圧縮損失な
どにより損失(missing)ポイントを復元するための情報を含む。
トを示す。
ス及びオフセットを示す。
行い、図45のようにこのための識別子、ローテーション、オフセットが使用される。
ion)を示す。
ALユニットのSEIメッセージのシンタックスを示す。
分)客体まで含む概念である。
体(scene object)を含む3D空間領域(spatial region)
単位の部分接近(partial access)を提供する。
プロセスに関する情報を含む。
ssential)の2つのタイプを含む。
ダー符合のためのこの情報を処理するための動作が不要である。
、客体ラベル情報(Object Label Information)、パッチ情報
(Patch Information)、及びボリュメトリック矩形情報(Volum
etric Rectangle Information)などを含むボリュメトリッ
ク注釈情報(Volumetric Annotation SEI Message)
は非必須SEIメッセージである。
リームから除去できない。必須SEIメッセージは2つのタイプにカテゴリー化される。
るために必要な情報及びアウトプットタイミングデコーダ符合のための情報を含む。実施
例によるV-PCCデコーダは関連のあるタイプA必須のSEIメッセージを捨てない。
実施例によるV-PCCデコーダはその情報をビットストリーム符合及びアウトプットタ
イミングデコーダ符合のために考慮する。
は関連するタイプBの必須SEIメッセージを捨てず、3Dポイントクラウド復元及び符
合目的のためにその情報を使用する。
ation SEI Message)を示す。
)に関連するボリュメトリック注釈SEIメッセージを図44のように定義している。
体情報SEIメッセージがアウトプット順に以前のシーン客体情報SEIメッセージを取
り消すことを示す(equal to 1 indicates that the s
cene object information SEI message canc
els the persistence of any previous scen
e object information SEI message in outp
ut order)。
新される客体の数を示す(indicates the number of obje
cts that are to be updated by the curren
t SEI)。
ン客体情報に含まれる。
1であると、更新される或いは新しく導入される客体に関する追加情報がシグナリングさ
れないことを示す。この値が0であると、更新される或いは新しく導入される客体に関す
る追加情報がシグナリングされることを示す(equal to 1 indicate
s that no additional information for an
updated or newly introduced object will
be signalled. soi_simple_objects_flag eq
ual to 0 indicates that additional infor
mation for an updated or newly introduce
d object may be signaled)。
客体情報に含まれる。
ct_label_present_flag=0、soi_priority_pre
sent_flag=0、soi_object_hidden_present_fl
ag=0、soi_object_dependency_present_flag=
0、soi_visibility_cones_present_flag=0、so
i_3d_bounding_box_present_flag=0、soi_col
lision_shape_present_flag=0、soi_point_st
yle_present_flag=0、soi_material_id_prese
nt_flag=0、soi_extension_present_flag=のよう
に値がセットされる。
g):この値が1であると、現在シーン客体情報SEIメッセージ内に客体ラベル情報が
存在することを示す。この値が0であると、客体ラベル情報が存在しないことを示す(e
qual to 1 indicates that object label in
formation is present in the current scen
e object information SEI message. soi_ob
ject_label_present_flag equal to 0 indic
ates that object label information is no
t present)。
値が1であると、現在シーン客体情報SEIメッセージ内の優先順位情報が存在すること
を示す。この値が0であると、優先順位情報が存在しないことを示す(equal to
1 indicates that priority information i
s present in the current scene object in
formation SEI message. soi_priority_pres
ent_flag equal to 0 indicates that prior
ity information is not present)。
g):この値が1であると、現在シーン客体情報SEIメッセージ内に隠し客体情報が存
在することを示す。この値が0であると、隠し客体情報が存在しないことを示す(equ
al to 1 indicates that hidden object inf
ormation is present in the current scene
object information SEI message. soi_obj
ect_hidden_present_flag equal to 0 indic
ates that hidden object information is n
ot present)。
_flag):この値が1であると、現在シーン客体情報SEIメッセージ内に客体従属
情報が存在することを示す。この値が0であると、客体従属情報が存在しないことを示す
(equal to 1 indicates that object depend
ency information is present in the curre
nt scene object information SEI message.
soi_object_dependency_present_flag equa
l to 0 indicates that object dependency
information is not present)。
t_flag):この値が1であると、観測可能円錐情報が現在シーン客体情報SEIメ
ッセージ内に存在することを示す。この値が0であると、観測可能円錐情報が存在しない
ことを示す(equal to 1 indicates that visibili
ty cones information is present in the c
urrent scene object information SEI mess
age. soi_visibility_cones_present_flag e
qual to 0 indicates that visibility cone
s information is not present)。
present_flag):この値が1であると、3Dバウンディングボックス情報が
現在シーン客体情報SEIメッセージ内に存在することを示す。この値が0であると、3
Dバウンディングボックス情報が存在しないことを示す(equal to 1 ind
icates that 3D bounding box information
is present in the current scene object i
nformation SEI message. soi_3d_bounding_
box_present_flag equal to 0 indicates th
at 3D bounding box information is not pr
esent)。
lag):この値が1であると、衝突情報が現在シーン客体情報SEIメッセージ内に存
在することを示す。この値が0であると、衝突模様情報が存在しないことを示す(equ
al to 1 indicates that collision informa
tion is present in the current scene obj
ect information SEI message. soi_collisi
on_shape_present_flag equal to 0 indicat
es that collision shape information is n
ot present)。
lag):この値が1であると、ポイントスタイル情報が現在シーン客体情報SEIメッ
セージ内に存在することを示す。この値が0であると、ポイントスタイル情報が存在しな
いことを示す(equal to 1 indicates that point s
tyle information is present in the curre
nt scene object information SEI message.
soi_point_style_present_flag equal to 0
indicates that point style information
is not present)。
:この値が1であると、物質ID情報が現在シーン客体情報SEIメッセージ内に存在す
ることを示す。この値が0であると、物質ID情報が存在しないことを示す(equal
to 1 indicates that material ID informa
tion is present in the current scene obj
ect information SEI message. soi_materia
l_id_present_flag equal to 0 indicates t
hat material ID information is not prese
nt)。
が1であると、追加拡張情報が現在シーン客体情報SEIメッセージ内に存在することを
示す。この値が0であると、追加拡張情報が存在しないことを示す(equal to
1 indicates that additional extension in
formation shall be present in the curren
t scene object information SEI message.
soi_extension_present_flag equal to 0 in
dicates that additional extension inform
ation is not present. It is a requiremen
t of bitstream conformance to this versi
on of the specification that soi_extensi
on_present_flag shall be equal to 0)。
以下の要素がシーン客体情報内に含まれる。
cale_log2):客体のために記述される3Dバウンディングボックスパラメータ
に適用されるスケールを示す(indicates the scale to be
applied to the 3D bounding box parameter
s that may be specified for an object)。
cision_minus8):この値に8を加えると、客体のために記述される3Dバ
ウンディングボックスパラメータの精度を示す(plus 8 indicates t
he precision of the 3D bounding box para
meters that may be specified for an obje
ct)。
dated):現在シーン客体情報SEIメッセージ内の客体インデックスの値をシグナ
リングするために使用されるビットの数を示す(specifies the numb
er of bits used to signal the value of a
n object index in the current scene obje
ct information SEI message)。
と、以下の要素がシーン客体情報内に含まれる。
dency_idx):現在シーン客体情報SEIメッセージ内の従属客体インデックス
の値をシグナリングするために使用されるビットの数を示す(specifies th
e number of bits used to signal the valu
e of a dependency object index in the cu
rrent scene object information SEI messa
ge)。
に含まれる。
の客体インデックスを示す。soi_object_idx[i]を示すために使用され
るビットの数はsoi_log2_max_object_idx_updatedであ
る。soi_object_idx[i]がビットストリーム内に存在しない場合、その
値は0に推論される(indicates the object index of
the i-th object to be updated. The numbe
r of bits used to represent soi_object_i
dx[i] is equal to soi_log2_max_object_id
x_updated. When soi_object_idx[i] is not
present in the bitstream, its value sha
ll be inferred to be equal to 0)。
値が1であると、インデックスIである客体は取り消され、変数ObjectTrack
ed[i]は0であることを示す。客体ラベル、3Dバウンディングボックスパラメータ
、優先順位情報、隠しフラグ、従属情報、観測可能円錐、衝突模様、ポイントスタイル及
び物質IDを含む全ての関連するパラメータはそれらのデフォルト値にリセットされる。
soi_object_cancel_flag が0であると、soi_object
_idx[i]と同じインデックスを有する客体がこの要素をフォローする情報に更新さ
れることを示す。変数ObjectTracked[i]は1にセットされる(equa
l to 1 indicates that the object with in
dex equal to i shall be canceled and tha
t the variable ObjectTracked[i] shall be
set to 0. Furthermore, all of its assoc
iated parameters, including the object l
abel, 3D bounding box parameters, priori
ty information, hidden flag, dependency
information, visibility cones, collision
shapes, point style, and material id, w
ill be reset to their default values. sh
all also be set equal to 0. soi_object_c
ancel_flag equal to 0 indicates that the
object with index equal to soi_object_i
dx[i] shall be updated with information
that follows this element and that the v
ariable ObjectTracked[i] shal be set to
1)。
ect_label_present_flagが1であると、以下の要素がシーン客体
情報内に含まれる。
[i]):この値が1であると、客体ラベル更新情報がインデックスiを有する客体に対
して存在することを示す。この値が0であると、客体ラベル更新情報が存在しないことを
示す(equal to 1 indicates that object labe
l update information is present for an o
bject with object index i. soi_object_la
bel_update_flag[i] equal to 0 indicates
that object label update information is
not present)。
下の要素がシーン客体情報内に含まれる。
デックスiを有する客体のラベルインデックスを示す(indicates the l
abel index of an object with index i)。
ーン客体情報内に含まれる。
この値が1であると、優先順位更新情報が客体インデックスiを有する客体に対して存在
することを示す。この値が0であると、客体優先順位情報が存在しないことを示す(eq
ual to 1 indicates that priority update
information is present for an object wit
h object index i. soi_priority_update_fl
ag[i] equal to 0 indicates that object p
riority information is not present)。
がシーン客体情報内に含まれる。
る客体の優先順位を示す。優先順位値が低いか又は高い(indicates the
priority of an object with index i. The
lower the priority value, the higher the
priority)。
の要素がシーン客体情報内に含まれる。
1であると、インデックスiを有する客体が隠されることを示す。この値が0であると、
インデックスiを有する客体が存在することを示す(equal to 1 indic
ates that the object with index i shall
be hidden. soi_object_hidden_flag[i] equ
al to 0 indicates that the object with i
ndex i shall become present)。
と、以下の要素がシーン客体情報内に含まれる。
flag[i]):この値が1であると、客体従属更新情報が客体インデックスiを有す
る客体に対して存在することを示す。この値が0であると、客体従属更新情報が存在しな
いことを示す(equal to 1 indicates that object
dependency update information is present
for an object with object index i. soi_
object_dependency_update_flag[i] equal t
o 0 indicates that object dependency upd
ate information is not present)。
あると、以下の要素がシーン客体情報内に含まれる。
インデックスiを有する客体従属の数を示す(indicates the numbe
r of dependencies of object with index i
)。
がシーン客体情報内に含まれる。
[j]):客体インデックスiを有する客体を有する従属を有するj番目の客体のインデ
ックスを示す(indicates the index of the j-th o
bject that has a dependency with the obj
ect with object index i)。
、以下の要素がシーン客体情報内に含まれる。
_flag[i]):この値が1であると、観測可能円錐更新情報が客体インデックスi
を有する客体に対して存在することを示す。この値が0であると、観測可能円錐更新情報
が存在しないことを示す(equal to 1 indicates that vi
sibility cones update information is pre
sent for an object with object index i.
soi_visibility_cones_update_flag[i] equa
l to 0 indicates that visibility cones u
pdate information is not present)。
ると、以下の要素がシーン客体情報内に含まれる。
の観測可能円錐の方向ベクトルの正規化Xコンポーネントを示す。存在しない場合、この
値は1.0に等しいと推論される(indicates the normalized
x-component value of the direction vect
or for the visibility cone of an object
with object index i. The value of soi_di
rection_x[i]、when not present, is assume
d to be equal to 1.0)。
の観測可能円錐の方向ベクトルの正規化Yコンポーネント値を示す。存在しない場合、こ
の値は1.0に等しいと推論される(indicates the normalize
d y-component value of the direction vec
tor for the visibility cone of an object
with object index i. The value of soi_d
irection_y[i]、when not present, is assum
ed to be equal to 1.0)。
の観測可能円錐の方向ベクトルの正規化Zコンポーネント値を示す。存在しない場合、こ
の値は1.0に等しいと推論される(indicates the normalize
d z-component value of the direction vec
tor for the visibility cone of an object
with object index i. The value of soi_d
irection_z[i]、when not present, is assum
ed to be equal to 1.0)。
を示す。存在しない場合、soi_angle[i]の値は180に等しいと推論される
(indicates the angle of the visibility c
one along the direction vector in degree
s. The value of soi_angle[i], when not p
resent, is assumed to be equal to 180°)。
以下の要素がシーン客体情報内に含まれる。
update_flag[i]):この値が1であると、客体インデックスiを有する客
体に対して存在することを示す。この値が0であると、3Dバウンディングボックス情報
が存在しないことを示す(equal to 1 indicates that 3D
bounding box information is present for
an object with object index i. soi_3d_b
ounding_box_update_flag[i] equal to 0 in
dicates that 3D bounding box information
is not present)。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のX座標値を
示す。soi_3d_bounding_box_x[i]のデフォルト値は0に等しい
(indicates the x coordinate value of the
origin position of the 3D bounding box
of an object with index i. The default v
alue of soi_3d_bounding_box_x[i] is equa
l to 0)。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のY座標値を
示す。soi_3d_bounding_box_y[i]のデフォルト値は0に等しい
(indicates the y coordinate value of the
origin position of the 3D bounding box
of an object with index i. The default v
alue of soi_3d_bounding_box_y[i] is equa
l to 0)。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のZ座標値を
示す。この値のデフォルト値は0に等しい(indicates the z coor
dinate value of the origin position of t
he 3D bounding box of an object with ind
ex i. The default value of soi_3d_boundi
ng_box_z[i] is equal to 0)。
elta_x[i]):インデックスiを有する客体のX軸上のバウンディングボックス
のサイズを示す。この値のデフォルト値は0に等しい(indicates the s
ize of the bounding box on the x axis of
an object with index i. The default val
ue of soi_3d_bounding_box_delta_x[i] is
equal to 0)。
elta_y[i]):インデックスiを有する客体のY軸上のバウンディングボックス
のサイズを示す。この値のデフォルト値は0に等しい(indicates the s
ize of the bounding box on the y axis of
an object with index i. The default val
ue of soi_3d_bounding_box_delta_y[i] is
equal to 0)。
elta_z[i]):インデックスiを有する客体のZ軸上のバウンディングボックス
のサイズを示す。この値のデフォルト値は0に等しい(indicates the s
ize of the bounding box on the z axis of
an object with index i. The default val
ue of soi_3d_bounding_box_delta_z[i] is
equal to 0)。
以下の要素がシーン客体情報内に含まれる。
ag[i]):この値が1であると、衝突模様更新情報がインデックスiを有する客体に
対して存在することを示す。この値が0であると、衝突模様更新情報が存在しないことを
示す(equal to 1 indicates that collision s
hape update information is present for a
n object with object index i. soi_collis
ion_shape_update_flag[i] equal to 0 indi
cates that collision shape update inform
ation is not present)。
ると、以下の要素がシーン客体情報内に含まれる。
スiを有する客体の衝突模様IDを示す(indicates the collisi
on shape id of an object with index i)。
素がシーン客体情報内に含まれる。
ag[i]):この値が1であると、ポイントスタイル更新情報がインデックスiを有す
る客体に対して存在することを示す。この値が0であると、ポイントスタイル更新情報が
存在しないことを示す(equal to 1 indicates that poi
nt style update information is present f
or an object with object index i. soi_po
int_style_update_flag[i] equal to 0 indi
cates that point style update informatio
n is not present)。
下の要素がシーン客体情報内に含まれる。
を有する客体のポイント模様IDを示す。この値のデフォルト値は0に等しい(indi
cates the point shape id of an object wi
th index i. The default value of soi_poi
nt_shape_id[i] is equal to 0)。
体のポイントサイズを示す。この値のデフォルト値は1に等しい(indicates
the point size of an object with index i
. The default value of soi_point_size[i]
is equal to 1)。
素がシーン客体情報内に含まれる。
]):物質ID更新情報が客体インデックスiを有する客体に対して存在することを示す
。この値が0であると、ポイントスタイル更新情報が存在しないことを示す(equal
to 1 indicates that material ID update
information is present for an object wit
h object index i. soi_point_style_update
_flag[i] equal to 0 indicates that point
style update information is not present
)。
の要素がシーン客体情報内に含まれる。
物質IDを示す。この値のデフォルト値は0に等しい(indicates the m
aterial ID of an object with index i. Th
e default value of soi_material_id[i] is
equal to 0)。
ion)を示す。
ALユニットのSEIメッセージに関する客体ラベル情報のシンタックスを示す。
ル情報SEIメッセージがアウトプット順に以前の客体ラベル情報SEIメッセージの残
存を取り消す(equal to 1 indicates that the obj
ect label information SEI message cancel
s the persistence of any previous object
label information SEI message in output
order)。
れる。
lag):この値が1であると、ラベル言語情報が客体ラベル情報SEIメッセージ内に
存在することを示す。この値が0であると、ラベル言語情報が存在しないことを示す(e
qual to 1 indicates that label language
information is present in the object lab
el information SEI message. oli_label_la
nguage_present_flag equal to 0 indicates
that label language information is not
present)。
下の要素が客体ラベル情報に含まれる。
しい。
端バイトに続いてIETF RFC 5646により記述される言語タグを含む。oli
_label_languageシンタックス要素の長さは、null終端バイトを含ま
ない255倍に等しいか又は小さい(contains a language tag
as specified by IETF RFC 5646 followed
by a null termination byte equal to 0x00
. The length of the oli_label_language s
yntax element shall be less than or equa
l to 255 bytes, not including the null t
ermination byte)。
新されるラベルの数を示す(indicates the number of lab
els that are to be updated by the curren
t SEI)。
含まれる。
ルのラベルインデックスを示す(indicates the label index
of the i-th label to be updated)。
であると、oli_label_idx[i]のようなインデックスを有するラベルが取
り消され、空いているストリングと等しくなることを示す。この値が0であると、oli
_label_idx[i]のようなインデックスを有するラベルがこの要素に従う情報
に更新されることを示す(equal to 1 indicates that th
e label with index equal to oli_label_id
x[i] shall be canceled and set equal to
an empty string. oli_label_cancel_flag e
qual to 0 indicates that the label with
index equal to oli_label_idx[i] shall be
updated with information that follows t
his element)。
ル情報に含まれる。
しい。
bel[i]シンタックス要素の長さはnull終端バイトを含まない255バイトに等
しいか又は小さい(indicates the label of the i-th
label. The length of the vti_label[i] s
yntax element shall be less than or equa
l to 255 bytes, not including the null t
ermination byte)。
ALユニットのSEIメッセージに関するパッチ情報のシンタックスを示す。
SEIメッセージがアウトプット順に以前のパッチ情報SEIメッセージの残存を取り消
すことを示す。パッチ情報テーブル内の全てのエントリーが除去される(Equal t
o 1 indicates that the patch information
SEI message cancels the persistence of
any previous patch information SEI messa
ge in output order and that all entries
in the patch information table shall be
removed)。
ates):現在SEIメッセージ内のパッチ情報テーブル内に更新されるタイルグルー
プ(又はタイル)の数を示す(indicates the number of ti
le groups that are to be updated in the
patch information table by the current S
EI message)。
がパッチ情報内に含まれる。
idx_tracked):現在パッチ情報SEIメッセージ内にトラックされた客体イ
ンデックスの値をシグナリングするために使用されるビットの数を示す(specifi
es the number of bits used to signal the
value of a tracked object index in the
current patch information SEI message)。
x_updated):現在パッチ情報SEIメッセージ内の更新されたパッチインデッ
クスの値をシグナリングするために使用されるビットの数を示す(specifies
the number of bits used to signal the va
lue of an updated patch index in the cur
rent patch information SEI message)。
内に含まれる。
s[i]):現在SEIメッセージ内のi番目に更新されたタイルグループ(又はタイル
)に対するタイルグループアドレス又はタイルアドレスを示す(specifies t
he tile group address for the i-th updat
ed tile group in the current SEI message
)。
cel_flag[i]):この値が1であると、インデックスiを有するタイルグルー
プ(又はタイル)及びこのタイルグループ(又はタイル)前に割り当てられた全てのパッ
チが除去されることを示す。この値が0であると、インデックスiを有するタイルグルー
プ(又はタイル)前に割り当てられた全てのパッチが維持されることを示す(Equal
to 1 indicates that the tile group with
index i shall be reseted and all patche
s previously assigned to this tile group
will be removed. pi_tile_group_cancel_f
lag[i] equal to 0 indicates that all pat
ches previously assigned to the tile gro
up will index i will be retained)。
ブル内のインデックスiを有するタイルグループ(又はタイル)内の現在SEIにより更
新されるパッチの数を示す(indicates the number of pat
ches that are to be updated by the curre
nt SEI within the tile group with index
i in the patch information table)。
る。
内に更新されるインデックスiを有するタイルグループ又はタイル内のj番目のパッチの
パッチインデックスを示す。pi_patch_idx[i]を示すために使用されるビ
ット数は、pi_log2_max_patch_idx_updatedである。pi
_patch_idx[i]がビットストリーム内に存在しないと、その値は0に推論さ
れる(indicates the patch index of the j-th
patch in tile group with index i that i
s to be updated in the patch information
table. The number of bits used to repre
sent pi_patch_idx[i] is Equal to pi_log2
_max_patch_idx_updated. When pi_patch_id
x[i] is not present in the bitstream, it
s value shall be inferred to be Equal to
0)。
この値が1であると、インデックスiを有するタイルグループ又はタイル内のインデック
スjを有するパッチがパッチ情報テーブルから除去されることを示す(Equal to
1 indicates that the patch with index j
in tile group with index i shall be rem
oved from the patch information table)。
がパッチ情報内に含まれる。
1[i][j]):インデックスiを有するタイルグループ又はタイル内インデックスj
を有するパッチに連関する客体の数を示す(indicates the number
of objects that are to be associated wi
th the patch with index j in tile group
with index i)。
p]+1のようにセットされ、mの値だけ以下の要素がパッチ情報内に含まれる。
]):インデックスiを有するタイルグループ又はタイル内のj番目のパッチに連関する
k番目の客体インデックスを示す。pi_patch_object_idx[i]を示
すために使用されるビットの数は、pi_log2_max_object_idx_t
rackedである。pi_patch_object_idx[i]がビットストリー
ム内に存在しないと、その値は0に等しいと推論される(indicates the
K-th object index that is associated wit
h the j-th patch in tile group with inde
x i. The number of bits used to represen
t pi_patch_object_idx[i] is Equal to pi_
log2_MAX_object_idx_tracked. When pi_pat
ch_object_idx[i] is not present in the b
itstream, its value shall be inferred to
be Equal to 0)。
ngle Information)を示す。
ALユニットのSEIメッセージに関するボリュメトリック矩形情報のシンタックスを示
す。
トリック矩形情報SEIメッセージがアウトプット順に以前のボリュメトリック矩形情報
SEIメッセージの残存を取り消すことを示す。ボリュメトリック矩形情報テーブル内の
全てのエントリーが除去されることを示す(Equal to 1 indicates
that the volumetric rectangles informat
ion SEI message cancels the persistence
of any previous volumetric rectangles in
formation SEI message in output order an
d that all entries in the volumetric rec
tangle information table shall be remove
d)。
により更新されるボリュメトリック矩形の数を示す(indicates the nu
mber of volumetric rectangles that are t
o be updated by the current SEI)。
素がボリュメトリック矩形情報に含まれる。
_idx_tracked):現在ボリュメトリック矩形情報SEIメッセージ内のトラ
ックされた客体インデックス値をシグナリングするために使用されるビットの数を示す(
specifies the number of bits used to sig
nal the value of a tracked object index
in the current volumetric rectangle info
rmation SEI message)。
e_idx_updated):現在ボリュメトリック矩形情報SEIメッセージ内の更
新されたボリュメトリック矩形インデックス値をシグナリングするために使用されるビッ
トの数を示す(specifies the number of bits used
to signal the value of an updated volum
etric rectangle index in the current vol
umetric rectangle information SEI messag
e)。
トリック矩形情報に含まれる。
ク矩形情報テーブル内に更新されるi番目のボリュメトリック矩形インデックスを示す。
vri_rectangle_idx[i]を示すために使用されるビットの数は、vr
i_log2_max_rectangle_idx_updatedである。vri_
rectangle_idx[i]がビットストリーム内に存在しない場合、その値は0
に等しい(indicates the i-th volumetric recta
ngle index that is to be updated in the
volumetric rectangle information table.
The number of bits used to represent vri
_rectangle_idx[i] is equal to vri_log2_m
ax_rectangle_idx_updated. When vri_recta
ngle_idx[i] is not present in the bitstr
eam, its value shall be inferred to be e
qual to 0)。
:この値が1であると、インデックスiを有するボリュメトリック矩形がボリュメトリッ
ク矩形情報テーブルから除去されることを示す(Equal to 1 indicat
es that the volumetric rectangle with in
dex i shall be removed from the volumetr
ic rectangle information table)。
要素がボリュメトリック矩形情報に含まれる。
e_flag[i]):この値が1であると、インデックスiを有するボリュメトリック
矩形に対する2Dバウンディングボックス情報が更新されることを示す。この値が0であ
ると、インデックスiを有するボリュメトリック矩形に対する2Dバウンディングボック
ス情報が更新されないことを示す(Equal to 1 indicates tha
t 2D bounding box information for the vo
lumetric rectangle with index i should b
e updated. vti_bounding_box_update_flag[
i] Equal to 0 indicates that 2D bounding
box information for the volumetric rect
angle with index i should not be updated
)。
下の要素がボリュメトリック矩形情報に含まれる。
現在アトラスフレーム内のi番目のボリュメトリック矩形のバウンディングボックスの左
上部ポジションの垂直座標値を示す。この値のデフォルト値は0に等しい(indica
tes the vertical coordinate value of the
top-left position of the bounding box o
f the i-th volumetric rectangle within t
he current atlas frame. The default valu
e of vri_bounding_box_top[i] is equal to
0)。
:現在アトラスフレーム内のi番目のボリュメトリック矩形のバウンディングボックスの
左上部ポジションの水平座標値を示す。この値のデフォルト値は0に等しい(indic
ates the horizonal coordinate value of t
he top-left position of the bounding box
of the i-th volumetric rectangle within
the current atlas frame. The default va
lue of vri_bounding_box_left[i] is equal
to 0)。
:i番目のボリュメトリック矩形のバウンディングボックスの幅を示す。この値のデフォ
ルト値は0に等しい(indicates the width of the bou
nding box of the i-th volumetric rectang
le. The default value of vri_bounding_bo
x_width[i] is equal to 0)。
]):i番目のボリュメトリック矩形のバウンディングボックスの高さを示す。この値の
デフォルト値は0に等しい(indicates the height of the
bounding box of the i-th volumetric rec
tangle. The default value of vri_boundin
g_box_height[i] is equal to 0)。
inus1[i]):i番目のボリュメトリック矩形に関連する客体の数を示す(ind
icates the number of objects that are to
be associated with the i-th volumetric
rectangle)。
s1[p]+1にセットされ、m値に対して以下の要素がボリュメトリック矩形情報に含
まれる。
j]):i番目のボリュメトリック矩形に関連するj番目の客体インデックスを示す。v
ri_rectangle_object_idx[i]を示すために使用されるビット
数はvri_log2_max_object_idx_trackedである。vri
_rectangle_object_idx[i]がビットストリーム内に存在しない
場合、その値は0に推論される(indicates the j-th object
index that is associated with the i-th
volumetric rectangle. The number of bits
used to represent vri_rectangle_object_
idx[i] is equal to vri_log2_max_object_i
dx_tracked. When vri_rectangle_object_id
x[i] is not present in the bitstream, it
s value shall be inferred to be Equal to
0)。
及び図32のビットストリーム32000などの具体的な含み関係を示す。
る。
umetric_tiling_info_objects()に該当する情報はsce
ne_object_information()である。各パッチ内に属する客体との
関係を示すpatch_information()、及び1つ以上の客体に対して割り
当てられるvolumetric_rectangle_information()情
報がある。
ードに含まれたNALユニット48010は図32のビットストリーム32000に対応
する。
ラメータセットに対応する。
タイルグループ(又はタイル)レイヤに対応する。
する。
報に対応する。
タイルグループ(又はタイル)ヘッダに対応する。
対応する。
により識別され、アトラスフレームパラメータセット50020に含まれる。
又はタイル)ヘッダ50060を含み、アトラスタイルグループ(又はタイル)アドレス
によりアトラスタイルグループ(又はタイル)ヘッダが識別される。
される。
ックスにより識別される。
参照/含み関係の情報を生成してビットストリームを生成する。
トリームに含まれたポイントクラウドデータを復元する。また、ビットストリームに含ま
れた図50のようなアトラスデータに基づいてポイントクラウドデータを効率的に復号し
て復元する。
イントクラウドデータに対するビデオフレーム、アトラス、パッチ、客体間の関係を示す
。
2により生成されて復号される。その後、アトラスフレームを示すアトラスビットストリ
ームは実施例による送受信装置のカプセル化部/デカプセル化部20004,20005
,21009,22000などにより実施例によるフォーマットに形成されて送受信され
る。
。このとき、変化するアトラスタイルグループ(Atlas Tile Group)又
はアトラスタイルの構成は図49の通りである。
2)でパッチ(P1ないしP3)が構成される。フレーム1(ビデオフレーム1)は3つ
のアトラスタイルグループ(atlas tile group)で構成される。
スタイルグループはアトラスタイル1ないし3に対応する。
O1ないしO3)を含む。パッチ2(P2)は1つの客体(O2)を含む。パッチ3(P
3)は1つの客体(O1)を含む。
())に含まれた客体IDに該当するフィールド(pi_patch_object_i
dx[j])に基づいてパッチ及び客体間のマッピング関係を表現する。
Patch1(P1)は1つのobject(O1)を、patch2(P2)は2つの
object(O2)を含む。
)に含まれた客体IDに該当するフィールド(pi_patch_object_idx
[j])に基づいてマッピング関係を表現する。
含む。Patch1(P1)は1つのobject(O2)を含む。
)に含まれた客体IDに該当するフィールド(pi_patch_object_idx
[j])に基づいてマッピング関係を示す。
P2)を含む。Patch1は2つのobject(O1,O2)を含む。patch2
は1つのobject(O1)を含む。
)に含まれた客体IDに該当するフィールド(pi_patch_object_idx
[j])に基づいてマッピング関係を示す。
P2)を含む。Patch1(P1)は1つのobject(O2)を含む。patch
2(P1)は2つのobjectを含む。
)に含まれた客体IDに該当するフィールド(pi_patch_object_idx
[j])に基づいてマッピング関係を示す。
Patch1(P1)は1つのobject(O1)を含む。
)に含まれた客体IDに該当するフィールド(pi_patch_object_idx
[j])に基づいてマッピング関係を示す。
-PCC(V3C)システムで生成されて送受信されるデータの構造について説明する。
ルを生成し、ファイル内の以下のデータを生成して送受信する。
リームに基づいて以下のデータ構造を生成して送信し、実施例による受信方法/装置は以
下のデータ構造を受信してパースして、ビットストリーム内に含まれたポイントクラウド
データを復元する。
リック符号化を示す。コーディングされたポイントクラウドシーケンス(coded p
oint cloud sequence,CPCS)を含むV-PCCビットストリー
ムは、V-PCCパラメータセット(VPS)データ、コーディングされたアトラスビッ
トストリーム、2Dビデオ符号化された占有マップビットストリーム、2Dビデオ符号化
されたジオメトリビットストリーム及びゼロ又は1つ以上の2Dビデオ符号化された特質
ビットストリームを伝達するV-PCCユニットで構成される。
ck)
及びメディアボックス(MediaBox)のハンドラーボックス(HandlerBo
x)内のボリュメトリックビジュアルメディアハンドラータイプ‘volv’により識別
される。マルチボリュメトリックビジュアルトラックはファイル内に存在する。
Media header)
コンテナはメディア情報ボックス(MediaInformationBox)である。
必須情報であり、1つのヘッダとして存在する。
mationbox)内のボリュメトリックビジュアルメディアヘッダボックス(Vol
umetricVisualMediaHeaderBox)を使用する。
alMediaHeaderBox)の構造は以下の通りである。
eaderBox
l sample entry)
リー(VolumetricVisualSampleEntry)を使用する。
SampleEntry)の構造は以下の通りである。
gname) extends SampleEntry(codingname){
である。固定32-バイトフィールド内に構成される。UTF-8を使用して符号化され
るディスプレイ可能なデータの複数のバイトに続いて1番目のバイトはディスプレイされ
る複数のバイトにセットされる。また、サイズバイトを含む完全な32バイトの全体にパ
ッドされる。このフィールドは0にセットされる(is a name, for in
formative purposes. It is formatted in a
fixed 32-byte field, with the first byt
e set to the number of bytes to be displ
ayed, followed by that number of bytes o
f displayable data encoded using UTF-8,
and then padding to complete 32 bytes To
tal (including the size byte). The field
may be set to 0)。
ples)
義される。
structure)について説明する。
ィングされたV-PCCコンポーネントトラック(スキーム情報内)の両方に存在する。
このボックスは各トラックにより伝達されるデータに対するV-PCCユニットヘッダを
含む。
nds FullBox(‘vunt’, version=0,0){
tion box)
oderConfigurationRecord)を含む。
’vpcc’){
nfig;
ョン1を定義する。レコードについて共に使えない変更はバージョン番号の変更により表
示される(This record contains a version fiel
d. This version of the specification def
ines version 1 of this record. Incompati
ble changes to the record will be indica
ted by a change of version number. Reade
rs are not attempt to decode this record
or the streams to which it applies IF t
he version number is unrecognized)。
れるストリームに対してコンスタント(constant)することができる。デコーダ
構成レコードはアトラスサブストリームSEIメッセージと共に存在する。
onRecord{
;
rameterSet;//as defined in ISO/IEC 23090
-5
as defined in ISO/IEC 23090-5
ドである。レコードに対する両立不可な変化はバージョン番号の変化により表示する。
構成レコードが適用されるストリーム内のV-PCCサンプル内のNALユニット長さ(
NALUnitLength)フィールドのバイト内の長さを示す。
トリームに対するサンプルストリームNALヘッダ(sample_stream_na
l_header)内のssnh_unit_size_precision_byte
s_minus1である。
デコーダ構成レコード内にシグナリングされるV-PCCパラメータセットユニットの数
を示す。
:V-PCCパラメータセットフィールドのバイト内のサイズを示す。
rameter_set()を伝達するVPCC_VPSタイプのV-PCCユニットで
ある。
されるタイプのアトラスNALユニットのアレイ数を示す。
のタイプの全てのアトラスNALユニットが以下のアレイに存在し、ストリーム内にない
ことを示す。この値が0であると、指示されたタイプの追加アトラスNALユニットがス
トリーム内に存在することを示す。デフォルト及び許容された値はサンプルエントリーネ
イムにより制約を受ける。
ALユニットのタイプを示す。NAL_ASPS、NAL_PREFIX_SEI又はN
AL_SUFFIX_SEIアトラスNALユニットを示す値のいずれかである。
ームに対する構成レコード内に含まれた指示されたタイプのアトラスNALユニットの数
を示す。SEIアレイはただSEIメッセージだけを含む。
トフィールドのバイト内のサイズを示す。長さフィールドはNALユニットヘッダ及びN
ALユニットペイロードのサイズを含み、長さフィールド自体を含まない。
FPS、NAL_PREFIX_ESEI、NAL_PREFIX_NSEI、NAL_
SUFFIX_ESEI又はNAL_SUFFIX_NSEIのNALユニットを含む。
セットアップユニット内に存在しない場合、NAL_PREFIX_ESEI、NAL_
PREFIX_NSEI、NAL_SUFFIX_ESEI又はNAL_SUFFIX_
NSEIはSEIメッセージを含む。即ち、ストリームに関する情報を提供する。このよ
うなSEIの例示はユーザ-データSEIである。
gionS box)の構造を示す。
されるシステムが生成及び送受信するファイル(図24及び図25を参照)内に含まれる
ボックスは、V-PCC空間領域ボックス(VPCC Spatial RegionS
box)を含む。
バウンディングボックス情報及び空間領域に関連するラベル情報、アトラスタイプグルー
プID(又はアトラスタイルID)及びアトラスタイルグループ(又はタイル)に含まれ
るパッチIDのような情報を含む。
(V-PCC component track group)情報を含む。
はv-pccトラックのサンプルエントリーに含まれる。
S):空間領域に含まれるV-PCC客体の一部データに連関するアトラスタイプグルー
プ(又はタイル)の数を示す。
プ(又はタイル)が有しているパッチのうち、該当する空間領域に含まれるV-PCC客
体の一部データに連関するアトラスタイルグループ(又はタイル)に属するパッチの数を
示す。
しているパッチのうち、該当する空間領域に含まれるV-PCC客体の一部データに連関
するアトラスタイルグループ(又はタイル)に属するpatchのpatch idを示
す。
るトラックグループの数を示す。
めのV-PCCコンポーネントを伝達するトラックに対するトラックグループを示す。
)に含まれるV-PCC客体の一部データに連関するアトラスタイルグループ(又はタイ
ル)に関連するラベルID(label id)を示す。
C客体の一部データに連関するアトラスタイルグループ(又はタイル)に関連するラベル
の言語(language)情報を示す。
の一部データに連関するアトラスタイルグループ(又はタイル)に関連するラベルネイム
(label name)情報を示す。
テムはサンプルグループを生成する。
arameter set sample group)
ク内のサンプルのこのサンプルグループ内で伝達されるアトラスパラメータセットに対す
る配置を示す。グルーピングタイプ(grouping_type)が’vaps’であ
るサンプルツーグループボックス(SampleToGroupBox)が存在する場合
、伴うサンプルグループ記述ボックスが存在し、サンプルが属するこのグループのIDを
含む。
type)を有する最大1つのサンプルツーグループボックスを含む。
oupDescriptionEntry() extends SampleGrou
pDescriptionEntry(’vaps’){
サンプルグループ記述内にシグナリングされるアトラスパラメータセットの数を示す。
グループに連関するアトラスシーケンスパラメータセット、アトラスフレームパラメータ
セットを含むサンプルストリームVPCCユニット(sample_stream_vp
cc_unit())インスタンスである。
ように表現できる。
oupDescriptionEntry() extends SampleGrou
pDescriptionEntry(’vaps’){
;
{
tNALUnit;
サンプルグループ記述内にシグナリングされる全てのサンプルストリームNALユニット
内のNALユニットサイズ(ssnu_nal_unit_size)要素のバイト内の
精度を示す(plus 1 indicates the precision, in
bytes, of the ssnu_nal_unit_size elemen
t in all sample stream NAL units signall
ed in this sample group description)。
スシーケンスパラメータセット、アトラスフレームパラメータセットを含むサンプルスト
リームNALユニット(sample_stream_nal_unit())である。
テムは、動的空間領域サンプルグループ(Dynamic Spatial Regio
n Sample Group)を生成する。
type)は、V-PCCトラック内のサンプルのこのサンプルグループ内に伝達される
空間領域ボックスへの配置を示す。
eToGroupBox)が存在する場合、同一のグルーピングタイプを有する伴うサン
プルグループ記述ボックス(SampleGroupDescriptionBox)が
存在し、サンプルが属するこのグループのIDを含む。
ーグループボックスを含む。
SampleGroupDescriptionEntry() extends Sa
mpleGroupDescriptionEntry(’dysr’){
テムは、トラックグルーピング(Track grouping)を以下のように提供す
る。
uping)
有するトラックグループタイプボックス(TrackGroupTypeBox)は、こ
のトラックが3D空間領域に対応するV-PCCコンポーネントトラックのグループに属
することを示す。同一の空間領域に属するトラックがトラックグループタイプ’3drg
’に対するトラックグループID(track_group_id)の同じ値を有する。
1つの空間領域からのトラックのトラックグループID(track_group_id
)は、他の空間領域のトラックのトラックグループID(track_group_id
)とは異なる。
テムは、V-PCCビットストリームのマルチトラックコンテナ(Multi trac
k container of V-PCC Bitstream)を以下のように提供
する。
イル内の個々のトラックにマッピングされる。マルチトラックISOBMFF V-PC
Cコンテナ内に2つのタイプのトラックがある。2つのタイプのトラックはV-PCCト
ラック及びV-PCCコンポーネントトラックである。
メトリ及び特質サブビットストリームに対する2Dビデオ符号化データを伝達するビデオ
スキームトラックである。V-PCCコンポーネントトラックは以下の条件に従う。
トリームの役割を説明する新しいボックスが挿入される。
V-PCCコンポーネントトラックのメンバーシップを成立するために、V-PCCトラ
ックからV-PCCコンポーネントトラックに導入される。V-PCCトラックにより表
現される特定のポイントクラウド内のV-PCCコンポーネントトラックのメンバーシッ
プを成立するために、
ムに寄与することを表現するように、トラックヘッダフラグが0にセットされる。
オ コーディングされたV-PCCコンポーネントトラックに対して同一のポイントクラ
ウドデータに寄与するサンプル及びV-PCCトラックは同一のプレゼンテーション時間
を有する。かかるサンプルに対して使用されるV-PCCアトラスシーケンスパラメータ
セット及びアトラスフレームパラメータセットは、ポイントクラウドフレームのコンポジ
ションタイム(composition time)に先立つか又は同じ復号タイムを有
する。同一のV-PCCシーケンスに属する全てのトラックは同一の暗黙的又は明示的な
編集リストを有する(Tracks belonging to the same V
-PCC sequence are time-aligned. Samples
that contribute to the same point cloud
frame across the different video-encoded
V-PCC component tracks and the V-PCC tr
ack has the same presentation time. The
V-PCC atlas sequence parameter sets and
atlas frame parameter sets used for such
samples have a decoding Time Equal or p
rior to the composition Time of the poin
t cloud frame. In addition, all tracks b
elonging to the same V-PCC sequence have
the same implied or explicit edit lists
)。
ミング構造(stts,ctts及びcslg)又はムービーフラグメント内の同等なメ
カニズムにより処理される(Synchronization between the
elementary streams in the component tra
cks are handled by the ISOBMFF track tim
ing structures(stts, ctts and CSLG), or
equivalent mechanismS in movie fragments
)。
よって整列されるか又は整列されない。時間整合のない場合、任意アクセスは所望の時間
に開始することを可能にするために、異なる同期開始時間から様々なトラックをプリ・ロ
ーリングすることを含む。時間整合の場合、(例えば、V-PCCプロファイルにより要
求される)V-PCCトラックの同期サンプルは、V-PCCコンテンツに対する任意ア
クセスポイントとして考慮される。任意アクセスはただV-PCCトラックの同期サンプ
ル情報を参照することにより行われる(The sync samples in th
e V-PCC track and V-PCC component tracks
may or may not be time-aligned. In the
absence of time-alignment, random access
may involve pre-rolling the various tra
cks from different sync start-times, to
enable starting at the desired time. In
the case of time-alignment(e.g. required
by a V-PCC profile such as the Basic to
olset profile as defined in [VPCC]), the
sync samples of the V-PCC track should
be considered as the random access point
s for the V-PCC content, and random acce
ss should be done by only referencing th
e sync sample information of the V-PCC t
rack)。
エントリー内)及びアトラスサブビットストリームNALユニットを伝達するサンプルを
含むV-PCCトラック。またこのトラックは、ユニットタイプVPCC_OVD、VP
CC_GVD及びVPCC_AVDのようなビデオ圧縮されたV-PCCユニットのペイ
ロードを伝達する他のトラックを参照するトラックを含む(a V-PCC track
which contains V-PCC parameter sets and
atlas sub-bitstream parameter sets (in
the sample entry) and samples carrying a
tlas sub-bitstream NAL units. This track
also includes track references to other
tracks carrying the payloads of video c
ompressed V-PCC units(i.e., unit types V
PCC_OVD, VPCC_GVD, and VPCC_AVD))。
ップデータに対するビデオコーディングされた基本ストリームのアクセスユニットを含む
、ビデオスキームトラック(a restricted video scheme t
rack where the samples contain access un
its of a video-coded elementary stream f
or occupancy map data(i.e., payloads of
V-PCC units of type VPCC_OVD))。
トリデータに対するビデオコーディングされた基本ストリームのアクセスユニットを含む
、1つ又は1つ以上のビデオスキームトラック(One or more restri
cted video scheme tracks where the sampl
es contain access units of video-coded e
lementary streams for geometry data(i.e.
, payloads of V-PCC units of type VPCC_G
VD))。
ータのビデオコーディングされた基本ストリームのアクセスユニットを含む、ゼロ又は1
つ以上のビデオスキームトラック(Zero or more restricted
video scheme tracks where the samples co
ntain access units of video-coded elemen
tary streams for attribute data (i.e., p
ayloads of V-PCC units of type VPCC_AVD)
)。
テムは、V-PCCトラックを以下のように提供する。
ntry)
ry is mandatory
be present
ntry)のサンプルエントリータイプは’vpc1’、’vpcg’であり、コンテナ
はサンプル記述ボックスであり、’vpc1’又は’vpcg’サンプルは必須であり、
1つ又は1つ以上のサンプルエントリーが存在する。
するボリュメトリックビジュアルサンプルエントリーを拡張するV-PCCサンプルエン
トリーを使用する。V-PCCトラックサンプルエントリーはV-PCC構成ボックスを
含む。
ト、アトラスフレームパラメータセット又はV-PCC SEIがセットアップユニット
内にある。’vpcg’サンプルエントリーにおいて、アトラスシーケンスパラメータセ
ット、アトラスフレームパラメータセット、V-PCC SEIがこのアレイ内又はスト
リーム内に存在する。
PCCトラックのビットレイト情報をシグナリングするためにV-PCCボリュメトリッ
クサンプルエントリー内に存在する。
nds VolumetricVisualSampleEntry (’vpc1’)
{
format)
ニットに対応する。様々なコンポーネントトラック内のこのフレームに対応するサンプル
はV-PCCトラックサンプルと同じコンポジションタイムを有する。各々のV-PCC
サンプルは1つ又は1つ以上のアトラスNALユニットを含むタイプVPCC_ADのV
-PCCユニットペイロードをただ1つ含む。
mple_size;//size of sample(e.g., from Sa
mpleSizeBox)
thSizeMinusOne+1)*nalUnit.ssnu_nal_unit_
size;
内のシングルアトラスNALユニットを含む。
)
random access point,IRAP)コーディングされたアトラスア
クセスユニットを含むサンプルである。ASPS、AAPS、AFPSのようなアトラス
サブビットストリームパラメータセット及びSEIメッセージは必要な場合、任意アクセ
スのために同期サンプルで繰り返される。
テムは、ビデオコーディングされたV-PCCコンポーネントトラック(Video-e
ncoded V-PCC component tracks)を以下のように提供す
る。
トラックから復号されたフレームをディスプレイすることが意味ないので、ビデオスキー
ムタイプがかかるビデオコーディングされたトラックに対して定義される(Since
it is not meaningful to display the deco
ded frames from attribute, geometry, or
occupancy map tracks without reconstruct
ing the point cloud at the player side,
a restricted video scheme type is define
d for these video-coded tracks)。
オサンプルエントリーのスキーム情報ボックス(RestrictedSchemeIn
foBox)のスキームタイプボックス(SchemeTypeBox)のスキームタイ
プ(scheme_type)フィールド内の’pccv’により識別される。
れるビデオコーデック上に制限がない。かかるコンポーネントは異なるビデオコーデック
を使用して符号化される。
ニットヘッダボックス(VPCCUnitHeaderBox)を含み、存在する。
テムは、V-PCCコンポーネントトラックを参照するための方案を以下のように提供す
る。
ック参照タイプボックス(TrackReferenceTypeBoxes)がPCC
トラックのトラックボックス(TrackBox)内、各コンポーネントに対して1つず
つトラック参照ボックス(TrackReferenceBox)に追加される。
PCCトラックを参照するビデオトラックを指定するトラックID(track_IDs
)のアレイを含む。
タイプ(reference_type)は、占有マップ、ジオメトリ又は特質、占有マ
ップのようなコンポーネントのタイプを識別する。かかるトラック参照タイプは以下の通
りである。
コンポーネントを含む。
コンポーネントを含む。
ーネントを含む。
trictedSchemeInfoBox)内にシグナリングされるV-PCCコンポ
ーネントのタイプは、V-PCCトラックからトラック参照の参照タイプにマッチングさ
れる。
テムは、V-PCCビットストリームのシングルトラックコンテナ(Single tr
ack container of V-PCC Bitstream)を以下のように
提供する。
されるV-PCC符号化された基本ビットストリームを求める(a single-tr
ack encapsulation of V-PCC data requires
the V-PCC encoded elementary bitstream
to be represented by a single-track decl
aration)。
ームのシンプルISOBMFFカプセル化である場合に活用される。かかるビットストリ
ームは追加プロセシングなしにシングルトラックとしてすぐ格納される。V-PCCユニ
ットヘッダデータ構造はビットストリーム内に格納される。V-PCCデータのシングル
トラックコンテナはマルチトラックファイル生成、トランスコーディング、DASH分割
などの追加プロセシングに対するメディアワークフローに提供される。
テムは、V-PCCビットストリームトラック(V-PCC bitstream tr
ack)を以下のように提供する。
ry is mandatory
be present
記述ボックスであり、’vpe1’又は’vpeg’サンプルエントリーは必須であり、
1つ又は1つ以上のサンプルエントリーが存在する。
トリータイプを有するボリュメトリックビジュアルサンプルエントリー(Volumet
ricVisualSampleEntry)を使用する。
ト、アトラスフレームパラメータセット、SEIはセットアップユニットアレイ内にある
。’vpeg’サンプルエントリーにおいて、アトラスシーケンスパラメータセット、ア
トラスフレームパラメータセット、SEIがアレイ内又はストリーム内に存在する。
ry() extends VolumetricVisualSampleEntry
(’vpe1’){
sample format)
V-PCCアクセスユニットに属する1つ又は1つ以上のV-PCCユニットを含む。サ
ンプルは同期サンプルのように独立的であるか、又はV-PCCビットストリームトラッ
クの他のサンプルに復号-従属的である。
c sample)
態を有しない。
-sample)
含まれるV-PCCユニットである。
べるサンプルテーブルボックス(SampleTableBox)内又はムービーフラグ
メントボックス(MovieFragmentBoxes)の各々のトラックフラグメン
トボックス(TrackFragmentBox)内の1つのサブサンプル情報ボックス
(SubSampleInformationBox)を含む(A V-PCC bit
stream track shall contain one SubSample
Informationbox in its SampleTableBox, or
in the TrackFragmentbox of each of its
MovieFragmentBoxes, which lists the V-PC
C bitstream sub-samples)。
情報ボックス(SubSampleInformationBox)内のサブサンプルエ
ントリーの32-ビットコーデック特定のパラメータ(codec_specific_
parameters)フィールドにコピーされる。各々のサブサンプルのV-PCCユ
ニットタイプはサブサンプル情報ボックス内のサブサンプルエントリーのコーデック特定
のパラメータフィールドをパースすることにより識別される。
領域ごとのタイルがどのように構成されるかを分かる。実施例による客体とは、ポイント
クラウドデータの対象となる客体又はその客体の部分を示す。タイルはアトラスフレーム
(2D)を分割する単位である。実施例による受信方法/装置はタイルがどの客体にマッ
チングされるかを分かる。つまり、実施例による受信方法/装置はポイントクラウドデー
タの部分接近を効率的に行うことができる。
onSample)を示す。
テムは、ポイントクラウドデータの動的空間領域(Dynamic spatial r
egion)をシグナリングするために、動的空間領域に関する情報をファイル(図24
及び図25を参照)内で生成して送受信する。
テムは、動的空間領域を時間指定メタデータトラック(timed metadata
track)又はサンプルエントリーに追加することができる。
トラックに伝達される。
定メタデータトラックであると、V-PCCトラックにより伝達されるポイントクラウド
ストリームについて定義された空間領域は動的領域として考慮される。
ックに対する’cdsc’トラック参照を含む。
テムはサンプルエントリーに図51のVPCCSpatialRegionsBoxのよ
うなデータ構造を追加する。
る動的空間領域サンプルエントリー(DynamicSpatialRegionSam
pleEntry)はVPCCSpatialRegionsBoxを含む。
0に説明している。
領域サンプル(DynamicSpatialRegionSample)は図51のよ
うな要素を含み、要素の詳細定義は図50を参照できる。図50において、さらに図51
の要素は動的空間領域であるが、関連する情報を示す。
ルレベルにおいてポイントクラウドデータの部分接近を提供するために、図51のような
シグナリング情報を生成する。これにより、実施例による受信方法/装置は領域ごとにタ
イルがどのように構成されるかを分かる。またタイルがどの客体にマッチングされるかを
分かる。
。
テムは、ノンタイムV-PCCデータ(Non-timed V-PCC data)を
図54のようにカプセル化して送受信する。
の新しいアイテムタイプ(V-PCCアイテム及びV-PCCユニットアイテム)はノン
タイムV-PCCデータをカプセル化するために定義される。
ユニットアイテム及び他のV-PCC符号化されたコンテンツ表現情報の存在を示すため
に、メタボックス(MetaBox)のハンドラーボックス(HandlerBox)内
に定義されて格納される。
独立して復号可能なV-PCCアクセスユニットを示すアイテムである。アイテムタイプ
’vpci’はV-PCCアイテムを識別するために定義される。V-PCCアイテムは
アトラスサブビットストリームのV-PCCユニットペイロードを格納する。一次アイテ
ムボックス(PrimaryItemBox)が存在すると、このボックス内のアイテム
ID(item_id)はV-PCCアイテムを示すためにセットされる。
PCCユニットアイテムはV-PCCユニットデータを示すアイテムである。占有、ジオ
メトリ及び特質ビデオデータユニットのV-PCCユニットアイテムは、V-PCCユニ
ットペイロードを格納する。V-PCCユニットアイテムはただ1つのV-PCCアクセ
スユニット関連データだけを格納する。
を符号化するために使用されるコーデックによりセットされる。V-PCCユニットアイ
テムは対応するV-PCCユニットヘッダアイテムプロパティ(V-PCC unit
header item property)及びコーデック特定の構成アイテムプロパ
ティ(codec specific configuration item pro
perty)に関連がある。独立してディスプレイすることは意味がないので、V-PC
Cユニットアイテムは隠しアイテムで表示される。
つのアイテム参照タイプが使用される。アイテム参照はV-PCCアイテムから関連する
V-PCCユニットアイテムにより定義される。
含む。
ットを含む。
含む。
em property,52020)
em of type ’vpci’
PCC item of type ’vpci’
ィタイプは記述的アイテムプロパティである。コンテナはアイテムプロパティコンテナボ
ックスである。アイテムごとのタイプ’vpci’のV-PCCタイプについて必須であ
る。アイテムごとのタイプ’vpci’のV-PCCアイテムに対して1つ又はそれ以上
が存在する。
CCアイテムに連関がある。
ct(){
;
e):vpcc_unit_paylod()のバイトサイズを示す。
rty extends ItemProperty(’vpcc’){
PCC_VPSのV-PCCユニットを含む。
item property,52030)
tem of type ’vpcI’ and for a V-PCC unit
item
、プロパティタイプは記述的アイテムプロパティであり、コンテナはアイテムプロパティ
コンテナボックスである。アイテムごとのV-PCCユニットアイテム及びタイプ’vp
ci’のV-PCCアイテムについて必須である。アイテムごとに1つ存在する。
イテム及びV-PCCユニットアイテムに関連がある。
() extends ItemFullProperty(’vunt’, vers
ion=0, 0){
セグメントカプセル化部(以下、カプセル化部とも称する)及び/又は送信機などを含む
。実施例によるポイントクラウドデータエンコーダ、ファイル/セグメントカプセル化部
、送信機などを含めて、実施例によるポイントクラウドデータ送信装置及び/又はポイン
トクラウドデータシステムなどと称する。この明細書においては簡単に実施例による方法
/装置などとも称する。
ルはISOBMFF形式のファイルを構成するboxの生成/修訂/削除に対するAPI
を提供するものである。
itstreamモジュールはVPCCビットストリーム形式のデータを生成/パースす
る。
ォーマットで構成し、ISOBMFFファイルフォーマットに符号化するために必要なb
ox構造などを生成する。送信機は生成されたデータを送信する。実施例によるカプセル
化部の動作についての詳しいフローチャートは以下の通りである。各動作は実施例による
カプセル化部、方法/装置などにより行われる。
ビットストリームが入力される。
。新しいトラックが生成されることをシステムのISOBMFF端に知らせる。ISOB
MFF端からトラックを受信する。V-PCCサンプルエントリー(トラック)がファイ
ル内に追加される。
、即ち、トラック、サンプルなどの追加/修訂/削除時に使用されるAPIを示す。
する。
adata track)を生成する。
をISOBMFF端に知らせる。ISOBMFF端からトラックを受信する。
ntry)を生成する。
ストリーム(input bitstream)から得る。
リームにV-PCCバッファー(位置)に基づいて要請する。サンプルストリームV-P
CCユニットが得る。
OBMFF端に要請する。
ストリーム(input bitstream)から得る。
ァー(位置)に基づいて要請する。シーン客体情報を得られる。
ットストリーム(input bitstream)から得る。
ァー(位置)に基づいて要請する。客体ラベル情報を得る。
入力ビットストリーム(input bitstream)から得る。
(位置)に基づいて要請する。パッチ情報を得る。
tiling info)を用いてポイントクラウドシステムファイルフォーマット(p
oint cloud system file format)に適するV-PCC空
間領域ボックス構造(VPCCSpatialRegionsBox structur
e)に形成してサンプルエントリーに追加する。或いは動的空間領域である場合は、V-
PCC空間領域ボックス構造(VPCCSpatialRegionsBox stru
cture)は時間指定メタデータトラック(timed-metadata trac
k)のサンプルエントリーに追加する。
der info)を入力ビットストリーム(input bitstream)から得
る。
Cバッファー(位置)に基づいて要請する。ユニットヘッダを得る。
サンプルエントリーに追加する。
ALタイプ(nalType)によってサンプルエントリー或いはサンプルに追加する。
V-PCCユニット(AD)を要請し、サンプルストリームNALユニットを得る。
プルストリームNALユニットASPSを得る。V-PCCデコーダ構成(トラック、サ
ンプルストリームNALユニットASPS)を要請する。
請してサンプルストリームNALユニットSEIを得る。V-PCCデコーダ構成(トラ
ック、サンプルストリームNALユニットSEI)を要請する。
を得る。
a type)がNAL_ASPS或いはNAL_XXXX_SEIを除いたデータはサ
ンプルに追加する。
する。
lRegionSample)を時間指定メタデータトラックのサンプルに追加する。
得られる。
部(以下、デカプセル化部とも称する)及び/又は受信部などを含む。実施例によるポイ
ントクラウドデータデコーダ、ファイル/セグメントデカプセル化部、受信部などを含め
て、実施例によるポイントクラウドデータ受信装置及び/又はポイントクラウドデータシ
ステムなどと称する。この明細書においては簡単に実施例による方法/装置などとも称す
る。
システム構造(Point Cloud System Architecture)に
示したように、受信部及び/又はファイル/セグメントデカプセル化部(以下、デカプセ
ル化部とも称する)などを含む。受信部はポイントクラウドデータ(V-PCC ISO
BMFFファイル形態)を受信する。デカプセル化部はV-PCCファイル(ISOBM
FF file)をV-PCCビットストリームにデカプセル化し、復号に必要なボック
ス構造などをパースする。受信装置はさらにデコーダを含む。デコーダはV-PCCビッ
トストリームを復号する。
動作が行われる。
する。ファイルが得られる。
PS(V-PCC Parameter Set)情報を得る。
を得てパースしてVPSを得る。
ヘッダ情報を得る。
で構成する。
ボックス(VPCCSpatialRegionsBox)情報を得る。或いは動的空間
領域の場合は、時間指定メタデータトラック(timed-metadata trac
k)のサンプルエントリーからVPCCSpatialRegionsBox情報を得ら
れる。
onfiguration)情報を得る。V-PCC設定情報にはVPSとNALユニッ
トタイプがNAL_ASPS、NAL_XXXX_SEIなどのアトラスデータを含んで
いる。
などのアトラスデータを得る。
amicSpatialRegionSample情報を得る。
。
oup_id)又は客体タイルIDを用いて、上記7.で得たアトラスデータのうち、ア
トラスタイルグループID(afti_tile_group_id)(又はアトラスタ
イルID)及びアトラスアドレス(atgh_address)が一致するデータのみを
パースする。
。
サブビットストリーム(atlas sub-bitstream)を構成するサンプル
ストリームNALユニット(SampleStreamNalUnit)データを構成す
る。
)を生成する。
ームを構成する。
itstreamDecoderでパースしてポイントクラウドを復元(reconst
ruct)するために必要なアトラスタイプグループ又はアトラスタイル及びパッチデー
タ(patch data)などを得る。
テムは、図57のような構造でファイルを生成、送受信する。
テムは、ファイルレベルにおいて以下のようにデータをシグナリングする。
(又はV3Cトラック)57030,25000のサンプルエントリーに含まれ、時間指
定メタデータトラックのサンプルエントリー及びサンプルに含まれて送受信される。
atlas tile group)(又はアトラスタイル)からなるV-PCCビット
ストリームは、図57のようなファイルフォーマット構造でカプセル化部によりカプセル
化される。第1サンプルグループ(Sample group 1)55000はアトラ
スタイルグループ(アトラスタイルに対応)が3つある(ATG1ないし3又はAT1な
いし3)。
及び/又はサイズなどの変化により、アトラスタイルグループ(又はアトラスタイル)が
2つである(ATG1ないし2又はAT1ないし2)。
らに他のアトラスタイルグループ(又はアトラスタイル)で構成される。
及びmdatボックスをトラックと称する。V-PCCトラック57030のタイプがア
トラスデータ(AD)であると、サンプルに対応するアトラスタイルを含むmdatボッ
クスがmoovボックスの後に位置する。
VDを含むトラックがグルーピングされる。
ルーピングされる。
を参照する。
テムは、図58のようにファイルレベルシグナリングを行う。
iption)のサンプルグループエントリー(SampleGroupEntry)と
してNALUMapEntryを生成する。
ループID(atlas_tile_group_id)(又はアトラスタイルID)を
割り当てる。ポイントクラウド受信機はこのアトラスタイプグループID(又はアトラス
タイルID)によって各空間領域に該当するアトラスNALユニット(atlas NA
L unit)のみが集まる。
ALUMapEntry間のリンク関係を生成する。sampletogroupbox
及びNALUMapEntryはいずれもmoovボックス内のサンプルエントリーに含
まれる。
6-15]の定義に従う。
場合、V-PCCトラック内に存在する。
るために使用される。
ampleToGroupBox)のグルーピングタイプパラメータ(grouping
_type_parameter)をセットするサンプルグループ記述にリンクされるか
又はリンクされない。
ox)はボックスのバージョン0を使用するか又は使用しない。
GroupBox)58000を含む。
alm値を有するグルーピングタイプパラメータを含み、複数のサンプルグループを含む
。
ルカウント3の値を有してサンプル1ないし3を含む。このとき、サンプル記述インデッ
クスは1を有する。
、サンプル1及びサンプル2を含む。このとき、サンプル記述インデックスは2を有する
。
を含む。このとき、サンプル記述インデックスは3を有する。
加情報を含む。グルーピングタイプはnalmであり、各サンプルグループに対してサン
プルグループエントリーによりファイルレベルシグナリング情報を提供する。
関する構成情報を提供する。
トリー58020は総9つのエントリーを有する。
ALユニット1ないし9(NALU1-9)が含むアトラスタイルグループ(又はアトラ
スタイル)を表現する。
トラスタイルグループとマッピングされる関係を知らせる。同様に、NALユニット2な
いし9が第2~第9のアトラスタイルグループとそれぞれマッチングされることを知らせ
る。
は受信機に関する。上述したように、V-PCCビットストリームを構成してファイルを
格納することができる。
て逆多重化することができる。また、V-PCCユニット単位でビットストリームの効率
的な接近を支援することができる。V-PCCビットストリームのアトラスストリームを
効果的にファイル内のトラックを格納及び送信することができる。
ジ/情報を効果的にファイル内に格納及び送信することができる。
プレーヤー、エンコーダ又はデコーダは、この明細書に記載する効果を提供する。
きるという効果を提供する。さらに、ポイントクラウドビットストリームのデータ処理及
びレンダリングのために必要な情報を効果的に接近できるという効果を提供する。
の複数のトラックに分割格納し、そのためのシグナリング情報を提供する。
グ、ファイル内に格納された代替のV-PCCトラックに対する指示により、ポイントク
ラウドビットストリームのファイルを効率的に格納して送信することができる。
ント空間領域(spatial region)に対するシグナリングを効率的に行うこ
とができる。例えば、サンプルグループ(Sample Group)を用いたシグナリ
ング及び時間指定メタデータトラック(Timed Metadata Track)を
用いたシグナリングなどについて説明する。
供する(the support of partial access of Vid
eo-based point Cloud Content)。
部分(spatial access)の接近を支援するためのV-PCCコンテンツの
3D領域情報とそれに連関するビデオ或いはアトラスフレーム上の2D領域関連メタデー
タを生成して送受信する。
3D領域情報とそれに連関するビデオ或いはアトラスフレーム上の2D領域関連シグナリ
ング情報を生成して送受信する。
するビデオ或いはアトラスフレーム上の2D領域関連情報を格納し、それに関連するシグ
ナリング情報を生成して送受信する。
の3D領域情報とそれに連関するビデオ或いはアトラスフレーム上の2D領域関連の情報
を格納して送受信する。
の連関性を示す。
ユーザのビューポート変更などによりユーザビューポート上にポイントクラウド客体/デ
ータの全体ではない部分をレンダリングするか又はディスプレイする。
ーポート上にレンダリング或いはディスプレイされるポイントクラウドデータの一部に連
関するビデオ或いはアトラスデータを復号或いは処理する。
或いはディスプレイされない部分/領域のポイントクラウドデータに連関するビデオ或い
はアトラスデータを復号或いは処理しない。
タ59020がビデオ フレーム59030内の1つ以上の2D領域59040のビデオ
データ59050に連関する。
か、又はポイントクラウド位置などが変化するデータ)の場合、時間によって同一の3次
元領域にディスプレイされるポイントクラウドが変化する。
ング/ディスプレイされるポイントクラウドデータの空間或いは部分に接近するために、
時間に応じて変化するポイントクラウドの3次元領域に連関するビデオフレーム内の2D
領域情報をV-PCCビットストリーム26000内に含ませるか、又はファイル(例え
ば、図57)内のシグナリング或いはメタデータの形態で含ませることができる。
応する。
連するバウンディングボックスのための情報を含むことを示す。図60の要素の定義は図
30の要素の定義を参照できる。
et_id):他のシンタックス要素による参照のためのV-PCC VPSに対する識
別子を提供する。
esent_flag):ビットストリーム上のポイントクラウド客体/コンテンツの全
体的バウンディングボックス(時間に応じて変化するバウンディングボックスを全て含む
バウンディングボックス)に関する情報有無フラグである(sps_bounding_
box_present_flag equal to 1 indicates ov
erall bounding box offset and the size i
nformation of point cloud content carrie
d in this bitstream)。
バウンディングボックス関連パラメータがパラメータセットに含まれる。
ffset_x):座標系内のビットストリームに含まれるポイントクラウドコンテンツ
の全体的バウンディングボックスオフセット及びサイズ情報のXオフセットを示す。存在
しない場合、このフィールドの値は0に推論される(indicates the x
offset of overall bounding box offset an
d the size information of point cloud co
ntent carried in this bitstream in the c
artesian coordinates. When not present,
the value of sps_bounding_box_offset_x i
s inferred to be 0)。
ffset_y):座標系内のビットストリームに含まれるポイントクラウドコンテンツ
の全体的バウンディングボックスオフセット及びサイズ情報のYオフセットを示す。存在
しない場合、このフィールドの値は0に推論される(indicates the y
offset of overall bounding box offset an
d the size information of point cloud co
ntent carried in this bitstream in the c
artesian coordinates. When not present,
the value of sps_bounding_box_offset_y i
s inferred to be 0)。
ffset_z):座標系内のビットストリームに含まれるポイントクラウドコンテンツ
の全体的バウンディングボックスオフセット及びサイズ情報のZオフセットを示す。存在
しない場合、このフィールドの値は0に推論される(indicates the z
offset of overall bounding box offset an
d the size information of point cloud co
ntent carried in this bitstream in the C
artesian coordinates. When not present,
the value of sps_bounding_box_offset_z i
s inferred to be 0)。
e_width):座標系内のビットストリームに含まれるポイントクラウドコンテンツ
の全体的バウンディングボックスオフセット及びサイズ情報の幅を示す。存在しない場合
、このフィールドの値は1に推論される(indicates the width o
f overall bounding box offset and the si
ze information of point cloud content ca
rried in this bitstream in the cartesian
coordinates. When not present, the valu
e of sps_bounding_box_size_width is infe
rred to be 1)。
ze_height):座標系内のビットストリーム内に伝達されるポイントクラウドコ
ンテンツの全体的バウンディングボックスオフセット及びサイズ情報の高さを示す。存在
しない場合、この要素の値は1に推論される(indicates the heigh
t of overall bounding box offset and the
size information of point cloud content
carried in this bitstream in the cartes
ian coordinates. When not present, the v
alue of sps_bounding_box_size_height is
inferred to be 1)。
ze_depth):座標系内のビットストリーム内に伝達されるポイントクラウドコン
テンツの全体的バウンディングボックス及びサイズ情報の深さを示す。存在しない場合、
この要素の値は1に推論される(indicates the depth of ov
erall bounding box offset and the size i
nformation of point cloud content carrie
d in this bitstream in the cartesian coo
rdinates. When not present, the value of
sps_bounding_box_size_depth is inferred
to be 1)。
anged_flag):ビットストリーム内に含まれたポイントクラウドデータのバウ
ンディングボックスが時間に応じて変化するか否かを示すフラグである。該当フラグ値が
1である場合、ポイントクラウドデータのバウンディングボックスが時間によって変化す
ることを示す。
fo_flag):ビットストリーム上にポイントクラウドデータのバウンディングボッ
クス情報を含むSEIなどが含まれているか否かを示すフラグである。該当フラグ値が1
である場合、ポイントクラウドデータのバウンディングボックス情報を含むSEI(3D
bounding box SEI)などがビットストリーム上に含まれていることを
示す。この場合、PCCプレイは該当SEIなどに含まれた情報を得て使用できることを
知らせる。
に1を加えると、現在ビットストリーム内に支援されるアトラスの総数を示す。
がパラメータセットに含まれる。
るアトラスに対する整数ルーマサンプルに対するv-pccフレームの幅を示す。このフ
レームの幅はインデックスjを有するアトラスに対する全てのV-PCCコンポーネント
に連関する公称幅である。
有するアトラスに対する整数ルーマサンプルに対するV-PCCフレームの高さを示す。
このフレームの高さはインデックスjを有するアトラスに対する全てのV-PCCコンポ
ーネントに連関する公称高さである。
に1を加えると、インデックスjを有するアトラスに対するジオメトリ及び特質データを
符号化するために使用されるマップの数を示す。
連パラメータがパラメータセットに含まれる。
reams_present_flag[j]):この値が0であると、インデックスj
を有するアトラスに対する全てのジオメトリ又は特質マップはシングルジオメトリ又は特
質ビデオストリームのそれぞれに配置されることを示す。この値が1であると、インデッ
クスjを有するアトラスに対する全てのジオメトリ又は特質マップが個々のビデオストリ
ームに配置されることを示す。
がパラメータセットに含まれる。
]が1であると、以下のフラグがパラメータセットに含まれる。
ding_enabled_flag[j][i]):この値が1であると、インデック
スjを有するアトラスに対するインデックスiを有するジオメトリマップがマップ予測の
形態なしにコーディングされることを示す。この値が0であると、インデックスjを有す
るアトラスに対するインデックスiを有するジオメトリマップは、コーディング前にコー
ディングされたマップから早く他のものから一番目に予測される(Equal to 1
indicates that the geometry map with in
dex i for the atlas with index j is code
d without any form of map prediction. vp
s_map_absolute_coding_enabled_flag[j][i]
Equal to 0 indicates that the geometry m
ap with index i for the atlas with index
j is first predicted from another, earl
ier coded map, prior to coding)。
]が1であると、1ではないと、vps_map_absolute_coding_e
nabled_flag[j][i]=1である。
[i]が0であり、iが0より大きいと、vps_map_predictor_ind
ex_diff[j][i]がパラメータセットに含まれ、そうではないと、vps_m
ap_predictor_index_diff[j][i]が0である。
x_diff[j][i]):vps_map_absolute_coding_en
abled_flag[j][i]が0であると、インデックスjを有するアトラスに対
するインデックスiを有するジオメトリマップの予測子を計算するために使用される。
[j]):この値が1であると、インデックスjを有するアトラスに対するRAWコーデ
ィングされたポイントを有するパッチがビットストリーム内に存在することを示す。
_raw_separate_video_present_flag[j]がパラメー
タセットに含まれる。
resent_flag[j]):この値が1であると、インデックスjを有するアトラ
スに対するRAWコーディングされたジオメトリ及び特質情報が個々のビデオストリーム
内に格納されることを示す。
メータセットを含む。
オ関連パラメータセットを含む。
メータセットを含む。
nce parameter set,ASPS)を示す。
atlas sequences, CASs)に適用されるシンタックス要素を含む
シンタックス構造である。図61の要素の定義は図35の要素の定義を参照できる。
ence_parameter_set_id):他のシンタックス要素による参照のた
めのアトラスシーケンスパラメータセットのための識別子を提供する。
数ルーマサンプルに対するアトラスフレームの幅を示す。
る整数ルーマサンプルに対するアトラスフレームの高さを示す。
acking_block_size):アトラス内パッチの水平及び垂直位置のために
使用される変数PatchPackingBlockSizeの値を示す。
_max_atlas_frame_order_cnt_lsb_minus4):ア
トラスフレームオーダーカウントのための復号プロセス内に使用される変数MaxAtl
asFrmOrderCntLsbの変数を示す。
atlas_frame_buffering_minus1):この値に1を加えると
、アトラスフレームバッファー記憶装置に対する復号されたアトラスフレームの最大値と
して求められるサイズを示す。
atlas_frames_flag):この値が0であると、CAS内のコーディング
されたアトラスフレームのインター予測のために使用される長期参照アトラスフレームが
ないことを示す。
frame_lists_in_asps):アトラスシーケンスパラメータセットに含
まれた参照リスト構造(ref_list_struct(rlsIdx))シンタック
ス構造の数を示す。
ntations_flag):この値が0であると、インデックスiを有するフレーム
内のインデックスJを有するパッチのパッチオリエンテーションインデックス(pdu_
orientation_index[i][j])が0ないし1(含み)の範囲内であ
ることを示す。
rojection_patch_present_flag):この値が0であると、
現在アトラスタイルグループ(又はタイル)に対してパッチプロジェクション情報がシグ
ナリングされないことを示す。この値が1であると、パッチプロジェクション情報が現在
アトラスタイルグループ(又はタイル)に対してシグナリングされることを示す。
ts_quantization_enabled_flag):この値が1であると、
量子化パラメータがパッチデータユニット、統合パッチデータユニット又はインターパッ
チデータユニットの垂直軸関連要素を量子化するために使用されてシグナリングされるこ
とを示す。
ax_delta_value_enabled_flag):この値が1であると、イ
ンデックスJを有するフレームのインデックスIを有するパッチのジオメトリ情報内に存
在する垂直軸の最大値公称シフト値が各パッチデータユニット、統合パッチデータユニッ
ト又はインターパッチデータユニットに対するビットストリーム内に指示されることを示
す。
_point_enabled_flag):この値が1であると、重複ポイントが行イ
ンデックスマップから他のポイントと同一の2D及び3Dジオメトリ座標を有するポイン
トであるところで、重複ポイントが現在アトラスに対して再構成されないことを示す。
rleaving_flag)この値が1であると、現在アトラスのための復号されたジ
オメトリ及び特質ビデオが2つのマップから特別にインターリービングされたピクセルを
含むことを示す。
e_order_flag):この値が1であると、現在アトラスに対するパッチ優先順
位(優先度)が復号順と同一であることを示す。
ntizer_present_flag):この値が1であると、パッチサイズ量子化
パラメータがアトラスタイルグループヘッダ又はアトラスタイルヘッダに存在することを
示す。この値が0であると、パッチサイズ量子化パラメータが存在しないことを示す。
ccupancy_map_for_depth_flag):この値が1であると、現
在アトラスに対する占有マップビデオが2つの深さマップの間の中間深さ位置が占有され
るか否かに関する情報を含むことを示す。この値が0であると、復号された占有マップビ
デオが2つの深さマップの間の中間深さ位置が占有されるか否かに関する情報を含まない
ことを示す。
construction_enabled_flag):この値が1であると、ポイン
トローカル再構成モード情報が現在アトラスに対するビットストリーム内に存在すること
を示す。この値が0であると、ポイントローカル再構成モードに関連する情報が現在アト
ラスに対するビットストリーム内に存在しないことを示す。
1を加えると、現在アトラスに対するジオメトリ及び特質データを符号化するために使用
されるマップの数を示す。
pancy_map_fix_bit_count_minus1):この値が1を加え
ると、EOMコードワードのビット内のサイズを示す。
:この値に1を加えると、asps_pixel_deinterleaving_fl
ag又はasps_point_local_reconstruction_flag
が1ではない場合、明示的にコーディングされた深さ値及び補間された(interpo
late)深さ値の間の絶対値の差の最大値を示す。
present_flag):この値が1であると、vui_parameters(
)シンタックス構造が存在することを示す。
parameter set,AFPS)を示す。
図37の要素定義を参照できる。
_parameter_set_id):他のシンタックス要素による参照のためのアト
ラスフレームパラメータセットを識別する。AFPSのアトラスフレームパラメータセッ
トにより他のシンタックス要素により参照できる識別子を提供する。
ence_parameter_set_id):アクティブアトラスシーケンスパラメ
ータセットの値を示す。
_active_minus1):この値に1を加えると、atgh_num_ref_
idx_active_override_flagが0であるタイルグループ又はタイ
ルに対する変数NumRefIdxActiveの推論された値を示す。
n):アトラスフレームリストの参照のための復号プロセス内で使用される変数MaxL
tAtlasFrmOrderCntLsbの値を示す。
ount_minus1):この値に1を加えると、afps_atlas_frame
_parameter_set_idを称するアトラスタイルグループ内のインデックス
jを有するパッチのpdu_2d_pos_x[j]の固定長さ表現内のビットの数を示
す(plus 1 specifies the number of bits in
the fixed-length representation of pdu_
2d_pos_x[j] of patch with index j in an
atlas tile group that refers to afps_atl
as_frame_parameter_set_id)。
ount_minus1):この値に1を加えると、afps_atlas_frame
_parameter_set_idを称するアトラスタイルグループ内のインデックス
jを有するパッチのpdu_2d_pos_y[j]の固定長さ表現内のビットの数を示
す。
s_atlas_frame_parameter_set_idを称するアトラスタイ
ルグループ(又はタイル)内のインデックスjを有するパッチのpdu_lod[j]の
固定長さ表現内のビットの数を示す(specifies the number of
bits in the fixed-length representation
of pdu_lod[j] of patch with index j in
an atlas tile group that refers to afps_
atlas_frame_parameter_set_id)。
om_for_depth_flag):この値が1であると、afps_eom_nu
mber_of_patch_bit_count_minus1及びafps_eom
_max_bit_count_minus1の値がビットストリーム内に明示的に存在
することを示す。
patch_bit_count_minus1):この値に1を加えると、現在EOM
特質パッチに連関するジオメトリパッチの数を示すために使用されるビットの数を示す。
unt_minus1):この値に1を加えると、現在EOM特質パッチに連関するジオ
メトリパッチごとのEOMポイントの数を示すために使用されるビットの数を示す。
_3d_pos_bit_count_explicit_mode_flag):この
値が1であると、rpdu_3d_pos_x、rpdu_3d_pos_y、rpdu
_3d_pos_zのためのビットカウントがafps_atlas_frame_pa
rameter_set_idを称するアトラスタイルグループ(又はタイル)ヘッダ内
に明示的にコーディングされることを示す(Equal to 1 indicates
that the bit count for rpdu_3d_pos_x, r
pdu_3d_pos_y, and rpdu_3d_pos_z is expli
citely coded in an atlas tile group head
er that refers to afps_atlas_frame_param
eter_set_id)。
e_information)を示す。
の要素定義を参照できる。
le_in_atlas_frame_flag):この値が1であると、AFPSを参
照する各々のアトラスフレーム内にただ1つのタイルが存在することを示す。
g_flag):この値が1であると、タイル列及び行の境界がアトラスフレームに対し
て均一に分配され、afti_tile_cols_width_minus1及びaf
ti_tile_rows_height_minus1、シンタックス要素をそれぞれ
使用してシグナリングされる。
この値に1を加えると、afti_uniform_tile_spacing_fla
gが1である場合、64サンプル単位内のアトラスフレームの最右側タイル列を除いたタ
イル列の幅を示す。
):この値に1を加えると、afti_uniform_tile_spacing_f
lagが1である場合、アトラスフレームの底タイル行を除いたタイル行の高さを示す。
:この値に1を加えると、afti_uniform_tile_spacing_fl
agが0である場合、アトラスフレームを分割するタイル列の数を示す。
値に1を加えると、pti_uniform_tile_spacing_flagが0
である場合、アトラスフレームを分割するタイル行の数を示す。
[i]):この値に1を加えると、64サンプル単位内のi番目のタイル列の幅を示す。
i]):この値に1を加えると、64 サンプル単位内のi番目のタイル行の高さを示す
。
le_per_tile_group_flag):この値が1であると、このAFPS
を称する各タイルグループ(又は各タイル)が一つのタイルを含むことを示す。afti
_single_tile_per_tile_group_flagが0であると、こ
のAFPSを称するタイルグループ(又はタイル)が1つ以上のタイルを含むことを示す
。存在しない場合、afti_single_tile_per_tile_group
_flagの値は1に推論される。
as_frame_minus1):AFPSを称する各々のアトラスフレーム内のタイ
ルの数を示す。
る各アトラスフレーム内のi番目のタイルのタイルインデックスである。
ups_in_atlas_frame_minus1):この値に1を加えると、AF
PSを称する各々のアトラスフレーム内のタイルグループの数を示す。afti_num
_tile_groups_in_atlas_frame_minus1の値は0ない
しNumTilesInAtlasFrame-1(含み)の範囲内にある。存在しない
場合、afti_single_tile_per_tile_group_flagが
1であり、afti_num_tile_groups_in_atlas_frame
_minus1の値はNumTilesInAtlasFrame-1に等しい。
[i]):i番目のタイルグループの左上部コーナーに位置するタイルのタイルインデッ
クスを示す。jと等しくないiに対するafti_top_left_tile_idx
[i]の値はafti_top_left_tile_idx[j]の値と等しくない。
存在しない場合、afti_top_left_tile_idx[i]の値はjと等し
いと推論される。afti_top_left_tile_idx[i]シンタックス要
素の長さはCeil(Log2(NumTilesInAtlasFrame)ビットで
ある。
ile_idx_delta[i]):afti_top_left_tile_idx
[i]及びi番目のタイルグループの右下部コーナーに位置するタイルのタイルインデッ
クス間の差の値を示す。afti_single_tile_per_tile_gro
up_flagが1である場合、afti_bottom_right_tile_id
x_delta[i]は0に推論される。afti_bottom_right_til
e_idx_delta[i]シンタックス要素の長さは、Ceil(Log2(Num
TilesInAtlasFrame-afti_top_left_tile_idx
[i]))ビットである。
ile_group_id_flag):この値が1であると、各タイルグループ(又は
タイル)に対するタイルグループIDがシグナリングされることを示す。この値が0であ
ると、タイルグループIDがシグナリングされないことを示す。
_tile_group_id_length_minus1):この値が1を加えると
、afti_tile_group_id[i]シンタックス要素を示すために使用され
るビットの数を示す。存在する場合、シンタックス要素atgh_addressがタイ
ルグループヘッダ内にあり得る。
目のタイルグループのタイルグループIDを示す。afti_tile_group_i
d[i]シンタックス要素の長さはafti_signalled_tile_grou
p_id_length_minus1+1ビットである。
nt information, SEI)を示す。
シンタックスを示す。
ラウドデータを復号し、復元し、ディスプレイする。
するデータをペイロードが含めることを示す。
3D領域マッピング(3d_region_mapping(payloadSize)
)情報を含む。
IX_SEI)であると、実施例によるSEI情報はbuffering_period
(payloadSize)、pic_timing(payloadSize)、fi
ller_payload(payloadSize)、user_data_regi
stered_itu_t_t35(payloadSize)、user_data_
unregistered(payloadSize)、recovery_point
(payloadSize)、no_display(payloadSize)、ti
me_code(payloadSize)、regional_nesting(pa
yloadSize)、sei_manifest(payloadSize)、sei
_prefix_indication(payloadSize)、geometry
_transformation_params(payloadSize)、3d_b
ounding_box_info(payloadSize)(図65などを参照)、
3d_region_mapping(payloadSize)(図66など)、re
served_sei_message(payloadSize)などを含む。
X_SEI)であると、実施例によるSEI情報はfiller_payload(pa
yloadSize)、user_data_registered_itu_t_t3
5(payloadSize)、user_data_unregistered(pa
yloadSize)、decoded_PCC_hash(payloadSize)
、reserved_sei_message(payloadSize)などを含む。
シンタックスを示す。
ウンディングボックス情報SEIメッセージがアウトプット順に以前の3Dバウンディン
グボックス情報SEIメッセージの存在を取り消すことを示す。
客体/コンテンツの識別子である。
ンディングボックスの原点位置のX座標値である。
ンディングボックスの原点位置のY座標値である。
ンディングボックスの原点位置のZ座標値である。
軸上のバウンディングボックスのサイズを示す。
):客体のY軸上のバウンディングボックスのサイズを示す。
):客体のZ軸上のバウンディングボックスのサイズを示す。
シンタックスを示す。
域マッピング情報SEIメッセージがアウトプット順に以前の3D領域マッピング情報S
EIメッセージの存在を取り消すことを示す。
3D領域の数を示す。
別子を示す。
region_anchor_y[i]、3d_region_anchor_z[i]
):i番目の3D領域のアンカーポイント(anchor point)のx、y、z座
標値をそれぞれ示す。例えば、3D領域が立方体(cuboid)タイプである場合、ア
ンカーポイントは立方体の原点(origin)になる。
y[i]、3d_region_anchor_z[i]はi番目の3D領域の立方体の
原点位置のx、y、z座標値を示す。
を示し、タイプ値として0x01-立方体などを有する。
ことを示す。以下、立方体タイプ関連の要素がこのSEIメッセージに含まれる。
gion_delta_y[i]、3d_region_delta_y[i]):i番
目の3D領域のx、y、z軸の差の値を示す。
デオ或いはアトラスデータが存在するフレームの2D領域の数を示す。
れる。
別子を示す。
n_left[j]):j番目の2D領域の左上部位置のフレーム内垂直座標(vert
ical coordinate)、水平座標(horizontal coordin
ate)の値をそれぞれ含む。
j番目の2D領域のフレーム内で水平範囲(width)、垂直範囲(height)の
値をそれぞれ含む。
ドはそれぞれ、実施例によるビットストリームに含まれるボリュメトリック矩形情報(v
olumetric rectangle information)に対応する。具体
的には、ボリュメトリック矩形情報のバウンディングボックス関連フィールド(例えば、
vri_bounding_box_top、vri_bounding_box_le
ft、vri_bounding_box_width、vri_bounding_b
ox_height)は2d領域を示す。また、ボリュメトリック矩形情報の客体関連フ
ィールド、例えば、vri_rectangle_object_idxは、scene
_object_informationに含まれたobject_idxに対応する。
即ち、object_idxで3D領域情報を示す。scene_object_inf
ormationは3Dバウンディングボックス、即ち、3D領域に関するシグナリング
情報を含むためである。
ールドはそれぞれ実施例によるビットストリームに含まれるパッチ情報(patch i
nformation)のタイル情報(tile id,2D領域)及びパッチ客体イン
デックス(patch object idx)に対応する。
或いはビデオタイルの数を示す。
れる。
スタイル或いはビデオタイルの識別子を示す。
関するアトラスタイルグループ或いはビデオタイルグループの数を示す。この値はタイル
の数に対応する。
まれる。
領域と連関するアトラスタイルグループ或いはビデオタイルグループの識別子を示す。こ
の値はタイルインデックスに対応する。
つ以上のアトラスタイル(2D領域)の間のマッピング関係を把握して、該当データを得
られる。
シンタックスを示す。
ng information SEI message)
関係及びラベリング、3D空間及び2Dアトラス内領域の関連性を含む復号されたポイン
トクラウドの異なる特性を避けるために知らせる(This SEI message
informs a V-PCC decoder avoid different
characteristics of a decoded point cloud
, including correspondence of areas with
in a 2D atlas and the 3D space, relation
ship and labeling of areaS and associati
on with objects)。
ックタイリングSEIメッセージがあるまでである。このSEIメッセージに記述された
ただ対応するパラメータが更新される。変更されないか、又はvti_cancel_f
lagの値が1ではない場合、以前SEIメッセージからの以前に定義されたパラメータ
が続いて存在する(The persistence scope for this
SEI message is the remainder of the bits
tream or until a new volumetric tiling S
EI message is encountered. Only the corr
esponding parameters specified in the SE
I message is updated. Previously defined
parameters from an earlier SEI message
persist if not modified and if thevalue
of vti_cancel_flag is not Equal to 1)。
c_tiling_info_objects)の詳しいシンタックスを示す。
BoxPresentFlag、vtiObjectPriorityPresentF
lag、tiObjectHiddenPresentFlag、vtiObjectC
ollisionShapePresentFlag、vtiObjectDepend
encyPresentFlagなどに基づいて、ボリュメトリックタイリング情報の客
体が図68のような要素を含む。
ic_tiling_info_labels)の詳しいシンタックスである。
トリックタイリング情報SEIメッセージがアウトプット順に以前のボリュメトリックタ
イリング情報SEIメッセージの存在を取り消すことを示す。vti_cancel_f
lagが0であると、ボリュメトリックタイリング情報が図67のように伴う。
g):この値が1であると、客体ラベル情報が現在ボリュメトリックタイリング情報SE
Iメッセージ内に存在することを示す。この値が0であると、客体ラベル情報が存在しな
いことを示す。
present_flag):この値が1であると、3Dバウンディングボックス情報が
現在ボリュメトリックタイリング情報SEIメッセージ内に存在することを示す。この値
が0であると、3Dバウンディングボックス情報が存在しないことを示す。
_flag):この値が1であると、現在ボリュメトリックタイリング情報SEIメッセ
ージ内の客体 優先順位情報が存在することを示す。この値が0であると、客体優先順位
情報が存在しないことを示す。
g):この値が1であると、隠し客体情報が現在ボリュメトリックタイリング情報SEI
メッセージ内に存在することを示す。この値が0であると、隠し客体情報が存在しないこ
とを示す。
present_flag):この値が1であると、客体衝突情報が現在ボリュメトリッ
クタイリング情報SEIメッセージ内に存在することを示す。この値が0であると、客体
衝突模様情報が存在しないことを示す。
_flag):この値が1であると、客体従属情報が現在ボリュメトリックタイリング情
報SEIメッセージ内に存在することを示す。この値が0であると、客体従属情報が存在
しないことを示す。
present_flag):この値が1であると、客体ラベル言語情報が現在ボリュメ
トリックタイリング情報SEIメッセージ内に存在することを示す。この値が0であると
、客体ラベル言語情報が存在しないことを示す。
しい。
と同一のnull終端バイトの後に言語タグを含む。vti_object_label
_languageシンタックス要素の長さはnull終端バイトを除いて255バイト
に等しいか又は少ない。
SEIにより更新される客体ラベルの数を示す。
ルのラベルインデックスを示す。
であると、vti_label_idx[i]と同一のインデックスを有するラベルが取
り消され、空いているストリングで同様にセットされることを示す。この値が0であると
、vti_label_idx[i]と同一のインデックスを有するラベルがこの要素に
従う情報により更新されることを示す。
しい。
bel[i]シンタックス要素の長さはnull終端バイトを除いた255バイトに等し
いか又は少ない。
log2):客体に対して記述される2Dバウンディングボックスパラメータに適用され
るスケールを示す。
cale_log2):客体に対して記述される3Dバウンディングボックスパラメータ
に適用されるスケールを示す。
cision_minus8):この値に8を加えると、客体に対して記述される3Dバ
ウンディングボックスパラメータの精度を示す(plus 8 indicates t
he precision of the 3D bounding box para
meters that may be specified for an obje
ct)。
れる客体の数を示す。
の客体インデックスを示す。
値が1であると、iと同一のインデックスを有する客体が取り消され、変数Object
Tracked[i]が0に設定されることを示す。客体の2D及び3Dバウンディング
ボックスパラメータが0に設定される。この値が0であると、vti_object_i
dx[i]と同一のインデックスを有する客体がこの要素に従う情報により更新されるこ
とを示す。また、変数ObjectTracked[i]は1に設定される。
e_flag[i]):この値が1であると、2Dバウンディングボックス情報がインデ
ックスiを有する客体に対して存在することを示す。この値が0であると、2Dバウンデ
ィングボックス情報が存在しないことを示す。
現在アトラスフレーム内のインデックスiを有する客体のバウンディングボックスの左上
部ポジションの垂直座標値を示す。
:現在アトラスフレーム内のインデックスiを有する客体のバウンディングボックスの左
上部ポジションの水平座標値を示す。
:インデックスiを有する客体のバウンディングボックスの幅を示す。
]):インデックスiを有する客体のバウンディングボックスの高さを示す。
update_flag[i]):この値が1であると、インデックスiを有する客体に
対して3Dバウンディングボックス情報が存在することを示す。この値が0であると、3
Dバウンディングボックス情報が存在しないことを示す。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のX座標値を
示す。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のY座標値を
示す。
):インデックスiを有する客体の3Dバウンディングボックスの原点位置のZ座標値を
示す。
elta_x[i]):インデックスiを有する客体のX軸上のバウンディングボックス
のサイズを示す。
elta_y[i]):インデックスiを有する客体のY軸上のバウンディングボックス
のサイズを示す。
elta_z[i]):インデックスiを有する客体のZ軸上のバウンディングボックス
のサイズを示す。
flag[i]):この値が1であると、客体優先順位更新情報がインデックスiを有す
る客体に対して存在することを示す。この値が0であると、客体優先順位情報が存在しな
いことを示す。
ンデックスiを有する客体の優先順位を示す。優先順位値が低いほど優先順位が高い。
1であると、インデックスiを有する客体が隠されることを示す。この値が0であると、
インデックスiを有する客体が存在することを示す。
):この値が1であると、客体ラベル更新情報がインデックスiを有する客体に対して存
在することを示す。この値が0であると、客体ラベル更新情報が存在しないことを示す。
デックスiを有する客体のラベルインデックスを示す。
update_flag[i]):この値が1であると、客体衝突模様更新情報がインデ
ックスiを有する客体に対して存在することを示す。この値が0であると、客体衝突模様
更新情報が存在しないことを示す。
i]):インデックスiを有する客体の衝突模様IDを示す。
flag[i]):この値が1であると、客体従属更新情報が客体インデックスiを有す
る客体に対して存在することを示す。この値が0であると、客体従属更新情報が存在しな
いことを示す。
ンデックスiを有する客体従属の数を示す。
[j]):インデックスiを有する客体に対する従属を有するj番目の客体のインデック
スを示す。
ck)
ラックにより表現される。
ビジュアルトラックがファイル内に存在する。
ュメトリックビジュアルメディアハンドラータイプ’volv’により識別される。ボリ
ュメトリックメディアヘッダは以下のように定義される。
Media header)
mationBox)のボリュメトリックビジュアルメディアヘッダボックス(Volu
metricVisualMediaHeaderBox)を使用する。
eaderBox
l sample entry)
ー(VolumetricVisualSampleEntry)を使用する。
gname)
である。固定32-バイトフィールドで形成される。第1バイトはディスプレイされるバ
イト数に設定され、UTF-8を使用して符号化されたディスプレイ可能なデータのバイ
ト数が伴う。サイズバイトを含む32バイトを完成するためにパッドされる。このフィー
ルドは0に設定されてもよい。
ples)
テムにより定義される。
ィングされたV-PCCコンポーネントトラック(スキーム情報内)の両方に存在する。
このボックスは個々のトラックにより伝達されるデータのためのV-PCCユニットヘッ
ダを含む。
der())を含む。
tion record)
レコードの両立不可な変更はバージョン番号の変化により識別される。実施例によるリー
ダー/デコーダはこのバージョンが認識できないバージョン番号である場合のレコード又
はストリームを復号しなくてもよい。
トを含む。
構成レコードがアトラスストリームSEIメッセージと共に存在するサンプルエントリー
により称されるストリームに対して一定のアトラスパラメータセットを含む。
onRecord{
e;
t;
;
ドである。このレコードと両立できない変化はバージョン番号の変化により識別される。
この値に1を加えると、この構成レコード又はこの構成レコードが適用されるストリーム
内のV-PCCサンプル内の全てのサンプルストリームV-PCCユニット内のssvu
_vpcc_unit_size要素のバイト内の精度を示す。
デコーダ構成レコード内にシグナリングされるV-PCCパラメータセット(VPS)の
数を示す。
ple_stream_vpcc_unit()インスタンスである。V-PCCユニッ
トはV-PCCパラメータセット(vpcc_parameter_set())を含む
。
の構成レコード内にシグナリングされるアトラスストリームに対するセットアップアレイ
の数を示す。
ンスパラメータセット、アトラスフレームパラメータセット又はSEIアトラスNALユ
ニットを含むsample_stream_vpcc_unit()インスタンスである
。例えば、ISO/IEC 23090-5の説明を参照できる。
onRecord{
e;
t;
る。このレコードに対する両立不可な変更事項はバージョン番号の変更により識別される
。
構成レコード又はこの構成レコードに適用されるストリーム内のV-PCCサンプル内の
全てのサンプルストリームNALユニット内のssnu_nal_unit_size要
素のバイト内の精度(precision)を示す。
この値に1を加えると、この構成レコード内にシグナリングされる全てのサンプルストリ
ームV-PCCユニット内のssvu_vpcc_unit_size要素のバイト内の
精度(precision)を示す。
この構成レコード内にシグナリングされるV-PCCパラメータセット(VPS)の数を
示す。
sample_stream_vpcc_unit()インスタンスである。
されたタイプのアトラスNALユニットのアレイ数である。
のタイプの全てのアトラスNALユニットが続くアレイ内にあり、ストリーム内にないこ
とを示す。この値が0であると、指示されたタイプの追加アトラスNALユニットがスト
リーム内にあり得ることを示す。デフォルト及び許容された値はサンプルエントリーネイ
ムにより影響を受ける。
Lユニットのタイプを示す。このタイプはISO/IEC 23090-5に定義された
値を使用する。この値はNAL_ASPS、NAL_PREFIX_SEI又はNAL_
SUFFIX_SEI atlas NAL unitを示す。
ームに対する構成レコード内に含まれる指示されたタイプのアトラスNALユニットの数
である。SEIアレイはただ記述的性格のSEIメッセージを含む。全体としてストリー
ムに関する情報を提供する。かかるSEIの例示はユーザ-データSEIである。
又はアトラスフレームパラメータセット又は記述的SEIアトラスNALユニットを含む
sample_stream_nal_unit()インスタンスである。
arameter set sample group)
内サンプルのサンプルグループ内に伝達されるアトラスパラメータセットに配置すること
を示す。’vaps’と同一のグルーピングタイプを有するサンプルツーグループボック
ス(SampleToGroupBox)が存在する場合、同一のグルーピングタイプを
有するサンプルグループ記述ボックスが存在し、サンプルが属するこのグループのIDを
含む。
ンプルツーグループボックスを含む。
oupDescriptionEntry() extends SampleGrou
pDescriptionEntry(’vaps’){
;
et;
サンプルグループ記述内にシグナリングされるアトラスパラメータセットの数を示す。
ラメータセット、アトラスフレームパラメータセットを含むsample_stream
_vpcc_unit()インスタンスである。
oupDescriptionEntry() extends SampleGrou
pDescriptionEntry(’vaps’){
;
tNALUnit;
サンプルグループ記述内にシグナリングされる全てのサンプルストリームNALユニット
内のssnu_nal_unit_size要素のバイト内の精度を示す。
LUnit):サンプルのこのグループに連関するアトラスシーケンスパラメータセット
、アトラスフレームパラメータセットを含むsample_stream_nal_un
it()インスタンスである。
p)
内サンプルのこのサンプルグループ内に伝達されるSEI情報への配置を示す。’vse
i’と同一のグルーピングタイプを有するサンプルツーグループボックスが存在する場合
、同一のグルーピングタイプを有するサンプルグループ記述ボックス(SampleGr
oupDescriptionBox)が存在し、サンプルが属するグループのIDを含
む。
グループボックスを最大1つ含む。
riptionEntry() extends SampleGroupDescri
ptionEntry(’vsei’){
-PCC SEIの数を示す。
am_vpcc_unit()インスタンスである。
riptionEntry () extends SampleGroupDescr
iptionEntry(’vsei’){
サンプルグループ記述内にシグナリングされる全てのサンプルストリームNALユニット
内のssnu_nal_unit_size要素のバイト内精度を示す。
るSEI情報を含むsample_stream_nal_unit()インスタンスで
ある。
box sample group)
内サンプルのこのサンプルグループ内に伝達される3Dバウンディングボックス情報への
配置を示す。’vpbb’と同一のグルーピングタイプ(grouping_type)
を有するサンプルツーグループボックス(SampleToGroupBox)が存在す
ると、同一のグルーピングタイプを有するサンプルグループ記述ボックスが存在し、サン
プルが属するこのグループのIDを含む。
グループボックス(SampleToGroupBox)を最大1つ含む。
eGroupDescriptionEntry() extends SampleG
roupDescriptionEntry(’vpbb’){
mapping sample group)
内サンプルのこのサンプルグループ内に伝達される3D領域マッピング情報への配置を示
す。’vpsr’と同一のグルーピングタイプを有するサンプルツーグループボックス(
SampleToGroupBox)が存在する場合、同一のグルーピングタイプを有す
るサンプルグループ記述ボックス(SampleGroupDescriptionBo
x)が存在し、サンプルが属するこのグループのIDを含む。
グループボックス(SampleToGroupBox)を最大1つ含む。
pleGroupDescriptionEntry() extends Sampl
eGroupDescriptionEntry(’vpsr’){
onMappingBox 3D_region_mapping)
-PCC基本ストリーム内のV-PCCユニットがそれらのタイプに基づいてコンテナフ
ァイル内の個々のトラックにマッピングされる。マルチトラックISOBMFF V-P
CCコンテナ内に2つのタイプのトラックがあり得る:V-PCCトラック及びV-PC
Cコンポーネントトラックである。
ットストリーム及びシーケンスパラメータセットを含むV-PCCビットストリーム内の
ボリュメトリックビジュアル情報を伝達するトラックである。
メトリ、特質サブ非ストリームに対する2Dビデオ符号化されたデータを伝達するビデオ
スキームトラックである。さらに、以下の条件がV-PCCコンポーネントトラックに対
して満たされる。
トリームの役割を記述する新しいボックスが挿入される。
ポーネントトラックのメンバーシップを生成するために、V-PCCトラックからV-P
CCコンポーネントトラックにトラック参照が導入される。
ムに寄与することを示すためにトラック-ヘッダフラグが0に設定される。
ング情報(パラメータ、メタデータなどと称する)はボックスというデータ構造に含まれ
る。実施例による方法/装置はマルチトラックに基づいてアトラスビットストリーム、パ
ラメータ情報をv-pccトラック(又はv3cトラック)に含ませて送信する。さらに
実施例による方法/装置は実施例によるアトラスビットストリーム、パラメータ情報をv
-pccトラック(又はv3cトラック)のサンプルエントリーに含ませて送信する。
トストリーム及びパラメータ情報をV-PCC基本ストリームトラックに含ませて送信す
る。さらに実施例による方法/装置はアトラスビットストリーム及びパラメータ情報をV
-PCC基本ストリームトラックのサンプルエントリー或いはサンプルに含ませて送信す
る。
る。異なるビデオ符号化されたV-PCCコンポーネントトラック及び間の同一のポイン
トクラウドフレームに寄与するサンプル及びV-PCCトラックは同一のプレゼンテーシ
ョン時間を有する。サンプルに対して使用されるV-PCCアトラスシーケンスパラメー
タセット及びアトラスフレームパラメータセットは、ポイントクラウドフレームのコンポ
ジション時間と等しいか又は先立つ復号時間を有する。さらに同一のV-PCCシーケン
スに属する全てのトラックは同一の含蓄又は明瞭な編集リストを有する。
ックタイミング構造(stts、ctts、cslg)により処理されるか、又はムービ
ーフラグメント内の同等なメカニズムにより処理される。
(図24参照):
VPS)及びアトラスV-PCCユニット(unit type VPCC_AD)のペ
イロードを伝達するサンプル及びサンプルエントリー内のV-PCCパラメータセットを
含むV-PCCトラック。またこのトラックはunit types VPCC_OVD
、VPCC_GVD及びVPCC_AVDのようなビデオ圧縮されたV-PCCユニット
のペイロードを伝達する他のトラックに対するトラック参照を含む。
のためのビデオコーディングされた基本ストリームのアクセスユニットを含むサンプルが
あるビデオスキームトラック。
のビデオコーディングされた基本ストリームのアクセスユニットを含むサンプルがある1
つ又は1つ以上のビデオスキームトラック。
オコーディングされた基本ストリームのアクセスユニットを含むサンプルがあるゼロ又は
1つ以上のビデオスキームトラック。
ntry):
’vpcg’
ptionBox)
ーは義務である。
張するVPCCSampleEntryを使用する。サンプルエントリータイプは’vp
c1’又は’vpcg’である。
ationBox)を含む。このボックスはデコーダ構成レコード(VPCCDecod
erConfigurationRecord)を含む。
ト、アトラスフレームパラメータセット又はV-PCC SEIはセットアップユニット
アレイ(setupUnit array)内にある。
トラスフレームパラメータセット、V-PCC SEIがこのアレイ内又はストリーム内
にある。
レート情報をシグナリングするために、V-PCCボリュメトリックサンプルエントリー
内の存在する。
’vpcc’){
nfig;
nds VolumetricVisualSampleEntry(’vpc1’){
V3Cトラック25000に含まれるサンプルエントリーの構造図である。
を示す。サンプルエントリーはV-PCCパラメータセット(VPS)70000を含み
、任意にアトラスシーケンスパラメータセット(ASPS)70010、アトラスフレー
ムパラメータセット(AFPS)70020及び/又はSEI70030を含む。
てパース(parse)する実施例により生成されてパースされる。
ームヘッダ、V-PCCユニットヘッダボックス、サンプルストリームV-PCCユニッ
トを含む。
リームに対応するか又は追加拡張された例示である。
format)
様々なコンポーネントトラック内のこのフレームに対応するサンプルはV-PCCトラッ
クサンプルのように同一のコンポジションタイムを有する。各々のV-PCCサンプル1
つ又は1つ以上のアトラスNALユニットを含む。
mple_size;//SampleSizeBoxからのサンプルサイズを意味する
。
thSizeMinusOne+1)+nalUnit.ssnu_nal_unit_
size;
//SampleSizeBoxからのサンプルのサイズを意味する。
ナリングされる
ecord.LengthSizeMinusOne+1)*8)
thSizeMinusOne+1)+NALUnitLength;
nRecord):マッチングされるV-PCCサンプルエントリー内のデコーダ構成レ
コードを示す。
内のシングルアトラスNALユニットを含む。
サイズを示す。
):
Pコーディングされたパッチデータアクセスユニットである。アトラスパラメータセット
は必要な場合、任意アクセスのための同期サンプルで繰り返される。
d V-PCC component tracks):
O BMFFの規定に従う。例えば、AVC及びHEVCコーディングされたビデオの伝
達はISO/IEC14496-15を参照できる。ISOBMFFは他のコーデックタ
イプが必要な場合、拡張メカニズムをさらに提供することができる。
占有マップトラックから復号されたフレームをディスプレイすることは意味があるとは認
められないので、限られたビデオスキームタイプはかかるビデオ-コーディングされたト
ラックに対して定義されることができる。
れる。また限られたビデオサンプルエントリーのRestrictedSchemeIn
foBoxのSchemeTypeBoxのscheme_typeフィールド内の’p
ccv’値により識別される。
れるビデオコーデック上の制限(restriction)はない。さらに、かかるコン
ポーネントは異なるビデオコーデックを使用して符号化される。
Boxを含む。
omponent tracks):
ackReferenceTypeBoxesが各コンポーネントのためにV-PCCト
ラックのTrackBox内TrackReferenceBoxに追加される。Tra
ckReferenceTypeBoxはV-PCCトラック参照に関するビデオトラッ
クを指定するtrack_IDのアレイを含む。TrackReferenceType
Boxのreference_typeは占有マップ、ジオメトリ、特質又は占有マップ
などのコンポーネントのタイプを識別する。トラック参照タイプは以下の通りである:
Cコンポーネントを含む
Cコンポーネントを含む
ポーネントを含む
dSchemeInfoBox内でシグナリングされるV-PCCコンポーネントのタイ
プはV-PCCトラックからトラック参照の参照タイプにマッチングされる。
する段階では、ポイントクラウドデータを含むマルチトラックのコンテナを生成する。
化するデカプセル化部は、ポイントクラウドデータを含むマルチトラックのコンテナをパ
ースする。
ラックを含み、第1トラックはポイントクラウドデータの占有マップを含み、第2トラッ
クはポイントクラウドデータのジオメトリデータを含み、第3トラックはポイントクラウ
ドデータの特質データを含み、第4トラックはポイントクラウドデータに対するパラメー
タセット及びアトラスデータを含む。
のための空間領域情報を含み、空間領域情報は3D空間領域に含まれたポイントクラウド
データに連関するアトラスタイル数を示す情報及びアトラスタイルを示すタイル識別情報
を含む。
イントクラウドデータに関するアトラスビットストリームを含むビットストリームを生成
し、アトラスビットストリームはポイントクラウドデータに関する3D領域をマッピング
するための3D領域情報を含む。
びサイズ情報を含み、3D領域に関連するアトラスデータが存在するフレームの2D領域
に関する情報を含む。
例示である。
nd track grouping):
は同一のV-PCCコンポーネントの異なる符号化されたバージョンである。ボリュメト
リックビジュアルシーンは代替されてコーディングされる。この場合、互いに代替可能な
全てのV-PCCトラックはTrackHeaderBox内の同一のalternat
e_group値を有する。
natives)に符号化される場合、かかる代替及び代替グループから代替の1つに対
するトラック参照があり得る。
ネントトラックが示されている。同一のアトラスグループIDを有する場合には、IDが
10である場合、11である場合、また12である場合がある。特質ビデオである第2ト
ラック及び第5トラックは互いに代替使用でき、第3トラック及び第6トラックは互いに
ジオメトリビデオとして代替でき、第4トラック及び第7トラックは占有ビデオとして代
替できる。
container of V-PCC Bitstream):
表現されるV-PCC符号化された基本ビットストリームを求める(a single-
track encapsulation of V-PCC data requir
es the V-PCC encoded elementary bitstrea
m to be represented by a single-track de
claration)。
ームのシンプルISOBMFFのカプセル化の場合に利用される。かかるビットストリー
ムは追加処理なしにシングルトラックにすぐ格納される。V-PCCユニットヘッダデー
タ構造はビットストリーム内にある。V-PCCデータのためのシングルトラックコンテ
ナは追加処理(例えば、multi-track file generation,
transcoding, DASH segmentationなど)のためのメディ
アワークフローに提供される。
は、FileTypeBoxのcompatible_brands[]リスト内の’p
cst’を含む。
m track):
ry is mandatory
be present
peg’を有するVolumetricVisualSampleEntryを使用する
。
Boxを含む。
ト、アトラスフレームパラメータセット、SEIがsetupUnitアレイ内にある。
’vpeg’サンプルエントリーにおいて、アトラスシーケンスパラメータセット、アト
ラスフレームパラメータセット、SEIがこのアレイ又はストリーム内に存在する。
’vpcc’){
nfig;
mpleEntry() extends VolumetricVisualSamp
leEntry(’vpe1’){
stream sample format):
1つ以上のV-PCCユニットで構成される。各々のサンプルはユニークなプレゼンテー
ション時間、サイズ、期間を有する。サンプルは例えば、同期サンプルであるか、又は他
のV-PCC基本ストリームサンプル上の復号依存的である。
eam sync sample):
存を有さない。
ream sub-sample):
まれるV-PCCユニットである。
べるMovieFragmentBoxesのTrackFragmentBox内又は
各SampleTableBox内のSubSampleInformationBox
を含む。
bSampleInformationBox内のサブ-サンプルエントリーの32-ビ
ットcodec_specific_parametersフィールドにコピーされる。
各サブ-サンプルのV-PCCユニットタイプは、SubSampleInformat
ionBox内のサブ-サンプルエントリーのcodec_specific_para
metersフィールドをパースすることにより識別される。
t Cloud Data)
mation structure)
DバウンディングボックスのX、Y、Zオフセット及びポイントクラウドデータの3Dバ
ウンディングボックスの幅、高さ、深さを含むポイントクラウドデータの3Dバウンディ
ングボックス情報を提供する。
t(){
標系内のポイントクラウドデータの3Dバウンディングボックスの原点位置のX、Y、Z
座標値を示す。
_y及びbb_delta_z):原点(origin)に対するX、Y、Z軸に沿って
座標系内のポイントクラウドデータの3Dバウンディングボックスの拡張を示す。
e)
D領域情報を含む。
dimension_included_flag){
ion_anchor_y、3d_region_anchor_z)はそれぞれ、3D
領域のアンカーポイント(anchor point)のx、y、z座標値を示す。例え
ば、3D領域が立方体タイプである場合、アンカーポイントは立方体の原点(origi
n)になり、3d_region_anchor_x、3d_region_ancho
r_y、3d_region_anchor_zは3D領域の立方体の原点位置(ori
gin position)のx、y、z座標値を示す。
て0x01-cuboidなどを有する。
ag)は3D領域詳細情報、例えば、3d_region_type、3d_regio
n_delta_x、3d_region_delta_y、3d_region_de
lta_yを含むか否かを示すフラグである。
n_delta_y、3d_region_delta_z)は3D領域のタイプが立方
体である場合、x、y、z軸の差の値を示す。
e)
dimension_included_flag){
はそれぞれ、2D領域の左上部位置のフレーム内垂直座標(vertical coor
dinate)、水平座標(horizontal coordinate)値を含む。
ag)は2D領域の幅(width)、高さ(height)値を含むか否かを示すフラ
グである。
ht)はそれぞれ、2D領域のフレーム内で水平範囲(width)、垂直範囲(hei
ght)値を含む。
g information Structure)
gInfoStruct)は、ポイントクラウドデータの3D領域とビデオ或いはアトラ
スフレーム内に連関するデータが含まれた1つ以上のジオメトリ、占有、特質ビデオ或い
はアトラスフレームの2D領域情報を含む。
oStruct(){
体の3次元空間で3D領域情報を示す。
データに連関するデータが含まれた1つ以上のビデオ或いはアトラスフレームの2D領域
の数を示す。
するデータが含まれたジオメトリ、占有、特質ビデオ或いはアトラスフレームの2D領域
情報を示す。
apping information box)
apping information box)はさらにPCC 3D領域マッピング
情報の構造(PCC 3D region mapping information
structure)を含む。さらにタイルなどに関する追加情報を含む。
いは全体の3次元空間において3D領域情報、該当3D領域内のポイントクラウドデータ
に連関するデータが含まれた1つ以上のビデオ或いはアトラスフレームの2D領域情報、
各2D領域に連関するビデオ或いはアトラスタイル或いはタイルグループに関する情報を
含む。
extends FullBox(’vpsr’,0,0){
トラスフレームの2D領域の識別子である。
ームの2D領域に連関するビデオフレームのタイル或いはアトレスフレームのタイル数で
ある。
フレームの2D領域に連関するビデオフレームのタイル或いはアトレスフレームのタイル
識別子である。
オ或いはアトラスフレームの2D領域に連関するビデオフレームのタイルグループ或いは
アトレスフレームのタイルグループの数である。
或いはアトラスフレームの2D領域に連関するビデオフレームのタイルグループ或いはア
トレスフレームのタイルグループ識別子である。
以上のアトラスタイル(2D領域)の間の静的/動的マッピング関係を把握することがで
きる。その結果、実施例による受信方法/装置は効率的に部分接近(partial a
ccess)を行って所望の領域のデータを得ることができる。例えば、領域ごと、タイ
ルIDごと、客体ごとのデータ接近が可能である。
の動的情報を含む。例えば、マルチトラックの場合、V3Cトラックのサンプルエントリ
ーが静的3D空間領域情報を伝達する。シングルトラックの場合は、V3C基本トラック
のサンプルエントリーが静的3D空間領域情報を伝達する。マルチトラックの場合、時間
指定メタデータトラックが動的3D空間領域情報を伝達する。シングルトラックの場合は
、V3C基本トラックのサンプルエントリーは動的3D空間領域情報を伝達する。
ion mapping information)
ータが含まれた1つ以上のビデオ或いはアトラスフレームの2D領域情報、各2D領域に
連関するビデオ或いはアトラスタイル或いはタイルグループに関する情報がポイントクラ
ウドシーケンス内に変化しない場合、V-PCCトラック或いはV-PCC基本ストリー
ムトラックのサンプルエントリーにVPCC3DRegionMappingBoxが含
まれる。
nds VolumetricVisualSampleEntry (’vpc1’)
{
g;
フレームの2D領域情報は、V-PCCトラック内のサンプルに含まれているアトラスフ
レームの2D領域情報である。
ジオメトリ、占有、特質)フレームの2D領域情報は、V-PCCトラックのトラック参
照により参照しているビデオトラック(ジオメトリ、占有、特質)内のサンプルに含まれ
ているビデオフレームの2D領域情報である。
mpleEntry() extends VolumetricVisualSamp
leEntry(’vpe1’){
g;
ジオメトリ、占有、特質)フレーム或いはアトラスフレームの2D領域情報は、V-PC
C基本ストリームトラック内のサブサンプルに含まれているビデオ或いはアトラスフレー
ムの2D領域情報である。
egion mapping information)
メタデータトラックを有する場合、ポイントクラウドストリームに対して定義された3D
空間領域がV-PCCトラックにより伝達され、動的領域として考慮される。即ち、空間
領域情報は時間に応じて動的に変化する。
ックに対して参照する’cdsc’トラックを含む。
フレームの2D領域情報は、V-PCCトラック内のサンプルに含まれているアトラスフ
レームの2D領域情報であり得る。
ジオメトリ、占有、特質)フレームの2D領域情報はV-PCCトラックのトラック参照
により参照しているビデオトラック(ジオメトリ、占有、特質)内のサンプルに含まれて
いるビデオフレームの2D領域情報である。
連関する時間指定メタデータトラックを含むと、ポイントクラウドストリームに対して定
義された3D空間領域がV-PCC基本トラックにより伝達され、動的領域として考慮さ
れる。即ち、空間領域情報は時間によって動的に変化する。
トラックに対して参照する’cdsc’トラックを含む。
ジオメトリ、占有、特質)フレーム或いはアトラスフレームの2D領域情報はV-PCC
基本ストリームトラック内のサブサンプルに含まれているビデオ或いはアトラスフレーム
の2D領域情報である。
SampleEntry extends MetaDataSampleEntry(
’dysr’){
apping;
載される。
{
g;
ionBox)は、V-PCCトラック又はV-PCC基本ストリームトラックのサンプ
ルエントリー内に存在する。V-PCCトラック又はV-PCC基本ストリームトラック
のサンプルエントリー内に存在する場合、VPCCBoundingInformati
onBoxが関連する又は伝達されるポイントクラウドデータの全般的なバウンディング
ボックス情報を提供する。
nBox extends FullBox(’vpbb’,0,0){
定メタデータトラックを有すると、時間指定メタデータトラックはポイントクラウドデー
タの動的に変化する3Dバウンディングボックス情報を提供する。
ックを参照する’cdsc’トラックを含む。
mpleEntry
報を提供する。原点位置のX、Y、Z座標を含み、座標系上の原点(origin)に対
するX、Y、Z軸に沿ってポイントクラウドデータの全般的な3Dバウンディングボック
スの拡張を提供する。このトラック内サンプルにより伝達される3Dバウンディングボッ
クスはこの全般的な3Dバウンディングボックスの空間パートである。
載される。
{
バウンディングボックス情報を提供する。
て、ディメンション含みフラグ(dimensions_included_flag)
が0であると、ディメンションがシグナリングされず、同一の領域に対して以前にシグナ
リングされることを示す。即ち、同一の3d_region_idを有する3DSpat
ialRegionStructの以前インスタンスがディメンションをシグナリングす
る。
ラウドデータを伝達する。
on-timed Video-based point Cloud Compres
sion Data)
PCCアイテム、V-PCCユニットアイテム及び他のV-PCC符号化されたコンテン
ツ表現情報の存在を示すために、新しいハンドルでタイプ4CCコード’vpcc’が定
義され、メタボックスのハンドラーボックス内に格納される。
ージを称する。
セル化するための構造に基づいて実施例によるデータを生成して送信する。
である。新しいアイテムタイプは4CCコード’vpcI’はV-PCCアイテムを識別
するために定義される。V-PCCアイテムはアトラスサブビットストリームのV-PC
Cユニットペイロードを格納する。
内のアイテムID(item_id)がV-PCCアイテムを示すために設定される。
CCユニットペイロードを格納する。V-PCCユニットアイテムはただ1つのV-PC
Cアクセスユニット関連のデータを含む。
ータユニットを符号化するために使用されるコーデックに基づいて設定される。V-PC
Cユニットアイテムは対応するV-PCCユニットヘッダアイテムプロパティ及びコーデ
ック特定の構成アイテムプロパティに連関がある。
プレイすることは意味がないこともあるためである。
イテム参照タイプ、4CCコード’pcco’、’pccg’及び’pcca’が定義さ
れる。アイテム参照はV-PCCアイテムから関連するV-PCCユニットアイテムによ
り定義される。アイテム参照タイムの4CCコードは以下の通りである。
ム
ットを含む。
含む。
rties)
情報のそれぞれを伝達するために定義される。
em property)
em of type ’vpcI’
PCC item of type ’vpcI’
アイテムに連関がある。
る。
ct(){
;
rty
e):vpcc_unit_paylod()のバイト内サイズを示す。
item property)
em of type ’vpci’ and for a V-PCC unit i
tem
イテム及びV-PCCユニットアイテムに連関がある。
(){
n=0, 0){
ounding box item property)
em of type ’vpcI’ and for a V-PCC unit i
tem
テム及びV-PCCユニットアイテムに連関がある。
roperty(){
n=0, 0){
ion mapping information item property)
em of type ’vpcI’ and for a V-PCC unit i
tem
テム及びV-PCCユニットアイテムに連関がある。
Inforoperty(){
n=0, 0){
6000に対応する。実施例によるエンコーダ及びエンコーダに対応する装置などにより
生成され、実施例によるデコーダ及びデコーダに対応する装置などにより復号される。
図30など)、アトラスデータ(AD、図32など)、占有ビデオデータ(OVD)、ジ
オメトリビデオデータ(GVD)及び特質ビデオデータ(AVD)を含み(図26など)
、各データのシンタックス及び構造は上記図及び対応する段落などを参照する。
020を含む。
S、図35、図61など)、アトラス適応パラメータセット(AAPS、図38など)、
アトラスフレームパラメータセット(AFPS、図36、図62など)、SEI情報(E
SEI、NSEI)及びアトラスタイル関連のデータなどを含む。
ーディングによってIタイル及びPタイルでアトラスタイルレイヤが構成される。各タイ
ルはパッチに関する情報を含む。
ータを符号化する段階を含む。実施例による符号化動作は、図1の送信装置1000、ポ
イントクラウドビデオエンコーダ10003、図4の符号化プロセス、図15のエンコー
ダ、図18の送信装置のパッチ生成18000ないし多重化18007、図20及び図2
1のシステムのポイントクラウド獲得20000ないしビデオ/イメージ符号化2000
2,20003、獲得21000ないしビデオ符号化21007及びイメージ符号化21
008、XRデバイス2330のポイントクラウドデータの符号化などの動作を含む。
ウドデータをカプセル化する段階を含む。実施例によるカプセル化動作は図1、図20、
図21のファイル/セグメントカプセル化10003,20004,21009、図24
及び図25のファイル生成(図26以下を参照)などの動作を含む。
ウドデータを送信する段階を含む。実施例による送信動作は図1の送信機10004、図
18の送信部18008、図20及び図21の送信、XRデバイス2330のポイントク
ラウドデータ送信などの動作を含む。
ータを受信する段階を含む。実施例による受信動作は図1の受信部10006、図19の
受信部、図20及び図21の伝達受信、図22の伝達受信、図23のXRデバイス233
0のデータ受信などの動作を含む。
ウドデータをデカプセル化する段階を含む。実施例によるデカプセル化動作は、図1のフ
ァイル/セグメントデカプセル化部10007、図20及び図22のファイル/セグメン
トデカプセル化部20005,22000、XRデバイス2330のデータパース、図2
4及び図25のファイル及び図26以下のデータを含むファイルパーすなどの動作を含む
。
ウドデータを復号する段階を含む。実施例による復号動作は、図1のポイントクラウドビ
デオデコーダ10008、図16の復号プロセス、図17のデコーダ、図19の復号動作
、図20のビデオ/イメージ復号20006、図22のビデオ/イメージ復号22001
,22002、XRデバイス2330のポイントクラウドデータ復号などを含む。
の送信機又は受信機は、V-PCCビットストリームを構成し、ファイルを格納する。
ットストリーム内に送信する。
空間或いは部分接近を可能にする。言い換えれば、上述したデータ表現方式はユーザのビ
ューポートによってポイントクラウドビットストリームに効率的に接近して処理できると
いう効果を提供する。
ば、V-PCCコンテンツ)に対する部分接近及び/又は空間接近のためのバウンディン
グボックス及びこのためのシグナリング情報を提供し、実施例によるポイントクラウドデ
ータ受信装置がプレーヤー又はユーザ環境を考慮してポイントクラウドコンテンツを様々
に接近できる効果を提供する。
PCCコンテンツの空間部分接近を支援するためのV-PCCコンテンツの3D領域情報
とそれに連関するビデオ或いはアトラスフレーム上の2D領域関連メタデータを提供する
。
領域マッピング関連の情報、3D領域と1つ以上のアトラスタイルマッピング関連の情報
を提供し(図66などを参照)、3D領域と1つ以上のアトラスタイル(2D領域)静的
マッピングシグナリング、3D領域と1つ以上のアトラスタイル(2D領域)動的マッピ
ングシグナリング(図72及び対応する段落を参照)関連の情報を提供する。その結果、
実施例によるポイントクラウドデータ受信装置は、上記のような実施例によるマッピング
情報に基づいて空間接近及び部分接近を効率的に行うことができる。
内のポイントクラウドの3D領域情報と、これに関連するビデオ又はアトラスフレーム上
の2D領域関連情報のシグナリングを提供する。
3D領域情報と、これに関連するビデオ又はアトラスフレーム上の2D領域関連情報の格
納及びシグナリングに基づいて、ポイントクラウドコンテンツをユーザ環境を考慮して効
率的に低遅延でユーザに提供する。
に関連するポイントクラウドの3D領域情報と、これに関連するビデオ又はアトラスフレ
ーム上の2D領域関連情報に基づいて、ポイントクラウドコンテンツの様々なアクセスを
提供する。
補完して適用できる。
しい実施例を具現するように設計することも可能である。また通常の技術者の必要によっ
て、以前に説明した実施例を実行するためのプログラムが記録されているコンピューター
で読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装
置及び方法は、上述したように説明された実施例の構成と方法が限定して適用されること
ではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられ
て構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例
は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず
、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能
であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない
。
又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例
えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素は
それぞれのチップで具現される。実施例において、実施例による装置の構成要素のいずれ
かは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成さ
れ、一つ又はそれ以上のプログラムは実施例による動作/方法のいずれか一つ又はそれ以
上の動作/方法を行わせるか、又は実行させるための指示を含む。実施例による装置の方
法/動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行され
るために構成された一時的ではないCRM又は他のコンピュータープログラム製品に格納
されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的
なCRM又は他のコンピュータープログラム製品に格納される。また実施例によるメモリ
は、揮発性メモリ(例えば、RAMなど)だけではなく、非揮発性メモリ、フラッシュメ
モリ、PROMなどを全部含む概念として使用される。また、インターネットによる送信
などのような伝送波の形式で具現されることも含む。またプロセッサが読み取られる記録
媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によ
りプロセッサが読み取られるコードが格納されて実行される。
B”は“A及び/又はB”に解釈され、“A、B”は“A及び/又はB”に解釈される。
さらに、“A/B/C”は“A、B及び/又はCのいずれか”を意味する。また、“A、
B、C”も“A、B及び/又はCのいずれか”を意味する。さらに、この文書において、
“又は”は“及び/又は”に解釈される。例えば、“A又はB”は、1)“A”のみを意
味するか、2)“B”のみを意味するか、又は3)“A及びB”を意味する。言い換えれ
ば、この明細書において“又は”は“さらに(additionally)又は代わりに
(alternatively)”を意味する。
、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用
語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば
、第1ユーザ入力信号は第2ユーザ入力信号と称することができる。同様に、第2ユーザ
入力信号は第1ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例
の範囲から離脱していない。第1ユーザ入力信号及び第2ユーザ入力信号はいずれもユー
ザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味し
てはいない。
り、実施例を制限するものではない。実施例の説明及び請求範囲で使用したように、文脈
上明確に称していない限り、単数は複数を含む。「及び/又は」表現は用語間の全ての可
能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び/又はコンポー
ネントが存在することを説明し、さらなる特徴、数、段階、要素及び/又はコンポーネン
トを含まないことを意味することではない。実施例を説明するために使用される、「~で
ある場合」、「~の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特
定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈さ
れるように意図されている。
ロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理/制御する
ためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。
プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフ
トウェア及び/又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及
び/又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
われる。送受信装置はメディアデータを送受信する送受信部、実施例によるおプロセスに
対する指示(プログラムコード、アルゴリズム、フローチャート及び/又はデータ)を格
納するメモリ、及び送受信装置の動作を制御するプロセッサを含む。
/又はそれらの組み合わせに対応する。上記実施例による動作はプロセッサにより行われ
る。またプロセッサは上記実施例の動作のためのエンコーダ/デコーダなどで具現される
。
又は部分的に適用することができる。
。
Claims (8)
- ポイントクラウドデータ送信方法であって、
前記ポイントクラウドデータのジオメトリデータを符号化する段階;
前記ポイントクラウドデータの特質データを符号化する段階;
前記ポイントクラウドデータの占有マップを符号化する段階;
ファイルにおいて、前記符号化された占有マップ、前記符号化されたジオメトリデータ、及び、前記符号化された特質データ、をカプセル化する段階;及び
前記ファイルを送信する段階;を含んでなり、
前記ファイルは、前記占有マップを含む第1コンポーネントトラック、前記ジオメトリデータを含む第2コンポーネントトラック、及び、前記特質データを含む第3コンポーネントトラック、を含み、
前記ファイルは、トラック、及び、前記ポイントクラウドデータに対する空間領域の部分接近の為の空間領域情報を含む前記トラックのサンプルエントリー、を更に含み、
前記空間領域情報は、前記ポイントクラウドデータに対する空間領域の識別子、及び、前記空間領域の位置情報、を含み、
前記空間領域情報は、前記ポイントクラウドデータの前記空間領域に連関するアトラスタイルの数を示す情報、及び、前記アトラスタイルを識別する為のタイル識別子情報、を更に含む、送信方法。 - 前記空間領域情報は、時間に応じて静的な情報又は動的な情報を含む、請求項1に記載の送信方法。
- ポイントクラウドデータを受信し符号化する装置であって、
プロセッサ;及び
前記プロセッサを実行し前記装置を稼働させる一又は二以上の指示を格納するメモリ;を備えてなり、
前記指示は、
前記ポイントクラウドデータの占有マップを含む第1コンポーネントトラック、前記ポイントクラウドデータのジオメトリデータを含む第2コンポーネントトラック、及び、前記ポイントクラウドデータの特質データを含む第3コンポーネントトラック、を含むファイルを受信する段階、
前記ファイルをデカプセル化する段階、並びに
前記ジオメトリデータ、前記特質データ、及び、前記占有マップ、を符号化する段階、を含んでなり、
前記ファイルは、トラック、及び、前記ポイントクラウドデータに対する空間領域の部分接近の為の空間領域情報を含む前記トラックのサンプルエントリー、を更に含み、
前記空間領域情報は、前記ポイントクラウドデータに対する空間領域の識別子、及び、前記空間領域の位置情報、を含み、
前記空間領域情報は、前記ポイントクラウドデータの前記空間領域に連関するアトラスタイルの数を示す情報、及び、前記アトラスタイルを識別する為のタイル識別子情報、を含む、装置。 - 前記空間領域情報は時間に応じて静的な情報又は動的な情報を含む、請求項3に記載の装置。
- ポイントクラウドデータを符号化し送信する装置であって、
プロセッサ;及び
前記プロセッサを実行し前記装置を稼働させる一又は二以上の指示を格納するメモリ;を備えてなり、
前記指示は、
前記ポイントクラウドデータのジオメトリデータを符号化する段階;
前記ポイントクラウドデータの特質データを符号化する段階;
前記ポイントクラウドデータの占有マップを符号化する段階;
ファイルにおいて、前記符号化された占有マップ、前記符号化されたジオメトリデータ、及び、前記符号化された特質データ、をカプセル化する段階;及び
前記ファイルを送信する段階;を含んでなり、
前記ファイルは、前記占有マップを含む第1コンポーネントトラック、前記ジオメトリデータを含む第2コンポーネントトラック、及び、前記特質データを含む第3コンポーネントトラック、を含み、
前記ファイルは、トラック、及び、前記ポイントクラウドデータに対する空間領域の部分接近の為の空間領域情報を含む前記トラックのサンプルエントリー、を更に含み、
前記空間領域情報は、前記ポイントクラウドデータに対する空間領域の識別子、及び、前記空間領域の位置情報、を含み、
前記空間領域情報は、前記ポイントクラウドデータの前記空間領域に連関するアトラスタイルの数を示す情報、及び、前記アトラスタイルを識別する為のタイル識別子情報、を更に含む、装置。 - 前記空間領域情報は時間に応じて静的な情報又は動的な情報を含む、請求項5に記載の装置。
- ポイントクラウドデータ受信方法であって、
前記ポイントクラウドデータの占有マップを含む第1コンポーネントトラック、前記ポイントクラウドデータのジオメトリデータを含む第2コンポーネントトラック、及び、前記ポイントクラウドデータの特質データを含む第3コンポーネントトラック、を含むファイルを受信する段階;
前記ファイルをデカプセル化する段階;及び
前記ジオメトリデータ、前記特質データ、及び、前記占有マップを復号する段階;を含んでなり、
前記ファイルは、トラック、及び、前記ポイントクラウドデータに対する空間領域の部分接近の為の空間領域情報を含む前記トラックのサンプルエントリー、を更に含み、
前記空間領域情報は、前記ポイントクラウドデータに対する空間領域の識別子、及び、前記空間領域の位置情報、を含み、
前記空間領域情報は、前記ポイントクラウドデータの前記空間領域に連関するアトラスタイルの数を示す情報、前記アトラスタイルを識別する為のタイル識別子情報、を更に含む、受信方法。 - 前記空間領域情報は時間に応じて静的な情報又は動的な情報を含む、請求項7に記載の受信方法。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062959129P | 2020-01-09 | 2020-01-09 | |
| US62/959,129 | 2020-01-09 | ||
| KR20200044234 | 2020-04-10 | ||
| KR10-2020-0044234 | 2020-04-10 | ||
| JP2022542110A JP7434577B2 (ja) | 2020-01-09 | 2020-09-23 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 |
| PCT/KR2020/012847 WO2021141208A1 (ko) | 2020-01-09 | 2020-09-23 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022542110A Division JP7434577B2 (ja) | 2020-01-09 | 2020-09-23 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024050831A JP2024050831A (ja) | 2024-04-10 |
| JP7659096B2 true JP7659096B2 (ja) | 2025-04-08 |
Family
ID=76788107
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022542110A Active JP7434577B2 (ja) | 2020-01-09 | 2020-09-23 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 |
| JP2024016838A Active JP7659096B2 (ja) | 2020-01-09 | 2024-02-07 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022542110A Active JP7434577B2 (ja) | 2020-01-09 | 2020-09-23 | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11394979B2 (ja) |
| EP (1) | EP4047935B1 (ja) |
| JP (2) | JP7434577B2 (ja) |
| KR (1) | KR102381162B1 (ja) |
| CN (3) | CN114930863B (ja) |
| WO (1) | WO2021141208A1 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021066162A1 (ja) * | 2019-10-03 | 2021-04-08 | ||
| WO2021117859A1 (ja) | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 画像処理装置および方法 |
| EP4088480A4 (en) * | 2020-01-10 | 2023-12-06 | Nokia Technologies Oy | Storage of multiple atlases from one v-pcc elementary stream in isobmff |
| EP4090013A4 (en) * | 2020-01-10 | 2024-01-17 | LG Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| CN115380528B (zh) * | 2020-04-11 | 2024-03-29 | Lg电子株式会社 | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
| MX2023000131A (es) * | 2020-06-22 | 2023-04-05 | Interdigital Patent Holdings Inc | Transmisión adaptativa de nubes de puntos basados en geometría. |
| US11954891B2 (en) * | 2020-06-30 | 2024-04-09 | Electronics And Telecommunications Research Institute | Method of compressing occupancy map of three-dimensional point cloud |
| US11706450B2 (en) * | 2020-09-18 | 2023-07-18 | Samsung Electronics Co., Ltd. | Partial decoding and reconstruction of a video-based point cloud compression bitstream |
| US12548198B2 (en) * | 2020-10-07 | 2026-02-10 | Qualcomm Incorporated | Motion estimation in geometry point cloud compression |
| US12541883B2 (en) * | 2020-10-09 | 2026-02-03 | Interdigital Ce Patent Holdings, Sas | Method and an apparatus for reconstructing an occupancy map of a point cloud frame |
| JP7663688B2 (ja) * | 2020-11-30 | 2025-04-16 | 中興通訊股▲ふん▼有限公司 | 没入型メディアのマルチアトラスカプセル化 |
| WO2022225233A1 (ko) * | 2021-04-22 | 2022-10-27 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11979606B2 (en) * | 2021-06-04 | 2024-05-07 | Tencent America LLC | Conditional recolor for video based point cloud coding |
| EP4145832A1 (en) * | 2021-09-02 | 2023-03-08 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| US20240420376A1 (en) * | 2021-09-10 | 2024-12-19 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Connectivity information coding method and apparatus for coded mesh representation |
| EP4199522B1 (en) * | 2021-12-20 | 2025-04-30 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus of encapsulating/parsing point cloud data in/from encapsulating containers |
| KR102527798B1 (ko) * | 2021-12-23 | 2023-05-02 | 경희대학교 산학협력단 | 3차원 컨텐츠 전송 장치 및 방법 |
| CN117422842A (zh) * | 2022-07-11 | 2024-01-19 | 戴尔产品有限公司 | 用于处理点云的方法、电子设备和计算机程序产品 |
| WO2024059232A1 (en) * | 2022-09-16 | 2024-03-21 | Innopeak Technology, Inc. | Point cloud decoding method, point cloud encoding method, decoder and encoder |
| GB2629152A (en) * | 2023-04-17 | 2024-10-23 | Canon Kk | Method, device, and computer program for improving random access in point cloud data bit-stream |
| US11875447B1 (en) * | 2023-05-26 | 2024-01-16 | Illuscio, Inc. | Systems and methods for color correcting three-dimensional objects formed by point cloud data points |
| JP2025008071A (ja) * | 2023-07-04 | 2025-01-20 | Kddi株式会社 | メッシュ復号装置、メッシュ復号方法及びプログラム |
| US20250106420A1 (en) * | 2023-09-21 | 2025-03-27 | Tencent America LLC | Required supplementary enhancement information messages through profile |
| JP2025064207A (ja) * | 2023-10-05 | 2025-04-17 | Kddi株式会社 | メッシュ復号装置、メッシュ復号方法及びプログラム |
| CN117437162B (zh) * | 2023-12-22 | 2024-03-08 | 吉林大学 | 一种基于实例级序列混合的动态点云数据增强方法及装置 |
| CN117894015B (zh) * | 2024-03-15 | 2024-05-24 | 浙江华是科技股份有限公司 | 点云标注数据优选方法及系统 |
| JP2025161655A (ja) * | 2024-04-12 | 2025-10-24 | Kddi株式会社 | メッシュ復号装置、メッシュ復号方法及びプログラム |
| KR102916510B1 (ko) * | 2024-10-07 | 2026-01-22 | 서울과학기술대학교 산학협력단 | 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법, 및 포인트 클라우드 데이터 수신 장치 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019079032A1 (en) | 2017-10-20 | 2019-04-25 | Interdigital Vc Holdings, Inc. | METHOD, APPARATUS AND FLOW FOR VOLUMETRIC VIDEO FORMAT |
| WO2019135024A1 (en) | 2018-01-02 | 2019-07-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| WO2019191205A1 (en) | 2018-03-30 | 2019-10-03 | Interdigital Vc Holdings, Inc. | Method, apparatus and stream for volumetric video format |
| US20190318488A1 (en) | 2018-04-12 | 2019-10-17 | Samsung Electronics Co., Ltd. | 3d point cloud compression systems for delivery and access of a subset of a compressed 3d point cloud |
| US20190392647A1 (en) | 2019-08-16 | 2019-12-26 | Lg Electronics Inc. | Xr device and method for controlling the same |
| WO2020060813A1 (en) | 2018-09-18 | 2020-03-26 | Vid Scale, Inc. | Methods and apparatus for point cloud compression bitstream format |
| WO2021062645A1 (en) | 2019-09-30 | 2021-04-08 | Zte Corporation | File format for point cloud data |
| WO2021117859A1 (ja) | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 画像処理装置および方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10235338B2 (en) * | 2014-09-04 | 2019-03-19 | Nvidia Corporation | Short stack traversal of tree data structures |
| CN105590311A (zh) * | 2014-11-13 | 2016-05-18 | 富泰华工业(深圳)有限公司 | 图形化平面数据分析系统及方法 |
| US10186024B2 (en) * | 2015-12-29 | 2019-01-22 | Texas Instruments Incorporated | Method and system for real time structure from motion in a computer vision system |
| US10223810B2 (en) * | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
| CN119251375A (zh) * | 2016-08-19 | 2025-01-03 | 莫维迪厄斯有限公司 | 矩阵操作的动态剔除 |
| EP3349182A1 (en) * | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
| US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
| KR102494923B1 (ko) * | 2017-10-16 | 2023-02-06 | 소니그룹주식회사 | 정보 처리 장치 및 방법 |
| CN108254758A (zh) * | 2017-12-25 | 2018-07-06 | 清华大学苏州汽车研究院(吴江) | 基于多线激光雷达和gps的三维道路构建方法 |
| CN108615254A (zh) * | 2018-03-28 | 2018-10-02 | 广州市本真网络科技有限公司 | 基于树型结构网格矢量量化的点云渲染方法、系统及装置 |
| CN112204985B (zh) * | 2018-04-11 | 2023-03-10 | 索尼公司 | 图像处理设备和方法 |
| CN109035286A (zh) * | 2018-06-29 | 2018-12-18 | 北京农业信息技术研究中心 | 植物三维点云数据高通量获取方法及装置 |
| EP3855398B1 (en) * | 2018-09-21 | 2024-09-11 | Panasonic Intellectual Property Corporation of America | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
| EP3734977A1 (en) * | 2019-04-30 | 2020-11-04 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| US11581022B2 (en) * | 2019-05-29 | 2023-02-14 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
| US11218715B2 (en) * | 2019-06-14 | 2022-01-04 | Mediatek Singapore Pte. Ltd. | Methods and apparatus for spatial grouping and coordinate signaling for immersive media data tracks |
-
2020
- 2020-09-23 CN CN202080092244.0A patent/CN114930863B/zh active Active
- 2020-09-23 CN CN202310892295.7A patent/CN116684666A/zh active Pending
- 2020-09-23 WO PCT/KR2020/012847 patent/WO2021141208A1/ko not_active Ceased
- 2020-09-23 EP EP20912390.0A patent/EP4047935B1/en active Active
- 2020-09-23 JP JP2022542110A patent/JP7434577B2/ja active Active
- 2020-09-23 CN CN202310893204.1A patent/CN116684667A/zh active Pending
- 2020-10-15 KR KR1020200133123A patent/KR102381162B1/ko active Active
- 2020-10-26 US US17/080,275 patent/US11394979B2/en active Active
-
2024
- 2024-02-07 JP JP2024016838A patent/JP7659096B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019079032A1 (en) | 2017-10-20 | 2019-04-25 | Interdigital Vc Holdings, Inc. | METHOD, APPARATUS AND FLOW FOR VOLUMETRIC VIDEO FORMAT |
| WO2019135024A1 (en) | 2018-01-02 | 2019-07-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| WO2019191205A1 (en) | 2018-03-30 | 2019-10-03 | Interdigital Vc Holdings, Inc. | Method, apparatus and stream for volumetric video format |
| US20190318488A1 (en) | 2018-04-12 | 2019-10-17 | Samsung Electronics Co., Ltd. | 3d point cloud compression systems for delivery and access of a subset of a compressed 3d point cloud |
| WO2020060813A1 (en) | 2018-09-18 | 2020-03-26 | Vid Scale, Inc. | Methods and apparatus for point cloud compression bitstream format |
| US20190392647A1 (en) | 2019-08-16 | 2019-12-26 | Lg Electronics Inc. | Xr device and method for controlling the same |
| WO2021062645A1 (en) | 2019-09-30 | 2021-04-08 | Zte Corporation | File format for point cloud data |
| WO2021117859A1 (ja) | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 画像処理装置および方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Information technology - Coded representation of immersive media - Part 5: Video-based Point Cloud,ISO/IEC,2019年12月24日,Pages 1-67,145-150,161-163,Reference number: ISO/IEC DIS 23090-5:2019(E). |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4047935A1 (en) | 2022-08-24 |
| EP4047935B1 (en) | 2025-09-03 |
| KR20210090085A (ko) | 2021-07-19 |
| JP2024050831A (ja) | 2024-04-10 |
| CN114930863A (zh) | 2022-08-19 |
| JP2023509092A (ja) | 2023-03-06 |
| CN114930863B (zh) | 2023-08-08 |
| JP7434577B2 (ja) | 2024-02-20 |
| US20210227232A1 (en) | 2021-07-22 |
| WO2021141208A1 (ko) | 2021-07-15 |
| CN116684666A (zh) | 2023-09-01 |
| US11394979B2 (en) | 2022-07-19 |
| CN116684667A (zh) | 2023-09-01 |
| KR102381162B1 (ko) | 2022-04-01 |
| EP4047935A4 (en) | 2022-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7659096B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| JP7749058B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| KR102406846B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP7434578B2 (ja) | ポイントクラウドデ-タ送信装置、ポイントクラウドデ-タ送信方法、ポイントクラウドデ-タ受信装置及びポイントクラウドデ-タ受信方法 | |
| US11601634B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| KR102292195B1 (ko) | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 | |
| JP7434574B2 (ja) | ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法 | |
| EP4124032A1 (en) | Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data | |
| US11908168B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| CN115380528B (zh) | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7659096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |