Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7640526B2 - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 - Google Patents
[go: Go Back, main page]

JP7640526B2 - ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 - Google Patents

ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 Download PDF

Info

Publication number
JP7640526B2
JP7640526B2 JP2022509167A JP2022509167A JP7640526B2 JP 7640526 B2 JP7640526 B2 JP 7640526B2 JP 2022509167 A JP2022509167 A JP 2022509167A JP 2022509167 A JP2022509167 A JP 2022509167A JP 7640526 B2 JP7640526 B2 JP 7640526B2
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
points
unit
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022509167A
Other languages
English (en)
Other versions
JP2022544571A (ja
Inventor
ユソン パク
セチン オ
へチョン ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority claimed from PCT/KR2020/010661 external-priority patent/WO2021029662A1/ko
Publication of JP2022544571A publication Critical patent/JP2022544571A/ja
Application granted granted Critical
Publication of JP7640526B2 publication Critical patent/JP7640526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

実施例はポイントクラウドコンテンツ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｎｔｅｎｔ)を処理する方法及び装置に関する。
ポイントクラウドコンテンツは３次元空間を表現する座標系に属する点(ポイント)の集合であるポイントクラウドで表現されるコンテンツである。ポイントクラウドコンテンツは３次元からなるメディアを表現でき、ＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実)、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実)、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ、複合現実)及び自律走行サービスなどの様々なサービスを提供するために使用される。しかし、ポイントクラウドコンテンツを表現するためには、数万から数十万個のポイントデータが必要である。従って、膨大な量のポイントデータを効率的に処理する方法が求められる。
ポイントクラウドデータは、送信、符号化、復号化及びレンダリング処理の過程がリアルタイム、低遅延で行われるという要求に合わせるために、ポイントクラウドフレーム又はポイントクラウドデータをタイル(ｔｉｌｅ)又はスライス(ｓｌｉｃｅ)単位に分けることができる。
実施例はポイントクラウドデータを効率的に処理するための装置及び方法を提供する。実施例は遅延(ｌａｔｅｎｃｙ)及び符号化／復号複雑度を解決するためのポイントクラウドデータ処理方法及び装置を提供する。
但し、上述した技術的課題のみに制限されず、記載する全ての内容に基づいて当業者が導き出される他の技術的課題にも実施例の権利範囲を拡張することができる。
技術的課題を達成するために、実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを符号化する段階及び／又はポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階；を含む。
実施例による符号化する段階は、ポイントクラウドデータのポイントのジオメトリ(ｇｅｏｍｅｔｒｙ)データを符号化する段階及びポイントクラウドデータのポイントの特質(ａｔｔｒｉｂｕｔｅ)データを符号化する段階を含む。
さらに実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータを一つ又はそれ以上のスライスに分割する段階をさらに含み、符号化する段階は、ポイントクラウドデータをスライスごとに符号化する。
さらに実施例による分割する段階は、スライス内に含まれたポイントの最大個数情報に基づいてポイントクラウドデータを分割する。
さらに実施例によるシグナリング情報は、分割する段階の実行有無を示す情報及び分割する段階が行われる場合、分割を行う方法を示す情報を含み、分割する段階はポイントクラウドデータを第１スライス及び第２スライスを含む複数のスライスに分割し、第１スライス及び第２スライスはポイントクラウドデータを含む３次元空間内の重なった領域を含む。
なおさらに実施例による分割を行う方法は、ポイントクラウドデータの八分木(ｏｃｔｒｅｅ)に基づいて分割する方法及びポイントクラウドデータを含む３次元空間の軸(ａｘｉｓ)の長さに基づいて分割する方法のうちのいずれかである。
なおさらに実施例によるポイントクラウドデータ送信方法は、ポイントクラウドデータのポイント数が最大個数情報以下である場合、ポイントクラウドデータ送信方法ではポイントクラウデータを一つ又はそれ以上のスライスに分割しない。
技術的課題を達成するために、実施例によるポイントクラウドデータ受信方法は、ポイントクラウドデータのジオメトリデータ及びポイントクラウドデータの特質データを含むビットストリームを受信する段階及びビットストリーム内のポイントクラウドデータを復号する段階を含む。
実施例による復号する段階は、ポイントクラウドデータのジオメトリデータを復号する段階及び／又はポイントクラウドデータの特質データを復号する段階を含む。
実施例によるビットストリームはポイントクラウドデータが一つ又はそれ以上のスライスに分割されるか否かを示す情報を含み、受信したポイントクラウドデータが複数のスライスを含む場合、デコーダーは受信したポイントクラウドデータをスライスごとに復号し、スライス内に含まれたポイント数はポイントの最大個数情報に基づいて決定される。
実施例によれば、ビットストリームはスライスに対する分割方法を示す情報を含む。実施例によるスライスは第１スライス及び第２スライスを含み、第１スライス及び第２スライスはポイントクラウドデータを含む３次元空間内の重なった領域を含む。
さらに実施例による分割方法は、ポイントクラウドデータの八分木に基づいて分割する方法及びポイントクラウドデータを含む３次元空間の軸(ａｘｉｓ)の長さに基づいて分割する方法のうちのいずれかである。
実施例によれば、分割方法は、ポイントクラウドデータの八分木に基づいて分割する方法及びポイントクラウドデータを含む３次元空間の軸(ａｘｉｓ)の長さに基づいて分割する方法のうちのいずれかである。
実施例による装置及び方法は、高効率でポイントクラウドデータを処理することができる。
実施例による装置及び方法は、良質のポイントクラウドサービスを提供することができる。
実施例による装置及び方法は、ＶＲサービス、自律走行サービスなどの汎用的なサービスを提供するためのポイントクラウドコンテンツを提供することができる。
実施例によるポイントクラウドデータの送受信装置及び方法は、スライスの分割方法を行い、そのために必要なデータをシグナリングすることにより、ポイントクラウドのコーディング性能意を向上させることができる。
実施例によるポイントクラウドデータの送受信装置及び方法は、ポイントクラウドデータの独立的な符号化／復号化のための空間適応的分割を行うことにより、並列処理の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を提供することができる。
実施例によるポイントクラウドデータの送受信装置及び方法は、独立的なデータ分割を行う時、空間上近い点同士再分割が行われる効果を提供することができる。
実施例によるポイントクラウドデータの送受信装置及び方法は、図１８及び図１９に示すように、ポイントクラウドデータをタイル(ｔｉｌｅ)、スライス及び／又はブリック(ｂｒｉｃｋ)単位で分割することにより、ポイントクラウドデータが占める３次元空間上の任意接続(ｒａｎｄｏｍ ａｃｃｅｓｓ)と並列符号化を可能にする。
実施例によるポイントクラウドデータの送受信装置及び方法は、スライス単位で独立的に符号化及び復号化を行うことにより、符号化及び復号化過程で重なるエラーを防止することができる。
添付図面は実施例をより明確に理解するためのものであり、実施例に関連する説明と共に実施例を示している。以下に説明する様々な実施例のより明確な理解のために、以下の図面において類似参照番号に対応する部分を含む図面に関連しては、必ず以下の実施例の説明を参照する。
実施例によるポイントクラウドコンテンツ提供システムの一例を示す。 実施例によるポイントクラウドコンテンツ提供動作を示すブロック図である。 実施例によるポイントクラウドビデオキャプチャー過程の一例を示す。 実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す。 実施例によるボクセルの一例を示す。 実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す。 実施例による隣接ノードパターンの一例を示す。 実施例によるＬＯＤごとのポイント構成の一例を示す。 実施例によるＬＯＤごとのポイント構成の一例を示す。 実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す。 実施例による送信装置の一例を示す。 実施例による受信装置の一例を示す。 実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す図である。 実施例によるポイントクラウドエンコーダを示す図である。 実施例によるポイントクラウドエンコーダを示す図である。 実施例によるポイントクラウドデータ送信装置のビットストリーム結合部を示す図である。 実施例によるポイントクラウドデータエンコーダがポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。 実施例によるポイントクラウドデータ送信装置の分割部を示す図である。 実施例による重畳スライス分割方法を示す図である。 実施例による重畳スライス分割方法を示す図である。 実施例による重畳スライス分割方法を示す図である。 実施例による重畳スライス分割方法を示す図である。 実施例による重畳スライス分割方法を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のスライスに分割する動作を示す図である。 実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のスライスに分割する動作を示す図である。 実施例によるポイントクラウドデコーダーを示す図である。 実施例によるポイントクラウドデコーダーを示す図である。 実施例によるポイントクラウドデータ受信装置を示す図である。 実施例によるポイントクラウドデコーダーのポイント結合部を示す図である。 実施例によるポイントクラウドデータのビットストリーム構造の一例を示す図である。 実施例によるビットストリームのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す図である。 実施例によるビットストリームのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す図である。 実施例によるビットストリームのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す図である。 実施例によるビットストリームのジオメトリスライスヘッダー(ＧＳＨ、Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す図である。 実施例によるビットストリームの特質スライスヘッダー(ＡＳＨ、Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す図である。 実施例によるポイントクラウドデータ送信段階を示す図である。 実施例によるポイントクラウドデータ受信段階を示す図である。
添付図面を参照しながら望ましい実施例について具体的に説明する。添付図面を参照した以下の詳細な説明は、実施例によって具現可能な実施例のみを示すというより、望ましい実施例を説明するためのものである。以下の詳細な説明は実施例に関する徹底な理解を提供するために細部事項を含む。しかし、かかる細部事項がなくても実施例を実行できることは当業者にとって明らかである。
実施例で使用するほとんどの用語は該当分野において広く使用される一般的なものであるが、一部は出願人によって任意に選択されたものもあり、その意味は必要によって以下に詳しく説明する。よって、実施例は用語の単純な名称や意味ではなく、用語が意図する意味に基づいて理解されるべきである。
図１は実施例によるポイントクラウドコンテンツ提供システムの一例を示す図である。
図１に示したポイントクラウドコンテンツ提供システムは、送信装置(ｔｒａｎｓｍｉｓｓｉｏｎ ｄｅｖｉｃｅ)１００００及び受信装置(ｒｅｃｅｐｔｉｏｎ ｄｅｖｉｃｅ)１０００４を含む。送信装置１００００及び受信装置１０００４はポイントクラウドデータを送受信するために有無線通信が可能である。
実施例による送信装置１００００は、ポイントクラウドビデオ(又はポイントクラウドコンテンツ)を確保し処理して送信する。実施例において、送信装置１００００は固定局(ｆｉｘｅｄ ｓｔａｔｉｏｎ)、ＢＴＳ(ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｙｓｔｅｍ)、ネットワーク、ＡＩ(Ａｒｉｔｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)機器及び／又はシステム、ロボット、ＡＲ／ＶＲ／ＸＲ機器及び／又はサーバーなどを含む。また実施例において、送信装置１００００は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による送信装置１００００は、ポイントクラウドビデオ獲得部(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、ポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２及び／又は送信機(Ｔｒａｎｓｍｉｔｔｅｒ(又は通信モジュール)１０００３を含む。
実施例によるポイントクラウドビデオ獲得部１０００１は、キャプチャー、合成又は生成などの処理過程によりポイントクラウドビデオを獲得する。ポイントクラウドビデオは、３次元空間に位置するポイントの集合であるポイントクラウドで表現されるポイントクラウドコンテンツであって、ポイントクラウドビデオデータなどと呼ばれる。実施例によるポイントクラウドビデオは、一つ又はそれ以上のフレームを含む。一つのフレームは停止映像／ピクチャを示す。よって、ポイントクラウドビデオはポイントクラウド映像／フレーム／ピクチャを含み、ポイントクラウド映像、フレーム及びピクチャのうちのいずれかに呼ばれる。
実施例によるポイントクラウドビデオエンコーダ１０００２は、確保したポイントクラウドビデオデータを符号化する。ポイントクラウドビデオエンコーダ１０００２はポイントクラウド圧縮(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディングに基づいてポイントクラウドビデオデータを符号化する。実施例によるポイントクラウド圧縮コーディングは、Ｇ－ＰＣＣ(Ｇｅｏｍｅｔｒｙ－ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング及び／又はＶ－ＰＣＣ(Ｖｉｄｅｏ ｂａｓｅｄ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)コーディング又は次世代コーディングを含む。なお、実施例によるポイントクラウド圧縮コーディングは、上述した実施例に限られない。ポイントクラウドビデオエンコーダ１０００２は、符号化されたポイントクラウドビデオデータを含むビットストリームを出力することができる。ビットストリームは符号化されたポイントクラウドビデオデータだけではなく、ポイントクラウドビデオデータの符号化に関連するシグナリング情報を含む。
実施例による送信機１０００３は、符号化されたポイントクラウドビデオデータを含むビットストリームを送信する。実施例によるビットストリームはファイル又はセグメント(例えば、ストリーミングセグメント)などにカプセル化されて、放送網及び／又はブロードバンド網などの様々なネットワークにより送信される。図示していないが、送信装置１００００はカプセル化動作を行うカプセル化部(又はカプセル化モジュール)を含む。また実施例において、カプセル化部は送信機１０００３に含まれる。実施例において、ファイル又はセグメントはネットワークにより受信装置１０００４に送信されるか、又はデジタル格納媒体(例えば、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど)に格納される。実施例による送信機１０００３は受信装置１０００４(又は受信機(Ｒｅｃｅｉｖｅｒ)１０００５)と４Ｇ、５Ｇ、６Ｇなどのネットワークにより有無線通信が可能である。また送信機１０００３はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)によって必要なデータ処理動作を行うことができる。また送信装置１００００はオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式によってカプセル化されたデータを送信することもできる。
実施例による受信装置１０００４は、受信機(Ｒｅｃｅｉｖｅｒ)１０００５、ポイントクラウドビデオデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)１０００６及び／又はレンダラー(Ｒｅｎｄｅｒｅｒ)１０００７を含む。実施例において、受信装置１０００４は無線接続技術(例、５Ｇ ＮＲ(Ｎｅｗ ＲＡＴ)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ))を用いて、基地局及び／又は他の無線機器と通信を行う機器、ロボット、車両、ＡＲ／ＶＲ／ＸＲ機器、携帯機器、家電、ＩｏＴ(Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇ)機器、ＡＩ機器／サーバーなどを含む。
実施例による受信機１０００５は、ポイントクラウドビデオデータを含むビットストリーム又はビットストリームがカプセル化されたファイル／セグメントなどをネットワーク又は格納媒体から受信する。受信機１０００５はネットワークシステム(例えば、４Ｇ、５Ｇ、６Ｇなどの通信ネットワークシステム)により必要なデータ処理動作を行う。実施例による受信機１０００５は、受信したファイル／セグメントをデカプセル化してビットストリームを出力する。また実施例において、受信機１０００５はデカプセル化の動作を行うためのデカプセル化部(又はデカプセル化モジュール)を含む。またデカプセル化部は受信機１０００５とは別個のエレメント(又はコンポーネント)で具現される。
ポイントクラウドビデオデコーダ１０００６は、ポイントクラウドビデオデータを含むビットストリームを復号する。ポイントクラウドビデオデコーダ１０００６はポイントクラウドビデオデータが符号化された方式により復号することができる(例えば、ポイントクラウドビデオエンコーダ１０００２の動作の逆の過程)。従って、ポイントクラウドビデオデコーダ１０００６はポイントクラウド圧縮の逆過程であるポイントクラウド復元コーディングを行って、ポイントクラウドビデオデータを復号することができる。ポイントクラウド復元コーディングはＧ－ＰＣＣコーディングを含む。
レンダラー１０００７は復号されたポイントクラウドビデオデータをレンダリングする。レンダラー１０００７はポイントクラウドビデオデータだけではなく、オディオデータもレンダリングしてポイントクラウドコンテンツを出力する。実施例において、レンダラー１０００７はポイントクラウドコンテンツをディスプレイするためのディスプレイを含む。実施例において、ディスプレイはレンダラー１０００７に含まれず、別のデバイス又はコンポーネントで具現される。
図面において、点線で示した矢印は、受信装置１０００４で得たフィードバック情報(ｆｅｅｄｂａｃｋ ｉｎｆｏｒｍａｔｉｏｎ)の送信経路を示す。フィードバック情報はポイントクラウドコンテンツを消費するユーザとの相互作用を反映するための情報であって、ユーザの情報を含む(例えば、ヘッドオリエンテーション情報)、ビューポート情報など)。特に、ポイントクラウドコンテンツがユーザとの相互作用が必要なサービス(例えば、自律走行サービスなど)のためのものである場合には、フィードバック情報はコンテンツ送信側(例えば、送信装置１００００)及び／又はサービス供給者に伝達されることができる。実施例において、フィードバック情報は送信装置１００００だけではなく受信装置１０００４でも使用されることができ、提供されないこともできる。
実施例によるヘッドオリエンテーション情報はユーザの頭の位置、方向、角度、動きなどに関する情報である。実施例による受信装置１０００４はヘッドオリエンテーション情報に基づいてビューポート情報を計算する。ビューポート情報はユーザが見ているポイントクラウドビデオの領域に関する情報である。視点(ｖｉｅｗｐｏｉｎｔ)はユーザがポイントクラウドビデオを見ている点であり、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であり、領域のサイズ、形態などはＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。従って、受信装置１０００４はヘッドオリエンテーション情報以外に、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいてビューポート情報を抽出することができる。また受信装置１０００４はゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)などを行って、ユーザのポイントクラウド消費方式、ユーザが凝視するポイントクラウドビデオ領域、凝視時間などを確認する。実施例において、受信装置１０００４はゲイズ分析の結果を含むフィードバック情報を送信装置１００００に送信することができる。実施例によるフィードバック情報はレンダリング及び／又はディスプレイ過程で得られる。実施例によるフィードバック情報は受信装置１０００４に含まれた一つ又はそれ以上のセンサにより確保される。また実施例において、フィードバック情報はレンダラー１０００７又は別の外部エレメント(又はデバイス、コンポーネントなど)により確保される。図１に示された点線はレンダラー１０００７で確保したフィードバック情報の伝達過程を示す。ポイントクラウドコンテンツ提供システムはフィードバック情報に基づいてポイントクラウドデータを処理(符号化／復号)する。従って、ポイントクラウドビデオデータデコーダ１０００６はフィードバック情報に基づいて復号の動作を行うことができる。また受信装置１０００４はフィードバック情報を送信装置１００００に送信することができる。送信装置１００００(又はポイントクラウドビデオデータエンコーダ１０００２)はフィードバック情報に基づいて符号化の動作を行うことができる。従って、ポイントクラウドコンテンツ提供システムは全てのポイントクラウドデータを処理(符号化／復号)せず、フィードバック情報に基づいて必要なデータ(例えば、ユーザのヘッド位置に対応するポイントクラウドデータ)を効率的に処理して、ユーザにポイントクラウドコンテンツを提供することができる。
実施例において、送信装置１００００はエンコーダ、送信デバイス、送信機などに呼ばれ、受信装置１０００４はデコーダ、受信デバイス、受信機などに呼ばれる。
実施例による図１のポイントクラウドコンテンツ提供システムで処理される(獲得／符号化／送信／復号／レンダリングの一連の過程で処理される)ポイントクラウドデータは、ポイントクラウドコンテンツデータ又はポイントクラウドビデオデータとも呼ばれる。実施例において、ポイントクラウドコンテンツデータはポイントクラウドデータに関連するメタデータ或いはシグナリング情報を含む概念として使用することができる。
図１に示したポイントクラウドコンテンツ提供システムのエレメントは、ハードウェア、ソフトウェア、プロセッサ及び／又はこれらの組み合わせなどで具現される。
図２は実施例によるポイントクラウドコンテンツ提供の動作を示すブロック図である。
図２は図１で説明したポイントクラウドコンテンツ提供システムの動作を示すブロック図である。上述したように、ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディング(例えば、Ｇ－ＰＣＣ)に基づいてポイントクラウドデータを処理する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)では、ポイントクラウドビデオを獲得する(２００００)。ポイントクラウドビデオは３次元空間を表現する座標系に属するポイントクラウドで表現される。実施例によるポイントクラウドビデオはＰｌｙ(Ｐｏｌｙｇｏｎ Ｆｉｌｅ ｆｏｒｍａｔ ｏｒ ｔｈｅ Ｓｔａｎｆｏｒｄ Ｔｒｉａｎｇｌｅ ｆｏｒｍａt)ファイルを含む。ポイントクラウドビデオが一つ又はそれ以上のフレームを有する場合、獲得したポイントクラウドビデオは一つ又はそれ以上のＰｌｙファイルを含む。Ｐｌｙファイルはポイントのジオメトリ(Ｇｅｏｍｅｔｒｙ)及び／又は特質(Ａｔｔｒｉｂｕｔｅ)のようなポイントクラウドデータを含む。ジオメトリはポイントの位置を含む。それぞれのポイントの位置は３次元座標系(例えば、ＸＹＺ軸からなる座標系など)を示すパラメータ(例えば、Ｘ軸、Ｙ軸、Ｚ軸それぞれの値)で表現される。特質はポイントの特質(例えば、それぞれのポイントのテクスチャ情報、色相(ＹＣｂＣｒ又はＲＧＢ)、反射率(ｒ)、透明度など)を含む。一つのポイントは一つ又はそれ以上の特質(又は属性)を有する。例えば、一つのポイントは、色相の一つの特質を有するか、或いは色相及び反射率の二つの特質を有することができる。実施例において、ジオメトリは位置、ジオメトリ情報、ジオメトリデータなどとも呼ばれ、特質は特質、特質情報、特質データなどとも呼ばれる。またポイントクラウドコンテンツ提供システム(例えば、ポイントクラウド送信装置１００００又はポイントクラウドビデオ獲得部１０００１)は、ポイントクラウドビデオの獲得過程に関連する情報(例えば、深さ情報、色相情報など)からポイントクラウドデータを確保することができる。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又はポイントクラウドビデオエンコーダ１０００２)は、ポイントクラウドデータを符号化する(２０００１)。ポイントクラウドコンテンツ提供システムは、ポイントクラウド圧縮コーディングに基づいてポイントクラウドデータを符号化する。上述したように、ポイントクラウドデータはポイントのジオメトリ及び特質を含む。よって、ポイントクラウドコンテンツ提供システムは、ジオメトリを符号化するジオメトリ符号化を行ってジオメトリビットストリームを出力することができる。ポイントクラウドコンテンツ提供システムは、特質を符号化する特質符号化を行って特質ビットストリームを出力することができる。実施例において、ポイントクラウドコンテンツ提供システムはジオメトリ符号化に基づいて特質符号化を行うことができる。実施例によるジオメトリビットストリーム及び特質ビットストリームは多重化されて一つのビットストリームで出力される。実施例によるビットストリームはジオメトリ符号化及び特質符号化に関連するシグナリング情報をさらに含む。
実施例によるポイントクラウドコンテンツ提供システム(例えば、送信装置１００００又は送信機１０００３)は、符号化されたポイントクラウドデータを送信する(２０００２)。図１で説明したように、符号化されたポイントクラウドデータはジオメトリビットストリーム、特質ビットストリームで表現される。また符号化されたポイントクラウドデータはポイントクラウドデータの符号化に関連するシグナリング情報(例えば、ジオメトリ符号化及び特質符号化に関連するシグナリング情報)と共に、ビットストリームの形態で送信される。またポイントクラウドコンテンツ提供システムは符号化されたポイントクラウドデータを送信するビットストリームをカプセル化してファイル又はセグメントの形態で送信する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、符号化されたポイントクラウドデータを含むビットストリームを受信する。またポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又は受信機１０００５)は、ビットストリームを逆多重化することができる。
ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームで送信される符号化されたポイントクラウドデータ(例えば、ジオメトリビットストリーム、特質ビットストリーム)を復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ビットストリームに含まれたポイントクラウドビデオデータの符号化に関連するシグナリング情報に基づいてポイントクラウドビデオデータを復号する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、ジオメトリビットストリームを復号してポイントの位置(ジオメトリ)を復元する。ポイントクラウドコンテンツ提供システムは、復元したジオメトリに基づいて特質ビットストリームを復号してポイントの特質を復元する。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００５)は、復元されたジオメトリによる位置及び復号された特質に基づいてポイントクラウドビデオを復元する。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号されたポイントクラウドデータをレンダリングする(２０００４)。ポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４又はレンダラー１０００７)は、復号過程で復号されたジオメトリ及び特質を様々なレンダリング方式によってレンダリングする。ポイントクラウドコンテンツのポイントは、一定の厚さを有する定点、該当定点の位置を中央とする所定の最小サイズを有する立方体、又は定点の位置を中央とする円などにレンダリングされる。レンダリングされたポイントクラウドコンテンツの全部又は一部の領域はディスプレイ(例えば、ＶＲ／ＡＲディスプレイ、一般ディスプレイなど)によりユーザに提供される。
実施例によるポイントクラウドコンテンツ提供システム(例えば、受信装置１０００４)は、フィードバック情報を確保することができる(２０００５)。ポイントクラウドコンテンツ提供システムは、フィードバック情報に基づいてポイントクラウドデータを符号化及び／又は復号する。実施例によるフィードバック情報及びポイントクラウドコンテンツ提供システムの動作は、図１で説明したフィードバック情報及び動作と同一であるので、具体的な説明は省略する。
図３は実施例によるポイントクラウドビデオキャプチャー過程の一例を示す図である。
図３は図１及び図２で説明したポイントクラウドコンテンツ提供システムのポイントクラウドビデオキャプチャー過程の一例を示す。
ポイントクラウドコンテンツは、様々な３次元空間(例えば、現実環境を示す３次元空間、仮想環境を示す３次元空間など)に位置するオブジェクト(ｏｂｊｅｃｔ)及び／又は環境を示すポイントクラウドビデオ(イメージ及び／又は映像)を含む。従って、実施例によるポイントクラウドコンテンツ提供システムは、ポイントクラウドコンテンツを生成するために一つ又はそれ以上のカメラ(例えば、深さ情報を確保できる赤外線カメラ、深さ情報に対応する色相情報を抽出できるＲＧＢカメラなど)、プロジェクト(例えば、深さ情報を確保するための赤外線パターンプロジェクターなど)、ＬｉＤＡＲなどを使用してポイントクラウドビデオをキャプチャーする。実施例によるポイントクラウドコンテンツ提供システムは、深さ情報から３次元空間上のポイントで構成されたジオメトリの形態を抽出し、色相情報からそれぞれのポイントの特質を抽出してポイントクラウドデータを確保する。実施例によるイメージ及び／又は映像は内向き(ｉｎｗａｒｄ－ｆａｃｉｎｇ)方式及び外向き(ｏｕｔｗａｒｄ－ｆａｃｉｎｇ)方式のうちのいずれかに基づいてキャプチャーされる。
図３の左側には内向き方式が示されている。内向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトをキャプチャーする方式である。内向き方式は核心客体に対する３６０°イメージをユーザに提供するポイントクラウドコンテンツ(例えば、ユーザに客体(例：キャラクター、選手、品物、俳優などの核心となる客体)の３６０°イメージを提供するＶＲ／ＡＲコンテンツ)を生成するために使用される。
図３の右側には外向き方式が示されている。外向き方式は中心オブジェクトを取り囲んで位置する一つ又はそれ以上のカメラ(又はカメラセンサ)が中心オブジェクトではない中心オブジェクトの環境をキャプチャーする方式である。外向き方式はユーザの視点からの周辺環境を提供するためのポイントクラウドコンテンツ(例えば、自律走行車両のユーザに提供される外部環境を示すコンテンツ)を生成するために使用される。
図示したように、ポイントクラウドコンテンツは一つ又はそれ以上のカメラのキャプチャー動作に基づいて生成される。この場合、それぞれのカメラの座標系が異なるので、ポイントクラウドコンテンツ提供システムはキャプチャー動作前にグローバル空間座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)を設定するために、一つ又はそれ以上のカメラの較正(ｃａｌｉｂｒａｔｉｏｎ)を行う。またポイントクラウドコンテンツ提供システムは、上述したキャプチャー方式でキャプチャーされたイメージ及び／又は映像と任意のイメージ及び／又は映像を合成してポイントクラウドコンテンツを生成する。またポイントクラウドコンテンツ提供システムは、仮想空間を示すポイントクラウドコンテンツを生成する場合、図３で説明したキャプチャー動作を行わない。実施例によるポイントクラウドコンテンツ提供システムは、キャプチャーしたイメージ及び／又は映像に対して後処理を行うこともできる。即ち、ポイントクラウドコンテンツ提供システムは、望まない領域(例えば、背景)を除去したり、キャプチャーしたイメージ及び／又は映像が連結された空間を認識して空間(ｓｐａｔｉａｌ ｈｏｌｅ)がある場合、それを埋める動作を行うことができる。
またポイントクラウドコンテンツ提供システムは、それぞれのカメラから確保したポイントクラウドビデオのポイントに対して座標系変換を行って、一つのポイントクラウドコンテンツを生成することができる。ポイントクラウドコンテンツ提供システムは、それぞれのカメラの位置座標を基準としてポイントの座標系変換を行う。これにより、ポイントクラウドコンテンツ提供システムは、一つの広い範囲を示すコンテンツを生成するか、或いはポイントの密度が高いポイントクラウドコンテンツを生成することができる。
図４は実施例によるポイントクラウドエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｅｎｃｏｄｅｒ)の一例を示す図である。
図４は図１のポイントクラウドビデオエンコーダ１０００２の一例を示す。ポイントクラウドエンコーダは、ネットワーク状況或いはアプリケーションなどによってポイントクラウドコンテンツの質(例えば、無損失－ｌｏｓｓｌｅｓｓ、損失－ｌｏｓｓｙ、損失に近い－ｎｅａｒ－ｌｏｓｓｌｅｓｓ)を調節するために、ポイントクラウドデータ(例えば、ポイントの位置及び／又は特質)を再構成して符号化動作を行う。ポイントクラウドコンテンツの全体サイズが大きい場合(例えば、３０ｆｐｓの場合、６０Ｇｂｐｓであるポイントクラウドコンテンツ)、ポイントクラウドコンテンツ提供システムは該当コンテンツをリアルタイムストリーミングすることができない。従って、ポイントクラウドコンテンツ提供システムは、ネットワーク環境などに合わせて提供するために、最大ターゲットビットレートに基づいてポイントクラウドコンテンツを再構成することができる。
図１及び図２に示したように、ポイントクラウドエンコーダはジオメトリ符号化及び特質符号化を行うことができる。ジオメトリ符号化は特質符号化よりも先に行われる。
実施例によるポイントクラウドエンコーダは、座標系変換部(Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｃｏｏｒｄｉｎａｔｅｓ)４００００、量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ))４０００１、八分木分析部(Ａｎａｌｙｚｅ Ｏｃｔｒｅｅ)４０００２、表面近似分析部(Ａｎａｌｙｚｅ Ｓｕｒｆａｃｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ)４０００３、演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４０００４、ジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５、色変換部(Ｔｒａｎｓｆｏｒｍ Ｃｏｌｏｒｓ)４０００６、特質変換部(Ｔｒａｎｓｆｅｒ Ａｔｔｒｉｂｕｔｅｓ)４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部(Ｇｅｎｅｒａｔｅｄ ＬＯＤ)４０００９、リフト変換部(Ｌｉｆｔｉｎｇ)４００１０、係数量子化部(Ｑｕａｎｔｉｚｅ Ｃｏｅｆｆｉｃｉｅｎｔｓ)４００１１及び／又は演算エンコーダ(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｅ)４００１２を含む。
座標系変換部４００００、量子化部４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４及びジオメトリ再構成部４０００５は、ジオメトリ符号化を行うことができる。実施例によるジオメトリ符号化は、八分木ジオメトリコーディング、ダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)、ｔｒｉｓｏｕｐジオメトリ符号化(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)及びエントロピー符号化を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に或いは組み合わせて適用される。なお、ジオメトリ符号化は上記の例示に限られない。
図示したように、実施例による座標系変換部４００００は、位置を受信して座標系(ｃｏｏｒｄｉｎａｔｅ)に変換する。例えば、位置は３次元空間(例えば、ＸＹＺ座標系で表現される３次元空間など)の位置情報に変換される。実施例による３次元空間の位置情報はジオメトリ情報とも称される。
実施例による量子化部４０００１はジオメトリを量子化する。例えば、量子化部４０００１は全体ポイントの最小位置値(例えば、Ｘ軸、Ｙ軸、Ｚ軸に対して各軸上の最小値)に基づいてポイントを量子化する。量子化部４０００１は最小の位置値とそれぞれのポイントの位置値との差に所定の量子スケール(ｑｕａｔｉｚａｔｉｏｎ ｓｃａｌｅ)値を掛けた後、切り下げ又は切り上げをして最も近い整数値を探す量子化動作を行う。従って、一つ又はそれ以上のポイントは同一の量子化された位置(又は位置値)を有することができる。実施例による量子化部４０００１は量子化されたポイントを再構成するために、量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。２次元イメージ／ビデオ情報を含む最小単位はピクセル(ｐｉｘｅｌ)のように、実施例によるポイントクラウドコンテンツ(又は３次元ポイントクラウドビデオ)のポイントは一つ又はそれ以上のボクセル(ｖｏｘｅｌ)に含まれる。ボクセルはボリューム(Ｖｏｌｕｍｅ)とピクセル(Ｐｉｘｅｌ)を組み合わせた言葉であり、３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。量子化部４０００１は３次元空間のポイントのグループをボクセルでマッチングすることができる。実施例において、一つのボクセルは一つのポイントのみを含むことができる。実施例において、一つのボクセルは一つ又はそれ以上のポイントを含む。また一つのボクセルを一つのポイントで表現するために、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて、該当ボクセルの中央点(ｃｅｔｅｒ)の位置を設定することができる。この場合、一つのボクセルに含まれた全ての位置の特質が統合されて(ｃｏｍｂｉｎｅｄ)、該当ボクセルに割り当てられる。
実施例による八分木分析部４０００２は、ボクセルを八分木構造で表すための八分木ジオメトリコーディング(又は八分木コーディング)を行う。八分木構造は八分割構造に基づいてボクセルにマッチングされたポイントを表現する。
実施例による表面近似分析部４０００３は、八分木を分析して近似化する。実施例による八分木分析及び近似化は、八分木及びボクセル化を効率的に提供するために、多数のポイントを含む領域をボクセル化するために分析を行う過程である。
実施例による演算エンコーダ４０００４は、八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。符号化の結果としてジオメトリビットストリームが生成される。
色変換部４０００６、特質変換部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算エンコーダ４００１２は、特質符号化を行う。上述したように、一つのポイントは一つ又はそれ以上の特質を有する。実施例による特質符号化は、一つのポイントが有する特質に対して等しく適用される。但し、一つの特質(例えば、色相)が一つ又はそれ以上の要素を含む場合は、（各）要素ごとに独立した特質符号化が適用される。実施例による特質符号化は、色変換コーディング、特質変換コーディング、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)コーディング、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)コーディング及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ（Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))コーディングを含む。ポイントクラウドコンテンツによって、上述したＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングが選択的に使用されるか、又は一つ又はそれ以上のコーディングの組み合わせが使用される。また実施例による特質符号化は上述した例示に限られない。
実施例による色変換部４０００６は、特質に含まれた色値(又はテクスチャ)を変換する色変換コーディングを行う。例えば、色変換部４０００６は色相情報のフォーマットを変換(例えば、ＲＧＢからＹＣｂＣｒに変換)する。実施例による色変換部４０００６の動作は、特質に含まれた色値によって任意に(ｏｐｔｉｏｎａｌ)適用される。
実施例によるジオメトリ再構成部４０００５は、八分木及び／又は近似化した八分木を再構成(復元)する。ジオメトリ再構成部４０００５はポイントの分布を分析した結果に基づいて八分木／ボクセルを再構成する。再構成された八分木／ボクセルは再構成されたジオメトリ(又は復元されたジオメトリ)とも呼ばれる。
実施例による特質変換部４０００７は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。上述したように、特質はジオメトリに従属するので、特質変換部４０００７は再構成されたジオメトリ情報に基づいて特質を変換することができる。例えば、特質変換部４０００７は、ボクセルに含まれたポイントの位置値に基づいてその位置のポイントが有する特質を変換することができる。上述したように、一つのボクセルに含まれた一つ又はそれ以上のポイントの位置に基づいて該当ボクセルの中央点の位置が設定される場合、特質変換部４０００７は一つ又はそれ以上のポイントの特質を変換する。ｔｒｉｓｏｕｐジオメトリ符号化が行われた場合、特質変換部４０００７はｔｒｉｓｏｕｐジオメトリ符号化に基づいて特質を変換することができる。
特質変換部４０００７は、各ボクセルの中央点の位置(又は位置値)から特定の位置／半径内に隣接しているポイントの特質又は特質値(例えば、各ポイントの色相、又は反射率など)の平均値を計算して特質変換を行う。特質変換部４０００７は平均値の計算時、中央点から各ポイントまでの距離による加重値を適用する。従って、各ボクセルは位置及び計算された特質(又は特質値)を有する。
特質変換部４０００７はＫ－Ｄツリー又はモールトンコード(ｍｏｕｌｔｏｎ ｃｏｄｅ)に基づいて各ボクセルの中央点の位置から特定の位置／半径内に存在する隣接ポイントを探索する。Ｋ－Ｄツリーは二分探索木(ｂｉｎａｒｙ ｓｅａｒｃｈ ｔｒｅｅ)で迅速に最短隣接点探索(Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｓｅａｒｃｈ－ＮＮＳ)をできるように、ポイントを位置基盤に管理する資料構造を支援する。モールトンコードは全てのポイントの３次元位置を示す座標値(例えば、(ｘ，ｙ，ｚ))をビット値で示し、ビットを混ぜて生成される。例えば、ポイントの位置を示す座標値が(５，９，１)であると、座標値のビット値は(０１０１、１００１、０００１)である。ビット値をｚ、ｙ、ｘの順にビットインデックスに合わせて混ぜると、０１０００１０００１１１である。この値を１０進数で示すと１０９５になる。即ち、座標値が(５，９，１)であるポイントのモールトンコード値は１０９５である。特質変換部４０００７はモールトンコード値を基準としてポイントを整列し、ｄｅｐｔｈ－ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ過程により最短隣接点探索(ＮＮＳ)を行う。特質変換動作後、特質コーディングのための他の変換過程でも最短隣接点探索(ＮＮＳ)が必要であれば、Ｋ－Ｄツリー又はモールトンコードが活用される。
図示したように、変換された特質はＲＡＨＴ変換部４０００８及び／又はＬＯＤ生成部４０００９に入力される。
実施例によるＲＡＨＴ変換部４０００８は、再構成されたジオメトリ情報に基づいて特質情報を予測するＲＡＨＴコーディングを行う。例えば、ＲＡＨＴ変換部４０００８は、八分木の下位レベルにあるノードに連関する特質情報に基づいて、八分木の上位レベルにあるノードの特質情報を予測することができる。
実施例によるＬＯＤ生成部４０００９は予測変換コーディングを行うために、ＬＯＤ(Ｌｅｖｅｌ ｏｆ Ｄｅｔａｉｌ)を生成する。実施例によるＬＯＤはポイントクラウドコンテンツの詳細を示す程度であり、ＬＯＤ値が小さいほどポイントクラウドコンテンツの詳細が下がり、ＬＯＤ値が大きいほどポイントクラウドコンテンツの詳細が高いことが示されている。ポイントをＬＯＤによって分類できる。
実施例によるリフト変換部４００１０は、ポイントクラウドの特質を加重値に基づいて変換するリフト変換コーディングを行う。上述したように、リフト変換コーディングは選択的に適用される。
実施例による係数量子化部４００１１は、特質コーディングされた特質を係数に基づいて量子化する。
実施例による演算エンコーダ４００１２は、量子化された特質を演算コーディングに基づいて符号化する。
図４のポイントクラウドエンコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能のうち、いずれか一つを行うことができる。また、一つ又はそれ以上のプロセッサは、図４のポイントクラウドエンコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行することができる。実施例による一つ又はそれ以上のメモリは高速ランダムアクセスメモリを含むか、又は非揮発性メモリ(例えば、一つ又はそれ以上のマグネチックディスク格納デバイス、フラッシュメモリデバイス、又は他の非揮発性固体のメモリデバイス(Ｓｏｌｉｄ－ｓｔａｔｅ ｍｅｍｏｒｙ ｄｅｖｉｃｅｓ)など)を含む。
図５は実施例によるボクセルの一例を示す図である。
図５はＸ軸、Ｙ軸、Ｚ軸の３つの軸で構成された座標系で表現される３次元空間上に位置するボクセルを示す。図４に示すように、ポイントクラウドエンコーダ(例えば、量子化部４０００１など)はボクセル化を行う。ボクセルは３次元空間を表現する軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)に基づいて３次元空間をユニット(ｕｎｉｔ＝１.０)単位で分けたときに発生する３次元キュービック空間を意味する。図５は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)する八分木構造により生成されたボクセルの一例を示す。一つのボクセルは少なくとも一つ以上のポイントを含む。ボクセルはボクセル群(ｖｏｘｅｌ ｇｒｏｕｐ)との位置関係から空間座標を推定することができる。上述したように、ボクセルは２次元イメージ／映像のピクセルと同様に、特質(色相又は反射率など)を有する。ボクセルに対する具体的な説明は図４で説明した通りであるので、省略する。
図６は実施例による八分木及び占有コード(ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)の一例を示す図である。
図１ないし図４に示したように、ポイントクラウドコンテンツ提供システム(ポイントクラウドビデオエンコーダ１０００２)又はポイントクラウドエンコーダ(例えば、八分木分析部４０００２)は、ボクセルの領域及び／又は位置を効率的に管理するために、八分木構造基盤の八分木ジオメトリコーディング(又は八分木コーディング)を行う。
図６の上側は八分木構造を示している。実施例によるポイントクラウドコンテンツの３次元空間は座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)で表現される。八分木構造は２つの極点(０,０,０)及び(２d、２d、２d)により定義される境界ボックス(ｃｕｂｉｃａｌ ａｘｉｓ－ａｌｉｇｎｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ)を再帰的に分割(ｒｅｃｕｌｓｉｖｅ ｓｕｂｄｉｖｉｄｉｎｇ)して生される。２ｄはポイントクラウドコンテンツ(又はポイントクラウドビデオ)の全体ポイントを取り囲む最小の境界ボックスを構成する値で設定される。ｄは八分木の深さを示す。ｄ値は以下の式により決定される。以下の式において、(ｘint n、ｙint n、ｚint n)は量子化されたポイントの位置(又は位置値)を示す。
d=
Figure 0007640526000001
図６の上側中央に示したように、分割によって全体３次元空間は８つの空間に分かれる。分割されたそれぞれの空間は６つの面を有するキューブで表現される。図６の右上側に示したように、８つの空間はそれぞれ再び座標系の軸(例えば、Ｘ軸、Ｙ軸、Ｚ軸)により分かれる。よって、それぞれの空間は再び８つの小さい空間に分かれる。分割された小さい空間も６つの面を有するキューブで表現される。このような分割方式は八分木のリーフノード(ｌｅａｆ ｎｏｄｅ)がボクセルになるまで適用される。
図６の下側は八分木の占有コードを示す。八分木の占有コードは一つの空間が分かれて発生する８つの分割空間がそれぞれ少なくとも一つのポイントを含むか否かを示すために生成される。従って、一つの占有コードは８つの子ノード(ｃｈｉｌｄ ｎｏｄｅ)で表現される。それぞれの子ノードは分割された空間の占有率(ｏｃｃｕｐａｎｃｙ)を示し、子ノードは１ビットの値を有する。従って、占有コードは８ビットコードで表現される。即ち、子ノードに対応する空間に少なくとも一つのポイントが含まれていると、該当ノードは１値を有する。ノードに対応する空間にポイントが含まれていないと(ｅｍｐｔｙ)、該当ノードは０値を有する。図６に示した占有コードは００１００００１であるので、８つの子ノードのうち、３番目の子ノード及び８番目の子ノードに対応する空間はそれぞれ少なくとも一つのポイントを含むことを示している。図示したように、３番目の子ノード及び８番目の子ノードはそれぞれ８つの子ノードを有し、それぞれの子ノードは８ビットの占有コードで表現される。図面では、３番目の子ノードの占有コードが１００００１１１であり、８番目の子ノードの占有コードが０１００１１１１であることを示している。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４０００４)は占有コードをエントロピー符号化することができる。また圧縮効率を高めるために、ポイントクラウドエンコーダは占有コードをイントラ／インターコーディングすることができる。実施例による受信装置(例えば、受信装置１０００４又はポイントクラウドビデオデコーダ１０００６)は占有コードに基づいて八分木を再構成する。
実施例によるポイントクラウドエンコーダ(例えば、図４のポイントクラウドエンコーダ、又は八分木分析部４０００２)は、ポイントの位置を格納するためにボクセル化及び八分木コーディングを行う。しかし、３次元空間内のポイントがいつも均一に分布していることではないので、ポイントが多く存在しない特定の領域が存在し得る。従って、３次元空間の全体に対してボクセル化を行うことは非効率的である。例えば、特定の領域にポイントがほぼ存在しないと、該当領域までボクセル化を行う必要はない。
従って、実施例によるポイントクラウドエンコーダは、上述した特定の領域(又は八分木のリーフノードを除いたノード)についてはボクセル化を行わず、特定の領域に含まれたポイントの位置を直接コーディングするダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行う。実施例によるダイレクトコーディングポイントの座標は、ダイレクトコーディングモード(Ｄｉｒｅｃｔ Ｃｏｄｉｎｇ Ｍｏｄｅ、ＤＣＭ)と呼ばれる。また実施例によるポイントクラウドエンコーダは、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化(Ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｅｎｃｏｄｉｎｇ)を行うことができる。ｔｒｉｓｏｕｐジオメトリ符号化はオブジェクトの表現を三角形メッシュ(ｔｒｉａｎｇｌｅ ｍｅｓｈ)のシリーズで表現するジオメトリ符号化である。従って、ポイントクラウドデコーダはメッシュ表面からポイントクラウドを生成することができる。実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に行われる。また実施例によるダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は八分木ジオメトリコーディング(又は八分木コーディング)と結合して行うことができる。
ダイレクトコーディング(Ｄｉｒｅｃｔ ｃｏｄｉｎｇ)を行うためには、ダイレクトコーディングを適用するための直接モード(ｄｉｒｅｃｔ ｍｏｄｅ)の使用オプションが活性化されている必要があり、ダイレクトコーディングを適用するノードはリーフノードではなく、特定のノード内に閾値(ｔｈｒｅｓｈｏｌｄ)以下のポイントが存在する必要がある。またダイレクトコーディングの対象となる全体ポイントの個数は所定の閾値を超えてはいけない。上記条件を満たすと、実施例によるポイントクラウドエンコーダ(又は演算エンコーダ４０００４)はポイントの位置(又は位置値)をエントロピーコーディングすることができる。
実施例によるポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)は、八分木の特定のレベルを定め(レベルは八分木の深さｄよりは小さい場合)、そのレベルからは表面モデルを使用してノード領域内のポイントの位置をボクセルに基づいて再構成するｔｒｉｓｏｕｐジオメトリ符号化を行うことができる(ｔｒｉｓｏｕｐモード)。実施例によるポイントクラウドエンコーダは、ｔｒｉｓｏｕｐジオメトリ符号化を適用するレベルを指定できる。例えば、指定されたレベルが八分木の深さと同一であると、ポイントクラウドエンコーダはｔｒｉｓｏｕｐモードで動作しない。即ち、実施例によるポイントクラウドエンコーダは指定されたレベルが八分木の深さ値よりも小さい場合にのみｔｒｉｓｏｕｐモードで動作することができる。実施例による指定されたレベルのノードの３次元立方体領域をブロック(ｂｌｏｃｋ)と呼ぶ。一つのブロックは一つ又はそれ以上のボクセルを含む。ブロック又はボクセルはブリック(ｂｒｉｃｋ)に対応することもできる。それぞれのブロック内においてジオメトリは表面(ｓｕｒｆａｃｅ)と表現される。実施例による表面は最大１回、ブロックの各エッジ(ｅｄｇｅ)と交差することができる。
一つのブロックは１２個のエッジを有するので、一つのブロック内に少なくとも１２個の交差点が存在する。それぞれの交差点はバーテックス(ｖｅｒｔｅｘ、頂点又は頂上)と呼ばれる。エッジに沿って存在するバーテックスは該当エッジを共有する全てのブロックのうち、そのエッジに隣接する少なくとも一つの占有ボクセル(ｏｃｃｕｐｉｅｄ ｖｏｘｅｌ)がある場合に検知される。実施例による占有ボクセルはポイントを含むボクセルを意味する。エッジに沿って検出されたバーテックスの位置は、該当エッジを共有する全てのブロックのうち、該当エッジに隣接する全てのボクセルのエッジによる平均位置である(ｔｈｅ ａｖｅｒａｇｅ ｐｏｓｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｅｄｇｅ ｏｆ ａｌｌ ｖｏｘｅｌｓ)。
バーテックスが検出されると、実施例によるポイントクラウドエンコーダは、エッジの開始点(ｘ、ｙ、ｚ)、エッジの方向ベクトル(Δｘ、Δｙ、Δｚ)、バーテックス位置値(エッジ内の相対的位置値)をエントロピーコーディングすることができる。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、実施例によるポイントクラウドエンコーダ(例えば、ジオメトリ再構成部４０００５)は三角形再構成(ｔｒｉａｎｇｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)、アップ－サンプリング(ｕｐ－ｓａｍｐｌｉｎｇ)、ボクセル化過程を行って復元されたジオメトリ(再構成されたジオメトリ)を生成することができる。
Figure 0007640526000002
Figure 0007640526000003
加えられた値の最小値を求め、最小値がある軸に沿って投影(Ｐｒｏｊｅｃｔｉｏｎ)過程を行う。例えば、ｘ要素(ｅｌｅｍｅｎｔ)が最小である場合、各バーテックスをブロックの中心を基準としてｘ軸に投影し、(ｙ，ｚ)平面に投影させる。(ｙ，ｚ)平面に投影させて得た値が(ａｉ，ｂｉ)であれば、ａｔａｎ２(ｂｉ、ａｉ)によりθ値を求め、θ値を基準としてバーテックスを整列する。以下の表はバーテックスの個数によって三角形を生成するためのバーテックスの組み合わせを示している。バーテックスは１からｎまで順に整列される。以下の表は４つのバーテックスに対して、バーテックスの組み合わせによって２つの三角形が構成されることを示している。１番目の三角形は整列されたバーテックスのうち、１、２、３番目のバーテックスで構成され、２番目の三角形は整列されたバーテックスのうち、３，４，１番目のバーテックスで構成される。
表．Ｔｒｉａｎｇｌｅｓ ｆｏｒｍｅｄ ｆｒｏｍ ｖｅｒｔｉｃｅｓ ｏｒｄｅｒｅｄ １
ｎ Ｔｒｉａｎｇｌｅｓ
３ (１,２,３)
４ (１,２,３)、(３,４,１)
５ (１,２,３)、(３,４,５)、(５,１,３)
６ (１,２,３)、(３,４,５)、(５,６,１)、(１,３,５)
７ (１,２,３)、(３,４,５)、(５,６,７)、(７,１,３)、(３,５,７)
８ (１,２,３)、(３,４,５)、(５,６,７)、(７,８,１)、(１,３,５)、(５,７,１)
９ (１,２,３)、(３,４,５)、(５,６,７)、(７,８,９)、(９,１,３)、(３,５,７)、 (７,９,３)
１０ (１,２,３)、(３,４,５)、(５,６,７)、(７,８,９)、(９,１０,１)、(１,３,５)、 (５,７,９)、(９,１,５)
１１ (１,２,３)、(３,４,５)、(５,６,７)、(７,８,９)、(９,１０,１１)、 (１１,１,３)、 (３,５,７)、(７,９,１１)、(１１,３,７)
１２ (１,２,３)、(３,４,５)、(５,６,７)、(７,８,９)、(９,１０,１１)、 (１１,１２,１)、(１,３,５)、(５,７,９)、(９,１１,１)、(１,５,９)
アップサンプリング過程は三角形のエッジに沿って中間に点を追加してボクセル化するために行われる。アップサンプリング係数(ｕｐｓａｍｐｌｉｎｇ ｆａｃｔｏｒ)とブロックの幅を基準として追加点を生成する。追加点はリファインドバーテックス(ｒｅｆｉｎｅｄ ｖｅｒｔｉｃｅ)と呼ばれる。実施例によるポイントクラウドエンコーダはリファインドバーテックスをボクセル化することができる。またポイントクラウドエンコーダはボクセル化された位置(又は位置値)に基づいて特質符号化を行うことができる。
図７は実施例による隣接ノードパターンの一例を示す図である。
ポイントクラウドビデオの圧縮効率を増加させるために、実施例によるポイントクラウドエンコーダはコンテキスト適応演算(ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ)コーディングに基づいてエントロピーコーディングを行う。
図１ないし図６で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又は演算エンコーダ４０００４)は、占有コードをすぐエントロピーコーディングすることができる。またポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダは、現在ノードの占有コードと隣接ノードの占有率に基づいてエントロピー符号化(イントラ符号化)を行うか、又は以前フレームの占有コードに基づいてエントロピー符号化(インター符号化)を行うことができる。実施例によるフレームは、同時間に生成されたポイントクラウドビデオの集合を意味する。実施例によるイントラ符号化／インター符号化の圧縮効率は、参照する隣接ノードの個数によって異なる。ビットが大きくなると複雑になるが、一側に傾くようにして圧縮効率を高めることができる。例えば、３－ｂｉｔ ｃｏｎｔｅｘｔを有すると、２の３乗である８つの方法でコーディングする。分けてコーディングする部分は具現の複雑度に影響を及ぼす。従って、圧縮効率と複雑度の適正水準を合わせる必要がある。
図７は隣接ノードの占有率に基づいて占有パターンを求める過程を示す。実施例によるポイントクラウドエンコーダは、八分木の各ノードの隣接ノードの占有率(ｏｃｃｕｐａｎｃｙ)を判断して隣接ノードパターン(ｎｅｉｇｈｂｏｒ ｐａｔｔｅｒｎ)値を得る。隣接ノードパターンは該当ノードの占有パターンを推論するために使用される。図７の左側はノードに対応するキューブ(真ん中に位置するキューブ)及び該当キューブと少なくとも一面を共有する６つのキューブ(隣接ノード)を示している。図示したノードは同じ深さのノードである。図示した数字は６つのノードとそれぞれ連関する加重値(１、２、４、８、１６、３２、など)を示す。各加重値は隣接ノードの位置によって順に付与される。
図７の右側は隣接ノードパターン値を示す。隣接ノードパターン値は占有された隣接ノード(ポイントを有する隣接ノード)の加重値が掛けられた値の合計である。従って、隣接ノードパターン値は０から６３までの値を有する。隣接ノードパターン値が０であることは、該当ノードの隣接ノードのうち、ポイントを有するノード(占有ノード)がないことを意味する。隣接ノードパターン値が６３であることは、隣接ノードが全て占有ノードであることを意味する。図示したように、加重値１、２、４、８が付与された隣接ノードは占有ノードであるので、隣接ノードパターン値は１、２、４、８を併せた値である１５である。ポイントクラウドエンコーダは隣接ノードパターン値によってコーディングを行うことができる(例えば、隣接ノードパターン値が６３である場合、６４つのコーディングを行う)。実施例においてポイントクラウドエンコーダは隣接ノードパターン値を変更して(例えば、６４を１０又は６に変更するテーブルに基づく)、コーディングの複雑度を減らすことができる。
図８は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図７で説明したように、特質符号化が行われる前、符号化されたジオメトリは再構成(復元)される。ダイレクトコーディングが適用された場合、ジオメトリ再構成の動作はダイレクトコーディングされたポイントの配置を変更することを含む(例えば、ダイレクトコーディングされたポイントをポイントクラウドデータの前方に配置)。ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、ジオメトリ再構成の過程は三角形再構成、アップサンプリング、ボクセル化の過程を特質はジオメトリに従属するので、特質符号化は再構成されたジオメトリに基づいて行われる。
ポイントクラウドエンコーダ(例えば、ＬＯＤ生成部４０００９)はポイントをＬＯＤごとに分類する(ｒｅｏｒｇａｎｉｚａｔｉｏｎ)。図面はＬＯＤに対応するポイントクラウドコンテンツを示す。図において左側はオリジナルポイントクラウドコンテンツを示す。図において左側から２番目は最低ＬＯＤのポイントの分布を示し、最右側は最高ＬＯＤのポイントの分布を示す。即ち、最低ＬＯＤのポイントは粗い(ｓｐａｒｓｅ)分布であり、最高ＬＯＤのポイントは細かい分布である。即ち、図面の下側に示された矢印方向に沿ってＬＯＤが増加するほどポイント間の間隔(又は距離)は短くなる。
図９は実施例によるＬＯＤごとのポイント構成の一例を示す図である。
図１ないし図８で説明したように、ポイントクラウドコンテンツ提供システム又はポイントクラウドエンコーダ(例えば、ポイントクラウドビデオエンコーダ１０００２、図４のポイントクラウドエンコーダ又はＬＯＤ生成部４０００９)はＬＯＤを生成する。ＬＯＤはポイントを設定されたＬＯＤ距離値(又はユークリッド距離(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ)のセット)によって改良レベル(ｒｅｆｉｎｅｍｅｎｔ ｌｅｖｅｌｓ)のセットで再整列して生成される。ＬＯＤ生成過程はポイントクラウドエンコーダだけではなく、ポイントクラウドデコーダでも行われる。
図９の上側は３次元空間に分布されたポイントクラウドコンテンツのポイントの一例(Ｐ０～Ｐ９)を示す。図９のオリジナルオーダー(Ｏｒｉｇｉｎａｌ ｏｒｄｅｒ)はＬＯＤ生成前のポイントＰ０～Ｐ９の順を示す。図９のＬｏＤ基盤のオーダー(ＬＯＤ ｂａｓｅｄ ｏｒｄｅｒ)はＬＯＤ生成によるポイントの順を示す。ポイントはＬＯＤごとに再整列される。また高いＬＯＤは低いＬＯＤに属するポイントを含む。図９に示すように、ＬＯＤ０はＰ０、Ｐ５、Ｐ４及びＰ２を含む。ＬＯＤ１はＬＯＤ０のポイントとＰ１、Ｐ６及びＰ３を含む。ＬＯＤ２はＬＯＤ０のポイント、ＬＯＤ１のポイント及びＰ９、Ｐ８及びＰ７を含む。
図４で説明したように、実施例によるポイントクラウドエンコーダは予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングを選択的に又は組み合わせて行うことができる。
実施例によるポイントクラウドエンコーダは、ポイントに対する予測機(ｐｒｅｄｉｃｔｏｒ)を生成して各ポイントの予測特質(又は予測特質値)を設定するための予測変換コーディングを行う。即ち、Ｎ個のポイントに対してＮ個の予測機が生成される。実施例による予測機は各ポイントのＬＯＤ値とＬＯＤごとに設定された距離内に存在する隣接ポイントに対するインデックス情報及び隣接ポイントまでの距離値に基づいて加重値(＝１／距離)を計算することができる。
実施例による予測特質(又は特質値)は、各ポイントの予測機に設定された隣接ポイントの特質(又は特質値、例えば、色相、反射率など)に各隣接ポイントまでの距離に基づいて計算された加重(又は加重値)を掛けた値の平均値で設定される。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は、各ポイントの特質(特質値)から予測特質(特質値)を引いた残余値(ｒｅｓｉｄｕａｌｓ、残余特質、残余特質値、特質予測残余値などとも呼ばれる)を量子化(ｑｕａｔｉｚａｔｉｏｎ)及び逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)することができる。量子化過程は以下の表の通りである。
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ ｃｏｄｅ
int PCCQuantization(int value、int quantStep) {
if( value ＞＝0) {
return floor(value ／ quantStep + 1.0 ／ 3.0)；
} else {
return －floor(－value ／ quantStep + 1.0 ／ 3.0)；
}
}
Ａｔｔｒｉｂｕｔｅ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｉｄｕａｌｓ ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ ｐｓｅｕｄｏ Ｃｏｄｅ
int PCCInverseQuantization(int value、int quantStep) {
if( quantStep ＝＝0) {
return value；
} else {
return value * quantStep；
}
}
実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがあれば、上述したように、量子化及び逆量子化された残余値をエントロピーコーディングする。実施例によるポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は、各ポイントの予測機に隣接するポイントがないと、上述した過程を行わず、該当ポイントの特質をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、リフト変換部４００１０)は、各ポイントの予測機を生成し、予測機に計算されたＬＯＤを設定及び隣接ポイントを登録し、隣接ポイントまでの距離による加重値を設定してリフト変換コーディングを行う。実施例によるリフト変換コーディングは、上述した測変換コーディングと類似するが、特質値に加重値を累積適用するという点で差がある。実施例による特質値に加重値を累積適用する過程は以下の通りである。
１）各ポイントの加重値を貯蔵する配列ＱＷ(ＱｕａｎｔｉｚａｔｉｏｎＷｉｅｇｈｔ)を生成する。ＱＷの全ての要素の初期値は１.０である。予測機に登録された隣接ノードの予測機インデックスのＱＷ値に現在ポイントの予測機の加重値を掛けた値を加える。
２）リフト予測過程：予測された特質値を計算するために、ポイントの特質値に加重値を掛けた値を既存の特質値から引く。
３）アップデートウェイト(ｕｐｄａｔｅｗｅｉｇｈｔ)及びアップデートという臨時配列を生成し、臨時配列を０に初期化する。
４）全ての予測機に対して計算された加重値に予測機インデックスに該当するＱＷに貯蔵された加重値をさらに掛けて算出された加重値をアップデートウェイト配列に隣接ノードのインデックスとして累積して合算する。アップデート配列には隣接ノードのインデックスの特質値に算出された加重値を掛けた値を累積して合算する。
５）リフトアップデート過程：全ての予測機に対して、アップデート配列の特質値を予測機インデックスのアップデートウェイト配列の加重値で割り、割った値に再び既存の特質値を加える。
６）全ての予測機に対して、リフトアップデート過程でアップデートされた特質値にリフト予測過程でアップデートされた(ＱＷに貯蔵された)加重値をさらに掛けて予測特質値を算出する。実施例によるポイントクラウドエンコーダ(例えば、係数量子化部４００１１)は予測特質値を量子化する。またポイントクラウドエンコーダ(例えば、演算エンコーダ４００１２)は量子化された特質値をエントロピーコーディングする。
実施例によるポイントクラウドエンコーダ(例えば、ＲＡＨＴ変換部４０００８)は、八分木の下位レベルのノードに連関する特質を使用して上位レベルのノードの特質を予測するＲＡＨＴ変換コーディングを行う。ＲＡＨＴ変換コーディングは八分木バックワードスキャンによる特質イントラコーディングの一例である。実施例によるポイントクラウドエンコーダは、ボクセルから全体領域にスキャンし、各ステップもぽてボクセルをもっと大きいブロックに合わせながらルートノード(ｒｏｏｔ ｎｏｄｅ)までの併合過程を繰り返して行う。実施例による併合過程は、占有ノードのみについて行われる。空ノード(ｅｍｐｔｙ ｎｏｄｅ)については併合過程が行われず、空ノードの直上位ノードについて併合過程が行われる。
以下の式はＲＡＨＴ変換行列を示す。
Figure 0007640526000004
はレベルｌでのボクセル(ｖｏｘｅｌ)の平均特質値を示す。
Figure 0007640526000005
は
Figure 0007640526000006
と
Figure 0007640526000007
から計算される。
Figure 0007640526000008
と
Figure 0007640526000009
の加重値は
Figure 0007640526000010
と
Figure 0007640526000011
である。
Figure 0007640526000012
Figure 0007640526000013
はローパス(ｌｏｗ－ｐａｓｓ)値であって、次の上位レベルでの併合過程で使用される。
Figure 0007640526000014
はハイパス係数(ｈｉｇｈ－ｐａｓｓ ｃｏｅｆｆｉｃｉｅｎｔｓ)であって、各ステップでのハイパス係数は量子化されてエントロピーコーディングされる(例えば、計算エンコーダ４０００１２の符号化)。加重値は
Figure 0007640526000015
により計算される。ルートノードは最後の
Figure 0007640526000016
と
Figure 0007640526000017
により以下のように生成される。
Figure 0007640526000018
ｇＤＣ値もハイパス係数のように量子化されてエントロピーコーディングされる。
図１０は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１０に示したポイントクラウドデコーダは、図１に示したポイントクラウドビデオデコーダ１０００６の一例であり、図１で説明したイントクラウドビデオデコーダ１０００６の動作などと同一又は類似する動作を行う。図示したように、ポイントクラウドデコーダは一つ又はそれ以上のビットストリーム(ｂｉｔｓｔｒｅａｍ)に含まれたジオメトリビットストリーム(ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ)及び特質ビットストリーム(Ａｔｔｒｉｂｕｔｅ ｂｉｔｓｔｒｅａｍ)を受信する。ポイントクラウドデコーダはジオメトリデコーダ(ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｅｒ)及び特質デコーダ(Ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)を含む。ジオメトリデコーダはジオメトリビットストリームに対してジオメトリ復号を行って復号されたジオメトリ(ｄｅｃｏｄｅｄ ｇｅｏｍｅｔｒｙ)を出力する。特質デコーダは復号されたジオメトリ及び特質ビットストリームに基づいて特質復号を行って復号された特質(ｄｅｃｏｄｅｄ Ａｔｔｒｉｂｕｔｅs)を出力する。復号されたジオメトリ及び復号された特質はポイントクラウドコンテンツを復元(ｄｅｃｏｄｅｄ ｐｏｉｎｔ ｃｌｏｕｄ)するために使用される。
図１１は実施例によるポイントクラウドデコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｄｅｃｏｄｅｒ)の一例を示す図である。
図１１に示したポイントクラウドデコーダは図１０で説明したポイントクラウドデコーダの一例であり、図１ないし図９で説明したポイントクラウドエンコーダの符号化動作の逆過程である復号動作を行う。
図１及び図１０で説明したように、ポイントクラウドデコーダはジオメトリ復号及び特質復号を行う。ジオメトリ復号は特質復号よりも先に行われる。
実施例によるポイントクラウドデコーダは、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１０００、八分木合成部(ｓｙｎｔｈｅｓｉｚｅ ｏｃｔｒｅｅ)１１００１、表面近似合成部(ｓｙｎｔｈｅｓｉｚｅ ｓｕｒｆａｃｅ ａｐｐｒｏｘｉｍａｔｉｏｎ)１１００２、ジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３、座標系逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｏｒｄｉｎａｔｅｓ)１１００４、演算デコーダ(ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｅ)１１００５、逆量子化部(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚｅ)１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部(ｇｅｎｅｒａｔｅ ＬＯＤ)１１００８、逆リフト部(Ｉｎｖｅｒｓｅ ｌｉｆｔｉｎｇ)１１００９及び／又は色逆変換部(ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ ｃｏｌｏｒｓ)１１０１０を含む。
演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び座標系逆変換部１１００４はジオメトリ復号を行う。実施例によるジオメトリ復号はダイレクトコーディング(ｄｉｒｅｃｔ ｃｏｄｉｎｇ)及びｔｒｉｓｏｕｐジオメトリ復号(ｔｒｉｓｏｕｐ ｇｅｏｍｅｔｒｙ ｄｅｃｏｄｉｎｇ)を含む。ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ復号は選択的に適用される。またジオメトリ復号は上記の例示に限られず、図１ないし図９で説明したジオメトリ符号化の逆過程で行われる。
実施例による演算デコーダ１１０００は、受信したジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１１０００の動作は演算エンコーダ４０００４の逆過程に対応する。
実施例による八分木合成部１１００１は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を生成する。占有コードに関する具体的な説明は図１ないし図９に説明した通りである。
実施例による表面近似合成部１１００２は、ｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、復号されたジオメトリ及び／又は生成された八分木に基づいて表面を合成する。
実施例によるジオメトリ再構成部１１００３は、表面及び／又は復号されたジオメトリに基づいてジオメトリを再生成する。図１ないし図９で説明したように、ダイレクトコーディング及びｔｒｉｓｏｕｐジオメトリ符号化は選択的に適用される。従って、ジオメトリ再構成部１１００３はダイレクトコーディングが適用されたポイントの位置情報を直接持ってきて追加する。また、ｔｒｉｓｏｕｐジオメトリ符号化が適用される場合、ジオメトリ再構成部１１００３はジオメトリ再構成部４０００５の再構成動作、例えば、三角形再構成、アップサンプリング、ボクセル化動作を行ってジオメトリを復元する。具体的な内容は図６で説明した通りであるので省略する。復元されたジオメトリは特質を含まないポイントクラウドピクチャ又はフレームを含む。
実施例による座標系逆変換部１１００４は復元されたジオメトリに基づいて座標系を変換してポイントの位置を得る。
演算デコーダ１１００５、逆量子化部１１００６、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色逆変換部１１０１０は、図１０で説明した特質復号を行う。実施例による特質復号は、ＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉａｌ Ｔｒａｎｓｆｏｒｍ)復号、予測変換(Ｉｎｔｅｒｐｏｌａｒａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ－Ｐｒｅｄｉｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍ)復号、及びリフト変換(ｉｎｔｅｒｐｏｌａｔｉｏｎ－ｂａｓｅｄ ｈｉｅｒａｒｃｈｉｃａｌ ｎｅａｒｅｓｔ－ｎｅｉｇｈｂｏｕｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ａｎ ｕｐｄａｔｅ／ｌｉｆｔｉｎｇ ｓｔｅｐ (Ｌｉｆｔｉｎｇ Ｔｒａｎｓｆｏｒｍ))復号を含む。上記３つの復号は選択的に使用されるか、又は一つ又はそれ以上の復号の組み合わせが使用される。また実施例による特質復号は上述した例示に限られない。
実施例による演算デコーダ１１００５は、特質ビットストリームを演算コーディングに復号する。
実施例による逆量子化部１１００６は、復号された特質ビットストリーム又は復号結果確保した特質に関する情報を逆量子化(ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ)して、逆量子化された特質(又は特質値)を出力する。逆量子化はポイントクラウドエンコーダの特質符号化に基づいて選択的に適用される。
実施例においてＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。上述したように、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９は、ポイントクラウドエンコーダの符号化によってそれに対応する復号動作を選択的に行う。
実施例による色逆変換部１１０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色逆変換部１１０１０の動作はポイントクラウドエンコーダの色変換部４０００６の動作に基づいて選択的に行われる。
図１１のポイントクラウドデコーダのエレメントは、図示していないが、ポイントクラウド提供装置に含まれた一つ又はそれ以上のメモリと通信可能に設定された一つ又はそれ以上のプロセッサ又は集積回路(ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ)を含むハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで具現される。一つ又はそれ以上のプロセッサは、上述した図１１のポイントクラウドデコーダのエレメント動作及び／又は機能のうちのいずれかを行う。また、一つ又はそれ以上のプロセッサは、図１１のポイントクラウドデコーダのエレメントの動作及び／又は機能を行うためのソフトウェアプログラム及び／又は指示(ｉｎｓｔｒｕｃｔｉｏｎ)のセットを動作又は実行する。
図１２は実施例による送信装置の一例を示す。
図１２に示した送信装置は、図１の送信装置１００００(又は図４のポイントクラウドエンコーダ)の一例である。図１２に示した送信装置は、図１ないし図９で説明したポイントクラウドエンコーダの動作及び符号化方法と同一又は類似する動作及び方法のうちのいずれかを行う。実施例による送信装置は、データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５、演算コーダー１２００６、メタデータ処理部１２００７、色相変換処理部１２００８、特質変換処理部(又は属性変換処理部)１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１及び／又は送信処理部１２０１２を含む。
実施例によるデータ入力部１２０００はポイントクラウドデータを受信又は獲得する。データ入力部１２０００はポイントクラウドビデオ獲得部１０００１の動作及び／又は獲得方法(又は図２に示した獲得過程２００００)と同一又は類似する動作及び／又は獲得方法を行う。
データ入力部１２０００、量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び演算コーダー１２００６はジオメトリ符号化を行う。実施例によるジオメトリ符号化は、図１ないし図９で説明したジオメトリ符号化と同一又は類似するので、具体的な説明は省略する。
実施例による量子化処理部１２００１は、ジオメトリ(例えば、ポイントの位置値、又はポジション値)を量子化する。量子化処理部１２００１の動作及び／又は量子化は、図４に示した量子化部４０００１の動作及び／又は量子化と同一又は類似する。具体的な説明は図１ないし図９に説明した通りである。
実施例によるボクセル化処理部１２００２は、量子化されたポイントの位置値をボクセル化する。ボクセル化処理部１２０００２は図４に示した量子化部４０００１の動作及び／又はボクセル化過程と同一又は類似する動作及び／又は過程を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による八分木占有コード生成部１２００３は、ボクセル化されたポイントの位置を八分木構造に基づいて八分木コーディングを行う。八分木占有コード生成部１２００３は占有コードを生成する。八分木占有コード生成部１２００３は図４及び図６で説明したポイントクラウドエンコーダ(又は八分木分析部４０００２)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例による表面モデル処理部１２００４は、表面モデル(ｓｕｒｆａｃｅ ｍｏｄｅｌ)に基づいて特定の領域(又はノード)内のポイントの位置をボクセル基盤に再構成するｔｒｉｓｏｕｐジオメトリ符号化を行う。表面モデル処理部１２００４は図４に示したポイントクラウドエンコーダ(例えば、表面近似分析部４０００３)の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は図１ないし図９に説明した通りである。
実施例によるイントラ／インターコーディング処理部１２００５は、ポイントクラウドデータをイントラ／インターコーディングする。イントラ／インターコーディング処理部１２００５は、図７で説明したイントラ／インターコーディングと同一又は類似するコーディングを行う。具体的な説明は図７に説明した通りである。実施例においてイントラ／インターコーディング処理部１２００５は演算コーダー１２００６に含まれる。
実施例による演算コーダー１２００６は、ポイントクラウドデータの八分木及び／又は近似化された八分木をエントロピー符号化する。例えば、符号化方式は演算(Ａｒｉｔｈｍｅｔｉｃ)符号化方法を含む。演算コーダー１２００６は演算エンコーダ４０００４の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例によるメタデータ処理部１２００７は、ポイントクラウドデータに関するメタデータ、例えば、設定値などを処理してジオメトリ符号化及び／又は特質符号化などの必要な処理過程に提供する。また実施例によるメタデータ処理部１２００７は、ジオメトリ符号化及び／又は特質符号化に関連するシグナリング情報を生成及び／又は処理する。実施例によるシグナリング情報はジオメトリ符号化及び／又は特質符号化とは別途に符号化処理される。また実施例によるシグナリング情報はインターリービングされることもある。
色相変換処理部１２００８、特質変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０及び演算コーダー１２０１１は特質符号化を行う。実施例による特質符号化は、図１ないし図９で説明した特質符号化と同一又は類似するので具体的な説明は省略する。
実施例による色相変換処理部１２００８は、特質に含まれた色相値を変換する色相変換コーディングを行う。色相変換処理部１２００８は再構成されたジオメトリに基づいて色相変換コーディングを行う。再構成されたジオメトリに関する説明は、図１ないし図９に説明した通りである。また図４で説明した色変換部４０００６の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。
実施例による特質変換処理部１２００９は、ジオメトリ符号化が行われていない位置及び／又は再構成されたジオメトリに基づいて特質を変換する特質変換を行う。特質変換処理部１２００９は図４に説明した特質変換部４０００７の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。具体的な説明は省略する。実施例による予測／リフト／ＲＡＨＴ変換処理部１２０１０は変換された特質をＲＡＨＴコーディング、予測変換コーディング及びリフト変換コーディングのうちのいずれか一つ又は組み合わせてコーディングする。予測／リフト／ＲＡＨＴ変換処理部１２０１０は図４に説明したＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９及びリフト変換部４００１０の動作と同一又は類似する動作のうちのいずれかを行う。また、予測変換コーディング、リフト変換コーディング及びＲＡＨＴ変換コーディングに関する説明は図１ないし図９に説明した通りであるので、具体的な説明は省略する。
実施例による演算コーダー１２０１１は、コーディングされた特質を演算コーディングに基づいて符号化する。演算コーダー１２０１１は演算エンコーダ４０００１２の動作及び／又は方法と同一又は類似する動作及び／又は方法を行う。
実施例による送信処理部１２０１２は、符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を含む各ビットストリームを送信するか、又は符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報を一つのビットストリームで構成して送信する。実施例による符号化されたジオメトリ及び／又は符号化された特質、メタデータ情報が一つのビットストリームで構成された場合、ビットストリームは一つ又はそれ以上のサブビットストリームを含む。実施例によるビットストリームはシーケンスレベルのシグナリングのためのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ジオメトリ情報コーディングのシグナリングのためのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、特質情報コーディングのシグナリングのためのＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、タイルレベルのシグナリングのためのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を含むシグナリング情報及びスライスデータを含む。スライスデータは一つ又はそれ以上のスライスに関する情報を含む。実施例による一つのスライスは一つのジオメトリビットストリーム(Ｇｅｏｍ００)及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)を含む。
実施例によるＴＰＳは一つ又はそれ以上のタイルに対してそれぞれのタイルに関する情報(例えば、ｂｏｕｎｄｉｎｇ ｂｏｘの座標値情報及び高さ／サイズ情報など)を含む。
ジオメトリビットストリームはヘッダとペイロードを含む。実施例によるジオメトリビットストリームのヘッダはＧＰＳに含まれたパラメータセットの識別情報(ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、タイル識別子(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)、スライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)及びペイロードに含まれたデータに関する情報などを含む。上述したように、実施例によるメタデータ処理部１２００７はシグナリング情報を生成及び／又は処理して送信処理部１２０１２に送信することができる。実施例において、ジオメトリ符号化を行うエレメント及び特質符号化を行うエレメントは、点線処理したように、相互データ／情報を共有することができる。実施例による送信処理部１２０１２は送信機１０００３の動作及び／又は送信方法と同一又は類似する動作及び／又は送信方法を行う。具体的な説明は図１及び図２に説明した通りであるので、省略する。
図１３は実施例による受信装置の一例を示す。
図１３に示した受信装置は、図１の受信装置１０００４(又は図１０及び図１１のポイントクラウドデコーダ)の一例である。図１３に示した受信装置は、図１ないし図１１で説明したポイントクラウドデコーダの動作及び復号方法と同一又は類似する動作及び方法のうちのいずれかを行う。
実施例による受信装置は、受信部１３０００、受信処理部１３００１、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００２、占有コード(Ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)基盤の八分木再構成処理部１３００３、表面モデル処理部(三角形再構成、アップサンプリング、ボクセル化)１３００４、逆(ｉｎｖｅｒｓｅ)量子化処理部１３００５、メタデータ分析１３００６、演算(ａｒｉｔｈｍｅｔｉｃ)デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１を含む。実施例による復号の各構成要素は実施例による符号化の構成要素の逆過程を行う。
実施例による受信部１３０００は、ポイントクラウドデータを受信する。受信部１３０００は図１の受信機１０００５の動作及び／又は受信方法と同一又は類似する動作及び／又は受信方法を行う。具体的な説明は省略する。
実施例による受信処理部１３００１は受信したデータからジオメトリビットストリーム及び／又は特質ビットストリームを得る。受信処理部１３００１は受信部１３０００に含まれる。
演算デコーダ１３００２、占有コード基盤の八分木再構成処理部１３００３、表面モデル処理部１３００４及び逆量子化処理部１３００５はジオメトリ復号を行う。実施例によるジオメトリ復号は図１ないし図１０で説明したジオメトリ復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００２はジオメトリビットストリームを演算コーディングに基づいて復号する。演算デコーダ１３００２は演算デコーダ１１０００の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による占有コード基盤の八分木再構成処理部１３００３は、復号されたジオメトリビットストリームから(又は復号結果、確保されたジオメトリに関する情報)から占有コードを獲得して八分木を再構成する。占有コード基盤の八分木再構成処理部１３００３は、八分木合成部１１００１の動作及び／又は八分木生成方法と同一又は類似する動作及び／又は方法を行う。実施例による表面モデル処理部１３００４はｔｒｉｓｏｕｐジオメトリ符号化が適用された場合、表面モデル方式に基づいてｔｒｉｓｏｕｐジオメトリ復号及びそれに関連するジオメトリ再構成(例えば、三角形再構成、アップサンプリング、ボクセル化)を行う。表面モデル処理部１３００４は表面近似合成部１１００２及び／又はジオメトリ再構成部１１００３の動作と同一又は類似する動作を行う。
実施例による逆量子化処理部１３００５は復号されたジオメトリを逆量子化する。
実施例によるメタデータ分析１３００６は受信したポイントクラウドデータに含まれたメタデータ、例えば、設定値などを分析する。メタデータ分析１３００６はメタデータをジオメトリ復号及び／又は特質復号に伝達する。メタデータに関する具体的な説明は図１２で説明した通りであるので省略する。
演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９及び色相逆変換処理部１３０１０は特質復号を行う。特質復号は図１なしい図１０で説明した特質復号と同一又は類似するので、具体的な説明は省略する。
実施例による演算デコーダ１３００７は、特質ビットストリームを演算コーディングに復号する。演算デコーダ１３００７は再構成されたジオメトリに基づいて特質ビットストリームの復号を行う。演算デコーダ１３００７は演算デコーダ１１００５の動作及び／又はコーディングと同一又は類似する動作及び／又はコーディングを行う。
実施例による逆量子化処理部１３００８は、復号された特質ビットストリームを逆量子化する。逆量子化処理部１３００８は逆量子化部１１００６の動作及び／又は逆量子化方法と同一又は類似する動作及び／又は方法を行う。
実施例による予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、再構成されたジオメトリ及び逆量子化された特質を処理する。予測／リフト／ＲＡＨＴ逆変換処理部１３００９は、ＲＡＨＴ変換部１１００７、ＬＯＤ生成部１１００８及び／又は逆リフト部１１００９の動作及び／又は復号と同一又は類似する動作及び／又は復号のうちのいずれかを行う。実施例による色相逆変換処理部１３０１０は、復号された特質に含まれた色値(又はテクスチャ)を逆変換するための逆変換コーディングを行う。色相逆変換処理部１３０１０は色逆変換部１１０１０の動作及び／又は逆変換コーディングと同一又は類似する動作及び／又は逆変換コーディングを行う。実施例によるレンダラー１３０１１はポイントクラウドデータをレンダリングする。
図１４は実施例によるポイントクラウドデータ送受信方法／装置に連動可能な構造の一例を示す。
図１４の構造はサーバー１４６０、ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のうちのいずれかがクラウドネットワーク１４１０に連結された構成を示している。ロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０又は家電１４５０などは装置とも呼ばれる。またＸＲ装置１４３０は実施例によるポイントクラウドデータ(ＰＣＣ)装置に対応するか又はＰＣＣ装置に連動する。
クラウドネットワーク１４００はクラウドコンピューティングインフラの一部を構成するか、又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワーク１４００は３Ｇネットワーク、４Ｇ又はＬＴＥネットワーク又は５Ｇネットワークなどを用いて構成される。
サーバー１４６０はロボット１４１０、自律走行車両１４２０、ＸＲ装置１４３０、スマートフォン１４４０、家電１４５０及び／又はＨＭＤ１４７０のいずれかにクラウドネットワーク１４００により連結され、連結された装置１４１０～１４７０のプロセシングの少なくとも一部を助けることができる。
ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)１４７０は実施例によるＸＲデバイス及び／又はＰＣＣデバイスが具現されるタイプのうちのいずれかを示す。実施例によるＨＭＤタイプのデバイスは、コミュニケーションズユニット、コントロールユニット、メモリユニット、Ｉ／Ｏユニット、センサユニット及びパーワ供給ユニットなどを含む。
以下、上記技術が適用される装置１４１０～１４５０の様々な実施例について説明する。ここで、図１４に示した装置１４１０～１４５０は上述した実施例によるポイントクラウドデータ送受信装置に連動／結合することができる。
＜ＰＣＣ＋ＸＲ＞
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ及び／又はＸＲ(ＡＲ＋ＶＲ)技術が適用されて、ＨＭＤ(Ｈｅａｄ－Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に備えられたＨＵＤ(Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブルデバイス、家電機器、デジタル看板、車両、固定型ロボットや移動型ロボットなどに具現されることもできる。
ＸＲ／ＰＣＣ装置１４３０は、様々なセンサにより又は外部装置から獲得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び特質データを生成することにより周辺空間又は現実オブジェクトに関する情報を得て、出力するＸＲ客体をレンダリングして出力することができる。例えば、ＸＲ／ＰＣＣ装置１４３０は認識された物体に関する追加情報を含むＸＲ客体を該当認識された物体に対応して出力することができる。
＜ＰＣＣ＋ＸＲ＋携帯電話＞
ＸＲ／ＰＣＣ装置１４３０はＰＣＣ技術が適用されて携帯電話(ｍｏｂｉｌｅ ｐｈｏｎｅ)１４４０などで具現される。
携帯電話１４４０はＰＣＣ技術に基づいてポイントクラウドコンテンツを復号し、ディスプレイすることができる。
＜ＰＣＣ＋自立走行＋ＸＲ＞
自律走行車両１４２０はＰＣＣ技術及びＸＲ技術が適用されて、移動型ロボット、車両、無人飛行体などで具現される。
ＸＲ／ＰＣＣ技術が適用された自律走行車両１４２０は、ＸＲ映像を提供する手段を備えた自律走行車両やＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１４２０はＸＲ装置１４３０とは区分されて互いに連動されることができる。
ＸＲ／ＰＣＣ映像を提供する手段を備えた自律走行車両１４２０は、カメラを含むセンサからセンサ情報を得、得たセンサ情報に基づいて生成されたＸＲ／ＰＣＣ映像を出力する。例えば、自律走行車両１４２０はＨＵＤを備えてＸＲ／ＰＣＣ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲ／ＰＣＣ客体を提供することができる。
この時、ＸＲ／ＰＣＣ客体がＨＵＤに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が搭乗者の視線が向く実際の客体にオーバーラップされるように出力される。反面、ＸＲ／ＰＣＣ客体が自律走行車両内に備えられるディスプレイに出力される場合には、ＸＲ／ＰＣＣ客体の少なくとも一部が画面内の客体にオーバーラップされるように出力される。例えば、自律走行車両１２２０は車路、他の車両、信号灯、交通表示板、二輪車、歩行者、建物などのような客体に対応するＸＲ／ＰＣＣ客体を出力することができる。
実施例によるＶＲ(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)技術、ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)技術、ＭＲ(Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)技術及び／又はＰＣＣ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｍｐｒｅｓｓｉｏｎ)技術は、様々なデバイスに適用可能である。
即ち、ＶＲ技術は現実の客体や背景などをＣＧ映像のみで提供するディスプレイ技術である。反面、ＡＲ技術は実際物事の映像上に仮想のＣＧ映像を共に見せる技術である。また、ＭＲ技術は現実世界に仮想客体を混ぜて見せるという点では上記ＡＲ技術と類似する。しかし、ＡＲ技術では現実の客体とＣＧ映像からなる仮想の客体の区別が明らかであり、現実客体を補完する形態で仮想の客体を使用する反面、ＭＲ技術では仮想の客体と現実の客体が同様の性格と見なされるという点でＡＲ技術とは区別される。より具体的には、例えば、上記ＭＲ技術が適用されたことがホログラムサービスである。
但し、最近にはＶＲ、ＡＲ、ＭＲ技術を明確に区別するよりは、ＸＲ(ｅｘｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)技術とも呼ぶ。よって、本発明の実施例はＶＲ、ＡＲ、ＭＲ、ＸＲ技術のいずれにも適用可能である。かかる技術はＰＣＣ、Ｖ－ＰＣＣ、Ｇ－ＰＣＣ技術基盤の符号化／復号が適用される。
実施例によるＰＣＣ方法／装置は自律走行サービスを提供する車両に適用できる。
自律走行サービスを提供する車両はＰＣＣデバイスと有無線通信可能に連結される。
実施例によるポイントクラウドデータ(ＰＣＣ)送受信装置は、車両と有無線通信可能に連結された場合、自律走行サービスと共に提供できるＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理して車両に送信することができる。またポイントクラウドデータ送受信装置車両に搭載された場合は、ポイントクラウド送受信装置はユーザインターフェース装置で入力されたユーザ入力信号によってＡＲ／ＶＲ／ＰＣＣサービス関連コンテンツデータを受信／処理してユーザに提供することができる。実施例による車両又はユーザインターフェース装置はユーザ入力信号を受信する。実施例によるユーザ入力信号は自律走行サービスを指示する信号を含む。
図１５は実施例によるポイントクラウドエンコーダを示す図である。
実施例によるポイントクラウドエンコーダ１５０００は、ポイントクラウドデータ(ＰＣＣデータ、１５０００ａ)を受信して、これらを符号化する。実施例によるポイントクラウドエンコーダは幾何情報ビットストリーム１５０００ｂ及び属性情報ビットストリーム１５０００ｃを出力する。実施例によるポイントクラウドエンコーダ１５０００は空間分割部１５００１、幾何情報符号化部１５００２及び／又は属性情報符号化部１５００３を含む。
図１５のポイントクラウドエンコーダは、図１の送信装置１０００、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などに対応又は結合する。
空間分割部１５００１は、ポイントクラウドエンコーダはポイントクラウドデータ(ＰＣＣデータ、１５０００ａ)を受信し、ポイントクラウドデータを一つ又はそれ以上の３次元空間に分割する。空間分割部１５００１はポイントクラウドデータを受信し、ポイントクラウドデータを３次元ブロックに空間分割する。ポイントクラウドデータはポイント(又は複数のポイント)の幾何情報及び／又は属性情報を含む。空間分割部１５００１は境界ボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)及び／又は副境界ボックスなどにに基づいてポイントクラウドデータ(ＰＣＣデータ)を空間分割する。実施例による方法／装置は分割された単位(ボックス)に基づいて符号化／復号を行う。
実施例による送信装置(例えば、空間分割部)は、３次元空間上のポイントクラウドデータを圧縮するために、並列処理が可能な単位に分割することができる。実施例による空間分割部１５００１は、受信装置がユーザに拡張性(Ｓｃａｌａｂｉｌｉｔｙ)、及び／又は関心領域(ＲＯＩ)の機能を支援するために、ポイントクラウドデータをスライス単位に分割することができる。
実施例による送信装置は、低遅延、低複雑度、時間的拡張性、空間的拡張性、関心領域基盤の空間的拡張性、品質拡張性、並列的符号化、及び受信装置の並列的復号化を達成するために、実施例によるポイントクラウドデータをスライス(ブリックとも呼ばれる)、タイル単位に分割することができる。よって、実施例による送信装置は、スライス単位で拡張性の調節、量子値の調節などを支援する動作を行う必要がある。従って、実施例によるポイントクラウドデータ送信装置は、スライス間の重畳領域が含まれるように重畳スライスを構成することができる。実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のスライス(又は重畳スライス)に分割する方法については、以下に詳しく説明する。
スライスとは、実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを符号化及び／又は復号するための単位(又は最小単位)を意味し、ポイントクラウドデータ送信装置及び／又は受信装置は、スライス単位でポイントクラウドデータを独立的に(ｉｎｄｅｐｅｎｄｅｎｔｌｙ)符号化及び／又は復号化することができる。実施例によるスライスは、他にはブリック、ブロック、マクロブロックとも呼ばれる。
空間分割部１５００１は図１のクラウド獲得(Ｐｏｉｎｔ Ｃｌｏｕｄ Ａｃｑｕｉｓｉｔｉｏｎ)１０００１、図２の獲得２００００の動作、図３ないし図５による動作、図１２のデータ入力部１２０００動作の一部／全部を行うことができる。
幾何情報符号化部１５００２は、実施例によるポイントクラウドデータ(ＰＣＣデータ)のジオメトリ情報を受信してそれを符号化する。ジオメトリ情報はポイントクラウドデータに含まれたポイントの位置情報を意味する。幾何情報符号化部１５００２はジオメトリ情報を符号化して幾何情報ビットストリームを出力する。幾何情報符号化部１５００２はポイントの位置情報を再構成して復元された幾何情報１５００２ａを出力することができる。幾何情報符号化部１５００２は復元された幾何情報を属性情報符号化部１５００２に伝達する。
幾何情報符号化部１５００２は、図１のポイントクラウドビデオエンコーダ(Ｐｏｉｎｔ Ｃｌｏｕｄ Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ)１０００２、図２の符号化２０００１、図４の座標系変換部４００００、量子化４０００１、八分木分析部４０００２、表面近似分析部４０００３、演算エンコーダ４０００４、ジオメトリ再構成部４０００５、図１２の量子化処理部１２００１、ボクセル化処理部１２００２、八分木占有コード生成部１２００３、表面モデル処理部１２００４、イントラ／インターコーディング処理部１２００５及び／又は演算コーダー１２００６の動作の一部／全部を行う。
属性情報符号化部１５００３は実施例によるポイントクラウドデータの属性情報を受信し、幾何情報符号化部１５００３から受信した復元された幾何情報を用いて属性情報を符号化する。属性情報符号化部１５００３は属性情報を符号化して属性情報ビットストリーム１５０００ｃを出力する。属性情報符号化部１５００３は例えば、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ)変換を行う。属性情報符号化部１５００３は、例えば、予測リフト(ｐｒｅｄｉｃｔｉｏｎ ｌｉｆｔｉｎｇ)変換を行う。予測リフト変換は実施例による予測変換及び／又はリフト変換の各々の詳しい動作の一部又は全部を組み合わせたことを意味する。
実施例によるポイントクラウドエンコーダは、実施例による予測変換(ｐｒｅｄｉｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ)、リフト変換(ｌｉｆｔｉｎｇ ｔｒａｎｓｆｏｒｍ)及び／又はＲＡＨＴ(Ｒｅｇｉｏｎ Ａｄａｐｔｉｖｅ Ｈｉｅｒａｒｃｈｉｃａｌ Ｔｒａｎｓｆｏｒｍ)変換の一部、全部及び／又はそれぞれの組み合わせにより符号化を行う。
属性情報符号化部１５００３は、図１のポイントクラウドビデオエンコーダ１０００２、図２の符号化２０００１、図４の色変換部４０００６、属性変換部４０００７、ＲＡＴＨ変換部４０００８、ＬＯＤ生成部４０００９、リフト変換部４００１０、係数量子化部４００１１及び／又は演算符号化部４００１２の動作、図１２の色相変換処理部１２００８、属性変換処理部１２００９、予測／リフト／ＲＡＨＴ変換処理部１２０１０、演算コーダー１２０１１の動作の全部／一部を行う。
ここで、復元された幾何情報１５００２ｃは、図４で説明したジオメトリ再構成部(Ｒｅｃｏｎｓｔｒｕｃｔ Ｇｅｏｍｅｔｒｙ)４０００５により再構成された八分木及び／又は近似化された八分木を意味する。復元された幾何情報は図６で説明した占有コードを意味するか又は八分木構造を意味する。復元された幾何情報は図１２で説明した八分木占有コード生成部１２００３により生成された八分木占有コードを意味することもできる。
属性情報符号化部１５００３は、実施例によるポイントクラウドデータの属性情報を符号化する。ここで、実施例による符号化部１５００３は実施例による復元された幾何情報(又は復元されたジオメトリ情報)を用いて属性情報を符号化する。属性情報符号化部１５００３は受信されたデータを符号化して特質情報(又は属性情報)を含むビットストリームを生成することができる。
実施例による属性情報符号化部１５００３は、図４の色相変換部４０００６、属性送信部４０００７、ＲＡＨＴ変換部４０００８、ＬＯＤ生成部４０００９、リフト部４００１０、量子化部４００１１及び／又は演算符号化部４０００１２を含む。
実施例によるポイントクラウドデータは、データの特性によってカテゴリー１とカテゴリー３に分類される。カテゴリー１のデータは静的データであって、１枚のフレーム(ｆｒａｍｅ)で構成されたデータである。カテゴリー３のデータは動的データであって、Ｎ枚のフレームで構成されたデータである。ポイントクラウドデータのファイルフォーマットであるｐｌｙファイルは、データの獲得方法によって複数のポイントで構成される。
実施例によるポイントは、該当ポイントの位置情報(ジオメトリ情報)及び色相情報、反射度情報、時間情報、法線ベクトル(Ｎｏｒｍａｌ ｖｅｃｔｏｒ)情報などを含む属性情報(特質情報)を含む。実施例によるポイントは表現しようとする条件によって様々な情報を含む。ポイントからなるカテゴリー１とカテゴリー３のデータは大容量の点を含むフレームを含む。しかし、実施例によるポイントクラウドデータ送信装置は、かかるポイントを含むフレームを受信して符号化する場合、遅延時間と不要なリソースが多く使われるという問題がある。
従って、実施例によるポイントクラウドデータ送信装置では、ポイントクラウドデータの送信動作、符号化動作、受信装置の復号化動作、及び受信装置のレンダリング処理動作がリアルタイムで行われると共に、低遅延で処理するために、ポイントクラウドデータを複数の領域に分割する。実施例によるポイントクラウドデータ送信装置では、ポイントクラウドデータのフレームをタイル、スライス(ｓｌｉｃｅ)及び／又はブリック(ｂｒｉｃｋ)単位に分割する。
従って、実施例によるポイントクラウドデータ送信装置では、３次元ポイントクラウド(Ｐｏｉｎｔ Ｃｌｏｕｄ)データの並列処理能力の向上及び拡張性(ｓｃａｌａｂｉｌｉｔｙ)を向上させるための独立的なデータ分割方法によってポイントクラウドデータを分割することができる。独立的なデータ分割を行うとき、空間上近い点同士に再分割が行われる方法を支援することで空間適応的分割方法を含むことができる。
実施例によるポイントクラウドデータ送信装置はポイントクラウドデータを分割して、それらをそれぞれ独立的に符号化することにより、ポイントクラウドデータが占有する３次元空間上の任意接続(ｒａｎｄｏｍ ａｃｃｅｓｓ)と並列符号化を可能にするという効果を提供する。
図１６は実施例によるポイントクラウドエンコーダを示す。
実施例によるポイントクラウドエンコーダは、データ特性調査部１６０００、ブリックタイリング部１６００１、分割されたデータ入力部１６００２、座標変換部１６００３、量子化／ボクセル化処理部１６００４、八分木占有コード生成部１６００５、表面モデル処理部１６００６、第１演算コーダー１６００７、ジオメトリ再構成部１６００８、色相変換処理部１６００９、属性変換処理部１６０１０、予測／リフト／ＲＡＨＴ変換処理部１６０１１、係数量子化処理部１６０１２、第２演算コーダー１６０１３及び／又はビットストリーム結合部１６０１４を含む。
図１６に示したポイントクラウドエンコーダは、図１の送信装置１０００、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などに対応又は結合する。
図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、分割されたデータ入力部１６００２は、図１のポイントクラウドビデオ獲得１０００１、ポイントクラウドビデオエンコーダ１０００２、図２の獲得１８０００、符号化１８００２、図１２のデータ入力部１２０００、図１５の空間分割部１５００１に含まれた構成である。
座標変換部１６００３は図４の変換座標部３８０００であるか、又は図１２の量子化処理部１２００１である。量子化／ボクセル化処理部１６００４は図４の量子化及びポイント除去部(ボクセル化部)３８００１、図１２のボクセル化処理部１２００２であり、図５ないし図７の動作を行う。八分木占有コード生成部１６００５は図４の八分木分析部３８００２、八分木占有コード生成部１２００３であり、図６及び図７の動作を行う。表面モデル処理部１６００６は図４の表面近似分析部３８００３、図１２の表面モデル処理部１２００４である。第１演算コーダー１６００７、ジオメトリ再構成部１６００８は図４の演算符号化部３８００４、図１２の演算コーダー１２００６である。色相変換処理部１６００９は図４の色相変換部３８００６、図１２の色相変換処理部１２００８である。属性変換処理部１６０１０は図４の特質送信部３８００７、図１２の属性変換処理部１２００９である。予測／リフト／ＲＡＨＴ変換処理部１６０１１は図４のＲＡＨＴ３８００８、ＬＯＤ生成部３８００９、リフト部４００１０の全部又は一部であり、図１２の予測／リフト／ＲＡＨＴ変換処理部１２０１０である。係数量子化処理部１６０１２、第２演算コーダー１６０１３は図４の係数量子化部４００１１、演算符号化部４００１２、図１２の演算コーダー１２０１１である。
図１６の座標変換部１６００３、量子化／ボクセル化処理部１６００４、八分木占有コード生成部１６００５、表面モデル処理部１６００６、第１演算コーダー１６００７、ジオメトリ再構成部１６００８は、図１５の幾何情報符号化部１５００２に含まれる。図１６のジオメトリ再構成部１６００８、色相変換処理部１６００９、属性変換処理部１６０１０、予測／リフト／ＲＡＨＴ変換処理部１６０１１、係数量子化処理部１６０１２、第２演算コーダー１６０１３は、図１５の属性情報符号化部１５００３に含まれる。
実施例によるポイントクラウドデータエンコーダは、図１５の実施例によるポイントクラウドデータエンコーダ１５０００の一例を示す。実施例によるエンコーダ、符号化器は符号化器と呼ばれ、デコーダ、復号化器は復号化器と呼ばれる。
データ特性調査部１６０００は、実施例によるポイントクラウドデータを受信し、受信したポイントクラウドデータの特性を調査する。例えば、データ特性調査部１６０００は、ポイントクラウドデータのポイントが特定の領域には密に分布して特定の領域には疎らに(ｓｐａｒｓｅ)分布するか否かを調査する。データ特性調査部１６０００は、ポイントクラウドデータがＬｉＤＡＲデータや自立走行のためのデータのように複数のフレームを含むポイントクラウドシーケンスで構成されているか否かを調査する。データ特性調査部１６０００は、一つのフレーム内のポイントクラウドデータが特定の領域に集まっているか否か(例えば、左側、右側、上側、下側、前側又は後側に連続する属性情報値が集まっている場合)を調査する。データ特性調査部１６０００は、ポイントクラウドデータが表現するオブジェクトが互いに疎らに存在するか否かを調査する。データ特性調査部１６０００は、ポイントクラウドデータが占有する３次元空間が一方向に延びているかどうか(例えば、特定の軸の長さが他の軸の長さより長すぎる場合)を調査する。
タイリング部１６００１は実施例によるポイントクラウドデータを受信し、受信したポイントクラウドデータで一つ又はそれ以上のタイル、一つ又はそれ以上のスライス、又は一つ又はそれ以上のブリックを生成する。即ち、ブリックタイリング部１６００１ではポイントクラウドデータをタイル、スライス又はブリック単位に分割する。ブリックタイリング部１６００１はタイル、スライス又はブリック単位に分割されたポイントクラウドデータを出力する。
タイルとは、実施例によるポイントクラウドデータが占有する３次元空間の一部領域を意味する。実施例によるタイルは一つ又はそれ以上のスライスを含む。実施例によるタイルは一つ又はそれ以上のスライスに分割されることにより、ポイントクラウドデータエンコーダはポイントクラウドデータを並列的に符号化することができる。実施例によるタイルは一つ又はそれ以上のスライスごとにポイントクラウドデータエンコーダがデータの特性によって異なる量子化及び／又は変換を行う。
スライス(ｓｌｉｃｅ)とは、実施例によるポイントクラウドデータ送信装置及び受信装置が符号化及び復号化を行うデータの単位を意味する。スライスはポイントクラウドデータが占有する３次元空間上のデータの集合を意味するか、又はポイントクラウドデータのうち、一部のデータの集合を意味する。スライスは実施例によるタイル内に含まれたポイントの領域又はポイントの集合を意味する。実施例によるタイルは一つのタイル内に含まれたポイントの数に基づいて一つ又はそれ以上のスライスに分割される。例えば、一つのタイルはポイントの数ごとに分割されたポイントの集合を意味する。実施例によるタイルはポイントの数に基づいてスライスを分割され、分割過程において一部のデータが分離(ｓｐｌｉｔ)又は併合(ｍｅｒｇｅ)される。
ブロック(ｂｌｏｃｋ)とは、スライス内に含まれたポイントクラウドデータをポイントごとに分割する単位を意味する。例えば、ブロックとは、一つのスライス内のクラウドデータが占有する３次元空間の一部領域を意味し、実施例によるポイントクラウドデータ送信装置及び受信装置が符号化及び復号化を行う細部単位を意味する。
ブリック(ｂｒｉｃｋ)とは、実施例によるブロック又はスライスを意味する。即ち、ブリックはスライス又はポイントクラウドデータを分割するポイントの集合又は領域を意味することもできる。実施例においては、ブリックを領域とも呼ぶ。
実施例によるブリックタイリング(ｂｒｉｃｋ ｔｉｌｉｎｇ)は、ポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のブリック(スライス)に分割することを意味する。ブリックタイリングはスライス分配(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ)とも呼ばれる。
実施例によるブリックタイリング部１６００１は、点密度基盤のブリックタイリング(スライス分配)、円形セクターブリックタイリング(スライス分配)、レイヤブリックタイリング(スライス分配)、球形／楕円形領域タイリング(スライス分配)、属性基盤のブリックタイリング(スライス分配)、軸基盤の適応型分割方法のように、データの特性によって分ける方法の色々な変形方法に基づいてスライス分配を行うことができる。分割を行う方法は、以下の図１９ないし図３１で後述する。
実施例によれば、点密度基盤のブリックタイリングは点密度基盤のスライス分配と、円形セクターブリックタイリングは円形セクタースライス分配と、レイヤブリックタイリングはレイヤスライス分配と、球形／楕円形領域タイリングは球形／楕円形スライス分配と、属性基盤のブリックタイリングは属性基盤のスライス分配とも呼ばれる。
例えば、データ特性調査部１６０００によりポイントクラウドデータのポイントが特定の領域に密に分布し、特定の領域に疎らに(ｓｐａｒｓｅ)分布していることが確認された場合、それに基づいてブリックタイリング部１６００１は点密度基盤のブリックタイリング(スライス分配)方法で分割を行う。
例えば、ブリックタイリング部１６００１は、データ特性調査部１６０００によりポイントクラウドデータがＬｉＤＡＲデータや自立走行のためのデータのように複数のフレームを含むポイントクラウドシーケンスで構成されていることが確認された場合は、円形のセクターブリックタイリング(スライス分配)方法で分割を行う。ブリックタイリング部１６００１は、データ特性調査部１６０００により一つのフレーム内のポイントクラウドデータが特定の領域に集まっていることが確認された場合は、レイヤブリックタイリング(スライス分配)方法で分割を行う。ブリックタイリング部１６００１は、データ特性調査部１６０００によりポイントクラウドデータが表現するオブジェクトが互いに疎らに存在することが確認された場合は、球形／楕円形領域タイリングに基づいて分割を行う。データ特性調査部１６０００は、ポイントクラウドデータが占有する３次元空間が一方向に延びている場合は、軸基盤の適応型分割方法で分割を行う。
実施例によれば、ポイントクラウドデータは複数のスライスに分割することができる。ポイントクラウドデータを複数のスライスに分割する方法は色々ある。実施例によるスライス内に含まれたポイントクラウドデータは独立的に符号化が行われる。実施例によるポイントクラウドデータ送信装置及び受信装置は、スライス単位で独立的に符号化及び復号化を行うことにより、符号化及び復号化の過程で反復されるエラーを防止することができる。
スライスは、ポイントクラウドデータ内のポイントクラウドフレームを符号化のために分割する単位を意味する。ポイントクラウドデータはスライス分配構成(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ ｓｃｈｅｍｅ)によって複数のスライスに分割される。
ポイントクラウドデータを複数のスライスに分割する方法の実施例によれば、色連続性(ｃｏｌｏｒ ｃｏｎｔｉｎｕｉｔｙ)を保障するために、色情報の分散(ｖａｒｉａｎｃｅ)情報に基づいて分割する方法がある。例えば、特定のポイントクラウド又はポイントクラウドデータの領域内の色情報の分散情報が第１閾値より大きければ、該当データ又は領域を非平滑(ｎｏｎ－ｓｍｏｏｔｈ)ブロックと見なし、全体ポイントクラウドデータにおいて非平滑ブロックの比重が第２閾値より大きければ、非平滑ブロックに該当するブロック(又は非平滑ブロック内に含まれた一部のポイント)を抽出して第１スライスとして分離し、残りの分離されていないクラウドデータは第２スライスとして分離する。実施例によれば、第１スライスと第２スライスを分離するために色情報の分散情報を計算し、色情報の分散情報はｋｄ－ｔｒｅｅを用いることができる。
実施例によるｋ－ｄ ｔｒｅｅ(ｋｄツリー)は、二分木(ｂｉｎａｒｙ ｔｒｅｅ)の一種であって、ｋ次元の空間の分割のための階層を示す。Ｋｄ－ｔｒｅｅスキームはポイントクラウドデータのスライスへの分割をジオメトリ－適応的に行う方法を意味する。
実施例によれば、スライスはブリック、ブロック、マクロブロック(ｍａｃｒｏｂｌｏｃｋ)及び／又はタイルなどの色々な用語に呼ばれる。また、実施例によるブリックタイリング(ｂｒｉｃｋ ｔｉｌｉｎｇ)はスライス分配(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ)とも呼ばれる。
分割されたデータ入力部１６００２はブリックタイリング部１６００１により出力された分割されたポイントクラウドデータを受信する。分割されたデータ入力部１６００２は、それぞれのブリック(又はスライス又はタイル)内のポイントの位置情報(ジオメトリ情報)及びポイントの属性情報(特質情報)を出力する。分割されたデータ入力部１６００２はブリック単位に(又はスライス又はタイル単位に)ポイントの位置情報を座標変換部１６００３に伝達し、ポイントの属性情報を色相変換処理部１６００９に伝達する。
実施例によるデータ特性調査部１６０００、ブリックタイリング部１６００１及び／又は分割されたデータ入力部１６００２は、図１５の空間分割部１５００１内に含まれる。
座標系変換部１６００３は実施例によるポイントの位置情報(ジオメトリ情報)を受信し、それらの座標情報を変換する。座標系変換部１６００３は変換された座標情報を量子化／ボクセル化処理部１６００４に伝達する。座標系変換部１６００３は図４の座標系変換部４００００の動作を行う。
量子化／ボクセル化処理部１６００４は座標変換部１６００３によりポイントの位置情報に対して量子化及び／又はボクセル化を行う。量子化／ボクセル化処理部１６００４は量子化及び／又はボクセル化が行われたポイントの位置情報(ジオメトリ情報)を八分木占有コード生成部１６００５に送信する。量子化／ボクセル化処理部１６００４は図４の量子化及びボクセル化処理部４０００１、図１２のボクセル化処理部１２００２の動作を行う。
八分木占有コード生成部１６００５は量子化及び／又はボクセル化されたジオメトリ情報を受信し、それらに基づいて八分木占有コード(Ｏｃｔｒｅｅ ｏｃｃｕｐａｎｃｙ ｃｏｄｅ)を生成する。八分木占有コードは実施例によるポイントの位置情報を表現するデータ構造を含む。八分木占有コード生成部１６００５は八分木占有コードを第１演算コーダ１６００７、表面モデル処理部１６００６及び／又はジオメトリ再構成部１６００８に伝達する。八分木占有コード生成部１６００５は図４の八分木分析部４０００２、図１２の八分木占有コード生成部１２００３の動作を行う。
表面モデル処理部１６００６は実施例による八分木占有コードを受信して表面モデルを処理する。表面モデル処理部１６００６は表面モデル処理されたジオメトリ情報を出力して、第１演算コーダ１６００７に送信する。表面モデル処理部１６００６は、図４の表面近似分析部４０００３、図１２の表面モデル処理部１２００４の動作を行う。
第１演算コーダ１６００７は実施例による八分木占有コード及び／又は表面モデル処理が行われた八分木占有コードを受信して、それらを符号化する。第１演算コーダ１６００７はジオメトリビットストリームを出力する。第１演算コーダ１６００７はジオメトリビットストリームをビットストリーム結合部に送信する。第１演算コーダ１６００７は図４の演算符号化４０００４、図１２の演算コーダ１２００６の動作を行う。
第１演算コーダ１６００７は分割されたデータ入力部１６００２に該当ブリック(又はスライス又はタイル)に関するジオメトリ情報の符号化実行有無に関連する情報を送信する。
ジオメトリ再構成部１６００８は実施例による八分木占有コード及び／又は表面モデル処理が行われた八分木占有コードを受信し、それらに基づいてジオメトリ情報を再構成する。ジオメトリ再構成部１６００８は実施例によるモールトンコードを生成し、それらに基づいてジオメトリ情報を再構成する。ジオメトリ再構成部１６００８は図４のジオメトリ再構成部４０００５の動作を行う。
色相変換処理部１６００９は実施例によるポイントの属性情報を受信し、属性情報の色相情報の変換を行う。色相変換処理部は変換処理された属性情報を出力し、これらを属性変換処理部１６０１０に送信する。色相変換処理部１６００９は図４の色相変換部４０００６、図１２の色相変換処理部１２００８の動作を行う。
属性変換処理部１６０１０は実施例によるポイントの位置情報、実施例による色相変換処理部１６００９により色相変換が処理された属性情報及び／又はジオメトリ再構成部１６００８により再構成されたジオメトリ情報をマッピングして属性変換処理を行う。属性変換処理部１６０１０は、図４の属性伝達部４０００７、１２の属性変換処理部１２００９の動作を行う。
予測／リフト／ＲＡＨＴ変換処理部１６０１１は属性変換処理部１６０１０により変換処理された属性情報を予測(Ｐｒｅｄｉｃｔｉｏｎ)、リフト(ｌｉｆｔｉｎｇ)及び／又はＲＡＨＴ方法によって変換を行う。予測／リフト／ＲＡＨＴ変換処理部１６０１１は予測、リフト及び／又はＲＡＨＴ方法によって変換された属性情報を出力し、それらを係数量子化処理部１６０１２に送信する。予測／リフト／ＲＡＨＴ変換処理部１６０１１は図４のＲＡＨＴ４０００８、ＬＯＤ生成部４０００９及び／又はリフト４００１０、図１２の予測／リフト／ＲＡＨＴ変換処理部１２０１０の動作を行う。
係数量子化処理部１６０１２は予測／リフト／ＲＡＨＴ変換処理部１６０１１により変換された属性情報を受信して、それらを量子化する。係数量子化処理部１６０１２は量子化された属性情報を第２演算コーダ１６０１３に送信する。係数量子化処理部１６０１２は図４の係数量子化部４００１１の動作を行う。
第２演算コーダ１６０１３は係数量子化処理部１６０１２により量子化された属性情報を受信し、それらを符号化する。第２演算コーダ１６０１３は符号化された属性情報を含む属性ビットストリームを出力する。第２演算コーダ１６０１３は属性ビットストリームを出力し、それらをビットストリーム結合部１６０１４に送信する。
第２演算コーダ１６０１３は分割されたデータ入力部１６００２に該当ブリック(又はスライス又はタイル)に関する特質情報の符号化実行有無に関連する情報を送信する。第２演算コーダ１６０１３は図４の演算符号化部４００１２、図１２の演算コーダ１２０１１の動作を行う。
ビットストリーム結合部１６０１４は実施例によるジオメトリビットストリーム及び／又は属性情報ビットストリームを結合する。ビットストリーム結合部１６０１４は実施例によるブリック(又はスライス又はタイル)単位にジオメトリビットストリーム及び属性ビットストリームを結合する。
実施例によるポイントクラウドデータ送信装置は、データ特性調査部１６０００、ブリックタイリング部１６００１、分割されたデータ入力部１６００２、及びビットストリーム結合部１６０１４を含む。実施例によるポイントクラウドデータ送信装置は、例えば、ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｆｉｌｔｅｒ情報に対応して、ブリックタイリング部でポイントクラウドデータを一つ又はそれ以上のブリックに分割する。実施例によるポイントクラウドデータはブリックタイリング部１６００１によりＮ個の領域に分割されて、分割されたデータ入力部１６００２に入力される。分割されたＮ個のブリックのそれぞれに対して、それぞれのブリック内のポイントクラウドデータがポイントの位置情報及びポイントの属性情報に分かれて符号化される。Ｎ個のブリックのそれぞれに対して符号化過程が行われると、実施例によるビットストリーム結合部１６０１４において符号化されたポイントの位置情報及びポイントの属性情報が一つのビットストリームに結合される。
実施例によるポイントクラウドデータ送信装置は、ブリックタイリング部１６００１を用いてポイントクラウドデータを一つ又はそれ以上のブリック単位に分割し、分割されたブリック単位で符号化を行うことにより、領域ごとに符号化を行うことができ、この場合、実施例によるポイントクラウドデータ受信装置に必要な領域のデータとより重要ではない領域を区分して効率的に符号化を行うことができる。かかる構成によりポイントクラウドデータ送信装置は符号化効率を高めることができる。
実施例によるポイントクラウドデータエンコーダは、ポイントクラウドデータを一つ又はそれ以上のタイル、スライス、ブロック及び／又はブリックに分割し、分割されたそれぞれの単位に対して互いに異なる量子化(ｑｕａｎｔｉｚａｔｉｏｎ)を設定することができる。かかる方法によりポイントクラウドデータを分割することにより、ポイントクラウドデータエンコーダは重要度が異なるポイントを差等して符号化することができる。また、ポイントクラウドデータ受信装置は差等して符号化されたデータを効率的に復号化してユーザに重要な情報を迅速に提供することができる。
ポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のブリック単位に分割し、分割されたブリック単位で符号化を行うことにより、データの特性に最適化した符号化方法を提供する。例えば、特定の領域に密に分布するポイントを含むポイントクラウドデータである場合、ポイントが密に分布する領域を細かく分割して符号化することにより、符号化の時に発生し得るエラーを抑えることができる。例えば、ＬｉＤＡＲデータや自立走行のような複数のフレームで構成されたデータのシーケンスでは、後述する円形セクターブリックタイリング方法でポイントクラウドデータを分割して符号化することにより、フレームごとの符号化エラーを軽減することができる。
実施例によるポイントクラウドデータ送信装置及び受信装置は、スライス単位で独立的に符号化及び復号化を行うことにより、符号化及び復号化の過程で繰り返されるエラーを防止することができる。
実施例によるポイントクラウドデータの送信装置では、ポイントクラウドデータの送信、符号化／復号化、レンダリングなどの様々な処理状況で発生し得る要求事項ごとに適応的に行われる分割方法に基づく分割動作を行うことにより、リアルタイム処理、低遅延及び並列処理が可能なポイントクラウドコンテンツを提供する。
図１７は実施例によるポイントクラウドデータ送信装置のビットストリーム結合部を示す。
図１７に示したビットストリーム結合部１７０００は、図１の送信装置１００００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などに対応又は結合する。
図１７のビットストリーム結合部１７０００は図１６のビットストリーム結合部１６０１４であるか、或いは図１２の送信処理部１２０１２、図１の送信機１０００３、図２の送信部１８００２に含まれる。即ち、図１７のジオメトリビットストリーム１７０００ａ、特質ビットストリーム１７０００ｂは、図１６のビットストリーム結合部１６０１４が受信するジオメトリビットストリーム及び属性ビットストリームに対応するか、或いは図１５の幾何情報ビットストリーム１５０００ｂ及び属性情報ビットストリーム１５０００ｃ、図４の演算エンコーダ３８００４で出力されるジオメトリビットストリーム及び演算エンコーダ４００１２で出力される特質ビットストリーム、図１２の演算コーダ１２００６で出力されるビットストリーム及び図１２の演算コーダー１２０１１で出力ビットストリームである。
ビットストリーム結合部１７０００を示す。ビットストリーム結合部１７０００はジオメトリビットストリーム１７０００ａ及び／又は特質ビットストリーム１７０００ｂを受信する。ビットストリーム結合部１７０００は受信したジオメトリビットストリーム１７０００ａ及び特質ビットストリーム１７０００ｂを結合してビットストリーム１７０００ｃを出力する。
ビットストリーム結合部１７０００は領域単位で符号化が行われたジオメトリビットストリーム１７０００ａ及び領域単位で符号化が行われた特質ビットストリーム１７０００ｂを受信してこれらを結合する。ビットストリーム結合部１７０００は領域単位のビットストリーム１７０００ｃを出力する。実施例によれば、ビットストリーム結合部１７０００は、図１９ないし図２５により分割された一つ又はそれ以上の領域に該当するポイントクラウドデータが符号化されたビットストリーム１７０００a、１７０００ｂを受信してこれらを結合する。従って、ビットストリーム結合部１７０００は図１９ないし図２５による領域単位にビットストリーム１７０００ｃを出力することができる。
ビットストリーム結合部１７０００は図１９のビットストリーム結合部１６０１４を意味する。ジオメトリビットストリーム１７０００ａと特質ビットストリーム１７０００ｂは図１９のジオメトリビットストリーム及び属性ビットストリームを意味する。ジオメトリビットストリーム１７０００ａと特質ビットストリーム１７０００ｂは図１８のジオメトリビットストリーム１５００ｂ及び属性情報ビットストリーム１５０００ｃを意味する。
ビットストリーム結合部１７０００は実施例によるジオメトリビットストリーム１７０００ａ及び特質ビットストリーム１７０００ｂを結合する結合実行部１７００１を含む。結合実行部１７００１は上述したジオメトリビットストリーム１７０００ａ及び特質ビットストリーム１７０００ｂを受信してこれらを領域別に結合してビットストリーム１７０００ｃを出力する。
ビットストリーム結合部１７０００はジオメトリビットストリーム１７０００ａと特質ビットストリーム１７０００ｂをどのような順に結合するか、どのように結合を行うかを決定する。結合を行う方法は、多重化(Ｍｕｌｔｉｐｌｅｘｉｎｇ)、ＭＶＣビット列結合、順次結合、重要度基盤の結合などの方法がある。実施例による結合を行う方法は、受信したジオメトリビットストリーム１７０００ａ及び／又は特質ビットストリーム１７０００ｂの特定(例えば、色々な属性のビットストリーム、属性ビットストリームの存在有無、ジオメトリと特質ビットストリームの量子化程度、ビットストリームの長さ、タイリングの有無など)によって決定又は選択される。ポイントクラウドデータエンコーダは、結合されたジオメトリビットストリームと特質ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報(ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ)を生成し、これらをビットストリーム形態で送信する。実施例によれば、ビットストリームの送信特性によって特定の結合方法が固定的に使用されることができる。
実施例によるポイントクラウドデータ送信装置は、ビットストリーム結合部１７０００を構成することにより、図１９ないし図２５により分割された領域が符号化されて生成されたビットストリームを領域ごとに送信することができる。従って、実施例によるポイントクラウドデータ受信装置は、領域ごとに受信したポイントクラウドデータをシグナリング情報と共に効率的に復号を行うことができる。
図１８は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
実施例によるブリックは、スライスに対応する。この明細書において、ブリックはスライスとも称される。
図１８に示した動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合して行われる。
実施例によるポイントクラウドデータはポイントクラウドデータを得、得られたポイントクラウドデータを一つ又はそれ以上のスライスに分割することができる。
図１８に示した動作は、例えば、図１５の空間分割部１５００１、図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、及び図１２のデータ入力部１２０００により行われる。
図１８の左側イメージ１８０００は実施例によるポイントクラウドデータを示す。ポイントクラウドデータは複数のタイプのポイントクラウドデータ(例えば、ＬｉＤＡＲデータなど)に区分される。ポイントクラウドデータのタイプはポイントクラウドデータのポイントが密に分布するか或いは疎らに分布するかによって分類される。
図１８の右側イメージ１８００１は図２０の左側イメージ１８０００のポイントクラウドデータを３つのブリックに分割する動作を示す。実施例によるポイントクラウドデータを３つのブリックに分割する動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。
図１８の右側イメージ１８００１を参照すると、実施例によるブリックタイリング部１６００１は図１８の左側イメージ１８０００のポイントクラウドデータを第１ブリック１８００１ａ、第２ブリック１８００１ｂ及び第３ブリック１８００１ｃに分割する。実施例によるブリックタイリング部１９００１はポイントクラウドデータのタイプに基づいてポイントクラウドデータを分割する。実施例によるブリックは同等な意味の範囲内で他の名称に呼ばれることもできる。
実施例によるポイントクラウドデータ送信装置は、図１８及び図１９で説明したように、ポイントクラウドデータをタイル、スライス及び／又はブリック単位に分割することにより、ポイントクラウドデータが占有する３次元空間上の任意接続(ｒａｎｄｏｍ ａｃｃｅｓｓ)と並列符号化を可能にする効果を提供する。
図１９は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図１９に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例によるポイントクラウドデータはポイントクラウドデータを得、得られたポイントクラウドデータを図１９に示したように、一つ又はそれ以上のスライスに分割することができる。図１９に示した動作は、例えば、図１５の空間分割部１５００１、図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、及び図１２のデータ入力部１２０００により行われる。
図１９(ａ)はポイントクラウドデータが占める３次元空間１９Ａ００を３次元空間１９Ａ００の軸の長さに基づいて分割することを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを符号化する。実施例によるポイントクラウドデータ送信装置は、実施例によるポイント又は３次元空間１９Ａ００を一つ又はそれ以上の分割された領域１９Ａ０１ａ～１９Ａ０１ｃに分割し、分割された領域に含まれたポイントに対して独立的に実施例による符号化を行うことができる。
ポイントクラウドデータが占める３次元空間１９Ａ００は、実施例によるポイントクラウドデータを含む。３次元空間１９Ａ００はポイントクラウドデータを示す複数のポイントを含む。複数のポイントは実施例によるポイントクラウドデータを構成する単位である。実施例によるポイントクラウドデータ送信装置は、それぞれの複数のポイントの位置情報及び属性情報を符号化することができる。
分割された領域１９Ａ０１ａ～１９Ａ０１ｃは実施例によるポイントクラウドデータのポイント１９Ａ００の一部を含む。実施例によるポイントクラウドデータ送信装置はポイントクラウドデータの特性に基づいてポイントクラウドデータを一つ又はそれ以上の分割された領域１９Ａ０１ａ～１９ａ０１ｃに分割する。実施例による分割された領域１９Ａ０１ａ～１９Ａ０１ｃはタイルに対応するか、スライスに対応するか、ブリックに対応するか、或いはブロックに対応するか又は称される。
実施例によるポイントクラウドデータ送信装置は、ポイントを含む３次元空間１９Ａ００を３次元空間の軸の長さに基づいて分割する。ポイントを含む３次元空間１９Ａ００は、境界ボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)であるか、又はタイルである。実施例による３次元空間(例えば、境界ボックス又はタイル)は、ｘ軸、ｙ軸及びｚ軸で表現される。
実施例によるポイントクラウドデータは、例えば、ｘ軸、ｙ軸及びｚ軸のうちのいずれかの長さが残りの２つの長さより短い。例えば、１つの軸を除いた２つの軸に沿って広く分散している地形を表すポイントクラウドデータが存在する。ポイントクラウドデータの送信装置がが軸の長さとは関係なく境界ボックス内のポイントに対して符号化を行う場合、符号化の効率が落ちる。よって、ポイントクラウドデータ送信装置は、３次元空間の軸の長さに適応して一つ又はそれ以上の領域に分割する必要がある。従って、実施例によるポイントクラウドデータ送信装置は、ｘ軸、ｙ軸及びｚ軸の互いの相対的な長さを計算し、計算した相対的な長さに基づいてポイントクラウドデータを一つ又はそれ以上の領域に分割する。
従って、実施例によるポイントクラウドデータ送信装置は、ｘ軸、ｙ軸及びｚ軸のうち、最短軸の長さと最長軸の長さを確認して、最長軸を最短軸の長さ単位に分割する。例えば、図１９(ａ)に示したように、境界ボックスの最長軸はｙ軸３０であり、最短軸はｚ軸１０である。よって、実施例によるポイントクラウドデータ送信装置は、Ｙ軸をＺ軸の長さである１０単位に分割して、ポイントクラウドデータを３つのスライス１９Ａ０１ａ～１９Ａ０１ｃに分割する。
実施例によるポイントクラウドデータ送信装置は、分割されたスライスを再び分割することもできる。例えば、分割された一つのスライス１９Ａ０１ａを再び最長軸を最短軸の長さ単位に分割することができる。この場合、Ｘ軸、Ｙ軸及びＺ軸がいずれも長さ１０である２つのスライスが生成される。
実施例によるポイントクラウドデータ送信装置は、図１９(ａ)に示したように、最長エッジの長さに基づくユニフォーム－ジオメトリ分配(Ｕｎｉｆｏｒｍ－Ｇｅｏｍｅｔｒｙ ｐａｒｔｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｌｏｎｇｅｓｔ ｅｄｇｅ)のスライス分配構成(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎ ｓｃｈｅｍｅ)に基づいてポイントクラウドデータを分割する。最長エッジの長さに基づくユニフォーム－ジオメトリ分配(Ｕｎｉｆｏｒｍ－Ｇｅｏｍｅｔｒｙ ｐａｒｔｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｌｏｎｇｅｓｔ ｅｄｇｅ)は、以下のように分配(分割)される方法を意味する。
１)３次元空間の最長エッジの長さ、最短エッジの長さ、スライスの数、スライスのサイズをそれぞれｍａｘＥｄｇｅ、ｍｉｎＥｄｇｅ、ｓｌｉｃｅＮｕｍ及びｓｌｉｃｅＳｉｚｅと仮定する。ＳｌｉｃｅＮｕｍの基本値はｍａｘＥｄｇｅ／ｍｉｎＥｄｇｅであり、ｓｌｉｃｅＳｉｚｅはｍｉｎＥｄｇｅのような値に設定される(Ａｓｓｕｍｅ ｔｈｅ ｌｏｎｇｅｓｔ ｅｄｇｅ ａｎｄ ｔｈｅ ｓｈｏｒｔｅｓｔ ｅｄｇｅ ａｓ ｍａｘＥｄｇｅ ａｎｄ ｍｉｎＥｄｇｅ, ｓｌｉｃｅ ｎｕｍｂｅｒ ａｓ ｓｌｉｃｅＮｕｍ, ｓｌｉｃｅ ｓｉｚｅ ａｓ ｓｌｉｃｅＳｉｚｅ. Ｔｈｅ ｄｅｆａｕｌｔ ｖａｌｕｅ ｏｆ ｓｌｉｃｅＮｕｍ ｉｓ ｓｅｔ ａｓ ｍａｘＥｄｇｅ／ｍｉｎＥｄｇｅ ａｎｄ ｓｌｉｃｅＳｉｚｅ ｉｓ ｓｅｔ ａｓ ｍｉｎＥｄｇｅ.)。
２)実施例によるユニフォーム－ジオメトリ分配構成によりポイントクラウドデータをｓｌｉｃｅＮｕｍだけ分割する。
図１９(ｂ)はポイントクラウドデータが占める３次元空間１９Ｂ００を３次元空間１９Ｂ００内に含まれたポイントに関する八分木情報に基づいて分割することを示す。
実施例による八分木情報は、実施例によるポイントのジオメトリ情報を示すための八分木構造(ｏｃｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を意味する。実施例によるポイントクラウドデータ送信装置は、３次元空間が八分木により表現される一つ又はそれ以上の空間に対応するようにスライスを分割することができる。
実施例によるポイントクラウドデータ送信装置は、即ち、八分木を用いたユニフォーム－ジオメトリ分配(Ｕｎｉｆｏｒｍ－Ｇｅｏｍｅｔｒｙ ｐａｒｔｉｔｉｏｎｉｎｇ ｕｓｉｎｇ Ｏｃｔｒｅｅ)を行うことができる。八分木を用いたユニフォーム－ジオメトリ分配方法は以下の通りである。
１)八分木分配の深さを基本値ｄｅｐＯｃｔｒｅｅ＝１として設定する(Ｓｅｔ ｔｈｅ ｄｅｐｔｈ ｏｆ ｏｃｔｒｅｅ ｐａｒｔｉｔｉｏｎ ｄｅｐＯｃｔｒｅｅ＝１ ｂｙ Ｄｅｆａｕｌｔ)。八分木分配の深さは八分木構造のレベルを意味する。
２)ポイントクラウドデータを八分木分配構造により８^ｄｅｐＯｃｔｒｅｅスライスだけ分割する。
例えば、実施例によるポイントクラウドデータ送信装置は、ｄｅｐＯｃｔｒｅｅが１である場合、ポイントクラウドデータを８つの空間に対するポイントを含む８つのスライスを分割する。
実施例によるポイントクラウドデータ送信装置は、かかる方法で境界ボックスの分割を行うことにより、重畳していないスライスごとに個々に符号化を行い、同様に受信装置も個々にポイントクラウドデータをスライスごとに復号化することができる。
実施例によるポイントクラウドデータ送信装置は、任意のタイル内のポイントの特質データである色相情報又は反射度情報に基づいて、３次元空間を一つ又はそれ以上のスライスに分割する。例えば、実施例によるポイントクラウドデータ送信装置は、実施例による特質データを昇順に整列した後、特質データの値に整列されたポイントにスライスを分割することができる。
実施例によるポイントクラウドデータ送信装置は、このようにポイントを分割する場合、昇順整列に基づいて分割したので、境界ボックスがスライス間に重畳可能であり、１つの空間内において複数のスライスが共有する形態でスライスが分割される。従って、実施例によるポイントクラウドデータ送信装置は、ポイントクラウド圧縮のための要求事項である空間的拡張性、関心領域基盤の空間的拡張性を支援することができる。
図２０は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す。
図２０に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２０に示した動作は、例えば、図１５の空間分割部１５００１、図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、及び図１２のデータ入力部１２０００により行われる。
図２０(ａ)はポイントクラウドデータが占有する３次元空間２０Ａ００を示す。実施例によるポイントクラウドデータ送信装置は実施例によるポイントクラウドデータを符号化する。実施例によるポイントクラウドデータ送信装置は、実施例によるポイント２０Ａ０１又は３次元空間２０Ａ００を一つ又はそれ以上の分割された領域２０Ａ０２に分割し、分割された領域に含まれたポイントに対して独立的に実施例による符号化を行う。
ポイントクラウドデータが占有する３次元空間２０Ａ００は実施例によるポイントクラウドデータを含む。３次元空間２０Ａ００はポイントクラウドデータを示す複数のポイント２０Ａ０１を含む。
複数のポイント２０Ａ０１は実施例によるポイントクラウドデータを構成する単位である。実施例によるポイントクラウドデータ送信装置はそれぞれの複数のポイント２０Ａ０１の位置情報及び属性情報を符号化する。
分割された領域２０Ａ０２は実施例によるポイントクラウドデータのポイント２０Ａ０１の一部を含む。実施例によるポイントクラウドデータ送信装置はポイントクラウドデータの特性に基づいてポイントクラウドデータを一つ又はそれ以上の分割された領域２０Ａ０２に分割する。実施例による分割された領域２０Ａ０２はタイルに対応するか、スライスに対応するか、ブリックに対応するか、或いはブロックに対応するか又は称される。
ポイントクラウドデータの特性はポイント２０Ａ０１の密度に関連する特性である。例えば、実施例によるポイントクラウドデータは矢印２０Ａ０３の方向にポイントが密に分布したデータである。従って、実施例によるポイントクラウドデータ送信装置はポイントの密度に基づいてポイントクラウドデータを一つ又はそれ以上の分割された領域２０Ａ０２に分割することができる。
例えば、実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを第１ブリック２０Ａ０２－１及び第２ブリック２０Ａ０２－２を含む分割された領域２０Ａ０２に分割することができる。第１ブリック２０Ａ０２－１は複数のポイントのうち、相対的に疎らに分布したポイントを含む領域である。第２ブリック２０Ａ０２－２は複数のポイントが相対的に密に分布するポイントを含む領域である。実施例によれば、ポイントが密に分布する第２ブリック２０Ａ０２－２は、ポイントが疎らに分布する第１ブリック２０Ａ０２－１よりもブリックのサイズが大きい。
図２０(ｂ)はポイントクラウドデータが占有する３次元空間２０Ａ００を一つ又はそれ以上の領域に分割する方法及び各ブリックに対して符号化を行う過程を示す。具体的には、図２０(ｂ)はポイントクラウドデータのポイントの密度に基づいてポイントクラウドデータを一つ又はそれ以上のブリックに分割することを示す。かかるポイントクラウドデータの分割方法を点密度基盤のブリックタイリングと呼ぶ。
実施例による点密度基盤のブリックタイリングは、実施例によるポイントの密度又はポイントの距離によって、実施例によるポイントクラウドデータを一つ又はそれ以上のブリックに分割することを意味する。実施例によれば、分割されたブリックは一つの３次元ブロック或いは２つ以上のブロックの束で構成される。
図２０(ｂ)の動作は図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２０(ｂ)に示す過程は、ポイントクラウドデータを受信する段階(２０Ｂ００)、ブリック分割実行有無を判断する段階(２０Ｂ０１)、ブリック個数を決定する段階(２０Ｂ０２)、ポイントの密度を計算する段階(２０Ｂ０３)、各ブリックに対してポイントの密度による量子化係数を決定する段階(２０Ｂ０４)、（各）ブリックごとに符号化を行う段階(２０Ｂ０５)及び／又はブリックごとにビットストリームを出力する段階(２０Ｂ０６)を含む。
ポイントクラウドデータを受信する段階(２０Ｂ００)では実施例によるポイントクラウドデータを受信する。
ブリック分割実行有無を判断する段階(２０Ｂ０１)は受信ポイントクラウドデータを一つ又はそれ以上のブリック(又はスライス又はタイル)に分割するか否かを決定する段階である。
ブリック分割実行有無を判断する段階(２０Ｂ０１)は受信ポイントクラウドデータ内のポイントのｘ座標値、ｙ座標値及び／又はｚ座標値に基づいてブリック分割実行有無を判断する段階である。
ブリック分割実行有無を判断する段階(２０Ｂ０１)では、受信ポイントクラウドデータのタイプに基づいてブリック分割を行うか否かを決定する。ブリック分割実行有無を判断する段階(２０Ｂ０１)はブリック分割実行有無を示すｂｒｉｃｋ_ｔｉｌｉｎｇ_ｆｉｌｔｅｒ情報を生成する段階である。
ブリック個数を決定する段階(２０Ｂ０２)では、ブリック分割実行有無を判断する段階でブリック分割を決定した場合、ポイントクラウドデータをいくつのブリックに分割するかを決定する。ブリック個数を決定する段階(２０Ｂ０２)において、分割するブリックの数は受信ポイントクラウドデータのタイプに基づいて決定される。
ポイントの密度を計算する段階(２０Ｂ０３)は、実施例によるポイントの密度を計算し、計算した密度に基づいてポイントクラウドデータを一つ又はそれ以上のブリックに分割する段階である。実施例によれば、ポイントの密度はポイントが占有する体積ごとのポイントの数、又はポイント間の距離の平均などに基づいて定義される。実施例によれば、（各）ブリックごとのポイントの密度は可変的に決定される。
各ブリックに対してポイントの密度による量子化係数を決定する段階(２０Ｂ０４)では、実施例によるポイントクラウドデータ送信装置がポイントの密度によって可変的に復号化を行うために密度による量子化係数を決定する。
（各）ブリックごとに符号化を行う段階(２０Ｂ０５)は、実施例によるポイントクラウドデータ送信装置が（各）ブリックごとにポイントクラウドデータを符号化する動作を意味する。実施例によれば、分割されたそれぞれのブリックはポイントクラウドデータ送信装置の設定によって流動的に変更される。ポイントクラウドデータ送信装置は分割情報を知らせるための情報(例えば、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ)などの情報を生成する。
ブリックごとのビットストリームを出力する段階(２０Ｂ０６)は、ポイントクラウドデータ送信装置がポイントクラウドデータが各ブリック単位で符号化が行われて出力されたビットストリームを出力する動作を意味する。
実施例によるポイントクラウドデータ送信装置は、実施例による点密度基盤のタイリングを行うことにより、一つのフレーム内の領域ごとにポイントの密度が異なるように分布するシーケンスを効果的に符号化することができる。
実施例によるポイントクラウドデータ送信装置は、実施例による点密度基盤のタイリングを行うことにより、ポイントの密度によって低密度のブリックに対して倍率(Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ)を下げることができ、ジオメトリ情報の圧縮率を上げることができる。また、高密度のポイントを含むブリックは倍率を上げて、位置情報を精密に表現する効果を提供することができる。
図２１は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図２１に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などにより結合して行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２１に示した動作は、例えば、図１５の空間分割部１５００１、図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、図１２のデータ入力部１２０００により行われる。
図２１はポイントクラウドデータ送信装置がポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２１Ａ００を一つ又はそれ以上の円形セクター２１Ａ０２に分割することを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを分割された円形セクター２１Ａ０２ごとに符号化する。図２１に示すポイントクラウドデータを分割する動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。
実施例によるセクター２１Ａ０２は、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、或いはブロックに対応するか又は称される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ２１Ａ００を基準軸２１Ａ０１を基準として一つ又はそれ以上の円形セクター２１Ａ０２に分割する。ポイントクラウドデータを一つ又はそれ以上の円形セクター形態のブリックに分割する動作を円形セクターブリックタイリングとも呼ぶ。
ポイントクラウドデータ２１Ａ００はポイントクラウドデータ送信装置が獲得したポイントクラウドデータを意味する。ポイントクラウドデータ２１Ａ００は複数のポイントを含む。
基準軸２１Ａ０１はポイントクラウドデータを一つ又はそれ以上の円形セクター２１Ａ０２に分割するために基準となる軸を意味する。基準軸２１Ａ０１はポイントクラウドデータが占有する３次元空間(例えば、境界ボックス)の中心を示す。例えば、基準軸は３次元空間のｘ軸及びｙ軸の中心であり、ｘ－ｙ平面において鉛直方向である軸である。例えば、基準軸は３次元空間のｙ軸及びｚ軸の中心であり、ｙ－ｚ平面において鉛直方向である軸である。例えば、基準軸は３次元空間のｘ軸及びｚ軸の中心であり、ｘ－ｚ平面において鉛直方向である軸である。
実施例によれば、ポイントクラウドデータは円形セクターの原点を含む基準軸２１Ａ０１を基準としてポイントクラウドデータを一つ又はそれ以上の円形セクターに分割する。実施例によれば、一つ又はそれ以上の円形セクターが決定されると、（各）単位ごとに位置情報或いは属性情報を含むポイントを含むことができる。
実施例による基準軸２１Ａ０１は中心点情報を示す情報に基づいて決定される。実施例による中心点情報は、例えば、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚである。実施例による基準軸２１Ａ０１は中心点情報を経、３次元空間のｘ軸、ｙ軸及びｚ軸のうち、軸の長さが最も短い軸方向に決定される。
円形セクター２１Ａ０２は実施例によるポイントクラウドデータを分割するブリックを意味する。円形セクター２１Ａ０２はポイントを含む。円形セクター２１Ａ００は基準軸と中心として中心角２１Ａ０２－１だけ放射する形態で弧状に構成された領域を意味する。
実施例によれば、分割されたそれぞれの円形セクター２１Ａ０２は互いに同一又は異なる半径２１Ａ０２－１を有する。円形セクター２１Ａ０２の半径２１Ａ０２－１はポイントクラウドデータの密度に基づいて決定される。実施例による半径２１Ａ０２－１はｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓで示される。
実施例によるポイントクラウドデータ送信装置は様々な中心角２１Ａ０２－２を有する円形セクター２１Ａ０２に分割される。実施例によるポイントクラウドデータ送信装置は各円形セクターの中心角を決定する。円形セクターの中心角はポイントクラウドデータの密度に基づいて決定される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータが複数のフレームで構成される場合、ポイントクラウドデータに含まれた客体の移動方向２１Ａ０３に基づいて分割領域の模様を決定する。ポイントクラウドのデータが複数のフレームで構成される場合、ポイントクラウドデータに含まれた客体の移動方向(例えば、青色矢印の方向)を定義することができる。実施例による客体の移動方向はｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒで示される。
実施例による境界ボックス(ポイントクラウドデータが占有する３次元空間)の情報は１フレームごとに定義され、各フレームの座標情報(例えば、ｘ、ｙ、ｚ情報)により決定される。実施例によれば、全フレームに同じ境界ボックスの情報を適用する時、境界ボックス情報フラグ(ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ)が送信される。
実施例によれば、ポイントクラウドデータ送信装置は、それぞれのフレームに対して量子化係数、ジオメトリ圧縮方法、属性圧縮方法、単一の属性／多重の属性を異なるようにして符号化を行う。
実施例によるポイントクラウドデータ送信装置は、円形セクターブリックタイリングを行うことにより、ＬｉＤＡＲデータや自立走行のためのデータのような複数のフレームを含むデータシーケンスで効果的に符号化を行うことができる。
実施例によるポイントクラウドデータ送信装置は、円形セクターブリックタイリングを行うことにより、ブリックの半径情報と角度のみでブリックをシグナリングすることができるので、受信装置の複雑度を減少できる。また、円形セクターブリックタイリングを行うことにより、同じ円形セクター内の点の分布が同一であるとき、位置情報予測による符号化を向上させることができる。
図２２は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図２２はポイントクラウドデータ送信装置がポイントクラウドデータが占める３次元空間又はポイントクラウドデータ２３Ａ００を一つ又はそれ以上のレイヤ２２Ａ０１又は２２Ａ０２に分割することを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを分割されたレイヤ２２Ａ０２ごとに符号化することができる。
図２２に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２２に示した動作は、例えば、図１５の空間分割部１５００１、図１６のデータ特性調査部１６０００、ブリックタイリング部１６００１、図１２のデータ入力部１２０００により行われる。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ２２Ａ００を一つ又はそれ以上のレイヤ２２Ａ０１に分割する。実施例によるポイントクラウドデータを一つ又はそれ以上のレイヤ２２Ａ０１に分割する方法はレイヤブリックタイリングとも呼ばれる。
実施例によるレイヤ２２Ａ０１は、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、或いはブロックに対応するか又は称される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割する前、ポイントクラウドデータを整列する。ポイントクラウドデータ送信装置は、ポイントクラウドデータを昇順、降順又はモールトンコードの順に整列する。実施例によるポイントクラウドデータ整列動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１又はデータ特性調査部１６０００で行われる。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータの整列方法を示す情報(例えば、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ)を生成し、それをビットストリーム形態で送信する。
レイヤ２２Ａ０１、２２Ａ０２はポイントクラウドデータが占有する３次元空間のｘ軸、ｙ軸又はｚ軸の一定の範囲に含まれたポイントクラウドデータの集合を意味する。即ち、レイヤ２２Ａ０１、２２Ａ０２は点の集合で構成される。
図２２の左側イメージに示したレイヤ２２Ａ０１は、図２２の左側イメージのように、一定の範囲のｙ座標情報を有する全てのポイントクラウドデータのポイントの集合を意味する。従って、実施例によれば、ポイントクラウドデータはポイントのｙ座標情報の範囲において複数のレイヤで構成される。かかる図２２の左側イメージに示したレイヤはｘ－ｚレイヤ(又はｙ方向レイヤ)とも呼ばれる。
図２２の右側イメージに示したレイヤ２２Ａ０２は、図２２の右側イメージのように、一定の範囲のｘ座標情報を有する全てのポイントクラウドデータのポイントの集合を意味する。従って、実施例によれば、ポイントクラウドデータはポイントのｘ座標情報の範囲において複数のレイヤで構成される。かかる図２２の右側イメージに示したレイヤはｙ－ｚレイヤ(又はｘ方向レイヤ)とも呼ばれる。
同様にポイントクラウドデータはポイントのｚ座標情報の範囲において複数のレイヤで構成される。かかる図２２の左側イメージに示したレイヤはｘ－ｙレイヤ(又はｚ方向レイヤ)とも呼ばれる。実施例によれば、ポイントクラウドデータは一つ又はそれ以上のｘ方向レイヤ、ｙ方向レイヤ又はｚ方向レイヤに分割される。
実施例によるポイントクラウドデータはポイントの時間順の移動側に基づいて形成された複数のレイヤで構成されることもできる。
実施例によるポイントクラウドデータ送信装置は、一つ又はそれ以上のレイヤに対して漸進的コーディングを行うことができる。実施例による漸進的コーディングは、整列されたレイヤ単位で漸進的に符号化を行うことを意味する。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割することにより、１フレーム内のポイントクラウドデータが特定の領域に集まっている場合(例えば、左側、右側、上側、下側、前側又は後側に連続する属性情報値が集まっている場合)のデータ特性において圧縮が効果的に適用される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上のレイヤに分割することにより、ブリック内の位置情報の連関度を向上させて符号化効率を高めることができる。
図２３は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図２３はポイントクラウドデータ送信装置がポイントクラウドデータが占有する３次元空間又はポイントクラウドデータを一つ又はそれ以上の球形／楕円形領域２３００１ａないし２３００１ｆに分割すことを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを一つ又はそれ以上の球形／楕円形領域２３００１ａないし２３００１ｆごとに符号化する。図２３に示したポイントクラウドデータを分割する動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２３に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
図２３示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例において球形／楕円形領域２３００１ａ－２３００１ｆは、実施例によるタイルに対応するか、スライスに対応するか、ブリックに対応するか、或いはブロックに対応するか又は称される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ２３０００内において重要な領域に位置するポイントを正確に符号化し、重要ではない部分の符号化は適切に行う。例えば、ポイントクラウドデータ２３０００が、図２３に示したように、特定の都市を示すデータ２３０００である場合、ポイントクラウドデータ送信装置の符号化過程において正確な符号化が必要な部分があり得る。例えば、図２３の円形又は楕円形で表示された領域２３００１ａないし２３００１ｆは符号化過程において正確な符号化が必要な部分である可能性がある。特に、ポイントクラウドデータは膨大な反面、正確な符号化が必要な領域が特定の領域に特定されている場合、全てのポイントクラウドデータに対して符号化を行うと、送受信過程で遅延が発生し得る。
従って、実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータの効率的な符号化のために、ポイントクラウドデータ２３００を一つ又はそれ以上の球形領域(又は楕円形領域)２３００１ａないし２３００１ｆに分割し、分割された球形領域２３００１ａないし２３００１ｆに対して符号化を行う。
ポイントクラウドデータ２３０００は一つ又はそれ以上のポイントを含むデータである。ポイントクラウドデータ２３０００は特定の方法の符号化が必要な領域(又は符号化において正確な符号化が必要な領域など)を一つ又はそれ以上含む。特定の方法の符号化が必要な領域は、図２３の２３００１ａ及び２３００１ｂで示したように円形(又は球形)に形成されるか、又は図２３の２３００１ｃないし２３００１ｆで示したように楕円形(又は潰れた球形)に形成される。前者のように円形(又は球形)に形成された領域は球形領域(又は円形ブリック)とも呼ばれる。後者のように楕円形(又は潰れた球形)に形成された領域は楕円形領域(又は長球形領域)とも呼ばれる。
ポイントクラウドデータが一つ又はそれ以上の球形領域又は楕円形領域に分割される方法は球形／楕円形領域タイリングとも呼ばれる。
実施例によれば、ポイントクラウドデータが球面座標系又は地理座標系に基づいて表現される場合、ポイントクラウドデータは球形領域に分割できる。実施例によれば、ブリックの形態によって様々な座標系(円筒座標系など)が使用される。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータを一つ又はそれ以上の球形領域２３００１ａ、２３００１ｂ又は楕円形領域２３００１ｃないし２３００１ｆに分割することができる。実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータのブリックが球形領域又は楕円形領域であるか否かを示す球形／楕円形領域の利用フラグ(ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ)を生成し、それをビットストリーム内に含めて送信する。
実施例によるポイントクラウドデータ送信装置は、球形領域及び／又は楕円形領域のそれぞれに関する情報を生成してそれをビットストリーム内に含めて送信する。例えば、ポイントクラウドデータは球形領域又は楕円形領域のそれぞれの模様に関連する情報を含む。
球形領域２３００１ａ、２３００１ｂは球形状(Ｓｐｈｅｒｅ)に構成されたブリックを意味する。球形領域２３００１ａ、２３００１ｂは境界ボックス内の円形又は球形領域内のポイントクラウドデータのポイントの集合を意味する。ポイントクラウドデータ送信装置は、球形領域２３００１ａ、２３００１ｂのそれぞれに関する中心点情報(例えば、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ)、半径情報(ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ)を生成し、それらをブリックのそれぞれに対してビットストリーム形態で送信する。
楕円形領域２３００１ｃないし２３００１ｆは楕円形又は長球形(Ｐｒｏｌａｔｅ)に構成されたブリックを意味する。楕円形領域２３００１ｃないし２３００１ｆは境界ボックス内の円形又は球形領域内のポイントクラウドデータのポイントの集合を意味する。ポイントクラウドデータ送信装置は、楕円形領域２３００１ｃないし２３００１ｆのそれぞれに関する中心点情報(例えば、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ)、半径情報(ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ)、方位角情報(ａｚｉｍｕｔｈ_ａｎｇｌｅ)を生成し、それらをブリックのそれぞれに対してビットストリーム形態で送信する。
実施例によるポイントクラウドデータ送信装置は、球形／楕円形領域タイリングを用いることにより、ＬｉＤＡＲデータの中でも事物が疎らに存在し、空間上においてデータに客体が存在する部分と存在しない部分が明らかなシーケンスで効果的に符号化を行うことができる。
実施例によるポイントクラウドデータ送信装置は、球形／楕円形領域タイリングを用いることにより、ＶＰ－ｔｒｅｅなどのように位置情報が円形に分散されているデータに対して高い圧縮率を提供することができる。
図２４は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図２４に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２４はポイントクラウドデータ送信装置がポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２４０００を属性基盤の領域２４００１ないし２４００３に分割することを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを一つ又はそれ以上の属性基盤の領域２４００１ないし２４００３ごとに符号化することができる。図２４に示したポイントクラウドデータを分割する動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２４に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
実施例によるポイントクラウドデータ送信装置は、ポイントクラウドデータ２４０００内のポイントの属性情報に基づいて分割する。例えば、ポイントクラウドデータ送信装置は、ポイントクラウドデータを構成する属性(色相、反射度、透明度、時間情報、客体インデックスなど)によって一つ又はそれ以上の領域を構成する。実施例による属性情報に基づく領域の分割方法は、属性基盤の領域タイリング(例えば、属性基盤のブリックタイリング)とも呼ばれる。
図２４の左側イメージは境界ボックス内の複数のポイント２４０００ａないし２４０００ｃを示す。複数のポイントは、例えば、赤色系の色相を有するポイント(Ｐ０、Ｐ２、Ｐ４、Ｐ５)、青色系の色相を有するポイント(Ｐ７、Ｐ８、Ｐ９)及び緑色系の色相を有するポイント(Ｐ１、Ｐ３、Ｐ６)を含む。実施例によるポイントクラウドデータ送信装置は、例えば、ポイントの色相によって一つ又はそれ以上の領域(例えば、ブリック)に分割することができる。
図２４の右側イメージは複数のポイント２４０００ａないし２４０００ｃが３つのブリック２４００１、２４００２、２４００３に分割されたことを示す。例えば、赤色系の色相を有するポイント(Ｐ０、Ｐ２、Ｐ４、Ｐ５)は第１ブリック２４００１に、青色系の色相を有するポイント(Ｐ７、Ｐ８、Ｐ９)は第２ブリック２４００２に、及び緑色系の色相を有するポイント(Ｐ１、Ｐ３、Ｐ６)は第３ブリック２４００３に分割される。
実施例によるポイントクラウドデータは、複数のポイントを属性情報に基づいて一つ又はそれ以上の領域に分割する前に、複数のポイントの属性情報を調査する。複数のポイントの属性情報を調査する動作は、図１６のデータ特性調査部１６０００により行われる。例えば、実施例によるポイントクラウドデータは、ポイントのうち、赤色系のポイントを調査することができる。例えば、赤色系のポイントを調査する動作はポイントのＲＧＢ情報の値に基づいて行われる。
実施例によるポイントクラウドデータ送信装置(送信装置)は、ポイントクラウドデータに対して実施例による属性基盤の領域タイリングを行ったか否かを示す情報をビットストリーム形態で送信することができる。また実施例によるポイントクラウドデータ送信装置(送信装置)は、属性基盤の領域タイリングが行われた場合、分割する基準となる属性タイプ(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ)をビットストリーム形態で送信することができる。実施例による分割の基準は複数の属性タイプを含み、この基準は属性情報値の範囲(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ)或いは属性情報値(ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ)である。
実施例によるポイントクラウドデータ送信装置は、実施例による属性基盤の領域タイリングを用いることにより、属性情報値が一つであるか又は類似する値に対応する複数のジオメトリ情報が多く含まれたシーケンスで効果的な符号化を行うことができる。
図２５は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上の領域に分割する方法を示す図である。
図２５に示した分割する方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２５はポイントクラウドデータ送信装置がポイントクラウドデータが占有する３次元空間又はポイントクラウドデータ２５０００を境界ボックスの軸の長さに基づいて分割された領域２５００１、２５００２に分割することを示す。実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを一つ又はそれ以上の境界ボックスの軸の長さに基づいて分割された領域２５００１、２５００２ごとに符号化することができる。図２５に示したポイントクラウドデータを分割する動作は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。実施例によれば、境界ボックスの軸の長さに基づいて分割された領域２５００１、２５００２(例えば、ブリック)に分割する動作は、適応的軸長さ基盤の領域タイリング(又は適応的軸長さ基盤のブリックタイリング)とも呼ばれる。図２５に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
ポイントクラウドデータ２５０００は一つ又はそれ以上のポイントを含む。ポイントクラウドデータは３次元空間(例えば、境界ボックス)内に含まれる。実施例による３次元空間(例えば、境界ボックス)はｘ軸、ｙ軸及びｚ軸で表現される。
ポイントクラウドデータ２５０００は、例えば、ｘ軸、ｙ軸及びｚ軸のうちのいずれかの長さが残りの２つの長さより短いか又は顕著に短い。例えば、１つの軸を除いた２つの軸に広く分散されている形態の地形を表現するポイントクラウドデータが存在する。ポイントクラウドデータの送信装置が軸の長さとは関係なく境界ボックス内のポイントに対して符号化を行う場合、符号化の効率が落ちる。従って、ポイントクラウドデータ送信装置は、３次元空間の軸の長さに適応して一つ又はそれ以上の領域に分割する必要がある。従って、実施例によるポイントクラウドデータ送信装置は、ｘ軸、ｙ軸及びｚ軸の互いの相対的な長さを計算し、計算した相対的な長さに基づいてポイントクラウドデータを一つ又はそれ以上の領域に分割することができる。
実施例によるポイントクラウドデータ送信装置(例えば、図１６のタイル分割部１６０００)は、３次元空間のｘ軸の長さ２５０００ｘ、ｙ軸の長さ２５０００ｙ及びｚ軸の長さ２５０００ｚのうち、最長長さの軸(例、Ｘ軸)の長さを最短長さの軸(例えば、Ｚ軸)の長さ単位に分割して一つ又はそれ以上のスライス(又は第１ブリック、２５００１)を構成することができる。１つ又はそれ以上のスライス(又は第１ブリック)に分かれたデータは並列的に符号化及び復号可能な単位である。
実施例によるポイントクラウドデータ送信装置(例えば、図１８のタイル分割部１８０００、又は図１９のタイリング部１９００１)は、第１ブリックのうちの一部のブリック２５００１に対して再分割を行うことができる。実施例による再分割では、第１ブリックのうちの一部のブリックに対して、最長長さの軸(即ち、図２５の２５００１ブリックではｙ軸、２５０００ｙ)を最短長さの軸(例えば、ｘ軸又はｚ軸)の長さ単位に分割して一つ又はそれ以上の細部スライス(又は第２ブリック、２５００２)を構成する。一つ又はそれ以上の細部スライス(又は第２ブリック)に分かれたデータは並列的に符号化及び復号可能な単位である。
実施例によるポイントクラウドデータ送信装置は、第１ブリック内のポイントの最大個数と最小個数(ｍａｘＰｏｉｎｔＮｕｍ、ｍｉｎＰｏｉｎｔＮｕｍ)により、空間上のデータ分布によらず、点のｍｉｎ／ｍａｘ情報に基づいて分割を行うこともできる。
実施例によるポイントクラウドデータ送信装置は、第１ブリック又は第２ブリックを領域内のポイントの数、領域のそれぞれが割り当てる空間のサイズ、領域内に含まれたポイントの密度に基づいて、再び再分割を行うか否かを決定する。実施例によれば、空間上に再分割を行う場合、空間適応的に行うことができ、単純に特定の軸で分ける方法以外にも中間軸を基準として再分割するなどの方法でスライスを分割することができる。
実施例によるポイントクラウドデータ送信装置は、実施例による適応的軸長さ基盤の領域タイリングを用いることにより、大きい地形地物を含むポイントクラウドデータの一つのフレーム内で空間単位に連関関係があるシーケンスで効果的に符号化を行うことができる。実施例によるポイントクラウドデータ受信装置は、大きい地形地物を含むポイントクラウドデータに対して効果的に復号化を行うことができる。
実施例による送信装置は、ポイントクラウドデータ(又はタイル内のポイント)を一つ又はそれ以上のスライスに分割することができる。実施例によるスライスは、スライスのそれぞれに含まれたポイントが互いに３次元空間上で重ならないように構成される。反面、実施例によるスライスは、スライスのそれぞれに含まれたポイントが互いに３次元空間上で重なる領域を有するように構成されてもよい。このように送信装置は３次元空間上で重なった領域を有するようにスライスを構成することもでき、かかるスライスを重畳スライスと呼ぶ。実施例による送信装置は、重畳スライスを構成することにより、リアルタイム処理／低遅延、拡張性及び並列処理可能にポイントクラウドデータを符号化することができる。
実施例による送信装置は、ポイントクラウドデータの分割を行いながら、実施例による重畳したスライスを構成することができる。実施例による送信装置は、ポイントクラウドデータを符号化する前に、ポイントクラウドデータ(原本データ)を境界ボックス(Ｂｏｕｎｄｉｎｇ ｂｏｘ)の情報を有することができるタイル単位に分割する。タイルとは、並列的に送信装置が符号化するために又は受信装置が復号するためにできる限り最小限の空間上の単位である。
実施例によるタイルはさらにデータ構造を定義できる最小の単位であるスライスで構成される。スライスはポイントクラウドデータを構成するポイントの集合であり、最大１１０万個から最小５５万個のポイントで構成される。実施例によるスライスは互いに重畳した空間上の領域を含む。
実際、符号化／復号化の過程が行われる前に実施例によるポイントクラウドデータはＮ個のタイルに分割され、それぞれのタイルはＮ個のスライスで構成される。ポイントクラウドデータを一つ又はそれ以上のタイルに分割する動作は送信装置内に含まれたタイル構成部により行われ、一つのタイルを一つ又はそれ以上のスライスに分割する動作は送信装置のスライス構成部により行われる。この時、重畳した空間上の領域を含むようにポイントクラウドデータを一つ又はそれ以上のスライスに分割する様々な方法がある。
送信装置(例えば、スライス構成部)は、ポイントクラウドデータの特性によって多重点サンプリング基盤の重畳スライス構成方法に基づいて、重要度基盤の重畳スライス構成方法に基づいて、属性範囲基盤の重畳スライス構成方法に基づいて、又はモールトンコード順基盤の重畳スライス構成方法に基づいて、ポイントクラウドデータ(又はタイル内のポイント)を一つ又はそれ以上の重畳スライスに分割することができる。
実施例によるスライス構成部は、多重点サンプリング基盤の重畳スライス構成部、重要度基盤の重畳スライス構成部、属性範囲基盤の重畳スライス構成部、又はモールトンコード順基盤の重畳スライス構成部のうちのいずれかを含む。上述した方法は図２６ないし図３０に詳しく説明する。
また実施例による送信装置は重畳スライスを構成する時、他のタイルが分割される時間を該当スライス分割部が待たないように順にタイル出力部でスライスを分割するタイルごとの順次入力スライス構成部を含む。上述した方法は図３１に詳しく説明する。
また重畳スライスを構成する時、他のタイルが分割される時間を該当スライス分割部が待たないように順にタイル出力部でスライスを分割するタイルごとの順次入力スライス構成部を含む。タイルごとに様々なスライス構成方法を使用することができる。
図２６は実施例によるポイントクラウドデータ送信装置の分割部を示す。
図２６に示した分割部２６０００は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例によるポイントクラウドデータ送信装置は分割部２６０００を含む。実施例による分割部２６０００は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１を意味する。図２６に示した分割部２６０００は、例えば、図１２のデータ入力部１２０００内に含まれた構成である。
実施例による分割部２６０００は、実施例によるジオメトリデータ及び／又は特質データを受信する。分割部２６０００は受信したジオメトリデータ及び／又は特質データを一つ又はそれ以上のスライスに分割して、スライスごとのジオメトリデータ(ビットストリーム)及び／又はスライスごとの特質データ(ビットストリーム)を出力することができる。
実施例による分割部２６０００は、タイル分割実行部２６００１及び／又はスライス分割実行部２６００２を含む。実施例によるポイントクラウドデータ送信装置は、実施例によるスライス分割が行われる前にジオメトリデータと特質データに基づいてポイントクラウドデータを一つ又はそれ以上のタイルに分割することができる。
実施例による分割部２６０００は、実施例によるポイントクラウドデータのポイントを一つ又はそれ以上のスライスに区分又は分配する。実施例によるスライスは３Ｄ空間上の領域のうち、互いに重なる領域を含む。従って、実施例によるポイントクラウドデータ送信装置のスライス分割部は、重畳スライス分割部２６００２とも呼ばれる。
タイル分割実行部２６００１は実施例によって得られたポイントクラウドデータを一つ又はそれ以上のタイルに分割する。
スライス分割実行部２６００２は、実施例によるタイル内のポイントクラウドデータのポイントを一つ又はそれ以上のスライスに分配(ｐａｒｔｉｔｉｏｎｉｎｇ)(又は分割)する。例えば、一つのタイル内に１００個のポイントがあれば、スライス分割部２６００２は１０個のポイントを含む１０個のスライスに該当タイルを分割することができる。この時、１０個のポイントで構成されたそれぞれのスライスは互いに重畳することができる。即ち、一つ又はそれ以上のスライスのうちの一部は重畳した領域を含む。
実施例によるスライス分割実行部２６００２は、一つのタイル又はポイントクラウドデータのポイントを一つ又はそれ以上のスライスに分割して、スライスごとのジオメトリビットストリーム及びスライスごとの特質ビットストリームを出力する。実施例による送信装置は、実施例による重畳スライス分割が行われた後、スライスごとに独立的にジオメトリビットストリームと特質ビットストリームの対を出力し、これらを結合部で復号化することができる。
実施例による分割部２６０００は、実施例によるスライス分割部２６００２がタイル内でスライス間重畳領域を含むようにポイントを分割してスライスを構成する。実施例による分割部２６０００又はスライス分割部２６００２は、重畳領域を含むようにスライスを構成するか否かを示すオーバーラップスライスコムポーズ情報(又はフラグ)(ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ)を生成する。
実施例によるオーバーラップスライスコムポーズ情報の値が、重畳スライスを構成しないことを示すと(これを非重畳スライス分割とも呼ぶ)、実施例による分割部は、ポイントを上述した軸基盤のスライス構成方法或いは八分木基盤のスライス構成方法に基づいて分割する。
実施例によるオーバーラップスライスコムポーズ情報の値が、重畳スライスを構成することを示すと(これを重畳スライス分割とも呼ぶ)、実施例による分割部は、ポイントを多重点サンプリング基盤の重畳スライス構成方法、重要度基盤の重畳スライス構成方法、属性範囲基盤の重畳スライス構成方法、又はモールトンコード順基盤の重畳スライス構成方法などに基づいて分割する。
実施例によるスライス分割実行部２６００２は、タイルごとのスライス分割を行う時、待機状態を経ず、タイルごとの順次入力スライス分割を行う場合、かかる方法に基づいて分割されるか否かを示す情報(ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇ)を受信装置にシグナリングする。
実施例によるスライス分割実行部２６００２は、ジオメトリビットストリームと属性ビットストリームを送信するために符号化器でどのような分割方法を使用したかに関する情報(ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ)を実施例による符号化部に送信する。一つのタイル内で色々な分割方法を使用することができる。この時、分割方法は一つのスライスごとにシグナリングする。
一つのタイル内のポイント又はポイントクラウドデータのポイントを重畳領域を含むように一つ又はそれ以上のスライスに分割する方法(即ち、重畳スライス分割の方法)については、図２７から詳しく説明する。
実施例によるスライス分割部２６０００はスライス構成部とも呼ばれる。実施例によるスライス構成部は、ポイントクラウドデータの特性によって多重点サンプリング基盤の重畳スライス構成方法、重要度基盤の重畳スライス構成方法、特質データ範囲基盤の重畳スライス構成方法、順次入力基盤の重畳スライス構成方法、又はモールトンコード順基盤の重畳スライス構成方法などの分割方法に基づいて実施例によるスライスを構成する。実施例によれば、一つのタイル内に様々なスライス構成方法に基づいて分割されたスライスを含むことができる。
図２７は実施例による重畳スライス分割方法を示す。
図２７は実施例による重畳スライス分割方法のうちの一実施例である多重点基盤の重畳スライス構成方法を示す。図２７に示したスライス分割方法は、図２６の分割部２６０００又はスライス分割実行部２６００２により行われる。また図２７に示したスライス分割方法は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２７に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
図２７に示した分割方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例による多重点サンプリング基盤の重畳スライスは、図２７に示したように、一つのタイル内で任意のＮ個のポイントをサンプリングして、サンプリングされたポイントで一つ又はそれ以上のスライスを構成する方法を意味する。
実施例による送信装置は、実施例によるタイルを一つ又はそれ以上のスライスに分割するために、タイル２７０００内のｘ、ｙ、ｚ軸のエッジに近いポイントを用いてサンプリングすることができる。例えば、実施例による送信装置は、１番目のスライス２７００１ａを構成するために、タイル２７００１内の横軸(例えば、ｘ軸)から最も近いポイント２７００１ａ－２及びタイル内の縦軸(例えば、ｙ軸)から最も近いポイント２７００１ａ－１をサンプリングする。タイル２７０００内のｘ、ｙ、ｚ軸のエッジに近いポイントを導き出す方法は、３次元空間(境界ボックス)内においてｘ、ｙ、ｚ座標値が最小の点或いは最大の点を計算する方法がある。実施例による送信装置は、サンプリングされた２つのポイント２７００１ａ－１、２７００１ａ－２を含むようにスライスを構成する。
実施例による送信装置は、実施例によるタイルを一つ又はそれ以上のスライスに分割するために、タイル２７０００内の任意のポイント２７００１ｂ－１,２７００１ｂ－２をサンプリングする。実施例による送信装置は、サンプリングされた２つのポイント２７００１ｂ－１,２７００１ｂ－２を含むようにスライス２７００１ｂを構成する。
実施例による送信装置は、実施例によるポイントのうち、サンプリングポイントを導き出す方法として、特定距離だけ離れているＮ個のポイントを導き出す方法を用いる。実施例による送信装置は、２つ又はそれ以上のポイントを用いてスライスを生成し、またスライスの境界ボックスを設ける。実施例による送信装置は、一つのスライスにおいて境界ボックスを構成するためにサンプリングされた点は、他のスライスの境界ボックスを構成するために再び使用でき、この時、重畳スライスが構成される。
実施例による送信装置は、サンプリングされたポイントで構成されたスライスを構成し、各スライス内に含まれたポイントの識別子を含む集合を生成することができる。この時、スライス内に入らないポイントがあり得るが、受信装置はかかるポイントのみで再度一つの又はそれ以上のスライスを構成することができる。又は受信装置はかかるポイントをポイントの数が最も少ないスライスに追加してスライスを構成することができる。
実施例による受信装置は、サンプリングポイントで構成された各スライスに対して、最小ポイントの数(例えば、５５０,０００個)と最大ポイントの数(例えば、１,１００,０００個)だけのポイントが分布しているか否かを確認することができる。受信装置は、該当スライスが上述したポイントの数分布を満足しないと、タイル内のポイントのうち、他のサンプリングポイントをサンプリングして新しい境界ボックスを生成した後、次のポイントの数分布に該当するか否かを確認することができる。
かかる構成により、受信装置は互いに異なるスライスに属するポイントを１つのスライス内で量子化、整列、オフセット調節、スケーリングすることにより、ポイントクラウド圧縮のための拡張性を図り、ユーザの関心領域に関する情報を効果的に伝達することができる。
図２８は実施例による重畳スライス分割方法を示す。
図２８に示した分割方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２８は実施例による重畳スライス分割方法のうちの一実施例である重要度基盤の重畳スライス構成方法を示す。図２８に示したスライス分割方法は、図２６の分割部２６０００又はスライス分割実行部２６００２により行われる。また、図２７に示したスライス分割方法は、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２８に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
実施例による重要度基盤の重畳スライス構成方法は、図２８に示したように、一つのタイル内において重要度が高い一つ又はそれ以上のポイントをサンプリングして、サンプリングされたポイントで一つ又はそれ以上のスライスを構成する方法を意味する。
実施例による送信装置は、図２８に示したように、一つのタイル内において重要度が高いポイントをサンプリングし、これらを基準として一つ又はそれ以上のスライスを構成する。実施例による送信装置が、重要度の高いポイントを区分する方法は、一つのタイル内において特質値のうち、代表値として選択された色相値や反射度値を意味する。
実施例による重要度基盤の代表値は代表ポイントとも呼ばれる。
例えば、色相値は特定の空間(又は隣接した空間)内において類似する色相を有するポイントがさらに有り得るので、実施例による送信装置は、色相の代表値を有するポイント(又は値それ自体)をタイルごとに又は一つの３次元空間ごとに指定することができる。実施例による送信装置は、代表値として指定されたポイントを中心とする立体的形状を境界ボックス(ｂｏｕｎｄｉｎｇ ｂｏｘ)とするスライスを生成する。代表値として指定されたポイントを中心とする立体的形状は、例えば、立方体状のキュービク(ｃｕｂｉｃ)であるか、球形(ｓｐｈｅｒｉｃａｌ)状であるか、直方体状であるか、又はシリンダ状である。実施例による送信装置は、代表値として指定されたポイントを中心とする立体的形状の範囲内に含まれたポイントを一つのスライスで構成することができる。
実施例による重要度基盤の代表値を有するポイントを導き出す又は探す方法は様々である。例えば、実施例による送信装置は、特質値の分布を導き出した後、分布が最も多い色相を有するポイントのうち、一つ又はそれ以上を重要度基盤の代表値を有するポイントとして決定する。例えば、図２８の下側には、一つの３次元空間又はタイル内のポイントの反射度値を基準として特質値の分布を示した反射度値分布度２８００２を示している。
反射度値分布度２８００２を参照すると、例えば、ｘ軸は反射度の値２８００２ｂを示し、ｙ軸は該当反射度の値を有するポイントの数２８００２ａを示す。例えば、図２８に示した反射度値分布図２８００２を参照すると、該当３次元空間又はタイル内では反射度の値が３２ないし５０を有するポイントが多数存在し、反射度値が１４０以上であるポイントはいずれもそれぞれ２００ポイント未満に存在する。従って、実施例による送信装置は、反射度値分布図２８００２を参照して、例えば、反射度値が４７であるポイントは実施例による重要度基盤の代表値を有するポイントである。
また、例えば、図２８に示した反射度値分布図２８００２を参照すると、該当３次元空間又はタイル内において、データの特性によって特定の反射度値に対して多数のポイントが存在する場合がある。例えば、反射度の値が０,１５,２８,５０,６２などの値を有するポイントが他の反射度値に比べて多い。かかる反射度値をピーク(ｐｅａｋ)値と呼ぶ。この場合、実施例による送信装置は、かかる反射度値を重要度基盤の代表値を有するポイントとして決定することができる。
実施例による送信装置は、代表ポイントとして実施例による特質データのうち、ピーク値を有するポイントを指定することができる。また、実施例による送信装置は、代表ポイント以外にも特質データの平均値と最も類似する特質データ値を有するポイントを代表ポイントとして指定することができる。また実施例による送信装置は、特質データの平均値を有するポイント、平均値と類似する特質値を有するポイント、特質データの最小値／最大値などを代表ポイントとして指定することができる。
実施例による送信装置は、代表ポイントを中点として上側、下側、左側、右側、前側及び後側にそれぞれ一定距離の空間を占める立方体又は直方体状の境界ボックス内のポイントを含むスライスを構成することができる。実施例による送信装置は、代表ポイントを中点として一定距離の空間を占める球形状の境界ボックス内のポイントを含むスライスを構成することもできる。実施例によれば、スライスに属しないポイントは最も近いスライスに属し、実施例による送信装置はかかるポイントを用いて別に一つのスライスを構成することもできる。
実施例による送信装置は、ポイントクラウドデータが図２８に示した方法に基づいて分割される場合、これをシグナリング情報(例えば、ｖａｌｕｅ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ)によりシグナリングして送信装置に送信することができる。
このような構成により、受信装置は互いに異なるスライスに属するポイントを一つのスライス内で量子化、整列、オフセット調節、スケーリングすることにより、ポイントクラウド圧縮のための拡張性を図り、ユーザの関心領域に関する情報を効果的に伝達することができる。
図２９は実施例による重畳スライス分割方法を示す。
図２９に示した分割方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図２９は実施例による重畳スライス分割方法のうちの一実施例である特質データ範囲基盤の重畳スライス構成方法を示す。図２９に示したスライス分割方法は図２６の分割部２６０００又はスライス分割実行部２６００２により行われる。また図２７に示したスライス分割方法は図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図２９に示した動作は例えば、図１２のデータ入力部１２０００により行われる。
実施例による特質データ範囲基盤の重畳スライス構成方法は、図２９に示したように、一つのタイル内において特定範囲内の特質値を有する一つ又はそれ以上のポイントを導き出して(サンプリングして)一つ又はそれ以上のスライスを構成する方法を意味する。
実施例によるポイントクラウドデータ送信装置は、一つのタイル又は３次元空間内に属するポイントを特質データ値を基準として整列(昇順又は降順)して、特質データ値の範囲に分けて一つ又はそれ以上のスライスを構成することができる。
実施例による送信装置は、ポイントクラウドデータのポイントの特質データに対して実施例による昇順整列を行わず、スライスごとの特質データ値の範囲を割り当て、割り当てられた特質データ値の範囲に基づいてポイントをスライスに割り当てる方法でスライスを構成する。
例えば、図２９を参照すると、実施例による送信装置は、特質データ値(例えば、色相値)の範囲をＮ個のスライスごとに割り当てる。実施例による送信装置は、ポイントの特質データを確認し、ポイントごとに対応する特質データ値(例えば、色相値)の範囲を比較する。実施例による送信装置は、スライスにポイントのインデックスを挿入する方法でスライスを構成する。実施例によれば、特質データ値(色相値)の範囲は、具体的に色相値と反射度値などが基準となる。実施例によれば、一つ又はそれ以上のスライスは特質データ値に基づいて分配されるので、各々のスライスが境界ボックスを基準として重なることができる。この方法は、実施例によるポイントクラウドデータが復号される時、特定の特質データの範囲値を優先して復号化しなければならないシナリオで使用される。
特質データ値の範囲を割り当てる方法以外にも、特質データの分布度によって実施例による送信装置が自動に特質データ値の範囲を決定して分配を行うことができる。実施例による特質データの分布度は、重要度基盤の重畳スライスの反射度分布度と同様に、代表ポイントの特質値を基準として分割を行うこともできる。代表ポイントは特質データの平均値、類似する属性値などが該当する。
実施例によれば、送信装置が特質データ値を基準としてスライスを分割する時、特質データ値の範囲が全体シーケンスに比べて小さいので、隣接ノードを選択した時、残差値が小さくなる傾向がある。よって、実施例による特質データ値の範囲に基づいてスライスを分配する場合、圧縮率が高くなる。
実施例による送信装置は、ポイントクラウドデータが図２９に示した方法により分割された場合、それをシグナリング情報(例えば、ａｔｔｒｉｂｕｔｅ_ｒａｎｇｅ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ)によりシグナリングして送信装置に送信する。
図３０は実施例による重畳スライス分割方法を示す。
図３０に示した分割方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図３０は実施例による重畳スライス分割方法のうちの一実施例であるモートンコード(Ｍｏｒｔｏｎ ｃｏｄｅ)基盤の重畳スライス構成方法を示す。図３０に示したスライス分割方法は図２６の分割部２６０００又はスライス分割実行部２６００２により行われる。また図２７に示したスライス分割方法は図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図３０に示した動作は例えば、図１２のデータ入力部１２０００により行われる。
実施例によるモートンコード基盤の重畳スライス構成方法は、図３０に示したように、一つのタイル内のポイントのモートンコードを導き出し、導き出されたモートンコードに基づいて一つ又はそれ以上のスライスを構成する方法を意味する。実施例によるモートンコードは、実施例による送信装置、例えば、図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１で生成される。
モートンコードはポイントの位置情報(ジオメトリデータ内に存在する)の座標値(例えば、ｘ座標値、ｙ座標値、ｚ座標値)をビット単位でインターリービングして生成されたコードを意味する。実施例によれば、ポイントクラウドデータのポイントはそれぞれ互いに異なるモートンコードを有する。
図３０(ａ)は実施例によるポイントの座標値を用いてモートンコードを生成する数式を示す。実施例によるモートンコードは、例えば、図３０(ａ)の３０Ａ００に示したように、ポイントの座標値を２進数に変更する段階、及び／又は図３０(ａ)の３０Ａ０１に示したように、２進数で表された座標値のビットをインターリービングする段階を含む。
図３０(ａ)において、ｘ_ｋ、ｙ_ｋ、ｚ_ｋはそれぞれｘ座標値、ｙ座標値及びｚ座標値のｋ番目の桁ビットを意味する。図３０(ａ)において、Ｎは２進数で表された座標値の総桁数を意味する。ｘ_ｉ、ｙ_ｉ、ｚ_ｉは実施例によるポイントクラウドデータのポイントのうち、ｉ番目のポイントを意味する。ＭＣ(ｘ,ｙ,ｚ)は実施例による特定のポイントのモートンコードを意味する。Ｍは実施例によるポイントの座標値の総桁数を意味する。
ポイントクラウドデータ送信装置は、ポイントの座標値のビットをインターリービングしてモートンコードを生成する。例えば、実施例による送信装置は、ポイントの各軸に対する座標値を２進数に変換する動作を行う(３０Ａ００)。実施例によるポイントクラウドデータ送信装置は、各軸に対する座標値を順にインターリービングしてモートンコードを生成する(３０Ａ０１)。
例えば、(３,４,５)の座標値を位置情報として有する第１ポイントをインターリービングすると仮定する。送信装置は第１ポイントの各軸に対する座標値の２進数を導き出すことができる(０１１,１００,１０１)(３０Ａ００)。送信装置は第１ポイントの座標値のｘ値の最上位ビット(例えば、０)、第１ポイントの座標値のｙ値の最上位ビット(例えば、１)、第１ポイントの座標値のｚ値の最上位ビット(例えば、１)を順に配列する(例えば、０１１)。送信装置は第１ポイントの座標値のｘ値の２番目の最上位ビット(例えば、１)、第１ポイントの座標値のｙ値の２番目の最上位ビット(例えば、０)、第１ポイントの座標値のｚ値の２番目の最上位ビット(例えば、０)を順に配列する(例えば、１００)。実施例によるモートンコードは、座標値の１番目の最上位ビットの配列に連続して配置された座標値の２番目の最上位ビットの配列を含む(例えば、０１１１００)。ポイントクラウドデータ送信装置(又はモートンコード生成部)は、第１ポイントの座標値のｘ値の最下位ビット(例えば、１)、第１ポイントの座標値のｙ値の最下位ビット(例えば、０)、第１ポイントの座標値のｚ値の最下位ビット(例えば、１)を順に配列する。実施例によるモートンコードは、座標値の１番目の最上位ビットの配列及び座標値の２番目の最上位ビットの配列に連続して配置された最下位ビットの配列を含む(例えば、０１１１００１０１)(３０Ａ０１)。実施例による第１ポイントの２進数で表されたモートンコード(例えば、０１１１００１０)は１０進数で表されることができる(２９９)。
実施例による送信装置は、ポイントクラウドデータのポイントをモールトンコード順の探索(Ｚ順探索とも呼ぶ)を用いて、実施例による一つ又はそれ以上のスライスを構成する。モールトンコード順の探索とは、実施例によるポイントの位置情報をモートンコードに変更した時、モートンコードの昇順又は降順の順に探索する方法を意味する。
図３０(ｂ)は実施例による送信装置が一つ又はそれ以上のスライスを分割する方法であって、実施例によるポイントのモートンコード(Ｍｏｒｔｏｎ ｃｏｄｅ)を用いた方法を意味する。図３０(ｂ)は実施例によるモートンコード基盤の重畳スライス構成方法を示す。
図３０(ｂ)に示したモートンコード基盤の重畳スライス構成方法は、ポイントをモートンコード値を基準として昇順又は降順に整列する段階(３０Ｂ００)、整列されたポイントを最小点の数(ｍｉｎＰｏｉｎｔ)ないし最大点の数(ｍａｘＰｏｉｎｔ)の範囲を有する個数だけポイントを有するようにスライスに分割する段階(３０Ｂ０１)、及び／又は最小点の数(ｍｉｎＰｏｉｎｔ)ないし最大点の数(ｍａｘＰｏｉｎｔ)範囲を有する個数だけポイントが存在しないスライスに対して合併及び再分割する段階を含む(３０Ｂ０２)。
実施例による送信装置は、実施例によるモートンコードを導き出す方法から１ポイントごとに一つのモートンコードを生成する(３０Ｂ００)。実施例による送信装置は、各ポイントに対するモートンコードを昇順或いは降順に整列する。図３０(ｂ)の３０Ｂ００を参照すると、ＴｉｌｅＰｏｉｎｔＮｕｍは実施例によるタイル内のポイントの数を意味する。ＭＣ_ｉはｉ番目のポイントのモートンコードを意味する。ｓｏｒｔ(ＭＣ_ｉ)は実施例によるポイントをモートンコードを基準として昇順整列及び／又は降順整列する関数を意味する。実施例による整列方法(例えば、昇順に整列したか又は降順に整列したかなど)は送信装置が受信装置に送信するシグナリング情報により伝達される。
実施例による送信装置は、実施例による整列されたモートンコードを用いて、一つのスライス内において最小点の数(ｍｉｎｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)ないし最大点の数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)の範囲だけポイントが分布するようにポイントクラウドデータを一つ又はそれ以上のスライスに分割する(３０Ｂ０１)。例えば、実施例による送信装置は、最小点の数(ｍｉｎｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)ないし最大点の数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)の範囲だけ一つのスライス内に含まれるように、スライスにポイントのインデックスを挿入する。
図３０(ｂ)の３０Ｂ０１を参照すると、ｍｉｎＰｏｉｎｔは一つのスライス内に存在する最少のポイントの数を意味し、ｍａｘＰｏｉｎｔは一つのスライス内に存在する最大のポイントの数を意味する。ｍｉｎＰｏｉｎｔ及びｍａｘＰｏｉｎｔは実施例による最小点の数(ｍｉｎｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)及び最大点の数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ)を意味する。ｓｌｉｃｅＮは実施例によるＮ番目のスライスを意味する。例えば、実施例による送信装置はＮ個のスライスを生成する。
図３０(ｂ)の３０Ｂ０２を参照すると、送信装置は生成されたＮ個のスライスのうちの一部を他のスライスと合併(ｍｅｒｇｅ)することができる。送信装置は生成されたＮ個のスライスのうちの一部を分割(ｓｐｌｉｔ)(例えば、半分に分割(ｓｐｌｉｔＨａｌｆ))することができる。例えば、Ｎ－１個のスライスは(最大点の数－１)個のポイントを含むスライスである。また、残りの一つのスライスは(最小点の数)より少ない個数のポイントを含むスライスである。残りの一つのスライスは実施例によるＮ－１個のスライスのうちの一部と合併するか、又は送信装置により分割されてＮ－１個のスライスのそれぞれに対して合併される。
実施例による送信装置は、ポイントクラウドデータが図３０に示した方法に基づいて分割された場合、それをシグナリング情報(例えば、ｍｏｒｔｏｎ_ｏｒｄｅｒ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ)によりシグナリングして送信装置に送信する。
実施例によれば、モートンコードは３Ｄ空間内に存在する全てのポイントを近い距離に基づいて探索する。従って、実施例による送信装置は、モートンコード基盤の重畳スライス構成方法を用いることにより、特定のポイントから近いポイントを少ない演算量で探索することができるという長所がある。
また実施例によるモートンコード基盤の重畳スライス構成方法により、実施例による送信機は、モートンコードを導き出すことにより八分木を用いた空間分割演算に比べて演算実行が非常に速く、空間分割時に重なる空間を最小化することにより効率的なポイントクラウドデータ符号化を図ることができる。
図３１は実施例による重畳スライス分割方法を示す。
図３１に示した分割方法による動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図３１は実施例による重畳スライス分割方法のうちの一実施例であるタイルごとのスライス構成方法を示す。図３１に示したタイルごとの順次入力スライス構成方法は図２６の分割部２６０００又はスライス分割実行部２６００２により行われる。また図２７に示したタイルごとの順次入力スライス構成方法は図１５の空間分割部１５００１、図１６のブリックタイリング部１６００１により行われる。図３１に示した動作は例えば、図１２のデータ入力部１２０００により行われる。
実施例によるタイルごとの順次入力スライス構成方法は、図３１に示したように、実施例によるポイントクラウドデータを一つ又はそれ以上のタイル単位に分割し、分割されたそれぞれのタイルを一つ又はそれ以上のスライスに分割する方法を意味する。
図３１(ａ)は実施例による送信装置がポイントクラウドデータをタイル単位に分割し、分割されたタイルをスライス単位に分割する動作を示す。
実施例による送信装置は、図３１(ａ)に示したように、ポイントクラウドデータをポイントの数など(又はデータサイズ)に基づいて一つ又はそれ以上のタイルに分割してそれらをバッファーに格納し、バッファーに格納されたタイル内のデータを順に一つ又はそれ以上のスライスに分割して実施例によるエンコーダに伝達する。
従って、実施例による送信装置(又は図１５による空間分割部)は、例えば、タイル入力部３１Ａ００、タイル構成部３１Ａ０１、タイル出力部３１Ａ０２、スライス入力部３１Ａ０３、スライス構成部３１Ａ０４及び／又はスライス出力部３１Ａ０５を含む。
タイル入力部３１Ａ００には実施例による得られたポイントクラウドデータが入力される。
タイル構成部３１Ａ０１は、実施例によるタイル入力部３１Ａ００が入力されたポイントクラウドデータを受信して、ポイントクラウドデータを一つ又はそれ以上のタイルに分割する。実施例によるタイル構成部３１Ａ０１は、まず入力されたタイルが生成されるまでタイルを出力する前に待機３１Ａ０１ａする。
タイル出力部３１Ａ０２はポイントクラウドデータが分割されて生成された一つ又はそれ以上のタイルを出力する。
スライス入力部３１Ａ０３は一つのタイルに対するデータを受信してそれらに含まれたポイントが入力される。
スライス構成部３１Ａ０４はスライス 入力部３１Ａ０３により入力された一つのタイルに含まれたポイントを用いて一つ又はそれ以上のスライスを生成(又は分割)する。
スライス出力部３１Ａ０５は生成された一つ又はそれ以上のスライスを出力する。出力されたスライスはスライスごとに実施例によるエンコーダ(符号化器)に伝達される。
実施例による分割された一つ又はそれ以上のスライスは、各々のスライス同士に空間上で重なるか、又は重ならない。
図３１(ｂ)は実施例による送信装置がポイントクラウドデータをタイル単位に分割し、分割されたタイルをスライス単位に分割する動作を示す。
実施例による送信装置は、図３１(ｂ)に示したように、ポイントクラウドデータをポイントの数など(又はデータサイズ)に基づいて一つ又はそれ以上のタイルに分割してそれらをバッファーに格納し、バッファーに格納されたタイル内のデータを順に一つ又はそれ以上のスライスに分割して実施例によるエンコーダに伝達することができる。
従って、実施例による送信装置(又は図１５による空間分割部)は、例えば、タイル入力部３１Ｂ００、タイル構成部３１Ｂ０１、タイル出力部３１Ｂ０２、スライス入力部３１Ｂ０２、スライス構成部３１Ｂ０３及び／又はスライス出力部３１Ｂ０４を含む。
タイル入力部３１Ｂ００には実施例による得られたポイントクラウドデータが入力される。
タイル構成部３１Ｂ０１は実施例によるタイル入力部３１Ｂ００に入力されたポイントクラウドデータを受信してポイントクラウドデータを一つ又はそれ以上のタイルに分割する。
タイル出力部又はスライス入力部３１Ａ０２には、ポイントクラウドデータが分割されて生成された一つ又はそれ以上のタイルを生成し、それらに含まれたポイントに関するデータが入力される。
スライス構成部３１Ｂ０３はスライス入力部３１Ａ０２により入力された一つのタイルに含まれたポイントを用いて一つ又はそれ以上のスライスを生成(又は分割)する。
スライス出力部３１Ｂ０４は生成された一つ又はそれ以上のスライスを出力する。出力されたスライスはスライスごとに実施例によるエンコーダ(符号化器)に伝達される。
実施例による分割された一つ又はそれ以上のスライスは各スライス同士に空間上で重なるか、又は重ならない。
実施例による送信装置は、図３１(ｂ)のように、ポイントクラウドデータを一つ又はそれ以上のスライスに分割することにより、実施例による送信装置がタイサイズごとにタイルを構成する間に、他のタイルに対して別途にスライスが分割されることができる。従って、図３１(ｂ)のような構成により、送信装置は効率的にポイントを複数のスライスに迅速に分割することができる。
実施例による送信装置は、ポイントクラウドデータが図３０に示した方法に基づいて分割された場合、それらをシグナリング情報(例えば、ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ)によりシグナリングして送信装置に送信することができる。
図３２は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のスライスに分割するか否かを決定する動作を示す。
図３２に示した分割有無を決定する動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図３２に示した動作は、実施例によるポイントクラウドデータ送信装置、図１５に示した空間分割部１５００１、図１６に示したデータ特性調査部１６０００、ブリックタイリング部１６００１、分割されたデータ入力部１６００２、及び図２６に示した分割部２６０００などにより行われる。実施例によるポイントクラウドデータ送信装置(又は空間分割部)は、ポイントクラウドデータを一つ又はそれ以上のスライスに分割する。図３２に示した動作は、例えば、図１２のデータ入力部１２０００により行われる。
実施例によるポイントクラウドデータ送信装置は、実施例による分割(分配)が行われる前に、スライスの分割動作が行われる条件を先に確認して分割動作の実行有無を確認する。
実施例による送信装置は分割動作が行われる前、ポイントクラウドデータの一つのフレームに含まれたポイントの数が最大ポイントの数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ, ＭａｘＰｏｉｎｔＮｕｍ)以下であると(Ｙｅｓ)、実施例による送信装置は実施例による分割動作と精製動作(又は合併動作)を除いてすぐ符号化部により符号化を行う(３２０００ａ)(Ｙｅｓ)。
実施例による最大ポイントの数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ, ＭａｘＰｏｉｎｔＮｕｍ)はポイントクラウドデータ送信装置内で所定の情報(値)であるか、又はユーザから入力されて設定された値である。また実施例による最大ポイントの数はポイントクラウドデータの特性に基づいて決定される。実施例による最大ポイントの数はシグナリング情報により実施例による受信装置に伝達されることができる。
実施例による送信装置は、実施例による最大ポイントの数を設定することにより、スライス単位に符号化されるポイントクラウドデータの送信装置のエンコーダの符号化効率を高めることができる。実施例による送信装置は、ポイントクラウドデータの特性に基づいて最大ポイントの数を設定することにより、データの特性に適応的に符号化効率を高めることができる。
従って、一つのスライスに現在挿入されたポイントの数を確認する段階３２０００ａを含む。
実施例によるポイントクラウドデータ送信装置(又は空間分割部)は、もし該当スライス内に現在挿入されたポイントの数が最大ポイントの数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ, ＭａｘＰｏｉｎｔＮｕｍ)より多いこともある。この場合、実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを分割３２００１及び／又は実施例によるポイントクラウドデータを精製３２００２することができる。
実施例によるポイントクラウドデータ送信装置(又は空間分割部)は、もし該当スライス内に現在挿入されたポイントの数が最大ポイントの数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ, ＭａｘＰｏｉｎｔＮｕｍ)より少ないこともある。この場合、実施例によるポイントクラウドデータ送信装置は、実施例によるポイントクラウドデータを分割３２００１又は精製３２００２せず、実施例による符号化器により符号化される。
ポイントクラウドデータを分割３２００１する動作は、図１５ないし図３１で説明したポイントクラウドデータ(又はタイル内のポイント)を分割する動作を意味する。ポイントクラウドデータ送信装置(又は空間分割部)は、ポイントクラウドデータを分割３２００１する動作を行うポイントクラウドデータ分割部をさらに含むことができる。
ポイントクラウドデータを精製３２００２する動作は、実施例による分割されたスライス内のポイントを精製する動作を意味する。ポイントクラウドデータ送信装置(又は空間分割部)は、ポイントクラウドデータを精製３２００２する動作を行うポイントクラウドデータ精製部をさらに含む。
実施例による精製(ｒｅｆｉｎｅｍｅｎｔ)する動作とは、実施例によって一つ又はそれ以上のスライスを合併又は分割(ｓｐｌｉｔ)動作を意味する。例えば、送信装置はスライスのうちの一部を特定の目的で合併して一つのスライスを生成することができる。同様に、送信装置はスライスのうちの一部をそれぞれ再分割してより多いスライスを生成することができる。実施例による送信装置は精製するために特定のスライスの隣接スライスのポイントの数を確認することができる。
例えば、一つのスライス内にポイントの数が実施例による最大ポイントの数(ＭａｘＰｏｉｎｔＮｕｍ)より大きい場合、送信装置は該当スライスを２つ以上のスライスに分割する。他の例として、一つのスライス内にポイントの数が実施例による最小ポイントの数(ＭｉｎＰｏｉｎｔＮｕｍ)より少ない場合、送信装置は該当スライスを隣接する他のスライスと合併する。
例えば、実施例によるポイントクラウドデータ送信装置は、実施例による分割する動作を行った後(即ち、スライス分配が行われた後(ａｆｔｅｒ ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎ))、実施例によるＭａｘＰｏｉｎｔＮｕｍより多いポイントの数を有するスライスを一つ又はそれ以上の下位スライスに分割(ｓｐｌｉｔ)するか、又は少ないポイントの数を有するスライスを一つのスライスに合併する。
分割(ｓｐｌｉｔ)とは、実施例による精製する段階の動作の一例であり、ポイントカウント(Ａｓｉｚｅ)がＭａｘＰｏｉｎｔＮｕｍより大きいと、該当ポイントを含むスライスをｎ個のパーティション(ｐａｒｔｉｔｉｏｎ)に分割する。パーティションはスライスであることもできる。例えば、ｎ＝ｃｅｉｌ(Ａｓｉｚｅ／ＭａｘＰｏｉｎｔＮｕｍ)である。
合併とは、一つのスライス内のポイントクラウドデータのポイントの数がＭｉｎＰｏｉｎｔＮｕｍより少ないと、該当スライスの以前のスライス(ｐｒｉｏｒ ｓｌｉｃｅ)又は次のスライス(ｎｅｘｔ ｓｌｉｃｅ)と合併することができる。以前のスライスは該当スライスよりスライスのインデックスが１だけ小さいスライスを意味し、次のスライスは該当スライスよりスライスのインデックスが１だけ大きいスライスを意味する。
合併は例えば、以下の動作に基づいて行われる。
１)該当スライス(ｃｕｒｒｅｎｔ ｓｌｉｃｅ)が最初のスライス(ｆｉｒｓｔ ｓｌｉｃｅ)である場合、合併しようとするスライスの方向(ｄｉｒｅｃｔｉｏｎ ｏｆ ｍｅｒｇｉｎｇ)は、次のスライス(ｎｅｘｔ ｓｌｉｃｅ)の方向である。
２)該当スライス(ｃｕｒｒｅｎｔ ｓｌｉｃｅ)が最後のスライス(ｅｎｄ ｓｌｉｃｅ)である場合、合併しようとするスライスの方向(ｄｉｒｅｃｔｉｏｎ ｏｆ ｍｅｒｇｉｎｇ)は、以前のスライス(ｐｒｉｏｒ ｓｌｉｃｅ)の方向である。
３)該当スライス(ｃｕｒｒｅｎｔ ｓｌｉｃｅ)が最初のスライス(ｆｉｒｓｔ ｓｌｉｃｅ)でもなく、最後のスライス(ｅｎｄ ｓｌｉｃｅ)でもない場合もある。該当スライス(ｃｕｒｒｅｎｔ ｓｌｉｃｅ)と以前のスライス(ｐｒｉｏｒ ｓｌｉｃｅ)のポイントの和をＳｕｍＦｒｏｎｔ、該当スライス(ｃｕｒｒｅｎｔ ｓｌｉｃｅ)と次のスライス(ｎｅｘｔ ｓｌｉｃｅ)のポイントの和をＳｕｍＮｅｘｔとすると、
ａ)もし(ＳｕｍＦｒｏｎｔ＞ＭａｘＰｏｉｎｔＮｕｍであり、ＳｕｍＮｅｘｔ＞ＭａｘＰｏｉｎｔＮｕｍ)であるか、又は(ＳｕｍＦｒｏｎｔ＜ＭａｘＰｏｉｎｔＮｕｍ ａｎｄ ＳｕｍＮｅｘｔ＜ＭａｘＰｏｉｎｔＮｕｍ)であると、合併しようとするスライスの方向(ｄｉｒｅｃｔｉｏｎ ｏｆ ｍｅｒｇｉｎｇ)は、ポイントがより多いスライスと合併する方向である。
ｂ)もし上記ａ）の場合ではないと、合併しようとするスライスの方向(ｄｉｒｅｃｔｉｏｎ ｏｆ ｍｅｒｇｉｎｇ)は、ポイントがより少ないスライスと合併する方向である。
実施例による送信装置は、合併後に合併されたスライスを全てトラバースし(ｔｒａｖｅｒｓｅ)、ＳｕｂＭｅｒｇｅｄとＭａｘＰｏｉｎｔＮｕｍを比較する(ＳｕｂＭｅｒｇｅｄは合併されたスライスのポイントの数を示す)。もし、ＳｕｂＭｅｒｇｅｄ＜ＭｉｎＰｏｉｎｔＮｕｍであると、送信装置は該当スライスの合併を実行し続ける。もし、ＳｕｂＭｅｒｇｅｄ＞ＭａｘＰｏｉｎｔＮｕｍであると、送信装置はＭａｘＰｏｉｎｔＮｕｍの間隙で合併されたスライスを分割(ｓｐｌｉｔ)する。もし、ＭｉｎＰｏｉｎｔＮｕｍ＜ＳｕｍＭｅｒｇｅｄ＜ＭａｘＰｏｉｎｔＮｕｍであると、送信装置は該当スライスを維持して、次のスライスを確認する。
図３２に示した動作を疑似コード(Ｐｓｅｕｄｏ Ｃｏｄｅ)で示すと、以下の通りである。
ｓｔｄ：：ｖｅｃｔｏｒ＜Ｐａｒｔｉｔｉｏｎ＞ ｃｕｒＳｌｉｃｅｓ；
ｓｗｉｔｃｈ （ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ || ｉｎｐｕｔＰｏｉｎｔＣｌｏｕｄ.ｇｅｔＰｏｉｎｔＣｏｕｎｔ()
＜ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｓｌｉｃｅＭａｘＰｏｉｎｔｓ) {
ｃａｓｅ ＰａｒｔｉｔｉｏｎＭｅｔｈｏｄ：：ｋＮｏｎｅ：
ｒｅｔｕｒｎ １
ｃａｓｅ ＰａｒｔｉｔｉｏｎＭｅｔｈｏｄ：：ｋＵｎｉｆｏｒｍＧｅｏｍ:
ｐａｒｔｉｔｉｏｎＢｙＵｎｉｆｏｒｍＧｅｏｍ()
ｃａｓｅ ＰａｒｔｉｔｉｏｎＭｅｔｈｏｄ：：ｋＯｃｔｒｅｅＵｎｉｆｏｒｍ:
ｐａｒｔｉｔｉｏｎＢｙＯｃｔｒｅｅＤｅｐｔｈ()
ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄは実施例による分割動作の分割方法を示す。分割方法は図２６ないし図３１で説明した方法のうちのいずれかである。
ｉｎｐｕｔＰｏｉｎｔＣｌｏｕｄ.ｇｅｔＰｏｉｎｔＣｏｕｎｔ()は実施例によるポイントクラウドデータのポイントの数を返還する方式(ｍｅｔｈｏｄ)を意味する。
ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｓｌｉｃｅＭａｘＰｏｉｎｔｓは一つのスライス(又はタイル)内に含まれる最大ポイントの数を意味する。即ち、疑似コードを参照すると、入力されたポイントクラウドデータのポイントの数がｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｓｌｉｃｅＭａｘＰｏｉｎｔs(又はＭａｘＰｏｉｎｔＮｕｍ)より少ないと、疑似コードに示したように、ｐａｒｔｉｔｉｏｎＢｙＵｎｉｆｏｒｍ()とｐａｒｔｉｔｉｏｎＢｙＯｃｔｒｅｅＤｅｐｔｈ()を行わず、単一のスライスが出力される。また、疑似コードを参照すると、入力されたポイントクラウドデータのポイントの数がｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｓｌｉｃｅＭａｘＰｏｉｎｔｓより多いと、ｐａｒｔｉｔｉｏｎＢｙＵｎｉｆｏｒｍ()及びｐａｒｔｉｔｉｏｎＢｙＯｃｔｒｅｅＤｅｐｔｈ()のうちのいずれかの構文を行うことにより、実施例によるポイントクラウドデータを分割する動作を行うことができる。例えば、分割動作が図１９に示したユニフォーム－ジオメトリパーティション(Ｕｎｉｆｏｒｍ－Ｇｅｏｍｅｔｒｙ ｐａｒｔｉｔｉｏｎ ａｌｏｎｇ ｔｈｅ ｌｏｎｇｅｓｔ ｅｄｇｅ)のスライスパーティション構成(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎ ｓｃｈｅｍｅ)に基づいて行われる場合にシグナリングされた場合であれば(ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ ＝＝ ＰａｒｔｉｔｉｏｎＭｅｔｈｏｄ：:ｋＵｎｉｆｏｒｍＧｅｏｍ)、このパーティション構成に基づいて分配が行われる(ｐａｒｔｉｔｉｏｎＢｙＵｎｉｆｏｒｍＧｅｏｍ())。例えば、分割動作が図１９に示したユニフォーム－ジオメトリ分配(Ｕｎｉｆｏｒｍ－Ｇｅｏｍｅｔｒｙ ｐａｒｔｉｔｉｏｎｉｎｇ Ｕｓｉｎｇ Ｏｃｔｒｅｅ)のスライスパーティション構成(Ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎ ｓｃｈｅｍｅ)に基づいて行われる場合にシグナリングされた場合であれば(ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ＝＝ＰａｒｔｉｔｉｏｎＭｅｔｈｏｄ：：ｋＯｃｔｒｅｅＵｎｉｆｏｒｍ)、このパーティション構成に基づいて分配が行われる(ｐａｒｔｉｔｉｏｎＢｙＯｃｔｒｅｅＤｅｐｔｈ())。
従って、実施例によるポイントクラウドデータ送受信装置は、最大ポイントの数(ｍａｘｉｍｕｍ ｎｕｍｂｅｒ ｏｆ ｐｏｉｎｔｓ, ＭａｘＰｏｉｎｔＮｕｍ)に基づいてデータ分割及び／又はデータ精製を行うか否かを決定する。ポイントクラウドデータのポイントの数が一定の値より少ない場合は、別のポイントを分割又は併合する別の過程を行わず、迅速にポイントを圧縮又は復号できるという効果がある。
同様に、ポイントクラウドデータのポイントの数が一定の値より多い場合は、符号化／復号性能を向上させるために効率的なデータの単位で処理するために、データ分割及び／又はデータ精製などの動作をさらに行う。
実施例による最大ポイント数の値(ＭａｘＰｏｉｎｔＮｕｍ)はユーザから入力される。
実施例による最大ポイント数の値(ＭａｘＰｏｉｎｔＮｕｍ)はシステム設定により生成される。
実施例による最大ポイント数の値(ＭａｘＰｏｉｎｔＮｕｍ)はパラメータ情報としてポイントクラウドビットストリーム(図３８を参照)内に含まれて送信される。
実施例による送信装置は上記疑似コードに限られず、図２６ないし図３１で説明した分割方法に基づいて実施例による分割方法を行うことができる。
図３３は実施例によるポイントクラウドデータ送信装置がポイントクラウドデータを一つ又はそれ以上のスライスに分割する動作を示す。
図３３に示した分割する動作は、図１の送信装置１０００、送信機１０００３、ポイントクラウドビデオエンコーダ１０００２、図２の符号化１８００１、送信部１８００２、図４のエンコーダ、図１２の送信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例による送信装置(又は送信装置に含まれた空間分割部)が実施例による分割方法によって分割を行う場合、先に分割する対象が指定される。実施例による分割しようとする対象は様々なデータである。
実施例による入力されたポイントクラウドデータは、量子化(ｑｕａｎｔｉｚａｔｉｏｎ)が行われていないポイントクラウドデータが分割部に入力されるか、或いは量子化されたポイントクラウドデータが分割部に入力される。実施例による入力されたポイントクラウドデータは、ポイントクラウドデータにオフセットが適用された、或いは適用されていないポイントクラウドデータが分割部に入力されてもよい。
よって、実施例によるポイントクラウドデータ送信装置(又は分割部)は、ポイントクラウドデータを分割する前に、ポイントクラウドデータを量子化する動作をさらに行う。ポイントクラウドデータ送信装置(又は空間分割部)は、ポイントクラウドデータを量子化する動作を行うポイントクラウドデータ量子化部３３０００をさらに含む。
実施例によるポイントクラウドデータ送信装置(又は分割部)は、ポイントクラウドデータを量子化せず、実施例による一つ又はそれ以上のスライスに分割することができる。
実施例によるポイントクラウドデータ送信装置(又は分割部)は、実施例による量子化動作を行ったか否かを示すシグナリング情報を生成及び送信する。よって、実施例によるポイントクラウドデータ受信装置は、実施例による量子化動作を行ったか否かを示すシグナリング情報に基づいて実施例による復号を行うことができる。
実施例によるポイントクラウドデータ量子化部３３０００は、図４に示した量子化部(Ｑｕａｎｔｉｚｅ ａｎｄ Ｒｅｍｏｖｅ Ｐｏｉｎｔｓ(Ｖｏｘｅｌｉｚｅ)、４０００１)の動作の一部又全部を行う。例えば、量子化部３３０００は量子化されたポイントを再構成するために量子化された位置に基づいてボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)を行う。
ポイントの位置は符号化(圧縮)される前に、負数ではないｄビットの整数として内部的に表される。実施例による送信装置(又は量子化部, ３３０００)が実施例による整数を得るために、内部座標システム内のポイント位置(ｐｏｉｎｔ ｐｏｓｉｔｉｏｎｓ)を丸めることができる。Ｘ_ｎ^ｉｎＴを内部座標システム内のポイント位置とすると、負数ではないｄビットの整数の表現は以下の通りである。Ｒｏｕｎｄ()はベクトルの要素(ｃｏｍｐｏｎｅｎｔｓ)を最も近接する整数に丸める関数である。
Figure 0007640526000019
実施例によれば、送信装置(又は量子化部、３３０００)がポイントクラウドデータを量子化すると、同じ位置に複数のポイントが存在し得るが、かかる複数のポイントを二重ポイント(ｄｕｐｌｉｃａｔｅ ｐｏｉｎｔｓ)といえる。かかる二重ポイントを除去する過程は、送信装置(又は量子化部、３３０００)により任意に行われる。もし二重のポイントを送信装置(又は量子化部、３３０００)が除去する場合、送信装置(又は量子化部、３３０００)は同一に量子化された座標を有するポイントを除去することができる。実施例による二重ポイントを送信装置が検出するために、ＳＴＬセットデータ構造が利用(活用)される。
実施例による量子化部３３０００により、同じ量子化位置及び異なる特質データを有するポイントが一つのポイントに合併される。
実施例による量子化部３３０００が実施例による量子化を行う動作、二重の(ｄｕｐｌｉｃａｔｅ)ポイントを除去する動作及び／又は残りのポイントに対して特質データを割り当てる動作の全部又は一部は、ボクセル化(ｖｏｘｅｌｉｚａｔｉｏｎ)とも呼ばれる。実施例によれば、ボクセル化は、ポイントを一つ又はそれ以上のボクセル内にグルーピング(ｇｒｏｕｐｉｎｇ)する過程を意味する。実施例によるボクセルのセットは、０ないし２^ｄ－１の値を有する整数ｉ、ｊ及びｋに対して[ｉ－０.５,ｉ＋０.５)ｘ[ｊ－０.５,ｊ＋０.５)ｘ[ｋ－０.５,ｋ＋０.５)の範囲を満たす単位キューブ(ｕｎｉｔ ｃｕｂｅ)である。実施例によれば、１ボクセル内の全てのポイントの位置はボクセルの中心に量子化され、該当ボクセル内の全てのポイントの特質データは結合又は平均化されて該当ボクセル内に割り当てられる。実施例によれば、ボクセル内の如何なるポイントクラウドデータのポイントが存在すると、該当ボクセルは占有されたと言われる。
実施例によるポイントクラウドデータ分割部３３００１及びポイントクラウドデータ精製部３３００２は、図３２で説明したポイントクラウドデータ分割部３２００１及びポイントクラウドデータ精製部３２００２を意味する。実施例による図３３の動作を疑似コード(Ｐｓｅｕｄｏ Ｃｏｄｅ)で表すと、以下の通りである。
ｑｕａｎｔｉｚｅｄＩｎｐｕｔＣｌｏｕｄ＝ｑｕａｎｔｉｚａｔｉｏｎ(ｉｎｐｕｔＰｏｉｎｔＣｌｏｕｄ)
ｓｗｉｔｃｈ(ｐａｒａｍｓ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ)
ｒｅｆｉｎｅＳｌｉｃｅｓ(ｑｕａｎｔｉｚｅｄＩｎｐｕｔＣｌｏｕｄ)
実施例によるポイントクラウドデータ送信装置は、符号化過程においてデータ量子化、データ分割部、及びデータ精製部などの動作を行う。
実施例によるポイントクラウドデータ送信装置は、データのタイプ、属性などによる効率的な圧縮性能のために、データ量子化３３０００の動作をスキップしてもよい。またデータ量子化動作の実行有無に関する情報をシグナリング情報としてビットストリーム(図３８を参照)内に含ませて送信することができる。実施例によるポイントクラウドデータ受信装置は、ビットストリーム内に含まれた情報に基づいてデータ量子化の実行有無を確認し、送信側の逆過程によりポイントクラウドデータを低遅延に復元することができる。
実施例によれば、ｑｕａｎｔｉｚａｔｉｏｎ(ｉｎｐｕｔＰｏｉｎｔＣｌｏｕｄ)は、実施例によるポイントクラウドデータを実施例による量子化部３３０００が量子化する動作を意味する。
ｓｗｉｔｃｈ(ｐａｒａｍ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ)は、実施例による量子化されたポイントクラウドデータを分割する動作を意味する。例えば、ｓｗｉｔｃｈ(ｐａｒａｍ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ)は、量子化されたポイントクラウドデータをスライス分配(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ)方法によって一つ又はそれ以上のスライスに分割することを示す。量子化されたポイントクラウドデータを分割する動作は、図３２で説明した動作を意味する。
ｒｅｆｉｎｅＳｌｉｃｅｓ(ｑｕａｎｔｉｚｅｄＩｎｐｕｔＣｌｏｕｄ)は、実施例による送信装置が、ｓｗｉｔｃｈ(ｐａｒａｍ→ｐａｒｔｉｔｉｏｎ.ｍｅｔｈｏｄ)構文により分割されたポイントクラウドデータを精製(ｒｅｆｉｎｅｍｅｎｔ)する動作を示す。ポイントクラウドデータを精製する動作は、図３３で説明した動作を意味する。
図３４は実施例によるポイントクラウドデコーダを示す。
図３４に示した分割する動作は、図１の受信装置１０００４、受信部１０００５、ポイントクラウドビデオデコーダ１０００６、図２の復号１８００３、送信部１８００２、図１０及び図１１のデコーダ、図１３の受信装置、及び図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例によるポイントクラウドデコーダ３４０００は幾何情報復号化部３４００１及び／又は属性情報復号化部３４００２を含む。実施例によれば、ポイントクラウドデコーダはＰＣＣ復号化器、ＰＣＣ復号化部、ポイントクラウド復号化器、ポイントクラウド復号化部、ＰＣＣデコーダなどとも呼ばれる。
幾何情報復号化部３４００１はポイントクラウドデータの幾何情報ビットストリーム３４０００ａを受信する。幾何情報復号化部３４００１はポイントクラウドデータの幾何情報ビットストリーム３４０００ａを復号化(復号)して復元されたポイントクラウドデータ３４０００ｃの特質情報を出力する。幾何情報復号化部３４００１は幾何情報ビットストリームをジオメトリ情報で再構成して復元された幾何情報３４００１を出力する。幾何情報ビットストリーム３４０００ａは図１５の幾何情報ビットストリーム、ジオメトリビットストリームを意味する。属性情報ビットストリーム３４０００ｂは図１５の属性情報ビットストリーム、特質ビットストリームを意味する。
幾何情報復号化部３４００１は入力された幾何情報ビットストリームを復号化して幾何情報を復元する。復元された幾何情報は属性情報復号化部に入力される。属性情報復号化部３４００２は入力された属性情報ビットストリームと幾何情報復号化部から入力された復元された幾何情報が入力された属性情報を復元する。復元された幾何情報は図１１で説明したジオメトリ再構成部(ｒｅｃｏｎｓｔｒｕｃｔ ｇｅｏｍｅｔｒｙ)１１００３により再構成されたジオメトリを意味する。復元された幾何情報は図１３で説明した占有コード基盤の八分木再構成処理部１３００３により再構成された八分木占有コードを意味することもできる。
幾何情報復号化部３４００１は実施例による受信装置が受信した幾何情報ビットストリームを受信する。幾何情報復号化部３４００１は幾何情報ビットストリームを復号化することができる。
幾何情報復号化部３４００１は図１のポイントクラウドビデオデコーダの動作、図２の復号２０００３、図１０のジオメトリデコーダの動作、図１１で説明した演算デコーダ１１０００、八分木合成部１１００１、表面近似合成部１１００２、ジオメトリ再構成部１１００３及び／又は座標系逆変換部１１００４の動作の全部／一部を行う。
属性情報復号化部３４００２はポイントクラウドデータの属性情報ビットストリーム３４０００ｂを受信する。属性情報復号化部３４００２はポイントクラウドデータの属性情報ビットストリーム３４０００ｂを復号化(復号)して復元されたポイントクラウドデータ３４０００ｃの特質情報を出力する。属性情報復号化部３４００２は幾何情報復号化部３４００１により生成された復元された幾何情報３４００１ａに基づいて属性情報ビットストリームを復号化(復号)する。
属性情報復号化部３４００２は実施例による受信装置が受信した属性情報ビットストリームを受信する。属性情報復号化部は復元された幾何情報に基づいて属性情報ビットストリームの属性情報を復号化する。ポイントクラウドデータに含まれた幾何情報及び／又は属性情報は復号化されて復元されたＰＣＣデータであり得る。
属性情報復号化部３４００２は図１のポイントクラウドビデオデコーダ、図２の復号２０００３の動作、図１０で説明した特質デコーダ(ａｔｔｒｉｂｕｔｅ ｄｅｃｏｄｅｒ)の動作、図１１の逆量子化部１１００６、ＲＡＨＴ１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９及び／又は色相逆変換部１１０１０の動作、図１３で説明した演算デコーダ１３００７、逆量子化処理部１３００８、予測／リフト／ＲＡＨＴ逆変換処理部１３００９、色相逆変換処理部１３０１０及び／又はレンダラー１３０１１の動作の一部又は全部を行う。
図３５は実施例によるポイントクラウドデコーダを示す。
図３５に示した実施例によるポイントクラウドデータデコーダの一部又は全部は、図１の受信装置１０００４、受信部１０００５、ポイントクラウドビデオデコーダ１０００６、図２の復号１８００３、送信部１８００２、図１０及び図１１のデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図３５の実施例によるポイントクラウドデコーダは図３４の実施例によるポイントクラウドデータデコーダ３４０００を意味する。実施例によるポイントクラウドデコーダは受信部３５０００、分割されたデータ入力部３５００１、第１演算デコーダ３５００２、占有コード基盤の八分木再構成処理部３５００３、表面モデル処理部３５００４、ジオメトリ再構成部３５００５、座標逆変換部３５００６、第２演算デコーダ３５００７、逆量子化処理部３５００８、予測／リフト／ＲＡＨＴ逆変換処理部３５００９、属性再構成部３５０１０、色相逆変換部３５０１１及び／又はポイント結合部３５０１２を含む。
図３５に示した実施例によるポイントクラウドデータデコーダの構成要素はブリック単位で行われ、ブリック単位で独立的に行われることもできる。
受信部３５０００は実施例によるポイントクラウドデータを含むビットストリームを受信する。受信部３５０００は受信したビットストリームを分割されたデータ入力部３５００１に送信する。受信部３５０００は図１の受信１０００７、図２の送信２０００２、図１３の受信部１３０００の動作を行う。
分割されたデータ入力部３５００１は実施例によるポイントクラウドデータを含むビットストリームをブリック単位で受信し、ブリック単位で復号を行うために、ブリック単位でポイントクラウドデータのジオメトリビットストリームと属性ビットストリームを出力する。分割されたデータ入力部３５００１はブリック単位のジオメトリビットストリームを第１演算デコーダ３５００２に送信し、ブリック単位の属性ビットストリームを第２演算デコーダ３５００２に送信する。
分割されたデータ入力部３５００１は、受信部３５０００により受信したビットストリームに含まれた、ブリック単位に符号化されたことを示すシグナリング情報(例えば、ｂｉｓｔｒｅａｍ_ｂｒｉｃｋ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ)が存在する場合(又はブリック単位に符号化されたことを指示する場合)、実施例によるポイントクラウドデータ受信装置は受信ビットストリームに対してＮ回の復号動作が行われる。分割されたデータ入力部３５００１は図１の受信１０００７、図２の送信２０００２、図１３の受信処理部１３００１の動作を行う。
第１演算デコーダ３５００２はブリック単位にジオメトリビットストリームを受信する。第１演算デコーダ３５００２はジオメトリビットストリームを復号化する。第１演算デコーダ３５００２は復号化されたジオメトリ情報を出力する。
第１演算デコーダ３５００２は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の演算復号部１１０００、図１３の演算デコーダ１３００２の動作を行う。
占有コード基盤の八分木再構成処理部３５００３は復号化されたジオメトリ情報を受信する。占有コード基盤の八分木再構成処理部３５００３はブリック単位のジオメトリビットストリームに基づいて占有(ｏｃｃｕｐａｎｃｙ)基盤の八分木(ｏｃｔｒｅｅ)を再構成する。占有コード基盤の八分木再構成処理部３５００３は再構成された八分木を表面モデル処理部２９００４に送信する。
占有コード基盤の八分木再構成処理部３５００３は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の八分木分析部１１００１、図１３の占有コード基盤の八分木再構成処理部１３００３の動作を行う。
表面モデル処理部３５００４は第１演算デコーダ３５００２により復号されたジオメトリ情報及び／又は占有コード基盤の八分木再構成処理部３５００３により再構成された八分木に基づいてジオメトリ情報の表面モデル処理を行う。ジオメトリ情報の表面モデル処理は、例えば、三角形再構成動作、アップ－サンプリング動作、ボクセル化動作を含む。
表面モデル処理部３５００４は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の表面近似分析部１１００２、図１３の表面モデル処理部１３００４の動作を行う。
ジオメトリ再構成部３５００５は、表面モデル処理部３５００４により表面モデル処理されたジオメトリ情報を受信する。ジオメトリ再構成部は表面モデル処理されたジオメトリ情報を再構成する。ジオメトリ再構成部３５００５は再構成されたジオメトリ情報を予測／リフト／ＲＡＨＴ逆変換処理部３５００９及び／又は座標逆変換部３５００６に送信する。
ジオメトリ再構成部３５００５は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のジオメトリ再構成部１１００３の動作を行う。
座標逆変換部３５００６はジオメトリ再構成部３５００５により生成されたジオメトリ情報の座標情報を逆変換する。座標逆変換部３５００６はジオメトリ情報を逆変換してポイントクラウドデータのポイントの位置情報を出力する。座標逆変換部３５００６はポイントの位置情報をポイント結合部３５０１２に送信する。
座標逆変換部３５００６は該当ポイントに対応するブリックに対してジオメトリ復号が行われたことを示す情報を分割されたデータ入力部３５００１に送信する。
座標逆変換部３５００６は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の座標逆変換部１１００４の動作を行う。
第２演算デコーダ３５００７はブリック単位にジオメトリビットストリームを受信する。第２演算デコーダ３５００７は属性ビットストリーム(特質ビットストリーム)を復号化する。第２演算デコーダ３５００７は復号化された特質情報を出力する。
第２演算デコーダ３５００７は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の演算復号１１００５、図１３の演算デコーダ１３００７の動作を行う。
逆量子化処理部３５００８は第２演算デコーダ３５００７により生成された復号化された特質情報を受信する。逆量子化処理部３５００８は受信した復号化された特質情報を逆量子化する。逆量子化処理部３５００８は逆量子化された特質情報を出力し、逆量子化された特質情報を予測／リフト／ＲＡＨＴ逆変換処理部３５００９に送信する。
逆量子化処理部３５００８は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の逆量子化部１１００６、図１３の演算デコーダ１３００７の動作を行う。
予測／リフト／ＲＡＨＴ逆変換処理部３５００９は、逆量子化処理部３５００８により逆量子化されたジオメトリ情報を受信して、それらを逆変換する。予測／リフト／ＲＡＨＴ逆変換処理部３５００９は逆量子化された特質情報を予測方法(Ｐｒｅｄｉｃｔｉｏｎ)、リフト方法(ｌｉｆｔｉｎｇ)、ＲＡＨＴ方法のうちのいずれかに基づいて逆変換する。予測／リフト／ＲＡＨＴ逆変換処理部３５００９はジオメトリ再構成部３５００５により再構成されたジオメトリ情報(又は復元されたジオメトリ情報)に基づいて特質情報を逆変換する。
予測／リフト／ＲＡＨＴ逆変換処理部３５００９は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１のＲＡＨＴ１１００７、ＬＯＤ生成部１１００８、逆リフト部１１００９の動作を行う。
属性再構成部３５０１０は予測／リフト／ＲＡＨＴ逆変換処理部２９００９により逆変換された特質情報に基づいて属性情報を再構成する。属性再構成部は再構成された属性情報を出力し、それを色相逆変換処理部３５０１１に送信する。
属性再構成部３５０１０は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の色相逆変換部１１０１０、図１３の色相逆変換処理部１３０１０の動作を行う。
色相逆変換部３５０１１は属性再構成部３５０１０により再構成されたジオメトリ情報を受信する。色相逆変換部３５０１１は再構成されたジオメトリ情報を色相逆変換する。色相逆変換部３５０１１はポイントクラウドデータのポイントの属性情報を出力する。
色相逆変換部３５００６は該当ポイントに対応するブリックに対して特質復号が行われたことを示す情報を分割されたデータ入力部３５００１に送信する。属性再構成部３５０１０は図１のポイントクラウドビデオデコーダ１０００６、図２の復号２０００３、図１１の色相逆変換部１１０１０、図１３の色相逆変換処理部１３０１０の動作を行う。
ポイント結合部３５０１２は実施例によるポイントクラウドデータのポイントのジオメトリ情報(位置情報)及び／又はポイントの特質情報(属性情報)を受信する。ポイント結合部３５０１２はブリック単位のポイントクラウドデータのポイントのジオメトリ情報(位置情報)及び／又はポイントの特質情報(属性情報)を受信し、これらをブリック単位に結合する。ポイント結合部３５０１２はポイントの位置情報と属性情報を含むブリック単位のポイントクラウドデータを出力する。
図３６は実施例によるポイントクラウドデータ受信装置を示す。
実施例によるポイントクラウドデータ受信装置３６０００は、実施例によるポイントクラウドデータ復号化器３６００２、又はデコーダ)を含む。
図３５に示した実施例によるポイントクラウドデータ受信装置の一部又は全部は、図１の受信装置１０００４、受信部１０００５、ポイントクラウドビデオデコーダ１０００６、図２の復号１８００３、送信部１８００２、図１０及び図１１のデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
ポイントクラウドデータ受信装置３６０００は、スライスごとに符号化されたポイントクラウドデータを含むビットストリーム３６００１を受信する。ビットストリーム３６００１は各スライス内に含まれたポイントに関するジオメトリ情報及び／又は特質情報を含む。ビットストリーム３６００１は実施例によるポイントクラウドデータデコーダ３６００２から入力される。
実施例によるビットストリーム３６００１はポイントクラウドデータが一つ又はそれ以上のタイル及び／又はスライスに分割されたデータである。実施例によるスライスは図２１ないし図３１で説明したように分割されたスライスを意味する。
実施例によるデコーダ３６００２は、ビットストリーム３６００１内に含まれたジオメトリビットストリームと特質ビットストリームをそれぞれ復号化する。実施例によるデコーダ３６００２は、送信装置からシグナリングされた実施例による分割方法を示す情報、又は重畳スライス分割方法を示す情報に基づいて復号を行う。
図３７は実施例によるポイントクラウドデコーダのポイント結合部を示す。
図３７に示した実施例によるポイント結合部３７０００の一部又は全部は、図１の受信装置１０００４、受信部１０００５、ポイントクラウドビデオデコーダ１０００６、図２の復号１８００３、送信部１８００２、図１０及び図１１のデコーダ、図１３の受信装置、図１４のＸＲデバイス１４３０などにより結合されて行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
ポイント結合部３７００を示す。ポイント結合部３７０００はポイントのジオメトリ情報３７０００ａ及び／又はポイントの特質情報３７０００ｂを受信する。ポイント結合部３７０００は受信したポイントのジオメトリ情報３７０００ａ及びポイントの特質情報３７０００ｂを結合してポイントクラウドデータ３７０００ｃを出力する。ポイント結合部３７０００は結合実行部３７００１を含む。
結合実行部３７００１はブリック又はタイルごとにポイントのジオメトリ情報及びポイントの特質情報を受信する。ポイント結合部３７０００はブリック又はタイルごとにポイントのジオメトリ情報及びポイントの特質情報を受信して、それらを結合方法に基づいて結合する。
実施例による結合方法は、多重化、ＭＶＣビット列結合、順次結合、重要度基盤の結合などの方法のうちのいずれかの逆過程に基づく動作を意味する。実施例によるポイントクラウドデコーダはポイントの位置値(ジオメトリ情報)とポイントの属性値(特質情報)がそれぞれ復号化されると、どの結合方法を使用して位置値と属性値の結合を行うかを決定する。
実施例による結合実行部３７００１は、一つの位置値(ジオメトリ情報)に一つの属性値(特質情報)を１：１マッピングすることができる。実施例による結合実行部３７００１は、一つの位置値(ジオメトリ情報)に一つの属性値(特質情報)を１：１マッピングできない場合は、損失結合方法を使用する。例えば、特定の位置値(ジオメトリ情報)に存在した属性値(特質情報)は存在せず、一つの位置値に複数の属性値が存在することができる。実施例による損失結合方法は、複数の特質情報がマッピングされる場合には、重複属性値表示(ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ)によりポイントの情報を構成することができる。
実施例によるポイントクラウドデコーダ(例えば、ポイント結合部３７０００、結合実行部３７００１)は、ポイントクラウドデータ受信装置が受信するビットストリーム内に含まれた、結合方法を示す情報(例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ)に基づいてポイントのジオメトリ情報とポイントの特質情報を結合することができる。
ポイントのジオメトリ情報３７０００ａは実施例によるポイントクラウドデコーダが復号化したジオメトリビットストリームを意味する。ポイントジオメトリ情報３７０００ａは図２９の座標逆変換部２９００６で出力されるポイントのジオメトリ情報、図２８の幾何情報復号化部２８００１で出力された復号化されたジオメトリ情報を意味する。
ポイントの特質情報３７０００ｂは実施例によるポイントクラウドデコーダが復号化した特質ビットストリームを意味する。ポイント特質情報３７０００ｂは図３５の色相逆変換処理部３５０１１で出力されるポイントの特質情報、図３４の属性情報復号化部３４００２で出力された復号化された特質情報を意味する。
図３８は実施例によるポイントクラウドデータのビットストリーム構造の一例を示す。
図３８は実施例によるポイントクラウドデータのビットストリーム構造３８０００の一例である。図３８に示したポイントクラウドデータのビットストリーム構造３８０００は、実施例による送信装置の図１の送信機１０００３、図２の送信部１８００２、図１２の送信処理部１２０１２、図１６のビットストリーム結合部１６０１４、図１７のビットストリーム結合部１７０００で生成される。
図３８に示したポイントクラウドデータのビットストリーム構造３８０００は、実施例による受信装置の図１の受信部１０００５、図２の復号部１８００３、図１３の受信部１３０００、図３５の受信部３５０００で受信するビットストリームである。図３８に示したポイントクラウドデータのビットストリーム構造３８０００は、図３６のスライスごとのジオメトリと属性ビットストリーム３６００１を意味する。
図３８に示した実施例によるビットストリーム構造３８０００の一部又は全部は、図１４のＸＲデバイス１４３０により生成される。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
実施例によるポイントクラウドデータ送信装置は、図３１に示すようなビットストリーム構造を有するビットストリーム３８０００を送信する。ポイントクラウドデータのビットストリーム３８０００は、ＳＰＳ(Ｓｅｑｕｅｎｔｉａｌ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００１、ＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００２、ＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００３、ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００４及び一つ又はそれ以上のスライス(ｓｌｉｃｅ ０、ｓｌｉｃｅ １ …ｓｌｉｃｅ ｎ)３８００４を含む。ポイントクラウドデータのビットストリーム３８０００は一つ又はそれ以上のタイルを含む。実施例によるタイルは一つ又はそれ以上のスライスを含むスライスのグループである。実施例によるビットストリーム３８０００はポイントクラウドデータを領域ごとに分けて処理できるようにタイル又はスライスを提供する。実施例によるビットストリーム３８０００のそれぞれの領域は互いに異なる重要度を有する。従って、ポイントクラウドデータはタイルに分かれる場合、（各）タイルごとに異なるフィルタ(符号化方法)、異なるフィルタユニットを適用することができる。ポイントクラウドはスライスに分かれる場合、（各）スライスごとに異なるフィルタ、異なるフィルタユニットを適用することができる。
実施例によるポイントクラウドデータ送信装置は、図３１のようなビットストリーム３８０００の構造によってポイントクラウドデータを送信することにより、重要度によって異なる符号化動作を適用し、高品質の符号化方法を重要な領域に使用する方案を提供することができる。
実施例によるポイントクラウドデータ受信装置は、受信装置の処理能力(ｃａｐａｃｉｔｙ)によってポイントクラウドデータの全体に複雑な復号化(フィルタリング)方法を使用する代わりに、領域ごとに(タイルに分かれたか又はスライスに分かれた領域)互いに異なるフィルタリング(復号化方法)を適用することにより、ユーザに重要な領域により良質の画質とシステム上適切な遅延(ｌａｔｅｎｃｙ)を保障することができる。
ＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００１は、それぞれのスライスセグメントヘッダ(ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ)内のシンタックスエレメント(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)により参照されるＰＰＳ内のシンタックスエレメントのコンテンツにより決定される０個又はそれ以上の全体ＣＶＳに適用されるシンタックスエレメントを含むシンタックス構造である(Ａ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｃｏｎｔａｉｎｉｎｇ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｔｈａｔ ａｐｐｌｙ ｔｏ ｚｅｒｏ ｏｒ ｍｏｒｅ ｅｎｔｉｒｅ ＣＶＳｓ ａｓ ｄｅｔｅｒｍｉｎｅｄ ｂｙ ｔｈｅ ｃｏｎｔｅｎｔ ｏｆ ａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｆｏｕｎｄ ｉｎ ｔｈｅ ＰＰＳ ｒｅｆｅｒｒｅｄ ｔｏ ｂｙ ａ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｆｏｕｎｄ ｉｎ ｅａｃｈ ｓｌｉｃe ｓｅｇｍｅｎｔ ｈｅａｄｅｒ)。ＳＰＳは実施例によるポイントクラウドデータビットストリームのシーケンス情報を含む。
ＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００２は、０個又はそれ以上の全体ジオメトリ(又は符号化されたジオメトリ)が適用されるシンタックスエレメント(ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ)を含むシンタックス構造(ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ)を意味する。実施例によるＧＰＳ３８００２は、一つ又はそれ以上のスライス３８００４に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＧＰＳ３８００２は実施例によるどのＳＰＳ３８００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＧＰＳを識別するＧＰＳ識別子情報を含む。
ＡＰＳ(Ａｔｔｒｉｂｕｔｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００３は、０個又はそれ以上の全体特質(又は符号化された特質)が適用されるシンタックスエレメントを含むシンタックス構造を意味する。実施例によるＡＰＳ３８００３は、一つ又はそれ以上のスライス３８００４に含まれたポイントクラウドデータの特質(属性)情報を符号化する方法に関する情報を含む。ＡＰＳ３８００３は実施例によるどのＳＰＳ３８００１に関連するジオメトリパラメータを含むかを示すＳＰＳ識別子情報、該当ＡＰＳを識別するＧＰＳ識別子情報を含む。
ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００４は、０個又はそれ以上の全体タイル(又は符号化されたタイル)が適用されるシンタックスエレメントを含むシンタックス構造を意味する。タイルインベントリーは実施例によるポイントクラウドデータビットストリームに含まれた０個又はそれ以上のタイルに関する情報を含む。タイルインベントリーは実施例によってＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)とも呼ばれる。
ＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)３８００４は、一つ又はそれ以上のタイルを識別する識別子情報及び一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報を含む。一つ又はそれ以上のタイルの範囲(即ち、タイルの境界ボックス)を示す情報は、該当タイルが示す境界ボックスの基準となる点の座標情報(例えば、Ｔｉｌｅ(ｎ).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０)及び該当境界ボックスの幅、高さ及び深さに関する情報(例えば、Ｔｉｌｅ(ｎ).ｔｉｌｅ_ｂｏｕｄｎｉｎｇ_ｂｏｘ_ｗｈｄ)を含む。複数のタイルが存在する場合、タイルインベントリー(Ｔｉｌｅ Ｉｎｖｅｎｔｏｒｙ)３３００４はタイルのそれぞれに対する境界ボックスを示す情報を含む。例えば、各タイルがタイルの識別子情報によって０ないしｎで表現される場合、各タイルの境界ボックスを示す情報は、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(０).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｘｙｚ０、Ｔｉｌｅ(１).ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｗｈｄ…などのように表現される。
スライス３８００４は実施例によるポイントクラウドデータの送信装置がポイントクラウドデータを符号化するための単位を意味する。実施例によるスライス３８００４は一つのジオメトリビットストリーム(Ｇｅｏｍ００)３８００４ａ及び一つ又はそれ以上の特質ビットストリーム(Ａｔｔｒ００、Ａｔｔｒ１０)３８００４ｂ、３８００４ｂを含む単位を意味する。
スライス３８００４は該当スライス内に含まれたポイントクラウドデータのジオメトリ情報を示すジオメトリスライス(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ、Ｇｅｏｍ)３８００４ａ及び該当スライス内に含まれたポイントクラウドデータの特質情報を示す一つ又はそれ以上の特質スライス(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ、Ａｔｔｒ)３８００４ｂ、３８００４ｃを含む。
ジオメトリスライス(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ、Ｇｅｏｍ)３８００４ａはポイントクラウドデータのジオメトリ情報を含むジオメトリスライスデータ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｄａｔａ、Ｇｅｏｍ_ｓｌｉｃｅ_ｄａｔａ)３８００４ａ－２及びジオメトリスライスデータに関する情報を含むジオメトリスライスヘッダ(Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ、Ｇｅｏｍ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＧＳＨ)３８００４ａ－１を含む。
ジオメトリスライスヘッダ３８００４ａ－１は該当スライス内のジオメトリスライスデータ３８００４ａ－２に関する情報を含む。例えば、ジオメトリスライスヘッダ３８００４ａ－１はどのＧＰＳ３８００２が該当スライスのジオメトリ情報を示すかを識別するためのジオメトリパラメータセット識別子(ｇｅｏｍ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ)、該当ジオメトリスライスを識別するためのジオメトリスライス識別子(ｇｅｏｍ_ｓｌｉｃｅ_ｉｄ)、該当ジオメトリスライスデータのボックス原点を示すジオメトリボックスオリジン情報(ｇｅｏｍＢｏｘＯｒｉｇｉｎ)、ジオメトリスライスのログスケールを示す情報(ｇｅｏｍ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅ)、及び該当ジオメトリスライスのポイントの数に関連する情報(ｇｅｏｍ_ｎｕｍ_ｐｏｉｎｔｓ)などを含む。
実施例によるポイントクラウドデータビットストリームが一つ又はそれ以上のタイルを含む場合、実施例によるジオメトリビットストリームのヘッダは該当ジオメトリビットストリームを含むタイルを識別するための情報(ｇｅｏｍ_ｔｉｌｅ_ｉｄ)をさらに含む。
特質スライス(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ、Ａｔｔｒ)３８００４ｂ、３８００４ｃはポイントクラウドデータの特質情報を含む特質スライスデータ(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｄａｔａ、Ａｔｔｒ_ｓｌｉｃｅ_ｄａｔａ)及び特質スライスデータに関する情報を含む特質スライスヘッダ(Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｈｅａｄｅｒ、Ａｔｔｒ_ｓｌｉｃｅ_ｈｅａｄｅｒ、ＡＳＨ)３３７０５ｃを含む。
実施例によれば、ポイントクラウド符号化に必要なパラメータは、ポイントクラウドのパラメータセット及びヘッダ情報として新しく定義される。例えば、属性情報符号化を行う時は、ａｔｔｒｉｂｕｔｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ＲＢＳＰ ｓｙｎｔａｘに、タイル基盤の符号化を行う時には、ｔｉｌｅ_ｈｅａｄｅｒ ｓｙｎｔａｘなどに追加することができる。
実施例によれば、送信装置は実施例に他の重畳スライスの構成をシグナリングするために、タイルごと又はスライスごとに異なるスライス構成ヘッダユニットを生成することができる。
実施例によるポイントクラウドデータ送受信方法では、かかるビットストリーム構造を提供することにより、受信機をしてポイントクラウドデータの属性情報の復号化性能を上げることができる。
図３９は実施例によるビットストリームのＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す。
図３９に示すパラメータは図３８で説明したＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)内に含まれる。実施例によるＳＰＳは実施例によるスライスの分割(スライス分配)、スライスタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。
ｐｒｏｆｉｌｅ_ｉｄｃは、Ｈ.２６４標準文書のＡｎｎｅｘ Ａを満たすビットストリームのプロファイルを示す情報を意味する。ｐｒｏｆｉｌｅ_ｉｄｃの他の値はＩＳＯ／ＩＥＣにより追って使用できる(ｉｎｄｉｃａｔｅｓ ａ ｐｒｏｆｉｌｅ ｔｏ ｗｈｉｃｈ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｂｉｔｓｔｒｅａｍｓ ｓｈａｌｌ ｎｏｔ ｃｏｎｔａｉｎ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ｏｔｈｅｒ ｔｈａｎ ｔｈｏｓｅ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｏｔｈｅｒ ｖａｌｕｅｓ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ａｒｅ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ.)。
ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇｓが１であると、該当ビットストリームがｐｒｏｆｉｌｅ_ｉｄｃがＡｎｎｅｘ Ａによってｊであるプロファイルを満たすことを示す。ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇ[ｊ]の値はＡｎｎｅｘ Ａによって定義された値ではなくｊを有する場合、０である(ｅｑｕａｌ ｔｏ １、ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ｔｏ ｔｈｅ ｐｒｏｆｉｌｅ ｉｎｄｉｃａｔｅｄ ｂｙ ｐｒｏｆｉｌｅ_ｉｄｃ ｅｑｕａｌ ｔｏ ｊ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｐｒｏｆｉｌｅ_ｃｏｍｐａｔｉｂｉｌｉｔｙ_ｆｌａｇ[ｊ] ｓｈａｌｌ ｂｅ ｅｑｕａｌ ｔｏ ０ ｆｏｒ ａｎｙ ｖａｌｕｅ ｏｆ ｊ ｔｈａｔ ｉｓ ｎｏｔ ｓｐｅｃｉｆｉｅｄ ａｓ ａｎ ａｌｌｏｗｅｄ ｖａｌｕｅ ｏｆ ｐｒｏｆｉｌｅ_ｉｄｃ ｉｎ Ａｎｎｅｘ Ａ.)。
ｌｅｖｅｌ_ｉｄｃは、Ｈ.２６４標準文書のＡｎｎｅｘ Ａを満たすビットストリームのレベルを示す。ビットストリームはＨ.２６４標準文書のＡｎｎｅｘ Ａに定義された情報とは異なる情報であって、ｌｅｖｅｌ_ｉｄｃの値を有さない。Ｌｅｖｅｌ_ｉｄｃの他の値はＩＳＯ／ＩＥＣにより今後のために残す(ｉｎｄｉｃａｔｅｓ ａ ｌｅｖｅｌ ｔｏ ｗｈｉｃｈ ｔｈｅ ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍｓ ａｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｂｉｔｓｔｒｅａｍｓ ｍａｙ ｎｏｔ ｃｏｎｔａｉｎ ｖａｌｕｅｓ ｏｆ ｌｅｖｅｌ_ｉｄｃ ｏｔｈｅｒ ｔｈａｎ ｔｈｏｓｅ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｏｔｈｅｒ ｖａｌｕｅｓ ｏｆ ｌｅｖｅｌ_ｉｄｃ ａｒｅ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇは、境界ボックスオフセットとサイズ情報がシグナリングされる場合、１である(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｏｆｆｓｅｔ ａｎｄ ｓｉｚｅ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｓｉｇｎａｌｌｅｄ. ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ)がｔｒｕｅ値を有すると、実施例によるＳＰＳは、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ及びｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈをさらに含む。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘは、直交座標系の原本境界ボックスのｘオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｘ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙは、直交座標系の原本境界ボックスのｙオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｙ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚは、直交座標系の原本境界ボックスのｚオフセットを示す。該当情報が存在しない場合、このパラメータの値は０である(ｉｎｄｉｃａｔｅｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｚ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒは、直交座標系内の原本境界ボックスの倍率を示す。該当情報が存在しない場合、このパラメータの値は１又は０である(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｃａｌｅ ｆａｃｔｏｒ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １. Ｉｎｄｉｃａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈは、直交座標系内の原本境界ボックスの幅を示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈの値は１０などの特定の値である(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. … Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ａ ｓｐｅｃｉｆｉｃ ｖａｌｕｅ (ｓｕｃｈ ａｓ １０).)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔは、直交座標系内の原本境界ボックスの高さを示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値は１又は０である(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｉｅｇｈｔ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈは、直交座標系内の原本境界ボックスの深さを示す。該当情報が存在しない場合、ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔの値は１又は０である(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｄｅｐｔｈ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ １. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０.)。
ｓｐｓ_ｓｏｕｒｃｅ_ｓｃａｌｅ_ｆａｃｔｏｒは、原本ポイントクラウドの倍率を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｃａｌｅ ｆａｃｔｏｒ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｐｏｉｎｔ ｃｌｏｕｄ.)。
ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、他のシンタックスエレメントにより参照されるＳＰＳに関するｉｄ情報を示す。ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは該当バージョンの明細書内の条件を満たす範囲内で０から１５の値に定められる。０ではない他の情報であってｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄはＩＳＯ／ＩＥＣにより追って使用できる(Ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＳＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ. Ｉｎ Ｔｈｅ ｖａｌｕｅ ｏｆ ＳＰＳ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ ｉｎ ｂｉｔｓｔｒｅａｍｓ ｃｏｎｆｏｒｍｉｎｇ ｔｏ ｔｈｉｓ ｖｅｒｓｉｏｎ ｏｆ ｔｈｉｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ. Ｔｈｅ ｖａｌｕｅ ｏｔｈｅｒ ｔｈａｎ ０ ｆｏｒ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｉｓ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ.)。
ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓは、ビットストリーム内のコーディングされた属性の数を示す。ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは０から６４の範囲を有する(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｄｅｄ ａｔｔｒｉｂｕｔｅｓ ｉｎ ｔｈｅ ｂｉｔｓｔｒｅａｍ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ６４.)。
実施例によるＳＰＳはｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓだけのａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]、ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]及び／又はｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]を含む。
ａｔｔｒｉｂｕｔｅ_ｄｉｍｅｎｓｉｏｎ[ｉ]は、ｉ番目の属性のコンポーネントの数を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｏｎｅｎｔｓ ｏｆ ｔｈｅ ｉ－ｔｈａｔｔｒｉｂｕｔｅ.)。
ａｔｔｒｉｂｕｔｅ_ｉｎｓｔａｎｃｅ_ｉｄ[ｉ]は、属性インスタンスｉｄを示す(ｓｐｅｃｉｆｉｅｓ ａｔｔｒｉｂｕｔｅ ｉｎｓｔａｎｃｅ ｉｄ.)。
ａｔｔｒｉｂｕｔｅ_ｂｉｔｄｅｐｔｈ[ｉ]は、ｉ番目の属性信号のビット深さ(ｂｉｔｄｅｐｔｈ)情報を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｂｉｔｄｅｐｔｈ ｏｆ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ ｓｉｇｎａｌ(ｓ).)。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｃｏｌｏｕｒ_ｐｒｉｍａｒｉｅｓ[ｉ]は、色相属性ソースプライマリの色度を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｔｈｅ ｃｏｌｏｕｒ ａｔｔｒｉｂｕｔｅ ｓｏｕｒｃｅ ｐｒｉｍａｒｉｅｓ.)。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｔｒａｎｓｆｅｒ_ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ[ｉ]は、原本入力線形視覚的強度(ｉｎｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ)であるＬｃと０から１の間の名目実際値とで構成された、色属性の参照光電子的伝達特性関数を示す。又はこのパラメータは出力線形視覚的強度(ｏｕｔｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ)であるＬｏと０から１の範囲を有する名目実際値とで構成された、参照光電子的伝達特性関数の逆を示す(ｅｉｔｈｅｒ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｏｐｔｏ－ｅｌｅｃｔｒｏｎｉｃ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ ｏｆ ｔｈｅ ｃｏｌｏｕｒ ａｔｔｒｉｂｕｔｅ ａｓ ａ ｆｕｎｃｔｉｏｎ ｏｆ ａ ｓｏｕｒｃｅ ｉｎｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ Ｌｃ ｗｉｔｈ ａ ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ ｏｆ ０ ｔｏ １ ｏｒ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｉｎｖｅｒｓｅ ｏｆ ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｆｕｎｃｔｉｏｎ ａｓ ａ ｆｕｎｃｔｉｏｎ ｏｆ ａｎ ｏｕｔｐｕｔ ｌｉｎｅａｒ ｏｐｔｉｃａｌ ｉｎｔｅｎｓｉｔｙ Ｌｏ ｗｉｔｈ ａ ｎｏｍｉｎａｌ ｒｅａｌ－ｖａｌｕｅｄ ｒａｎｇｅ ｏｆ ０ ｔｏ １)。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｍａｔｒｉｘ_ｃｏｅｆｆｓ[ｉ]は、緑色、青色及び赤色(又はＹ、Ｚ、Ｘの三原色)のルマ(ｌｕｍａ)と彩度(ｃｈｒｏｍａ)信号の行列係数を示す(ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔｓ ｕｓｅｄ ｉｎ ｄｅｒｉｖｉｎｇ ｌｕｍａ ａｎｄ ｃｈｒｏｍａ ｓｉｇｎａｌｓ ｆｒｏｍ ｔｈｅ ｇｒｅｅｎ、ｂｌｕｅ、ａｎｄ ｒｅｄ、ｏｒ Ｙ、Ｚ、ａｎｄ Ｘ ｐｒｉｍａｒｉｅｓ.)。
ａｔｔｒｉｂｕｔｅ_ｃｉｃｐ_ｖｉｄｅｏ_ｆｕｌｌ_ｒａｎｇｅ_ｆｌａｇ[ｉ]は、Ｅ’Ｙ、Ｅ’ＰＢ及びＥ’ＰＲ又はＥ’Ｒ、Ｅ’Ｇ及びＥ’Ｂ実際値コンポーネント信号から導き出されるブラックレベルとルマ及び彩度信号の範囲を示す(ｓｐｅｃｉｆｉｅｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｂｌａｃｋ ｌｅｖｅｌ ａｎｄ ｒａｎｇｅ ｏｆ ｔｈｅ ｌｕｍａ ａｎｄ ｃｈｒｏｍａ ｓｉｇｎａｌｓ ａｓ ｄｅｒｉｖｅｄ ｆｒｏｍ Ｅ’Ｙ、Ｅ’ＰＢ、ａｎｄ Ｅ’ＰＲ ｏｒ Ｅ’Ｒ、Ｅ’Ｇ、ａｎｄ Ｅ’Ｂ ｒｅａｌ－ｖａｌｕｅｄ ｃｏｍｐｏｎｅｎｔ ｓｉｇｎａｌｓ.)。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]が１である場合、ｉ番目の属性に対してｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌがシグナリングされることをを示す。該当パラメータが０である場合は、ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓがｉ番目の属性に対してシグナリングされることを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｋｎｏｗ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ ｉｓ ｓｉｇｎａｌｌｅｄ ｆｏｒ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ] ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｏｕｒ_ｂｙｔｅｓ ｉｓ ｓｉｇｎａｌｌｅｄ ｆｏｒ ｔｈｅ ｉ－ｔｈ ａｔｔｒｉｂｕｔｅ.)。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ_ｆｌａｇ[ｉ]が１(ｔｒｕｅ)であると、実施例によるＳＰＳはｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]をさらに含む。
ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ]が０である場合、属性が色であることを示す。該当パラメータが１である場合、属性は反射率であることを示す。該当パラメータが２である場合は、属性はフレームインデックスであることを示す(ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｉｓ ｃｏｌｏｕｒ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ] ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｉｓ ｒｅｆｌｅｃｔａｎｃｅ. ｋｎｏｗｎ_ａｔｔｒｉｂｕｔｅ_ｌａｂｅｌ[ｉ] ｅｑｕａｌ ｔｏ ２ ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｉｓ ｆａｒｍｅ ｉｎｄｅｘ.)。
実施例によるＳＰＳは、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇをさらに含む。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇは、実施例によるポイントクラウド送信装置がポイントクラウドデータをスライス又はブリック単位に分割を行うか否かを示す情報(又はフラグ)を示す。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいて、受信したビットストリームのポイントクラウドデータがスライス単位に分割されているか否かを判断し、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいてビットストリーム内のポイントクラウドデータをスライス単位で受信する。
ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇは、実施例によるポイントクラウド送信装置が分割されたスライス又はブリックを再分割したか否かを示す情報(又はフラグ)を示す。
実施例によるＳＰＳはｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇが１(ｔｒｕｅ)であると、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇ、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ及び／又はｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘをさらに含む。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいて、受信したビットストリームのポイントクラウドデータのスライスが細部分割単位に分割されているか否かを判断する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅは、実施例によるポイントクラウド送信装置が分割したスライス又はブリックの分割単位を示す情報である。例えば、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅは実施例によるスライス又はブリックの単位サイズを示す。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅに基づいて、受信したビットストリームのポイントクラウドデータのスライスの分割単位を判断し、分割単位に該当するビットストリームだけ復号化を行うことができる。
ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇは、実施例によるポイントクラウドデータを複数のスライス分割方法に基づいて分割を行うか否かを示す情報(又はフラグ)である。即ち、このパラメータはスライス分割に使用するｐａｒｔｉｔｉｏｎｉｎｇ ｔｙｐｅを色々な分割方法を使用するかどうかについて知らせる情報である。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇに基づいてポイントクラウドデータを一つ又はそれ以上のスライス分割方法に基づいて分割されているか否かを判断する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘは、実施例によるポイントクラウドデータをスライス単位に分割する方法を示す。実施例によるスライス単位に分割する方法は、実施例による点密度基盤のスライス分割方法、実施例による円形セクタースライス分割方法、実施例によるレイヤスライス分割方法、実施例による球形／楕円形領域スライス分割方法、実施例による属性基盤のスライス分割方法、実施例による適応的軸長さ基盤のスライス分割方法を含む。ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘは、例えば、以下のように決定される。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝１は点密度基盤のスライス分配(ブリックタイリング)を行ったことを示す。点密度基盤のスライス分配(ブリックタイリング)は図２１に示した方法によるスライスの分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝２は円形セクタースライス分配(ブリックタイリング)を行ったことを示す。円形セクタースライス分配(ブリックタイリング)は図２２に示した方法によるブリックの分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝３はレイヤスライス分配(ブリックタイリング)を行ったことを示す。レイヤスライス分配(ブリックタイリング)は図２３に示した方法によるスライスの分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝４は球形／楕円形スライス分配(ブリックタイリング)を行ったことを示す。球形／楕円形領域タイリングは図２４に示した方法によるブリック(スライス)の分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝５は属性基盤のスライス分配(ブリックタイリング)を行ったことを示す。属性基盤のスライス分配(ブリックタイリング)は図２５に示した方法によるブリック(スライス)の分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝６は適応的軸長さ基盤のスライス分配(ブリックタイリング)を行ったことを示す。適応的軸長さ基盤のスライス分配(ブリックタイリング)は図２６に示した方法によるブリック(スライス)の分割を意味する。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ＝７は上述した方法以外のユーザ定義のスライス分配(ブリックタイリング)方法を行ったことを示す。実施例によれば、境界ボックスの座標軸の短い軸を基準として長い軸を分割した後、分割されたスライスを再度分割することができる。この時、短い軸を基準として中間軸を再分割する過程を行うことができる。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘに基づいてポイントクラウドデータをスライス単位で復号化することができる。
実施例によるＳＰＳはｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇが１(ｔｒｕｅ)であると、ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔをさらに含む。
ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔは、実施例によるポイントクラウド送信装置がスライス又はブリックに対して再分割を行う場合、再分割されたスライス又はブリックの分割単位を示す情報である。例えば、ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔは実施例による再分割されたスライス又はブリックの単位サイズを示す。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｓｐｌｉｔ_ｒｅｃｕｒｓｉｖｅ_ｅｎａｂｌｉｎｇ_ｆｌａｇに対応して受信したビットストリームのポイントクラウドデータのスライスが細部分割単位に分割されていることを確認した場合、ｐａｒｔｉｔｉｏｎ_ｃｕｒｒｅｎｔ_ｕｎｉｔに基づいて再分割されたスライスの分割単位を判断することができる。
ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは、結合されたジオメトリビットストリームと属性ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報を示す。実施例によれば、ビットストリームの送信環境及び特性によって結合方法がシグナリングされて圧縮率が向上することができる。
ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝０である場合、多重化方法に基づく結合方法が使用されたことを示す。実施例によれば、多重化方法は個別ビットストリームをビット又はバイトグループにシーケンスすることができる。
ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝１である場合、順次的結合方法に基づく結合方法が使用されたことを示す。実施例によれば、順次的結合方法は幾何ビットストリームと属性ビットストリームを順に結合する。
ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ＝２である場合、重要度基盤の結合に基づく結合方法が使用されたことを示す。実施例によれば、重要度基盤の結合は重要度の高いビットストリームに対して優先して結合することができる。
実施例によるポイントクラウドデータ受信装置(例えば、図３５のポイント結合部３５０１２、図３７のポイント結合部３７０００)は、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘに基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出することができる。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが０である場合、実施例によるポイントクラウドデータ受信装置は多重化方法の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが１である場合は、順次的結合方法の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。例えば、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘが２である場合は、重要度基盤結合の逆過程に基づいて受信ビットストリーム内のジオメトリビットストリームと特質ビットストリームを抽出する。
ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは、複数の特質情報が一つのジオメトリ情報にマッピングされる場合、該当ジオメトリが重複する属性情報を含むことを示す。重複するポイントの属性情報は重複属性を適用することができる。
ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ＝０である場合、色相重複を意味する。一つの幾何情報に複数の色相値が重複してマッピングされる時、重複属性を使用することができる。
ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ＝１である場合、反射度重複を意味する。一つの幾何情報に複数の反射度値が重複してマッピングされる時、重複属性を使用することができる。
実施例によるポイントクラウドデータ受信装置は、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘに基づいてジオメトリが重複する属性情報を決定することができる。
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇが１である場合、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａがＳＰＳ ＲＢＳＰシンタックス構造内に存在することを示す。該当パラメータが０である場合、該当シンタックス構造が存在しないことを示す。存在しない場合、ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０である(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈe ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＳＰＳ ＲＢＳＰ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ. ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｉｓ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｎｏｔ ｐｒｅｓｅｎt. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０)。
ｓｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇはどの値であってもよい。該当パラメータの存在はデコーダの該当標準文書のＡｎｎｅｘ Ａに提示されたプロファイルの動作に影響を及ぼさない(ｍａｙ ｈａｖｅ ａｎｙ ｖａｌｕｅ. Ｉｔｓ ｐｒｅｓｅｎｃｅ ａｎｄ ｖａｌｕｅ ｄｏ ｎｏｔ ａｆｆｅｃｔ ｄｅｃｏｄｅｒ ｃｏｎｆｏｒｍａｎｃｅ ｔｏ ｐｒｏｆｉｌｅｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ Ｄｅｃｏｄｅｒｓ ｃｏｎｆｏｒｍｉｎｇ ｔｏ ａ ｐｒｏｆｉｌｅ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ.)。
実施例によるＳＰＳは、ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報をさらに含む。
ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇは、実施例による送信装置がタイルごとのスライス分割動作を待機状態なしにタイルごとに順次入力スライス分割を行うか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇは、実施例による送信装置が重畳スライス分割方法を使用するか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ情報が１(ｔｒｕｅ)である場合、実施例によるＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]をさらに含む。ＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報を実施例による送信装置が送信するスライスの数だけ含む。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]は、ｉ番目のスライスのスライス分割方法を示す情報を意味する。ｉ番目のスライスのスライス分割方法とそれに対応するｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]の値は以下の通りである。
０＝ｍｕｌｔｉｐｌｅ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｉｔｉｔｏｎ_ｍｅｔｈｏｄ：実施例による多重点サンプリング基盤の重畳スライス構成方法としてスライス構成方法使用
１＝ｖａｌｕｅ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による重要度基盤の重畳スライス構成方法としてスライス構成方法使用
２＝ａｔｔｒｉｂｕｔｅ_ｒａｎｇｅ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による属性範囲基盤の重畳スライス構成方法としてスライス構成方法使用
３＝ｍｏｒｔｏｎ_ｏｒｄｅｒ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例によるモールトンコードの順基盤の重畳スライス構成方法としてスライス構成方法使用
４～＝ｏｔｈｅｒ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：その他の分割方法使用
図４０は実施例によるビットストリームのＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す。
図４０に示したパラメータは、図３８で説明したＴＰＳ(Ｔｉｌｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)内に含まれる。実施例によるＴＰＳは、実施例によるスライスの分割(スライス分配)、スライスタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。
ｎｕｍ_ｔｉｌｅｓは該当ビットストリーム内に存在するタイルの数を示す(Ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｉｌｅｓ ｓｉｇｎａｌｌｅｄ ｆｏｒ ｔｈｅ ｂｉｔｓｔｒｅａｍ)。もし該当ビットストリーム内に存在するタイルがなければ、ｎｕｍ_ｔｉｌｅｓは０にシグナリングされる(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｎｕｍ_ｔｉｌｅｓ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ０)。
実施例によるＴＰＳはタイルの数(ｎｕｍ_ｔｉｌｅｓ)に示された値だけ以下のシグナリング情報を含む。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[ｉ]は、直交座標系内のi－番目のタイルのｘオフセットを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｘ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)。もし該当ｘオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｘ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[ｉ]は、直交座標系内のi－番目のタイルのｙオフセットを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｙ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ)。もし該当ｙオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｙ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[ｉ]は、直交座標系内のｉ－番目のタイルのｚオフセットを示す(ｉｎｄｉｃａｔｅｓ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｚ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。もし該当ｚオフセットが存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０]の値がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｏｆｆｓｅｔ_ｚ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[ｉ]は、直交座標系内のｉ－番目のタイルに関連する倍率を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｓｃａｌｅ ｆａｃｔｏｒ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。もし該当倍率が存在しないと、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０]がｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｃａｌｅ_ｆａｃｔｏｒ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[ｉ]は、直交座標系内のｉ－番目のタイルの幅を示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。もし幅値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｗｉｄｔｈ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[ｉ]は、直交座標系内のｉ－番目のタイルの高さを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。もし高さ値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｈｅｉｇｈｔ.)。
ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[ｉ]は、直交座標系内のｉ－番目のタイルの深さを示す(ｉｎｄｉｃａｔｅｓ ｔｈｅ ｄｅｐｔｈ ｏｆ ｔｈｅ ｉ－ｔｈ ｔｉｌｅ ｉｎ ｔｈｅ Ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。もし深さ値が存在しない場合、ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０]はｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈである(Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｔｉｌｅ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ[０] ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｓｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｓｉｚｅ_ｄｅｐｔｈ.)。
実施例によるＴＰＳはｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇを含む。
ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇは、実施例によるポイントクラウド送信装置がポイントクラウドデータをスライス又はブリック単位に分割を行うか否かを示す情報(又はフラグ)を示す。ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇは図３９で説明したｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇと同じ情報を示す情報である。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１)は、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいて、受信したビットストリームのポイントクラウドデータがスライス単位に分割されているか否かを判断し、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｉｎｇ_ｆｌａｇに基づいてビットストリーム内のポイントクラウドデータをスライス単位で受信する。
実施例によるＴＰＳはｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇが１(ｔｒｕｅ)であると、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ及び／又はｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘをさらに含む。
ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇは、図３９で説明したＳＰＳ内に含まれたｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇを意味する。ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅは、図３９で説明したＳＰＳ内に含まれたｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅを意味する。ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘは、図３９で説明したＳＰＳ内に含まれたｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘを意味する。
実施例によるＴＰＳはｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報をさらに含む。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅは、実施例による送信装置がポイントクラウドデータを一つ又はそれ以上のブリック(又はスライスとも呼ばれる)に分割する方法を示す。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅは、図３９で説明したｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘと同じ情報を示す。即ち、ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅはｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘとも呼ばれる。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報が１である場合(点密度基盤のブリックタイリング(スライス分配)を示す場合)、実施例によるＴＰＳはｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐをさらに含む。
ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎは、一つのブリック(又はスライス)に関するユニット情報及び／又は分割方法に関する情報を示す。
ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐは、分割されるブリック(又はスライス)に対して、該当ブリック(又はスライス)で使用する量子化係数を指定してサンプリング可能な程度を示す。
ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓは、ポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリング(スライス分配)を行った場合、該当ブリック(又はスライス)の半径を示す情報である。このパラメータは図２２のｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓパラメータを意味する。該当パラメータは各ブリック(又はスライス)に存在する。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報が２である場合(円形セクターブリックタイリング(スライス分配)を示す場合)、実施例によるＴＰＳはｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇをさらに含む。
ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚは、ポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリング(スライス分配)を行った場合、該当ブリック(又はスライス)の中心点情報のｘ座標、ｙ座標及びｚ座標を示す情報である。このパラメータは図２２のｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚパラメータを意味する。
ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒは、ポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリング(スライス分配)を行った場合、ポイントクラウドデータが表現する客体の移動方向を示す。ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒはベクトル形態で表現される。図２２のｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒパラメータを意味する。
ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例による円形セクターブリックタイリング(スライス分配)を行った場合、全フレームに同一の境界ボックスを定義するか否かを示す情報(又はフラグ)である。実施例によれば、境界ボックスの情報は１つのフレームごとに定義され、各フレームのｘ、ｙ、ｚ値により決定される。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報が３である場合(レイヤブリックタイリング(スライス分配)を示す場合)、実施例によるＴＰＳはｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇをさらに含む。
ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例によるレイヤブリックタイリング(スライス分配)を行った場合、ポイントクラウドデータを整列(例えば、昇順、降順、モールトンなど)したか否か示す情報(又はフラグ)である。図２３のｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇパラメータを意味する。該当パラメータは各ブリック(スライス)に存在し得る。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報が４である場合(球形／楕円ブリックタイリング(スライス分配)を示す場合)、実施例によるＴＰＳはｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅをさらに含む。
ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリング(スライス分配)を行った場合、ポイントクラウドデータを球形或いは楕円形領域に分割するか否かを示す。図２４のｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇパラメータを意味する。該当パラメータは各ブリック(スライス)に存在し得る。
ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、実施例による球形／楕円形領域の中心点情報の座標情報(例えば、(ｘ、ｙ、ｚ)情報)を含む。図２４のｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚパラメータを意味する。該当パラメータは各ブリック(スライス)に存在し得る。
ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行った場合、実施例による球形／楕円形のブリック(スライス)の半径情報(又は距離情報)を示す。図２４のｒａｄｉｕｓ_ｄｉｓｔａｎｃｅパラメータを意味する。該当パラメータは各ブリック(スライス)に存在し得る。
ａｚｉｍｕｔｈ_ａｎｇｌｅは、ポイントクラウドデータ送信装置が実施例による球形／楕円形領域タイリングを行う場合、球面座標系で原点からの距離と基準ベクトルとの角度を意味する。該当パラメータは各ブリック(スライス)に存在する。図２４のａｚｉｍｕｔｈ_ａｎｇｌｅパラメータを意味することができる。
ｂｒｉｃｋ_ｔｉｌｉｎｇ_ｔｙｐｅ情報が４である場合(球形／楕円ブリックタイリング(スライス分配)を示す場合、実施例によるＴＰＳはｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅをさらに含む。
ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅは、ポイントクラウドデータ送信装置が実施例による属性基盤のブリックタイリング(スライス分配)を行った場合、ブリック(スライス)分割の基準となる属性情報を示す。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅパラメータを意味する。
ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅは、ポイントクラウドデータ送信装置が実施例による属性基盤のブリックタイリング(スライス分配)を行った場合、属性情報の属性値の範囲でブリック(スライス)を構成するか否かを示す。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅパラメータを意味する。
ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅは、属性情報の属性値それ自体でブリック(スライス)を構成するか否かを示す情報である。図２５のｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅパラメータを意味する。
実施例によるＴＰＳはｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓをさらに含む。
ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは、結合されたジオメトリビットストリームと属性ビットストリームを送信するために符号化器でどの結合方法を使用したかに関する情報を示す。実施例によれば、ビットストリームの送信環境及び特性によって結合方法がシグナリングされ、圧縮率が向上することができる。ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘは図３２のｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘを意味する。
ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは、複数の特質情報が一つのジオメトリ情報にマッピングされる場合、該当ジオメトリが重複する属性情報を含むことを示す。重複するポイントの属性情報は重複属性を適用することができる。ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘは図３２のｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘを意味する。
ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓは、ポイントクラウドデータ送信装置が実施例による図２６の適応的軸長さ基盤のタイリングを行う場合、中間軸に関する情報を示す。例えば、０であると、Ｘ軸が中間軸、１であると、Ｙ軸が中間軸、２であると、Ｚ軸が中間軸を示す。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１、図３５のポイント結合部３５０１２、図３７のポイント結合部３７０００)は、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓパラメータなどを用いて実施例によるスライスの形態を判断することができ、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。
実施例によるＴＰＳはｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報をさらに含む。
ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇは、実施例による送信装置がタイルごとのスライス分割動作を待機状態なしにタイルごとの順次入力スライス分割を行うか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇは、実施例による送信装置が重畳スライス分割方法を使用するか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ情報が１(ｔｒｕｅ)である場合、実施例によるＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]をさらに含む。ＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報を実施例による送信装置が送信するスライスの数だけ含む。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]は、ｉ番目のスライスのスライス分割方法を示す情報を意味する。ｉ番目のスライスのスライス分割方法とそれに対応するｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]の値は以下の通りである。
０＝ｍｕｌｔｉｐｌｅ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｉｔｉｔｏｎ_ｍｅｔｈｏｄ：実施例による多重点サンプリング基盤の重畳スライス構成方法としてスライス構成方法使用
１＝ｖａｌｕｅ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による重要度基盤の重畳スライス構成方法としてスライス構成方法使用
２＝ａｔｔｒｉｂｕｔｅ_ｒａｎｇｅ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による属性範囲基盤の重畳スライス構成方法としてスライス構成方法使用
３＝ｍｏｒｔｏｎ_ｏｒｄｅｒ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例によるモールトンコードの順基盤の重畳スライス構成方法としてスライス構成方法使用
４～＝ｏｔｈｅｒ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：その他の分割方法使用
図４１は実施例によるビットストリームのＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)を示す。
図４１に示したパラメータは図３８で説明したＧＰＳ(Ｇｅｏｍｅｔｒｙ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)内に含まれる。実施例によるＧＰＳは、実施例によるスライスの分割(ｓｌｉｃｅ ｐａｒｔｉｔｉｏｎｉｎｇ)、スライスタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。
ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、他のシンタックスエレメントにより参照されるＧＰＳの識別子を示す。このパラメータの値は０ないし１５である(Ｐｒｏｖｉｄｅｓ ａｎ ｉｄｅｎｔｉｆｉｅｒ ｆｏｒ ｔｈｅ ＧＰＳ ｆｏｒ ｒｅｆｅｒｅｎｃｅ ｂｙ ｏｔｈｅｒ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ.)。
ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、該当アクティブＳＰＳに対するｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す。該当値は０ないし１５である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｓｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｆｏｒ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ｓｅｑ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｓｈａｌｌ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ １５、ｉｎｃｌｕｓｉｖｅ.)。
ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅは、ジオメトリ情報に対するコーディングタイプを意味する。該当パラメータの値は０又は１であり、他の値はＩＳＯ／ＩＥＣにより追って使用できる。デコーダは該当パラメータが他の値を有する場合、無視できる。該当パラメータは、例えば、０であると、八分木を、１であると、ｔｒｉｓｏｕｐ(ｔｒｉａｎｇｌｅ ｓｏｕｐ)を示す(ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｃｏｄｉｎｇ ｔｙｐｅ ｆｏｒ ｔｈｅ ｇｅｏｍｅｔｒｙ ｉｎ Ｔａｂｌｅ ７ １Ｔａｂｌｅ ７ １ ｆｏｒ ｔｈｅ ｇｉｖｅｎ ｖａｌｕｅ ｏｆ ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ ｓｈａｌｌ ｂｅ ｅｑｕａｌ ｔｏ ０ ｏｒ １ ｉｎ ｂｉｔｓｔｒｅａｍｓ ｃｏｎｆｏｒｍｉｎｇ ｔｏ ｔｈｉｓ ｖｅｒｓｉｏｎ ｏｆ ｔｈｉｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ. Ｏｔｈｅｒ ｖａｌｕｅｓ ｏｆ ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ ａｒｅ ｒｅｓｅｒｖｅｄ ｆｏｒ ｆｕｔｕｒｅ ｕｓｅ ｂｙ ＩＳＯ／ＩＥＣ。Ｄｅｃｏｄｅｒｓ ｃｏｎｆｏｒｍｉｎｇ ｔｏ ｔｈｉｓ ｖｅｒｓｉｏｎ ｏｆ ｔｈｉｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｍａｙ ｉｇｎｏｒｅ ｒｅｓｅｒｖｅｄ ｖａｌｕｅｓ ｏｆ ｇｅｏｍｅｔｒｙ_ｃｏｄｉｎｇ_ｔｙｐｅ。０＝Ｏｃｔｒｅｅ、１＝Ｔｒｉａｎｇｌｅ Ｓｏｕｐ(Ｔｒｉｓｏｕｐ))。
ｇｐｓ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇは、追加境界ボックス情報が該当ＧＰＳ内でジオメトリヘッダ(ｇｅｏｍｅｔｒｙ ｈｅａｄｅｒ)内に提供される場合、１である。該当パラメータは追加境界ボックス情報がジオメトリヘッダ内に提供されない場合は、０を示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ａｎ ａｄｄｉｔｉｏｎａｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｐｒｏｖｉｄｅｄ ｉｎ ａ ｇｅｏｍｅｔｒｙ ｈｅａｄｅｒ ｔｈａｔ ｒｅｆｅｒｅｎｃｅｓ ｔｈｅ ｃｕｒｒｅｎｔ ＧＰＳ. ｇｐｓ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ａｄｄｉｔｉｏｎａｌ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｎｏｔ ｓｉｇｎａｌｌｅｄ ｉｎ ｔｈｅ ｇｅｏｍｅｔｒｙ ｈｅａｄｅｒ.)。
ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇは、全ての出力されたポイントが固有の位置を有する場合、１である。該当パラメータは出力ポイントが同じ位置に存在する場合、０である(ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ａｌｌ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｈａｖｅ ｕｎｉｑｕｅ ｐｏｓｉｔｉｏｎｓ.ｕｎｉｑｕｅ_ｇｅｏｍｅｔｒｙ_ｐｏｉｎｔｓ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｔｈｅ ｏｕｔｐｕｔ ｐｏｉｎｔｓ ｍａｙ ｈａｖｅ ｓａｍｅ ｐｏｓｉｔｉｏｎｓ.)。
ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが０である場合、八分木占有コーディングが６つの隣接ノードに基づいて決定されたコンテンツを使用することを示す。１である場合、八分木占有コーディングが兄弟ノードのみに基づいて決定されたコンテキストを使用することを示す(ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｏｃｔｒｅｅ ｏｃｃｕｐａｎｃｙ ｃｏｄｉｎｇ ｕｓｅｓ ｃｏｎｔｅｘｔｓ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ｓｉｘ ｎｅｉｇｈｂｏｕｒｉｎｇ ｐａｒｅｎｔ ｎｏｄｅｓ. ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈａｔ ｏｃｔｒｅｅ ｃｏｄｉｎｇ ｕｓｅｓ ｃｏｎｔｅｘｔｓ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ｓｉｂｌｉｎｇ ｎｏｄｅｓ ｏｎｌｙ.)。
ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合、八分木コーディングがｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅを使用したことを示す。１である場合、兄弟隣接ノードから決定された複数のコンテキストを使用して八分木コーディングを行ったことを示す(ｅｑｕａｌ ｔｏ ０ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｏｃｔｒｅｅ ｃｏｄｉｎｇ ｕｓｅｓ ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ. ｉｎｆｅｒｒｅｄ_ｄｉｒｅｃｔ_ｃｏｄｉｎｇ_ｍｏｄｅ_ｅｎａｂｌｅｄ_ｆｌａｇ ｅｑｕａｌ ｔｏ １ ｉｎｄｉｃａｔｅｓ ｔｈｅ ｏｃｔｒｅｅ ｃｏｄｉｎｇ ｕｓｅｓ ｍｕｌｔｉｐｌｅ ｃｏｎｔｅｘｔ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ｓｉｂｌｉｎｇ ｎｅｉｇｈｂｏｕｒｉｎｇ ｎｏｄｅｓ.)。
ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙは復号プロセスが以下のように利用されるＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ａｓ ｆｏｌｌｏｗｓ：)。
ＮｅｉｇｈｂＡｖａｉｌＢｏｕｎｄａｒｙ＝２ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ
ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが１である場合、ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇは１３である(Ｗｈｅｎ ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ １３.)。ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇが０である場合は、ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋは以下のように決定される(Ｏｔｈｅｒｗｉｓｅ、 ｎｅｉｇｈｂｏｕｒ_ｃｏｎｔｅｘｔ_ｒｅｓｔｒｉｃｔｉｏｎ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０、 ＮｅｉｇｈｂＡｖａｉｌａｂｉｌｉｔｙＭａｓｋ ｉｓ ｓｅｔ ｅｑｕａｌ ｔｏ)。
(１＜＜ｌｏｇ２_ｎｅｉｇｈｂｏｕｒ_ａｖａｉｌ_ｂｏｕｎｄａｒｙ)
ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅは以下のように決定される三角形ノードのサイズであってＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅを示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｒｉａｂｌｅ ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ ａｓ ｔｈｅ ｓｉｚｅ ｏｆ ｔｈｅ ｔｒｉａｎｇｌｅ ｎｏｄｅｓ ａｓ ｆｏｌｌｏｗｓ.)。
ＴｒｉｓｏｕｐＮｏｄｅＳｉｚｅ＝２ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ
ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅの値は０より大きい。ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅのサイズが０である場合、ジオメトリビットストリームはひたすら八分木コーディングシンタックスのみを含むことを示す(Ｔｈｅ ｖａｌｕｅ ｏｆ ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ ｍａｙ ｂｅ ｅｑｕａｌ ｔｏ ｏｒ ｇｒｅａｔｅｒ ｔｈａｎ ０. Ｗｈｅｎ ｌｏｇ２_ｔｒｉｓｏｕｐ_ｎｏｄｅ_ｓｉｚｅ ｉｓ ｅｑｕａｌ ｔｏ ０、ｔｈｅ ｇｅｏｍｅｔｒｙ ｂｉｔｓｔｒｅａｍ ｉｎｃｌｕｄｅｓ ｏｎｌｙ ｔｈｅ ｏｃｔｒｅｅ ｃｏｄｉｎｇ ｓｙｎｔａｘ.)。
ｔｒｉｓｏｕｐ_ｄｅｐｔｈはポイント座標のそれぞれのコンポーネントを示すために使用されるビット数を示す。ｔｒｉｓｏｕｐ_ｄｅｐｔｈは２から２１の値を有する(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｂｉｔｓ ｕｓｅｄ ｔｏ ｒｅｐｒｅｓｅｎｔ ｅａｃｈ ｃｏｍｐｏｎｅｎｔ ｏｆ ａ ｐｏｉｎｔ ｃｏｏｒｄｉｎａｔｅ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｔｒｉｓｏｕｐ_ｄｅｐｔｈ ｍａｙ ｂｅ Ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ２ ｔｏ ２１. [Ｅｄ（ｄｆ)：２０ ｓｈｏｕｌｄ ｐｅｒｈａｐｓ ｂｅ ａ ｌｅｖｅｌ ｌｉｍｉｔ].)。
ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌは八分木が切り取られたレベルを示す。ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌは１からｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１の値を有する(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｌｅｖｅｌ ａｔ ｗｈｉｃｈ ｔｈｅ ｏｃｔｒｅｅ ｉｓ ｐｒｕｎｅｄ. Ｔｈｅ ｖａｌｕｅ ｏｆ ｔｒｉｓｏｕｐ_ｔｒｉａｎｇｌｅ_ｌｅｖｅｌ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ １ ｔｏ ｔｒｉｓｏｕｐ_ｄｅｐｔｈ－１.)。
ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇが１であると、ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａシンタックス構造がＧＰＳ ＲＢＳＰシンタックス構造内に存在することを示す。０である場合、該当シンタックス構造が存在しないことを示す(ｅｑｕａｌ ｔｏ １ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｅ ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｐｒｅｓｅｎｔ ｉｎ ｔｈｅ ＧＰＳ ＲＢＳＰ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ. ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｅｑｕａｌ ｔｏ ０ ｓｐｅｃｉｆｉｅｓ ｔｈａｔ ｔｈｉｓ ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ. Ｗｈｅｎ ｎｏｔ ｐｒｅｓｅｎｔ、ｔｈｅ ｖａｌｕｅ ｏｆ ｇｐｓ_ ｅｘｔｅｎｓｉｏｎ_ｐｒｅｓｅｎｔ_ｆｌａｇ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ ｔｏ ０.)。
ｇｐｓ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｆｌａｇはどの値であってもよい。該当値が存在する場合、値はデコーダに影響を及ぼさない(ｍａｙ ｈａｖｅ ａｎｙ ｖａｌｕｅ. Ｉｔｓ ｐｒｅｓｅｎｃｅ ａｎｄ ｖａｌｕｅ ｄｏ ｎｏｔ ａｆｆｅｃｔ ｄｅｃｏｄｅｒ ｃｏｎｆｏｒｍａｎｃｅ ｔｏ ｐｒｏｆｉｌｅｓ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ. Ｄｅｃｏｄｅｒｓ ｃｏｎｆｏｒｍｉｎｇ ｔｏ ａ ｐｒｏｆｉｌｅ ｓｐｅｃｉｆｉｅｄ ｉｎ Ａｎｎｅｘ Ａ.)。
実施例によるＧＰＳは、図３９及び図４０で上述した、ｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇ、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、Ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘをさらに含む。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１、図３５のポイント結合部３５０１２、図３７のポイント結合部３７０００)は、ＧＰＳ内の上述したパラメータなどを用いて実施例によるスライスの形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。
実施例によるＧＰＳはｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ、ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報をさらに含む。
ｓｅｑｕｅｎｔｉａｌ_ｉｎｐｕｔ_ｓｌｉｃｅ_ｃｏｎｆｉｇｕｒａｔｉｏｎ_ｉｎ_ｔｉｌｅ_ｆｌａｇは、実施例による送信装置がタイルごとのスライス分割動作を待機状態なしにタイルごとの順次入力スライス分割を行うか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇは実施例による送信装置が重畳スライス分割方法を使用するか否かを示す情報を意味する。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｆｌａｇ情報が１(ｔｒｕｅ)である場合、実施例によるＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]をさらに含む。ＳＰＳはｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]情報を実施例による送信装置が送信するスライスの数だけ含む。
ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]は、ｉ番目のスライスのスライス分割方法を示す情報を意味する。ｉ番目のスライスのスライス分割方法とそれに対応するｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｃｏｍｐｏｓｅ_ｍｅｔｈｏｄ[ｉ]の値は以下の通りである。
０＝ｍｕｌｔｉｐｌｅ_ｐｏｉｎｔ_ｓａｍｐｌｉｎｇ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｉｔｉｔｏｎ_ｍｅｔｈｏｄ：実施例による多重点サンプリング基盤の重畳スライス構成方法としてスライス構成方法使用
１＝ｖａｌｕｅ_ｂａｓｅｄ_ｏｖｅｒｌａｐｐｉｎｇ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による重要度基盤の重畳スライス構成方法としてスライス構成方法使用
２＝ａｔｔｒｉｂｕｔｅ_ｒａｎｇｅ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例による属性範囲基盤の重畳スライス構成方法としてスライス構成方法使用
３＝ｍｏｒｔｏｎ_ｏｒｄｅｒ_ｂａｓｅｄ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：実施例によるモールトンコードの順基盤の重畳スライス構成方法としてスライス構成方法使用
４～＝ｏｔｈｅｒ_ｓｌｉｃｅ_ｐａｒｔｉｔｉｏｎ_ｍｅｔｈｏｄ：その他の分割方法使用
図４２は実施例によるビットストリームのジオメトリスライスヘッダ(ＧＳＨ, Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す。
図４２に示したパラメータは図３８で説明したジオメトリスライスヘッダ(ＧＳＨ、Ｇｅｏｍｅｔｒｙ ｓｌｉｃｅ Ｈｅａｄｅｒ)内に含まれる。実施例によるＧＳＨは実施例によるスライスの分割(スライス分配)、スライスタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。
ｇｓｈ_ｇｅｏｍｅｔｒｙ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、アクティブＧＰＳのｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｇｐｓ_ｇｅｏｍ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｏｆ ｔｈｅ ａｃｔｉｖe ＧＰＳ.)。
ｇｓｈ_ｔｉｌｅ_ｉｄはタイルのｉｄを示す(ｓｐｅｃｉｆｉｅｓ ｉｄ ｏｆ ｔｉｌｅ.)。
ｇｓｈ_ｓｌｉｃｅ_ｉｄはスライスのｉｄを示す(ｓｐｅｃｉｆｉｅｓ ｉｄ ｏｆ ｓｌｉｃｅ.)。
ｇｓｈ_ｂｏｘ_ｌｏｇ２_ｓｃａｌｅはスケール値を示す(ｓｐｅｃｉｆｉｅｓ ｓｃａｌｅ ｖａｌｕｅ.)。
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｘは直交座標系内のソース境界ボックスのｘ座標情報を示す。(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｘ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｙは直交座標系内のソース境界ボックスのｙ座標情報を示す。(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｙ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。
ｇｓｈ_ｂｏｘ_ｏｒｉｇｉｎ_ｚは直交座標系内のソース境界ボックスのｚ座標情報を示す。(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｚ ｏｆ ｔｈｅ ｓｏｕｒｃｅ ｂｏｕｎｄｉｎｇ ｂｏｘ ｉｎ ｔｈｅ ｃａｒｔｅｓｉａｎ ｃｏｏｒｄｉｎａｔｅｓ.)。
ｇｓｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅは復号プロセスが以下のように行われるＭａｘＮｏｄｅＳｉｚｅの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ｖａｒｉａｂｌｅ ＭａｘＮｏｄｅＳｉｚｅ ｔｈａｔ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ ａｓ ｆｏｌｌｏｗｓ:)。
ＭａｘＮｏｄｅＳｉｚｅ＝２(ｇｂｈ_ｌｏｇ２_ｍａｘ_ｎｏｄｅｓｉｚｅ)
ｇｂｈ_ｐｏｉｎｔｓ_ｎｕｍｂｅｒはスライス内のコーディングされたポイントの数を示す。(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｄｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｓｌｉｃｅ.)。
実施例によるＧＳＨは、図３９ないし図４１で上述したｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇ、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘをさらに含む。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１、図３５のポイント結合部３５０１２、図３７のポイント結合部３７０００)は、ＧＳＨ内の上述したパラメータなどを用いて実施例によるブリックの形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。
図４３は実施例によるビットストリームの特質スライスヘッダ(ＡＳＨ, Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｈｅａｄｅｒ)を示す。
図４３に示したパラメータは図３８で説明した特質スライスヘッダ(ＡＳＨ、Ａｔｔｒｉｂｕｔｅ ｓｌｉｃｅ Ｈｅａｄｅｒ)内に含まれる。実施例によるＡＳＨは実施例によるスライスの分割、スライスタイリング方法に関連するシグナリング情報及び／又は関連シグナリング情報を含む。
ａｂｈ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、現在アクティブＡＰＳのａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｔｈｅ ａｐｓ_ａｔｔｒ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ ｏｆ ｔｈｅ ａｃｔｉｖｅ ＡＰＳ.)。
ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘは、現在アクティブＳＰＳ内の特質セットを示す。ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘの値は０ないし現在アクティブＳＰＳのｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓｄの値の範囲内である(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ａｔｔｒｉｂｕｔｅ ｓｅｔ ｉｎ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ. Ｔｈｅ ｖａｌｕｅ ｏｆ ａｂｈ_ａｔｔｒ_ｓｐｓ_ａｔｔｒ_ｉｄｘ ｍａｙ ｂｅ ｉｎ ｔｈｅ ｒａｎｇｅ ｏｆ ０ ｔｏ ｓｐｓ_ｎｕｍ_ａｔｔｒｉｂｕｔｅ_ｓｅｔｓ ｉｎ ｔｈｅ ａｃｔｉｖｅ ＳＰＳ.)。
ａｂｈ_ａｔｔｒ_ｇｅｏｍ_ｓｌｉｃｅ_ｉｄは、ジオメトリスライスｉｄの値を示す(ｓｐｅｃｉｆｉｅｓ ｔｈｅ ｖａｌｕｅ ｏｆ ｇｅｏｍ ｓｌｉｃｅ ｉｄ.)。
実施例によるＧＰＳは図３９ないし図４１で上述したｐａｒｔｉｔｉｏｎｉｎｇ_ｅｎａｂｌｅ_ｆｌａｇ、ｍｕｌｔｉｐｌｅ_ｂｒｉｃｋ_ｐａｒｔｉｔｉｏｎｉｎｇ_ｆｌａｇ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｕｎｉｔ_ｓｉｚｅ、ｐａｒｔｉｔｉｏｎｉｎｇ_ｔｙｐｅ_ｉｎｄｅｘ、ｂｒｉｃｋ_ｕｎｉｔ_ｉｎｆｏｒｍａｔｉｏｎ、ｂｒｉｃｋ_ｄｅｎｓｉｔｙ_ｑｕａｎｔｉｚａｔｉｏｎ_ｓｔｅｐ、ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｒａｄｉｕｓ、ｃｅｎｔｒａｌ_ｎｏｄｅ_ｘｙｚ、ｍｏｖｉｎｇ_ｄｉｒｅｃｔｉｏｎ_ｖｅｃｔｏｒ、ｕｓｅ_ｉｄｅｎｔｉｃａｌ_ｂｏｕｎｄｉｎｇ_ｂｏｘ_ｉｎｆｏｒｍａｔｉｏｎ_ｆｌａｇ、ｅｎａｂｌｅ_ｓｏｒｔｉｎｇ_ｆｌａｇ、ｓｐｈｅｒｅ_ｏｒ_ｏｖａｌ_ｆｌａｇ、ｃｅｎｔｅｒ_ｐｏｉｎｔ_ｘｙｚ、ｒａｄｉｕｓ_ｄｉｓｔａｎｃｅ、ａｚｉｍｕｔｈ_ａｎｇｌｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅｄ_ａｔｔｒｉｂｕｔｅ_ｔｙｐｅ_ｖａｌｕｅ、ｄｉｖｉｄｅ_ｍｉｄ_ｌｅｎｇｔｈ_ａｘｉｓ、ｃｏｍｂｉｎｉｎｇ_ｆｉｌｔｅｒ_ｉｎｄｅｘ、ｄｕｐｌｉｃａｔｅｄ_ａｔｔｒｉｂｕｔｅ_ｉｎｄｅｘをさらに含む。
実施例によるポイントクラウドデータ受信装置(例えば、図３５の受信部３５０００、分割されたデータ入力部３５００１、図３５のポイント結合部３５０１２、図３７のポイント結合部３７０００)は、ＡＳＨ内の上述したパラメータなどを用いて実施例によるブリック(スライス)の形態を判断し、上述したパラメータに基づいて復号化を行うポイントクラウドデータを確認することができる。
図４４は実施例によるポイントクラウドデータ送信段階を示す。
実施例によるポイントクラウドデータ送信段階は、ポイントクラウドデータを符号化する段階４４０００、ポイントクラウドデータ及びポイントクラウドデータに関するシグナリング情報を含むビットストリームを送信する段階４４００１を含む。
実施例によるポイントクラウドデータ送信段階は、ポイントクラウドデータを分割する段階をさらに含む。実施例による分割する段階は、ポイントクラウドデータを一つ又はそれ以上のスライス(又はタイル、又はマクロブロック)に分割することができる。実施例による分割する方法は、スライス内に含まれたポイントの最大個数情報に基づいてポイントクラウドデータを分割する。実施例による最大個数情報は予め設定された値である。
実施例による分割する段階は、図１２のデータ入力部１２０００の動作、図１５の空間分割部１５００１の動作、図１６のデータ特性調査部１６０００の動作、ブリックタイリング部１６００１の動作、分割されたデータ入力部１６００２の動作、及び図１８ないし図３３に示した動作を行う。
実施例によるスライスのうちの一部は３次元空間上の重なった領域を含む。例えば、一つ又はそれ以上のスライスは第１スライス及び第２スライスを含み、第１スライス及び第２スライスはポイントクラウドデータを含む３次元空間内の重なった領域を含む。
実施例による分割する方法は、ポイントクラウドデータの八分木に基づいて分割する方法、及びポイントクラウドデータを含む３次元空間の軸の長さに基づいて分割する方法のうちのいずれかである。実施例による分割方法に関する詳しい説明は図１５ないし図４３に詳しく説明されている。
ポイントクラウドデータを符号化する段階４４０００では、実施例によるポイントクラウドデータを符号化する。実施例による符号化する段階４４０００は、実施例によるタイル、スライス又はマクロブロックごとに独立的に行われる。実施例による符号化する段階４４０００は、ポイントクラウドデータのポイントのジオメトリデータを符号化する段階及び／又はポイントクラウドデータのポイントの特質データを符号化する段階を含む。
ポイントクラウドデータを符号化する段階４４０００は、図１のポイントクラウドビデオエンコーダ１０００２の動作、図２の符号化１８００１の動作、図４の動作、図５ないし図９の動作、図１２の動作、図１５の幾何情報符号化部１５００２及び／又は属性情報符号化部１５００３の動作、及び図１６の１６００３ないし１６０１４の動作を行う。
実施例によるポイントクラウドデータ送信段階は、ポイントクラウドデータに関するシグナリング情報を送信する。実施例によるシグナリング情報は、分割する段階の実行有無を示す情報及び／又は分割する段階が行われる場合、分割を行う方法を示す情報を含む。
実施例による送信ビットストリームは図３８のようなシンタックス構造を有する。また、実施例によるシグナリング情報は図３８ないし図４３に示した情報の全部又は一部を含む。
図４４に示した実施例によるポイントクラウドデータ送信動作の一部又は全部は、図１４のＸＲデバイス１４３０により行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
図４５は実施例によるポイントクラウドデータ受信段階を示す。
実施例によるポイントクラウドデータ受信段階は、ポイントクラウドデータのジオメトリデータ及びポイントクラウドデータの特質データを含むビットストリームを受信する段階４５０００、及び／又はビットストリーム内のポイントクラウドデータを復号する段階４５００１を含む。
ポイントクラウドデータのジオメトリデータ及びポイントクラウドデータの特質データを含むビットストリームを受信する段階４５０００は、実施例によるポイントクラウドデータ送信装置が送信したビットストリームを受信する。実施例によるビットストリームはポイントクラウドデータを含み、ポイントクラウドデータは一つ又はそれ以上のタイル又はスライス又はマクロブロック、ブリックにより伝達される。
実施例による復号する段階４５０００は、図１のポイントクラウドビデオデコーダ１０００６、図２の復号１８００３、図１１の動作、及び図１３の動作を行う。図３４の幾何情報復号化部３４００１及び／又は属性情報復号化部３４００２、及び図３５ないし図３７の動作の全部又は一部を行う。
ビットストリーム内のポイントクラウドデータを復号する段階４５００１は、ポイントクラウドデータのジオメトリデータを復号する段階及び／又はポイントクラウドデータの特質データを復号する段階を含む。実施例による復号する段階４５００１は、ポイントクラウドデータが伝達されるブリック、スライスごとに別々に(ｓｅｐａｒａｔｅｌｙ)復号される。
実施例によるスライスのうちの一部は互いに重なった領域を含む。例えば、実施例によるスライスは第１スライス及び第２スライスを含み、第１スライス及び第２スライスはポイントクラウドデータを含む３次元空間内の重なった領域を含む。
実施例によるビットストリームは、実施例によるポイントクラウドデータに関するシグナリング情報をさらに含む。実施例によるシグナリング情報は、ポイントクラウドデータが一つ又はそれ以上のスライスに分割されるか否かを示す情報を含む。受信したポイントクラウドデータが一つ又はそれ以上のスライスの単位に分割されている場合、実施例による復号する段階は、一つ又はそれ以上のスライスを独立的に復号することができる。実施例によるスライス、ブリック内のポイントの数はポイントの最大個数情報に基づいて決定される。
実施例によるシグナリング情報は、一つ又はそれ以上のスライスに対する分割方法を示す情報を含む。実施例による分割方法は、ポイントクラウドデータの八分木に基づいて分割する方法、及びポイントクラウドデータを含む３次元空間の軸の長さに基づいて分割する方法のうちのいずれかである。
実施例による受信ビットストリームは、図３８のようなシンタックス構造(ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ)を有する。また実施例によるシグナリング情報は、図３８ないし図４３に示した情報を全部又は一部含むことができる。
図４５に示した実施例によるポイントクラウドデータ受信動作の一部又は全部は、図１４のＸＲデバイス１４３０により行われる。また、この図で説明しているブリックはスライスに対応し、その逆も可能である。この明細書においてブリックはスライスとも称される。
上述した実施例は方法及び／又は装置の観点で説明しており、方法の説明及び装置の説明は相互補完して適用できる。
説明の便宜のために、各図を区分して説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。また通常の技術者の必要によって、以前に説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも実施例の権利範囲に属する。実施例による装置及び方法は、上述したように、説明された実施例の構成と方法が限定して適用されることではなく、実施例は様々に変形可能に各実施例の全部又は一部が選択的に組み合わせられて構成されることもできる。実施例の好ましい実施例について示して説明したが、実施例は上述した特定の実施例に限定されず、請求の範囲で請求する実施例の要旨から離脱せず、当該発明が属する技術分野において通常の知識を有する者により様々な変形実施が可能であり、かかる変形実施は実施例の技術的思想や見込みから個々に理解されてはいけない。
実施例による装置の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより構成される。実施例の様々な構成要素は一つのチップ、例えば、一つのハードウェア回路で具現される。実施例において、実施例による構成要素はそれぞれ個々のチップで具現される。実施例において、実施例による装置の構成要素のいずれかは一つ又はそれ以上のプログラムを実行できる一つ又はそれ以上のプロセッサで構成され、一つ又はそれ以上のプログラムは実施例による動作／方法のうちのいずれか一つ又はそれ以上の動作／方法を行わせるか、実行させるための指示を含む。実施例による装置の方法／動作を行うための実行可能な指示は、一つ又はそれ以上のプロセッサにより実行されるために構成された一時的ではないＣＲＭ又は他のコンピュータープログラム製品に格納されるか、又は一つ又はそれ以上のプロセッサにより実行されるために構成された一時的なＣＲＭ又は他のコンピュータープログラム製品に格納されることができる。また実施例によるメモリは、揮発性メモリ(例えば、ＲＡＭなど)だけではなく、非揮発性メモリ、フラッシュメモリ、ＰＲＯＭなどを全部含む概念として使用される。また、インターネットによる送信などのような搬送波の形態で具現されることも含む。またプロセッサが読み取られる記録媒体は、ネットワークで連結されたコンピューターシステムに分散されて、分散方式によりプロセッサが読み取られるコードが格納されて実行されることができる。
この明細書において、“／”と“,”は“及び／又は”に解釈される。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”に解釈され、“Ａ、Ｂ”は“Ａ及び／又はＢ”に解釈される。さらに、“Ａ／Ｂ／Ｃ”は“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／又はＣのうちのいずれか”を意味する。さらに、この文書において、“又は”は“及び／又は”に解釈される。例えば、“Ａ又はＢ”は、１)“Ａ”のみを意味するか、２)“Ｂ”のみを意味するか、又は３)“Ａ及びＢ”を意味する。言い換えれば、この明細書において“又は”は“さらに(ａｄｄｉｔｉｏｎａｌｌｙ)又は代わりに(ａｌｔｅｒｎａｔｉｖｅｌｙ)”を意味する。
第１、第２などの用語は実施例の様々な構成要素を説明するために使用される。しかし、実施例による様々な構成要素は上記用語により解釈が制限されてはいけない。かかる用語は一つの構成要素を他の構成要素と区別するために使用されることに過ぎない。例えば、第１ユーザ入力信号は第２ユーザ入力信号と称することができる。同様に、第２ユーザ入力信号は第１ユーザ入力信号と称することができる。かかる用語の使用は様々な実施例の範囲から離脱していない。第１ユーザ入力信号及び第２ユーザ入力信号はいずれもユーザ入力信号であるが、文脈上、明確に示していない限り、同一のユーザ入力信号を意味してはいない。
実施例を説明のために使用された用語は、特定の実施例を説明するために使用されており、実施例を制限されるものではない。実施例の説明及び請求範囲で使用したように、文脈上明確に称していない限り、単数は複数を含む。「及び／又は」表現は用語間の全ての可能な結合を含む意味で使用される。「含む」は特徴、数、段階、要素及び／又はコンポーネントが存在することを説明し、さらなる特徴、数、段階、要素及び／又はコンポーネントを含まないことを意味しない。実施例を説明するために使用される、「～である場合」、「～の時」などの条件表現は選択的な場合にのみ制限して解釈されない。特定の条件を満たすとき、特定の条件に対応して関連動作を行うか、又は関連定義が解釈されるように意図されている。
また、この明細書で説明する実施例による動作は、実施例によってメモリ及び／又はプロセッサを含む送受信装置により行われる。メモリは実施例による動作を処理／制御するためのプログラムを格納し、プロセッサはこの明細書で説明した様々な動作を制御する。プロセッサはコントローラとも称される。実施例において、動作はファームウェア、ソフトウェア及び／又はそれらの組み合わせにより行われ、ファームウェア、ソフトウェア及び／又はそれらの組み合わせはプロセッサに格納されるか又はメモリに格納される。
以上、実施例を実施するための最善の形態について説明した。
上述したように、実施例はポイントクラウドデータの送受信装置及びシステムに全体的又は部分的に適用することができる。
当業者は実施例の範囲内で実施例を様々に変更又は変形することができる。
実施例は変更／変形を含み、変更／変形は請求の範囲及びそれらの範囲内のものである。

Claims (16)

  1. 送信システムによりポイントクラウドデータを処理する方法であって、
    前記ポイントクラウドデータの一つ以上のスライスへの分割を選択的に実行する段階であって、前記ポイントクラウドデータのポイントの数はスライス内のポイントの最大数を表すための最大個数情報より大きい場合、前記ポイントクラウドデータを一つ以上のスライスに分割することは前記ポイントクラウドデータのオクトリ（octree)に基づいて実行され、前記ポイントクラウドデータのポイントの数が前記最大個数情報より小さい場合、前記ポイントクラウドデータの一つ以上のスライスへの分割は実行されない、段階と、
    前記分割が実行されるか否かについての前記ポイントクラウドデータを符号化する段階と、
    前記符号化されたポイントクラウドデータと、前記ポイントクラウドデータに対するシグナリング情報を含むビットストリームを送信する段階とを含む、方法。
  2. 前記符号化する段階は、
    前記ポイントクラウドデータのポイントのジオメトリ(ｇｅｏｍｅｔｒｙ)データを符号化する段階と、
    前記ポイントクラウドデータのポイントの特質(ａｔｔｒｉｂｕｔｅ)データを符号化する段階とを含む、請求項１に記載の方法。
  3. 前記シグナリング情報は、
    前記分割が実行されたかを示す情報及び前記分割が実行される場合の分割の方法を示す情報を含む、請求項１に記載の方法。
  4. 前記一つ以上のスライスは第１スライス及び第２スライスを含み、前記第１スライス及び前記第２スライスは前記ポイントクラウドデータを含む３次元空間の重なった領域を含む、請求項１に記載の方法。
  5. ポイントクラウドデータを処理する送信システムであって、
    前記ポイントクラウドデータを一つ以上のスライスに選択的に分割を実行するように構成された分割部であって、前記ポイントクラウドデータのポイントの数がスライス内のポイントの最大数を表すための最大個数情報より大きい場合、前記ポイントクラウドデータを一つ以上のスライスに分割することは前記ポイントクラウドデータのオクトリ（octree)に基づいて実行され、前記ポイントクラウドデータのポイントの数が前記最大個数情報より小さい場合、前記ポイントクラウドデータの一つ以上のスライスへの分割は実行されない、分割部と、
    前記分割が実行されるか否かについてにより前記ポイントクラウドデータを符号化するエンコーダと、
    前記符号化されたポイントクラウドデータ及び前記ポイントクラウドデータに対するシグナリング情報を含むビットストリームを送信する送信機とを含む、送信システム。
  6. 前記エンコーダは、
    前記ポイントクラウドデータのポイントのジオメトリ(ｇｅｏｍｅｔｒｙ)データを符号化し、前記ポイントクラウドデータのポイントの特質(ａｔｔｒｉｂｕｔｅ)データを符号化する、請求項５に記載の送信システム。
  7. 前記シグナリング情報は、前記分割が実行されるかを示す情報及び、前記分割が実行される場合の前記分割の方法を示す情報を含む、請求項５に記載の送信システム。
  8. 前記一つ以上のスライスは第１スライス及び第２スライスを含み、前記第１スライス及び前記第２スライスは前記ポイントクラウドデータを含む３次元空間の重なった領域を含む、請求項５に記載の送信システム。
  9. ポイントクラウドデータを受信する受信システムであって、
    ポイントクラウドデータと前記ポイントクラウドデータに対するシグナリング情報を含むビットストリームを受信する受信部と、
    前記ポイントクラウドデータを復号するデコーダーであって、前記ポイントクラウドデータは送信システムにより選択的に一つ以上のスライスに分割され、前記ポイントクラウドデータのポイントの数がスライス内のポイントの最大数を表すための最大個数情報より大きい場合、前記ポイントクラウドデータのオクトリ（octree)に基づいて、前記ポイントクラウドデータは一つ以上のスライスに分割され、前記ポイントクラウドデータのポイントの数が前記最大個数情報より小さい場合、前記ポイントクラウドデータは一つ以上のスライスへの分割はされない、デコーダーと、
    前記復号されたポイントクラウドデータをレンダリングするレンダーを含む、ポイントクラウドデータ受信システム。
  10. 前記デコーダーは、
    前記ポイントクラウドデータのジオメトリデータを復号するジオメトリデコーダーと、
    前記ポイントクラウドデータの特質データを復号する特質デコーダーとを含む、請求項９に記載の受信システム。
  11. 前記シグナリング情報は、前記ポイントクラウドデータが一つ又はそれ以上のスライスに分割されるか否かを示す情報と前記一つ以上のスライスに対する分割方法を示す情報を含む、請求項９に記載の受信システム。
  12. 前記一つ以上のスライスは第１スライス及び第２スライスを含み、前記第１スライス及び前記第２スライスは前記ポイントクラウドデータを含む３次元空間の重なった領域を含む、請求項９に記載の受信システム。
  13. 受信システムによるポイントクラウドデータの処理方法であって、
    ポイントクラウドデータ及び前記ポイントクラウドデータに対するシグナリング情報を含むビットストリームを受信する段階と、
    ポイントクラウドデータを復号する段階であって、
    前記ポイントクラウドデータは送信システムにより選択的に一つ以上のスライスに分割され、前記ポイントクラウドデータのポイントの数はスライス内のポイントの最大数を表すための最大個数情報より大きい場合、前記ポイントクラウドデータのオクトリ（octree)に基づいて、前記ポイントクラウドデータは一つ以上のスライスに分割され、前記ポイントクラウドデータのポイントの数が前記最大個数情報より小さい場合、前記ポイントクラウドデータは一つ以上のスライスへの分割はされない、段階と、
    前記復号されたポイントクラウドデータをレンダリングする段階とを含む、ポイントクラウドデータの処理方法。
  14. 前記復号する段階は、
    前記ポイントクラウドデータのジオメトリデータを復号する段階と、
    前記ポイントクラウドデータの特質データを復号する段階とを含む、請求項１３に記載のポイントクラウドデータの処理方法。
  15. 前記シグナリング情報は前記ポイントクラウドデータが一つ又はそれ以上のスライスに分割されるか否かを示す情報及び、前記一つ以上のスライスに対する分割方法を示す情報を含む、請求項１３に記載のポイントクラウドデータの処理方法。
  16. 前記一つ以上のスライスは第１スライス及び第２スライスを含み、前記第１スライス及び前記第２スライスは前記ポイントクラウドデータを含む３次元空間の重なった領域を含む、請求項１３に記載のポイントクラウドデータの処理方法。
JP2022509167A 2019-08-14 2020-08-12 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。 Active JP7640526B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0099819 2019-08-14
KR20190099819 2019-08-14
US202062958269P 2020-01-07 2020-01-07
US62/958,269 2020-01-07
PCT/KR2020/010661 WO2021029662A1 (ko) 2019-08-14 2020-08-12 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Publications (2)

Publication Number Publication Date
JP2022544571A JP2022544571A (ja) 2022-10-19
JP7640526B2 true JP7640526B2 (ja) 2025-03-05

Family

ID=74567375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022509167A Active JP7640526B2 (ja) 2019-08-14 2020-08-12 ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。

Country Status (4)

Country Link
US (1) US11217037B2 (ja)
EP (1) EP4002277A4 (ja)
JP (1) JP7640526B2 (ja)
CN (1) CN114270832A (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168720A (zh) * 2018-12-06 2021-07-23 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN114009046B (zh) * 2019-06-21 2025-08-19 Lg电子株式会社 用于处理点云数据的装置和方法
EP3979209A4 (en) * 2019-07-01 2022-11-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud model reconstruction method, encoder, decoder, and storage medium
JP7614168B2 (ja) * 2019-07-22 2025-01-15 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ボリュメトリックビデオコンテンツを配信するための方法および装置
US11451928B2 (en) 2019-08-14 2022-09-20 Qualcomm Incorporated Hierarchical reporting of location assistance information for positioning reference signal (PRS) resources in a multi-beam user equipment-based positioning scenario
JP7633172B2 (ja) * 2019-10-09 2025-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11461953B2 (en) * 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames
WO2021141117A1 (ja) * 2020-01-09 2021-07-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11272164B1 (en) * 2020-01-17 2022-03-08 Amazon Technologies, Inc. Data synthesis using three-dimensional modeling
TWI899162B (zh) * 2020-05-06 2025-10-01 法商內數位Ｃｅ專利控股公司 具有阿爾法層的3d場景傳輸
JP7222952B2 (ja) * 2020-07-29 2023-02-15 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
WO2022050612A1 (ko) * 2020-09-07 2022-03-10 엘지전자 주식회사 포인트 클라우드 데이터 전송장치, 포인트 클라우드 데이터 전송방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신방법
US11706450B2 (en) * 2020-09-18 2023-07-18 Samsung Electronics Co., Ltd. Partial decoding and reconstruction of a video-based point cloud compression bitstream
WO2022075079A1 (ja) * 2020-10-06 2022-04-14 ソニーグループ株式会社 情報処理装置および方法
EP4235579A4 (en) * 2020-12-25 2024-05-15 Nippon Telegraph And Telephone Corporation DECODING METHOD, DECODING DEVICE AND PROGRAM
WO2022169176A1 (ko) * 2021-02-08 2022-08-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112891945B (zh) * 2021-03-26 2022-11-18 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备及存储介质
JP7809720B2 (ja) * 2021-04-07 2026-02-02 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 光効果をサポートする容積ビデオ
CN115412716B (zh) * 2021-05-26 2024-06-04 荣耀终端有限公司 一种点云坐标转换残差的编解码方法及装置
CN115474035B (zh) * 2021-06-11 2026-03-27 鹏城实验室 点云属性编码方法、装置、解码方法、装置及相关设备
EP4113441A1 (en) * 2021-07-02 2023-01-04 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud captured by a spinning sensors head
CN117730539A (zh) * 2021-07-14 2024-03-19 Lg 电子株式会社 点云数据发送设备和方法以及点云数据接收设备和方法
CN113838069B (zh) * 2021-09-27 2024-02-06 杭州景吾智能科技有限公司 基于平面度约束的点云分割方法和系统
CN118339585A (zh) * 2021-11-23 2024-07-12 Oppo广东移动通信有限公司 几何点云编码
KR20240122473A (ko) * 2021-12-02 2024-08-12 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN116781920A (zh) * 2022-03-11 2023-09-19 腾讯科技（深圳）有限公司 点云编解码方法、装置、计算机、存储介质
EP4258213A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Methods and apparatus for entropy coding a presence flag for a point cloud and data stream including the presence flag
CN114913207B (zh) * 2022-05-26 2025-05-30 蚂蚁区块链科技(上海)有限公司 用于对货物移动进行检测的方法及装置
CN117409161A (zh) * 2022-07-06 2024-01-16 戴尔产品有限公司 点云处理方法和电子设备
WO2024042909A1 (ja) * 2022-08-26 2024-02-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号方法、符号化方法、復号装置及び符号化装置
WO2024086123A1 (en) * 2022-10-17 2024-04-25 Innopeak Technology, Inc. Decoding method, encoding method, decoder and encoder
EP4646696A1 (en) * 2023-01-06 2025-11-12 Telefonaktiebolaget LM Ericsson (publ) Encoding point data indicating a plurality of points in a three-dimensional space
US11748945B1 (en) 2023-02-14 2023-09-05 Illuscio, Inc. Systems and methods for signal-based point cloud representation
CN116543129B (zh) * 2023-05-06 2024-04-16 中交第二公路勘察设计研究院有限公司 一种基于激光点云的公路横断面地面线并行生成算法
US11875447B1 (en) * 2023-05-26 2024-01-16 Illuscio, Inc. Systems and methods for color correcting three-dimensional objects formed by point cloud data points
CN119071493A (zh) * 2023-05-31 2024-12-03 维沃移动通信有限公司 点云编码处理方法、点云解码处理方法及相关设备
JP7656662B2 (ja) 2023-08-07 2025-04-03 株式会社パスコ 点群情報変換装置、点群情報変換方法およびプログラム
WO2025067850A1 (en) * 2023-09-28 2025-04-03 Telefonaktiebolaget Lm Ericsson (Publ) Systems and methods for point cloud compression

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126890A (ja) 2016-01-14 2017-07-20 キヤノン株式会社 符号化装置及びその制御方法
WO2019065299A1 (ja) 2017-09-29 2019-04-04 ソニー株式会社 情報処理装置および方法
WO2020059826A1 (ja) 2018-09-21 2020-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2387094B (en) * 2002-03-26 2005-12-07 Imagination Tech Ltd 3-D Computer graphics rendering system
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
US9313514B2 (en) * 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
KR101772461B1 (ko) * 2014-01-14 2017-08-30 엘지전자 주식회사 RoHC 패킷 스트림 및 고속 정보를 포함하는 방송 신호의 송수신 방법 및 장치
US9286538B1 (en) 2014-05-01 2016-03-15 Hrl Laboratories, Llc Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition
US20170150176A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
EP3608876A1 (en) * 2016-09-13 2020-02-12 Dassault Systèmes Compressing a signal that represents a physical attribute
CN106407408B (zh) 2016-09-22 2019-08-16 北京数字绿土科技有限公司 一种海量点云数据的空间索引构建方法及装置
US10382770B2 (en) * 2017-02-06 2019-08-13 Google Llc Multi-level machine learning-based early termination in partition search for video encoding
US20180367818A1 (en) * 2017-06-15 2018-12-20 Futurewei Technologies, Inc. Block Partition Structure in Video Compression
EP3429209A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a point cloud representing a 3d object
EP3429207A1 (en) 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
EP4213096B1 (en) 2018-01-18 2026-04-22 Malikie Innovations Limited Methods and devices for entropy coding point clouds
CN113748681B (zh) * 2019-01-09 2024-04-26 腾讯美国有限责任公司 动态点云分区打包方法、装置和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126890A (ja) 2016-01-14 2017-07-20 キヤノン株式会社 符号化装置及びその制御方法
WO2019065299A1 (ja) 2017-09-29 2019-04-04 ソニー株式会社 情報処理装置および方法
WO2020059826A1 (ja) 2018-09-21 2020-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210168400A1 (en) 2018-09-21 2021-06-03 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Also Published As

Publication number Publication date
CN114270832A (zh) 2022-04-01
JP2022544571A (ja) 2022-10-19
EP4002277A4 (en) 2023-02-22
US11217037B2 (en) 2022-01-04
EP4002277A1 (en) 2022-05-25
US20210049828A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
JP7640526B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP7775351B2 (ja) ポイントクラウドデータ処理方法及び装置
KR102609776B1 (ko) 포인트 클라우드 데이터 처리 방법 및 장치
JP7307260B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
KR102548048B1 (ko) 포인트 클라우드 데이터 전송 장치, 전송 방법, 처리 장치 및 처리 방법
JP7798974B2 (ja) ポイントクラウドデータ処理装置及び方法
JP2024071473A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP7448660B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US20220383552A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102423498B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7640542B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP7425207B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2022538857A (ja) ポイントクラウドデータ処理装置及び方法
US12260600B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220230360A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220351421A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US12579694B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method that include scalability enable flag information
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
KR20240108387A (ko) 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
CN114402624A (zh) 点云数据处理设备和方法
US20230386088A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN116438799A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
KR20240101564A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250220

R150 Certificate of patent or registration of utility model

Ref document number: 7640526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150