JP7653064B2 - 情報処理装置および方法 - Google Patents

Description

本開示は、情報処理装置および方法に関し、特に、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができるようにした情報処理装置および方法に関する。

従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法が考えられた（例えば非特許文献１参照）。また、このポイントクラウドの符号化データをスケーラブルに復号することができるようにする符号化方法が提案された（例えば非特許文献２参照）。非特許文献２に記載の方法の場合、アトリビュートデータの参照構造をジオメトリデータの木構造と同様にすることにより、スケーラブルな復号を実現する。

ところで、このようなポイントクラウドの符号化の際に、ジオメトリデータをスケーリングし、ポイントを間引く方法が提案された（例えば非特許文献３参照）。

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf Ohji Nakagami, Satoru Kuma, "[G-PCC] Spatial scalability support for G-PCC", ISO/IEC JTC1/SC29/WG11 MPEG2019/m47352, March 2019, Geneva, CH Xiang Zhang, Wen Gao, Sehoon Yea, Shan Liu, "[G-PCC][New proposal] Signaling delta QPs for adaptive geometry quantization in point cloud coding", ISO/IEC JTC1/SC29/WG11 MPEG2019/m49232, July 2019 Gothenburg, Sweden

しかしながら、非特許文献３に記載のようにジオメトリデータをスケーリングし、ポイントを間引くとジオメトリデータの木構造が変化する。そのため、アトリビュートデータの参照構造とジオメトリデータの木構造との間で不一致が生じ、スケーラブルな復号ができなくなるおそれがあった。換言するに、非特許文献３に記載のようにジオメトリデータをスケーリングする場合にスケーラブルな復号を実現するためには、ジオメトリデータのスケーリングに対応させてアトリビュートデータの参照構造を形成する必要があった。つまり、スケーラブルな復号が可能となるようにポイントクラウドデータを符号化するためには、ジオメトリデータのスケーリングを行うか否かによってアトリビュートデータ参照構造を変えなければならず、煩雑な処理が必要になるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができるようにするものである。

本技術の一側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する符号化制御部を備える情報処理装置である。

本技術の一側面の情報処理方法は、情報処理装置が、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御される。

ジオメトリデータの階層化の例を説明する図である。 Liftingの例を説明する図である。 Liftingの例を説明する図である。 Liftingの例を説明する図である。 量子化の例を説明する図である。 アトリビュートデータの階層化の例を説明する図である。 アトリビュートデータの逆階層化の例を説明する図である。 ジオメトリスケーリングの例を説明する図である。 ジオメトリスケーリングの例を説明する図である。 アトリビュートデータの階層化の例を説明する図である。 符号化制御の例を説明する図である。 セマンティクスの例を説明する図である。 プロファイルの例を説明する図である。 シンタックスの例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 ジオメトリデータ符号化部の主な構成例を示すブロック図である。 アトリビュートデータ符号化部の主な構成例を示すブロック図である。 符号化制御処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 ジオメトリデータ符号化処理の流れの例を説明するフローチャートである。 アトリビュートデータ符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．符号化制御
２．第１の実施の形態（符号化装置）
３．第２の実施の形態（復号装置）
４．付記

＜１．符号化制御＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US

つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。

＜ポイントクラウド＞
従来、ポイントの位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。

例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数のポイントにより表現する。ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、各ポイントのジオメトリデータ（位置情報とも称する）とアトリビュートデータ（属性情報とも称する）とにより構成される。アトリビュートデータは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートデータに含まれるようにしてもよい。このようにポイントクラウドデータは、データ構造が比較的単純であるとともに、十分に多くのポイントを用いることにより任意の立体構造物を十分な精度で表現することができる。

＜ボクセルを用いた位置情報の量子化＞
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、ジオメトリデータ（位置情報）を量子化するための３次元領域である。

つまり、ポイントクラウドを内包する３次元領域（バウンディングボックス（Bounding box）とも称する）をボクセルと称する小さな３次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示すようにする。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド（Point cloud）データをこのようなボクセルのデータ（ボクセル（Voxel）データとも称する）に変換することにより、情報量の増大を抑制する（典型的には情報量を削減する）ことができる。

例えば、図１のＡに示されるように、バウンディングボックス１０が、小さな四角形で示される複数のボクセル１１－１に分割されるとする。なお、ここでは説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、バウンディングボックス１０は３次元空間領域であり、ボクセル１１－１は、直方体（立方体を含む）の小領域である。図１のＡにおいて黒丸で示されるポイントクラウドデータの各ポイント１２－１は、このボクセル１１－１毎に配置されるように、そのジオメトリデータ（位置情報）が補正される。つまり、このボクセルを単位としてジオメトリデータが量子化される。なお、図１のＡのバウンディングボックス１０内の全ての四角がボクセル１１－１であり、図１のＡに示される全ての黒丸がポイント１２－１である。

＜木構造（Octree）＞
さらに、ジオメトリデータを木構造化することにより、ジオメトリデータをスケーラブルに復号することができるようにする方法が考えられた。つまり、その木構造の最上位層から任意の階層までのノードを復号することができるようにすることにより、最高解像度（最下位層）でのジオメトリデータの復元だけでなく、より低解像度（途中階層）でのジオメトリデータの復元も可能になる。つまり、不要な階層（解像度）の情報を復号せずに、任意の解像度で復号することができる。

この木構造はどのようなものであってもよい。例えば、KD木（KD Tree）やオクツリー（Octree）等がある。オクツリーは８分木であり、３次元空間領域の分割（x,y,zの各方向に２分割）に適している。つまり、上述のように、バウンディングボックス１０を複数のボクセルに分割する構造に適している。

例えば、１つのボクセルがx,y,zの各方向に２分割されて（すなわち８分割されて）１つ下位の階層（LoDとも称する）のボクセルが形成される。換言するに、x,y,zの各方向に並ぶ２つのボクセル（すなわち８個のボクセル）が統合されて、１つ上位の階層（LoD）のボクセルが形成される。このような構造を再帰的に繰り返すことにより、ボクセルを用いてオクツリーを構築することができる。

そして、ボクセルデータでは、各ボクセルがポイントを内包するか否かが示される。換言するに、ボクセルデータでは、ボクセルサイズの解像度でポイントの位置が表現される。したがって、ボクセルデータを用いてオクツリーを構築することにより、ジオメトリデータの解像度のスケーラビリティを実現することができる。つまり、任意の位置に点在するポイントを木構造化するよりも、ボクセルデータを木構造化する方が、より容易にジオメトリデータのオクツリーを構築することができる。

例えば図１のＡの場合、２次元なので、図１のＢのように上下左右に並ぶ４つのボクセル１１－１が統合されて、太線で示される１階層上のボクセル１１－２が形成される。そしてこのボクセル１１－２を用いてジオメトリデータが量子化される。つまり、ボクセル１１－２内に、ポイント１２－１（図１のＡ）が存在する場合、その位置を補正することにより、そのポイント１２－１が、ボクセル１１－２に対応するポイント１２－２に変換される。なお、図１のＢにおいては１つのボクセル１１－１にのみ符号を付しているが、図１のＢのバウンディングボックス１０内の点線で示される全ての四角がボクセル１１－１である。同様に、図１のＢにおいては１つのボクセル１１－２にのみ符号を付しているが、図１のＢのバウンディングボックス１０内の太線で示される全ての四角がボクセル１１－２である。同様に、図１のＢにおいては１つのポイント１２－２にのみ符号を付しているが、図１のＢに示される全ての黒丸がポイント１２－２である。

同様に、図１のＣのように、上下左右に並ぶ４つのボクセル１１－２が統合されて、太線で示される１つ上位のボクセル１１－３が形成される。そしてこのボクセル１１－３を用いてジオメトリデータが量子化される。つまり、ボクセル１１－３内に、ポイント１２－２（図１のＢ）が存在する場合、その位置を補正することにより、そのポイント１２－２が、ボクセル１１－３に対応するポイント１２－３に変換される。なお、図１のＣにおいては１つのボクセル１１－２にのみ符号を付しているが、図１のＣのバウンディングボックス１０内の点線で示される全ての四角がボクセル１１－２である。同様に、図１のＣにおいては１つのボクセル１１－３にのみ符号を付しているが、図１のＣのバウンディングボックス１０内の太線で示される全ての四角がボクセル１１－３である。同様に、図１のＣにおいては１つのポイント１２－３にのみ符号を付しているが、図１のＣに示される全ての黒丸がポイント１２－３である。

同様に、図１のＤのように、上下左右に並ぶ４つのボクセル１１－３が統合されて、太線で示される１つ上位のボクセル１１－４が形成される。そしてこのボクセル１１－４を用いてジオメトリデータが量子化される。つまり、ボクセル１１－４内に、ポイント１２－３（図１のＣ）が存在する場合、その位置を補正することにより、そのポイント１２－３が、ボクセル１１－４に対応するポイント１２－４に変換される。なお、図１のＤにおいては、１つのボクセル１１－３にのみ符号を付しているが、図１のＤのバウンディングボックス１０内の点線で示される全ての四角がボクセル１１－３である。

このようにすることにより、ジオメトリデータが木構造化（オクツリー化）される。

＜リフティング＞
これに対してアトリビュートデータを符号化する際は、符号化による劣化を含めジオメトリデータを既知であるものとして、点間の位置関係を利用して符号化を行う。このようなアトリビュートデータの符号化方法として、RAHT（Region Adaptive Hierarchical Transform）や、非特許文献４に記載のようなリフティング（Lifting）と称する変換を用いる方法が考えられた。これらの技術を適用することにより、ジオメトリデータのオクツリーのように、アトリビュートデータの参照構造（参照関係）を階層化（木構造化）することもできる。

例えばリフティングの場合、各ポイントのアトリビュートデータは、他のポイントのアトリビュートデータを用いて導出される予測値との差分値として符号化される。そして、その差分値の導出（つまり予測値の導出）を行うポイントが階層的に選択される。

例えば、図２のＡに示される階層において、丸で示される各ポイント（P0乃至P9）の内、白丸で示されるポイントP7、P8、P9が、予測値が導出されるポイントである予測ポイントとして選択され、それ以外のポイントP0乃至P6は、その予測値導出の際にアトリビュートデータを参照されるポイントである参照ポイントとして選択されるように設定される。つまり、この階層においては、予測ポイントP7乃至P9のそれぞれについて、アトリビュートデータとその予測値との差分値が導出される。

なお、図２においては説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、各ポイントP0乃至P6は、３次元空間に配置されている。

図２のＡの各矢印は、予測値を導出する際の参照関係を示す。例えば、予測ポイントP7の予測値は、参照ポイントP0およびP1のアトリビュートデータを参照して導出される。また、予測ポイントP8の予測値は、参照ポイントP2およびP3のアトリビュートデータを参照して導出される。さらに、予測ポイントP9の予測値は、参照ポイントP4乃至P6のアトリビュートデータを参照して導出される。そして、予測ポイントP7乃至P9のそれぞれについて、上述のように算出された予測値とアトリビュートデータとの差分値が導出される。

その１つ上位の階層においては、図２のＢに示されるように、図２のＡの階層（１つ下位の階層）において参照ポイントに選択されたポイント（P0乃至P6）に対して、図２のＡの階層の場合と同様の予測ポイントと参照ポイントとの分類（仕分け）が行われる。

例えば、図２のＢにおいてグレーの丸で示されるポイントP1、P3、P6が予測ポイントとして選択され、黒丸で示されるポイントP0、P2、P4、P5が参照ポイントとして選択される。つまり、この階層においては、予測ポイントP1、P3、P6のそれぞれについて、アトリビュートデータとその予測値との差分値が導出される。

図２のＢの各矢印は、予測値を導出する際の参照関係を示す。例えば、予測ポイントP1の予測値は、参照ポイントP0およびP2のアトリビュートデータを参照して導出される。また、予測ポイントP3の予測値は、参照ポイントP2およびP4のアトリビュートデータを参照して導出される。さらに、予測ポイントP6の予測値は、参照ポイントP4およびP5のアトリビュートデータを参照して導出される。そして、予測ポイントP1,P3,P6のそれぞれについて、上述のように算出された予測値とアトリビュートデータとの差分値が導出される。

その１つ上位の階層においては、図２のＣに示されるように、図２のＢの階層（１つ下位の階層）において参照ポイントに選択されたポイント（P0、P2、P4、P5）の分類（仕分け）と、各予測ポイントの予測値の導出と、予測値とアトリビュートデータとの差分値の導出とが行われる。

このような分類を、１つ下位の階層の参照ポイントに対して再帰的に繰り返すことにより、アトリビュートデータの参照構造が階層化される。

＜ポイントの分類＞
このようなリフティングにおけるポイントの分類（仕分け）の手順をより具体的に説明する。リフティングにおいてポイントの分類は、上述のように下位層から上位層に向かう順に行われる。各階層においては、まず、各ポイントをモートンコード順に整列させる。次に、そのモートンコード順に並ぶポイントの列の先頭のポイントを参照ポイントに選択する。次に、その参照ポイントの近傍に位置するポイント（近傍点）を探索し、探索されたポイント（近傍点）を予測ポイント（インデックスポイントとも称する）に設定する。

例えば、図３に示されるように、処理対象の参照ポイント２１を中心に半径Ｒの円２２内においてポイントを探索する。この半径Ｒは階層毎に予め設定されている。図３の例の場合、ポイント２３－１乃至ポイント２３－４が検出され、予測ポイントに設定される。

なお、図３においては説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、各ポイントは、３次元空間に配置されており、ポイントの探索は、半径Ｒの球状の領域内において行われる。

次に、残りのポイントについて同様の分類を行う。つまり、現時点において参照ポイントにも予測ポイントにも選択されていないポイントの内、モートンコード順に先頭のポイントを参照ポイントに選択し、その参照ポイント近傍のポイントを探索し、予測ポイントに設定する。

全てのポイントを分類するまで上述の処理を繰り返したら、その階層の処理が終了し、処理対象が１つ上位の階層に移る。そして、その階層について、上述の手順が繰り返される。つまり、１つ下位の階層において参照ポイントに選択された各ポイントがモートンコード順に整列され、上述のように参照ポイントと予測ポイントに分類される。以上のような処理を繰り返すことにより、アトリビュートデータの参照構造が階層化される。

＜予測値の導出＞
また上述したようにリフティングの場合、予測ポイントのアトリビュートデータの予測値は、その予測ポイント周辺の参照ポイントのアトリビュートデータを用いて導出される。例えば、図４に示されるように、予測ポイントQ(i,j)の予測値を、参照ポイントP1乃至P3のアトリビュートデータを参照して導出するとする。

なお、図４においては説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、各ポイントは、３次元空間に配置されている。

この場合、以下の式（１）のように、各参照ポイントのアトリビュートデータが、予測ポイントとその参照ポイントとの距離（実際には３次元空間上の距離）の逆数に応じた重み値（α(P,Q(i,j))）により重み付けされて統合されて導出される。ここでA(P)は、ポイントPのアトリビュートデータを示す。

非特許文献４に記載の方法では、この予測ポイントとその参照ポイントとの距離の導出に、最高解像度（つまり最下位層）の位置情報が用いられていた。
＜量子化＞
また、アトリビュートデータは、上述のように階層化された後、量子化されて符号化される。その量子化の際に、各ポイントのアトリビュートデータ（差分値）は、階層構造に応じて図５の例のように重み付けされる。この重み値（Quantization Weight）Ｗは、図５に示されるように、下位層の重み値を用いてポイント毎に導出される。なお、この重み値は、圧縮効率を向上させるために、リフティング（アトリビュートデータの階層化）においても利用され得る。

＜木構造の不一致＞
非特許文献４に記載のリフティングの場合、上述したようにアトリビュートデータの参照構造の階層化の方法は、ジオメトリデータの木構造化（例えばオクツリー化）の場合と異なる。したがって、アトリビュートデータの参照構造がジオメトリデータの木構造と一致することが保証されない。そのため、アトリビュートデータを復号するために、その階層に関わらず、ジオメトリデータを最下位層まで復号する必要があった。つまり、不要な情報を復号せずにポイントクラウドデータのスケーラブルな復号を実現することが困難であった。

＜ポイントクラウドデータのスケーラブルな復号の実現＞
そこで、非特許文献２に記載のように、アトリビュートデータの参照構造をジオメトリデータの木構造と同様にする方法が提案された。より具体的には、アトリビュートデータの参照構造を構築する際に、カレント階層のポイントが存在するボクセルが属する１つ上位階層のボクセルにもポイントが存在するように予測ポイントを選択するようにする。このようにすることにより、不要な情報を復号せずに所望の解像度でポイントクラウドデータを復号することができる。すなわち、ポイントクラウドデータのスケーラブルな復号を実現することができる。

例えば、図６のＡに示されるように、所定の３次元空間領域であるバウンディングボックス１００において、ポイント１０２－１乃至ポイント１０２－９が所定の階層のボクセル１０１－１毎に配置されているとする。なお、図６においては、説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、バウンディングボックスは３次元空間領域であり、ボクセルは、直方体（立方体を含む）の小領域である。ポイントは、３次元空間に配置される。

なお、ボクセル１０１－１乃至ボクセル１０１－３を互いに区別して説明する必要が無い場合、ボクセル１０１と称する。また、ポイント１０２－１乃至ポイント１０２－９を互いに区別して説明する必要が無い場合、ポイント１０２と称する。

この階層において、図６のＢに示されるように、ポイント１０２－１乃至ポイント１０２－９が存在するボクセル１０１－１の１つ上位階層のボクセル１０１－２にもポイントが存在するように、ポイント１０２－１乃至ポイント１０２－９を予測ポイントと参照ポイントに分類する。図６のＢの例では、白丸で示されるポイント１０２－３、ポイント１０２－５、およびポイント１０２－８が予測ポイントに設定され、その他のポイントが参照ポイントに設定されている。

１つ上位の階層においても同様に、ポイント１０２－１、ポイント１０２－２、ポイント１０２－４、ポイント１０２－６、ポイント１０２－７、ポイント１０２－９が存在するボクセル１０１－２の１つ上位階層のボクセル１０１－３にもポイントが存在するように、これらのポイント１０２を予測ポイントと参照ポイントに分類する（図６のＣ）。図６のＣの例では、グレーの丸で示されるポイント１０２－１、ポイント１０２－４、およびポイント１０２－７が予測ポイントに設定され、その他のポイントが参照ポイントに設定されている。

このようにすることにより、図６のＤに示されるように、下位層においてポイント１０２が存在するボクセル１０１－３には、ポイント１０２が１つ存在するように階層化される。このような処理を各階層について行う。つまり、アトリビュートデータの参照構造を構築する際（各階層における予測ポイントと参照ポイントとの分類の際）にこのような処理を行うことにより、アトリビュートデータの参照構造をジオメトリデータの木構造（オクツリー）と同様にすることができる。

復号は、例えば図７のように、図６の逆順で行われる。例えば、図７のＡに示されるように、所定のバウンディングボックス１００において、ポイント１０２－２、ポイント１０２－６、ポイント１０２－９が所定の階層のボクセル１０１－３毎に配置されているとする（図６のＤと同様の状態）。なお、図７においても、説明の簡略化のため３次元空間を２次元平面として説明している。つまり、実際には、バウンディングボックスは３次元空間領域であり、ボクセルは、直方体（立方体を含む）の小領域である。ポイントは、３次元空間に配置される。

この１つ下位の階層においては、図６のＢに示されるように、ボクセル１０１－３毎のポイント１０２－２、ポイント１０２－６、ポイント１０２－９のアトリビュートデータを用いて、ポイント１０２－１、ポイント１０２－４、ポイント１０２－７の予測値を導出して差分値に加算し、ボクセル１０１－２毎のポイント１０２のアトリビュートデータを復元する（図６のＣと同様の状態）。

さらに、１つ下位の階層においても同様に、図７のＣに示されるように、ボクセル１０１－２毎のポイント１０２－１、ポイント１０２－２、ポイント１０２－４、ポイント１０２－６、ポイント１０２－７、ポイント１０２－９のアトリビュートデータを用いて、ポイント１０２－３、ポイント１０２－５、ポイント１０２－８の予測値を導出して差分値に加算し、アトリビュートデータを復元する（図６のＢと同様の状態）。

このようにすることにより、図７のＤに示されるように、ボクセル１０１－１毎のポイント１０２のアトリビュートデータが復元される（図６のＡと同様の状態）。つまり、オクツリーの場合と同様に、上位階層のアトリビュートデータを用いて各階層のアトリビュートデータを復元することができる。

このようにすることにより、アトリビュートデータの参照構造（階層構造）をジオメトリデータの木構造（階層構造）に対応付けることができる。したがって、中間解像度においても各アトリビュートデータに対応するジオメトリデータが得られるので、その中間解像度でジオメトリデータおよびアトリビュートデータを正しく復号することができる。つまり、ポイントクラウドデータのスケーラブルな復号を実現することができる。

＜ジオメトリスケーリング＞
ところで、非特許文献３に記載のように、ポイントクラウドの符号化の際に、ジオメトリデータをスケーリングし、ポイントを間引くジオメトリスケーリング（Geometry Scaling）という方法が提案された。ジオメトリスケーリングでは、符号化の際にノードのジオメトリデータを量子化する。この処理により、符号化対象の領域の特性に応じて、点を間引くことができる。

例えば、図８のＡに示されるように、Ｘ座標がそれぞれ、１００、１０１、１０２、１０３、１０４、１０５の６つのポイント（point1乃至point6）を処理対象とする。なお、ここでは、説明を簡略するため、Ｘ座標についてのみ説明する。つまり、実際には、ポイントは３次元空間上に配置されるため、Ｙ座標やＺ座標についても、以下に説明するＸ座標の場合と同様の処理が行われる。

このような６ポイントに対してジオメトリスケーリングが適用される場合、量子化のパラメータbaseQPの値に応じて、図８のＢに示される表のように、各ポイントのＸ座標のスケーリングが行われる。baseQP = 0の場合、スケーリングが行われないので、各ポイントのＸ座標は、図８のＡに示される座標のままとなる。例えば、baseQP = 4の場合、point2のＸ座標が１０１から１０２にスケーリングされ、point4のＸ座標が１０３から１０４にスケーリングされ、point6のＸ座標が１０５から１０６にスケーリングされる。

このスケーリングにより複数のポイントのＸ座標が重畳した場合、マージすることができる。例えば、mergeDuplicatePoint=1の場合、このような重複点がマージされ、１つのポイントとされる。mergeDuplicatePointは、このような重複点のマージを行うか否かを示すフラグ情報である。つまり、このようなマージにより、ポイントが間引かれる（ポイント数が低減する）。例えば、図８のＢの表の各行において、このようなマージにより、グレーで示されるポイントを間引くことができる。例えば、baseQP = 4の場合、太線で示される４ポイント（point2乃至point5）については、ポイント数が２分の１に低減される。

ポイントクラウドデータのスケーラブルな復号を実現するために、非特許文献２に記載のようにアトリビュートデータの階層化を行う場合、ジオメトリデータの符号化データの復号結果に基づいてジオメトリデータの木構造の推定が行われる。つまり、推定したジオメトリデータの木構造と同様になるように、アトリビュートデータの参照構造が形成される。

＜ジオメトリスケーリングによる木構造の不一致＞
ところが上述のようにジオメトリスケーリングが適用されると、ジオメトリデータの符号化データの復号結果においては、ポイントが間引かれている可能性がある。ポイントが間引かれている場合、実際のジオメトリデータの木構造を推定することができない可能性がある。つまり、木構造の推定結果と、実際の木構造（間引かれる前のポイントに対応する木構造）とで不一致が生じるおそれがある。そのような場合、ポイントクラウドデータのスケーラブルな復号を実現することができないおそれがあった。

図８のＢのbaseQP = 4の場合を例に説明する。図８のＡに示される表の各ポイント（point1乃至point6）に対応する木構造が図９に示されるような木構造であるとする。この木構造のノード１２１－１乃至ノード１２１－６が図８のＡに示される表の各ポイント（point1乃至point6）に対応する。つまり、この木構造の最下位層（第３層）のノード１２１－１乃至ノード１２１－６のＸ座標がそれぞれ、１００、１０１、１０２、１０３、１０４、１０５であるとする。

図９の木構造は、以下の２つのルールが適用されている。１つ目は、第３層の１つ上位の階層（第２層）においては、第３層のＸ座標が１００のノードと１０１のノード、Ｘ座標が１０２のノードと１０３のノード、Ｘ座標が１０４のノードと１０５のノードが、それぞれまとめられる、というルールである。２つ目は、最上位層（第１層）においては、第２層の全ノードがまとめられる、というルールである。

つまり、第３層のノード１２１－１およびノード１２１－２は第２層のノード１２２－１に属する。第３層のノード１２１－３およびノード１２１－４は第２層のノード１２２－２に属する。第３層のノード１２１－５およびノード１２１－６は第２層のノード１２２－３に属する。また、第２層のノード１２２－１乃至ノード１２２－３は、第１層のノード１２３に属する。

ジオメトリスケーリングが行われると、ノード１２１－２のＸ座標が１０１から１０２にスケーリングされ、ノード１２１－４のＸ座標が１０３から１０４にスケーリングされ、ノード１２１－６のＸ座標が１０５から１０６にスケーリングされる。これにより、ノード１２１－２とノード１２１－３のＸ座標が重複するのでマージされ、ノード１２１－３が間引かれる。同様に、ノード１２１－４とノード１２１－５がマージされてノード１２１－５が間引かれる。これにより、第３層においては、ノード１２１－１、ノード１２１－２、ノード１２１－４、およびノード１２１－６が符号化される。

アトリビュートデータの符号化においては、ジオメトリデータの符号化データの復号結果として、最高解像度のジオメトリデータが得られる。つまり、図９の例の場合、ノード１２１－１、ノード１２１－２、ノード１２１－４、およびノード１２１－６が得られる。そして、これらの４つのポイント（４ノード）からジオメトリデータの木構造が推定される。

その場合、同様の木構造を形成するために、図９の例の場合と同様のルールが適用される。つまり、第３層の１つ上位の階層（第２層）においては、第３層のＸ座標が１００のノードと１０１のノード、Ｘ座標が１０２のノードと１０３のノード、Ｘ座標が１０４のノードと１０５のノードが、それぞれまとめられる。また、最上位層（第１層）においては、第２層の全ノードがまとめられる。

これにより、図１０に示されるような木構造が推定される。つまり、第３層のノード１２１－１は第２層のノード１２４－１に属する。第３層のノード１２１－２は第２層のノード１２４－２に属する。第３層のノード１２１－４は第２層のノード１２４－３に属する。第３層のノード１２１－６は第２層のノード１２４－４に属する。また、第２層のノード１２４－１乃至ノード１２４－４は、第１層のノード１２５に属する。

図９と図１０を比較して明らかなように、これらの木構造は不一致となる。例えば、復号する階層を示すパラメータskipOctreeLayerの値が「１」である（skipOctreeLayer = 1）とする。つまり、第２層を復号する場合、図９に示されるように、ジオメトリデータは３つのノードが得られる。これに対して図１０に示されるように、アトリビュートデータは４つのノードが得られる。このように、木構造が不一致となることにより、不要な情報を復号せずに所望の階層の復号結果を得ることが困難であった。つまり、ポイントクラウドデータのスケーラブルな復号を実現することが困難であった。

換言するに、ポイントクラウドデータのスケーラブルな復号を実現するためには、このようなジオメトリスケーリングを考慮して木構造の推定を行わなければならない。つまり、ジオメトリスケーリングが行われる場合と行われない場合とで木構造の推定方法を変える等の煩雑な処理が必要であった。また、複数の推定方法を用意することにより、コストが増大するおそれがあった。

また、ジオメトリスケーリングにおいて、重複点を間引く際に、その間引き方（重複する複数のポイントの内、どのポイントを間引くか）は規定されておらず、設計に依存する。つまり、ジオメトリスケーリングに対応する木構造の推定方法は、そのジオメトリスケーリングの設計に応じて新規に設計しなければならず、コストが増大するおそれがあった。

＜符号化方法の制限＞
そこで、図１１に示される表の１番上の行に記載のように、適用可能な符号化方法を制限し、スケーラブル復号可能な符号化とジオメトリデータの木構造を更新する処理との併用を禁止する。

つまり、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御するようにする。

例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する符号化制御部を備えるようにする。

つまり、スケーラブル符号化を適用する場合は、スケーリング符号化の適用を禁止し、スケーリング符号化を適用する場合は、スケーラブル符号化の適用を禁止する。このようにすることにより、スケーラブル符号化を行う場合において、アトリビュートデータの参照構造とジオメトリデータの木構造との不一致の発生を抑制することができる。したがって、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

なお、スケーラブル符号化は、スケーラブルに復号可能な符号化データを生成する符号化方法であればどのような方法であってもよい。例えば、非特許文献２に記載のような、アトリビュートデータを、ジオメトリデータの木構造と同様の参照構造でリフティングして符号化するリフティングスケーラビリティ（Lifting Scalability）であるようにしてもよい。つまり、リフティングスケーラビリティとスケーリング符号化との併用を禁止するように符号化を制御してもよい。

また、スケーリング符号化は、ジオメトリデータの木構造の変更を伴う符号化方法であればどのような方法であってもよい。例えば、非特許文献３に記載のような、ジオメトリデータをスケーリングして符号化するジオメトリスケーリング（Geometry Scaling）であるようにしてもよい。つまり、スケーラブル符号化とジオメトリスケーリングとの併用を禁止するように制御してもよい。

もちろん、図１１に示される表の上から２番目の行に記載のように、リフティングスケーラビリティ（Lifting Scalability）とジオメトリスケーリング（Geometry Scaling）との併用を禁止してもよい（方法１）。

その際、符号化制御部が、スケーラブル符号化を適用する場合に、スケーリング符号化の適用を禁止するように制御してもよい。例えば、図１１に示される表の上から３番目の行に記載のように、リフティングスケーラビリティを適用する場合に、ジオメトリスケーリングの適用を禁止してもよい（方法１－１）。

また、符号化制御部が、スケーリング符号化を適用する場合に、スケーラブル符号化の適用を禁止するように制御してもよい。例えば、図１１に示される表の上から４番目の行に記載のように、ジオメトリスケーリングを適用する場合に、リフティングスケーラビリティの適用を禁止してもよい（方法１－２）。

また、このような制御を行うために、例えば、図１１に示される表の上から５番目の行に記載のように、スケーラブル符号化とスケーリング符号化の適用を許可するか否か（または禁止するか否か）を示すフラグ情報（許可フラグまたは禁止フラグ）を設定してもよい（方法２）。

例えば、符号化制御部が、スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグと、スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグとのシグナリングを制御してもよい。

例えば、図１１に示される表の上から６番目の行に記載のように、セマンティクスにおいてこのような制限を規定するようにしてもよい（方法２－１）。例えば、セマンティクスにおいて、スケーラブル符号化の適用を示す値のスケーラブル符号化イネーブルフラグをシグナリングする場合、スケーリング符号化の非適用を示す値のスケーリング符号化イネーブルフラグをシグナリングするように規定し、符号化制御部がそのセマンティクスに従ってシグナリングを行うようにしてもよい。また、セマンティクスにおいて、スケーリング符号化の適用を示す値のスケーリング符号化イネーブルフラグをシグナリングする場合、スケーラブル符号化の非適用を示す値のスケーラブル符号化イネーブルフラグをシグナリングするように規定し、符号化制御部がそのセマンティクスに従ってシグナリングを行うようにしてもよい。

図１２にその場合のセマンティクスの例を示す。例えば、図１２に示されるセマンティクス１６１では、geom_scaling_enabled_flagの値が０より大きい場合、lifting_scalability_enabled_flagの値を０にしなければならないことが規定されている。ここで、geom_scaling_enabled_flagは、ジオメトリスケーリングを適用するか否かを示すフラグ情報である。geom_scaling_enabled_flag = 1の場合、ジオメトリスケーリングが適用される。また、geom_scaling_enabled_flag = 0の場合、ジオメトリスケーリングが適用されない。lifting_scalability_enabled_flagは、リフティングスケーラビリティを適用するか否かを示すフラグ情報である。lifting_scalability_enabled_flag = 1の場合、リフティングスケーラビリティが適用される。また、lifting_scalability_enabled_flag = 0の場合、リフティングスケーラビリティが適用されない。

つまり、このセマンティクス１６１では、ジオメトリスケーリングが適用される場合、リフティングスケーラビリティの適用が禁止されている。なお、これとは逆に、セマンティクスにおいて、リフティングスケーラビリティが適用される場合、ジオメトリスケーリングの適用が禁止されるようにしてもよい。つまり、セマンティクスにおいて、lifting_scalability_enabled_flagの値が０より大きい場合、geom_scaling_enabled_flagの値を０にしなければならないことを規定してもよい。

また、例えば、図１１に示される表の上から７番目の行に記載のように、プロファイルにおいてこのような制限に基づくシグナリングを行うようにしてもよい（方法２－２）。例えば、スケーラブル符号化を適用する場合、符号化制御部が、プロファイルにおいて、スケーラブル符号化の適用を示す値のスケーラブル符号化イネーブルフラグと、スケーリング符号化の非適用を示す値のスケーリング符号化イネーブルフラグとをシグナリングするように制御してもよい。また、スケーリング符号化を適用する場合、符号化制御部が、プロファイルにおいて、スケーリング符号化の適用を示す値のスケーリング符号化イネーブルフラグと、スケーラブル符号化の非適用を示す値のスケーラブル符号化イネーブルフラグとをシグナリングするように制御してもよい。

図１３にリフティングスケーラビリティを適用する場合のプロファイルの例を示す。例えば、図１３に示されるプロファイル１６２では、lifting_scalability_enabled_flag = 1とgeom_scaling_enabled_flag = 0がシグナリングされている。つまり、このプロファイル１６２においては、リフティングスケーラビリティを適用し、ジオメトリスケーリングを非適用とすることが示されている。

なお、ジオメトリスケーリングを適用する場合のプロファイルにおいて、geom_scaling_enabled_flag = 1と、lifting_scalability_enabled_flag = 0とをシグナリングしてもよい。

さらに、例えば、図１１に示される表の１番下の行に記載のように、シンタックスにおいてこのような制限を規定するようにしてもよい（方法２－３）。例えば、スケーラブル符号化の適用を示す値のスケーラブル符号化イネーブルフラグをシグナリングする場合、符号化制御部が、上述のようなシンタックスに従って、スケーリング符号化イネーブルフラグのシグナリングを省略するように制御してもよい。また、スケーリング符号化の適用を示す値のスケーリング符号化イネーブルフラグをシグナリングする場合、符号化制御部が、上述のようなシンタックスに従って、スケーラブル符号化イネーブルフラグのシグナリングを省略するように制御してもよい。

図１４にその場合のシンタックスの例を示す。例えば、図１４に示されるシンタックス１６３では、geom_scaling_enabled_flagをシグナリングしない場合（つまり、値が「０」とされ、ジオメトリスケーリングが非適用とされる場合）のみ、lifting_scalability_enabled_flagがシグナリングされる。つまり、この場合、リフティングスケーラビリティを適用することができる。換言するに、ジオメトリスケーリングを適用可能な場合（すなわちgeom_scaling_enabled_flagがシグナリングされる場合）、lifting_scalability_enabled_flagはシグナリングされない（つまり、値が「０」とされ、リフティングスケーラビリティが非適用とされる）。

なお、これとは逆に、lifting_scalability_enabled_flagをシグナリングしない場合（つまり、値が「０」とされ、リフティングスケーラビリティが非適用とされる場合）のみ、geom_scaling_enabled_flagがシグナリングされるようにしてもよい。つまり、この場合、ジオメトリスケーリングを適用することができる。換言するに、リフティングスケーラビリティを適用可能な場合（すなわちlifting_scalability_enabled_flagがシグナリングされる場合）、geom_scaling_enabled_flagはシグナリングされない（つまり、値が「０」とされ、ジオメトリスケーリングが非適用とされる）ようにしてもよい。

＜２．第１の実施の形態＞
＜符号化装置＞
次に、＜１．符号化制御＞において上述した本技術を適用する装置について説明する。図１５は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１５に示される符号化装置２００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置２００は、＜１．符号化制御＞において上述した本技術を適用してポイントクラウドを符号化する。

なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、符号化装置２００において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１５に示されるように符号化装置２００は、符号化制御部２０１、ジオメトリデータ符号化部２１１、ジオメトリデータ復号部２１２、ポイントクラウド生成部２１３、アトリビュートデータ符号化部２１４、およびビットストリーム生成部２１５を有する。

符号化制御部２０１は、ポイントクラウドデータの符号化の制御に関する処理を行う。例えば、符号化制御部２０１は、ジオメトリデータ符号化部２１１を制御する。また、符号化制御部２０１は、アトリビュートデータ符号化部２１４を制御する。例えば、符号化制御部２０１は、＜１．符号化制御＞において上述したように、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように、これらの処理部を制御する。また、符号化制御部２０１は、ビットストリーム生成部２１５を制御し、スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグ（例えば、Lifting_scalability_enabled_flag）と、スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグ（例えば、geom_ scaling_enabled_flag）とのシグナリングを制御する。

ジオメトリデータ符号化部２１１は、符号化装置２００に入力されたポイントクラウド（３Ｄデータ）のジオメトリデータ（位置情報）を符号化し、その符号化データを生成する。この符号化方法は任意である。例えば、ノイズ抑制（デノイズ）のためのフィルタリングや量子化等の処理が行われるようにしてもよい。ただし、ジオメトリデータ符号化部２１１は、符号化制御部２０１の制御に従って、この符号化を行う。つまり、ジオメトリデータ符号化部２１１は、この符号化において、符号化制御部２０１の制御に従って、ジオメトリスケーリングを適用する。ジオメトリデータ符号化部２１１は、生成したジオメトリデータの符号化データをジオメトリデータ復号部２１２およびビットストリーム生成部２１５に供給する。

ジオメトリデータ復号部２１２は、ジオメトリデータ符号化部２１１から供給されるジオメトリデータの符号化データを取得し、その符号化データを復号する。この復号方法は、ジオメトリデータ符号化部２１１による符号化に対応する方法であれば任意である。例えば、デノイズのためのフィルタリングや逆量子化等の処理が行われるようにしてもよい。ジオメトリデータ復号部２１２は、生成したジオメトリデータ（復号結果）をポイントクラウド生成部２１３に供給する。

ポイントクラウド生成部２１３は、符号化装置２００に入力されるポイントクラウドのアトリビュートデータ（属性情報）と、ジオメトリデータ復号部２１２から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部２１３は、アトリビュートデータをジオメトリデータ（復号結果）に対応させる処理（リカラー処理）を行う。ポイントクラウド生成部２１３は、ジオメトリデータ（復号結果）に対応させたアトリビュートデータをアトリビュートデータ符号化部２１４に供給する。

アトリビュートデータ符号化部２１４は、ポイントクラウド生成部２１３から供給されるジオメトリデータ（復号結果）およびアトリビュートデータを取得する。アトリビュートデータ符号化部２１４は、そのジオメトリデータ（復号結果）を用いて、アトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。ただし、アトリビュートデータ符号化部２１４は、符号化制御部２０１の制御に従って、この符号化を行う。つまり、アトリビュートデータ符号化部２１４は、この符号化において、符号化制御部２０１の制御に従って、リフティングスケーラビリティを適用する。アトリビュートデータ符号化部２１４は、生成したアトリビュートデータの符号化データをビットストリーム生成部２１５に供給する。

ビットストリーム生成部２１５は、ジオメトリデータ符号化部２１１から供給されるジオメトリデータの符号化データを取得する。また、ビットストリーム生成部２１５は、アトリビュートデータ符号化部２１４から供給されるアトリビュートデータの符号化データを取得する。ビットストリーム生成部２１５は、これらの符号化データを含むビットストリームを生成する。また、ビットストリーム生成部２１５は、符号化制御部２０１の制御に従って、スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグ（例えば、Lifting_scalability_enabled_flag）や、スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグ（例えば、geom_ scaling_enabled_flag）等の制御情報のシグナリングを行う（制御情報をビットストリームに含める）。ビットストリーム生成部２１５は、生成したビットストリームを符号化装置２００の外部（例えば復号側）に出力する。

このような構成とすることにより、符号化装置２００は、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止することができ、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

なお、これらの処理部（符号化制御部２０１、ジオメトリデータ符号化部２１１乃至ビットストリーム生成部２１５）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜ジオメトリデータ符号化部＞
図１６は、ジオメトリデータ符号化部２１１の主な構成例を示すブロック図である。なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、ジオメトリデータ符号化部２１１において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１６に示されるように、ジオメトリデータ符号化部２１１は、ボクセル生成部２３１、木構造生成部２３２、選択部２３３、ジオメトリスケーリング部２３４、および符号化部２３５を有する。

ボクセル生成部２３１は、ボクセルデータの生成に関する処理を行う。例えば、ボクセル生成部２３１は、入力されるポイントクラウドデータに対してバウンディングボックスを設定し、そのバウンディングボックスを分割するようにボクセルを設定する。そして、ボクセル生成部２３１は、各ポイントのジオメトリデータをそのボクセルを単位として量子化し、ボクセルデータを生成する。ボクセル生成部２３１は、生成したボクセルデータを木構造生成部２３２に供給する。

木構造生成部２３２は、木構造の生成に関する処理を行う。例えば、木構造生成部２３２は、ボクセル生成部２３１から供給されるボクセルデータを取得する。また、木構造生成部２３２は、そのボクセルデータを木構造化する。例えば、木構造生成部２３２は、ボクセルデータを用いてオクツリー（Octree）を生成する。木構造生成部２３２は、生成したオクツリーのデータを選択部２３３に供給する。

選択部２３３は、ジオメトリスケーリングの適用・非適用の制御に関する処理を行う。例えば、選択部２３３は、木構造生成部２３２から供給されるオクツリーのデータを取得する。また、選択部２３３は、符号化制御部２０１の制御に従って、そのオクツリーのデータの供給先を選択する。すなわち、選択部２３３は、符号化制御部２０１の制御に従って、そのオクツリーのデータを、ジオメトリスケーリング部２３４に供給するか、符号化部２３５に供給するかを選択し、その選択した供給先にオクツリーのデータを供給する。

例えば、符号化制御部２０１によりジオメトリスケーリングの適用を指示された場合、選択部２３３は、オクツリーのデータをジオメトリスケーリング部２３４に供給する。また、符号化制御部２０１によりジオメトリスケーリングの非適用を指示された場合、選択部２３３は、オクツリーのデータを符号化部２３５に供給する。

ジオメトリスケーリング部２３４は、ジオメトリスケーリングに関する処理を行う。例えば、ジオメトリスケーリング部２３４は、選択部２３３から供給されるオクツリーのデータを取得する。また、ジオメトリスケーリング部２３４は、そのオクツリーのデータに対してジオメトリスケーリングを行い、ジオメトリデータのスケーリングやポイントのマージを行う。ジオメトリスケーリング部２３４は、ジオメトリスケーリングを施したオクツリーのデータを符号化部２３５に供給する。

符号化部２３５は、オクツリーのデータ（オクツリー化されたボクセルデータ（すなわちジオメトリデータ））の符号化に関する処理を行う。例えば、符号化部２３５は、選択部２３３またはジオメトリスケーリング部２３４から供給されるオクツリーのデータを取得する。例えば、符号化部２３５は、符号化制御部２０１によりジオメトリスケーリングの適用が指示された場合、ジオメトリスケーリング部から供給される、ジオメトリスケーリングが施されたオクツリーのデータを取得する。また、符号化部２３５は、符号化制御部２０１によりジオメトリスケーリングの非適用が指示された場合、選択部２３３から供給される、ジオメトリスケーリングが施されていないオクツリーのデータを取得する。

符号化部２３５は、取得したオクツリーのデータを符号化し、ジオメトリデータの符号化データを生成する。この符号化方法は任意である。符号化部２３５は、生成したジオメトリデータの符号化データをジオメトリデータ復号部２１２およびビットストリーム生成部２１５（ともに図１５）に供給する。

＜アトリビュートデータ符号化部＞
図１７は、アトリビュートデータ符号化部２１４の主な構成例を示すブロック図である。なお、図１７においては、処理部やデータの流れ等の主なものを示しており、図１７に示されるものが全てとは限らない。つまり、アトリビュートデータ符号化部２１４において、図１７においてブロックとして示されていない処理部が存在したり、図１７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図１７に示されるように、アトリビュートデータ符号化部２１４は、選択部２５１、スケーラブル階層化処理部２５２、階層化処理部２５３、量子化部２５４、および符号化部２５５を有する。

選択部２５１は、リフティングスケーラビリティの適用・非適用の制御に関する処理を行う。例えば、選択部２５１は、符号化制御部２０１の制御に従って、ポイントクラウド生成部２１３（図１５）されたアトリビュートデータやジオメトリデータ（復号結果）等の供給先を選択する。すなわち、選択部２５１は、符号化制御部２０１の制御に従って、それらのデータを、スケーラブル階層化処理部２５２に供給するか、階層化処理部２５３に供給するかを選択し、その選択した供給先にそれらのデータを供給する。

例えば、符号化制御部２０１によりリフティングスケーラビリティの適用を指示された場合、選択部２５１は、アトリビュートデータやジオメトリデータ（復号結果）等を、スケーラブル階層化処理部２５２に供給する。また、符号化制御部２０１によりリフティングスケーラビリティの非適用を指示された場合、選択部２５１は、アトリビュートデータやジオメトリデータ（復号結果）等を、階層化処理部２５３に供給する。

スケーラブル階層化処理部２５２は、アトリビュートデータのリフティング（参照構造の形成）に関する処理を行う。例えば、スケーラブル階層化処理部２５２は、選択部２５１から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。スケーラブル階層化処理部２５２は、そのジオメトリデータを用いてアトリビュートデータを階層化する（つまり参照構造を形成する）。その際、スケーラブル階層化処理部２５２は、非特許文献２に記載の方法を適用して階層化を行う。つまり、スケーラブル階層化処理部２５２は、ジオメトリデータに基づいて、その木構造（オクツリー）を推定し、その推定した木構造に対応するように、アトリビュートデータの参照構造を形成し、その参照構造に従って予測値を導出し、その予測値とアトリビュートデータとの差分値を導出する。スケーラブル階層化処理部２５２は、このように生成したアトリビュートデータ（差分値）を量子化部２５４に供給する。

階層化処理部２５３は、アトリビュートデータのリフティング（参照構造の形成）に関する処理を行う。例えば、階層化処理部２５３は、選択部２５１から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。階層化処理部２５３は、そのジオメトリデータを用いてアトリビュートデータを階層化する（つまり参照構造を形成する）。その際、階層化処理部２５３は、非特許文献４に記載の方法を適用して階層化を行う。つまり、階層化処理部２５３は、ジオメトリデータの木構造（オクツリー）とは独立に、アトリビュートデータの参照構造を形成し、その参照構造に従って予測値を導出し、その予測値とアトリビュートデータとの差分値を導出する。つまり階層化処理部２５３は、ジオメトリデータの木構造の推定は行わない。階層化処理部２５３は、このように生成したアトリビュートデータ（差分値）を量子化部２５４に供給する。

量子化部２５４は、スケーラブル階層化処理部２５２または階層化処理部２５３から供給されるアトリビュートデータ（差分値）を取得する。量子化部２５４は、そのアトリビュートデータ（差分値）を量子化する。量子化部２５４は、その量子化されたアトリビュートデータ（差分値）を、符号化部２５５に供給する。

符号化部２５５は、量子化部２５４から供給される、量子化されたアトリビュートデータ（差分値）を取得する。符号化部２５５は、その量子化されたアトリビュートデータ（差分値）を符号化し、アトリビュートデータの符号化データを生成する。この符号化方法は任意である。符号化部２５５は、生成したアトリビュートデータの符号化データをビットストリーム生成部２１５（図１５）に供給する。

以上のように構成を有することにより、符号化装置２００は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止することができる。したがって、例えば、アトリビュートデータの符号化においてジオメトリデータの木構造の推定方法を複数用意し、その中から選択する等の煩雑な処理を必要とせず、にポイントクラウドデータのスケーラブルな復号を実現することができる。また、その木構造の推定方法の設計を新たに行う必要がないので、コストの増大を抑制することができる。すなわち、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

＜符号化制御処理の流れ＞
次に、この符号化装置２００により実行される処理について説明する。符号化装置２００の符号化制御部２０１は、符号化制御処理を実行することによりポイントクラウドのデータの符号化を制御する。この符号化制御処理の流れの例を、図１８のフローチャートを参照して説明する。

符号化制御処理が開始されると、符号化制御部２０１は、ステップＳ１０１において、リフティングスケーラビリティを適用するか否かを判定する。リフティングスケーラビリティを適用すると判定された場合、処理はステップＳ１０２に進む。

ステップＳ１０２において、符号化制御部２０１は、ジオメトリデータの符号化においてジオメトリスケーリングを禁止する。また、ステップＳ１０３において、符号化制御部２０１は、アトリビュートデータの符号化においてリフティングスケーラビリティを適用する。また、符号化制御部２０１は、＜１．符号化制御＞において上述したように、これらの制御に対応するようにLifting_scalability_enabled_flagやgeom_scaling_enabled_flag等の制御情報をシグナリングする。

ステップＳ１０３の処理が終了すると、符号化制御処理が終了する。

また、ステップＳ１０１において、リフティングスケーラビリティを適用しないと判定された場合、処理はステップＳ１０４に進む。

ステップＳ１０４において、符号化制御部２０１は、ジオメトリスケーリングを適用するか否かを判定する。ジオメトリスケーリングを適用すると判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、符号化制御部２０１は、ジオメトリデータの符号化においてジオメトリスケーリングを適用する。また、ステップＳ１０６において、符号化制御部２０１は、アトリビュートデータの符号化においてリフティングスケーラビリティを禁止する。また、符号化制御部２０１は、＜１．符号化制御＞において上述したように、これらの制御に対応するようにLifting_scalability_enabled_flagやgeom_scaling_enabled_flag等の制御情報をシグナリングする。

ステップＳ１０６の処理が終了すると、符号化制御処理が終了する。

また、ステップＳ１０４において、ジオメトリスケーリングを適用しないと判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、符号化制御部２０１は、ジオメトリデータの符号化においてジオメトリスケーリングを禁止する。また、ステップＳ１０８において、符号化制御部２０１は、アトリビュートデータの符号化においてリフティングスケーラビリティを禁止する。また、符号化制御部２０１は、＜１．符号化制御＞において上述したように、これらの制御に対応するようにLifting_scalability_enabled_flagやgeom_scaling_enabled_flag等の制御情報をシグナリングする。

ステップＳ１０８の処理が終了すると、符号化制御処理が終了する。

以上のように符号化制御処理を実行することにより、符号化制御部２０１は、ポイントクラウドデータのスケーラブルな復号をより容易に実現させることができる。

＜符号化処理の流れ＞
符号化装置２００は、符号化処理を実行することによりポイントクラウドのデータを符号化する。この符号化処理の流れの例を、図１９のフローチャートを参照して説明する。

符号化処理が開始されると、符号化装置２００のジオメトリデータ符号化部２１１は、ステップＳ２０１において、ジオメトリデータ符号化処理を実行することにより、入力されたポイントクラウドのジオメトリデータを符号化し、ジオメトリデータの符号化データを生成する。

ステップＳ２０２において、ジオメトリデータ復号部２１２は、ステップＳ２０１において生成されたジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。

ステップＳ２０３において、ポイントクラウド生成部２１３は、入力されたポイントクラウドのアトリビュートデータと、ステップＳ２０２において生成されたジオメトリデータ（復号結果）とを用いて、リカラー処理を行い、アトリビュートデータをジオメトリデータに対応させる。

ステップＳ２０４において、アトリビュートデータ符号化部２１４は、アトリビュートデータ符号化処理を実行することにより、ステップＳ２０３においてリカラー処理されたアトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。

ステップＳ２０５において、ビットストリーム生成部２１５は、ステップＳ２０１において生成されたジオメトリデータの符号化データと、ステップＳ２０４において生成されたアトリビュートデータの符号化データとを含むビットストリームを生成し、出力する。

ステップＳ２０５の処理が終了すると符号化処理が終了する。

＜ジオメトリデータ符号化処理の流れ＞
次に、図１９のステップＳ２０１において実行されるジオメトリデータ符号化処理の流れの例を、図２０のフローチャートを参照して説明する。

ジオメトリデータ符号化処理が開始されると、ジオメトリデータ符号化部２１１のボクセル生成部２３１は、ステップＳ２２１において、ボクセルデータを生成する。

ステップＳ２２２において、木構造生成部２３２は、ステップＳ２２１において生成されたボクセルデータを用いてジオメトリデータの木構造（オクツリー）を生成する。

ステップＳ２２３において、選択部２３３は、符号化制御部２０１の制御に従って、ジオメトリスケーリングを行うか否かを判定する。ジオメトリスケーリングを行うと判定された場合、処理はステップＳ２２に進む。

ステップＳ２２４において、ジオメトリスケーリング部２３４は、ステップＳ２２２において生成された木構造のジオメトリデータ（つまりオクツリーのデータ）に対して、ジオメトリスケーリングを行う。ステップＳ２２４の処理が終了すると処理はステップＳ２２５に進む。また、ステップＳ２２３において、ジオメトリスケーリングを行わないと判定された場合、ステップＳ２２４の処理がスキップされて、処理はステップＳ２２５に進む。

ステップＳ２２５において、符号化部２３５は、ステップＳ２２２において生成された木構造のジオメトリデータ（つまりオクツリーのデータ）、または、ステップＳ２２４においてジオメトリスケーリングが施されたジオメトリデータ（つまりオクツリーのデータ）を符号化し、ジオメトリデータの符号化データを生成する。

ステップＳ２２５の処理が終了するとジオメトリデータ符号化処理が終了し、処理は図１９に戻る。

＜アトリビュートデータ符号化処理の流れ＞
次に、図１９のステップＳ２０４において実行されるアトリビュートデータ符号化処理の流れの例を、図２１のフローチャートを参照して説明する。

アトリビュートデータ符号化処理が開始されると、アトリビュートデータ符号化部２１４の選択部２５１は、ステップＳ２４１において、符号化制御部２０１の制御に従って、リフティングスケーラビリティを適用するか否かを判定する。リフティングスケーラビリティを適用すると判定された場合、処理はステップＳ２４２に進む。

ステップＳ２４２において、スケーラブル階層化処理部２５２は、非特許文献２に記載の方法でリフティングを行う。つまり、スケーラブル階層化処理部２５２は、ジオメトリデータの木構造を推定し、推定した木構造に従ってアトリビュートデータの階層化（参照構造の形成）を行う。そして、スケーラブル階層化処理部２５２は、その参照構造に従って予測値を導出し、アトリビュートデータとその予測値との差分値を導出する。

ステップＳ２４２の処理が終了すると処理はステップＳ２４４に進む。また、ステップＳ２４１において、リフティングスケーラビリティを適用しないと判定された場合、処理はステップＳ２４３に進む。

ステップＳ２４３において、階層化処理部２５３は、非特許文献４に記載の方法でリフティングを行う。つまり、階層化処理部２５３は、ジオメトリデータの木構造とは独立に、アトリビュートデータの階層化（参照構造の形成）を行う。そして、階層化処理部２５３は、その参照構造に従って予測値を導出し、アトリビュートデータとその予測値との差分値を導出する。ステップＳ２４３の処理が終了すると処理はステップＳ２４４に進む。

ステップＳ２４４において、量子化部２５４は、量子化処理を実行することにより、ステップＳ２４２またはステップＳ２４３において導出された各差分値を量子化する。

ステップＳ２４５において、符号化部２５５は、ステップＳ２４４において量子化された差分値を符号化し、アトリビュートデータの符号化データを生成する。ステップＳ２４５の処理が終了するとアトリビュートデータ符号化処理が終了し、処理は図１９に戻る。

以上のように各処理を行うことにより、符号化装置２００は、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

＜３．第２の実施の形態＞
＜復号装置＞
図２２は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図２２に示される復号装置３００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置３００は、例えば、符号化装置２００において生成されたポイントクラウドの符号化データを復号する。

なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、復号装置３００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２２に示されるように復号装置３００は、符号化データ抽出部３１１、ジオメトリデータ復号部３１２、アトリビュートデータ復号部３１３、およびポイントクラウド生成部３１４を有する。

符号化データ抽出部３１１は、復号装置３００に入力されるビットストリームを取得し、保持する。符号化データ抽出部３１１は、最上位から所望の階層までのジオメトリデータおよびアトリビュートデータの符号化データを、その保持しているビットストリームから抽出する。符号化データがスケーラブルな復号に対応している場合、符号化データ抽出部３１１は、途中階層までの符号化データを抽出することができる。符号化データがスケーラブルな復号に対応していない場合、符号化データ抽出部３１１は、全階層の符号化データを抽出する。

符号化データ抽出部３１１は、抽出したジオメトリデータの符号化データをジオメトリデータ復号部３１２に供給する。符号化データ抽出部３１１は、抽出したアトリビュートデータの符号化データをアトリビュートデータ復号部３１３に供給する。

ジオメトリデータ復号部３１２は、符号化データ抽出部３１１から供給される位置情報の符号化データを取得する。ジオメトリデータ復号部３１２は、符号化装置２００のジオメトリデータ符号化部２１１が行うジオメトリデータ符号化処理の逆処理を行うことにより、そのジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。ジオメトリデータ復号部３１２は、生成したジオメトリデータ（復号結果）を、アトリビュートデータ復号部３１３およびポイントクラウド生成部３１４に供給する。

アトリビュートデータ復号部３１３は、符号化データ抽出部３１１から供給されるアトリビュートデータの符号化データを取得する。アトリビュートデータ復号部３１３は、ジオメトリデータ復号部３１２から供給されるジオメトリデータ（復号結果）を取得する。アトリビュートデータ復号部３１３は、符号化装置２００のアトリビュートデータ符号化部２１４が行うアトリビュートデータ符号化処理の逆処理を行うことにより、そのジオメトリデータ（復号結果）を用いてアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。アトリビュートデータ復号部３１３は、生成したアトリビュートデータ（復号結果）をポイントクラウド生成部３１４に供給する。

ポイントクラウド生成部３１４は、ジオメトリデータ復号部３１２から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部３１４は、アトリビュートデータ復号部３１３から供給されるアトリビュートデータ（復号結果）を取得する。ポイントクラウド生成部３１４は、そのジオメトリデータ（復号結果）およびアトリビュートデータ（復号結果）を用いて、ポイントクラウド（復号結果）を生成する。ポイントクラウド生成部３１４は、生成したポイントクラウド（復号結果）のデータを復号装置３００の外部に出力する。

以上のように構成を有することにより、復号装置３００は、符号化装置２００により生成されたポイントクラウドデータの符号化データを正しく復号することができる。つまり、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

なお、これらの処理部（符号化データ抽出部３１１乃至ポイントクラウド生成部３１４）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

＜復号処理の流れ＞
次に、この復号装置３００により実行される処理について説明する。復号装置３００は、復号処理を実行することによりポイントクラウドの符号化データを復号する。この復号処理の流れの例を、図２３のフローチャートを参照して説明する。

復号処理が開始されると、復号装置３００の符号化データ抽出部３１１は、ステップＳ３０１において、ビットストリームを取得して保持し、復号するLoD深度までのジオメトリデータおよびアトリビュートデータの符号化データを抽出する。

ステップＳ３０２において、ジオメトリデータ復号部３１２は、ステップＳ３０１において抽出されたジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。

ステップＳ３０３において、アトリビュートデータ復号部３１３は、ステップＳ３０１において抽出されたアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。

ステップＳ３０４において、ポイントクラウド生成部３１４は、ステップＳ３０２において生成されたジオメトリデータ（復号結果）と、ステップＳ３０３において生成されたアトリビュートデータ（復号結果）とを用いてポイントクラウド（復号結果）を生成し、出力する。

ステップＳ３０４の処理が終了すると、復号処理が終了する。

このように各ステップの処理を行うことにより、復号装置３００は、符号化装置２００により生成されたポイントクラウドデータの符号化データを正しく復号することができる。つまり、ポイントクラウドデータのスケーラブルな復号をより容易に実現することができる。

＜４．付記＞
＜階層化・逆階層化方法＞
以上においては、アトリビュートデータの階層化・逆階層化方法としてリフティング（Lifting）を例に説明したが、アトリビュートデータの階層化・逆階層化の方法は、例えば、RAHT等、リフティング以外であってもよい。

＜制御情報＞
以上の各実施の形態においては、本技術に関する制御情報の例として、イネーブルフラグについて説明したが、これ以外にも任意の制御情報をシグナリングしてもよい。

＜周辺・近傍＞
なお、本明細書において、「近傍」や「周辺」等の位置関係は、空間的な位置関係だけでなく、時間的な位置関係も含みうる。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２４に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。例えば、メッシュ（Mesh）データの符号化・復号において、メッシュデータをポイントクラウドデータに変換し、本技術を適用して符号化・復号を行うようにしてもよい。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例として符号化装置２００および復号装置３００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する符号化制御部
を備える情報処理装置。
（２） 前記スケーラブル符号化は、アトリビュートデータを、前記ジオメトリデータの木構造と同様の参照構造でリフティングして符号化するリフティングスケーラビリティである
（１）に記載の情報処理装置。
（３） 前記スケーリング符号化は、前記ジオメトリデータをスケーリングして符号化するジオメトリスケーリングである
（１）または（２）に記載の情報処理装置。
（４） 前記符号化制御部は、前記スケーラブル符号化を適用する場合、前記スケーリング符号化の適用を禁止するように制御する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記符号化制御部は、前記スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグと、前記スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグとのシグナリングを制御する
（４）に記載の情報処理装置。
（６） 前記符号化制御部は、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングする場合、前記スケーリング符号化の非適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングするように制御する
（５）に記載の情報処理装置。
（７） 前記符号化制御部は、前記スケーラブル符号化を適用する場合、プロファイルにおいて、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグと、前記スケーリング符号化の非適用を示す値の前記スケーリング符号化イネーブルフラグとをシグナリングするように制御する
（５）または（６）に記載の情報処理装置。
（８） 前記符号化制御部は、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングする場合、前記スケーリング符号化イネーブルフラグのシグナリングを省略するように制御する
（５）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記符号化制御部は、前記スケーリング符号化を適用する場合、前記スケーラブル符号化の適用を禁止するように制御する
（１）乃至（３）のいずれかに記載の情報処理装置。
（１０） 前記符号化制御部は、前記スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグと、前記スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグとのシグナリングを制御する
（９）に記載の情報処理装置。
（１１） 前記符号化制御部は、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングする場合、前記スケーラブル符号化の非適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングするように制御する
（１０）に記載の情報処理装置。
（１２） 前記符号化制御部は、前記スケーリング符号化を適用する場合、プロファイルにおいて、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグと、前記スケーラブル符号化の非適用を示す値の前記スケーラブル符号化イネーブルフラグとをシグナリングするように制御する
（１０）または（１１）に記載の情報処理装置。
（１３） 前記符号化制御部は、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングする場合、前記スケーラブル符号化イネーブルフラグのシグナリングを省略するように制御する
（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記符号化制御部の制御に従って前記ポイントクラウドの前記ジオメトリデータを符号化し、前記ジオメトリデータの符号化データを生成するジオメトリデータ符号化部と、
前記符号化制御部の制御に従って前記ポイントクラウドのアトリビュートデータを符号化し、前記アトリビュートデータの符号化データを生成するアトリビュートデータ符号化部と
をさらに備える（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記ジオメトリデータ符号化部は、
前記符号化制御部の制御に従って、前記ジオメトリデータのスケーリングを適用するかを選択する選択部と、
前記選択部により前記ジオメトリデータのスケーリングの適用が選択された場合、前記ジオメトリデータのスケーリングおよびマージを行うジオメトリスケーリング部と、
前記選択部により前記ジオメトリデータのスケーリングの適用が選択された場合、前記ジオメトリスケーリング部により前記スケーリングおよび前記マージが行われた前記ジオメトリデータを符号化し、前記選択部により前記ジオメトリデータのスケーリングの非適用が選択された場合、前記スケーリングおよび前記マージが行われていない前記ジオメトリデータを符号化する符号化部と
を備える（１４）に記載の情報処理装置。
（１６） 前記ジオメトリデータ符号化部は、
前記ジオメトリデータの木構造を生成する木構造生成部
をさらに備え、
前記ジオメトリスケーリング部は、前記スケーリングおよび前記マージを行うことにより、前記木構造生成部により生成された前記木構造を更新する
（１５）に記載の情報処理装置。
（１７） 前記アトリビュートデータ符号化部は、
前記符号化制御部の制御に従って、前記アトリビュートデータを、前記ジオメトリデータの木構造と同様の参照構造でリフティングするスケーラブル階層化を適用するかを選択する選択部と、
前記選択部により前記スケーラブル階層化の適用が選択された場合、前記アトリビュートデータに対して前記スケーラブル階層化を行うスケーラブル階層化部と、
前記選択部により前記スケーラブル階層化の適用が選択された場合、前記スケーラブル階層化部により前記スケーラブル階層化が行われた前記アトリビュートデータを符号化し、前記選択部により前記スケーラブル階層化の非適用が選択された場合、前記スケーラブル階層化が行われていない前記アトリビュートデータを符号化する符号化部と
（１４）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記ジオメトリデータ符号化部により生成された前記ジオメトリデータの符号化データを復号し、前記ジオメトリデータを生成するジオメトリデータ復号部と、
前記ジオメトリデータ復号部により生成された前記ジオメトリデータを用いて、前記アトリビュートデータのリカラー処理を行うリカラー処理部と
をさらに備え、
前記アトリビュートデータ符号化部は、前記リカラー処理部により前記リカラー処理が行われた前記アトリビュートデータを符号化する
（１４）乃至（１７）のいずれかに記載の情報処理装置。
（１９） 前記ジオメトリデータ符号化部により生成された前記ジオメトリデータの符号化データと、前記アトリビュートデータ符号化部により生成された前記アトリビュートデータの符号化データとを含むビットストリームを生成するビットストリーム生成部
をさらに備える（１４）乃至（１８）のいずれかに記載の情報処理装置。
（２０） ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する
情報処理方法。

２００ 符号化装置， ２０１ 符号化制御部， ２１１ ジオメトリデータ符号化部， ２１２ ジオメトリデータ復号部， ２１３ ポイントクラウド生成部， ２１４ アトリビュートデータ符号化部， ２１５ ビットストリーム生成部， ２３１ ボクセル生成部， ２３２ 木構造生成部， ２３３ 選択部， ２３４ ジオメトリスケーリング部， ２３５ 符号化部， ２５１ 選択部， ２５２ スケーラブル階層化処理部， ２５３ 階層化処理部， ２５４ 量子化部， ２５５ 符号化部， ３００ 復号装置， ３１１ 符号化データ抽出部， ３１２ ジオメトリデータ復号部， ３１３ アトリビュートデータ復号部， ３１４ ポイントクラウド生成部

Claims (20)

1. ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する符号化制御部
   を備える情報処理装置。
2. 前記スケーラブル符号化は、アトリビュートデータを、前記ジオメトリデータの木構造と同様の参照構造でリフティングして符号化するリフティングスケーラビリティである
   請求項１に記載の情報処理装置。
3. 前記スケーリング符号化は、前記ジオメトリデータをスケーリングして符号化するジオメトリスケーリングである
   請求項１に記載の情報処理装置。
4. 前記符号化制御部は、前記スケーラブル符号化を適用する場合、前記スケーリング符号化の適用を禁止するように制御する
   請求項１に記載の情報処理装置。
5. 前記符号化制御部は、前記スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグと、前記スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグとのシグナリングを制御する
   請求項４に記載の情報処理装置。
6. 前記符号化制御部は、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングする場合、前記スケーリング符号化の非適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングするように制御する
   請求項５に記載の情報処理装置。
7. 前記符号化制御部は、前記スケーラブル符号化を適用する場合、プロファイルにおいて、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグと、前記スケーリング符号化の非適用を示す値の前記スケーリング符号化イネーブルフラグとをシグナリングするように制御する
   請求項５に記載の情報処理装置。
8. 前記符号化制御部は、前記スケーラブル符号化の適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングする場合、前記スケーリング符号化イネーブルフラグのシグナリングを省略するように制御する
   請求項５に記載の情報処理装置。
9. 前記符号化制御部は、前記スケーリング符号化を適用する場合、前記スケーラブル符号化の適用を禁止するように制御する
   請求項１に記載の情報処理装置。
10. 前記符号化制御部は、前記スケーリング符号化の適用に関するフラグ情報であるスケーリング符号化イネーブルフラグと、前記スケーラブル符号化の適用に関するフラグ情報であるスケーラブル符号化イネーブルフラグとのシグナリングを制御する
    請求項９に記載の情報処理装置。
11. 前記符号化制御部は、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングする場合、前記スケーラブル符号化の非適用を示す値の前記スケーラブル符号化イネーブルフラグをシグナリングするように制御する
    請求項１０に記載の情報処理装置。
12. 前記符号化制御部は、前記スケーリング符号化を適用する場合、プロファイルにおいて、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグと、前記スケーラブル符号化の非適用を示す値の前記スケーラブル符号化イネーブルフラグとをシグナリングするように制御する
    請求項１０に記載の情報処理装置。
13. 前記符号化制御部は、前記スケーリング符号化の適用を示す値の前記スケーリング符号化イネーブルフラグをシグナリングする場合、前記スケーラブル符号化イネーブルフラグのシグナリングを省略するように制御する
    請求項１０に記載の情報処理装置。
14. 前記符号化制御部の制御に従って前記ポイントクラウドの前記ジオメトリデータを符号化し、前記ジオメトリデータの符号化データを生成するジオメトリデータ符号化部と、
    前記符号化制御部の制御に従って前記ポイントクラウドのアトリビュートデータを符号化し、前記アトリビュートデータの符号化データを生成するアトリビュートデータ符号化部と
    をさらに備える請求項１に記載の情報処理装置。
15. 前記ジオメトリデータ符号化部は、
    前記符号化制御部の制御に従って、前記ジオメトリデータのスケーリングを適用するかを選択する選択部と、
    前記選択部により前記ジオメトリデータのスケーリングの適用が選択された場合、前記ジオメトリデータのスケーリングおよびマージを行うジオメトリスケーリング部と、
    前記選択部により前記ジオメトリデータのスケーリングの適用が選択された場合、前記ジオメトリスケーリング部により前記スケーリングおよび前記マージが行われた前記ジオメトリデータを符号化し、前記選択部により前記ジオメトリデータのスケーリングの非適用が選択された場合、前記スケーリングおよび前記マージが行われていない前記ジオメトリデータを符号化する符号化部と
    を備える請求項１４に記載の情報処理装置。
16. 前記ジオメトリデータ符号化部は、
    前記ジオメトリデータの木構造を生成する木構造生成部
    をさらに備え、
    前記ジオメトリスケーリング部は、前記スケーリングおよび前記マージを行うことにより、前記木構造生成部により生成された前記木構造を更新する
    請求項１５に記載の情報処理装置。
17. 前記アトリビュートデータ符号化部は、
    前記符号化制御部の制御に従って、前記アトリビュートデータを、前記ジオメトリデータの木構造と同様の参照構造でリフティングするスケーラブル階層化を適用するかを選択する選択部と、
    前記選択部により前記スケーラブル階層化の適用が選択された場合、前記アトリビュートデータに対して前記スケーラブル階層化を行うスケーラブル階層化部と、
    前記選択部により前記スケーラブル階層化の適用が選択された場合、前記スケーラブル階層化部により前記スケーラブル階層化が行われた前記アトリビュートデータを符号化し、前記選択部により前記スケーラブル階層化の非適用が選択された場合、前記スケーラブル階層化が行われていない前記アトリビュートデータを符号化する符号化部と
    請求項１４に記載の情報処理装置。
18. 前記ジオメトリデータ符号化部により生成された前記ジオメトリデータの符号化データを復号し、前記ジオメトリデータを生成するジオメトリデータ復号部と、
    前記ジオメトリデータ復号部により生成された前記ジオメトリデータを用いて、前記アトリビュートデータのリカラー処理を行うリカラー処理部と
    をさらに備え、
    前記アトリビュートデータ符号化部は、前記リカラー処理部により前記リカラー処理が行われた前記アトリビュートデータを符号化する
    請求項１４に記載の情報処理装置。
19. 前記ジオメトリデータ符号化部により生成された前記ジオメトリデータの符号化データと、前記アトリビュートデータ符号化部により生成された前記アトリビュートデータの符号化データとを含むビットストリームを生成するビットストリーム生成部
    をさらに備える請求項１４に記載の情報処理装置。
20. 情報処理装置が、
    ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの符号化において、スケーラブルに復号可能な符号化データを生成する符号化方法であるスケーラブル符号化と、ジオメトリデータの木構造の変更を伴う符号化方法であるスケーリング符号化との併用を禁止するように制御する
    情報処理方法。

Images