JP6908098B2 - 情報処理装置および方法 - Google Patents

Description

本技術は、情報処理装置および方法に関し、特に、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにした情報処理装置および方法に関する。

近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。

ところで、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。

また、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化等が考えられた。

MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）

しかしながら、従来のMPEG-DASH規格では、ビットレート（Bitrate）を切り替えるという概念しかなく、複数階層からなる画像の各階層の画像のタイル構造を利用し、任意の階層の任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行うことができなかった。

本技術は、このような状況に鑑みて提案されたものであり、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができるようにすることを目的とする。

本技術の一側面の情報処理装置は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納し、前記ベースレイヤ全体の情報を格納するトラックは、前記ベースレイヤの符号化方式を示す符号化情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックは、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するファイルの、前記符号化データのベースレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記ベースレイヤの前記部分領域の符号化データを取得し、前記ファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、前記取得部により取得された前記符号化データを復号する復号部とを備える情報処理装置である。

本技術の一側面の情報処理方法は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納し、前記ベースレイヤ全体の情報を格納するトラックは、前記ベースレイヤの符号化方式を示す符号化情報を格納し、前記ベースレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、前記エンハンスメントレイヤ全体の情報を格納するトラックは、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するファイルの、前記符号化データのベースレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記ベースレイヤの前記部分領域の符号化データを取得し、前記ファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、取得された前記符号化データを復号する情報処理方法である。

本技術の他の側面の情報処理装置は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含み、前記ベースレイヤ全体の情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むメタデータをパースし、前記メタデータの、前記符号化データのベースレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納する構造単位を特定し、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定するパース部と、前記パース部により特定された前記構造単位の情報に基づいて、前記ベースレイヤの前記部分領域の符号化データ、および、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、前記取得部により取得された前記符号化データを復号する復号部とを備える情報処理装置である。

本技術の他の側面の情報処理方法は、画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含み、前記ベースレイヤ全体の情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むメタデータをパースし、前記メタデータの、前記符号化データのベースレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納する構造単位を特定し、前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定し、特定された前記構造単位の情報に基づいて、前記ベースレイヤの前記部分領域の符号化データ、および、前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、取得された前記符号化データを復号する情報処理方法である。

本技術の一側面の情報処理装置および方法においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、そのベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤの全体の情報、並びに、そのエンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納し、ベースレイヤ全体の情報を格納するトラックは、ベースレイヤの符号化方式を示す符号化情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックは、ベースレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックは、エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックは、エンハンスメントレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するファイルの、符号化データのベースレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生するベースレイヤの画像の部分領域の情報を格納するトラックが特定され、そのトラックからベースレイヤの部分領域の符号化データが取得され、また、そのファイルの、符号化データのエンハンスメントレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生するエンハンスメントレイヤの画像の部分領域の情報を格納するトラックが特定され、そのトラックからエンハンスメントレイヤの部分領域の符号化データが取得され、その符号化データが復号される。

本技術の他の側面の情報処理装置および方法においては、画像データが階層符号化された符号化データのベースレイヤ全体の情報、そのベースレイヤの画像の各部分領域の情報、その符号化データのエンハンスメントレイヤの全体の情報、並びに、そのエンハンスメントレイヤの画像の各部分領域の情報を含み、ベースレイヤ全体の情報は、ベースレイヤの符号化方式を示す符号化情報を含み、ベースレイヤの部分領域の情報のそれぞれは、ベースレイヤの部分領域の情報のみが含まれることを示す符号化情報を含み、エンハンスメントレイヤ全体の情報は、エンハンスメントレイヤの符号化方式を示す符号化情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれは、エンハンスメントレイヤの部分領域の情報のみが含まれることを示す符号化情報を含むメタデータがパースされ、そのメタデータの、符号化データのベースレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生するベースレイヤの画像の部分領域の情報を格納する構造単位が特定され、そのメタデータの、符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生するエンハンスメントレイヤの画像の部分領域の情報を格納する構造単位が特定され、その構造単位の情報に基づいて、ベースレイヤの部分領域の符号化データ、および、エンハンスメントレイヤの部分領域の符号化データが取得され、その符号化データが復号される。

本技術によれば、情報を処理することが出来る。また本技術によれば、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。

MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 MP4ファイルフォーマットの構成例を示す図である。 分割サイズの例を説明する図である。 拡張データの例を説明する図である。 階層切り替えの例を説明する図である。 階層切り替えの例を説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイルの主な構成例を示す図である。 MP4ファイル生成処理の流れの例を説明するフローチャートである。 MPDの主な構成例を示す図である。 MPDの主な構成例を示す図である。 MPD生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明する、図２０に続くフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 MP4ファイル再生処理の流れの例を説明するフローチャートである。 MPD再生処理の流れの例を説明するフローチャートである。 MP4ファイルの他の構成例を示す図である。 MP4ファイルの他の構成例を示す図である。 MP4ファイル生成処理の流れの、他の例を説明するフローチャートである。 MPDの他の構成例を示す図である。 MPDの他の構成例を示す図である。 MPD生成処理の流れの他の例を説明するフローチャートである。 MPD生成処理の流れの他の例を説明する、図３０に続くフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、他の例を説明するフローチャートである。 MPD再生処理の流れの、他の例を説明するフローチャートである。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MP4ファイル生成処理の流れの、さらに他の例を説明するフローチャートである。 MPDのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 MPD生成処理の流れの、さらに他の例を説明するフローチャートである。 MP4ファイル再生処理の流れの、さらに他の例を説明するフローチャートである。 MPD再生処理の流れの、さらに他の例を説明するフローチャートである。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（タイル毎にファイル化する場合）
２．第２の実施の形態（タイル毎にレイヤ間参照する場合）
３．第３の実施の形態（レイヤ毎にファイル化する場合）
４．第４の実施の形態（全レイヤをファイル化する場合）
５．第５の実施の形態（配信システム）
６．第６の実施の形態（コンピュータ）

＜１．第１の実施の形態＞
＜DASH＞
従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。

DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。

MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。

MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。

クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。

なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。

したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。

＜タイル構造＞
このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。

このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。

DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。

図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。

各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。

このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。

ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。

このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。

＜MP4ファイル＞
上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。

また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。

＜MP4ファイルフォーマット＞
次に、MP4ファイルフォーマットの概要について説明する。図９に示されるように、MPEG-DASHに準拠したMP4ファイル（MP4 file）は、ftyp、moov、およびmdatを含む。

図９に示されるように、HEVCの各サンプル（ピクチャ）のデータは、AVデータとして、mdatに格納される。

また、moovには、サンプル（例えばピクチャ）毎に管理情報がサンプルテーブルボックス（Sample Table Box（stbl））に格納される。

図９に示されるように、サンプルテーブルボックス（Sample Table Box）には、サンプルディスクリプションボックス（Sample Description Box）、タイムトゥーサンプルボックス（Time To Sample Box）、サンプルサイズボックス（Sample Size Box）、サンプルトゥーチャンクボックス（Sample to Chunk Box）、チャンクオフセットボックス（Chunk Offset Box）、およびサブサンプルインフォメーションボックス（Subsample Information Box）が設置されている。

サンプルディスクリプションボックスには、コーデックや画サイズ等に関する情報が格納される。例えば、符号化パラメータ等の情報は、このサンプルディスクリプションボックス内のHEVCサンプルエントリ（HEVC sample entry）に格納される。

タイムトゥーサンプルボックスには、サンプルの時刻に関する情報が格納される。サンプルサイズボックスには、サンプルのサイズに関する情報が格納される。サンプルトゥーチャンクボックスには、サンプルのデータの位置に関する情報が格納される。チャンクオフセットボックスには、データのオフセットに関する情報が格納される。サブサンプルインフォメーションボックスには、サブサンプルに関する情報が格納される。

＜分割方法＞
タイル（Tile）は、図１０のＡの例のように全体画像を均等に分割するものであってもよいし、図１０のＢの例のように全体画像を不均等に分割するものであってもよい。つまり、全体画像を構成する各タイル画像の画像サイズは互いに同一であってもよいし、異なっていてもよい。

＜アプリケーション＞
このようなタイル（Tile）構造を利用するアプリケーションとして、例えば、表示させる部分画像のサイズを制御するアプリケーションが考えられる。

図１０のＡに示される全体画像１０はタイル化され、互いに同じ大きさの複数のタイル画像１１に分割することができるとする。例えば、この画像をディスプレイのサイズが小さいモバイルデバイス２１に表示させる場合、アプリケーションは、2x2の４枚のタイル画像からなる部分画像１２を表示させる。また、例えば、この画像をディスプレイのサイズが大きなテレビジョン信号受像機（TV）２２に表示させる場合、アプリケーションは、6x5の３０枚のタイル画像からなる部分画像１３を表示させる。このように、画像を表示する端末の性能等に応じて表示させる部分画像の画サイズを制御するアプリケーションが考えられる。

また、図１０のＢの例の場合、各タイル画像の画サイズは不均等である。アプリケーションは、タイル３（Tile3）の画像を表示させることにより、HD解像度の画像を表示させることができ、タイル２（Tile2）乃至タイル４（Tile4）の画像を表示させることにより、シネマ（Cinema）解像度の画像を表示させることができ、タイル１（Tile1）乃至タイル５（Tile5）の画像を表示させることにより、さらに大きな拡張サイズ（EXT）の画像を表示させることができる。このように、表示させる部分画像の画サイズを制御することにより、表示画像の解像度やアスペクト比を制御するアプリケーションが考えられる。

これらのようなアプリケーションに対して、表示させる部分画像の画サイズに応じて、上述したように配信する部分画像のサイズを適応的に制御する（配信するタイル画像の数を制御する）ことにより、表示されない不要な部分の画像を配信する必要がないので、サーバ、端末、伝送路等の負荷を適応的に制御することができ、不要な負荷の増大を抑制することができる。

＜タイル画像の適応的な提供＞
画像のタイル構造を利用し、任意の部分画像を選択してそのデータを提供するといった、適応的な部分画像のデータの提供を行う場合、例えば、全体画像の一部である部分画像に関する情報である部分画像情報をMPDに含めるようにする。

なお、提供の対象となる部分画像は、全体画像の一部分であればどのようなものであってもよく、その形状や大きさ等は任意である。例えば、部分画像は、他の部分と独立して符号化することができる部分であればよい。以下においては、説明の便宜上、部分画像は、上述したタイル単位の画像であるものとする。つまり、部分画像は、１つまたは複数のタイル画像により構成されるものとする。

例えば、MPDのディスクリプタタイプエレメント（DescriptorType element）を活用して、タイル（Tile）用のディスクリプション（description）を、図１１のＡのように定義する。また、例えば、このエレメントが示す画像がどのような画像であるかを示すビュータイプ（viewtype）を、図１１のＢに示されるように定義する。

＜複数レイヤにおけるタイル画像の適応的な提供＞
ところで、画像の符号化・復号方式として、複数階層に階層化された画像を、階層間の予測等を用いて効率よく符号化する階層符号化・階層復号方式がある。

画像配信等において、このような階層符号化・階層復号方式を適用する場合、複数レイヤの各レイヤにおいて、部分画像を適応的に提供することが求められるが、従来のMPEG-DASH規格では、このような複数レイヤにおける適応的な部分画像のデータの提供を行うことができなかった。

そこで、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するようにする。

また、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの符号化方式を示す符号化情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤの部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するようにしてもよい。

さらに、ベースレイヤ全体の情報を格納するトラックに、ベースレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、ベースレイヤの部分領域の情報を格納する各トラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤ全体の情報を格納するトラックに、ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を格納する各トラックを参照することを示す情報および参照の種類を示す情報を格納し、エンハンスメントレイヤの部分領域の情報を格納する各トラックに、エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および参照の種類を示す情報を格納するようにしてもよい。

このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。

また、画像データが階層符号化された符号化データのベースレイヤ全体の情報、ベースレイヤの画像の各部分領域の情報、符号化データのエンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するようにする。

なお、ベースレイヤ全体の情報を格納する情報が、ベースレイヤの符号化方式を示す符号化情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤの部分領域の情報のみが含まれることを示す符号化情報を含み、エンハンスメントレイヤ全体の情報が、エンハンスメントレイヤの符号化方式を示す符号化情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤの部分領域の情報のみが含まれることを示す符号化情報を含むようにしてもよい。

また、ベースレイヤ全体の情報が、ベースレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、ベースレイヤの部分領域の情報のそれぞれが、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤ全体の情報が、ベースレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報、並びに、エンハンスメントレイヤの部分領域の情報を参照することを示す情報および参照の種類を示す情報を含み、エンハンスメントレイヤの部分領域の情報のそれぞれが、エンハンスメントレイヤ全体の情報を参照することを示す情報および参照の種類を示す情報を含むようにしてもよい。

このようにすることにより、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができる。

＜ユースケース＞
以下においては、ベースレイヤとエンハンスメントレイヤとからなる２階層の画像データが、レイヤ間の予測を用いて階層符号化されて配信される場合を例に用いて本技術を説明する。もちろん、画像データの階層数は任意であり、３層以上であってもよい。また、ベースレイヤの画像は、エンハンスメントレイヤの画像と相関性が高く（解像度等の所定の画像パラメータ以外は基本的に同一の画像であり）、かつ、その解像度が、エンハンスメントレイヤの画像よりも低解像度であるものとする。

また、説明の便宜上、各レイヤの画像は、縦２個・横２個の合計４個のタイル（部分領域）に分割されるものとする。もちろん、各レイヤの画像のタイル分割数は任意である。

まず、このような階層符号化の用途の例について説明する。例えば、図１２の例のように、低解像度（低画質）のベースレイヤ（BL）の画像を拡大表示する場合、一部のタイルが抽出されて元の画像サイズまで拡大することになる。この拡大率によっては、高解像度（高画質）のエンハンスメントレイヤ（EL）の画像の一部のタイルを抽出して表示させる方が、拡大率が少なくて済む場合がある。図１２の例の場合、エンハンスメントレイヤの画像を用いることにより、拡大せずに済む。したがって、表示される画像の内容は略同一であるものの、エンハンスメントレイヤの画像を表示する方が、より高画質な画像を表示することができる。

つまり、このようなケースにおいて、配信する画像をベースレイヤからエンハンスメントレイヤに切り替えることができると、画質の低減を抑制することができる（より高画質な画像を提供することができる）。

従来のMPEG-DASHにおいても、低解像度のストリームと高解像度のストリームを用意し、状況に応じて配信するストリームを適宜切り替えるようにすることは可能である。

しかしならが、このようなデータ配信においては、画像再生を安定させるために、例えばストリーミング配信であっても、表示のタイミングよりも十分に早くデータを配信し、例えば数秒乃至数十秒分のデータを受信側がバッファに保持させるのが一般的である。

したがって、図１３のＡに示されるように、例えば時刻T1の画像において、上述したように配信するストリームの切り替え（ストリーム１からストリーム２への切り替え）が行われると、バッファに蓄積されたストリーム１の時刻T1乃至時刻T2のデータは、全て破棄される。そして、ストリーム２の時刻T2のデータから配信が開始される。

逆方向（ストリーム２からストリーム１へ）の切り替えの場合も同様である。例えば、時刻T3の画像において、配信するストリームがストリーム２からストリーム１に切り替えられると、バッファに蓄積されたストリーム２の時刻T3乃至時刻T4のデータは、全て破棄される。そして、ストリーム１の時刻T3のデータから配信が開始される。

つまり、配信するストリームを切り替える度に、バッファのデータが破棄されて無駄になってしまっていた。また、バッファのデータが０になるので、再生も不安定になるおそれがあった。

これに対して、階層符号化されたデータの場合、図１３のＢに示されるように、ベースレイヤのストリームは常に配信され、エンハンスメントレイヤの画像を表示する場合のみエンハンスメントレイヤのストリームが配信される。

したがって、表示する画像をベースレイヤからエンハンスメントレイヤに切り替える場合、バッファのデータを破棄する必要が無い。つまり、バッファに蓄積されたベースレイヤの符号化データは、その後も利用される。そして、エンハンスメントレイヤのストリームの配信が開始されるが、レイヤ間予測が行われているので、エンハンスメントレイヤのストリームは、図１３のＡの場合のストリーム２よりデータ量が少ない。つまり、バッファが０にならない。したがって、切り替えが行われた時刻T1後も、図１３のＡの場合よりも画像の表示を安定させることができる。

逆方向（エンハンスメントレイヤからベースレイヤへ）の切り替えの場合も同様である。例えば、時刻T3の画像において、表示する画像がエンハンスメントレイヤからベースレイヤに切り替えられると、バッファに蓄積されたエンハンスメントレイヤの時刻T3乃至時刻T4のデータは、全て破棄される。ただし、破棄されるデータ量は、図１３のＡのストリーム２を破棄する場合よりも少ない。また、ベースレイヤのデータは、時刻T3の前から配信されており、バッファは０にならない。したがって、切り替えが行われた時刻T3後も、図１３のＡの場合よりも画像の表示を安定させることができる。

複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することを実現することにより、例えば、このような効果を得ることができる。本技術では、配信用のフォーマット、例えば、MP4ファイルやMPD等においてこのような機能を実現する。

＜ファイル生成装置＞
次に、このようなMP4ファイルやMPDを生成する装置について説明する。図１４は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図１４において、ファイル生成装置１００は、ベースレイヤの画像（BL画像）とエンハンスメントレイヤの画像（EL画像）を階層符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。

図３に示されるように、ファイル生成装置１００は、ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０２、MP4ファイル生成部１０３、およびMPD生成部１０４を有する。

ベースレイヤ符号化部１０１は、入力されたベースレイヤの画像（BL画像）を所定の符号化方式（例えばHEVC）で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部１０１は、生成したベースレイヤの符号化データ（HEVC）をMP4ファイル生成部１０３に供給する。また、ベースレイヤ符号化部１０１は、ベースレイヤの画像（例えば復号画像）を参照画像として、エンハンスメントレイヤ符号化部１０２に供給する。ベースレイヤ符号化部１０１は、また、符号化に関する情報である符号化情報をエンハンスメントレイヤ符号化部１０２に供給する。

エンハンスメントレイヤ符号化部１０２は、入力されたエンハンスメントレイヤの画像（EL画像）を所定の符号化方式（例えばSHVC）で符号化し、エンハンスメントレイヤの符号化データを生成する。その際、エンハンスメントレイヤ符号化部１０２は、ベースレイヤ符号化部１０１から供給される参照画像や符号化情報を用いてレイヤ間予測を行う。これにより符号化効率の低減を抑制することができる。エンハンスメントレイヤ符号化部１０２は、生成したエンハンスメントレイヤの符号化データ（SHVC）をMP4ファイル生成部１０３に供給する。

MP4ファイル生成部１０３は、ベースレイヤ符号化部１０１から供給されたベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤ符号化部１０２から供給されたエンハンスメントレイヤの符号化データ（SHVC）とを格納するファイル（MP4ファイル）を生成する。MP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）と、エンハンスメントレイヤの符号化データ（SHVC）とを、MP4ファイルの互いに異なるトラックに格納させる。MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。また、MP4ファイル生成部１０３は、生成したMP4ファイルをMPD生成部１０４に供給する。

MPD生成部１０４は、MP4ファイル生成部１０３から供給されたMP4ファイルの配信を制御するMPDを生成する。MPD生成部１０４は、生成したMPDを出力する。

＜MP4ファイル構成例＞
ファイル生成装置１００のMP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）とエンハンスメントレイヤの符号化データ（SHVC）とを格納するMP4ファイルとして、例えば、図１５および図１６に示されるような構成のMP4ファイルを生成する。

図１５および図１６に示されるように、MP4ファイル生成部１０３は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報のそれぞれを格納するトラックを生成する。また、この場合、MP4ファイル生成部１０３は、各トラックをそれぞれMP4ファイル化している。

つまり、MP4ファイル生成部１０３は、ベースレイヤについて、ベースレイヤ全体の情報を格納するトラック１（Track1）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル１（tile1）の情報を格納するトラック２（Track2）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル２（tile2）の情報を格納するトラック３（Track3）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル３（tile3）の情報を格納するトラック４（Track4）を格納するMP4ファイル（MP4ファイル）、ベースレイヤの画像のタイル４（tile4）の情報を格納するトラック５（Track5）を格納するMP4ファイル（MP4ファイル）を生成する（図１５）。

同様に、MP4ファイル生成部１０３は、エンハンスメントレイヤについて、エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するトラック７（Track7）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するトラック８（Track8）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するトラック９（Track9）を格納するMP4ファイル（MP4ファイル）、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するトラック１０（Track10）を格納するMP4ファイル（MP4ファイル）を生成する（図１６）。

ベースレイヤ全体の情報を格納するトラック１（Track1）には、ベースレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック１のサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される（Sample Entry = 'hvc2'）。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。そして、このトラック１のトラック間の参照に関する情報であるトラックリファレンス（Track Reference）には、参照するサンプルを格納するトラックを示す情報と、その参照の種類を示す情報とを含むが設定されている（scal=2,3,4,5）。つまり、トラック１がトラック２乃至トラック５を参照し、その参照の種類が"scal"であることが示されている。

ベースレイヤの画像のタイルの情報を格納するトラック２（Track2）乃至トラック５（Track5）には、それぞれ、ベースレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。また、トラック２乃至トラック５のサンプルエントリには、ベースレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'hvt1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvtCボックス（hvtC box）が設定されている。そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック１を参照し、その参照の種類が"tbas"であることが示されている（tbas=1）。また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、ベースレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。

エンハンスメントレイヤ全体の情報を格納するトラック６（Track6）には、エンハンスメントレイヤの各タイルへの参照情報であるエクストラクタのサンプル（EXT sample）が格納される。また、このトラック６のサンプルエントリには、エンハンスメントレイヤの符号化方式がSHVCであることを示す符号化情報が設定される（Sample Entry = 'lhv1'）。また、このサンプルエントリには、SHVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。

このトラック６のトラックリファレンス（Track Reference）には、トラック７乃至トラック１０を参照し、その参照の種類が"scal"であること（scal=7,8,9,10）が示されている。このトラック６のトラックリファレンス（Track Reference）には、さらに、ベースレイヤ全体の情報を格納するトラック１を参照し、その参照の種類が"sbas"であることも示されている（sbas=1）。これにより、エンハンスメントレイヤのトラックからベースレイヤのトラックを参照することができる。

エンハンスメントレイヤの画像のタイルの情報を格納するトラック７（Track7）乃至トラック１０（Track10）には、それぞれ、エンハンスメントレイヤの各タイルのサンプル（tile1 sample、tile2 sample、tile3 sample、またはtile4 sample）が格納される。

また、トラック７乃至トラック１０のサンプルエントリには、エンハンスメントレイヤのタイルのスライスだけを格納するトラックであることを示す符号化情報が設定される（Sample Entry = 'lht1'）。また、これらのサンプルエントリには、そのトラックのデータのデコードに必要なコンフィギュレーション（configuration）情報を格納するlhtCボックス（lhtC box）が設定されている。このように、エンハンスメントレイヤのタイルを格納する各トラックの符号化情報をベースレイヤのタイルを格納する各トラックの符号化情報と異なるものとすることにより、これらのトラックがエンハンスメントレイヤのタイルを格納する情報であることを識別することができる。

そして、これらのトラックのトラックリファレンス（Track Reference）には、トラック６を参照し、その参照の種類が"tbas"であることが示されている（tbas=6）。つまり、エンハンスメントレイヤのタイルを格納するトラックは、ベースレイヤ全体の情報を格納するトラック１ではなく、エンハンスメントレイヤ全体の情報を格納するトラック６を参照することが示される。

また、これらのトラックには、タイルリージョングループエントリ（TileRegionGroupEntry）として、エンハンスメントレイヤにおける当該タイルを識別する識別情報、当該タイルの水平方向の位置（オフセット）、当該タイルの垂直方向の位置（オフセット）、当該タイルの水平方向の大きさ（幅）、当該タイルの垂直方向の大きさ（高さ）等が設定されている。

MP4ファイル生成部１０３は、このような構成のMP4ファイルを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MP4ファイル生成処理の流れ＞
図１７のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。

MP4ファイル生成処理が開始されると、ベースレイヤ符号化部１０１は、ステップＳ１０１において、ベースレイヤ画像を符号化する。

ステップＳ１０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。

ステップＳ１０３において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックにサンプルエントリを生成する。

ステップＳ１０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成し、MP4ファイル化する。

ステップＳ１０５において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。

ステップＳ１０６において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、サンプルエントリを生成する。

ステップＳ１０７において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。

ステップＳ１０８において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。

ステップＳ１０９において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。

ステップＳ１１０において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成し、MP4ファイル化する。

ステップＳ１１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックにサンプルエントリを生成する。

ステップＳ１１２において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成し、MP4ファイル化する。

ステップＳ１１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、タイルリージョングループエントリを生成する。

ステップＳ１１４において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、サンプルエントリを生成する。

ステップＳ１１５において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、同レイヤの各タイルのトラックを示すトラックリファレンスを生成する。

ステップＳ１１６において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、同レイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。

ステップＳ１１７において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックに、ベースレイヤのエクストラクタのトラックを示すトラックリファレンスを生成する。

ステップＳ１１８において、MP4ファイル生成部１０３は、以上のように生成した各MP4ファイルを出力する。

以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図１５や図１６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図１８および図１９に示されるような構成のMPDを生成する。

図１８および図１９に示されるように、MPD生成部１０４は、ベースレイヤ全体の情報、ベースレイヤの画像の各タイルの情報、エンハンスメントレイヤ全体の情報、並びに、エンハンスメントレイヤの画像の各タイルの情報を含むメタデータを生成する。また、この場合、トラック毎にMP4ファイル化されているので、MPD生成部１０４は、MP4ファイル（トラック）毎に、アダプテーションセット（AdaptationSet）を設定し、それぞれのセグメント（Segment）にMP4ファイルを設定（登録）する。

つまり、MPD生成部１０４は、ベースレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーション（Representation）を設定し、その下位にセグメント（Segment）を設定し、そのセグメントに、ベースレイヤ全体の情報を格納するMP4ファイル（Bl_bs.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvc2">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="bl_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="bl_tile1,bl_tile2,bl_tile3,bl_tile4"associationType="scal">

同様に、MPD生成部１０４は、ベースレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル１の情報を格納するMP4ファイル（Bl_tile1.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,960,540,1920,1080">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル１の情報であることを示す識別情報が設定される（<id="bl_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="bl_bs "associationType="tbas">

同様に、MPD生成部１０４は、ベースレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル２の情報を格納するMP4ファイル（Bl_tile2.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,0,960,540,1920,1080">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル２の情報であることを示す識別情報が設定される（<id="bl_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。

<associationid="bl_bs "associationType="tbas">

同様に、MPD生成部１０４は、ベースレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル３の情報を格納するMP4ファイル（Bl_tile3.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,540,960,540,1920,1080">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル３の情報であることを示す識別情報が設定される（<id="bl_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。

<associationid="bl_bs "associationType="tbas">

同様に、MPD生成部１０４は、ベースレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、ベースレイヤの画像のタイル４の情報を格納するMP4ファイル（Bl_tile4.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="hvt1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,960,540,960,540,1920,1080">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤのタイル４の情報であることを示す識別情報が設定される（<id="bl_tile4">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報を設定する。例えば、以下のような情報が設定される。

<associationid="bl_bs "associationType="tbas">

以上の構成を図１８に示す。

また、MPD生成部１０４は、エンハンスメントレイヤ全体の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤ全体の情報を格納するMP4ファイル（El_bs.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs="lhv1">）。また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がベースレイヤ全体の情報であることを示す識別情報が設定される（<id="el_bs">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="bl_bs "associationType="sbas">
<associationid="el_tile1,el_tile2,el_tile3,el_tile4"associationType="scal">

これにより、エンハンスメントレイヤのアダプテーションセットからベースレイヤのアダプテーションセットを参照することができる。

同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル１（tile1）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル１の情報を格納するMP4ファイル（el_tile1.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,0,1920,1080,3840,2160">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル１の情報であることを示す識別情報が設定される（<id="el_tile1">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="el_bs "associationType="tbas">

同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル２（tile2）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル２の情報を格納するMP4ファイル（el_tile2.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,0,1920,1080,3840,2160">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル２の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="el_bs "associationType="tbas">

同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル３（tile3）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル３の情報を格納するMP4ファイル（el_tile3.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,0,1080,1920,1080,3840,2160">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル３の情報であることを示す識別情報が設定される（<id="el_tile3">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="el_bs "associationType="tbas">

同様に、MPD生成部１０４は、エンハンスメントレイヤの画像のタイル４（tile4）の情報を格納するアダプテーションセットを設定し、そのアダプテーションセットの下位にリプレゼンテーションを設定し、その下位にセグメントを設定し、そのセグメントに、エンハンスメントレイヤの画像のタイル４の情報を格納するMP4ファイル（el_tile4.mp4）を登録する。

MPD生成部１０４は、このアダプテーションセットに、MP4ファイルのサンプルエントリに設定された符号化情報を設定する（<codecs=lht1">）。また、MPD生成部１０４は、このアダプテーションセットに、エッセンシャルプロパティ（EssentialProperty）を設定し、そのエレメントとしてタイル用のスキーマ（schemeIdUri="urn:mpeg:dash:srd:2013"）を設定し、そのバリュー（value）として、MP4ファイルのタイルリージョングループエントリの情報等を設定する。例えば、以下のような情報が設定される。

<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2013"
value="1,1920,1080,1920,1080,3840,2160">

また、MPD生成部１０４は、このリプレゼンテーションに、格納する情報がエンハンスメントレイヤのタイル４の情報であることを示す識別情報が設定される（<id="el_tile2">）。さらに、MPD生成部１０４は、アダプテーションセット間の参照関係と参照の種類を示すアソシエーション情報として、MP4ファイルのトラックリファレンスに設定された情報等を設定する。例えば、以下のような情報が設定される。

<associationid="el_bs "associationType="tbas">

以上の構成を図１８に示す。

このように、エンハンスメントレイヤの各タイルのアダプテーションセットの符号化情報をベースレイヤの各タイルのアダプテーションセットの符号化情報と異なるものとすることにより、これらがエンハンスメントレイヤのタイルのアダプテーションセットであることを識別することができる。

また、これらのアダプテーションセットに属するリプレゼンテーションのアソシエーション情報には、"el_bs"を参照し、その参照の種類が"tbas"であることが示されている。つまり、エンハンスメントレイヤの各タイルのアダプテーションセットから、ベースレイヤ全体の情報のアダプテーションセット（bl_bs）ではなく、エンハンスメントレイヤ全体の情報のアダプテーションセット（el_bs）を参照することができる。

MPD生成部１０４は、このような構成のMPDを生成することにより、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD生成処理の流れ＞
図２０および図２１のフローチャートを参照して、図１４のファイル生成装置１００により実行される、このようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。

MPD生成処理が開始されると、ベースレイヤ符号化部１０１は、図２０のステップＳ１２１において、ベースレイヤ画像を符号化する。

ステップＳ１２２において、エンハンスメントレイヤ符号化部１０２は、必要に応じてベースレイヤの参照画像を参照してレイヤ間予測を行い、エンハンスメントレイヤ画像を符号化する。

ステップＳ１２３において、MP4ファイル生成部１０３は、ベースレイヤの符号化データおよびエンハンスメントレイヤの符号化データを格納するMP4ファイルを生成する。この処理は、図１７のフローチャートを参照して説明したMP4ファイル生成処理と同様であるので、その説明を省略する。

ステップＳ１２４において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットを生成する。

ステップＳ１２５において、MPD生成部１０４は、ベースレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。

ステップＳ１２６において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションを生成する。

ステップＳ１２７において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。

ステップＳ１２８において、MPD生成部１０４は、ベースレイヤのエクストラクタのリプレゼンテーションにベースレイヤの各タイルとの関連情報（アソシエーション情報）を設定する。

ステップＳ１２９において、MPD生成部１０４は、ベースレイヤのエクストラクタのセグメントを生成する。

ステップＳ１３０において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットを生成する。

ステップＳ１３１において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットに符号化情報を設定する。

ステップＳ１３２において、MPD生成部１０４は、ベースレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。

ステップＳ１３３において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションを生成する。

ステップＳ１３４において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションに識別情報を設定する。

ステップＳ１３５において、MPD生成部１０４は、ベースレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。

ステップＳ１３６において、MPD生成部１０４は、ベースレイヤの各タイルのセグメントを生成する。

図２１のステップＳ１４１において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットを生成する。

ステップＳ１４２において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットに符号化情報を設定する。

ステップＳ１４３において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのアダプテーションセットにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。

ステップＳ１４４において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションを生成する。

ステップＳ１４５において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションに識別情報を設定する。

ステップＳ１４６において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのリプレゼンテーションにエンハンスメントレイヤの各タイルとの関連情報（アソシエーション情報）と、ベースレイヤのエクストラクタとの関連情報（アソシエーション情報）とを設定する。

ステップＳ１４７において、MPD生成部１０４は、エンハンスメントレイヤのエクストラクタのセグメントを生成する。

ステップＳ１４８において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットを生成する。

ステップＳ１４９において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットに符号化情報を設定する。

ステップＳ１５０において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのアダプテーションセットにエッセンシャルプロパティを設定する。

ステップＳ１５１において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションを生成する。

ステップＳ１５２において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに識別情報を設定する。

ステップＳ１５３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤのエクストラクタとの関連情報（アソシエーション情報）を設定する。

ステップＳ１５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのセグメントを生成する。

ステップＳ１５５において、MPD生成部１０４は、以上のように生成したMPDを出力する。

以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図１８や図１９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜ファイル再生装置＞
次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図２２は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図２２において、ファイル再生装置２００は、図１４のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤおよびエンハンスメントレイヤのいずれか一方または両方の復号画像を生成し、出力する装置である。

図２２に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル再生部２０２、ベースレイヤ復号部２０３、およびエンハンスメントレイヤ復号部２０４を有する。

＜MP4ファイル再生処理の流れ＞
図２２のファイル再生装置２００は、MP4ファイル再生処理を実行することにより、入力されるMP4ファイルを再生し、任意のレイヤの復号画像を生成する。図２３のフローチャートを参照して、このMP4ファイル再生処理の流れの例を説明する。

MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ１７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ１７２に進む。

ステップＳ１７２において、MP4ファイル再生部２０２は、ベースレイヤのエクストラクタのMP4ファイルを取得する。

ステップＳ１７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。

ステップＳ１７４において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。

ステップＳ１７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。

ステップＳ１７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ１７６の処理が終了すると、処理はステップＳ１８９に進む。

また、ステップＳ１７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ１７８に進む。

ステップＳ１７８において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ１７９に進む。

ステップＳ１７９乃至ステップＳ１８３の各処理は、ステップＳ１７２乃至ステップＳ１７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ１８４に進む。また、ステップＳ１７８においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ１８４に進む。

ステップＳ１８４において、MP4ファイル再生部２０２は、エンハンスメントレイヤのエクストラクタのMP4ファイルを取得する。

ステップＳ１８５において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのMP4ファイルを取得する。

ステップＳ１８６において、MP4ファイル再生部２０２は、取得したMP4ファイルから処理対象のサンプルの符号化データを抽出する。

ステップＳ１８７において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。

ステップＳ１８８において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ１８８の処理が終了すると、処理はステップＳ１８９に進む。

ステップＳ１８９において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１７１に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ１７１乃至ステップＳ１８９の各処理が適宜実行され、ステップＳ１８９において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。

以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図１５や図１６に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD再生処理の流れ＞
図２２のファイル再生装置２００は、MPD再生処理を実行することにより、入力されるMPDを再生し、任意のレイヤの復号画像を生成する。図２４のフローチャートを参照して、このMPD再生処理の流れの例を説明する。

MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ２０１において、MPDを取得する。

ステップＳ２０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ２０３に進む。

ステップＳ２０３において、MPD解析部２０１は、ベースレイヤの再生するタイルのアダプテーションセットを特定する。

ステップＳ２０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。

ステップＳ２０５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７２乃至ステップＳ１７６の各処理が実行される。ステップＳ２０５の処理が終了すると処理はステップＳ２１１に進む。

また、ステップＳ２０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ２０６に進む。

ステップＳ２０６およびステップＳ２０７の各処理は、ステップＳ２０３およびステップＳ２０４の各処理と同様に実行される。

ステップＳ２０８において、MPD解析部２０１は、エンハンスメントレイヤの再生するタイルのアダプテーションセットを特定する。

ステップＳ２０９において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。

ステップＳ２１０において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図２３のステップＳ１７８乃至ステップＳ１８８の各処理が実行される。ステップＳ２１０の処理が終了すると処理はステップＳ２１１に進む。

ステップＳ２１１において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ２０２乃至ステップＳ２１１の各処理が適宜実行され、ステップＳ２１１において再生を終了すると判定された場合、MPD再生処理が終了する。

以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図１８や図１９に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜２．第２の実施の形態＞
＜ベースレイヤの参照＞
エンハンスメントレイヤの各タイルからベースレイヤの各タイルを参照することができるようにしてもよい。図２５および図２６にMP4ファイルの他の構成例を示す。

この場合、図１５および図１６に示される構成に加え、エンハンスメントレイヤの各タイルのトラックにベースレイヤを参照するトラックリファレンスが追加されている。

例えば、図２６のトラック７のトラックリファレンス（Track Reference）に、トラック２を参照し、その参照の種類が"sbas"であることが示され（sbas=2）、トラック８のトラックリファレンス（Track Reference）に、トラック３を参照し、その参照の種類が"sbas"であることが示され（sbas=3）、トラック９のトラックリファレンス（Track Reference）に、トラック４を参照し、その参照の種類が"sbas"であることが示され（sbas=4）、トラック１０のトラックリファレンス（Track Reference）に、トラック５を参照し、その参照の種類が"sbas"であることが示されている（sbas=5）。

したがって、この場合、エンハンスメントレイヤのタイルを格納する各トラックから、ベースレイヤの対応するタイルのトラックを参照することができる。

＜MP4ファイル生成処理の流れ＞
図２７のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。

図２７のステップＳ２２１乃至ステップＳ２３６の各処理は、図１７のステップＳ１０１乃至ステップＳ１１６の各処理と同様に実行される。

ステップＳ２３７において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックに、ベースレイヤの対応するタイルのトラックを示すトラックリファレンスを生成する。

図２７のステップＳ２３８およびステップＳ２３９の各処理は、図１７のステップＳ１１７およびステップＳ１１８の各処理と同様に実行される。

以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図２５や図２６に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図２８および図２９に示されるような構成のMPDを生成する。

この場合、図１８および図１９に示される構成に加え、エンハンスメントレイヤの各タイルのリプレゼンテーションにベースレイヤを参照するアソシエーション情報が追加されている。

例えば、図２９のエンハンスメントレイヤのタイル１のリプレゼンテーションに、ベースレイヤのタイル１のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。

<associationid="bl_tile1" associationType="sbas">

同様に、エンハンスメントレイヤのタイル２のリプレゼンテーションに、ベースレイヤのタイル２のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。

<associationid="bl_tile2" associationType="sbas">

同様に、エンハンスメントレイヤのタイル３のリプレゼンテーションに、ベースレイヤのタイル３のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。

<associationid="bl_tile3" associationType="sbas">

同様に、エンハンスメントレイヤのタイル４のリプレゼンテーションに、ベースレイヤのタイル４のアダプテーションセットとの参照関係を示す以下のようなアソシエーション情報が設定される。

<associationid="bl_tile4" associationType="sbas">

したがって、この場合、エンハンスメントレイヤのタイルのアダプテーションセットから、ベースレイヤの対応するタイルのアダプテーションセットを参照することができる。

＜MPD生成処理の流れ＞
図３０および図３１のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。

図３０のステップＳ２５１乃至ステップＳ２６６の各処理は、図２０のステップＳ１２１乃至ステップＳ１３６の各処理と同様に実行される。

また、図３１のステップＳ２７１乃至ステップＳ２８２の各処理は、図２１のステップＳ１４１乃至ステップＳ１５２の各処理と同様に実行される。

図３１のステップＳ２８３において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのリプレゼンテーションに、ベースレイヤの対応するタイルとの関連情報（アソシエーション情報）を設定する。

図３１のステップＳ２８４乃至ステップＳ２８６の各処理は、図２１のステップＳ１５３乃至ステップＳ１５５の各処理と同様に実行される。

以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図２８や図２９に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

なお、MP4ファイル再生処理やMPD再生処理は、第１の実施の形態の場合と同様に行うことができるので、その説明は省略する。

＜３．第３の実施の形態＞
＜レイヤ毎のファイル化＞
図３２および図３３にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えばレイヤ毎にファイル化するようにしてもよい。図３２の例の場合、ベースレイヤの情報を格納する各トラック（トラック１乃至トラック５）が１つのMP4ファイルに格納されている。また、図３３の例の場合、エンハンスメントレイヤの情報を格納する各トラック（トラック６乃至トラック１０）が１つのMP4ファイルに格納されている。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。

＜MP4ファイル生成処理の流れ＞
図３４のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。

ステップＳ３０１の処理は、図２７のステップＳ２２１の処理と同様に実行される。

ステップＳ３０２において、MP4ファイル生成部１０３は、ベースレイヤのエクストラクタのトラックを生成する。

ステップＳ３０３の処理は、図２７のステップＳ２２３の処理と同様に実行される。

ステップＳ３０４において、MP4ファイル生成部１０３は、ベースレイヤの各タイルのトラックを生成する。

ステップＳ３０５乃至ステップＳ３０８の各処理は、図２７のステップＳ２２５乃至ステップＳ２２８の各処理と同様に実行される。

ステップＳ３０９において、MP4ファイル生成部１０３は、ベースレイヤの各トラックをまとめてファイル化する。つまり、ベースレイヤの各トラックを１つのファイルに格納する。

ステップＳ３１０の処理は、図２７のステップＳ２２９の処理と同様に実行される。

ステップＳ３１１において、MP4ファイル生成部１０３は、エンハンスメントレイヤのエクストラクタのトラックを生成する。

ステップＳ３１２の処理は、図２７のステップＳ２３１の処理と同様に実行される。

ステップＳ３１３において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各タイルのトラックを生成する。

ステップＳ３１４乃至ステップＳ３１９の各処理は、図２７のステップＳ２３３乃至ステップＳ２３８の各処理と同様に実行される。

ステップＳ３２０において、MP4ファイル生成部１０３は、エンハンスメントレイヤの各トラックをまとめてファイル化する。つまり、エンハンスメントレイヤの各トラックを１つのファイルに格納する。

ステップＳ３２１の処理は、図２７のステップＳ２３９の処理と同様に実行される。

以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図３２や図３３に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図３５および図３６に示されるような構成のMPDを生成する。

この場合、MP4ファイルは、レイヤ毎にファイル化されているので、MPDにおいても、アダプテーションセットは、レイヤ毎に作成される。

図３５に示されるように、ベースレイヤのアダプテーションセットには、その下位に、ベースレイヤ全体の情報を含むリプレゼンテーションが生成され、その下位のセグメントにベースレイヤのMP4ファイル（bl.mp4）が設定（登録）される。各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。

図３６に示されるように、エンハンスメントレイヤの構成も、図３５と同様である。

＜MPD生成処理の流れ＞
図３７のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。

ステップＳ３４１乃至ステップＳ３４３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。

ステップＳ３４４において、MPD生成部１０４は、ベースレイヤのアダプテーションセットを生成する。

ステップＳ３４５において、MPD生成部１０４は、ベースレイヤのリプレゼンテーションを生成する。

ステップＳ３４６において、MPD生成部１０４は、ベースレイヤのセグメントを生成する。

ステップＳ３４７において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションを生成する。

ステップＳ３４８において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。

ステップＳ３４９において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。

ステップＳ３５０において、MPD生成部１０４は、ベースレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。

ステップＳ３５１において、MPD生成部１０４は、エンハンスメントレイヤのアダプテーションセットを生成する。

ステップＳ３５２において、MPD生成部１０４は、エンハンスメントレイヤのリプレゼンテーションを生成する。

ステップＳ３５３において、MPD生成部１０４は、エンハンスメントレイヤのセグメントを生成する。

ステップＳ３５４において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションを生成する。

ステップＳ３５５において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。

ステップＳ３５６において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。

ステップＳ３５７において、MPD生成部１０４は、エンハンスメントレイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。

ステップＳ３５８において、MPD生成部１０４は、以上のように生成したMPDを出力する。

以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図３５や図３６に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MP4ファイル再生処理の流れ＞
次に、図３８のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。

MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ３７１において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ３７２に進む。

ステップＳ３７２において、MP4ファイル再生部２０２は、ベースレイヤのMP4ファイルを取得する。

ステップＳ３７３において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを特定する。

ステップＳ３７４において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。

ステップＳ３７５において、ベースレイヤ復号部２０３は、符号化データを復号し、ベースレイヤの復号画像（BL画像）を生成する。

ステップＳ３７６において、ベースレイヤ復号部２０３は、ベースレイヤの復号画像（BL画像）を出力する。ステップＳ３７６の処理が終了すると、処理はステップＳ３８８に進む。

また、ステップＳ３７１において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ３７７に進む。

ステップＳ３７７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ３７８に進む。

ステップＳ３７８乃至ステップＳ３８２の各処理は、ステップＳ３７２乃至ステップＳ３７６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ３８３に進む。また、ステップＳ３７７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ３８３に進む。

ステップＳ３８３において、MP4ファイル再生部２０２は、エンハンスメントレイヤのMP4ファイルを取得する。

ステップＳ３８４において、MP4ファイル再生部２０２は、そのMP4ファイルのトラックリファレンスに基づいて、再生するタイルのトラックを取得する。

ステップＳ３８５において、MP4ファイル再生部２０２は、特定したトラックから処理対象のサンプルの符号化データを抽出する。

ステップＳ３８６において、エンハンスメントレイヤ復号部２０４は、必要に応じてベースレイヤの参照画像や符号化情報を用いてレイヤ間予測を行い、符号化データを復号し、エンハンスメントレイヤの復号画像（EL画像）を生成する。

ステップＳ３８７において、エンハンスメントレイヤ復号部２０４は、エンハンスメントレイヤの復号画像（EL画像）を出力する。ステップＳ３８７の処理が終了すると、処理はステップＳ３８８に進む。

ステップＳ３８８において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ３７１に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ３７１乃至ステップＳ３８８の各処理が適宜実行され、ステップＳ３８８において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。

以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図３２や図３３に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD再生処理の流れ＞
図３９のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。

MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ４０１において、MPDを取得する。

ステップＳ４０２において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ４０３に進む。

ステップＳ４０３において、MPD解析部２０１は、ベースレイヤのアダプテーションセットを特定する。

ステップＳ４０４において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。

ステップＳ４０５において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。

ステップＳ４０６において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７２乃至ステップＳ３７６の各処理が実行される。ステップＳ４０６の処理が終了すると処理はステップＳ４１４に進む。

また、ステップＳ４０２において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ４０７に進む。

ステップＳ４０７乃至ステップＳ４０９の各処理は、ステップＳ４０３およびステップＳ４０５の各処理と同様に実行される。

ステップＳ４１０において、MPD解析部２０１は、エンハンスメントレイヤのアダプテーションセットを特定する。

ステップＳ４１１において、MPD解析部２０１は、そのアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。

ステップＳ４１２において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。

ステップＳ４１３において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図３８のステップＳ３７７乃至ステップＳ３８７の各処理が実行される。ステップＳ４１３の処理が終了すると処理はステップＳ４１４に進む。

ステップＳ４１４において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４０２に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ４０２乃至ステップＳ４１４の各処理が適宜実行され、ステップＳ４１４において再生を終了すると判定された場合、MPD再生処理が終了する。

以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図３５や図３６に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜４．第４の実施の形態＞
＜全レイヤのファイル化＞
図４０および図４１にMP4ファイルの他の構成例を示す。これらの図に示されるように、MP4ファイルは、例えば全レイヤを１つのファイルにファイル化するようにしてもよい。各トラックの内部の構成は、第２の実施の形態の場合（図２５、図２６）と同様である。もちろん、この各トラックの内部の構成を、第１の実施の形態の場合（図１５、図１６）と同様にしてもよい。

＜MP4ファイル生成処理の流れ＞
図４２のフローチャートを参照して、この場合のMP4ファイル生成処理の流れの例を説明する。

ステップＳ４３１乃至ステップＳ４４８の各処理は、図３４のステップＳ３０１乃至ステップＳ３０８並びにステップＳ３１０乃至３１９の各処理と同様に実行される。

ステップＳ４４９において、MP4ファイル生成部１０３は、全レイヤの各タイル（各トラック）をまとめてファイル化する（全トラックを含む１つのMP4ファイルを生成する）。

ステップＳ４５０において、MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。

以上のようにMP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図４０や図４１に示されるような構成のMP4ファイルを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD構成例＞
ファイル生成装置１００のMPD生成部１０４は、MP4ファイル生成部１０３が上述したように生成したMP4ファイルから、例えば、図４３および図４４に示されるような構成のMPDを生成する。

図４３および図４４に示されるように、この場合、アダプテーションセットは、１つのみ作成される（全レイヤ共通のアダプテーションセットが作成される）。

その下位に、全レイヤの情報を含むリプレゼンテーションが生成され、その下位のセグメントに全レイヤのMP4ファイル（blel.mp4）が設定（登録）される。各レイヤの各タイルの情報は、リプレゼンテーションの下位のサブリプレゼンテーションに設定される。

＜MPD生成処理の流れ＞
図４５のフローチャートを参照して、この場合のMPD生成処理の流れの例を説明する。

ステップＳ４７１乃至ステップＳ４７３の各処理は、図３０のステップＳ２５１乃至ステップＳ２５３の各処理と同様に実行される。

ステップＳ４７４において、MPD生成部１０４は、全レイヤ共通のアダプテーションセットを生成する。

ステップＳ４７５において、MPD生成部１０４は、全レイヤ共通のリプレゼンテーションを生成する。

ステップＳ４７６において、MPD生成部１０４は、全レイヤ共通のセグメントを生成する。

ステップＳ４７７において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションを生成する。

ステップＳ４７８において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションに符号化情報を設定する。

ステップＳ４７９において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにレベル情報を設定する。

ステップＳ４８０において、MPD生成部１０４は、各レイヤの各タイルのサブリプレゼンテーションにエッセンシャルプロパティを設定する。

ステップＳ４８１において、MPD生成部１０４は、以上のように生成したMPDを出力する。

以上のようにMPD生成処理を実行することにより、ファイル生成装置１００は、図４３や図４４に示されるような構成のMPDを生成することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎に配信を制御することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MP4ファイル再生処理の流れ＞
次に、図４６のフローチャートを参照して、この場合のMP4ファイル再生処理の流れの例を説明する。

MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ５０１において、MP4ファイルを取得する。

ステップＳ５０２において、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５０３に進む。

ステップＳ５０３において、MP4ファイル再生部２０２は、ベースレイヤ全体の情報のトラックのトラックリファレンスに基づいて、ベースレイヤの再生するタイルのトラックを特定する。

ステップＳ５０４乃至ステップＳ５０６の各処理は、図３８のステップＳ３７４乃至ステップＳ３７６の各処理と同様に実行される。

ステップＳ５０６の処理が終了すると、処理はステップＳ５１６に進む。

また、ステップＳ５０２において、エンハンスメントレイヤを復号すると判定された場合、処理はステップＳ５０７に進む。

ステップＳ５０７において、MP4ファイル再生部２０２は、ベースレイヤを取得済みであるか否かを判定する。未取得であると判定された場合、処理はステップＳ５０８に進む。

ステップＳ５０８乃至ステップＳ５１１の各処理は、ステップＳ５０３乃至ステップＳ５０６の各処理と同様に実行される。これらの処理が実行され、ベースレイヤの復号画像（BL画像）が出力されると、処理はステップＳ５１２に進む。また、ステップＳ５０７においてベースレイヤの画像が取得済みであると判定された場合、処理はステップＳ５１２に進む。

ステップＳ５１２において、MP4ファイル再生部２０２は、エンハンスメントレイヤ全体の情報のトラックのトラックリファレンスに基づいて、エンハンスメントレイヤの再生するタイルのトラックを取得する。

ステップＳ５１３乃至ステップＳ５１５の各処理は、図３８のステップＳ３８５乃至ステップＳ３８７の各処理と同様に実行される。ステップＳ５１５の処理が終了すると、処理はステップＳ５１６に進む。

ステップＳ５１６において、MP4ファイル再生部２０２は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５０１に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ５０１乃至ステップＳ５１６の各処理が適宜実行され、ステップＳ５１６において再生を終了すると判定された場合、MP4ファイル再生処理が終了する。

以上のようにMP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図４０や図４１に示されるような構成のMP4ファイルを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜MPD再生処理の流れ＞
図４７のフローチャートを参照して、この場合のMPD再生処理の流れの例を説明する。

MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ５３１において、MPDを取得する。

ステップＳ５３２において、MPD解析部２０１は、取得したMPDの全レイヤ共通のアダプテーションセットに属するセグメントに指定されるMP4ファイルをMP4ファイル再生部２０２に取得させる。

ステップＳ５３３において、MPD解析部２０１は、ベースレイヤを再生するか否かを判定する。ベースレイヤを再生すると判定された場合、処理はステップＳ５３４に進む。

ステップＳ５３４において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。

ステップＳ５３５において、MP4ファイル再生部２０２およびベースレイヤ復号部２０３は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、ベースレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０３乃至ステップＳ５０６の各処理が実行される。ステップＳ５３５の処理が終了すると処理はステップＳ５３８に進む。

また、ステップＳ５３３において、エンハンスメントレイヤを再生すると判定された場合、処理はステップＳ５３６に進む。

ステップＳ５３６において、MPD解析部２０１は、再生するタイルのサブリプレゼンテーションを特定する。

ステップＳ５３７において、MP4ファイル再生部２０２乃至エンハンスメントレイヤ復号部２０４は、取得したMP4ファイルの特定したサプリプレゼンテーションに対応するトラックを再生し、エンハンスメントレイヤのタイルの復号画像を得る。この処理においては、図４６のステップＳ５０７乃至ステップＳ５１５の各処理が実行される。ステップＳ５３７の処理が終了すると処理はステップＳ５３８に進む。

ステップＳ５３８において、MPD解析部２０１は、再生を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５３１に戻り、それ以降の処理が繰り返される。

各サンプルについてステップＳ５３１乃至ステップＳ５３８の各処理が適宜実行され、ステップＳ５３８において再生を終了すると判定された場合、MPD再生処理が終了する。

以上のようにMPD再生処理を実行することにより、ファイル再生装置２００は、図４３や図４４に示されるような構成のMPDを再生することができ、ベースレイヤだけでなくエンハンスメントレイヤにおいても、タイル毎の配信制御を実現することができる。つまり、画像配信において、複数階層からなる画像の、各階層の画像の部分画像（例えばタイル）を適応的に提供することができるようになる。

＜５．第５の実施の形態＞
＜配信システム＞
各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。

図４８は、本技術を適用した配信システムの主な構成例を示す図である。図４８に示される配信システム３００は、静止画像および動画像を配信するシステムである。図４８に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。

配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。

ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。

配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。

端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。

配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。

このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。

また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。

このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、複数階層からなる画像の、各階層の画像の部分画像を適応的に提供することができ、例えば、第１の実施の形態において説明したユースケースのようなレイヤの切り替えを実現することができる。

＜６．第６の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図４９に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。

バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。

入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。

その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成するファイル生成部
を備える情報処理装置。
（２） 前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納する
（１）に記載の情報処理装置。
（３） 前記ファイル生成部は、
前記ベースレイヤ全体の情報を格納するトラックに、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記ベースレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤ全体の情報を格納するトラックに、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
（１）または（２）に記載の情報処理装置。
（４） 前記ファイル生成部は、
前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックに、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
（３）に記載の情報処理装置。
（５） 前記ファイル生成部は、
各レイヤのレイヤ全体の情報を格納する各トラックに、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の符号化データのサンプルを格納する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記ファイル生成部は、
各レイヤの前記部分領域の情報を格納する各トラックに、前記部分領域の位置情報を格納する
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記ファイル生成部は、前記トラック毎に前記ファイルに生成する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記ファイル生成部は、レイヤ毎に前記ファイルを生成する
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記ファイル生成部は、全てのトラックを格納するファイルを生成する
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納するファイルを生成する
情報処理方法。
（１１） 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成するメタデータ生成部
を備える情報処理装置。
（１２） 前記ベースレイヤ全体の情報を格納する情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含む
（１１）に記載の情報処理装置。
（１３） 前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、 前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
（１１）または（１２）に記載の情報処理装置。
（１４） 前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
（１３）に記載の情報処理装置。
（１５） 前記ベースレイヤの前記部分領域の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記メタデータ生成部は、
前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記ベースレイヤ全体の情報に設定し、
前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記ベースレイヤの前記部分領域の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを、前記エンハンスメントレイヤ全体の情報に設定し、
前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを、前記エンハンスメントレイヤの前記部分領域の情報に設定する
（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記メタデータ生成部は、
前記ベースレイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位に設定し、
前記エンハンスメントレイヤの符号化データを格納するファイルを、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
（１１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記メタデータ生成部は、
全レイヤの符号化データを格納するファイルを、前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位に設定する
（１１）乃至（１７）のいずれかに記載の情報処理装置。
（１９） 前記メタデータ生成部は、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定する
（１１）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含むメタデータを生成する
情報処理方法。

１００ ファイル生成装置， １０１ ベースレイヤ符号化部， １０２ エンハンスメントレイヤ符号化部， １０３ MP4ファイル生成部， １０４ MPD生成部， ２００ ファイル再生装置， ２０１ MPD解析部， ２０２ MP4ファイル再生部， ２０３ ベースレイヤ復号部， ２０４ エンハンスメントレイヤ復号部， ３００ 配信システム， ３０１ 配信データ生成装置， ３０２ 配信サーバ， ３０３ ネットワーク， ３０４および３０５ 端末装置， ４００ コンピュータ

Claims (18)

1. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納し、
   前記ベースレイヤ全体の情報を格納するトラックは、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
   前記ベースレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
   前記エンハンスメントレイヤ全体の情報を格納するトラックは、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
   前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するファイルの、
   前記符号化データのベースレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記ベースレイヤの前記部分領域の符号化データを取得し、
   前記ファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得する
   取得部と、
   前記取得部により取得された前記符号化データを復号する復号部と
   を備える情報処理装置。
2. 前記ベースレイヤ全体の情報を格納するトラックは、前記ベースレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
   前記ベースレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
   前記エンハンスメントレイヤ全体の情報を格納するトラックは、前記ベースレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックを参照することを示す情報および前記参照の種類を示す情報を格納し、
   前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記エンハンスメントレイヤ全体の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報を格納する
   請求項１に記載の情報処理装置。
3. 前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を格納するトラックを参照することを示す情報および前記参照の種類を示す情報をさらに格納する
   請求項２に記載の情報処理装置。
4. 各レイヤのレイヤ全体の情報を格納する各トラックは、前記レイヤの前記部分領域の符号化データへの参照情報のサンプルを格納し、
   各レイヤの前記部分領域の情報を格納する各トラックは、前記部分領域の符号化データのサンプルを格納する
   請求項１に記載の情報処理装置。
5. 各レイヤの前記部分領域の情報を格納する各トラックは、前記部分領域の位置情報を格納する
   請求項１に記載の情報処理装置。
6. 前記取得部は、前記トラック毎に形成された複数の前記ファイルから、前記ベースレイヤの前記部分領域の符号化データと、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する
   請求項１に記載の情報処理装置。
7. 前記取得部は、レイヤ毎に形成された複数の前記ファイルから、前記ベースレイヤの前記部分領域の符号化データと、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する
   請求項１に記載の情報処理装置。
8. 前記取得部は、全てのトラックを格納する前記ファイルから、前記ベースレイヤの前記部分領域の符号化データと、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する
   請求項１に記載の情報処理装置。
9. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を、互いに異なるトラックに格納し、
   前記ベースレイヤ全体の情報を格納するトラックは、前記ベースレイヤの符号化方式を示す符号化情報を格納し、
   前記ベースレイヤの前記部分領域の情報を格納する各トラックは、前記ベースレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納し、
   前記エンハンスメントレイヤ全体の情報を格納するトラックは、前記エンハンスメントレイヤの符号化方式を示す符号化情報を格納し、
   前記エンハンスメントレイヤの前記部分領域の情報を格納する各トラックは、前記エンハンスメントレイヤの前記部分領域の情報のみを格納するトラックであることを示す符号化情報を格納するファイルの、
   前記符号化データのベースレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記ベースレイヤの前記部分領域の符号化データを取得し、
   前記ファイルの、前記符号化データのエンハンスメントレイヤ全体の情報を格納するトラックに格納される、参照するサンプルを格納するトラックを示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納するトラックを特定し、特定した前記トラックから前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、
   取得された前記符号化データを復号する
   情報処理方法。
10. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含み、
    前記ベースレイヤ全体の情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
    前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むメタデータをパースし、
    前記メタデータの、前記符号化データのベースレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納する構造単位を特定し、
    前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定する
    パース部と、
    前記パース部により特定された前記構造単位の情報に基づいて、前記ベースレイヤの前記部分領域の符号化データ、および、前記エンハンスメントレイヤの前記部分領域の符号化データを取得する取得部と、
    前記取得部により取得された前記符号化データを復号する復号部と
    を備える情報処理装置。
11. 前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記ベースレイヤの前記部分領域の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記ベースレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報を参照することを示す情報および前記参照の種類を示す情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報は、前記エンハンスメントレイヤ全体の情報を参照することを示す情報および前記参照の種類を示す情報を含む
    請求項１０に記載の情報処理装置。
12. 前記エンハンスメントレイヤの前記部分領域の情報は、前記ベースレイヤの、自身の部分領域に対応する部分領域の情報を参照することを示す情報および前記参照の種類を示す情報をさらに含む
    請求項１１に記載の情報処理装置。
13. 前記ベースレイヤの前記部分領域の情報、および、前記エンハンスメントレイヤの前記部分領域の情報は、前記部分領域の位置情報を含む
    請求項１０に記載の情報処理装置。
14. 前記ベースレイヤ全体の情報は、前記ベースレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを示す情報を含み、
    前記ベースレイヤの前記部分領域の情報は、前記ベースレイヤの前記部分領域の符号化データのサンプルを格納するファイルを示す情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの前記部分領域の符号化データへの参照情報のサンプルを格納するファイルを示す情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報は、前記エンハンスメントレイヤの前記部分領域の符号化データのサンプルを格納するファイルを示す情報を含む
    請求項１０に記載の情報処理装置。
15. 前記ベースレイヤ全体の情報、並びに、前記ベースレイヤの前記部分領域の情報の上位の情報は、前記ベースレイヤの符号化データを格納するファイルを示す情報を含み、
    前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位の情報は、前記エンハンスメントレイヤの符号化データを格納するファイルを示す情報を含む
    請求項１０に記載の情報処理装置。
16. 前記ベースレイヤ全体の情報、前記ベースレイヤの前記部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの前記部分領域の情報の上位の情報は、全レイヤの符号化データを格納するファイルを示す情報を含む
    請求項１０に記載の情報処理装置。
17. 前記メタデータは、前記ベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記エンハンスメントレイヤ全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報が、互いに異なるアダプテーションセット、若しくは、互いに異なるサブリプレゼンテーションに設定される
    請求項１０に記載の情報処理装置。
18. 画像データが階層符号化された符号化データのベースレイヤ全体の情報、前記ベースレイヤの画像の各部分領域の情報、前記符号化データのエンハンスメントレイヤの全体の情報、並びに、前記エンハンスメントレイヤの画像の各部分領域の情報を含み、
    前記ベースレイヤ全体の情報は、前記ベースレイヤの符号化方式を示す符号化情報を含み、
    前記ベースレイヤの前記部分領域の情報のそれぞれは、前記ベースレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含み、
    前記エンハンスメントレイヤ全体の情報は、前記エンハンスメントレイヤの符号化方式を示す符号化情報を含み、
    前記エンハンスメントレイヤの前記部分領域の情報のそれぞれは、前記エンハンスメントレイヤの前記部分領域の情報のみが含まれることを示す符号化情報を含むメタデータを
    パースし、
    前記メタデータの、前記符号化データのベースレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記ベースレイヤの画像の部分領域の情報を格納する構造単位を特定し、
    前記メタデータの、前記符号化データのエンハンスメントレイヤ全体の情報を格納する構造単位の、参照する情報を格納する構造単位を示す情報に基づいて、再生する前記エンハンスメントレイヤの画像の部分領域の情報を格納する構造単位を特定し、
    特定された前記構造単位の情報に基づいて、前記ベースレイヤの前記部分領域の符号化データ、および、前記エンハンスメントレイヤの前記部分領域の符号化データを取得し、
    取得された前記符号化データを復号する
    情報処理方法。

Images