JP7685347B2 - 送信装置及び受信装置 - Google Patents

Description

本発明は、送信装置及び受信装置に関する。

従来、2D映像及び音声などのコンテンツを伝送する標準規格として、ISO/IEC 23008-1（以下、MMT（MPEG Media Transport））及びISO/IEC 23009-1（以下、MPEG-DASH（Dynamic Adaptive Stream over HTTP））が知られている。このような標準規格では、コンテンツを提示する絶対時刻を示すタイムスタンプ記述子が制御情報（MMT-SI（Signaling Information））の一つとして定義されている。

一方で、360°映像及び3Dオブジェクトなどのコンテンツを伝送する仕組みも提案されている（例えば、非特許文献１）。このような仕組としては、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどが知られている。このような仕組みでは、360°映像と3Dオブジェクトとの位置関係は、シーン記述によって示される。

3GPP TR 26.928 V16.1.0 2020年12月

上述した背景下において、発明者等は、異なる方式のコンテンツを組み合わせて提示する利用シーンについて着目したところ、上述したシーン記述がMMT-SIとは独立しているため、異なる方式のコンテンツを適切に同期することができないことを見出した。

そこで、本発明は、上述した課題を解決するためになされたものであり、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することを目的とする。

開示に係る送信装置は、視点の自由度を有する第１コンテンツに付随する第１制御情報を処理する第１処理部と、前記第１コンテンツ及び前記第１制御情報に加えて、視点の自由度を有していない第２コンテンツを送信する送信部と、を備え、前記第１制御情報は、前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。

開示に係る受信装置は、視点の自由度を有する第１コンテンツ、前記第１コンテンツに付随する第１制御情報及び視点の自由度を有していない第２コンテンツを受信する受信部と、前記第１制御情報を処理する第１処理部と、を備え、前記第１制御情報は、前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。

本発明によれば、異なる方式のコンテンツを適切に同期することを可能とする送信装置及び受信装置を提供することができる。

図１は、実施形態に係る伝送システム１０を示す図である。 図２は、実施形態に係る送信装置１００を示すブロック図である。 図３は、実施形態に係る受信装置２００を示すブロック図である。 図４は、実施形態に係る第１コンテンツを説明するための図である。 図５は、実施形態に係る制御方法を説明するための図である。 図６は、実施形態に係る制御方法を説明するための図である。 図７は、変更例１に係る制御方法を説明するための図である。 図８は、変更例１に係る制御方法を説明するための図である。 図９は、変更例２に係る変換情報を説明するための図である。 図１０は、変更例２に係る変換情報を説明するための図である。 図１１は、変更例２に係る変換情報を説明するための図である。

次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。

したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

［開示の概要］
開示の概要に係る送信装置は、視点の自由度を有する第１コンテンツに付随する第１制御情報を処理する第１処理部と、前記第１コンテンツ及び前記第１制御情報に加えて、視点の自由度を有していない第２コンテンツを送信する送信部と、を備え、前記第１制御情報は、前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。

開示の概要に係る受信装置は、視点の自由度を有する第１コンテンツ、前記第１コンテンツに付随する第１制御情報及び視点の自由度を有していない第２コンテンツを受信する受信部と、前記第１制御情報を処理する第１処理部と、を備え、前記第１制御情報は、前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。

開示の概要では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報は、第２コンテンツを特定するための参照情報と、第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。このような構成によれば、第１制御情報に基づいて、第１コンテンツ及び第２コンテンツを適切に同期することができる。

［実施形態］
（伝送システム）
以下において、実施形態に係る伝送システムについて説明する。図１は、実施形態に係る伝送システム１０を示す図である。図１に示すように、デジタル無線伝送システムは、送信装置１００及び受信装置２００を備える。

実施形態において、送信装置１００は、視点の自由度を有する第１コンテンツ及び視点の自由度を有していない第２コンテンツを受信装置２００に送信する。さらに、送信装置１００は、第１コンテンツに付随する第１制御情報及び第２コンテンツに付随する第２制御情報を受信装置２００に送信する。

第１コンテンツは、360°映像及び3Dオブジェクトを含んでもよい。第１コンテンツ及び第１制御情報は、第１方式で送信されてもよい。第１コンテンツは、利用者が座位で頭を動かした範囲の視点移動を伴う3DoF+（Degree of Freedom）、利用者が自由に動く範囲の視点移動を伴う6DoFなどに準拠してもよい。第１コンテンツは、視点の自由度を有するため、同一時刻（フレーム）において、２以上の360°映像を含んでもよく、２以上の3Dオブジェクトを含んでもよい。第１制御情報は、シーン記述と称されてもよい。

第２コンテンツは、2D映像及び音声の少なくともいずれか１つを含んでもよい。第２コンテンツ及び第２制御情報は、第２方式で送信されてもよい。第２方式は、ISO/IEC 23008-1（以下、MMT（MPEG Media Transport））に準拠する方式であってもよい。以下においては、第２方式がMMTに準拠するMMTP（MMT Protocol）であるケースについて例示する。第２制御情報は、MMT-SI（Signaling Information）と称されてもよい。

送信装置１００から受信装置２００への伝送は、特に限定されるものではないが、衛星放送を用いた伝送であってもよく、インターネット網を用いた伝送であってもよく、移動体通信網を用いた伝送であってもよい。

特に限定されるものではないが、伝送システムは、デジタル無線伝送システムであってもよい。デジタル無線伝送システムは、4K、8K衛星放送で用いるシステムであってもよい。受信装置２００は、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのユーザ端末であってもよい。

（送信装置）
以下において、実施形態に係る送信装置について説明する。図２は、実施形態に係る送信装置１００を示すブロック図である。

図２に示すように、送信装置１００は、第１処理部１０１と、第２処理部１０２と、送信部１０３と、を有する。

第１処理部１０１は、視点の自由度を有する第１コンテンツに付随する第１制御情報（シーン記述）を処理する。第１処理部１０１は、第１コンテンツを処理してもよい。すなわち、第１処理部１０１は、360°映像を処理してもよく、3Dオブジェクトを処理してもよい。

例えば、第１処理部１０１は、シーン記述のパケット化によってMMTPパケットを生成してもよい。第２処理部１０２は、ERP（Equirectangular projection）やキューブマップなどの射影変換を360°映像に適用して、360°映像を2D映像に変換してもよい。第２処理部１０２は、360°映像に適用した射影変換の種類を示すメタデータを生成してもよい。第１処理部１０１は、3Dオブジェクトをメッシュ形式で符号化してもよい。メッシュ形式の符号化としては、ISO/IEC 14496-16 “Animation framework extension (AFX)”が用いられてもよい。第１処理部１０１は、3Dオブジェクトをポイントクラウド形式で符号化してもよい。ポイントクラウド形式の符号化としては、ISO/IEC 23090-5 “Video-based Point Cloud Compression”が用いられてもよい。

ここで、第１コンテンツは、一定時間幅で区切られた単位で１つのファイルに纏められる。一定時間幅は、500msであってもよい。例えば、フレームレートが60fps（frame per second）である場合には、１つのファイルは、30 frameを含む。

シーン記述は、１つのファイル毎に生成され、360°映像及び3Dオブジェクトを特定する情報をフレーム毎に含む。例えば、シーン記述は、フレームの3Dオブジェクトの名称を示す情報要素（object_name）、フレーム番号を示す情報要素（frame_number）、フレームにおける3Dオブジェクトの位置を示す情報要素（translation_object）、フレームにおける3Dオブジェクトの回転を示す情報要素（rotation_object）、フレームにおける3Dオブジェクトの大きさを示す情報要素（scale_object）などを含む。

第２処理部１０２は、視点の自由度を有していない第２コンテンツに付随する第２制御情報（MMT-SI）を処理する。第２処理部１０２は、第２コンテンツを処理してもよい。すなわち、第２処理部１０２は、2D映像を処理してもよく、音声を処理してもよい。例えば、第２処理部１０２は、2D映像、音声及びMMT-SIのパケット化によってMMTPパケットを生成してもよい。

例えば、MMTPパケットは、IP（Internet Protocol）パケットに格納される。IPパケットは、UDP（User Datagram Protocol）を用いて伝送されてもよく、TCP（Transmission Control Protocol）を用いて伝送されてもよい。

ここで、第２コンテンツは、一定時間幅で区切られた単位（以下、MPU；Media Processing Unit）で処理される。MPUは、１以上のアクセスユニットを含む。アクセスユニットは、MFU（Media Fragment Unit）として扱われることもある。2D映像に関するMFUは、NAL（Network Abstraction Layer）ユニットと称されてもよく、音声に関するMFUは、MHAS（MPEG-H 3D Audio Stream）パケットと称されてもよい。

MMT-SIは、PA（Package Access）メッセージを含み、PAメッセージは、第２コンテンツの一覧を示すMPT（MMT Package Table）を含む。さらに、MMT-SIは、第２コンテンツの提示時刻を示す第２絶対時刻情報を含む。第２絶対時刻情報は、MPUの提示時刻、すなわち、MPUにおいて最初に提示するアクセスユニットの時刻を意味してもよい。第２絶対時刻情報は、MPUタイムスタンプ記述子と称されてもよい。

MPUタイムスタンプ記述子は、UTC（Coordinated Universal Time）を基準時刻として生成されてもよい。基準時刻は、TAI（International Atomic Time）が用いられてもよく、GPS（Global Positioning System）から提供される時刻が用いられてもよい。基準時刻は、NTP（Network Time Protocol）サーバから提供される時刻であってもよく、PTP（Precision Time Protocol）サーバから提供される時刻であってもよい。

送信部１０３は、第１コンテンツ、第１制御情報、第２コンテンツ及び第２制御情報（以下、送信信号）を送信する。

図２では、説明の便宜から第１処理部１０１及び第２処理部１０２が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第１処理部１０１及び第２処理部１０２は１つの処理部によって構成されてもよい。

（受信装置）
以下において、実施形態に係る受信装置について説明する。図３は、実施形態に係る受信装置２００を示すブロック図である。

図３に示すように、受信装置２００は、受信部２０１と、第１処理部２０２と、第２処理部２０３と、を有する。

受信部２０１は、第１コンテンツ、第１制御情報、第２コンテンツ及び第２制御情報（以下、受信信号）を受信する。受信信号は、上述した送信信号と同義であってもよい。

第１処理部２０２は、視点の自由度を有する第１コンテンツに付随する第１制御情報（シーン記述）を処理する。第１処理部２０２は、第１コンテンツを処理してもよい。例えば、第１処理部２０２は、シーン記述に基づいて第１コンテンツを処理し、第１コンテンツ（360°映像及び3Dオブジェクト）を出力する。ここで、第１処理部２０２は、視点情報（視点位置や視線方向）に基づいて、360°映像及び3Dオブジェクトを出力する。視点情報は、ユーザI/F（Interface）から入力されてもよく、受信装置２００が有するセンサ（加速度センサ、GPSセンサなど）から入力されてもよい。

第２処理部２０３は、視点の自由度を有していない第２コンテンツに付随する第２制御情報（MMT-SI）を処理する。第２処理部２０３は、第２コンテンツを処理してもよい。例えば、第２処理部２０３は、MMT-SIに基づいて第２コンテンツを処理し、第２コンテンツ（2D映像及び音声）を出力する。さらに、第２処理部２０３は、MMT-SIに含まれる第２絶対時刻情報（MPUタイムスタンプ記述子）に基づいて、第２コンテンツの提示時刻を特定する。

図３では、説明の便宜から第２処理部２０３及び第１処理部２０２が別々な処理部であるケースについて例示したが、実施形態はこれに限定されるものではない。第２処理部２０３及び第１処理部２０２は１つの処理部によって構成されてもよい。

（第１コンテンツ）
以下において、実施形態に係る第１コンテンツについて説明する。ここでは、t=0、t=1及びt=2における第１コンテンツについて説明する。t=0、t=1及びt=2の時間間隔は特に限定されるものではない。

例えば、図４に示すように、t=0において、3Dオブジェクトが表示されずに、360°映像が表示されてもよい。360°映像は、3Dオブジェクトの背景映像であると考えてもよい。t=1において、360°映像に重畳される形式で3Dオブジェクトが表示されてもよい。さらに、t=1において、360°映像に重畳される3Dオブジェクトの位置及び回転が変更されてもよい。

上述したシーン記述は、t=0、t=1及びt=2のそれぞれについて、3Dオブジェクトの位置、回転及び大きさを示す情報要素を含み、360°映像上に3Dオブジェクトを適切に重畳することができる。

（利用シーン）
上述した背景下において、実施形態に係る利用シーンについて説明する。上述したように、第１コンテンツに付随するシーン記述は、第２コンテンツに付随するMMT-SIとは独立した制御情報である。すなわち、第１コンテンツとしては整合が取れているが、第２コンテンツと第１コンテンツとを適切に同期することができない。実施形態では、このような利用シーンに着目して、以下に示す仕組みを導入する。

なお、以下において、同期とは、第１コンテンツ（ファイル）と第２コンテンツ（例えば、MPU）との提示時刻が適切に揃うことを意味する。従って、同期は、2D映像と3Dオブジェクトとの提示時刻が揃うことを含んでもよく、音声と3Dオブジェクトとの提示時刻が揃うことを含んでもよい。同様に、同期は、2D映像と360°映像との提示時刻が揃うことを含んでもよく、音声と360°映像との提示時刻が揃うことを含んでもよい。

（制御方法）
実施形態に係る制御方法では、シーン記述は、第１コンテンツの提示時刻を示す第１絶対時刻情報を含む。第１絶対時刻情報は、シーン記述に含まれる最初のフレームの提示時刻であってもよい。

例えば、第１絶対時刻情報は、UTCを基準時刻として生成されてもよい。基準時刻は、TAIが用いられてもよく、GPSから提供される時刻が用いられてもよい。基準時刻は、NTPサーバから提供される時刻であってもよく、PTPサーバから提供される時刻であってもよい。さらに、第１絶対時刻情報は、第２絶対時刻情報（すなわち、MPUタイムスタンプ記述子）と同一基準時刻に基づいて生成されてもよい。

さらに、シーン記述は、第２コンテンツを特定するための参照情報を含む。参照情報は、第２コンテンツを構成するMPUを特定するための情報であってもよい。すなわち、参照情報は、シーン記述に含まれるオブジェクトとして第２コンテンツ（MPU）を扱うための情報である。

具体的には、図５に示すように、シーン記述に含まれる最初のフレームの提示時刻は、シーン記述に含まれる第１絶対時刻情報によって特定される。シーン記述に含まれる２番目以降フレームの提示時刻は、シーン記述に含まれるフレーム番号及び第１コンテンツのフレームレートによって特定することが可能である。例えば、フレームレートが30fpsであるケースを考えると、n番目のフレームの提示時刻は、MPUタイムスタンプ記述子によって特定される時刻に1/30×nを加算することによって特定される。但し、シーン記述に含まれる最初のフレームのフレーム番号は”0”である。

一方で、2D映像及び音声は、MPUタイムスタンプ記述子（図５では、単にtimestamp）に基づいて提示されるため、2D映像及び音声の同期が取れる。ここで、上述した参照情報がシーン記述に含まれるため、受信装置２００は、シーン記述に含まれる参照情報に基づいて、第１コンテンツとともに提示すべき第２コンテンツの有無を確認することができる。

実施形態に係る制御方法では、図６に示すように、シーン記述は、オブジェクトの名称、フレーム番号、3Dオブジェクトの位置、回転、大きさを示す情報要素をフレーム毎に含む。さらに、シーン記述は、第１絶対時刻情報及び参照情報を含む。

具体的には、シーン記述は、第１絶対時刻情報として、“absolute_time_UTC”:”0xda192c2f.813953de(2015-12-14 20:53:19.504)”を含む。図６では、“absolute_time_UTC”は、64bitで表記された時刻と、年月日及び時間で表記された時刻と、を含む。しかしながら、“absolute_time_UTC”は、後者を含まずに、64bitで表記された時刻を含んでもよく、前者を含まずに、年月日及び時間で表記された時刻を含んでもよい。“absolute_time_UTC”は、他の形式で表された時刻を含んでもよい。

実施形態に係る制御例では、MMT-SIが用いられるため、シーン記述は、参照情報として、MMT-SIを特定可能な情報を含めばよく、MMT-SIを特定可能な情報は、第２コンテンツのリソースを特定するための情報であってもよい。例えば、シーン記述は、参照情報として、"object_name":”2d_video&audio”,"uri":”mmt://example.co.jp://51216”を含む。”2d_video&audio”は、2D映像及び音声がオブジェクトとして含まれていることを意味し、”mmt://example.co.jp://51216”は、第２コンテンツのリソース（”example.co.jp”のポート番号” 51216”）を特定するための情報である。

シーン記述は、HTTP（Hyper Text Transfer Protocol）などのプロトコルで伝送されてもよい。

実施形態に係る制御方法では、受信装置２００は、シーン記述をエントリーポイントとして、第１コンテンツとともに提示すべき第２コンテンツ（MMT-SI）の有無を確認した上で、MMT-SIが存在する場合には、シーン記述に含まれる第１絶対時刻情報に基づいて、第２コンテンツの提示時刻を特定する。受信装置２００は、MMT-SIに含まれるMPUタイムスタンプ記述子に基づいて、第２コンテンツ（2D映像及び3音声）の提示時刻を特定してもよい。

（作用及び効果）
実施形態では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報は、第２コンテンツを特定するための参照情報と、第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。このような構成によれば、第１制御情報に基づいて、第１コンテンツ及び第２コンテンツを適切に同期することができる。

実施形態では、MMT-SI（MPUタイムスタンプ記述子）が用いられるため、既存のMMTPに対する改変を抑制しながら、2D映像と音声との同期を取りながら、第１コンテンツ及び第２コンテンツを適切に同期することができる。

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、上述した実施形態に対する相違点について説明する。

具体的には、実施形態では、2D映像と音声との同期がMMT-SIに含まれる第２絶対時刻情報（MPUタイムスタンプ記述子）に基づいて取られている。変更例１では、2D映像と音声との同期についても、シーン記述に含まれる情報要素（第１絶対時刻情報及び参照情報）に基づいて取られる。従って、変更例１では、少なくとも、MMT-SIに含まれるMPUタイムスタンプ記述子については省略されてもよい。変更例１では、MMT-SIそのものが省略されてもよい。以下においては、MMT-SIそのものが省略されるケースについて説明する。

（制御方法）
変更例１に係る制御方法では、シーン記述は、実施形態と同様に、第１コンテンツの提示時刻を示す第１絶対時刻情報及び第２コンテンツを特定するための参照情報を含む。

具体的には、図７に示すように、シーン記述に含まれる最初のフレームの提示時刻は、実施形態と同様に、シーン記述に含まれる第１絶対時刻情報によって特定される。

一方で、2D映像及び音声の提示時刻は、MPUタイムスタンプ記述子が存在しないため、シーン記述に含まれる第１絶対時刻情報によって特定される。シーン記述に含まれる参照情報は、2D映像に関するMPUを特定するための情報と、音声に関するMPUを特定するための情報と、を含む。受信装置２００は、シーン記述に含まれる参照情報に基づいて、第１コンテンツとともに提示すべき第２コンテンツの有無を確認することができる。

変更例１に係る制御方法では、図８に示すように、シーン記述は、図６に示した情報要素と同様の情報要素を含む。

但し、変更例１に係る制御例では、MMT-SIが省略されるため、シーン記述は、参照情報として、MMT-SIを特定可能な情報は、第２コンテンツを構成するMPUを直接的に特定するための情報を含む。例えば、シーン記述は、2D映像に関する参照情報として、"uri":"mmt://example.co.jp://51216?asset_ID_value=100&mpu_sequence_number=10000"を含む。”mmt://example.co.jp://51216”は、第２コンテンツのリソース（”example.co.jp”のポート番号” 51216”）を特定するための情報である。”asset_ID_value=100&mpu_sequence_number=10000"は、”asset_ID”が100であり、シーケンス番号が10000であるMPUを特定するための情報要素である。シーン記述は、音声に関する参照情報として、"uri":"mmt://example.co.jp://51216?asset_ID_value=102&mpu_sequence_number=5000"を含む。”mmt://example.co.jp://51216”は、第２コンテンツのリソース（”example.co.jp”のポート番号” 51216”）を特定するための情報である。” asset_ID_value=102&mpu_sequence_number=5000"は、”asset_ID”が102であり、シーケンス番号が5000であるMPUを特定するための情報要素である。

変更例１に係る制御方法では、受信装置２００は、シーン記述をエントリーポイントとして、第１コンテンツとともに提示すべき第２コンテンツの有無を確認した上で、第２コンテンツが存在する場合には、シーン記述に含まれる第１絶対時刻情報に基づいて、MMT-SIを用いることなく、第２コンテンツ（2D映像及び3音声）の提示時刻を特定する。

（作用及び効果）
変更例１では、第１コンテンツ及び第２コンテンツを組み合わせて提示する新たな利用シーンについて着目した場合において、第１制御情報は、第２コンテンツを特定するための参照情報と、第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む。このような構成によれば、第１制御情報に基づいて、第１コンテンツ及び第２コンテンツを適切に同期することができる。

変更例１では、MMT-SIの伝送に伴う帯域を節約しながら、2D映像と音声との同期を取りながら、第１コンテンツ及び第２コンテンツを適切に同期することができる。

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、上述した実施形態に対する相違点について説明する。

実施形態では、第１絶対時刻情報の基準時刻が第２絶対時刻情報（MPUタイムスタンプ記述子）の基準時刻と同一であるケースについて説明した。これに対して、変更例２では、第１絶対時刻情報の基準時刻が第２絶対時刻情報の基準時刻と異なるケースについて説明する。

例えば、第１絶対時刻情報の基準時刻（以下、第１基準時刻）は、UTC以外の時刻（TAI、GPSから提供される時刻）であってもよい。第２絶対時刻情報（MPUタイムスタンプ記述子）の基準時刻（以下、第２基準時刻）はUTCであってもよい。このようなケースにおいて、第１制御情報（シーン記述）及び第２制御情報（MMT-SI）の少なくともいずれか１つは、第１基準時刻と第２基準時刻との変換情報を含むことが好ましい。

第１に、シーン記述が変換情報を含むケースについて説明する。変換情報は、第１基準時刻で表された第１絶対時刻情報及び第２基準時刻で表された第１絶対時刻情報の双方を含んでもよい。

例えば、第１基準時刻がTAIであり、第２基準時刻がUTCである場合には、図９に示すように、シーン記述は、TAI（図９では、absolute_time_TAI）で表された第１絶対時刻情報及びUTCで表された第１絶対時刻情報（図９では、absolute_time_UTC）の双方を含んでもよい。第１基準時刻が27MHzクロックであり、第２基準時刻がUTCである場合には、図１０に示すように、シーン記述は、27MHzクロックで表された第１絶対時刻情報（図１０では、27MHz）及びUTCで表された第１絶対時刻情報（図１０では、absolute_time_UTC）の双方を含んでもよい。

なお、27MHzクロックは、既存の放送システム（例えば、MPEG-2 Transport Stream）、既存のコンテンツシステム（例えば、MPEG-2 Program Stream）などで用いるシステムクロックである。MPEG-2 Program Streamは、MP4ファイルなどのダウンロードに用いられてもよく、DVDビデオに用いられてもよい。

ここでは、変換情報が第２基準時刻で表される第１絶対時刻情報を含むが、変更例２はこれに限定されるものではない。変換情報は、第１基準時刻で表される第１絶対時刻情報を第２基準時刻で表される第１絶対時刻情報に読み替えるための情報を含めばよい。

第２に、MMT-SIが変換情報を含むケースについて説明する。変換情報は、第１基準時刻で表された第２絶対時刻情報及び第２基準時刻で表された第２絶対時刻情報の双方を含んでもよい。

例えば、第１基準時刻がTAIであり、第２基準時刻がUTCである場合には、図１１に示すように、MMT-SI（MPUタイムスタンプ記述子）は、UTCで表された第２絶対時刻情報（図１１では、absolute_time_UTC）及びTAIで表された第２絶対時刻情報（図１１では、absolute_time_TAI）の双方を含んでもよい。

ここでは、変換情報が第２基準時刻で表される第２絶対時刻情報を含むが、変更例２はこれに限定されるものではない。変換情報は、第１基準時刻で表される第２絶対時刻情報を第２基準時刻で表される第２絶対時刻情報に読み替えるための情報を含めばよい。

［その他の実施形態］
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

上述した開示では特に触れていないが、MMTに関する用語は、ISO/IEC 23008-1、ARIB STD-B60、ARIB TR-B39などで規定された内容に基づいて解釈されてもよい。

上述した開示では、MMT-SIに含まれる第２絶対時刻情報として、MPUタイムスタンプ記述子を例示した。しかしながら、上述した開示はこれに限定されるものではない。MMT-SIに含まれる第２絶対時刻情報は、MPU拡張タイムスタンプ記述子であってもよい。

上述した開示では特に触れていないが、受信装置２００は、必要に応じて、第１コンテンツの一部を送信装置１００に要求してもよい。このような構成によれば、第１コンテンツの伝送に伴う帯域を節約し、受信装置２００の処理負荷の増大を抑制することができる。

上述した開示では、第２コンテンツの伝送方式としてMMTPを例示した。しかしながら、上述した開示はこれに限定されるものではない。第２コンテンツの伝送方式は、ISO/IEC 23009-1（以下、MPEG-DASH（Dynamic Adaptive Stream over HTTP））に準拠する方式であってもよい。このようなケースにおいて、第２制御情報は、MPD（Media Presentation Description）であってもよい。すなわち、上述した開示において、MMT-SIはMPDと読み替えられてもよい。

上述した開示では特に触れていないが、送信装置１００及び受信装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。

或いは、送信装置１００及び受信装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１０…伝送システム、１００…送信装置、１０１…第１処理部、１０２…第２処理部、１０３…送信部、２００...受信装置、２０１…受信部、２０２…第１処理部、２０３…第２処理部

Claims (6)

1. 視点の自由度を有する第１コンテンツに付随する第１制御情報を処理する第１処理部と、
   前記第１コンテンツ及び前記第１制御情報に加えて、視点の自由度を有していない第２コンテンツを送信する送信部と、を備え、
   前記第１制御情報は、前記第１コンテンツとともに提示すべき前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含む、送信装置。
2. 前記第２コンテンツに付随する第２制御情報を処理する第２処理部を備え、
   前記第２制御情報は、前記第２コンテンツの提示時刻を示す第２絶対時刻情報を含む、請求項１に記載の送信装置。
3. 前記第１制御情報は、前記第２コンテンツの提示時刻を示す情報として前記第１絶対時刻情報を含む、請求項１に記載の送信装置。
4. 前記第１制御情報は、前記第１絶対時刻情報の基準時刻と前記第２絶対時刻情報の基準時刻との間の変換情報を含む、請求項２に記載の送信装置。
5. 前記第２制御情報は、前記第１絶対時刻情報の基準時刻と前記第２絶対時刻情報の基準時刻との間の変換情報を含む、請求項２に記載の送信装置。
6. 視点の自由度を有する第１コンテンツ、前記第１コンテンツに付随する第１制御情報及び視点の自由度を有していない第２コンテンツを受信する受信部と、
   前記第１制御情報を処理する第１処理部と、を備え、
   前記第１制御情報は、前記第１コンテンツとともに提示すべき前記第２コンテンツを特定するための参照情報と、前記第１コンテンツの提示時刻を示す第１絶対時刻情報と、を含み、
   前記第１処理部は、前記第１絶対時刻情報に基づいて、前記第１コンテンツの提示時刻を特定し、前記参照情報に基づいて、前記第１コンテンツとともに提示すべき前記第２コンテンツを特定する、受信装置。

Images