Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6479473B2 - 送信装置、送信方法、受信装置、受信方法および受信表示方法 - Google Patents
[go: Go Back, main page]

JP6479473B2 - 送信装置、送信方法、受信装置、受信方法および受信表示方法 - Google Patents

送信装置、送信方法、受信装置、受信方法および受信表示方法 Download PDF

Info

Publication number
JP6479473B2
JP6479473B2 JP2014548562A JP2014548562A JP6479473B2 JP 6479473 B2 JP6479473 B2 JP 6479473B2 JP 2014548562 A JP2014548562 A JP 2014548562A JP 2014548562 A JP2014548562 A JP 2014548562A JP 6479473 B2 JP6479473 B2 JP 6479473B2
Authority
JP
Japan
Prior art keywords
display
information
display position
screen
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014548562A
Other languages
English (en)
Other versions
JPWO2014080879A1 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Publication of JPWO2014080879A1 publication Critical patent/JPWO2014080879A1/ja
Application granted granted Critical
Publication of JP6479473B2 publication Critical patent/JP6479473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for programme selection
    • H04N21/4821End-user interface for programme selection using a grid, e.g. sorted out by channel and broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

本技術は、送信装置、送信方法、受信装置、受信方法および受信表示方法に関し、特に、画像の表示位置を送り側が主体的に制御できるようにした送信装置等に関する。
放送やネットワークからの複数のストリームをマルチデコードし、マルチデコードによって得られた複数の画像を1つのディスプレイに表示させるマルチ画面表示に関する技術が実現、または提案されている。
例えば、いわゆるPinP(Picture in Picture)の形で複数の画像が表示されることにより、ユーザは、サブ画面に小さく表示される他のチャンネルの番組の画像を見ながら、メイン画面に大きく表示されるあるチャネルの番組の画像を見ることができる。また、例えば、ディスプレイの右半分と左半分に異なるチャンネルの番組の画像が並べて表示されることにより、ユーザは、2つのチャネルの番組の画像を同時に見ることができる。例えば、特許文献1には、通常表示の状態においてマルチ画面の表示が指示された場合、マルチ画面への表示の切り替えを迅速に行うことができるようにした技術が開示されている。
特開2000−13712号公報
従来のマルチ画面表示に用いられるストリームは異なる番組のものであるのが一般的である。例えば、上述したPinPの形でのマルチ画面表示の場合、メイン画面に表示される画像の元になるストリームと、サブ画面に表示される画像の元になるストリームは異なる番組のものであることが多い。
すなわち、メイン画面とサブ画面にそれぞれ同じ番組の異なる角度から見た画像を表示させるといったような、複数のストリームを互いに連携して画像を表示させることを送り側が指定し、これにより、ユーザに1つの番組を提供するといったような機能はない。
また、従来のPinPのマルチ画面表示にしても、左半分と右半分に並べて画像を表示させるようなマルチ画面表示にしても、その表示の仕方は表示装置側の実装に依存しており、提供側が指定するものではない。
今後、フルHD(High Definition)以上の解像度を有するディスプレイが普及してくると、1つのディスプレイに複数の画像を表示させることによって1つの番組を提供するような放送がなされることが考えられる。また、この際、画像の表示の仕方に関して、番組の送り側が主体的に制御を行えるようにしたいといった需要が出てくるものと考えられる。
本技術の目的は、画像の表示位置を送り側が主体的に制御可能にすることにある。
本技術の概念は、
画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報を挿入する情報挿入部とを備える
送信装置にある。
本技術において、送信部により、画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
情報挿入部により、コンテナのレイヤに、画像データによる画像の表示位置を指定する表示位置指定情報が挿入される。例えば、コンテナはトランスポートストリームであり、情報挿入部は表示位置指定情報をトランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下のデスクリプタに挿入する、ようにされてもよい。
例えば、表示位置指定情報は、表示対象のスクリーンを指定する情報であってもよい。また、例えば、表示位置指定情報は、表示対象のスクリーン上の表示単位を指定する情報であってもよい。この場合、表示位置指定情報には、表示対象スクリーンでの表示解像度モデルを示す情報が付加されると共に、この表示解像度モデルで指定された解像度座標での表示位置情報が付加される、ようにされてもよい。
そして、例えば、情報挿入部は、さらに、ビデオストリームのレイヤに、表示位置指定情報で指定された表示対象スクリーン上の表示単位の位置を変更するか否かを示す情報と、この情報が変更することを示すとき、この表示単位の表示位置情報を挿入する、ようにされてもよい。この場合、表示対象のスクリーン上の表示単位をダイナミックに変更することが可能となる。
このように本技術においては、コンテナのレイヤに、画像データによる画像の表示位置を指定する表示位置指定情報が挿入されるものである。そのため、画像の表示位置を送り側が主体的に制御することが可能となる。
なお、本技術において、例えば、表示位置指定情報には、この表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを示す情報が付加される、ようにされてもよい。この場合、この表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを送り側が主体的に制御することが可能となる。
また、本技術において、例えば、送信部が送信するコンテナには、字幕データが符号化されて得られた字幕ストリームがさらに含まれ、情報挿入部は、コンテナのレイヤに、字幕データによる字幕の表示位置を指定する表示位置指定情報をさらに挿入する、ようにされてもよい。この場合、字幕の表示位置を送り側が主体的に制御することが可能となる。
また、本技術において、例えば、送信部が送信するコンテナには、電子番組表情報がさらに含まれ、情報挿入部は、コンテナのレイヤに、電子番組表情報による番組表の表示位置を指定する表示位置指定情報をさらに挿入する、ようにされてもよい。この場合、番組表の表示位置を送り側が主体的に制御することが可能となる。
また、本技術の他の概念は、
画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報が挿入されており、
上記画像データによる画像が上記表示位置指定情報で指定された表示位置に表示されるように上記ビデオストリームの処理を制御する表示制御部をさらに備える
受信装置にある。
本技術において、受信部により、画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナが受信される。このコンテナのレイヤには、画像データによる画像の表示位置を指定する表示位置指定情報が挿入されている。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。表示制御部により、画像データによる画像が表示位置指定情報で指定された表示位置に表示されるようにビデオストリームの処理が制御される。
例えば、ビデオストリームを復号化して非圧縮画像データを得る復号化部と、この非圧縮画像データを、表示制御部の制御により、表示位置指定情報で指定される表示対象スクリーンを持つ表示機器に送信する送信部とをさらに備え、送信部は、非圧縮画像データのフレーム毎のヘッダ情報に、フレーム単位でカウントするタイムコードを挿入する、ようにされてもよい。また、例えば、コンテナを、表示制御部の制御により、表示位置指定情報で指定される表示対象スクリーンを持つ表示機器に送信する送信部をさらに備える、ようにされてもよい。
このように本技術においては、画像データによる画像が表示位置指定情報で指定された表示位置に表示されるようにビデオストリームの処理が制御されるものである。そのため、画像の表示位置は送り側の制御に基づいたものとなり、送り側が意図した表示位置に画像を表示できる。
また、本技術のさらに他の概念は、
画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信し、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報が挿入されており、
少なくとも上記表示位置指定情報を含む判断情報に基づく判断により、上記画像データによる画像を、上記表示位置指定情報で指定される表示位置あるいは上記表示位置指定情報で指定された表示位置とは異なる表示位置に配置する
受信表示方法にある。
本技術によれば、画像の表示位置を送り側が主体的に制御できる。
この発明の実施の形態としての画像送受信システムの構成例を示すブロック図である。 スクリーンIDテーブルと、スクリーンID(Screen ID)とストリーム・スクリーンID(Stream_screen_ID)との対応関係を示すテーブルの一例を示す図である。 8個のスクリーンデバイスで構成される基本スクリーンの配置例を示す図である。 多重配信サービスのストリームが単一のコンテナで配信される場合の画像表示例を示す図である。 多重配信サービスのストリームが単一のコンテナで配信される場合の他の画像表示例を示す図である。 多重配信サービスのストリームが単一のコンテナで配信される場合の他の画像表示例を示す図である。 多重配信サービスのストリームが単一のコンテナで配信される場合の他の画像表示例を示す図である。 ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合の表示例を示す図である。 ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合の他の表示例を示す図である。 ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合の他の表示例を示す図である。 表示許容情報が表示位置指定情報で指定された表示位置以外の表示位置(スクリーン、ウィンドウ)への表示を許容することを示している場合における表示遷移の一例を示す図である。 送信装置のトランスポートストリームTSを生成する送信データ生成部の構成例を示すブロック図である。 表示位置指定情報としてのディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(display_window_positioning descriptor)の構造例(Syntax)を示す図である。 ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(display_window_positioning descriptor)の構造例における主要な情報の内容(Semantics)を示す図である。 配信サービス情報としてのマルチ・ウィンドウズ・サービス・デスクリプタ(multi_windows_service_descriptor)の構造例(Syntax)と、その主要な情報の内容(Semantics)を示す図である。 ウィンドウ・アトリビュート・SEIメッセージ(window_attribute SEI message )がアクセスユニットの“SELs”の部分に挿入されることを説明するための図である。 「window_attribute SEI message」の構造例(Syntax)を示す図である。 「window_attribute_sei()」の構造例(Syntax)を示す図である。 「window_attribute_sei()」の構造例における主要な情報の内容(Semantics)を示す図である。 トランスポートストリームTSの構成例を示す図である。 受信装置の構成例を示すブロック図である。 画像送受信システムの他の構成例を示すブロック図である。 受信装置および表示機器の構成例を示すブロック図である。 画像送受信システムの他の構成例を示すブロック図である。 非圧縮画像データ等のヘッダ情報にタイムコードを挿入することを説明するための図である。 受信装置の構成例を示すブロック図である。 画像送受信システムの他の構成例を示すブロック図である。 表示機器の構成例を示すブロック図である。 複数のコンテナで複数のサービスストリームが供給される場合を説明するための図である。 複数のコンテナで複数のサービスストリームが供給される場合を説明するための図である。 複数のコンテナで複数のサービスストリームが供給される場合における画像表示の一例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[画像送受信システムの構成例]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、送信装置100、受信装置200およびM個のスクリーンデバイス300-1〜300-Mにより構成されている。
送信装置100は、放送局などの画像データ送り側に設置される装置である。送信装置100は、それぞれ画像データが符号化されて得られた所定数のビデオストリームを含むトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して、送信する。ここで、トランスポートストリームはコンテナを構成している。
このトランスポートストリームTSのレイヤに、ビデオストリーム毎に、画像データによる画像の表示位置を指定する表示位置指定情報が挿入される。この表示位置指定情報は、例えば、表示対象スクリーンおよび/または表示対象スクリーン上の表示単位(ウィンドウ)を指定する情報である。この表示位置指定情報は、例えば、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。この表示位置指定情報の詳細については後述する。
ここで、表示対象スクリーン上の表示単位(ウィンドウ)を指定する情報が挿入される場合、この表示位置指定情報には、表示対象スクリーンでの表示解像度モデルを示す情報が付加されると共に、この表示解像度モデルで指定された解像度座標での表示位置情報が付加される。例えば、表示解像度モデルとして、1920(H)*1080(V)、3840(H)*2160(V)、7680(H)*4320(V)などが示される。また、例えば、表示位置指定情報では、表示単位(ウィンドウ)の開始水平垂直位置の座標と、終了水平垂直位置の座標が示される。
また、この表示位置指定情報には、表示位置指定情報で指定された表示位置以外の表示位置(スクリーン、ウィンドウ)への表示を許容するか否かを示す表示許容情報が付加される。
また、トランスポートストリームTSのレイヤに、所定のビデオストリームに対応させて、表示対象スクリーン上の表示単位(ウィンドウ)を指定する表示位置指定情報が挿入される場合、その所定のビデオストリームのレイヤに、その表示単位(ウィンドウ)の位置を変更するか否かを示す位置変更情報が挿入される。この場合、この位置変更情報が変更することを示すとき、表示解像度モデルで指定された解像度座標での表示位置情報がさらに挿入される。これらの情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。これらの情報の詳細については後述する。
また、トランスポートストリームTSに、字幕データが符号化されて得られた字幕ストリームがさらに含まれる。そして、このトランスポートストリームTSのレイヤに、字幕データによる字幕の表示位置を指定する表示位置指定情報がさらに挿入される。また、トランスポートストリームTSに、電子番組表情報(EPG情報)がさらに含まれる。そして、このトランスポートストリームTSのレイヤに、電子番組表情報による番組表の表示位置を指定する表示位置指定情報がされに挿入される。
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して受信する。受信装置200は、このトランスポートストリームTSに含まれるビデオストリーム、グラフィクスストリーム、電子番組表情報に対してデコード処理を行って、画像、グラフィクス(字幕を含む)、番組表などの表示用データを取得する。この際、受信装置200は、トランスポートストリームTSのレイヤに挿入されているビデオストリーム、グラフィクスストリーム、電子番組情報に対応した表示位置指定情報により、画像、グラフィクス、番組表の表示位置(表示対象スクリーン、表示単位(ウィンドウ))を知ることができる。
受信装置200は、各表示用データを、上述の表示位置指定情報に基づいて、スクリーンデバイス300-1〜300-Mのうち、対応するスクリーンデバイスに選択的に供給する。この際、受信装置200は、表示対象のスクリーンの表示単位(ウィンドウ)に画像が正しく表示されるように、表示解像度モデルで指定された表示単位(ウィンドウ)の表示位置情報と、スクリーンデバイスの垂直、水平の画素サイズ情報に応じて、画像データに対して適宜スケーリング処理などを施して表示用の画像データを生成する。
この際、受信装置200は、ビデオストリームのレイヤに挿入されている表示単位(ウィンドウ)の位置変更情報により、表示単位(ウィンドウ)の位置を変更するか否かを知ることができる。そして、変更する場合、受信装置200は、この位置変更情報に付加されている表示単位(ウィンドウ)の表示位置情報に基づいて、画像データに対して適宜スケーリング処理などを施して表示用の画像データを生成する。
また、受信装置200は、このトランスポートストリームTSに含まれる字幕ストリームをデコードして、表示用の字幕データ(ビットマップデータ)を取得する。この際、受信装置200は、トランスポートストリームTSのレイヤに挿入されている字幕ストリームに対応した表示位置指定情報により、字幕を表示する表示対象スクリーンおよび表示単位(ウィンドウ)を知ることができる。
受信装置200は、字幕データを、上述の表示位置指定情報に基づいて、スクリーンデバイス300-1〜300-Mのうち、対応するスクリーンデバイスに選択的に供給する。この際、受信装置200は、表示対象スクリーンの表示単位(ウィンドウ)に字幕が正しく表示されるように、表示解像度モデルで指定された表示単位(ウィンドウ)の表示位置情報と、スクリーンデバイスの垂直、水平の画素サイズ情報に応じて、字幕データに対して適宜スケーリング処理などを施して表示用の字幕データ(ビットマップデータ)を生成する。
また、受信装置200は、このトランスポートストリームTSに含まれる電子番組表情報(EPG情報)に基づいて、表示用の番組表データ(ビットマップデータ)を取得する。この際、受信装置200は、トランスポートストリームTSのレイヤに挿入されている電子番組表情報に対応した表示位置指定情報により、電子番組表を表示する表示対象スクリーンおよび表示単位(ウィンドウ)を知ることができる。
受信装置200は、番組表データを、上述の表示位置情報に基づいて、スクリーンデバイス300-1〜300-Mのうち、対応するスクリーンデバイスに選択的に供給する。この際、受信装置200は、表示対象のスクリーンの表示単位(ウィンドウ)に番組表が正しく表示されるように、表示解像度モデルで指定された表示単位(ウィンドウ)の表示位置情報と、スクリーンデバイスの垂直、水平の画素サイズ情報に応じて、番組表データに対して適宜スケーリング処理などを施して表示用の番組表データ(ビットマップデータ)を生成する。
また、受信装置200は、上述の表示位置情報に付加されている表示許容情報により、表示位置指定情報で指定された表示位置以外の表示位置(スクリーン、ウィンドウ)への表示を許容するか否かを知ることができる。受信装置200は、例えば、ユーザ操作により、所定のスクリーンあるいは表示単位(ウィンドウ)に表示されている画像などを、他のスクリーンあるいは表示単位(ウィンドウ)に表示させる指示が与えられるとき、表示許容情報が許容を示すときには、表示遷移の処理を行う。
スクリーンデバイス300-1〜300-Mは、それぞれ、所定位置に配置される基本スクリーンを構成する。スクリーンデバイス300-1〜300-Mは、それぞれ、液晶表示パネル、有機EL表示パネルなどからなる。受信装置200は、予め、各基本スクリーンにスクリーンID(Screen ID)を割り当て、スクリーンIDテーブル(Screen_id Table)を作成する。
図2(a)は、スクリーンIDテーブルの一例を示している。例えば、前中央(Forward Center)に配置される基本スクリーンに関しては「Screen ID =1」とされる。また、例えば、前左(Forward Left)に配置される基本スクリーンに関しては「Screen ID =2」とされる。さらに、例えば、前右(Forward Right)に配置される基本スクリーンに関しては「Screen ID =3」とされる。図3は、8個のスクリーンデバイスで構成される基本スクリーンの配置例を示している。
また、受信装置200は、スクリーンID(Screen ID)と、トランスポートストリームTSに挿入される表示位置指定情報としての、表示対象スクリーンを指定するストリーム・スクリーンID(Stream_screen_id)との対応関係を示すテーブルを備える。図2(b)は、そのテーブルの一例を示している。受信装置200は、このテーブルに基づいて、画像データ、字幕データ、番組表データを、それぞれ、対応する基本スクリーンに、選択的に供給する。
図4は、画像表示の一例を示している。この例は、トランスポートストリームTSに3つのビデオストリームが含まれる場合の例である。この場合、第1のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =1」が挿入されている。そのため、この第1のビデオストリームをデコードして得られた画像データは「Screen ID =1」の「スクリーンデバイス1」に供給され、そのスクリーンに画像表示がなされる。
また、この場合、第2のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =2」が挿入されている。そのため、この第2のビデオストリームをデコードして得られた画像データは「Screen ID =2」の「スクリーンデバイス2」に供給され、そのスクリーンに画像表示がなされる。
また、この場合、第3のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =3」が挿入されている。そのため、この第3のビデオストリームをデコードして得られた画像データは「Screen ID =3」の「スクリーンデバイス3」に供給され、そのスクリーンに画像表示がなされる。
図5は、画像表示の他の例を示している。この例は、トランスポートストリームTSに5つのビデオストリームが含まれる場合の例である。この場合、第1のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =1」、「window_id =1」が挿入されている。そのため、この第1のビデオストリームをデコードして得られた画像データは「Screen ID =1」の「スクリーンデバイス1」に供給され、そのスクリーンの「w1」の表示単位(ウィンドウ)に画像表示がなされる。
また、この場合、第2のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =1」、「window_id =2」が挿入されている。そのため、この第2のビデオストリームをデコードして得られた画像データは「Screen ID =1」の「スクリーンデバイス1」に供給され、そのスクリーンの「w2」の表示単位(ウィンドウ)に画像表示がなされる。
また、この場合、第3のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =1」、「window_id =3」が挿入されている。そのため、この第3のビデオストリームをデコードして得られた画像データは「Screen ID =1」の「スクリーンデバイス1」に供給され、そのスクリーンの「w3」の表示単位(ウィンドウ)に画像表示がなされる。
また、この場合、第4のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =2」、「window_id =4」が挿入されている。そのため、この第4のビデオストリームをデコードして得られた画像データは「Screen ID =2」の「スクリーンデバイス2」に供給され、そのスクリーンの「w4」の表示単位(ウィンドウ)に画像表示がなされる。
また、この場合、第5のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =3」、「window_id =5」が挿入されている。そのため、この第5のビデオストリームをデコードして得られた画像データは「Screen ID =3」の「スクリーンデバイス3」に供給され、そのスクリーンの「w5」の表示単位(ウィンドウ)に画像表示がなされる。
図6は、画像表示のさらに他の例を示している。この例は、トランスポートストリームTSに4つのビデオストリームと、1つの字幕ストリーム(サブタイトルストリーム)が含まれる場合の例である。第1〜第3のビデオストリームに関しては、上述の図5の画像表示例と同様であるので、その説明は省略する。
この場合、字幕ストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =2」、「window_id =4」が挿入されている。そのため、この字幕ストリームをデコードして得られた字幕データ(Subtitle data)は「Screen ID =2」の「スクリーンデバイス2」に供給され、そのスクリーンの「w4」の表示単位(ウィンドウ)に字幕表示がなされる。
また、この場合、第4のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =3」、「window_id =5」が挿入されている。そのため、この第4のビデオストリームをデコードして得られた画像データは「Screen ID =3」の「スクリーンデバイス3」に供給され、そのスクリーンの「w5」の表示単位(ウィンドウ)に画像表示がなされる。
図7は、画像表示の別の例を示している。この例は、トランスポートストリームTSに4つのビデオストリームと、電子番組表情報(EPG情報)が含まれる場合の例である。第1〜第3のビデオストリームに関しては、上述の図5の画像表示例と同様であるので、その説明は省略する。
この場合、電子番組表情報に対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =2」、「window_id =4」が挿入されている。そのため、この電子番組表情報から得られた番組表データ(EPG data)は「Screen ID =2」の「スクリーンデバイス2」に供給され、そのスクリーンの「w4」の表示単位(ウィンドウ)に番組表表示がなされる。
また、この場合、第4のビデオストリームに対応して、トランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =3」、「window_id =5」が挿入されている。そのため、この第4のビデオストリームをデコードして得られた画像データは「Screen ID =3」の「スクリーンデバイス3」に供給され、そのスクリーンの「w5」の表示単位(ウィンドウ)に画像表示がなされる。
なお、複数のストリームに対応したウィンドウID(window_id)が同じ場合、それぞれのストリームに係る画像などは、同じ表示単位(ウィンドウ)に表示される。つまり、ウィンドウID(window_id)はストリーム同士の表示関連付けのために定義される。
図8は、ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合の表示例を示している。この例は、各々が別のビューデータ(view data)でなる複数のビデオストリーム、ここでは2つのビデオストリームの画像を同じ表示領域、つまり同じ表示単位(ウィンドウ)に複数表示させることで、立体(3D)表示を構成する場合を示している。
図9は、ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合の他の表示例を示している。この例は、1つの画像を複数のビデオストリーム、ここでは2つのビデオストリームに分け、同じ表示領域、つまり同じ表示単位(ウィンドウ)に複数表示させることで、高解像度表示を構成する場合を示している。
図10は、ウィンドウID(window_id)によりストリーム同士の表示関連付けが行われる場合のさらに他の表示例を示している。この例は、ビデオストリームの画像とグラフィクスストリーム、例えば字幕ストリームの字幕とを同じ表示領域に表示させる場合を示している。
図11は、表示許容情報が表示位置指定情報で指定された表示位置以外の表示位置(スクリーン、ウィンドウ)への表示を許容することを示している場合における表示遷移の一例を示している。この例は、「Screen ID =1」の「スクリーンデバイス1」の「w2」の表示単位(ウィンドウ)に表示されている番組表を、「Screen ID =3」の「スクリーンデバイス3」の「w5」の表示単位(ウィンドウ)に表示するように、表示遷移をする例である。
例えば、表示解像度モデルが4Kであったが「Screen ID =1」の「スクリーンデバイス1」がHD解像度であったとき、「w2」の表示単位(ウィンドウ)に表示されている番組表は、視聴者にとって非常に見えにくい状態となる。しかし、上述したように、「スクリーンデバイス3」の「w5」の表示単位(ウィンドウ)に表示させることで、番組表の文字を、サイズを大きく、しかも明瞭にできる。
また、図示は省略するが、表示位置指定情報では、複数のビデオストリームの画像をそれぞれ別個のスクリーンデバイスに表示させるように指定されている場合、これらの複数の画像を1つのスクリーンデバイスにまとめて表示させることも考えられる。例えば、複数のスクリーンデバイスの設備がない場合に有効となる。
図12は、送信装置100において、上述したトランスポートストリームTSを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、画像データ出力部111-1〜111-Nと、ビデオエンコーダ112-1〜112-Nと、グラフィクスデータ出力部113と、グラフィクスエンコーダ114と、マルチプレクサ115を有している。
画像データ出力部111-1〜111-Nは、N個の画像データを出力する。画像データ出力部111-1〜111-Nは、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。ここで、N個の画像データには、互いに関連する所定数の画像データを含む場合もある。例えば、立体画像を構成する所定数のビューの画像データ、あるいは、高解像度画像を構成する所定数の画像データなどである。
ビデオエンコーダ112-1〜112-Nは、それぞれ、画像データ出力部111-1〜111-Nから出力される画像データに対して、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVCなどの符号化を施して、符号化画像データを得る。また、ビデオエンコーダ112-1〜112-Nは、それぞれ、後段に備えるストリームフォーマッタ(図示せず)により、符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
グラフィクスデータ出力部113は、画像に重畳するか、あるいは単独で表示されるグラフィクス(字幕としてのサブタイトルも含む)のデータを出力する。グラフィクスエンコーダ114は、グラフィクスデータ出力部113から出力されたグラフィクスデータを含むグラフィクスストリーム(グラフィクスエレメンタリストリーム)を生成する。ここで、グラフィクスは、重畳情報を構成し、例えば、ロゴ、字幕などである。
マルチプレクサ115は、ビデオエンコーダ112-1〜112-Nおよびグラフィクスエンコーダ114で生成された各エレメンタリストリームをパケット化して多重化し、トランスポートストリームTSを生成する。この場合、それぞれのPES(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、PTS(Presentation Time Stamp)が挿入される。
マルチプレクサ115は、トランスポートストリームTSのレイヤに、ビデオストリーム、グラフィクスストリーム、電子番組表情報のそれぞれに対応して、表示位置を指定する表示位置指定情報を挿入する。ここで、表示位置指定情報は、上述したように、例えば、表示対象スクリーンおよび/または表示対象スクリーン上の表示単位(ウィンドウ)を指定する情報である。
ビデオストリームに対応する表示位置指定情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。また、グラフィクスストリームに対応する表示位置情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブルのグラフィクスエレメンタリ・ループ(Graphics ES loop)の配下に挿入される。
電子番組表情報は、イベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に挿入されるコンポーネント・デスクリプタ(Component descriptor)に含まれる。電子番組表情報に対応する表示位置指定情報は、EITの配下に挿入される。表示位置指定情報の詳細については後述する。
また、トランスポートストリームTSのレイヤに、所定のビデオストリームに対応させて、表示対象スクリーン上の表示単位(ウィンドウ)を指定する表示位置指定情報が挿入される場合がある。その場合、その所定のストリームを生成するビデオエンコーダは、そのビデオストリームのレイヤに、その表示単位(ウィンドウ)の位置を変更するか否かを示す位置変更情報を挿入する。
なお、この位置変更情報が変更することを示すとき、ビデオエンコーダは、表示解像度モデルで指定された解像度座標での表示位置情報をさらに挿入する。これらの情報は、例えば、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域に挿入される。これらの情報の詳細については後述する。
図12に示す送信データ生成部110の動作を簡単に説明する。N個の画像データ出力部111-1〜111-Nから出力されるN個の画像データは、それぞれ、N個のビデオエンコーダ112-1〜112-Nに供給される。各ビデオエンコーダでは、画像データに対して、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVCなどの符号化が施され、符号化画像データが得られる。そして、各ビデオエンコーダでは、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)が生成される。
各ビデオエンコーダでは、マルチプレクサ115においてトランスポートストリームTSのレイヤに、自身の出力ビデオストリームに対応させて表示対象スクリーン上の表示単位(ウィンドウ)を指定する表示位置指定情報が挿入されるとき、その出力ビデオストリームのレイヤに、その表示単位(ウィンドウ)の位置を変更するか否かを示す位置変更情報が挿入される。そして、各ビデオエンコーダでは、その位置変更情報が変更することを示すとき、表示解像度モデルで指定された解像度座標での表示位置情報がさらに挿入される。
グラフィクスデータ出力部113から出力されるグラフィクスデータ(サブタイトルデータも含む)はグラフィクスエンコーダ114に供給される。グラフィクスエンコーダ114では、グラフィクスデータを含むグラフィクスストリーム(グラフィクスエレメンタリストリーム)が生成される。
マルチプレクサ115では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。この場合、それぞれのPESヘッダには、受信側における同期再生のために、PTSが挿入される。また、マルチプレクサ115では、トランスポートストリームTSのレイヤに、ビデオストリーム、グラフィクスストリーム、電子番組表情報のそれぞれに対応して、表示位置を指定する表示位置指定情報が挿入される。
[表示位置指定情報および位置変更情報の構造と、TS構成]
上述したように、トランスポートストリームTSのレイヤに、ビデオストリーム、グラフィクスストリーム、電子番組表情報のそれぞれに対応して、表示位置を指定する表示位置指定情報が挿入される。図13は、この表示位置指定情報としてのディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(display_window_positioning descriptor)の構造例(Syntax)を示している。また、図14は、図13に示す構造例における主要な情報の内容(Semantics)を示している。
「display_window_positioning_descriptor_tag」は、デスクリプタタイプを示す8ビットのデータであり、ここでは、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタであることを示す。「display_window_positioning_descriptor_length」は、デスクリプタの長さ(サイズ)を示す8ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
「display_unconstraint_flag」の1ビットフィールドは、表示の際に受信機側で表示位置(スクリーンやウィンドウ)を指定された以外にできるか否かを示す。“1”は、受信機側での表示位置のレンダリングに自由度があることを示す。“0”は、受信機側での表示位置のレンダリングに自由度がなく、このデスクリプタの指示に従うことが要求されることを示す。
「stream_screen_id」の4ビットフィールドは、表示対象スクリーンを指定(識別)する識別子である。「window_id」の4ビットフィールドは、表示対象のスクリーン上での表示単位(ウィンドウ)を指定(識別)する識別子である。
「rendering_model」の4ビットフィールドは、表示対象スクリーンでの表示解像度モデルを示す。例えば、「0001」は、フルHD解像度、つまり1920(H)*1080(V)の解像度であることを示す。また、例えば、「0010」は、4K解像度、つまり3840(H)*2160(V)の解像度であることを示す。また、例えば、「0100」は、8K解像度、つまり7680(H)*4320(V)の解像度であることを示す。
「V_start_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示開始垂直位置を示す。「V_end_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示終了垂直位置を示す。「H_start_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示開始水平位置を示す。「H_end_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示終了水平位置を示す。
また、上述していないが、トランスポートストリームTSのレイヤに、多重配信サービスであるか否かを示す配信サービス情報が挿入される。図15(a)は、この配信サービス情報としてのマルチ・ウィンドウズ・サービス・デスクリプタ(multi_windows_service_descriptor)の構造例(Syntax)を示している。また、図15(b)は、図15(a)に示す構造例における主要な情報の内容(Semantics)を示している。
「multi_windows_service_descriptor_tag」は、デスクリプタタイプを示す8ビットのデータであり、ここでは、マルチ・ウィンドウズ・サービス・デスクリプタであることを示す。「multi_windows_service_descriptor_length」は、デスクリプタの長さ(サイズ)を示す8ビットのデータである。このデータは、デスクリプタの長さとして、以降のバイト数を示す。
「multiple_stream_service_flag」の1ビットフィールドは、多重配信サービスであるか否かを示す。“1”は、多重配信サービスであることを示す。“0”は、非多重配信サービスであることを示す。「number_of_streams」の4ビットフィールドは、配信サービスに関与するストリームの総数を示す。例えば、「0001」は1ストリームを示し、「1111」は15ストリームを示す。
また、上述したように、ビデオストリームのレイヤに、表示単位(ウィンドウ)の位置を変更するか否かを示す位置変更情報が挿入される。例えば、符号化方式がMPEG4−AVC(MVC)である場合、または、HEVCのような、NALユニットなどの符号化構造が似通っている符号化方式である場合、この位置変更情報は、アクセスユニット(AU)の“SEIs”の部分に、SEIメッセージとして挿入される。例えば、この位置変更情報は、SEIメッセージ(window_attribute SEI message)として挿入される。
図16(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図16(b)は、GOPの先頭以外のアクセスユニットを示している。位置変更情報がGOP単位で挿入される場合、GOPの先頭のアクセスユニットにのみ「window_attribute SEI message」が挿入される。
図17(a)は、「window_attribute SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値を持つ。「user_data_payload_byte」のフィールドに、「window_attribute_data()」が挿入される。図17(b)は、「window_attribute_data()」の構造例(Syntax)を示している。この中に、ウィンドウ・アトリビュート・SEI「window_attribute_sei()」が挿入される。「userdata_id」は、符号なし16ビットで示される「window_attribute_sei()」の識別子である。
図18は、「window_attribute_sei()」の構造例(Syntax)を示している。また、図19は、図18に示す構造例における主要な情報の内容(Semantics)を示している。「window_position_change_flag」の1ビットフィールドは、表示単位(ウィンドウ)の表示位置を変更するか否かを示す。“1”は、表示位置を変えることを示す。“0”は、表示位置を変えないことを示す。
「rendering_model」の4ビットフィールドは、表示対象スクリーンでの表示解像度モデルを示す。例えば、「0001」は、フルHD解像度、つまり1920(H)*1080(V)の解像度であることを示す。また、例えば、「0010」は、4K解像度、つまり3840(H)*2160(V)の解像度であることを示す。また、例えば、「0100」は、8K解像度、つまり7680(H)*4320(V)の解像度であることを示す。
「V_start_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示開始垂直位置を示す。「V_end_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示終了垂直位置を示す。「H_start_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示開始水平位置を示す。「H_end_offset」の16ビットフィールドは、「rendering_model」で指定された解像度座標での表示単位(ウィンドウ)の表示終了水平位置を示す。
図20は、トランスポートストリームTSの構成例を示している。この構成例は、トランスポートストリームTSに2つのビデオストリームと、1つのサブタイトルストリームが含まれる場合を示している。すなわち、この構成例では、画像データが符号化されているビデオストリームのPESパケット「video PES1」、「video PES2」と、サブタイトルデータが符号化されているサブタイトルストリームのPESパケット「subtitle PES3」が含まれている。各ストリームには、表示単位(ウィンドウ)の位置を変更するか否かを示すために、上述したウィンドウ・アトリビュート・SEI(window_attribute_sei())が挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。このプログラム・ループの配下に、多重配信サービスであるか否かを示すために、上述したマルチ・ウィンドウズ・サービス・デスクリプタ(multi_windows_service_descriptor)が挿入されている。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES1 loop, Video ES2 loop)と、サブタイトルエレメンタリ・ループ(Subtitle ES3 Loop)が存在する。各エレメンタリ・ループには、各エレメンタリストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
このデスクリプタの1つとして、上述したディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(display_window_positioning descriptor)が挿入されている。これにより、各ビデオストリームの画像表示位置が指定され、また、サブタイトルストリームのサブタイトル(字幕)表示位置が指定される。
また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。このEITの配下に、コンポーネント・デスクリプタ(Component_descriptor)が挿入されている。電子番組表情報は、このコンポーネント・デスクリプタに含まれている。このEITの配下にも、電子番組表の表示位置を指定するために、上述したディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(display_window_positioning descriptor)が挿入されている。
「受信装置の構成例」
図21は、受信装置200の構成例を示している。この受信装置200は、受信部201と、デマルチプレクサ202と、表示制御部203と、ユーザ操作部205と、M個の情報処理部204-1〜204-Mを有している。
受信部201は、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して受信する。受信部201は、デジタルチューナ、あるいはネットワークインタフェースなどで構成される。
デマルチプレクサ202は、このトランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)を抽出し、表示制御部203に送る。
表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、ビデオストリームによる画像、グラフィクスストリームによるグラフィクス、電子番組表情報による番組表の表示位置指定情報(stream_screen_id,window_id)を取得できる。また、表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示の際に受信機側で表示位置(スクリーンやウィンドウ)を指定された以外にできるか否かの情報(display_unconstraint_flag)を取得できる。
また、表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示対象スクリーンでの表示解像度モデルの情報(rendering_model)を取得できる。さらに、表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示解像度モデルの解像度座標での表示単位(ウィンドウ)の表示開始位置(水平、垂直)、表示終了位置(水平、垂直)の情報(V_start_offset,V_end_offset,H_start_offset,H_end_offset)を取得できる。
また、表示制御部203は、マルチ・ウィンドウズ・サービス・デスクリプタの記述から、多重配信サービスであるか否かを示す情報(multiple_stream_service_flag)と、配信サービスに関与するストリームの総数の情報(number_of_streams)を取得できる。
デマルチプレクサ202は、受信部201で受信されたトランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報を抽出し、表示制御部203の制御のもと、情報処理部204-1〜204-Mに選択的に送る。
デマルチプレクサ202は、ビデオストリームに関しては、このビデオストリームに対応したビデオエレメンタリ・ループ配下のディスプレイ・ウィンドウ・ポジショニング・デスクリプタ内の「stream_screen_id」に基づいて、送り先の情報処理部を選択する。すなわち、デマルチプレクサ202は、基本的には、その「stream_screen_id」に対応した「screen_id」を持つスクリーンデバイスに接続される情報処理部を送り先とする。
また、グラフィクスストリームに関しては、このグラフィクスストリームに対応したグラフィクスエレメンタリ・ループ配下のディスプレイ・ウィンドウ・ポジショニング・デスクリプタ内の「stream_screen_id」に基づいて、送り先の情報処理部を選択する。すなわち、デマルチプレクサ202は、「stream_screen_id」に対応した「screen_id」を持つスクリーンデバイスに接続される情報処理部を送り先とする。
また、電子番組表情報に関しては、EIT配下のディスプレイ・ウィンドウ・ポジショニング・デスクリプタ内の「stream_screen_id」に基づいて、送り先の情報処理部を選択する。すなわち、デマルチプレクサ202は、「stream_screen_id」に対応した「screen_id」を持つスクリーンデバイスに接続される情報処理部を送り先とする。
なお、デマルチプレクサ202は、上述したように、基本的には、「stream_screen_id」に基づいて、ビデオストリーム、グラフィクスストリーム、電子番組情報の送り先となる情報処理部を選択する。しかし、情報(display_unconstraint_flag)が表示位置(スクリーンやウィンドウ)の変更を許容することを示し、ユーザの表示位置の変更操作があるときは、デマルチプレクサ202は、その表示位置の変更操作に基づいて、送り先の情報処理部を選択する。なお、情報(display_unconstraint_flag)を使用せずに、ユーザの表示位置の変更操作のみに基づいて、送り先の情報処理部を選択することも考えられる。また、デマルチプレクサ202は、実際に接続されるスクリーンデバイスの状況に応じて、送り先の情報処理部を選択し、「stream_screen_id」に対応するスクリーンデバイスの接続がなくても、全ての情報が表示されるようにすることも考えられる。
情報処理部204-1〜204-Mは、それぞれ、デマルチプレクサ202から供給されるビデオストリーム、グラフィクスストリーム、電子番組表情報を処理して画像、グラフィクス(字幕を含む)、番組表などの表示用データを生成する。そして、情報処理部204-1〜204-Mは、この表示用データを、必要に応じてスケーリング処理を施した後に、スクリーンデバイス300-1〜300-Mに送る。
各情報処理部は、デコーダ204aおよびスケーラ204bを備える。デコーダ204aは、デマルチプレクサ202から送られてくるビデオストリーム、グラフィクスストリーム、電子番組表情報を処理して画像、グラフィクス(字幕を含む)、番組表などの表示用データを生成する。
また、デコーダ204aは、ビデオおよびグラフィクスのストリームから、ウィンドウ・アトリビュート・SEI(図18参照)を抽出し、表示制御部203に送る。表示制御部203は、ウィンドウ・アトリビュート・SEIの記述から、表示単位(ウィンドウ)の表示位置を変更するか否かを示す情報(window_position_change_flag)を取得できる。この情報が変更することを示すとき、表示制御部203は、ウィンドウ・アトリビュート・SEIの記述から、さらに、表示対象スクリーンでの表示解像度モデルの情報(rendering_model)と、その解像度座標での表示単位(ウィンドウ)の表示開始位置(水平、垂直)、表示終了位置(水平、垂直)の情報を取得できる。
スケーラ204bは、表示制御部203の制御のもと、デコーダ204で生成された表示用データに対し、画像、グラフィクス(字幕を含む)、番組表などの表示が、対応する表示単位(ウィンドウ)に表示されるように、スケーリング処理などを施す。この際、表示対象のスクリーンデバイスの解像度が表示解像度モデルと異なっている場合、スケーラ204aは、その解像度差を調整するためのスケーリング処理をさらに行う。
なお、表示単位(ウィンドウ)の表示位置情報としては、基本的には、トランスポートストリームTSから抽出されたディスプレイ・ウィンドウ・ポジショニング・デスクリプタ内のものが使用される。しかし、デコーダ204aでビデオスやグラフィクスのストリームから抽出されたウィンドウ・アトリビュート・SEIの情報(window_position_change_flag)が変更を示すとき、そのウィンドウ・アトリビュート・SEI内のものが使用される。これにより、表示単位(ウィンドウ)の表示位置のダイナミックな変更が可能とされる。
図21に示す受信装置200の動作を簡単に説明する。受信部201では、送信装置100から送られてくるトランスポートストリームTSが、放送波を介して、あるいはネットワークを介して受信される。このトランスポートストリームTSは、デマルチプレクサ202に供給される。
デマルチプレクサ202では、トランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)が抽出され、表示制御部203に送られる。表示制御部203では、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示位置指定情報(stream_screen_id,window_id)などの種々の情報が取得される。
デマルチプレクサ202では、トランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報が抽出され、表示制御部203の制御のもと、情報処理部204-1〜204-Mに選択的に送られる。この場合、デマルチプレクサ202では、基本的には、「stream_screen_id」に対応した「screen_id」を持つスクリーンデバイスに接続される情報処理部が送り先として選択される。
情報処理部204-1〜204-Mでは、それぞれ、デマルチプレクサ202から供給されるビデオストリーム、グラフィクスストリーム、電子番組表情報が処理されて、画像、グラフィクス(字幕を含む)、番組表などの表示用データが生成される。そして、情報処理部204-1〜204-Mでは、この表示用データに対して、必要に応じてスケーリング処理を施した後に、スクリーンデバイス300-1〜300-Mに送ることが行われる。
上述したように、図1に示す画像送受信装置10においては、トランスポートストリームTSのレイヤに、画像、グラフィクス(字幕を含む)、番組表の表示位置指定情報(stream_screen_id,window_id)が挿入されるものである。そのため、画像、グラフィクス、番組表などの表示位置を送り側が主体的に制御することが可能となる。
また、図1に示す画像送受信装置10においては、表示位置指定情報には、この表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを示す情報が付加されるものである。そのため、この表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを送り側が主体的に制御することが可能となる。
また、図1に示す画像送受信装置10においては、ビデオやグラフィクスのストリームのレイヤに、表示位置指定情報で指定された表示対象のスクリーン上の表示単位(ウィンドウ)の位置を変更するか否かを示す情報と、この情報が変更することを示すとき、その表示単位の位置情報が挿入されるものである。そのため、表示対象のスクリーン上の表示単位(ウィンドウ)をダイナミックに変更することが可能となる。
<2.変形例>
「変形例1」
なお、図1に示す画像送受信システム10では、受信装置200がデコーダを備え、この受信装置200から各スクリーンデバイスに非圧縮の画像データなどの表示用データを送る構成となっている。しかし、受信装置としてデコーダを備えず、この受信装置から各スクリーンデバイスに、そこでの表示に関係するビデオストリーム、グラフィクスストリーム、電子番組表情報が含まれたパーシャル・トランスポートストリームTSを送る構成も考えられる。この場合には、受信装置にデコーダは不要となる。
図22は、その場合における画像送受信システム10Aの構成例を示している。この図22において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この画像送受信システム10Aは、送信装置100、受信装置200AおよびM個の表示機器400-1〜400-Mにより構成されている。表示機器400-1〜400-Mは、それぞれ、スクリーンデバイス300-1〜300-Mを有している。
受信装置200Aは、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して受信する。受信装置200Aは、このトランスポートストリームTSに対してデマルチプレクスの処理を施し、その後に、リマルチプレクス処理を施して、表示機器400-1〜400-Mに送るパーシャル・トランスポートストリームTSを生成する。そして、受信装置200Aは、表示機器400-1〜400-Mのそれぞれにパーシャル・トランスポートストリームTSを送る。
この際、受信装置200Aは、トランスポートストリームTSのレイヤに挿入されているビデオストリーム、グラフィクスストリーム、電子番組情報に対応した表示位置指定情報(表示対象スクリーン、表示単位(ウィンドウ))を取得する。受信装置200は、この表示位置指定情報に基づいて、表示機器400-1〜400-Mのそれぞれに送るパーシャル・トランスポートストリームTSを生成する。
表示機器400-1〜400-Mは、それぞれ、受信装置200Aから送られてくるパーシャル・トランスポートストリームTSに含まれるビデオストリーム、グラフィクスストリーム、電子番組表情報に対してデコード処理を行って、画像、グラフィクス(字幕を含む)、番組表などの表示用データを取得する。そして、表示機器400-1〜400-Mは、それぞれ、スクリーンデバイス300-1〜300-Mに、取得された表示用データによる画像、グラフィクス(字幕を含む)、番組表などの表示を行う。
図23は、受信装置200Aおよび表示機器400-1〜400-Mの構成例を示している。この図23において、図21と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。受信装置200Aは、受信部201と、デマルチプレクサ202Aと、表示制御部203Aと、ユーザ操作部205と、リマルチプレクサ206を有している。
受信部201は、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して受信する。デマルチプレクサ202Aは、受信部201で受信されたトランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報などを抽出し、リマルチプレクサ206に送る。
また、デマルチプレクサ202Aは、このトランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)を抽出し、表示制御部203Aに送る。リマルチプレクサ206は、表示制御部203Aの制御のもと、表示機器400-1〜400-Mのそれぞれに送るパーシャル・トランスポートストリームTSを生成する。
なお、リマルチプレクサ206は、基本的には、「stream_screen_id」に基づいて、ビデオストリーム、グラフィクスストリーム、電子番組情報の送り先となる表示機器を選択する。しかし、情報(display_unconstraint_flag)が表示位置(スクリーンやウィンドウ)の変更を許容することを示し、ユーザの表示位置の変更操作があるときは、リマルチプレクサ206は、その表示位置の変更操作に基づいて、送り先の表示機器を選択する。
表示機器400(400-1〜400-M)は、デマルチプレクサ401と、デコーダ402と、スケーラ403と、表示制御部404と、スクリーンデバイス300(300-1〜300-M)を有している。
デマルチプレクサ401は、受信装置200Aから送られてくるパーシャル・トランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報を抽出し、デコーダ402に送る。また、デマルチプレクサ401は、このパーシャル・トランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)を抽出し、表示制御部404に送る。
表示制御部404は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、ビデオストリームによる画像、グラフィクスストリームによるグラフィクス、電子番組表情報による番組表の表示位置指定情報(stream_screen_id,window_id)を取得できる。また、表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示対象スクリーンでの表示解像度モデルの情報(rendering_model)を取得できる。さらに、表示制御部203は、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示解像度モデルの解像度座標での表示単位(ウィンドウ)の表示開始位置(水平、垂直)、表示終了位置(水平、垂直)の情報(V_start_offset,V_end_offset,H_start_offset,H_end_offset)を取得できる。
デコーダ402は、デマルチプレクサ401から送られてくるビデオストリーム、グラフィクスストリーム、電子番組表情報を処理して画像、グラフィクス(字幕を含む)、番組表などの表示用データを生成する。
また、デコーダ402は、ビデオおよびグラフィクスのストリームから、ウィンドウ・アトリビュート・SEI(図18参照)を抽出し、表示制御部404に送る。表示制御部404は、ウィンドウ・アトリビュート・SEIの記述から、表示単位(ウィンドウ)の表示位置を変更するか否かを示す情報(window_position_change_flag)を取得できる。この情報が変更することを示すとき、表示制御部404は、ウィンドウ・アトリビュート・SEIの記述から、さらに、表示対象スクリーンでの表示解像度モデルの情報(rendering_model)と、その解像度座標での表示単位(ウィンドウ)の表示開始位置(水平、垂直)、表示終了位置(水平、垂直)の情報を取得できる。
スケーラ403は、表示制御部404の制御のもと、デコーダ402で生成された表示用データに対し、画像、グラフィクス(字幕を含む)、番組表などの表示が、対応する表示単位(ウィンドウ)に表示されるように、スケーリング処理などを施す。この際、表示対象のスクリーンデバイス300の解像度が表示解像度モデルと異なっている場合、スケーラ403は、その解像度差を調整するためのスケーリング処理をさらに行う。スクリーンデバイス300は、スケーラ403から出力される表示用データに基づいて、画像、グラフィクス(字幕を含む)、番組表などを表示する。
なお、表示単位(ウィンドウ)の表示位置情報としては、基本的には、パーシャル・トランスポートストリームTSから抽出されたディスプレイ・ウィンドウ・ポジショニング・デスクリプタ内のものが使用される。しかし、デコーダ402でビデオスやグラフィクスのストリームから抽出されたウィンドウ・アトリビュート・SEIの情報(window_position_change_flag)が変更を示すとき、そのウィンドウ・アトリビュート・SEI内のものが使用される。これにより、表示単位(ウィンドウ)の表示位置のダイナミックな変更が可能とされる。
図23に示す受信装置200Aおよび表示機器400(400-1〜400-M)の動作を簡単に説明する。受信装置200Aにおいては、受信部201で、送信装置100から送られてくるトランスポートストリームTSが、放送波を介して、あるいはネットワークを介して受信される。このトランスポートストリームTSは、デマルチプレクサ202Aに供給される。
デマルチプレクサ202Aでは、受信部201で受信されたトランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報などが抽出され、リマルチプレクサ206に供給される。
また、このデマルチプレクサ202Aでは、トランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)が抽出され、表示制御部203に送られる。表示制御部203では、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示位置指定情報(stream_screen_id,window_id)などの種々の情報が取得される。
リマルチプレクサ206では、表示制御部203Aの制御のもと、表示機器400-1〜400-Mのそれぞれに送るパーシャル・トランスポートストリームTSが生成される。そして、リマルチプレクサ206から、表示機器400-1〜400-Mに、対応するパーシャル・トランスポートストリームTSが送られる。
表示機器400(400-1〜400-M)においては、受信装置200から送られてくるパーシャル・トランスポートストリームTSがデマルチプレクサ401に供給される。このデマルチプレクサ401では、パーシャル・トランスポートストリームTSからビデオストリーム、グラフィクスストリーム(サブタイトルストリームを含む)、さらには電子番組表情報が抽出され、デコーダ402に供給される。
また、デマルチプレクサ401では、パーシャル・トランスポートストリームTSから、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタ(図13参照)およびマルチ・ウィンドウズ・サービス・デスクリプタ(図15(a)参照)が抽出され、表示制御部404に送られる。表示制御部404では、ディスプレイ・ウィンドウ・ポジショニング・デスクリプタの記述から、表示位置指定情報(stream_screen_id,window_id)などの種々の情報が取得される。
デコーダ402では、デマルチプレクサ401から送られてくるビデオストリーム、グラフィクスストリーム、電子番組表情報が処理されて、画像、グラフィクス(字幕を含む)、番組表などの表示用データが生成される。この表示用データは、スケーラ403に供給される。
また、デコーダ402では、ビデオおよびグラフィクスのストリームから、ウィンドウ・アトリビュート・SEI(図18参照)が抽出され、表示制御部404に送られる。表示制御部404では、ウィンドウ・アトリビュート・SEIの記述から、表示単位(ウィンドウ)の表示位置を変更するか否かを示す情報(window_position_change_flag)などの種々の情報が取得される。
スケーラ403では、表示制御部404の制御のもと、デコーダ402で生成された表示用データに対し、画像、グラフィクス(字幕を含む)、番組表などの表示が、対応する表示単位(ウィンドウ)に表示されるように、スケーリング処理などが施される。スケーラ403から出力される表示用データはスクリーンデバイス300に供給され、このスクリーンデバイス300に、画像、グラフィクス(字幕を含む)、番組表などが表示される。
「変形例2」
また、図1に示す画像送受信システム10では、受信装置200から各スクリーンデバイスに並列的に非圧縮の画像データなどの表示用データを送る構成となっている。しかし、受信装置200から特定のスクリーンデバイスに全てのスクリーンデバイス分の表示用データを送り、その特定のスクリーンデバイスから他のスクリーンデバイスに表示用データを配信する構成も考えられる。
図24は、その場合における画像送受信システム10Bの構成例を示している。この図24において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この画像送受信システム10Bは、送信装置100、受信装置200BおよびM個のスクリーンデバイス300-1〜300-Mを有している。
受信装置200Bは、特定のスクリーンデバイス、ここではスクリーンデバイス300-1に、全てのスクリーンデバイス分の表示用データを送る。スクリーンデバイス300-1は、自分用の表示用データに基づいて、画像、グラフィクス、番組表などを表示する。また、スクリーンデバイス300-1は、他のスクリーンデバイス分の表示用画像データを対応するスクリーンデバイスに配信(転送)する。
この場合、スクリーンデバイス300-1から他のスクリーンデバイスに表示用データを配信する際にランダムな遅延が発生する恐れがあり、各スクリーンデバイス間での表示同期が乱れることも考えられる。そのため、受信装置200Bは、図25に示すように、スクリーンデバイス300-1に送る各スクリーンデバイスの表示用データにフレーム単位で付加されるヘッダ情報にタイムコードを挿入する。この場合、受信装置200Bは、例えば、トランスポートストリームTSのレイヤに挿入されている90KHzのタイムスタンプから29.97Hzのタイムコードへの換算を行って、タイムコードを生成する。
スクリーンデバイス300-1〜300-Mは、それぞれ、タイムコードに基づいて表示タイミングを制御する。この場合、スクリーンデバイス300-1〜300-Mは、有線あるいは無線により、クロック(時間)情報を相互に交換することで、相互の表示同期を実現することができる。
図26は、受信装置200Bの構成例を示している。この図26において、図21と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。情報処理部204-1〜204-Mは、表示制御部203Bの制御のもと、スクリーンデバイス300-1に送る各スクリーンデバイスの表示用データにフレーム単位で付加されるヘッダ情報にタイムコードを挿入する。詳細説明は省略するが、この受信装置200Bのその他は、図21に示す受信装置200と同様である。
「変形例3」
また、図1に示す画像送受信システム10では、受信装置200から各スクリーンデバイスに並列的に非圧縮の画像データなどの表示用データを送る構成となっている。しかし、特定のスクリーンデバイスを有する表示機器で全てのスクリーンデバイス分の表示用データを生成し、他のスクリーンデバイスにはその表示機器から表示用データを配信する構成も考えられる。この場合には、受信装置は不要となる。
図27は、その場合における画像送受信システム10Cの構成例を示している。この図27において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。この画像送受信システム10Cは、送信装置100、表示機器400CおよびM−1個のスクリーンデバイス300-2〜300-Mにより構成されている。表示機器400Cは、スクリーンデバイス300-1を備えている。
表示機器400Cは、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して、あるいはネットワークを介して受信する。表示機器400Cは、図1における受信装置200と同様の機能を持ち、スクリーンデバイス300-1〜300-Mに供給すべき、画像、グラフィクス(字幕を含む)、番組表の表示用データを生成する。そして、表示機器400Cは、自身に備えるスクリーンデバイス300-1に、表示用データによる画像、グラフィクス(字幕を含む)、番組表などの表示を行う。また、表示機器400Cは、他のスクリーンデバイス300-2〜300-Mに、対応する表示用データを送る。
図28は、表示機器400Cの構成例を示している。この図28において、図21と対応する部分には同一符号を付して示している。詳細説明は省略するが、表示機器400Cは、スクリーンデバイス300-1を備えることを除けば、図21に示す表示装置200と同様に構成されている。
「その他」
また、上述実施の形態においては、1つのコンテナで複数のサービスストリームが供給される場合の例を示した。例えば、図29(a)に示すように、1つの放送サービスのコンテナにプライマリ・ストリームとセカンダリ・ストリームが含まれ、受信側では、このコンテナに含まれる各ストリームが処理され、各ストリームの内容が指定されたスクリーンおよび表示単位(ウィンドウ)に表示される。
しかし、本技術は、複数のコンテナで複数のサービスストリームが供給される場合にも、同様に適用できる。例えば、図29(b)に示すように、第1の放送サービスのコンテナにプライマリ・ストリームが含まれ、第2の放送サービスのコンテナにセカンダリ・ストリームが含まれる場合である。この場合、受信側では、各コンテナに含まれるストリームがそれぞれ処理され、各ストリームの内容が指定されたスクリーンおよび表示単位(ウィンドウ)に表示される。この場合、放送サービス間で連動するメカニズムがとられている。
また、例えば、図30(a)に示すように、放送サービスのコンテナにプライマリ・ストリームが含まれ、ネットサービスのコンテナにセカンダリ・ストリームが含まれる場合である。この場合、受信側では、各コンテナに含まれるストリームがそれぞれ処理され、各ストリームの内容が指定されたスクリーンおよび表示単位(ウィンドウ)に表示される。この場合、放送、ネットサービス間で連動するメカニズムがとられている。
また、例えば、図30(b)に示すように、第1のネットサービスのコンテナにプライマリ・ストリームが含まれ、第2のネットサービスのコンテナにセカンダリ・ストリームが含まれる場合である。この場合、受信側では、各コンテナに含まれるストリームがそれぞれ処理され、各ストリームの内容が指定されたスクリーンおよび表示単位(ウィンドウ)に表示される。この場合、ネットサービス間で連動するメカニズムがとられている。
図31は、複数のコンテナで複数のサービスストリームが供給される場合における画像表示の一例を示している。この例は、3つのトランスポートストリームTSで3つのビデオストリームが供給される場合の例である。この場合、第1のトランスポートストリームTSに含まれる第1のビデオストリームに対応して、この第1のトランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =1」が挿入されている。そのため、この第1のビデオストリームをデコードして得られた画像データは「Screen ID =1」の「スクリーンデバイス1」に供給され、そのスクリーンに画像表示がなされる。
また、この場合、第2のトランスポートストリームTSに含まれる第2のビデオストリームに対応して、この第2のトランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =2」が挿入されている。そのため、この第2のビデオストリームをデコードして得られた画像データは「Screen ID =2」の「スクリーンデバイス2」に供給され、そのスクリーンに画像表示がなされる。
また、この場合、第3のトランスポートストリームTSに含まれる第3のビデオストリームに対応して、この第3のトランスポートストリームTSに、表示位置指定情報として「Stream_screen_ID =3」が挿入されている。そのため、この第3のビデオストリームをデコードして得られた画像データは「Screen ID =3」の「スクリーンデバイス3」に供給され、そのスクリーンに画像表示がなされる。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報を挿入する情報挿入部とを備える
送信装置。
(2)上記表示位置指定情報は、表示対象スクリーンを指定する情報である
前記(1)に記載の送信装置。
(3)上記表示位置指定情報は、表示対象スクリーン上の表示単位を指定する情報である
前記(1)または(2)に記載の送信装置。
(4)上記表示位置指定情報には、表示対象スクリーンでの表示解像度モデルを示す情報が付加されると共に、該表示解像度モデルで指定された解像度座標での表示位置情報が付加されている
前記(3)に記載の送信装置。
(5)上記情報挿入部は、さらに、上記ビデオストリームのレイヤに、上記表示位置指定情報で指定された上記表示対象スクリーン上の表示単位の位置を変更するか否かを示す情報と、該情報が変更することを示すとき、該表示単位の表示位置情報を挿入する
前記(4)に記載の送信装置。
(6)上記表示位置指定情報には、上記表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを示す情報が付加されている
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記送信部が送信するコンテナには、字幕データが符号化されて得られた字幕ストリームがさらに含まれ、
上記情報挿入部は、上記コンテナのレイヤに、上記字幕データによる字幕の表示位置を指定する表示位置指定情報をさらに挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記送信部が送信するコンテナには、電子番組表情報がさらに含まれ、
上記情報挿入部は、上記コンテナのレイヤに、上記電子番組表情報による番組表の表示位置を指定する表示位置指定情報をさらに挿入する
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記コンテナは、トランスポートストリームであり、
上記情報挿入部は、上記表示位置指定情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下のデスクリプタに挿入する
前記(1)から(8)のいずれかに記載の送信装置。
(10)画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報を挿入するステップとを備える
送信方法。
(11)画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報が挿入されており、
上記画像データによる画像が上記表示位置指定情報で指定された表示位置に表示されるように上記ビデオストリームの処理を制御する表示制御部をさらに備える
受信装置。
(12)上記ビデオストリームを復号化して非圧縮画像データを得る復号化部と、
上記非圧縮画像データを、上記表示制御部の制御により、上記表示位置指定情報で指定される表示対象スクリーンを持つ表示機器に送信する送信部とをさらに備え、
上記送信部は、上記非圧縮画像データのフレーム毎のヘッダ情報に、フレーム単位でカウントするタイムコードを挿入する
前記(11)に記載の受信装置。
(13)上記コンテナを、上記表示制御部の制御により、上記表示位置指定情報で指定される表示対象スクリーンを持つ表示機器に送信する送信部をさらに備える
前記(11)または(12)に記載の受信装置。
(14)画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信するステップを備え、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報が挿入されており、
上記画像データによる画像が上記表示位置指定情報で指定された表示位置に表示されるように上記ビデオストリームの処理を制御するステップをさらに備える
受信方法。
(15)画像データが符号化されて得られたビデオストリームを含む所定フォーマットのコンテナを受信し、
上記コンテナのレイヤに、上記画像データによる画像の表示位置を指定する表示位置指定情報が挿入されており、
少なくとも上記表示位置指定情報を含む判断情報に基づく判断により、上記画像データによる画像を、上記表示位置指定情報で指定される表示位置あるいは上記表示位置指定情報で指定された表示位置とは異なる表示位置に配置する
受信表示方法。
(16)上記判断情報には、ユーザ操作による表示位置変更情報がさらに含まれる
前記(15)に記載の受信表示方法。
(17)上記表示位置指定情報には、上記表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを示す情報が付加されており、
上記判断情報には、上記付加情報がさらに含まれる
前記(16)に記載の受信表示方法。
本技術の主な特徴は、トランスポートストリームTS等のコンテナのレイヤに、画像、グラフィクス(字幕を含む)等の表示位置指定情報(stream_screen_id, window_id)を挿入することで、画像、グラフィクス等の表示位置を送り側が主体的に制御することを可能にしたことである(図5参照)。
10,10A〜10C・・・画像送受信システム
100・・・送信装置
110・・・送信データ生成部
111-1〜111-N・・・画像データ出力部
112-1〜112-N・・・ビデオエンコーダ
113・・・グラフィクスデータ出力部
114・・・グラフィクスエンコーダ
115・・・マルチプレクサ
200,200A,200B・・・受信装置
201・・・受信部
202,202A・・・デマルチプレクサ
203・・・表示制御部
204-1〜204-M・・・情報処理部
204a・・・デコーダ
204b・・・スケーラ
205・・・ユーザ操作部
206・・・リマルチプレクサ
300,300-1〜300-M・・・スクリーンデバイス
400-1〜400-M,400C・・・表示機器
401・・・デマルチプレクサ
402・・・デコーダ
403・・・スケーラ
404・・・表示制御部

Claims (20)

  1. 画像データが符号化されて得られたビデオストリームを含むコンテナを送信する送信部と、
    上記コンテナのレイヤに、上記画像データにより表示される画像の表示位置を指定する表示位置指定情報を挿入する情報挿入部を備え
    上記表示位置指定情報は、表示対象スクリーンを指定する情報を含む
    送信装置。
  2. 上記表示位置指定情報は、表示対象スクリーン上の表示単位を指定する情報を含む
    請求項1に記載の送信装置。
  3. 上記表示位置指定情報は、表示対象スクリーンでの表示解像度モデルを示す情報と上記表示解像度モデルで指定された解像度座標での表示位置情報とを含む
    請求項2に記載の送信装置。
  4. 上記情報挿入部は、上記ビデオストリームのレイヤに、上記表示位置指定情報で指定された上記表示対象スクリーン上の表示単位の位置を変更するか否かを示す情報と、該情報が変更することを示すとき、該表示単位の表示位置情報を挿入する
    請求項1から3のいずれかに記載の送信装置。
  5. 上記表示位置指定情報は、上記表示位置指定情報で指定された表示位置以外の表示位置への表示を許容するか否かを示す情報を含む
    請求項1から3のいずれかに記載の送信装置。
  6. 上記送信部が送信するコンテナは、字幕データが符号化されて得られた字幕ストリーム
    上記情報挿入部は、上記コンテナのレイヤに、上記字幕データにより表示される字幕の表示位置を指定する表示位置指定情報をさらに挿入する
    請求項1から3のいずれかに記載の送信装置。
  7. 上記送信部が送信するコンテナは、電子番組表情報
    上記情報挿入部は、上記コンテナのレイヤに、上記電子番組表情報により表示される番組表の表示位置を指定する表示位置指定情報をさらに挿入する
    請求項1から3のいずれかに記載の送信装置。
  8. 上記コンテナは、トランスポートストリームであり、
    上記情報挿入部は、上記表示位置指定情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下のデスクリプタに挿入する
    請求項1から3のいずれかに記載の送信装置。
  9. 画像データが符号化されて得られたビデオストリームを含むコンテナを送信するステップと、
    上記コンテナのレイヤに、上記画像データにより表示される画像の表示位置を指定する表示位置指定情報を挿入するステップとを有し、
    上記表示位置指定情報は、表示対象スクリーンを指定する情報を含む
    送信方法。
  10. 画像データが符号化されて得られたビデオストリームを含むコンテナを受信する受信部を備え、
    上記コンテナのレイヤに、上記画像データにより表示される画像の表示位置を指定する表示位置指定情報が含まれており、
    上記表示位置指定情報は、表示対象スクリーンを指定する情報を含み、
    記表示位置指定情報で指定された表示対象スクリーン上の画像の表示を制御する表示制御部をさらに備える
    受信装置。
  11. 上記ビデオストリームを復号化して復号された画像データを得る復号化部と、
    上記復号された画像データを、上記表示位置指定情報で指定される表示対象スクリーンに送信する送信部とをさらに備える
    請求項10に記載の受信装置。
  12. 記送信部は、上記復号された画像データのフレーム毎のヘッダ情報に、フレーム単位でカウントするタイムコードを挿入する
    請求項11に記載の受信装置。
  13. 上記コンテナを、上記表示位置指定情報で指定される表示対象スクリーンに対応付けられた表示制御部に送信する送信部をさらに備える
    請求項10から12のいずれかに記載の受信装置。
  14. スクリーンをさらに備える
    請求項10から12のいずれかに記載の受信装置。
  15. 上記表示位置指定情報は、少なくともスクリーン識別子とウインドウ識別子とを含む集合に属する識別子を含む
    請求項10から12のいずれかに記載の受信装置。
  16. 上記コンテナは、少なくとも1つの字幕ストリームと、少なくとも1つのビデオストリームを含み、上記少なくとも1つの字幕ストリームは特定の表示位置指定情報の識別子に関連付けられている
    請求項10から12のいずれかに記載の受信装置。
  17. 上記コンテナは、少なくとも電子番組情報と、少なくとも1つのビデオストリームを含み、上記電子番組情報は特定の表示位置指定情報の識別子に関連付けられている
    請求項10から12のいずれかに記載の受信装置。
  18. 少なくとも2つの異なるビデオストリームに関連付けられたコンテンツを同一の表示領域に表示する表示器をさらに備える
    請求項10から12のいずれかに記載の受信装置。
  19. 符号化画像データを含むビデオストリームを含むコンテナを受信するステップを有し
    上記コンテナのレイヤに、上記画像データにより表示される画像の表示位置を指定する表示位置指定情報が含まれており
    上記表示位置指定情報は、表示対象スクリーンを指定する情報であり、
    記表示位置指定情報で指定された表示対象スクリーン上の画像の表示を制御するステップをさらに有す
    受信方法。
  20. 符号化画像データを含むビデオストリームを含むコンテナを受信し、
    上記コンテナのレイヤに、上記画像データにより表示される画像の表示位置を指定する表示位置指定情報が含まれており
    上記表示位置指定情報は、表示対象スクリーンを指定する情報であり、
    少なくとも上記表示位置指定情報を含む判断情報に基づく判断により、上記画像を、上記表示位置指定情報で指定される表示位置あるいは上記表示位置指定情報で指定された表示位置とは異なる表示位置に配置する
    受信表示方法。
JP2014548562A 2012-11-26 2013-11-19 送信装置、送信方法、受信装置、受信方法および受信表示方法 Active JP6479473B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012258028 2012-11-26
JP2012258028 2012-11-26
PCT/JP2013/081104 WO2014080879A1 (ja) 2012-11-26 2013-11-19 送信装置、送信方法、受信装置、受信方法および受信表示方法

Publications (2)

Publication Number Publication Date
JPWO2014080879A1 JPWO2014080879A1 (ja) 2017-01-05
JP6479473B2 true JP6479473B2 (ja) 2019-03-06

Family

ID=50776061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014548562A Active JP6479473B2 (ja) 2012-11-26 2013-11-19 送信装置、送信方法、受信装置、受信方法および受信表示方法

Country Status (9)

Country Link
US (1) US10123069B2 (ja)
EP (1) EP2925001B1 (ja)
JP (1) JP6479473B2 (ja)
KR (1) KR102181994B1 (ja)
CN (1) CN105052158A (ja)
BR (1) BR112015011487A2 (ja)
RU (1) RU2633385C2 (ja)
SG (1) SG11201504103WA (ja)
WO (1) WO2014080879A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10021205B2 (en) * 2013-10-22 2018-07-10 Salesforce.Com, Inc. Rules-based multipoint routing of real-time information using client-server architecture
CN104270665A (zh) * 2014-09-18 2015-01-07 乐视网信息技术(北京)股份有限公司 一种视频辅助信息的显示方法及装置
JP2016092769A (ja) * 2014-11-11 2016-05-23 シャープ株式会社 受信機
WO2017073397A1 (ja) * 2015-10-28 2017-05-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TWI728061B (zh) * 2016-03-15 2021-05-21 日商新力股份有限公司 送訊裝置及收訊裝置
EP3440843A4 (en) * 2016-04-08 2019-08-28 Visbit Inc. VIEWED 360 Degree VIDEO STREAMING
US10856023B2 (en) 2016-04-12 2020-12-01 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
CN110536151B (zh) * 2019-09-11 2021-11-19 广州方硅信息技术有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN112544070A (zh) * 2020-03-02 2021-03-23 深圳市大疆创新科技有限公司 视频的处理方法和装置
CN111541930B (zh) * 2020-04-27 2023-04-25 广州酷狗计算机科技有限公司 直播画面的显示方法、装置、终端及存储介质
CN113438514B (zh) * 2021-04-26 2022-07-08 深圳Tcl新技术有限公司 字幕处理方法、装置、设备及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023348A (ja) 1996-05-02 1998-01-23 Matsushita Electric Ind Co Ltd テレビ放送番組送信装置,受信装置
US5995146A (en) 1997-01-24 1999-11-30 Pathway, Inc. Multiple video screen display system
JP2000013712A (ja) 1998-06-25 2000-01-14 Toshiba Corp マルチ画面表示装置
JP2000347638A (ja) 1999-06-07 2000-12-15 Hitachi Ltd Osd装置及びこれを用いた符号化ビデオ復号装置並びにこの復号装置を用いたディジタル放送受信装置
JP2001134504A (ja) * 1999-11-02 2001-05-18 Funai Electric Co Ltd ネットワーク装置
US7028327B1 (en) * 2000-02-02 2006-04-11 Wink Communication Using the electronic program guide to synchronize interactivity with broadcast programs
WO2003077171A1 (en) * 2002-03-08 2003-09-18 Dai Nippon Printing Co., Ltd. Information providing system and paper-shaped display medium
US7098868B2 (en) 2003-04-08 2006-08-29 Microsoft Corporation Display source divider
US20050149988A1 (en) * 2004-01-06 2005-07-07 Sbc Knowledge Ventures, L.P. Delivering interactive television components in real time for live broadcast events
US8165448B2 (en) * 2004-03-24 2012-04-24 Hollinbeck Mgmt. Gmbh, Llc System using multiple display screens for multiple video streams
KR20060134398A (ko) * 2005-06-22 2006-12-28 삼성전자주식회사 전자 프로그램 가이드 정보를 표시하는 방송수신장치 및 그방법
EP1919219A4 (en) 2005-07-11 2010-12-01 Sharp Kk VIDEO ENTRY DEVICE, VIDEO DISPLAY DEVICE, VIDEO END PROCEDURE AND VIDEO DISPLAY METHOD
KR101392626B1 (ko) 2005-07-18 2014-05-07 톰슨 라이센싱 다중 비디오 스트림 핸들링 방법
JP4408845B2 (ja) * 2005-07-27 2010-02-03 シャープ株式会社 映像合成装置及びプログラム
US8320819B2 (en) * 2005-11-01 2012-11-27 Nokia Corporation Mobile TV channel and service access filtering
JP4229178B2 (ja) * 2006-12-01 2009-02-25 船井電機株式会社 放送受信装置
JP4218724B2 (ja) * 2006-12-28 2009-02-04 船井電機株式会社 放送受信装置
RU2010102823A (ru) 2007-06-26 2011-08-10 Нокиа Корпорейшн (Fi) Система и способ индикации точек переключения временных уровней
JP2009118166A (ja) * 2007-11-06 2009-05-28 Sharp Corp テレビジョン受像機
JP4798184B2 (ja) * 2008-08-04 2011-10-19 ソニー株式会社 番組表の表示制御装置、番組表の表示装置、及び、番組表の表示制御方法
JP5350871B2 (ja) * 2009-04-20 2013-11-27 シャープ株式会社 情報表示装置および情報表示方法
KR20110053159A (ko) 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
JP5728649B2 (ja) 2010-08-06 2015-06-03 パナソニックIpマネジメント株式会社 再生装置、集積回路、再生方法、プログラム
CN101986707A (zh) 2010-11-02 2011-03-16 深圳市同洲电子股份有限公司 可支持显示墙输出的解码器系统及方法
JPWO2013021643A1 (ja) 2011-08-11 2015-03-05 パナソニック株式会社 放送通信連携システム、データ生成装置及び受信装置

Also Published As

Publication number Publication date
BR112015011487A2 (pt) 2017-07-11
EP2925001A4 (en) 2016-07-13
SG11201504103WA (en) 2015-06-29
US20150296248A1 (en) 2015-10-15
KR20150090055A (ko) 2015-08-05
RU2633385C2 (ru) 2017-10-12
RU2015118755A (ru) 2016-12-10
JPWO2014080879A1 (ja) 2017-01-05
EP2925001A1 (en) 2015-09-30
EP2925001B1 (en) 2020-11-04
WO2014080879A1 (ja) 2014-05-30
KR102181994B1 (ko) 2020-11-24
CN105052158A (zh) 2015-11-11
US10123069B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6479473B2 (ja) 送信装置、送信方法、受信装置、受信方法および受信表示方法
EP2434767B1 (en) Transmission device, transmission method, reception device and reception method
US8767045B2 (en) Apparatus and method of transmitting stereoscopic image data and apparatus and method of receiving stereoscopic image data
US20250220148A1 (en) Reception device, display control method, transmission device, and transmission method for program content type
US10015467B2 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
JP2013545361A (ja) ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20140327740A1 (en) Transmission apparatus, transmisson method, receiver and receiving method
US20130215240A1 (en) Receiver apparatus and output method
WO2013069608A1 (ja) 送信装置、送信方法、受信装置および受信方法
EP2579604A1 (en) Receiving device and output method
US20140232823A1 (en) Transmission device, transmission method, reception device and reception method
JP2013106341A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R150 Certificate of patent or registration of utility model

Ref document number: 6479473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250