JP7367806B2 - Transmitting device, transmitting method, receiving device and receiving method - Google Patents
Transmitting device, transmitting method, receiving device and receiving method Download PDFInfo
- Publication number
- JP7367806B2 JP7367806B2 JP2022096088A JP2022096088A JP7367806B2 JP 7367806 B2 JP7367806 B2 JP 7367806B2 JP 2022096088 A JP2022096088 A JP 2022096088A JP 2022096088 A JP2022096088 A JP 2022096088A JP 7367806 B2 JP7367806 B2 JP 7367806B2
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- video data
- video stream
- area
- high dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信する送信装置等に関する。 The present technology relates to a transmitting device, a transmitting method, a receiving device, and a receiving method, and specifically relates to a transmitting device and the like that transmits transmission video data obtained by applying high dynamic range photoelectric conversion to high dynamic range video data.
従来、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られた伝送ビデオデータを送信することが考えられている。例えば、非特許文献1には、従来受信機による受信を考慮した、従来の光電変換特性(ガンマ特性)との互換領域を含むハイダイナミックレンジ光電変換特性(新ガンマ特性)についての記載がある。
Conventionally, it has been considered to transmit transmission video data obtained by applying high dynamic range photoelectric conversion to high dynamic range video data. For example, Non-Patent
例えば、上述の従来の光電変換特性との互換領域を含むハイダイナミックレンジ光電変換特性を用いて得られた伝送ビデオデータを送信する場合、従来受信機が光電変換特性は従来と同様と判断でき、かつハイダイナミックレンジ対応受信機が光電変換特性はハイダイナミックレンジ光電変換特性と判断できることが必要となる。 For example, when transmitting video data obtained using high dynamic range photoelectric conversion characteristics that include a compatible region with the conventional photoelectric conversion characteristics described above, a conventional receiver can determine that the photoelectric conversion characteristics are the same as conventional ones. In addition, it is necessary for the high dynamic range compatible receiver to be able to determine that the photoelectric conversion characteristics are high dynamic range photoelectric conversion characteristics.
本技術の目的は、ハイダイナミックレンジ光電変換がされて得られた伝送ビデオデータに対する電光変換の処理をハイダイナミックレンジ対応受信機で適切に行い得るようにすることにある。 An object of the present technology is to enable a high dynamic range compatible receiver to appropriately perform electro-optical conversion processing on transmission video data obtained by high dynamic range photo-electric conversion.
本技術の概念は、
ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換部と、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコード部と、
上記ビデオストリームを送信する送信部と、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入部を備える
送信装置にある。
The concept of this technology is
a photoelectric conversion unit that performs high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data;
an encoding unit that receives at least the high dynamic range transmission video data and outputs a video stream including encoded video data;
a transmitter that transmits the video stream;
A transmitter comprising an information insertion unit that inserts high dynamic range conversion characteristic meta information indicating the characteristics of the high dynamic range photoelectric conversion or the characteristics of high dynamic range electro-optical conversion corresponding to the characteristics into the SEI NAL unit area of the video stream. It is in.
本技術において、光電変換部により、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換が行われてハイダイナミックレンジ伝送ビデオデータが得られる。例えば、ハイダイナミックレンジ光電変換の特性には、STD-B67(ハイブリッドログガンマ)、ST2084(PQカーブ)などの種々の特性が含まれる。エンコード部により、ハイダイナミックレンジ伝送ビデオデータが少なくとも入力され、符号化ビデオデータを含むビデオストリームが出力される。送信部により、ビデオストリームが送信される。情報挿入部により、ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入される。 In the present technology, a photoelectric conversion unit performs high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data. For example, the characteristics of high dynamic range photoelectric conversion include various characteristics such as STD-B67 (hybrid log gamma) and ST2084 (PQ curve). The encoder receives at least high dynamic range transmission video data and outputs a video stream including encoded video data. A video stream is transmitted by the transmitter. The information insertion unit inserts high dynamic range conversion characteristic meta information indicating the characteristics of high dynamic range photoelectric conversion or the characteristics of high dynamic range electro-optical conversion corresponding to the characteristics into the area of the SEI NAL unit of the video stream.
このように本技術においては、ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ変換特性メタ情報を挿入するものである。そのため、ハイダイナミックレンジ対応受信機では、このハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ伝送ビデオデータに対する電光変換の処理を適切に行うことが可能となる。
In this way, in the present technology, high dynamic range conversion characteristic meta information is inserted into the SEI NAL unit area of the video stream. Therefore, in a high dynamic range compatible receiver, it becomes possible to appropriately perform electro-optic conversion processing on high dynamic range transmission video data based on this high dynamic range conversion characteristic meta information.
なお、本技術において、例えば、エンコード部は、ハイダイナミックレンジ伝送ビデオデータと共に、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って得られた通常ダイナミックレンジ伝送ビデオデータを入力し、通常ダイナミックレンジ伝送ビデオデータの符号化ビデオデータを含む基本ビデオストリームと、ハイダイナミックレンジ伝送ビデオデータと通常ダイナミックレンジ伝送ビデオデータとの間の差分の符号化ビデオデータを含む拡張ビデオストリームを出力し、情報挿入部は、拡張ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ変換特性メタ情報を挿入し、基本ビデオストリームのSPS NALユニットの領域に通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する、ようにされてもよい。 Note that in the present technology, for example, the encoding unit inputs normal dynamic range transmission video data obtained by performing normal dynamic range photoelectric conversion on normal dynamic range video data together with high dynamic range transmission video data, and inputs normal dynamic range transmission video data obtained by performing normal dynamic range photoelectric conversion on normal dynamic range video data, outputting a basic video stream containing encoded video data of the transmission video data and an extended video stream containing encoded video data of the difference between the high dynamic range transmission video data and the normal dynamic range transmission video data; inserts high dynamic range conversion characteristic meta information into the SEI NAL unit area of the extended video stream, and normal dynamic range conversion characteristic meta information indicating normal dynamic range photoelectric conversion characteristics into the SPS NAL unit area of the basic video stream. may be inserted.
この場合、ハイダイナミックレンジ対応受信機は、基本ビデオストリームと拡張ビデオストリームからハイダイナミックレンジ伝送ビデオデータを得、このハイダイナミックレンジ伝送ビデオデータに拡張ビデオストリームのSEI NALユニットの領域に挿入されているハイダイナミックレンジ変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータを得ることが可能となる。また、通常ダイナミックレンジ対応受信機は、基本ビデオストリームから通常ダイナミックレンジ伝送ビデオビデオデータを得、この通常ダイナミックレンジ伝送ビデオデータに基本ビデオストリームのSPS NALユニットの領域に挿入されている通常ダイナミックレンジ変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータを得ることが可能となる。 In this case, the high dynamic range capable receiver obtains high dynamic range transmission video data from the basic video stream and the extended video stream, and inserts the high dynamic range transmitted video data into the area of the SEI NAL unit of the extended video stream. It becomes possible to appropriately perform electro-optical conversion processing based on the high dynamic range conversion characteristic meta information and obtain video data for display. In addition, the normal dynamic range compatible receiver obtains normal dynamic range transmission video data from the basic video stream, and applies normal dynamic range conversion to this normal dynamic range transmission video data, which is inserted into the area of the SPS NAL unit of the basic video stream. It becomes possible to appropriately perform electro-optical conversion processing based on the characteristic meta information and obtain video data for display.
また、本技術において、例えば、情報挿入部は、SEI NALユニットの領域に、ハイダイナミックレンジ変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する、ようにされてもよい。この場合、例えば、表示制御のためのメタ情報は、ピーク輝度情報を含む、ようにされてもよい。また、例えば、表示制御のためのメタ情報は、輝度変換を許容する領域を示す領域情報をさらに含む、ようにされてもよい。この場合、ハイダイナミックレンジ対応受信機において、この表示制御のためのメタ情報を用いて表示輝度制御を適切に行い得るようになる。 Further, in the present technology, for example, the information insertion section may insert meta information for display control into the area of the SEI NAL unit together with high dynamic range conversion characteristic meta information. In this case, for example, the meta information for display control may include peak luminance information. Further, for example, the meta information for display control may further include area information indicating an area where brightness conversion is permitted. In this case, in the high dynamic range compatible receiver, display brightness control can be appropriately performed using this meta information for display control.
また、本技術の他の概念は、
ビデオストリームを受信する受信部と、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコード部を備え、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性を示すメタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換部をさらに備える
受信装置にある。
In addition, other concepts of this technology are:
a receiving unit that receives a video stream;
a decoding unit that performs decoding processing on the video stream to obtain high dynamic range transmission video data;
High dynamic range conversion characteristic meta information indicating the characteristics of high dynamic range photoelectric conversion or the characteristics of high dynamic range electric conversion corresponding to the characteristics is inserted in the SEI NAL unit area of the video stream,
The receiving device further includes an electro-optical converter that performs high dynamic range electro-optical conversion on the high dynamic range transmission video data based on meta information indicating the high dynamic range conversion characteristics to obtain display video data.
本技術において、受信部により、ビデオストリームが受信される。デコード部により、ビデオストリームにデコード処理が施されてハイダイナミックレンジ伝送ビデオデータが得られる。ビデオストリームのSEI NALユニットの領域に、ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されている。電光変換部により、ハイダイナミックレンジ伝送ビデオデータに、ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換が行われて表示用ビデオデータが得られる。 In the present technology, a video stream is received by a receiving unit. The decoding section performs decoding processing on the video stream to obtain high dynamic range transmission video data. High dynamic range conversion characteristic meta information indicating high dynamic range photoelectric conversion characteristics or high dynamic range electro-optical conversion characteristics corresponding to the characteristics is inserted in the SEI NAL unit area of the video stream. The electro-optical converter performs high dynamic range electro-optical conversion on the high dynamic range transmission video data based on the high dynamic range conversion characteristic meta information, thereby obtaining display video data.
例えば、受信部は、通常ダイナミックレンジ伝送ビデオデータの符号化ビデオデータを含む基本ビデオストリームと、ハイダイナミックレンジ伝送ビデオデータと上記通常ダイナミックレンジ伝送ビデオデータとの間の差分の符号化ビデオデータを含む拡張ビデオストリームを受信し、デコード部は、基本ビデオストリームにデコード処理を施して通常ダイナミックレンジ伝送ビデオデータを得、この通常ダイナミックレンジ伝送ビデオデータを用いて拡張ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得、ハイダイナミックレンジ変換特性メタ情報は、拡張ビデオストリームのSEI NALユニットの領域に挿入されている、ようにされてもよい。 For example, the receiving unit includes a basic video stream including encoded video data of the normal dynamic range transmission video data, and encoded video data of the difference between the high dynamic range transmission video data and the normal dynamic range transmission video data. The decoding unit receives the extended video stream, performs decoding processing on the basic video stream to obtain normal dynamic range transmission video data, and uses this normal dynamic range transmission video data to perform decoding processing on the extended video stream to obtain high dynamic range transmission video data. Range-transmitted video data may be obtained, and high dynamic range conversion characteristic meta information may be inserted into a region of an SEI NAL unit of an enhanced video stream.
このように本技術においては、ビデオストリームのSEI NALユニットの領域に挿入されているハイダイナミックレンジ変換特性メタ情報に基づいてハイダイナミックレンジ伝送ビデオデータに電光変換を行って表示用ビデオデータを得るものである。そのため、ハイダイナミックレンジ伝送ビデオデータに電光変換を適切に行うことができ、表示用ビデオデータとして良好なハイダイナミックレンジビデオデータを得ることが可能となる。 In this way, in this technology, video data for display is obtained by performing electrical conversion on high dynamic range transmission video data based on the high dynamic range conversion characteristic meta information inserted in the SEI NAL unit area of the video stream. It is. Therefore, it is possible to appropriately perform electro-optical conversion on high dynamic range transmission video data, and it is possible to obtain good high dynamic range video data as video data for display.
なお、本技術において、例えば、SEI NALユニットの領域に、ピーク輝度情報がさらに挿入されており、表示用ビデオデータにピーク輝度情報に基づいて表示輝度調整を行う輝度調整部をさらに備える、ようにされてもよい。このようにピーク輝度情報に基づいて表示輝度調整を行うことで、モニタの表示輝度能力に応じた表示輝度調整を適切に行うことが可能となる。 Note that in the present technology, for example, peak brightness information is further inserted into the area of the SEI NAL unit, and the display video data further includes a brightness adjustment unit that adjusts display brightness based on the peak brightness information. may be done. By adjusting the display brightness based on the peak brightness information in this way, it becomes possible to appropriately adjust the display brightness according to the display brightness capability of the monitor.
また、この場合、例えば、SEI NALユニットの領域に、輝度変換を許容する領域を示す領域情報がさらに挿入されており、輝度調整部は、輝度変換を許容する領域を示す領域情報に基づいて、輝度変換を許容する領域で表示輝度調整を行う、ようにされてもよい。このように輝度変換を許容する領域で表示輝度調整を行うことで、制作側が意図する輝度雰囲気を良好に再現することが可能となる。 Further, in this case, for example, area information indicating an area where brightness conversion is allowed is further inserted in the area of the SEI NAL unit, and the brightness adjustment section, based on the area information showing the area where brightness conversion is allowed, The display brightness may be adjusted in an area that allows brightness conversion. By adjusting the display brightness in an area that allows brightness conversion in this way, it is possible to satisfactorily reproduce the brightness atmosphere intended by the producer.
本技術によれば、ハイダイナミックレンジ光電変換がされて得られた伝送ビデオデータに対する電光変換の処理をハイダイナミックレンジ対応受信機で適切に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to the present technology, it is possible to appropriately perform electro-optical conversion processing on transmitted video data obtained by high dynamic range photo-electric conversion in a high dynamic range compatible receiver. Note that the effects described in this specification are merely examples and are not limiting, and additional effects may also be provided.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as "embodiments") will be described. The explanation will be given in the following order.
1. Embodiment 2. Variant
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200,300により構成されている。受信装置200は、従来の通常ダイナミックレンジ(SDR:Standard Dynamic Range)に対応し、ハイダイナミックレンジ(HDR:High Dynamic Range)に対応していない受信装置である。受信装置300は、HDR対応の受信装置である。
<1. Embodiment>
[Example of configuration of sending/receiving system]
FIG. 1 shows a configuration example of a transmitting/receiving
送信装置100は、コンテナストリーム(多重化ストリーム)としてのMPEG-2 トランスポートストリーム(以下、単に、「トランスポートストリームTS」と称する)を、放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、HEVC、AVC等のビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれる。
The transmitting
基本ビデオストリームには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータが含まれる。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれる。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。 The basic video stream includes encoded video data obtained by predictively encoding SDR transmission video data. The SDR transmission video data is obtained by performing SDR photoelectric conversion on the SDR video data. The extended video stream includes encoded video data obtained by performing predictive encoding on HDR transmission video data using SDR transmission video data. HDR transmission video data is obtained by performing HDR photoelectric conversion on HDR video data.
ビデオストリームに、この実施の形態では拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入される。そして、ビデオストリームに、この実施の形態では基本ビデオストリームのSPS NALユニットの領域にSDR光電変換の特性(BT-709:ガンマ特性)を示すSDR変換特性メタ情報が挿入される。 In this embodiment, in the video stream, in the SEI NAL unit area of the extended video stream, HDR conversion that indicates the characteristics of HDR photoelectric conversion (for example, STD-B67, ST2084, etc.) or the characteristics of HDR electro-optical conversion corresponding to the characteristics. Characteristic meta information is inserted. Then, in this embodiment, SDR conversion characteristic meta information indicating SDR photoelectric conversion characteristics (BT-709: gamma characteristics) is inserted into the video stream in the SPS NAL unit area of the basic video stream.
また、ビデオストリームに、この実施の形態では拡張ビデオストリームのSEI NALユニットの領域に、このHDR変換特性メタ情報と共に、表示制御のためのメタ情報が挿入される。この表示制御のためのメタ情報には、ピーク輝度情報や輝度変換を許容する領域を示す領域情報などが含まれる。 Further, in this embodiment, meta information for display control is inserted into the video stream, in the SEI NAL unit area of the extended video stream, together with this HDR conversion characteristic meta information. This meta information for display control includes peak brightness information, area information indicating an area where brightness conversion is allowed, and the like.
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したようにビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれている。そして、受信されたビデオストリーム、この実施の形態では、基本ビデオストリームのSPS NALユニットの領域に、SDR変換特性メタ情報が挿入されている。
The receiving
受信装置200は、トランスポートストリームTSから必要とするビデオストリーム、ここでは基本ビデオストリームを抽出し、デコード処理を施してSDR伝送ビデオデータを得、このSDR伝送ビデオデータにSDR変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータとしてのSDRビデオデータを得る。また、受信装置200は、ピーク輝度(100cd/m2)、モニタの表示最大輝度などに基づいて、表示用ビデオデータに、表示マッピング処理、つまり表示輝度調整をする。
The receiving
受信装置300は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、上述したようにビデオストリーム、この実施の形態では、基本ビデオストリームと拡張ビデオストリームの2つのビデオストリームが含まれている。そして、受信されたビデオストリーム、この実施の形態では、拡張ビデオストリームのSEI NALユニットの領域に、HDR変換特性メタ情報が挿入されている。
The receiving
受信装置300は、トランスポートストリームTSから必要とするビデオストリーム、ここでは基本ビデオストリームおよび拡張ビデオストリームの双方を抽出し、デコード処理を施してHDR伝送ビデオデータを得、このHDR伝送ビデオデータにHDR変換特性メタ情報に基づいて電光変換の処理を適切に施して表示用ビデオデータとしてのHDRビデオデータを得る。また、受信装置300は、HDR変換特性メタ情報と共に挿入されている表示制御のためのメタ情報、モニタの表示最大輝度などに基づいて、表示用ビデオデータに、表示マッピング処理、つまり表示輝度調整をする。
The receiving
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、SDRビデオデータV1と、HDRビデオデータV2を取り扱う。このHDRビデオデータV2は、従来のSDR画像の白ピークの明るさを100%とすると、0~100%*N、例えば0~1000%あるいはそれ以上の範囲の輝度をもつ。
"Example configuration of transmitting device"
FIG. 2 shows a configuration example of the transmitting
図3は、SDRビデオデータV1と、HDRビデオデータV2を生成するビデオデータ生成部150の構成例を示している。この画像データ生成部150は、HDRカメラ151と、ダイナミックレンジ変換部153を有している。HDRカメラ151は、被写体を撮像し、HDRビデオデータV2を出力する。ダイナミックレンジ変換部153は、HDRカメラ151から出力されるHDRビデオデータV2に対して、HDRからSDRに変換する処理を行ってSDRビデオデータV1を出力する。
FIG. 3 shows an example of the configuration of the video
図2に戻って、送信装置100は、制御部101と、SDR光電変換部102と、HDR光電変換部103と、ビデオエンコーダ104と、システムエンコーダ105と、送信部106を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
Returning to FIG. 2, the transmitting
SDR光電変換部102は、SDRビデオデータV1に対して、SDR光電変換特性(BT.709:ガンマ特性)を適用して、伝送用のSDRビデオデータ、つまりSDR伝送ビデオデータV1’を得る。HDR光電変換部103は、HDRビデオデータV2に対して、HDR光電変換特性(例えば、STD-B67、ST2084など)を適用して、伝送用のHDRビデオデータ、つまりHDR伝送ビデオデータV2’を得る。
The SDR
図4は、SDRおよびHDRの光電変換特性の一例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。破線aは、SDR光電変換特性(BT.709:ガンマ特性)を示している。実線bは、HDR光電変換特性としてのSTD-B67(HLG)の特性を示している。一点鎖線cは、HDR光電変換特性としてのST2084(PQカーブ)の特性を示している。 FIG. 4 shows an example of SDR and HDR photoelectric conversion characteristics. In this figure, the horizontal axis shows the input luminance level, and the vertical axis shows the transmission code value. A broken line a indicates SDR photoelectric conversion characteristics (BT.709: gamma characteristics). The solid line b indicates the characteristics of STD-B67 (HLG) as the HDR photoelectric conversion characteristics. A dashed-dotted line c indicates the characteristics of ST2084 (PQ curve) as the HDR photoelectric conversion characteristics.
STD-B67(HLG)の特性は、SDR光電変換特性(BT.709:ガンマ特性)との互換領域を含んでいる。すなわち、入力輝度レベルが両特性の互換限界値までは、両特性のカーブは一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルSPとなる。ST2084(PQカーブ)は、人間の眼に合わせた量子化ステップのカーブである。HDR光電変換特性において、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。 The characteristics of STD-B67 (HLG) include a compatible region with SDR photoelectric conversion characteristics (BT.709: gamma characteristics). That is, the curves of both characteristics match until the input luminance level reaches the compatible limit value of both characteristics. When the input luminance level is at the compatible limit value, the transmission code value is at the compatible level SP. ST2084 (PQ curve) is a quantization step curve adapted to the human eye. In the HDR photoelectric conversion characteristic, when the input luminance level is the peak luminance PL, the transmission code value becomes the peak level MP.
HDR表示基準閾値CLは、受信機側のモニタ(CEモニタ)で表示する輝度として一致させる領域と、CEモニタ依存とする領域との境界を示す。入力輝度レベルが互換限界値CLであるとき、伝送符号値は閾値レベルCPとなる。なお、SDR光電変換特性において、入力輝度レベルがSDR特性表現限界輝度SLであるとき、伝送符号値はピークレベルMPとなる。ここで、SLは100cd/m2である。 The HDR display reference threshold CL indicates the boundary between the area where the brightness displayed on the receiver side monitor (CE monitor) is matched and the area where the brightness is dependent on the CE monitor. When the input luminance level is the compatibility limit value CL, the transmission code value is the threshold level CP. Note that in the SDR photoelectric conversion characteristic, when the input luminance level is the SDR characteristic expression limit luminance SL, the transmission code value becomes the peak level MP. Here, SL is 100 cd/ m2 .
図2に戻って、ビデオエンコーダ104は、エンコード部104bと、エンコード部104eを有している。エンコード部104bは、SDR伝送ビデオデータV1’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化ビデオデータを得る。この場合、エンコード部104bは、SDR伝送ビデオデータV1’内の予測を行う。また、このエンコード部104bは、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム、つまり基本ビデオストリームSTbを生成する。
Returning to FIG. 2, the
この際、エンコード部104bは、基本ビデオストリームSTbのレイヤに、SDR光電変換の特性を示すSDR変換特性メタ情報を挿入する。すなわち、エンコード部104bは、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、SDR光電変換特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」を挿入する。
At this time, the
エンコード部104eは、HDR伝送ビデオデータV2’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化ビデオデータを得る。この場合、エンコード部104eは、予測残差を小さくするために、符号化ブロック毎に、HDR伝送ビデオデータV2’内の予測、またはSDR伝送ビデオデータV1’との間の予測を、選択的に行う。また、このエンコード部104eは、後段に備えるストリームフォーマッタ(図示せず)により、この符号化ビデオデータを含むビデオストリーム、つまり拡張ビデオストリームSTeを生成する。
The
この際、エンコード部104eは、拡張ビデオストリームSTeのレイヤに、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報および表示制御のためのメタ情報を挿入する。すなわち、エンコード部104eは、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、HDR変換特性メタ情報「transfer_characteristics 2」および表示制御のためのメタ情報を持つ、新規定義するダイナミックレンジ・SEIメッセージ(Dynamic Range SEI message)を挿入する。
At this time, the
図5は、ダイナミックレンジ・SEIメッセージの構造例(Syntax)を示している。図6は、その構造例における主要な情報の内容(Semantics)を示している。「transfer_characteristics 2」の8ビットフィールドは、HDR光電変換の特性、または該特性に対応したHDR電光変換特性を示す。HDR対応の受信装置300は、メタ情報「transfer_characteristics 2」が存在する場合には、VUIの領域に挿入されているメタ情報「Transfer characteristics 1」よりも優先させて表示の際に参照する。
FIG. 5 shows an example structure (syntax) of a dynamic range SEI message. FIG. 6 shows the contents (semantics) of main information in the example structure. The 8-bit field "transfer_characteristics 2" indicates the HDR photoelectric conversion characteristics or the HDR photoelectric conversion characteristics corresponding to the characteristics. If the meta information "transfer_characteristics 2" exists, the HDR compatible receiving
「number_of_bits」の8ビットフィールドは、符号化画素ビット数を示す。「minimum_brightness_value」の16ビットフィールドは、最小レベルの輝度(cd/m2)を示す。「peak_level」の16ビットフィールドは、最大レベルの相対値(%)を示す。「peak_level_brightness」の16ビットフィールドは、最大レベルの輝度(cd/m2)を示し、図4におけるピーク輝度PLに対応する。「peak_level」あるいは「peak_level_brightness」によって、画像のヒストグラムを取るなどしてから表示能力に適した表示画像を作りこむ際の画像処理方法の選択を行うことができる。 The 8-bit field "number_of_bits" indicates the number of encoded pixel bits. The 16-bit field "minimum_brightness_value" indicates the minimum level of brightness (cd/m 2 ). The 16-bit field "peak_level" indicates the relative value (%) of the maximum level. The 16-bit field of “peak_level_brightness” indicates the maximum level of brightness (cd/m 2 ) and corresponds to the peak brightness PL in FIG. 4. With "peak_level" or "peak_level_brightness", it is possible to select an image processing method when creating a display image suitable for the display capacity after taking a histogram of the image.
「compliant_threshold_level」の16ビットフィールドは、表示レベルマッピングの際の閾値(%)を示す。「compliant_threshold_level_value」の16ビットフィールドは、表示レベルマッピングの際の閾値となる輝度(cd/m2)を示し、図4におけるHDR表示基準閾値CLに対応する。 The 16-bit field "compliant_threshold_level" indicates the threshold (%) for display level mapping. The 16-bit field of "compliant_threshold_level_value" indicates the luminance (cd/m 2 ) that is a threshold for display level mapping, and corresponds to the HDR display reference threshold CL in FIG. 4 .
図2に戻って、システムエンコーダ105は、ビデオエンコーダ104で生成された基本ビデオストリームSTbと拡張ビデオストリームSteを含むトランスポートストリームTSを生成する。送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200,300に送信する。
Returning to FIG. 2, the
図2に示す送信装置100の動作を簡単に説明する。SDRビデオデータV1は、SDR光電変換部102に供給される。このSDR光電変換部102では、SDRビデオデータV1に対して、SDR光電変換特性(BT.709:ガンマ特性)が適用されて、伝送用のSDRビデオデータであるSDR伝送ビデオデータV1’が得られる。
The operation of transmitting
また、HDRビデオデータV2は、HDR光電変換部103に供給される。このHDR光電変換部103では、HDRビデオデータV2に対して、HDR光電変換特性(例えば、STD-B67、ST2084など)が適用されて、伝送用のHDRビデオデータであるHDR伝送ビデオデータV2’が得られる。
Further, the HDR video data V2 is supplied to the HDR
SDR光電変換部102で得られたSDR伝送ビデオデータV1’は、エンコーダ104のエンコード部104bとエンコード部104eに供給される。このエンコード部104bでは、SDR伝送ビデオデータV1’に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームである基本ビデオストリームSTbが生成される。
The SDR transmission video data V1' obtained by the SDR
この際、エンコード部104bでは、基本ビデオストリームSTbのレイヤに、SDR光電変換の特性を示すSDR変換特性メタ情報を挿入する。この場合、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、SDR光電変換特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」が挿入される。
At this time, the
HDR光電変換部103で得られたHDR伝送ビデオデータV2’は、エンコーダ104のエンコード部104eに供給される。このエンコード部104eでは、HDR伝送ビデオデータV2’に対して、SDR伝送ビデオデータV1’が用いられて、H.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームである拡張ビデオストリームSTeが生成される。
HDR transmission video data V2' obtained by the HDR
この際、エンコード部104eでは、拡張ビデオストリームSTeのレイヤに、HDR光電変換の特性(例えば、STD-B67、ST2084など)または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報および表示制御のためのメタ情報が挿入される。この場合、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、HDR変換特性メタ情報「transfer_characteristics 2」および表示制御のためのメタ情報を持つダイナミックレンジ・SEIメッセージが挿入される。
At this time, the
ビデオエンコーダ104のエンコード部104bで生成された基本ビデオストリームSTbは、システムエンコーダ105に供給される。また、ビデオエンコーダ104のエンコード部104eで生成された拡張ビデオストリームSTeは、システムエンコーダ105に供給される。
The basic video stream STb generated by the
システムエンコーダ105では、基本ビデオストリームSTbと拡張ビデオストリームSteのそれぞれがPESパケット化され、さらにトランスポートパケット化されて多重化され、コンテナストリーム(多重化ストリーム)としてのトランスポートストリームTSが得られる。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200,300に送信される。
In the
[トランスポートストリームTSの構成]
図7は、トランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
[Transport stream TS configuration]
FIG. 7 shows an example of the structure of the transport stream TS. This transport stream TS includes two video streams: a basic video stream STb and an extended video stream STe. In this configuration example, there is a PES packet "video PES" for each video stream.
基本ビデオストリームSTbのパケット識別子(PID)は例えばPID1とされている。この基本ビデオストリームSTbには、SDR伝送ビデオデータV1’に予測符号化を行って得られた符号化ビデオデータが含まれている。この基本ビデオストリームSTbの各アクセスユニットには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。 The packet identifier (PID) of the basic video stream STb is, for example, PID1. This basic video stream STb includes encoded video data obtained by performing predictive encoding on the SDR transmission video data V1'. Each access unit of this basic video stream STb includes NAL units such as AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI, and EOS.
各NALユニットのヘッダにおける「nuh_layer_id」は、例えば、“0”とされ、基本ビデオストリームSTbに係る符号化ビデオデータであることが示されている。また、SPSのNALユニットのVUIの領域に、SDR光電変換の特性(BT.709:ガンマ特性)を示すSDR変換特性メタ情報「Transfer characteristics 1」が挿入されている。
“nuh_layer_id” in the header of each NAL unit is, for example, “0”, indicating that it is encoded video data related to the basic video stream STb. Furthermore, SDR conversion characteristics meta information “
また、拡張ビデオストリームSTeのパケット識別子(PID)は例えばPID2とされている。この拡張ビデオストリームSTeには、HDR伝送ビデオデータV2’にSDR伝送ビデオデータV1’を用いた予測符号化を行って得られた符号化ビデオデータが含まれている。この拡張ビデオストリームSTeの各アクセスユニットには、AUD、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。 Furthermore, the packet identifier (PID) of the extended video stream STe is, for example, PID2. This extended video stream STe includes encoded video data obtained by performing predictive encoding on HDR transmission video data V2' using SDR transmission video data V1'. Each access unit of this extended video stream STe includes NAL units such as AUD, PPS, PSEI, SLICE, SSEI, and EOS.
各NALユニットのヘッダにおける「nuh_layer_id」は、例えば、“1”とされ、拡張ビデオストリームSTeに係る符号化ビデオデータであることが示されている。アクセスユニットに、HDR変換特性メタ情報「Transfer characteristics 2」および表示制御のためのメタ情報が記述されたダイナミックレンジ・SEIメッセージが挿入されている。 “nuh_layer_id” in the header of each NAL unit is, for example, “1”, indicating that it is encoded video data related to the extended video stream STe. A dynamic range/SEI message in which HDR conversion characteristics meta information "Transfer characteristics 2" and meta information for display control are described is inserted into the access unit.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 The transport stream TS also includes a PMT (Program Map Table) as PSI (Program Specific Information). PSI is information that describes which program each elementary stream included in a transport stream belongs to.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームに対応して2つのビデオエレメンタリストリームループ(video ES loop)が存在する。 A PMT has a program loop that describes information related to the entire program. Furthermore, in the PMT, there is an elementary stream loop that has information related to each elementary stream. In this configuration example, there are two video elementary stream loops (video ES loop) corresponding to two video streams, the basic video stream STb and the extended video stream STe.
基本ビデオストリームSTbに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置されている。また、拡張ビデオストリームSTeに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST1)、パケット識別子(PID2)等の情報が配置されている。 Information such as a stream type (ST0) and a packet identifier (PID1) is arranged in the video elementary stream loop corresponding to the basic video stream STb. Furthermore, information such as a stream type (ST1) and a packet identifier (PID2) is arranged in the video elementary stream loop corresponding to the extended video stream STe.
「SDR対応受信装置の構成例」
図8は、受信装置200の構成例を示している。この受信装置200は、上述したようにSDR対応の受信装置である。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、SDR電光変換部205と、SDR表示マッピング部206と、CEモニタ207を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。
"Example of configuration of SDR compatible receiving device"
FIG. 8 shows a configuration example of the receiving
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。
The receiving
基本ビデオストリームSTbには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含まれている。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームSTeには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれている。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。 The basic video stream STb includes encoded video data obtained by predictively encoding SDR transmission video data. The SDR transmission video data is obtained by performing SDR photoelectric conversion on the SDR video data. The extended video stream STe includes encoded video data obtained by performing predictive encoding using SDR transmission video data on HDR transmission video data. HDR transmission video data is obtained by performing HDR photoelectric conversion on HDR video data.
基本ビデオストリームのSPS NALユニットの領域に、SDR光電変換の特性を示すSDR変換特性メタ情報が挿入されている。また、拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入されている。 SDR conversion characteristic meta information indicating the characteristics of SDR photoelectric conversion is inserted in the area of the SPS NAL unit of the basic video stream. Further, HDR conversion characteristic meta information indicating the characteristics of HDR photoelectric conversion or the characteristics of HDR electro-optical conversion corresponding to the characteristics is inserted in the area of the SEI NAL unit of the extended video stream.
システムデコーダ203は、トランスポートストリームTSから、基本ビデオストリームSTbを抽出する。ビデオデコーダ204は、デコード部204bを有している。このデコード部204bは、システムデコーダ203で抽出された基本ビデオストリームSTbに対してデコード処理を行ってSDR伝送ビデオデータV1’を得る。この場合、デコード部204bは、図2のビデオエンコーダ104のエンコード部104bとは逆の処理を行う。
また、デコード部204bは、基本ビデオストリームSTbの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。制御部201は、SPSのビデオ・ユーザビリティ情報(VUI)における、SDR変換特性メタ情報「Transfer characteristics 1」に基づいて、SDR光電変換特性(BT.709:ガンマ特性)を認識し、SDR電光変換部205に、SDR光電変換特性とは逆特性のSDR電光変換特性を設定する。
Furthermore, the
SDR電光変換部205は、ビデオデコーダ204から出力される伝送ビデオデータV1’に、SDR電光変換特性を適用して、SDRビデオデータV1を得る。SDR表示マッピング部206は、SDR電光変換部205で得られたSDRビデオデータV1に対して表示輝度調整を行う。すなわち、SDR表示マッピング部206は、CEモニタ207の最大輝度表示能力がSDR特性表現限界輝度SL(図4参照)よりも高い場合、表示最大輝度レベルがそのCEモニタ207の最大輝度表示能力となるように表示マッピング処理、つまり輝度変換処理を行う。
The SDR electro-
図8に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、基本ビデオストリームSTbが抽出される。
The operation of the receiving
システムデコーダ203で抽出された基本ビデオストリームSTbは、ビデオデコーダ204のデコード部204bに供給される。デコード部204bでは、基本ビデオストリームSTbに対してデコード処理が行われてSDR伝送ビデオデータV1’が得られる。また、このデコード部204bでは、基本ビデオストリームSTbに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。
Basic video stream STb extracted by
制御部201では、SPSのビデオ・ユーザビリティ情報(VUI)における、SDR変換特性メタ情報「Transfer characteristics 1」に基づいて、SDR光電変換特性(BT.709:ガンマ特性)が認識される。そして、SDR電光変換部205には、制御部201の制御により、SDR光電変換特性とは逆特性のSDR電光変換特性が設定される。
The
ビデオデコーダ204(デコード部204b)で得られたSDR伝送ビデオデータV1’はSDR電光変換部205に供給される。SDR電光変換部205では、SDR伝送ビデオデータV1’に、SDR電光変換特性が適用されて、表示用ビデオデータとしてのSDRビデオデータV1が得られる。
SDR transmission video data V1' obtained by the video decoder 204 (decoding
SDR電光変換部205で得られたSDRビデオデータV1は、SDR表示マッピング部206に供給される。SDR表示マッピング部206では、SDRビデオデータV1に対して表示輝度調整が行われる。すなわち、SDR表示マッピング部206では、CEモニタ207の最大輝度表示能力がSLよりも高い場合、表示最大輝度レベルがそのCEモニタ207の最大輝度表示能力となるように表示マッピング処理、つまり輝度変換処理が行われる。
The SDR video data V1 obtained by the SDR electro-
SDR表示マッピング部206の出力ビデオデータは、CEモニタ207に供給される。このCEモニタ207に、表示輝度調整されたSDRビデオデータによるSDR画像の表示が行われる。
The output video data of the SDR
「HDR対応の受信装置の構成例」
図9は、受信装置300の構成例を示している。この受信装置300は、上述したようにHDR対応の受信装置である。この受信装置300は、制御部301と、受信部302と、システムデコーダ303と、ビデオデコーダ304と、HDR電光変換部305と、HDR表示マッピング部306と、CEモニタ307を有している。制御部301は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置300の各部の動作を制御する。
“Example of configuration of HDR compatible receiving device”
FIG. 9 shows a configuration example of the receiving
受信部302は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2つのビデオストリームが含まれている。
The receiving
基本ビデオストリームSTbには、SDR伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含まれている。SDR伝送ビデオデータは、SDRビデオデータにSDR光電変換を行って得られたものである。拡張ビデオストリームSTeには、HDR伝送ビデオデータにSDR伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータが含まれている。HDR伝送ビデオデータは、HDRビデオデータにHDR光電変換を行って得られたものである。 The basic video stream STb includes encoded video data obtained by predictively encoding SDR transmission video data. The SDR transmission video data is obtained by performing SDR photoelectric conversion on the SDR video data. The extended video stream STe includes encoded video data obtained by performing predictive encoding using SDR transmission video data on HDR transmission video data. HDR transmission video data is obtained by performing HDR photoelectric conversion on HDR video data.
基本ビデオストリームのSPS NALユニットの領域に、SDR光電変換の特性を示すSDR変換特性メタ情報が挿入されている。また、拡張ビデオストリームのSEI NALユニットの領域に、HDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報が挿入されている。 SDR conversion characteristic meta information indicating the characteristics of SDR photoelectric conversion is inserted in the area of the SPS NAL unit of the basic video stream. Further, HDR conversion characteristic meta information indicating the characteristics of HDR photoelectric conversion or the characteristics of HDR electro-optical conversion corresponding to the characteristics is inserted in the area of the SEI NAL unit of the extended video stream.
システムデコーダ303は、このトランスポートストリームTSから基本ビデオストリームSTbおよび拡張ビデオストリームSTeを抽出する。ビデオデコーダ304は、デコード部304b,304eを有している。デコード部304bは、システムデコーダ303で抽出された基本ビデオストリームSTbに対してデコード処理を行ってSDR伝送ビデオデータV1’を得る。この場合、デコード部304bは、図2のビデオエンコーダ104のエンコード部104bとは逆の処理を行う。また、デコード部304bは、基本ビデオストリームSTbの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部301に送る。
デコード部304eは、システムデコーダ303で抽出された拡張ビデオストリームSTeに対してSDR伝送ビデオデータV1’を用いたデコード処理を行ってHDR伝送ビデオデータV2’を得る。この場合、デコード部304eは、図2のビデオエンコーダ104のエンコード部104eとは逆の処理を行う。また、デコード部304eは、拡張ビデオストリームSTeの各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部301に送る。
The
制御部301は、ダイナミックレンジ・SEIメッセージにおけるHDR変換特性メタ情報「Transfer characteristics 2」に基づいて、HDR光電変換特性(例えば、STD-B67、ST2084など)を認識し、HDR電光変換部305に、HDR光電変換特性とは逆特性のHDR電光変換特性を設定する。HDR電光変換部305は、ビデオデコーダ304(デコード部304e)から出力されるHDR伝送ビデオデータV2’に、HDR電光変換特性を適用して、表示用ビデオデータとしてのHDRビデオデータV2を得る。
The
HDR表示マッピング部306は、制御部301の制御のもと、ダイナミックレンジ・SEIメッセージにおける表示制御のためのメタ情報に基づいて、HDR電光変換部305で得られたHDRビデオデータV2に対して、表示輝度調整を行う。この表示輝度調整について説明する。
Under the control of the
図10は、表示輝度調整の一例を示している。この図において、横軸は、図4の縦軸に対応した、伝送符号値を示す。縦軸は、図4の横軸に対応した、出力輝度レベル(表示輝度レベル)を示す。この図において、実線aは、HDR電光変換特性を示すEOTFカーブである。伝送符号値がピークレベルMPであるとき、出力輝度レベルはPLとなる。また、伝送符号値が閾値レベルCPであるとき、出力輝度レベルはCLとなる。 FIG. 10 shows an example of display brightness adjustment. In this figure, the horizontal axis indicates the transmission code value corresponding to the vertical axis in FIG. The vertical axis indicates the output brightness level (display brightness level) corresponding to the horizontal axis in FIG. In this figure, a solid line a is an EOTF curve showing HDR electro-optical conversion characteristics. When the transmission code value is at the peak level MP, the output luminance level is PL. Further, when the transmission code value is the threshold level CP, the output luminance level is CL.
ここで、CEモニタ307の最大輝度表示能力が、送信側におけるマスターモニタの想定する最大輝度PLよりも上の場合、伝送符号値が閾値レベルCPよりも大きい値に対応した出力輝度レベルは、表示マッピング部306における処理によって、CEモニタ307の表示最大輝度レベルDP1までの範囲に、割り当てられる(高輝度化処理)。この図において、二点鎖線bは、その場合における、輝度変換処理の一例を示している。
Here, if the maximum brightness display capability of the CE monitor 307 is higher than the maximum brightness PL assumed by the master monitor on the transmitting side, the output brightness level corresponding to the transmission code value larger than the threshold level CP is displayed. Through processing in the
一方、CEモニタ307の最大輝度表示能力が、送信側におけるマスターモニタの想定する最大輝度PLよりも下の場合、伝送符号値が閾値レベルCPよりも大きい値に対応した出力輝度レベルは、表示マッピング部306における処理によって、CEモニタ307の表示最大輝度レベルDP2までの範囲に、割り当てられる(低輝度化処理)。この図において、一点鎖線cは、その場合における、輝度変換処理の一例を示している。
On the other hand, if the maximum brightness display capability of the CE monitor 307 is lower than the maximum brightness PL assumed by the master monitor on the transmitting side, the output brightness level corresponding to the transmission code value larger than the threshold level CP is Through the processing in the
図9に示す受信装置300の動作を簡単に説明する。受信部302では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ303に供給される。システムデコーダ303では、このトランスポートストリームTSから基本ビデオストリームSTbおよび拡張ビデオストリームSTeが抽出される。
The operation of the receiving
システムデコーダ303で抽出された基本ビデオストリームSTbは、ビデオデコーダ304のデコード部304bに供給される。デコード部304bでは、基本ビデオストリームSTbに対してデコード処理が行われてSDR伝送ビデオデータV1’が得られる。また、デコード部304bでは、基本ビデオストリームSTbに挿入されているパラメータセットやSEIメッセージが抽出され、制御部301に送られる。
The basic video stream STb extracted by the
また、システムデコーダ303で抽出された拡張ビデオストリームSTeは、ビデオデコーダ304のデコード部304eに供給される。デコード部304eでは、拡張ビデオストリームSTeに対してSDR伝送ビデオデータV1’を用いたデコード処理が行われてHDR伝送ビデオデータV2’が得られる。また、デコード部304edeは、拡張ビデオストリームSTeの各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部301に送られる。
Further, the extended video stream STe extracted by the
制御部301では、ダイナミックレンジ・SEIメッセージにおけるHDR変換特性メタ情報「Transfer characteristics 2」に基づいて、HDR光電変換特性(例えば、STD-B67、ST2084など)が認識される。そして、HDR電光変換部305には、HDR光電変換特性とは逆特性のHDR電光変換特性が設定される。
The
ビデオデコーダ304(デコード部304e)で得られたHDR伝送ビデオデータV2’はHDR電光変換部305に供給される。HDR電光変換部305では、HDR伝送ビデオデータV2’に、HDR電光変換特性が適用されて、表示用ビデオデータとしてのHDRビデオデータV2が得られる。
HDR transmission video data V2' obtained by the video decoder 304 (
HDR電光変換部305で得られたHDRビデオデータV2は、HDR表示マッピング部306に供給される。HDR表示マッピング部306では、ダイナミックレンジ・SEIメッセージにおける表示制御のためのメタ情報に基づいて、HDRビデオデータV2に対して、表示輝度調整が行われる(図10参照)。
HDR video data V2 obtained by the HDR electro-
HDR表示マッピング部306の出力ビデオデータは、CEモニタ307に供給される。このCEモニタ307に、表示輝度調整されたHDRビデオデータによるHDR画像の表示が行われる。
The output video data of the HDR
上述したように、図1に示す送受信システム10においては、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR変換特性メタ情報が挿入されて送信される。そのため、HDR対応受信機では、このHDR変換特性メタ情報に基づいて、基本ビデオストリームSTbおよび拡張ビデオストリームSTeを処理して得られたHDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。
As described above, in the transmission/
また、図1に示す送受信システム10においては、基本ビデオストリームSTbのSPS NALユニットの領域にSDR変換特性メタ情報が挿入されて送信される。そのため、SDR対応受信機では、このSDR変換特性メタ情報に基づいて、基本ビデオストリームSTbを処理して得られたSDR伝送ビデオデータV1’に対する電光変換の処理を適切に行うことが可能となる。
Furthermore, in the transmission/
また、図1に示す送受信システム10において、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR変換特性メタ情報と共に、表示制御のためのメタ情報が挿入されて送信される。そのため、HDR対応受信機では、この表示制御のためのメタ情報を用いて表示輝度制御を適切に行うことができる。この場合、表示制御のためのメタ情報には輝度変換を許容する領域を示す領域情報が含まれ、輝度変換を許容する領域でのみ、例えばCEモニタの表示輝度能力に応じた輝度変換が行われるため、制作側が意図する輝度雰囲気を良好に再現することが可能となる。
Further, in the transmission/
<2.変形例>
なお、上述実施の形態においては、拡張ビデオストリームSTeのSEI NALユニットの領域にHDR光電変換の特性を示すメタ情報を挿入する例を示した。しかし、このHDR光電変換の特性を示すメタ情報を、基本ビデオストリームSTbのSEI NALユニットの領域に挿入することも考えられる。この場合にあっても、HDR対応受信機では、このHDR光電変換の特性を示すメタ情報に基づいて、HDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。
<2. Modified example>
Note that in the above-described embodiment, an example was shown in which meta information indicating the characteristics of HDR photoelectric conversion is inserted into the SEI NAL unit area of the extended video stream STe. However, it is also conceivable to insert meta information indicating the characteristics of this HDR photoelectric conversion into the area of the SEI NAL unit of the basic video stream STb. Even in this case, the HDR compatible receiver can appropriately perform electro-optical conversion processing on the HDR transmission video data V2' based on the meta information indicating the characteristics of the HDR photo-electric conversion.
本技術は、例えば、HDRビデオデータにハイブリッドログガンマ(例えば、STD-B67)のHDR光電変換特性が施されて得られたHDR伝送ビデオデータV2’に係る1つのビデオストリームをSDR下位互換のためのビデオストリームとして伝送する場合にも適用し得るものである。この場合にあっても、このビデオストリームのSEI NALユニットの領域にHDR光電変換の特性を示すメタ情報を挿入することで、HDR対応受信機では、このHDR光電変換の特性を示すメタ情報に基づいて、HDR伝送ビデオデータV2’に対する電光変換の処理を適切に行うことが可能となる。 For example, the present technology uses one video stream related to HDR transmission video data V2' obtained by applying hybrid log gamma (for example, STD-B67) HDR photoelectric conversion characteristics to HDR video data for SDR backward compatibility. This can also be applied when transmitting as a video stream. Even in this case, by inserting meta information indicating the characteristics of HDR photoelectric conversion into the area of the SEI NAL unit of this video stream, the HDR compatible receiver can perform Therefore, it becomes possible to appropriately perform electro-optical conversion processing on the HDR transmission video data V2'.
また、上述実施の形態において、受信装置200,300では、電光変換部205,305で電光変換処理を行うと共に、表示マッピング部206,306でCEモニタ207,307の最大輝度表示能力に応じた表示輝度調整を行う例を示した。しかし、電光変換特性(EOTF)に輝度変換特性を反映させておくことで、電光変換部205,305のみで電光変換処理と表示輝度調整とを同時に行わせることが可能である。
In the above-described embodiments, in the receiving
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFF(ISO base media file format)やMMT(MPEG Media Transport)などの場合でも、ビデオのレイヤは同一の方法で実現できる。 Further, in the above-described embodiment, an example is shown in which the container is a transport stream (MPEG-2 TS). However, in this technology, the transport is not limited to TS, and even in the case of other packets, such as ISOBMFF (ISO base media file format) and MMT (MPEG Media Transport), the video layer is handled in the same way. This can be achieved with
また、本技術は、以下のような構成を取ることもできる。
(1)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換部と、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコード部と、
上記ビデオストリームを送信する送信部と、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入部を備える
送信装置。
(2)上記エンコード部は、
上記ハイダイナミックレンジ伝送ビデオデータと共に、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って得られた通常ダイナミックレンジ伝送ビデオデータを入力し、
上記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含む基本ビデオストリームと、上記ハイダイナミックレンジ伝送ビデオデータに上記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータを含む拡張ビデオストリームを出力し、
上記情報挿入部は、
上記拡張ビデオストリームの上記SEI NALユニットの領域に上記ハイダイナミックレンジ変換特性メタ情報を挿入し、上記基本ビデオストリームのSPS NALユニットの領域に上記通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する
前記(1)に記載の送信装置。
(3)上記情報挿入部は、
上記SEI NALユニットの領域に、上記ハイダイナミックレンジ変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する
前記(1)または(2)に記載の送信装置。
(4)上記表示制御のためのメタ情報は、ピーク輝度情報を含む
前記(3)に記載の送信装置。
(5)上記表示制御のためのメタ情報は、輝度変換を許容する領域を示す領域情報をさらに含む
前記(4)に記載の送信装置。
(6)ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を行ってハイダイナミックレンジ伝送ビデオデータを得る光電変換ステップと、
上記ハイダイナミックレンジ伝送ビデオデータを少なくとも入力し、符号化ビデオデータを含むビデオストリームを出力するエンコードステップと、
送信部により、上記ビデオストリームを送信する送信ステップと、
上記ビデオストリームのSEI NALユニットの領域に上記ハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報を挿入する情報挿入ステップを有する
送信方法。
(7)ビデオストリームを受信する受信部と、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコード部を備え、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換部をさらに備える
受信装置。
(8)上記受信部は、
通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた符号化ビデオデータを含む基本ビデオストリームと、上記ハイダイナミックレンジ伝送ビデオデータに上記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた符号化ビデオデータを含む拡張ビデオストリームを受信し、
上記デコード部は、
上記基本ビデオストリームにデコード処理を施して上記通常ダイナミックレンジ伝送ビデオデータを得、該通常ダイナミックレンジ伝送ビデオデータを用いて上記拡張ビデオストリームにデコード処理を施して上記ハイダイナミックレンジ伝送ビデオデータを得、
上記ハイダイナミックレンジ変換特性メタ情報は、上記拡張ビデオストリームのSEI NALユニットの領域に挿入されている
前記(7)に記載の受信装置。
(9)上記SEI NALユニットの領域に、ピーク輝度情報がさらに挿入されており、
上記表示用ビデオデータに上記ピーク輝度情報に基づいて表示輝度調整を行う輝度調整部をさらに備える
前記(7)または(8)に記載の受信装置。
(10)上記SEI NALユニットの領域に、輝度変換を許容する領域を示す領域情報がさらに挿入されており、
上記輝度調整部は、
上記輝度変換を許容する領域を示す領域情報に基づいて、輝度変換を許容する領域で上記表示輝度調整を行う
前記(9)に記載の受信装置。
(11)受信部により、ビデオストリームを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してハイダイナミックレンジ伝送ビデオデータを得るデコードステップを有し、
上記ビデオストリームのSEI NALユニットの領域にハイダイナミックレンジ光電変換の特性または該特性に対応したハイダイナミックレンジ電光変換の特性を示すハイダイナミックレンジ変換特性メタ情報が挿入されており、
上記ハイダイナミックレンジ伝送ビデオデータに、上記ハイダイナミックレンジ変換特性メタ情報に基づいて、ハイダイナミックレンジ電光変換を行って表示用ビデオデータを得る電光変換ステップをさらに有する
受信方法。
Further, the present technology can also take the following configuration.
(1) a photoelectric conversion unit that performs high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data;
an encoding unit that receives at least the high dynamic range transmission video data and outputs a video stream including encoded video data;
a transmitter that transmits the video stream;
A transmitter comprising an information insertion unit that inserts high dynamic range conversion characteristic meta information indicating the characteristics of the high dynamic range photoelectric conversion or the characteristics of high dynamic range electro-optical conversion corresponding to the characteristics into the SEI NAL unit area of the video stream. .
(2) The above encoding part is
Inputting normal dynamic range transmission video data obtained by performing normal dynamic range photoelectric conversion on the normal dynamic range video data together with the high dynamic range transmission video data,
A basic video stream containing encoded video data obtained by predictively encoding the normal dynamic range transmission video data, and a basic video stream containing encoded video data obtained by predictively encoding the normal dynamic range transmission video data, and predictively encoding the high dynamic range transmission video data using the normal dynamic range transmission video data. output an extended video stream containing the encoded video data obtained by
The above information insertion section is
The high dynamic range conversion characteristic meta information is inserted into the SEI NAL unit area of the extended video stream, and the normal dynamic range conversion characteristic indicating the normal dynamic range photoelectric conversion characteristic is inserted into the SPS NAL unit area of the basic video stream. The transmitting device according to (1) above, which inserts meta information.
(3) The above information insertion section is
The transmitting device according to (1) or (2), wherein meta information for display control is inserted into the area of the SEI NAL unit together with the high dynamic range conversion characteristic meta information.
(4) The transmitting device according to (3), wherein the meta information for display control includes peak luminance information.
(5) The transmitting device according to (4), wherein the meta information for display control further includes area information indicating an area where brightness conversion is allowed.
(6) a photoelectric conversion step of performing high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data;
an encoding step of inputting at least the high dynamic range transmission video data and outputting a video stream including encoded video data;
a transmitting step of transmitting the video stream by a transmitter;
A transmission method comprising an information insertion step of inserting high dynamic range conversion characteristic meta information indicating the characteristics of the high dynamic range photoelectric conversion or the characteristics of high dynamic range electro-optical conversion corresponding to the characteristics into the SEI NAL unit area of the video stream. .
(7) a receiving unit that receives a video stream;
a decoding unit that performs decoding processing on the video stream to obtain high dynamic range transmission video data;
High dynamic range conversion characteristic meta information indicating the characteristics of high dynamic range photoelectric conversion or the characteristics of high dynamic range electric conversion corresponding to the characteristics is inserted in the SEI NAL unit area of the video stream,
The receiving device further includes an electro-optical converter that performs high dynamic range electro-optical conversion on the high dynamic range transmission video data based on the high dynamic range conversion characteristic meta information to obtain display video data.
(8) The above receiving section is
A basic video stream containing coded video data obtained by predictively coding the normal dynamic range transmission video data, and a basic video stream containing encoded video data obtained by predictively coding the normal dynamic range transmission video data, and predictively coding the high dynamic range transmission video data using the normal dynamic range transmission video data. receiving an enhanced video stream containing encoded video data obtained by
The above decoding section is
decoding the basic video stream to obtain the normal dynamic range transmission video data; using the normal dynamic range transmission video data, decoding the extended video stream to obtain the high dynamic range transmission video data;
The receiving device according to (7), wherein the high dynamic range conversion characteristic meta information is inserted into an SEI NAL unit area of the extended video stream.
(9) Peak luminance information is further inserted in the area of the SEI NAL unit,
The receiving device according to (7) or (8), further comprising a brightness adjustment section that adjusts display brightness of the display video data based on the peak brightness information.
(10) In the area of the SEI NAL unit, area information indicating an area where brightness conversion is allowed is further inserted,
The brightness adjustment section above is
The receiving device according to (9) above, wherein the display brightness adjustment is performed in a region that allows brightness conversion based on region information indicating a region that allows brightness conversion.
(11) a receiving step of receiving the video stream by the receiving unit;
a decoding step of performing decoding processing on the video stream to obtain high dynamic range transmission video data;
High dynamic range conversion characteristic meta information indicating the characteristics of high dynamic range photoelectric conversion or the characteristics of high dynamic range electric conversion corresponding to the characteristics is inserted in the SEI NAL unit area of the video stream,
The receiving method further comprises the step of performing high dynamic range electro-optical conversion on the high dynamic range transmission video data based on the high dynamic range conversion characteristic meta information to obtain display video data.
本技術の主な特徴は、ビデオストリームのSEI NALユニットの領域にHDR光電変換の特性または該特性に対応したHDR電光変換の特性を示すHDR変換特性メタ情報を挿入して送信することで、HDR対応受信機では、このHDR変換特性メタ情報に基づいて、HDR伝送ビデオデータに対する電光変換の処理を適切に行い得るようにしたことである(図5、図7参照)。 The main feature of this technology is to insert and transmit HDR conversion characteristic meta information indicating the characteristics of HDR photoelectric conversion or the characteristics of HDR electro-optical conversion corresponding to the characteristics into the SEI NAL unit area of the video stream. The compatible receiver can appropriately perform electro-optical conversion processing on HDR transmission video data based on this HDR conversion characteristic meta information (see FIGS. 5 and 7).
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・SDR光電変換部
103・・・HDR光電変換部
104・・・ビデオエンコーダ
104b.104e・・・エンコード部
105・・・システムエンコーダ
106・・・送信部
200,300・・・受信装置
201,301・・・制御部
202,302・・・受信部
203,303・・・システムデコーダ
204,304・・・ビデオデコーダ
204b・・・デコード部
205・・・SDR電光変換部
206・・・SDR表示マッピング部
207,307・・・CEモニタ
304b.304e・・・デコード部
305・・・HDR電光変換部
306・・・HDR表示マッピング部
10... Transmission/
Claims (18)
前記ハイダイナミックレンジ伝送ビデオデータに符号化を行って、符号化されたハイダイナミックレンジ伝送ビデオデータを含むビデオストリームを出力し、
前記ビデオストリームのSEIの領域およびVUIの領域に変換特性メタ情報を挿入し、
前記ビデオストリームにピーク輝度情報を挿入し、
前記ビデオストリームを送信する、
回路を備え、
前記ハイダイナミックレンジ伝送ビデオデータの表示輝度は、前記ピーク輝度情報に基づいて調整され、前記ハイダイナミックレンジ伝送ビデオデータの電光変換は、前記SEIの領域および前記VUIの領域に前記変換特性メタ情報が挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて行われ、
前記回路は、さらに、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って通常ダイナミックレンジ伝送ビデオデータを取得し、
前記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームを取得し、
前記ハイダイナミックレンジ伝送ビデオデータに前記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って、前記符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを取得し、
前記拡張ビデオストリームのSEIの領域に前記変換特性メタ情報を挿入し、
前記基本ビデオストリームのVUIの領域に、通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する
送信装置。 Perform high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data,
encoding the high dynamic range transmission video data and outputting a video stream containing the encoded high dynamic range transmission video data;
inserting conversion characteristic meta information into an SEI area and a VUI area of the video stream;
inserting peak luminance information into the video stream;
transmitting the video stream;
Equipped with a circuit,
The display brightness of the high dynamic range transmission video data is adjusted based on the peak brightness information, and the electro-optical conversion of the high dynamic range transmission video data includes the conversion characteristic meta information in the SEI area and the VUI area. When inserted, the conversion is performed based on the conversion characteristic meta information inserted in the area of the SEI ,
The circuit further includes:
Perform normal dynamic range photoelectric conversion on normal dynamic range video data to obtain normal dynamic range transmission video data,
performing predictive encoding on the normal dynamic range transmission video data to obtain a basic video stream containing the encoded normal dynamic range transmission video data;
performing predictive encoding on the high dynamic range transmission video data using the normal dynamic range transmission video data to obtain an extended video stream containing the encoded high dynamic range transmission video data;
inserting the conversion characteristic meta information into an area of SEI of the enhanced video stream;
A transmitting device that inserts normal dynamic range conversion characteristic meta information indicating characteristics of normal dynamic range photoelectric conversion into a VUI area of the basic video stream.
前記拡張ビデオストリームのSEIの領域に、前記変換特性メタ情報と共に、表示制御のためのメタ情報を挿入する
請求項1に記載の送信装置。 The circuit further includes:
The transmitting device according to claim 1, wherein meta information for display control is inserted into an SEI area of the extended video stream together with the conversion characteristic meta information.
請求項2に記載の送信装置。 The transmitting device according to claim 2 , wherein the meta information for display control includes the peak luminance information.
請求項2に記載の送信装置。 The transmitting device according to claim 2 , wherein the meta information for display control includes area information indicating an area where brightness conversion is permitted.
請求項1に記載の送信装置。 The transmitting device according to claim 1, wherein the conversion characteristic indicated by the conversion characteristic meta information is at least one of a photoelectric conversion characteristic and an electro-optical conversion characteristic.
前記ハイダイナミックレンジ伝送ビデオデータに符号化を行って、符号化されたハイダイナミックレンジ伝送ビデオデータを含むビデオストリームを出力し、
前記ビデオストリームのSEIの領域およびVUIの領域に変換特性メタ情報を挿入し、
前記ビデオストリームにピーク輝度情報を挿入し、
前記ビデオストリームを送信し、
前記ハイダイナミックレンジ伝送ビデオデータの表示輝度は、前記ピーク輝度情報に基づいて調整され、前記ハイダイナミックレンジ伝送ビデオデータの電光変換は、前記SEIの領域および前記VUIの領域に前記変換特性メタ情報が挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて行われ、
さらに、
通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を行って通常ダイナミックレンジ伝送ビデオデータを取得し、
前記通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームを取得し、
前記通常ダイナミックレンジ伝送ビデオデータを用いて前記ハイダイナミックレンジ伝送ビデオデータに予測符号化を行って、前記符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを取得し、
前記拡張ビデオストリームのSEIの領域に前記変換特性メタ情報を挿入し、
前記基本ビデオストリームのVUIの領域に、通常ダイナミックレンジ光電変換の特性を示す通常ダイナミックレンジ変換特性メタ情報を挿入する
送信方法。 Perform high dynamic range photoelectric conversion on high dynamic range video data to obtain high dynamic range transmission video data,
encoding the high dynamic range transmission video data and outputting a video stream containing the encoded high dynamic range transmission video data;
inserting conversion characteristic meta information into an SEI area and a VUI area of the video stream;
inserting peak luminance information into the video stream;
transmitting the video stream;
The display brightness of the high dynamic range transmission video data is adjusted based on the peak brightness information, and the electro-optical conversion of the high dynamic range transmission video data includes the conversion characteristic meta information in the SEI area and the VUI area. When inserted, the conversion is performed based on the conversion characteristic meta information inserted in the area of the SEI ,
moreover,
Perform normal dynamic range photoelectric conversion on normal dynamic range video data to obtain normal dynamic range transmission video data,
performing predictive encoding on the normal dynamic range transmission video data to obtain a basic video stream containing the encoded normal dynamic range transmission video data;
predictively encoding the high dynamic range transmission video data using the normal dynamic range transmission video data to obtain an extended video stream including the encoded high dynamic range transmission video data;
inserting the conversion characteristic meta information into an area of SEI of the enhanced video stream;
A transmission method comprising inserting normal dynamic range conversion characteristic meta information indicating characteristics of normal dynamic range photoelectric conversion into a VUI area of the basic video stream.
請求項6に記載の送信方法。 The transmission method according to claim 6 , wherein the conversion characteristic indicated by the conversion characteristic meta information is at least one of a photoelectric conversion characteristic and an electro-optical conversion characteristic.
前記ビデオストリームを復号化してハイダイナミックレンジ伝送ビデオデータを取得し、
前記ビデオストリームは変換特性メタ情報およびピーク輝度情報を含み、
前記変換特性メタ情報は前記ビデオストリームのSEIの領域およびVUIの領域に挿入されており、
前記変換特性メタ情報が前記SEIの領域および前記VUIの領域に挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータにハイダイナミックレンジ電光変換を行って表示用ビデオデータを取得し、
前記ビデオストリームに含まれている前記ピーク輝度情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータまたは前記表示用ビデオデータに表示輝度調整をする、
回路を備え、
前記ビデオストリームは、通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームと、前記ハイダイナミックレンジ伝送ビデオデータに前記通常ダイナミックレンジ伝送ビデオデータを用いた予測符号化を行って得られた、符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを含み、
前記回路は、さらに、前記基本ビデオストリームを復号化して前記通常ダイナミックレンジ伝送ビデオデータを取得し、前記拡張ビデオストリームを復号化して前記ハイダイナミックレンジ伝送ビデオデータを取得し、
前記変換特性メタ情報は、前記拡張ビデオストリームのSEIの領域に含まれている
受信装置。 receive a video stream,
decoding the video stream to obtain high dynamic range transmission video data;
the video stream includes transformation characteristic meta information and peak luminance information;
The conversion characteristic meta information is inserted into an SEI area and a VUI area of the video stream,
When the conversion characteristic meta information is inserted into the SEI area and the VUI area, high dynamic range is added to the high dynamic range transmission video data based on the conversion characteristic meta information inserted into the SEI area. Performs lightning conversion to obtain video data for display,
adjusting the display brightness of the high dynamic range transmission video data or the display video data based on the peak brightness information included in the video stream;
Equipped with a circuit ,
The video stream includes a basic video stream containing encoded normal dynamic range transmission video data obtained by performing predictive coding on the normal dynamic range transmission video data, and a basic video stream containing encoded normal dynamic range transmission video data obtained by performing predictive coding on the normal dynamic range transmission video data, An extended video stream containing encoded high dynamic range transmission video data obtained by performing predictive encoding using range transmission video data,
The circuit further decodes the basic video stream to obtain the normal dynamic range transmission video data, decodes the enhanced video stream to obtain the high dynamic range transmission video data,
The conversion characteristic meta information is included in an SEI area of the extended video stream .
請求項8に記載の受信装置。 The receiving device according to claim 8 , further comprising a display device that displays an image corresponding to the display video data.
請求項8に記載の受信装置。 The receiving device according to claim 8 , wherein the peak luminance information is included in an SEI area of the extended video stream.
請求項10に記載の受信装置。 The circuit further acquires area information indicating an area where brightness conversion is allowed from the area of the SEI of the extended video stream, and displays the display in the area where brightness conversion is allowed based on the area information. The receiving device according to claim 10 , wherein the receiving device performs brightness adjustment.
請求項8に記載の受信装置。 The receiving device according to claim 8 , wherein the high dynamic range electro-optical conversion and the display brightness adjustment are performed sequentially or simultaneously.
請求項8に記載の受信装置。 The receiving device according to claim 8 , wherein the conversion characteristic indicated by the conversion characteristic meta information is at least one of a photoelectric conversion characteristic and an electro-optical conversion characteristic.
前記ビデオストリームを復号化してハイダイナミックレンジ伝送ビデオデータを取得し、
前記ビデオストリームは変換特性メタ情報およびピーク輝度情報を含み、
前記変換特性メタ情報は前記ビデオストリームのSEIの領域およびVUIの領域に挿入されており、
前記変換特性メタ情報が前記SEIの領域および前記VUIの領域に挿入されているとき、前記SEIの領域に挿入されている前記変換特性メタ情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータにハイダイナミックレンジ電光変換を行って表示用ビデオデータを取得し、
前記ビデオストリームに含まれている前記ピーク輝度情報に基づいて前記ハイダイナミックレンジ伝送ビデオデータまたは前記表示用ビデオデータに表示輝度調整をし、
前記ビデオストリームは、通常ダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化された通常ダイナミックレンジ伝送ビデオデータを含む基本ビデオストリームと、前記通常ダイナミックレンジ伝送ビデオデータを用いて前記ハイダイナミックレンジ伝送ビデオデータに予測符号化を行って得られた、符号化されたハイダイナミックレンジ伝送ビデオデータを含む拡張ビデオストリームを含み、
さらに、前記基本ビデオストリームを復号化して前記通常ダイナミックレンジ伝送ビデオデータを取得し、前記拡張ビデオストリームを復号化して前記ハイダイナミックレンジ伝送ビデオデータを取得し、
前記変換特性メタ情報は、前記拡張ビデオストリームのSEIの領域に含まれている
受信方法。 receive a video stream,
decoding the video stream to obtain high dynamic range transmission video data;
the video stream includes transformation characteristic meta information and peak luminance information;
The conversion characteristic meta information is inserted into an SEI area and a VUI area of the video stream,
When the conversion characteristic meta information is inserted into the SEI area and the VUI area, high dynamic range is added to the high dynamic range transmission video data based on the conversion characteristic meta information inserted into the SEI area. Performs lightning conversion to obtain video data for display,
adjusting the display brightness of the high dynamic range transmission video data or the display video data based on the peak brightness information included in the video stream;
The video stream includes a basic video stream containing encoded normal dynamic range transmission video data obtained by performing predictive coding on normal dynamic range transmission video data, and a basic video stream containing encoded normal dynamic range transmission video data, and an extended video stream containing encoded high dynamic range transmission video data obtained by predictively encoding the high dynamic range transmission video data;
further decoding the basic video stream to obtain the normal dynamic range transmission video data; decoding the extended video stream to obtain the high dynamic range transmission video data;
The conversion characteristic meta information is included in an SEI area of the enhanced video stream .
請求項14に記載の受信方法。 The receiving method according to claim 14 , further comprising displaying an image corresponding to the display video data on a display device.
請求項14に記載の受信方法。 The receiving method according to claim 14 , wherein the peak luminance information is included in an SEI area of the extended video stream.
請求項14に記載の受信方法。 Furthermore, area information indicating an area where brightness conversion is permitted is obtained from the area of the SEI of the extended video stream, and based on the area information, the display brightness is adjusted in the area where brightness conversion is permitted. The receiving method according to claim 14 .
請求項14に記載の受信方法。 The receiving method according to claim 14 , wherein the conversion characteristic indicated by the conversion characteristic meta information is at least one of a photoelectric conversion characteristic and an electro-optical conversion characteristic.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022096088A JP7367806B2 (en) | 2020-05-22 | 2022-06-14 | Transmitting device, transmitting method, receiving device and receiving method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020089714A JP7092162B2 (en) | 2020-05-22 | 2020-05-22 | Receiver and receiving method |
| JP2022096088A JP7367806B2 (en) | 2020-05-22 | 2022-06-14 | Transmitting device, transmitting method, receiving device and receiving method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020089714A Division JP7092162B2 (en) | 2020-05-22 | 2020-05-22 | Receiver and receiving method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022118104A JP2022118104A (en) | 2022-08-12 |
| JP7367806B2 true JP7367806B2 (en) | 2023-10-24 |
Family
ID=72353783
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020089714A Active JP7092162B2 (en) | 2020-05-22 | 2020-05-22 | Receiver and receiving method |
| JP2022096088A Active JP7367806B2 (en) | 2020-05-22 | 2022-06-14 | Transmitting device, transmitting method, receiving device and receiving method |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020089714A Active JP7092162B2 (en) | 2020-05-22 | 2020-05-22 | Receiver and receiving method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7092162B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015034188A1 (en) | 2013-09-06 | 2015-03-12 | 엘지전자 주식회사 | Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system |
| WO2015072754A1 (en) | 2013-11-13 | 2015-05-21 | 엘지전자 주식회사 | Broadcast signal transmission method and apparatus for providing hdr broadcast service |
| WO2015118909A1 (en) | 2014-02-07 | 2015-08-13 | ソニー株式会社 | Transmission device, transmission method, reception device, reception method, display device, and display method |
| WO2015125719A1 (en) | 2014-02-21 | 2015-08-27 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
| WO2015190246A1 (en) | 2014-06-13 | 2015-12-17 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
-
2020
- 2020-05-22 JP JP2020089714A patent/JP7092162B2/en active Active
-
2022
- 2022-06-14 JP JP2022096088A patent/JP7367806B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015034188A1 (en) | 2013-09-06 | 2015-03-12 | 엘지전자 주식회사 | Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system |
| WO2015072754A1 (en) | 2013-11-13 | 2015-05-21 | 엘지전자 주식회사 | Broadcast signal transmission method and apparatus for providing hdr broadcast service |
| WO2015118909A1 (en) | 2014-02-07 | 2015-08-13 | ソニー株式会社 | Transmission device, transmission method, reception device, reception method, display device, and display method |
| WO2015125719A1 (en) | 2014-02-21 | 2015-08-27 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
| WO2015190246A1 (en) | 2014-06-13 | 2015-12-17 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7092162B2 (en) | 2022-06-28 |
| JP2022118104A (en) | 2022-08-12 |
| JP2020145732A (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7388465B2 (en) | processing equipment | |
| JP7103475B2 (en) | Transmitter, transmitter, receiver and receiver | |
| KR102360613B1 (en) | Transmission device, transmission method, reception device, and reception method | |
| JP6710970B2 (en) | Transmission device and transmission method | |
| JP2021103898A (en) | Transmitting device, transmitting method, receiving device and receiving method | |
| JP7367806B2 (en) | Transmitting device, transmitting method, receiving device and receiving method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7367806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |