JP6268559B2

JP6268559B2 - Method and apparatus for encoding and decoding video data

Info

Publication number: JP6268559B2
Application number: JP2016556710A
Authority: JP
Inventors: マキシム・シチェフ; ▲錦▼ 宋
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date: 2014-03-18
Filing date: 2015-03-17
Publication date: 2018-01-31
Anticipated expiration: 2035-03-17

Description

本発明は、符号化技術および復号技術の分野、特に映像データの符号化および復号方法ならびに装置に関する。 The present invention relates to the field of encoding technology and decoding technology, and more particularly to a method and apparatus for encoding and decoding video data.

テレビ会議通信システムにおいて、映像データは、通常はRTP（Real−time Transport Protocol、リアルタイム転送プロトコル）を用いてパケット化されてRTPデータパケットを生成し、RTPデータパケットは、次に、UDP（User Datagram Protocol、ユーザデータグラムプロトコル）を用いて伝送される。映像は、複数のピクチャフレームを含んでいる。しかしながら、UDPは、信頼性の低い伝送プロトコルである。伝送処理では、ネットワーク輻輳中にパケット損失が生じやすく、デコーダで再構成された映像の品質に影響を及ぼす。 In a video conference communication system, video data is usually packetized using RTP (Real-time Transport Protocol) to generate an RTP data packet. The RTP data packet is then sent to a UDP (User Datagram Protocol, user datagram protocol). The video includes a plurality of picture frames. However, UDP is an unreliable transmission protocol. In the transmission process, packet loss is likely to occur during network congestion, which affects the quality of the video reconstructed by the decoder.

前述の問題を解決するために、映像データの符号化処理に冗長ピクチャ技術を導入することができる。映像圧縮符号化技術において、各映像表示画像は、ピクチャと呼ばれる。ピクチャを1列おきに走査することによってフィールドが得られ、これに対応して、列ごとに走査されたピクチャをフレームと呼ぶことができる。1つのフレームは、1つ以上のスライスを含むことができるか、または1つ以上のタイルを含むことができ、違いは、スライス分割は、基本符号化ユニットの順序で行われるが、タイル分割は、ピクチャ領域に従って行われることである。フレームが処理ユニットとして使用される事例のみが、例として用いられるが、具体的には、映像データの符号化処理において、各ピクチャフレームが、主フレームを生成し、同時に主フレームに対応する1つ以上の冗長フレームを生成するために符号化されること、および主スライスおよび冗長スライスは、伝送するために異なるパケットにカプセル化されることを含んでいる。このようにして、デコーダは以下の方法を用いて復号を行い、その方法とは、現在のフレームの属性情報を取得するために、現在のフレームのヘッダ情報を解析することであって、現在のフレームの属性情報は、現在のフレームが主フレームであるか、それとも冗長フレームであるかを示すために用いられ、かつ現在のフレームが冗長フレームであって、現在のフレームに対応する主フレームが通常フレーム（すなわちパケットが失われず、フレームを再構成するためのデータが完全）である場合は、現在の冗長フレームを廃棄すること、もしくは現在のフレームが冗長フレームであって、現在のフレームに対応する主フレームが通常フレームではない（すなわちパケットが失われて、復号を適切に行えない）場合は、冗長フレームを用いて映像を再構成するように、主フレームのヘッダ情報を現在のフレームのヘッダ情報の位置にコピーして、現在のフレームの他の情報の解析を継続することである。 In order to solve the above-mentioned problem, it is possible to introduce a redundant picture technique into the video data encoding process. In the video compression coding technique, each video display image is called a picture. By scanning the picture every other column, a field is obtained, and correspondingly, a picture scanned for each column can be called a frame. A frame can contain one or more slices or can contain one or more tiles, the difference being that the slice division is done in the order of the basic coding units, but the tile division is Is performed in accordance with the picture area. Only the case where a frame is used as a processing unit is used as an example. Specifically, in the video data encoding process, each picture frame generates a main frame and at the same time one corresponding to the main frame. It includes encoding to generate the above redundant frames, and the main slice and redundant slice being encapsulated in different packets for transmission. In this way, the decoder performs decoding using the following method, which is to analyze the header information of the current frame in order to obtain attribute information of the current frame, The frame attribute information is used to indicate whether the current frame is a main frame or a redundant frame, and the current frame is a redundant frame, and the main frame corresponding to the current frame is usually Discard the current redundant frame if it is a frame (ie no packet is lost and the data to reconstruct the frame is complete), or the current frame is a redundant frame and corresponds to the current frame If the main frame is not a normal frame (ie, the packet is lost and cannot be decoded properly), use a redundant frame. To reconstruct an image, and copy the header information of the main frame to the position of the header information of the current frame is to continue the analysis of other information of the current frame.

前述の復号方法では、復号位置に関して、主フレームが、主フレームに対応する冗長フレームに隣接していることが必要である。復号位置に関して、主フレームが、主フレームに対応する冗長フレームに隣接していない場合、主フレームと冗長フレームとの間の対応を反映することができず、主フレームおよび冗長フレームの両方を損失する可能性が増す。また、主フレームは、冗長フレームよりも前にデコーダに到達する必要があり、これによって伝送の柔軟性が低下する。 The decoding method described above requires that the main frame is adjacent to the redundant frame corresponding to the main frame with respect to the decoding position. Regarding the decoding position, if the main frame is not adjacent to the redundant frame corresponding to the main frame, the correspondence between the main frame and the redundant frame cannot be reflected, and both the main frame and the redundant frame are lost. The possibility increases. Also, the main frame needs to reach the decoder before the redundant frame, which reduces transmission flexibility.

本発明の実施形態は、映像データの符号化および復号方法ならびに装置を提供し、これによって、主フレームおよび冗長フレームの両方を損失する可能性を低減し、伝送のロバスト性および柔軟性を高めることができる。 Embodiments of the present invention provide a method and apparatus for encoding and decoding video data, thereby reducing the possibility of losing both main and redundant frames and increasing transmission robustness and flexibility. Can do.

本発明の実施形態は、
符号化対象映像シーケンスで、符号化対象情報群を判定するステップと、
符号化対象情報群に対応する主情報群を生成するステップであって、主情報群は、第1のデータ情報、符号化対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに主情報群の位置情報を含む、ステップと、
符号化対象情報群に対応する冗長情報群を生成するステップであって、冗長情報群は、第2のデータ情報、冗長情報群の位置情報、符号化対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに冗長情報群と主情報群との位置関係情報を含む、ステップと、
主情報群および冗長情報群を、ビットストリームに符号化するステップと
を含む、映像データの符号化方法を提供する。 Embodiments of the present invention
Determining an encoding target information group in the encoding target video sequence;
A step of generating a main information group corresponding to the encoding target information group, wherein the main information group is the first data information, whether the encoding target information group is the main information group or the redundant information group Including instruction information indicating the position information of the main information group,
A step of generating a redundant information group corresponding to the encoding target information group, wherein the redundant information group is the second data information, the position information of the redundant information group, and whether the encoding target information group is the main information group Including instruction information indicating whether it is a redundant information group, and positional relationship information between the redundant information group and the main information group,
A method of encoding video data, comprising: encoding a main information group and a redundant information group into a bit stream.

本発明の実施形態は、
復号対象ビットストリームを獲得して、復号対象情報群を判定するステップと、
解析によって、復号対象情報群に対応する主情報群を取得するステップであって、主情報群は、第1のデータ情報、復号対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに主情報群の位置情報を含む、ステップと、
解析によって、復号対象情報群に対応する冗長情報群を取得するステップであって、冗長情報群は、第2のデータ情報、冗長情報群の位置情報、復号対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに冗長情報群と主情報群との位置関係情報を含み、冗長情報群と主情報群との位置関係情報は、主情報群の位置情報を推定するために用いられる、ステップと、
解析によって取得された主情報群、または解析によって取得された冗長情報群に基づいて、復号された情報群を獲得するステップであって、復号された情報群は、符号化された映像シーケンスの再構成のために用いられる、ステップと
を含む、映像データの復号方法をさらに提供する。 Embodiments of the present invention
Obtaining a decoding target bitstream and determining a decoding target information group;
A step of obtaining a main information group corresponding to the decoding target information group by analysis, wherein the main information group is the first data information and the decoding target information group is the main information group or the redundant information group Including the instruction information indicating the position information of the main information group,
A step of obtaining a redundant information group corresponding to the decoding target information group by analysis, wherein the redundant information group is the second data information, the position information of the redundant information group, and the decoding target information group is the main information group It includes instruction information indicating whether it is a redundant information group, and positional relationship information between the redundant information group and the main information group. The positional relationship information between the redundant information group and the main information group includes the positional information of the main information group. Steps used to estimate, and
A step of obtaining a decoded information group based on a main information group obtained by analysis or a redundant information group obtained by analysis, wherein the decoded information group is a sequence of the encoded video sequence. There is further provided a method of decoding video data, comprising the steps used for configuration.

本発明の実施形態は、
符号化対象映像シーケンスで、符号化対象情報群を判定し、
符号化対象情報群に対応する主情報群を生成し、主情報群は、第1のデータ情報、符号化対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに主情報群の位置情報を含み、
符号化対象情報群に対応する冗長情報群を生成し、冗長情報群は、第2のデータ情報、冗長情報群の位置情報、符号化対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに冗長情報群と主情報群との位置関係情報を含み、
主情報群および冗長情報群を、ビットストリームに符号化する
ように構成された、プロセッサを含む、映像データの符号化装置をさらに提供する。 Embodiments of the present invention
The encoding target information group is determined in the encoding target video sequence,
A main information group corresponding to the encoding target information group is generated, and the main information group is the first data information and the instruction information indicating whether the encoding target information group is the main information group or the redundant information group , As well as the location information of the main information group,
A redundant information group corresponding to the encoding target information group is generated. The redundant information group is the second data information, the position information of the redundant information group, and the encoding target information group is the main information group or the redundant information group. Including the instruction information indicating whether or not, and the positional relationship information between the redundant information group and the main information group,
There is further provided a video data encoding apparatus including a processor configured to encode the main information group and the redundant information group into a bit stream.

本発明の実施形態は、
復号対象ビットストリームを獲得して、復号対象情報群を判定し、
解析によって、復号対象情報群に対応する主情報群を取得し、主情報群は、第1のデータ情報、復号対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに主情報群の位置情報を含み、
解析によって、復号対象情報群に対応する冗長情報群を取得し、冗長情報群は、第2のデータ情報、冗長情報群の位置情報、復号対象情報群が、主情報群であるかそれとも冗長情報群であるかを示す指示情報、ならびに冗長情報群と主情報群との位置関係情報を含み、冗長情報群と主情報群との位置関係情報は、主情報群の位置情報を推定するために用いられ、
解析によって取得された主情報群、または解析によって取得された冗長情報群に基づいて、復号された情報群を獲得し、復号された情報群は、符号化された映像シーケンスの再構成のために用いられる
ように構成された、プロセッサを含む、
映像データの復号装置をさらに提供する。 Embodiments of the present invention
Obtain a decoding target bitstream, determine a decoding target information group,
Through analysis, a main information group corresponding to the decoding target information group is acquired, and the main information group is the first data information, an instruction indicating whether the decoding target information group is the main information group or the redundant information group Information, as well as location information of the main information group,
By analyzing, a redundant information group corresponding to the decoding target information group is obtained. The redundant information group is the second data information, the position information of the redundant information group, and the decoding target information group is the main information group or redundant information. Including the instruction information indicating whether it is a group and the positional relationship information between the redundant information group and the main information group, the positional relationship information between the redundant information group and the main information group Used,
Based on the main information group obtained by the analysis or the redundant information group obtained by the analysis, the decoded information group is obtained, and the decoded information group is used for the reconstruction of the encoded video sequence. Including a processor, configured to be used,
A video data decoding apparatus is further provided.

前述の解決策における、符号化および復号方法ならびに装置によれば、ビットストリームで、主フレームの位置と対応する冗長フレームの位置との間隔を維持することが可能になり、主フレームおよび対応する冗長フレームの両方を損失する可能性が低減され、伝送のロバスト性が高まる。また、デコーダの、主フレームおよび冗長フレームを復号する順序に対する要件がなくなり、これによって伝送の柔軟性が向上する。 According to the encoding and decoding method and apparatus in the above solution, it becomes possible to maintain the interval between the position of the main frame and the position of the corresponding redundant frame in the bit stream, and the main frame and the corresponding redundancy The possibility of losing both frames is reduced and transmission robustness is increased. Also, there is no requirement for the order in which the decoder decodes the main frame and the redundant frame, which increases the flexibility of transmission.

本発明、または従来技術の実施形態における技術的解決策をより明確に説明するために、本実施形態または先行技術の説明に必要な添付の図面について、以下で簡単に説明する。以下の説明における添付の図面が、単に本発明のいくつかの実施形態を示すのみであることは明らかであり、当業者であれば、創造的な努力をすることなく、これらの添付の図面から他の図面をさらに導き出すことができる。 BRIEF DESCRIPTION OF THE DRAWINGS To describe the technical solutions in the embodiments of the present invention or in the prior art more clearly, the following briefly describes the accompanying drawings required for describing the embodiments or the prior art. It will be apparent that the accompanying drawings in the following description merely depict some embodiments of the invention, and those skilled in the art will recognize from these accompanying drawings without creative efforts. Other drawings can be derived further.

本発明の実施形態1による、映像データの符号化方法のフローチャートである。3 is a flowchart of a video data encoding method according to Embodiment 1 of the present invention. 本発明の実施形態2による、映像データの復号方法のフローチャートである。6 is a flowchart of a video data decoding method according to Embodiment 2 of the present invention. 本発明の実施形態3による、別の映像データの復号方法のフローチャートである。10 is a flowchart of another video data decoding method according to Embodiment 3 of the present invention. 本発明の実施形態4による、別の映像データの復号方法のフローチャートである。10 is a flowchart of another video data decoding method according to Embodiment 4 of the present invention. 本発明の実施形態5による、別の映像データの復号方法のフローチャートである。10 is a flowchart of another video data decoding method according to Embodiment 5 of the present invention. 本発明の実施形態6による、別の映像データの復号方法のフローチャートである。14 is a flowchart of another video data decoding method according to Embodiment 6 of the present invention. 本発明の実施形態7による、映像データの符号化装置の概略構造図である。FIG. 10 is a schematic structural diagram of a video data encoding device according to Embodiment 7 of the present invention. 本発明の実施形態8による、映像データの復号装置の概略構造図である。FIG. 10 is a schematic structural diagram of a video data decoding device according to Embodiment 8 of the present invention. 本発明の実施形態1による、映像の符号化方法の構文構造図である。FIG. 3 is a syntax structure diagram of a video encoding method according to the first embodiment of the present invention. 本発明の実施形態1による、映像の符号化方法のフレーム構造図である。FIG. 2 is a frame structure diagram of a video encoding method according to Embodiment 1 of the present invention.

以下、本発明の実施形態における技術的解決策について、本発明の実施形態の添付の図面を参照しながら、より明確に、完全に説明する。説明されている実施形態は、本発明の実施形態の全てではなく、一部にすぎないことは明らかである。本発明の実施形態に基づいて、当業者が創造的な努力をすることなく得た他の全ての実施形態は、本発明の保護の範囲に属する。 DESCRIPTION OF EMBODIMENTS Hereinafter, technical solutions in embodiments of the present invention will be described more clearly and completely with reference to the accompanying drawings of embodiments of the present invention. Apparently, the described embodiments are merely a part rather than all of the embodiments of the present invention. All other embodiments obtained by a person skilled in the art based on the embodiments of the present invention without creative efforts shall fall within the protection scope of the present invention.

本明細書の「および／または」という用語は、説明されている関連する対象物の対応関係のみを述べており、3つの関連性が生成されていることを表す。例えば、Aおよび／またはBとは、Aのみが生成される事例、AとBとの両方が生成される事例、およびBのみが生成される事例の3つの事例を表す。また、本明細書における文字「／」は、通常は関連する対象物間の「または」の関係を示す。 As used herein, the term “and / or” refers only to the correspondence of the relevant objects being described, indicating that three relationships have been generated. For example, A and / or B represent three cases: a case where only A is generated, a case where both A and B are generated, and a case where only B is generated. In addition, the character “/” in this specification usually indicates an “or” relationship between related objects.

全ての実施形態が、例を用いて具体的に説明され、この例において、各主フレームは、最大で1つの対応する冗長フレームを有するが、これは、各主フレームに対して複数の冗長フレームが生成される事例に汎用できることは明らかである。 All embodiments are specifically described by way of example, in which each main frame has at most one corresponding redundant frame, which is a plurality of redundant frames for each main frame. Obviously, it can be used universally for the case where is

実施形態1
図1に示すように、本発明のこの実施形態は、以下のステップを含む、映像データを符号化する方法を提供する。 Embodiment 1
As shown in FIG. 1, this embodiment of the present invention provides a method for encoding video data including the following steps.

101．符号化対象映像シーケンスから、符号化対象フレームを判定する。 101. The encoding target frame is determined from the encoding target video sequence.

102．主フレームの符号化データ情報を生成するために、映像圧縮符号化標準で指定された手順に従って、符号化対象フレームを処理し、この手順は通常、予測、変換、量子化、エントロピー符号化、フィルタリング等を含み、映像圧縮標準は、H．264、H．265、SVC（Scalable Video Coding、スケーラブル映像符号化）等であり、符号化データ情報は、予測モード情報、パーティショニングモード情報、変換モード情報、量子化パラメータ情報、フィルタリングパラメータ、残差情報等を含む。 102. In order to generate encoded data information of the main frame, the encoding target frame is processed according to the procedure specified in the video compression encoding standard, and this procedure usually includes prediction, transformation, quantization, entropy encoding, and filtering. The video compression standard is H. 264, H.I. 265, SVC (Scalable Video Coding), etc., and encoded data information includes prediction mode information, partitioning mode information, transform mode information, quantization parameter information, filtering parameters, residual information, etc. .

103．フレームに対して、POC（picture order count）を判定する。POCは、映像シーケンスにおける、符号化されたフレームの表示順を表す。主フレームおよび冗長フレームは、同一の符号化されたフレームに対応している。したがって、主フレームのPOCが冗長フレームのPOCと同一になるのを防止するために、例示的には、各主フレームが最大で1つの対応する冗長フレームを有する場合に、主フレームのPOCは0、2、4、6……等の連続した偶数に限定されてもよく、冗長フレームのPOCは奇数に限定されてもよい。実際の適用要件によれば、冗長フレームのPOCは、1、3、5、7……等の連続した奇数であってもよく、あるいは連続しない奇数であってもよい。例えば、冗長フレームのPOCは、対応する主フレームのPOCに1を加えた数に設定されてもよい。 103. A POC (picture order count) is determined for the frame. POC represents the display order of encoded frames in a video sequence. The main frame and the redundant frame correspond to the same encoded frame. Thus, to prevent the main frame POC from becoming the same as the redundant frame POC, illustratively, the main frame POC is 0 if each main frame has at most one corresponding redundant frame. , 2, 4, 6... May be limited to consecutive even numbers, and the POC of redundant frames may be limited to odd numbers. According to actual application requirements, the POC of a redundant frame may be a continuous odd number such as 1, 3, 5, 7,. For example, the POC of the redundant frame may be set to a number obtained by adding 1 to the POC of the corresponding main frame.

104．フレームに対して、主フレームのフラグを判定する。1つのフレームデータは、図10に示すように、異なるネットワーク抽象化層ユニットに分割できることを説明しておかねばならない。ネットワーク抽象化層ユニットは、ネットワーク抽象化層ユニットヘッダ、およびデータ部分を含む。ネットワーク抽象化層ユニットヘッダは、ネットワーク抽象化層ユニットタイプを含み、およびネットワーク抽象化層ユニットタイプは、ネットワーク抽象化層ユニットに含まれるデータのタイプを判定する。以下の説明で述べられているPREFIX＿SEI＿NUT（付加拡張情報の接頭辞）は、ネットワーク抽象化層ユニットタイプである。例示的には、フラグビットをPREFIX＿SEI＿NUTに追加することができる。値Aが書き込まれている場合は、フレームは主フレームであり、もしくは値Bが書き込まれている場合は、フレームは冗長フレームであって、これについては、例を用いて具体的に説明することができる。 104. The main frame flag is determined for the frame. It must be explained that one frame data can be divided into different network abstraction layer units as shown in FIG. The network abstraction layer unit includes a network abstraction layer unit header and a data portion. The network abstraction layer unit header includes a network abstraction layer unit type, and the network abstraction layer unit type determines the type of data included in the network abstraction layer unit. PREFIX_SEI_NUT (prefix of additional extension information) described in the following description is a network abstraction layer unit type. Illustratively, flag bits may be added to PREFIX_SEI_NUT. If the value A is written, the frame is the main frame, or if the value B is written, the frame is a redundant frame, which will be described in detail using an example. Can do.

これについては、ネットワーク抽象化層ユニットタイプが付加拡張情報の接頭辞であり、情報ペイロードタイプが135の場合は、フレームは冗長フレームであり、もしくはネットワーク抽象化層ユニットタイプが付加拡張情報の接頭辞であり、情報ペイロードタイプが136の場合は、フレームは主フレームであると説明することができる。 For this, the network abstraction layer unit type is a prefix for additional extension information, and if the information payload type is 135, the frame is a redundant frame, or the network abstraction layer unit type is a prefix for additional extension information. When the information payload type is 136, it can be described that the frame is a main frame.

これについては、ネットワーク抽象化層ユニットタイプが付加拡張情報の接頭辞であり、情報ペイロードタイプが135で、フレームタイプが0の場合は、フレームは冗長フレームであり、もしくは、ネットワーク抽象化層ユニットタイプが付加拡張情報の接頭辞であり、情報ペイロードタイプが135で、フレームタイプが1の場合は、フレームは主フレームであると説明することができる。 For this, if the network abstraction layer unit type is a prefix of additional extension information, the information payload type is 135, and the frame type is 0, the frame is a redundant frame, or the network abstraction layer unit type is added. If it is a prefix of the extension information, the information payload type is 135, and the frame type is 1, it can be described that the frame is a main frame.

これについては、ネットワーク抽象化層ユニットタイプが付加拡張情報の接頭辞であり、情報ペイロードタイプが135の場合は、フレームは冗長フレームであり、もしくはネットワーク抽象化層ユニットタイプが付加拡張情報の接尾辞であり、情報ペイロードタイプが135の場合は、フレームは主フレームであると説明することができる。 For this, the network abstraction layer unit type is a prefix for additional extension information, and if the information payload type is 135, the frame is a redundant frame, or the network abstraction layer unit type is a suffix for additional extension information. When the information payload type is 135, the frame can be described as a main frame.

105．必要に応じて、フレームと、フレームに対応する冗長フレームとの間の位置関係を判定する。例示的には、現在の主フレームのPOCは、currPicOrderCntValで表され、対応する冗長フレームのPOCは、rdnPicOrderCntValで表され、この2つのフレームのPOC差分は、pic＿order＿cnt＿deltaで表されると仮定される。冗長フレームが生成された場合、位置関係pic＿order＿cnt＿delta＝rdnPicOrderCntVal−currPicOrderCntValで、pic＿order＿cnt＿deltaは、正の値かまたは負の値であってもよく、主フレームと、対応する冗長フレームとの間の順序関係を表しており、すなわち、順序関係は、正符号または負符号で示すことができ、pic＿order＿cnt＿deltaの絶対値は、0から256までの範囲とすることができる。冗長フレームが生成されなかった場合、位置関係は、実際の要件に従って、例えば1に設定することができる。 105. If necessary, the positional relationship between a frame and a redundant frame corresponding to the frame is determined. Illustratively, it is assumed that the current main frame POC is represented by currPicOrderCntVal, the corresponding redundant frame POC is represented by rdnPicOrderCntVal, and the POC difference of the two frames is represented by pic_order_cnt_delta. When a redundant frame is generated, the positional relationship pic_order_cnt_delta = rdnPicOrderCntVal−currPicOrderCntVal, and pic_order_cnt_delta may be a positive value or a negative value, and represents an order relationship between the main frame and the corresponding redundant frame. That is, the order relationship can be indicated by a plus or minus sign, and the absolute value of pic_order_cnt_delta can range from 0 to 256. If a redundant frame is not generated, the positional relationship can be set to 1, for example, according to actual requirements.

特殊な事例で、主フレームおよび対応する冗長フレームが異なるGOP（group of picture、ピクチャ群）に配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になる。例示的には、主フレームおよび対応する冗長フレームが、同一のGOPに属するかどうかが判定される。主フレームおよび対応する冗長フレームが、同一のGOPに属さない場合は、離間されているGOPの数が判定される。 In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs (groups of pictures), in order to describe the positional relationship, the main frame and the corresponding redundant frame Further determination of the GOP relationship between them is required. Illustratively, it is determined whether the main frame and the corresponding redundant frame belong to the same GOP. If the main frame and the corresponding redundant frame do not belong to the same GOP, the number of spaced GOPs is determined.

第1の例で、主フレームおよび対応する冗長フレームが、同一のGOPに属するかどうかを示すフラグは、gop＿flagに設定されている。主フレームおよび対応する冗長フレームが、同一のGOPに属する場合は、gop＿flagは0であり、もしくは、主フレームおよび対応する冗長フレームが、同一のGOPに属さない場合は、gop＿flagは1である。主フレームと対応する冗長フレームとの間に、gop＿circle個のGOPの間隔が設定され、ここでgop＿circleは正数か、または負数であってもよい。その結果、主フレームと、対応する冗長フレームとの間の実際の位置差は、pic＿order＿cnt＿delta＋gop＿circle x gop＿flagである。 In the first example, the flag indicating whether the main frame and the corresponding redundant frame belong to the same GOP is set to gop_flag. When the main frame and the corresponding redundant frame belong to the same GOP, gop_flag is 0, or when the main frame and the corresponding redundant frame do not belong to the same GOP, gop_flag is 1. A gap of gop_circle GOPs is set between the main frame and the corresponding redundant frame, where gop_circle may be a positive number or a negative number. As a result, the actual position difference between the main frame and the corresponding redundant frame is pic_order_cnt_delta + gop_circle x gop_flag.

第2の例では、主フレームと対応する冗長フレームとの間に、gop＿circle個のGOPの間隔が設定され、ここでgop＿circleは整数である。その結果、主フレームと、対応する冗長フレームとの間の実際の位置差は、pic＿order＿cnt＿delta＋gop＿circleである。 In the second example, a gap of gop_circle GOPs is set between the main frame and the corresponding redundant frame, where gop_circle is an integer. As a result, the actual position difference between the main frame and the corresponding redundant frame is pic_order_cnt_delta + gop_circle.

本実施形態の位置関係の記述では、位置を示すために、映像フレームの表示順（すなわちPOC）のみが用いられる。あるいは、データの各フレームの処理の順序を表す実際の符号化順が、位置を示すのに用いられてもよく、符号化されたデータがバイナリ形式でビットストリームに書き込まれる書き込み順が、位置を示すために用いられてもよい等、これは限定されるものではない。 In the description of the positional relationship of this embodiment, only the display order of video frames (that is, POC) is used to indicate the position. Alternatively, the actual encoding order that represents the processing order of each frame of data may be used to indicate the position, and the writing order in which the encoded data is written to the bitstream in binary format determines the position. This may not be limited, such as may be used to show.

106．冗長フレームの符号化データ情報を生成するために、映像圧縮符号化標準で指定された手順に従って、符号化対象フレームを処理し、この手順は通常、予測、変換、量子化、エントロピー符号化、フィルタリング等を含み、映像圧縮標準は、H．264、H．265、SVC等であってもよいが、通常は対応する主フレームの圧縮に用いられる圧縮標準と同一であり、符号化データ情報は、予測モード情報、パーティショニングモード情報、変換モード情報、量子化パラメータ情報、フィルタリングパラメータ、残差情報等を含み、生成された対応する主フレームの情報と同一であるか、または異なっていてもよい。 106. To generate encoded data information for redundant frames, the frame to be encoded is processed according to the procedure specified in the video compression encoding standard, which usually involves prediction, transformation, quantization, entropy encoding, filtering The video compression standard is H. 264, H.I. 265, SVC, etc., but is usually the same compression standard used for compression of the corresponding main frame, and the encoded data information includes prediction mode information, partitioning mode information, conversion mode information, quantization It includes parameter information, filtering parameters, residual information, etc., and may be the same as or different from the generated corresponding main frame information.

107．フレームに対してPOCを判定し、POC判定方法は、ステップ103と一致する。 107. The POC is determined for the frame, and the POC determination method matches step 103.

108．フレームに対して、冗長フレームのフラグを判定する。例示的には、フラグビットをPREFIX＿SEI＿NUTに追加することができる。値Aが書き込まれている場合は、フレームは主フレームであり、もしくは値Bが書き込まれている場合は、フレームは冗長フレームであって、冗長フレームのフラグを判定する方式は、ステップ104と一致する。 108. A redundant frame flag is determined for the frame. Illustratively, flag bits may be added to PREFIX_SEI_NUT. If the value A is written, the frame is the main frame, or if the value B is written, the frame is a redundant frame, and the method for determining the flag of the redundant frame is the same as step 104 To do.

109．フレームと、フレームに対応する主フレームとの間の位置関係を判定する。例示的には、主フレームが生成された場合、位置関係pic＿order＿cnt＿delta＝currPicOrderCntVal−rdnPicOrderCntValで、pic＿order＿cnt＿deltaは、正の値かまたは負の値であってもよく、冗長フレームと、対応する主フレームとの間の順序関係を表し、pic＿order＿cnt＿deltaの絶対値は、0から256までの範囲とすることができる。主フレームが生成されなかった場合、位置関係は、実際の要件に従って、例えば1に設定することができる。 109. The positional relationship between the frame and the main frame corresponding to the frame is determined. Illustratively, when a main frame is generated, the positional relationship pic_order_cnt_delta = currPicOrderCntVal−rdnPicOrderCntVal, and pic_order_cnt_delta may be a positive value or a negative value, and between a redundant frame and a corresponding main frame The absolute value of pic_order_cnt_delta can be in the range of 0 to 256. If no main frame is generated, the positional relationship can be set to 1, for example, according to actual requirements.

特殊な事例で、冗長フレームおよび対応する主フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、冗長フレームと、対応する主フレームとの間のGOP関係の判定がさらに必要になる。例示的には、冗長フレームおよび対応する主フレームが、同一のGOPに属するかどうかが判定される。冗長フレームおよび対応する主フレームが、同一のGOPに属さない場合は、離間されているGOPの数が判定される。 In a special case, when the redundant frame and the corresponding main frame may be arranged in different GOPs, the determination of the GOP relationship between the redundant frame and the corresponding main frame is further performed in order to describe the positional relationship. I need it. Illustratively, it is determined whether the redundant frame and the corresponding main frame belong to the same GOP. If the redundant frame and the corresponding main frame do not belong to the same GOP, the number of separated GOPs is determined.

110．フレームに対応する主フレームの属性情報を判定する。例示的には、prm＿poc＿reset＿flagは、主フレームが、瞬時リフレッシュフレームであるかどうかを示すと仮定され、つまり、フレームが瞬時リフレッシュフレームであれば、フレームのPOCはリセットされる。 110. The attribute information of the main frame corresponding to the frame is determined. Illustratively, prm_poc_reset_flag is assumed to indicate whether the main frame is an instantaneous refresh frame, i.e., if the frame is an instantaneous refresh frame, the POC of the frame is reset.

111．主フレームの符号化データ情報、POC情報、およびフラグ情報、ならびに冗長フレームの符号化データ情報、POC情報、およびフラグ情報を符号化順にビットストリームに符号化し、ここで、主フレームおよび冗長フレームの符号化順は限定されない。 111. The encoded data information, POC information, and flag information of the main frame, and the encoded data information, POC information, and flag information of the redundant frame are encoded into a bitstream in the encoding order. Here, the codes of the main frame and the redundant frame are encoded. The order of formation is not limited.

図9に示すように、この方法は、実施形態1における、1組の典型的な構文構造を含む。 As shown in FIG. 9, the method includes a set of exemplary syntax structures in the first embodiment.

符号化は、この解決策を用いて行われる。これにより、ビットストリームで、主フレームおよび対応する冗長フレームの位置間の間隔を維持することが可能になり、主フレームおよび対応する冗長フレームの両方を損失する可能性が低減され、伝送のロバスト性が高まる。また、デコーダの、主フレームおよび冗長フレームを復号する順序に対する要件がなくなり、これによって伝送の柔軟性が向上する。 Encoding is performed using this solution. This allows the bitstream to maintain the spacing between the position of the main frame and the corresponding redundant frame, reducing the possibility of losing both the main frame and the corresponding redundant frame, and the transmission robustness Will increase. Also, there is no requirement for the order in which the decoder decodes the main frame and the redundant frame, which increases the flexibility of transmission.

実施形態2
本実施形態で提供される映像データの復号方法は、前述の映像データ符号化方法に対応する。図2に示すように、この方法は、
主フレームの復号順序が、対応する冗長フレームの復号順序よりも前であり、主フレームを損失することはなく、現在の復号対象フレームが、主フレームである事例を含む。 Embodiment 2.
The video data decoding method provided in this embodiment corresponds to the video data encoding method described above. As shown in Figure 2, this method
This includes a case where the decoding order of the main frame is earlier than the decoding order of the corresponding redundant frame, the main frame is not lost, and the current decoding target frame is the main frame.

201．復号対象ビットストリームから、復号対象フレームを判定する。 201. A decoding target frame is determined from the decoding target bit stream.

202．フレームが主フレームに属するか、それとも冗長フレームに属するかを示すフラグを導き出すためにビットストリームを解析する。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Aである場合は、フレームは主フレームに属し、具体例はステップ104に対応する。 202. The bitstream is analyzed to derive a flag indicating whether the frame belongs to a main frame or a redundant frame. Illustratively, nal_unit_type may be parsed; if nal_unit_type is PREFIX_SEI_NUT, payloadType is parsed; if payloadType is the value A, the frame belongs to the main frame, and the example corresponds to step 104 .

203．必要に応じて、ビットストリーム情報に従って、フレームと、フレームに対応する冗長フレームとの間の位置関係を導き出すためにビットストリームを解析する。特殊な事例で、位置関係を記述するために、主フレームおよび対応する冗長フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になり、これは、ステップ105に対応する。このステップで取得された情報は、特殊な復号要件のための追加の情報として用いることができる。 203. If necessary, the bitstream is analyzed in order to derive a positional relationship between the frame and the redundant frame corresponding to the frame according to the bitstream information. In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs to describe the positional relationship, the main frame and the corresponding redundant frame are described to describe the positional relationship. Further determination of the GOP relationship between them is necessary, which corresponds to step 105. The information obtained in this step can be used as additional information for special decoding requirements.

204．フレームのPOCを導き出すためにビットストリームを解析するステップであって、これはステップ103に対応する。 204. Parsing the bitstream to derive the POC of the frame, which corresponds to step 103;

205．映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するステップであって、これはステップ102に対応する。 205. Analyzing the bitstream to derive the encoded data information of the frame in accordance with the video compression encoding standard, which corresponds to step 102;

206．フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成する。 206. The decoding target frame is reconstructed according to information obtained by analyzing the bit stream corresponding to the frame.

207．POCによって指定された順序で、復号されたフレームを出力する。 207. Output the decoded frames in the order specified by the POC.

実施形態3
本実施形態で提供される映像データの復号方法は、実施形態1の映像データ符号化方法に対応する。図3に示すように、この方法は、主フレームを復号する順序が、対応する冗長フレームを復号する順序よりも前であり、主フレームが失われることはなく、現在の復号対象フレームが、冗長フレームである事例を含む。 Embodiment 3.
The video data decoding method provided in the present embodiment corresponds to the video data encoding method of the first embodiment. As shown in FIG. 3, in this method, the decoding order of the main frame is earlier than the decoding order of the corresponding redundant frame, the main frame is not lost, and the current decoding target frame is redundant. Includes cases that are frames.

301．復号対象ビットストリームから、復号対象フレームを判定する。 301. A decoding target frame is determined from the decoding target bit stream.

302．フレームが主フレームに属するか、それとも冗長フレームに属するかを示すフラグを導き出すためにビットストリームを解析する。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Bである場合は、フレームは冗長フレームに属し、具体例はステップ108に対応する。 302. The bitstream is analyzed to derive a flag indicating whether the frame belongs to a main frame or a redundant frame. Illustratively, nal_unit_type may be parsed, if nal_unit_type is PREFIX_SEI_NUT, payloadType is parsed, and if payloadType is the value B, the frame belongs to a redundant frame, a specific example corresponding to step 108 .

303．フレームと、フレームに対応する主フレームとの間の位置関係を導き出すためにビットストリームを解析する。特殊な事例で、冗長フレームおよび対応する主フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、冗長フレームと、対応する主フレームとの間のGOP関係の判定がさらに必要になり、これは、ステップ109に対応する。このステップによれば、フレームに対応する主フレームの位置を判定することができる。 303. The bitstream is analyzed to derive a positional relationship between the frame and the main frame corresponding to the frame. In a special case, when the redundant frame and the corresponding main frame may be arranged in different GOPs, the determination of the GOP relationship between the redundant frame and the corresponding main frame is further performed in order to describe the positional relationship. This corresponds to step 109. According to this step, the position of the main frame corresponding to the frame can be determined.

304．主フレームが、ステップ303で得られた位置に生成されたかどうかを確認する。 304. It is confirmed whether the main frame has been generated at the position obtained in step 303.

305．主フレームが生成された場合に、復号対象フレームについての全ての情報を廃棄する。 305. When the main frame is generated, all information about the decoding target frame is discarded.

実施形態4
本実施形態で提供される映像データの復号方法は、実施形態1の映像データ符号化方法に対応する。図4に示すように、この方法は、主フレームの復号順序が、対応する冗長フレームの復号順序より前であり、主フレームが失われ、現在の復号対象フレームが冗長フレームである事例を含む。 Embodiment 4.
The video data decoding method provided in the present embodiment corresponds to the video data encoding method of the first embodiment. As shown in FIG. 4, this method includes a case where the decoding order of the main frame is before the decoding order of the corresponding redundant frame, the main frame is lost, and the current decoding target frame is a redundant frame.

401．復号対象ビットストリームから、復号対象フレームを判定する。 401. A decoding target frame is determined from the decoding target bit stream.

402．フレームが主フレームに属するか、それとも冗長フレームに属するかを示すフラグを導き出すためにビットストリームを解析する。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Bである場合は、フレームは冗長フレームに属し、具体例はステップ108に対応する。 402. The bitstream is analyzed to derive a flag indicating whether the frame belongs to a main frame or a redundant frame. Illustratively, nal_unit_type may be parsed, if nal_unit_type is PREFIX_SEI_NUT, payloadType is parsed, and if payloadType is the value B, the frame belongs to a redundant frame, a specific example corresponding to step 108 .

403．フレームと、フレームに対応する主フレームとの間の位置関係を導き出すためにビットストリームを解析する。特殊な事例で、冗長フレームおよび対応する主フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、冗長フレームと、対応する主フレームとの間のGOP関係の判定がさらに必要になり、これは、ステップ109に対応する。このステップによれば、フレームに対応する主フレームの位置を判定することができる。 403. The bitstream is analyzed to derive a positional relationship between the frame and the main frame corresponding to the frame. In a special case, when the redundant frame and the corresponding main frame may be arranged in different GOPs, the determination of the GOP relationship between the redundant frame and the corresponding main frame is further performed in order to describe the positional relationship. This corresponds to step 109. According to this step, the position of the main frame corresponding to the frame can be determined.

404．主フレームが、ステップ403で得られた位置に生成されたかどうかを確認する。 404. It is confirmed whether the main frame is generated at the position obtained in step 403 .

405．主フレームが生成されなかった場合に、フレームに対応する主フレームの属性情報を導き出すためにビットストリームを解析するステップであって、これはステップ110に対応する。属性情報は、復号対象フレームの属性情報として用いられる。 405. If the main frame is not generated, the step of analyzing the bitstream to derive attribute information of the main frame corresponding to the frame, which corresponds to step 110. The attribute information is used as attribute information of the decoding target frame.

406．フレームのPOCを導き出すためにビットストリームを解析するステップであって、これはステップ107に対応する。POCは、復号対象フレームのPOCとして用いられる。 406. Analyzing the bitstream to derive the POC of the frame, which corresponds to step 107; The POC is used as the POC of the decoding target frame.

407．映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するステップであって、これはステップ106に対応する。 407. Analyzing the bitstream to derive the encoded data information of the frame according to the video compression encoding standard, which corresponds to step 106;

408．フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成する。 408. The decoding target frame is reconstructed according to information obtained by analyzing the bit stream corresponding to the frame.

409．POCによって指定された順序で、復号されたフレームを出力する。 409. Output the decoded frames in the order specified by the POC.

実施形態5
本実施形態で提供される映像データの復号方法は、実施形態1の映像データ符号化方法に対応する。図5に示すように、この方法は、冗長フレームの復号順序が、対応する主フレームの復号順序より前であり、現在の復号対象フレームが冗長フレームである事例を含む。 Embodiment 5.
The video data decoding method provided in the present embodiment corresponds to the video data encoding method of the first embodiment. As shown in FIG. 5, this method includes a case where the decoding order of redundant frames is before the decoding order of corresponding main frames, and the current decoding target frame is a redundant frame.

501．復号対象ビットストリームから、復号対象フレームを判定する。 501. A decoding target frame is determined from the decoding target bit stream.

502．フレームが主フレームに属するか、それとも冗長フレームに属するかを示すフラグを導き出すためにビットストリームを解析する。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Bである場合は、フレームは冗長フレームに属し、具体例はステップ108に対応する。 502. The bitstream is analyzed to derive a flag indicating whether the frame belongs to a main frame or a redundant frame. Illustratively, nal_unit_type may be parsed, if nal_unit_type is PREFIX_SEI_NUT, payloadType is parsed, and if payloadType is the value B, the frame belongs to a redundant frame, a specific example corresponding to step 108 .

503．フレームと、フレームに対応する主フレームとの間の位置関係を導き出すためにビットストリームを解析する。特殊な事例で、冗長フレームおよび対応する主フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、冗長フレームと、対応する主フレームとの間のGOP関係の判定がさらに必要になり、これは、ステップ109に対応する。このステップによれば、フレームに対応する主フレームの位置を判定することができる。 503. The bitstream is analyzed to derive a positional relationship between the frame and the main frame corresponding to the frame. In a special case, when the redundant frame and the corresponding main frame may be arranged in different GOPs, the determination of the GOP relationship between the redundant frame and the corresponding main frame is further performed in order to describe the positional relationship. This corresponds to step 109. According to this step, the position of the main frame corresponding to the frame can be determined.

504．主フレームが、ステップ503で得られた位置に生成されたかどうかを確認する。 504. It is confirmed whether the main frame is generated at the position obtained in step 503.

505．主フレームが生成されなかった場合に、フレームに対応する主フレームの属性情報を導き出すためにビットストリームを解析するステップであって、これはステップ110に対応する。属性情報は、復号対象フレームの属性情報として用いられる。 505. If the main frame is not generated, the step of analyzing the bitstream to derive attribute information of the main frame corresponding to the frame, which corresponds to step 110. The attribute information is used as attribute information of the decoding target frame.

506．フレームのPOCを導き出すためにビットストリームを解析するステップであって、これはステップ107に対応する。POCは、復号対象フレームのPOCとして用いられる。 506. Analyzing the bitstream to derive the POC of the frame, which corresponds to step 107; The POC is used as the POC of the decoding target frame.

507．映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するステップであって、これはステップ106に対応する。 507. Analyzing the bitstream to derive the encoded data information of the frame according to the video compression encoding standard, which corresponds to step 106;

508．フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成する。 508. The decoding target frame is reconstructed according to information obtained by analyzing the bit stream corresponding to the frame.

509．POCによって指定された順序で、復号対象フレームを格納する。 509. Store the frames to be decoded in the order specified by the POC.

510．復号対象フレームに対応する主フレームデータが、所定の遅延後に、解析によって取得されない場合は、POCによって指定された順序で復号されたフレームを出力する。 510. If the main frame data corresponding to the decoding target frame is not obtained by analysis after a predetermined delay, the decoded frames are output in the order specified by the POC.

実施形態6
本実施形態で提供される映像データの復号方法は、前述の映像データ符号化方法に対応する。図6に示すように、この方法は、冗長フレームの復号順序が、対応する主フレームの復号順序より前であり、現在の復号対象フレームが主フレームである事例を含む。 Embodiment 6
The video data decoding method provided in this embodiment corresponds to the video data encoding method described above. As shown in FIG. 6, this method includes a case where the decoding order of redundant frames is before the decoding order of corresponding main frames, and the current decoding target frame is the main frame.

601．復号対象ビットストリームから、復号対象フレームを判定する。 601. A decoding target frame is determined from the decoding target bit stream.

602．フレームが主フレームに属するか、それとも冗長フレームに属するかを示すフラグを導き出すためにビットストリームを解析する。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Aである場合は、フレームは主フレームに属し、具体例はステップ104に対応する。 602. The bitstream is analyzed to derive a flag indicating whether the frame belongs to a main frame or a redundant frame. Illustratively, nal_unit_type may be parsed; if nal_unit_type is PREFIX_SEI_NUT, payloadType is parsed; if payloadType is the value A, the frame belongs to the main frame, and the example corresponds to step 104 .

603．必要に応じて、ビットストリーム情報に従って、フレームと、フレームに対応する冗長フレームとの間の位置関係を導き出すためにビットストリームを解析する。特殊な事例で、位置関係を記述するために、主フレームおよび対応する冗長フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になり、これは、ステップ105に対応する。このステップで取得された情報は、特殊な復号要件のための追加の情報として用いることができる。 603. If necessary, the bitstream is analyzed in order to derive a positional relationship between the frame and the redundant frame corresponding to the frame according to the bitstream information. In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs to describe the positional relationship, the main frame and the corresponding redundant frame are described to describe the positional relationship. Further determination of the GOP relationship between them is necessary, which corresponds to step 105. The information obtained in this step can be used as additional information for special decoding requirements.

604．フレームのPOCを導き出すためにビットストリームを解析するステップであって、これはステップ103に対応する。 604. Parsing the bitstream to derive the POC of the frame, which corresponds to step 103;

605．映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するステップであって、これはステップ102に対応する。 605. Analyzing the bitstream to derive the encoded data information of the frame in accordance with the video compression encoding standard, which corresponds to step 102;

606．フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成する。 606. The decoding target frame is reconstructed according to information obtained by analyzing the bit stream corresponding to the frame.

607．POCによって指定された順序で、復号されたフレームを出力する。 607. Output the decoded frames in the order specified by the POC.

既存の解決策に比べて、実施形態2から実施形態6までにおいて提供された復号方法によれば、主フレームと対応する冗長フレームとの位置関係情報は、ビットストリームに維持されて、ビットストリームで、主フレームの位置と対応する冗長フレームの位置との間隔を保持することが可能になり、これにより、主フレームおよび対応する冗長フレームの両方を損失する可能性が低減され、伝送のロバスト性が高まる。また、デコーダの、主フレームおよび冗長フレームを復号する順序に対する要件がなくなり、これによって伝送の柔軟性が向上する。 Compared with the existing solutions, according to the decoding methods provided in Embodiments 2 to 6, the positional relationship information between the main frame and the corresponding redundant frame is maintained in the bitstream, It is possible to maintain the distance between the position of the main frame and the corresponding redundant frame, thereby reducing the possibility of losing both the main frame and the corresponding redundant frame and increasing the transmission robustness. Rise. Also, there is no requirement for the order in which the decoder decodes the main frame and the redundant frame, which increases the flexibility of transmission.

実施形態7
図7に示すように、本発明のこの実施形態は、映像データ符号化装置1110を提供する。具体的には、本装置は、図1に示すような映像データの符号化方法を実行するように構成された、汎用プロセッサ（例えばCPU）、または専用プロセッサ（例えばGPU）を含むことができる。装置1110は、プロセッサ1111、伝送回路1114、メモリ1112、およびバス1113を含む。具体的には、伝送回路は、符号化後に取得されたビットストリームを送信するように構成することができ、メモリは、処理工程で取得されたデータを格納するように構成され、バスは、通信を行う様々な装置を接続するように構成される。プロセッサ1111は、以下のように構成することができる。 Embodiment 7.
As shown in FIG. 7, this embodiment of the present invention provides a video data encoding device 1110. Specifically, the apparatus may include a general-purpose processor (for example, CPU) or a dedicated processor (for example, GPU) configured to execute the video data encoding method as shown in FIG. The device 1110 includes a processor 1111, a transmission circuit 1114, a memory 1112, and a bus 1113. Specifically, the transmission circuit can be configured to transmit the bitstream acquired after encoding, the memory is configured to store the data acquired in the processing step, and the bus is a communication It is configured to connect various devices that perform. The processor 1111 can be configured as follows.

プロセッサ1111は、符号化対象映像シーケンスから符号化対象フレームを判定するように構成される。 The processor 1111 is configured to determine an encoding target frame from the encoding target video sequence.

プロセッサ1111は、主フレームの符号化データ情報を生成するために、映像圧縮符号化標準で指定された手順に従って、符号化対象フレームを処理するようにさらに構成され、この手順は通常、予測、変換、量子化、エントロピー符号化、フィルタリング等を含み、映像圧縮標準は、H．264、H．265、SVC等であり、符号化データ情報は、予測モード情報、パーティショニングモード情報、変換モード情報、量子化パラメータ情報、フィルタリングパラメータ、残差情報等を含む。 The processor 1111 is further configured to process the frame to be encoded according to the procedure specified in the video compression encoding standard to generate encoded data information for the main frame, which procedure is usually predicted, converted , Quantization, entropy coding, filtering, etc. 264, H.I. The encoded data information includes prediction mode information, partitioning mode information, transform mode information, quantization parameter information, filtering parameters, residual information, and the like.

プロセッサ1111は、フレームに対してPOCを判定するようにさらに構成される。POCは、映像シーケンスにおける、符号化されたフレームの表示順を表す。主フレームおよび冗長フレームは、同一の符号化されたフレームに対応している。したがって、主フレームのPOCが冗長フレームのPOCと同一になるのを防止するために、例示的には、各主フレームが最大で1つの対応する冗長フレームを有する場合に、主フレームのPOCは連続した偶数に限定されてもよく、冗長フレームのPOCは奇数に限定されてもよい。具体的には、冗長フレームのPOCは、対応する主フレームのPOCに1を加えた数に設定されてもよい。 The processor 1111 is further configured to determine a POC for the frame. POC represents the display order of encoded frames in a video sequence. The main frame and the redundant frame correspond to the same encoded frame. Thus, to prevent the POC of the main frame from being the same as the POC of the redundant frame, illustratively, the POC of the main frame is continuous when each main frame has at most one corresponding redundant frame. The POC of the redundant frame may be limited to an odd number. Specifically, the POC of the redundant frame may be set to a number obtained by adding 1 to the POC of the corresponding main frame.

プロセッサ1111は、フレームに対して、主フレームのフラグを判定するようにさらに構成される。例示的には、フラグビットをPREFIX＿SEI＿NUTに追加することができる。値Aが記述されている場合は、フレームは主フレームであり、値Bが記述されている場合は、フレームは冗長フレームである。 The processor 1111 is further configured to determine a flag of the main frame for the frame. Illustratively, flag bits may be added to PREFIX_SEI_NUT. When the value A is described, the frame is a main frame, and when the value B is described, the frame is a redundant frame.

必要に応じて、プロセッサ1111は、フレームと、フレームに対応する冗長フレームとの位置関係を判定するようにさらに構成される。例示的には、現在の主フレームのPOCは、currPicOrderCntValで表され、対応する冗長フレームのPOCは、rdnPicOrderCntValで表され、この2つのフレームのPOC差分は、pic＿order＿cnt＿deltaで表されると仮定される。冗長フレームが生成された場合、位置関係pic＿order＿cnt＿delta＝rdnPicOrderCntVal−currPicOrderCntValで、pic＿order＿cnt＿deltaは、正の値かまたは負の値であってもよく、主フレームと、対応する冗長フレームとの間の順序関係を表し、pic＿order＿cnt＿deltaの絶対値は、0から256までの範囲とすることができる。冗長フレームが生成されなかった場合、位置関係は、実際の要件に従って、例えば1に設定することができる。 If necessary, the processor 1111 is further configured to determine a positional relationship between the frame and a redundant frame corresponding to the frame. Illustratively, it is assumed that the current main frame POC is represented by currPicOrderCntVal, the corresponding redundant frame POC is represented by rdnPicOrderCntVal, and the POC difference of the two frames is represented by pic_order_cnt_delta. When a redundant frame is generated, the positional relationship pic_order_cnt_delta = rdnPicOrderCntVal−currPicOrderCntVal, and pic_order_cnt_delta may be a positive value or a negative value, and represents an order relationship between the main frame and the corresponding redundant frame. , Pic_order_cnt_delta can have an absolute value ranging from 0 to 256. If a redundant frame is not generated, the positional relationship can be set to 1, for example, according to actual requirements.

特殊な事例で、主フレームおよび対応する冗長フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になる。例示的には、主フレームおよび対応する冗長フレームが、同一のGOPに属するかどうかが判定される。主フレームおよび対応する冗長フレームが、同一のGOPに属さない場合は、離間されているGOPの数が判定される。 In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs, the determination of the GOP relationship between the main frame and the corresponding redundant frame is further performed in order to describe the positional relationship. I need it. Illustratively, it is determined whether the main frame and the corresponding redundant frame belong to the same GOP. If the main frame and the corresponding redundant frame do not belong to the same GOP, the number of spaced GOPs is determined.

必要に応じて、プロセッサ1111は、冗長フレームの符号化データ情報を生成するために、映像圧縮符号化標準で指定された手順に従って、符号化対象フレームを処理するようにさらに構成され、この手順は通常、予測、変換、量子化、エントロピー符号化、フィルタリング等を含み、映像圧縮標準は、H．264、H．265、SVC等であってもよいが、通常は対応する主フレームの圧縮に用いられる圧縮標準と同一であり、符号化データ情報は、予測モード情報、パーティショニングモード情報、変換モード情報、量子化パラメータ情報、フィルタリングパラメータ、残差情報等を含み、生成された対応する主フレームの情報と同一であるか、または異なっていてもよい。 Optionally, the processor 1111 is further configured to process the frame to be encoded according to the procedure specified in the video compression encoding standard to generate redundant frame encoded data information, the procedure comprising: Usually, including prediction, transformation, quantization, entropy coding, filtering, etc., the video compression standard is H.264. 264, H.I. 265, SVC, etc., but is usually the same compression standard used for compression of the corresponding main frame, and the encoded data information includes prediction mode information, partitioning mode information, conversion mode information, quantization It includes parameter information, filtering parameters, residual information, etc., and may be the same as or different from the generated corresponding main frame information.

プロセッサ1111は、フレームに対してPOCを判定するようにさらに構成され、POC判定方法は、ステップ103と一致する。 The processor 1111 is further configured to determine the POC for the frame, and the POC determination method is consistent with step 103.

プロセッサ1111は、フレームに対して、冗長フレームのフラグを判定するようにさらに構成される。例示的には、フラグビットをPREFIX＿SEI＿NUTに追加することができる。値Aが書き込まれている場合は、フレームは主フレームであり、もしくは値Bが書き込まれている場合は、フレームは冗長フレームであって、冗長フレームのフラグを判定する方式は、ステップ104と一致する。 The processor 1111 is further configured to determine a redundant frame flag for the frame. Illustratively, flag bits may be added to PREFIX_SEI_NUT. If the value A is written, the frame is the main frame, or if the value B is written, the frame is a redundant frame, and the method for determining the flag of the redundant frame is the same as step 104 To do.

プロセッサ1111は、フレームと、フレームに対応する主フレームとの位置関係を判定するようにさらに構成される。例示的には、主フレームが生成された場合、位置関係pic＿order＿cnt＿delta＝currPicOrderCntVal−rdnPicOrderCntValで、pic＿order＿cnt＿deltaは、正の値かまたは負の値であってもよく、冗長フレームと、対応する主フレームとの間の順序関係を表し、pic＿order＿cnt＿deltaの絶対値は、0から256までの範囲とすることができる。主フレームが生成されなかった場合、位置関係は、実際の要件に従って、例えば1に設定することができる。 The processor 1111 is further configured to determine a positional relationship between the frame and a main frame corresponding to the frame. Illustratively, when a main frame is generated, the positional relationship pic_order_cnt_delta = currPicOrderCntVal−rdnPicOrderCntVal, and pic_order_cnt_delta may be a positive value or a negative value, and between a redundant frame and a corresponding main frame The absolute value of pic_order_cnt_delta can be in the range of 0 to 256. If no main frame is generated, the positional relationship can be set to 1, for example, according to actual requirements.

プロセッサ1111は、フレームに対応する主フレームの属性情報を判定するようにさらに構成される。例示的には、prm＿poc＿reset＿flagは、主フレームが、瞬時リフレッシュフレームであるかどうかを示すと仮定され、つまり、フレームが瞬時リフレッシュフレームであれば、フレームのPOCはリセットされる。 The processor 1111 is further configured to determine main frame attribute information corresponding to the frame. Illustratively, prm_poc_reset_flag is assumed to indicate whether the main frame is an instantaneous refresh frame, i.e., if the frame is an instantaneous refresh frame, the POC of the frame is reset.

プロセッサ1111は、主フレームの符号化データ情報、POC情報、およびフラグ情報、ならびに冗長フレームの符号化データ情報、POC情報、およびフラグ情報を符号化順にビットストリームに符号化するようにさらに構成され、ここで、主フレームおよび冗長フレームの符号化順は制限されない。 The processor 1111 is further configured to encode the encoded data information of the main frame, the POC information, and the flag information, and the encoded data information of the redundant frame, the POC information, and the flag information into a bitstream in the encoding order; Here, the encoding order of the main frame and the redundant frame is not limited.

本発明のこの実施形態で提供される、映像データ符号化装置によれば、ビットストリームで、主フレームの位置と対応する冗長フレームの位置との間隔を維持することが可能になり、主フレームおよび対応する冗長フレームの両方を損失する可能性が低減され、伝送のロバスト性が高まる。また、デコーダの、主フレームおよび冗長フレームを復号する順序に対する要件がなくなり、これによって伝送の柔軟性が向上する。 According to the video data encoding apparatus provided in this embodiment of the present invention, it becomes possible to maintain the interval between the position of the main frame and the position of the corresponding redundant frame in the bit stream. The possibility of losing both corresponding redundant frames is reduced and transmission robustness is increased. Also, there is no requirement for the order in which the decoder decodes the main frame and the redundant frame, which increases the flexibility of transmission.

実施形態8
図8に示すように、本発明のこの実施形態は、映像データ復号装置1000を提供する。具体的には、本装置は、図2に示すような映像データの復号方法を実行するように構成された、汎用プロセッサ（例えばCPU）、または専用プロセッサ（例えばGPU）を含むことができる。装置1000は、プロセッサ1001、受信回路1004、メモリ1002、およびバス1003を含む。具体的には、受信回路は、符号化されたビットストリームを受信するように構成することができ、メモリは、処理工程で取得されたデータを格納するように構成され、バスは、通信を行う様々な装置を接続するように構成される。前述の装置は、図2に示すような映像データの復号方法を実行するように構成され、プロセッサ1001は、以下のように構成することができる。 Embodiment 8.
As shown in FIG. 8, this embodiment of the present invention provides a video data decoding device 1000. Specifically, the apparatus can include a general-purpose processor (for example, CPU) or a dedicated processor (for example, GPU) configured to execute the video data decoding method as shown in FIG. The apparatus 1000 includes a processor 1001, a receiving circuit 1004, a memory 1002, and a bus 1003. Specifically, the receiving circuit can be configured to receive an encoded bitstream, the memory is configured to store data acquired in a processing step, and the bus communicates It is configured to connect various devices. The above-described apparatus is configured to execute the video data decoding method as shown in FIG. 2, and the processor 1001 can be configured as follows.

プロセッサ1001は、復号対象ビットストリームから、復号対象フレームを判定するように構成される。 The processor 1001 is configured to determine a decoding target frame from the decoding target bitstream.

プロセッサ1001は、フレームが、主フレームに属するか、それとも冗長フレームに属するかを判定するようにさらに構成される。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Aである場合は、フレームは主フレームに属する。 The processor 1001 is further configured to determine whether the frame belongs to a main frame or a redundant frame. For example, nal_unit_type may be analyzed. When nal_unit_type is PREFIX_SEI_NUT, payloadType is analyzed, and when payloadType is value A, the frame belongs to the main frame.

必要に応じて、プロセッサ1001は、ビットストリーム情報に従って、フレームと、フレームに対応する冗長フレームとの位置関係を判定するようにさらに構成される。特殊な事例で、主フレームおよび対応する冗長フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になる。 If necessary, the processor 1001 is further configured to determine a positional relationship between a frame and a redundant frame corresponding to the frame according to the bitstream information. In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs, the determination of the GOP relationship between the main frame and the corresponding redundant frame is further performed in order to describe the positional relationship. I need it.

プロセッサ1001は、フレームのPOCを判定するようにさらに構成される。 The processor 1001 is further configured to determine the POC of the frame.

プロセッサ1001は、映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するようにさらに構成される。 The processor 1001 is further configured to analyze the bitstream to derive the encoded data information of the frame according to the video compression encoding standard.

プロセッサ1001は、フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成するように、さらに構成される。 The processor 1001 is further configured to reconstruct the decoding target frame according to information obtained by analyzing the bitstream corresponding to the frame.

プロセッサ1001は、POCによって指定された順序で、復号されたフレームを出力するようにさらに構成される。 The processor 1001 is further configured to output the decoded frames in the order specified by the POC.

実施形態9
本発明のこの実施形態は、図3に示す映像データ復号方法を実行するように構成されたプロセッサを含む、映像データ復号装置を提供する。プロセッサは、具体的には以下のように構成することができる。 Embodiment 9.
This embodiment of the present invention provides a video data decoding device including a processor configured to execute the video data decoding method shown in FIG. Specifically, the processor can be configured as follows.

プロセッサは、復号対象ビットストリームから、復号対象フレームを判定するように構成される。 The processor is configured to determine a decoding target frame from the decoding target bitstream.

プロセッサは、フレームが、主フレームに属するか、それとも冗長フレームに属するかを判定するようにさらに構成される。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Bである場合は、フレームは冗長フレームに属する。 The processor is further configured to determine whether the frame belongs to a main frame or a redundant frame. For example, nal_unit_type may be analyzed. When nal_unit_type is PREFIX_SEI_NUT, payloadType is analyzed, and when payloadType is a value B, the frame belongs to a redundant frame.

プロセッサは、フレームと、フレームに対応する主フレームとの位置関係を判定するようにさらに構成される。特殊な事例で、冗長フレームおよび対応する主フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、冗長フレームと、対応する主フレームとの間のGOP関係の判定がさらに必要になる。 The processor is further configured to determine a positional relationship between the frame and a main frame corresponding to the frame. In a special case, when the redundant frame and the corresponding main frame may be arranged in different GOPs, the determination of the GOP relationship between the redundant frame and the corresponding main frame is further performed in order to describe the positional relationship. I need it.

プロセッサは、主フレームが、前述によって得られた位置で生成されたかどうかを判定するように、さらに構成される。 The processor is further configured to determine whether the main frame has been generated at the position obtained by the foregoing.

プロセッサは、主フレームが生成された場合に、復号対象フレームについての全ての情報を廃棄するようにさらに構成される。 The processor is further configured to discard all information about the decoding target frame when the main frame is generated.

実施形態10
本発明のこの実施形態は、図4に示す映像データ復号方法を実行するように構成されたプロセッサを含む、映像データ復号装置を提供する。プロセッサは、具体的には以下のように構成することができる。 Embodiment 10
This embodiment of the present invention provides a video data decoding apparatus including a processor configured to execute the video data decoding method shown in FIG. Specifically, the processor can be configured as follows.

プロセッサは、主フレームが生成されなかった場合に、フレームに対応する主フレームの属性情報を判定するように構成される。 The processor is configured to determine attribute information of the main frame corresponding to the frame when the main frame is not generated.

プロセッサは、フレームのPOCを判定するようにさらに構成される。 The processor is further configured to determine the POC of the frame.

プロセッサは、映像圧縮符号化標準に従って、フレームの符号化データ情報を導き出すためにビットストリームを解析するようにさらに構成される。 The processor is further configured to analyze the bitstream to derive encoded data information for the frame according to a video compression encoding standard.

プロセッサは、フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成するように構成される。 The processor is configured to reconstruct a decoding target frame according to information obtained by analyzing a bitstream corresponding to the frame.

プロセッサは、POCによって指定された順序で、復号されたフレームを出力するようにさらに構成される。 The processor is further configured to output the decoded frames in the order specified by the POC.

実施形態11
本発明のこの実施形態は、図5に示す映像データ復号方法を実行するように構成されたプロセッサを含む、映像データ復号装置を提供する。プロセッサは、具体的には以下のように構成することができる。 Embodiment 11.
This embodiment of the present invention provides a video data decoding apparatus including a processor configured to execute the video data decoding method shown in FIG. Specifically, the processor can be configured as follows.

プロセッサは、主フレームが、前述の位置で生成されたかどうかを判定するように、さらに構成される。 The processor is further configured to determine whether a main frame has been generated at the aforementioned location.

プロセッサは、フレームに対応するビットストリームを解析によって取得された情報に従って、復号対象フレームを再構成するように、さらに構成される。 The processor is further configured to reconstruct the decoding target frame in accordance with information obtained by analyzing the bitstream corresponding to the frame.

プロセッサは、POCによって指定された順序で、復号対象フレームを格納するようにさらに構成される。 The processor is further configured to store the decoding target frames in the order specified by the POC.

プロセッサは、復号対象フレームに対応する主フレームデータが、所定の遅延後に、解析によって取得されない場合は、POCによって指定された順序で復号されたフレームを出力するように構成される。 The processor is configured to output frames decoded in the order specified by the POC if main frame data corresponding to the decoding target frame is not obtained by analysis after a predetermined delay.

実施形態12
本発明のこの実施形態は、図6に示す映像データ復号方法を実行するように構成されたプロセッサを含む、映像データ復号装置を提供する。プロセッサは、具体的には以下のように構成することができる。 Embodiment 12.
This embodiment of the present invention provides a video data decoding apparatus including a processor configured to execute the video data decoding method shown in FIG. Specifically, the processor can be configured as follows.

プロセッサは、フレームが、主フレームに属するか、それとも冗長フレームに属するかを判定するようにさらに構成される。例示的には、nal＿unit＿typeが解析されてもよく、nal＿unit＿typeがPREFIX＿SEI＿NUTである場合は、payloadTypeが解析され、payloadTypeが値Aである場合は、フレームは主フレームに属する。 The processor is further configured to determine whether the frame belongs to a main frame or a redundant frame. For example, nal_unit_type may be analyzed. When nal_unit_type is PREFIX_SEI_NUT, payloadType is analyzed, and when payloadType is value A, the frame belongs to the main frame.

必要に応じて、プロセッサは、ビットストリーム情報に従って、フレームと、フレームに対応する冗長フレームとの位置関係を判定するように構成される。特殊な事例で、主フレームおよび対応する冗長フレームが異なるGOPに配置されてもよいときは、位置関係を記述するために、主フレームと、対応する冗長フレームとの間のGOP関係の判定がさらに必要になる。 If necessary, the processor is configured to determine a positional relationship between the frame and a redundant frame corresponding to the frame according to the bitstream information. In special cases, when the main frame and the corresponding redundant frame may be arranged in different GOPs, the determination of the GOP relationship between the main frame and the corresponding redundant frame is further performed in order to describe the positional relationship. I need it.

本発明の実施形態7から実施形態12までにおいて提供された復号装置によれば、主フレームと対応する冗長フレームとの位置関係情報は復号することができ、これによって、ビットストリームで、主フレームの位置と、対応する冗長フレームの位置との間隔を維持することが可能になり、これにより、主フレームおよび対応する冗長フレームの両方を損失する可能性が低減され、伝送のロバスト性が高まる。また、デコーダの、主フレームおよび冗長フレームを復号する順序に対する要件がなくなり、これによって伝送の柔軟性が向上する。 According to the decoding device provided in the seventh to twelfth embodiments of the present invention, the positional relationship information between the main frame and the corresponding redundant frame can be decoded. It is possible to maintain the distance between the position and the position of the corresponding redundant frame, thereby reducing the possibility of losing both the main frame and the corresponding redundant frame and increasing the robustness of the transmission. Also, there is no requirement for the order in which the decoder decodes the main frame and the redundant frame, which increases the flexibility of transmission.

本発明の実施形態では、符号化処理において、符号化対象情報群に対応する主情報群を生成するステップと、符号化対象情報群に対応する冗長情報群を生成するステップとは順不同であることにさらに留意すべきである。本発明の実施形態は、符号化対象情報群に対応する主情報群を生成するステップが、符号化対象情報群に対応する冗長情報群を生成するステップの前に形成されることを、必ずしも必要としていない。これに対応して、復号処理において、本発明のこの実施形態もまた、解析によって復号対象情報群に対応する主情報群を取得するステップと、解析によって復号対象情報群に対応する冗長情報群を取得するステップとの順序を限定しない。 In the embodiment of the present invention, in the encoding process, the step of generating the main information group corresponding to the encoding target information group and the step of generating the redundant information group corresponding to the encoding target information group are in no particular order. It should be further noted that. The embodiment of the present invention necessarily requires that the step of generating the main information group corresponding to the encoding target information group is formed before the step of generating the redundant information group corresponding to the encoding target information group. Not. Correspondingly, in the decoding process, this embodiment of the present invention also includes a step of obtaining a main information group corresponding to the decoding target information group by analysis, and a redundant information group corresponding to the decoding target information group by analysis. There is no limitation on the order of steps to be acquired.

簡便かつ簡潔な説明のために、前述のシステム、装置、およびユニットの詳細な作業工程については、前述の方法の実施形態の対応する工程を参照することができ、ここでは再度詳細に説明されないことが、当業者には明確に理解されよう。 For the sake of simplicity and concise description, for detailed working steps of the aforementioned systems, devices and units, reference may be made to the corresponding steps of the foregoing method embodiments, which will not be described again in detail here. However, it will be clearly understood by those skilled in the art.

この用途で提供されるいくつかの実施形態において、開示されたシステム、装置、および方法は、他の方法で実施されてもよいことが理解されるべきである。例えば、説明された装置の実施形態は、単なる例示である。例えば、ユニット分割は、単なる論理的機能分割であって、実際の実施においては他の分割であってもよい。例えば、複数のユニットまたは構成要素が、別のシステムと組み合わせられるか、またはこれと一体化されてもよく、あるいはいくつかの特徴は、無視するかまたは実行しなくてもよい。また、示されるかあるいは論じられた、相互結合または直接結合、もしくは通信接続は、いくつかのインターフェースを用いて実施されてもよい。装置間またはユニット間の間接的結合もしくは通信接続は、電子的形態、機械的形態、または他の形態で実施されてもよい。 It should be understood that in some embodiments provided for this application, the disclosed systems, devices, and methods may be implemented in other ways. For example, the described apparatus embodiment is merely exemplary. For example, the unit division is merely logical function division and may be other division in actual implementation. For example, multiple units or components may be combined with or integrated with another system, or some features may be ignored or not performed. Also, the mutual or direct coupling or communication connection shown or discussed may be implemented using several interfaces. Indirect coupling or communication connections between devices or units may be implemented in electronic form, mechanical form, or other form.

個別の部分として説明されたユニットは、物理的に分離していても分離していなくてもよく、また、ユニットとして示された部分は、物理的ユニットであってもそうでなくてもよく、すなわち、1つの位置に配置されても、複数のネットワークユニット上に分散していてもよい。実施形態の解決策の目的を達成するための実際の必要性に応じて、ユニットの一部または全体を選択してもよい。 A unit described as a separate part may or may not be physically separated, and a part shown as a unit may or may not be a physical unit, That is, they may be arranged at one position or distributed over a plurality of network units. Depending on the actual need to achieve the objectives of the solution of the embodiments, some or all of the units may be selected.

また、本発明の実施形態における機能ユニットは、1つの処理ユニットに一体化されてもよく、またはユニットのそれぞれが単独で物理的に存在してもよく、または2つ以上のユニットが1つのユニットに一体化されてもよい。一体化されたユニットは、ハードウェアの形態で実施されてもよく、またはソフトウェアの機能ユニットに付加したハードウェアの形態で実施されてもよい。 In addition, the functional unit in the embodiment of the present invention may be integrated into one processing unit, or each of the units may be physically present alone, or two or more units may be one unit. May be integrated. The integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware added to the software functional unit.

前述の一体型ユニットが、ソフトウェアの機能ユニットの形態で実施されるとき、この一体型ユニットは、コンピュータ可読記憶媒体の中に格納されてもよい。ソフトウェア機能ユニットは、記憶媒体に格納され、本発明の実施形態で説明された方法のいくつかのステップを実行するように、コンピュータ機器（例えばパーソナルコンピュータ、サーバ、またはネットワーク装置）に指示するのに用いられるいくつかの命令を含んでいる。前述の記憶媒体には、USBフラッシュドライブ、着脱式ハードディスク、ROM（Read−Only Memory、読み出し専用メモリ）、RAM（Random Access Memory、ランダムアクセスメモリ）、磁気ディスク、または光ディスク等、プログラムコードを格納できる任意の媒体が含まれる。 When the aforementioned integrated unit is implemented in the form of a software functional unit, this integrated unit may be stored in a computer-readable storage medium. A software functional unit is stored on a storage medium and directs a computer device (eg, a personal computer, server, or network device) to perform some steps of the methods described in the embodiments of the present invention. Contains several instructions used. Program codes such as USB flash drives, removable hard disks, ROM (Read-Only Memory), RAM (Random Access Memory), magnetic disks, or optical disks can be stored in the storage medium described above. Any medium is included.

最後に、前述の実施形態は、単に本発明の技術的解決策を説明することが意図されており、本発明を限定することは意図していないことに留意されたい。本発明は、前述の実施形態を参照しながら詳細に説明されているが、本発明の実施形態の技術的解決策の精神および範囲から逸脱することなく、前述の実施形態で説明した技術的解決策にさらに修正を加えたり、あるいはそのいくつかの技術的特徴を均等物で置き換えられることが、当業者には理解されるべきである。 Finally, it should be noted that the foregoing embodiments are merely intended to illustrate the technical solutions of the present invention and are not intended to limit the present invention. Although the present invention has been described in detail with reference to the foregoing embodiments, the technical solutions described in the foregoing embodiments have been described without departing from the spirit and scope of the technical solutions of the embodiments of the present invention. It should be understood by those skilled in the art that further modifications can be made to the strategy, or some technical features thereof can be replaced by equivalents.

1000 映像データ復号装置
1001 プロセッサ
1002 メモリ
1003 バス
1004 受信回路
1008 処理ユニット
1110 映像データ符号化装置
1111 プロセッサ
1112 メモリ
1113 バス
1114 伝送回路
1203 判定ユニット 1000 Video data decoder
1001 processor
1002 memory
1003 bus
1004 Receiver circuit
1008 Processing unit
1110 Video data encoder
1111 processor
1112 memory
1113 bus
1114 Transmission circuit
1203 Judgment unit

Claims

Determining an encoding target information group in the encoding target video sequence;
Generating a main information group corresponding to the encoding target information group, wherein the main information group is first data information, and the encoding target information group is a main information group or a redundant information group. Including instruction information indicating whether or not, and position information of the main information group;
A step of generating a redundant information group corresponding to the encoding target information group, wherein the redundant information group includes second data information, position information of the redundant information group, and the encoding target information group includes main information. Including instruction information indicating whether it is a group or a redundant information group, and positional relationship information between the redundant information group and the main information group,
Encoding the main information group and the redundant information group into a bit stream.

The position information of the main information group includes the position of the main information group in the bitstream, the order of the main information group in the encoding process, or the picture display order of the main information group,
The position information of the redundant information group includes a position of the redundant information group in the bitstream, an order of the redundant information group in an encoding process, or a picture display order of the redundant information group.
The method of claim 1.

The positional relationship information includes an absolute value of a positional difference between the order of the redundant information group and the main information group,
The absolute value of the positional difference and the order are the absolute values of the positional difference between the order of the main information group and the redundant information group in the bitstream, or the main information group in the encoding process and 3. The method according to claim 2, comprising an absolute value of an order difference between the orders of the redundant information group or an absolute value of an order difference of picture display between the orders of the main information group and the redundant information group. .

The positional relationship information is
The method according to claim 3, further comprising flag information indicating whether the position information of the redundant information group and the position information of the main information group belong to the same picture group.

When the positional information of the redundant information group and the positional information of the main information group do not belong to the same picture group, the positional information is separated from the redundant information group and the main information group. 5. The method of claim 4, further comprising the number of picture groups that are present.

4. The method according to claim 3, wherein the positional relationship information further includes a number of picture groups in which the redundant information group and the main information group are separated from each other.

The step of generating a redundant information group corresponding to the encoding target information group includes:
Determining whether the main information group has been generated;
When the main information group is not generated, predetermined positional relationship information is set as the positional relationship information of the redundant information group and the main information group, and the second data information and the redundant information are set. Generating the position information of a group, or when the main information group is generated, using the positional relationship information as the positional relationship information of the redundant information group and the main information group, the redundant information And calculating the positional relationship information of a group and the main information group to generate the second data information and the positional information of the redundant information group. The method described in 1.

The step of generating a main information group corresponding to the encoding target information group includes:
Determining whether the redundant information group has been generated;
If the redundant information group is not generated, the predetermined positional relationship information of the main information group and the redundant information group is set as the positional relationship information between the redundant information group and the main information group. Generating the position information of the first data information and the main information group, or if the redundant information group is generated, the positional relationship information is stored in the redundant information group and the main information group. Using as the positional relationship information, calculating the positional relationship information of the redundant information group and the main information group, and generating the first data information and the positional information of the main information group, and A method according to any one of claims 1 to 6.

When the position information is in the picture display order, the main information group corresponding to the encoding target information group is generated, and the redundant information group corresponding to the encoding target information group is generated The method comprises:
Setting the picture display order of the main information group and the redundant information group according to a predetermined rule so that the picture display order of the main information group is different from the picture display order of the redundant information group The method of claim 2, further comprising:

Setting the picture display order of the main information group and the redundant information group according to a predetermined rule such that the picture display order of the main information group is different from the picture display order of the redundant information group Step is
Setting the picture display order of the main information group to consecutive even numbers, and setting the picture display order of the redundant information group to a number obtained by adding 1 to the picture display order of the corresponding main information group The method of claim 9, comprising:

The main information group is:
11. The method according to claim 1, further comprising the positional relationship information between the redundant information group and the main information group.

The redundant information group is
12. The method according to claim 1, further comprising attribute information of the main information group corresponding to the redundant information group.

The attribute information of the main information group is
Including information that the main information group indicating whether belonging instantly refresh frame The method of claim 12.

The method according to any one of claims 1 to 13, wherein the encoding target information group includes any one or more of a picture, a frame, a slice, a tile, or a set of basic encoding units.

15. The position relationship information is arranged in at least one of additional extension information, a network abstraction layer unit header, a slice header, a frame header, a tile header, or a picture parameter set. The method according to item.

The instruction information indicating whether the encoding target information group is a main information group or a redundant information group, and the attribute information of the main information group corresponding to the redundant information group include additional extended information, network abstraction 14. The method according to claim 12 or 13, wherein the method is arranged in at least one of a layered unit header, a slice header, a frame header, a tile header, or a picture parameter set.

Obtaining a decoding target bitstream and determining a decoding target information group;
A step of obtaining a main information group corresponding to the decoding target information group by analysis, wherein the main information group is first data information, and the decoding target information group is the main information group or redundant information; Including instruction information indicating whether it is a group, as well as position information of the main information group;
A step of obtaining a redundant information group corresponding to the decoding target information group by analysis, wherein the redundant information group includes second data information, position information of the redundant information group, and the decoding target information group includes Including instruction information indicating whether it is an information group or a redundant information group, and positional relationship information between the redundant information group and the main information group, and the positional relationship information between the redundant information group and the main information group Is used to estimate the position information of the main information group; and
Obtaining a decoded information group based on the main information group obtained by analysis or the redundant information group obtained by analysis, wherein the decoded information group is encoded video; Steps used for sequence reconstruction, and
Video data decoding method.

The position information of the main information group includes the position of the main information group in the bitstream, the order of the main information group in the encoding process, or the picture display order of the main information group,
The position information of the redundant information group includes a position of the redundant information group in the bitstream, an order of the redundant information group in an encoding process, or a picture display order of the redundant information group.
The decoding method according to claim 17.

The positional relationship information includes an absolute value of a positional difference between the order of the redundant information group and the main information group,
The absolute value of the position difference and the order are absolute values of the position difference between the order of the main information group and the redundant information group in the bitstream, or the main information group in the encoding process, and An absolute value of an order difference between the order of the redundant information group, or an absolute value of an order difference of picture display between the order of the main information group and the redundant information group,
19. The decoding method according to claim 18.

The positional relationship information is
20. The decoding method according to claim 19, further comprising: flag information indicating whether the position information of the redundant information group and the position information of the main information group belong to the same picture group.

When the positional information of the redundant information group and the positional information of the main information group do not belong to the same picture group, the positional information is separated from the redundant information group and the main information group. The decoding method according to claim 20, further comprising a number of picture groups.

20. The decoding method according to claim 19, wherein the positional relationship information further includes the number of picture groups in which the redundant information group and the main information group are separated from each other.

The step of obtaining a redundant information group corresponding to the decoding target information group by analysis,
Determining whether the main information group has been correctly acquired by analysis; and
When the main information group is correctly acquired by analysis, the analysis of the decoding target information group is stopped without further acquiring the redundant information group corresponding to the decoding target information group by analysis, Obtaining the decoded information group based on the main information group obtained by analysis, wherein the decoded information group is used for the reconstruction of the encoded video sequence; Alternatively, if the main information group is not correctly acquired by analysis, the acquisition by the analysis of the redundant information group corresponding to the decoding target information group is continued, and the redundant information group includes the second data information and the redundant information. The position information of the group, the instruction information indicating whether the decoding target information group is a main information group or a redundant information group, and the redundant information group and the main information group Including the positional relationship information, and the positional relationship information between the redundant information group and the main information group is used to estimate the positional information of the main information group, and based on the redundant information group obtained by analysis The decoded information group is acquired, and the decoded information group includes a step used for the reconstruction of the encoded video sequence. The decoding method according to item.

When the position information is in the picture display order, the main information group corresponding to the decoding target information group is generated, and the redundant information group corresponding to the decoding target information group is generated, The method is
Checking the picture display order of the main information group and the redundant information group according to a picture display order set according to a predetermined rule of the main information group and the redundant information group, the main information group 19. The decoding method according to claim 18, further comprising a step in which the picture display order of a group is different from the picture display order of the redundant information group.

The picture display order of the main information group is set to a continuous even number, and the picture display order of the redundant information group is set to a number obtained by adding 1 to the picture display order of the corresponding main information group, The decoding method according to claim 24.

The redundant information group is
26. The decoding method according to claim 17, further comprising attribute information of the main information group corresponding to the redundant information group.

The attribute information of the main information group is
Including information that the main information group indicating whether belonging instantly refresh frame, the decoding method according to claim 26.

28. The decoding method according to claim 17, wherein the decoding target information group includes any one or more of a picture, a frame, a slice, a tile, or a set of basic encoding units.

30. The one of claims 17 to 28, wherein the positional relationship information is arranged in at least one of additional extension information, a network abstraction layer unit header, a slice header, a frame header, a tile header, or a picture parameter set. The decoding method according to item.

The instruction information indicating whether the decoding target information group is a main information group or a redundant information group, and the attribute information of the main information group corresponding to the redundant information group include additional extended information, network abstraction 28. The decoding method according to claim 26 or 27, arranged in at least one of a layer unit header, a slice header, a frame header, a tile header, or a picture parameter set.

The encoding target information group is determined in the encoding target video sequence,
A main information group corresponding to the encoding target information group is generated, and the main information group indicates first data information, whether the encoding target information group is a main information group or a redundant information group Including instruction information and position information of the main information group,
A redundant information group corresponding to the encoding target information group is generated. The redundant information group is second data information, position information of the redundant information group, and whether the encoding target information group is a main information group. Including instruction information indicating whether it is a redundant information group, and positional relationship information between the redundant information group and the main information group,
Configured to encode the main information group and the redundant information group into a bitstream;
An apparatus for encoding video data, comprising a processor.

Obtain a decoding target bitstream, determine a decoding target information group,
By analyzing, a main information group corresponding to the decoding target information group is obtained, the main information group is first data information, and the instruction information indicating whether the decoding target information group is the main information group or the redundant information group And position information of the main information group,
By analyzing, a redundant information group corresponding to the decoding target information group is obtained, the redundant information group is second data information, position information of the redundant information group, and the decoding target information group is the main information group or Instruction information indicating whether it is a redundant information group, and positional relationship information between the redundant information group and the main information group, and the positional relationship information between the redundant information group and the main information group is the information of the main information group Used to estimate location information,
A decoded information group is acquired based on the main information group acquired by analysis or the redundant information group acquired by analysis, and the decoded information group is reconstructed of an encoded video sequence. Configured to be used for
A video data decoding apparatus comprising a processor.