JP7085416B2 - Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program - Google Patents
Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program Download PDFInfo
- Publication number
- JP7085416B2 JP7085416B2 JP2018118447A JP2018118447A JP7085416B2 JP 7085416 B2 JP7085416 B2 JP 7085416B2 JP 2018118447 A JP2018118447 A JP 2018118447A JP 2018118447 A JP2018118447 A JP 2018118447A JP 7085416 B2 JP7085416 B2 JP 7085416B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- viewpoint image
- decoding
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、多視点映像を符号化／復号する多視点映像符号化装置およびそのプログラム、ならびに、多視点映像復号装置およびそのプログラムに関する。 The present invention relates to a multi-viewpoint video coding device and a program thereof for encoding / decoding a multi-viewpoint video, and a multi-viewpoint video decoding device and a program thereof.
一般に、任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、平面上に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。 In general, as one of the stereoscopic image display methods that can freely visually recognize a stereoscopic image from an arbitrary viewpoint, integral photography (hereinafter referred to as “Integral Photography”) using a group of convex lenses or a group of pinholes arranged on a plane is used. IP) method is known.
このＩＰ方式について、図２１を参照して、凸レンズ群を利用した例で説明する。
ＩＰ方式は、図２１（ａ）に示すように、撮影装置（立体カメラ）３によって、平面上に２次元配列された複数の要素レンズ（凸レンズ）からなるレンズアレイ（凸レンズ群）３０を介して、被写体Ｏから出た光を撮影する。このとき、要素レンズの焦点距離ｆだけ離間した撮像素子の撮影面３１において、要素レンズのレンズ間隔で、複数の要素画像ｅ（要素画像群）が撮影されることになる。
そして、ＩＰ方式は、図２１（ｂ）に示すように、撮影時と同じ配置のレンズアレイ４０を介して、表示装置（立体ディスプレイ）４の表示デバイスの表示面４１に撮影装置３で撮影した複数の要素画像ｅ（要素画像群）を表示する。このとき、撮影時の被写体空間と同様の光線が再生され、観察者Ｍは、被写体Ｏを立体像Ｔとして視認することができる。
この撮影装置３は、多視点カメラで構成することもできる。多視点カメラを構成する複数のカメラを水平方向および垂直方向に配置した場合、多視点カメラで撮影した多視点画像群から要素画像を生成する。また、レンズサイズの大きいレンズアレイを用いることで、一台の多視点カメラから複数の視点画像（多視点画像）を取得することができる。そのため、レンズアレイを用いた複数台の多視点カメラで撮影した多視点映像群から要素画像を生成してもよい。この場合、サイズの大きいレンズを通して取得される要素画像は、それぞれの多視点カメラで撮影した多視点画像群と考えることもできる。
This IP method will be described with reference to FIG. 21 by an example using a convex lens group.
As shown in FIG. 21A, the IP method is performed via a lens array (convex lens group) 30 composed of a plurality of element lenses (convex lenses) two-dimensionally arranged on a plane by a photographing device (stereoscopic camera) 3. , The light emitted from the subject O is photographed. At this time, a plurality of element images e (element image groups) are photographed at the lens spacing of the element lenses on the image pickup surface 31 of the image pickup element separated by the focal length f of the element lenses.
Then, as shown in FIG. 21B, in the IP method, an image was taken by the
The photographing
従来、このようなＩＰ方式の要素画像群を符号化して伝送する手法が開示されている。
例えば、要素画像群を、要素画像ごとに同じ位置にある画素を集めることで、視点位置の異なる複数の視点画像（以下、多視点画像）に変換し、符号化する手法が開示されている（例えば、特許文献１参照）。
さらに、要素画像群を効率よく符号化する手法が開示されている。
例えば、多視点画像から、視点画像の奥行きを示す奥行画像を生成し、一部の奥行画像と対応する視点画像とを符号化して伝送し、復号側で、復号した視点画像と奥行画像とから間引かれた視点画像を合成する手法が開示されている（例えば、特許文献２参照）。
Conventionally, a method of encoding and transmitting such an element image group of an IP system has been disclosed.
For example, a method is disclosed in which an element image group is converted into a plurality of viewpoint images (hereinafter referred to as multi-viewpoint images) having different viewpoint positions by collecting pixels at the same position for each element image and encoded (hereinafter, multi-viewpoint image). For example, see Patent Document 1).
Further, a method for efficiently encoding an element image group is disclosed.
For example, a depth image showing the depth of the viewpoint image is generated from the multi-viewpoint image, a part of the depth image and the corresponding viewpoint image are encoded and transmitted, and the decoded side has the decoded viewpoint image and the depth image. A method for synthesizing thinned viewpoint images is disclosed (see, for example, Patent Document 2).
この手法は、図２２に示すように、予め定めた一部の視点画像とそれに対応する奥行画像とを符号化する。そして、この手法は、復号側で、符号化されていない視点画像を、周辺の視点画像と奥行画像とを用いて内挿処理を行うことで生成する。これによって、この手法は、伝送する符号化データを削減することができる。 As shown in FIG. 22, this method encodes a predetermined part of the viewpoint image and the corresponding depth image. Then, in this method, the decoding side generates an unencoded viewpoint image by performing interpolation processing using a peripheral viewpoint image and a depth image. Thereby, this method can reduce the coded data to be transmitted.
また、現在、国際標準化組織ＩＳＯ（International Organization for Standardization）／ＩＥＣ ＪＴＣ（International Electrotechnical Commission Japan Technical Committee）において、時系列の多視点画像を動画として符号化する技術として、Ｈ．２６５／ＨＥＶＣ（High Efficiency video coding）を拡張したより一層高効率な符号化方式の検討や多視点映像符号化の標準化作業が行われている。 In addition, at present, the International Organization for Standardization (ISO) / IEC JTC (International Electrotechnical Commission Japan Technical Committee) has developed a technique for encoding time-series multi-viewpoint images as moving images. A study of a more efficient coding method that extends 265 / HEVC (High Efficiency video coding) and standardization work of multi-viewpoint video coding are being carried out.
このＨ．２６５／ＨＥＶＣでは、符号化データとなるビットストリームの構成中、フレーム画像に相当するピクチャを複数のＮＡＬ（Network Abstraction Layer）ユニットで構成している。図２３にＮＡＬユニットの構造を示す。
従来の３Ｄ－ＨＥＶＣは、２バイトで構成されるＮＡＬヘッダに含まれる６ビットのｎｕｈ＿ｌａｙｅｒ＿ｉｄで多視点映像の視点を特定する。すなわち、従来の３Ｄ－ＨＥＶＣは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの“０”～“６２”（６３は不使用）の値によって、６３視点までを１フレームの画像として符号化することが可能である。
This H. In 265 / HEVC, a picture corresponding to a frame image is composed of a plurality of NAL (Network Abstraction Layer) units in the configuration of a bit stream to be encoded data. FIG. 23 shows the structure of the NAL unit.
In the conventional 3D-HEVC, the viewpoint of the multi-viewpoint video is specified by the 6-bit nuh_layer_id included in the NAL header composed of 2 bytes. That is, in the conventional 3D-HEVC, it is possible to encode up to 63 viewpoints as one frame image by the value of "0" to "62" (63 is not used) of nuh_layer_id.
このように、従来手法は、ＩＰ方式の要素画像群を伝送する場合、図２４に示すような処理を行う。すなわち、従来手法は、まず、要素画像群Ｅｉを多視点画像に変換する（Ｓ１０１）。そして、従来手法は、視点画像の奥行きを推定するとともに視点画像を間引く（Ｓ１０２）。そして、従来手法は、順次生成される最大６３視点の多視点画像を多視点映像として符号化し（Ｓ１０３）、伝送する。 As described above, in the conventional method, when transmitting the element image group of the IP system, the process as shown in FIG. 24 is performed. That is, in the conventional method, first, the element image group Ei is converted into a multi-viewpoint image (S101). Then, in the conventional method, the depth of the viewpoint image is estimated and the viewpoint image is thinned out (S102). Then, in the conventional method, the sequentially generated multi-viewpoint images of up to 63 viewpoints are encoded as multi-viewpoint images (S103) and transmitted.
また、従来手法は、伝送された符号化済みの多視点映像を復号する（Ｓ１０４）。そして、従来手法は、間引かれた視点画像を奥行画像と隣接する視点画像とにより内挿処理することで多視点画像を生成する（Ｓ１０５）。そして、従来手法は、多視点画像を要素画像群Ｅｏに変換する（Ｓ１０６）。 Further, the conventional method decodes the transmitted encoded multi-viewpoint video (S104). Then, in the conventional method, a multi-viewpoint image is generated by interpolating the thinned-out viewpoint image by the depth image and the adjacent viewpoint image (S105). Then, in the conventional method, the multi-viewpoint image is converted into the element image group Eo (S106).
従来手法のように、符号化側で視点数を間引いて復号側でその間引いた視点画像を合成する場合、撮影する対象や撮影装置から被写体までの距離によって画質が変わる。例えば、撮影する対象が複雑な構造である場合や撮影装置から被写体までの距離が近い場合、視点画像間の視差が大きいことやオクルージョンが発生するため、合成した画像の精度が落ちてしまう。
この場合、隣接する要素レンズとのレンズ間距離や多視点カメラのカメラ間の距離を短くすることで、視点画像間の視差を小さくし、合成画像の精度を高めることができる。
When the number of viewpoints is thinned out on the coding side and the thinned out viewpoint images are combined on the decoding side as in the conventional method, the image quality changes depending on the object to be photographed or the distance from the photographing device to the subject. For example, when the object to be photographed has a complicated structure or the distance from the photographing device to the subject is short, the parallax between the viewpoint images is large and occlusion occurs, so that the accuracy of the combined image is lowered.
In this case, by shortening the distance between the lenses of the adjacent element lenses and the distance between the cameras of the multi-viewpoint camera, the parallax between the viewpoint images can be reduced and the accuracy of the composite image can be improved.
しかし、従来手法では、ＮＡＬヘッダに含まれるｎｕｈ＿ｌａｙｅｒ＿ｉｄ（図２３参照）のビット数の制限によって、多視点映像を符号化する際に、視点位置を６３視点までしか指定できない。また、ＩＰ方式では、携帯電話などのモバイル端末の画面表示を回転した際の立体視に対応するために水平視差に加えて垂直視差も含んだ多視点画像が必要となる。
このように、多視点映像の符号化には、さらなる視点数の増加が望まれている。
However, in the conventional method, due to the limitation of the number of bits of nuh_layer_id (see FIG. 23) included in the NAL header, the viewpoint position can be specified only up to 63 viewpoints when encoding the multi-viewpoint video. Further, in the IP method, a multi-viewpoint image including vertical parallax in addition to horizontal parallax is required in order to support stereoscopic vision when the screen display of a mobile terminal such as a mobile phone is rotated.
As described above, it is desired to further increase the number of viewpoints for coding the multi-viewpoint video.
本発明は、このような問題に鑑みてなされたものであり、ＮＡＬヘッダのバイト数を増加させることなく視点数を増加させて、多視点映像を符号化／復号することが可能な多視点映像符号化装置およびそのプログラム、ならびに、多視点映像復号装置およびそのプログラムを提供することを課題とする。 The present invention has been made in view of such a problem, and it is possible to encode / decode a multi-viewpoint video by increasing the number of viewpoints without increasing the number of bytes of the NAL header. It is an object of the present invention to provide a coding device and its program, and a multi-viewpoint video decoding device and its program.
前記課題を解決するため、本発明に係る多視点映像符号化装置は、視点位置の異なる視点画像で構成される多視点画像の時系列である多視点映像を符号化する多視点映像符号化装置であって、多視点画像入力手段と、奥行画像生成手段と、符号化手段と、を備える構成とした。 In order to solve the above problems, the multi-viewpoint video coding device according to the present invention is a multi-viewpoint video coding device that encodes a multi-viewpoint video which is a time series of multi-viewpoint images composed of viewpoint images having different viewpoint positions. Therefore, the configuration includes a multi-viewpoint image input means, a depth image generation means, and a coding means.
かかる構成において、多視点映像符号化装置は、多視点画像入力手段によって、多視点画像を時系列に入力する。なお、レンズサイズの大きいレンズアレイを用いた複数台の多視点カメラで撮影した多視点映像群や、レンズアレイを構成するレンズを通して得られる要素画像を多視点画像としてもよい。
そして、多視点映像符号化装置は、奥行画像生成手段によって、多視点画像を構成する視点画像のうちで予め定めた規則で特定される視点画像の奥行きを、当該視点画像に隣接する視点の視点画像との視差により奥行画像として生成する。この規則は、視点画像をグループ化し、当該グループ内でどの視点画像を符号化対象とするかを示すものである。
In such a configuration, the multi-viewpoint video coding device inputs multi-viewpoint images in time series by the multi-viewpoint image input means. A group of multi-viewpoint images taken by a plurality of multi-viewpoint cameras using a lens array having a large lens size, or an element image obtained through a lens constituting the lens array may be used as a multi-viewpoint image.
Then, the multi-viewpoint video coding device uses the depth image generation means to set the depth of the viewpoint image specified by a predetermined rule among the viewpoint images constituting the multi-viewpoint image to the viewpoint of the viewpoint adjacent to the viewpoint image. Generated as a depth image by parallax with the image. This rule groups viewpoint images and indicates which viewpoint images are to be encoded within the group.
そして、多視点映像符号化装置は、符号化手段によって、奥行画像生成手段で生成された奥行画像と当該奥行画像に対応する視点画像とをＮＡＬユニット構造で区切って符号化データを生成する。ここで、符号化手段は、規則を特定する予め定めた値を、Ｈ．２６５／ＨＥＶＣにおけるＮＡＬユニット構造のＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域に設定するとともに、符号化対象の視点画像のグループを示す識別子をＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域に設定する。
これによって、多視点映像符号化装置は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域とＴｅｍｐｏｒａｌＩｄの領域とを用いて視点位置を特定することができるため、従来のＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの制限を超えて、視点数を増加させることができる。
なお、多視点映像符号化装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。
Then, the multi-viewpoint video coding apparatus uses the coding means to divide the depth image generated by the depth image generation means and the viewpoint image corresponding to the depth image into a NAL unit structure to generate coded data. Here, the coding means sets a predetermined value that specifies the rule to H. In addition to setting in the area of TemporalId of the NAL header of the NAL unit structure in 265 / HEVC, an identifier indicating a group of viewpoint images to be encoded is set in the area of nuh_layer_id of the NAL header.
As a result, the multi-viewpoint video coding device can specify the viewpoint position using the region of nuh_layer_id and the region of TemporalId, so that the number of viewpoints can be increased beyond the limitation of nuh_layer_id of the conventional NAL header. Can be done.
The multi-viewpoint video coding device can be operated by a program for operating the computer as each of the above-mentioned means.
また、前記課題を解決するため、本発明に係る多視点映像復号装置は、多視点映像符号化装置で生成された符号化データを復号する多視点映像復号装置であって、復号手段と、視点内挿手段と、多視点画像出力手段と、を備える構成とした。 Further, in order to solve the above problems, the multi-viewpoint video decoding device according to the present invention is a multi-viewpoint video decoding device that decodes the coded data generated by the multi-viewpoint video coding device, and is a decoding means and a viewpoint. The configuration includes an interpolation means and a multi-viewpoint image output means.
かかる構成において、多視点映像復号装置は、復号手段によって、符号化データに含まれるＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域で特定される符号化された視点画像のグループと、ＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域で特定されるグループ内において符号化された視点画像の位置とにより、符号化された視点画像と当該視点画像に対応する奥行画像とを復号する。
そして、多視点映像復号装置は、視点内挿手段によって、符号化されていない視点位置の視点画像を、復号手段で復号された当該視点位置に同時点で隣接する視点画像および奥行画像に基づいて内挿する。これによって、符号化されていない視点画像が再生されることになる。
In such a configuration, the multi-viewpoint video decoder is specified by the decoding means in a group of encoded viewpoint images identified in the region of nuh_layer_id of the NAL header included in the encoded data and in the region of TemporalId of the NAL header. The encoded viewpoint image and the depth image corresponding to the viewpoint image are decoded according to the position of the encoded viewpoint image in the group.
Then, the multi-viewpoint video decoding device obtains the viewpoint image of the viewpoint position unencoded by the viewpoint insertion means based on the viewpoint image and the depth image simultaneously adjacent to the viewpoint position decoded by the decoding means. Interpolate. As a result, the unencoded viewpoint image is reproduced.
そして、多視点映像復号装置は、多視点画像出力手段によって、視点内挿手段で内挿された多視点画像を時系列に出力する。これによって、多視点映像が復号されることになる。
なお、多視点映像復号装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。
Then, the multi-viewpoint video decoding device outputs the multi-viewpoint images interpolated by the viewpoint interpolating means in chronological order by the multi-viewpoint image output means. As a result, the multi-viewpoint video is decoded.
The multi-viewpoint video decoding device can be operated by a program for operating the computer as each of the above-mentioned means.
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、ＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域を利用して、視点数を増加させることができる。また、本発明によれば、ＮＡＬヘッダのバイト数を増やすことなく、視点数を増加させるため、符号化効率を高めることができる。
これによって、本発明は、視点数を増やすことで、視点間の距離を短くすることができ、視点画像間の視差を小さくして、視点内挿を行う多視点映像の精度を高めることができる。
The present invention has the following excellent effects.
According to the present invention, the number of viewpoints can be increased by utilizing the area of TemporalId of the NAL header. Further, according to the present invention, the number of viewpoints is increased without increasing the number of bytes of the NAL header, so that the coding efficiency can be improved.
Thereby, according to the present invention, by increasing the number of viewpoints, the distance between the viewpoints can be shortened, the parallax between the viewpoint images can be reduced, and the accuracy of the multi-viewpoint image for which the viewpoint is interpolated can be improved. ..
以下、本発明の実施形態について図面を参照して説明する。
〔多視点映像符号化装置の構成〕
図１を参照して、本発明の実施形態に係る多視点映像符号化装置１の構成について説明する。
多視点映像符号化装置１は、多視点画像の時系列データである多視点映像を符号化するものである。
多視点画像は、ＩＰ方式の撮影装置で撮影した要素画像群を構成する複数の要素画像であってもよいし、複数のカメラを水平方向および垂直方向に配置した多視点カメラで撮影した複数の視点画像であってもよい。以下、要素画像についても視点画像と呼ぶこととする。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Configuration of multi-viewpoint video coding device]
With reference to FIG. 1, the configuration of the multi-viewpoint
The multi-viewpoint
The multi-viewpoint image may be a plurality of element images constituting the element image group taken by the IP type photographing device, or may be a plurality of element images taken by a multi-viewpoint camera in which a plurality of cameras are arranged in the horizontal direction and the vertical direction. It may be a viewpoint image. Hereinafter, the element image will also be referred to as a viewpoint image.
ここで、図２，図３を参照して、多視点映像符号化装置１内部で処理する多視点画像の構造について説明する。
多視点映像符号化装置１は、図２に示すように、水平方向２個×垂直方向２個のサブビュー（Ｓｕｂ－ｖｉｅｗ）を１つのビュー（Ｖｉｅｗ）として、多視点画像をグループ化して扱う。ここで、サブビューは、それぞれ視点画像である。
すなわち、多視点映像符号化装置１は、多視点画像を、４個のサブビュー（Ｓｕｂ－ｖｉｅｗ）で構成されるビュー（Ｖｉｅｗ）を水平方向ｍ個（ｍは２以上の整数）、垂直方向ｎ個（ｎは２以上の整数）に配列した構成（Ｖｉｅｗ０，０～Ｖｉｅｗｍ－１，ｎ－１）として符号化する。
Here, with reference to FIGS. 2 and 3, the structure of the multi-viewpoint image processed inside the multi-viewpoint
As shown in FIG. 2, the multi-viewpoint
That is, the multi-viewpoint
また、多視点映像符号化装置１は、それぞれのビュー（Ｖｉｅｗ）を、図３に示すように、固有の識別子（ＶｉｅｗＩｄ）で識別し、ビュー内のサブビューも、それぞれの配置位置に応じた識別子（０～３）で識別する。
図１に戻って、多視点映像符号化装置１の構成について説明する。
Further, the multi-viewpoint
Returning to FIG. 1, the configuration of the multi-viewpoint
図１に示すように、多視点映像符号化装置１は、符号化規則記憶手段１０と、多視点画像入力手段１１と、奥行画像生成手段１２と、符号化手段１３と、を備える。
As shown in FIG. 1, the multi-viewpoint
符号化規則記憶手段１０は、多視点映像の符号化の対象となる視点画像を予め定めた規則を記憶するものである。
例えば、符号化規則記憶手段１０は、ビュー構造、対象ビュー、対象バンクを予め記憶する。
The coding rule storage means 10 stores a predetermined rule for a viewpoint image to be coded for a multi-viewpoint video.
For example, the coding rule storage means 10 stores the view structure, the target view, and the target bank in advance.
「ビュー構造」は、多視点画像のビューの構造を定義するものである。例えば、ここでは、多視点画像が水平方向にｍ個、垂直方向にｎ個のビュー（４つの視点画像）で構成されていることを示している。 The "view structure" defines the structure of the view of the multi-viewpoint image. For example, here, it is shown that the multi-viewpoint image is composed of m views in the horizontal direction and n views (four viewpoint images) in the vertical direction.
「対象ビュー」は、符号化の対象となるビュー（グループ）を示すものである。例えば、対象ビューは、予め符号化の対象とするビューの識別子（ＶｉｅｗＩｄ；図３参照）である。
「対象バンク」は、符号化の対象となるビュー内で、実際に符号化を行う対象となるサブビューを示すものである。ここでは、サブビューを予め定めたバンク（ブロック）単位で符号化の対象とするか否かを示す。
The "target view" indicates a view (group) to be encoded. For example, the target view is an identifier (ViewId; see FIG. 3) of the view to be encoded in advance.
The "target bank" indicates a subview to be actually encoded in the view to be encoded. Here, it is shown whether or not the subview is to be encoded in a predetermined bank (block) unit.
ここで、図４～図７を参照して、１つのビュー（４視点画像）を対象として、対象バンクの値と符号化対象の視点画像との関係について説明する。
図４～図７において、横軸はフレーム順序（ＰＯＣ：Ｐｉｃｔｕｒｅ ｏｆ Ｃｏｕｎｔ）を示し、縦軸は符号化対象のサブビュー（Ｓｕｂ－Ｖｉｅｗ；視点画像）の識別子を示す。
Here, with reference to FIGS. 4 to 7, the relationship between the value of the target bank and the viewpoint image to be encoded will be described for one view (four-viewpoint image).
In FIGS. 4 to 7, the horizontal axis indicates the frame order (POC: Picture of Count), and the vertical axis indicates the identifier of the subview (Sub-View; viewpoint image) to be encoded.
図４に示すように、対象バンクの値を“０”とした場合、規則として、識別子が“０”のサブビューのみを符号化対象とする。
また、図５に示ように、対象バンクの値を“１”とした場合、規則として、識別子が“０”と“１”の２つのサブビューを符号化対象とする。
また、図６に示すように、対象バンクの値を“２”とした場合、規則として、識別子が“０”～“２”の３つのサブビューを符号化対象とする。
また、図７に示すように、対象バンクの値を“３”とした場合、規則として、識別子が“０”～“３”の４つのサブビューを符号化対象とする。この場合、すべてのサブビューが符号化対象となる。
As shown in FIG. 4, when the value of the target bank is “0”, as a rule, only the subview whose identifier is “0” is the coding target.
Further, as shown in FIG. 5, when the value of the target bank is "1", as a rule, the two subviews whose identifiers are "0" and "1" are the coding targets.
Further, as shown in FIG. 6, when the value of the target bank is "2", as a rule, the three subviews whose identifiers are "0" to "2" are the coding targets.
Further, as shown in FIG. 7, when the value of the target bank is "3", as a rule, the four subviews whose identifiers are "0" to "3" are the coding targets. In this case, all subviews will be encoded.
このように、「対象ビュー」と「対象バンク」との組み合わせによって、符号化対象のサブビュー（視点画像）の数を調整することができる。また、対象バンクの値によって、対象ビュー内における符号化対象のバリエーションを変えることができる。
図１に戻って、多視点映像符号化装置１の構成について説明する。
In this way, the number of subviews (viewpoint images) to be encoded can be adjusted by combining the "target view" and the "target bank". Further, the variation of the coding target in the target view can be changed depending on the value of the target bank.
Returning to FIG. 1, the configuration of the multi-viewpoint
多視点画像入力手段１１は、外部から、多視点映像を、フレーム（多視点画像）単位（時系列）で入力するものである。多視点画像入力手段１１は、時系列に入力される多視点画像を奥行画像生成手段１２に出力する。 The multi-viewpoint image input means 11 inputs a multi-viewpoint image from the outside in frame (multi-viewpoint image) units (time series). The multi-viewpoint image input means 11 outputs the multi-viewpoint images input in time series to the depth image generation means 12.
奥行画像生成手段１２は、符号化対象の視点画像に対して、視点の奥行きを示す奥行画像を生成するものである。奥行画像生成手段１２は、符号化規則記憶手段１０に記憶されている規則である対象ビューおよび対象バンクを参照して、符号化対象の視点画像を選択する。そして、奥行画像生成手段１２は、選択した視点画像に対して、隣接する視点画像との視差を画素ごとに奥行きとして算出して奥行画像を生成する。なお、視点画像同士の視点距離は予め設定されているものとする。この奥行画像の生成手法は、特許文献２等の一般的な手法を用いればよいため、ここでは、詳細な説明を省略する。
奥行画像生成手段１２は、符号化対象の視点画像とそれに対応して生成した奥行画像とを、フレーム単位で、ビューおよびサブビューの識別子とともに、符号化手段１３に出力する。
The depth image generation means 12 generates a depth image indicating the depth of the viewpoint with respect to the viewpoint image to be encoded. The depth image generation means 12 selects a viewpoint image to be encoded by referring to a target view and a target bank, which are rules stored in the coding rule storage means 10. Then, the depth image generation means 12 generates a depth image by calculating the parallax with the adjacent viewpoint image as the depth for each pixel with respect to the selected viewpoint image. It is assumed that the viewpoint distance between the viewpoint images is set in advance. As the method for generating the depth image, a general method such as
The depth image generation means 12 outputs the viewpoint image to be encoded and the depth image generated corresponding to the viewpoint image to the coding means 13 together with the view and subview identifiers in frame units.
符号化手段１３は、奥行画像生成手段１２で生成された奥行画像と、それに対応する視点画像とを、符号化するものである。符号化手段１３は、Ｈ．２６５／ＨＥＶＣから符号化効率を高め、拡張した多視点映像符号化で視点画像および奥行画像を符号化する。
この符号化手段１３は、図８に示すように、ＮＡＬユニットＮＵの構成で、符号化データを生成する。符号化手段１３は、図８に示すＮＡＬユニットＮＵを、ビューの識別子ごとに生成する。ＮＡＬユニットＮＵのうち、ＶｉｅｗＩｄ（６ビット）とＶｉｅｗＢａｎｋ（２ビット）以外の構成は、従来のＨ．２６５／ＨＥＶＣのＮＡＬユニットの構成と同じである。
すなわち、符号化手段１３は、ＮＡＬヘッダ以外の情報については、従来のＨ．２６５／ＨＥＶＣの符号化ビットストリームと同じ構造で符号化データを生成し、フレームの順番を示すＰＯＣ（Ｐｉｃｔｕｒｅ ｏｆ Ｃｏｕｎｔ）を、スライスヘッダ情報に設定する。
The coding means 13 encodes the depth image generated by the depth image generating means 12 and the corresponding viewpoint image. The coding means 13 includes H.I. The coding efficiency is increased from 265 / HEVC, and the viewpoint image and the depth image are encoded by the extended multi-view video coding.
As shown in FIG. 8, the coding means 13 generates coded data with the configuration of the NAL unit NU. The coding means 13 generates the NAL unit NU shown in FIG. 8 for each view identifier. Among the NAL unit NU, the configurations other than ViewId (6 bits) and ViewBank (2 bits) are the conventional H.D. It has the same configuration as the NAL unit of 265 / HEVC.
That is, the coding means 13 uses the conventional H.A. for information other than the NAL header. Coded data is generated with the same structure as the coded bitstream of 265 / HEVC, and POC (Picture of Count) indicating the order of frames is set in the slice header information.
符号化手段１３は、図８に示すように、ＮＡＬヘッダの６ビットのＶｉｅｗＩｄの領域に、ビューの識別子を設定するとともに、２ビットのＶｉｅｗＢａｎｋの領域に、符号化規則記憶手段１０に記憶されている対象バンクの値を設定する。
また、符号化手段１３は、奥行画像生成手段１２から出力される視点画像および奥行画像を、同じビューの識別子（ＶｉｅｗＩｄ）の対象バンクで特定されるサブビューの識別子の順に符号化し、ＮＡＬユニットＮＵのペイロード領域（ＲＢＳＰ）に配置する。
このように、符号化手段１３は、符号化規則記憶手段１０に設定されている規則に対応した視点画像とその奥行画像のみを符号化した符号化データ（ビットストリーム）を生成する。
As shown in FIG. 8, the coding means 13 sets the view identifier in the 6-bit ViewId area of the NAL header, and is stored in the coding rule storage means 10 in the 2-bit ViewBank area. Set the value of the target bank.
Further, the coding means 13 encodes the viewpoint image and the depth image output from the depth image generation means 12 in the order of the subview identifiers specified in the target bank of the same view identifier (ViewId), and the NAL unit NU. Place it in the payload area (RBSP).
In this way, the coding means 13 generates coded data (bitstream) in which only the viewpoint image corresponding to the rule set in the coding rule storage means 10 and the depth image thereof are encoded.
これによって、多視点映像符号化装置１は、６ビットのＶｉｅｗＩｄと２ビットのＶｅｗＢａｎｋとによって、視点位置を、従来の６３視点に対して、２５５視点（従来と同様にｎｕｈ＿ｌａｙｅｒ＿ｉｄ＝ＶｉｅｗＩｄ＝６３を不使用とした場合）まで拡張することができる。
As a result, the multi-viewpoint
なお、図８に示すように、Ｈ．２６５／ＨＥＶＣのＮＡＬヘッダの「ｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１」の領域は、未使用の１ビットと、「ＴｅｍｐｏｒａｌＩｄ（ここではＶｉｅｗＢａｎｋ）」の２ビットで構成されている。
そこで、図９に示すように、ＶｉｅｗＩｄを７ビットで構成しても構わない。これによって、視点数を５１１視点まで拡張することができる。
As shown in FIG. 8, H.I. The area of "nuh_temporal_id_plus1" in the NAL header of 265 / HEVC is composed of an unused 1 bit and 2 bits of "TemporalId (here, ViewBank)".
Therefore, as shown in FIG. 9, ViewId may be configured with 7 bits. As a result, the number of viewpoints can be expanded to 511 viewpoints.
以上説明したように多視点映像符号化装置１を構成することで、多視点映像符号化装置１は、ＮＡＬユニットＮＵのバイト数を増加させることなく、視点数を増加させて多視点映像を符号化することができる。
なお、多視点映像符号化装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（多視点映像符号化プログラム）で動作させることができる。
By configuring the multi-viewpoint
The multi-viewpoint
〔多視点映像符号化装置の動作〕
次に、図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る多視点映像符号化装置１の動作について説明する。
[Operation of multi-view video coding device]
Next, the operation of the multi-viewpoint
ステップＳ１において、多視点画像入力手段１１は、外部から、多視点映像として、フレーム単位で複数の視点画像を入力する。
ステップＳ２において、奥行画像生成手段１２は、符号化規則記憶手段１０に記憶されている規則である対象ビューおよび対象バンクを参照して、ステップＳ１で入力した視点画像のうちで、符号化対象の視点画像を選択する。
すなわち、奥行画像生成手段１２は、符号化規則記憶手段１０に記憶されている対象ビューにより、符号化対象の４つの視点画像を選択する。そして、奥行画像生成手段１２は、符号化規則記憶手段１０に記憶されている対象バンクにより、符号化対象の４つの視点画像の中で実際に符号化するサブビュー（視点画像）を選択する。
In step S1, the multi-viewpoint image input means 11 inputs a plurality of viewpoint images as a multi-viewpoint image from the outside in frame units.
In step S2, the depth image generation means 12 refers to the target view and the target bank, which are the rules stored in the coding rule storage means 10, and among the viewpoint images input in step S1, the coding target Select a viewpoint image.
That is, the depth image generation means 12 selects four viewpoint images to be encoded by the target view stored in the coding rule storage means 10. Then, the depth image generation means 12 selects a subview (viewpoint image) to be actually encoded among the four viewpoint images to be coded by the target bank stored in the coding rule storage means 10.
ステップＳ３において、奥行画像生成手段１２は、ステップＳ２で選択された視点画像に対して、隣接する視点画像との視差により奥行画像を生成する。
ステップＳ４において、符号化手段１３は、ステップＳ３で生成された視点画像および奥行画像を符号化する。
このとき、符号化手段１３は、符号化対象のビューの識別子ごとにＮＡＬユニットを生成し、ＮＡＬヘッダのＶｉｅｗＩｄの領域に、ビューの識別子を設定するとともに、ＶｉｅｗＢａｎｋの領域に、符号化規則記憶手段１０に記憶されている対象バンクの値を設定する。
In step S3, the depth image generation means 12 generates a depth image by parallax with the adjacent viewpoint image with respect to the viewpoint image selected in step S2.
In step S4, the coding means 13 encodes the viewpoint image and the depth image generated in step S3.
At this time, the coding means 13 generates a NAL unit for each identifier of the view to be encoded, sets the view identifier in the ViewId area of the NAL header, and sets the view identifier in the ViewBank area, and the coding rule storage means. Set the value of the target bank stored in 10.
ステップＳ５において、符号化手段１３は、ステップＳ４で生成した符号化データ（ビットストリーム）を出力する。なお、図示は省略するが、フレーム（多視点画像）内で符号化対象の視点画像が存在する限り、多視点映像符号化装置１は、ステップＳ２～Ｓ５の動作を繰り返す。
そして、多視点映像の全フレームについて、まだ、符号化が完了していない場合、すなわち、多視点映像の入力が終了していない場合（ステップＳ６でＮｏ）、多視点映像符号化装置１は、ステップＳ１に戻って動作を継続する。
一方、多視点映像の全フレームについて、符号化が完了した場合、すなわち、多視点映像の入力が終了した場合（ステップＳ６でＹｅｓ）、多視点映像符号化装置１は、動作を終了する。
In step S5, the coding means 13 outputs the coded data (bit stream) generated in step S4. Although not shown, the multi-viewpoint
Then, when the coding of all the frames of the multi-viewpoint video has not been completed, that is, when the input of the multi-viewpoint video has not been completed (No in step S6), the multi-viewpoint
On the other hand, when the coding is completed for all the frames of the multi-viewpoint video, that is, when the input of the multi-viewpoint video is completed (Yes in step S6), the multi-viewpoint
〔多視点映像復号装置の構成〕
次に、図１１を参照して、本発明の実施形態に係る多視点映像復号装置２の構成について説明する。
多視点映像復号装置２は、多視点画像の時系列データである多視点映像を符号化した符号化データを復号するものである。なお、符号化データは、多視点映像符号化装置１（図１参照）で符号化されたデータである。
[Configuration of multi-viewpoint video decoder]
Next, with reference to FIG. 11, the configuration of the multi-viewpoint
The multi-viewpoint
図１１に示すように、多視点映像復号装置２は、復号規則記憶手段２０と、復号手段２１と、視点内挿手段２２と、多視点画像出力手段２３と、を備える。
As shown in FIG. 11, the multi-viewpoint
復号規則記憶手段２０は、多視点映像を復号するための視点画像の配置を特定するための規則を予め記憶するものである。
復号規則記憶手段２０は、ビュー構造、対象バンクを予め記憶する。
The decoding rule storage means 20 stores in advance a rule for specifying the arrangement of the viewpoint image for decoding the multi-viewpoint video.
The decoding rule storage means 20 stores the view structure and the target bank in advance.
「ビュー構造」は、多視点画像のビューの構造を定義するものである。このビュー構造には、符号化規則記憶手段１０（図１参照）のビュー構造と同じ値を設定しておく。
「対象バンク」は、復号の対象となるビュー（４視点画像）内で、実際に復号する対象となるサブビューを示すものである。ここでは、サブビューを予め定めたバンク（ブロック）単位で復号の対象とするか否かを示す。なお、この対象バンクは、符号化規則記憶手段１０（図１参照）の対象バンクと同じ定義とする。
The "view structure" defines the structure of the view of the multi-viewpoint image. The same value as the view structure of the coding rule storage means 10 (see FIG. 1) is set in this view structure.
The "target bank" indicates a subview to be actually decoded in the view (four-viewpoint image) to be decoded. Here, it is shown whether or not the subview is targeted for decoding in predetermined bank (block) units. The target bank has the same definition as the target bank of the coding rule storage means 10 (see FIG. 1).
復号手段２１は、復号規則記憶手段２０に記憶されている規則に基づいて、符号化データをフレームごとに復号し、視点画像および奥行画像を生成するものである。復号手段２１は、Ｈ．２６５／ＨＥＶＣで視点画像および奥行画像を復号する。
ただし、復号手段２１は、復号する視点画像および奥行画像の視点位置を、符号化データに含まれるＮＡＬヘッダと、復号規則記憶手段２０に記憶されている規則に基づいて特定する。
The decoding means 21 decodes the coded data frame by frame based on the rules stored in the decoding rule storage means 20, and generates a viewpoint image and a depth image. The decoding means 21 is H. Decode the viewpoint image and depth image with 265 / HEVC.
However, the decoding means 21 specifies the viewpoint positions of the viewpoint image and the depth image to be decoded based on the NAL header included in the encoded data and the rules stored in the decoding rule storage means 20.
具体的には、復号手段２１は、ＮＡＬヘッダ内のＶｉｅｗＩｄ（図８参照）を抽出して、ＮＡＬユニットに含まれる４視点画像の位置を特定する。例えば、ＶｉｅｗＩｄ＝１であれば、ＮＡＬユニットのデータはＶｉｅｗ０，１（図２，図３参照）の符号化データであると特定する。
また、復号手段２１は、ＮＡＬヘッダ内のＶｉｅｗＢａｎｋ（図８参照）を抽出して、ＮＡＬユニットに含まれるサブビューの位置を特定する。例えば、ＶｉｅｗＢａｎｋ＝１であれば、ＮＡＬユニットのデータはサブビュー（Ｓｕｂ－ｖｉｅｗ）０，１（図３参照）の２視点の符号化データであると特定する。
Specifically, the decoding means 21 extracts ViewId (see FIG. 8) in the NAL header and identifies the position of the four-viewpoint image included in the NAL unit. For example, if ViewId = 1, the data of the NAL unit is specified to be the coded data of View 0 , 1 (see FIGS. 2 and 3).
Further, the decoding means 21 extracts the ViewBank (see FIG. 8) in the NAL header and identifies the position of the subview included in the NAL unit. For example, if ViewBank = 1, the data of the NAL unit is specified as the coded data of the two viewpoints of the subview (Sub-view) 0, 1 (see FIG. 3).
復号手段２１は、ＮＡＬユニットのペイロード（ＲＢＳＰ）に含まれている符号化データを、特定した視点位置の視点画像および奥行画像に順次復号する。
復号手段２１は、復号した視点画像および奥行画像を、視点位置と対応付けて、フレームごとに視点内挿手段２２に出力する。
The decoding means 21 sequentially decodes the coded data contained in the payload (RBSP) of the NAL unit into the viewpoint image and the depth image at the specified viewpoint position.
The decoding means 21 associates the decoded viewpoint image and the depth image with the viewpoint position, and outputs the decoded viewpoint image to the viewpoint insertion means 22 for each frame.
視点内挿手段２２は、復号手段２１でフレームごとに復号された視点位置における視点画像および奥行画像から、符号化されていない視点位置の視点画像を内挿により生成するものである。
なお、視点内挿手段２２における内挿処理は、一般的な手法を用いればよい。例えば、視点内挿手段２２は、符号化されていない視点位置に同時点で隣接する視点画像を、それに対応する奥行画像で特定される奥行きの視差だけ画素ごとにシフトする。そして、視点内挿手段２２は、複数の隣接する視点画像を奥行画像に応じてシフトした画像を、加算平均することで、符号化されていない視点位置の視点画像を生成する。
視点内挿手段２２は、復号手段２１で復号された視点画像と、自身が生成した視点画像とを、視点位置に対応付けて、フレームごとに、多視点画像出力手段２３に出力する。
The viewpoint interpolating means 22 generates an unencoded viewpoint image at the viewpoint position by interpolation from the viewpoint image and the depth image at the viewpoint position decoded frame by frame by the decoding means 21.
A general method may be used for the interpolation process in the viewpoint interpolation means 22. For example, the viewpoint interpolating means 22 shifts the viewpoint image adjacent to the unencoded viewpoint position at the same time for each pixel by the parallax of the depth specified by the corresponding depth image. Then, the viewpoint interpolating means 22 generates a viewpoint image of an unencoded viewpoint position by adding and averaging images obtained by shifting a plurality of adjacent viewpoint images according to the depth image.
The viewpoint interpolating means 22 associates the viewpoint image decoded by the decoding means 21 with the viewpoint image generated by itself with the viewpoint position, and outputs the viewpoint image to the multi-viewpoint image output means 23 frame by frame.
ここで、図１２を参照して、視点内挿手段２２における内挿処理の一例について説明する。図１２は、フレーム（Ｆ１，Ｆ２，Ｆ３，Ｆ４，…）ごとに、復号手段２１で復号された視点画像を示す。なお、図１１中、斜めパターンを付した実線の四角形は、復号手段２１で復号された視点画像を示し、破線の四角形は、欠損している視点画像（符号化されていない視点画像）を示す。また、図１２において、奥行画像については記載を省略している。
ここで、例えば、ＮＡＬヘッダのＶｉｅｗＢａｎｋ（図８参照）が“１”で、サブビュー（Ｓｕｂ－ｖｉｅｗ）０，１（図３参照）が復号された場合、図１２に示すように、水平方向および垂直方向それぞれ交互に視点画像が復号される。
Here, an example of interpolation processing in the viewpoint interpolation means 22 will be described with reference to FIG. 12. FIG. 12 shows a viewpoint image decoded by the decoding means 21 for each frame (F1, F2, F3, F4, ...). In FIG. 11, the solid line quadrangle with an oblique pattern indicates the viewpoint image decoded by the decoding means 21, and the broken line quadrangle indicates the missing viewpoint image (unencoded viewpoint image). .. Further, in FIG. 12, the description of the depth image is omitted.
Here, for example, when the ViewBank (see FIG. 8) of the NAL header is “1” and the subviews (Sub-view) 0,1 (see FIG. 3) are decoded, the horizontal direction and as shown in FIG. The viewpoint image is decoded alternately in each of the vertical directions.
視点内挿手段２２は、例えば、復号されてない視点画像ＶＣについては、同時点で隣接する視点画像ＶＵ，ＶＤ，ＶＬ，ＶＲを、それぞれの奥行画像の奥行きに応じてシフトさせ、画素ごとに加算平均することで生成する。なお、隣接した視点画像のよって埋めることができなかったオクルージョンが発生する画素については、隣接する画素の値で埋める等の処理を行う。
図１１に戻って、多視点映像復号装置２の構成について説明する。
For example, for the viewpoint image VC that has not been decoded, the viewpoint insertion means 22 shifts the adjacent viewpoint images V U , V D , V L , VR at the same point according to the depth of each depth image. It is generated by adding and averaging each pixel. It should be noted that the pixels in which occlusion that could not be filled due to the adjacent viewpoint images are filled with the values of the adjacent pixels.
Returning to FIG. 11, the configuration of the multi-viewpoint
多視点画像出力手段２３は、視点内挿手段２２で、符号化されていない視点画像が内挿されたすべての視点画像を、フレームごとに出力するものである。
この多視点画像出力手段２３は、例えば、それぞれの視点画像を要素画像として表示するＩＰ方式の表示装置に、多視点画像をフレームごとに出力する。そして、ＩＰ方式の表示装置は、これらの多視点画像を要素画像群に変換する。これによって、ＩＰ方式の表示装置の観視者は、立体像を視認することができる。
The multi-viewpoint image output means 23 is the viewpoint insertion means 22, and outputs all the viewpoint images in which the unencoded viewpoint image is interpolated, frame by frame.
The multi-viewpoint image output means 23 outputs the multi-viewpoint image frame by frame to, for example, an IP-type display device that displays each viewpoint image as an element image. Then, the IP type display device converts these multi-viewpoint images into element image groups. As a result, the viewer of the IP type display device can visually recognize the stereoscopic image.
以上説明したように多視点映像復号装置２を構成することで、多視点映像復号装置２は、ＮＡＬユニットＮＵのバイト数を増加させることなく、視点数を増加させて多視点映像を復号することができる。
なお、多視点映像復号装置２は、コンピュータを、前記した各手段として機能させるためのプログラム（多視点映像復号プログラム）で動作させることができる。
By configuring the multi-viewpoint
The multi-viewpoint
〔多視点映像復号装置の動作〕
次に、図１３を参照（構成については適宜図１１参照）して、本発明の実施形態に係る多視点映像復号装置２の動作について説明する。
ステップＳ１０において、復号手段２１は、符号化データのフレームの順番を示すＰＯＣごとに、ＮＡＬヘッダから、ＶｉｅｗＩｄおよびＶｉｅｗＢａｎｋを抽出する。
ステップＳ１１において、復号手段２１は、ステップＳ１０で抽出したＶｉｅｗＩｄおよびＶｉｅｗＢａｎｋにより、ＮＡＬユニットに含まれる視点画像および奥行画像の視点位置を特定するとともに、視点画像および奥行画像を復号する。
ステップＳ１２において、視点内挿手段２２は、ステップＳ１１で復号された視点位置における視点画像および奥行画像から、符号化されていない視点位置の視点画像を内挿により生成する。
[Operation of multi-view video decoder]
Next, the operation of the multi-viewpoint
In step S10, the decoding means 21 extracts ViewId and ViewBank from the NAL header for each POC indicating the order of the frames of the coded data.
In step S11, the decoding means 21 identifies the viewpoint position of the viewpoint image and the depth image included in the NAL unit by the ViewId and ViewBank extracted in step S10, and decodes the viewpoint image and the depth image.
In step S12, the viewpoint interpolating means 22 generates an unencoded viewpoint image at the viewpoint position by interpolation from the viewpoint image and the depth image at the viewpoint position decoded in step S11.
ステップＳ１３において、多視点画像出力手段２３は、ステップＳ１２で内挿されたすべての多視点画像を、多視点映像の１フレーム分のデータとして出力する。
そして、符号化データの復号がまだ完了していない場合（ステップＳ１４でＮｏ）、多視点映像復号装置２は、ステップＳ１０に戻って動作を継続する。
一方、符号化データの復号がすべて完了した場合（ステップＳ１４でＹｅｓ）、多視点映像復号装置２は、動作を終了する。
In step S13, the multi-viewpoint image output means 23 outputs all the multi-viewpoint images interpolated in step S12 as data for one frame of the multi-viewpoint video.
Then, when the decoding of the coded data is not completed yet (No in step S14), the multi-viewpoint
On the other hand, when all the decoding of the coded data is completed (Yes in step S14), the multi-viewpoint
〔変形例〕
以上、本発明の実施形態に係る多視点映像符号化装置１および多視点映像復号装置２の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、符号化規則記憶手段１０および復号規則記憶手段２０に記憶する対象バンクとして、その値（０～３）によって、符号化対象となるサブビュー（視点画像）の１以上の組み合わせを全フレームに亘って特定する構成とした。
しかし、対象バンクの値によって、フレームごとに規則的に符号化対象となるサブビューを変化させることとしてもよい。
[Modification example]
Although the configuration and operation of the multi-viewpoint
For example, here, as a target bank to be stored in the coding rule storage means 10 and the decoding rule storage means 20, all combinations of one or more subviews (viewpoint images) to be coded are used depending on the values (0 to 3). The configuration is specified over the frame.
However, the subview to be encoded may be changed regularly for each frame depending on the value of the target bank.
例えば、図１４に示すように、対象バンクの値として、２つの値“０”および“１”を定義する。
そして、対象バンクの値“０”をとした場合、規則として、フレームの順番が奇数のフレーム（奇数フレーム）については、識別子が“０”と“１”の２つのサブビューを符号化対象とする。また、フレームの順番が偶数のフレーム（偶数フレーム）については、識別子が“２”と“３”の２つのサブビューを符号化対象とする。
また、対象バンクの値を“１”とした場合、規則として、フレームの順番に応じて、識別子が“０”，“１”，“２”，“３”，“０”，…のサブビューを順次切り替えて符号化対象とする。
For example, as shown in FIG. 14, two values “0” and “1” are defined as the values of the target bank.
When the value of the target bank is "0", as a rule, for frames with an odd frame order (odd-numbered frames), two subviews with identifiers "0" and "1" are encoded. .. Further, for a frame having an even order of frames (even frame), two subviews having identifiers "2" and "3" are encoded targets.
If the value of the target bank is "1", as a rule, subviews with identifiers "0", "1", "2", "3", "0", ... It is switched sequentially and targeted for encoding.
ここで、図１５～図１８を参照して、変形例の符号化対象の切り替えについて説明する。図１５，図１７は、多視点画像を平面視して、符号化対象の視点画像に斜線パターンを付した図である。図１６，図１８は、横軸にフレーム順序（ＰＯＣ）を示し、縦軸に符号化対象のサブビュー（Ｓｕｂ－Ｖｉｅｗ；視点画像）の識別子を示した図である。なお、図１５～図１８において、視点画像に対応する奥行画像は記載を省略している。 Here, switching of the coding target of the modification will be described with reference to FIGS. 15 to 18. 15 and 17 are views in which a multi-viewpoint image is viewed in a plan view and a diagonal line pattern is added to the viewpoint image to be encoded. 16 and 18 are diagrams in which the horizontal axis shows the frame order (POC) and the vertical axis shows the identifier of the subview (Sub-View; viewpoint image) to be encoded. In addition, in FIGS. 15 to 18, the description of the depth image corresponding to the viewpoint image is omitted.
図１５，図１６に示すように、対象バンクの値を“０”とした場合、符号化対象は、識別子が“０”と“１”のサブビューと、識別子が“２”と“３”のサブビューとが、フレームごとに交互に符号化対象となる。
また、図１７，図１８に示すように、対象バンクの値を“１”とした場合、符号化対象は、識別子が“０”，“１”，“２”，“３”の順番で、サブビューが、フレームごとに符号化対象となる。
このように、符号化対象を変化（スウィーピング）させることで、符号化されていない視点画像は、時間的、空間的に近接した位置の実際に撮影した視点画像から復号することが可能になる。
As shown in FIGS. 15 and 16, when the value of the target bank is “0”, the encoding target is a subview with identifiers “0” and “1” and identifiers “2” and “3”. Subviews are alternately encoded for each frame.
Further, as shown in FIGS. 17 and 18, when the value of the target bank is “1”, the identifiers of the coded targets are in the order of “0”, “1”, “2”, “3”. The subview is encoded for each frame.
By changing (sweeping) the coding target in this way, the unencoded viewpoint image can be decoded from the actually captured viewpoint image at positions that are close in time and space.
ここで、図１９を参照して、対象バンクの値を“０”とし、符号化対象を、識別子が“０”と“１”のサブビューと、識別子が“２”と“３”のサブビューとで、フレームごとに交互に符号化対象とした場合の視点内挿手段２２（図１１参照）における内挿処理の一例について説明する。図１９は、フレーム（Ｆ１，Ｆ２，Ｆ３，Ｆ４，…）ごとに、復号手段２１（図１１参照）で復号された視点画像を示す。なお、図１９中、斜めパターンを付した実線の四角形は、復号手段２１で復号された視点画像を示し、破線の四角形は、欠損している視点画像（符号化されていない視点画像）を示す。また、図１９において、奥行画像については記載を省略している。 Here, referring to FIG. 19, the value of the target bank is set to “0”, and the coding target is a subview with identifiers “0” and “1” and a subview with identifiers “2” and “3”. Then, an example of the insertion process in the viewpoint inserting means 22 (see FIG. 11) in the case where the coding target is alternately set for each frame will be described. FIG. 19 shows a viewpoint image decoded by the decoding means 21 (see FIG. 11) for each frame (F1, F2, F3, F4, ...). In FIG. 19, the solid line quadrangle with an oblique pattern indicates the viewpoint image decoded by the decoding means 21, and the broken line quadrangle indicates the missing viewpoint image (unencoded viewpoint image). .. Further, in FIG. 19, the description of the depth image is omitted.
図１９に示すように、例えば、フレームＦ２の視点画像ＶＣは、空間的に隣接する視点画像ＶＵ，ＶＤ，ＶＬ，ＶＲ以外に、時間的に隣接する視点画像ＶＦ，ＶＢが存在することになる。
そこで、視点内挿手段２２は、復号されてない視点画像ＶＣについては、同時点で隣接する視点画像ＶＵ，ＶＤ，ＶＬ，ＶＲを、それぞれの奥行画像の奥行きに応じてシフトさせるとともに、オクルージョンが発生する画素については、例えば、視点画像ＶＦ，ＶＢの動きベクトルに応じて対応する画素の値を補間する。
これによって、多視点映像符号化装置１および多視点映像復号装置２は、視点画像を復号する精度を高めることができる。
As shown in FIG. 19, for example, the viewpoint images VC of the frame F2 are temporally adjacent viewpoint images V F , V in addition to the spatially adjacent viewpoint images V U , V D , V L , VR . B will exist.
Therefore, the viewpoint interpolating means 22 shifts the adjacent viewpoint images V U , V D , V L , and VR at the same point for the undecoded viewpoint image VC according to the depth of each depth image. For the pixels where occlusion occurs, for example, the values of the corresponding pixels are interpolated according to the motion vectors of the viewpoint images VF and VB .
As a result, the multi-viewpoint
また、ここでは、図８に示すように、Ｈ．２６５／ＨＥＶＣのＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄを、ＶｉｅｗＢａｎｋとして利用した。
従来のＨ．２６５／ＨＥＶＣは、ＴｅｍｐｏｒａｌＩｄを用いて、時間スケーラビリティ機能を実現している。例えば、図２０に示すように、フレームを他のフレームから予測する機能を有している。図２０中、フレーム間の矢印は、予測の参照関係を示している。例えば、フレーム番号“１”のフレームは、フレーム番号“０”，“１”を参照して予測することができることを示している。この場合、ＴｅｍｐｏｒａｌＩｄ＝２が指定された場合、復号装置は、フレーム番号“０”，“２”，“４”，“６”，“８”を復号する。
このように、従来のＨ．２６５／ＨＥＶＣは、ＴｅｍｐｏｒａｌＩｄは、フレームごとに異なる値を設定している。一方、本発明に係る多視点映像符号化装置１および多視点映像復号装置２は、ＴｅｍｐｏｒａｌＩｄ、すなわち、ＶｉｅｗＢａｎｋを一定の値として用いている。
Further, here, as shown in FIG. 8, H. TemporalId of NAL header of 265 / HEVC was used as ViewBank.
Conventional H. 265 / HEVC uses TemporalId to realize the time scalability function. For example, as shown in FIG. 20, it has a function of predicting a frame from another frame. In FIG. 20, the arrows between the frames indicate the reference relationship of the prediction. For example, it is shown that the frame of the frame number “1” can be predicted by referring to the frame numbers “0” and “1”. In this case, when TemporalId = 2 is specified, the decoding device decodes the frame numbers “0”, “2”, “4”, “6”, “8”.
In this way, the conventional H. In 265 / HEVC, TemporalId is set to a different value for each frame. On the other hand, the multi-viewpoint
そこで、多視点映像復号装置２は、符号化データを復号する前段階として、図示を省略したスケーラブル判定手段を備えて、ＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄがフレームごとに変化するか否かを検出することとしてもよい。
そして、ＴｅｍｐｏｒａｌＩｄが変化しない場合、多視点映像復号装置２は、ＴｅｍｐｏｒａｌＩｄをＶｉｅｗＢａｎｋとして、前記した復号動作を行うこととする。
一方、ＴｅｍｐｏｒａｌＩｄが変化しない場合、多視点映像復号装置２は、従来のＨ．２６５／ＨＥＶＣと同様の復号動作を行うこととする。
これによって、多視点映像復号装置２は、従来のＨ．２６５／ＨＥＶＣと互換性をもって、復号動作を行うことができる。
Therefore, the multi-viewpoint
Then, when the TemporalId does not change, the multi-viewpoint
On the other hand, when the TemporalId does not change, the multi-viewpoint
As a result, the multi-viewpoint
１ 多視点映像符号化装置
１０ 符号化規則記憶手段
１１ 多視点画像入力手段
１２ 奥行画像生成手段
１３ 符号化手段
２ 多視点映像復号装置
２０ 復号規則記憶手段
２１ 復号手段
２２ 視点内挿手段
２３ 多視点画像出力手段
1 Multi-viewpoint
Claims (7)
前記多視点画像を時系列に入力する多視点画像入力手段と、
前記多視点画像を構成する前記視点画像のうちで予め定めた規則で特定される視点画像の奥行きを、当該視点画像に隣接する視点の視点画像との視差により奥行画像として生成する奥行画像生成手段と、
前記奥行画像生成手段で生成された奥行画像と当該奥行画像に対応する視点画像とをＮＡＬユニット構造で区切って符号化データを生成する符号化手段と、を備え、
前記規則は、前記視点画像をグループ化し、グループ内でどの視点画像を符号化対象とするかを示すものであって、
前記符号化手段は、前記規則を特定する予め定めた値を、Ｈ．２６５／ＨＥＶＣにおけるＮＡＬユニット構造のＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域に設定するとともに、前記符号化対象の視点画像のグループを示す識別子を前記ＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域に設定することを特徴とする多視点映像符号化装置。 It is a multi-viewpoint video coding device that encodes a multi-viewpoint video that is a time series of multi-viewpoint images composed of viewpoint images with different viewpoint positions.
A multi-viewpoint image input means for inputting the multi-viewpoint images in chronological order,
Depth image generation means for generating the depth of the viewpoint image specified by a predetermined rule among the viewpoint images constituting the multi-view image as a depth image by parallax with the viewpoint image of the viewpoint adjacent to the viewpoint image. When,
It is provided with a coding means for generating coding data by separating the depth image generated by the depth image generation means and the viewpoint image corresponding to the depth image by a NAL unit structure.
The rule groups the viewpoint images and indicates which viewpoint images are to be encoded in the group.
The coding means uses a predetermined value that specifies the rule as H. A multi-viewpoint image characterized in that an identifier indicating a group of viewpoint images to be encoded is set in the area of nuh_layer_id of the NAL header while being set in the area of TemporalId of the NAL header of the NAL unit structure in 265 / HEVC. Encoding device.
前記符号化データに含まれるＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域で特定される符号化された視点画像のグループと、前記ＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域で特定される前記グループ内において符号化された視点画像の位置とにより、符号化された視点画像と当該視点画像に対応する奥行画像とを復号する復号手段と、
符号化されていない視点位置の視点画像を、前記復号手段で復号された前記視点位置に同時点で隣接する視点画像および奥行画像に基づいて内挿する視点内挿手段と、
前記視点内挿手段で内挿された多視点画像を時系列に出力する多視点画像出力手段と、
を備えることを特徴とする多視点映像復号装置。 A multi-viewpoint video decoding device that decodes the coded data generated by the multi-viewpoint video coding device according to claim 1 or 2.
The position of the coded viewpoint image specified in the nuh_layer_id region of the NAL header included in the coded data and the position of the encoded viewpoint image in the group specified in the TemporalId region of the NAL header. By, a decoding means for decoding the encoded viewpoint image and the depth image corresponding to the viewpoint image, and
A viewpoint interpolating means for interpolating an unencoded viewpoint image at a viewpoint position based on a viewpoint image and a depth image simultaneously adjacent to the viewpoint position decoded by the decoding means.
A multi-viewpoint image output means that outputs a multi-viewpoint image interpolated by the viewpoint interpolation means in chronological order, and a multi-viewpoint image output means.
A multi-view video decoding device characterized by being equipped with.
前記符号化データに含まれるＮＡＬヘッダのｎｕｈ＿ｌａｙｅｒ＿ｉｄの領域で特定される符号化された視点画像のグループと、前記ＮＡＬヘッダのＴｅｍｐｏｒａｌＩｄの領域で特定される前記グループ内において符号化された視点画像の位置とにより、符号化された視点画像と当該視点画像に対応する奥行画像とを復号する復号手段と、
符号化されていない視点位置の視点画像を、前記復号手段で復号された前記視点位置に同時点で隣接する視点画像および奥行画像と、時系列に隣接する視点画像とに基づいて内挿する視点内挿手段と、
前記視点内挿手段で内挿された多視点画像を、フレームごとに出力する多視点画像出力手段と、
を備えることを特徴とする多視点映像復号装置。 A multi-viewpoint video decoding device that decodes the coded data generated by the multi-viewpoint video coding device according to claim 3.
The position of the coded viewpoint image specified in the nuh_layer_id region of the NAL header included in the coded data and the position of the encoded viewpoint image in the group specified in the TemporalId region of the NAL header. By, a decoding means for decoding the encoded viewpoint image and the depth image corresponding to the viewpoint image, and
A viewpoint image in which an unencoded viewpoint image at a viewpoint position is interpolated based on a viewpoint image and a depth image simultaneously adjacent to the viewpoint position decoded by the decoding means and a viewpoint image adjacent to the time series. Interpolation means and
A multi-viewpoint image output means that outputs a multi-viewpoint image interpolated by the viewpoint interpolation means for each frame, and a multi-viewpoint image output means.
A multi-view video decoding device characterized by being equipped with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018118447A JP7085416B2 (en) | 2018-06-22 | 2018-06-22 | Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018118447A JP7085416B2 (en) | 2018-06-22 | 2018-06-22 | Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019220902A JP2019220902A (en) | 2019-12-26 |
| JP7085416B2 true JP7085416B2 (en) | 2022-06-16 |
Family
ID=69097255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018118447A Active JP7085416B2 (en) | 2018-06-22 | 2018-06-22 | Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7085416B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7382186B2 (en) * | 2019-09-10 | 2023-11-16 | 日本放送協会 | Encoding device, decoding device, and program |
| US12355934B2 (en) * | 2021-05-28 | 2025-07-08 | Boe Technology Group Co., Ltd. | Multi-viewpoint image processing system and method thereof |
| JP2023076850A (en) | 2021-11-24 | 2023-06-05 | ダイセル・オルネクス株式会社 | Curable resin composition |
-
2018
- 2018-06-22 JP JP2018118447A patent/JP7085416B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| TECH, Gerhard et al.，3D/MV-HEVC HLS: Flexible layer clustering for extending the supported number of layers，Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting: Vienna, AT, 27 July - 2 Aug. 2013, [JCT3V-E0224]，JCT3V-E0224 (version 1)，ITU-T，2013年07月20日，＜URL:http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E0224-v1.zip＞: JCT3V-E0224_v1.doc.doc: pp. 1-9 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019220902A (en) | 2019-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5199124B2 (en) | Multi-view video processing | |
| US12184882B2 (en) | Method and device for inducing motion information between temporal points of sub prediction unit | |
| KR101854003B1 (en) | Video including multi layers encoding and decoding method | |
| JP6571646B2 (en) | Multi-view video decoding method and apparatus | |
| JP2016537869A (en) | View synthesis prediction method and merge candidate list construction method using the same in multi-view video coding | |
| JP6445026B2 (en) | Camera parameter processing method and apparatus in 3D video coding | |
| JP7085416B2 (en) | Multi-viewpoint video coding device and its program, and multi-viewpoint video decoding device and its program | |
| KR102648652B1 (en) | A method and an apparatus for processing high resolution videos | |
| Farid et al. | Panorama view with spatiotemporal occlusion compensation for 3D video coding | |
| JP2009004939A (en) | Multi-viewpoint image decoding method, multi-viewpoint image decoding device, and multi-viewpoint image decoding program | |
| EP2373046A2 (en) | Super resolution based n-view + n-depth multiview video coding | |
| JP2008034892A (en) | Multi-viewpoint image encoder | |
| JP6979290B2 (en) | Image coding device and image decoding device, as well as image coding program and image decoding program. | |
| WO2007013194A1 (en) | Image information compression method and free viewpoint television system | |
| JP2009004942A (en) | Multi-viewpoint image transmitting method, multi-viewpoint image transmitting device, and multi-viewpoint image transmitting program | |
| JP7393931B2 (en) | Image encoding device and its program, and image decoding device and its program | |
| WO2013069933A1 (en) | Image encoding/decoding method and device therefor | |
| JP6450288B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
| JP7641810B2 (en) | Multi-viewpoint image encoding device and program thereof, and multi-viewpoint image decoding device and program thereof | |
| CA2891672C (en) | Method and apparatus for deriving temporal inter-view motion information of sub-prediction unit | |
| JP2008034893A (en) | Multi-viewpoint image decoder | |
| BR112016020544B1 (en) | DEPTH-CONSCIOUS ENHANCEMENT FOR STEREO VIDEO |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7085416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |