JP7799783B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１及び非特許文献２には、ＧＰＭ（Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）について開示されている。

ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれに対して動き補償処理を施すものである。具体的には、分割された２領域は、それぞれマージベクトルにより動き補償処理が施されて重み付き平均処理を施されることで合成される。斜めの分割は、角度及び位置によって６４パターンが用意されている。

ＩＴＵ-Ｔ Ｈ.２６６ ＶＶＣ ＣＥ４：Ｓｕｍｍａｒｙ ｒｅｐｏｒｔ ｏｎ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｉｎｇ、ＪＶＥＴ-Ｑ００２４

しかしながら、非特許文献１及び非特許文献２では、その対象が動き補償を伴うマージモードに限定されているため、符号化性能の向上には改善の余地があるという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、より符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、予測情報に基づいて予測画素を生成して出力するように構成されている合成部を備え、前記合成部は、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当てるように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、予測情報に基づいて予測画素を生成して出力する工程を有し、前記工程において、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当てることを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、予測情報に基づいて予測画素を生成して出力するように構成されている合成部を備え、前記合成部は、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当てるように構成されていることを要旨とする。

本発明によれば、より符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００において単位ブロックを小領域Ａ及び小領域Ｂに分割するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において単位ブロックを小領域Ａ～Ｃに分割するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において、図２の小領域Ａ及び小領域Ｂに対してそれぞれイントラ予測及び動き補償を割り当てて予測画素を生成するケースの一例を示す図である。 一実施形態に係る画像復号装置２００において、図３の小領域Ａ～Ｃに対してそれぞれイントラ予測、動き補償及びイントラ予測を割り当てて予測画素を生成するケースの一例を示す図である。 図６は、重み係数と重み付き平均処理を用いた算出方法の一例を示す図である。 図７は、重み係数と重み付き平均処理を用いた算出方法の一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
以下、図１～図７を参照して、本発明の第１実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図１に示すように、画像復号装置２００は、符号入力部２０１と、復号部２１０と、逆量子化部２２０と、逆変換部２３０と、加算器２４０と、蓄積部２５０と、イントラ予測部２６０と、動き補償部２７０と、合成部２８０と、画像出力部２９０とを有する。

符号入力部２０１は、画像符号装置によって出力された符号情報を取得して出力するように構成されている。

復号部２１０は、符号入力部２０１によって出力された符号情報に対して可変長復号処理を施すことで量子化値及び予測情報を生成して出力するように構成されている。ここで、図１に示すように、復号部２１０は、逆量子化部２２０に対して量子化値を出力し、イントラ予測部２６０、動き補償部２７０及び合成部２８０に対して予測情報を出力するように構成されている。

逆量子化部２２０は、復号部２１０によって出力された量子化値に対して逆量子化処理を施すことで変換係数を生成して出力するように構成されている。ここで、図１に示すように、逆量子化部２２０は、逆変換部２３０に対して変換係数を出力するように構成されている。

逆変換部２３０は、逆量子化部２２０によって出力された変換係数に対して逆変換処理を施すことで予測残差を生成して出力するように構成されている。ここで、図１に示すように、逆変換部２３０は、加算器２４０に対して予測残差を出力するように構成されている。

加算器２４０は、逆変換部２３０によって出力された予測残差及び合成部２８０によって出力された予測画素を取得するように構成されている。ここで、加算器２４０は、かかる予測残差と予測画素とを加算して復号済み画素を取得して出力するように構成されている。ここで、図１に示すように、加算器２４０は、蓄積部２５０、イントラ予測部２６０及び画像出力部２９０に対して復号済み画素を出力するように構成されている。

蓄積部２５０は、加算器２４０によって出力された復号済み画素について累積的に蓄積するように構成されている。蓄積部２５０は、動き補償部２７０からの要求に応じて復号済み画素を出力するように構成されている。

イントラ予測部２６０は、加算器２４０によって出力された復号済み画素及び復号部２１０によって出力された予測情報に基づいて、後述する合成部２８０で設定される小領域における入力画素の近似値としての予測画素を生成するように構成されている。ここで、図１に示すように、イントラ予測部２６０は、合成部２８０に対して予測画素を出力するように構成されている。

動き補償部２７０は、蓄積部２５０を参照して得られた復号済み画素及び復号部２１０によって出力された予測情報に基づいて、後述する合成部２８０で設定される小領域における入力画素の近似値としての予測画素を生成するように構成されている。ここで、図１に示すように、動き補償部２７０は、合成部２８０に対して予測画素を出力するように構成されている。

画像出力部２９０は、加算器２４０によって出力された復号済み画素を出力するように構成されている。

以下、図２～図７を参照して、合成部２８０の機能の一例について説明する。

合成部２８０は、復号部２１０によって出力された予測情報、イントラ予測部２６０によって出力された予測画素及び動き補償部２７０によって出力された予測画素に基づいて、予測画素を生成して出力するように構成されている。

また、合成部２８０は、イントラ予測部２６０によって出力された予測画素及び動き補償部２７０によって出力された予測画素に対して重み係数を用いた重み付け平均処理を施すことで、かかる予測画素を生成するように構成されている。

ここで、合成部２８０の役割は、後段の加算器２４０において復号対象ブロックを高精度に補償するために、かかる復号対象ブロックに最適な複数の予測画素に対する重み係数を選択して、イントラ予測部２６０及び動き補償部２７０から取得した複数の予測画素を重み係数に応じて合成することにある。

なお、重み係数については、単位ブロックの画素ごとに予め設定した任意の値を設定した複数のパターンを用意しておき、合成部２８０は、複数のパターンの重み係数から、復号部２１０から取得した予測情報に従って、画素ごとに使用する重み係数を特定するように構成されている。

複数の予測画素に対する重み係数の合計値は、画素ごとに１になるように設計しておき、かかる重み係数を用いて複数の予測画素に対して重み付け平均処理を施して合成した結果を、合成部２８０による予測画素とする。

重み係数を０以外とした画素は、かかる予測画素を採用し、重み係数を０とした画素は、かかる予測画素を用いないことになるため、概念としては、単位ブロックを複数の小領域に分割することに相当し、複数の予測画素のどの画素をどの割合でどこに適用するかを決定することになる。

ここで、重み係数の分布は、２等分等の矩形形状分布だとより小さな単位ブロックで表現できるため、非矩形形状に分布させることが望ましい。

図２では、単位ブロックを斜めの形状で分布させた場合の例を表し、単位ブロックは、斜めの直線で小領域Ａ及び小領域Ｂに分割されている。

図３の例では、単位ブロックは、複数の直線で小領域Ａと小領域Ｂと小領域Ｃとに分割されている。分割数は、任意の数であってもよい。

図３の例において、それぞれの小領域Ａ～Ｃに対してイントラ予測又は/且つ動き補償を割り当てて予測画素が生成されてもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックを分割した複数の小領域Ａ～Ｃの各々において、イントラ予測部２６０によって生成された予測画素又は/且つ動き補償部２７０によって生成された予測画素を採用するように構成されていてもよい。

このとき、分割数が増加すると、イントラ予測等の予測情報を符号化する必要が生じてしまうため、符号化効率を改善できないという問題がある。この問題を解決するため、小領域の分割に応じた予測モードを用いるという手順を取る。

図４は、図２の小領域Ａ及び小領域Ｂに対してそれぞれイントラ予測及び動き補償を割り当てて予測画素を生成する例を示す。他にも、両方の小領域Ａ及び小領域Ｂに異なるイントラ予測を割り当てる等の任意の組み合わせを取ることができる。また、イントラ予測に関しては、デブロッキングフィルタ適用前を利用してもよいしデブロッキングフィルタ適用後を利用してもよい。事前にどちらかを決定しておくことが望ましい。

イントラ予測は、小領域の分割形状に応じてイントラ予測モードを限定してもよい。すなわち、合成部２８０は、小領域においてイントラ予測が割り当てられている場合、小領域の分割形状に応じたイントラ予測モードを用いるように構成されていてもよい。

例えば、合成部２８０は、図４に示すように、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードの１種類だけに限定することができる。

或いは、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードとの２種類だけに限定してもよい。

このように、イントラ予測モードを分割形状の方向に応じたものに限定することで、イントラ予測モードを表す符号量を適応的に削減できる効果が得られる。

復号部２１０は、小領域の分割の種類に応じて限定された予測モードを適応的に復号するように構成されていてもよい。

例えば、復号部２１０は、分割形状を構成する直線で分割されている方向と平行な方向及び垂直な方向にイントラ予測モードを限定する場合、復号部２１０に入力された符号が「０」であれば平行な方向としてイントラ予測モードを復号し、復号部２１０に入力された符号が「１」であれば垂直な方向としてイントラ予測モードを復号するように構成されていてもよい。かかる構成によれば、イントラ予測モードの予測情報が１ビットで表現できるため、符号化効率を大幅に向上させる効果が得られる。

合成部２８０は、予測モードとして、特定のイントラ予測モードを選択肢に含めるように構成されていてもよい。例えば、合成部２８０は、ＰｌａｎａｒモードやＤＣ等の方向に依存しない特定のイントラ予測モードを常に選択肢に加えるように構成されていてもよい。

例えば、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードと方向に依存しないＰｌａｎａｒモードとの３種類だけに限定してもよい。

或いは、合成部２８０は、イントラ予測モードを、分割形状を構成する直線で分割されている方向に対して平行な方向のモードと垂直な方向のモードと方向に依存しないＰｌａｎａｒモードとＤＣモードとの４種類だけに限定してもよい。

また、合成部２８０は、非特許文献１で開示されている復号対象ブロックに隣接する複数の参照画素ラインから予測画素生成に使用する参照画素を選択するＭＲＬが有効な場合、上述の分割形状に応じたイントラ予測モードで参照する参照画素として、ＭＲＬで選択される参照画素を使用してもよい。

図５は、図３の小領域Ａ～Ｃに対して、それぞれイントラ予測、動き補償及びイントラ予測を割り当てている。

それぞれのイントラ予測では、小領域Ａ～Ｃを構成する複数の直線で分割されている方向に応じたイントラ予測モードを全て或いは一部を選択肢に含むことができる。すなわち、合成部２８０は、小領域の分割形状を構成する直線で分割されている方向に応じたイントラ予測モードの少なくとも一部を選択肢に含めるように構成されていてもよい。

合成部２８０は、選択肢に含めるイントラ予測モードの数を復号対象のブロックサイズに基づいて判定してもよい。

例えば、合成部２８０は、単位ブロックのブロックサイズが小さい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モード及びかかるイントラ予測モード近傍の複数のイントラ予測モードにより生成される予測画素を用いて予測画素を生成してもよい。

また、合成部２８０は、単位ブロックのブロックサイズが大きい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モードのみより予測画素を生成してもよい。

単位ブロックのサイズにより、隣り合うイントラ予測モード間の各参照画素位置（各参照画素間の距離）が変わるため、上記のように各参照画素位置が離れやすい大サイズブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モードに限定することで、かかる平行なイントラ予測モード近傍の予測モードによって参照される画素、すなわち、分割形状を構成する分割線から離れた参照画素を予測画素生成に使用して、予測性能の劣化が生じてしまう可能性を回避できる。

他方、上述の各参照画素位置が離れにくい小サイズブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モード及びかかる平行なイントラ予測モード近傍の予測モードによって参照される画素を予測画素の生成に使用することで、予測性能の向上効果が期待できる。

合成部２８０は、選択肢に含めるイントラ予測モードの数を復号対象のブロックの縦横比に基づいて判定してもよい。

例えば、合成部２８０は、単位ブロックの縦横比が小さい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モード及びかかるイントラ予測モード近傍の複数のイントラ予測モードにより生成される予測画素を用いて予測画素を生成してもよい。

また、合成部２８０は、単位ブロックの縦横比が大きい場合は、小領域の分割形状を構成する直線で分割されている方向に応じた１つのイントラ予測モードのみより予測画素を生成してもよい。

単位ブロックの縦横比により、隣り合うイントラ予測モード間の各参照画素位置（各参照画素間の距離）が変わるため、上述のように、各参照画素位置が離れやすい非正方ブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モードに限定することで、かかる平行なイントラ予測モード近傍の予測モードによって参照される画素、すなわち、分割形状を構成する分割線から離れた参照画素を予測画素生成に使用して、予測性能の劣化が生じてしまう可能性を回避できる。

他方、上述の各参照画素位置が離れにくい正方ブロックでは、分割方向に対して、例えば、１つの平行なイントラ予測モード及びかかる平行なイントラ予測モード近傍の予測モードによって参照される画素を予測画素の生成に使用することで、予測性能の向上効果が期待できる。

それぞれの小領域Ａ～Ｃの予測画素は、分割形状に応じた重み係数を用いた重み付き平均処理を施すことで算出される。小領域Ａ～Ｃの合成は、画素単位に重み係数を設定し、複数の予測画素に対して、かかる重み係数を用いた重み付き平均処理を施すことで求められる。

図６は、重み係数と重み付き平均処理を用いた算出方法の一例を示す。

また、イントラ予測と動き補償との組み合わせの場合、イントラ予測は、右下の予測精度が比較的低いため、図６の重み係数に加えて、図７に示すように、イントラ予測の重み係数は、単位ブロックの右下ほど小さくなる点を加味して設計することもできる。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの右下に行くほど重み係数を小さくするように構成されていてもよい。この場合、重み係数ｗを一様に０.５としておくことで明示的な小領域分割を省略することもできる。

また、一般的にイントラ予測が選択されるような領域は、近傍の単位ブロックもイントラ予測が選択されることが多いため、近傍の単位ブロックがイントラ予測か否かによって重み係数を適応的に変更してもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの近傍の単位ブロックがイントラ予測か否かに基づいて、かかる単位ブロックの重み係数を適応的に変更するように構成されていてもよい。

例えば、近傍の単位ブロックのイントラ予測の個数に重み係数を比例させてもよい。すなわち、合成部２８０は、復号対象ブロックの単位ブロックの近傍の単位ブロックのうちイントラ予測が割り当てられている単位ブロックの個数に比例するように重み係数を決定するように構成されていてもよい。近傍にイントラ予測が多い場合は、重みｒを大きくしてイントラ予測の影響を強くし、近傍にイントラ予測が少ない場合は、重みｒを小さくしてイントラ予測の影響を小さくすることで、予測精度向上の効果が期待できる。

また、上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

２００…画像復号装置
２０１…符号入力部
２１０…復号部
２２０…逆量子化部
２３０…逆変換部
２４０…加算器
２５０…蓄積部
２６０…イントラ予測部
２７０…動き補償部
２８０…合成部
２９０…画像出力部

Claims (4)

1. 画像復号装置であって、
   予測情報に基づいて予測画素を生成して出力するように構成されている合成部を備え、
   前記合成部は、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当てるように構成されており、
   前記単位ブロックは、斜めの直線で前記小領域に分割され、
   前記合成部は、前記小領域の分割形状に応じた予測モードを用いるように構成されていることを特徴とする画像復号装置。
2. 前記合成部は、前記分割形状を構成する前記直線の方向に応じた前記予測モードを用いるように構成されていることを特徴とする請求項１に記載の画像復号装置。
3. 画像復号方法であって、
   予測情報に基づいて予測画素を生成して出力する工程を有し、
   前記工程において、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当て、
   前記単位ブロックは、斜めの直線で前記小領域に分割され、
   前記工程において、前記小領域の分割形状に応じた予測モードを用いることを特徴とする画像復号方法。
4. コンピュータを、画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、予測情報に基づいて予測画素を生成して出力するように構成されている合成部を備え、
   前記合成部は、復号対象ブロックの単位ブロックを分割した複数の小領域の各々に対して異なるイントラ予測を割り当てるように構成されており、
   前記単位ブロックは、斜めの直線で前記小領域に分割され、
   前記合成部は、前記小領域の分割形状に応じた予測モードを用いるように構成されていることを特徴とするプログラム。