JP7734111B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１及び非特許文献２では、幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）が開示されている。

ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれを動き補償する。具体的には、分割された２領域は、それぞれマージベクトルにより動き補償され重み付き平均により合成される。

ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ ＣＥ４：Ｓｕｍｍａｒｙ ｒｅｐｏｒｔ ｏｎ Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ、ＪＶＥＴ-Ｑ００２４

しかしながら、非特許文献１及び非特許文献２で開示されている技術では、重み付き平均のパターンが限定されているため、符号化性能の向上には改善の余地があるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、ＧＰＭにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化部と、前記復号された変換係数を逆変換して復号された予測残差とする逆変換部と、復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する合成部と、前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る加算部とを具備することを要旨とする。

本発明の第２の特徴は、画像復号方法であって、制御情報並びに量子化値を復号する工程と、前記復号された量子化値を逆量子化して復号された変換係数とする工程と、前記復号された変換係数を逆変換して復号された予測残差とする工程と、復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成する工程と、前記復号済み画素を蓄積する工程と、前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する工程と、前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する工程と、前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る工程とを有することを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報並びに量子化値を復号する復号部と、前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化部と、前記復号された変換係数を逆変換して復号された予測残差とする逆変換部と、復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する動き補償部と、前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する合成部と、前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る加算部とを具備することを要旨とする。

本発明によれば、ＧＰＭにおいて符号化効率を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図２は、矩形の単位ブロックが分割境界によって、小領域Ａと小領域Ｂに２分割されるケースの一例を示す図である。 図３は、図２に示す小領域Ｂの分割境界に割り当てる３パターンの重み係数の一例を示す図である。 図４は、パターン（２）の重み係数ｗを８×８ブロックに適用した例を示す図である。 図５は、パターン（１）の重み係数ｗを８×８ブロックに適用した例を示す図である。 図６は、パターン（３）の重み係数ｗを８×８ブロックに適用した例を示す図である。 図７は、第１実施形態における合成部２０７による重み係数の設定処理の一例について説明するフローチャートである。 図８は、第２実施形態における合成部２０７による重み係数の設定処理の一例について説明するフローチャートである。 図９は、第２実施形態について説明するための図である。 図１０は、第２実施形態について説明するための図である。 図１１は、第３実施形態における合成部２０７による重み係数の設定処理の一例について説明するフローチャートである。 図１２は、重み係数が分割境界からの距離に基づいて規定される一例を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図７を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、イントラ予測部２０４と、蓄積部２０５と、動き補償部２０６と、合成部２０７と、加算部２０８と、画像出力部２２０とを有する。

符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。

復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。

ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、動き補償部２０６、イントラ予測部２０４及び合成部２０７に送られる。なお、かかる制御情報は、動き補償部２０６、イントラ予測部２０４及び合成部２０７等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。

逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。

逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算部２０８に送られる。

イントラ予測部２０４は、復号済み画素と復号部２０１から送られた制御情報とに基づいて第１予測画素を生成するように構成されている。ここで、復号済み画素は、加算部２０８を介して得られて蓄積部２０５に蓄積されるものである。また、第１予測画素は、合成部２０７で設定される小領域における入力画素の近似値としての予測画素である。なお、第１予測画素は、合成部２０７に送られる。

蓄積部２０５は、加算部２０８から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０５を介して動き補償部２０６からの参照を受ける。

動き補償部２０６は、蓄積部２０５に蓄積された復号済み画素と復号部２０１から送られた制御情報とに基づいて第２予測画素を生成するように構成されている。ここで、第２予測画素は、合成部２０７で設定される小領域における入力画素の近似値としての予測画素である。なお、第２予測画素は、合成部２０７に送られる。

加算部２０８は、逆変換部２０３から送られる予測残差と、合成部２０７から送られる第３予測画素とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０５及びイントラ予測部２０４へ送られる。

合成部２０７は、イントラ予測部２０４から送られる第１予測画素及び動き補償部２０６から送られる第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により分割境界の幅を制御した第３予測画素を生成するように構成されている。

合成部２０７の役割は、後段の加算部２０８において復号対象ブロックを高精度に補償するために、当該復号対象ブロックに最適な複数の予測画素に対する重み係数を選択して、入力された複数の予測画素を重み係数に応じて合成することにある。

復号対象ブロックが複数の小領域に分割されている分割モードとしては任意のものを利用できるが、以下では、分割モードの一例として非特許文献１と非特許文献２で開示されている、幾何学ブロック分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）を用いた場合について説明する。

重み係数については、単位ブロックの画素ごとに予め設定した任意の値を設定した複数のパターンを用意しておき、いずれかのパターンを適用する。すなわち、合成部２０７は、複数の重み係数のいずれかを選択し適用するように構成されていてもよい。

かかる構成によれば、複数の重み係数が設定されているルックアップテーブル等を用意しておくことで、合成部２０７は、毎回、重み係数を計算する必要がなくなる。

複数の予測画素に対する重み係数の合計値は、画素ごとに１になるように設計しておき、当該重み係数を用いて複数の予測画素を重み付け平均により合成した結果を合成部２０７による予測画素とする。

重み係数を１（すなわち、最大値）とした画素は、当該入力予測画素を採用し、重み係数を０（すなわち、最小値）とした画素は、当該入力予測画素を用いないことになるため、概念としては単位ブロックを複数の小領域に分割することに相当し、複数の入力予測画素のどの画素をどの割合でどこに適用するかを決定することになる。

ここで、重み係数の分布は、２等分等の矩形形状分布だとより小さな単位ブロックで表現できるため、非矩形形状に分布させることが望ましい。

図２の例では、単位ブロックを斜めの形状で分布させたケースの例を表す。図２の例では、矩形の単位ブロックを分割境界によって小領域Ａ及び小領域Ｂに２分割している。

それぞれの小領域Ａ/Ｂでは、イントラ予測又は動き補償等任意の方法で予測画素が生成される。

このとき、分割の形状が決まっても分割境界付近の重み係数が決め打ちだと分割境界の多様性を表現できないため、符号化効率を改善できないという問題がある。

例えば、小領域が動きの激しい領域である場合は、撮像時にボケが発生しているため、分割境界は、広い領域に渡って複数の小領域をぼかして重み付け平均した方が望ましい。

逆に、小領域がテロップのように人工的に編集した領域である場合、ボケは発生しないため、分割境界は、狭い領域に限定して複数の小領域をただ隣接させるよう重み付け平均した方が望ましい。

この問題を解決するため、本実施形態では、小領域の分割境界の幅が異なる複数の重み係数を用意しておき選択するという手順を取る。

図３は、図２に示す小領域Ｂの分割境界に割り当てる３パターンの重み係数の一例を示す。図３では、分割境界の位置から画素単位の距離を横軸とし、縦軸に重み係数を表す。

具体的には、予め設定した分割境界の位置からの画素単位の距離ａ，ｂに対して［ａ，ｂ］の範囲に重み係数［０，１]を割り当てたパターン（１）と、同様に距離ａ，ｂをそれぞれ２倍にして［２ａ，２ｂ]の範囲に重み係数［０，１］を割り当てたパターン（２）と、同様に距離ａ，ｂをそれぞれ１/２倍にして［ａ/２，ｂ/２］の範囲に重み係数［０，１］を割り当てたパターン（３）とを用意している。
これらは、重み係数が図１２に示すように、分割境界（黒の実線）からの距離ｄ（ｘ_ｃ，ｙ_ｃ）によって一意に定められるγ_{ｘｃ,ｙｃ}として規定される場合、図１２における小領域の分割境界の幅、すなわち、重み係数が最小値又は最大値以外になる幅τに対して、限定パターン（固定値）ではなく複数パターン（可変値）を用意することに等しい。ここで、ｘ_ｃ，ｙ_ｃは、復号対象ブロック内の座標である。

すなわち、合成部２０７は、分割境界からの画素間距離に応じて複数の重み係数を設定するように構成されていてもよい。

かかる構成によれば、分割境界からの距離に比例することで境界の幅を可変にするとともに、図１２に示す従来の算出式からの変更を最小限に抑えるという効果を奏することができる。

なお、ａ＝ｂとして分割境界に対して対称的な重み係数を設定してもよい。すなわち、合成部２０７は、上述の重み係数として、分割境界に対して対称的な重み係数を設定するように構成されていてもよい。かかる構成によれば、ｂが不要になることから符号量を少なくことができる。

また、ａ≠ｂとして分割境界に対して非対称な重み係数を設定してもよい。すなわち、合成部２０７は、上述の重み係数として、分割境界に対して非対称な重み係数を設定するように構成されていてもよい。かかる構成によれば、境界の両側で異なるボケ具合がある場合に、高精度に予測することができる。

また、ａ及びｂの２個に限らず数を増やして複数の線分等で重み係数を設定することもできる。すなわち、合成部２０７は、分割境界からの画素間距離に応じて複数の線分で重み係数を設定するように構成されていてもよい。かかる構成によれば、非線形にボケが発生している場合に、高精度に予測することができる。

図４～図６は、それぞれの重み係数ｗを８×８ブロックに適用した例を示す。図４～図６の重み係数ｗは、０乃至８の値を取り、次式で合成する。

(ｗ×小領域Ａ＋（８－ｗ）×小領域Ｂ＋４)＞＞３
このように、分割境界からの画素間距離に応じて複数の重み係数ｗを設定することで８×８や６４×１６等、様々なブロックサイズでも一律に導出できる効果が得られる。パターンの種類、形状及び数は、任意に設定できる。例えば、上述では、複数パターンとして距離ａ，ｂの２倍と１/２倍を説明したが、４倍や１/４倍であってもよい。また、上式では、重み係数を０～８の値に設定したが、０～１６や０～３２等の他の値に設定することもできる。特に、分割境界からの画素間距離が２倍や４倍の場合は、重み係数の最大値を大きくすることで、画素単位の重み付け平均が高精度化できる。

以下、図７を参照して、合成部２０７による重み係数の設定処理の一例について説明する。

図７に示すように、ステップＳ１０１において、合成部２０７は、上述の制御情報に含まれるｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。Ｎｏの場合（いずれも１ではない場合）、本処理は、ステップＳ１０２に進み、Ｙｅｓの場合、本処理は、ステップＳ１０３に進む。

ステップＳ１０２において、合成部２０７は、復号対象ブロックに対して重み係数を用いた重み付け平均を適用しない。

ステップＳ１０３において、合成部２０７は、復号対象ブロックに対してＧＰＭが適用されているか否かについて判定する。Ｎｏの場合、本処理は、ステップＳ１０２に進み、Ｙｅｓの場合、本処理は、ステップＳ１０４に進む。

ステップＳ１０４において、合成部２０７は、上述の制御情報に含まれるｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘを復号する。

ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが０である場合、本動作は、ステップＳ１０５に進み、ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが１である場合、本動作は、ステップＳ１０６に進み、ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが２である場合、本動作は、ステップＳ１０７に進む。

ステップＳ１０５において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（１）の重み係数を選択して適用する。

ステップＳ１０６において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（２）の重み係数を選択して適用する。

ステップＳ１０７において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（３）の重み係数を選択して適用する。

なお、合成部２０７は、復号対象ブロックの輝度成分に対して復号対象ブロックの色差画素成分がダウンサンプリングされない場合は、復号対象ブロックの輝度成分に対して導出された分割境界の幅を決定付ける重み係数を、復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数として使用するように構成されていてもよい。かかる構成によれば、復号対象ブロックの色差成分の重み係数の導出処理を削減できる。

また、合成部２０７は、復号対象ブロックの輝度成分に対して復号対象ブロックの色差成分がダウンサンプリングされない場合は、復号対象ブロックの輝度成分に対して導出された分割境界幅を決定付ける重み係数を、復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数としてそのまま使用せず、例えば、上述と同様の方法で復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数を導出してもよい。かかる構成によれば、復号対象ブロックの色差成分の重み係数を独立に導出できるため符号化性能の向上効果が期待できる。

一方、合成部２０７は、復号対象ブロックの輝度成分に対して復号対象ブロックの色差成分がダウンサンプリングされる場合は、そのダウンサンプリング方法を考慮して、復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数を、復号対象ブロックの輝度成分の分割境界の幅から導出してもよい。かかる構成によれば、ダウンサンプリングされる復号対象ブロックの色差成分に対しても復号対象ブロックの輝度成分で得られる同様の効果が得られる。

さらには、合成部２０７は、復号対象ブロックの輝度成分の分割境界の幅の決定にヘッダ等の制御情報を使用する場合は、復号対象ブロックの色差成分に対しては不要となるため、符号化性能の向上効果が期待できる。

例えば、合成部２０７は、復号対象ブロックの輝度成分に対して復号対象ブロックの色差成分が水平方向及び垂直方向の双方が半分にダウンサンプリングされる場合は、復号対象ブロックの輝度成分に対して導出された分割境界の幅の半分になるような分割境界の幅を決定付ける重み係数を、復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数として導出してもよい。

例えば、合成部２０７は、復号対象ブロックの輝度成分に対して復号対象ブロックの色差成分が水平方向或いは垂直方向のいずれか一方のみが半分にダウンサンプリングされる場合は、復号対象ブロックの輝度成分に対して導出された分割境界の幅と同等或いは半分になるような分割境界の幅を決定付ける重み係数を、復号対象ブロックの色差成分の分割境界の幅を決定付ける重み係数として導出してもよい。

＜第２実施形態＞
以下、図３、図８～図１０を参照して、本発明の第２実施形態について、上述の第１実施形態との相違点に着目して説明する。

本実施形態では、直接的な制御情報を不要としつつ重み係数のパターンを特定することで符号長削減を図る。

そのため、本実施形態では、合成部２０７は、上述の第１予測画素及び第２予測画素の少なくとも一方に対して、複数の重み係数の中から間接的な制御情報に基づいて一意に選択した重み係数を用いた重み付け平均により第３予測画素を生成するように構成されている。

すなわち、本実施形態では、合成部２０７は、複数の重み係数の中から間接的な制御情報に応じて重み係数を選択（一意に特定）するように構成されている。

ここで、合成部２０７は、小領域の分割境界の幅が異なる複数の重み係数を用意しておき、かかる複数の重み係数の中から重み係数を選択するように構成されていてもよい。

具体的には、合成部２０７は、間接的な制御情報としての復号対象ブロックの形状に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。

例えば、合成部２０７は、復号対象ブロックの短辺、復号対象ブロックの長辺、復号対象ブロックの縦横比、分割モード及び復号対象ブロックの画素数の少なくとも１つに応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。

例えば、復号対象ブロックの形状として復号対象ブロックの短辺を利用する場合、復号対象ブロックの短辺が小さい場合は、広い領域に渡って重み付け平均してしまうと単純な双方向予測と変わらなくなってしまうため、分割境界の幅が広いパターンの重み係数については選択肢から外すことが望ましい。

例えば、図３の例では、合成部２０７は、復号対象ブロックの短辺が閾値以下の場合、パターン（３）の重み係数を選択し、復号対象ブロックの短辺が閾値より大きい場合、パターン（２）の重み係数を選択することで、パターン数を増やしつつパターンの制御情報を不要とし、符号化効率を向上させられる効果が得られる。

以下、図８を参照して、合成部２０７による重み係数の設定処理の一例について説明する。

図８に示すように、ステップＳ２０１において、合成部２０７は、上述の制御情報に含まれるｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。Ｎｏの場合（いずれも１ではない場合）、本処理は、ステップＳ２０２に進み、Ｙｅｓの場合、本処理は、ステップＳ２０３に進む。

ステップＳ２０２において、合成部２０７は、復号対象ブロックに対して重み係数を用いた重み付け平均を適用しない。

ステップＳ２０３において、合成部２０７は、復号対象ブロックに対してＧＰＭが適用されているか否かについて判定する。Ｎｏの場合、本処理は、ステップＳ２０２に進み、Ｙｅｓの場合、本処理は、ステップＳ２０４に進む。

ステップＳ２０４において、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値１以下であるか否かについて判定する。Ｎｏの場合、本処理は、ステップＳ２０５に進み、Ｙｅｓの場合、本処理は、ステップＳ２０８に進む。

ステップＳ２０５において、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値２以下であるか否かについて判定する。ここで、閾値２は、閾値１よりも大きい。Ｎｏの場合、本処理は、ステップＳ２０６に進み、Ｙｅｓの場合、本処理は、ステップＳ２０７に進む。

ステップＳ２０６において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（２）の重み係数を選択して適用する。

ステップＳ２０７において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（１）の重み係数を選択して適用する。

ステップＳ２０８において、合成部２０７は、パターン（１）～（３）の中から、重み係数として、パターン（３）の重み係数を選択して適用する。

同様に、復号対象ブロックの形状として、復号対象ブロックの長辺、復号対象ブロックの縦横比、分割モード及び復号対象ブロックの画素数等を利用する場合も、広い領域に渡って重み付け平均してしまうと単純な双予測と変わらなくなってしまうため、分割境界の幅が広いパターンの重み係数については選択肢から外すことが望ましい。

すなわち、図８に示すフローチャートのステップＳ２０４及びＳ２０５において、復号対象ブロックの短辺を、復号対象ブロックの長辺、復号対象ブロックの縦横比、分割モード又は復号対象ブロックの画素数に置き換えてもよい。

また、図８に示すフローチャートにおいて、ステップＳ２０４で、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値１未満であるか否かについて判定し、ステップＳ２０５で、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値２未満であるか否かについて判定してもよい。

ここで、上述の変更例として、復号対象ブロックの形状として、復号対象ブロックの短辺、ブロックの縦横比、分割モード（分割境界の角度）を利用してもよい。

例えば、復号対象ブロックの短辺が小さく且つブロックの縦横比が大きく（縦：横＝４：１等）且つ分割境界の角度が４５度以上の場合は、分割境界の幅が広いパターンの重み係数を選択肢から外してもよい。

逆に、復号対象ブロックの短辺が小さく且つブロックの縦横比が大きく（縦：横＝４：１等）且つ分割境界の角度が４５度未満の場合は、分割境界の幅が狭いパターンの重み係数を選択肢から外してもよい。

これにより、ブロックの形状を考慮した分割境界の幅の選択が可能になり、符号化性能の向上が期待できる。

また、合成部２０７は、動きベクトルに応じて、上述の重み係数を選択するように構成されていてもよい。

具体的には、合成部２０７は、小領域の動きベクトルを利用し、小領域の動きベクトル長或いは小領域の動きベクトルの解像度に応じて、上述の重み係数を選択するように構成されていてもよい。

動きベクトルが大きいほど分割境界がぼやける要因となることから重み係数の分布を広げることが望ましい。同様に、動きベクトルの解像度が粗いほど分割境界がぼやける要因となることから重み係数の分布を広げることが望ましい。

また、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分に応じて、上述の重み係数を選択するように構成されていてもよい。

ここで、動きベクトルの差分は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの参照フレームの差異や動きベクトルそのもの差分量である。

例えば、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）以上であれば重み係数の分布を狭くするように上述の重み係数を選択し、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）未満であれば重み係数の分布を広くするように上述の重み係数を選択するように構成されていてもよい。

かかる構成によれば、分割境界付近に発生し得る画像のエッジ（異なる動きを持つ背景と前景の境界等）に合わせて高精度に予測することができる。

或いは、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）以上であれば重み係数の分布を広くするように上述の重み係数を選択し、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）未満であれば重み係数の分布を狭くするように上述の重み係数を選択するように構成されていてもよい。

かかる構成によれば、分割境界付近の動きボケの大きさに合わせて高精度に予測することができる。
ここで、合成部２０７は、動きベクトルと分割境界との角度の関係によって選択可能な重み係数を選択するように構成されていてもよい。

例えば、図９に示すように、合成部２０７は、動きベクトル（ｘ，ｙ）と分割境界の単位法線ベクトル（ｕ，ｖ）との内積の絶対値｜ｘ×ｕ＋ｙ×ｖ｜に応じて、上述の重み係数を選択するように構成されていてもよい。

或いは、合成部２０７は、露光時間或いはフレームレートに応じて選択可能な重み係数を選択するように構成されていてもよい。

露光時間が長い場合やフレームレートが低い場合はボケやすく、露光時間が短い場合やフレームレートが高い場合はボケにくいことから、かかる構成によれば、適切な幅を選択することができる。

例えば、合成部２０７は、前者の場合は、幅が広い２を選択し、後者の場合、幅が狭い３を選択するように構成されている。

また、合成部２０７は、小領域の予測方法に応じて選択可能な重み係数を選択するように構成されていてもよい。

予測方式としては、イントラ予測及び動き補償を想定しているため、かかる構成によれば、それぞれの特性に応じた設定により予測精度を向上させることができる。

さらに、合成部２０７は、量子化パラメータに応じて選択可能な重み係数を選択するように構成されていてもよい。

量子化パラメータは値が大きいほど狭い幅が比較的選択されやすいことから、かかる構成によれば、量子化パラメータを判断材料に加えることで予測精度を向上させることができる。

また、合成部２０７は、復号対象ブロックの制御情報に限らず、復号対象ブロックに近傍するブロックの制御情報に応じて、復号対象ブロックの重み係数を選択するように構成されていてもよい。

例えば、小領域は、複数のブロックに跨がって連続する傾向があるため、合成部２０７は、隣接する復号済みブロックの重み係数に応じて、復号対象ブロックの重み係数を選択するように構成されていてもよい。

図１０は、復号対象ブロックに隣接する左、左上、上、右上のブロックの一例を示す図である。

復号対象ブロックに隣接する左や左上のブロックにも分割境界が存在するが、合成部２０７は、復号対象ブロックの分割境界とは連続しないので選択せず、分割境界が連続する復号対象ブロックの上のブロックの分割境界の幅を復号対象ブロックに選択することができる。

同様に、合成部２０７は、各小領域のマージベクトルを復号する際に用いるマージインデックスに対応する内部パラメータとして復号対象ブロックに近傍するブロックの重み係数のパターンを導出し、復号対象ブロックの各小領域の重み係数として選択するように構成されていてもよい。

合成部２０７は、各小領域に対応するマージベクトルが存在しない場合は、予め設定したパターン（例えば、パターン（１））の分割境界の幅を、復号対象ブロックの小領域に選択するように構成されていてもよい。

ここで、合成部２０７は、各小領域がイントラ予測モードの場合は、予め設定したパターン（例えば、パターン（１））の分割境界の幅を、復号対象ブロックの小領域に選択するように構成されていてもよい。

これらの構成によれば、類似した動きを持つ近傍ブロックの幅を継承することで、予測精度を向上させることができる。

＜第３実施形態＞
以下、図３、図８～図１１を参照して、本発明の第３実施形態について、上述の第１実施形態及び第２実施形態との相違点に着目して説明する。

本実施形態では、合成部２０７は、上述の第１予測画素及び第２予測画素の少なくとも一方に対して、復号された制御情報に基づいて限定された重み係数のいずれかを用いた重み付け平均により第３予測画素を生成するように構成されている。

すなわち、合成部２０７は、間接的な制御情報に応じて選択可能な重み係数の組み合わせを限定した上で、限定された重み係数の組み合わせの中から復号された制御情報に基づいて適用する重み係数を選択するように構成されている。

ここで、合成部２０７は、小領域の分割境界の幅が異なる複数の重み係数を用意しておき、上述の重み係数を選択するように構成されていてもよい。

合成部２０７は、間接的な制御情報としての復号対象ブロックの形状に応じて、選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

例えば、合成部２０７は、復号対象ブロックのサイズ（復号対象ブロックの短辺や復号対象ブロックの長辺等）、復号対象ブロックの縦横比、分割モード及び復号対象ブロックの画素数の少なくとも１つに応じて、選択可能な重み係数を限定するように構成されていてもよい。

ここで、復号対象ブロックの形状として復号対象ブロックの短辺を利用する場合、復号対象ブロックの短辺が小さい場合は、広い領域に渡って重み付け平均してしまうと単純な双方向予測と変わらなくなってしまうため、分割境界の幅が広いパターンの重み係数については選択肢（選択可能な重み係数の組み合わせ）から外すことが望ましい。

例えば、図３の例では、合成部２０７は、復号対象ブロックの短辺が閾値以下の場合、選択可能な重み係数の組み合わせをパターン（１）/（３）の重み係数に限定し、復号対象ブロックの短辺が閾値より大きい場合、選択可能な重み係数の組み合わせをパターン（１）/（２）の重み係数に限定することで、パターン数を増やしつつパターンの制御情報の符号量を低減させ、符号化効率を向上させられる効果が得られる。

ここで、復号対象ブロックの短辺の閾値として、例えば、８画素や１６画素を設定してもよい。

以下、図１１を参照して、合成部２０７による重み係数の設定処理の一例について説明する。

図１１に示すように、ステップＳ３０１において、合成部２０７は、上述の制御情報に含まれるｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。Ｎｏの場合（いずれも１ではない場合）、本処理は、ステップＳ３０２に進み、Ｙｅｓの場合、本処理は、ステップＳ３０３に進む。

ステップＳ３０２において、合成部２０７は、復号対象ブロックに対して重み係数を用いた重み付け平均を適用しない。

ステップＳ３０３において、合成部２０７は、復号対象ブロックに対してＧＰＭが適用されているか否かについて判定する。Ｎｏの場合、本処理は、ステップＳ３０２に進み、Ｙｅｓの場合、本処理は、ステップＳ３０４に進む。

ステップＳ３０４において、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値以下であるか否かについて判定する。

Ｎｏの場合、本処理は、ステップＳ３０５に進み、Ｙｅｓの場合、本処理は、ステップＳ３０６に進む。ここで、Ｎｏの場合、合成部２０７は、選択可能な重み係数の組み合わせをパターン（１）/（２）に限定し、Ｙｅｓの場合、合成部２０７は、選択可能な重み係数の組み合わせをパターン（１）/（３）に限定する。

ステップＳ３０５において、合成部２０７は、上述の制御情報に含まれるｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘ（直接的な制御情報）を復号する。

ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが０でない場合、本動作は、ステップＳ３０７に進み、ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが０である場合、本動作は、ステップＳ３０８に進む。

同様に、ステップＳ３０６において、ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが０でない場合、本動作は、ステップＳ３０９に進み、ｃｕ_ｄｉｖ_ｂｌｅｎｄｉｎｇ_ｉｄｘが０である場合、本動作は、ステップＳ３１０に進む。

ステップＳ３０７において、合成部２０７は、パターン（１）/（２）の中から、重み係数として、パターン（１）の重み係数を選択して適用する。

ステップＳ３０８において、合成部２０７は、パターン（１）/（２）の中から、重み係数として、パターン（２）の重み係数を選択して適用する。

ステップＳ３０９において、合成部２０７は、パターン（１）/（３）の中から、重み係数として、パターン（１）の重み係数を選択して適用する。

ステップＳ３１０において、合成部２０７は、パターン（１）/（３）の中から、重み係数として、パターン（３）の重み係数を選択して適用する。

同様に、復号対象ブロックの形状として、復号対象ブロックの長辺、復号対象ブロックの縦横比、分割モード及び復号対象ブロックの画素数等を利用する場合も、広い領域に渡って重み付け平均してしまうと単純な双予測と変わらなくなってしまうため、分割境界の幅が広いパターンの重み係数については選択肢から外すことが望ましい。

すなわち、図１１に示すフローチャートのステップＳ３０４において、復号対象ブロックの短辺を、復号対象ブロックの長辺、復号対象ブロックの縦横比、分割モード又は復号対象ブロックの画素数に置き換えてもよい。

また、図１１に示すフローチャートにおいて、ステップＳ３０４で、合成部２０７は、復号対象ブロックの短辺が予め設定した閾値未満であるか否かについて判定してもよい。

ここで、上述の変更例として、復号対象ブロックの形状として、復号対象ブロックの短辺、ブロックの縦横比、分割モード（分割境界の角度）を利用してもよい。

例えば、復号対象ブロックの短辺が小さく且つブロックの縦横比が大きく（縦：横＝４：１等）且つ分割境界の角度が４５度以上の場合は、分割境界の幅が広いパターンの重み係数を選択肢から外してもよい。

逆に、復号対象ブロックの短辺が小さく且つブロックの縦横比が大きく（縦：横＝４：１等）且つ分割境界の角度が４５度未満の場合は、分割境界の幅が狭いパターンの重み係数を選択肢から外してもよい。

これにより、ブロックの形状を考慮した分割境界の幅の選択が可能になり、符号化性能の向上が期待できる。

また、合成部２０７は、動きベクトルに応じて、選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

具体的には、合成部２０７は、小領域の動きベクトルを利用し、小領域の動きベクトル長或いは小領域の動きベクトルの解像度に応じて、選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

動きベクトルが大きいほど分割境界がぼやける要因となることから重み係数の分布を広げることが望ましい。同様に、動きベクトルの解像度が粗いほど分割境界がぼやける要因となることから重み係数の分布を広げることが望ましい。

また、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分に応じて、選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

ここで、動きベクトルの差分は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの参照フレームの差異や動きベクトルそのもの差分量である。

例えば、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）以上であれば重み係数の分布を狭くするように選択可能な重み係数の組み合わせを限定し、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）未満であれば重み係数の分布を広くするように選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

かかる構成によれば、分割境界付近に発生し得る画像のエッジ（異なる動きを持つ背景と前景の境界等）に合わせて高精度に予測することができる。

或いは、合成部２０７は、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）以上であれば重み係数の分布を広くするように選択可能な重み係数のパターンの組み合わせを限定し、小領域Ａ及び小領域Ｂのそれぞれの動きベクトルの差分が所定の閾値（例えば、１画素）未満であれば重み係数の分布を狭くするように選択可能な重み係数のパターンの組み合わせを限定するように構成されていてもよい。

かかる構成によれば、分割境界付近の動きボケの大きさに合わせて高精度に予測することができる。

ここで、合成部２０７は、動きベクトルと分割境界との角度の関係によって選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

例えば、図９に示すように、合成部２０７は、動きベクトル（ｘ，ｙ）と分割境界の単位法線ベクトル（ｕ，ｖ）との内積の絶対値｜ｘ×ｕ＋ｙ×ｖ｜に応じて、選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

或いは、合成部２０７は、合成部は、露光時間或いはフレームレートに応じて選択可能な重み係数を限定するように構成されていてもよい。

露光時間が長い場合やフレームレートが低い場合はボケやすく、露光時間が短い場合やフレームレートが高い場合はボケにくいことから、かかる構成によれば、適切な幅を選択することができる。

例えば、合成部２０７は、前者の場合は、幅が広い２を選択し、後者の場合、幅が狭い３を選択するように構成されている。

また、合成部２０７は、小領域の予測方法に応じて選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

予測方式としては、イントラ予測及び動き補償を想定しているため、かかる構成によれば、それぞれの特性に応じた設定により予測精度を向上させることができる。

さらに、合成部２０７は、量子化パラメータに応じて選択可能な重み係数の組み合わせを限定するように構成されていてもよい。

量子化パラメータは値が大きいほど狭い幅が比較的選択されやすいことから、かかる構成によれば、量子化パラメータを判断材料に加えることで予測精度を向上させることができる。

また、合成部２０７は、復号対象ブロックの制御情報に限らず、復号対象ブロックに近傍するブロックの制御情報に応じて、選択可能な復号対象ブロックの重み係数の組み合わせを限定するように構成されていてもよい。

例えば、小領域は、複数のブロックに跨がって連続する傾向があるため、合成部２０７は、隣接する復号済みブロックの重み係数に応じて、選択可能な復号対象ブロックの重み係数の組み合わせを限定するように構成されていてもよい。

図１０は、復号対象ブロックに隣接する左、左上、上、右上のブロックの一例を示す図である。

復号対象ブロックに隣接する左や左上のブロックにも分割境界が存在するが、合成部２０７は、復号対象ブロックの分割境界とは連続しないので復号対象ブロックの重み係数の組み合わせに含めず、分割境界が連続する復号対象ブロックの上のブロックの分割境界の幅を復号対象ブロックの重み係数の組み合わせに含めることができる。

なお、合成部２０７は、選択可能な復号対象ブロックの重み係数の組み合わせを限定する際に、かかる組み合わせに含めるか含めないのかの２択に限らず、段階的に限定するように構成されていてもよい。

例えば、復号部２０１は、上述の重み係数の選択確率に応じて異なる符号長を割り当てて復号することで符号化効率を向上させる。

上述の例では、復号部２０１は、隣接する復号済みブロックが採用している重み係数のパターンを短い符号長として設定し、他のパターンを長い符号長として設定することができる。

上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…イントラ予測部
２０５…蓄積部
２０６…動き補償部
２０７…合成部
２０８…加算部
２１０…符号入力部
２２０…画像出力部

Claims (7)

1. 画像復号装置であって、
   制御情報並びに量子化値を復号する復号部と、
   前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化部と、
   前記復号された変換係数を逆変換して復号された予測残差とする逆変換部と、
   復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
   前記復号済み画素を蓄積する蓄積部と、
   前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する動き補償部と、
   前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する合成部と、
   前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る加算部とを具備し、
   前記制御情報は、前記重み係数のパターンを指定するシンタックスを含み、
   前記合成部は、前記複数の重み係数の中から、前記シンタックスによって指定された前記パターンの重み係数を選択し適用することを特徴とする画像復号装置。
2. 前記合成部は、前記重み係数として、前記分割境界に対して対称的な重み係数を設定することを特徴とする請求項１に記載の画像復号装置。
3. 前記合成部は、前記重み係数として、前記分割境界に対して非対称な重み係数を設定することを特徴とする請求項１に記載の画像復号装置。
4. 前記合成部は、前記分割境界からの画素間距離に応じて前記複数の重み係数を設定することを特徴とする請求項１に記載の画像復号装置。
5. 前記合成部は、前記分割境界からの画素間距離に応じて複数の線分で前記重み係数を設定することを特徴とする請求項３に記載の画像復号装置。
6. 画像復号方法であって、
   制御情報並びに量子化値を復号する工程Ａと、
   前記復号された量子化値を逆量子化して復号された変換係数とする工程Ｂと、
   前記復号された変換係数を逆変換して復号された予測残差とする工程Ｃと、
   復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成する工程Ｄと、
   前記復号済み画素を蓄積する工程Ｅと、
   前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する工程Ｆと、
   前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する工程Ｇと、
   前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る工程Ｈとを有し、
   前記制御情報は、前記重み係数のパターンを指定するシンタックスを含み、
   前記工程Ｇにおいて、前記複数の重み係数の中から、前記シンタックスによって指定された前記パターンの重み係数を選択し適用することを特徴とする画像復号方法。
7. コンピュータを、画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、
   制御情報並びに量子化値を復号する復号部と、
   前記復号された量子化値を逆量子化して復号された変換係数とする逆量子化部と、
   前記復号された変換係数を逆変換して復号された予測残差とする逆変換部と、
   復号済み画素と前記復号された制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
   前記復号済み画素を蓄積する蓄積部と、
   前記蓄積された復号済み画素と前記復号された制御情報とに基づいて第２予測画素を生成する動き補償部と、
   前記第１予測画素及び前記第２予測画素の少なくとも一方に対して、分割境界の幅が異なる複数の重み係数を用意し重み付け平均により前記分割境界の幅を制御した第３予測画素を生成する合成部と、
   前記復号された予測残差と前記第３予測画素とを加算して前記復号済み画素を得る加算部とを具備し、
   前記制御情報は、前記重み係数のパターンを指定するシンタックスを含み、
   前記合成部は、前記複数の重み係数の中から、前記シンタックスによって指定された前記パターンの重み係数を選択し適用することを特徴とするプログラム。