JP7228980B2 - 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムに関する。

非特許文献１に記載のＨＥＶＣに代表される従来の映像符号化方式では、画像符号化装置は、原画像をブロックに分割し、ブロックごとにインター予測とイントラ予測とを切り替えながら予測を行い、予測により得られた予測画像の誤差を表す予測残差に対し直交変換、量子化、エントロピー符号化を施すことにより、ストリーム出力するように構成されている。

かかる映像符号化方式におけるインター予測では、符号化対象のブロック（Ｃｏｄｉｎｇ Ｕｎｉｔ ： ＣＵ）に適用する動きベクトルが、当該符号化対象ＣＵに隣接する隣接ＣＵに適用する動きベクトルと異なる場合には、符号化対象ＣＵの予測画像及び隣接ＣＵの予測画像は特徴が大きく異なる。

図１に示す従来の映像符号化方式の例では、オブジェクト＃１は左上に動いており、オブジェクト＃２は右上に動いているものとする。オブジェクト＃１のみが含まれる符号化対象ＣＵの左側に位置する隣接ＣＵ＃１に対するインター予測では、オブジェクト＃１の動きと同様の動きベクトル（ＭＶ＃３）が適用される可能性が高い。符号化対象ＣＵは、オブジェクト＃１及びオブジェクト＃２の両方を含むオブジェクト境界に位置するが、多くの領域をオブジェクト＃１が占めることから、左側に隣接する隣接ＣＵ＃１の動きベクトル（ＭＶ＃２）と同様の動きベクトル（ＭＶ＃１）が符号化対象ＣＵに適用される可能性が高い。

隣り合うＣＵ同士の動きベクトルが同様である場合には、ＣＵの境界領域の動きの連続性は高く、予測精度は高くなる可能性が高い。一方、図１の符号化対象ＣＵの上側に隣接するＣＵ＃２はオブジェクト＃２を多く含むことから、オブジェクト＃２の動きと同様の動きベクトル（ＭＶ＃３）が適用される可能性が高い。すなわち、符号化対象ＣＵに適用する動きベクトル（ＭＶ＃１）とＣＵ＃１に適用する動きベクトル（ＭＶ＃３）は大きく異なる可能性が高い。このような隣り合うＣＵ同士の動きベクトルが大きく異なる場合には、これらのＣＵのどちらか少なくとも一方にオブジェクト境界が含まれる可能性が高い。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

オブジェクト境界における動きベクトルの不連続性は予測精度の低下を招き、符号化効率が低下してしまう問題がある。ＨＥＶＣでは、この問題を解決するため、ループフィルタにおいて、符号化対象ＣＵに適用した動きベクトルと隣接ブロックに適用した動きベクトルとの差が予め規定した値より大きいか否かに応じて、ブロック歪を除去するデブロッキングフィルタを適用するか否かを制御する手法が導入されている。

しかしながら、予測（インター予測）においては、上記の動きベクトルの不連続性にかかわらず同一の処理が適用されているため、直交変換係数の伝送に必要な情報量がオブジェクト境界付近のブロックで増大し、符号化効率が低下してしまう問題がある。

そこで、本発明は、インター予測を行う場合において符号化効率を向上させることが可能な予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係る予測画像補正装置は、画像を構成するブロックごとにインター予測をして得られた予測画像を補正する予測画像補正装置であって、前記インター予測が行われた対象ブロックに適用された動きベクトルと、前記対象ブロックに隣接する復号済みの１又は複数の隣接ブロックに適用された動きベクトルとの比較により、前記１又は複数の隣接ブロックについて前記対象ブロックとの動きの連続性を評価する連続性評価部と、前記連続性評価部により評価された前記連続性が予め定めた値よりも低い隣接ブロックが存在する場合に、前記連続性が予め定めた値よりも低い隣接ブロックの復号画像のうち前記対象ブロックとの境界領域の復号画像を用いて、前記対象ブロックの予測画像のうち前記連続性が予め定めた値よりも低い隣接ブロックとの境界領域の予測画像を補正する補正部とを備えることを要旨とする。

第２の特徴に係る画像符号化装置は、インター予測を行うインター予測部と、第１の特徴に係る予測画像補正装置とを備えることを要旨とする。

第３の特徴に係る画像復号装置は、インター予測を行うインター予測部と、第１の特徴に係る予測画像補正装置とを備えることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第１の特徴に係る予測画像補正装置として機能させることを要旨とする。

本発明によれば、インター予測を行う場合において符号化効率を向上させることが可能な予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

背景技術を説明するための図である。 実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係る画像符号化装置における予測画像補正部の構成を示す図である。 実施形態に係る予測画像補正部の動作を説明するための図である。 実施形態に係る予測画像補正部における連続性評価部の動作を説明するための図である。 実施形態に係る予測画像補正部における補正部の動作を説明するための図である。 実施形態に係る予測画像補正部における補正部の動作の具体例を説明するための図である。 実施形態に係る画像符号化装置における予測画像補正部の動作を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る画像復号装置の予測画像補正部の構成を示す図である。 変更例に係る動作を説明するための図である。 変更例に係る予測画像補正部の構成を示す図である。 変更例に係る予測画像補正部における残差エネルギー算出部の動作を説明するための図である。 変更例に係る予測画像補正部における補正部の動作を説明するための図である。 その他の実施形態に係る動作を説明するための図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜画像符号化装置＞
まず、本実施形態に係る画像符号化装置について説明する。図２は、本実施形態に係る画像符号化装置１の構成を示す図である。

図２に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ部１６０と、予測部１７０とを備える。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数のブロックに分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置が復号を行う単位である。以下において、かかるブロックをＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と称する。

減算部１１０は、ブロック分割部１００から入力された符号化対象ＣＵと、符号化対象ＣＵを予測部１７０が予測して得た予測画像との差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、ＣＵの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ＣＵ単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ＣＵ内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。

エントロピー符号化部１３０は、量子化部１２２から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、予測部１７０から予測に関する制御情報が入力され、入力された制御情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ＣＵを再構成（復号）し、復号したＣＵ単位の復号画像をメモリ部１６０に出力する。かかる復号画像は、再構成画像と称されることがある。

メモリ部１６０は、合成部１５０から入力された復号画像を記憶する。メモリ部１６０は、復号画像をフレーム単位で記憶する。メモリ部１６０は、記憶している復号画像を予測部１７０に出力する。さらに、メモリ部１６０は、インター予測部１７２において算出された動きベクトルをＣＵごとに記憶する。なお、メモリ部１６０は、複数のメモリにより構成されてもよい。また、合成部１５０とメモリ部１６０との間にループフィルタが設けられてもよい。

予測部１７０は、ＣＵ単位で予測を行う。予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、予測画像補正部１７３と、切替部１７４とを備える。予測画像補正部１７３は、予測画像補正装置に相当する。

イントラ予測部１７１は、メモリ部１６０に記憶された復号画像のうち、符号化対象ＣＵの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１７４に出力する。また、イントラ予測部１７１は、複数のイントラ予測モードの中から、対象ＣＵに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部１７１は、選択したイントラ予測モードに関する制御情報をエントロピー符号化部１３０に出力する。

インター予測部１７２は、メモリ部１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ＣＵを予測してインター予測画像を生成し、生成したインター予測画像を当該動きベクトルと共に予測画像補正部１７３に出力する。また、インター予測部１７２は、ＣＵごとに算出した動きベクトルをメモリ部１６０に出力し、当該動きベクトルをメモリ部１６０に記憶させる。インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する制御情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

予測画像補正部１７３は、インター予測部１７２から入力されたインター予測画像を補正し、補正後のインター予測画像を切替部１７４に出力する。具体的には、予測画像補正部１７３は、符号化対象ＣＵに適用された動きベクトルをインター予測部１７２から取得し、符号化対象ＣＵに隣接する復号済みのブロック群の動きベクトル及び復号済みのブロック群の符号化対象ＣＵとの境界領域の復号画像をメモリ部１６０から取得し、取得した情報に基づいて符号化対象ＣＵのインター予測画像を補正する。予測画像補正部１７３の詳細については後述する。

切替部１７４は、イントラ予測部１７１から入力されるイントラ予測画像と予測画像補正部１７３から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

次に、予測画像補正部１７３について説明する。図３は、画像符号化装置１の予測画像補正部１７３の構成を示す図である。

図３に示すように、予測画像補正部１７３は、連続性評価部１７３ａと、補正部１７３ｂとを備える。

連続性評価部１７３ａは、符号化対象ＣＵに隣接する復号済みの１又は複数の隣接ＣＵに適用された動きベクトルをメモリ部１６０から取得する。例えば、図４に示すように、符号化対象ＣＵに隣接する復号済みのＣＵ＃１乃至ＣＵ＃７が復号済みCU群に含まれる場合、連続性評価部１７３ａは、ＣＵ＃１乃至ＣＵ＃７のそれぞれについてインター予測に適用された動きベクトルを取得する。

なお、図４において、連続性評価部１７３ａは、符号化対象ＣＵの上側及び左側に隣接する復号済みＣＵの動きベクトルを取得しているが、右側や下側のＣＵが復号済みである場合には、右側や下側のＣＵに適用した動きベクトルをさらに取得してもよい。

そして、連続性評価部１７３ａは、符号化対象ＣＵに適用された動きベクトルと、隣接する復号済みCU群に適用された動きベクトルとの比較により、隣接する復号済みCU群について符号化対象ＣＵとの動きの連続性を評価し、評価結果を補正部１７３ｂに出力する。

具体的には、連続性評価部１７３ａは、符号化対象ＣＵに適用されるベクトルと復号済みＣＵの動きベクトルとのＬ１ノルムが予め規定した閾値未満である場合には連続性が高いと評価する。一方、当該Ｌ１ノルムが閾値以上である場合には連続性が低いと評価する。但し、連続性の指標値としてはＬ１ノルムに限定されるものではなく、他の指標値を用いてもよい。

例えば、図５に示すように、連続性評価部１７３ａは、符号化対象ＣＵに隣接する復号済みのＣＵ＃１乃至ＣＵ＃７のそれぞれの動きベクトルについて、符号化対象ＣＵの動きベクトルとの差（距離）を表すＬ１ノルムを算出し、ＣＵ＃１乃至ＣＵ＃７のそれぞれについて算出したＬ１ノルムを閾値と比較する。

図５に示す例において、ＣＵ＃１に対応するＬ１ノルム、ＣＵ＃２に対応するＬ１ノルム、ＣＵ＃３に対応するＬ１ノルム、ＣＵ＃４に対応するＬ１ノルム、及びＣＵ＃５に対応するＬ１ノルムは、閾値以上であるため、これらの隣接ＣＵは符号化対象ＣＵとの連続性が低いということになる。一方、ＣＵ＃６に対応するＬ１ノルム及びＣＵ＃７に対応するＬ１ノルムは、閾値未満であるため、これらの隣接ＣＵは符号化対象ＣＵとの連続性が高いということになる。なお、ＣＵ＃１乃至ＣＵ＃７のいずれも連続性が高いと評価された場合、補正部１７３ｂによる符号化対象ＣＵのインター予測画像の補正を省略してもよい。

本実施形態において、動きベクトルは、Ｘ軸及びＹ軸方向のベクトル値のほか、参照する復号済みフレームを示すフラグ（例えば、ＨＥＶＣにおけるｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ，ｒｅｆ＿ｉｄｘ）を含むものとする。連続性評価部１７３ａは、隣接ブロックとの動きベクトルの連続性の評価にあたっては、符号化対象ＣＵを含むフレーム（現フレーム）と符号化対象ＣＵの参照先の復号済みフレームとの時間的な距離（ＰＯＣ距離）と、現フレームと隣接する復号済みＣＵの参照先の復号済みフレームとのＰＯＣ距離とに応じて、当該隣接する復号済みＣＵに適用した動きベクトルのベクトル値をスケーリングしたのちに連続性を評価してもよい。

補正部１７３ｂは、符号化対象ＣＵのインター予測画像を補正するために、符号化対象ＣＵに隣接する復号済みＣＵ群の復号画像のうち、少なくとも符号化対象ＣＵとの境界領域の復号画像をメモリ部１６０から取得する。

例えば、図４に示すように、補正部１７３ｂは、符号化対象ＣＵに隣接する復号済みのＣＵ＃１乃至ＣＵ＃７のそれぞれの復号画像のうち、符号化対象ＣＵとの境界領域の復号画像をメモリ部１６０から取得する。

なお、符号化対象ＣＵとの境界領域とは、符号化対象ＣＵに隣接する復号済み画素を含む領域をいうが、符号化対象ＣＵからＮ画素（Ｎ＞１）までの復号済み画素からなる領域を境界領域としてもよい。

また、図４に示す例において、補正部１７３ｂは、符号化対象ＣＵに隣接する復号済みのＣＵ＃１乃至ＣＵ＃７のすべてについて境界領域の復号画像を取得せずに、ＣＵ＃１乃至ＣＵ＃７のうち連続性評価部１７３ａにより連続性が低いと評価されたＣＵ＃１乃至ＣＵ＃５（図５参照）のみについて境界領域の復号画像を取得してもよい。

そして、補正部１７３ｂは、連続性評価部１７３ａにより連続性が低いと評価された隣接ＣＵ（所定隣接ブロック）が存在する場合に、当該隣接ＣＵの復号画像のうち少なくとも符号化対象ＣＵとの境界領域の復号画像を用いて、符号化対象ＣＵのインター予測画像のうち少なくとも当該隣接ＣＵとの境界領域の予測画像を補正する。

具体的には、補正部１７３ｂは、連続性評価部１７３ａにおいて連続性が低いと評価された隣接ＣＵと符号化対象ＣＵとのブロック境界について、符号化対象ＣＵの予測画像を当該隣接ＣＵの復号画像の値を用いて補正する。例えば、図６に示すように、補正部１７３ｂは、連続性評価部１７３ａにおいて連続性が低いと評価された隣接ＣＵ＃１乃至ＣＵ＃５と符号化対象ＣＵとのブロック境界について、符号化対象ＣＵのインター予測画像を当該隣接ＣＵ＃１乃至ＣＵ＃５の復号画像の値を用いて補正する。

ここで、補正部１７３ｂによる補正の方法の具体例について説明する。符号化対象ＣＵ（幅Ｍ、高さＮ）に適用する動きベクトルを用いて生成したインター予測画像をｐｒｅｄ［ｉ，ｊ］（ｉ＝０…Ｍ－１，ｊ＝０…Ｎ－１）とし、隣接する復号済みＣＵの復号画像をｒｅｃ［ｉ，ｊ］（ｉ＝－１，ｊ＝－１…Ｎ及びｉ＝－１…Ｍ，ｊ＝－１）とするとき、補正部１７３ｂは、図７に示す式により補正後のインター予測画像ｐｒｅｄ’［ｉ，ｊ］を算出する。

図７（ａ）は符号化対象ＣＵのインター予測画像の左側のブロック境界領域を補正する例を示し、図７（ｂ）は符号化対象ＣＵのインター予測画像の上側のブロック境界領域を補正する例を示し、図７（ｃ）は符号化対象ＣＵのインター予測画像の左上の角のブロック境界領域を補正する例を示している。インター予測画像において、ブロック境界から２画素までをブロック境界領域として補正しているが、ブロック境界からＭ画素（Ｍ≧３）までをブロック境界領域として補正してもよい。

このようにして符号化対象ＣＵのインター予測画像を補正すると、補正部１７３ｂは、補正後のインター予測画像を、切替部１７４を介して減算部１１０及び合成部１５０に出力する。

次に、予測画像補正部１７３の動作について説明する。図８は、画像符号化装置１の予測画像補正部１７３の動作を示す図である。

図８に示すように、ステップＳ１０１において、連続性評価部１７３ａは、インター予測が行われた符号化対象ＣＵに適用された動きベクトルと、復号済みの隣接ブロックに適用された動きベクトルとの比較により、隣接ブロックについて符号化対象ＣＵとの動きの連続性を評価する。

連続性評価部１７３ａにより評価された連続性が所定値よりも低い所定隣接ブロックが存在する場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３において、補正部１７３ｂは、所定隣接ブロックの復号画像のうち少なくとも符号化対象ＣＵとの境界領域の復号画像を用いて、符号化対象ＣＵの予測画像のうち少なくとも所定隣接ブロックとの境界領域の予測画像を補正する。

このように、予測画像補正部１７３によれば、動きベクトルの不連続性を考慮して予測画像を補正することにより、オブジェクト境界付近のブロックについて直交変換係数の伝送に必要な情報量を低減できるため、インター予測を行う場合における符号化効率を向上させることができる。

＜画像復号装置＞
次に、本実施形態に係る画像復号装置について説明する。但し、上記の画像符号化装置１と同様な動作については重複する説明を省略する。図９は、本実施形態に係る画像復号装置２の構成を示す図である。

図９に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ部２３０と、予測部２４０とを備える。

エントロピー復号部２００は、画像符号化装置１により生成された符号化ストリームを復号し、量子化された直交変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。

逆量子化・逆変換部２１０は、ＣＵ単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ＣＵの直交変換係数を復元し、復元した直交変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像とを画素単位で合成することにより、元のＣＵを再構成（復号）し、ＣＵ単位の復号画像をメモリ部２３０に出力する。

メモリ部２３０は、合成部２２０から入力された復号画像を記憶する。メモリ部２３０は、復号画像をフレーム単位で記憶する。さらに、メモリ部２３０は、インター予測部２４２において算出された動きベクトルをＣＵごとに記憶する。メモリ部２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、メモリ部２３０は、複数のメモリにより構成されてもよい。合成部２２０とメモリ部２３０との間にループフィルタが設けられてもよい。

予測部２４０は、ＣＵ単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、予測画像補正部２４３と、切替部２４４とを備える。予測画像補正部２４３は、予測画像補正装置に相当する。

イントラ予測部２４１は、メモリ部２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力された制御情報に従って、復号対象ＣＵをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２４４に出力する。

インター予測部２４２は、メモリ部２３０に記憶された復号画像を参照画像として用いて、復号対象ＣＵをインター予測により予測する。インター予測部２４２は、エントロピー復号部２００から入力された制御情報に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を予測画像補正部２４３に出力する。

予測画像補正部２４３は、インター予測部２４２から入力されたインター予測画像を補正し、補正後のインター予測画像を切替部２４４に出力する。具体的には、予測画像補正部２４３は、復号対象ＣＵに適用された動きベクトルをインター予測部２４２から取得し、復号対象ＣＵに隣接する復号済みのブロック群の動きベクトル及び復号済みのブロック群の復号対象ＣＵとの境界領域の復号画像をメモリ部２３０から取得し、取得した情報に基づいて復号対象ＣＵのインター予測画像を補正する。予測画像補正部２４３の詳細については後述する。

切替部２４４は、イントラ予測部２４１から入力されるイントラ予測画像と予測画像補正部２４３から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

次に、予測画像補正部２４３について説明する。図１０は、画像復号装置２の予測画像補正部２４３の構成を示す図である。

図１０に示すように、予測画像補正部２４３は、連続性評価部２４３ａと、補正部２４３ｂとを備える。連続性評価部２４３ａ及び補正部２４３ｂの動作は、画像符号化装置１の連続性評価部１７３ａ及び補正部１７３ｂの動作と同様であるため、以下では連続性評価部２４３ａ及び補正部２４３ｂの動作について簡単に説明する。

連続性評価部２４３ａは、復号対象ＣＵに隣接する復号済みの１又は複数の隣接ＣＵに適用された動きベクトルをメモリ部２３０から取得する。

そして、連続性評価部２４３ａは、復号対象ＣＵに適用された動きベクトルと、隣接する復号済みCU群に適用された動きベクトルとの比較により、隣接する復号済みＣＵ群について復号対象ＣＵとの動きの連続性を評価し、評価結果を補正部２４３ｂに出力する。

補正部２４３ｂは、復号対象ＣＵのインター予測画像を補正するために、復号対象ＣＵに隣接する復号済みＣＵ群の復号画像のうち、少なくとも復号対象ＣＵとの境界領域の復号画像をメモリ部２３０から取得する。

そして、補正部２４３ｂは、連続性評価部２４３ａにより連続性が低いと評価された隣接ＣＵ（所定隣接ブロック）が存在する場合に、当該隣接ＣＵの復号画像のうち少なくとも復号対象ＣＵとの境界領域の復号画像を用いて、復号対象ＣＵのインター予測画像のうち少なくとも当該隣接ＣＵとの境界領域の予測画像を補正する。具体的には、補正部２４３ｂは、連続性評価部２４３ａにおいて連続性が低いと評価された隣接ＣＵと復号対象ＣＵとのブロック境界について、復号対象ＣＵの予測画像を当該隣接ＣＵの復号画像の値を用いて補正する。

このようにして復号対象ＣＵのインター予測画像を補正すると、補正部２４３ｂは、補正後のインター予測画像を、切替部２４４を介して合成部２２０に出力する。

なお、画像復号装置２の予測画像補正部２４３の動作フローについては図８と同様であるが、図８に示した動作フローにおいて「符号化対象ＣＵ」を「復号対象ＣＵ」と読み替える。

このように、予測画像補正部２４３によれば、動きベクトルの不連続性を考慮して予測画像を補正することにより、インター予測を行う場合における符号化効率を向上させることができる。

＜変更例＞
上記の実施形態において、復号済みの隣接ブロックとの連続性の評価において、符号化対象ＣＵ（又は復号対象ＣＵ）に適用した動きベクトルと復号済みの隣接ＣＵに適用した動きベクトルとの比較により連続性が高いか否かを評価し、連続性が低いことに応じてインター予測画像を補正していた。

しかしながら、かかる方法において、補正が適切に機能しない場合がある。例えば、図１１に示すように、符号化対象ＣＵと符号化対象ＣＵの上側の隣接ＣＵ＃２とは動きベクトルが互いに異なるため、符号化対象ＣＵにおける上側のブロック境界領域に対して補正が行われることになる。

しかしながら、オブジェクト＃１及び＃２のオブジェクト境界は隣接ＣＵ＃２における下側のブロック境界領域に含まれている。このような場合、符号化対象ＣＵのインター予測画像に補正を施すと、インター予測画像の劣化を引き起こす可能性がある。

そこで、本変更例では、上記の実施形態と同様な動きベクトルの比較に加えて、復号済みの隣接ブロックにおける予測残差（残差信号）のエネルギーに応じて補正の有無を決定する。

図１１に示す例において、オブジェクト＃１及び＃２のオブジェクト境界は隣接ＣＵ＃２における下側のブロック境界領域に含まれているため、当該下側のブロック境界領域における予測残差のエネルギーは大きくなる可能性が高い。かかる場合、符号化対象ＣＵのインター予測画像に対して補正を行わないようにする。一方、下側のブロック境界領域における予測残差のエネルギーが小さい場合には、符号化対象ＣＵのインター予測画像に対して補正を行うようにする。

本変更例に係る画像符号化装置１について説明する。本変更例において、画像符号化装置１のメモリ部１６０は、符号化対象ＣＵに隣接する復号済みＣＵの予測残差を記憶する。各ブロック処理において得られた予測残差をメモリ部１６０に記憶させることで、その後のブロックの処理の際に、メモリ部１６０に記憶された予測残差を利用できる。

メモリ部１６０は、減算部１１０が出力する予測残差を記憶してもよいし、逆変換部１４２が出力する予測残差を記憶してもよい。予測画像補正部１７３は、メモリ部１６０に記憶された隣接ブロックの予測残差のうち、符号化対象ＣＵとの境界領域の予測残差を取得する。

図１２は、本変更例に係る予測画像補正部１７３の構成を示す図である。図１２に示すように、本変更例に係る予測画像補正部１７３は、上記の実施形態と同様な連続性評価部１７３ａ及び補正部１７３ｂに加えて、残差エネルギー算出部１７３ｃを備える。

残差エネルギー算出部１７３ｃは、符号化対象ＣＵに隣接する復号済み隣接ブロックのブロック境界付近の予測残差をメモリ部１６０から取得し、取得した復号済み隣接ブロックのブロック境界付近の予測残差のエネルギーを算出し、エネルギーの算出値（隣接残差エネルギー）を補正部１７３ｂに出力する。

例えば、図１３に示すように、残差エネルギー算出部１７３ｃは、符号化対象ＣＵに隣接する復号済み隣接ブロックＣＵ＃１乃至ＣＵ＃７のそれぞれのブロック境界付近の予測残差のエネルギーを算出する。エネルギーを算出する領域は符号化対象ＣＵのブロック境界から法線方向に予め規定したライン数分とすることとする。但し、ライン数はブロックサイズに応じて可変であってもよい。

また、符号化対象ＣＵの角では、水平垂直方向に規定ライン数分の領域を残差エネルギー算出の領域とする。例えば、左上の角については、符号化対象ＣＵの左上座標を（０，０）とした場合に、（－Ｎ，－Ｎ）から（－１，－１）までの領域を残差エネルギー算出の領域とする（Ｎはあらかじめ規定したライン数）。

具体的には、残差エネルギー算出部１７３ｃは、算出領域内の予測残差の絶対値の平均を残差エネルギーとすることができる。但し、予測残差のエネルギーを領域ごとに算出する指標であれば、二乗和の平均など他の指標であってもかまわない。

なお、残差エネルギー算出部１７３ｃは、符号化対象ＣＵに隣接する復号済みのＣＵ＃１乃至ＣＵ＃７のすべてについて境界領域の予測残差のエネルギーを算出せずに、ＣＵ＃１乃至ＣＵ＃７のうち連続性評価部１７３ａにより連続性が低いと評価されたＣＵ＃１乃至ＣＵ＃５（図５参照）のみについて境界領域の予測残差のエネルギーを算出してもよい。

補正部１７３ｂは、連続性評価部１７３ａにより連続性が低いと評価された隣接ブロックのうち、残差エネルギー算出部１７３ｃにより算出されたエネルギーが予め規定した閾値よりも小さい隣接ブロックの境界領域の復号画像を用いて、符号化対象ＣＵのインター予測画像を補正する。

例えば、図１４に示すように、符号化対象ＣＵに隣接するＣＵ＃１乃至ＣＵ＃７のうち連続性評価部１７３ａによりＣＵ＃１乃至ＣＵ＃５の連続性が低いと評価され、且つ、残差エネルギー算出部１７３ｃにより算出されたエネルギーが閾値よりも小さいＣＵがＣＵ＃１乃至ＣＵ＃３であるとする。すなわち、ＣＵ＃４乃至ＣＵ＃７について残差エネルギー算出部１７３ｃにより算出されたエネルギーは閾値よりも大きい。

かかる場合、補正部１７３ｂは、ＣＵ＃１乃至ＣＵ＃３のブロック境界領域の復号画像を用いて、符号化対象ＣＵのインター予測画像のブロック境界領域を補正する。一方、補正部１７３ｂは、ＣＵ＃４乃至ＣＵ＃７のブロック境界領域の復号画像を符号化対象ＣＵのインター予測画像の補正に用いない。

なお、本変更例においては画像符号化装置１を例に挙げて説明したが、本変更例に係る動作を画像復号装置２にも適用可能である。

＜その他の実施形態＞
上記の実施形態及び変更例において、符号化対象ＣＵ（又は復号対象ＣＵ）が複数の小領域に分割される場合について特に考慮していなかった。しかしながら、符号化対象ＣＵ（又は復号対象ＣＵ）が複数の小領域に分割される場合にも本発明を適用可能である。

例えば、図１５に示すように、符号化対象ＣＵの内部を小領域に分割し、小領域ごとに異なる動きベクトルを適用できる場合、連続性評価部１７３ａは、隣接する復号済みＣＵに最も近い位置の小領域に適用した動きベクトルと当該隣接する復号済みＣＵに適用した動きベクトルとの動きの連続性を評価する。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ部
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：インター予測部
１７３ ：予測画像補正部
１７３ａ ：連続性評価部
１７３ｂ ：補正部
１７３ｃ ：残差エネルギー算出部
１７４ ：切替部
２００ ：エントロピー復号部
２１０ ：逆量子化・逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ部
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：インター予測部
２４３ ：予測画像補正部
２４３ａ ：連続性評価部
２４３ｂ ：補正部
２４４ ：切替部

Claims (6)

1. 画像を構成するブロックごとにインター予測をして得られた予測画像を補正する予測画像補正装置であって、
   前記インター予測が行われた対象ブロックに適用された動きベクトルと、前記対象ブロックに隣接する復号済みの１又は複数の隣接ブロックに適用された動きベクトルとの比較により、前記１又は複数の隣接ブロックについて前記対象ブロックとの動きの連続性を評価する連続性評価部と、
   前記隣接ブロックの復号画像のうち前記対象ブロックとの境界領域の復号画像を用いて、前記対象ブロックの予測画像のうち前記隣接ブロックとの境界領域の予測画像を補正する補正部と、を備え、
   前記対象ブロックは、複数の小領域に分割され、
   前記補正部は、前記小領域ごとに評価した前記連続性に基づいて、前記予測画像を補正することを特徴とする予測画像補正装置。
2. 画像を構成するブロックごとにインター予測をして得られた予測画像を補正する予測画像補正装置であって、
   前記インター予測が行われた対象ブロックに適用された動きベクトルと、前記対象ブロックに隣接する復号済みの１又は複数の隣接ブロックに適用された動きベクトルとの比較により、前記１又は複数の隣接ブロックについて前記対象ブロックとの動きの連続性を評価する連続性評価部と、
   前記隣接ブロックの復号画像のうち前記対象ブロックとの境界領域の復号画像を用いて、前記対象ブロックの予測画像のうち前記隣接ブロックとの境界領域の予測画像を補正する補正部と、を備え、
   前記補正部は、前記隣接ブロックの予測残差を更に用いて前記補正を行うことを特徴とする予測画像補正装置。
3. 前記連続性評価部により評価された前記連続性が予め定めた値よりも低い前記隣接ブロックが存在する場合に、前記連続性が予め定めた値よりも低い前記隣接ブロックの予測残差のうち前記対象ブロックとの境界領域の予測残差のエネルギーを算出する残差エネルギー算出部をさらに備え、
   前記補正部は、前記連続性が予め定めた値よりも低い前記隣接ブロックが存在し、かつ前記残差エネルギー算出部により算出された前記エネルギーが閾値よりも小さい場合に、前記補正を行うことを特徴とする請求項２に記載の予測画像補正装置。
4. インター予測を行うインター予測部と、請求項１乃至請求項３のいずれか１項に記載の予測画像補正装置と、を備えることを特徴とする画像符号化装置。
5. インター予測を行うインター予測部と、請求項１乃至請求項３のいずれか１項に記載の予測画像補正装置と、を備えることを特徴とする画像復号装置。
6. コンピュータを請求項１乃至請求項３のいずれか１項に記載の予測画像補正装置として機能させることを特徴とするプログラム。

Images