JP6910575B2 - 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は、予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムに関する。

映像符号化技術では、フレーム（ピクチャ）単位の現画像を分割して得られたブロック単位で変換や予測などを行うことにより効率的な符号化（圧縮）を実現している。予測としてはイントラ予測及びインター予測の２種類の方法がある。

イントラ予測は、符号化対象又は復号対象のブロック（以下、「対象画像ブロック」という）に隣接する復号済み隣接ブロックを参照して予測画像を生成する方法である。インター予測は、対象画像ブロックが属する現フレームとは異なる復号済みフレームを参照して予測画像を生成する方法である。

特許文献１には、対象画像ブロックをインター予測により予測してインター予測画像を生成するとともに、対象画像ブロックをイントラ予測により予測してイントラ予測画像を生成し、インター予測画像及びイントラ予測画像を重み付け平均する予測画像補正装置が記載されている。

具体的には、特許文献１に記載の予測画像補正装置は、対象画像ブロックに対応するインター予測画像と、対象画像ブロックに隣接する復号済み隣接ブロックとの連続性を評価し、不連続であると評価した場合には、復号済み隣接ブロックを用いてインター予測画像の端部領域をフィルタ処理により補正する。

米国特許出願公開第２０１３／０５１４６７号明細書

特許文献１に記載の予測画像補正装置は、インター予測の予測精度にかかわらず、インター予測画像と復号済み隣接ブロックとの連続性の評価に応じてフィルタ処理を適用する。

このため、インター予測画像と復号済み隣接ブロックとの境界にオブジェクト境界があるような場合、インター予測画像の端部領域の予測精度が高い場合であっても、この端部領域にフィルタ処理を適用してしまうため、フィルタ処理により予測画像の精度が低下し得るという問題がある。

そこで、本発明は、予測画像を適切に補正可能な予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

本発明に係る予測画像補正装置は、フレーム単位の画像を分割して得られた対象画像ブロックをインター予測により予測し、前記対象画像ブロックに対応するインター予測ブロックを生成するインター予測部と、前記対象画像ブロックをイントラ予測により予測し、前記対象画像ブロックに対応するイントラ予測ブロックを生成するイントラ予測部と、前記インター予測ブロックと前記イントラ予測ブロックとの重み付け平均処理を補正処理として実行する予測画像補正部と、を備え、前記予測画像補正部は、前記対象画像ブロックに隣接する復号済み隣接ブロックに対するイントラ予測処理を制御する予測モードに応じて、前記重み付け平均処理における重みを調整することを要旨とする。また、第１の特徴に係る予測画像補正装置は、フレーム単位の現画像を分割して得られた対象画像ブロックを複数の参照画像を用いて予測することにより、前記対象画像ブロックに対応する予測画像を生成する予測部と、前記予測画像の生成に用いる前記複数の参照画像間の類似度に基づいて、前記予測画像の予測精度を評価する予測精度評価部と、前記対象画像ブロックに隣接する復号済み隣接ブロックを用いて前記予測画像に対して補正処理を行う補正部と、を備え、前記補正部は、少なくとも前記予測精度評価部による評価結果に基づいて前記補正処理を制御することを要旨とする。

なお、複数の参照画像を用いて行う予測とはインター予測における双予測が代表的なものであるがそれに限定されるものではなく、例えば、ＨＥＶＣ符号化方式で用いられている画像のＩｎｔｒａＢＣモード（イントラブロックコピーモード）などのように複数参照して予測画像を生成する場合においても同様の手法が適用可能である。

第２の特徴に係る画像符号化装置は、第１の特徴に係る予測画像補正装置を備えることを要旨とする。

第３の特徴に係る画像復号装置は、第１の特徴に係る予測画像補正装置を備えることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第１の特徴に係る予測画像補正装置として機能させることを要旨とする。

本発明によれば、予測画像を適切に補正可能な予測画像補正装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 インター予測の一例を示す図である。 インター予測により生成される予測画像の一例を示す図である。 実施形態に係る予測精度評価部の構成の一例を示す図である。 実施形態に係る予測画像補正部の構成の一例を示す図である。 実施形態に係る連続性評価部の動作例を示す図である。 実施形態に係る予測画像補正動作の一例を示す図である。 実施形態の変更例に係る予測画像補正部の構成を示す図である。 実施形態の変更例に係る連続性評価部及びフィルタ処理部の動作例を示す図である。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（１．画像符号化装置の構成）
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１０１と、変換部１０２ａと、量子化部１０２ｂと、エントロピー符号化部１０３と、逆量子化部１０４ａと、逆変換部１０４ｂと、合成部１０５と、メモリ１０６と、イントラ予測部１０７と、インター予測部１０８と、予測精度評価部１０９と、予測画像補正部（補正部）１１０とを備える。本実施形態において、イントラ予測部１０７、インター予測部１０８、予測精度評価部１０９、及び予測画像補正部１１０は、予測画像補正装置を構成する。

ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、画像ブロックを減算部１０１（及びインター予測部１０８）に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、かかる画像ブロックを対象画像ブロックと称する。なお、画像ブロックの形状は正方形に限定されるものではなく、長方形の形状であってもよい。

減算部１０１は、ブロック分割部１００から入力された対象画像ブロックと対象画像ブロックに対応する予測画像（予測画像ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１０１は、符号化対象ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１０２ａに出力する。本実施形態において、予測画像は、後述する予測画像補正部１１０により補正されたものであって、予測画像補正部１１０から減算部１０１に入力される。

変換部１０２ａ及び量子化部１０２ｂは、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１０２を構成する。

変換部１０２ａは、減算部１０１から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１０２ｂに出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： ＫａｒｈｕｎｅｎＬｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１０２ｂは、変換部１０２ａから入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１０２ｂは、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１０３及び逆量子化部１０４ａに出力する。

エントロピー符号化部１０３は、量子化部１０２ｂから入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１０３には、イントラ予測部１０７及びインター予測部１０８から予測に関する情報が入力される。エントロピー符号化部１０３は、これらの情報のエントロピー符号化も行う。

逆量子化部１０４ａ及び逆変換部１０４ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１０４を構成する。

逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０４ａは、量子化部１０２ｂから入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１０４ｂに出力する。

逆変換部１０４ｂは、変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１０２ａが離散コサイン変換を行った場合には、逆変換部１０４ｂは逆離散コサイン変換を行う。逆変換部１０４ｂは、逆量子化部１０４ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１０５に出力する。

合成部１０５は、逆変換部１０４ｂから入力された復元予測残差を予測画像補正部１１０から入力された予測画像と画素単位で合成する。合成部１０５は、復元予測残差の各画素値と予測画像の各画素値を加算して対象画像ブロックを再構成（復号）し、再構成した対象画像ブロックである再構成画像ブロックをメモリ１０６に出力する。なお、かかる再構成画像ブロックは、復号済みブロックと称されることがある。

メモリ１０６は、合成部１０５から入力された再構成画像ブロックを記憶する。メモリ１０６は、再構成画像ブロックをフレーム単位で記憶する。

イントラ予測部１０７は、メモリ１０６に記憶された再構成画像ブロック（復号済みブロック）のうち、対象画像ブロックに隣接する復号済み隣接ブロックを参照してイントラ予測画像を生成する。イントラ予測部１０７は、最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。複数のイントラ予測方向に対応する複数のイントラ予測モードが予め規定されている。イントラ予測方向とは、対象画像ブロックに隣接する隣接画素を参照して対象画像ブロック中の対象画素を予測する際に、対象画素を基準とした隣接参照画素の方向をいう。すなわち、イントラ予測モード（イントラ予測方向）により、対象画像ブロック中の各画素の予測に用いるべき隣接参照画素が定められる。イントラ予測部１０７は、イントラ予測画像（及び／又は隣接参照画素）を予測画像補正部１１０に出力するとともに、選択したイントラ予測モードの情報をエントロピー符号化部１０３に出力する。

インター予測部１０８は、メモリ１０６に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて対象画像ブロックを予測するインター予測を行う。具体的には、インター予測部１０８は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいてインター予測画像を生成する。インター予測部１０８は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。本実施形態において、インター予測部１０８が双予測を用いる場合を主として説明し、インター予測部１０８は複数の参照画像を用いて予測を行う予測部に相当する。インター予測部１０８は、生成したインター予測画像を予測画像補正部１１０に出力するとともに、選択したインター予測方法及び動きベクトルに関する情報をエントロピー符号化部１０３に出力する。また、インター予測部１０８は、インター予測に用いる複数の参照画像を予測精度評価部１０９に出力する。

予測精度評価部１０９は、インター予測画像の生成に用いる複数の参照画像間の類似度に基づいて、インター予測画像の端部領域における予測精度を評価する。具体的には、インター予測部１０８が複数の参照画像を用いてインター予測を行う場合において、インター予測に用いる複数の参照画像間の類似度を１又は複数の画素からなる画像部分ごとに算出し、かかる類似度によりインター予測画像の予測精度を画像部分ごとに評価し、評価結果の情報を予測画像補正部１１０に出力する。本実施形態において、予測精度評価部１０９が、予測に用いる複数の参照画像間の類似度を１画素単位で算出し、インター予測画像の予測精度を１画素単位で評価する一例を主として説明する。予測精度評価部１０９の詳細については後述する。

予測画像補正部１１０は、インター予測部１０８から入力されるインター予測画像とイントラ予測部１０７から入力されるイントラ予測画像とを重み付け平均することで補正する。具体的には、予測画像補正部１１０は、イントラ予測画像に対応する復号済み隣接ブロック（隣接参照画素）を用いて、インター予測画像の端部領域をフィルタ処理により補正する。また、予測画像補正部１１０は、予測精度評価部１０９による評価結果に少なくとも基づいてフィルタ処理を制御する。「フィルタ処理を制御する」とは、フィルタ処理を行うか否かの制御やフィルタ強度の制御を含む。本実施形態において、予測画像補正部１１０が、予測精度評価部１０９による評価結果に少なくとも基づいてフィルタ処理を行うか否かを制御する一例を主として説明する。例えば、予測画像補正部１１０は、予測精度評価部１０９により評価された予測精度が第１閾値以下である場合にはフィルタ処理を行い、予測精度評価部１０９により評価された予測精度が第１閾値を超える場合にはフィルタ処理を行わない。予測画像補正部１１０は、フィルタ処理を行う場合にはフィルタ処理後のインター予測画像を予測画像として減算部１０１及び合成部１０５に出力し、フィルタ処理を行わない場合にはインター予測画像をそのまま予測画像として減算部１０１及び合成部１０５に出力する。なお、「予測精度」を「予測の当たらなさ」で表してもよい。「予測の当たらなさ」について、例えば、予測精度が第１閾値以下であることは、予測の当たらなさが高いことを意味してもよい。予測精度が第１閾値を超えることは、予測の当たらなさが低いことを意味してもよい。予測画像補正部１１０の詳細については後述する。

（２．画像復号装置の構成）
図２は、本実施形態に係る画像復号装置２の構成を示す図である。図２に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化部２０１ａと、逆変換部２０１ｂと、合成部２０２と、メモリ２０３と、イントラ予測部２０４と、インター予測部２０５と、予測精度評価部２０６と、予測画像補正部２０７とを備える。本実施形態において、イントラ予測部２０４、インター予測部２０５、予測精度評価部２０６、及び予測画像補正部２０７は、予測画像補正装置を構成する。

エントロピー復号部２００は、符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２０１ａに出力する。また、エントロピー復号部２００は、符号化データを復号し、予測（イントラ予測及びインター予測）に関する情報を取得し、予測に関する情報をイントラ予測部２０４及びインター予測部２０５に出力する。

逆量子化部２０１ａ及び逆変換部２０１ｂは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２０１を構成する。

逆量子化部２０１ａは、画像符号化装置１の量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１ａは、エントロピー復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２０１ｂに出力する。

逆変換部２０１ｂは、画像符号化装置１の変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２０１ｂは、逆量子化部２０１ａから入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２０２に出力する。

合成部２０２は、逆変換部２０１ｂから入力された予測残差と、予測画像補正部２０７から入力された予測画像とを画素単位で合成することにより、元の対象画像ブロックを再構成（復号）し、再構成画像ブロックをメモリ２０３に出力する。

メモリ２０３は、合成部２０２から入力された再構成画像ブロックを記憶する。メモリ２０３は、再構成画像ブロックをフレーム単位で記憶する。メモリ２０３は、フレーム単位の再構成画像（復号画像）を表示順に画像復号装置２の外部に出力する。

イントラ予測部２０４は、メモリ２０３に記憶された再構成画像ブロックを参照し、エントロピー復号部２００から入力されたイントラ予測情報（イントラ予測モード）に従ってイントラ予測を行うことによりイントラ予測画像を生成する。具体的には、イントラ予測部２０４は、メモリ２０３に記憶された再構成画像ブロック（復号済みブロック）のうち、イントラ予測モードに応じて定められる隣接参照画素を参照してイントラ予測画像を生成する。イントラ予測部２０４は、イントラ予測画像（及び／又は隣接参照画素）を予測画像補正部２０７に出力する。

インター予測部２０５は、メモリ１０６に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて対象画像ブロックを予測するインター予測を行う。インター予測部２０５は、エントロピー復号部２００から入力されたインター予測情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、インター予測画像を予測画像補正部２０７に出力する。また、インター予測部２０５は、インター予測に用いる複数の参照画像を予測精度評価部２０６に出力する。

予測精度評価部２０６は、画像符号化装置１の予測精度評価部１０９と同様な動作を行う。予測精度評価部２０６は、インター予測部２０５が複数の参照画像を用いてインター予測を行う場合において、複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価し、評価結果の情報を予測画像補正部２０７に出力する。

予測画像補正部２０７は、画像符号化装置１の予測画像補正部１１０と同様な動作を行う。予測画像補正部２０７は、イントラ予測画像に対応する復号済み隣接ブロック（隣接参照画素）を用いて、インター予測画像の端部領域をフィルタ処理により補正する。予測画像補正部２０７は、予測精度評価部２０６により評価された予測精度が第１閾値以下である場合にはフィルタ処理を行い、予測精度評価部２０６により評価された予測精度が第１閾値を超える場合にはフィルタ処理を行わない。予測画像補正部２０７は、フィルタ処理を行う場合にはフィルタ処理後のインター予測画像を予測画像として合成部２０２に出力し、フィルタ処理を行わない場合にはインター予測画像をそのまま予測画像として合成部２０２に出力する。予測画像補正部２０７の詳細については後述する。

（３．インター予測）
図３は、インター予測の一例を示す図である。図４は、インター予測により生成される予測画像の一例を示す図である。インター予測のシンプルな例として、ＨＥＶＣで用いられている双予測、特に前方向及び後方向予測（両方向予測）を用いる場合について説明する。

図３に示すように、双予測は、対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図３の例では、ｔフレーム目の画像中のブロックの予測を、ｔ−１フレーム目とｔ＋１フレーム目とを参照して行う。動き検出では、ｔ−１及びｔ＋１フレーム目の参照フレーム内から、対象画像ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

検出された箇所が参照画像である。対象画像ブロックに対する参照画像の相対位置を示す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１において、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置２は、画像符号化装置１により生成された動きベクトルの情報に基づいて参照画像を検出する。

図３及び図４に示すように、動き検出によって検出された参照画像１及び２は、対象画像ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、対象画像ブロック（符号化対象画像）に類似した画像となる。図４の例では、対象画像ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

かかる参照画像１及び２から予測画像を生成する。なお、予測処理は、一般的に、特徴は異なるが部分的に類似する参照画像１及び２を平均化することによって、それぞれの参照画像の特徴を備えた予測画像を生成する。但し、より高度な処理、例えば、ローパスフィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像１に比べて信号が半減する。

参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図４に示す予測残差において、星の絵柄のエッジのずれ部分と丸の絵柄のずれた部分（斜線部）とにのみ大きな差分が生じているが、それ以外の部分については、精度よく予測が行えており、差分が少なくなる（図４の例では差分が生じていない）。

差分が生じていない部分（星の絵柄の非エッジ部分及び背景部分）は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が著しく低い部分である。よって、参照画像１と参照画像２との間の類似度が著しく低い部分は、予測の精度が低く、大きな差分（残差）を生じさせることが分かる。

このように差分が大きい部分と差分が無い部分とが混在した予測残差を直交変換し、量子化による変換係数の劣化が生じると、かかる変換係数の劣化が逆量子化及び逆直交変換を経て画像（ブロック）内に全体的に伝搬する。そして、逆量子化及び逆直交変換によって復元された予測残差（復元予測残差）を予測画像に合成して対象画像ブロックを再構成すると、図４に示す星の絵柄の非エッジ部分及び背景部分のように高精度な予測が行われた部分にも画質の劣化が伝搬してしまう。

（４．予測精度評価部）
図５は、画像符号化装置１における予測精度評価部１０９の構成の一例を示す図である。予測精度評価部１０９は、インター予測に用いる複数の参照画像間の類似度を画素単位で算出することにより、予測画像の予測精度を画素単位で評価する。ここでは、予測精度評価部１０９が予測画像の全画素について予測精度を評価する一例を説明するが、予測精度評価部１０９は、必ずしも予測画像の全画素について予測精度を評価しなくてもよい。予測精度評価部１０９は、少なくとも予測画像の端部領域における画素について予測精度を評価すればよい。

図５に示すように、予測精度評価部１０９は、差分算出部（減算部）１０９ａと、正規化部１０９ｂと、調整部１０９ｃとを備える。

差分算出部１０９ａは、参照画像１と参照画像２との間の差分値の絶対値を画素単位で算出し、算出した差分値の絶対値を正規化部１０９ｂに出力する。差分値の絶対値は、類似度を示す値の一例である。差分値の絶対値が小さいほど類似度が高く、差分値の絶対値が大きいほど類似度が低いといえる。差分算出部１０９ａは、各参照画像に対してフィルタ処理を行ったうえで差分値の絶対値を算出してもよい。差分算出部１０９ａは、二乗誤差等の統計量を算出し、かかる統計量を類似度として用いてもよい。

正規化部１０９ｂは、差分算出部１０９ａから入力された各画素の差分値を、ブロック内で差分値の絶対値が最大となる画素の差分値の絶対値（すなわち、ブロック内の差分値の絶対値の最大値）で正規化し、正規化した差分値の絶対値である正規化差分値を調整部１０９ｃに出力する。本実施形態において、正規化差分値は、合成部１０５において予測画像と合成する復元予測残差を画素単位で重み付けするための重みとして用いられる。

調整部１０９ｃは、量子化の粗さを定める量子化パラメータ（Ｑｐ）に基づいて、正規化部１０９ｂから入力された正規化差分値（重み）を調整し、この重みを出力する。量子化の粗さが大きいほど復元予測残差の劣化度が高いため、調整部１０９ｃは、量子化パラメータ（Ｑｐ）に基づいて正規化差分値（重み）を調整することにより、劣化度を考慮して復元予測残差の重み付けを行うことができる。

予測精度評価部１０９が出力する各画素（ｉｊ）の推定予測精度Ｒｉｊは、例えば下記の式（１）のように表現することができる。

Rij = 1 - (abs(Xij-Yij)/maxD × Scale(Qp)) ・・・（１）

式（１）において、Ｘｉｊは参照画像１の画素ｉｊの画素値であり、Ｙｉｊは参照画像２の画素ｉｊの画素値であり、ａｂｓは絶対値を得る関数である。

また、式（１）において、ｍａｘＤは、ブロック内の差分値ａｂｓ（Ｘｉｊ−Ｙｉｊ）の最大値である。ｍａｘＤを求めるために、ブロック内のすべての画素について差分値を求める必要があるが、この処理を省略するためにすでに処理済みの隣接するブロックの最大値などで代用してもよく、例えば、その値以上が存在する場合は、使用した最大値でクリップすることで、ｍａｘＤの正規化を行ってもよい。或いは、量子化パラメータ（Ｑｐ）とｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。

また、式（１）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐが大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。さらに、処理を簡略化するため、Ｓｃａｌｅ（ＱＰ）を１．０などシステムに応じて設計された固定値としてもよい。

調整部１０９ｃは、推定予測精度Ｒｉｊを出力する。また、このＲｉｊは、システムに応じて設計される感度関数によって調整された重み付けを出力しても良い。例えば、ａｂｓ（Ｘｉｊ−Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ）＝Ｒｉｊとし、Ｒｉｊ＝Ｃｌｉｐ（ｒｉｊ，１．０，０．０）だけではなく、Ｒｉｊ＝Ｃｌｉｐ（ｒｉｊ＋ｏｆｆｓｅｔ，１．０，０．０）と例えばQPなどの制御情報に応じたオフセットをつけて感度を調整してもよい。なお、Ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。

このようにして算出された推定予測精度Ｒｉｊは、０から１．０までの範囲内の値となる。基本的には、推定予測精度Ｒｉｊは、参照画像間の画素ｉｊの差分値の絶対値が大きい（すなわち、予測精度が低い）場合に０に近づき、参照画像間の画素ｉｊの差分値の絶対値が小さい（すなわち、予測精度が高い）場合に１に近づく。予測精度評価部１０９は、ブロック内の各画素ｉｊの推定予測精度Ｒｉｊからなるマップ情報をブロック単位で予測画像補正部１１０に出力する。

なお、予測精度評価部１０９は、複数の参照画像を用いるインター予測を適用する場合にのみ評価（推定予測精度Ｒｉｊの算出）を行い、それ以外のモード、例えば単方向予測や複数参照画像を用いないイントラ予測処理においては、評価を行わなくてもよい。

また、画像符号化装置１における予測精度評価部１０９について説明したが、画像復号装置２における予測精度評価部２０６は、画像符号化装置１における予測精度評価部１０９と同様に構成される。具体的には、画像復号装置２における予測精度評価部２０６は、差分算出部２０６ａと、正規化部２０６ｂと、調整部２０６ｃとを備える。

（５．予測画像補正部）
図６は、画像符号化装置１における予測画像補正部１１０の構成の一例を示す図である。図６に示すように、予測画像補正部１１０は、連続性評価部１１０ａと、フィルタ判定部１１０ｂと、フィルタ処理部１１０ｃとを備える。

連続性評価部１１０ａは、インター予測部１０８から入力されるインター予測画像と、イントラ予測部１０７から入力される復号済み隣接ブロックとの連続性を評価する。復号済み隣接ブロックは、対象画像ブロックに隣接する復号済みブロックである。連続性評価部１１０ａは、インター予測画像と復号済み隣接ブロックとの連続性の評価結果をフィルタ判定部１１０ｂに出力する。

図７は、連続性評価部１１０ａの動作例を示す図である。図７の例では、符号化の対象画像ブロックの左側及び上側に復号済みブロックが存在しているものとする。連続性評価部１１０ａは、インター予測画像（対象画像ブロック）と復号済みブロックとのブロック境界について画素単位で上から下（又は、下から上）の順に連続性を評価する。連続性評価部１１０ａは、例えば、図７における画素ｐ０及びｑ０に跨るブロック境界の連続性Ｃｏｎｔを下記の式（２）により算出する。

Cont=|p₂-2×p₁+p₀|+|q₂-2×q₁+q₀| ・・・（２）

なお、連続性を評価する際の単位や評価指標は、式（２）に示すものに限らず、システムで予め規定していれば他の単位や評価指標に変更可能である。例えば、連続性の評価の単位をブロック境界の辺単位（左側境界の連続性評価、上側境界の連続性評価で行う）としてもよいし、処理の簡略化のために連続性の評価指標として境界を跨ぐ画素値差分（ａｂｓ（ｐ０−ｑ０））としてもよい。

フィルタ判定部１１０ｂは、予測精度評価部１０９から入力される予測精度評価結果と連続性評価部１１０ａから入力される連続性評価結果とに基づいて、フィルタ処理を行うか否かを判定する。フィルタ判定部１１０ｂは、インター予測画像と復号済みブロックとのブロック境界の画素単位で判定を行ってもよいし、ブロック境界の辺単位で判定を行ってもよい。フィルタ判定部１１０ｂは、予測精度評価結果及び連続性評価結果に基づいて、フィルタの強度（例えば、フィルタのタップ数や周波数応答）を変更すると判定してもよい。なお、予測精度評価部１０９が画素単位で予測精度を評価する場合、フィルタ判定部１１０ｂは、インター予測画像の端部領域（フィルタ処理の対象領域）の各画素の推定予測精度Ｒの平均値を予測精度評価結果として用いてもよい。

フィルタ判定部１１０ｂは、予測精度評価部１０９により評価された予測精度が第１閾値α以下であって、且つ、連続性評価部１１０ａにより評価された連続性が第２閾値β以下である場合には、フィルタ処理を行うと判定する。一方、予測精度評価部１０９により評価された予測精度が第１閾値αを超える、及び／又は、連続性評価部１１０ａにより評価された連続性が第２閾値βを超える場合には、フィルタ判定部１１０ｂは、フィルタ処理を行わないと判定する。ここで、閾値α及びβとしては、システム固定の値を設定してもよいし、量子化パラメータ（Ｑｐ）を用いる関数により可変な値を算出及び設定してもよい。また、閾値αは、推定予測精度Ｒが正規化されていない場合には、対象画像ブロック内の推定予測精度の最大値を用いる関数により可変な値を算出及び設定してもよい。

フィルタ処理部１１０ｃは、フィルタ判定部１１０ｂにより、フィルタ処理を行うと判定された場合に、インター予測画像の端部領域に対してフィルタ処理を行う。図７に示すように、フィルタ処理部１１０ｃは、インター予測画像（符号化対象ブロック）の端部領域に含まれる予測画素ｑ０、ｑ１、ｑ２およびイントラ予測部１０７より入力される隣接する復号済み参照画素ｐ０、ｐ１、ｐ２を用いて下記の式（３）により補正し、補正後の予測画素ｑ'０、ｑ'１、ｑ'２を出力する。

ここで、ｃｌｉｐ（ｘ，ｍａｘ，ｍｉｎ）は、ｘがｍａｘを超える場合はｍａｘで、ｘがｍｉｎを下回る場合はｍｉｎでクリップする処理を示す。また、式（３）におけるｔｃは、クリッピングに用いる処理の調整オフセットであり、量子化パラメータ（Ｑｐ）を用いる関数により可変な値を算出及び設定可能である。

なお、画像符号化装置１における予測画像補正部１１０について説明したが、画像復号装置２における予測画像補正部２０７は、画像符号化装置１における予測画像補正部１１０と同様に構成される。具体的には、画像復号装置２における予測画像補正部２０７は、連続性評価部２０７ａと、フィルタ判定部２０７ｂと、フィルタ処理部２０７ｃとを備える。

（６．予測画像補正動作）
図８は、予測画像補正動作の一例を示す図である。ここでは、画像符号化装置１における予測画像補正動作について説明するが、画像復号装置２においても同様な予測画像補正動作を行う。図８の動作フローは、インター予測画像と復号済みブロックとのブロック境界の画素単位で行われてもよい。

図８に示すように、ステップＳ１において、予測精度評価部１０９は、インター予測部１０８がインター予測画像の生成に用いる複数の参照画像間の類似度に基づいて、インター予測画像の端部領域における予測精度を評価する。

ステップＳ２において、連続性評価部１１０ａは、インター予測部１０８が出力するインター予測画像と、インター予測画像に隣接する復号済み隣接ブロックとの連続性を評価する。

ステップＳ３において、フィルタ判定部１１０ｂは、予測精度評価部１０９により評価された予測精度を第１閾値αと比較し、連続性評価部１１０ａにより評価された連続性を第２閾値βと比較する。

予測精度が第１閾値α以下であって、且つ連続性が第２閾値β以下である場合（ステップＳ３：ＹＥＳ）、フィルタ判定部１１０ｂは、フィルタ処理を行うと判定する。かかる場合、ステップＳ４において、フィルタ処理部１１０ｃは、復号済み隣接ブロック（隣接参照画素）を用いて、インター予測画像の端部領域をフィルタ処理により補正する。

一方、予測精度が第１閾値αを超える、及び／又は、連続性が第２閾値βを超える場合（ステップＳ３：ＮＯ）、フィルタ判定部１１０ｂは、フィルタ処理を行わないと判定する。かかる場合、フィルタ処理部１１０ｃは、フィルタ処理を行わない。

（７．実施形態のまとめ）
本実施形態に係る画像符号化装置１及び画像復号装置２は、インター予測の予測精度の評価結果に基づいてフィルタ処理を制御する。これにより、インター予測画像の端部領域の予測精度が高い場合には、この端部領域にフィルタ処理を適用しないよう制御できるため、フィルタ処理による予測画像の精度低下を防止できる。言い換えると、インター予測画像の端部領域の予測精度が低い場合にのみ、この端部領域にフィルタ処理を適用可能とすることができるため、フィルタ処理を適切に行うことができる。

また、本実施形態において、画像符号化装置１及び画像復号装置２で共通の動作によりフィルタ処理の適用有無を判定する。具体的には、インター予測の予測精度の評価を画像符号化装置１及び画像復号装置２のそれぞれで行い、かかる評価結果に基づいてフィルタ処理の適用有無を判定する。これにより、フィルタ処理の適用有無を示すフラグを画像符号化装置１から画像復号装置２に伝送する必要がないため、フラグによる符号量の増加を防止できる。

（８．実施形態の変更例１）
上述した実施形態に係る連続性評価及びフィルタ処理において、復号済み隣接ブロックに適用されたイントラ予測モード（イントラ予測方向）を考慮してもよい。これにより、連続性評価及びフィルタ処理の精度を向上させることができる。図９は、本変更例に係る予測画像補正部１１０の構成を示す図である。図９に示すように、連続性評価部１１０ａ及びフィルタ処理部１１０ｃには、イントラ予測部１０７から、復号済み隣接ブロックに適用されたイントラ予測モードが入力される。連続性評価部１１０ａは、復号済み隣接ブロックに適用したイントラ予測モードに応じて連続性を評価する。また、フィルタ処理部１１０ｃは、復号済み隣接ブロックに適用したイントラ予測モードに応じてフィルタ処理を行う。

図１０は、本変更例に係る連続性評価部１１０ａ及びフィルタ処理部１１０ｃの動作例を示す図である。図１０に示すように、連続性評価部１１０ａ及びフィルタ処理部１１０ｃは、符号化対象ブロックに対応するインター予測画像の端部画素ｑ０について連続性の評価及びフィルタ処理を行う際に、復号済み隣接ブロックに適用したイントラ予測モード（イントラ予測方向）に沿って、ｑ０を通る直線上のｐ１、ｐ０、ｑ１、ｑ２を加重平均により算出する。具体的には、復号済み隣接ブロック中の画素値を用いて、ｑ０を通る直線上のｐ１、ｐ０を算出し、インター予測画像中の画素値を用いて、ｑ０を通る直線上のｑ１、ｑ２を算出する。連続性評価部１１０ａは、このようにして算出されたｐ１、ｐ０、ｑ１、ｑ２を用いて、上記の式（２）により連続性Ｃｏｎｔを評価する。フィルタ処理部１１０ｃは、このようにして算出されたｐ１、ｐ０、ｑ１、ｑ２を用いて、上記の式（３）によりｑ'０を算出する。

（９．実施形態の変更例２）
上述した実施形態において、予測画像補正部１１０が、インター予測画像に対する補正処理として、復号済み隣接ブロックを用いてインター予測画像の端部領域に対してフィルタ処理を行う一例について説明した。

さらに、補正処理は、かかるフィルタ処理に限定されるものではなく、インター予測画像及びイントラ予測画像の重み付け平均処理を補正処理として用いてもよい。

本変更例において、図１に示す画像符号化装置１のイントラ予測部１０７及び予測画像補正部１１０は、対象画像ブロックに隣接する復号済み隣接ブロックを用いてインター予測画像に対して補正処理を行う補正部を構成する。

イントラ予測部１０７は、復号済み隣接ブロックを用いて対象画像ブロックに対応するイントラ予測画像を生成する。例えば、イントラ予測部１０７は、予め定められたイントラ予測モードにより復号済み隣接ブロックからイントラ予測画像を生成する。予測画像補正部１１０は、補正処理として、インター予測部１０８から入力されたインター予測画像及びイントラ予測部１０７から入力されたイントラ予測画像の重み付け平均処理を行う。なお、送信側で複数のイントラ予測モード候補の中から１つの予測モードを選択し、イントラ予測画像を生成するように構成してもよい。その際には、送信側でいずれのイントラ予測モードを用いてイントラ予測画像をしたかを示すイントラ予測モードフラグをエントロピー符号化部１０３はエントロピー符号化する。

同様に、図２に示す画像復号装置２のイントラ予測部２０４及び予測画像補正部２０７は、対象画像ブロックに隣接する復号済み隣接ブロックを用いてインター予測画像に対して補正処理を行う補正部を構成する。イントラ予測部２０４は、復号済み隣接ブロックを用いて対象画像ブロックに対応するイントラ予測画像を生成する。

例えば、イントラ予測部２０４は、予め定められたイントラ予測モードにより復号済み隣接ブロックからイントラ予測画像を生成する。予測画像補正部２０７は、補正処理として、インター予測部２０５から入力されたインター予測画像及びイントラ予測部２０４から入力されたイントラ予測画像の重み付け平均処理を行う。なお、送信側から送られてきたイントラ予測モードフラグに基づいて、イントラ予測画像生成に用いるイントラ予測モードを決定するよう構成してもよい。

本変更例の構成を適用する場合には、上述した実施形態における「フィルタ処理」を「重み付け平均処理」と読み替えればよい。また、かかる重み付け平均処理を行うか否かの判定だけではなく、予測精度の評価結果や連続性の評価結果に基づいて、重み付け平均処理における重みを調整してもよい。

（１０．その他の実施形態）
上述した実施形態において、複数の参照画像を用いる予測として双予測を主として説明した。しかしながら、複数の参照画像を用いる予測としてイントラブロックコピーと呼ばれる技術も適用することが可能である。イントラブロックコピーにおいては、現フレームと同じフレーム内の参照画像が現フレームの対象画像ブロックの予測に用いられる。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムにより提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

なお、日本国特許出願第２０１８−７２４５１号（２０１８年４月４日出願）の全内容が、参照により、本願明細書に組み込まれている。

Claims (4)

1. フレーム単位の画像を分割して得られた対象画像ブロックをインター予測により予測し、前記対象画像ブロックに対応するインター予測ブロックを生成するインター予測部と、
   前記対象画像ブロックをイントラ予測により予測し、前記対象画像ブロックに対応するイントラ予測ブロックを生成するイントラ予測部と、
   前記対象画像ブロックに隣接する復号済み隣接ブロックに対するイントラ予測処理を制御する予測モードに基づく評価を行う評価部と、
   前記インター予測ブロックと前記イントラ予測ブロックとの重み付け平均処理を補正処理として実行する予測画像補正部と、を備え、
   前記予測画像補正部は、前記評価の結果に応じて、前記重み付け平均処理における重みを調整する、
   予測画像補正装置。
2. 請求項１に記載の予測画像補正装置を備える、
   画像符号化装置。
3. 請求項１に記載の予測画像補正装置を備える、
   画像復号装置。
4. コンピュータを請求項１に記載の予測画像補正装置として機能させる、
   プログラム。

Images