JP7560995B2

JP7560995B2 - 符号化装置及びプログラム

Info

Publication number: JP7560995B2
Application number: JP2020179265A
Authority: JP
Inventors: 奈緒中島
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2020-10-26
Filing date: 2020-10-26
Publication date: 2024-10-03
Anticipated expiration: 2040-10-26
Also published as: JP2022070176A

Description

本発明は、動画像を符号化する符号化技術に関する。

ＡＶＣ／Ｈ．２６４（例えば、非特許文献１参照）やＨＥＶＣ／Ｈ．２６５（例えば、非特許文献２参照）などの映像符号化方式では、動き補償予測（インター予測）方式、イントラ予測方式、ブロックサイズ、参照画像などの各符号化パラメータを最適化する符号化制御を行うことで、符号化効率の向上を実現する。

各符号化パラメータの最適化手法としては、ラグランジュの未定乗数法に基づくレート－ひずみ最適化手法（ＲＤ最適化）を用いることが一般的である。ＲＤ最適化は、与えられたビットレート制約の下で符号化ひずみを最小化することを目的として、各符号化パラメータに最適なモード（パラメータ）を選択する手法である（例えば、非特許文献３参照）。具体的には、式（１）で算出されるＲＤ_ｃｏｓｔ（ｍｏｄｅ）を最小とするモードを選択する。ここで、Ｄ（ｍｏｄｅ）はあるモードで符号化した際の符号化ひずみであり、Ｒ（ｍｏｄｅ）はそのときの発生符号量であり、λはラグランジュの未定乗数である。

符号化ひずみＤ（ｍｏｄｅ）は、原画像と符号化画像（符号化データを復号した画像）との２乗誤差を用いると、式（２）で算出される。ここで、Ｓ_ｏｒｇ（ｘ，ｙ，t）は時刻ｔに表示されるフレームの原画像であり、Ｓ_ｄｅｃ（ｘ，ｙ，t，ｍｏｄｅ）は時刻ｔに表示されるフレームをあるモードで符号化した際の符号化画像である。ｘは各フレームの横方向の画素位置を示し、ｙは各フレームの縦方向の画素位置を示す。式（２）の処理範囲である１≦ｘ≦Ｘ，１≦ｙ≦Ｘは、符号化パラメータ決定を行う領域（ＭＰＥＧ－２，ＡＶＣ／Ｈ．２６４ではマクロブロック、サブマクロブロック、ＨＥＶＣ／Ｈ．２６５ではＣＴＵ，ＣＵ，ＰＵ，ＴＵ）を示す。符号化ひずみＤ（ｍｏｄｅ）の算出は、この処理範囲ごとに行う。

Rec. ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding Rec. ITU-T Rec. H.265 | ISO/IEC 23008-2 High Efficiency Video Coding G. J. Sullivan and T. Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15

図５に示すように、従来の映像符号化技術では、同一時刻に表示されるフレームの原画像と符号化画像の２乗誤差を符号化ひずみＤ（ｍｏｄｅ）としてＲＤ_ｃｏｓｔ（ｍｏｄｅ）を算出している。例えば、図５の時刻ｔ＝Ｔの原画像フレーム＃３を符号化する際の各符号化パラメータの最適化では、原画像＃３と、これを様々なモードで符号化した符号化画像＃３’（モード１）、符号化画像＃３’’（モード２）、符号化画像＃３’’’（モード３）との間でＲＤ_ｃｏｓｔ（ｍｏｄｅ）を算出し、このＲＤ_ｃｏｓｔ（ｍｏｄｅ）が最も小さいモード（モード１～３のいずれか）を符号化パラメータに割り当てるモードとして採用する。

図６に、ＨＤ（high definition video）映像をＨＥＶＣ／Ｈ．２６５で符号化した際の原画像、及び符号化画像の一部分を切り出した３２×３２画素サイズの画像を示す。図６（ａ）が原画像であり、図６（ｂ）が符号化画像である。３２×３２画素の各画素位置に、Ｙ信号の画素値に相当する色を表示している。使用した符号化対象画像は、ＭＰＥＧ標準化で用いている標準動画像の「ＢＱＴｅｒｒａｃｅ」である。エンコーダ、デコーダは、参照ソフトウェアＨＭ１６．１６を用い、ＧＯＰ構造はＬｏｎｇＧＯＰ（Ｍ＝３、Ｎ＝３０）、レート制御は３５［Ｍｂｐｓ］の固定ビットレート（ＣＢＲ）とし、「ＢＱＴｅｒｒａｃｅ」の全９００フレームを符号化した。

ＬｏｎｇＧＯＰ符号化では、フレーム内予測のみを用いて符号化されたＩピクチャ、片方向予測によるフレーム間予測を用いて符号化されたＰピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたＢピクチャにより映像符号化ストリームが構成される。フレーム間予測を用いることで符号量を低減することが可能であり、各ピクチャに割り当てる符号量はＩピクチャが最も多く、Ｐピクチャが次に多く、Ｂピクチャが最も少ない。図６（ａ）（ｂ）は、ＢＱＴｅｒｒａｃｅの先頭フレームのフレーム番号を０とし、最終フレームのフレーム番号を８９９とした場合の、フレーム番号４５０－４５３の画像である。なお、フレーム番号４５０はＧＯＰ先頭のＩピクチャ、フレーム番号４５１－４５２はＢピクチャ、フレーム番号４５３はＰピクチャである。

図６（ａ）（ｂ）から、フレームごとに符号化劣化傾向が異なることが判る。Ｉピクチャであるフレーム番号４５０の符号化画像は原画の持つテクスチャを良く再現しているが、Ｂピクチャであるフレーム番号４５１，４５２の符号化画像ではテクスチャがつぶれてしまっている。Ｐピクチャの符号化劣化の程度は、Ｉピクチャよりも大きく、Ｂピクチャよりも小さい。この画質差がイントラフリッカとして視認される。また、フレーム番号４５１，４５２の符号化画像を比較すると、どちらもＢピクチャであるがテクスチャのつぶれ具合が異なっており、この劣化傾向の相違もフリッカとして視認される。フレームごとに符号化劣化傾向が異なる原因の一つとして、符号化パラメータ設定時のＲＤ_ｃｏｓｔ（ｍｏｄｅ）算出の際に、時間的に連続した符号化画像間の原画像に対する画質劣化傾向の変動を考慮していないことがあげられる。

かかる事情に鑑みてなされた本発明の目的は、符号化画像間の原画像に対する画質劣化傾向の変動を考慮することにより、符号化画像再生時に視認されるフリッカを抑制することが可能な映像符号化装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る映像符号化装置は、原画像を分割したブロック画像を生成するブロック分割部と、前記ブロック画像とイントラ予測画像又は動き補償予測画像との差を示す残差ブロック画像に対して変換処理を行って変換係数を算出する変換部と、前記変換係数を量子化した量子化係数を生成する量子化部と、前記量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像と前記イントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する符号化画像生成部と、前記符号化画像に対してイントラ予測したイントラ予測画像を生成するイントラ予測部と、前記符号化画像に対して動き補償予測を行って動き補償予測画像を生成する動き補償予測部と、前記量子化係数に対してエントロピー符号化を行うエントロピー符号化部と、前記符号化画像間の前記原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に前記変動量を加味したＲＤ最適化を行う制御部と、を備える。

さらに、本発明に係る映像符号化装置において、前記変動量は、前記原画像及び前記符号化画像間の類似度の時間的差分としてもよい。

さらに、本発明に係る映像符号化装置において、前記変動量は、前フレームにおける原画像及びＲＤ最適化された符号化画像の差分画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分であってもよい。

さらに、本発明に係る映像符号化装置において、前記制御部は、前フレームにおける原画像とＲＤ最適化された符号化画像との差分画像に対して動き補償予測を行った差分動き補償予測画像を生成し、前記変動量は、前記差分動き補償予測画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分であってもよい。

さらに、本発明に係る映像符号化装置において、前記制御部は、前記ブロック画像のサイズ、前記変換処理に用いられる基底、前記イントラ予測に用いられるイントラ予測モード、及び前記動き補償予測に用いられる動きベクトルを変化させてＲＤ最適化を行ってもよい。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化装置として機能させることを特徴とする。

本発明によれば、符号化画像再生時に視認されるフリッカを抑制することができる。

本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。従来の符号化装置における制御処理でフリッカが発生する理由を説明する図である。本発明の一実施形態に係る符号化装置における制御処理の第１の例を示す図である。本発明の一実施形態に係る符号化装置における制御処理の第２の例を示す図である。従来の符号化パラメータの最適化方法を説明する図である。ＨＤ映像をＨＥＶＣ／Ｈ．２６５で符号化した際のフレームごとの符号化劣化傾向の相違を示す図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１に、本発明の一実施形態に係る映像符号化装置１の構成例を示す。図１は、符号化装置１の構成例を示すブロック図である。図１に示す符号化装置１は、制御部１０と、ブロック分割部１１と、減算部１２と、変換部１３と、ビジュアルアクティビティ算出部１４と、ＱＰ決定部１５と、量子化部１６と、逆量子化部１７と、逆変換部１８と、加算部１９と、記憶部２０と、イントラ予測部２１と、動き補償予測部２２と、切替部２３と、エントロピー符号化部２４と、を備える。

制御部１０は、ブロック分割部１１に対してブロック画像のサイズを示すブロックサイズ情報を出力し、変換部１３に対して基底の種類を示す変換情報を出力する。

また、制御部１０は、イントラ予測を行う場合には、イントラ予測部２１に対してイントラ予測モードを示すイントラ予測情報を出力する。例えば、ＡＶＣ／Ｈ．２６４符号化方式では、１３種類のイントラ予測モード（１６ｘ１６ブロック処理の４種と、４ｘ４ブロック処理の９種）が規定されている。

また、制御部１０は、動き補償予測を行う場合には、記憶部２０に記憶された符号化画像を参照して、動きベクトルの候補から動きベクトルを決定し、動き補償予測部２２に対して動きベクトルを示す動き補償情報を出力する。なお、制御部１０は、記憶部２０に記憶された符号化画像を参照して、ブロック分割部１１から入力したブロック画像ごとにブロックマッチングなどの手法により動きベクトルの候補を生成する。

ブロック分割部１１は、入力画像（原画像）を、制御部１０から入力したブロックサイズ情報が示すブロックサイズのブロックで分割したブロック画像を生成し、減算部１２、ビジュアルアクティビティ算出部１４、及び動き補償予測部２２に出力する。

減算部１２は、ブロック分割部１１から入力したブロック画像の各画素値から、後述するイントラ予測部２１又は動き補償予測部２２から入力された予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部１３に出力する。

変換部１３は、減算部１２から入力した残差ブロック画像に対して、制御部１０から入力した変換情報が示す基底を用いて直交変換などの変換処理を行って変換係数を算出し、量子化部１６に出力する。

ビジュアルアクティビティ算出部１４は、ブロック分割部１１から入力したブロック画像のビジュアルアクティビティを算出し、ＱＰ決定部１５に出力する。ブロック画像が高い周波数成分を多く含む場合にはビジュアルアクティビティは大きくなり、ブロック画像が高い周波数成分を多く含まない場合にはビジュアルアクティビティは小さくなる。

ＱＰ決定部１５は、ビジュアルアクティビティ算出部１４から入力したビジュアルアクティビティに基づいて量子化パラメータ（ＱＰ）を決定し、量子化部１６に出力する。

量子化部１６は、変換部１３から入力した変換係数を、ＱＰ決定部１５から入力した量子化パラメータに対応する量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部１７及びエントロピー符号化部２４に出力する。

逆量子化部１７は、量子化部１６から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部１８に出力する。

逆変換部１８は、逆量子化部１７から入力した変換係数に対して、逆変換処理（変換部１３で行った変換を元に戻す処理）を行って残差ブロック画像を復元し、加算部１９に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１８は逆離散コサイン変換を行う。

加算部１９は、逆変換部１８から入力した残差ブロック画像と、切替部２３から入力したイントラ予測画像又は動き補償予測画像とを加算し、符号化画像として記憶部２０に出力する。

逆量子化部１７、逆変換部１８、及び加算部１９により、符号化画像生成部（局所復号部）を構成する。すなわち、符号化画像生成部は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像とイントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する。

記憶部２０は、加算部１９から入力された符号化画像を記憶するメモリである。

イントラ予測部２１は、記憶部２０に記憶された符号化画像に対して、制御部１０から入力したイントラ予測情報が示すイントラ予測モードに従ってイントラ予測したイントラ予測画像を生成し、切替部２３に出力する。

動き補償予測部２２は、記憶部２０に記憶された符号化画像に対して、制御部１０から入力した動き補償情報が示す動きベクトルに従って動き補償予測した動き補償予測画像を生成し、切替部２３に出力する。

切替部２３は、イントラ予測部２１から入力されたイントラ予測画像と、動き補償予測部２２から入力された動き補償予測画像とを切替えて予測ブロック画像とし、減算部１２及び加算部１９に出力する。

エントロピー符号化部２４は、量子化部１６から入力した量子化係数と、制御部１０から入力したブロックサイズ情報、変換情報、イントラ予測情報、動き補償情報などの符号化パラメータに対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やコンテキスト適応型２値算術符号（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

＜制御部＞
次に、制御部１０の処理について説明する。制御部１０は、符号化パラメータ（ブロック画像のサイズ、基底の種類、イントラ予測モード、及び動きベクトル）を変化させ、符号化画像間の原画像に対する画質劣化の変動量（以下、「符号化劣化傾向の変動量」という。）を算出し、符号化ひずみの評価に該変動量を加味したＲＤ最適化を行い、ＲＤコストが最小となる符号化パラメータの組み合わせを最終的な符号化パラメータとして決定する。

従来の符号化装置における制御処理でフリッカが発生する理由を、図２で例を示しながら説明する。表示時刻ｔ＝Ｔ－１のフレームを符号化する際、ＲＤ_ｃｏｓｔ（Ｔ－１，モード１）、ＲＤ_ｃｏｓｔ（Ｔ－１，モード２）、ＲＤ_ｃｏｓｔ（Ｔ－１，モード３）を比較するが、ここではＲＤ_ｃｏｓｔ（Ｔ－１，モード１）が最も小さいとする。また、表示時刻ｔ＝Ｔのフレームを符号化する際、ＲＤ_ｃｏｓｔ（Ｔ，モード１）、ＲＤ_ｃｏｓｔ（Ｔ，モード２）、ＲＤ_ｃｏｓｔ（Ｔ，モード３）を比較するが、ここではＲＤ_ｃｏｓｔ（Ｔ，モード２）が最も小さいとする。この場合、ｔ＝Ｔ－１の符号化画像は＃２’となり、ｔ＝Ｔの符号化画像は＃３’’となる。しかしながら、ｔ＝Ｔ－１の符号化画像＃２’と、ｔ＝Ｔの符号化画像＃３’’の符号化劣化傾向が著しく異なる可能性があるため、このモード選択（符号化画像選択）はフリッカ抑制の観点からは適切とは言えない。

そこで、本発明において制御部１０は、符号化画像間の原画像に対する画質劣化傾向（符号化劣化傾向）がフレームごとに異なりフリッカが発生するという問題を解決するため、ＲＤ_ｃｏｓｔ（ｍｏｄｅ）の算出時に、符号化劣化傾向の変動量を加味した符号化ひずみＤ（ｍｏｄｅ）を用いる。本実施形態では、符号化劣化傾向の変動量を、原画像及び符号化画像間の類似度の時間的差分とする。

（モード選択処理の第１の例）
図３に、制御部１０の、ｔ＝Ｔのフレームに対するモード選択処理の第１の例を示す。図３では、ｔ＝Ｔ－１のフレームでモード１が選択されたとする。制御部１０は、ｔ＝Ｔ－１のフレームで選択されたモード１における符号化画像＃２’と原画像＃２の差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）を算出する。また、ｔ＝Ｔのフレームに対し候補となる複数のモード（図３ではモード１～３）での符号化画像（＃３’，＃３’’，＃３’’’）と、原画像＃３との差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ，ｍｏｄｅ）を、次式（３）により算出する。

モード選択処理の第１の例では、符号化ひずみＤ（ｍｏｄｅ）に加味する符号化劣化傾向の変動量Ｆとして、原画像及び符号化画像の差分画像（類似度）の時間的差分を用いる。図３に示す例では、符号化劣化傾向の変動量Ｆは、前フレームにおける原画像及びＲＤ最適化された符号化画像の差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）と、現フレームにおける原画像及び各モードの符号化画像の差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ，ｍｏｄｅ）と、の間の差分である。そのため、原画像及び符号化画像の差分の時間的変動量は、次式（４）で表される。変動量Ｆが小さいほど、符号化劣化傾向の変動が小さいといえる。

制御部１０は、符号化ひずみＤ（ｍｏｄｅ）の算出式を、従来用いられている式（２）から次式（５）に変更する。ここで、αは重みづけ係数である。制御部１０は、式（４）の符号化ひずみＤ（ｍｏｄｅ）と、発生符号量Ｒ（ｍｏｄｅ）とを用いて、前述の式（１）によりＲＤコストを算出する。

このように、符号化劣化傾向の変動を考慮して符号化を行うことにより、符号化劣化傾向の時間的変動を抑えることが可能になり、フリッカを抑制することが可能となる。

（モード選択処理の第２の例）
図４に、制御部１０の、ｔ＝Ｔのフレームに対するモード選択処理の第２の例を示す。図４では、ｔ＝Ｔ－１のフレームでモード１が選択されたとする。制御部１０は、モード選択処理の第１の例と同様に、まずｔ＝Ｔ－１のフレームで選択されたモード１における符号化画像＃２’と原画像＃２の差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）を算出する。また、ｔ＝Ｔのフレームに対し候補となる複数のモード（図４ではモード１～３）での符号化画像（＃３’，＃３’’，＃３’’’）と、原画像＃３との差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ，ｍｏｄｅ）を、前述の式（３）により算出する。

モード選択処理の第２の例では、前フレームにおける原画像及びＲＤ最適化された符号化画像との差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）に対して、現フレームとの間で動き予測を行い動き補償予測を行った差分動き補償予測画像Ｍ［Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）］を生成する。そして、符号化劣化傾向の変動量Ｆを、次式（６）に示すように、差分動き補償予測画像Ｍ［Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ－ｌ，モード１）］と、現フレームにおける原画像及び各モードの符号化画像の差分画像Ｓ_ｄｉｆ（ｘ，ｙ，Ｔ，ｍｏｄｅ）と、の間の差分とする。

モード選択処理の第２の例では、動物体のエッジ部分に発生する劣化などの画像の動きに従って移動する劣化の劣化傾向の変動を、より的確に評価することが可能となる。

（モード選択処理の他のバリエーション）
次に、モード選択処理の他のバリエーションについて説明する。原画像及び符号化画像間の類似度は、原画像及び符号化画像のコントラスト（分散）変化であってもよいし、原画像及び符号化画像の画像相関であってもよいし、原画像及び符号化画像の構造情報変化であってもよい。符号化劣化傾向の変動量Ｆとしてこれらの時間的差分を用いる場合には、制御部１０は、符号化ひずみＤ（ｍｏｄｅ）を次式（７）により算出する。

符号化劣化傾向の変動量Ｆとして、原画像及び符号化画像のコントラスト変化の時間的差分を用いる場合には、符号化劣化傾向の変動量Ｆを、次式（８）に示すように、前フレームにおける原画像及びＲＤ最適化された符号化画像のコントラスト変化σ_ｄｉｆ（ｔ－ｌ，ＭＯＤＥ（ｔ－１））と、現フレームにおける原画像及び各モードの符号化画像のコントラスト変化σ_ｄｉｆ（ｔ，ｍｏｄｅ）と、の間の差分とする。

コントラスト変化は、次式（９）に示すように原画像のコントラストσ_ｏｒｇ（ｔ）及び符号化画像のコントラストσ_ｏｒｇ（ｔ，ｍｏｄｅ）の単純差分を用いてもよいし、次式（１０）又は（１１）に示すように原画のコントラストの大きさによって正規化した値を用いてもよい。

ここで、原画像のコントラストσ_ｏｒｇ（ｔ）は、原画像の画素値の平均μ_ｏｒｇ（ｔ）を用いて、次式（１２）（１３）により算出できる。

また、符号化画像のコントラストσ_ｄｅｃ（ｔ，ｍｏｄｅ）は、符号化画像の画素値の平均μ_ｄｅｃ（ｔ，ｍｏｄｅ）を用いて、次式（１４）（１５）により算出できる。

符号化劣化傾向の変動量Ｆとして、原画像及び符号化画像の画像相関の時間的差分を用いる場合には、符号化劣化傾向の変動量Ｆを、次式（１６）に示すように、前フレームにおける原画像及びＲＤ最適化された符号化画像の画像相関σ_{ｏｒｇ＿ｄｅｃ}（ｔ－ｌ，ＭＯＤＥ（ｔ－１））と、現フレームにおける原画像及び各モードの符号化画像の画像相関σ_{ｏｒｇ＿ｄｅｃ}（ｔ，ｍｏｄｅ）と、の間の差分とする。

原画像及び符号化画像の画像相関σ_{ｏｒｇ＿ｄｅｃ}（ｔ，ｍｏｄｅ）は、次式（１７）により算出することができる。μ_ｏｒｇ（ｔ）及びμ_ｄｅｃ（ｔ，ｍｏｄｅ）は、式（１２）（１４）に示したとおりである。

符号化劣化傾向の変動量Ｆとして、原画像及び符号化画像の構造情報変化の時間的差分を用いる場合には、符号化劣化傾向の変動量Ｆを、次式（１８）に示すように、前フレームにおける原画像及びＲＤ最適化された符号化画像の構造情報変化ＳＴ_ｄｉｆ（ｔ－ｌ，ＭＯＤＥ（ｔ－１））と、現フレームにおける原画像及び各モードの符号化画像の画像相関ＳＴ_ｄｉｆ（ｔ，ｍｏｄｅ）と、の間の差分とする。

原画像及び符号化画像の構造情報変化は、次式（１９）により算出することができる。σ_ｏｒｇ（ｔ）、σ_ｄｅｃ（ｔ，ｍｏｄｅ）、μ_ｏｒｇ（ｔ）、及びμ_ｄｅｃ（ｔ，ｍｏｄｅ）は、式（１２）から（１５）に示したとおりである。原画像及び符号化画像の画像相関σ_{ｏｒｇ＿ｄｅｃ}（ｔ，ｍｏｄｅ）は、式（１７）に示したとおりである。

上述したように、本発明に係る符号化装置１では、符号化画像間の原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に該変動量を加味したＲＤ最適化を行う。そのため、符号化装置１の出力である符号化データを復号した符号化画像は、従来の符号化装置による符号化画像と比較して、フリッカが目立たなくなる。

＜プログラム＞
上記の符号化装置１として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。コンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)などであってもよい。プログラムコードは、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ(Application Specific Integrated Circuit)などの特定用途向け集積回路を生成するために、ハードウェア記述言語で記述されたものであってもよい。

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１符号化装置
１０制御部
１１ブロック分割部
１２減算部
１３変換部
１４ビジュアルアクティビティ算出部
１５ＱＰ決定部
１６量子化部
１７逆量子化部
１８逆変換部
１９加算部
２０記憶部
２１イントラ予測部
２２動き補償予測部
２３切替部
２４エントロピー符号化部

Claims

原画像を分割したブロック画像を生成するブロック分割部と、
前記ブロック画像とイントラ予測画像又は動き補償予測画像との差を示す残差ブロック画像に対して変換処理を行って変換係数を算出する変換部と、
前記変換係数を量子化した量子化係数を生成する量子化部と、
前記量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像と前記イントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する符号化画像生成部と、
前記符号化画像に対してイントラ予測したイントラ予測画像を生成するイントラ予測部と、
前記符号化画像に対して動き補償予測を行って動き補償予測画像を生成する動き補償予測部と、
前記量子化係数に対してエントロピー符号化を行うエントロピー符号化部と、
前記符号化画像間の前記原画像に対する画質劣化の変動量を算出し、符号化ひずみの評価に前記変動量を加味したＲＤ最適化を行う制御部と、を備える符号化装置。
前記変動量は、前記原画像及び前記符号化画像間の類似度の時間的差分である、請求項１に記載の符号化装置。
前記変動量は、前フレームにおける原画像及びＲＤ最適化された符号化画像の差分画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分である、請求項２に記載の符号化装置。
前記制御部は、前フレームにおける原画像とＲＤ最適化された符号化画像との差分画像に対して動き補償予測を行った差分動き補償予測画像を生成し、
前記変動量は、前記差分動き補償予測画像と、現フレームにおける原画像及び各モードの符号化画像の差分画像と、の間の差分である、請求項２に記載の符号化装置。
前記制御部は、前記ブロック画像のサイズ、前記変換処理に用いられる基底、前記イントラ予測に用いられるイントラ予測モード、及び前記動き補償予測に用いられる動きベクトルを変化させてＲＤ最適化を行う、請求項１から４のいずれか一項に記載の符号化装置。
コンピュータを、請求項１から５のいずれか一項に記載の符号化装置として機能させるためのプログラム。