JP5649296B2

JP5649296B2 - 画像符号化装置

Info

Publication number: JP5649296B2
Application number: JP2009245810A
Authority: JP
Inventors: 純大槻; 公男塩澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-26
Filing date: 2009-10-26
Publication date: 2015-01-07
Anticipated expiration: 2029-10-26
Also published as: JP2011091772A

Description

本発明は、画像符号化装置に関し、特に量子化制御の技術に関する。

動画像データの高能率符号化方式として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２が知られている。近年、ＭＰＥＧ−２よりも高圧縮を実現する符号化方式として、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４ｐａｒｔ１０が標準化された。Ｈ．２６４／ＭＰＥＧ−４ｐａｒｔ１０（以下、Ｈ．２６４と称す）では、イントラ予測符号化やインター予測符号化などに加え、適応的な符号量制御を行うことによって、画質の低下を防止しつつ高圧縮を可能にしている。

ＭＰＥＧ−２やＨ．２６４といった符号化方式で用いられる符号量制御方法として、ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）方式が知られている。ＴＭ５方式では、符号化される画像のタイプ（ピクチャタイプ）毎に、符号化済み画像から算出した量子化特性値が設定される。ピクチャタイプとは、画面内符号化ピクチャ（Ｉピクチャ）、順方向予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）である。例えば符号化対象ピクチャがＩピクチャの場合、符号化済みのＩピクチャの符号化結果に基づいて、符号化対象のＩピクチャの量子化特性値が設定されることになる。このように、符号化済み画像から符号化対象画像の発生符号量を予測して量子化パラメータを決定することを、本明細書では「フィードバック方式」と称す。なお、ＴＭ５方式の詳細については、特許文献１に開示がある。

このようなフィードバック方式を用いた発生符号量予測に基づいて、符号化対象画像の量子化特性値である初期量子化パラメータを決定する場合、過去の符号化済みの画像を基に発生符号量の予測を行うために、次のような状況で不都合が生じる。例えば、動きの激しいシーンなど、符号化済み画像から絵柄が大きく変化している状況や、シーンチェンジが行われた状況のときである。このような状況のときには、発生符号量の予測の精度が低下し、符号量配分が正確にできなくなり、結果として符号化効率が低下するという問題が生じる。

一方、上記フィードバック方式とは異なる符号量制御方法に関する提案として、特許文献２が知られている。特許文献２に記載された方法は、原画に対して詳細な動きベクトルを求める前段で、縮小画像を用いた精度の粗い動きベクトル算出を行う。そして、縮小予測ブロックと、参照ブロック間の整合度を統計解析して、その統計解析結果を符号量割り当て制御に用いるというものである。このように、符号化対象画像の原画の情報から発生符号量を予測して量子化パラメータを決定することを、本明細書では「フィードフォワード方式」と称す。

特開平１０−２８５５８９号公報特開平１１−２９８９０４号公報

上記のフィードフォワード方式による符号量制御方法ならば、動きの激しいシーンやシーンチェンジが行われた状況では、フィードバック方式により初期量子化パラメータを決定する場合に比べて、符号量見積もりの精度を上げることが可能である。

しかしながら、逆に動きの少ないシーンでは、画像間の差分が小さく関連性が高いために、符号化済み画像のデータを用いて初期量子化パラメータを決めるフィードバック方式のほうが、精度が高くなることが知られている。

フィードバック方式（ＦＢ方式）とフィードフォワード方式（ＦＦ方式）の比較結果を図で示すと、図４のようになる。前述したように、フィードバック方式は、符号化対象画像に時間的に近い符号化済み画像のデータを用いて初期量子化パラメータを求めるために、急激なシーンの変化には弱いが、シーンの変化が少なく画像間の関連性が高い場合には、予測精度等の点で評価が高い。一方、フィードフォワード方式は、画像１枚ごとに符号量制御を行うものであるため、シーンの変化に関係なく一定の評価が得られるが、特にシーンの変化が少ない場合には、フィードバック方式の予測精度が高まるため、フィードバック方式よりも評価が下回る。

このように、符号化対象画像により、フィードバック方式による初期量子化パラメータ決定方法と、フィードフォワード方式による初期量子化パラメータ決定方法とで、一長一短となってしまうという問題がある。

そこで、本発明は、シーンに応じた初期量子化パラメータを決定できるようにすることを目的とする。

本発明に係る画像符号化装置は、符号化対象画像に対応する画像データを符号化する画像符号化装置であって、前記符号化対象画像に対応する画像データと予測画像に対応する画像データとの差分に対応するデータを量子化する量子化手段と、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを決定する決定手段と、前記符号化対象画像と同じピクチャタイプの符号化済み画像と前記符号化済み画像に近接する画像とに基づいて第１の差分絶対値和を計算し、前記符号化対象画像と前記符号化対象画像に近接する他の画像とに基づいて第２の差分絶対値和を計算する計算手段とを有し、前記第１の差分絶対値和と前記第２の差分絶対値和との差分が所定の値以上である場合、前記決定手段は、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを、前記第２の差分絶対値和に基づいて決定し、前記第１の差分絶対値和と前記第２の差分絶対値和との差分が所定の値以上でない場合、前記決定手段は、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを、前記符号化対象画像と同じピクチャタイプの符号化済み画像についての平均量子化パラメータに基づいて決定することを特徴とする。

本発明によれば、シーンに応じた初期量子化パラメータを決定することができる。

本発明の実施例１に係る画像符号化装置の概略構成を示すブロック図である。初期量子化パラメータ決定方法を示すフローチャートである。本発明の実施例２に係る画像符号化装置の概略構成を示すブロック図である。フィードバック方式とフィードフォワード方式の比較結果を示す図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の実施例１に係る画像符号化装置１００の概略構成を示すブロック図である。画像符号化装置１００は、デジタルビデオカメラ等に搭載され、撮像された画像データを圧縮符号化する画像符号化装置として適用可能である。また、画像符号化装置１００は、Ｈ．２６４符号化方式に対応し、画面内予測符号化（イントラ予測符号化）や画面間予測符号化（インター予測符号化）に加え、適応的な符号量制御（量子化制御）を行うための構成を備える。画像符号化装置１００の構成を図１のブロック図を参照しながら以下に説明する。

画像符号化装置１００に入力される入力画像データは、主に不図示のカメラ等で撮像された動画像である。画像符号化装置１００は、当該動画像を構成する画面（フレーム）毎に符号化処理する。入力画像データは、差分計算部１０１、動き探索部１１４、縮小画像生成部１１２にそれぞれ供給される。差分計算部１０１は、画像符号化装置１００への入力画像データと、後述する予測画像生成部１０７により生成された予測画像データとの差分値を算出する。当該差分値は、画像残差データである。

次に、直交変換部１０２は、差分計算部１０１より出力された画像残差データを入力し、画素ブロック単位で離散コサイン変換（ＤＣＴ：ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）による直交変換処理を行い、ＤＣＴ係数を出力する。なお、ＤＣＴは８×８画素又は４×４画素ブロック単位で行われる。量子化部１０３は、直交変換部１０２より出力されたＤＣＴ係数、及び、後述する量子化パラメータ制御部１１５より出力された量子化パラメータとに基づいて、量子化処理を行う。次に、エントロピー符号化部１０４は、量子化部１０３より出力された量子化後のデータに対して、２値化処理および算術符号化処理を行い、符号化データを生成し、出力する。エントロピー符号化部１０４における発生符号量の情報は、後述する量子化パラメータ制御部１１５に供給される。

一方、量子化部１０３より出力される量子化後のデータは、逆量子化部１０５へも出力される。こちらは予測画像データの生成に使用される。逆量子化部１０５は、入力されたデータについて逆量子化を行い、逆直交変換部１０６は、逆量子化されたデータに対して逆離散コサイン変換による逆直交変換処理を行って、復元された画像データを出力する。

次に、加算器１０８は、逆直交変換部１０６より出力される画像データに、後述する予測画像生成部１０７より出力される予測画像データを加算して、加算後のデータを、メモリＡ１１０、及び、デブロッキングフィルタ処理部１０９へ出力する。加算後のデータが、いわゆるローカルデコード画像データである。

デブロッキングフィルタ処理部１０９は、ローカルデコード画像データに含まれる符号化ブロックの境界部の平滑化処理を行って、デブロッキングフィルタ処理後の画像データをメモリＢ１１１へ出力する。ここで、メモリＡ１１０は、デブロッキングフィルタ処理前の画像データを格納し、メモリＢ１１１は、デブロッキングフィルタ処理後の画像データを格納するものである。

縮小画像生成部１１２は、画像符号化装置１００に入力される入力画像データに含まれる符号化対象画像に対して、複数画素の平均値で１画素を構成することによる縮小方法や、画素を間引くことによる縮小方法などにより、符号化対象画像の縮小画像を生成する。次に、プレ動き探索部１１３は、縮小画像生成部１１２より出力された縮小画像データを用いて、複数のフレームの比較によってブロック毎のおおよその動きベクトルを算出する。ここで、おおよその動きベクトルとは、画面の広域動きベクトル（グローバルベクトル）とも呼ばれている。また、プレ動き探索部１１３は、差分絶対値和算出部（ＳＡＤ算出部）１１６を含み、入力画像のうち符号化対象の現画像に対して、近接する他の画像との間で差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を演算する。そして、演算によって算出されたＳＡＤ値の情報を量子化パラメータ制御部１１５へ供給する。

次に、動き探索部１１４は、画像符号化装置１００に入力される入力画像データ及び、メモリＡ１１０とメモリＢ１１１に格納されている画像データを用いて、予測画像の予測方法を決定する。さらに、動き探索部１１４は、プレ動き探索部１１３より出力された動きベクトルを参照し、より詳細な動き探索を行って、インター予測符号化時の動き補償予測に係る動きベクトルを算出する。

動き探索部１１４の動作を具体的に以下に記載する。イントラ予測を行う際は、入力画像データと、メモリＡ１１０に格納されているデブロッキングフィルタ処理前の画像データとを用いて、所定の画素ブロック（１６×１６画素、８×８画素、４×４画素、等）の単位で、所定の予測モード毎の符号化効率を求める。一方、インター予測を行う際は、入力画像データと、メモリＢ１１１に格納されているデブロッキングフィルタ処理後の画像データとを用いて、符号化効率を求める。インター予測時における参照画像の探索の際は、プレ動き探索部１１３より出力された動きベクトルを用いて、当該動きベクトルの周辺を詳細に探索することで、全画像領域を探索することのない効率的な処理を実現している。そして、求めた符号化効率が最適となる予測方法を決定する。インター予測の場合は、さらに動きベクトルを算出して出力する。なお、入力画像が、イントラ予測符号化されることが前提のＩピクチャの場合には、イントラ予測のみを採用し、その他のピクチャ（Ｐピクチャ又はＢピクチャ）の場合には、イントラ予測及びインター予測のうち、最適な符号化効率となる予測方法を選択できる。このように動き探索部１１４は、符号化効率の最適な予測方法を選択し、イントラ予測モードや動きベクトルといった符号化パラメータを出力する。

次に、予測画像生成部１０７は、動き探索部１１４から出力された予測方法と符号化パラメータ、及び、メモリＡ１１０またはメモリＢ１１１に格納された画像データを用いて、予測画像データを生成する。予測画像データは、前述したように差分計算部１０１及び加算器１０８に供給される。

ここで、量子化パラメータ制御部１１５の処理について説明する。量子化パラメータ制御部１１５は、フィードフォワード方式とフィードバック方式を選択的に実行する。また、量子化パラメータ制御部１１５は、少なくとも数フレーム相当分のＳＡＤの値を記憶し、ＳＡＤの差分値を演算する構成を備えている。そして、量子化パラメータ制御部１１５は、プレ動き探索部１１３より出力される符号化対象画像（現画像）に対するＳＡＤの値と、記憶された当該符号化対象画像と同じピクチャタイプの符号化済み画像のＳＡＤの値との差分値を算出して、画像変化量を求める。

そして、算出された画像変化量が、所定の閾値以上あるか否かを判定する。当該画像変化量が、閾値以上であれば、量子化パラメータ制御部１１５は、フィードフォワード方式により符号化対象画像に対する初期量子化パラメータを決定する。フィードフォワード方式とは、原画の情報から発生符号量を予測して量子化パラメータを決定する方法（第１の方法）である。当該フィードフォワード方式では、プレ動き探索部１１３にて算出されたＳＡＤの値から統計化された、量子化パラメータ毎の予測符号量を示す所定のテーブルを用いる。すなわち、目標符号量に最も近似な予測符号量を示す量子化パラメータをフィードフォワード方式における初期量子化パラメータとする。

一方、当該画像変化量が、閾値未満であれば、量子化パラメータ制御部１１５は、フィードバック方式により符号化対象画像に対する初期量子化パラメータを決定する。フィードバック方式とは、符号化済み画像から符号化対象画像の発生符号量を予測して量子化パラメータを決定する方法（第２の方法）である。当該フィードバック方式では、符号化対象画像と同じピクチャタイプの符号化済み画像の平均量子化パラメータを初期量子化パラメータとする。

以上により、量子化パラメータ制御部１１５は、ＳＡＤの値に基づく画像変化量に応じて適応的に初期量子化パラメータ決定手法を切り替え、決定された初期量子化パラメータを量子化部１０３へ出力する。その後、量子化パラメータ制御部１１５は、予め設定される目標符号量と、エントロピー符号化部１０４で実際に発生する符号量の差分値を観察する。そして、差分値を観察しながら、符号化対象画像に対する発生符号量を目標符号量に近づけるように、量子化パラメータを変化させることによる量子化制御を行う。

次に、量子化パラメータ制御部１１５における制御方法について、図２のフローチャートを用いて説明する。図２は、初期量子化パラメータ決定方法を示すフローチャートである。

ステップＳ２０１において、量子化パラメータ制御部１１５は、符号化対象画像のＳＡＤの値と符号化対象画像と同じピクチャタイプの符号化済み画像のＳＡＤの値との差分絶対値を演算する。当該差分絶対値がシーンの画像変化量を表す値となる。次に、ステップＳ２０２において、量子化パラメータ制御部１１５は、Ｓ２０１で演算された差分絶対値が所定の閾値以上か否かを判定する。Ｓ２０２にて、差分絶対値が閾値未満であると判定されれば、フローはフィードバック方式による初期量子化パラメータ決定方法を実行するステップＳ２０３へ進む。一方、Ｓ２０２にて、差分絶対値が閾値以上であると判定されれば、フローはフィードフォワード方式による初期量子化パラメータ決定方法を実行するステップＳ２０４へ進む。

Ｓ２０３において、量子化パラメータ制御部１１５は、符号化済みの同一ピクチャタイプの画像の平均量子化パラメータを、初期量子化パラメータに決定する。また、Ｓ２０４において、量子化パラメータ制御部１１５は、符号化対象画像のＳＡＤ値に基づいて、統計的結果より得られたテーブルより、目標符号量に最も近似な値を示す予測符号量を選択し、当該予測符号量に対応した量子化パラメータを選択する。そして、Ｓ２０５において、量子化パラメータ制御部１１５は、Ｓ２０４で選択した量子化パラメータを初期量子化パラメータに決定する。

上記実施例では、ＳＡＤを演算して画像変化量を判定する構成を説明したが、ＳＡＤの値の替わりに、例えばＳＡＴＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＴｒａｎｓｆｏｒｍｅｄＤｉｆｆｅｒｅｎｃｅ）の演算結果を指標として用いるように変形しても良い。

また、上記実施例では、ピクチャのタイプに関わらず本発明を適用しているが、符号化対象画像がＩピクチャの場合のみに適用しても良いものとする。

以上のように、本実施例の画像符号化装置によれば、ＳＡＤの値の変化によって判定される画像変化量（シーンの連続性）に応じて初期量子化パラメータ決定手法を適応的に切り替えることによって、好適な量子化制御を行うことができる。

実施例１では、画像変化量を縮小画像におけるＳＡＤの差分情報から求める構成について説明したが、実施例２では、画像変化量を分散値の差分情報から求める構成について説明する。図３は、本発明の実施例２に係る画像符号化装置３００の概略構成を示すブロック図である。画像符号化装置３００の構成を図３のブロック図を参照しながら以下に説明する。なお、図３において、図１と同じ符号を付したブロックは実施例１で記述した説明と重複するので、詳細な説明は省略する。以下では主に図１と異なるブロックの構成について詳細に説明する。

分散値算出部３０１は、縮小画像生成部１１２より出力される縮小画像データを取得して、符号化対象画像（現画像）の分散値を算出する。ここで分散値とは、平均値と各データの差分値を２乗した平均値であり、画素値の散らばり具合を表す。分散値が高いほど、画素値の散らばり具合が大きく、画素の輝度変化が激しいことを示す。人間の視覚特性として、輝度変化の激しい画像ほど、画像劣化が目立たないということが知られている。そこで、分散値に基づいて、画像ブロック毎の符号化の難易度を求めるような処理が一般的に行われている。画像符号化装置３００においては、分散値算出部３０１で算出された分散値の情報が、量子化パラメータ制御部１１５に供給される。

次に、量子化パラメータ制御部１１５の処理について説明する。量子化パラメータ制御部１１５は、フィードフォワード方式とフィードバック方式を選択的に実行する。また、量子化パラメータ制御部１１５は、少なくとも数フレーム相当分の分散値を記憶し、分散値の差分値を演算する構成を備えている。そして、量子化パラメータ制御部１１５は、プレ動き探索部１１３より出力される符号化対象画像（現画像）に対する分散値と、記憶された当該符号化対象画像と同じピクチャタイプの符号化済み画像の分散値との差分値を算出して、画像変化量を求める。

そして、算出された画像変化量が、所定の閾値以上あるか否かを判定する。当該画像変化量が、閾値以上であれば、量子化パラメータ制御部１１５は、フィードフォワード方式により符号化対象画像に対する初期量子化パラメータを決定する。フィードフォワード方式では、プレ動き探索部１１３にて算出された分散値から統計化された、量子化パラメータ毎の予測符号量を示す所定のテーブルを用いる。すなわち、目標符号量に最も近似な予測符号量を示す量子化パラメータをフィードフォワード方式における初期量子化パラメータとする。

一方、当該画像変化量が、閾値未満であれば、量子化パラメータ制御部１１５は、フィードバック方式により符号化対象画像に対する初期量子化パラメータを決定する。フィードバック方式では、符号化対象画像と同じピクチャタイプの符号化済み画像の平均量子化パラメータを初期量子化パラメータとする。

以上により、量子化パラメータ制御部１１５は、分散値に基づく画像変化量に応じて適応的に初期量子化パラメータ決定手法を切り替え、決定された初期量子化パラメータを量子化部１０３へ出力する。その後、量子化パラメータ制御部１１５は、予め設定される目標符号量と、エントロピー符号化部１０４で実際に発生する符号量の差分値を観察する。そして、差分値を観察しながら、符号化対象画像に対する発生符号量を目標符号量に近づけるように、量子化パラメータを変化させることによる量子化制御を行う。

以上のように、本実施例の画像符号化装置によれば、分散値の変化によって判定される画像変化量（シーンの連続性）に応じて初期量子化パラメータ決定手法を適応的に切り替えることによって、好適な量子化制御を行うことができる。

１００画像符号化装置
１０１差分計算部
１０２直交変換部
１０３量子化部
１０４エントロピー符号化部
１０５逆量子化部
１０６逆直交変換部
１０７予測画像生成部
１０８加算器
１０９デブロッキングフィルタ処理部
１１０メモリＡ
１１１メモリＢ
１１２縮小画像生成部
１１３プレ動き探索部
１１４動き探索部
１１５量子化パラメータ制御部
１１６ＳＡＤ算出部
３０１分散値算出部

Claims

符号化対象画像に対応する画像データを符号化する画像符号化装置であって、
前記符号化対象画像に対応する画像データと予測画像に対応する画像データとの差分に対応するデータを量子化する量子化手段と、
前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを決定する決定手段と、
前記符号化対象画像と同じピクチャタイプの符号化済み画像と前記符号化済み画像に近接する画像とに基づいて第１の差分絶対値和を計算し、前記符号化対象画像と前記符号化対象画像に近接する他の画像とに基づいて第２の差分絶対値和を計算する計算手段と
を有し、
前記第１の差分絶対値和と前記第２の差分絶対値和との差分が所定の値以上である場合、前記決定手段は、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを、前記第２の差分絶対値和に基づいて決定し、
前記第１の差分絶対値和と前記第２の差分絶対値和との差分が所定の値以上でない場合、前記決定手段は、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを、前記符号化対象画像と同じピクチャタイプの符号化済み画像についての平均量子化パラメータに基づいて決定する
ことを特徴とする画像符号化装置。
前記第１の差分絶対値和と前記第２の差分絶対値和との差分が所定の値以上である場合、前記決定手段は、前記符号化対象画像に対応する画像データと前記予測画像に対応する画像データとの差分に対応するデータを量子化するのに用いられる初期量子化パラメータを、前記第２の差分絶対値和と、前記符号化対象画像に対応する画像データについての目標符号量とに基づいて決定することを特徴とする請求項１に記載の画像符号化装置。