JP6168020B2

JP6168020B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP6168020B2
Application number: JP2014187432A
Authority: JP
Inventors: 真季高見
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-09-16
Filing date: 2014-09-16
Publication date: 2017-07-26
Anticipated expiration: 2034-09-16
Also published as: JP2016063284A

Description

本発明は、画像信号を圧縮・伸張するための画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、液晶ディスプレイや有機ＥＬディスプレイの解像度が向上してきており、それに伴い高解像度のデジタルコンテンツが増えている。高解像度の画像データはデータ容量が大きく、大容量のメモリ及び伝送路が必要となる。メモリ及び伝送路の大容量化はコスト増につながる。そこで大容量の画像データを扱う装置内にて、メモリに格納する前、または伝送路を通過する前に画像データを圧縮符号化し、メモリから読み出し後、または伝送路を通過した後に伸張復号する手法が用いられている。例えば対象画素と周辺画素（例えば直前の画素）との差分値を求め、この差分値を量子化テーブルを用いて量子化データに変換して圧縮符号化する手法が提案されている（例えば特許文献１参照）。

特開平３−１４５８８７号公報特開２０１０−２５８７８６号公報

動画像においてフェード効果（フェードイン／フェードアウト）が施されたフェードシーンでは通常、シーンが殆ど変化せずに輝度が変化する。そのようなフェードシーンでは滑らかな輝度変化が求められるが、上述の圧縮符号化および伸張復号を経た画像では、輝度変化に視認できる程度のばらつきが発生することがある。これは、量子化および逆量子化を経て復元される画素と、原画素との誤差がフェードシーンでは目立ちやすくなることに起因する。

本発明はこうした状況に鑑みてなされたものであり、その目的は、対象画素と周辺画素との差分値を量子化して圧縮符号化し、逆量子化して伸張復号した画像データの、フェードシーンでの画質を向上させる技術を提供することにある。

本発明のある態様の画像処理装置（１００）は、動画像を圧縮符号化する符号化部（３０）と、前記動画像から、フェード効果が施されたフレーム区間を検出するフェード検出部（１０）と、を備える。前記符号化部（３０）は、対象画素の画素値と、既に符号化された画素の画素値との差分値を算出する減算部（３１）と、前記差分値の区分と、当該差分値の区分ごとに割り当てられた量子化データを保持する量子化テーブル（３６）と、前記減算部（３１）により算出された差分値を、前記量子化テーブル（３６）を参照して量子化データに変換する量子化部（３２）と、前記量子化テーブル（３６）の差分値の区分を変更する量子化テーブル調整部（３８）と、を含む。前記量子化部（３２）は、前記フレーム区間内のフレーム画像における差分値を、前記量子化テーブル調整部（３８）により変更された量子化テーブルを参照して量子化データに変換する。

本発明のさらに別の態様は、画像処理方法である。この方法は、動画像から、フェード効果が施されたフレーム区間を検出するステップと、対象画素の画素値と、当該対象画素と空間的に隣接する既に符号化された画素の画素値との差分値を算出するステップと、差分値の区分と当該差分値の区分ごとに割り当てられた量子化データを保持する量子化テーブルにおける当該差分値の区分を変更するステップと、前記フレーム区間内のフレーム画像における差分値を、変更された量子化テーブルを参照して量子化データに変換するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、対象画素と周辺画素との差分値を量子化して圧縮符号化し、逆量子化して伸張復号した画像データの、フェードシーンでの画質を向上させることができる。

本発明の実施の形態に係る画像処理装置の構成を示す図である。図１の符号化部の構成例を示す図である。実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その１）。実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その２）。実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その３）。実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その４）。図１のフレーム情報検出部の構成例を示す図である。調整された量子化テーブル１及び逆量子化テーブル１の一例を示す図である。図１の復号部の構成例を示す図である。図２の符号化部の処理の流れを説明するためのフローチャートである。図９の復号部の処理の流れを説明するためのフローチャートである。

画像信号の伝送やメモリ記録において、画像のデータ量を減らすために圧縮変換技術が用いられることが多い。その手法の１つである周辺画素との相関性を利用した予測による圧縮変換は、高い圧縮率を実現できるという利点があるが、幾つかの画質的な問題がある。その１つが、フェード効果の施された動画像において画質エラーが観察されやすいという問題である。これは、同じようなシーンであっても周辺画素との相関性および復号誤差がフレーム毎に異なることに起因する。

本発明の実施の形態では予測による符号化／復号処理において、フェード効果を施された状態である場合に、フレーム毎に画素値のとる範囲を測定し、その範囲を基に量子化テーブルを調整する。これにより、復号画像のフレーム間の差を低減して画質エラーを抑える。以下、具体的に説明する。

図１は、本発明の実施の形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、フェード検出部１０、フレーム情報検出部２０、符号化部３０、復号部４０及び記憶部５０を備える。これらの構成はハードウェア資源のみ、又はハードウェア資源とソフトウェア資源との協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩ（例えば、ＡＳＩＣ、ＦＰＧＡ等）を利用できる。ソフトウェア資源としてファームウェア、アプリケーション等のプログラムを利用できる。

本実施の形態では、入力画像データとして輝度信号（Ｙ）が画像処理装置１００に入力される例を想定する。符号化部３０は輝度信号（Ｙ）に圧縮符号化処理を施してデータ量を減らした状態で記憶部５０に書き込む。復号部４０は記憶部５０から読み出した信号に伸張復号処理を施し、符号化前と同じデータ量の輝度信号（Ｙ）を復元する。

輝度信号である入力画像データの各画素のビット幅はｘビットとする。画像処理装置１００からは、各画素のビット幅が入力画像データと同等の出力画像データが出力される。ただし復号誤差により、入力画像データの画素値と出力画像データの画素値は完全に一致するものではない。

フェード検出部１０は、動画像を構成する入力画像データからフェード効果が施された（即ちフェードイン或いはフェードアウトの状態にある）フレーム区間を検出する。フェード検出部１０は、各フレーム画像がフェード効果が施されたフレーム画像であるか否かを示すフェード検出情報をフレーム情報検出部２０に供給する。フェード効果の検出方法に関しては幾つかの手法が提案されており、既存の手法のいずれを用いてもよい。例えば上記特許文献２に開示されるように、フレームの輝度情報または輝度情報の差分値に基づく手法を用いてもよい。また画像編集ソフトウエアからユーザ操作に従い、ユーザが指定したフレーム区間にフェード効果が施されている場合、そのフレーム区間からフェード効果が施されたフレーム区間を検出できる。

フレーム情報検出部２０は、フェード効果が施されたフレーム区間内の各フレーム画像のフレーム情報を検出し、符号化部３０及び復号部４０に供給する。例えばフレーム情報として、各フレーム画像の画素値の範囲を検出する。フレーム情報検出の具体例は後述する。なおフェード効果が施されていないフレーム画像については、フレーム情報を符号化部３０及び復号部４０に供給する必要はない。

図２は、図１の符号化部３０の構成例を示す図である。符号化部３０は、減算部３１、量子化部３２、逆量子化部３３、加算部３４、予測画素保持部３５、量子化・逆量子化テーブル３６、予測画素判定部３７、及び量子化テーブル調整部３８を含む。

減算部３１は対象画素の画素値（本実施の形態では輝度値）と、当該対象画素と空間的に隣接する既に符号化された画素（以下適宜、予測画素という）の画素値との差分値を算出する。本実施の形態では説明を単純化するために、予測画素として走査順で対象画素の直前の画素（通常、左隣の画素）を想定する。

なお対象画素の左隣画素、右上隣画素、上隣画素および左上隣画素の内、対象画素と最も差分が小さい画素を予測画素に選定してもよい。この方法では、処理量が多くなるが復号誤差が減り復号画像の品質が向上する。

量子化・逆量子化テーブル３６は対象画素と予測画素の差分値の区分と、当該差分値の区分ごとに割り当てられた複数の量子化データを保持する（量子化テーブル）。また当該複数の量子化データと、当該量子化データごとに割り当てられた代表差分値を保持する（逆量子化テーブル）。

量子化部３２は減算部３１により算出された差分値を、量子化・逆量子化テーブル３６の量子化テーブルを参照して量子化データに変換する。当該量子化データは記憶部５０に出力されると共に、逆量子化部３３に供給される。量子化データのビット幅はｙビット（ｙ＜ｘ）とする。本実施の形態では画素値のビット幅が８ビット、量子化データのビット幅が４ビットの例を説明する。

逆量子化部３３は、供給された量子化データを量子化・逆量子化テーブル３６の逆量子化テーブルを参照して代表差分値に変換する。代表差分値の例は後述する。予測画素保持部３５はＦＩＦＯ方式で制御されるバッファであり、１〜数画素分の画素値を保持できる領域を有する。

加算部３４は逆量子化部３３により変換された代表差分値と、予測画素保持部３５に保持される予測画素の画素値とを加算して、対象画素の画素値を復元する。復元された対象画素の画素値は、予測画素保持部３５に格納されると共に減算部３１に供給される。この復元された対象画素の画素値は、次の対象画素における予測画素の画素値となる。

予測画素判定部３７は予測画素の画素値をもとに、量子化および逆量子化する際に参照する量子化・逆量子化テーブル３６を決定する。本実施の形態では画素値のビット幅が８ビットであるため、予測画素の画素値の範囲は０〜２５５となり、予測画素の画素値と対象画素の差分値の範囲は−２２５〜２５５となる。

差分値は０に近い値をとる確率が高く、差分値が小さいほど両画素をより厳密に再現する必要性が高いため、差分値が０に近い区分ほど量子化幅を狭くし、０から遠い区分ほど量子化幅を広くする量子化テーブルを用いる。

また予測画素の画素値に応じて差分値のとり得る範囲が規定されるため、予測画素の画素値に応じて量子化テーブルを切り替えることが望ましい。即ち差分値のとり得る範囲に応じて、複数の量子化データのそれぞれに割り当てる差分値の区分を変更する。本実施の形態では量子化データのビット幅が４ビットであるため、１６種類の量子化データが規定される。この１６種類の量子化データに割り当てる１６種類の差分値の区分のそれぞれの数値範囲を、差分値のとり得る範囲に応じて切り替える。以下、８種類の量子化テーブルを用意し、差分値のとり得る範囲に応じて８種類の量子化テーブルの中から１つを選択して使用する例を説明する。

図３は、実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その１）。図４は、実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その２）。図５は、実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その３）。図６は、実施の形態に係る量子化テーブル及び逆量子化テーブルの一例を示す図である（その４）。図３（ａ）は量子化テーブル１を示し、図３（ｂ）は量子化テーブル１に対応する逆量子化テーブル１を示し、図３（ｃ）は量子化テーブル２を示し、図３（ｄ）は量子化テーブル２に対応する逆量子化テーブル２を示す。図４（ａ）は量子化テーブル３を示し、図４（ｂ）は量子化テーブル３に対応する逆量子化テーブル３を示し、図４（ｃ）は量子化テーブル４を示し、図４（ｄ）は量子化テーブル４に対応する逆量子化テーブル４を示す。図５（ａ）は量子化テーブル５を示し、図５（ｂ）は量子化テーブル５に対応する逆量子化テーブル５を示し、図５（ｃ）は量子化テーブル６を示し、図５（ｄ）は量子化テーブル６に対応する逆量子化テーブル６を示す。図６（ａ）は量子化テーブル７を示し、図６（ｂ）は量子化テーブル７に対応する逆量子化テーブル７を示し、図６（ｃ）は量子化テーブル８を示し、図６（ｄ）は量子化テーブル８に対応する逆量子化テーブル８を示す。

予測画素判定部３７は予測画素の画素値Ｘが０〜３１の場合は量子化テーブル１及び逆量子化テーブル１を選択し、予測画素の画素値Ｘが３２〜６３の場合は量子化テーブル２及び逆量子化テーブル２を選択し、予測画素の画素値Ｘが６４〜９５の場合は量子化テーブル３及び逆量子化テーブル３を選択し、予測画素の画素値Ｘが９６〜１２７の場合は量子化テーブル４及び逆量子化テーブル４を選択し、予測画素の画素値Ｘが１２８〜１５９の場合は量子化テーブル５及び逆量子化テーブル５を選択し、予測画素の画素値Ｘが１６０〜１９１の場合は量子化テーブル６及び逆量子化テーブル６を選択し、予測画素の画素値Ｘが１９２〜２２３の場合は量子化テーブル７及び逆量子化テーブル７を選択し、予測画素の画素値Ｘが２２４〜２５５の場合は量子化テーブル８及び逆量子化テーブル８を選択する。

図３〜図６に示す量子化テーブル及び逆量子化テーブルにおいて、差分値区分および代表差分値の数値は１０進数で表記し、量子化データは４ビットの２進数で表記している。８種類の量子化テーブルにおいて、−１〜１の差分値区分に対応する量子化データは（００００）_２である。いずれの量子化テーブルにおいても、−１〜１の差分値区分に近い差分値区分の数値範囲が狭く、−１〜１の差分値区分から離れた差分値区分の数値範囲ほど広く設定されている。

予測画素の画素値Ｘに応じて差分値のとり得る範囲が異なるため、８種類の量子化テーブルの差分値区分の数値範囲に違いを持たせている。差分値のとり得る範囲の上限値が大きい場合は正側の差分値区分の数が相対的に多くなり、正側の各差分値区分の数値範囲が相対的に狭くなる。反対に負側の差分値区分の数は相対的に少なくなり、負側の各差分値区分の数値範囲が相対的に広くなる。差分値のとり得る範囲の下限値が小さい場合は、それぞれ逆の関係になる。

代表差分値は、量子化データに変換前の差分値区分の数値範囲の中から選択された数値である。例えば差分値区分の数値範囲の中央値が選択される。なお量子化テーブルの種類数、各差分値区分の数値範囲、及び各差分値区分に対応する代表差分値は、設計者が実験、シミュレーション、経験則などを基に導いた値に設定される。

例えば対象画素の画素値が３０で予測画素の画素値が１０の場合、両者の差分値は２０となる。予測画素判定部３７は量子化テーブル１を選択し、量子化部３２は量子化テーブル１を参照して差分値＝２０を、量子化データ＝（０１１０）_２＝６に変換する。逆量子化部３３は逆量子化テーブル１を参照して量子化データ＝（０１１０）_２＝６を代表差分値＝１７に変換する。

図２に戻る。量子化テーブル調整部３８は、フレーム情報検出部２０から供給されるフレーム情報を基に、量子化・逆量子化テーブル３６の量子化テーブルの差分値区分を変更する。具体的には量子化テーブル調整部３８は、各フレーム画像の画素値または差分値の範囲に応じて、量子化・逆量子化テーブル３６の量子化テーブルの差分値区分を変更する。

例えば量子化テーブルにおいて、対象フレーム画像内でとり得る差分値の範囲だけを網羅するように差分値区分を変更する。なお対象フレーム画像内でとり得る差分値の範囲の代替として、対象フレーム画像内でとり得る画素値の範囲を用いてもよい。量子化部３２は対象フレーム画像における差分値を、量子化テーブル調整部３８により調整された量子化テーブルを参照して量子化データに変換する。

本実施の形態に係る圧縮符号化では、低コスト性および簡易性も要求される。対象フレーム画像内でとり得る画素値の範囲を検出するには、対象フレーム画像内の全画素の画素値から最小値と最大値を検出する必要がある。その調査が終了するまで、当該対象フレーム画像内の画素データの圧縮符号化を開始することができず、当該対象フレーム画像内の画素データを１フレーム期間、保持するフレームバッファが必要となる。このようなフレームバッファの追加は、簡易で低コストな圧縮符号化の趣旨に反することになる。

また、差分値算出の基礎となる予測画素の画素値には、局部復号された復元値が用いられる。多くの予測画素において、復元された画素値と実際の画素値との間には誤差が生じる。従って差分値の範囲を検出するための圧縮符号化と、その差分値の範囲に応じて調整された量子化テーブルを用いた圧縮符号化の２度の圧縮符号化が必要となり、煩雑な処理となる。

以下、フレーム情報検出部２０において、対象フレーム画像内でとり得る画素値または差分値の範囲を検出する２つの方法を説明する。第１の方法は、一フレーム前のフレーム画像の画素値または差分値の範囲を、対象フレーム画像の画素値または差分値の範囲と見なす方法である。第２の方法は、対象フレーム画像の画素値の範囲を、当該対象フレーム画像より過去の複数のフレーム画像における画素値または差分値の範囲の時系列データをもとに予測する方法である。

図７は、図１のフレーム情報検出部２０の構成例を示す図である。フレーム情報検出部２０は、大小比較部２１、最大値保持部２２、最小値保持部２３、範囲決定部２４、及び範囲予測部２５を含む。最大値保持部２２及び最小値保持部２３には、初期値として例えば０が設定される。検出対象のフレーム画像において、大小比較部２１は、入力された画素値と、最大値保持部２２及び最小値保持部２３にそれぞれ保持される画素値とを比較する。

入力された画素値が最大値保持部２２に保持される画素値より大きい場合、大小比較部２１は、入力された画素値で最大値保持部２２に保持される画素値を更新する。入力された画素値が最小値保持部２３に保持される画素値より小さい場合、大小比較部２１は、入力された画素値で最小値保持部２３に保持される画素値を更新する。大小比較部２１は、この処理を検出対象のフレーム画像の全画素に対して実行する。

検出対象のフレーム画像の全画素に対する大小比較処理が終了すると、その時点で最大値保持部２２及び最小値保持部２３に保持されている画素値が範囲決定部２４に出力される。範囲決定部２４は、最小値保持部２３から入力された画素値を当該フレーム画像の最小値とし、最大値保持部２２から入力された画素値を当該フレーム画像の最大値として、当該フレーム画像の画素値の範囲を決定する。範囲決定部２４は、決定した画素値の範囲を範囲予測部２５に出力する。

範囲予測部２５は、範囲決定部２４から入力されるフレーム画像の画素値の範囲を、設定されたフレーム数の分、保持する。範囲予測部２５は保持する複数のフレーム画像の画素値の範囲から、次のフレーム画像の画素値の範囲を予測する。次のフレーム画像の最小画素値の予測と、最大画素値の予測を別々に行ってもよい。例えば複数のフレーム画像の最小画素値の時系列推移から関数を近似し、当該関数をもとに次のフレーム画像の最小画素値を予測し、最大画素値の時系列推移から関数を近似し、当該関数をもとに次のフレーム画像の最大画素値を予測してもよい。範囲予測部２５は、予測した次のフレーム画像の画素値の範囲をフレーム情報として符号化部３０及び復号部４０に供給する。

以上の処理は、上述の第２の方法に対応している。上述の第１の方法を用いる場合は範囲予測部２５が不要となり、範囲決定部２４から出力されるフレーム画像の画素値の範囲が、フレーム情報として符号化部３０及び復号部４０にそのまま供給される。なお、検出対象のフレーム画像の差分値の範囲を検出する場合は、符号化部３０の減算部３１の出力値を監視すればよい。

図８は、調整された量子化テーブル１及び逆量子化テーブル１の一例を示す図である。図８（ａ）は第１の調整例に係る量子化テーブル１を示し、図８（ｂ）は第１の調整例に係る逆量子化テーブル１を示し、図８（ｃ）は第２の調整例に係る量子化テーブル１を示し、図８（ｄ）は第２の調整例に係る逆量子化テーブル１を示す。

上述の第１の方法を用いる場合にて、例えば直前のフレーム画像内の画素値の範囲が０〜８５であった場合を考える。画素値のとり得る範囲は０〜２５５であるため、本来の画素値の範囲に対して１／３の範囲である。量子化テーブル調整部３８は、量子化テーブルの各差分値区分の下限値および上限値を１／３に変更する。図８（ａ）に示す量子化テーブル１は、図３（ａ）に示した量子化テーブル１の各差分値区分の下限値および上限値を１／３に変換したものである。

次に上述の第２の方法を用いる場合にて、例えばフレーム画像内の画素値の範囲が０〜２５５、０〜１２８、０〜６４、・・・と変化していた場合、その時系列変化は比例定数１／２の比例関係で表すことができる。なお、時系列変化は比例式で表わされる例に限らず、何らかの関係式で表せばよい。比例定数１／２の比例関係でフレーム画像内の画素値の範囲が時系列変化している場合、次のフレーム画像内の画素値の範囲が、現在のフレーム画像内の画素値の範囲の１／２に変化すると予測できる。

図８（ｃ）に示す量子化テーブル１は、図３（ａ）に示した量子化テーブル１の各差分値区分の下限値および上限値を１／２に変換したものである。この例では単純化するために、直前のフレーム画像内の画素値の範囲が０〜２５５であり、比例定数１／２の比例関係でフレーム画像内の画素値の範囲が時系列変化している場合を想定している。なお、フェード効果が施されていないフレーム画像については量子化テーブルが調整されず、図３（ａ）に示した量子化テーブル１がそのまま使用される。

なお図８（ａ）及び図８（ｃ）に示す量子化テーブル１では、調整時の計算により小数が発生した場合は０に近づくように小数点以下を丸めているが、丸め方は任意である。また図８（ａ）及び図８（ｃ）に示す量子化テーブル１では、小数点以下を丸めた後の値をそのまま記述している。この点、ある差分値区分の上限値と、その１つ上の差分値区分の下限値が重複している場合、片方を繰り上げるか繰り下げるとよい。例えば０〜０の差分値区分と、０〜１の差分値区分がある場合、０〜０の差分値区分と、１〜１の差分値区分に変更する。また、数値範囲が同じ差分値区分が２つ存在する場合、片方の差分値区分を別の数値範囲に割り当ててもよい。例えば１〜１、１〜１、２７〜８５の差分値区分が存在する場合、１〜１、２７〜５５、５６〜８５の差分値区分に変更する。

図１に戻る。記憶部５０は入力画像データの量子化データを記録する。記憶部５０はフレーム遅延や、ユーザの要求に応じて読み出すための保存など、任意の用途に使用される。本実施の形態では、入力画像データをそのまま記録する場合と比較してデータ量が小さくなるため、記憶部５０への伝送バスの容量、及び記憶部５０の容量が少なくてすむ。

図９は、図１の復号部４０の構成例を示す図である。復号部４０は逆量子化部４１、加算部４２、予測画素保持部４３、逆量子化テーブル４４、予測画素判定部４５、及び逆量子化テーブル調整部４６を含む。

逆量子化テーブル４４は、対応する量子化テーブルに規定された複数の量子化データと、当該量子化データごとに割り当てられた代表差分値を保持する。逆量子化部４１は記憶部５０から読み出した量子化データを、逆量子化テーブル４４を参照して代表差分値に変換する。加算部４２は、逆量子化部４１により変換された対象画素の代表差分値と、当該対象画素と空間的に隣接する既に復号された画素の画素値とを加算して、当該対象画素の画素値を復元する。復元された画像データのビット幅は、入力画像データのビット幅と同じになる。本実施の形態では８ビットである。復元された画像データは、ディスプレイ等の目的の装置に出力されると共に予測画素保持部４３に格納される。予測画素保持部４３はＦＩＦＯ方式で制御されるバッファであり、１〜数画素分の画素値を保持できる領域を有する。

予測画素保持部４３に保持される画素値は、加算部４２及び予測画素判定部４５に出力される。加算部４２は、逆量子化部４１により変換された対象画素の代表差分値と、予測画素保持部４３から供給される当該対象画素の予測画素の画素値とを加算する。対象画素の予測画素には、圧縮符号化の際に使用した予測画素の位置と同じ位置に存在するものを使用する。予測方向を特定の一方向に固定している場合、圧縮符号化時の予測画素の位置と伸張復号時の予測画素の位置を意図的に一致させることができる。また複数の予測方向から画素ごとに予測方向を選択している場合、符号側の局部復号部と、復号部の回路構成がほぼ同じであるため結果的に両者の予測画素の位置を一致させることができる。

予測画素判定部４５は予測画素保持部４３から供給される予測画素の画素値をもとに、逆量子化する際に参照する逆量子化テーブルを決定する。例えば予測画素の画素値が１０で対象画素の量子化データが６の場合、予測画素判定部４５は図３（ｂ）に示した逆量子化テーブル１を選択し、逆量子化部４１は選択された逆量子化テーブル１を参照して量子化データ＝（０１１０）_２＝６を、代表差分値＝１７に変換する。加算部４２は代表差分値＝１７と、予測画素の画素値＝１０とを加算して復元画素値＝２７を算出する。

逆量子化テーブル調整部４６は、フレーム情報検出部２０から供給されるフレーム情報を基に、逆量子化テーブル４４の代表差分値を変更する。具体的には逆量子化テーブル調整部４６は、各フレーム画像の画素値または差分値の範囲に応じて逆量子化テーブル４４の代表差分値を変更する。逆量子化テーブル調整部４６に供給されるフレーム情報と、図２の量子化テーブル調整部３８に供給されるフレーム情報とは同期がとられている。即ち対象フレームを圧縮符号化する際に供給されるフレーム情報と、その圧縮符号化されたフレームを伸張復号する際に供給されるフレーム情報は同じであり、これにより符号側と復号側のテーブル調整を対応させることができる。逆量子化部４１は対象フレーム画像の量子化データを、逆量子化テーブル調整部４６により調整された逆量子化テーブル４４を参照して代表差分値に変換する。

逆量子化テーブル調整部４６は量子化テーブル調整部３８と同様に、逆量子化テーブルにおいて、対象フレーム画像内でとり得る代表差分値の範囲だけを網羅するように代表差分値を変更する。

例えば符号化部３０での圧縮符号化において上述の第１の方法を用いる場合にて、例えば直前のフレーム画像内の画素値の範囲が０〜８５であった場合を考える。画素値のとり得る範囲は０〜２５５であるため、本来の画素値の範囲に対して１／３の範囲である。逆量子化テーブル調整部４６は、量子化テーブルの各代表差分を１／３に変更する。図８（ｂ）に示す逆量子化テーブル１は、図３（ｂ）に示した逆量子化テーブル１の各代表差分値を１／３に変換したものである。

次に符号化部３０での圧縮符号化において上述の第２の方法を用いる場合にて、例えば比例定数１／２の比例関係でフレーム画像内の画素値の範囲が時系列変化している場合を考える。図８（ｄ）に示す逆量子化テーブル１は、図３（ｂ）に示した逆量子化テーブル１の各代表差分値を１／２に変換したものである。この例では単純化するために、直前のフレーム画像内の画素値の範囲が０〜２５５であり、比例定数１／２の比例関係でフレーム画像内の画素値の範囲が時系列変化している場合を想定している。なお、フェード効果が施されていないフレーム画像については逆量子化テーブルが調整されず、図３（ｂ）に示した逆量子化テーブル１がそのまま使用される。

図１０は、図２の符号化部３０の処理の流れを説明するためのフローチャートである。対象のフレーム画像がフェードが施された区間のフレーム画像である場合（Ｓ３０のＹ）、量子化テーブル調整部３８は当該フレーム画像のフレーム情報をもとに、選択された量子化テーブルを調整する（Ｓ３１）。対象のフレーム画像がフェードが施された区間のフレーム画像でない場合（Ｓ３０のＮ）、ステップＳ３１の処理はスキップされる。

減算部３１は、画素（ｎ）と画素（ｎ−１）の差分値を算出する（Ｓ３２）。量子化部３２は、当該差分値を量子化・逆量子化テーブル３６を参照して量子化データに変換する（Ｓ３３）。逆量子化部３３は当該量子化データを量子化・逆量子化テーブル３６を参照して、画素（ｎ）と画素（ｎ−１）の代表差分値に変換する（Ｓ３４）。加算部３４は当該代表差分値に画素（ｎ−１）の画素値を加算して、画素（ｎ）の画素値を復元する（Ｓ３５）。予測画素判定部３７は、復元された画素（ｎ）の画素値をもとに量子化テーブルを選択する（Ｓ３６）。

減算部３１は、画素（ｎ＋１）と画素（ｎ）の差分値を算出する（Ｓ３７）。量子化部３２は、当該差分値を量子化・逆量子化テーブル３６を参照して量子化データに変換する（Ｓ３８）。以上の処理が全ての画素について実行される。

図１１は、図９の復号部４０の処理の流れを説明するためのフローチャートである。対象のフレーム画像がフェードが施された区間のフレーム画像である場合（Ｓ４０のＹ）、逆量子化テーブル調整部４６は当該フレーム画像のフレーム情報をもとに、選択された逆量子化テーブルを調整する（Ｓ４１）。対象のフレーム画像がフェードが施された区間のフレーム画像でない場合（Ｓ４０のＮ）、ステップＳ４１の処理はスキップされる。

逆量子化部４１は、画素（ｎ）の量子化データを逆量子化テーブル調整部４６を参照して代表差分値に変換する（Ｓ４２）。加算部４２は当該代表差分値に画素（ｎ−１）の画素値を加算して、画素（ｎ）の画素値を復元する（Ｓ４３）。予測画素判定部４５は、復元された画素（ｎ）の画素値をもとに逆量子化テーブルを選択する（Ｓ４４）。

逆量子化部４１は、画素（ｎ＋１）の量子化データを逆量子化テーブル４４を参照して代表差分値に変換する（Ｓ４５）。加算部４２は当該代表差分値に画素（ｎ）の画素値を加算して、画素（ｎ＋１）の画素値を復元する（Ｓ４６）。以上の処理が全ての画素について実行される。

以上に示した実施の形態では、入力画像データとして輝度信号（Ｙ）を想定し、輝度信号（Ｙ）の圧縮符号化について説明した。色差信号（Ｃ）は輝度信号（Ｙ）よりデータ量が少なく、色差信号（Ｃ）の復号誤差がフェードシーンに与える影響は軽微である。従って上述の実施の形態で説明した量子化テーブル及び逆量子化テーブルの調整処理を適用する必要性は小さい。なお本実施の形態に係る圧縮符号化、量子化テーブル及び逆量子化テーブルの調整処理を色差信号（Ｃ）に適用することを排除するものではなく、適用してもしなくてもよい。

また入力画像データが三原色信号（Ｒ、Ｇ、Ｂ）で規定される場合、それぞれの画像信号に対して、本実施の形態に係る圧縮符号化、量子化テーブル及び逆量子化テーブルの調整処理が適用される。

以上説明したように本実施の形態によれば、フェード効果が施されたフレーム区間において、復号後の画像データにおける復号誤差がフレーム毎にばらつくことにより、本来の画像データでは存在しない復号誤差が強調されて観察される画質エラーを抑制できる。即ちフェード効果が施されたフレーム区間において、量子化テーブル及び逆量子化テーブルを最適な範囲に調整することにより復号誤差を最小限に抑えることができる。従ってフェードシーンの画質を向上させることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態では、フレーム情報検出部２０が対象フレーム画像の画素値または差分値の範囲を検出する例を説明した。この点、各フレーム画像のヘッダ等に、当該フレーム画像の画素値の範囲や輝度分布が予め記述されている場合には、フレーム情報検出部２０はその情報をフレーム情報として使用することができる。

また、予測画素の画素値に応じて量子化テーブル及び逆量子化テーブルを選択する処理は必須ではなく、１つの量子化テーブル及び１つの逆量子化テーブルを使用してもよい。その場合、図２の予測画素判定部３７及び図９の予測画素判定部４５は不要となる。

１００画像処理装置、１０フェード検出部、２０フレーム情報検出部、２１大小比較部、２２最大値保持部、２３最小値保持部、２４範囲決定部、２５範囲予測部、３０符号化部、３１減算部、３２量子化部、３３逆量子化部、３４加算部、３５予測画素保持部、３６量子化・逆量子化テーブル、３７予測画素判定部、３８量子化テーブル調整部、４０復号部、４１逆量子化部、４２加算部、４３予測画素保持部、４４逆量子化テーブル、４５予測画素判定部、４６逆量子化テーブル調整部、５０記憶部。

Claims

動画像を圧縮符号化する符号化部と、
前記動画像から、フェード効果が施されたフレーム区間を検出するフェード検出部と、
を備え、
前記符号化部は、
対象画素の画素値と、既に符号化された画素の画素値との差分値を算出する減算部と、
前記差分値の区分と、当該差分値の区分ごとに割り当てられた量子化データを保持する量子化テーブルと、
前記減算部により算出された差分値を、前記量子化テーブルを参照して量子化データに変換する量子化部と、
前記量子化テーブルの差分値の区分を変更する量子化テーブル調整部と、を含み、
前記量子化部は、前記フレーム区間内のフレーム画像における差分値を、前記量子化テーブル調整部により変更された量子化テーブルを参照して量子化データに変換する、
ことを特徴とする画像処理装置。
前記量子化データを伸張復号する復号部を、さらに備え、
前記復号部は、
前記量子化テーブルに規定された複数の量子化データと、当該量子化データごとに割り当てられた代表差分値を保持する逆量子化テーブルと、
前記量子化データを、前記逆量子化テーブルを参照して代表差分値に変換する逆量子化部と、
対象画素の代表差分値と、既に復号された画素の画素値とを加算する加算部と、
前記逆量子化テーブルの代表差分値を変更する逆量子化テーブル調整部と、を含み、
前記逆量子化部は、前記フレーム区間内のフレーム画像の量子化データを、前記逆量子化テーブル調整部により変更された逆量子化テーブルを参照して代表差分値に変換する、ことを特徴とする請求項１に記載の画像処理装置。
前記フレーム区間内の各フレーム画像の画素値または差分値の範囲を検出するフレーム情報検出部を、さらに備え、
前記量子化テーブル調整部は、検出された画素値または差分値の範囲に応じて、前記量子化テーブルの差分値の区分を変更し、
前記逆量子化テーブル調整部は、検出された画素値または差分値の範囲に応じて、前記逆量子化テーブルの代表差分値を変更する、
ことを特徴とする請求項２に記載に画像処理装置。
前記フレーム情報検出部は、対象フレーム画像の画素値または差分値の範囲を、当該対象フレーム画像より過去の複数のフレーム画像における画素値または差分値の範囲の時系列データをもとに予測し、
前記量子化データ調整部は、予測された前記対象フレーム画像の画素値または差分値の範囲に応じて、前記量子化テーブルの差分値の区分を変更し、
前記逆量子化テーブル調整部は、予測された前記対象フレーム画像の画素値または差分値の範囲に応じて、前記逆量子化テーブルの代表差分値を変更する、
ことを特徴とする請求項３に記載に画像処理装置。
動画像から、フェード効果が施されたフレーム区間を検出するステップと、
対象画素の画素値と、既に符号化された画素の画素値との差分値を算出するステップと、
差分値の区分と当該差分値の区分ごとに割り当てられた量子化データを保持する量子化テーブルにおける当該差分値の区分を変更するステップと、
前記フレーム区間内のフレーム画像における差分値を、変更された量子化テーブルを参照して量子化データに変換するステップと、
を備えることを特徴とする画像処理方法。
動画像から、フェード効果が施されたフレーム区間を検出するステップと、
対象画素の画素値と、既に符号化された画素の画素値との差分値を算出するステップと、
差分値の区分と当該差分値の区分ごとに割り当てられた量子化データを保持する量子化テーブルにおける当該差分値の区分を変更するステップと、
前記フレーム区間内のフレーム画像における差分値を、変更された量子化テーブルを参照して量子化データに変換するステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。