JP6912978B2 - 符号化装置及びプログラム - Google Patents

Description

本発明は、入力画像を符号化する符号化装置及びプログラムに関するものである。

映像の新たな表現を実現する技術手段として、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）が注目されている。これは、現状の標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）に対し、ディスプレイの表示可能な最大輝度を上げることにより、映像信号の表示範囲も拡大することで、ＳＤＲでは表現できなかった非常に明るい光沢やスタジアムの日向日陰の同時高画質表示などが可能になるものである。放送におけるＨＤＲに関しては国際標準として複数の方式が規定されている（非特許文献１）。

ＨＤＲの実現に際しては、前述の通り高輝度表示が可能なディスプレイが必要な他、撮影するカメラ、編集等を実施する各種機器に関してもＨＤＲ信号への対応が必要になる。また、放送など、映像の配信、伝送を行う応用においては、映像信号の圧縮符号化処理における対応も考慮する必要がある。ＨＤＲはＳＤＲに比べて輝度・色差の範囲が広がってはいるものの、従来の映像機器が扱える１画素あたりの階調数（ビット深度）は変えずに、光電変換処理、つまりＯＥＴＦ（Optical-Electronic Transfer Function：光電気伝達関数）変換やガンマカーブ変換による非線形変換処理の工夫で対応するのが主流である。そのため、映像信号を波形として取り扱う映像符号化処理においては、階調数が変わらない限り基本的にはその処理に変更はない。すなわち、ＭＰＥＧ−２やＨ.２６４／ＡＶＣ、Ｈ.２６５／ＨＥＶＣなどの映像符号化方式が利用可能である。これらの映像符号化方式においては、時間方向に連続するフレーム間での動き予測処理や、１フレーム内での予測処理によって、映像の有する冗長性を排除して情報量を圧縮する。

一方、ＨＤＲ信号を対象とした映像符号化に関しては標準化団体でも検討が行われている。上述したように符号化方式自体はそのまま利用可能であるため変更の必要は無いものの、前処理や後処理、あるいは符号化処理の制御によって映像の劣化を防ぐ検討がなされており、このためのガイドラインが制定されつつある（非特許文献２）。非特許文献２では、符号化制御のひとつである量子化値Ｑｐを修正する方法が記載されているが、そのほか、場合によっては符号化装置側での工夫も必要であることが記述されている。

Recommendation ITU-R BT.2100-0 (07/2016), "Image parameter values for high dynamic range television for use in production and international programme exchange" "Conversion and Coding Practices for HDR/WCG Y’CbCr 4:2:0 Video with PQ Transfer Characteristics (Draft 4)", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCTVC-Z1017, 26th Meeting: Geneva, CH, 12-20 January 2017

ＨＤＲを実現するＯＥＴＦが従来の変換と乖離している方式の場合には、映像符号化方式自体はそのまま利用可能であるものの、映像信号によっては符号化劣化が表れやすくなることがある。

ＯＥＴＦは、一般的に図６に示すように被写体を撮影して取得した光信号に対して対数や累乗根のカーブに似た形状の非線形曲線グラフとなり、輝度が高い範囲を圧縮して所定のビット深度に収めるのが一般的である。この曲線が人間の視覚特性（ウェブナー・フェヒナーの法則）に従った対数関数の形状であれば、変換された電気信号を線形信号とみなして画素値に依らない処理をし、最終的にＯＥＴＦ変換の逆変換であるＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）変換をしたのちにディスプレイ表示すれば、視覚的な画質にはほぼ問題がない。

しかしながら、ＯＥＴＦが、たとえば図７に示すように立ち上がりが極端に急峻で、人間の視覚特性からかい離した曲線の関数である場合、電気信号を線形とみなして画素値に依らず同じ処理を施すと、画素値によっては品質の劣化を生じる恐れがある。

映像符号化におけるフレーム内予測処理では、同じフレーム内の画像に基づいて生成した参照ブロックと符号化対象ブロックとの間の差分値を算出してこれが最小になる場合を求める。また、フレーム間動き予測処理では、図８に示すように、予測の候補となる参照ブロックを他の参照フレームから探索し、基準フレーム内の符号化対象ブロックとの間の差分値を算出してこれが最小になる場合を求める。

この差分値計算においては、一般的には電気信号である映像信号で計算する。そのため、図９に示すように、２つの予測候補（候補１及び候補２）が映像信号では予測元と同じ差分値となっても、光の信号としては差分値が異なる可能性があり、人間の視覚的には同じ程度の差ではない場合がある。視覚に即した予測を行うためには、これら差分値が人間の視覚が受容する差分に相当することが望ましい。

かかる事情に鑑みてなされた本発明の目的は、圧縮符号化過程における予測処理を、人間の視覚特性に即して行うことが可能な符号化装置及びプログラムを提供することにある。

上記の課題を解決するために本発明では、入力画像を符号化する符号化装置であって、入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出し、該直交変換係数を量子化して量子化係数を生成する変換・量子化部と、前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、フレーム内予測処理又はフレーム間動き予測処理により、ブロックごとに、符号化対象ブロックと参照ブロックとの間の差分値を算出し、該差分値が最小となる参照ブロックを生成し、当該参照ブロックを前記予測画像として出力する予測部と、を備え、前記予測部は、前記入力画像の電気信号と該電気信号が光信号に変換される関係を示すＯＥＴＦ情報を用いて前記差分値を算出することを特徴とする。

さらに、本発明に係る符号化装置において、前記予測部は、前記符号化対象ブロック及び前記参照ブロックの信号形式を、前記ＯＥＴＦ情報に基づいて電気信号から光信号に変換したのち、前記差分値を算出することを特徴とする。

さらに、本発明に係る符号化装置において、前記予測部は、前記符号化対象ブロック及び前記参照ブロックの電気信号について画素ごとの差を求め、該画素ごとの差に対して、前記ＯＥＴＦ情報に基づいて光信号に相当するように重み付けをして前記差分値を算出することを特徴とする。

さらに、本発明に係る符号化装置において、前記入力画像は、前記ＯＥＴＦ情報に基づいて、輝度レベルに応じて複数の領域に分類され、前記予測部は、前記領域ごとに前記差分値を算出することを特徴とする。

さらに、本発明に係る符号化装置において、前記予測部は、前記領域に隣接するブロックも探索範囲に含めて前記フレーム間動き予測処理を行うことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

本発明によれば、従来のＳＤＲ信号と電気−光の関係特性が異なるＨＤＲ信号においても、圧縮符号化過程における予測処理を、人間の視覚特性に即して効率的に行うことができ、符号化劣化を抑制することが可能となる。

本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。 フレーム画像を輝度レベルに応じた領域に分類する例を示す図である。 ＯＥＴＦの傾きの変化率から領域の境界を設定する例を示す図である。 分類した領域に隣接するブロックも探索範囲に含める例を示す図である。 本発明の一実施形態に係る符号化装置における予測部の処理を示すフローチャートである。 ＯＥＴＦの第１の例を示す図である。 ＯＥＴＦの第２の例を示す図である。 フレーム間動き予測処理の様子を示す図である。 電気信号における差分値と光信号における差分値の違いを示す図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。図１に示す符号化装置１は、ＯＥＴＦ情報設定部１１と、画像分割部１２と、減算部１３と、変換・量子化部１４と、局部復号部２４と、予測部２５と、切替部２２と、エントロピー符号化部２３とを備える。なお、サンプルアダプティブオフセット部１８は必須の構成では無く、また、サンプルアダプティブオフセット部１８に代えてあるいは追加して、他のポストフィルタ処理を行う処理部を設けてもよい。

符号化装置１は、入力画像を符号化して符号化データを出力する装置であって、ＯＥＴＦ情報に関連する部分以外は、ＭＰＥＧ−２やＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などの映像符号化方式と同様の処理を行う。なお、本発明は符号化側の工夫に関するものであるため、復号処理については通常のＭＰＥＧ−２やＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などの復号方式をそのまま適用することができる。

ＯＥＴＦ情報設定部１１は、画像分割部１２、フレーム内予測部１９、及び動き検出部２０に対して、ＯＥＴＦ情報を出力する。ＯＥＴＦ情報とは、入力画像の電気信号と該電気信号が光信号（輝度信号）に変換される関係を示す情報である。電気信号と光信号との関係はＨＤＲ，ＳＤＲなどのダイナミックレンジを表現する方式に応じて異なる。ＯＥＴＦ情報は例えば、電気信号を光信号に変換する関数、又は入力画像を輝度レベルに応じて複数の領域に分類した輝度分類情報である。輝度が所定の範囲内であれば電気信号と光信号はほぼ線形性を有するため、輝度分類情報は、入力画像を電気信号と光信号が線形性を有する領域に分類した情報といえる。

画像分割部１２は、入力される入力画像（符号化対象フレーム）を複数のブロックに分割してブロック画像を生成し、減算部１３に出力する。ブロックのサイズは可変サイズであってもよく、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素とする。ＯＥＴＦ情報設定部１１からＯＥＴＦ情報として輝度分類情報が入力された場合には、後述するように、画像を複数の領域に分類し、領域ごとに複数のブロックに分割する。

減算部１３は、画像分割部１２から入力されたブロック画像の各画素値から、予測部２５から切替部２２を介して入力された、入力画像の予測画像の各画素値を減算して、ブロック画像と予測画像との差を示す残差画像を生成し、変換・量子化部１４に出力する。

変換・量子化部１４は、減算部１３から入力された残差画像に対して直交変換処理を行って直交変換係数を算出する。そして、直交変換係数を量子化ステップで除することにより量子化し、量子化された直交変換係数（量子化係数）を生成し、局部復号部２４及びエントロピー符号化部２３に出力する。

局部復号部２４は、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算して復号画像を生成する。局部復号部２４は、逆量子化・逆変換部１５と、加算部１６と、デブロッキングフィルタ部１７と、サンプルアダプティブオフセット部１８とを備える。

逆量子化・逆変換部１５は、変換・量子化部１４から入力された量子化係数に対して、量子化ステップを乗ずることにより直交変換係数を復元する。そして、直交変換係数に対して逆直交変換を行って残差画像を生成し、加算部１６に出力する。例えば、変換・量子化部１４が直交変換として離散コサイン変換を行った場合には、逆量子化・逆変換部１５は逆直交変換として逆離散コサイン変換を行う。

加算部１６は、逆量子化・逆変換部１５から入力された残差画像と、切替部２２から入力された予測画像の各画素値を加算してフィルタ処理前復号画像を生成し、デブロッキングフィルタ部１７及び予測部２５に出力する。

デブロッキングフィルタ部１７は、加算部１６から入力されたフィルタ処理前復号画像に対してフィルタ処理を行い、サンプルアダプティブオフセット部１８に出力する。また、使用したフィルタに関する情報をエントロピー符号化部２３に出力する。

サンプルアダプティブオフセット部１８は、デブロッキングフィルタ部１７から入力された画像を画素単位で分類し、各画素値に分類に応じたオフセットを加算し、その結果を復号画像として予測部２５に出力する。また、サンプルアダプティブオフセットに関する情報をエントロピー符号化部２３に出力する。

予測部２５は、フレーム内予測処理又はフレーム間動き予測処理により、ブロックごとに、符号化対象ブロックと参照ブロックとの差分値を算出し、該差分値が最小となる参照ブロックを生成し、当該参照ブロックを予測画像として出力する。予測部２５は、フレーム内予測部１９と、動き検出部２０と、動き補償予測部２１とを備える。

フレーム内予測部１９は、加算部１６により生成されたフィルタ処理前復号画像に対してフレーム内予測を行って予測モードを選択しエントロピー符号化部２３に出力する。具体的には、符号化対象フレームにおいて、符号化対象ブロックと、該符号化対象ブロックに隣接する画素を用いて予測モードごとに予測した複数の参照ブロックとの間の差分値を算出し、差分値が最小となる予測モードを選択する。また、差分値が最小となる場合の参照ブロックを予測画像として切替部２２に出力する。本明細書では、フレーム内予測部１９による処理を「フレーム内予測処理」という。

動き検出部２０は、サンプルアダプティブオフセット部１８により生成された復号画像を参照して動きベクトルを生成し、動き補償予測部２１に出力する。また、動きベクトルを示す動きベクトル情報をエントロピー符号化部２３に出力する。具体的には、動き検出部２０は、符号化対象フレーム（基準フレーム）内の任意のブロックと他の映像フレーム（参照フレーム）との間でブロックマッチングを行う。そして、基準フレーム内の符号化対象ブロックと、参照フレームの探索範囲内における参照ブロックとの間の差分値を算出し、差分値が最小となる参照ブロックの位置関係を示す動きベクトルを生成する。

動き補償予測部２１は、動き検出部２０から入力された動きベクトルに基づいて予測画像を生成し、すなわち、上記の差分値が最小となる参照ブロックを予測画像として生成し、切替部２２に出力する。本明細書では、動き検出部２０による処理と動き補償予測部２１による処理とをあわせて、「フレーム間動き予測処理」という。

切替部２２は、フレーム内予測部１９から入力された予測画像と、動き補償予測部２１から入力された予測画像とを切替えて、減算部１３及び加算部１６に出力する。

エントロピー符号化部２３は、ＯＥＴＦ情報設定部１１から入力されたＯＥＴＦ情報、変換・量子化部１４から入力された量子化係数、フレーム内予測部１９から入力された予測モード、動き検出部２０から入力された動きベクトル情報、デブロッキングフィルタ部１７から入力されたフィルタに関する情報、及びサンプルアダプティブオフセット部１８から入力されたサンプルアダプティブオフセットに関する情報に対してエントロピー符号化を行う。これにより、エントロピー符号化部２３は、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化装置１の外部に出力する。エントロピー符号化には、０次指数ゴロム符号やＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号）など、任意のエントロピー符号化方式を用いることができる。

フレーム内予測部１９のフレーム内予測処理、及び動き検出部２０の動き検出処理における差分値は、一般的にブロックごとにＳＡＤ（Sam of Absolute Difference；絶対値差分和），ＳＳＤ（Sum of Squared Difference；二乗誤差和)などの評価関数を用いて算出されるが、本発明では、ＯＥＴＦ情報設定部１１から入力されたＯＥＴＦ情報を用いて差分値を算出する。

従来では、差分値ＭＳＥ（Mean Square Error）の計算は、ＳＳＤを用いた場合、一般的に以下の式（１）によって行われる。ここで、Ｍ，Ｎはブロックの水平、垂直の画素数、ｘ_ｉ，ｊは予測先の画素値、＾ｘ_ｉ，ｊは予測元の画素値である。予測処理においては、ＭＳＥが最小となるｘ_ｉ，ｊを探索する。

一方、本発明では、予測部２５は、ＯＥＴＦ情報を用いて符号化対象ブロックと参照ブロックとの間の差分値を算出する。具体的な方法を、以下に３つ示す。

＜第１の方法＞
本発明では、式（１）の映像信号である電気信号での差分値計算を、光の領域の信号で実施する。ＨＤＲの放送方式としては、現在、ＡＲＩＢ（Association of Radio Industries and Businesses）ＳＴＤ−Ｂ６７で規定されているＨＬＧ（Hybrid-Log Gamma）方式と、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers） ＳＴ.２０８４で規定されているＰＱ（Perceptual Quantize）方式とが存在する。ここで、電気光伝達関数であるＥＯＴＦの特性は、ＳＴＤ−Ｂ６７で規定されるＨＬＧ方式の場合には図６のように入力に対してなだらかな立ち上がりとなるのに対して、ＳＭＰＴＥで規定されるＰＱ方式の場合には図７のように入力に対して急峻な立ち上がりとなる。例えば、ＨＬＧ方式の場合のＥＯＴＦは式（２）で表され、ＰＱ方式の場合のＥＯＴＦは式（３）で表される。

Ｅ：シーン輝度（基準白レベルで正規化）
Ｅ’：映像信号レベル
ｒ：基準白レベルに対応する映像信号レベル
ｒ＝０．５
ａ＝０．１７８８３２７７
ｂ＝０．２８４６６８９２
ｃ＝０．５５９９１０７３

Ｌ：シーン輝度（Ｌ＝１が表示輝度１０，０００ｃｄ／ｍ^２に対応）
Ｅ’：映像信号レベル
ｍ１＝０．１５９３０１７５７８１２５，
ｍ２＝７８．８４３７５
ｃ_１＝ｃ_３−ｃ_２＋１
ｃ_２＝１８．８５１５６２５
ｃ_３＝１８．６８７５

これらのＥＯＴＦに従い、ｘ_ｉ，ｊ及び＾ｘ_ｉ，ｊをそれぞれ光信号に変換（ＥＯ変換）したものをｘ^Ｏ _ｉ，ｊ及び＾ｘ^Ｏ _ｉ，ｊとする。光信号における差分値ＭＳＥｏを、式（４）により定義する。なお、本説明では、差分値を２乗誤差としたが、絶対値誤差など別の差分計算にしてもよい。

このように、第１の方法では、予測部２５は、符号化対象ブロック及び参照ブロックの信号形式を、ＯＥＴＦ情報に基づいて電気信号から光信号に変換したのち、差分値を算出する。これにより、光信号の領域での差分値比較となるため、より人間の視覚特性に即した処理となる。

＜第２の方法＞
第２の方法では、従来と同様に画素値は電気信号の値とするが、式（５）に示すように、差分値計算式に電気信号と光信号間の関係を数式として重み付けする。

ここで、Ｗ（・）は電気信号と光信号間の関係を示す重み付け関数である。この重み付け関数は、例えば、上述した式（２）又は式（３）に基づくものであり、式（２）又は式（３）と同一であってもよい。なお、第１の方法と同様に本説明では差分値を２乗誤差としたが、絶対値誤差など別の差分計算にしてもよい。

このように、第２の方法では、予測部２５は、符号化対象ブロック及び参照ブロックの電気信号について画素ごとの差を求め、該画素ごとの差に対して、ＯＥＴＦ情報に基づいて光信号に相当するように重み付けをして差分値を算出する。画素値自体は電気信号のまま扱うため、信号表現の精度（ビット数）の増加を防ぐことができる。なお、重み付け関数は差分の２乗誤差の外部に位置しているため、第２の方法による差分値ＭＳＥ_Ｗは、第１の方法による差分値ＭＳＥ_Ｏと完全に一致はしない。

＜第３の方法＞
映像符号化における予測などの処理は１フレーム画像（画面）を単位として行われるが、ＨＤＲ映像の場合には、通常、１フレーム画像内の一部分だけが高輝度で、その他は低輝度又は中輝度となる場合が多い。そこで、第３の方法では、１フレーム内の画面をたとえばブロック単位であらかじめ高輝度か低中輝度に分類し、１フレーム画像を複数の高輝度のブロックで構成される領域１と、複数の低中輝度のブロックで構成される領域２に分類し、予測処理をこの分類された領域ごとに実施する。なお、ここでは２つの領域に分類する例で説明するが、輝度レベルに応じて任意の数の領域に分類することができる。

図２に、フレーム画像を輝度レベルに応じた領域に分類する例を示す。この例では、フレーム画像を高輝度の領域１と低中輝度の領域２に分類している。こうすることで、電気信号と光信号が非線形な関係となっている部分を分類して切り分けるため、それぞれの領域内では電気信号と光信号はほぼ線形な関係とみなすことができる。また、予測処理もほぼ同程度の輝度値間で探索されることになるので、このように領域ごとに分けて予測しても、予測誤差は大きくならないと考えられる。

ブロックの分類方法としては、ブロック内の平均輝度値、又はブロック内の最大輝度値に基づく方法が考えられる。ただし、ブロック内の平均輝度値に基づいて分類する場合は、高輝度と低輝度の画素が同じブロックに含まれると平均値としては中間値に近くなってしまう恐れがあるので、平均値に加えて分散値も併用することが考えられる。ブロックのサイズは、６４×６４画素や１６×１６画素のような符号化処理と同様の正方ブロック、あるいは６４×３２画素といった長方形でもよいが、領域に分類した後の予測処理を行うブロック単位とするのが好適である。

また、高輝度と低中輝度の境界となる輝度値は、人手で決めてもよいが、ＯＥＴＦにおいて傾きの変化率が閾値を超える点、すなわち傾きが急激に変化する点としてもよい。この場合には、傾きの変化率で領域の境界を設定するため、ＯＥＴＦが違うシステムの場合でも同様に境界を設定することができる。

図３に、ＯＥＴＦの傾きの変化率から領域の境界を設定する例を示す。この例では、ＯＥＴＦの傾きの変化率が急激に変化する点を境界として、高輝度の領域１と、中輝度の領域２と、低輝度の領域３とに分類している。細かく分類して領域の数を増やすほど、各領域における電気信号と光信号の線形性は高くなる。

このように、第３の方法では、入力画像をその輝度レベルに応じてＯＥＴＦ情報に基づいて複数の領域に分類し、分類した領域ごとに予測部２５によって差分値を算出する。このため、従来の式（１）を用いて差分値を算出することができ、第１及び第２の方法よりも演算量を少なくすることができる。なお、第１の方法又は第２の方法のように、式（４）又式（５）を用いて差分値を算出してもよいし、絶対値誤差により差分値を算出してもよい。

第３の方法では領域ごとに完全に予測処理を分けたため、フレーム間動き予測処理において、場合によっては参照フレームの領域外に、符号化対象ブロックとの差分値が最小となる参照ブロックが存在することも想定される。そこで、領域ごとに完全に予測の探索範囲を分けるのではなく、領域に隣接するブロックまで探索の対象を広げることで、これを緩和してもよい。この場合、予測部２５は、分類した領域に隣接するブロックも探索範囲に含めてフレーム間動き予測処理を行う。

図４に、分類した領域に隣接するブロックも探索範囲に含める例を示す。図４に示すように、フレーム画像を領域１と領域２に分類した場合、領域１に隣接するドットを付したブロックも領域１の探索範囲に含め、同様に、領域２に隣接するドットを付したブロックも領域２の探索範囲に含める。

なお、符号化装置１は、以上の第１から第３の方法による予測処理とは別に、従来の方法（すなわち、領域分割無し、差分値計算は式（１）を利用）により符号化処理を行い、品質（例えば、符号化画質と符号化レートの線形和）の良い方を選択するようにしてもよい。この場合には、上述した本発明による予測処理を用いてもし品質劣化が生じたとしても、これを防ぐことができる。

図５は、予測部２５の処理を示すフローチャートである。予測部２５は、ＯＥＴＦ情報を取得していない場合には（ステップＳ１０−Ｎｏ）、従来通り、式（１）により電気信号における差分値を算出する（ステップＳ１７）。

次に、予測部２５がＯＥＴＦ情報を取得している場合（ステップＳ１０−Ｙｅｓ）について説明する。領域分割をしない場合には（ステップＳ１１−Ｎｏ）、電気−光信号変換をするときには（ステップＳ１３−Ｙｅｓ）、予測部２５は式（４）により差分値を算出し（ステップＳ１６）、電気−光信号変換をしないときには（ステップＳ１３−Ｎｏ）、予測部２５は式（５）により差分値を算出する（ステップＳ１５）。

また、領域分割をする場合には（ステップＳ１１−Ｙｅｓ）、電気−光信号変換をするときには（ステップＳ１２−Ｙｅｓ）、予測部２５は式（４）により差分値を算出し（ステップＳ１４）、電気−光信号変換をしないときには（ステップＳ１２−Ｎｏ）、予測部２５は式（５）により差分値を算出する（ステップＳ１５）。なお、領域分割をする場合には、予測部２５は従来通り、式（１）により電気信号における差分値を算出してもよい。

以上、符号化装置１について説明したが、符号化装置１として機能させるためにコンピュータを好適に用いることも可能である。そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

上述したように、本発明では、予測処理において、入力画像の電気信号と該電気信号に対応する光信号との関係を示すＯＥＴＦ情報を用いて差分値を算出する。かかる構成により、本発明によれば、従来のＳＤＲ信号と電気−光の関係特性が異なるＨＤＲ信号においても、圧縮符号化過程における予測処理を人間の視覚特性に即して行うことができ、符号化劣化を抑制することが可能となる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 符号化装置
１１ ＯＥＴＦ情報設定部
１２ 画像分割部
１３ 減算部
１４ 変換・量子化部
１５ 逆量子化部・逆変換部
１６ 加算部
１７ デブロッキングフィルタ部
１８ サンプルアダプティブオフセット部
１９ フレーム内予測部
２０ 動き検出部
２１ 動き補償予測部
２２ 切替部
２３ エントロピー符号化部
２４ 局部復号部
２５ 予測部

Claims (6)

1. 入力画像を符号化する符号化装置であって、
   入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出し、該直交変換係数を量子化して量子化係数を生成する変換・量子化部と、
   前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
   フレーム内予測処理又はフレーム間動き予測処理により、ブロックごとに、符号化対象ブロックと参照ブロックとの間の差分値を算出し、該差分値が最小となる参照ブロックを生成し、当該参照ブロックを前記予測画像として出力する予測部と、を備え、
   前記予測部は、前記入力画像の電気信号と該電気信号が光信号に変換される関係を示すＯＥＴＦ情報を用いて前記差分値を算出することを特徴とする符号化装置。
2. 前記予測部は、前記符号化対象ブロック及び前記参照ブロックの信号形式を、前記ＯＥＴＦ情報に基づいて電気信号から光信号に変換したのち、前記差分値を算出することを特徴とする、請求項１に記載の符号化装置。
3. 前記予測部は、前記符号化対象ブロック及び前記参照ブロックの電気信号について画素ごとの差を求め、該画素ごとの差に対して、前記ＯＥＴＦ情報に基づいて光信号に相当するように重み付けをして前記差分値を算出することを特徴とする、請求項１に記載の符号化装置。
4. 前記入力画像は、前記ＯＥＴＦ情報に基づいて、輝度レベルに応じて複数の領域に分類され、
   前記予測部は、前記領域ごとに前記差分値を算出することを特徴とする、請求項１から３のいずれか一項に記載の符号化装置。
5. 前記予測部は、前記領域に隣接するブロックも探索範囲に含めて前記フレーム間動き予測処理を行うことを特徴とする、請求項４に記載の符号化装置。
6. コンピュータを、請求項１から５のいずれか一項に記載の符号化装置として機能させるためのプログラム。

Images