JP7043797B2 - 符号化装置及びプログラム、並びに、画像処理システム - Google Patents

Description

本発明は、符号化装置及びプログラム、並びに、画像処理システムに関し、例えば、画像又は映像を圧縮するシステムに適用可能である。

近年、監視カメラの普及が進み、さらなる高解像度化、高フレームレート化、及び多視点化も望まれている。しかし、高解像度化、高フレームレート化、及び多視点化は、動画像の符号量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。

そこで、この問題を緩和するため、動画像より注目領域を検出し、注目領域に多くのビット数を配分する方式が提案されている。注目領域とは、例えば、顔領域である。なお、以下では、注目領域のことをＲｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔの略である「ＲＯＩ」と呼ぶものとする。また、注目領域に多くのビット数を配分する方式を「ＲＯＩ符号化」と呼ぶものとする。

例えば、特許文献１では、符号量と映像品質を制御するパラメータをブロックごとに与えられるというエンコーダの機能を利用して、エンコーダに与えるパラメータをブロックごとに制御することで、ＲＯＩ以外の領域である非注目領域の情報量をＲＯＩの情報量よりも削減するシステム構成を提案している。なお、以下、この明細書では、非注目領域のことを「背景領域」と呼ぶものとする。また、背景領域は必ずしも静止状態とは限られないものとする。

このようにエンコーダが提供する機能を用いて情報量を削減すれば、効率よく確実に符号量を削減することが可能である。Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）のような主要な規格は、領域ごとに品質を制御する機能を備えているため、この機能を利用することは、ＲＯＩに多くのビット数を配分する代表的な方式と言える。

一方、例えば、コストや互換性などの諸事情により、映像品質制御パラメータをブロックごとに与える機能を有していないエンコーダの利用が不可避の場合、前述の方式を採用することはできない。このような場合でも、エンコーダに依存せず、領域ごとに映像品質を制御可能な技術として、例えば、特許文献２、又は非特許文献１に記載の技術が提案されている。

特許文献２は、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域に低域通過フィルタによる前処理を行い、高周波成分の情報を取り除くことで背景領域の情報量を抑圧することを提案するものである。

一方、非特許文献１は、エンコーダに依存せずに背景領域の情報量を削減するために、背景領域の画素信号のダイナミックレンジを制限する前処理を行うことで背景領域の情報量を抑圧することを提案するものである。

図８は、非特許文献１に代表される従来の画像処理システムの構成例を示す図である。

図８において、画像処理システムＺは、入力された入力画像の内、背景領域に属する画素をＲＯＩの情報よりも少ないビット数で圧縮し、ビットストリームとして出力する画像符号化装置Ｘ１と、入力されたビットストリームを、復号し、出力画像を出力する画像復号装置Ｘ２とから構成される。

画像符号化装置Ｘ１は、入力画像に対応するＲＯＩを設定し、ＲＯＩ情報を出力するＲＯＩ設定部３０１と、ＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを限定（抑圧）するためのフィルタリングを施し、符号化前画像として出力する前処理部Ｕ１と、ＡＶＣ等の画像符号化方式を用いて符号化前画像を圧縮し、ビットストリームを出力するエンコーダ部３０６とを有する。ここで、前処理とは、画素信号のダイナミックレンジを制限する処理で、画素信号を１２８などの固定値に限定してしまう場合等も含む。なお、画素信号を固定値にするとは、ダイナミックレンジを１にすることと等価である。

ＲＯＩ設定部３０１は、入力画像に対応するＲＯＩを設定する機能であるが、ＲＯＩの特定手段に関しては特に限定されない。例えば、ＲＯＩ補助情報として入力画像が与えられ、入力画像に対して顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また、ＲＯＩ補助情報として、例えば予め手動で入力されたＲＯＩの位置と大きさによって特定するという方法も考えられるし、ユーザインタフェースを通して入力されたＲＯＩの位置と大きさによって特定するものでも良い。さらに、ＲＯＩ補助情報として、例えば入力画像に対応する赤外線カメラ画像や深度センサ画像を利用してＲＯＩを特定するという方法でも良い。

画像復号装置Ｘ２は、入力されたビットストリームデータをエンコーダ部３０６に対応する方式で復号し、復号画像（出力画像）として出力するデコーダ部３０７と、ＲＯＩ情報に基づき背景領域に属する画素を特定し、復号画像のうちの背景領域に属する画素にダイナミックレンジを回復するフィルタリング（信号の振幅の増幅に相当）を施し、出力画像として出力する後処理部Ｕ２とを有する。なお、前処理部Ｕ１と後処理部Ｕ２は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応するＲＯＩ情報を共有しているものとする。

特開２００９－４９９７９号公報 特許第３０４６３７９号

「Ｆｉｌｔｅｒｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ ＲＯＩ Ｃｏｄｉｎｇ ｂｙ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｕｐｄａｔｉｎｇ Ｓｏｕｒｃｅ Ｐｉｃｔｕｒｅ Ｆｉｌｔｅｒ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ ＩＩＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２０１６」

以上のように、前処理部Ｕ１を利用し、背景領域とＲＯＩのダイナミックレンジを変えることで、ＲＯＩに多くのビット数を配分することは可能である。

しかしながら、前処理部Ｕ１を利用して背景領域とＲＯＩのダイナミックレンジを変えると、符号化前画像において、背景領域とＲＯＩの質感は大きく異なることになる。例えば、入力画像の一部で画素値が「２００ ２１０ ２２０ ２４０」と並んでいたとして、２１０と２２０の間を境に背景領域とＲＯＩに分かれていたとする。このとき、ダイナミックレンジの圧縮率を０．５（ダイナミックレンジを半分にする）とし、画素値０を中心にダイナミックレンジを圧縮する、符号化前画像の画素値は「１００ １０５ ２２０ ２４０」と並んでいることになる。２１０と２２０の差に比ベて、１０５と２２０の差は当然大きく、この差を質感が大きく異なると表現している。

一方、近年の動画像符号化はＤｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ等の変換と量子化に基づく符号化のように近隣の画素間が影響し合って圧縮するものが大半であり、背景領域とＲＯＩの境界領域で画素間の相互作用が起きる。ここで、背景領域とＲＯＩの境界領域で起きる画素間の相互作用とは、背景領域の画素値がＲＯＩの画素値に影響し、逆にＲＯＩの画素値が背景領域の画素値に影響する（画素値が領域外に染み出す）ことである。また、ＡＶＣが採用しているデブロッキングフィルタのようなインループフィルタもまた背景領域とＲＯＩの境界領域で画素間の相互作用が起きる原因になる。

前処理部Ｕ１を利用して背景領域とＲＯＩのダイナミックレンジを変えるようなシステムにおいて、背景領域とＲＯＩの境界領域で画素間の相互作用が起きると、異なる質感の画素値が互いに染み出すことになる。特にＲＯＩは高い品質を保証したい領域であるにも関わらず、フィルタを通過した低品質な背景領域の画素値の影響を受けて画質が低下してしまうことになる。

そのため、背景領域とＲＯＩの境界領域で画素間の相互作用による画質低下を緩和できる符号化装置及びプログラム、並びに、画像処理システムが望まれている。

第１の本発明は、入力画像を符号化する符号化装置において、（１）前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、（２）前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、（３）前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、（４）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、前記注目領域座標補正部は、（５－１）前記注目領域情報に基づき、前記注目領域を、Ｎ（Ｎは１以上の整数）画素だけ周辺方向に拡大し、拡大した拡大注目領域情報を出力する注目領域拡大部と、（５－２）前記拡大注目領域情報を、前記背景領域と前記注目領域の境界がブロック境界に揃うように正規化し、正規化した前記拡大注目領域情報を前記補正済み注目領域情報として出力する注目領域座標正規化部とを有し、（５－３）前記注目領域座標正規化部は、所定の大きさのブロックに属する画素の内、１画素でも前記注目領域に含まれているならば、前記ブロックに含まれる画素は全て前記注目領域に属するとみなすことで正規化を行い、（６）前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣであり、 前記Ｎは１若しくは２又は３であることを特徴とする。

第２の本発明は、符号化装置と復号装置とが対向する画像処理システムにおいて、前記符号化装置として、第１の本発明の符号化装置を適用したことを特徴とする。

第３の本発明は、符号化装置と復号装置とが対向する画像処理システムにおいて、前記符号化装置として、第１の本発明の符号化装置を適用し、（１－１）前記符号化装置の前記入力画像は、前記背景領域に属する画素の内、前記注目領域を囲むＭ（Ｍは１以上の整数）重の画素の集合である境界領域と、前記背景領域に属する画素の内、前記境界領域以外の画素の集合である外部領域とを含み、前記符号化装置の前記前処理部は、（１－２）前記補正済み注目領域情報に基づき、前記入力画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施す外部領域用前処理部と、（１－３）前記補正済み注目領域情報に基づき、前記入力画像の内、前記境界領域に属する画素を特定し、特定した前記境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施す境界領域用前処理部とを有し、前記復号装置は、（２－１）入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、（２－２）前記補正済み注目領域情報に基づき、前記復号画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す外部領域用後処理部と、（２－３）前記補正済み注目領域情報に基づき、前記復号画像の内、前記境界領域に属する画素を特定し、特定した前記該境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す境界領域用後処理部とを有することを特徴とする。

第４の本発明の符号化プログラムは、入力画像を符号化する符号化装置に搭載されるコンピュータを、（１）前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、（２）前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、（３）前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、（４）所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部として機能させ、前記注目領域座標補正部は、（５－１）前記注目領域情報に基づき、前記注目領域を、Ｎ（Ｎは１以上の整数）画素だけ周辺方向に拡大し、拡大した拡大注目領域情報を出力する注目領域拡大部と、（５－２）前記拡大注目領域情報を、前記背景領域と前記注目領域の境界がブロック境界に揃うように正規化し、正規化した前記拡大注目領域情報を前記補正済み注目領域情報として出力する注目領域座標正規化部とを有し、（５－３）前記注目領域座標正規化部は、所定の大きさのブロックに属する画素の内、１画素でも前記注目領域に含まれているならば、前記ブロックに含まれる画素は全て前記注目領域に属するとみなすことで正規化を行い、（６）前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣであり、前記Ｎは１若しくは２又は３であることを特徴とする。

本発明によれば、背景領域とＲＯＩの境界領域で画素間の相互作用による画質低下を緩和できる。

第１の実施形態に係る画像処理システムの構成について示すブロック図である。 第１の実施形態に係る画像処理システムの動作を示すフローチャートである。 第１の実施形態に係るＲＯＩの大きさを拡大する処理の例を示す図である。 第１の実施形態に係るブロックにおけるＲＯＩの正規化例を示す図である。 第２の実施形態に係る画像処理システムの構成について示すブロック図である。 第２の実施形態に係る画像処理システムの動作を示すフローチャートである。 第２の実施形態に係る２重の境界領域を求めた場合の例を示す図である。 非特許文献１に代表される従来の画像処理システムの構成例を示す図である。

（Ａ）第１の実施形態
以下、本発明による符号化装置及びプログラム、並びに、画像処理システムの第１の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。

（Ａ－１）第１の実施形態の構成
図１は、第１の実施形態に係る画像処理システム１の構成について示すブロック図である。

画像処理システム１は、入力画像を符号化してストリーム（ビット列）を出力する画像符号化装置１０と、画像符号化装置１０で符号化されたストリーム（ビットストリーム）を復号して復号画像を出力する画像復号装置２０とを有している。

画像符号化装置１０から出力されたストリームを画像復号装置２０に入力する媒体は限定されないものである。例えば、画像符号化装置１０から出力されたストリームを、通信（例えば、インターネット等）により画像復号装置２０に送信するようにしても良いし、画像符号化装置１０から出力されたストリームのデータをデータ記録媒体（例えば、ＤＶＤやＨＤＤ等の媒体）に記録してオフラインで画像復号装置２０に入力するようにしても良い。

この実施形態では、画像符号化装置１０は入力画像ごとの符号化を行うものとして説明するが、画像符号化装置１０に連続して複数の入力画像を処理させることで動画像の符号化処理に適用するようにしても良い。また、画像復号装置２０についても同様に、連続して複数の符号化データのストリームを復号処理させることにより、動画像の復号処理に適用するようにしても良い。

次に、画像符号化装置１０の内部構成について説明する。図１は、第１の実施形態に係る画像符号化装置１０の機能的構成について示すブロック図でもある。画像符号化装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い。

画像処理システム１では、図８の画像符号化装置Ｘ１が、画像符号化装置１０に置き換わっている点で従来の構成（画像処理システムＺ）と異なっている。以下では、第１の実施形態について従来との差異を中心に説明する。

画像符号化装置１０は、入力画像に対応するＲＯＩを設定し、ＲＯＩ情報を出力するＲＯＩ設定部３０１、ＲＯＩ情報を補正し、補正済みＲＯＩ情報を出力するＲＯＩ座標補正部Ｕ３と、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを削減するフィルタリングを施し、符号化前画像として出力する前処理部Ｕ１、及びエンコーダ部３０６を有している。なお、エンコーダ部３０６の機能は前述の図８で説明したものと同様の機能を有する。

ＲＯＩ座標補正部Ｕ３は、ＲＯＩ情報に基づきＲＯＩの領域を拡大し、拡大ＲＯＩ情報として出力するＲＯＩ拡大部１０２と、拡大ＲＯＩ情報を正規化し、補正済みＲＯＩ情報として出力するＲＯＩ座標正規化部３０３とを有する。

ＲＯＩ拡大部１０２やＲＯＩ座標正規化部３０３の機能や目的については動作の項で詳述する。

また、後述のとおり、ＲＯＩ座標正規化部３０３の機能は、符号化効率を改善する目的の機能であるため、ＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能のみを有し、ＲＯＩ拡大部１０２の出力が補正済みＲＯＩ情報となる構成であっても一定の効果は存在する。

なお、前処理部Ｕ１と後処理部Ｕ２は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応する補正済みＲＯＩ情報を共有してことを前提とする。

（Ａ－２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理システム１の動作を、図面を参照しながら詳細に説明する。図２は、第１の実施形態に係る画像処理システムの動作を示すフローチャートである。以下では、画像符号化装置１０及び画像復号装置２０の動作を各々分けて説明する。

（Ａ－２－１）画像符号化装置１０の動作
図２（Ａ）は、第１の実施形態に係る画像符号化装置の動作を示すフローチャートである。

ＲＯＩ設定部３０１は、ＲＯＩ補助情報に基づき、ＲＯＩの初期値を決定し、ＲＯＩ情報として出力する（Ｓ１１）。

次に、ＲＯＩ拡大部１０２は、ＲＯＩの大きさをＮ画素だけ周辺方向に大きくし、拡大ＲＯＩ情報として出力する（Ｓ１２）。

図３は、第１の実施形態に係るＲＯＩの大きさを拡大する処理の例を示す図である。図３では、入力されたＲＯＩ部分（斜線部分）に対して、周辺方向に２画素分、ＲＯＩの大きさを拡大（膨張）させている例が示されている。膨張したＲＯＩの部分における各数字は、ＲＯＩ部分から拡大（膨張）した多重構造を示している（例えば、ＲＯＩ部分に直接接する領域は「１」と示されている）。拡大の方法には様々な方法があると考えられるが、典型的な例は、画像処理でしばしば使用される膨張（ｄｉｌａｔｉｏｎ）である。

Ｎの値は任意であり、エンコーダ部３０６およびデコーダ部３０７において、何画素分の近隣の画素間が影響を与え合うかによって最適な値は変化する。

この実施形態においてＮの値は限定されないものであるが、多くのコーデックでは、４×４画素で形成されるブロックや８×８画素で形成されるブロックごとに圧縮を行うことが多いため、１≦Ｎ≦４か大きくても１≦Ｎ≦８とすることで良好な結果となることが期待できる。また、エンコーダ部３０６が十分に小さな量子化ステップ幅で圧縮する場合、変換および量子化に伴う相互作用は無視しても良い。前述のどおり、十分に小さな量子化ステップ幅で圧縮され、インループフィルタによる相互作用のみを考慮すれば良い場合で、なおかつ、ＡＶＣやＨＥＶＣを使用する場合は、これらの動画像符号化方式のインループフィルタは近隣２画素の画素値が染み出すので、Ｎ＝２またはその前後が好ましい値であると言える。

Ｎが大きすぎると、むやみに符号量を多く割く領域を増やすことに繋がるため、使用するエンコーダ部３０６およびデコーダ部３０７に応じて適切な値とする必要がある。

この処理の目的は、ＲＯＩの範囲を広げることで、フィルタを通過した低品質な背景領域の画素値の影響を受けてＲＯＩの画質が低下してしまうことを防ぐことである。ＲＯＩに多くの符号量を割く画像処理システム１において、ＲＯＩは特に高い品質を保証したい領域であることが多いため、ＲＯＩを膨張することでＲＯＩの品質を保証する。

特にＲＯＩ設定部３０１において、ズームされた領域がＲＯＩとして設定されるようなアプリケーションの場合、ＲＯＩは拡大して表示されることになる。ここで、背景領域の染み出しによってＲＯＩが劣化していると、視聴者に顕著なアーティファクトを見せることになる。この実施形態の画像処理システム１を用いることで、このようなシーンでも品質の保証されたＲＯＩを視聴者に提供できる。

次に、ＲＯＩ座標正規化部３０３は、背景領域とＲＯＩの境界がコーデックによる圧縮時のブロック境界に揃うように正規化し、補正済みＲＯＩ情報として出力する（Ｓ１３）。

正規化は、例えば、以下の（１）～（３）の何れかの基準で行う。

（１）予め定められた大きさのブロックに属する画素のうち１画素でもＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。

（２）予め定められた大きさのブロックに属する画素のうち半数以上がＲＯＩに含まれているならば、当該ブロックに含まれる画素はすべてＲＯＩに属するとする。

（３）予め定められた大きさのブロックに属するすべての画素がＲＯＩに含まれているときのみ、当該ブロックに含まれる画素はＲＯＩに属するとする。

図４は、第１の実施形態に係るブロックにおけるＲＯＩの正規化例を示す図である。図４は、前述の基準例のうち（１）の基準で正規化する場合をイメージ化したものである。

図４では、各ブロック（Ｂ１～Ｂ３）のサイズを幅４画素、高さ４画素としている。例えば、ブロックＢ２は正規化前にＲＯＩに含まれる画素が４であるため（つまり、１以上であるため）に、当該ブロックに含まれる画素はＲＯＩに属するとする。

エンコーダ部３０６で採用されうる多くの画像符号化方式では、特定の大きさのブロックごとに予測したり変換したりすることで情報量を削減する。仮に、ブロック内に鋭いエッジが発生していると、多くのＡＣ成分が発生し、符号量増加の原因となる。つまり、ブロック内に不要なエッジを発生させないことが望ましく、そのために正規化によって背景領域とＲＯＩの境界を、画像符号化方式が採用するブロックの境界と一致させる。

前述のとおり、正規化には種々の方法が考えられ、全て一定の効果は備えるが、ＲＯＩ拡大部１０２の機能および目的と照らし合わせると、ＲＯＩに選ばれた画素が背景領域として処理されてしまうことは背景領域の画素値が本来のＲＯＩに染み出す可能性を生じさせるため好ましくなく、この観点では前述３つの基準のうち、（１）の基準が最も望ましい。

次に、前処理部Ｕ１は、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、入力画像のうちの背景領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する（Ｓ１４）。ダイナミックレンジを限定するフィルタリングは、例えば、非特許文献１に記載の技術を適用できる。ただし、この実施形態においては、ダイナミックレンジを限定する際の中心画素値については特に制約はなく、またダイナミックレンジを１にすることでもこの本発明は一定の効果を奏する。

次に、エンコーダ部３０６は、ＡＶＣ等の画像符号化方式を用いて、符号化前画像を圧縮し、ビットストリームを出力する（Ｓ１５）。

（Ａ－２－２）画像復号装置Ｘ２の動作
図２（Ｂ）は、第１の実施形態に係る画像復号装置Ｘ２の動作を示すフローチャートである。

まず、デコーダ部３０７は、画像符号化装置１０からビットストリームを受け取り、ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する（Ｓ２１）。

後処理部Ｕ２は、補正済みＲＯＩ情報に基づき背景領域に属する画素を特定し、復号画像のうちの背景領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する（Ｓ２２）。なお、ダイナミックレンジを回復するフィルタリングは、前処理部Ｕ１と同様に非特許文献１に記載の技術を適用できるが、ダイナミックレンジを回復するフィルタであれば、非特許文献１の方法に限定されない。

（Ａ－３）第１の実施形態の効果
以上のように、第１の実施形態によれば、ＲＯＩ拡大部１０２において、ＲＯＩの大きさをＮ画素だけ周辺方向に大きく拡大していることで、フィルタを通過した低品質な背景領域の画素値の影響を受けて本来のＲＯＩの画質が低下してしまうことを防止することができる。

（Ｂ）第２の実施形態
以下、本発明による符号化装置及びプログラム、並びに、画像処理システムの第２の実施形態を、図面を参照しながら詳述する。以下では、本発明の符号化装置を画像符号化装置に適用し、本発明の復号装置を画像復号装置に適用した例について説明する。

（Ｂ－１）第２の実施形態の構成
図５は、第２の実施形態に係る画像処理システム１Ａの構成について示すブロック図である。

画像処理システム１Ａでは、図１の画像符号化装置１０と画像復号装置Ｘ２が、画像符号化装置１０Ａと画像復号装置２０に置き換わっている点で第１の実施形態と異なっている。以下では、第２の実施形態について第１の実施形態との差異を中心に説明する。

第２の実施形態の画像符号化装置１０Ａにおいて、前処理部Ｕ４は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、入力画像のうちの外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、前処理中間画像として出力する外部領域用前処理部３０４と、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、前処理中間画像のうちの境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する境界領域用前処理部２０５とを有している。

また、境界領域とは、背景領域に属する画素のうちのＲＯＩを囲むＭ重の画素の集合であり、外部領域とは、背景領域に属する画素のうちの境界領域以外の画素の集合である。なお、外部領域用前処理部３０４や境界領域用前処理部２０５の詳細については動作の項で述べる。

この実施形態では、外部領域用前処理部３０４が境界領域用前処理部２０５よりも先に適用されるような構成としているが、外部領域用前処理部３０４が処理対象とする画素と境界領域用前処理部２０５が処理対象とする画素は異なるため、境界領域用前処理部２０５が外部領域用前処理部３０４よりも先に適用されても良く、外部領域用前処理部３０４と境界領域用前処理部２０５が同時に適用されても良い。つまり、前処理部Ｕ４が外部領域用前処理部３０４と境界領域用前処理部２０５の機能により構成されていることに意味を有する。

第２の実施形態の画像復号装置２０において、後処理部Ｕ５は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、復号画像のうちの外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施し、後処理中間画像として出力する外部領域用後処理部３０８と、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、後処理中間画像のうちの境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施し、出力画像として出力する境界領域用後処理部２０９とを有している。なお、外部領域用後処理部３０８や境界領域用後処理部２０９の詳細については動作の項で述べる。

この実施形態では、外部領域用後処理部３０８が境界領域用後処理部２０９よりも先に適用されるような構成としているが、外部領域用後処理部３０８が処理対象とする画素と境界領域用後処理部２０９が処理対象とする画素は異なるため、境界領域用後処理部２０９が外部領域用後処理部３０８よりも先に適用されても良く、外部領域用後処理部３０８と境界領域用後処理部２０９が同時に適用されても良い。つまり、後処理部Ｕ５が外部領域用後処理部３０８と境界領域用後処理部２０９の機能により構成されていることに意味を有する。

なお、前処理部Ｕ４と後処理部Ｕ５は、情報の多重化手段を用いてネットワーク等を介して通信するなど、任意の手段を用いて画像に対応する補正済みＲＯＩ情報を共有しているものとする。

なお、後述する通り、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入する目的の一つは、ＲＯＩ座標正規化部３０３のより良い代替手段を提供することにある。そのため、ＲＯＩ座標補正部Ｕ３がＲＯＩ座標正規化部３０３の機能を備えず、拡大ＲＯＩ情報が補正済みＲＯＩ情報として出力する構成であっても、本発明は一定の効果を奏する。

また、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入する目的は、ＲＯＩ座標正規化部３０３のより良い代替手段を提供すること以外にもあるので、第１の実施形態のようにＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の機能とを備える場合であっても、本発明は一定の効果を奏する。

また、後述する通り、外部領域用前処理部３０４と境界領域用前処理部２０５の組み合わせ及び外部領域用後処理部３０８と境界領域用後処理部２０９の組み合わせを導入することで、たとえＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能や、ＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の両方の機能を備えなかったとしても、背景領域とＲＯＩの境界に鋭いエッジが発生しなくなるため（エッジの変化量が緩くなるため）、背景領域とＲＯＩの境界領域で発生する画素間の相互作用による染み出しによる背景領域やＲＯＩの品質劣化は抑えられる。そのため、ＲＯＩ座標補正部Ｕ３がＲＯＩ拡大部１０２の機能や、ＲＯＩ拡大部１０２の機能とＲＯＩ座標正規化部３０３の両方の機能を備えなかったとしても、本発明は一定の効果を発揮する。

（Ｂ－２）第２の実施形態の動作
図６は、第２の実施形態に係る画像処理システムの動作を示すフローチャートである。図６と前述の図２の内、同一符号の処理は同様の処理であるので、以下では、第２の実施形態の画像処理システム１Ａの特有の処理のみついて述べる。

（Ｂ－２－１）画像符号化装置１０Ａの動作
図６（Ａ）は、第２の実施形態に係る画像符号化装置１０Ａの動作を示すフローチャートである。

前述のステップＳ１３の後、外部領域用前処理部３０４は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、入力画像のうちの外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、前処理中間画像として出力する（Ｓ３１）。このステップＳ３１の処理は、第１の実施形態における前処理部Ｕ１に相当する機能を担っている。外部領域用前処理部３０４は、外部領域に属する画素のダイナミックレンジを、外部領域に属する画素向けのダイナミックレンジ（以下、「Ｒ_０」で示す）に限定する。

次に、境界領域用前処理部２０５は、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、前処理中間画像のうちの境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施し、符号化前画像として出力する（Ｓ３２）。

ここで境界領域とは前述のとおり、背景領域に属する画素のうちのＲＯＩを囲むＭ重の画素の集合である。ＲＯＩを囲む画素の集合は、例えば、画像処理でしばしば使用される膨張（ｄｉｌａｔｉｏｎ）を使用すると求められる。ＲＯＩに対して１度膨張を適用し、新たに広がった領域が１重目の境界領域である。さらにもう１度膨張を適用し、新たに広がった領域が２重目の境界領域である。図７は、第２の実施形態に係る２重の境界領域を求めた場合の例を示す図である。

なお、境界領域用前処理部２０５は、境界領域に属する画素のダイナミックレンジを、外部領域に属する画素向けのダイナミックレンジＲ_０よりも広いダイナミックレンジに限定する（即ち、外部領域よりも高画質に圧縮する）ことを特徴とする。つまり、境界領域は、ＲＯＩと外部領域の質感のギャップの緩衝帯であると言える。境界領域が２重以上になっている場合、ｘ重目の境界領域とｘ＋１重目の境界領域では、それぞれダイナミックレンジが異なっていても良く、この場合、ＲＯＩ側に位置する境界領域のダイナミックレンジＲ_ｘは、その外側に位置する境界領域のダイナミックレンジＲ_ｘ＋１以上の大きさのダイナミックレンジとする。

つまり、ＲＯＩのダイナミックレンジをＲ_ｒとすると、下記の（１）式の関係を満たすようにする。
Ｒ_０＜．．．≦Ｒ_ｘ＋１≦Ｒ_ｘ≦．．．、≦Ｒ_１＜Ｒ_ｒ …（１）

図７において各画素内に記載している数値は、画素のダイナミックレンジの例であり、ＲＯＩのダイナミックレンジを最も大きくＲ_ｒ＝２５６に、１重目の境界領域のダイナミックレンジをＲ１＝１２８に、２重目の境界領域のダイナミックレンジをＲ_２＝６４に、外部領域のダイナミックレンジをＲ_０＝３２にしている場合を示している。なお、何重目にどれくらいのダイナミックレンジを与えるかは、線形な変化や非線形な変化など種々考えられるが、いずれにしても、例えば、予め決めておくものとし、前処理部Ｕ４と後処理部Ｕ５で共有できているものとする。

第２の実施形態において、境界領域を設けている理由は、主に以下の通りである。

第１の実施形態では、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加を問題視し、その解決策としてＲＯＩ座標正規化部３０３を使用した。しかしながら、この解決策は、問題の緩和に寄与するものの、ＲＯＩ相当の符号量を割かなければならない画素の数を増やし、不必要な符号量を発生させている点では未だ効率向上の余地を残している。第２の実施形態では、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、ＲＯＩ相当の符号量を割かなければならない画素の増加を最小限に留めつつ、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加も阻止する。

また、エンコーダ部３０６とデコーダ部３０７にデブロッキングフィルタ等のインループフィルタを使用するコーデックを用いる場合、たとえ背景領域とＲＯＩの境界をブロック境界に揃えたとしても、インループフィルタが背景領域とＲＯＩの境界領域で画素間の相互作用を発生させる。ＲＯＩ拡大部１０２が存在すれば、ＲＯＩの品質が損なわれることはないが、背景領域にはＲＯＩの画素値が染み出すことになる。背景領域の画素にとっては、質感の異なるＲＯＩの画素値はノイズになってしまう。さらに、後処理部Ｕ２を施すと、後処理部Ｕ２は振幅の増幅処理に相当するため、ＲＯＩの近隣の背景領域ではＲＯＩの画素値の染み出しによるノイズを増幅することになる。結果として、背景領域の品質が必要以上に損なわれることになる。インループフィルタは、隣接する画素値間のギャップが大きいほど強くかかるため、第２の実施形態では、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、本問題の緩和を行う。

そして、外部領域とＲＯＩを、境界領域を介して滑らかに接続することで、背景領域と隣接しているＲＯＩのブロック、またはＲＯＩと隣接している背景領域のブロックがイントラブロックモード（ＡＶＣやＨＥＶＣ等で定義されているモード）で符号化されるときに、イントラ予測が効きやすくなり、符号化効率が改善する。

なお、Ｍの大きさについては任意であるが、前処理部Ｕ４と後処理部Ｕ５では共有されているものとする。また、第１の実施形態におけるＮの値と同様に、エンコーダ部３０６およびデコーダ部３０７において、何画素分の近隣の画素間が影響を与え合うか（つまりインループフィルタのカーネルサイズ）によって最適な値は変化する。多くのコーデックでは、４×４画素で形成されるブロックや８×８画素で形成されるブロックごとに圧縮を行うことが多いため、１≦Ｍ≦４か大きくても１≦Ｍ≦８とすることで良好な結果となることが期待できる。また、ＨＡＶＣやＨＥＶＣのインループフィルタでは、近隣２画素の画素値が染み出すので、Ｍ＝２またはその前後が最も好ましい値であると言える。

Ｎと同様に、Ｍが大きすぎると、むやみに符号量を多く割く領域を増やすことに繋がるため、使用するエンコーダ部３０６およびデコーダ部３０７に応じて適切な値とする必要がある。

（Ｂ－２－２）画像復号装置２０の動作
図６（Ｂ）は、第２の実施形態に係る画像復号装置２０の動作を示すフローチャートである。

前述のステップＳ２１の後、外部領域用後処理部３０８は、補正済みＲＯＩ情報に基づき外部領域に属する画素を特定し、復号画像のうちの外部領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、後処理中間画像として出力する（Ｓ４１）。なお、このステップＳ４１の処理は、外部領域用前処理部３０４の逆演算に相当し、第１の実施形態における後処理部Ｕ２に相当する機能を担っている。

境界領域用後処理部２０９は、補正済みＲＯＩ情報に基づき境界領域に属する画素を特定し、後処理中間画像のうちの境界領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する（Ｓ４２）。なお、このステップＳ４２の処理は、境界領域用前処理部２０５の逆演算に相当する機能を担っている。

（Ｂ－３）第２の実施形態の効果
以上のように、第２の実施形態によれば、前述の第１の実施形態の効果に加えて、以下の効果を奏する。

背景領域を外部領域と境界領域に分け、それぞれの信号を異なるダイナミックレンジに限定するフィルタを適用していることで、ＲＯＩ座標補正部Ｕ３でＲＯＩ座標正規化部３０３の機能を有効にする場合に比べて、ＲＯＩ相当の符号量を割かなければならない画素の増加を最小限に留めつつ、ブロック内で背景領域とＲＯＩの境界に起因するエッジが入ることによる符号量の増加も阻止できる。

さらに、ＲＯＩと背景領域の境界が滑らかに変化するようになり、背景領域の品質が必要以上に損なわれるという問題が緩和されたり、背景領域と隣接しているＲＯＩのブロック、またはＲＯＩと隣接している背景領域のブロックがイントラブロックモードで符号化されるときに、イントラ予測が効きやすくなって符号化効率が改善できる。

（Ｃ）他の実施形態
前述した第１及び第２の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

（Ｃ－１）前述した第１及び第２の実施形態において、上記では説明を簡単にするために、画像全体がＲＯＩと背景領域の２種類に区別される例を示しているが、背景領域にも重要度の段階があっても良い。例えば、ＲＯＩの設定に歩行者検出アルゴリズムと顔検出アルゴリズムを使用し、顔検出アルゴリズムによって検出されたＲＯＩは顔領域として、歩行者検出アルゴリズムによって検出された歩行者領域は相対的に重要な背景領域とし、顔でも歩行者でもない領域は相対的に重要ではない背景領域としても良い。この場合、背景領域の重要度に応じて異なるダイナミックレンジに異なる値を割り振って良く、例えば、相対的に重要な背景領域には広いダイナミックレンジで圧縮を行い、相対的に重要ではない背景領域には狭いダイナミックレンジで圧縮を行うという構成でも良い。割り振りは、例えば予め設定あるいは作成しておいた背景領域の重要度とフィルタ強度のルックアップテーブルに基づいて行えば良い。また、上記では説明を簡単にするためにＲＯＩにはフィルタリングを適用しない例を示しているが、ＲＯＩに背景領域よりも弱いフィルタリングをかける構成であっても良い。

（Ｃ－２）前述した第１及び第２の実施形態において、例えば、顔領域をＲＯＩとしたときの背景領域を劣化させデータ量を削減する例を示しているが、顔領域のようにＲＯＩとして選ばれる領域を劣化させても良い。この場合、本明細書における言葉の定義上は、非顔領域がＲＯＩであり、顔領域が背景領域である。非顔領域をＲＯＩとすることで、例えばプライバシーを守ることができるなどの効果も得られる。

（Ｃ－３）前述した第１及び第２の実施形態において、上記では機能ブロック間のデータの受け渡しを画像単位でおこなっているように記述しているが、画素値信号のデータの意味を明らかにするためであり、実装等では画素単位にデータを受け渡ししても良い。

（Ｃ－４）前述した第１及び第２の実施形態において、ＲＯＩとは主に画像空間の一部の限定された領域のように記載しているが、画像全体がＲＯＩであったり画像全体が背景領域であったりする画像が存在しても良い。

（Ｃ－５）前述した第１及び第２の実施形態において、画像符号化装置１０（１０、１０Ａ）内の各機能や画像復号装置Ｘ２、２０内の各機能は単一の装置のなかに実装されているように記述しているが、これらは実装例の一つであり、各機能が別の装置で実装されていたとしても、各信号が各構成図（図１、図５）のように入出力がなされていれば本発明の効果は得られる。つまり、画像符号化装置１０（１０、１０Ａ）や画像復号装置Ｘ２、２０が１個以上の装置から構成され、それぞれの機能が分散して実装されていたとしても本発明の効果は存在する。

（Ｃ－６）前述した第１及び第２の実施形態において、色成分ごとの処理の違いについては特別に触れていないが、各実施形態において、色成分ごとに同じダイナミックレンジを使用しても良いし、異なるダイナミックレンジを使用しても良い。

（Ｃ－７）前述した第１及び第２の実施形態において、画像処理システム１、１Ａは、画像復号装置Ｘ２、２０を備えている例を示しているが、画像処理システム１、１Ａが画像符号化装置１０（１０、１０Ａ）のみを備える場合であっても本発明は一定程度の効果を有する。

非特許文献１でも述べられている通り、前処理によりダイナミックレンジを限定することでＲＯＩ符号化を行う、画像処理システム１、１Ａでは、画像符号化装置１０（１０、１０Ａ）で行う前処理に対応する後処理を画像復号装置Ｘ２、２０において実施することで、背景領域の画質を一定程度回復する。しかし、非特許文献１でも述べられている通り、後処理を伴わない通例の画像復号装置（画像符号化装置１０（１０、１０Ａ）で前処理によるＲＯＩ符号化を行っていることを知らない画像復号装置）で復号したとしても、色合いがＲＯＩと背景領域とで異なるだけで、一定の意味を人間が汲み取れる画像になる。そして、この構成でも、背景領域の画素値がＲＯＩに染み出したり、ＲＯＩの画素値が背景領域に染み出したりという本発明が対象としている課題は発生し、本発明を導入することで課題を解決することができる。そのため、画像処理システム１、１Ａが画像符号化装置１０（１０、１０Ａ）のみを備える場合であっても本発明は一定程度の効果を有する。

１、１Ａ、Ｚ…画像処理システム、１０、１０Ａ、Ｘ１…画像符号化装置、２０、Ｘ２…画像復号装置、１０２…ＲＯＩ拡大部、２０５…境界領域用前処理部、２０９…境界領域用後処理部、３０１…ＲＯＩ設定部、３０３…ＲＯＩ座標正規化部、３０４…外部領域用前処理部、３０６…エンコーダ部、３０７…デコーダ部、３０８…外部領域用後処理部、Ｕ１…前処理部、Ｕ２…後処理部、Ｕ３…ＲＯＩ座標補正部、Ｕ４…前処理部、Ｕ５…後処理部。

Claims (10)

1. 入力画像を符号化する符号化装置において、
   前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、
   前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、
   前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、
   所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部とを有し、
   前記注目領域座標補正部は、
   前記注目領域情報に基づき、前記注目領域を、Ｎ（Ｎは１以上の整数）画素だけ周辺方向に拡大し、拡大した拡大注目領域情報を出力する注目領域拡大部と、
   前記拡大注目領域情報を、前記背景領域と前記注目領域の境界がブロック境界に揃うように正規化し、正規化した前記拡大注目領域情報を前記補正済み注目領域情報として出力する注目領域座標正規化部とを有し、
   前記注目領域座標正規化部は、所定の大きさのブロックに属する画素の内、１画素でも前記注目領域に含まれているならば、前記ブロックに含まれる画素は全て前記注目領域に属するとみなすことで正規化を行い、
   前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣであり、
   前記Ｎは１若しくは２又は３である
   ことを特徴とする符号化装置。
2. 前記入力画像は、前記背景領域に属する画素の内、前記注目領域を囲むＭ（Ｍは１以上の整数）重の画素の集合である境界領域と、前記背景領域に属する画素の内、前記境界領域以外の画素の集合である外部領域とを含み、
   前記前処理部は、
   前記補正済み注目領域情報に基づき、前記入力画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを限定するフィルタリングを施す外部領域用前処理部と、
   前記補正済み注目領域情報に基づき、前記入力画像の内、前記境界領域に属する画素を特定し、特定した前記境界領域に属する画素にダイナミックレンジを限定するフィルタリングを施す境界領域用前処理部とを有する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記境界領域に属する画素のダイナミックレンジを、前記外部領域に属する画素向けのダイナミックレンジよりも広いダイナミックレンジに限定することを特徴とする請求項２に記載の符号化装置。
4. 前記境界領域が２重以上になっている場合、Ｙ（Ｙは１以上の整数）重目の前記境界領域のダイナミックレンジが、Ｙ＋１重目の前記境界領域のダイナミックレンジ以上の大きさのダイナミックレンジとすることを特徴とする請求項２又は３に記載の符号化装置。
5. 前記Ｍは１若しくは２又は３である
   ことを特徴とする請求項２～４のいずれかに記載の符号化装置。
6. 当該符号化装置は、前記注目領域座標補正部を備えず、前記注目領域情報が直接前記補正済み注目領域情報として前記前処理部に入力されることを特徴とする請求項２～５のいずれかに記載の符号化装置。
7. 符号化装置と復号装置とが対向する画像処理システムにおいて、
   前記符号化装置として、請求項１～６のいずれかに記載の符号化装置を適用したことを特徴とする画像処理システム。
8. 前記復号装置は、
   入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、
   前記注目領域情報に基づき、前記復号画像の内、前記背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを回復するフィルタリングを施し、出力画像として出力する後処理部とを有する
   ことを特徴とする請求項７に記載の画像処理システム。
9. 符号化装置と復号装置とが対向する画像処理システムにおいて、
   前記符号化装置として、請求項２～６のいずれかに記載の符号化装置を適用し、
   前記復号装置は、
   入力された前記符号化データを、前記符号化部で使用した前記所定の画像符号化方式に対応する方式で復号し、復号画像として出力する復号部と、
   前記補正済み注目領域情報に基づき、前記復号画像の内、前記外部領域に属する画素を特定し、特定した前記外部領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す外部領域用後処理部と、
   前記補正済み注目領域情報に基づき、前記復号画像の内、前記境界領域に属する画素を特定し、特定した前記該境界領域に属する画素にダイナミックレンジを回復するためのフィルタリングを施す境界領域用後処理部とを有する
   ことを特徴とする画像処理システム。
10. 入力画像を符号化する符号化装置に搭載されるコンピュータを、
    前記入力画像に対応する注目領域を設定し、注目領域情報を出力する注目領域設定部と、
    前記注目領域情報を補正し、補正済み注目領域情報を出力する注目領域座標補正部と、
    前記補正済み注目領域情報に基づき、前記入力画像の内、背景領域に属する画素を特定し、特定した前記背景領域に属する画素にダイナミックレンジを限定するためのフィルタリングを施し、符号化前画像として出力する前処理部と、
    所定の画像符号化方式を用いて、前記符号化前画像を圧縮し、圧縮した符号化データを出力する符号化部と
    して機能させ、
    前記注目領域座標補正部は、
    前記注目領域情報に基づき、前記注目領域を、Ｎ（Ｎは１以上の整数）画素だけ周辺方向に拡大し、拡大した拡大注目領域情報を出力する注目領域拡大部と、
    前記拡大注目領域情報を、前記背景領域と前記注目領域の境界がブロック境界に揃うように正規化し、正規化した前記拡大注目領域情報を前記補正済み注目領域情報として出力する注目領域座標正規化部とを有し、
    前記注目領域座標正規化部は、所定の大きさのブロックに属する画素の内、１画素でも前記注目領域に含まれているならば、前記ブロックに含まれる画素は全て前記注目領域に属するとみなすことで正規化を行い、
    前記所定の画像符号化方式は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、又はＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣであり、
    前記Ｎは１若しくは２又は３である
    ことを特徴とする符号化プログラム。

Images