JP5754635B2 - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム - Google Patents

Description

本発明は、スケーラブルな画像アスペクト比の変更を可能にする画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラムに関する。

映像の視聴環境の多様化が進んでおり、大きさの異なるディスプレイ、画面アスペクト比の異なるディスプレイでストレスなく映像を視聴可能なスケーラビリティをもった映像圧縮伝送手法が必要とされている。種々のネットワークや端末に適応できる圧縮符号化の考え方は、スケーラブル符号化という枠組みで検討が進んでおり、例えば、規格Ｈ．２６４／ＡＶＣにおいて規格の一部にすでに取り入れられていて、画像の解像度に柔軟に対応できる「空間スケーラビリティ」、動画像のフレームレートに柔軟性を持たせる「時間スケーラビリティ」、画質に柔軟性を持たせる「ＳＮＲスケーラビリティ」が定められている。

しかしながら、これらのスケーラビリティは画面のアスペクト比が変更された場合には対処ができない。また、画面のアスペクト比が変わらない場合も、画面サイズが小さくなるにつれて画像中の興味領域の大きさも比例して小さくなり、一定サイズを超えると視聴が困難になる。画面アスペクト比の異なるディスプレイでの表示に対応した非線形リサイズ手法にシームカービングがある（例えば、非特許文献１参照）。シームカービングは画像中の重要領域を保ったまま画面アスペクト比を自由に変形できる手法であり、画像編集の分野で利用されている。

シームカービングをスケーラブル符号化に応用するには、再生時に任意のアスペクト比の画像を再構築するためのデータをできるだけ少ない情報量で実現すること、つまり高い圧縮率と、再生時にできるだけ高画質のものを得られることが重要である。図９にシームカービングを利用した画面アスペクト比・スケーラブル符号化のエンコーダおよびデコーダの一般的構成を示す。エンコーダ３では、原画像に対して、シームカービング処理部３１によりシームカービングを行うことで得られる最終的な非線形縮小画像、削除されたシームの画素値情報、削除されたシームの位置情報の３つの情報を圧縮符号化部３２、３３、３４によってスケーラブル符号化する。非線形縮小画像を基本階層とし、削除シームの位置情報および画素値情報をエンハンスメントレイヤ（拡張階層）とする。

デコーダ４は、基本階層である非線形縮小画像はすべてを復号部４１によって復号するが、削除シーム情報は、所望の画面アスペクト比が得られるのに必要十分なシームのみを部分復号部４２、４３によって復号し、合成部４４は、目的のアスペクト比の画像を得るまで、必要な数のシームを基本階層の画像に挿入する。

最も基本的な方法は、削除シームの位置情報と画素値情報の両方を用い、削除されたシームの画素を位置情報に基づいて適切な場所に配置するものである（例えば、非特許文献２参照）。この方法では、削除された画素を正しい位置に挿入できるため、高画質な復号画像が得られる。しかしながら、削除シームの位置情報と画素値情報を伝送するため、伝送するデータ量が多い。

非特許文献１で示されている方法は、シームの位置情報も画素値情報も用いずにシームを挿入するものである。この方法では、基本階層の画像を用いてシームを挿入する位置を推定し、挿入する画素値は挿入する位置の付近の画素値から補間する。これは伝送するデータ量は少ないが、復元した画像の画質が悪く、形が不自然になることが多い。

非特許文献３で示されている方法は削除シームの位置情報だけを用いる方法である。この手法では、補間すべき画素の位置は正確に知ることができる。画素の挿入はその位置の画素値を左右の画素の平均値で補間して行う。この手法では、シームの挿入位置は正しく、画像は自然な形に復元できるが、シーム位置が密集した画像では復元した画像の画質が劣化する。

S.Avian, A.Shamir, "Seam Carving for Content-Aware Image Resizing," ACM SIGGRAPH 2007, ACM Transactions on Graphics, Vol.26, No3, Article 10, Jul., 2007. Nguyen Thi Nhat Anh, Wenxian Yang, Jianfei Cai , "Seam Carving Extention: a Compression Perspective,"Proceedings of the seventeen ACM international conference on Multimedia (ACM-MM’09). 寺田，稲積，堀田，"Seam carvingに基づく空間スケーラブル符号化の検討," PCSJ/IMPS 2009, P-2-02．

前述したように、画面アスペクト比の変化に対応した、シームカービングに基づく従来提案されている方法は画質や圧縮率の観点からは十分とはいえない。シームカービングを用いた従来の画面アスペクト比・スケーラブル符号化では、高画質の画像を復元するために削除シームの位置情報と画素値情報の両方が必要であり、伝送データ量が多くなるという問題がある。

本発明は、このような事情に鑑みてなされたもので、シームカービングに基づく、画面アスペクト比・スケーラブル符号化において復元画像を高画質に保ったまま必要なデータ量を削減することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。

本発明は、符号化対象画像を圧縮符号化する画像符号化装置であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理手段と、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第１の符号化データを出力する第１の符号化手段と、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第２の符号化データを出力する第２の符号化手段とを備えたことを特徴とする。

本発明は、前記画像符号化装置によって符号化された第１の符号化データと第２の符号化データとを復号して符号化対象画像を復元する画像復号装置であって、前記第１の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第１の復号手段と、前記第２の符号化データを復号して、シームを削除した後の縮小画像情報を得る第２の復号手段と、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成手段とを備えたことを特徴とする。

本発明は、前記合成手段は、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。

本発明は、符号化対象画像を圧縮符号化する画像符号化方法であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第１の符号化データを出力する第１の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第２の符号化データを出力する第２の符号化ステップとを有することを特徴とする。

本発明は、前記画像符号化方法によって符号化された第１の符号化データと第２の符号化データとを復号して符号化対象画像を復元する画像復号方法であって、前記第１の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第１の復号ステップと、前記第２の符号化データを復号して、シームを削除した後の縮小画像情報を得る第２の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとを有することを特徴とする。

本発明は、前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。

本発明は、符号化対象画像を圧縮符号化する画像符号化プログラムであって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第１の符号化データを出力する第１の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第２の符号化データを出力する第２の符号化ステップとをコンピュータに行わせることを特徴とする。

本発明は、前記画像符号化プログラムによって符号化された第１の符号化データと第２の符号化データとを復号して符号化対象画像を復元する画像復号プログラムであって、前記第１の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第１の復号ステップと、前記第２の符号化データを復号して、シームを削除した後の縮小画像情報を得る第２の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとをコンピュータに行わせることを特徴とする。

本発明は、前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。

本発明によれば、シームを画像中に挿入したと仮定したときの各位置のコスト関数を画像とみなすことで、シームの位置情報を用いずに精度よくシームの挿入位置を推定することが可能であるため、画面アスペクト比スケーラブルな符号化画像データとしてシームの位置情報は不要であり、高品質な任意のアスペクト比を得ることが可能でありながら、符号化データ量を従来よりも削減することができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す装置の動作を示すフローチャートである。 図１に示す装置の動作を示すフローチャートである。 図１に示す装置の動作を示すフローチャートである。 図１に示す装置の処理動作を示す説明図である。 図１に示す装置の処理動作を示す説明図である。 図１に示す装置の処理動作を示す説明図である。 図１に示す装置の処理動作を示す説明図である。 従来技術による符号化装置及び復号装置の構成を示すブロック図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。始めに、図４〜図８を参照して、非線形縮小画像の情報と、削除シームの画素値情報を用いて、シームを挿入する位置を推定する方式について説明する。まず、削除シームの位置情報は用いず、復号側でシームの画素を挿入する位置を算出する。図５に示すように、与えられるシームの画素値情報は１本のシームの画素値を単に１次元的に並べたもの（Ｇ（ｊ））であり画素の位置はわからない。そこで、図６に示すシームは元の画像Ｆ（ｉ，ｊ）上で８連結しているという拘束条件を使って、シームを挿入する対象の画像上に８連結で生成できるすべてのシームパターンのうち、どれにはめ込めば最も自然であるかを求める（図７、図８参照）。

以下にシーム位置推定法を具体的に説明する。ここでは垂直シームの場合を例にとって説明するが、縦と横を入れ替えることで水平シームの挿入にも適用することができる。シーム位置推定方法は、図４に示す処理動作によって求める。ただし、Ｇ（ｊ）はシーム上の画素の値（ｊ＝０，１，２，・・・Ｎ−１）、Ｆ（ｉ，ｊ）はシームをこれから挿入しようとする対象画像で、各ｉ，ｊに対して、Ｆ（ｉ，ｊ）は位置（ｉ，ｊ）の画素値、ｉ＝０，１，２，・・・，Ｍ−１、ｊ＝０，１，２，・・・，Ｎ−１である。Ｎはシームの長さであり、これは対象画像の縦の画素数に等しい。Ｍは対象画像の横の画素数である。

まず、（ｉ，ｊ）の組合せを１つ選択し（ステップＳ１）、シームの上からｊ番目の画素Ｇ（ｊ）を画像Ｆ（ｉ，ｊ）の画素位置（ｉ，ｊ）に挿入した時のコストＦ’（ｉ，Ｊ）を計算する（ステップＳ２）。そして、すべてのｉ（ｉ＝０，１，２，・・・，Ｍ−１，Ｍ），ｊ（ｊ＝０，１，２，・・・，Ｎ−１）についてコストＦ’（ｉ，ｊ）を繰り返し計算する（ステップＳ３）。ここで、コストＦ’（ｉ，ｊ）は画像の位置（ｉ，ｊ）にシームの画素Ｇ（ｊ）を挿入したとき、その部分が周囲とどれくらい滑らかにつながるかを表し、滑らかにつながるほど値が小さくなる関数である。

コスト関数としての３つの（１）式、（２）式、（３）式が適用可能である。
Ｆ’（ｉ，ｊ）＝｜ＧＹ（ｊ）−ＦＹ（ｉ，ｊ）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ−１，ｊ）｜ ・・・（１）

Ｆ’（ｉ，ｊ）＝｜ＧＹ（ｊ）−ＦＹ（ｉ，ｊ）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ−１，ｊ）｜＋｜ＧＵ（ｊ）−ＦＵ（ｉ，ｊ）｜＋｜ＧＵ（ｊ）−ＦＵ（ｉ−１，ｊ）｜＋｜ＧＶ（ｊ）−ＦＶ（ｉ，ｊ）｜＋｜ＧＶ（ｊ）−ＦＶ（ｉ−１，ｊ）｜ ・・・（２）

Ｆ’（ｉ，ｊ）＝｜ＧＹ（ｊ）−ＦＹ（ｉ，ｊ）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ−１，ｊ）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ，ｊ−１）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ−１，ｊ−１）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ，ｊ＋１）｜＋｜ＧＹ（ｊ）−ＦＹ（ｉ−１，ｊ＋１）｜ ・・・（３）

ここで、ＧＹ（ｊ）とＦＹ（ｉ，ｊ）はそれぞれ、シームＧ（ｊ）、画像Ｆ（ｉ，ｊ）の輝度信号の値、ＧＵ（ｊ），ＦＵ（ｉ，ｊ），ＧＶ（ｊ），ＦＶ（ｉ，ｊ）は色差信号の値である。また、シームを画像の左端または右端に挿入するときのコスト関数の記述を簡単にするために、ＦＸ（−１，ｊ）＝ＦＸ（０，ｊ）、ＦＸ（Ｍ，ｊ）＝ＦＸ（Ｍ−１，ｊ）として、（１）式、（２）式、（３）式を計算する。ここで、ＦＸ（ｉ，ｊ）はＦＹ（ｉ，ｊ）またはＦＵ（ｉ，ｊ）またはＦＶ（ｉ，ｊ）である。

次に、Ｆ’（ｉ，ｊ）を画像とみなし、シーム（Ｇ（ｊ））を削除した時と同じ方法、すなわち、エネルギー関数などシームカービングに用いるパラメータや評価関数の値にシーム（Ｇ（ｊ））を削除した時と同じ値を用いてシームカービングを行い、コスト最小パスを求める（ステップＳ４）。シームカービングによるコスト最小パスの定義とその求め方は、例えば、非特許文献１に示されており、公知であるのでここでは詳細な説明を省略する。続いて、求められたコスト最小パスがシーム画素を入れるべき位置として出力する（ステップＳ５）。

次に、図１を参照して、同実施形態による画像符号化装置（エンコーダ）及び画像復号装置（デコーダ）の構成を説明する。この画像符号化装置と画像復号装置は、前述したシーム位置推定を用いたスケーラブル・エンコーダおよびデコーダであり、コンピュータ装置によって構成する。デコーダは基本階層である非線形縮小画像と、拡張階層としての削除シームの画素値情報を用いて任意のアスペクト比の画像を復元し、エンコーダは非線形縮小画像を基本階層とし、拡張階層としての情報は削除シームの画素値情報だけを符号化する。

図１は同実施形態の構成を示すブロック図である。図１において、符号１は、原画像を圧縮符号化して出力するエンコーダである。符号１１は、原画像ｆを入力して、シームカービング処理を行って、非線形縮小画像（基本階層）と、削除したシームの画素情報（拡張階層）とを出力するシームカービング処理部である。符号１２は、非線形縮小画像を圧縮符号化して符号化された基本階層Ｆを出力する圧縮符号化部である。符号１３は、削除したシームの画素情報を圧縮符号化して符号化された拡張階層Ｇを出力する圧縮符号化部である。

符号２は、圧縮符号化された画像を復号して出力するデコーダである。符号２１は、符号化された基本階層Ｆを入力して、復号を行って、非線形縮小画像を出力する復号部である。符号２２は、符号化された拡張階層Ｇを入力して、復号を行って、削除したシームの画素情報を出力する部分復号部である。符号２３は、非線形縮小画像と削除したシームの画素情報とを合成して出力する合成部である。

次に、図１に示すエンコーダ１の処理動作を説明する。原画像ｆ（ｉ，ｊ），ｉ＝０，１，２，・・・，Ｍ−１，ｊ＝０，１，・・・，Ｎ−１はエンコーダ１への入力画像で、横幅がＭ画素、高さがＮ画素である。エンコーダ１に入力された画像データは、シームカービング処理部１１によって、Ｍ’本のシームが削除され、横幅がＭ−Ｍ’画素の画像（Ｆ（ｉ，ｊ））（ｉ＝０，１，２，・・・，Ｍ−Ｍ’−１，ｊ＝０，１，・・・，Ｎ−１）になる。Ｍ’は表示される非線形縮小画像の最小サイズによって決まる。そして、Ｆ（ｉ，ｊ）は圧縮符号化部１２によって、基本階層のデータとして符号化される。基本階層である非線形縮小画像は、通常の画像データと類似の統計的性質を保持していると考えられることから、ＪＰＥＧやＪＰＥＧ−ＬＳなど通常の自然画像で利用される圧縮方法をそのまま適用する。

また、削除されたＭ’本のシームは圧縮符号化部１３によって、画素値のみが符号化される。最後からｉ番目に削除されたシームの上からｊ番目の画素の画素値をＧ（ｉ，ｊ）（ｉ＝０，１，２，・・・，Ｍ’−１，ｊ＝０，１，・・・，Ｎ−１）として削除シーム全体を表す。ここでＧ（ｉ，ｊ）は、圧縮符号化部１３によって拡張階層のデータとして符号化される。シームに沿った隣どうしの画素は原画像では８近傍に存在する画素であるので高い相関性を示すと考えられる。したがって、シーム上の画素順にＤＰＣＭあるいは１次元ＤＣＴを施すことで圧縮を行うことが可能である。

ここでは、縦のシームについて述べたが、縦と横を入れ替えることで水平シームの挿入にも適用することができる。さらに、縦と横の両方のシームを削る場合にも容易に拡張することができる。縦方向のシームをＭ’本、横方向のシームをＮ’本削除するとする。この場合、非特許文献１による方法で順序を決めてシームの削除を行い、縦のシームを、縦方向のシームのうち最後からｉ番目に削除されたものの上からｊ番目の画素の画素値をＧ１（Ｉ，ｊ）、ｉ＝０，１，２，・・・，Ｍ’−１，ｊ＝０，１，・・・，Ｎ−１、横方向のシームを、横方向のシームのうち最後からｉ番目に削除されたものの上からｊ番目の画素の画素値をＧ２（ｉ，ｊ）、ｉ＝０，１，２，・・・，Ｍ−１，ｊ＝０，１，・・・，Ｎ’−１とする。また、シームの削除の順序を保存するための関数α（ｉ），ｉ＝０，１，２，・・・，Ｍ’＋Ｎ’−１、を生成する。α（ｉ）＝０または１であり、ｉ番目に削除されたシームが縦のシームの場合α（ｉ）＝０、横方向のシームの場合、α（ｉ）＝１となるようにする。Ｇ１、Ｇ２、αを合わせて削除シームの画素情報としてエンコーダ１から出力する。

次に、図２を参照して、図１に示すデコーダ２の処理動作を説明する。デコーダ２には、符号化された基本階層のデータＦ（ｉ，ｊ）と符号化された拡張階層のデータＧ（ｉ，ｊ）が入力される。基本階層の符号化データは、復号部２１によって復号されてＦ（ｉ，ｊ）が復元する。これをシーム挿入対象画像Ｆとする（ステップＳ１１）。

一方、拡張階層は部分復号部２２によって必要なシームの画素を復号する（ステップＳ１２）。Ｆ（ｉ，ｊ）、（ｉ＝０，１，２，・・・，Ｍ−Ｍ’−１，ｊ＝０，１，・・・，Ｎ−１）にシームを挿入して、サイズが横Ｘ画素、縦Ｎ画素の画像を得るには、最後に削除されたＸ−（Ｍ−Ｍ’）本のシームが必要であるので、Ｇ（０，ｊ），Ｇ（１，ｊ），・・・、Ｇ（Ｘ−Ｍ＋Ｍ’−１，ｊ）の値を復号する（ステップＳ１３）。基本階層の画像ＦにＸ−（Ｍ−Ｍ’）本のシームを挿入することで画像が合成され、Ｘ画素×Ｎ画素の画像が復号される。

次に、合成部２３は、復号されたＧ（０，ｊ）をＧ（ｊ）として、図４に示す処理動作によってＦ（ｉ，ｊ）の中のＧ（０，ｊ）の挿入位置を推定し（ステップＳ１４）、Ｇ（０，ｊ）をＦ（ｉ，ｊ）の推定位置に挿入する（ステップＳ１５）。挿入後の画像を新たにＦ（ｉ，ｊ）とする（ステップＳ１６）。横幅は１画素増えて、ｉ＝０，１，２，・・・，Ｍ−Ｍ’となる。そして、目的の解像度に達したか否かを判定し（ステップＳ１７）、達していなければ、ステップＳ１３〜Ｓ１６の処理動作を繰り返し、最後に、Ｆ（ｉ，ｊ），ｉ＝０，１，２，・・・，Ｘ−２の中のＧ（Ｘ−Ｍ＋Ｍ’−１，ｊ）の挿入位置を推定し、Ｇ（Ｘ−Ｍ＋Ｍ’−１，ｊ）をＦ（ｉ，ｊ）の推定位置に挿入する。これによって、Ｘ画素×Ｎ画素の画像が復元されることになる。そして、デコーダ２は、この復元画像を出力する（ステップＳ１８）。

次に、図３を参照して、図２に示す処理動作の変形例を説明する。図３に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ１２を削除するとともに、ステップＳ１３に代えて、ステップＳ１３ａを設けた点である。図２、図３に示す処理動作においては縦と横を入れ替えることで水平シームの挿入にも適用することがでる。また、縦と横の両方のシームを削る場合にもそのまま適用できる。挿入するシームがｉ番目とすると、α（ｉ）＝０のとき縦方向のシームを挿入することになるため、Ｇ１（ｉ，ｊ）のなかの未挿入の最後に削除したシームが、図３における拡張階層中の未挿入のシームのうち最後に削除されたシームＧとなる（ステップＳ１３ａ）。また、α（ｉ）＝１のとき横方向のシームを挿入することになるため、Ｇ２（ｉ，ｊ）のなかの未挿入の最後に削除したシームが、図３における拡張階層中の未挿入のシームのうち最後に削除されたシームＧとなる。

このように、画像のアスペクト比をスケーラブルに変更して符号化し、符号化されたデータを伝送し、伝送されたデータを用いて、スケーラブルに任意のアスペクト比で画像を復元する画像符号化装置及び画像復号装置において、アスペクト比をスケーラブルに変更できることを可能にするために必要なデータを従来よりも減少させ、また、復元時に従来よりも高画質の画像を復元することが可能になる。

以上説明したように、符号化側で削除したシームの位置は、復号側でシームの画素値を元に推定するようにしたため、シームの位置情報は伝送が不要となり、伝送データ量を削減することができる。また、削除した画素は画素値を推定するのではなく、画素値そのものを伝送するため、位置がわかれば正しい画像を復元できるため、復元した画像の品質を高品質とすることができる。また、削除位置推定には、シームを画像の各位置に挿入したときのコスト関数全体を一つの画像とみなして、もともとの画像からのシーム削除と同じ方法で、削除位置を決定するようにしたため、推定精度が良くなり、シームの削除位置が精度高く推定することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の符号化処理・復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

画像符号化処理、画像復号処理において、スケーラブルな画像アスペクト比の変更を可能にすることが不可欠な用途に適用できる。

１・・・エンコーダ（画像符号化装置）、１１・・・シームカービング処理部、１２、１３・・・圧縮符号化部、２・・・デコーダ（画像復号装置）、２１・・・復号部、２２・・・部分復号部、２３・・・合成部

Claims (6)

1. 符号化対象画像を圧縮符号化する画像符号化装置であって、
   符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示すための、ｉ番目に削除されたシームが縦のシームの場合に値が０、横のシームの場合に値が１である関数α（ｉ）（ｉ＝０，１，２，・・・，Ｍ’＋Ｎ’−１、Ｍ’は、縦方向のシームの数、Ｎ’は、横方向のシームの数）と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理手段と、
   前記削除したシームの画素情報及び削除したシームの削除順序を示す前記関数α（ｉ）を圧縮符号化した第１の符号化データを出力する第１の符号化手段と、
   前記シームを削除した後の縮小画像情報を圧縮符号化した第２の符号化データを出力する第２の符号化手段と
   を備えたことを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置によって符号化された第１の符号化データと第２の符号化データとを復号して符号化対象画像を復元する画像復号装置であって、
   前記第１の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す関数α（ｉ）を得る第１の復号手段と、
   前記第２の符号化データを復号して、シームを削除した後の縮小画像情報を得る第２の復号手段と、
   前記関数α（ｉ）に基づき、挿入すべきシームが縦のシームであるか、または横のシームであるかを判断しながら、前記シームを削除した後の縮小画像の各画素位置に削除したシームの前記画素情報に基づく画素を挿入したときのコスト関数を画像データとみなし、該画像データに対してシームカービング処理を適用した場合に削除されるシーム位置を求め、求めたシーム位置を前記縮小画像上にシームを挿入すべき位置として推定し、該推定位置に削除したシームの前記画素情報に基づくシームを挿入することにより任意のアスペクト比の前記符号化対象画像を復元する合成手段と
   を備えることを特徴とする画像復号装置。
3. 符号化対象画像を圧縮符号化する画像符号化装置が行う画像符号化方法であって、
   符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示すための、ｉ番目に削除されたシームが縦のシームの場合に値が０、横のシームの場合に値が１である関数α（ｉ）（ｉ＝０，１，２，・・・，Ｍ’＋Ｎ’−１、Ｍ’は、縦方向のシームの数、Ｎ’は、横方向のシームの数）と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、
   前記削除したシームの画素情報及び前記削除したシームの削除順序を示す前記関数α（ｉ）を圧縮符号化した第１の符号化データを出力する第１の符号化ステップと、
   前記シームを削除した後の縮小画像情報を圧縮符号化した第２の符号化データを出力する第２の符号化ステップと
   を有することを特徴とする画像符号化方法。
4. 請求項３に記載の画像符号化方法によって符号化された第１の符号化データと第２の符号化データとを復号して符号化対象画像を復元する画像復号装置が行う画像復号方法であって、
   前記第１の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す関数α（ｉ）を得る第１の復号ステップと、
   前記第２の符号化データを復号して、シームを削除した後の縮小画像情報を得る第２の復号ステップと、
   前記関数α（ｉ）に基づき、挿入すべきシームが縦のシームであるか、または横のシームであるかを判断しながら、前記シームを削除した後の縮小画像の各画素位置に削除したシームの前記画素情報に基づく画素を挿入したときのコスト関数を画像データとみなし、該画像データに対してシームカービング処理を適用した場合に削除されるシーム位置を求め、求めたシーム位置を前記縮小画像上にシームを挿入すべき位置として推定し、該推定位置に削除したシームの前記画素情報に基づくシームを挿入することにより任意のアスペクト比の前記符号化対象画像を復元する合成ステップと
   を有することを特徴とする画像復号方法。
5. コンピュータに、請求項３に記載の画像符号化方法を実行させるための画像符号化プログラム。
6. コンピュータに、請求項４に記載の画像復号方法を実行させるための画像復号プログラム。

Images