JP4462071B2 - スケーラブルトランスコード方法及び装置及びプログラム - Google Patents

Description

本発明は、スケーラブルトランスコード方法及び装置及びプログラムに係り、特に、動画像を効率よく伝送、蓄積するためのカラー画像符号化に関するスケーラブルトランスコード方法及び装置及びプログラムに関する。

ディジタル画像の符号化方式として、JPEGやJPEG2000、MPEG-2やMPEG-4といった方式が知られている。これらの符号化方式の一般的な符号化手順と復号手順を図２２に示す。

符号化側では、符号化器にデータを入れる前処理としてＲＧＢデータをユーザの使用機器等に合わせて任意の画像フォーマットに変換し、任意の画像フォーマットに対して符号化が行われる。復号側では、真逆の処理が行われ、符号化データからＲＧＢデータが復号される。図２２中のフォーマット変換は図２３に示す操作で行われ、色変換部とサブサンプル部によって構成される。色変換部の操作は様々なものが提案されているが、一般的にＩＴＵ勧告６０１の式（１）（Ｋ_Ｒ＝０．２９９，Ｋ_Ｂ＝０．１１４）が用いられ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色画像を輝度成分Ｙと色差成分Ｃｂ，Ｃｒの画像に変換される。色変換されたYCbCrデータは以下の特徴を有する。

１．モノクロ表示器との互換性を保つのが容易である。

２．ＲＧＢに比べYCbCrは、各成分間の相関が少ないため、符号化効率が向上する。

３．輝度成分よりも色差成分に対して感度が鈍い視聴覚特性に適している。

上記の３つの特徴により色差成分はサンプリングされる場合が多く、ユーザの品質要求に応じてサンプリング器により４：２：２、４：２：０（４：１：１）のサブサンプリング率の表示フォーマットに変換される。なお、各サンプリング率と輝度信号と色差信号の対応関係は、図２４、図２５、図２６となり、以下、４：４：４の画像をYCbCr444、４：２：２の画像をYCbCr422、４：２：０の画像をYCbCr420と示す。

YCbCr444，YCbCr422，YCbCr420の各符号化データ（この場合JPEG2000ファイルやMPEGファイル等）は、他のサブサンプリング率の画像と互換性は無く、図２７に示す例のように、YCbCr422ファイルをYCbCr420のデコーダで復号することはできない。YCbCr422の符号化データにするには復号処理とサブサンプリング率変換処理並びに、再符号化処理が必要となる。これらの処理は演算コストが多く処理に時間がかかる他、変換処理のための画像劣化も生じる。

サブサンプリング率変換処理は、画像のサイズを変換していることと等しく、空間解像度のスケーラブル機能は、MPEG２、MPEG-4、及び、JPEG2000も備えている。MPEG-2とMPEG-4では、データを階層化して持つことにより空間スケーラビリティ機能を可能にしており、この方法を画像フォーマット変換に応用した方法がある。

この方法は、色差信号成分に対して奇数番目と偶数番目の走査線毎に符号化を行う機構をMPEG2やMPEG4に導入することにより、単純にビットストリームを切り捨てるだけで異なったサブサンプリング率の符号化データを作成する方法である（例えば、非特許文献１参照）。また、JPEG2000符号化方式では、レイヤ、空間解像度レベル、位置、コンポーネントの４つの優先順位が付けられ、その並び方を５つのパターンでユーザが任意に選択できる。これにより、JPEG2000のデータ構造はスケーラビリティを持つこととなり、任意のデータを切り捨てることにより解像度変換が可能となる。しかし、任意のデータが切り捨てられたデータの処理方法は、JPEG2000の規格には含まれておらず、デコーダの仕様次第では復号することはできない。
L.Yuan, G.Shen, F.Wu,S.Li, W.Gao, "Color Space Compatible Coding Framework for YUV422 Video Coding" ICASP 2004

上記従来の非特許文献１の手法は、YCbCr422からYCbCr420を簡単な操作によって作成できる方法であり、放送機器から民生用機器に至るまで幅広い機器に対応することが望まれる。しかし、非特許文献１の手法は、現在用いられている汎用のデコーダでは復号することができない。

本発明は上記の点に鑑みなされたもので、汎用のJPEG2000デコーダでも再生でき、簡単な操作によって任意のサブサンプリング画像を作成することが可能なカラー画像符号化に関する方法及び装置及びプログラムを提供することを目的とする。

本発明（請求項１）は、輝度色差信号の画像符号化において、
符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データの色差成分の最高周波数帯域を破棄し、符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する。

本発明（請求項２）は、輝度色差信号の画像符号化において、
符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、水平垂直方向にそれぞれ半分間引き、エントロピー符号化し、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する。

本発明（請求項３）は、輝度色差信号の画像符号化において、
符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、垂直方向に半分間引き、エントロピー符号化し、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する。

本発明（請求項４）は、輝度色差信号の画像符号化において、
符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、
色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄し、
ウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成し、
帯域成分HL2及びHH2から逆ウェーブレット変換によりHL1'を作成し、エントロピー符号化し、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する。

本発明（請求項５）は、色差信号の画像符号化において、
符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、
色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄し、
垂直ライン毎に２つに分割する擬似的なウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'HH2'とを作成し、
帯域成分HL2及びHH2から水平ライン毎に１つに結合する擬似的な逆ウェーブレット変換によりHL1'を作成し、エントロピー符号化し、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する。

図１は、本発明の原理構成図である。
本発明（請求項６）は、符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
符号化データの色差成分の最高周波数帯域を破棄するデータ破棄手段１０と、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、データ破棄手段１０の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段１１と、を有する。
本発明（請求項７）は、符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
逆エントロピー符号化手段の出力を水平垂直方向にそれぞれ半分間引くデータ破棄手段と、
データ破棄手段の出力をエントロピー符号化するエントロピー符号化手段と、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、を有する。
本発明（請求項８）は、符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
逆エントロピー符号化手段の出力を垂直方向に半分間引くデータ破棄手段と、
データ破棄手段の出力をエントロピー符号化するエントロピー符号化手段と、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、を有する。
本発明（請求項９）は、符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
逆エントロピー符号化手段の出力の色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1成分を破棄するデータ破棄手段と、
ウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成する部分ウェーブレット変換手段と、
帯域成分L2及びHH2を逆ウェーブレット変換することによりHL1'を作成する部分逆ウェーブレット変換手段と、
部分逆ウェーブレット変換手段の出力をエントロピー符号化するエントロピー符号化手段と、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、を有する。
本発明（請求項１０）は、符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
逆エントロピー符号化手段の出力の色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄するデータ破棄手段と、
データ破棄手段の出力を垂直ライン毎に２つに分割する擬似的なウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２を縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成し、帯域成分HL2及びHH2から水平ライン毎に１つに結合する擬似的な逆ウェーブレット変換によりHL1'を作成するデータ入れ替え手段と、
データ入れ替え手段の出力をエントロピー符号化するエントロピー符号化手段と、
符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、を有する。

本発明（請求項１１）は、請求項６乃至１０の何れか１項に記載のスケーラブルトランスコード装置を構成する各手段としてコンピュータを機能させるためのスケーラブルトランスコードプログラムである。

上記のように本発明によれば、簡単な操作で画像フォーマットをスケーラブルに変換でき、画像表示機器や用途に応じたデータ変換が可能である。

作成される符号化データは、汎用のJPEG2000デコーダで再生でき、変換に必要な処理時間は従来の画像フォーマット変換を行うよりも重複する処理を省けるために処理時間を短縮でき、画質もウェーブレット変換の帯域制限を利用することによりエリアシングを回避することにより高くできる。

以下、図面と共に本発明の実施の形態を説明する。

図２は、本発明の一実施の形態におけるシステム構成図である。

同図に示すシステムは、符号化装置２００、トランスコーダ１００、復号化装置３００から構成される。

符号化装置２００は、ウェーブレットフィルタを有するウェーブレット変換部２１０、画像を符号化し単一の圧縮符号化データを生成する符号化部２２０を有する。

トランスコーダ１００は、スケーラブルトランスコーダであり、表示フォーマット変換に必要な圧縮データの一部のビットストリームを取り出し、場合によっては、圧縮データの並び替え操作等の簡単な操作によりサブサンプリングの異なった符号化データを符号化装置３００に出力する。

復号化装置３００は、トランスコーダ１００から取得した符号化データを復号する復号化部３１０と、復号化されたデータに対して逆ウェーブレット変換を行う逆ウェーブレット変換部３２０を有する。

以下に種々のトランスコーダについて説明する。

［第１の実施の形態］
本実施の形態では、YCbCr444の表示フォーマットからYCbCr420の表示フォーマットに変換可能なトランスコーダについて説明する。

図３は、本発明の第１の実施の形態におけるトランスコーダの基本構成図である。

同図に示すトランスコーダ１００は、データ破棄部１０とヘッダ書き換え部１１を有する。当該トランスコーダ１００には、JPEG2000データが入力される。

トランスコーダ１００に入力されるJPEG2000データを以下のように仮定する。

表示フォーマット：YCbCr444
ＤＷＴレベル数：２
プレシンクト：ｏｆｆ
プログレッションオーダ：ＲＬＣＰ
レイヤ：１
図４は、本発明の第１の実施の形態におけるJPEG200データデータ構造ＲＬＣＰであり、図５は、本発明の第１の実施の形態におけるMallet分割を示す。

今、YCbCr4444の画像をYCbCr420の画像に変換することを考えると、それは色差信号から如何に面積１／４倍の画像を作成するかという問題となる。

本実施の形態では、図６のＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２を面積１／４画像として用いる方法を述べる。

まず、トランスコーダ１００に入力された符号化画像YCbCr444は、データ破棄部１０によって色差成分（CbCr）の最高周波数帯域が破棄される。これは、図４からもわかるように、データ構造の一番最後をただ切り捨てる作業に等しい。

次に、ヘッダ書き換え部１１において、対応する部分の情報を書き換える。この場合、書き換えるヘッダ部分は３箇所あり、SIZマーカセグメントのＸＲsiz（２，３）と、ＹＲsiz（２，３）を書き換え、コンポーネント符号スタイルマーカを付け加え、SOTマーカセグメントのＰsotを書き換える。

トランスコーダ１００から出力されたYCｂCr420は、色成分のDWTレベル数がトランスコード前のデータよりもひとつ少なくなる特徴を持っている。

図７は、本発明の第１の実施の形態における効果を示す図であり、各色差成分に対するPSNR-Entropy特性を示す。実験には、ディジタルシネマテスト素材のStEM（http://www.dcimovies.com/）を用いた。従来方法は、YCｂCr444の画像を復号した後、ダウンサンプル法にてYCｂCr420の画像を作成し、２度目の符号化をした。なお、従来方法では、品質のベストケースを想定し、１度目の符号化では量子化等の作業は行わなかった。

[第２の実施の形態]
本実施の形態でも、YCbCr444の表示フォーマットからYCbCr420の表示フォーマットに変換可能なトランスコーダについて説明する。

図８は、本発明の第２の実施の形態におけるトランスコーダの基本構成図である。

同図に示すトランスコーダ１００は、逆エントロピー符号化部１２、データ破棄部１３、エントロピー符号化部１４、ヘッダ書き換え部15を有する。

以下では、トランスコーダ１００に入力されるJPEG2000データを前述の第1の実施の形態と同様に、下記のように仮定する。

表示フォーマット：YCｂCr444
DWTレベル数：２
プレシンクト：off
プログレッションオーダ：RLCP
レイヤ：１
前述の第1の実施の形態と同様に、YCｂCr444の画像をYCbCr420の画像に変換することを考えると、それは、色差信号から如何に面積1/4倍の画像を作成するかという問題となる。本実施の形態では、図９に示すダウンサンプリング法を用いることにより面積1/4画像として用いる方法を述べる。

まず、トランスコーダ１００に入力されたYCｂCr444の画像は、逆エントロピー符号化部１２によりウェーブレット係数に戻される。次に、データ破棄部１３によって水平垂直方向にそれぞれ半分間引かれる。次に、エントロピー符号化部１４で符号化され、ヘッダ書き換え部１５にて、対応する部分の情報を書き換える。この場合、書き換えるヘッダ部は２箇所あり、SIZマーカセグメントのXRsiz（２，３）とYRsiz（２，３）を書き換え、SOTマーカセグメントのPsotを書き換える。

図１０、図１１に本実施の形態を行った結果を示す。本実施の形態では、エリアシングの影響が大きく再生画像に影響を与えることが予想される。そのため、実験には高周波数成分が多いためエリアシングによる画像劣化が大きいと考えられる「baboon」と「barbara」を用いた。なお、品質のベストケースを想定し、１度目の符号化では量子化などの作業は行わなかった。

[第３の実施の形態]
本実施の形態では、前述の第２の実施の形態と同様の方法でYCｂCr444の画像をYCｂCr422の画像に変換することを考える。なお、トランスコーダ１００の構成は、第２の実施の形態と同様である。

第３の実施の形態として図１２についてダウンサンプリング法を用いることにより、面積１／２画像（図１２（ｂ））を作成する方法を述べる。

まず、トランスコーダ１００に入力されたYCｂCr444の画像は逆エントロピー符号化部１２によりウェーブレット係数に戻される。次に、データ破棄部１３によって垂直方向に半分間引かれる。次に、エントロピー符号化部１４で符号化され、ヘッダ書き換え部１５にて対応する部分の情報を書き換える。この場合、書き換えるヘッダ部は２箇所あり、SIZマーカセグメントのXRsiz（２，３）とYRsiz（２，３）を書き換え、SOTマーカセグメントのPsotを書き換える。

図１３、図１４に第３の実施の形態を行った結果を示す。本実施の形態では、エリアシングの影響が大きく再生画像に影響を与えることが予想される。そのため、実験には高周波成分が多いためエリアシングによる画像劣化が大きいと考えられる「baboon」と「barbara」を用いた。なお、本実施の形態では、品質のベストケースを想定し、１度目の符号化では量子化などの作業は行わなかった。

[第４の実施の形態]
本実施の形態では、YCｂCr444の表示フォーマットからYCｂCr422の表示フォーマットに変換可能なスケーラブルトランスコーダを用いる。

図１５は、本発明の第４の実施の形態におけるトランスコーダの基本構成図である。

同図に示すトランスコーダ１００は、逆エントロピー符号化部１７、データ破棄部１８、部分ウェーブレット変換部１９、部分逆ウェーブレット変換部２０、エントロピー符号化部２１、ヘッダ書き換え部２２から構成される。

以下では、トランスコーダ１００に入力されるJPEG2000データを下記のように仮定する。

表示フォーマット：YcbCr444
DWTレベル数：２
プレシンクト：off
プログレッションオーダ：RLCP
レイヤ：１
今、YCbCr444の画像をYCｂCr422の画像に変換することを考えると、それは、色差信号から如何に面積１／２倍の画像を作成するかという問題となる。第３の実施の形態では、ダウンサンプリング法を用いて１／２画像を作成したが、本実施の形態としては、図１２中のLL2，HL2，LH2，HH2，LH1を用いて面積の１／２の画像を作成する方法を述べる。

まず、トランスコーダ１００に入力された符号化画像YCｂCr444は、逆エントロピー符号化部１７によってウェーブレット係数に戻される。次に、データ破棄部１８によって色差成分（CbCr）のHL1及びHH1成分が破棄される。次に、部分ウェーブレット変換部１９によってLH1からLH1'及びHH1'、LL2からLL2'及びHL2'、LH2からLH2'及びHH2'を作成する。次に、部分逆ウェーブレット変換部２０によってHL2及びHH2よりHL1'を作成する。次に、エントロピー符号化部２１によって符号化を行い、ヘッダ書き換え部２２により対応する箇所を書き換える。この場合、書き換えるヘッダ部は２箇所あり、SIZマーカセグメントのXRsiz（２，３）とYRsiz（２，３）を書き換え、SOTマーカセグメントのPsotを書き換える。

図１６に第４の実施の形態を行った場合の効果として、各色差成分に対するPSNR-Entropy特性を示す。実験には、ディジタルシネマテスト素材のStEM(http://www.dcimovies.com/)を用いた。従来方法は、YCbCr444の画像を復号した後ダウンサンプル法にてYCｂCr422の画像を作成し、２度符号化した。なお、従来方法及びPropose1は、品質のベストケースを想定し、１度目の符号化では量子化などの作業は行わなかった場合であり、Propose2は１度目の符号化時に量子化等で情報量を減らしている。

[第５の実施の形態]
本実施の形態では、YCｂCr444の表示フォーマットからYCbCr422の表示フォーマットに変換可能なスケーラブルトランスコーダを用いる。

図１７は、本発明の第５の実施の形態におけるトランスコーダの基本構成図である。

前述の第４の実施の形態と異なる点は部分ウェーブレット変換部１９、部分逆ウェーブレット変換部２０を持たないところである。その代わりに、データ入れ替え部２６でウェーブレット変換部１９及び部分逆ウェーブレット変換部２０の操作を図１８、図１９に示す方法で代用する。

図１８では、垂直ライン毎に２つに分割することにより、擬似的にウェーブレット変換を行う。図１９では、水平ライン毎に１つに結合することにより、擬似的に逆ウェーブレット変換を行う。他の処理は、前述の第４の実施の形態と同様である。

なお、重要なLL1’などの箇所は、LL2及びLH2からLL1’を作成するのではなく、LH2の代わりにLL2を用いる（つまり、アップサンプル法によりLL1’を作成する）などすることにより画質が向上すると考えられる。

図２０、図２１の本実施の形態を行った場合の結果を示す。第５の実施の形態では、エリアシングの影響が大きく再生画像に影響を与えることが予想される。そのため、実験には高周波数成分が多いためエリアシングによる画像劣化が大きいと考えられる「baboon」と「barbara」を用いた。なお、色差信号の再生周波数は図２１に示した方法でLL2及びLH2からLL1’を作成したのではなく、LH2の代わりにLL2を用いた。

なお、上記の各実施の形態における図２、図６、図１５、図１７に示すトランスコーダの各構成要素の動作をプログラムとして構築し、トランスコーダとして利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをトランスコーダとして利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、CD-ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、動画像を伝送・蓄積するための符号化及び復号に関する技術に適用可能である。

本発明の原理構成図である。 本発明の一実施の形態におけるシステム構成図である。 本発明の第１の実施の形態におけるトランスコーダの基本構成図である。 本発明の第１の実施の形態におけるJPEG2000データ構造RLCPである。 本発明の第１の実施の形態におけるMallat分割を示す図である。 本発明の第１の実施の形態における色差信号の解像度を示す図である。 本発明の第１の実施の形態の効果を示す図である。 本発明の第２の実施の形態におけるトランスコーダの基本構成図である。 本発明の第２の実施の形態における色差信号の解像度を示す図である。 本発明の第２の実施の形態の結果（baboon）である。 本発明の第２の実施の形態の結果（barbara）である。 本発明の第３の実施の形態における色差信号の解像度を示す図である。 本発明の第３の実施の形態の結果（baboon）である。 本発明の第３の実施の形態の結果（barbara）である。 本発明の第４の実施の形態におけるトランスコーダの基本構成図である。 本発明の第４の実施の形態における効果を示す図である。 本発明の第５の実施の形態におけるトランスコーダの基本構成図である。 本発明の第５の実施の形態における擬似ウェーブレット変換を説明するための図である。 本発明の第５の実施の形態における擬似逆ウェーブレット変換を説明するための図である。 本発明の第５の実施の形態の結果（baboon）である。 本発明の第５の実施の形態における結果（barbara）である。 一般的な符号化・復号手順である。 一般的なフォーマット変換の方法である。 ４：２：０の空間対応関係である。 ４：２：２の空間対応関係である。 ４：４：４の空間対応関係である。 一般的なシステムの互換性である。

符号の説明

１０ データ破棄部、データ破棄手段
１１ ヘッダ書き換え部、ヘッダ書き換え手段
１２ 逆エントロピー符号化部
１３ データ破棄部
１４ エントロピー符号化部
１５ ヘッダ書き換え部
１７ 逆エントロピー符号化部
１８ データ破棄部
１９ 部分ウェーブレット変換部
２０ 部分逆ウェーブレット変換部
２１ エントロピー符号化部
２２ ヘッダ書き換え部
２４ 逆エントロピー符号化部
２５ データ破棄部
２６ データ入れ替え部
２７ エントロピー符号化部
２８ ヘッダ書き換え部
１００ スケーラブルトランスコード装置
１１０ トランスコード手段
２００ 符号化装置
２１０ ウェーブレット変換部
２２０ 符号化部
３００ 復号化装置
３１０ 復号化部
３２０ 逆ウェーブレット変換部

Claims (11)

1. 輝度色差信号の画像符号化において、
   符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データの色差成分の最高周波数帯域を破棄し、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する
   ことを特徴とするスケーラブルトランスコード方法。
2. 輝度色差信号の画像符号化において、
   符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、水平垂直方向にそれぞれ半分間引き、エントロピー符号化し、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する
   ことを特徴とするスケーラブルトランスコード方法。
3. 輝度色差信号の画像符号化において、
   符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、垂直方向に半分間引き、エントロピー符号化し、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する
   ことを特徴とするスケーラブルトランスコード方法。
4. 輝度色差信号の画像符号化において、
   符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、
   色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄し、
   ウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成し、
   帯域成分HL2及びHH2からウェーブレット変換によりHL1'を作成し、エントロピー符号化し、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する
   ことを特徴とするスケーラブルトランスコード方法。
5. 色差信号の画像符号化において、
   符号化装置のウェーブレットフィルタにより帯域分割された符号化データがスケーラブルトランスコード装置に入力されると、該符号化データをウェーブレット係数に戻し、
   色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄し、
   垂直ライン毎に２つに分割する擬似的なウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成し、
   帯域成分HL2及びHH2から水平ライン毎に１つに結合する擬似的な逆ウェーブレット変換によりHL1'を作成し、エントロピー符号化し、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換する
   ことを特徴とするスケーラブルトランスコード方法。
6. 符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
   前記符号化データの色差成分の最高周波数帯域を破棄するデータ破棄手段と、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、前記データ破棄手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、
   を有することを特徴とするスケーラブルトランスコード装置。
7. 符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
   前記符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
   前記逆エントロピー符号化手段の出力を水平垂直方向にそれぞれ半分間引くデータ破棄手段と、
   前記データ破棄手段の出力をエントロピー符号化するエントロピー符号化手段と、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、前記エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、
   を有することを特徴とするスケーラブルトランスコード装置。
8. 符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
   前記符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
   前記逆エントロピー符号化手段の出力を垂直方向に半分間引くデータ破棄手段と、
   前記データ破棄手段の出力をエントロピー符号化するエントロピー符号化手段と、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、前記エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、
   を有することを特徴とするスケーラブルトランスコード装置。
9. 符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
   前記符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
   前記逆エントロピー符号化手段の出力の色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1成分を破棄するデータ破棄手段と、
   ウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成する部分ウェーブレット変換手段と、
   帯域成分L2及びHH2を逆ウェーブレット変換することによりHL1'を作成する部分逆ウェーブレット変換手段と、
   前記部分逆ウェーブレット変換手段の出力をエントロピー符号化するエントロピー符号化手段と、
   前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、前記エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、
   を有することを特徴とするスケーラブルトランスコード装置。
10. 符号化装置のウェーブレットフィルタにより帯域分割された符号化データを異なるサブサンプリングの画像符号化フォーマットに変換するスケーラブルトランスコード装置であって、
    前記符号化データをウェーブレット係数に戻す逆エントロピー符号化手段と、
    前記逆エントロピー符号化手段の出力の色差成分（ＣｂＣｒ）の帯域成分HL1及びHH1を破棄するデータ破棄手段と、
    前記データ破棄手段の出力を垂直ライン毎に２つに分割する擬似的なウェーブレット変換により、帯域成分LH1から１／２縮小されたLH1'及びHH1'と、帯域成分LL2から１／２縮小されたLL2'及びHL2'と、帯域成分LH2から１／２縮小されたLH2'及びHH2'とを作成し、帯域成分HL2及びHH2から水平ライン毎に１つに結合する擬似的な逆ウェーブレット変換によりHL1'を作成するデータ入れ替え手段と、
    前記データ入れ替え手段の出力をエントロピー符号化するエントロピー符号化手段と、
    前記符号化データのヘッダにおける画像の解像度に関わる部分の情報を書き換えることにより、前記エントロピー符号化手段の出力を異なるサブサンプリングの輝度色差信号の画像符号化フォーマットに変換し、復号化装置に出力するヘッダ書き換え手段と、
    を有することを特徴とするスケーラブルトランスコード装置。
11. 請求項６乃至１０の何れか１項に記載のスケーラブルトランスコード装置を構成する各手段としてコンピュータを機能させるためのスケーラブルトランスコードプログラム。

Images