JP4159259B2 - 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents
画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP4159259B2 JP4159259B2 JP2001044782A JP2001044782A JP4159259B2 JP 4159259 B2 JP4159259 B2 JP 4159259B2 JP 2001044782 A JP2001044782 A JP 2001044782A JP 2001044782 A JP2001044782 A JP 2001044782A JP 4159259 B2 JP4159259 B2 JP 4159259B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- frequency coefficient
- subband
- conversion
- converting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳細には、デジタルカラー画像を符号化／復号化するための画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、例えば、デジタルカメラ、コンピュータ、プリンタ、複写機といったデジタルカラー画像を取り扱う画像処理装置は広く普及している。しかし、高画質なカラー画像は多くの画素から構成されるので、各種装置内においてその保存のために大量のメモリ容量を必要とするばかりではなく、インターネット等を介した伝送に際して時間がかかるといった扱いにくさが生じる。そこで、従来よりカラー画像を効率的に圧縮するための様々な手段が提案されている。このうちサブバンド変換を用いる技術では、カラー画像に対してまず色変換を行なって輝度信号と色差信号に分け、その後、輝度信号のみ、あるいは輝度信号と色差信号の両者に対してサブバンド変換を施すという手法が知られている。
【０００３】
例えば、昭和６１年６月３，４日開催の「昭和６１年度画像電子学会 第１４回全国大会」の予稿集に記載されているＮｏ.２４「均等色空間に基づくカラー画像の符号化」（大島、門馬、窪田）における手法を図２４に示す。図中、２００は、ＲＧＢ―Ｌａｂ変換部、２０１，２０２は、色差平均化部、２０３は、輝度サブサンプリング部、２０４，２０５は、色差サブサンプリング部、２０６は、符号化部である。まず、ＲＧＢ−Ｌａｂ変換部２００において色変換（ＲＧＢ→Ｌａｂ変換）されたカラー画像データは、色差平均化部２０１，２０２において、劣化させても画質上影響の少ない色信号ａ，ｂのみが２×２画素ブロック単位で４画素平均化される。その後、画像データは、明度信号と色信号が夫々輝度サブサンプリング部２０３、色差サブサンプリング部２０４，２０５でサブサンプリングされ、符号化部２０６で符号化される。
【０００４】
また、上述の手法と同様な考えに基づく特開昭６３−９２８２号公報に記載された手法を図２５に示す。図中、３００は、Ｒ色ブロック、３０１は、Ｇ色ブロック、３０２は、Ｂ色ブロック、３０３は、色変換部、３０４は、輝度直交変換部、３０５，３０６は、色差代表色算出部、３０７，３０８，３０９は、量子化・符号化部である。まず、Ｒ色ブロック３００、Ｇ色ブロック３０１、Ｂ色ブロック３０２のブロック単位毎に、色変換部３０３で色変換されたカラー画像データは、輝度直交変換部３０４で明度信号が直交変換されて直流成分および交流成分に変換され、直流・交流成分ともに量子化・符号化部３０７で量子化・符号化される。他方、色信号は、色差代表色算出部３０５，３０６でブロック内の情報を１色で表した代表色（本実施例ではブロック平均値）が算出された後、量子化・符号化部３０８，３０９で代表色のみが量子化・符号化される。
【０００５】
さらに動画像符号化においても、色変換処理後にサブバンド変換を行うという処理がもっぱら用いられている。例えば、ＭＰＥＧ２においては、各フレームは輝度信号であるＹ信号と、色差信号であるＣｒ信号、Ｃｂ信号とからなる信号として符号化される。このように、従来のカラー画像の符号化は、まず色変換により情報を偏らせ、その後に、必要に応じ明度信号・色信号毎に位置的相関を用いてさらに情報を偏らせることを基本的な処理の流れとしていた。
【０００６】
一方、カラー画像を簡易に扱う方法の一つとして、近年、オリジナルのカラー画像から低解像度画像を作り、この低解像度画像を表示に使用する手法が広く用いられている。例えば、低解像度画像のみを伝送するのに要する時間はフルサイズのカラー画像を伝送する時間に比べて数分の１から数十分の１と短くできるために、インターネット等において、まずは低解像度画像の一覧を表示させ、ユーザが選択した後にフルサイズ画像を表示することが行なわれる。このような表示用の低解像度画像はサムネイル画像と呼ばれる。
【０００７】
サブバンド変換を用いた符号化において、低周波係数をサムネイル画像に用いるという考えは従来より知られている。例えば、特開平１１−４３４３号公報に記載されたＲＧＢ色成分ごとに個別にサブバンド変換して得られた低周波画像をサムネイル画像として使用する方法、およびＲＧＢ色成分を輝度、色差信号に色変換してから輝度、色差の各信号に対してサブバンド変換を施し、得られた低解像度の輝度信号と色差信号から低解像度のＲＧＢ信号を算出してサムネイル画像とする方法が開示されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、色変換後にサブバンド変換を行うという従来の方式は必ずしもカラー画像の符号化に最適な方式というわけではなく、回路規模の面で無駄が多かった。具体的には、冗長度削減効果が高いサブバンド変換を処理の最上流で行なわないので、本来少数でよいはずの色変換回路が増大するという問題があった。また、特にサムネイル画像を作成する場合においては、上流で輝度、色差へと変換することによって回路規模が増大することに加え、低解像度画像を作るための逆色変換処理が必要になり、サムネイル画像作成のために更に回路が必要となり、且つ処理時間が増大するという欠点があった。
【０００９】
一方、特開２０００−２３１９６号公報では、低解像度画像を素早く表示させるために、復号時にまず低周波成分を逆色変換してサムネイル画像を得、解像度の高い画像を復元する際には逆色変換、逆サブバンド変換の順で変換を施す方法が開示されている。しかし、かかる方法においても、低解像度画像を得るためにまず逆色変換を行なわなければならないため、処理速度はその分だけ遅れ、また逆色変換回路が必要となる。特にサムネイル表示や動画の復元においては、復号処理時間の短縮は重要であり、今まで以上に早い時間で復号可能な画像処理が必要とされている。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、カラー画像の圧縮において従来より回路規模が少なくてすむ符号化装置、復号化装置、符号化方法、復号化方法、そのための方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータが読取可能な記録媒体を提供すること、を目的としてなされたものである。
また、本発明の別の目的は、サムネイル表示や動画の復号に適した復号化装置等を提供することである。
【００１１】
【課題を解決するための手段】
請求項１の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２のサブバンド変換手段で変換された低周波係数、前記第２の色変換手段で色変換された明度信号及び色差信号、及び前記第１の色変換手段で色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１３】
請求項２の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２の色変換手段で色変換された明度信号及び色差信号と前記第１の色変換手段で色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１４】
請求項３の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記色変換手段で色変換された明度信号及び色差信号と前記第２のサブバンド変換手段で変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１９】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記低周波係数をサムネイル画像として表示する表示手段を有することを特徴としたものである。
【００２０】
請求項５の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２のサブバンド変換ステップで変換された低周波係数、前記第２の色変換ステップで色変換された明度信号及び色差信号、及び前記第１の色変換ステップで色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２１】
請求項６の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２の色変換ステップで色変換された明度信号及び色差信号と前記第１の色変換ステップで色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２２】
請求項７の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記色変換ステップで色変換された明度信号及び色差信号と前記第２のサブバンド変換ステップで変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２３】
請求項８の発明は、請求項５乃至７のいずれか１の発明における画像処理方法をコンピュータに実行させるためのプログラムである。
【００２４】
請求項９の発明は、請求項８の発明におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３２】
【発明の実施の形態】
図１，図３，図４は、本発明において用いられるサブバンド変換の一例を示す図である。本発明においてサブバンド変換は、１次元に適用しても２次元に適用しても良い。例えば、１次元に適用した場合には図１に示す形となり、２つの画素値Ｘ（２ｋ），Ｘ（２ｋ−１）が１つの低周波係数Ｌと１つの高周波係数Ｈとに変換される。ここで、Ｘ（ｊ）は色成分Ｘの画像データにおける１次元位置ｊでの画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。
【００３３】
図２は、サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図で、図２（Ａ）中、１は、サブバンド変換が適用される所定領域（太枠で囲った領域）で、該所定領域１は、画素１ａ，１ｂ，１ｃ，１ｄの４つの画素からなり、画素１ａ〜１ｄの４つの画素値Ｘ（ｊ，ｍ）が１つの低周波係数ＬＬと、３つの高周波係数ＬＨ，ＨＬ，ＨＨとに変換される。ここでＸ（ｊ，ｍ）は色成分Ｘの画像データにおける２次元位置（ｊ，ｍ）での画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。２次元に適用する場合には、図１に示したサブバンド変換を水平方向に適用する。図２（Ｂ）にその結果を示す。その後、さらに垂直方向に適用すればよく、図２（Ｃ）にその結果を示す。具体的にはＬＬ，ＬＨ，ＨＬ，ＨＨとして図３に示すような値が得られる。
【００３４】
なお、本発明に適用できるサブバンド変換は上述の例に限られない。図４に１次元的な形としてその他のサブバンド変換の例を示し、いわゆるハール変換を始めとするウェーブレット変換全般、あるいはＤＣＴ変換やアダマール変換を適用しても良い。本発明におけるサブバンド変換とは、例えば、周波数変換、ウェーブレット変換といった情報を波の集合として表現する変換の総称として用いられ、本発明は、各色成分ごとの位置的相関を利用した変換であれば、あらゆるサブバンド変換に適用できる。
【００３５】
また、水平方向に図１のサブバンド変換を施した後、垂直方向には図４に示すサブバンド変換を施しても良い。本発明において重要なのは、低解像度画像として使用できる低周波係数、および、低周波係数と演算されることによってもとの画素を完全にあるいは劣化を伴って復元できる高周波係数とに変換することである。本実施例では図３に示す２次元的なサブバンド変換を使用するものとする。図６は、図３に示すサブバンド変換の逆サブバンド変換の一例を示す図で、この場合、復号化時には図６に示す各式によって画素値が復元される。なお、以下の説明においては画素値およびサブバンド係数の座標は省略し、例えばＬＬｘ（ｉ，ｋ）ではなく単にＬＬｘと略記する。
【００３６】
また、周知のようにサブバンド変換を２階層以上にわたり適用することも可能である。具体的には、低周波係数ＬＬの集合に対して図３に示す式に従ってサブバンド変換を行なうことで２階層のサブバンド変換が達成される。そこで以下の説明では階層を簡易に表すためにサブバンド係数に数字をつける。例えば、ＬＬ１ｘ（ｉ，ｋ）は画素値を変換して得られた１階層目のＬＬ係数であり、ＬＬ２ｘ（ｉ，ｋ）はＬＬ１ｘ（ｉ，ｋ）に対してさらに変換を施して得られた２階層目のＬＬ係数を示す。
【００３７】
また、図５は、本発明において用いられる色変換の一例を示す図で、本実施例において使用される。以下の説明において、「明度信号と色信号に変換」することを単に「色変換」とし、よってＲＧＢ色を変換する場合のみならず、サブバンド変換係数を「明度信号と色信号に分離するのと同じ変換」で変換することも「色変換」とし、そのような変換をする回路を「色変換部」または「色変換回路」という。無彩画像に対しては色信号に対応する信号が０となる点で通常の色変換と共通するからである。図７は、図５に示す色変換の逆色変換の一例を示す図である。
【００３８】
（実施例１）
図８は、本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図で、図８（Ａ）は、静止画像を圧縮するための符号化回路を示すブロック図である。図中、１０は、第１のサブバンド変換部、１１は、第２のサブバンド変換部、２０は、第１の色変換部、２１は、第２の色変換部、３０は、エントロピー符号化部、３１は、圧縮符号である。本実施例では、ＲＧＢ３色から構成されるデジタルカラー画像に対して図３に示すサブバンド変換を２階層施して圧縮する場合を考える。まず、ＲＧＢの各色成分で構成されたカラー画像データは、所定の画素ブロック単位ごとに第１のサブバンド変換部１０に送られる。第１のサブバンド変換部１０は画素情報を、各色ごとに１つの低周波成分ＬＬ１ｘと３つの高周波成分ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘとに変換する。ここでインデックスｘは、ＲＧＢ各成分について変換を行なうことを示している。
【００３９】
第１階層の高周波成分であるＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘは、第１の色変換部２０に送られ、図５に示す方法によりＹｚ１，Ｕｚ１，Ｖｚ１に色変換される。ここで、インデックスｚは各高周波成分について変換を行なうことを示している。また、ｚのあとの数字は高周波成分の階層を示す。
【００４０】
一方、第１階層の低周波成分であるＬＬ１ｘは第２のサブバンド変換部１１に送られ、１つの低周波成分ＬＬ２ｘと３つの高周波成分ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘとに変換される。ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘは更に第２の色変換部２１においてＹｚ２，Ｕｚ２，Ｖｚ２に色変換される。
【００４１】
エントロピー符号化部３０は、第２階層の低周波成分ＬＬ２ｘ、第２階層の高周波成分を色変換した情報であるＹｚ２，Ｕｚ２，Ｖｚ２，及び、第１階層の高周波成分を色変換した情報であるＹｚ１，Ｕｚ１，Ｖｚ１をエントロピー圧縮し、圧縮符号３１を作成する。エントロピー圧縮方法としては、例えば、ＪＰＥＧ２０００方式，算術符号化方式といった、公知のあらゆるエントロピー圧縮法が採用可能である。
【００４２】
ただし本実施例では、低周波成分ＬＬ２ｘをサムネイル画像として用いることができるようにするために、ＬＬ２ｘに関するエントロピー符号化は他の係数とは独立に行なう。例えば、先に符号化した情報の傾向に基づいて学習しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数の学習結果を参照せずに符号化・復号化されるようにし、また他の係数を参照しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数を参照しないようにする。
【００４３】
図８（Ｂ）は、図８（Ａ）に示した圧縮符号３１の概略の構成例を示す図で、図中、該圧縮符号３１は、左側から、エントロピー圧縮されたＬＬ２ｘ成分３１ａ、エントロピー圧縮されたＹｚ２，Ｕｚ２，Ｖｚ２成分３１ｂ、エントロピー圧縮されたＹｚ１，Ｕｚ１，Ｖｚ１成分３１ｃが埋め込まれている。図８（Ｂ）の左側ほど、送信等において優先度の高い情報が詰め込まれており、ＬＬ２ｘが最も優先度が高くなっている。本実施例の符号では、圧縮符号３１を転送する場合にはまず第２階層の情報が転送され、その後に第１階層の高周波成分が転送されることになる。また、図示は省略するが、圧縮符号の先頭には各係数の先頭アドレス等を示すヘッダーが付加されている。
【００４４】
本実施例の符号を作成後にＬＬ２ｘのみをサムネイル画像として使用する場合には、ＬＬ２ｘのみを復号化すればサムネイル画像が得られる。このとき、低周波係数のビット数がもとのビット数よりも増えてしまうような場合には、必要に応じて下位ビットを削減すればよい。なお、本発明において適用可能な符号構成の他の実施例としては、第１階層の高周波成分の上位プレーンが第２階層の高周波成分の下位プレーンよりも優先度が高くなるように構成することも可能である。そのように符号を構成すると、圧縮符号３１のうち優先度の低い部分を削除したときでも、画像内の強いエッジ情報を再現することができる。
【００４５】
図８（Ｃ）は、図８（Ａ）に示す符号化回路で作成した圧縮符号３１を伸長するための復号化回路を示すブロック図である。図中、４０は、エントロピー復号化部、５０は、第１の逆色変換部、５１は、第２の逆色変換部、６０は、第１の逆サブバンド変換部、６１は、第２の逆サブバンド変換部である。圧縮符号３１はエントロピー復号化部４０にてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１へと復元される。Ｙｚ２，Ｕｚ２，Ｖｚ２及びＹｚ１，Ｕｚ１，Ｖｚ１は、第２の逆色変換部５１及び第１の逆色変換部５０において、図７に示す式に従いそれぞれＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘ及びＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘへと変換される。ＬＬ２ｘは第２の逆サブバンド変換部６１において図６に示す式に従いＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘと演算されてＬＬ１ｘが復号化され、ＬＬ１ｘは第１の逆サブバンド変換部６０において図６に示す式に従いＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘと演算されて、ＲＧＢ画像データの画素値が復元される。
【００４６】
次に、本発明が適用された図８に示す符号化回路及び復号化回路と、従来例との比較を行う。図８に示した符号化回路及び復号化回路は、従来のものに比べて回路数を削減することができることを図８（Ａ）、図２６を用いて説明する。まず、図８（Ａ）に示す各変換部において必要な演算回路数は、第１のサブバンド変換部１０が４８個、第２のサブバンド変換部１１が１２個、第１の色変換部２０が３６個、第２の色変換部２１が９個となる。これは、例えば、第１のサブバンド変換部１０では３色×１６画素分の演算を行なうため、演算回路が４８個必要になるからである。
【００４７】
図２６は、従来公知の符号化回路の一例を示すブロック図で、図中、２３は、色変換部、１３〜１６は、サブバンド変換部である。図２６に示す符号化回路は、図８（Ａ）と同様にＲＧＢ３色からなるデジタルカラー画像を色変換及び２階層のサブバンド符号化によって符号化するための符号化回路である。但し、図２６においては各色の画像データは色変換部２３で色変換され、輝度成分はサブバンド変換部１３に、色差成分はサブバンド変換部１４に送られる。その後、輝度成分はサブバンド変換部１３，１５において、また色差成分はサブバンド変換部１４，１６において２階層の符号化を施され、その結果得られた係数がエントロピー符号化部３０にて圧縮符号３１へと符号化される。
【００４８】
図２６に示す各変換部において必要な演算回路数は、色変換部２３が４８個、サブバンド変換部１３が１６個、サブバンド変換部１４が３２個、サブバンド変換部１５が４個、サブバンド変換部１６が８個となる。図８（Ａ）と図２６との必要な演算回路数を比較すると、図８（Ａ）に示す符号化回路では、４８＋３６＋１２＋９＝１０５の回路が必要であるのに対し、従来例の図２６に示す符号化回路では、４８＋１６＋３２＋４＋８＝１０８の回路が必要となり、図８（Ａ）に示す符号化回路では演算回路数を、図２６に示す従来例の符号化回路よりも削減可能であることが分かる。
【００４９】
また、低解像度画像をサムネイル画像として使用する場合を考えると、従来例では圧縮符号の中に存在するのは輝度信号の低周波成分及び色差信号の低周波成分である。このため、従来例においてサムネイル画像を作成するためには、輝度信号の低周波成分及び色差信号の低周波成分を演算して各色成分ごとの低解像度画像を得る必要がある。この結果、サムネイル画像の作成に時間がかかりユーザの快適な利用を妨げることになる。かかる困難を回避するために従来例の符号化回路の後に輝度と色差の低周波成分を演算し、各色の低周波成分を得る演算回路を付加しても良いが、その場合には余分な回路が必要となり、また復号化時にも余計な時間がかかることになる。これに対し、図８（Ａ）に示す符号化回路では、ＬＬ２ｘが圧縮符号の先頭に存在するので、低周波成分を逆色変換せずにサムネイル画像として使用することできる。なお、図８（Ａ）に示すようにＬＬ２ｘにもエントロピー符号化を行なう場合には、ＬＬ２ｘが色変換されていない形であるために従来例よりも圧縮率が若干落ちる可能性もあるが、もともとサムネイル画像は非常に小さいために、両者の圧縮率の差はわずかである。
【００５０】
（実施例２）
図９は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図９（Ａ）は、符号化回路を示すブロック図、図９（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図９（Ｃ）は、復号化回路を示すブロック図である。図８と図９に示す回路の違いは、図８ではＬＬ２ｘをエントロピー符号化していたのに対して、図９ではエントロピー符号化しない点のみで異なる。このため、回路的に共通部分が多いので、図８と図９に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。
【００５１】
図９（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＬ２ｘがエントロピー符号化部３０において圧縮されない点である。この違いにより、本実施例の圧縮符号３１は図９（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＬ２ｘが非圧縮のまま圧縮符号が構成されている。図９（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、ＬＬ２ｘがエントロピー復号化部４０において復号化されない点のみが異なる。本実施例の符号化回路・復号化回路は、前述の実施例１に示す回路に比べ、ＬＬ２ｘが非圧縮状態であるのでサムネイル画像をより素早く表示可能である。なお、本実施例においても、実施例１に示す回路と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５２】
（実施例３）
図１０は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図１０（Ａ）は、符号化回路を示すブロック図、図１０（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図１０（Ｃ）は、復号化回路を示すブロック図である。図８と図１０に示す回路の違いは、図８ではＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘを第２の色変換部２１にて色変換していたのに対し、図１０では色変換しない点のみが異なる。このため、回路的に共通部分が多いので、図８と図１０に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。図１０（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが第２の色変換部２１において色変換されない点である。この違いにより、本実施例の圧縮符号３１は図１０（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換されないまま圧縮符号が構成されている。図１０（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、第２の逆色変換部５１が存在しない点のみが異なる。
【００５３】
本実施例の符号化回路・復号化回路は、前述の実施例１に比べ、色変換回路・逆色変換回路が存在しないので回路数が少なくてすむ。なお、本実施例においても、実施例１と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５４】
図１１は、本発明が適用される符号化回路の別の構成例を示すブロック図である。これまで、本発明を２階層の階層的符号化を用いて説明してきたが、もちろん、図１１（Ａ）に示すように１階層の階層的符号化に適用することもできるし、あるいは、図１１（Ｂ）に示すように３階層の階層的符号化に適用することもできる。
【００５５】
（実施例４）
図１２は、本発明が適用される復号化回路の別の構成例を示すブロック図で、図中、５２は、第３の逆色変換部である。図８（Ｃ）と図１２に示す回路の違いは、図１２では第３の逆色変換部５２が存在する点である。図１２に示す復号化回路は、図２６に示す従来例の符号化回路で符号化された圧縮符号も、図８（Ａ）に示す本発明の符号化回路で符号化された圧縮符号も、ともに伸長可能となっている。回路的に共通部分が多いので、図８（Ｃ）と図１２に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換としては図４に示すハール変換を用いるものとする。
【００５６】
図１２に示す復号化回路の基本的な働きは、図８（Ｃ）に示す復号化回路と同様である。違いは、エントロピー復号化部４０の働きと、第３の逆色変換部５２が存在する点である。図１２において、エントロピー復号化部４０は圧縮符号３１のヘッダーを参照することにより、復号化対象である圧縮符号が図２６に示す符号化回路で符号化された圧縮符号であるのか、あるいは、図８（Ａ）に示す符号化回路で符号化された圧縮符号であるのかを識別する。識別結果は識別情報として第３の逆色変換部５２に送られる。
【００５７】
また、エントロピー復号化部４０から第３の逆色変換部５２には、圧縮符号３１が図２６に示す符号化回路で符号化された圧縮符号である場合には輝度信号の低周波成分及び色差信号の低周波成分が、圧縮符号３１が図８（Ａ）に示す符号化回路で符号化された圧縮符号である場合にはＬＬ２ｘが送られる。第３の逆色変換回路５２は、識別情報を参照し、図２６に示す符号化回路で符号化された圧縮符号を復号化する場合には逆色変換を行ない、図８（Ａ）に示す符号化回路で符号化された圧縮符号を復号化する場合には信号を、そのまま第２の逆サブバンド変換部６１へと送る。このような構成により、第２の逆サブバンド変換部６１はＬＬ２ｘ情報を得ることができる。
【００５８】
一方、高周波成分については、図４に示すサブバンド変換及び図５に示す色変換はともに線形変換であるために、図８（Ａ）に示す符号化回路によって得られる「高周波係数を色変換した情報」と、図２６に示す符号化回路によって得られる「色変換係数をサブバンド変換して得られた高周波係数情報」とは等しくなる。従って、圧縮符号がどちらの符号化回路で圧縮されたかによらず第２の逆色変換部５１、第１の逆色変換部５０、第２の逆サブバンド変換部６１、第１の逆サブバンド変換部６０によって画素情報を復元することができる。このように、本実施例に示す復号化回路は、本発明の符号化回路で作成した圧縮符号については短時間で復号化／サムネイル表示可能であるとともに、従来例で作成した圧縮符号についても伸長することができる。
【００５９】
（画像処理装置への適用例）
図１３は、本発明を画像処理装置へ適用した場合の適用例を示す図で、図中、７０は、記憶装置であって、該記憶装置７０は、符号化回路７１、復号化回路７３、ＨＤＤ等の記憶手段７２からなる。図１３においては符号化回路・復号化回路として前述の図９に示したものを用いる。デジタルカラー画像は符号化回路７１によって図９（Ａ）に示すように符号化され、圧縮符号が記憶手段７２に格納される。格納された圧縮符号は、必要に応じてサムネイル画像として記憶装置７０から読み出される。また、格納された圧縮符号は、必要に応じて復号化回路７３によって図９（Ｃ）に示すように復号化され、伸長画像として記憶装置７０から読み出される。ここで、本適用例では図９に示した符号化回路・復号化回路を使用しているためにサムネイル画像は直接、記憶手段７２から記憶装置７０外に送られたが、図８，図１０，図１１，図１２に示す符号化回路・復号化回路を使用する場合に、サムネイル画像は復号化装置７３、または別に設けた専用の復号化装置で復号化された上で記憶装置７０外に送られることになる。
【００６０】
（画像形成装置への適用例）
図１４は、本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図で、図中、８０は、デジタルカラー画像形成装置であって、該画像形成装置８０は、記憶装置７０、ＲＩＰ部８１、画像処理部８２、書込部８３、スキャナ８４、液晶パネル８５、感光体９１、現像装置９２、定着装置９３、帯電装置９４、クリーニング装置９５、中間転写体９６、給紙トレイ９７、紙搬送路９８からなり、１００は、ネットワークである。まず、スキャナ８４から読み込まれた画像データ又は、ネットワーク１００を介してＲＩＰ部８１に入力された画像データは、図１３に示した記憶装置７０へと送られ、複数部数出力機能やデジタルメモリ機能実現のために図１３に示す記憶手段７２に記憶される。編集等のために画像の概要を表示する際には、サムネイル画像が記憶装置７０から液晶パネル８５へと送られ、画像形成時には伸長画像が画像処理部８２へと送られる。画像処理部８２でフィルタ処理、階調処理等を施された画像データは書込部８３にて書込み信号に変換され、書込み信号は感光体９１上を走査する。公知の電子写真プロセスによって、感光体９１の表面は帯電装置９４により帯電され、書込部８３により静電潜像が形成され、現像装置９２にてトナー像として現像される。現像されたトナー像は中間転写体９６に転写され、さらに中間転写体９６上のトナー像は記録用紙に転写され、記録用紙上のトナー像は定着装置９３において定着させられる。
【００６１】
（伝送媒体、記録媒体における適用例）
図１５は、本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図で、図中、１０１は、サーバであって、該サーバ１０１は、復号化プログラム格納部１０１ａ、記憶装置７０を有し、１０２，１０３，１０４は、ＰＣ、１０２ａ，１０３ａは、ＣＤ−ＲＯＭである。サーバ１０１とＰＣ１０２，１０３，１０４はネットワーク１００を介して接続されている。
【００６２】
図１５に示すサーバ１０１は、本発明にかかる符号化方法で符号化された圧縮符号の配信や、本発明にかかる復号化プログラムの配信を行なう事業者の有するサーバである。また、例えば、インターネット等のネットワーク１００を介して接続されたＰＣ１０２，１０３は、ユーザが使用するＰＣ端末である。ＰＣ１０２のユーザは圧縮符号のみが格納されたＣＤ−ＲＯＭ１０２ａを購入したために、サーバ１０１の復号化プログラム格納部１０１ａより、復号化プログラムを有償又は無償でダウンロードして、圧縮符号を伸長する。一方、ＰＣ１０３を使用するユーザは圧縮符号及び復号化プログラムが記録されたＣＤ−ＲＯＭ１０３ａを購入したので、ダウンロードすることなく本発明の復号化方法を用いて圧縮符号を復号化可能である。ここで、復号化プログラム格納部１０１ａ内にある復号化プログラムと、ＣＤ−ＲＯＭ１０３ａ内の復号化プログラムは同じものである。
【００６３】
図１６は、図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。まず、ＲＧＢ画像データは所定の画素ブロック単位毎にサブバンド変換部に送られ（ステップＳ１）、サブバンド変換処理においてＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘの各々に変換される（ステップＳ２，第１のサブバンド変換部１０に対応）。次いで、ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘが色変換処理によってＹｚ１，Ｕｚ１，Ｖｚ１に変換され（ステップＳ３，第１の色変換部２０に対応）、サブバンド変換処理によってＬＬ１ｘがＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘへと変換される（ステップＳ４，第２のサブバンド変換部１１に対応）。続いて、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換処理によってＹｚ２，Ｕｚ２，Ｖｚ２に変換され（ステップＳ５，第２の色変換部２１に対応）、エントロピー符号化処理によってＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１が圧縮符号として符号化される（ステップＳ６，エントロピー符号化部３０に対応）。
【００６４】
以上のステップＳ１〜Ｓ６の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて符号化が終了したか否かが判定され（ステップＳ７）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。なお、以上は図８（Ａ）に示す符号化回路の処理を実行した場合であるが、図９（Ａ）に示す符号化回路の処理を実行する場合は、ステップＳ６でＬＬ２ｘに関してはエントロピー符号化しなければ良く、図１０（Ａ）に示す符号化回路の処理を実行する場合はステップＳ５を省けばよい。
【００６５】
図１７は、図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号はエントロピー復号化処理においてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１の各々に復号化される（ステップＳ１１，エントロピー復号化部４０に対応）。次いで，Ｙｚ２，Ｕｚ２，Ｖｚ２が逆色変換処理によってＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘに変換され（ステップＳ１２，第２の逆色変換部５１に対応）、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ１３，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ１４，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ１５，第１の逆サブバンド変換部６０に対応）。
【００６６】
以上のステップＳ１１〜Ｓ１５の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ１６）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。サムネイル画像を作成する際は、エントロピー復号化処理（ステップＳ１１）においてＬＬ２ｘのみを復号化し、ステップＳ１２〜Ｓ１６はスルーすればよい。なお、以上は図８（Ｃ）に示す復号化回路の処理を実行した場合であるが、図９（Ｃ）に示す復号化回路の処理を実行する場合は、ステップＳ１１でＬＬ２ｘに関してはエントロピー復号化しなければ良く、図１０（Ｃ）に示す復号化回路の処理を実行する場合はステップＳ１２を省けばよい。
【００６７】
図１８は、図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号のヘッダー認識処理を行い（ステップＳ２１）、エントロピー復号化処理（ステップＳ２２）を行った後に、復号化対象となる圧縮符号が本発明にかかる符号化回路によって符号化されたものか否かが判定され（ステップＳ２３）、ＮＯなら逆色変換処理がなされ（ステップＳ２４，第３の逆色変換部５２に対応）、ＹＥＳなら第２の逆色変換部５１へと進む（ステップＳ２５）。以下、図１７に示すフローチャートと同様に、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ２６，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ２７，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ２８，第１の逆サブバンド変換部６０に対応）。以上のステップＳ２１〜Ｓ２８の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ２９）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。
【００６８】
本実施例においてユーザは、目的やウインドウのサイズに応じてサムネイル画像を選択することも、あるいはＬＬ１ｘ等、途中の階層までの伸長を行なうことも選択可能である。また、ＣＤ−ＲＯＭやインターネットを通じて画像を提供する提供者は、圧縮符号のヘッダー部に復号化プログラムを付加した形で画像を提供しても良い。
【００６９】
（実施例５）
図１９は、本発明がモーションＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図中、１１０は、フレーム内符号化回路、１１１は、フレーム内復号化回路である。この符号化は、動画像を静止画像の集合として構成し、フレーム内符号化を各静止画像フレームに適用することで動画像を符号化する方法である。図１９（Ａ）に動画像用フレーム内符号化回路１１０を示し、図１９（Ｂ）に動画像用フレーム内復号化回路１１１を示す。図１９（Ａ）において、動画像は１フレームずつフレーム内符号化回路１１０に送られ、各フレーム独立に符号化されて圧縮符号とされる。フレーム内符号化回路１１０としては、各フレームを符号化するために前述した図８（Ａ），図９（Ａ），図１０（Ａ）に示す静止画像用の符号化回路が使用可能である。図１９（Ｂ）において、圧縮符号は１フレーム分ずつフレーム内復号化回路１１１に送られ、各フレーム独立に復号化されて伸長される。フレーム内復号化回路１１１としては、各フレームを復号化するために前述した図８（Ｃ），図９（Ｃ），図１０（Ｃ）に示す静止画像用の復号化回路が使用可能である。
【００７０】
図１９（Ａ）に示す符号化回路で得られる圧縮符号は、フレームを色々な方法で並べることが可能である。図２０は、フレームを並べた圧縮符号の一例を示す図である。図２０（Ａ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっている。一方、図２０（Ｂ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっているが、安定した伝送を達成するために各フレームの長さが一定となっている。また、図２０（Ｃ）に示す圧縮符号は、各フレームの低周波成分が先頭に並べられた後に、各フレームの低周波成分以外の情報が順番に並んだ圧縮符号となっている。
【００７１】
なお図示はしないが、フレームの位置を示すポインタ等の情報を含むヘッダーが各圧縮符号に付加されている。動画像の概要のみを素早く復号化する場合には、ヘッダーに含まれるポインタ情報から各フレームの低周波成分のみを抜き出し、順次表示させればモーションＪＰＥＧ方式のサムネイル動画像が得られる。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７２】
（実施例６）
図２１は、本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図２１（Ａ）中、１１２は、フレーム分解部、１１３は、Ｉピクチャ符号化回路、１１４は、Ｂピクチャ符号化回路、１１５は、Ｐピクチャ符号化回路、図２１（Ｂ）中、１１６は、Ｉピクチャ復号化回路、１１７は、Ｂピクチャ復号化回路、１１８は、Ｐピクチャ復号化回路、１１９は、フレーム結合部である。この符号化は、動画像を構成する各フレームを、フレーム内の情報のみによって符号化される（フレーム内符号化）Ｉピクチャと、動きベクトル等によって他フレームからフレーム内の情報を予測させた上で予測との差分が符号化されるＢピクチャ、Ｐピクチャとに分解することで動画像を符号化する方法である。図２１（Ａ）に動画像用符号化回路を示し、図２１（Ｂ）に動画像用復号化回路を示す。
【００７３】
図２１（Ａ）において、動画像はフレーム分解部１１２においてＩピクチャ、Ｂピクチャ、Ｐピクチャに分解され、それぞれのピクチャはＩピクチャ符号化回路１１３、Ｂピクチャ符号化回路１１４、Ｐピクチャ符号化回路１１５にて符号化された後に圧縮符号となる。本実施例では、Ｉピクチャ符号化回路１１３として前述した図８（Ａ）に示した静止画像用符号化回路を用いる。
【００７４】
図２１（Ｂ）において、圧縮符号はＩピクチャ復号化回路１１６、Ｂピクチャ復号化回路１１７、Ｐピクチャ復号化回路１１８にて復号化され、フレーム結合部１１９において再結合されて動画像となる。本実施例では、Ｉピクチャ復号化回路１１６として前述した図８（Ｃ）に示した静止画像用復号化回路を用いる。
【００７５】
図２２は、圧縮符号の構成例を示す図である。図２２（Ａ）では、１つのＩピクチャ、及び、Ｐピクチャ・Ｂピクチャ群を１つのまとまりとした符号の構成を示す。図２２（Ａ）において圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報（ここで、差分情報とは、フレーム間符号化において予測との差分を符号化した部分である。）、Ｂ，Ｐピクチャの動きベクトル情報の順で構成されている。また、図示しないがヘッダーが圧縮符号に付加され、各情報のアドレスを有している。
【００７６】
この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分のみを連続的に表示することで、コマ送り状態でサムネイル表示が可能となる。図２２（Ｂ）においては、圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報、Ｂ，Ｐピクチャの動きベクトル情報、サムネイル画像のフレーム間符号化部分、の順で構成されている。ここで、サムネイル画像のフレーム間符号化部分とは、各Ｉピクチャのサムネイル画像の間を補間するための、サムネイル画像用の差分情報及び動きベクトルの部分である。この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分およびサムネイル画像のフレーム間符号化部分を用いて復号化することで、より滑らかなサムネイル表示が可能となる。
【００７７】
ここで、サムネイル画像用の差分情報及び動きベクトルは、公知のＭＰＥＧ方式によって得ることができる。またサムネイル画像用の差分情報及び動きベクトルを得る回路またはプログラムは、カラー動画像自体のフレーム間符号化回路またはフレーム間符号化プログラムと共用可能である。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７８】
図２３は、本発明に係る動画像符号化回路、復号化回路の適用例を示す図で、図中、１２０は、配信センター、１２１，１２２は、ＴＶで、該ＴＶ１２１は、簡易表示画面１２１ａを有し、１２３は、ケーブルである。図２３（Ａ）において、配信センター１２０とは、ケーブルＴＶ配信会社であり、ケーブル１２３を介してＴＶ番組を配信している。配信センター１２０からのＴＶ番組（デジタル動画像の圧縮符号）はケーブル１２３を介して各ＴＶ１２１，１２２に配信される。ここで、ＴＶ１２１では１つの局を鑑賞中に他局の番組をチェックするべく、簡易表示画面１２１ａが設けられている。配信センター１２０は圧縮符号を送信する際、例えば、図２２（Ａ）に示すタイプの圧縮符号を用いる場合には、この簡易表示画面１２１ａ用にはサムネイル画像のみを用いることとし、図２３（Ｂ）に示す符号を配信する。これにより、第一局分として高精細な動画像が得られ、第二局分としてコマ送りのサムネイル画像が得られることになる。配信センター１２０が複数の場合には、図２３（Ｂ）に示す符号中、第一局分と第二局分の情報は別々の配信センターから送られ、ＴＶ１２１の内部でそれぞれ処理されることとなる。なお、本発明はＢＳ放送等にも同様に適用可能である。
【００７９】
また、別の適用例として、本発明が適用された符号化回路で符号化した動画像をインターネット等によって配信することも可能である。この場合、動画と静止画の違いはあるものの、図１５に示した配信方法が同様に適用可能である。
【００８０】
以上のように、本発明は、カラー静止画像、カラー動画像の符号化／復号化を少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に静止画像、動画像を表示／配信する場合にも、短時間での処理が可能である。なお、本発明は上述した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変形して実行可能である。
【００８１】
【発明の効果】
以上の説明から明らかなように、本発明によると、カラー画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８２】
本発明によると、低周波成分を復号化する際に、他の成分を復号化する必要がないため、高速な処理が可能である。
【００８３】
本発明によると、低周波成分を復号化処理することなく、サムネイル画像を得ることができる圧縮符号が得られるので、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８４】
本発明によると、カラー画像の復号化を少ない回路数で実現でき、またサムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８５】
本発明によると、上述の効果に加え、従来の符号化手段で得られた圧縮符号をも復号化できる。
【００８６】
本発明によると、カラー動画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８７】
本発明によると、カラー動画像の復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８８】
本発明によると、画質の良いサムネイル動画像を得ることが可能な圧縮符号を構成できる。
【００８９】
本発明によると、圧縮符号から画質の良いサムネイル動画像を得ることが可能となる。
【００９０】
本発明によると、サムネイル画像をネットワーク等を介して、送信し、表示することができる。
【００９１】
本発明によると、カラー画像の符号化、復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能となる画像処理方法及び該方法をコンピュータに実行させるためのプログラムを提供することができる。
【図面の簡単な説明】
【図１】 本発明において用いられるサブバンド変換の一例を示す図である。
【図２】 サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図である。
【図３】 本発明において用いられるサブバンド変換の一例を示す図である。
【図４】 本発明において用いられるサブバンド変換の一例を示す図である。
【図５】 本発明において用いられる色変換の一例を示す図である。
【図６】 図３に示すサブバンド変換の逆サブバンド変換の一例を示す図である。
【図７】 図５に示す色変換の逆色変換の一例を示す図である。
【図８】 本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図である。
【図９】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１０】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１１】 本発明が適用される符号化回路の別の構成例を示すブロック図である。
【図１２】 本発明が適用される復号化回路の別の構成例を示すブロック図である。
【図１３】 本発明を画像処理装置へ適用した場合の適用例を示す図である。
【図１４】 本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図である。
【図１５】 本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図である。
【図１６】 図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。
【図１７】 図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１８】 図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１９】 本発明がモーションーＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２０】 フレームを並べた圧縮符号の一例を示す図である。
【図２１】 本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２２】 圧縮符号の構成例を示す図である。
【図２３】 本発明に係る動画像符号化回路、復号化回路の適用例を示す図である。
【図２４】 従来公知の符号化回路の一例を示すブロック図である。
【図２５】 従来公知の符号化回路の一例を示すブロック図である。
【図２６】 従来公知の符号化回路の一例を示すブロック図である。
【符号の説明】
１…所定領域、１０…第１のサブバンド変換部、１１…第２のサブバンド変換部、１２…第３のサブバンド変換部、１３〜１６…サブバンド変換部、２０…第１の色変換部、２１…第２の色変換部、２２…第３の色変換部、２３…色変換部、３０…エントロピー符号化部、３１…圧縮符号、４０…エントロピー復号化部、５０…第１の逆色変換部、５１…第２の逆色変換部、５２…第３の逆色変換部、６０…第１の逆サブバンド変換部、６１…第２の逆サブバンド変換部、７０…記憶装置、７１…符号化回路、７２…記憶手段、７３…復号化回路、８０…デジタルカラー画像形成装置、８１…ＲＩＰ部、８２…画像処理部、８３…書込部、８４…スキャナ、８５…液晶パネル、９１…感光体、９２…現像装置、９３…定着装置、９４…帯電装置、９５…クリーニング装置、９６…中間転写体、９７…給紙トレイ、９８…紙搬送路、１００…ネットワーク、１０１…サーバ、１０２，１０３，１０４…ＰＣ、１０２ａ，１０３ａ…ＣＤ−ＲＯＭ、１１０…フレーム内符号化回路、１１１…フレーム内復号化回路、１１２…フレーム分解部、１１３…Ｉピクチャ符号化回路、１１４…Ｂピクチャ符号化回路、１１５…Ｐピクチャ符号化回路、１１６…Ｉピクチャ復号化回路、１１７…Ｂピクチャ復号化回路、１１８…Ｐピクチャ復号化回路、１１９…フレーム結合部、１２０…配信センター、１２１，１２２…ＴＶ、１２３…ケーブル。
【発明の属する技術分野】
本発明は、画像処理装置、より詳細には、デジタルカラー画像を符号化／復号化するための画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、例えば、デジタルカメラ、コンピュータ、プリンタ、複写機といったデジタルカラー画像を取り扱う画像処理装置は広く普及している。しかし、高画質なカラー画像は多くの画素から構成されるので、各種装置内においてその保存のために大量のメモリ容量を必要とするばかりではなく、インターネット等を介した伝送に際して時間がかかるといった扱いにくさが生じる。そこで、従来よりカラー画像を効率的に圧縮するための様々な手段が提案されている。このうちサブバンド変換を用いる技術では、カラー画像に対してまず色変換を行なって輝度信号と色差信号に分け、その後、輝度信号のみ、あるいは輝度信号と色差信号の両者に対してサブバンド変換を施すという手法が知られている。
【０００３】
例えば、昭和６１年６月３，４日開催の「昭和６１年度画像電子学会 第１４回全国大会」の予稿集に記載されているＮｏ.２４「均等色空間に基づくカラー画像の符号化」（大島、門馬、窪田）における手法を図２４に示す。図中、２００は、ＲＧＢ―Ｌａｂ変換部、２０１，２０２は、色差平均化部、２０３は、輝度サブサンプリング部、２０４，２０５は、色差サブサンプリング部、２０６は、符号化部である。まず、ＲＧＢ−Ｌａｂ変換部２００において色変換（ＲＧＢ→Ｌａｂ変換）されたカラー画像データは、色差平均化部２０１，２０２において、劣化させても画質上影響の少ない色信号ａ，ｂのみが２×２画素ブロック単位で４画素平均化される。その後、画像データは、明度信号と色信号が夫々輝度サブサンプリング部２０３、色差サブサンプリング部２０４，２０５でサブサンプリングされ、符号化部２０６で符号化される。
【０００４】
また、上述の手法と同様な考えに基づく特開昭６３−９２８２号公報に記載された手法を図２５に示す。図中、３００は、Ｒ色ブロック、３０１は、Ｇ色ブロック、３０２は、Ｂ色ブロック、３０３は、色変換部、３０４は、輝度直交変換部、３０５，３０６は、色差代表色算出部、３０７，３０８，３０９は、量子化・符号化部である。まず、Ｒ色ブロック３００、Ｇ色ブロック３０１、Ｂ色ブロック３０２のブロック単位毎に、色変換部３０３で色変換されたカラー画像データは、輝度直交変換部３０４で明度信号が直交変換されて直流成分および交流成分に変換され、直流・交流成分ともに量子化・符号化部３０７で量子化・符号化される。他方、色信号は、色差代表色算出部３０５，３０６でブロック内の情報を１色で表した代表色（本実施例ではブロック平均値）が算出された後、量子化・符号化部３０８，３０９で代表色のみが量子化・符号化される。
【０００５】
さらに動画像符号化においても、色変換処理後にサブバンド変換を行うという処理がもっぱら用いられている。例えば、ＭＰＥＧ２においては、各フレームは輝度信号であるＹ信号と、色差信号であるＣｒ信号、Ｃｂ信号とからなる信号として符号化される。このように、従来のカラー画像の符号化は、まず色変換により情報を偏らせ、その後に、必要に応じ明度信号・色信号毎に位置的相関を用いてさらに情報を偏らせることを基本的な処理の流れとしていた。
【０００６】
一方、カラー画像を簡易に扱う方法の一つとして、近年、オリジナルのカラー画像から低解像度画像を作り、この低解像度画像を表示に使用する手法が広く用いられている。例えば、低解像度画像のみを伝送するのに要する時間はフルサイズのカラー画像を伝送する時間に比べて数分の１から数十分の１と短くできるために、インターネット等において、まずは低解像度画像の一覧を表示させ、ユーザが選択した後にフルサイズ画像を表示することが行なわれる。このような表示用の低解像度画像はサムネイル画像と呼ばれる。
【０００７】
サブバンド変換を用いた符号化において、低周波係数をサムネイル画像に用いるという考えは従来より知られている。例えば、特開平１１−４３４３号公報に記載されたＲＧＢ色成分ごとに個別にサブバンド変換して得られた低周波画像をサムネイル画像として使用する方法、およびＲＧＢ色成分を輝度、色差信号に色変換してから輝度、色差の各信号に対してサブバンド変換を施し、得られた低解像度の輝度信号と色差信号から低解像度のＲＧＢ信号を算出してサムネイル画像とする方法が開示されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、色変換後にサブバンド変換を行うという従来の方式は必ずしもカラー画像の符号化に最適な方式というわけではなく、回路規模の面で無駄が多かった。具体的には、冗長度削減効果が高いサブバンド変換を処理の最上流で行なわないので、本来少数でよいはずの色変換回路が増大するという問題があった。また、特にサムネイル画像を作成する場合においては、上流で輝度、色差へと変換することによって回路規模が増大することに加え、低解像度画像を作るための逆色変換処理が必要になり、サムネイル画像作成のために更に回路が必要となり、且つ処理時間が増大するという欠点があった。
【０００９】
一方、特開２０００−２３１９６号公報では、低解像度画像を素早く表示させるために、復号時にまず低周波成分を逆色変換してサムネイル画像を得、解像度の高い画像を復元する際には逆色変換、逆サブバンド変換の順で変換を施す方法が開示されている。しかし、かかる方法においても、低解像度画像を得るためにまず逆色変換を行なわなければならないため、処理速度はその分だけ遅れ、また逆色変換回路が必要となる。特にサムネイル表示や動画の復元においては、復号処理時間の短縮は重要であり、今まで以上に早い時間で復号可能な画像処理が必要とされている。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、カラー画像の圧縮において従来より回路規模が少なくてすむ符号化装置、復号化装置、符号化方法、復号化方法、そのための方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータが読取可能な記録媒体を提供すること、を目的としてなされたものである。
また、本発明の別の目的は、サムネイル表示や動画の復号に適した復号化装置等を提供することである。
【００１１】
【課題を解決するための手段】
請求項１の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２のサブバンド変換手段で変換された低周波係数、前記第２の色変換手段で色変換された明度信号及び色差信号、及び前記第１の色変換手段で色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１３】
請求項２の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、前記第２の色変換手段で色変換された明度信号及び色差信号と前記第１の色変換手段で色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１４】
請求項３の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換手段と、前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、前記色変換手段で色変換された明度信号及び色差信号と前記第２のサブバンド変換手段で変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化手段とを有することを特徴としたものである。
【００１９】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記低周波係数をサムネイル画像として表示する表示手段を有することを特徴としたものである。
【００２０】
請求項５の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２のサブバンド変換ステップで変換された低周波係数、前記第２の色変換ステップで色変換された明度信号及び色差信号、及び前記第１の色変換ステップで色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２１】
請求項６の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、前記第２の色変換ステップで色変換された明度信号及び色差信号と前記第１の色変換ステップで色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２２】
請求項７の発明は、ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換ステップと、前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、前記色変換ステップで色変換された明度信号及び色差信号と前記第２のサブバンド変換ステップで変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化ステップとを有することを特徴としたものである。
【００２３】
請求項８の発明は、請求項５乃至７のいずれか１の発明における画像処理方法をコンピュータに実行させるためのプログラムである。
【００２４】
請求項９の発明は、請求項８の発明におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００３２】
【発明の実施の形態】
図１，図３，図４は、本発明において用いられるサブバンド変換の一例を示す図である。本発明においてサブバンド変換は、１次元に適用しても２次元に適用しても良い。例えば、１次元に適用した場合には図１に示す形となり、２つの画素値Ｘ（２ｋ），Ｘ（２ｋ−１）が１つの低周波係数Ｌと１つの高周波係数Ｈとに変換される。ここで、Ｘ（ｊ）は色成分Ｘの画像データにおける１次元位置ｊでの画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。
【００３３】
図２は、サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図で、図２（Ａ）中、１は、サブバンド変換が適用される所定領域（太枠で囲った領域）で、該所定領域１は、画素１ａ，１ｂ，１ｃ，１ｄの４つの画素からなり、画素１ａ〜１ｄの４つの画素値Ｘ（ｊ，ｍ）が１つの低周波係数ＬＬと、３つの高周波係数ＬＨ，ＨＬ，ＨＨとに変換される。ここでＸ（ｊ，ｍ）は色成分Ｘの画像データにおける２次元位置（ｊ，ｍ）での画素値であり、インデックスとして用いられる「ｘ」は色成分であるＲＧＢのいずれかを示す。２次元に適用する場合には、図１に示したサブバンド変換を水平方向に適用する。図２（Ｂ）にその結果を示す。その後、さらに垂直方向に適用すればよく、図２（Ｃ）にその結果を示す。具体的にはＬＬ，ＬＨ，ＨＬ，ＨＨとして図３に示すような値が得られる。
【００３４】
なお、本発明に適用できるサブバンド変換は上述の例に限られない。図４に１次元的な形としてその他のサブバンド変換の例を示し、いわゆるハール変換を始めとするウェーブレット変換全般、あるいはＤＣＴ変換やアダマール変換を適用しても良い。本発明におけるサブバンド変換とは、例えば、周波数変換、ウェーブレット変換といった情報を波の集合として表現する変換の総称として用いられ、本発明は、各色成分ごとの位置的相関を利用した変換であれば、あらゆるサブバンド変換に適用できる。
【００３５】
また、水平方向に図１のサブバンド変換を施した後、垂直方向には図４に示すサブバンド変換を施しても良い。本発明において重要なのは、低解像度画像として使用できる低周波係数、および、低周波係数と演算されることによってもとの画素を完全にあるいは劣化を伴って復元できる高周波係数とに変換することである。本実施例では図３に示す２次元的なサブバンド変換を使用するものとする。図６は、図３に示すサブバンド変換の逆サブバンド変換の一例を示す図で、この場合、復号化時には図６に示す各式によって画素値が復元される。なお、以下の説明においては画素値およびサブバンド係数の座標は省略し、例えばＬＬｘ（ｉ，ｋ）ではなく単にＬＬｘと略記する。
【００３６】
また、周知のようにサブバンド変換を２階層以上にわたり適用することも可能である。具体的には、低周波係数ＬＬの集合に対して図３に示す式に従ってサブバンド変換を行なうことで２階層のサブバンド変換が達成される。そこで以下の説明では階層を簡易に表すためにサブバンド係数に数字をつける。例えば、ＬＬ１ｘ（ｉ，ｋ）は画素値を変換して得られた１階層目のＬＬ係数であり、ＬＬ２ｘ（ｉ，ｋ）はＬＬ１ｘ（ｉ，ｋ）に対してさらに変換を施して得られた２階層目のＬＬ係数を示す。
【００３７】
また、図５は、本発明において用いられる色変換の一例を示す図で、本実施例において使用される。以下の説明において、「明度信号と色信号に変換」することを単に「色変換」とし、よってＲＧＢ色を変換する場合のみならず、サブバンド変換係数を「明度信号と色信号に分離するのと同じ変換」で変換することも「色変換」とし、そのような変換をする回路を「色変換部」または「色変換回路」という。無彩画像に対しては色信号に対応する信号が０となる点で通常の色変換と共通するからである。図７は、図５に示す色変換の逆色変換の一例を示す図である。
【００３８】
（実施例１）
図８は、本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図で、図８（Ａ）は、静止画像を圧縮するための符号化回路を示すブロック図である。図中、１０は、第１のサブバンド変換部、１１は、第２のサブバンド変換部、２０は、第１の色変換部、２１は、第２の色変換部、３０は、エントロピー符号化部、３１は、圧縮符号である。本実施例では、ＲＧＢ３色から構成されるデジタルカラー画像に対して図３に示すサブバンド変換を２階層施して圧縮する場合を考える。まず、ＲＧＢの各色成分で構成されたカラー画像データは、所定の画素ブロック単位ごとに第１のサブバンド変換部１０に送られる。第１のサブバンド変換部１０は画素情報を、各色ごとに１つの低周波成分ＬＬ１ｘと３つの高周波成分ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘとに変換する。ここでインデックスｘは、ＲＧＢ各成分について変換を行なうことを示している。
【００３９】
第１階層の高周波成分であるＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘは、第１の色変換部２０に送られ、図５に示す方法によりＹｚ１，Ｕｚ１，Ｖｚ１に色変換される。ここで、インデックスｚは各高周波成分について変換を行なうことを示している。また、ｚのあとの数字は高周波成分の階層を示す。
【００４０】
一方、第１階層の低周波成分であるＬＬ１ｘは第２のサブバンド変換部１１に送られ、１つの低周波成分ＬＬ２ｘと３つの高周波成分ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘとに変換される。ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘは更に第２の色変換部２１においてＹｚ２，Ｕｚ２，Ｖｚ２に色変換される。
【００４１】
エントロピー符号化部３０は、第２階層の低周波成分ＬＬ２ｘ、第２階層の高周波成分を色変換した情報であるＹｚ２，Ｕｚ２，Ｖｚ２，及び、第１階層の高周波成分を色変換した情報であるＹｚ１，Ｕｚ１，Ｖｚ１をエントロピー圧縮し、圧縮符号３１を作成する。エントロピー圧縮方法としては、例えば、ＪＰＥＧ２０００方式，算術符号化方式といった、公知のあらゆるエントロピー圧縮法が採用可能である。
【００４２】
ただし本実施例では、低周波成分ＬＬ２ｘをサムネイル画像として用いることができるようにするために、ＬＬ２ｘに関するエントロピー符号化は他の係数とは独立に行なう。例えば、先に符号化した情報の傾向に基づいて学習しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数の学習結果を参照せずに符号化・復号化されるようにし、また他の係数を参照しながら符号化・復号化を進めるタイプのエントロピー圧縮方式を用いる場合には、ＬＬ２ｘが他の係数を参照しないようにする。
【００４３】
図８（Ｂ）は、図８（Ａ）に示した圧縮符号３１の概略の構成例を示す図で、図中、該圧縮符号３１は、左側から、エントロピー圧縮されたＬＬ２ｘ成分３１ａ、エントロピー圧縮されたＹｚ２，Ｕｚ２，Ｖｚ２成分３１ｂ、エントロピー圧縮されたＹｚ１，Ｕｚ１，Ｖｚ１成分３１ｃが埋め込まれている。図８（Ｂ）の左側ほど、送信等において優先度の高い情報が詰め込まれており、ＬＬ２ｘが最も優先度が高くなっている。本実施例の符号では、圧縮符号３１を転送する場合にはまず第２階層の情報が転送され、その後に第１階層の高周波成分が転送されることになる。また、図示は省略するが、圧縮符号の先頭には各係数の先頭アドレス等を示すヘッダーが付加されている。
【００４４】
本実施例の符号を作成後にＬＬ２ｘのみをサムネイル画像として使用する場合には、ＬＬ２ｘのみを復号化すればサムネイル画像が得られる。このとき、低周波係数のビット数がもとのビット数よりも増えてしまうような場合には、必要に応じて下位ビットを削減すればよい。なお、本発明において適用可能な符号構成の他の実施例としては、第１階層の高周波成分の上位プレーンが第２階層の高周波成分の下位プレーンよりも優先度が高くなるように構成することも可能である。そのように符号を構成すると、圧縮符号３１のうち優先度の低い部分を削除したときでも、画像内の強いエッジ情報を再現することができる。
【００４５】
図８（Ｃ）は、図８（Ａ）に示す符号化回路で作成した圧縮符号３１を伸長するための復号化回路を示すブロック図である。図中、４０は、エントロピー復号化部、５０は、第１の逆色変換部、５１は、第２の逆色変換部、６０は、第１の逆サブバンド変換部、６１は、第２の逆サブバンド変換部である。圧縮符号３１はエントロピー復号化部４０にてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１へと復元される。Ｙｚ２，Ｕｚ２，Ｖｚ２及びＹｚ１，Ｕｚ１，Ｖｚ１は、第２の逆色変換部５１及び第１の逆色変換部５０において、図７に示す式に従いそれぞれＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘ及びＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘへと変換される。ＬＬ２ｘは第２の逆サブバンド変換部６１において図６に示す式に従いＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘと演算されてＬＬ１ｘが復号化され、ＬＬ１ｘは第１の逆サブバンド変換部６０において図６に示す式に従いＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘと演算されて、ＲＧＢ画像データの画素値が復元される。
【００４６】
次に、本発明が適用された図８に示す符号化回路及び復号化回路と、従来例との比較を行う。図８に示した符号化回路及び復号化回路は、従来のものに比べて回路数を削減することができることを図８（Ａ）、図２６を用いて説明する。まず、図８（Ａ）に示す各変換部において必要な演算回路数は、第１のサブバンド変換部１０が４８個、第２のサブバンド変換部１１が１２個、第１の色変換部２０が３６個、第２の色変換部２１が９個となる。これは、例えば、第１のサブバンド変換部１０では３色×１６画素分の演算を行なうため、演算回路が４８個必要になるからである。
【００４７】
図２６は、従来公知の符号化回路の一例を示すブロック図で、図中、２３は、色変換部、１３〜１６は、サブバンド変換部である。図２６に示す符号化回路は、図８（Ａ）と同様にＲＧＢ３色からなるデジタルカラー画像を色変換及び２階層のサブバンド符号化によって符号化するための符号化回路である。但し、図２６においては各色の画像データは色変換部２３で色変換され、輝度成分はサブバンド変換部１３に、色差成分はサブバンド変換部１４に送られる。その後、輝度成分はサブバンド変換部１３，１５において、また色差成分はサブバンド変換部１４，１６において２階層の符号化を施され、その結果得られた係数がエントロピー符号化部３０にて圧縮符号３１へと符号化される。
【００４８】
図２６に示す各変換部において必要な演算回路数は、色変換部２３が４８個、サブバンド変換部１３が１６個、サブバンド変換部１４が３２個、サブバンド変換部１５が４個、サブバンド変換部１６が８個となる。図８（Ａ）と図２６との必要な演算回路数を比較すると、図８（Ａ）に示す符号化回路では、４８＋３６＋１２＋９＝１０５の回路が必要であるのに対し、従来例の図２６に示す符号化回路では、４８＋１６＋３２＋４＋８＝１０８の回路が必要となり、図８（Ａ）に示す符号化回路では演算回路数を、図２６に示す従来例の符号化回路よりも削減可能であることが分かる。
【００４９】
また、低解像度画像をサムネイル画像として使用する場合を考えると、従来例では圧縮符号の中に存在するのは輝度信号の低周波成分及び色差信号の低周波成分である。このため、従来例においてサムネイル画像を作成するためには、輝度信号の低周波成分及び色差信号の低周波成分を演算して各色成分ごとの低解像度画像を得る必要がある。この結果、サムネイル画像の作成に時間がかかりユーザの快適な利用を妨げることになる。かかる困難を回避するために従来例の符号化回路の後に輝度と色差の低周波成分を演算し、各色の低周波成分を得る演算回路を付加しても良いが、その場合には余分な回路が必要となり、また復号化時にも余計な時間がかかることになる。これに対し、図８（Ａ）に示す符号化回路では、ＬＬ２ｘが圧縮符号の先頭に存在するので、低周波成分を逆色変換せずにサムネイル画像として使用することできる。なお、図８（Ａ）に示すようにＬＬ２ｘにもエントロピー符号化を行なう場合には、ＬＬ２ｘが色変換されていない形であるために従来例よりも圧縮率が若干落ちる可能性もあるが、もともとサムネイル画像は非常に小さいために、両者の圧縮率の差はわずかである。
【００５０】
（実施例２）
図９は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図９（Ａ）は、符号化回路を示すブロック図、図９（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図９（Ｃ）は、復号化回路を示すブロック図である。図８と図９に示す回路の違いは、図８ではＬＬ２ｘをエントロピー符号化していたのに対して、図９ではエントロピー符号化しない点のみで異なる。このため、回路的に共通部分が多いので、図８と図９に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。
【００５１】
図９（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＬ２ｘがエントロピー符号化部３０において圧縮されない点である。この違いにより、本実施例の圧縮符号３１は図９（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＬ２ｘが非圧縮のまま圧縮符号が構成されている。図９（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、ＬＬ２ｘがエントロピー復号化部４０において復号化されない点のみが異なる。本実施例の符号化回路・復号化回路は、前述の実施例１に示す回路に比べ、ＬＬ２ｘが非圧縮状態であるのでサムネイル画像をより素早く表示可能である。なお、本実施例においても、実施例１に示す回路と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５２】
（実施例３）
図１０は、本発明が適用される符号化、復号化回路の別の構成例を示す図である。図１０（Ａ）は、符号化回路を示すブロック図、図１０（Ｂ）は、圧縮符号３１の概略の構成例を示す図、図１０（Ｃ）は、復号化回路を示すブロック図である。図８と図１０に示す回路の違いは、図８ではＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘを第２の色変換部２１にて色変換していたのに対し、図１０では色変換しない点のみが異なる。このため、回路的に共通部分が多いので、図８と図１０に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換方法も前述の実施例１と同様である。図１０（Ａ）に示す符号化回路の基本的な働きは、図８（Ａ）に示す符号化回路と同様である。違いは、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが第２の色変換部２１において色変換されない点である。この違いにより、本実施例の圧縮符号３１は図１０（Ｂ）に示す構成をとる。図８（Ｂ）に示す構成に比べて本実施例の符号はＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換されないまま圧縮符号が構成されている。図１０（Ｃ）には本実施例の復号化回路を示すが、図８（Ｃ）に示す復号化回路との違いは、第２の逆色変換部５１が存在しない点のみが異なる。
【００５３】
本実施例の符号化回路・復号化回路は、前述の実施例１に比べ、色変換回路・逆色変換回路が存在しないので回路数が少なくてすむ。なお、本実施例においても、実施例１と同様に、従来例に比べ符号化回路・復号化回路を構成する演算回路数は削減されており、さらに、サムネイル画像が素早く表示できるというメリットがある。
【００５４】
図１１は、本発明が適用される符号化回路の別の構成例を示すブロック図である。これまで、本発明を２階層の階層的符号化を用いて説明してきたが、もちろん、図１１（Ａ）に示すように１階層の階層的符号化に適用することもできるし、あるいは、図１１（Ｂ）に示すように３階層の階層的符号化に適用することもできる。
【００５５】
（実施例４）
図１２は、本発明が適用される復号化回路の別の構成例を示すブロック図で、図中、５２は、第３の逆色変換部である。図８（Ｃ）と図１２に示す回路の違いは、図１２では第３の逆色変換部５２が存在する点である。図１２に示す復号化回路は、図２６に示す従来例の符号化回路で符号化された圧縮符号も、図８（Ａ）に示す本発明の符号化回路で符号化された圧縮符号も、ともに伸長可能となっている。回路的に共通部分が多いので、図８（Ｃ）と図１２に示す回路で同じ機能を果たす演算回路には同じ記号を割り付けてある。また、サブバンド変換としては図４に示すハール変換を用いるものとする。
【００５６】
図１２に示す復号化回路の基本的な働きは、図８（Ｃ）に示す復号化回路と同様である。違いは、エントロピー復号化部４０の働きと、第３の逆色変換部５２が存在する点である。図１２において、エントロピー復号化部４０は圧縮符号３１のヘッダーを参照することにより、復号化対象である圧縮符号が図２６に示す符号化回路で符号化された圧縮符号であるのか、あるいは、図８（Ａ）に示す符号化回路で符号化された圧縮符号であるのかを識別する。識別結果は識別情報として第３の逆色変換部５２に送られる。
【００５７】
また、エントロピー復号化部４０から第３の逆色変換部５２には、圧縮符号３１が図２６に示す符号化回路で符号化された圧縮符号である場合には輝度信号の低周波成分及び色差信号の低周波成分が、圧縮符号３１が図８（Ａ）に示す符号化回路で符号化された圧縮符号である場合にはＬＬ２ｘが送られる。第３の逆色変換回路５２は、識別情報を参照し、図２６に示す符号化回路で符号化された圧縮符号を復号化する場合には逆色変換を行ない、図８（Ａ）に示す符号化回路で符号化された圧縮符号を復号化する場合には信号を、そのまま第２の逆サブバンド変換部６１へと送る。このような構成により、第２の逆サブバンド変換部６１はＬＬ２ｘ情報を得ることができる。
【００５８】
一方、高周波成分については、図４に示すサブバンド変換及び図５に示す色変換はともに線形変換であるために、図８（Ａ）に示す符号化回路によって得られる「高周波係数を色変換した情報」と、図２６に示す符号化回路によって得られる「色変換係数をサブバンド変換して得られた高周波係数情報」とは等しくなる。従って、圧縮符号がどちらの符号化回路で圧縮されたかによらず第２の逆色変換部５１、第１の逆色変換部５０、第２の逆サブバンド変換部６１、第１の逆サブバンド変換部６０によって画素情報を復元することができる。このように、本実施例に示す復号化回路は、本発明の符号化回路で作成した圧縮符号については短時間で復号化／サムネイル表示可能であるとともに、従来例で作成した圧縮符号についても伸長することができる。
【００５９】
（画像処理装置への適用例）
図１３は、本発明を画像処理装置へ適用した場合の適用例を示す図で、図中、７０は、記憶装置であって、該記憶装置７０は、符号化回路７１、復号化回路７３、ＨＤＤ等の記憶手段７２からなる。図１３においては符号化回路・復号化回路として前述の図９に示したものを用いる。デジタルカラー画像は符号化回路７１によって図９（Ａ）に示すように符号化され、圧縮符号が記憶手段７２に格納される。格納された圧縮符号は、必要に応じてサムネイル画像として記憶装置７０から読み出される。また、格納された圧縮符号は、必要に応じて復号化回路７３によって図９（Ｃ）に示すように復号化され、伸長画像として記憶装置７０から読み出される。ここで、本適用例では図９に示した符号化回路・復号化回路を使用しているためにサムネイル画像は直接、記憶手段７２から記憶装置７０外に送られたが、図８，図１０，図１１，図１２に示す符号化回路・復号化回路を使用する場合に、サムネイル画像は復号化装置７３、または別に設けた専用の復号化装置で復号化された上で記憶装置７０外に送られることになる。
【００６０】
（画像形成装置への適用例）
図１４は、本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図で、図中、８０は、デジタルカラー画像形成装置であって、該画像形成装置８０は、記憶装置７０、ＲＩＰ部８１、画像処理部８２、書込部８３、スキャナ８４、液晶パネル８５、感光体９１、現像装置９２、定着装置９３、帯電装置９４、クリーニング装置９５、中間転写体９６、給紙トレイ９７、紙搬送路９８からなり、１００は、ネットワークである。まず、スキャナ８４から読み込まれた画像データ又は、ネットワーク１００を介してＲＩＰ部８１に入力された画像データは、図１３に示した記憶装置７０へと送られ、複数部数出力機能やデジタルメモリ機能実現のために図１３に示す記憶手段７２に記憶される。編集等のために画像の概要を表示する際には、サムネイル画像が記憶装置７０から液晶パネル８５へと送られ、画像形成時には伸長画像が画像処理部８２へと送られる。画像処理部８２でフィルタ処理、階調処理等を施された画像データは書込部８３にて書込み信号に変換され、書込み信号は感光体９１上を走査する。公知の電子写真プロセスによって、感光体９１の表面は帯電装置９４により帯電され、書込部８３により静電潜像が形成され、現像装置９２にてトナー像として現像される。現像されたトナー像は中間転写体９６に転写され、さらに中間転写体９６上のトナー像は記録用紙に転写され、記録用紙上のトナー像は定着装置９３において定着させられる。
【００６１】
（伝送媒体、記録媒体における適用例）
図１５は、本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図で、図中、１０１は、サーバであって、該サーバ１０１は、復号化プログラム格納部１０１ａ、記憶装置７０を有し、１０２，１０３，１０４は、ＰＣ、１０２ａ，１０３ａは、ＣＤ−ＲＯＭである。サーバ１０１とＰＣ１０２，１０３，１０４はネットワーク１００を介して接続されている。
【００６２】
図１５に示すサーバ１０１は、本発明にかかる符号化方法で符号化された圧縮符号の配信や、本発明にかかる復号化プログラムの配信を行なう事業者の有するサーバである。また、例えば、インターネット等のネットワーク１００を介して接続されたＰＣ１０２，１０３は、ユーザが使用するＰＣ端末である。ＰＣ１０２のユーザは圧縮符号のみが格納されたＣＤ−ＲＯＭ１０２ａを購入したために、サーバ１０１の復号化プログラム格納部１０１ａより、復号化プログラムを有償又は無償でダウンロードして、圧縮符号を伸長する。一方、ＰＣ１０３を使用するユーザは圧縮符号及び復号化プログラムが記録されたＣＤ−ＲＯＭ１０３ａを購入したので、ダウンロードすることなく本発明の復号化方法を用いて圧縮符号を復号化可能である。ここで、復号化プログラム格納部１０１ａ内にある復号化プログラムと、ＣＤ−ＲＯＭ１０３ａ内の復号化プログラムは同じものである。
【００６３】
図１６は、図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。まず、ＲＧＢ画像データは所定の画素ブロック単位毎にサブバンド変換部に送られ（ステップＳ１）、サブバンド変換処理においてＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘの各々に変換される（ステップＳ２，第１のサブバンド変換部１０に対応）。次いで、ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘが色変換処理によってＹｚ１，Ｕｚ１，Ｖｚ１に変換され（ステップＳ３，第１の色変換部２０に対応）、サブバンド変換処理によってＬＬ１ｘがＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘへと変換される（ステップＳ４，第２のサブバンド変換部１１に対応）。続いて、ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘが色変換処理によってＹｚ２，Ｕｚ２，Ｖｚ２に変換され（ステップＳ５，第２の色変換部２１に対応）、エントロピー符号化処理によってＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１が圧縮符号として符号化される（ステップＳ６，エントロピー符号化部３０に対応）。
【００６４】
以上のステップＳ１〜Ｓ６の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて符号化が終了したか否かが判定され（ステップＳ７）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。なお、以上は図８（Ａ）に示す符号化回路の処理を実行した場合であるが、図９（Ａ）に示す符号化回路の処理を実行する場合は、ステップＳ６でＬＬ２ｘに関してはエントロピー符号化しなければ良く、図１０（Ａ）に示す符号化回路の処理を実行する場合はステップＳ５を省けばよい。
【００６５】
図１７は、図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号はエントロピー復号化処理においてＬＬ２ｘ，Ｙｚ２，Ｕｚ２，Ｖｚ２，Ｙｚ１，Ｕｚ１，Ｖｚ１の各々に復号化される（ステップＳ１１，エントロピー復号化部４０に対応）。次いで，Ｙｚ２，Ｕｚ２，Ｖｚ２が逆色変換処理によってＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘに変換され（ステップＳ１２，第２の逆色変換部５１に対応）、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ１３，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ１４，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ１５，第１の逆サブバンド変換部６０に対応）。
【００６６】
以上のステップＳ１１〜Ｓ１５の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ１６）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。サムネイル画像を作成する際は、エントロピー復号化処理（ステップＳ１１）においてＬＬ２ｘのみを復号化し、ステップＳ１２〜Ｓ１６はスルーすればよい。なお、以上は図８（Ｃ）に示す復号化回路の処理を実行した場合であるが、図９（Ｃ）に示す復号化回路の処理を実行する場合は、ステップＳ１１でＬＬ２ｘに関してはエントロピー復号化しなければ良く、図１０（Ｃ）に示す復号化回路の処理を実行する場合はステップＳ１２を省けばよい。
【００６７】
図１８は、図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。まず、圧縮符号のヘッダー認識処理を行い（ステップＳ２１）、エントロピー復号化処理（ステップＳ２２）を行った後に、復号化対象となる圧縮符号が本発明にかかる符号化回路によって符号化されたものか否かが判定され（ステップＳ２３）、ＮＯなら逆色変換処理がなされ（ステップＳ２４，第３の逆色変換部５２に対応）、ＹＥＳなら第２の逆色変換部５１へと進む（ステップＳ２５）。以下、図１７に示すフローチャートと同様に、逆サブバンド変換処理によってＬＬ２ｘ，ＬＨ２ｘ，ＨＬ２ｘ，ＨＨ２ｘがＬＬ１ｘへと変換される（ステップＳ２６，第２の逆サブバンド変換部６１に対応）。続いて、Ｙｚ１，Ｕｚ１，Ｖｚ１が逆色変換処理によってＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘに変換され（ステップＳ２７，第１の逆色変換部５０に対応）、逆サブバンド変換処理によってＬＬ１ｘ，ＬＨ１ｘ，ＨＬ１ｘ，ＨＨ１ｘがデジタルカラー画像データへと復号化される（ステップＳ２８，第１の逆サブバンド変換部６０に対応）。以上のステップＳ２１〜Ｓ２８の処理はブロック単位で実行され、１ブロックが終わると全てのブロックについて復号化が終了したか否かが判定され（ステップＳ２９）、ＮＯなら処理を続け、ＹＥＳなら処理を終了する。
【００６８】
本実施例においてユーザは、目的やウインドウのサイズに応じてサムネイル画像を選択することも、あるいはＬＬ１ｘ等、途中の階層までの伸長を行なうことも選択可能である。また、ＣＤ−ＲＯＭやインターネットを通じて画像を提供する提供者は、圧縮符号のヘッダー部に復号化プログラムを付加した形で画像を提供しても良い。
【００６９】
（実施例５）
図１９は、本発明がモーションＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図中、１１０は、フレーム内符号化回路、１１１は、フレーム内復号化回路である。この符号化は、動画像を静止画像の集合として構成し、フレーム内符号化を各静止画像フレームに適用することで動画像を符号化する方法である。図１９（Ａ）に動画像用フレーム内符号化回路１１０を示し、図１９（Ｂ）に動画像用フレーム内復号化回路１１１を示す。図１９（Ａ）において、動画像は１フレームずつフレーム内符号化回路１１０に送られ、各フレーム独立に符号化されて圧縮符号とされる。フレーム内符号化回路１１０としては、各フレームを符号化するために前述した図８（Ａ），図９（Ａ），図１０（Ａ）に示す静止画像用の符号化回路が使用可能である。図１９（Ｂ）において、圧縮符号は１フレーム分ずつフレーム内復号化回路１１１に送られ、各フレーム独立に復号化されて伸長される。フレーム内復号化回路１１１としては、各フレームを復号化するために前述した図８（Ｃ），図９（Ｃ），図１０（Ｃ）に示す静止画像用の復号化回路が使用可能である。
【００７０】
図１９（Ａ）に示す符号化回路で得られる圧縮符号は、フレームを色々な方法で並べることが可能である。図２０は、フレームを並べた圧縮符号の一例を示す図である。図２０（Ａ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっている。一方、図２０（Ｂ）に示す圧縮符号は、１フレーム目の低周波成分、１フレーム目の低周波成分以外、２フレーム目の低周波成分、というように、各フレームが順番に並んだ圧縮符号となっているが、安定した伝送を達成するために各フレームの長さが一定となっている。また、図２０（Ｃ）に示す圧縮符号は、各フレームの低周波成分が先頭に並べられた後に、各フレームの低周波成分以外の情報が順番に並んだ圧縮符号となっている。
【００７１】
なお図示はしないが、フレームの位置を示すポインタ等の情報を含むヘッダーが各圧縮符号に付加されている。動画像の概要のみを素早く復号化する場合には、ヘッダーに含まれるポインタ情報から各フレームの低周波成分のみを抜き出し、順次表示させればモーションＪＰＥＧ方式のサムネイル動画像が得られる。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７２】
（実施例６）
図２１は、本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図で、図２１（Ａ）中、１１２は、フレーム分解部、１１３は、Ｉピクチャ符号化回路、１１４は、Ｂピクチャ符号化回路、１１５は、Ｐピクチャ符号化回路、図２１（Ｂ）中、１１６は、Ｉピクチャ復号化回路、１１７は、Ｂピクチャ復号化回路、１１８は、Ｐピクチャ復号化回路、１１９は、フレーム結合部である。この符号化は、動画像を構成する各フレームを、フレーム内の情報のみによって符号化される（フレーム内符号化）Ｉピクチャと、動きベクトル等によって他フレームからフレーム内の情報を予測させた上で予測との差分が符号化されるＢピクチャ、Ｐピクチャとに分解することで動画像を符号化する方法である。図２１（Ａ）に動画像用符号化回路を示し、図２１（Ｂ）に動画像用復号化回路を示す。
【００７３】
図２１（Ａ）において、動画像はフレーム分解部１１２においてＩピクチャ、Ｂピクチャ、Ｐピクチャに分解され、それぞれのピクチャはＩピクチャ符号化回路１１３、Ｂピクチャ符号化回路１１４、Ｐピクチャ符号化回路１１５にて符号化された後に圧縮符号となる。本実施例では、Ｉピクチャ符号化回路１１３として前述した図８（Ａ）に示した静止画像用符号化回路を用いる。
【００７４】
図２１（Ｂ）において、圧縮符号はＩピクチャ復号化回路１１６、Ｂピクチャ復号化回路１１７、Ｐピクチャ復号化回路１１８にて復号化され、フレーム結合部１１９において再結合されて動画像となる。本実施例では、Ｉピクチャ復号化回路１１６として前述した図８（Ｃ）に示した静止画像用復号化回路を用いる。
【００７５】
図２２は、圧縮符号の構成例を示す図である。図２２（Ａ）では、１つのＩピクチャ、及び、Ｐピクチャ・Ｂピクチャ群を１つのまとまりとした符号の構成を示す。図２２（Ａ）において圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報（ここで、差分情報とは、フレーム間符号化において予測との差分を符号化した部分である。）、Ｂ，Ｐピクチャの動きベクトル情報の順で構成されている。また、図示しないがヘッダーが圧縮符号に付加され、各情報のアドレスを有している。
【００７６】
この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分のみを連続的に表示することで、コマ送り状態でサムネイル表示が可能となる。図２２（Ｂ）においては、圧縮符号は、Ｉピクチャの低周波成分、Ｉピクチャに関する低周波成分以外の情報、Ｂ，Ｐピクチャの差分情報、Ｂ，Ｐピクチャの動きベクトル情報、サムネイル画像のフレーム間符号化部分、の順で構成されている。ここで、サムネイル画像のフレーム間符号化部分とは、各Ｉピクチャのサムネイル画像の間を補間するための、サムネイル画像用の差分情報及び動きベクトルの部分である。この場合、動画像のサムネイル表示を行なう場合には、Ｉピクチャの低周波成分およびサムネイル画像のフレーム間符号化部分を用いて復号化することで、より滑らかなサムネイル表示が可能となる。
【００７７】
ここで、サムネイル画像用の差分情報及び動きベクトルは、公知のＭＰＥＧ方式によって得ることができる。またサムネイル画像用の差分情報及び動きベクトルを得る回路またはプログラムは、カラー動画像自体のフレーム間符号化回路またはフレーム間符号化プログラムと共用可能である。このように本発明によれば、カラー動画像の符号化／復号化を従来よりも少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に動画像を表示する場合にも、短時間で表示が可能である。
【００７８】
図２３は、本発明に係る動画像符号化回路、復号化回路の適用例を示す図で、図中、１２０は、配信センター、１２１，１２２は、ＴＶで、該ＴＶ１２１は、簡易表示画面１２１ａを有し、１２３は、ケーブルである。図２３（Ａ）において、配信センター１２０とは、ケーブルＴＶ配信会社であり、ケーブル１２３を介してＴＶ番組を配信している。配信センター１２０からのＴＶ番組（デジタル動画像の圧縮符号）はケーブル１２３を介して各ＴＶ１２１，１２２に配信される。ここで、ＴＶ１２１では１つの局を鑑賞中に他局の番組をチェックするべく、簡易表示画面１２１ａが設けられている。配信センター１２０は圧縮符号を送信する際、例えば、図２２（Ａ）に示すタイプの圧縮符号を用いる場合には、この簡易表示画面１２１ａ用にはサムネイル画像のみを用いることとし、図２３（Ｂ）に示す符号を配信する。これにより、第一局分として高精細な動画像が得られ、第二局分としてコマ送りのサムネイル画像が得られることになる。配信センター１２０が複数の場合には、図２３（Ｂ）に示す符号中、第一局分と第二局分の情報は別々の配信センターから送られ、ＴＶ１２１の内部でそれぞれ処理されることとなる。なお、本発明はＢＳ放送等にも同様に適用可能である。
【００７９】
また、別の適用例として、本発明が適用された符号化回路で符号化した動画像をインターネット等によって配信することも可能である。この場合、動画と静止画の違いはあるものの、図１５に示した配信方法が同様に適用可能である。
【００８０】
以上のように、本発明は、カラー静止画像、カラー動画像の符号化／復号化を少ない回路数で実現することを可能とし、また、特にサムネイル画像として簡易に静止画像、動画像を表示／配信する場合にも、短時間での処理が可能である。なお、本発明は上述した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変形して実行可能である。
【００８１】
【発明の効果】
以上の説明から明らかなように、本発明によると、カラー画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８２】
本発明によると、低周波成分を復号化する際に、他の成分を復号化する必要がないため、高速な処理が可能である。
【００８３】
本発明によると、低周波成分を復号化処理することなく、サムネイル画像を得ることができる圧縮符号が得られるので、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８４】
本発明によると、カラー画像の復号化を少ない回路数で実現でき、またサムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８５】
本発明によると、上述の効果に加え、従来の符号化手段で得られた圧縮符号をも復号化できる。
【００８６】
本発明によると、カラー動画像の符号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能な圧縮符号が構成できる。
【００８７】
本発明によると、カラー動画像の復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能である。
【００８８】
本発明によると、画質の良いサムネイル動画像を得ることが可能な圧縮符号を構成できる。
【００８９】
本発明によると、圧縮符号から画質の良いサムネイル動画像を得ることが可能となる。
【００９０】
本発明によると、サムネイル画像をネットワーク等を介して、送信し、表示することができる。
【００９１】
本発明によると、カラー画像の符号化、復号化を少ない回路数で実現でき、また、サムネイル画像を表示／配信する場合に短時間での処理が可能となる画像処理方法及び該方法をコンピュータに実行させるためのプログラムを提供することができる。
【図面の簡単な説明】
【図１】 本発明において用いられるサブバンド変換の一例を示す図である。
【図２】 サブバンド変換を２次元に適用した場合の生成符号の記述例を示す図である。
【図３】 本発明において用いられるサブバンド変換の一例を示す図である。
【図４】 本発明において用いられるサブバンド変換の一例を示す図である。
【図５】 本発明において用いられる色変換の一例を示す図である。
【図６】 図３に示すサブバンド変換の逆サブバンド変換の一例を示す図である。
【図７】 図５に示す色変換の逆色変換の一例を示す図である。
【図８】 本発明が適用される静止画像を圧縮するための符号化、復号化回路の一例を示す図である。
【図９】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１０】 本発明が適用される符号化、復号化回路の別の構成例を示す図である。
【図１１】 本発明が適用される符号化回路の別の構成例を示すブロック図である。
【図１２】 本発明が適用される復号化回路の別の構成例を示すブロック図である。
【図１３】 本発明を画像処理装置へ適用した場合の適用例を示す図である。
【図１４】 本発明をデジタルカラー画像形成装置に適用した場合の構成例を示すブロック図である。
【図１５】 本発明に係る復号化回路、復号化プログラムをネットワーク（伝送媒体）及びＣＤ−ＲＯＭ（記録媒体）を用いた配信に適用した場合の構成例を示す図である。
【図１６】 図８（Ａ）に示す符号化回路に対応した符号化プログラムの処理の一例を説明するフローチャートである。
【図１７】 図８（Ｃ）に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１８】 図１２に示す復号化回路に対応した復号化プログラムの処理の一例を説明するフローチャートである。
【図１９】 本発明がモーションーＪＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２０】 フレームを並べた圧縮符号の一例を示す図である。
【図２１】 本発明がＭＰＥＧタイプの動画像の符号化に適用された場合の構成例を示す図である。
【図２２】 圧縮符号の構成例を示す図である。
【図２３】 本発明に係る動画像符号化回路、復号化回路の適用例を示す図である。
【図２４】 従来公知の符号化回路の一例を示すブロック図である。
【図２５】 従来公知の符号化回路の一例を示すブロック図である。
【図２６】 従来公知の符号化回路の一例を示すブロック図である。
【符号の説明】
１…所定領域、１０…第１のサブバンド変換部、１１…第２のサブバンド変換部、１２…第３のサブバンド変換部、１３〜１６…サブバンド変換部、２０…第１の色変換部、２１…第２の色変換部、２２…第３の色変換部、２３…色変換部、３０…エントロピー符号化部、３１…圧縮符号、４０…エントロピー復号化部、５０…第１の逆色変換部、５１…第２の逆色変換部、５２…第３の逆色変換部、６０…第１の逆サブバンド変換部、６１…第２の逆サブバンド変換部、７０…記憶装置、７１…符号化回路、７２…記憶手段、７３…復号化回路、８０…デジタルカラー画像形成装置、８１…ＲＩＰ部、８２…画像処理部、８３…書込部、８４…スキャナ、８５…液晶パネル、９１…感光体、９２…現像装置、９３…定着装置、９４…帯電装置、９５…クリーニング装置、９６…中間転写体、９７…給紙トレイ、９８…紙搬送路、１００…ネットワーク、１０１…サーバ、１０２，１０３，１０４…ＰＣ、１０２ａ，１０３ａ…ＣＤ−ＲＯＭ、１１０…フレーム内符号化回路、１１１…フレーム内復号化回路、１１２…フレーム分解部、１１３…Ｉピクチャ符号化回路、１１４…Ｂピクチャ符号化回路、１１５…Ｐピクチャ符号化回路、１１６…Ｉピクチャ復号化回路、１１７…Ｂピクチャ復号化回路、１１８…Ｐピクチャ復号化回路、１１９…フレーム結合部、１２０…配信センター、１２１，１２２…ＴＶ、１２３…ケーブル。
Claims (9)
- ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、
前記第２のサブバンド変換手段で変換された低周波係数、前記第２の色変換手段で色変換された明度信号及び色差信号、及び前記第１の色変換手段で色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。 - ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記第２のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換手段と、
前記第２の色変換手段で色変換された明度信号及び色差信号と前記第１の色変換手段で色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。 - ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換手段と、
前記第１のサブバンド変換手段で変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換手段と、
前記色変換手段で色変換された明度信号及び色差信号と前記第２のサブバンド変換手段で変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化手段と、
を有することを特徴とする画像処理装置。 - 請求項１乃至３のいずれか１項に記載の画像処理装置において、前記低周波係数をサムネイル画像として表示する表示手段を有することを特徴とする画像処理装置。
- ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、
前記第２のサブバンド変換ステップで変換された低周波係数、前記第２の色変換ステップで色変換された明度信号及び色差信号、及び前記第１の色変換ステップで色変換された明度信号及び色差信号をエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 - ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第１の色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記第２のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う第２の色変換ステップと、
前記第２の色変換ステップで色変換された明度信号及び色差信号と前記第１の色変換ステップで色変換された明度信号及び色差信号とをエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 - ＲＧＢの各色成分で構成されたカラー画像データを各色成分毎に低周波係数と高周波係数とに変換する第１のサブバンド変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の高周波係数に対して明度信号と色差信号に変換する色変換処理を行う色変換ステップと、
前記第１のサブバンド変換ステップで変換された各色成分毎の低周波係数に対して、さらに低周波係数と高周波係数とに変換する第２のサブバンド変換ステップと、
前記色変換ステップで色変換された明度信号及び色差信号と前記第２のサブバンド変換ステップで変換された低周波係数及び高周波係数とをエントロピー符号化するエントロピー符号化ステップと、
を有することを特徴とする画像処理方法。 - 請求項５乃至７のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001044782A JP4159259B2 (ja) | 2001-02-21 | 2001-02-21 | 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001044782A JP4159259B2 (ja) | 2001-02-21 | 2001-02-21 | 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002247581A JP2002247581A (ja) | 2002-08-30 |
| JP4159259B2 true JP4159259B2 (ja) | 2008-10-01 |
Family
ID=18906712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001044782A Expired - Fee Related JP4159259B2 (ja) | 2001-02-21 | 2001-02-21 | 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4159259B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4513741B2 (ja) * | 2003-02-27 | 2010-07-28 | セイコーエプソン株式会社 | 特定の色空間を利用した画像再生 |
-
2001
- 2001-02-21 JP JP2001044782A patent/JP4159259B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002247581A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Furht et al. | Motion estimation algorithms for video compression | |
| US10614593B2 (en) | Image processing device and method | |
| TW496090B (en) | Circuit and method for modifying a region of an encoded image | |
| CN100415000C (zh) | 运动图象解码方法和运动图象解码装置 | |
| CN100579244C (zh) | 用于可伸缩编码和解码彩色视频的方法和设备 | |
| JP4855418B2 (ja) | 色差成分の相関関係を利用したカラー映像の符号化、復号化方法及びその装置 | |
| KR100512210B1 (ko) | 화상 복호 방법 및 장치 | |
| JP5143120B2 (ja) | 画像の符号化方法及び装置、復号化方法及び装置 | |
| JP2009543423A (ja) | 映像の符号化／復号化方法及び装置 | |
| CN104380740A (zh) | 编码装置、编码方法、解码装置和解码方法 | |
| JPH08265762A (ja) | 映像データ後処理方法 | |
| JP3651941B2 (ja) | 画像再生装置 | |
| JP4382284B2 (ja) | サブバンドの符号化／復号 | |
| JPH08265761A (ja) | 映像データ後処理方法 | |
| WO2006046551A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| WO2017005096A2 (zh) | 一种多路视频流的编码方法及装置 | |
| US10728544B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
| Mukhopadhyay | Image and video processing in the compressed domain | |
| JP2002247580A (ja) | 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置 | |
| TW519842B (en) | Circuit and method for formatting each of a series of encoded video images into respective regions | |
| JP2004104650A (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理用プログラム及び記憶媒体 | |
| US20080089413A1 (en) | Moving Image Encoding Apparatus And Moving Image Encoding Method | |
| JP3332580B2 (ja) | 画像再生装置及び画像再生方式 | |
| JP2006014086A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4159259B2 (ja) | 画像処理装置、画像処理方法、該画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録したコンピュータ読取可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080715 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |