JP4093870B2 - 画像処理装置、プログラムおよび記憶媒体 - Google Patents
画像処理装置、プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP4093870B2 JP4093870B2 JP2003022457A JP2003022457A JP4093870B2 JP 4093870 B2 JP4093870 B2 JP 4093870B2 JP 2003022457 A JP2003022457 A JP 2003022457A JP 2003022457 A JP2003022457 A JP 2003022457A JP 4093870 B2 JP4093870 B2 JP 4093870B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- binary image
- layer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Digital Camera）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Charge Coupled Device）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Personal Computer）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
また、近年においては、圧縮符号化した画像データを復号する際に、規定のフォーマット中に出力できるように、この復号画像のサイズを決定する技術についても開示されている（例えば、特許文献１参照））。
【０００８】
【特許文献１】
特開2001-105679公報
【０００９】
【発明が解決しようとする課題】
ところが、画像データをJPEG2000アルゴリズムで圧縮符号化した場合、JPEG2000の特徴量の一つであるＬＬ成分などは、たとえ２値画像が入力された場合であっても多値になってしまう。そのため、出力装置が多値に対応していないような場合には、出力装置側で２値画像を作成する必要があるが、出力装置の性能が低い場合には出力装置に負担がかかり、高速に処理できないという問題がある。
【００１０】
本発明の目的は、多値画像に対応していない出力装置側で２値画像を作成する必要はなく、多値画像に対応していない出力装置側における画像の出力を高速化することができる画像処理装置、プログラムおよび記憶媒体を提供することである。
【００１１】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置において、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化手段と、この２値化手段により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶手段と、この２値画像記憶手段により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容手段と、を備える。
【００１２】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００１３】
請求項２記載の発明は、請求項１記載の画像処理装置において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにした。
【００１４】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００１５】
請求項３記載の発明のプログラムは、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させる。
【００１６】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００１７】
請求項４記載の発明は、請求項３記載のプログラムにおいて、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにした。
【００１８】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００１９】
請求項５記載の発明の記憶媒体は、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させるプログラムを記憶した。
【００２０】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００２１】
請求項６記載の発明は、請求項５記載の記憶媒体において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたプログラムを記憶した。
【００２２】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００２３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１０に基づいて説明する。
【００２４】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００２５】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００２６】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００２７】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００２８】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００２９】
次に、JPEG2000アルゴリズムについて説明する。
【００３０】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００３１】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００３２】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００３３】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００３４】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００３５】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００３６】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００３７】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００３８】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３９】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００４０】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００４１】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００４２】
以上が、「JPEG2000アルゴリズム」の概要である。
【００４３】
以下、本発明の実施の一形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００４４】
図８は、本実施の形態に係る画像出力システム１の全体構成を示すブロック図である。図８に示すように、画像出力システム１は、画像を入力する入力装置２と、入力した画像の画像データに対して所定の画像処理を行う画像処理装置３と、所定の画像処理が施された画像データを出力する出力装置４とからなる。
【００４５】
入力装置２は、具体的には、画像処理装置３へ画像データを送信する各種通信インターフェイス、画像データを記憶する記憶装置、画像を入力するイメージスキャナ、デジタルカメラなどの画像入力装置などである。
【００４６】
出力装置４は、具体的には、画像処理装置３から画像データを受信する各種通信インターフェイス、画像データを記憶する記憶装置、画像を表示するＬＣＤ，ＣＲＴなどのディスプレイ、画像を印刷する各種印刷方式のプリンタなどである。
【００４７】
次に、画像処理装置３について詳細に説明する。図９は、本実施の形態における画像処理装置３のモジュール構成図である。画像処理装置３は、いわゆるパーソナルコンピュータであって、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、入力装置２や出力装置４と通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【００４８】
このような画像処理装置３では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００４９】
ここで、画像処理装置３は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
【００５０】
また、一般的には、画像処理装置３のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００５１】
画像処理装置３は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。画像処理装置３のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【００５２】
ここで、画像処理装置３のＣＰＵ１１が実行する各種の演算処理により実現される機能について説明する。図１０に示すように、画像処理装置３においては、第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３、２値化手段３４、２値画像記憶手段３５、画像取得許容手段３６の各機能が、ＣＰＵ１１が実行する各種の演算処理により実現されている。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種機能を実現するようにするのが望ましい。
【００５３】
第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３は、概略的には、入力装置２から入力された画像データをJPEG2000アルゴリズムに従って圧縮符号化するものである。JPEG2000アルゴリズムに従った圧縮処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。JPEG2000アルゴリズムに従った圧縮処理によれば、ＤＷＴにおけるオクターブ分割に対応した階層毎に圧縮符号を作成することになる。なお、本実施の形態においては、３階層の圧縮符号を作成する。
【００５４】
第１階層圧縮符号作成手段３１は、最上位階層（第１階層）の圧縮符号を作成するとともに、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を下位階層の圧縮符号を作成する第２階層圧縮符号作成手段３２へと渡す。また、第２階層圧縮符号作成手段３２は、第２階層の圧縮符号を作成するとともに、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を下位階層の圧縮符号を作成する第３階層圧縮符号作成手段３３へと渡す。そして、第３階層圧縮符号作成手段３３は、第３階層の圧縮符号を作成する。
【００５５】
加えて、第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３は、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を２値化手段３４に渡し、２値化処理を行う。２値化手段３４は、渡された各階層のＬＬ成分を多値画像から２値画像に変換する。このようにして多値画像から２値画像に変換されたＬＬ成分は２値画像記憶手段３５において階層毎に記憶保持される。
【００５６】
画像取得許容手段３６は、２値画像記憶手段３５に記憶保持されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する機能を発揮するものである。
【００５７】
したがって、出力装置４は、画像取得許容手段３６を介して２値画像記憶手段３５に記憶保持されている所望の階層のＬＬ成分にアクセスする、または、２値画像記憶手段３５に記憶保持されている所望の階層のＬＬ成分を送信されることで、必要な解像度の２値画像を表示することができる。
【００５８】
このような画像処理装置３によれば、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００５９】
なお、本実施の形態においては、第１階層圧縮符号作成手段３１から第２階層圧縮符号作成手段３２へと渡されるＬＬ成分、及び第２階層圧縮符号作成手段３２から第３階層圧縮符号作成手段３３へと渡されるＬＬ成分は、多値画像のままであった。しかしながら、多値画像ＬＬ成分を下位階層へと渡していくと、細線などがだんだん擦れて見えなくなる場合がある。そこで、下位階層へと渡すＬＬ成分についても２値化処理を行うようにしても良い。これにより、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００６０】
【発明の効果】
請求項１記載の発明の画像処理装置によれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置において、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化手段と、この２値化手段により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶手段と、この２値画像記憶手段により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容手段と、を備え、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６１】
請求項２記載の発明によれば、請求項１記載の画像処理装置において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【００６２】
請求項３記載の発明のプログラムによれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させ、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６３】
請求項４記載の発明によれば、請求項３記載のプログラムにおいて、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【００６４】
請求項５記載の発明の記憶媒体によれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させるプログラムを記憶し、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６５】
請求項６記載の発明によれば、請求項５記載の記憶媒体において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたプログラムを記憶したことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【図面の簡単な説明】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示す説明図である。
【図８】本発明の実施の一形態の画像出力システムの全体構成を示すブロック図である。
【図９】画像処理装置のモジュール構成図である。
【図１０】画像処理プログラムに基づいてＣＰＵが実行する処理により実現される機能を示す機能ブロック図である。
【符号の説明】
３ 画像処理装置
１５ 記憶媒体
３４ ２値化手段
３５ ２値画像記憶手段
３６ 画像取得許容手段
【発明の属する技術分野】
本発明は、画像処理装置、プログラムおよび記憶媒体に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Digital Camera）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Charge Coupled Device）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Personal Computer）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
また、近年においては、圧縮符号化した画像データを復号する際に、規定のフォーマット中に出力できるように、この復号画像のサイズを決定する技術についても開示されている（例えば、特許文献１参照））。
【０００８】
【特許文献１】
特開2001-105679公報
【０００９】
【発明が解決しようとする課題】
ところが、画像データをJPEG2000アルゴリズムで圧縮符号化した場合、JPEG2000の特徴量の一つであるＬＬ成分などは、たとえ２値画像が入力された場合であっても多値になってしまう。そのため、出力装置が多値に対応していないような場合には、出力装置側で２値画像を作成する必要があるが、出力装置の性能が低い場合には出力装置に負担がかかり、高速に処理できないという問題がある。
【００１０】
本発明の目的は、多値画像に対応していない出力装置側で２値画像を作成する必要はなく、多値画像に対応していない出力装置側における画像の出力を高速化することができる画像処理装置、プログラムおよび記憶媒体を提供することである。
【００１１】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置において、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化手段と、この２値化手段により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶手段と、この２値画像記憶手段により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容手段と、を備える。
【００１２】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００１３】
請求項２記載の発明は、請求項１記載の画像処理装置において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにした。
【００１４】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００１５】
請求項３記載の発明のプログラムは、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させる。
【００１６】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００１７】
請求項４記載の発明は、請求項３記載のプログラムにおいて、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにした。
【００１８】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００１９】
請求項５記載の発明の記憶媒体は、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させるプログラムを記憶した。
【００２０】
したがって、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００２１】
請求項６記載の発明は、請求項５記載の記憶媒体において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたプログラムを記憶した。
【００２２】
したがって、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００２３】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１０に基づいて説明する。
【００２４】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００２５】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００２６】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００２７】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００２８】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００２９】
次に、JPEG2000アルゴリズムについて説明する。
【００３０】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００３１】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００３２】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００３３】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００３４】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００３５】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００３６】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００３７】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００３８】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３９】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００４０】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００４１】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００４２】
以上が、「JPEG2000アルゴリズム」の概要である。
【００４３】
以下、本発明の実施の一形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００４４】
図８は、本実施の形態に係る画像出力システム１の全体構成を示すブロック図である。図８に示すように、画像出力システム１は、画像を入力する入力装置２と、入力した画像の画像データに対して所定の画像処理を行う画像処理装置３と、所定の画像処理が施された画像データを出力する出力装置４とからなる。
【００４５】
入力装置２は、具体的には、画像処理装置３へ画像データを送信する各種通信インターフェイス、画像データを記憶する記憶装置、画像を入力するイメージスキャナ、デジタルカメラなどの画像入力装置などである。
【００４６】
出力装置４は、具体的には、画像処理装置３から画像データを受信する各種通信インターフェイス、画像データを記憶する記憶装置、画像を表示するＬＣＤ，ＣＲＴなどのディスプレイ、画像を印刷する各種印刷方式のプリンタなどである。
【００４７】
次に、画像処理装置３について詳細に説明する。図９は、本実施の形態における画像処理装置３のモジュール構成図である。画像処理装置３は、いわゆるパーソナルコンピュータであって、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、入力装置２や出力装置４と通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【００４８】
このような画像処理装置３では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００４９】
ここで、画像処理装置３は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
【００５０】
また、一般的には、画像処理装置３のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００５１】
画像処理装置３は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。画像処理装置３のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【００５２】
ここで、画像処理装置３のＣＰＵ１１が実行する各種の演算処理により実現される機能について説明する。図１０に示すように、画像処理装置３においては、第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３、２値化手段３４、２値画像記憶手段３５、画像取得許容手段３６の各機能が、ＣＰＵ１１が実行する各種の演算処理により実現されている。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種機能を実現するようにするのが望ましい。
【００５３】
第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３は、概略的には、入力装置２から入力された画像データをJPEG2000アルゴリズムに従って圧縮符号化するものである。JPEG2000アルゴリズムに従った圧縮処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。JPEG2000アルゴリズムに従った圧縮処理によれば、ＤＷＴにおけるオクターブ分割に対応した階層毎に圧縮符号を作成することになる。なお、本実施の形態においては、３階層の圧縮符号を作成する。
【００５４】
第１階層圧縮符号作成手段３１は、最上位階層（第１階層）の圧縮符号を作成するとともに、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を下位階層の圧縮符号を作成する第２階層圧縮符号作成手段３２へと渡す。また、第２階層圧縮符号作成手段３２は、第２階層の圧縮符号を作成するとともに、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を下位階層の圧縮符号を作成する第３階層圧縮符号作成手段３３へと渡す。そして、第３階層圧縮符号作成手段３３は、第３階層の圧縮符号を作成する。
【００５５】
加えて、第１階層圧縮符号作成手段３１、第２階層圧縮符号作成手段３２、第３階層圧縮符号作成手段３３は、離散ウェーブレット変換により帯域分解されたＬＬ成分の多値画像を２値化手段３４に渡し、２値化処理を行う。２値化手段３４は、渡された各階層のＬＬ成分を多値画像から２値画像に変換する。このようにして多値画像から２値画像に変換されたＬＬ成分は２値画像記憶手段３５において階層毎に記憶保持される。
【００５６】
画像取得許容手段３６は、２値画像記憶手段３５に記憶保持されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する機能を発揮するものである。
【００５７】
したがって、出力装置４は、画像取得許容手段３６を介して２値画像記憶手段３５に記憶保持されている所望の階層のＬＬ成分にアクセスする、または、２値画像記憶手段３５に記憶保持されている所望の階層のＬＬ成分を送信されることで、必要な解像度の２値画像を表示することができる。
【００５８】
このような画像処理装置３によれば、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分が多値画像から２値画像に変換されて記憶され、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得が許容される。これにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分が取得されるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することが可能になる。
【００５９】
なお、本実施の形態においては、第１階層圧縮符号作成手段３１から第２階層圧縮符号作成手段３２へと渡されるＬＬ成分、及び第２階層圧縮符号作成手段３２から第３階層圧縮符号作成手段３３へと渡されるＬＬ成分は、多値画像のままであった。しかしながら、多値画像ＬＬ成分を下位階層へと渡していくと、細線などがだんだん擦れて見えなくなる場合がある。そこで、下位階層へと渡すＬＬ成分についても２値化処理を行うようにしても良い。これにより、画質劣化を抑えることが可能になるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することが可能になる。
【００６０】
【発明の効果】
請求項１記載の発明の画像処理装置によれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置において、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化手段と、この２値化手段により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶手段と、この２値画像記憶手段により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容手段と、を備え、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６１】
請求項２記載の発明によれば、請求項１記載の画像処理装置において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【００６２】
請求項３記載の発明のプログラムによれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させ、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６３】
請求項４記載の発明によれば、請求項３記載のプログラムにおいて、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【００６４】
請求項５記載の発明の記憶媒体によれば、画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容する画像取得許容機能と、を実行させるプログラムを記憶し、階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を多値画像から２値画像に変換して記憶し、記憶されている２値画像に変換されたＬＬ成分のうち、所望の階層のＬＬ成分の取得を許容することにより、多値画像に対応していない出力装置から所望の階層のＬＬ成分の送信要求があった場合には、出力装置においては２値画像に変換された所望の階層のＬＬ成分を取得することができるので、出力装置側で２値画像を作成する必要はなく、画像の出力を高速化することができる。
【００６５】
請求項６記載の発明によれば、請求項５記載の記憶媒体において、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたプログラムを記憶したことにより、画質劣化を抑えることができるので、いずれの階層においてもオリジナルに近い良好な２値画像を再現することができる。
【図面の簡単な説明】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコードストリーム構造を示す説明図である。
【図８】本発明の実施の一形態の画像出力システムの全体構成を示すブロック図である。
【図９】画像処理装置のモジュール構成図である。
【図１０】画像処理プログラムに基づいてＣＰＵが実行する処理により実現される機能を示す機能ブロック図である。
【符号の説明】
３ 画像処理装置
１５ 記憶媒体
３４ ２値化手段
３５ ２値画像記憶手段
３６ 画像取得許容手段
Claims (3)
- 画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置において、
画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化手段と、
この２値化手段により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶手段と、
この２値画像記憶手段により記憶されている２値画像に変換されたＬＬ成分のうち、所定の階層のＬＬ成分を取得する画像取得手段とを備え、
画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すようにしたこと、
を特徴とする画像処理装置。 - 画像データを１又は複数に分割した矩形領域毎に画素値を離散ウェーブレット変換して階層的に圧縮符号化し、データ提供のために記憶保持する画像処理装置が有するコンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、
画像データの圧縮符号化に際して階層毎に離散ウェーブレット変換により帯域分解されたＬＬ成分を、多値画像から２値画像に変換する２値化機能と、
この２値化機能により多値画像から２値画像に変換されたＬＬ成分を、階層毎に記憶する２値画像記憶機能と、
この２値画像記憶機能により記憶されている２値画像に変換されたＬＬ成分のうち、所定の階層のＬＬ成分の取得を取得する画像取得機能とを実行させ、
さらに、画像データの圧縮符号化に際して上位階層から下位階層へと渡されるＬＬ成分を、多値画像から２値画像に変換してから上位階層から下位階層へと渡すように、
実行させることを特徴とするプログラム。 - 請求項２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022457A JP4093870B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、プログラムおよび記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022457A JP4093870B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、プログラムおよび記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004236003A JP2004236003A (ja) | 2004-08-19 |
| JP4093870B2 true JP4093870B2 (ja) | 2008-06-04 |
Family
ID=32951522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003022457A Expired - Fee Related JP4093870B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理装置、プログラムおよび記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4093870B2 (ja) |
-
2003
- 2003-01-30 JP JP2003022457A patent/JP4093870B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004236003A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4093405B2 (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP4064196B2 (ja) | クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法 | |
| JP4111926B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像送信方法 | |
| JP4128438B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像編集方法 | |
| JP3922919B2 (ja) | 静止画像伸長装置及び静止画像伸長方法 | |
| JP2004221836A (ja) | 画像処理装置、プログラム、記憶媒体及び符号伸長方法 | |
| JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP4179498B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
| EP1296287A2 (en) | Image information code processing system | |
| JP2004221633A (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
| JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
| JP2004214828A (ja) | 画像処理装置、画像処理方法、画像処理用コンピュータプログラム、及びこの画像処理用コンピュータプログラムを記憶する記憶媒体 | |
| JP2004236225A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP4093870B2 (ja) | 画像処理装置、プログラムおよび記憶媒体 | |
| JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| JP4010957B2 (ja) | 画像処理装置、プログラム、記憶媒体および画像形成装置 | |
| JP4280508B2 (ja) | 位置ずれ補正装置、画像処理装置、プログラム、記憶媒体及び位置ずれ補正方法 | |
| JP4118049B2 (ja) | 画像処理装置及び方法 | |
| JP2004056260A (ja) | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 | |
| JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 | |
| JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
| JP4052952B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
| JP4374063B2 (ja) | 画像処理装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080304 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |