JP3961966B2

JP3961966B2 - Unnecessary part removing apparatus, image processing apparatus, program, storage medium, and unnecessary part removing method

Info

Publication number: JP3961966B2
Application number: JP2003025108A
Authority: JP
Inventors: 豊佐野; 章雄松原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2007-08-22
Anticipated expiration: 2023-01-31
Also published as: JP2004236217A

Description

【０００１】
【発明の属する技術分野】
本発明は、不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Digital Camera）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Charge Coupled Device）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Personal Computer）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
一般に、紙文書（原稿）を電子化して保存するような場合には、以下に示すような処理を順番に実行することになる。まず、紙文書（原稿）をスキャナやデジタルスチルカメラ等の画像入力装置を使用して一枚ずつ読み込む。次いで、読み込んだ画像データをJPEGやJPEG2000等の符号化データに画像圧縮装置を使用して変換する。最後に、圧縮処理した符号化データを記憶装置に記憶保存する。
【０００８】
ところで、上述したように紙文書（原稿）をスキャナ等の画像入力装置を使用して読み込んだ場合、その画像データが、本来は必要のない不要情報で汚れている場合がある。本来は必要のない不要情報で汚れている場合としては、例えば、図１７に示すように紙文書（原稿）に開けられているファイリング用のパンチ穴ａがそのままデータとして残ってしまう場合や、図１８に示すように紙文書（原稿）の外周部に影ｂが生じてしまう場合がある。また、紙文書（原稿）が製本された書類の場合には、図１９に示すように、外周部のみならず綴じ部にも影ｃが生じてしまう場合がある。
【０００９】
このように電子化された紙文書（原稿）が不要情報で汚れている状態で、それらの紙文書（原稿）の画像データに対して文字認識を行うＯＣＲ（Optical Character Reader）処理を実行した場合には、文字認識精度が低くなるという問題がある。
【００１０】
そこで、従来においては、画像処理ソフトを用いて、このような紙文書（原稿）の画像データから本来は必要のない不要情報を除去するようにしている。
【００１１】
【発明が解決しようとする課題】
しかしながら、画像処理ソフトを用いて紙文書（原稿）の画像データから不要情報を除去する処理は、処理時間が長くなり処理速度が遅くなるという問題がある。例えば、画像圧縮装置を使用して変換されたJPEGやJPEG2000等の符号化データに基づいて不要情報を除去する手法によれば、符号化された周波数変換係数値を復号化し、さらに、逆量子化するという複雑な処理が必要であるため、処理時間が長くなることから、処理速度の高速化が望まれている。
【００１２】
本発明の目的は、不要情報の除去を短時間で実行することができる不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法を提供することである。
【００１３】
【課題を解決するための手段】
請求項１記載の発明の不要部除去装置は、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取手段と、このパケット長読取手段で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去手段と、を備える。
【００１４】
したがって、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報が除去される。これにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することが可能になるので、不要情報の除去を短時間で実行することが可能になる。
【００１５】
請求項２記載の発明は、請求項１記載の不要部除去装置において、前記不要部除去手段により不要情報が除去された符号列データを標準形式の符号列データに整える符号列作成手段を備える。
【００１６】
したがって、汎用のデコーダで、新たに生成した符号列データを伸長することが可能となる。
【００１７】
請求項３記載の発明は、請求項１または２記載の不要部除去装置において、前記構文解析手段における構文解析条件を指定する条件指定手段を備える。
【００１８】
したがって、例えば、構文解析条件として矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域等を任意に指定することにより、符号量の精度と読取速度をユーザの望みに応じて最適化することが可能になる。
【００１９】
請求項４記載の発明は、請求項１ないし３のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記パケット長読取手段で読み取られたパケット長と閾値とを比較し、パケット長が閾値を超える場合に、前記画像データに不要情報が存在すると判断し、当該不要情報を矩形領域毎に除去する。
【００２０】
したがって、不要情報を含む領域のパケット長は周辺の領域のパケット長に比較して大きくなることが多いことから、例えば不要情報を含む領域周辺に位置する領域のパケット長を閾値とすることで、画像データに存在する不要情報が確実に抽出され除去される。
【００２１】
請求項５記載の発明は、請求項１ないし４のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記画像データに係る符号列データの不要情報である符号データを別の符号データに置き換える。
【００２２】
したがって、別の符号データを、例えば白色の画像の符号データとすることで、不要情報を除去することが可能になる。
【００２３】
請求項６記載の発明は、請求項５記載の不要部除去装置において、置き換えられる別の符号データは、前記画像データ中の所定領域の符号データである。
【００２４】
したがって、別の符号データを、例えば画像データ中の背景部分の符号データとすることで、不要情報を除去することが可能になる。
【００２５】
請求項７記載の発明は、請求項１ないし４のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記画像データに係る符号列データの不要情報である符号データの一部を削除する。
【００２６】
したがって、不要情報の画像が不明瞭となり、不要情報部分を処理する前に比較して、画像の汚れが気にならなくなる。
【００２７】
請求項８記載の発明は、請求項７記載の不要部除去装置において、削除される符号データの一部は、高周波のサブバンドの符号データである。
【００２８】
したがって、不要情報の画像が不明瞭になる。
【００２９】
請求項９記載の発明は、請求項７記載の不要部除去装置において、削除される符号データの一部は、色差成分の符号データである。
【００３０】
したがって、不要情報の画像が不明瞭になる。
【００３１】
請求項１０記載の発明は、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるタイルである。
【００３２】
したがって、周波数変換として離散ウェーブレット変換を用いることが可能になる。
【００３３】
請求項１１記載の発明は、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるプレシンクトである。
【００３４】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００３５】
請求項１２記載の発明は、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるコード・ブロックである。
【００３６】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００３７】
請求項１３記載の発明の画像処理装置は、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化する画像圧縮装置と、この画像圧縮装置により圧縮符号化された画像データについての符号列データに基づき、前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する請求項１ないし１２のいずれか一記載の不要部除去装置と、を備える。
【００３８】
したがって、請求項１ないし１２のいずれか一記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【００３９】
請求項１４記載の発明のプログラムは、コンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取機能と、このパケット長読取機能で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去機能と、を実行させる。
【００４０】
したがって、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報が除去される。これにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することが可能になるので、不要情報の除去を短時間で実行することが可能になる。
【００４１】
請求項１５記載の発明は、請求項１４記載のプログラムにおいて、前記不要部除去機能により不要情報が除去された符号列データを標準形式の符号列データに整える符号列作成機能を前記コンピュータに実行させる。
【００４２】
したがって、汎用のデコーダで、新たに生成した符号列データを伸長することが可能となる。
【００４３】
請求項１６記載の発明は、請求項１４または１５記載のプログラムにおいて、前記構文解析機能における構文解析条件を指定する条件指定機能を前記コンピュータに実行させる。
【００４４】
したがって、例えば、構文解析条件として矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域等を任意に指定することにより、符号量の精度と読取速度をユーザの望みに応じて最適化することが可能になる。
【００４５】
請求項１７記載の発明は、請求項１４ないし１６のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記パケット長読取機能で読み取られたパケット長と閾値とを比較し、パケット長が閾値を超える場合に、前記画像データに不要情報が存在すると判断し、当該不要情報を矩形領域毎に除去する。
【００４６】
したがって、不要情報を含む領域のパケット長は周辺の領域のパケット長に比較して大きくなることが多いことから、例えば不要情報を含む領域周辺に位置する領域のパケット長を閾値とすることで、画像データに存在する不要情報が確実に抽出され除去される。
【００４７】
請求項１８記載の発明は、請求項１４ないし１７のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記画像データに係る符号列データの不要情報である符号データを別の符号データに置き換える。
【００４８】
したがって、別の符号データを、例えば白色の画像の符号データとすることで、不要情報を除去することが可能になる。
【００４９】
請求項１９記載の発明は、請求項１８記載のプログラムにおいて、置き換えられる別の符号データは、前記画像データ中の所定領域の符号データである。
【００５０】
したがって、別の符号データを、例えば画像データ中の背景部分の符号データとすることで、不要情報を除去することが可能になる。
【００５１】
請求項２０記載の発明は、請求項１４ないし１７のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記画像データに係る符号列データの不要情報である符号データの一部を削除する。
【００５２】
したがって、不要情報の画像が不明瞭となり、不要情報部分を処理する前に比較して、画像の汚れが気にならなくなる。
【００５３】
請求項２１記載の発明は、請求項２０記載のプログラムにおいて、削除される符号データの一部は、高周波のサブバンドの符号データである。
【００５４】
したがって、不要情報の画像が不明瞭になる。
【００５５】
請求項２２記載の発明は、請求項２０記載のプログラムにおいて、削除される符号データの一部は、色差成分の符号データである。
【００５６】
したがって、不要情報の画像が不明瞭になる。
【００５７】
請求項２３記載の発明は、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるタイルである。
【００５８】
したがって、周波数変換として離散ウェーブレット変換を用いることが可能になる。
【００５９】
請求項２４記載の発明は、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるプレシンクトである。
【００６０】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００６１】
請求項２５記載の発明は、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるコード・ブロックである。
【００６２】
したがって、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することが可能になる。また、検出単位をタイルよりも小さな画像領域にすることが可能になる。
【００６３】
請求項２６記載の発明の記憶媒体は、請求項１４ないし２５のいずれか一記載のプログラムを記憶している。
【００６４】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１４ないし２５のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００６５】
請求項２７記載の発明の不要部除去方法は、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取工程と、このパケット長読取工程で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去工程と、を含む。
【００６６】
したがって、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報が除去される。これにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することが可能になるので、不要情報の除去を短時間で実行することが可能になる。
【００６７】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図１６に基づいて説明する。
【００６８】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【００６９】
図１は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００７０】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でＤＷＴが採用された大きな理由の一つとなっている。
【００７１】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００７２】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００７３】
次に、JPEG2000アルゴリズムについて説明する。
【００７４】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル１１２毎に、独立に行われる。
【００７５】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００７６】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７７】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００７８】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００７９】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００８０】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００８１】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００８２】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Least Significant Bit：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Most Significant Bit：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００８３】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００８４】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（bit stream）の先頭にはヘッダ（メインヘッダ（Main header）、タイル境界位置情報等であるタイルパートヘッダ（tile part header））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Main header）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（end of codestream）が置かれる。また、図７は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示すものである。図７に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【００８５】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００８６】
以上が、「JPEG2000アルゴリズム」の概要である。
【００８７】
以下、本発明の実施の一形態について説明する。なお、ここでは、JPEG2000を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００８８】
本実施の形態のサーバコンピュータ及びクライアントコンピュータは、そのコンピュータにインストールされるか、あるいは解釈されて実行される画像処理プログラムによって動作制御されて画像処理を実行する。本実施の形態では、そのような画像処理プログラムを記憶する記憶媒体も紹介する。
【００８９】
図８は、本実施の形態におけるシステム構築例を示す模式図である。
【００９０】
本実施の形態の画像データ処理システムでは、サーバコンピュータ２にＬＡＮ（Local Area Network）等のネットワーク３を介して画像処理装置であるクライアントコンピュータ４が複数台接続されたサーバクライアントシステム１を想定する。このサーバクライアントシステム１は、スキャナやデジタルカメラ等の画像入力装置５及びプリンタ等の画像出力装置６をネットワーク３上でシェアし得る環境が整えられている。また、ネットワーク３上には、マルチファンクションペリフェラルと称されるＭＦＰ７が接続され、このＭＦＰ７が画像入力装置５や画像出力装置６として機能するように環境が構築されていても良い。
【００９１】
このようなサーバクライアントシステム１は、例えばイントラネット８を介して別のサーバクライアントシステム１とのデータ通信可能に構築され、インターネット通信網９を介して外部環境とデータ通信可能に構築されている。
【００９２】
サーバコンピュータ２は、文書管理サーバ２ａとデータ変換サーバ２ｂとで構成されている。文書管理サーバ２ａは、各種文書の画像イメージを画像データとして記憶する文書管理機能を発揮するものである。データ変換サーバ２ｂは、例えば画像データにＯＣＲ（Optical Character Reader）処理を施してテキストデータを抽出する等のデータ変換機能を発揮するものである。
【００９３】
以下においては、本発明の特長的な機能を発揮する画像処理装置であるクライアントコンピュータ４について説明する。
【００９４】
図９は、本実施の形態における画像処理装置としてのクライアントコンピュータ４のモジュール構成図である。クライアントコンピュータ４は、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、ネットワーク３を介して画像入力装置５や外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【００９５】
このようなクライアントコンピュータ４では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００９６】
ここで、クライアントコンピュータ４は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、画像処理プログラムを記憶する記憶媒体として機能する。
【００９７】
また、一般的には、クライアントコンピュータ４のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００９８】
クライアントコンピュータ４は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。クライアントコンピュータ４のＣＰＵ１１が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【００９９】
ここで、クライアントコンピュータ４のＣＰＵ１１が実行する各種の演算処理により実現される機能について説明する。図１０に示すように、画像処理装置であるクライアントコンピュータ４は、画像入力装置５で読み取った画像データを圧縮符号化する画像圧縮装置４ａと、画像入力装置５で読み取られた入力原稿の画像データから本来は必要のない不要情報を除去するための不要部除去装置４ｂと、の各機能をＣＰＵ１１が実行する各種の演算処理により実現する。
【０１００】
画像圧縮装置４ａは、周波数変換にＤＣＴを使ったJPEG、あるいは周波数変換にＤＷＴを使ったJPEG2000アルゴリズムによって、デジタル画像データを符号化する。本実施の形態における画像圧縮装置４ａは、画像のデジタル画素値信号を「JPEG2000アルゴリズム」に従って圧縮符号化する。なお、「JPEG2000アルゴリズム」に従った圧縮符号化処理については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の説明において前述したので、ここでの説明は省略する。この画像圧縮装置４ａにおける処理により、元の画像のＲ，Ｇ，Ｂの各コンポーネントの画像データは、フレーム毎に１又は複数（通常は複数）のタイルに分割され、このタイル毎に階層的に圧縮符号化された符号化データとなる。
【０１０１】
不要部除去装置４ｂは、画像圧縮装置４ａから出力される符号列データに基づいて、画像入力装置５で読み取られた入力原稿の画像データから本来は必要のない不要情報を除去し、ネットワークインターフェース１８を介しサーバコンピュータ２に出力し、または、ＨＤＤ（Hard Disk Drive）１５に記憶する。画像入力装置５で読み取られた入力原稿の画像データにおける本来は必要のない不要情報とは、前述したように、紙文書（原稿）に開けられているファイリング用のパンチ穴がそのままデータとして残ってしまった部分、紙文書（原稿）の外周部や綴じ部に生じた影等である。
【０１０２】
この不要部除去装置４ｂは、図１１に示すように、符号列の入力を受け付ける符号列入力手段４１、構文解析手段４２、不要部除去手段４３、パケット長読取手段４４、抽出条件指定手段４５、符号列作成手段４６、符号列を出力する符号列出力手段４７の各種手段から構成される。これらの各種手段は、前述の画像処理プログラムにしたがってＣＰＵ１１が行う処理により実現している。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種手段の機能を実現するようにするのが望ましい。
【０１０３】
次に、不要部除去装置４ｂを構成する各部について説明する。
【０１０４】
構文解析手段４２は、画像圧縮装置４ａから入力された符号列データの構文すなわちヘッダ部に記述されているデータを解読し、パケット長読取手段４４に「ヘッダ部情報」を出力するものである。ここで、図１２は構文解析手段４２によるヘッダ部情報の読み取りを示す説明図である。図１２に示すように、ペイロード部のデータ量、すなわち、「パケット長」は、周波数変換係数値の数の和（周波数変換係数値の符号量）であって、ヘッダ部に記述されている。ここでは、周波数変換係数値はウェーブレット係数値である。そして、構文解析手段４２は、このヘッダ部情報を読み取ってパケット長読取手段４４に対して出力する。
【０１０５】
抽出条件指定手段４５は、パケット長読取手段４４に対して必要十分な情報だけを提供すべく、画像圧縮装置４ａから入力された符号列データについての矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域を各々指定する条件指定手段として機能するものである。このように符号列データについて、矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域を任意に指定することにより、符号量の精度と読取速度を、ユーザの望みに応じて最適化することが可能である。すなわち、符号量の読取精度と読取速度の間にあるトレード・オフ関係を考慮に入れて、高速化を重視する場合には、小さな矩形領域の、輝度成分の低域サブバンドだけに注目すればよい。逆に、正確な符号量が必要な場合は、注目する矩形領域の面積を大きくし、サブバンドを高域まで調べればよい。
【０１０６】
ヘッダ部情報を受け取ったパケット長読取手段４４は、そのヘッダ部情報から入力原稿のパケット長データを読み取り、不要部除去手段４３に対して出力する。
【０１０７】
不要部除去手段４３は、概略的には、画像入力装置５で読み取られた入力原稿の符号データのヘッダ部情報（「パケット長」）に基づいて画像入力装置５で読み取られた入力原稿の画像データにおける本来は必要のない不要情報を除去するものである。
【０１０８】
ここで、不要部除去手段４３による画像入力装置５で読み取られた入力原稿の画像データにおける本来は必要のない不要情報の除去について説明する。ここでは、ペイロード部のデータ量、すなわち、「パケット長」に基づいて画像入力装置５で読み取られた入力原稿の画像データにおける本来は必要のない不要情報を除去する手法について説明する。ここで、図１３は不要部除去手段４３の構成を示す機能ブロック図である。図１３に示すように、符号列データ及び「パケット長」を受け取った不要部除去手段４３は、受け取った「パケット長」とユーザが設定した閾値とを比較し、画像入力装置５で読み取られた入力原稿の画像データに除去対象となる不要情報が含まれているか否かを判定する（除去対象決定手段４３a）。
【０１０９】
受け取った「パケット長」が閾値以下である場合、すなわち、画像入力装置５で読み取られた入力原稿の画像データに除去対象となる不要情報が含まれていない場合には、受け取った符号列データはスイッチ４３ｂ及びヘッダ書換手段４３ｃをそのまま通過し、受け取った符号列データはそのまま符号列データとして使われる。
【０１１０】
一方、受け取った「パケット長」が閾値を超えた場合、すなわち、画像入力装置５で読み取られた入力原稿の画像データに除去対象となる不要情報が含まれている場合には、スイッチ４３ｂにおいて、受け取った符号列データの不要情報である符号データは予め用意されている別のパターン画像の符号データに置き換えられるか、または、受け取った符号列データの一部が削除された後、ヘッダ書換手段４３ｃに出力される。
【０１１１】
ヘッダ書換手段４３ｃでは、符号列データのヘッダ部の情報が書き換えられ、符号列データとしての体裁が整えられる。
【０１１２】
ここで、不要情報である符号データを別のパターン画像の符号データに置き換える場合、一番容易なのは、白色の画像データを使うことである。なお、入力原稿の背景部分が薄汚れているようなときは、不要情報部分を純粋な白で置き換えるとかえって目立つことがあるので、そういう場合には、入力原稿の背景から得られた画像データを別のパターン画像の符号データとして使うのが適当である。
【０１１３】
また、符号列データの一部を削除する場合には、サブバンドの場合は、高域部分、階層の深い部分から順に、符号データを捨てる。色成分の場合は、輝度成分を残し、色差成分を削除する。符号データを削除することにより、不要な領域の画像が不明瞭となり、不要情報部分を処理する前に比較して、画像の汚れが気にならなくなる。
【０１１４】
符号列作成手段４６は、不要部除去手段４３により不要情報が除去された符号列データを標準形式の符号列データに整えるものである。こうすることにより、汎用のデコーダで、新たに生成した符号列データを伸長することが可能となる。
【０１１５】
以上説明したような不要部除去装置４ｂによる不要部除去処理の内容を、図１４の不要部除去装置４ｂによる不要部除去処理の流れを示すフローチャート、及び図１５の画像データに対して不要部除去処理が施される様子を例示的に示す説明図を参照しつつ更に詳細に説明する。この不要部除去処理は、画像入力装置５による原稿の全領域の読取（本スキャン）の際に実行されるものである。ここでは、図１５（a）に示したような画像データ（紙文書（原稿）に開けられているファイリング用のパンチ穴ａがそのままデータとして残っていて、かつ、紙文書（原稿）の外周部（下辺及び右辺）に影ｂが生じている画像データ）が、画像入力装置５による原稿の全領域の読取（本スキャン）で得られたものとする。
【０１１６】
図１４に示すように、不要部除去処理は、まず、画像入力装置５によって読み取られた原稿の圧縮符号列データを取得すると（ステップＳ１のＹ）、所定の領域の符号列データに係るヘッダ部情報を読み取る（ステップＳ２）。
【０１１７】
ここで、ステップＳ２においてヘッダ部情報を読み取る「所定の領域」について説明する。本実施の形態におけるヘッダ部情報を読み取る「所定の領域」は、図１５（ｂ）に示すように、紙文書（原稿）の周縁部としている（図１５（ｂ）中、網点部分）。この紙文書（原稿）の周縁部は、紙文書（原稿）に開けられているファイリング用のパンチ穴が形成され、また、影が生じることが多いからである。図１５（ｂ）に示すように、画像入力装置５による読取範囲は、１または複数の矩形領域に分割されており、ここでは１１×１５＝１６５個の矩形領域に分割されている。したがって、ヘッダ部情報を読み取る「所定の領域」は、この分割された矩形領域単位で指定される。なお、このようなヘッダ部情報を読み取る「所定の領域」は、ユーザが任意に指定可能となっている。また、符号列がJPEG2000フォーマットである場合、矩形領域として、タイル、プレシンクトあるいはコード・ブロックを用いることができる。
【０１１８】
ステップＳ２において所定の領域の符号列データに係るヘッダ部情報を読み取ると、矩形領域毎に順次ヘッダ部情報からパケット長を読み取り（ステップＳ３）、読み取ったパケット長と閾値を比較する（ステップＳ４）。ここで、図１６は図１５（ａ）に示した画像データの各矩形領域における「パケット長」分布を示すグラフである。図１５（ａ）に示した画像データでは、パンチ穴ａ及び外周部（下辺及び右辺）の影ｂが位置する矩形領域には高周波成分が多くなる。すなわち、図１６に示すように、このような本来は必要のない不要情報を含む矩形領域の符号量（パケット長）は、他の矩形領域に比較して大きくなる。なお、図１５（ｂ）及び図１６においては、各矩形領域（タイル）の番号＃を００〜１６４で示してある。
【０１１９】
したがって、「パケット長」が閾値を超えた矩形領域については（ステップＳ４のＮ）、画像入力装置５で読み取られた入力原稿の画像データに除去対象となる不要情報が含まれているものと判断し、ステップＳ５の不要部除去処理を実行する。不要部除去処理は、前述したように、不要情報である符号データを予め用意されている別のパターン画像の符号データ（例えば、白色の画像データ）に置き換えるものである。これにより、不要な情報である不要部を、汚れの無い特定パターンで置き換えることができる。
【０１２０】
一方、「パケット長」が閾値以下であった矩形領域については（ステップＳ４のＹ）、画像入力装置５で読み取られた入力原稿の画像データに除去対象となる不要情報が含まれていないものと判断し、ステップＳ５の不要部除去処理は行わない。
【０１２１】
これらのステップＳ３〜Ｓ５の処理は、指定された全ての矩形領域が終了するまで繰り返される（ステップＳ６のＹ）。
【０１２２】
すなわち、図１５（ｃ）に示すように、パンチ穴ａまたは外周部（下辺及び右辺）の影ｂが位置する矩形領域は除去対象となる不要情報が含まれている矩形領域であると判断され（図１５（ｃ）中、斜線部分）、予め用意されている別のパターン画像の符号データ（例えば、白のデータ）に置き換えられ、不要情報（パンチ穴ａ及び外周部（下辺及び右辺）の影ｂ）が除去される。図１５（ｄ）に、不要情報（パンチ穴ａ及び外周部（下辺及び右辺）の影ｂ）が除去された状態を示す。
【０１２３】
ここに、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報が除去される。これにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することが可能になるので、不要情報の除去を短時間で実行することが可能になる。
【０１２４】
なお、本実施の形態においては、原画像にタイル分割処理を施した場合について説明したが、これに限るものではない。原画像に対してタイル分割を行わない場合でも、プレシンクトやコード・ブロックを矩形領域として利用すれば、タイル分割を行った場合と同様に、画像データに存在する本来は必要のない不要情報を除去することが可能である。
【０１２５】
【発明の効果】
請求項１記載の発明の不要部除去装置によれば、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析手段と、この構文解析手段の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取手段と、このパケット長読取手段で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去手段と、を備え、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報を除去することにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することができるので、不要情報の除去を短時間で実行することができる。
【０１２６】
請求項２記載の発明によれば、請求項１記載の不要部除去装置において、前記不要部除去手段により不要情報が除去された符号列データを標準形式の符号列データに整える符号列作成手段を備えることにより、汎用のデコーダで、新たに生成した符号列データを伸長することができる。
【０１２７】
請求項３記載の発明によれば、請求項１または２記載の不要部除去装置において、前記構文解析手段における構文解析条件を指定する条件指定手段を備えることにより、例えば、構文解析条件として矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域等を任意に指定することで、符号量の精度と読取速度をユーザの望みに応じて最適化することができる。
【０１２８】
請求項４記載の発明によれば、請求項１ないし３のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記パケット長読取手段で読み取られたパケット長と閾値とを比較し、パケット長が閾値を超える場合に、前記画像データに不要情報が存在すると判断し、当該不要情報を矩形領域毎に除去することにより、不要情報を含む領域のパケット長は周辺の領域のパケット長に比較して大きくなることが多いことから、例えば不要情報を含む領域周辺に位置する領域のパケット長を閾値とすることで、画像データに存在する不要情報を確実に抽出して除去することができる。
【０１２９】
請求項５記載の発明によれば、請求項１ないし４のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記画像データに係る符号列データの不要情報である符号データを別の符号データに置き換えることにより、別の符号データを、例えば白色の画像の符号データとすることで、不要情報を除去することができる。
【０１３０】
請求項６記載の発明によれば、請求項５記載の不要部除去装置において、置き換えられる別の符号データは、前記画像データ中の所定領域の符号データであることにより、別の符号データを、例えば画像データ中の背景部分の符号データとすることで、不要情報を除去することができる。
【０１３１】
請求項７記載の発明によれば、請求項１ないし４のいずれか一記載の不要部除去装置において、前記不要部除去手段は、前記画像データに係る符号列データの不要情報である符号データの一部を削除することにより、不要情報の画像が不明瞭となり、不要情報部分を処理する前に比較して、画像の汚れが気にならなくなる。
【０１３２】
請求項８記載の発明によれば、請求項７記載の不要部除去装置において、削除される符号データの一部は、高周波のサブバンドの符号データであることにより、不要情報の画像を不明瞭にすることができる。
【０１３３】
請求項９記載の発明によれば、請求項７記載の不要部除去装置において、削除される符号データの一部は、色差成分の符号データであることにより、不要情報の画像を不明瞭にすることができる。
【０１３４】
請求項１０記載の発明によれば、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるタイルであることにより、周波数変換として離散ウェーブレット変換を用いることができる。
【０１３５】
請求項１１記載の発明によれば、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるプレシンクトであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１３６】
請求項１２記載の発明によれば、請求項１ないし９のいずれか一記載の不要部除去装置において、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるコード・ブロックであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１３７】
請求項１３記載の発明の画像処理装置によれば、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化する画像圧縮装置と、この画像圧縮装置により圧縮符号化された画像データについての符号列データに基づき、前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する請求項１ないし１２のいずれか一記載の不要部除去装置と、を備えることにより、請求項１ないし１２のいずれか一記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【０１３８】
請求項１４記載の発明のプログラムによれば、コンピュータにインストールされるか、あるいは解釈されて実行されるプログラムであって、前記コンピュータに、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析機能と、この構文解析機能の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取機能と、このパケット長読取機能で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去機能と、を実行させ、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報を除去することにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することができるので、不要情報の除去を短時間で実行することができる。
【０１３９】
請求項１５記載の発明によれば、請求項１４記載のプログラムにおいて、前記不要部除去機能により不要情報が除去された符号列データを標準形式の符号列データに整える符号列作成機能を前記コンピュータに実行させることにより、汎用のデコーダで、新たに生成した符号列データを伸長することができる。
【０１４０】
請求項１６記載の発明によれば、請求項１４または１５記載のプログラムにおいて、前記構文解析機能における構文解析条件を指定する条件指定機能を前記コンピュータに実行させることにより、例えば、構文解析条件として矩形領域の面積、コンポーネント（色成分）の数、サブバンドの帯域等を任意に指定することで、符号量の精度と読取速度をユーザの望みに応じて最適化することができる。
【０１４１】
請求項１７記載の発明によれば、請求項１４ないし１６のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記パケット長読取機能で読み取られたパケット長と閾値とを比較し、パケット長が閾値を超える場合に、前記画像データに不要情報が存在すると判断し、当該不要情報を矩形領域毎に除去することにより、不要情報を含む領域のパケット長は周辺の領域のパケット長に比較して大きくなることが多いことから、例えば不要情報を含む領域周辺に位置する領域のパケット長を閾値とすることで、画像データに存在する不要情報を確実に抽出して除去することができる。
【０１４２】
請求項１８記載の発明によれば、請求項１４ないし１７のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記画像データに係る符号列データの不要情報である符号データを別の符号データに置き換えることにより、別の符号データを、例えば白色の画像の符号データとすることで、不要情報を除去することができる。
【０１４３】
請求項１９記載の発明によれば、請求項１８記載のプログラムにおいて、置き換えられる別の符号データは、前記画像データ中の所定領域の符号データであることにより、別の符号データを、例えば画像データ中の背景部分の符号データとすることで、不要情報を除去することができる。
【０１４４】
請求項２０記載の発明によれば、請求項１４ないし１７のいずれか一記載のプログラムにおいて、前記不要部除去機能は、前記画像データに係る符号列データの不要情報である符号データの一部を削除することにより、不要情報の画像が不明瞭となり、不要情報部分を処理する前に比較して、画像の汚れが気にならなくなる。
【０１４５】
請求項２１記載の発明によれば、請求項２０記載のプログラムにおいて、削除される符号データの一部は、高周波のサブバンドの符号データであることにより、不要情報の画像を不明瞭にすることができる。
【０１４６】
請求項２２記載の発明によれば、請求項２０記載のプログラムにおいて、削除される符号データの一部は、色差成分の符号データであることにより、不要情報の画像を不明瞭にすることができる。
【０１４７】
請求項２３記載の発明によれば、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるタイルであることにより、周波数変換として離散ウェーブレット変換を用いることができる。
【０１４８】
請求項２４記載の発明は、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるプレシンクトであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１４９】
請求項２５記載の発明によれば、請求項１４ないし２２のいずれか一記載のプログラムにおいて、分割単位である矩形領域は、「JPEG2000アルゴリズム」におけるコード・ブロックであることにより、タイル分割をしない場合（全画像領域＝タイル）にも、タイル単位と同じように、画像データに存在する本来は必要のない不要情報を除去することができる。また、検出単位をタイルよりも小さな画像領域にすることができる。
【０１５０】
請求項２６記載の発明の記憶媒体によれば、請求項１４ないし２５のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１４ないし２５のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１５１】
請求項２７記載の発明の不要部除去方法によれば、画像データについて１又は複数の矩形領域に分割し当該矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文を解析する構文解析工程と、この構文解析工程の解析結果に基づき、符号列データを構成するパケットのパケット長を矩形領域毎に読み取るパケット長読取工程と、このパケット長読取工程で読み取られたパケット長に基づいて前記画像データに存在する本来は必要のない不要情報を矩形領域毎に除去する不要部除去工程と、を含み、画像データの所定領域を矩形領域毎に画素値を周波数変換し階層的に圧縮符号化することにより作成した符号列データの構文の解析結果に基づいて読み取られた矩形領域毎のパケット長に基づき、画像データに存在する本来は必要のない不要情報を除去することにより、符号列データを復号化し逆量子化するという複雑な処理を経ることなく、符号状態で画像データに存在する本来は必要のない不要情報を除去することができるので、不要情報の除去を短時間で実行することができる。
【図面の簡単な説明】
【図１】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示す説明図である。
【図８】本発明の実施の一形態のシステム構築例を示す模式図である。
【図９】画像処理装置としてのクライアントコンピュータのモジュール構成図である。
【図１０】画像処理装置の構成を示す機能ブロック図である。
【図１１】不要部除去装置の構成を示す機能ブロック図である。
【図１２】構文解析手段によるヘッダ部情報の読み取りを示す説明図である。
【図１３】不要部除去手段の構成を示す機能ブロック図である。
【図１４】不要部除去装置による不要部除去処理の流れを示すフローチャートである。
【図１５】画像データに対して不要部除去処理が施される様子を例示的に示す説明図である。
【図１６】図１５（ａ）に示した画像データの各矩形領域における「パケット長」分布を示すグラフである。
【図１７】画像データが本来は必要のない不要情報で汚れている場合の一例を示す説明図である。
【図１８】画像データが本来は必要のない不要情報で汚れている場合の一例を示す説明図である。
【図１９】画像データが本来は必要のない不要情報で汚れている場合の一例を示す説明図である。
【符号の説明】
４画像処理装置
４ａ画像圧縮装置
４ｂ不要部除去装置
１５記憶媒体
４２構文解析手段
４３不要部除去手段
４４パケット長読取手段
４５条件指定手段
４６符号列作成手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an unnecessary part removing device, an image processing apparatus, a program, a storage medium, and an unnecessary part removing method.
[0002]
[Prior art]
Due to advances in image input technology and output technology, the demand for higher definition of images has increased greatly in recent years. For example, taking a digital camera as an example of an image input device, the price of a high-performance charge coupled device (CCD) having a number of pixels of 3 million or more has been reduced, and the price range is widespread. It has come to be widely used in products. And it is said that this increasing trend in the number of pixels will continue for a while.
[0003]
On the other hand, for image output / display devices, for example, products in the hard copy field such as laser printers, ink jet printers, sublimation printers, and flats such as CRTs, LCDs (liquid crystal display devices), and PDPs (plasma display devices). The high definition and low price of products in the soft copy field of panel displays are remarkable.
[0004]
Due to the market launch of these high-performance, low-priced image input / output products, high-definition images have become popular, and it is expected that demand for high-definition images will increase in all situations. In fact, the development of technologies related to networks such as personal computers and the Internet is accelerating these trends. In particular, recently, mobile devices such as mobile phones and notebook personal computers have become very popular, and opportunities for transmitting or receiving high-definition images from any point using communication means are rapidly increasing.
[0005]
Against this background, it is inevitable that the demand for higher performance or higher functionality for image compression / decompression technology that facilitates the handling of high-definition images will become stronger in the future.
[0006]
Thus, in recent years, a new method called JPEG2000, which can restore high-quality images even at a high compression rate, is being standardized as one of image compression methods that satisfy these requirements. In JPEG2000, it is possible to perform compression / decompression processing in a small memory environment by dividing an image into rectangular regions (tiles). That is, each tile becomes a basic unit for executing the compression / decompression process, and the compression / decompression operation can be performed independently for each tile.
[0007]
In general, when a paper document (original) is stored electronically, the following processes are executed in order. First, a paper document (original) is read one by one using an image input device such as a scanner or a digital still camera. Next, the read image data is converted into encoded data such as JPEG or JPEG2000 using an image compression apparatus. Finally, the compressed encoded data is stored in the storage device.
[0008]
By the way, as described above, when a paper document (original) is read using an image input device such as a scanner, the image data may be contaminated with unnecessary information that is not originally required. For example, as shown in FIG. 17, a filing punch hole a opened in a paper document (original) remains as data as shown in FIG. As shown in FIG. 18, a shadow b may occur on the outer periphery of the paper document (original). In addition, in the case of a paper document (original) that is bound, as shown in FIG. 19, a shadow c may be generated not only at the outer peripheral portion but also at the binding portion.
[0009]
When an electronic character reader (OCR) process that performs character recognition on the image data of such a paper document (original) in a state where the electronic paper document (original) is dirty with unnecessary information in this way However, there is a problem that the character recognition accuracy is lowered.
[0010]
Therefore, conventionally, unnecessary information which is not originally necessary is removed from the image data of such a paper document (original) using image processing software.
[0011]
[Problems to be solved by the invention]
However, the process of removing unnecessary information from image data of a paper document (original) using image processing software has a problem that the processing time becomes long and the processing speed becomes slow. For example, according to a technique of removing unnecessary information based on encoded data such as JPEG or JPEG2000 converted using an image compression device, the encoded frequency conversion coefficient value is decoded and further dequantized. Since the complicated process of performing this process is required, the processing time becomes long, and thus it is desired to increase the processing speed.
[0012]
An object of the present invention is to provide an unnecessary part removing device, an image processing apparatus, a program, a storage medium, and an unnecessary part removing method capable of executing unnecessary information removal in a short time.
[0013]
[Means for Solving the Problems]
According to the first aspect of the present invention, there is provided an unnecessary part removing apparatus according to a first aspect of the present invention, wherein the image data is divided into one or a plurality of rectangular areas, and the pixel value is frequency-converted for each rectangular area and hierarchically compressed and encoded. A syntax analysis means for analyzing the syntax of the packet, a packet length reading means for reading the packet length of the packet constituting the code string data for each rectangular area based on the analysis result of the syntax analysis means, and the packet length reading means And unnecessary portion removing means for removing unnecessary information that is originally unnecessary in the image data based on the packet length for each rectangular area.
[0014]
Therefore, the packet length for each rectangular area read based on the syntax analysis result of the code string data created by frequency-converting the pixel value of each predetermined rectangular area of the image data and performing hierarchical compression encoding Based on this, unnecessary information that is originally unnecessary in the image data is removed. As a result, unnecessary information that is originally unnecessary in the image data in the code state can be removed without going through a complicated process of decoding and dequantizing the code string data. The removal can be performed in a short time.
[0015]
According to a second aspect of the present invention, there is provided an unnecessary part removing apparatus according to the first aspect, further comprising: a code string creating unit that arranges the code string data from which unnecessary information has been removed by the unnecessary part removing unit into standard format code string data.
[0016]
Therefore, the newly generated code string data can be decompressed by a general-purpose decoder.
[0017]
According to a third aspect of the present invention, in the unnecessary part removing apparatus according to the first or second aspect, the apparatus further comprises condition designating means for designating a syntax analysis condition in the syntax analysis means.
[0018]
Therefore, for example, by specifying the area of the rectangular area, the number of components (color components), the band of the subband, etc. as the syntax analysis conditions, the code amount accuracy and the reading speed are optimized according to the user's desire. It becomes possible to do.
[0019]
According to a fourth aspect of the present invention, in the unnecessary portion removing device according to any one of the first to third aspects, the unnecessary portion removing means compares the packet length read by the packet length reading means with a threshold value, If the packet length exceeds the threshold, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area.
[0020]
Therefore, since the packet length of the area containing unnecessary information is often larger than the packet length of the surrounding area, for example, by setting the packet length of the area located around the area containing unnecessary information as a threshold, Unnecessary information existing in the image data is reliably extracted and removed.
[0021]
According to a fifth aspect of the present invention, in the unnecessary portion removing device according to any one of the first to fourth aspects, the unnecessary portion removing means separates code data that is unnecessary information of the code string data relating to the image data. Replace with code data.
[0022]
Therefore, unnecessary information can be removed by using different code data as code data of a white image, for example.
[0023]
According to a sixth aspect of the present invention, in the unnecessary portion removing apparatus according to the fifth aspect, the other code data to be replaced is code data of a predetermined area in the image data.
[0024]
Therefore, unnecessary information can be removed by using another code data as, for example, code data of a background portion in image data.
[0025]
According to a seventh aspect of the present invention, in the unnecessary part removing device according to any one of the first to fourth aspects, the unnecessary part removing unit includes a part of code data which is unnecessary information of code string data related to the image data. Is deleted.
[0026]
Therefore, the image of unnecessary information becomes unclear, and the contamination of the image is less worrisome than before processing the unnecessary information portion.
[0027]
According to an eighth aspect of the present invention, in the unnecessary part removing apparatus according to the seventh aspect, a part of the code data to be deleted is high-frequency subband code data.
[0028]
Therefore, the image of unnecessary information becomes unclear.
[0029]
According to a ninth aspect of the present invention, in the unnecessary portion removing apparatus according to the seventh aspect, part of the code data to be deleted is code data of a color difference component.
[0030]
Therefore, the image of unnecessary information becomes unclear.
[0031]
According to a tenth aspect of the present invention, in the unnecessary portion removing apparatus according to any one of the first to ninth aspects, the rectangular area as a division unit is a tile in the “JPEG2000 algorithm”.
[0032]
Therefore, discrete wavelet transform can be used as frequency transform.
[0033]
According to an eleventh aspect of the present invention, in the unnecessary portion removing apparatus according to any one of the first to ninth aspects, the rectangular area as a division unit is a precinct in the “JPEG2000 algorithm”.
[0034]
Therefore, even when tile division is not performed (all image areas = tiles), unnecessary information that is originally unnecessary in the image data can be removed in the same manner as the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0035]
According to a twelfth aspect of the present invention, in the unnecessary portion removing apparatus according to any one of the first to ninth aspects, the rectangular area as a division unit is a code block in the “JPEG2000 algorithm”.
[0036]
Therefore, even when tile division is not performed (all image areas = tiles), unnecessary information that is originally unnecessary in the image data can be removed in the same manner as the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0037]
An image processing apparatus according to a thirteenth aspect of the present invention is an image compression apparatus that divides image data into one or a plurality of rectangular areas, frequency-converts pixel values for each rectangular area, and hierarchically compresses and encodes the image data. The unnecessary part according to any one of claims 1 to 12, wherein unnecessary information existing in the image data is removed for each rectangular area based on code string data of the image data compressed and encoded by the apparatus. A removal device.
[0038]
Therefore, it is possible to provide an image processing apparatus that exhibits the same operation as that of any one of the first to twelfth aspects.
[0039]
According to a fourteenth aspect of the present invention, there is provided a program that is installed in a computer, or is interpreted and executed, and the computer divides image data into one or a plurality of rectangular areas, and each of the rectangular areas is divided. A syntax analysis function that analyzes the syntax of code string data created by frequency-converting pixel values and hierarchically compressing and encoding, and the packet length of the packets that make up the code string data based on the analysis results of this syntax analysis function Packet length reading function for reading each rectangular area, and an unnecessary part removing function for removing unnecessary information that is originally unnecessary in the image data based on the packet length read by the packet length reading function for each rectangular area And execute.
[0040]
Therefore, the packet length for each rectangular area read based on the syntax analysis result of the code string data created by frequency-converting the pixel value of each predetermined rectangular area of the image data and performing hierarchical compression encoding Based on this, unnecessary information that is originally unnecessary in the image data is removed. As a result, unnecessary information that is originally unnecessary in the image data in the code state can be removed without going through a complicated process of decoding and dequantizing the code string data. The removal can be performed in a short time.
[0041]
According to a fifteenth aspect of the invention, in the program according to the fourteenth aspect, the computer is caused to execute a code string generation function that arranges the code string data from which unnecessary information has been removed by the unnecessary part removing function into standard-format code string data. .
[0042]
Therefore, the newly generated code string data can be decompressed by a general-purpose decoder.
[0043]
According to a sixteenth aspect of the present invention, in the program according to the fourteenth or fifteenth aspect, the computer is caused to execute a condition specifying function for specifying a syntax analysis condition in the syntax analysis function.
[0044]
Therefore, for example, by specifying the area of the rectangular area, the number of components (color components), the band of the subband, etc. as the syntax analysis conditions, the code amount accuracy and the reading speed are optimized according to the user's desire. It becomes possible to do.
[0045]
According to a seventeenth aspect of the present invention, in the program according to any one of the fourteenth to sixteenth aspects, the unnecessary portion removing function compares the packet length read by the packet length reading function with a threshold value, and the packet length is When the threshold value is exceeded, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area.
[0046]
Therefore, since the packet length of the area containing unnecessary information is often larger than the packet length of the surrounding area, for example, by setting the packet length of the area located around the area containing unnecessary information as a threshold, Unnecessary information existing in the image data is reliably extracted and removed.
[0047]
According to an eighteenth aspect of the present invention, in the program according to any one of the fourteenth to seventeenth aspects, the unnecessary portion removing function converts the code data, which is unnecessary information of the code string data related to the image data, into another code data. replace.
[0048]
Therefore, unnecessary information can be removed by using different code data as code data of a white image, for example.
[0049]
According to a nineteenth aspect of the present invention, in the program according to the eighteenth aspect, another code data to be replaced is code data of a predetermined area in the image data.
[0050]
Therefore, unnecessary information can be removed by using another code data as, for example, code data of a background portion in image data.
[0051]
According to a twentieth aspect of the invention, in the program according to any one of the fourteenth to seventeenth aspects, the unnecessary portion removing function deletes a part of code data that is unnecessary information of code string data related to the image data. .
[0052]
Therefore, the image of unnecessary information becomes unclear, and the contamination of the image is less worrisome than before processing the unnecessary information portion.
[0053]
According to a twenty-first aspect of the present invention, in the program according to the twentieth aspect, a part of the code data to be deleted is high-frequency subband code data.
[0054]
Therefore, the image of unnecessary information becomes unclear.
[0055]
According to a twenty-second aspect of the present invention, in the program according to the twentieth aspect, part of the code data to be deleted is code data of a color difference component.
[0056]
Therefore, the image of unnecessary information becomes unclear.
[0057]
According to a twenty-third aspect of the present invention, in the program according to any one of the fourteenth to twenty-second aspects, the rectangular area that is a division unit is a tile in the “JPEG2000 algorithm”.
[0058]
Therefore, discrete wavelet transform can be used as frequency transform.
[0059]
According to a twenty-fourth aspect of the present invention, in the program according to any one of the fourteenth to twenty-second aspects, the rectangular area as a division unit is a precinct in the “JPEG2000 algorithm”.
[0060]
Therefore, even when tile division is not performed (all image areas = tiles), unnecessary information that is originally unnecessary in the image data can be removed in the same manner as the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0061]
According to a twenty-fifth aspect of the present invention, in the program according to any one of the fourteenth to twenty-second aspects, the rectangular area as a division unit is a code block in the “JPEG2000 algorithm”.
[0062]
Therefore, even when tile division is not performed (all image areas = tiles), unnecessary information that is originally unnecessary in the image data can be removed in the same manner as the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0063]
A storage medium according to a twenty-sixth aspect stores the program according to any one of the fourteenth to twenty-fifth aspects.
[0064]
Therefore, by causing the computer to read the program stored in the storage medium, it is possible to obtain the same operation as that of the invention according to any one of claims 14 to 25.
[0065]
The unnecessary part removing method of the invention described in claim 27 is a code string data created by dividing image data into one or a plurality of rectangular areas, frequency-converting pixel values for each rectangular area and hierarchically compressing and encoding the pixel values. A syntax analysis step for analyzing the syntax of the packet, a packet length reading step for reading the packet length of the packet constituting the code string data for each rectangular area based on the analysis result of the syntax analysis step, and a packet length reading step. An unnecessary portion removing step of removing unnecessary information which is originally unnecessary in the image data for each rectangular area based on the packet length.
[0066]
Therefore, the packet length for each rectangular area read based on the syntax analysis result of the code string data created by frequency-converting the pixel value of each predetermined rectangular area of the image data and performing hierarchical compression encoding Based on this, unnecessary information that is originally unnecessary in the image data is removed. As a result, unnecessary information that is originally unnecessary in the image data in the code state can be removed without going through a complicated process of decoding and dequantizing the code string data. The removal can be performed in a short time.
[0067]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to FIGS.
[0068]
First, an outline of the “hierarchical encoding algorithm” and the “JPEG2000 algorithm” which are the premise of the present invention will be described.
[0069]
FIG. 1 is a functional block diagram of a system that implements a hierarchical encoding algorithm that is the basis of the JPEG2000 system. This system includes color space transform / inverse transform unit 101, two-dimensional wavelet transform / inverse transform unit 102, quantization / inverse quantization unit 103, entropy encoding / decoding unit 104, and tag processing unit 105. It is configured.
[0070]
One of the biggest differences between this system and the conventional JPEG algorithm is the conversion method. In JPEG, discrete cosine transform (DCT) is used. In this hierarchical coding algorithm, the two-dimensional wavelet transform / inverse transform unit 102 uses discrete wavelet transform (DWT). ing. DWT has the advantage of better image quality in the high compression region than DCT, and this is one of the main reasons why DWT is adopted in JPEG2000, which is a successor algorithm of JPEG.
[0071]
Another major difference is that in this hierarchical encoding algorithm, a functional block of the tag processing unit 105 is added in order to perform code formation at the final stage of the system. The tag processing unit 105 generates compressed data as code string data during an image compression operation, and interprets code string data necessary for decompression during the decompression operation. And JPEG2000 can realize various convenient functions by code string data. For example, the compression / decompression operation of a still image can be freely stopped at an arbitrary layer (decomposition level) corresponding to octave division in block-based DWT (see FIG. 3 described later).
[0072]
In many cases, color space conversion / inverse conversion 101 is connected to the input / output portion of the original image. For example, the RGB color system composed of R (red) / G (green) / B (blue) components of the primary color system and the Y (yellow) / M (magenta) / C (cyan) components of the complementary color system This corresponds to the part that performs conversion or reverse conversion from the YMC color system consisting of the above to the YUV or YCbCr color system.
[0073]
Next, the JPEG2000 algorithm will be described.
[0074]
As shown in FIG. 2, in a color image, each component 111 (RGB primary color system here) of an original image is generally divided by a rectangular area. This divided rectangular area is generally called a block or a tile. In JPEG2000, it is generally called a tile. Therefore, such a divided rectangular area is hereinafter referred to as a tile. (In the example of FIG. 2, each component 111 is divided into a total of 16 rectangular tiles 112, 4 × 4 in length and breadth). When such individual tiles 112 (R00, R01,..., R15 / G00, G01,..., G15 / B00, B01,..., B15 in the example of FIG. 2) execute the image data compression / decompression process. It becomes the basic unit. Therefore, the compression / decompression operation of the image data is performed independently for each component and for each tile 112.
[0075]
At the time of encoding image data, the data of each tile 112 of each component 111 is input to the color space conversion / inverse conversion unit 101 in FIG. A dimensional wavelet transform (forward transform) is applied to divide the space into frequency bands.
[0076]
FIG. 3 shows subbands at each decomposition level when the number of decomposition levels is three. In other words, the tile original image (0LL) (decomposition level 0) obtained by tile division of the original image is subjected to two-dimensional wavelet transform, and the subbands (1LL, 1HL, 1LH shown in the decomposition level 1) , 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transformation to separate the subbands (2LL, 2HL, 2LH, 2HH) indicated by the decomposition level 2. Similarly, the low-frequency component 2LL is also subjected to two-dimensional wavelet transform to separate subbands (3LL, 3HL, 3LH, 3HH) shown in the decomposition level 3. In FIG. 3, the subbands to be encoded at each decomposition level are indicated by shading. For example, when the number of decomposition levels is 3, the subbands (3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, 1HH) indicated by shading are the encoding targets, and the 3LL subband is encoded. It is not converted.
[0077]
Next, the bits to be encoded are determined in the specified encoding order, and the context is generated from the bits around the target bits by the quantization / inverse quantization unit 103 shown in FIG.
[0078]
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to use memory efficiently in implementation. As shown in FIG. 4, one precinct consists of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
[0079]
The coefficient value after wavelet transform can be quantized and encoded as it is, but in JPEG2000, in order to increase the encoding efficiency, the coefficient value is decomposed into “bit plane” units, and each pixel or code block is divided. Ranking can be performed on “bitplanes”.
[0080]
Here, FIG. 5 is an explanatory diagram showing an example of a procedure for ranking the bit planes. As shown in FIG. 5, this example is a case where the original image (32 × 32 pixels) is divided into four 16 × 16 pixel tiles, and the size of the precinct and code block at the composition level 1 is Each is 8 × 8 pixels and 4 × 4 pixels. The numbers of the precinct and the code block are assigned in raster order. In this example, the number of assigns is assigned from numbers 0 to 3, and the code block is assigned from numbers 0 to 3. A mirroring method is used for pixel expansion outside the tile boundary, wavelet transform is performed with a reversible (5, 3) filter, and a wavelet coefficient value of decomposition level 1 is obtained.
[0081]
An explanatory diagram showing an example of the concept of a typical “layer” configuration for tile 0 / precinct 3 / code block 3 is also shown in FIG. The converted code block is divided into subbands (1LL, 1HL, 1LH, 1HH), and wavelet coefficient values are assigned to the subbands.
[0082]
The layer structure is easy to understand when the wavelet coefficient values are viewed from the horizontal direction (bit plane direction). One layer is composed of an arbitrary number of bit planes. In this example, layers 0, 1, 2, and 3 are made up of bit planes of 1, 3, 1, and 3, respectively. A layer including a bit plane closer to LSB (Least Significant Bit) is subject to quantization first. Conversely, a layer closer to MSB (Most Significant Bit) is quantized to the end. It will remain without being. A method of discarding from a layer close to the LSB is called truncation, and the quantization rate can be finely controlled.
[0083]
The entropy encoding / decoding unit 104 illustrated in FIG. 1 performs encoding on the tile 112 of each component 111 by probability estimation from the context and the target bit. In this way, encoding processing is performed in units of tiles 112 for all components 111 of the original image. Finally, the tag processing unit 105 performs a process of combining all the encoded data from the entropy encoding / decoding unit 104 into one code string data and adding a tag thereto.
[0084]
FIG. 6 shows a schematic configuration for one frame of the code string data. Tag information called a header (main header, tile part header which is tile boundary position information, etc.) is provided at the head of the code string data and the head of the code data (bit stream) of each tile. Appended, followed by the encoded data for each tile. In the main header, coding parameters and quantization parameters are described. A tag (end of codestream) is placed again at the end of the code string data. FIG. 7 shows a code stream structure in which packets containing encoded wavelet coefficient values are represented for each subband. As shown in FIG. 7, the same packet string structure is obtained regardless of whether the tile division process is performed or the tile division process is not performed.
[0085]
On the other hand, when the encoded data is decoded, the image data is generated from the code string data of each tile 112 of each component 111, contrary to the case of encoding the image data. In this case, the tag processing unit 105 interprets tag information added to the code string data input from the outside, decomposes the code string data into code string data of each tile 112 of each component 111, and Decoding processing (decompression processing) is performed for each code string data of each tile 112. At this time, the positions of the bits to be decoded are determined in the order based on the tag information in the code string data, and the quantization / inverse quantization unit 103 determines the peripheral bits of the target bit position (already decoded). Context is generated from the sequence of The entropy encoding / decoding unit 104 performs decoding by probability estimation from the context and code string data, generates a target bit, and writes it in the position of the target bit. Since the data decoded in this way is spatially divided for each frequency band, the two-dimensional wavelet transform / inverse transform unit 102 performs two-dimensional wavelet inverse transform on each of the components of the image data. The tile is restored. The restored data is converted to original color system image data by the color space conversion / inverse conversion unit 101.
[0086]
The above is the outline of the “JPEG2000 algorithm”.
[0087]
Hereinafter, an embodiment of the present invention will be described. Although an example relating to an image compression / decompression technique represented by JPEG2000 will be described here, it goes without saying that the present invention is not limited to the contents of the following description.
[0088]
The server computer and the client computer of the present embodiment execute image processing by being controlled by an image processing program that is installed in the computer or interpreted and executed. In this embodiment, a storage medium for storing such an image processing program is also introduced.
[0089]
FIG. 8 is a schematic diagram showing an example of system construction in the present embodiment.
[0090]
In the image data processing system of the present embodiment, a server client system 1 is assumed in which a plurality of client computers 4 as image processing apparatuses are connected to a server computer 2 via a network 3 such as a LAN (Local Area Network). The server client system 1 has an environment in which an image input device 5 such as a scanner or a digital camera and an image output device 6 such as a printer can be shared on the network 3. Further, an MFP 7 called a multifunction peripheral may be connected on the network 3, and an environment may be constructed so that the MFP 7 functions as the image input device 5 or the image output device 6.
[0091]
Such a server client system 1 is constructed so as to be capable of data communication with another server client system 1 via, for example, an intranet 8 and constructed so as to be capable of data communication with an external environment via an Internet communication network 9.
[0092]
The server computer 2 includes a document management server 2a and a data conversion server 2b. The document management server 2a exhibits a document management function for storing image images of various documents as image data. The data conversion server 2b exhibits a data conversion function such as, for example, performing OCR (Optical Character Reader) processing on image data to extract text data.
[0093]
In the following, the client computer 4 which is an image processing apparatus that exhibits the characteristic functions of the present invention will be described.
[0094]
FIG. 9 is a module configuration diagram of the client computer 4 as the image processing apparatus according to the present embodiment. The client computer 4 stores a central processing unit (CPU) 11 that performs information processing, a primary storage device 14 such as a ROM (Read Only Memory) 12 and a RAM (Random Access Memory) 13 that store information, and a compression code that will be described later. A secondary storage device 16 such as an HDD (Hard Disk Drive) 15 as a storage unit, a removable disk device 17 such as a CD-ROM drive for storing information, distributing information to the outside, and obtaining information from the outside, A network interface 18 for communicating information with the image input device 5 and other external computers via the network 3, a CRT (Cathode Ray Tube) or LCD (Liquid Crystal) for displaying processing progress and results to the operator A display device 19 such as a display), and a keyboard 20 for an operator to input commands and information to the CPU 11. It is composed of a pointing device 21 such as a mouse, and the bus controller 22 operates by arbitrating data transmitted and received between these units.
[0095]
In such a client computer 4, when the user turns on the power, the CPU 11 activates a program called a loader in the ROM 12, reads a program for managing the hardware and software of the computer called the operating system from the HDD 15 into the RAM 13, and this operating system Start up. Such an operating system starts a program, reads information, and performs storage according to a user operation. As typical operating systems, Windows (registered trademark), UNIX (registered trademark), and the like are known. An operation program running on these operating systems is called an application program.
[0096]
Here, the client computer 4 stores an image processing program in the HDD 15 as an application program. In this sense, the HDD 15 functions as a storage medium that stores the image processing program.
[0097]
In general, an operation program installed in the secondary storage device 16 such as the HDD 15 of the client computer 4 is recorded on an optical information recording medium such as a CD-ROM or DVD-ROM, a magnetic medium such as an FD, or the like. The recorded operation program is installed in the secondary storage device 16 such as the HDD 15. For this reason, portable storage media such as optical information recording media such as CD-ROM and magnetic media such as FD can also be storage media for storing image processing programs. Furthermore, the image processing program may be imported from the outside via, for example, the network interface 18 and installed in the secondary storage device 16 such as the HDD 15.
[0098]
In the client computer 4, when an image processing program operating on the operating system is started, the CPU 11 executes various arithmetic processes according to the image processing program and controls each unit intensively. Of the various types of arithmetic processing executed by the CPU 11 of the client computer 4, characteristic processing of this embodiment will be described below.
[0099]
Here, functions realized by various arithmetic processes executed by the CPU 11 of the client computer 4 will be described. As shown in FIG. 10, the client computer 4 that is an image processing device includes an image compression device 4 a that compresses and encodes image data read by the image input device 5, and image data of the input document read by the image input device 5. Each function of the unnecessary part removing device 4b for removing unnecessary information that is not originally necessary is realized by various arithmetic processes executed by the CPU 11.
[0100]
The image compression apparatus 4a encodes digital image data by JPEG using DCT for frequency conversion or JPEG2000 algorithm using DWT for frequency conversion. The image compression apparatus 4a in the present embodiment compresses and encodes the digital pixel value signal of the image according to the “JPEG2000 algorithm”. Note that the compression encoding processing according to the “JPEG2000 algorithm” includes the spatial transform / inverse transform unit 101, the two-dimensional wavelet transform / inverse transform unit 102, the quantization / inverse quantization unit 103, and the entropy code shown in FIG. Since description has been made in the description of the encoding / decoding unit 104 and the tag processing unit 105, description thereof is omitted here. By the processing in the image compression device 4a, the image data of the R, G, and B components of the original image is divided into one or a plurality of (usually a plurality of) tiles for each frame, and each tile is hierarchically divided. The encoded data is compressed and encoded.
[0101]
The unnecessary part removing device 4b removes unnecessary information which is not originally required from the image data of the input document read by the image input device 5 based on the code string data output from the image compression device 4a, and the network interface 18. To the server computer 2 or stored in an HDD (Hard Disk Drive) 15. Unnecessary information that is not originally necessary in the image data of the input document read by the image input device 5 means that the filing punch holes opened in the paper document (original) remain as data as described above. For example, a shadow, a shadow generated on an outer peripheral portion or a binding portion of a paper document (original).
[0102]
As shown in FIG. 11, the unnecessary part removing device 4b includes a code string input unit 41 for receiving input of a code string, a syntax analyzing unit 42, an unnecessary part removing unit 43, a packet length reading unit 44, an extraction condition designating unit 45, The code string generating means 46 and the code string output means 47 for outputting the code string are constituted by various means. These various means are realized by processing performed by the CPU 11 in accordance with the above-described image processing program. In addition, when real-time property is regarded as important, it is necessary to speed up the processing. For this purpose, it is desirable to separately provide a logic circuit (not shown) and realize the functions of various means by the operation of the logic circuit.
[0103]
Next, each part which comprises the unnecessary part removal apparatus 4b is demonstrated.
[0104]
The syntax analysis means 42 decodes the syntax of the code string data input from the image compression apparatus 4 a, that is, the data described in the header part, and outputs “header part information” to the packet length reading means 44. Here, FIG. 12 is an explanatory diagram showing the reading of the header information by the syntax analysis means 42. As shown in FIG. 12, the data amount of the payload part, that is, the “packet length” is the sum of the number of frequency conversion coefficient values (the code amount of the frequency conversion coefficient value) and is described in the header part. Here, the frequency conversion coefficient value is a wavelet coefficient value. Then, the syntax analysis means 42 reads this header part information and outputs it to the packet length reading means 44.
[0105]
The extraction condition specifying unit 45 provides only the necessary and sufficient information to the packet length reading unit 44, and the area of the rectangular area and the number of components (color components) of the code string data input from the image compression device 4a. It functions as a condition designating means for designating each of the subband bands. In this way, by specifying the area of the rectangular area, the number of components (color components), and the band of the subband for the code string data, the code amount accuracy and the reading speed are optimized according to the user's desire. Is possible. In other words, when considering the trade-off relationship between the reading accuracy of the code amount and the reading speed and focusing on high speed, attention should be paid only to the low frequency subband of the luminance component in the small rectangular area. Good. On the other hand, when an accurate code amount is required, the area of the rectangular region of interest is increased, and the subbands are examined up to a high frequency.
[0106]
The packet length reading means 44 that has received the header part information reads the packet length data of the input document from the header part information and outputs it to the unnecessary part removing means 43.
[0107]
The unnecessary portion removing means 43 is schematically an image of the input document read by the image input device 5 based on the header information (“packet length”) of the code data of the input document read by the image input device 5. It eliminates unnecessary information that is not originally necessary in the data.
[0108]
Here, the removal of unnecessary information that is not originally necessary in the image data of the input document read by the image input device 5 by the unnecessary part removing unit 43 will be described. Here, a method of removing unnecessary information that is not originally necessary in the image data of the input document read by the image input device 5 based on the data amount of the payload portion, that is, the “packet length” will be described. Here, FIG. 13 is a functional block diagram showing the configuration of the unnecessary part removing means 43. As illustrated in FIG. 13, the unnecessary part removing unit 43 that has received the code string data and the “packet length” compares the received “packet length” with the threshold set by the user, and is read by the image input device 5. It is determined whether or not unnecessary information to be removed is included in the image data of the input document (removal target determining means 43a).
[0109]
When the received “packet length” is equal to or smaller than the threshold value, that is, when the image data of the input document read by the image input device 5 does not include unnecessary information to be removed, the received code string data is Passing through the switch 43b and the header rewriting means 43c as they are, the received code string data is used as it is as code string data.
[0110]
On the other hand, when the received “packet length” exceeds the threshold value, that is, when the image data of the input document read by the image input device 5 includes unnecessary information to be removed, the switch 43b The code data which is unnecessary information of the received code string data is replaced with code data of another pattern image prepared in advance, or after a part of the received code string data is deleted, the header rewriting means 43c. Is output.
[0111]
In the header rewriting means 43c, the information of the header part of the code string data is rewritten, and the appearance as the code string data is arranged.
[0112]
Here, when replacing the code data which is unnecessary information with the code data of another pattern image, it is easiest to use white image data. When the background portion of the input document is lightly soiled, it may be noticeable if the unnecessary information portion is replaced with pure white. In such a case, the image data obtained from the background of the input document It is appropriate to use it as code data for another pattern image.
[0113]
When a part of the code string data is deleted, in the case of a subband, the code data is discarded in order from the high frequency part and the deep part of the hierarchy. In the case of a color component, the luminance component is left and the color difference component is deleted. By deleting the code data, an image in an unnecessary area becomes unclear, and the image is less likely to become dirty than before processing the unnecessary information portion.
[0114]
The code string creating means 46 prepares the code string data from which unnecessary information has been removed by the unnecessary part removing means 43 into standard format code string data. By doing so, it is possible to decompress the newly generated code string data with a general-purpose decoder.
[0115]
The contents of the unnecessary part removing process by the unnecessary part removing apparatus 4b as described above are shown in the flowchart showing the flow of the unnecessary part removing process by the unnecessary part removing apparatus 4b in FIG. This will be described in more detail with reference to an explanatory diagram illustrating how the processing is performed. This unnecessary portion removal processing is executed when the entire area of the document is read (main scan) by the image input device 5. Here, image data (a filing punch hole a opened in a paper document (original) remains as data as shown in FIG. 15A and the outer periphery of the paper document (original). It is assumed that (image data in which a shadow b is generated on the lower side and the right side) is obtained by reading the entire area of the document (main scan) by the image input device 5.
[0116]
As shown in FIG. 14, in the unnecessary part removal process, first, when the compressed code string data of the document read by the image input device 5 is acquired (Y in step S1), the header part related to the code string data in a predetermined area. Information is read (step S2).
[0117]
Here, the “predetermined area” for reading the header information in step S2 will be described. The “predetermined area” for reading the header information in the present embodiment is the peripheral edge of the paper document (original) as shown in FIG. 15B (the halftone dot portion in FIG. 15B). This is because a filing punch hole opened in the paper document (original) is formed in the peripheral portion of the paper document (original), and a shadow is often generated. As shown in FIG. 15B, the reading range by the image input device 5 is divided into one or a plurality of rectangular areas, and here, it is divided into 11 × 15 = 165 rectangular areas. Therefore, the “predetermined area” for reading the header information is specified in units of the divided rectangular areas. The “predetermined area” for reading such header information can be arbitrarily specified by the user. When the code string is in JPEG2000 format, tiles, precincts, or code blocks can be used as the rectangular area.
[0118]
When the header part information related to the code string data of the predetermined area is read in step S2, the packet length is sequentially read from the header part information for each rectangular area (step S3), and the read packet length is compared with the threshold value (step S4). . FIG. 16 is a graph showing a “packet length” distribution in each rectangular area of the image data shown in FIG. In the image data shown in FIG. 15A, high frequency components increase in the rectangular area where the punch hole a and the shadow b of the outer peripheral portion (lower side and right side) are located. That is, as shown in FIG. 16, the code amount (packet length) of such a rectangular area including unnecessary information that is not necessary originally becomes larger than that of other rectangular areas. In FIGS. 15B and 16, the number # of each rectangular area (tile) is indicated by 00 to 164.
[0119]
Therefore, for a rectangular area where the “packet length” exceeds the threshold (N in step S4), it is determined that the image data of the input document read by the image input device 5 includes unnecessary information to be removed. Then, the unnecessary part removal process of step S5 is executed. As described above, the unnecessary part removal processing replaces code data that is unnecessary information with code data (for example, white image data) of another pattern image prepared in advance. Thereby, the unnecessary part which is unnecessary information can be replaced with a specific pattern without contamination.
[0120]
On the other hand, for a rectangular area whose “packet length” is equal to or smaller than the threshold (Y in step S4), the image data of the input document read by the image input device 5 does not include unnecessary information to be removed. Judgment and the unnecessary part removal process of step S5 are not performed.
[0121]
These processes in steps S3 to S5 are repeated until all designated rectangular areas are completed (Y in step S6).
[0122]
That is, as shown in FIG. 15C, the rectangular area where the punch hole a or the shadow b of the outer peripheral portion (lower side and right side) is located is determined to be a rectangular area including unnecessary information to be removed. (The hatched portion in FIG. 15C) is replaced with code data (for example, white data) of another pattern image prepared in advance, and unnecessary information (punch hole a and outer peripheral portion (lower side and right side)) Shadow b) is removed. FIG. 15D shows a state where unnecessary information (a punch hole a and a shadow b on the outer peripheral portion (lower side and right side)) is removed.
[0123]
Here, the packet length for each rectangular area read based on the analysis result of the syntax of the code string data created by frequency-converting the pixel value of the predetermined area of the image data for each rectangular area and hierarchically compressing and encoding. Based on the above, unnecessary information which is originally unnecessary in the image data is removed. As a result, unnecessary information that is originally unnecessary in the image data in the code state can be removed without going through a complicated process of decoding and dequantizing the code string data. The removal can be performed in a short time.
[0124]
In the present embodiment, the case where the tile division process is performed on the original image has been described. However, the present invention is not limited to this. Even when tile division is not performed on the original image, if the precinct or code block is used as a rectangular area, unnecessary information existing in the image data that is not originally necessary is removed as in the case of tile division. Is possible.
[0125]
【The invention's effect】
According to the unnecessary part removing apparatus of the first aspect of the present invention, the code generated by dividing the image data into one or a plurality of rectangular areas, frequency-converting the pixel values for each rectangular area, and hierarchically compressing and encoding. A syntax analysis means for analyzing the syntax of the column data, a packet length reading means for reading the packet length of the packet constituting the code string data for each rectangular area based on the analysis result of the syntax analysis means, and the packet length reading means Unnecessary portion removal means for removing unnecessary information present in the image data for each rectangular area based on the read packet length, and a predetermined area of the image data for each rectangular area. Based on the packet length of each rectangular area read based on the analysis result of the syntax of the code string data created by frequency conversion and hierarchical compression encoding, By removing unnecessary information that is not necessary in the data, the code string data is decoded and dequantized, and it is not necessary in the code data. Since information can be removed, unnecessary information can be removed in a short time.
[0126]
According to a second aspect of the present invention, in the unnecessary part removing device according to the first aspect, the code string creating means for adjusting the code string data from which unnecessary information has been removed by the unnecessary part removing means into standard format code string data. By providing, a general-purpose decoder can decompress newly generated code string data.
[0127]
According to a third aspect of the present invention, in the unnecessary part removing device according to the first or second aspect, by providing the condition designating unit for designating the parsing condition in the parsing unit, for example, a rectangular region as the parsing condition By arbitrarily designating the area, the number of components (color components), the band of subbands, etc., the accuracy of the code amount and the reading speed can be optimized according to the desire of the user.
[0128]
According to a fourth aspect of the present invention, in the unnecessary part removing device according to any one of the first to third aspects, the unnecessary part removing unit compares the packet length read by the packet length reading unit with a threshold value. When the packet length exceeds the threshold, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area, so that the packet length of the area including unnecessary information is the packet of the surrounding area. Since it is often larger than the length, it is possible to reliably extract and remove unnecessary information existing in the image data by using, for example, a packet length of a region located around the region including unnecessary information as a threshold. Can do.
[0129]
According to a fifth aspect of the present invention, in the unnecessary part removing device according to any one of the first to fourth aspects, the unnecessary part removing unit obtains code data that is unnecessary information of code string data related to the image data. By replacing with another code data, unnecessary information can be removed by using another code data as, for example, code data of a white image.
[0130]
According to the invention of claim 6, in the unnecessary part removing apparatus according to claim 5, the other code data to be replaced is code data of a predetermined area in the image data. For example, unnecessary information can be removed by using code data of a background portion in image data.
[0131]
According to a seventh aspect of the present invention, in the unnecessary part removing device according to any one of the first to fourth aspects, the unnecessary part removing unit is configured to store code data that is unnecessary information of code string data related to the image data. By deleting a part, the image of unnecessary information becomes unclear, and the image is less likely to become dirty than before processing the unnecessary information part.
[0132]
According to the eighth aspect of the present invention, in the unnecessary portion removing apparatus according to the seventh aspect, the part of the code data to be deleted is the high-frequency sub-band code data, so that the image of unnecessary information is unclear. Can be.
[0133]
According to the ninth aspect of the present invention, in the unnecessary part removing device according to the seventh aspect, the part of the code data to be deleted is the code data of the color difference component, thereby obscure the image of the unnecessary information. be able to.
[0134]
According to the tenth aspect of the present invention, in the unnecessary portion removing apparatus according to any one of the first to ninth aspects, the rectangular area that is a division unit is a tile in the “JPEG2000 algorithm”, so that it is discrete as frequency conversion. Wavelet transform can be used.
[0135]
According to the eleventh aspect of the present invention, in the unnecessary part removing device according to any one of the first to ninth aspects, the rectangular area as a division unit is a precinct in the “JPEG2000 algorithm”, and therefore, tile division is not performed. In this case (all image areas = tiles), unnecessary information existing in the image data that is not originally necessary can be removed in the same manner as in the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0136]
According to the twelfth aspect of the present invention, in the unnecessary part removing device according to any one of the first to ninth aspects, the rectangular area as a division unit is a code block in the “JPEG2000 algorithm”, so that tile division is performed. Even when not performing (all image areas = tiles), unnecessary information existing in the image data that is not originally necessary can be removed in the same manner as in the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0137]
According to the image processing apparatus of the invention described in claim 13, an image compression apparatus that divides image data into one or a plurality of rectangular areas, frequency-converts pixel values for each rectangular area, and hierarchically compresses and encodes the pixel values. 13. The unnecessary information that is originally unnecessary in the image data is removed for each rectangular area based on code string data about the image data compressed and encoded by the image compression apparatus. By providing the unnecessary portion removing device, it is possible to provide an image processing device having the same operational effects as the invention according to any one of claims 1 to 12.
[0138]
According to the program of the fourteenth aspect of the present invention, a program that is installed in a computer, or is interpreted and executed, the image data is divided into one or a plurality of rectangular areas, and the rectangular area is divided. A syntax analysis function that analyzes the syntax of the code string data created by frequency-converting the pixel value for each time and hierarchically compressing and encoding, and based on the analysis result of this syntax analysis function, the packet of the code string data A packet length reading function for reading the packet length for each rectangular area, and an unnecessary part for removing unnecessary information existing in the image data for each rectangular area based on the packet length read by the packet length reading function. And a removal function, and a predetermined area of image data is subjected to frequency conversion of pixel values for each rectangular area and hierarchically compressed and encoded. Based on the packet length of each rectangular area read based on the analysis result of the syntax of the code string data created by the above, the code string data is decoded by removing unnecessary information existing in the image data that is not originally necessary Since unnecessary information existing in the image data in the encoded state can be removed without complicated processing such as conversion and inverse quantization, unnecessary information can be removed in a short time. .
[0139]
According to a fifteenth aspect of the invention, in the program according to the fourteenth aspect, the computer has a code string generation function for arranging the code string data from which unnecessary information has been removed by the unnecessary part removing function into standard-format code string data. By executing this, newly generated code string data can be decompressed by a general-purpose decoder.
[0140]
According to a sixteenth aspect of the invention, in the program according to the fourteenth or fifteenth aspect, by causing the computer to execute a condition specifying function for specifying a parsing condition in the parsing function, for example, a rectangle as a parsing condition By arbitrarily designating the area of the region, the number of components (color components), the band of the subband, etc., the accuracy of the code amount and the reading speed can be optimized according to the desire of the user.
[0141]
According to a seventeenth aspect of the present invention, in the program according to any one of the fourteenth to sixteenth aspects, the unnecessary portion removing function compares a packet length read by the packet length reading function with a threshold value, and When the length exceeds the threshold, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area, so that the packet length of the area including unnecessary information is compared with the packet length of the surrounding area. Therefore, unnecessary information existing in the image data can be reliably extracted and removed by using, for example, the packet length of an area located around the area including unnecessary information as a threshold value.
[0142]
According to an eighteenth aspect of the present invention, in the program according to any one of the fourteenth to seventeenth aspects, the unnecessary portion removing function converts the code data that is unnecessary information of the code string data related to the image data to another code. By replacing the data with other code data, for example, the code data of a white image can be used to remove unnecessary information.
[0143]
According to the nineteenth aspect of the present invention, in the program according to the eighteenth aspect, the different code data to be replaced is code data of a predetermined area in the image data. By using the code data of the background part in the middle, unnecessary information can be removed.
[0144]
According to the twentieth aspect of the invention, in the program according to any one of the fourteenth to seventeenth aspects, the unnecessary portion removing function can include a part of code data that is unnecessary information of code string data related to the image data. By deleting, the image of unnecessary information becomes unclear, and the contamination of the image becomes less worrisome than before processing the unnecessary information portion.
[0145]
According to the invention described in claim 21, in the program described in claim 20, a part of the code data to be deleted is the code data of the high frequency subband, thereby obscure the image of unnecessary information. Can do.
[0146]
According to the invention described in claim 22, in the program described in claim 20, a part of the code data to be deleted is code data of a color difference component, so that an image of unnecessary information can be obscured. .
[0147]
According to the invention of claim 23, in the program according to any one of claims 14 to 22, the rectangular area as a division unit is a tile in the “JPEG2000 algorithm”, so that discrete wavelet transform is performed as frequency transform. Can be used.
[0148]
According to a twenty-fourth aspect of the present invention, in the program according to any one of the fourteenth to twenty-second aspects, when the rectangular area as a division unit is a precinct in the “JPEG2000 algorithm”, tile division is not performed (all image areas). = Tile), unnecessary information that is originally unnecessary in the image data can be removed as in the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0149]
According to a twenty-fifth aspect of the invention, in the program according to any one of the fourteenth to twenty-second aspects, when the rectangular area as a division unit is a code block in the “JPEG2000 algorithm”, tile division is not performed. Also for (all image areas = tiles), unnecessary information existing in the image data that is not originally necessary can be removed in the same manner as in the tile unit. Further, the detection unit can be an image area smaller than the tile.
[0150]
According to a storage medium of a twenty-sixth aspect of the invention, by storing the program according to any one of the fourteenth to twenty-fifth aspects, the program stored in the storage medium can be read by a computer. The effect similar to invention of any one of claim | item 14 thru | or 25 can be acquired.
[0151]
According to the unnecessary part removing method of the invention described in claim 27, the code created by dividing the image data into one or a plurality of rectangular areas, frequency-converting the pixel values for each of the rectangular areas, and hierarchically compressing and encoding. A syntax analysis step for analyzing the syntax of the sequence data, a packet length reading step for reading the packet length of the packet constituting the code sequence data for each rectangular area based on the analysis result of the syntax analysis step, and a packet length reading step An unnecessary portion removing step for removing unnecessary information existing in the image data for each rectangular area based on the read packet length, and a predetermined area of the image data for each rectangular area. Based on the packet length of each rectangular area read based on the analysis result of the syntax of the code string data created by frequency conversion and hierarchical compression coding By removing unnecessary information that is not originally necessary in the data, it does not need to be present in the image data in the coded state without performing complicated processing of decoding and dequantizing the code string data. Since unnecessary information can be removed, unnecessary information can be removed in a short time.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a system that realizes a hierarchical encoding algorithm that is the basis of the JPEG2000 system that is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a divided rectangular area of each component of the original image.
FIG. 3 is an explanatory diagram showing subbands at each decomposition level when the number of decomposition levels is 3. FIG.
FIG. 4 is an explanatory diagram showing a precinct.
FIG. 5 is an explanatory diagram showing an example of a procedure for ranking bit planes;
FIG. 6 is an explanatory diagram illustrating a schematic configuration of one frame of code string data.
FIG. 7 is an explanatory diagram showing a code stream structure representing a packet containing encoded wavelet coefficient values for each subband.
FIG. 8 is a schematic diagram showing a system construction example according to an embodiment of the present invention.
FIG. 9 is a module configuration diagram of a client computer as an image processing apparatus.
FIG. 10 is a functional block diagram illustrating a configuration of an image processing apparatus.
FIG. 11 is a functional block diagram showing a configuration of an unnecessary part removing device.
FIG. 12 is an explanatory diagram illustrating reading of header part information by a syntax analysis unit.
FIG. 13 is a functional block diagram showing a configuration of unnecessary part removing means.
FIG. 14 is a flowchart showing a flow of unnecessary part removal processing by the unnecessary part removal apparatus.
FIG. 15 is an explanatory diagram exemplarily showing a state in which an unnecessary part removal process is performed on image data.
16 is a graph showing a “packet length” distribution in each rectangular area of the image data shown in FIG.
FIG. 17 is an explanatory diagram showing an example in a case where image data is contaminated with unnecessary information that is not originally needed.
FIG. 18 is an explanatory diagram showing an example in a case where image data is contaminated with unnecessary information that is not originally required.
FIG. 19 is an explanatory diagram showing an example in a case where image data is contaminated with unnecessary information that is not originally required.
[Explanation of symbols]
4 Image processing device
4a Image compression device
4b Unnecessary part removal device
15 storage media
42 Syntax analysis means
43 Unnecessary part removal means
44 Packet length reading means
45 Condition specifying means
46 Code string creation means

Claims

Syntactic analysis means for analyzing the syntax of code string data created by dividing image data into one or a plurality of rectangular areas, frequency-converting pixel values for each rectangular area, and hierarchically compressing and encoding;
Based on the analysis result of the syntax analysis means, a packet length reading means for reading the packet length of the packet constituting the code string data for each rectangular area;
Unnecessary part removing means for removing unnecessary information which is originally unnecessary in the image data based on the packet length read by the packet length reading means for each rectangular area;
An unnecessary portion removing apparatus.

The unnecessary part removal apparatus according to claim 1, further comprising: a code string creation unit that arranges the code string data from which unnecessary information has been removed by the unnecessary part removal unit into standard format code string data.

The unnecessary part removal apparatus according to claim 1, further comprising condition specifying means for specifying a syntax analysis condition in the syntax analysis means.

The unnecessary portion removing means includes
The packet length read by the packet length reading means is compared with a threshold value, and when the packet length exceeds the threshold value, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area. Item 4. The unnecessary portion removing apparatus according to any one of Items 1 to 3.

The unnecessary part removing device according to any one of claims 1 to 4, wherein the unnecessary part removing unit replaces code data, which is unnecessary information of code string data related to the image data, with another code data.

6. The unnecessary part removing apparatus according to claim 5, wherein the different code data to be replaced is code data of a predetermined area in the image data.

The unnecessary part removing device according to any one of claims 1 to 4, wherein the unnecessary part removing unit deletes a part of code data which is unnecessary information of code string data related to the image data.

8. The unnecessary part removing apparatus according to claim 7, wherein a part of the code data to be deleted is high-frequency subband code data.

8. The unnecessary part removing apparatus according to claim 7, wherein a part of the code data to be deleted is code data of a color difference component.

10. The unnecessary portion removing apparatus according to claim 1, wherein the rectangular area as a division unit is a tile in the “JPEG2000 algorithm”.

10. The unnecessary part removing apparatus according to claim 1, wherein the rectangular area which is a division unit is a precinct in the “JPEG2000 algorithm”.

10. The unnecessary portion removing apparatus according to claim 1, wherein the rectangular area as a division unit is a code block in the “JPEG2000 algorithm”.

An image compression device that divides image data into one or a plurality of rectangular areas, frequency-converts pixel values for each rectangular area, and hierarchically compresses and encodes the pixel values;
13. The unnecessary information which is originally not necessary in the image data is removed for each rectangular area based on the code string data of the image data compressed and encoded by the image compression apparatus. An unnecessary part removing device,
An image processing apparatus comprising:

A program that is installed on a computer or that is interpreted and executed on the computer,
A syntax analysis function for analyzing the syntax of code string data created by dividing the image data into one or a plurality of rectangular areas, frequency-converting pixel values for each rectangular area, and hierarchically compressing and encoding;
Based on the analysis result of the syntax analysis function, a packet length reading function for reading the packet length of the packet constituting the code string data for each rectangular area;
An unnecessary part removing function for removing unnecessary information that is not originally required in the image data based on the packet length read by the packet length reading function for each rectangular area;
A program that can be read by a computer.

15. The program according to claim 14, wherein the computer is caused to execute a code string creation function for adjusting the code string data from which unnecessary information has been removed by the unnecessary part removing function into code string data in a standard format.

The program according to claim 14 or 15, which causes the computer to execute a condition specifying function for specifying a parsing condition in the parsing function.

The unnecessary part removing function is
The packet length read by the packet length reading function is compared with a threshold, and when the packet length exceeds the threshold, it is determined that unnecessary information exists in the image data, and the unnecessary information is removed for each rectangular area. Item 17. The program according to any one of Items 14 to 16.

The program according to any one of claims 14 to 17, wherein the unnecessary part removing function replaces code data, which is unnecessary information of code string data related to the image data, with another code data.

The program according to claim 18, wherein the different code data to be replaced is code data of a predetermined area in the image data.

The program according to any one of claims 14 to 17, wherein the unnecessary part removing function deletes a part of code data which is unnecessary information of code string data related to the image data.

The program according to claim 20, wherein a part of the code data to be deleted is high-frequency subband code data.

The program according to claim 20, wherein a part of the code data to be deleted is code data of a color difference component.

The program according to any one of claims 14 to 22, wherein the rectangular area as a division unit is a tile in the "JPEG2000 algorithm".

The program according to any one of claims 14 to 22, wherein the rectangular area as a division unit is a precinct in the "JPEG2000 algorithm".

The program according to any one of claims 14 to 22, wherein the rectangular area as a division unit is a code block in the "JPEG2000 algorithm".

A storage medium storing the program according to any one of claims 14 to 25.

A syntax analysis step of analyzing the syntax of the code string data created by dividing the image data into one or a plurality of rectangular regions, frequency-converting pixel values for each rectangular region, and hierarchically compressing and encoding;
Based on the analysis result of this syntax analysis step, a packet length reading step of reading the packet length of the packet constituting the code string data for each rectangular area;
An unnecessary part removing step of removing unnecessary information that is not originally necessary in the image data based on the packet length read in the packet length reading step for each rectangular area;
Unnecessary part removal method including