JP4084535B2 - Compressed image correction device - Google Patents

Description

【０００５】
ただし、テキストページにおいて、フォントデータ自体の容量は無視できる場合であっても、レイアウトやフォントを忠実に実現するためには、（なぜなら、フォントデータはハードウエアに搭載済みの場合が多く、特殊なケース以外はフォントデータの埋め込みは不要であるため）、フォント参照情報やレイアウト情報を付与する必要があり、この場合は１ページあたりで数ＫＢ〜１０ＫＢのデータ量が増加する。しかしそれでも、画像ベースに比較すると１桁は下回ることになる。
【０００６】
このデータ量の多さを解決する従来技術として、特開平８−３０７９４号公報記載の画像圧縮方法で開示されている部品画像圧縮方式がある。
【０００７】
この従来例を簡単に説明すると、ある規則（従来例では黒画素連結領域）に従い、原画像の一部をパターンとして切り出しを行い、これを登録される部品（テンプレート）とマッチングし、マッチした場合は、その切り出されたパターンをマッチした部品で代表し、マッチしない場合は、その切り出されたパターンを新たな部品として登録し、各パターンを部品情報と位置情報とで記述するものである。つまり、従来技術は、自動的に抽出した部品で画像データを記述する方式である。
【０００８】
書籍では多数の画像が存在するが、各文字パターンは単一または数種類のフォントで構成されている。このような場合、従来技術では、全てのページの画像から自動的に各文字パターンをフォントデータとして抽出し、１つのフォントデータに１つのコードを対応付けて登録し、各ページの画像をコードと位置情報で記述する。したがって、従来技術が理想的に機能した場合、文字パターンデータ（＝フォントデータ：部品データ）と、それを参照するためのパターン情報（＝文字コード）と、位置情報が抽出されることになる。この場合のデータ量は、フォントデータも含めたテキストベースのデータ量と等しくなる。
【０００９】
したがって、画像ベースの電子書籍の圧縮方式としては、データ量を小さくするために、従来技術のような部品画像による圧縮方式の利用が有力視されている。
【００１０】
しかしながら従来技術では、パターンと部品とのマッチングにおいて誤判定によるパターンエラーが発生する。これは、文字認識に置き換えて考えると、「犬」→「大」や「人」→「入」などの類似文字の誤認識に相当する。
【００１１】
この原理について図を元に説明する。
元来は同じパターン（字形）で印字されている同一パターン（文字）でも、▲１▼ページ単位での印字品質の微小なばらつき、▲２▼スキャナなどによる画像入力時の微小な揺らぎ、▲３▼ページ毎の微妙な傾き、▲４▼特徴ベクトル変換時における量子化誤差などを原因とし、パターン空間上ではある程度の範囲に散らばって分布している。ここで、特徴空間とは、パターンマッチングで使用される特徴ベクトルにより張られる多次元空間であり、その次元数は採用する特徴に依存する。最も単純な特徴ベクトルの例としては、図１４に示されるメッシュ特徴がある。これはパターンの縦をＭ個、横をＮ個に分け、Ｍ×Ｎ個のメッシュに分割し、各メッシュ内の黒画素（あるいは濃淡値）の合計値を特徴ベクトルとするものである。この場合、特徴空間の次元数はＭ×Ｎ次元となる。
【００１２】
図１５は、ある２つの異種でかつ類似パターンの特徴空間上での分布を、便宜上２次元平面に示した図である。異種パターンは○と△で示され、○を文字の「犬」、△を「大」と考えると理解が容易である。このように、上記▲１▼〜▲４▼に挙げた種々の問題により、特徴空間上では、同一パターンであってもある程度の範囲に散らばって分布している。また、非常に大量の同一パターンが存在する場合は、その分布は正規分布すると予想されるが、少ないパターン数では、必ずしも正規分布するとは限らない。さらに、異種の類似パターンは図１５のようにお互いが空間上の近傍に存在する。
【００１３】
従来技術は画像の圧縮方式であるため、理想とするところは複数の同一パターン（文字で言えば同じ文字）を１つだけのテンプレートで表現することである。元々は同じ字形で印字されたパターンであるため、同一パターンの判定は容易であると考えやすいが、実際は、上述のように特徴空間での散らばりがあるため、同一パターンのマッチング判定には、ある程度幅を持たせた閾値を用いて行う必要がある。なお、この閾値ならびに大小判定は、採用するマッチング方式に依存しており、たとえば類似度方式ならば、閾値よりも大きい値をとるものをマッチしたと判定し、たとえばユークリッド距離方式では、閾値よりも小さい値をとるものをマッチしたと判定する。
【００１４】
図１６は、図１５に対してユークリッド距離方式で閾値を小さくして判定した場合の同一パターン判定例である。閾値距離は破線円で示されており、テンプレートであると判定されたパターンには●が付与されている。また、○パターンＰ１が○テンプレートＲ１で、○Ｐ２が○Ｒ２で、△Ｐ３が△Ｒ３で代表されている。
【００１５】
この例では、誤判定（異種パターンを同一パターンとして判定）は存在しないが、テンプレートと判定された個数が多く（２１個のパターンから１８個のテンプレートが作成）、従来技術の目的である圧縮率は低下する。
【００１６】
したがって、部品画像圧縮方式では、誤判定が発生しにくい程度に大きくした閾値を採用することにより、可能な限りテンプレート数を削減し、圧縮率を向上させる方策がなされている。
【００１７】
図１７は、同じく図１５に対して、図１６よりも閾値を大きくした場合の判定例である。破線円や●の意味は図１６と同様である。この例では、２１個のパターンから５個のテンプレートが生成されており、図１６に比べて圧縮率は向上する。しかし、閾値を大きくしたため、△パターンＰ４が○テンプレートＲ４で代表される誤判定が生じている。もし○が文字「大」で、△が文字「犬」ならば、このテンプレートを使用して圧縮し、それを復号した画像では、１つの「犬」が「大」のパターンに置き換わってしまう。
【００１８】
このように、圧縮率を高めた部品画像圧縮では、類似異種パターン間でパターンエラーが発生する可能性があり、この修正に多大な工数をかけた場合、画像ベース電子書籍の利点であるローコストの電子化を実現することができない。
【００１９】
したがって、画像ベースの電子書籍に部品画像圧縮を適用し、かつ画像ベースの利点であるローコストの電子化を実現するためには、このパターンエラーを高効率で修正する技術が必要となる。
【００２０】
このパターンエラーを高効率で修正するためには、以下の２つの技術が重要である。
【００２１】
１つは、エラーの発見を漏れなく、かつ最小数で操作者に提示する技術であり、もう１つは、発見したエラーに対する修正操作において、別個所の同じエラーを一括して修正する技術である。
【００２２】
部品画像圧縮がまだ実用化されていない現在においては、部品画像圧縮を対象とした上記修正方式は提案されていないが、最も近い先行類似技術としては、文字認識における修正方式が該当する。そして、この従来技術として、特開平７−２１３０３号公報記載の文字認識装置がある。この従来技術は、第１候補の距離、または第１候補と第２候補の距離差、または誤認識頻度が高い文字などのルールに基づきエラー文字を判定し、かつエラー文字に類似する他の文字を検索し、エラー文字と類似文字の全てを表示し、操作者が正解文字コードや修正対象文字の選定を行い（なぜなら、エラー文字に類似する全ての文字を選んでいるため、必ずしも全てが誤認識とは限らないため）、一括して正解コードに修正する方式である。
【００２３】
【発明が解決しようとする課題】
しかしながら、従来技術では、エラー判定に漏れが生じたり、正解文字をエラーと判定してしまう問題点を有する。これは、第１候補の距離、または第１候補と第２候補の距離差、または誤認識頻度が高い文字を基にエラー文字を判定しているためであり、たとえば、類似の異種パターン間でのエラーを漏れなく判定するためにはエラー判定の閾値をきつめに設定する必要があり、その結果、ほとんどの文字がエラーと判定されてしまう。逆に閾値を緩めた場合には、エラー判定に漏れが生じてしまう。
【００２４】
また、数百ページ（数十万文字）で構成される書籍を対象とし、かつエラー対象が出現頻度の高い文字である場合、従来技術では、その類似パターンが大量に表示され、効率よくこれらの確認ができない問題点を有する。つまり、従来技術は、数枚〜数十枚までを対象とした方式であり、書籍などの大量データを扱える技術とはなっていない。
【００２５】
また、部品画像圧縮の結果は文字認識のようなコード情報ではないため、従来技術のような誤認識頻度が高い文字を予め設定するなどのルールを適用することはできない。
【００２６】
本発明の目的は、圧縮効率を高めた圧縮画像の復号画像に対して、エラーの修正を高効率で行うことができる圧縮画像の修正装置を提供することである。
【００２７】
【課題を解決するための手段】
本発明は、原画像の一部をパターンとして切り出し、切り出したパターンと登録される部品とのパターンマッチングを行い、マッチした場合は、その切り出されたパターンをマッチした部品で代表し、マッチしない場合は、その切り出されたパターンを新たな部品として登録し、切り出した各パターンを部品情報と位置情報とで記述して圧縮を行う圧縮画像を修正するときに用いる圧縮画像の修正装置において、
復号画像の部品と、それに対応する原画像のパターンとを比較して差分を求め、差分が所定の閾値以上である場合は、差分が減少するようにパターンまたは部品を膨張または収縮させて再び比較し、差分が閾値以上である場合に復号画像の部品がエラーであると判断する手段を有し、
エラー部品と正解部品とが選択された場合、エラー部品と正解部品との差分を求め、差分が大なる領域を注目領域として抽出し、復号画像に同じエラー部品を使用している全ての原画像のパターンを抽出し、前記注目領域における差分の大きさの順に並び替えて表示させる手段を有することを特徴とする圧縮画像の修正装置である。
【００２８】
本発明に従えば、復号画像の部品と、それに対応する原画像のパターンとを比較して差分を求め、パターンまたは部品を膨張または収縮させて再び比較し、差分が閾値以上である場合に復号画像の部品がエラーであると判断するので、微少なずれであればエラーとならず、修正箇所を少なくして効率よく復号画像の修正を行うことができる。
また、一つのエラー部品を修正すると、復号画像に同じエラー部品を使用している全ての原画像のパターンを抽出し、エラーの可能性が高い順に並び替えて表示されるので、圧縮画像に含まれる全てのエラーを一括で修正することができる。
【００２９】
また本発明は、エラーであると判別された部品に対し、エラー部品に類似し、正解部品の候補となる候補部品を表示させる手段を有することを特徴とする。
【００３０】
本発明に従えば、エラー部品に類似し、正解部品の候補となる候補部品が表示されるので、容易にエラー部品の修正を行うことができる。
【００３３】
【発明の実施の形態】
図１は、本発明の実施の一形態である圧縮画像修正装置（以下では単に「修正装置」とも言う）１の構成を示すブロック図である。
【００３４】
本発明は、すべての制御や演算処理を行うＣＰＵ（中央演算処理装置）２、各種作業バッファを格納するためのワークメモリ３、部品画像圧縮ファイル情報を格納するための部品画像メモリ４、原画像ファイルおよび部品画像圧縮ファイルが格納されている外部記憶装置５、操作者へ各種表示を行うためのＣＲＴ６、操作者の指示内容を入力するためのマウス７、およびキーボード８、そしてデータバス９で構成される。
【００３５】
外部記憶装置５には、圧縮の対象となった原画像ファイル５ａと部品画像圧縮により出力された部品画像圧縮ファイル５ｂが格納されているが、原画像ファイル５ａは、１ページ毎に１つのユニークな名前が付与されたファイルであり、そのフォーマットはシステムにより随意に採用されるものである。本発明ではこの画像ファイルを、Ｗｉｎｄｏｗｓ上で最も基本的なＢＭＰ（ビットマップ）ファイルとする。これに対して部品画像圧縮ファイル５ｂは、圧縮方式に依存した特殊な構造をしているため、最も基本的な構造を図２を用いてさらに詳しく説明する。
【００３６】
図２は、部品画像圧縮ファイル５ｂとその複合画像とを示す図である。
部品画像圧縮ファイル５ｂは、１ページ毎に１つのユニークな名前が付与された座標ファイル１０，１１と、全圧縮対象で１つの部品ファイル１２で構成される。したがって、たとえば２００ページの書籍を対象に圧縮処理した結果は、座標ファイルが２００個、部品ファイルが１つ出力されている。
【００３７】
座標ファイル１０は、１つの部品毎にその部品を出力すべき座標が格納されている座標部１０ａと、部品ファイル内の部品を参照するための部品インデックス１０ｂとで構成される。また、部品ファイル１２は、部品（画像）が順に格納されている。
【００３８】
図２には、復号画像の例として１３と１４とが記されており、座標ファイル１０に復号画像１３が、座標ファイル１１に復号画像１４がそれぞれ対応している。画像の復号は、座標ファイル１０の座標部１０ａに格納されている座標と、部品インデックス１０ｂで参照される部品により行われる。たとえば複合画像１３の第１文字「は」は、座標部１０ａに格納されている座標に対して、部品インデックス１０ｂが示す部品ファイル１２の第１部品「は」を貼り込むことで実現できる。
【００３９】
次に、図１に戻り、部品画像メモリ４の説明を行う。部品画像メモリ４は、外部記憶装置５に記憶されている部品画像圧縮ファイル５ｂを入力し、修正情報を保存し、最終結果として部品画像圧縮ファイルを出力するためのメモリである。
【００４０】
図３は、部品画像メモリ４を示す図である。
部品画像メモリ４は、部品座標部４ａと、部品部４ｂとから構成されている。部品座標部４ａは図２で示される座標ファイルを格納するためのメモリであり、部品部４ｂは図２で示される部品ファイルを格納するためのメモリである。このうち部品部４ｂの構造は、図２の部品ファイル１２と同一である。また、部品座標部４ａの構造も、ほぼ図２の座標ファイル１０と同一であるが、図２がページ毎に複数のファイルで構成されているのに対して、１つのメモリイメージで構成される。このため部品座標部４ａは、さらに２つの画像先頭ポインタ部１５と、部品・インデックス部１６で構成されており、部品・インデックス部１６は座標ファイルの構造と同じである。
【００４１】
本発明では、画像修正の最初のステップとして修正したい部品画像圧縮ファイル５ｂ（すなわち複数の座標ファイルと１つの部品ファイル）を入力するが、その際、部品ファイルはそのまま部品部４ｂに格納され、複数の座標ファイルの情報は１つに連結され部品・インデックス部１６に格納される。そして座標ファイル毎の（すなわち１つのページ画像毎の）切れ目を示すため、１つの座標ファイル毎に画像先頭ポインタ部１５に対応する部品・インデックス部１６の座標部の先頭アドレスが格納される。
【００４２】
再び図１に戻り、ワークメモリ３の説明を行う。ワークメモリ３は、修正処理に必要な各種画像データを格納するためのバッファであり、原画像バッファ３ａ、復号画像バッファ３ｂ、原画膨張画像バッファ３ｃ、復号画像膨張画像バッファ３ｄ、差分画像バッファ３ｅ、色付画像バッファ３ｆ、候補部品バッファ３ｇ、部品差分バッファ３ｈおよび一括修正候補バッファ３ｉから構成される。
【００４３】
原画像バッファ３ａから部品差分バッファ３ｈまでは単純な画像バッファや１次元配列バッファで構成される。ただし一括修正候補バッファ３ｉは、部品画像メモリ４と関連した特殊な構造をしているため、これを図４を用いて説明を行う。
【００４４】
一括修正候補バッファ３ｉの構造は、図４に示されるように、１つの修正候補毎に、原画バッファ１７、座標部ポインタ１８、距離部１９、順位部２０および削除フラグ２１で構成される。各要素に格納されるデータ内容は後述するが、座標ポインタ１８は図２のとおり、部品画像メモリ４の座標部１６の先頭アドレスが格納される。なお、この格納時の動作も以降で詳細に説明する。
【００４５】
また、ワークメモリ３の各種バッファも、部品画像メモリ４も、その容量や必要サイズは、圧縮した原画像サイズとページ数に依存する。そのため、これらは必要に応じて動的にその容量が確保されるものとする。
【００４６】
次に、上記構成の修正装置１による圧縮画像の修正方法について説明する。
なお、理解を容易とするため、ここでは、切り出された部品を「文字」として扱うが、本発明では、部品の単位は何でもよく、たとえば文字の偏と旁がそれぞれ部品化されているような場合でも同じ原理で動作する。また、同じく説明を簡単にするため、以降の説明では、画像の黒画素を１、白画素を０とした２値画像を例にとり説明を行うが、本発明は、画素値が逆の場合は大小判定を逆にするだけで、または多値画像の場合でもそのまま適用可能である。
【００４７】
まず、復号画像の部品がエラーであるかどうかを判断する手段について説明する。
【００４８】
エラーを判断する基本原理は、原画像と復号画像との差分を求め、差分が大なる個所がエラーであると呈示することである。
【００４９】
図５は原画像と復号画像との微小なズレを示す図である。文字「大」５１が部品として登録されている状態で、原画像中のある３個所の文字パターン「大」５２に対して、原画像と復号画像とを重ね合わせた図である。
【００５０】
通常、部品の多くは、パターンとは別のページ画像から抽出されたパターンであり、かつページ毎で微小なパターン変動が発生するため、原画像と復号画像とを重ね合わせると５２のように微小なズレが発生する。したがって、単純に原画像と復号画像との差分を求めただけでは、ズレている領域の全てがエラーとして判定され、正解部品もエラー部品とする誤判定が発生する。その結果、修正の対象となるパターンの数が非常に大きいものとなる。
【００５１】
しかし、ズレそのものは微小であり、原画像または復号画像のどちらかを、ズレを吸収する程度に微小なだけ膨張または収縮させてから再度差分をとれば、差分は生じなくなる。ここで、膨張処理とは、たとえば原画画像データおよび復号画像データの文字全体を均一に太くしたり、画像の全体や外周などを均一に太くしたりする。さらに詳しくは、パターンおよび部品内の黒画素に対してその周囲の所定の画素数分を黒画素にすることによって、パターンおよび部品に膨張処理を施す。また、全体でなく一部に膨張処理を施してもよい。
【００５２】
原画像と復号画像間のエラーは以下の２種類が考えられる。１つは、原画像に存在する黒画素領域が復号画像に存在しない場合（エラーケース１）。もう１つは、原画に存在しない黒画素領域が復号画像に存在する場合である（エラーケース２）。したがって、ズレを吸収するために膨張させる画像は、エラーケース１の場合は、復号画像を膨張させる必要があり、エラーケース２の場合は、原画を膨張させる必要がある。
【００５３】
図６は膨張原理を示す図である。常に差分方向を、原画像−復号画像とすると、６１はエラーケース１の場合で差分は正となる。また、６２はエラーケース２の場合で差分は負となる。この２つのケースでは、差分が正の場合は、復号画像を膨張させて再度差分を求めれば（復号画像には黒画素が存在しないので膨張処理によって何も生成されることは無く）差分領域はそのまま保存され、差分が負の場合は、原画を膨張させて再度差分を求めれば、同じ原理で差分領域はそのまま保存される（その結果、保存された差分を呈示することにより、エラーを検出できる）。そして、この原理は微小なズレを生じている同一パターンに対しても同様に適用できる。通常、原画像６３と復号画像６４とに示されるように同一パターンであってもズレが生じている。この差分を考えると、正領域（原画のみ存在する領域）６５、０領域（原画も復号画像も存在する領域）６６、負領域（復号画像のみ存在する領域）６７に分解でき、差分が発生するのは正領域６５と負領域６７の２つとなる。正領域６５では、復号画像を膨張させ再度差分を求めることにより差分が消滅し、負領域６７では原画を膨張させ再度差分を求めることにより差分が消滅する。
【００５４】
したがって、ページ間などで生じる同一パターン内の微少なずれは、エラーとして判断することが無いので、修正の対象となるパターンを少なくし、効率よく修正することができる。また、膨張処理を行っても差分が閾値以上の差分が残る場合は、エラーであると判断される。
【００５５】
最終的には、エラーであると判断された復号画像の差分が残った領域を別色（たとえばモノクロ画像の場合は赤など）で重ね合わせて操作者に呈示する。
【００５６】
図７は、エラーと判断された部品の画面表示例である。本実施形態では、圧縮時に部品「犬」を間違って「大」と認識した個所に対して、復号画像中でエラー個所を呈示している。エラーと判断された部品の外接矩形７１も差分領域同様に別色で表示する。差分領域７２も、「犬」を「大」と間違って認識したため復号画像のみを表示した場合では表示されない「、」が、別色で呈示されている。差分が発生しなかった部分７３は、復号画像がそのまま表示される。また、別の文字（部品）では差分が発生しなかったので、復号画像がそのまま呈示される。操作者は、外接矩形７１のさらに別色で表示されている差分領域７２にのみ着目してエラーの確認が行え、エラー確認の高効率化が実現できる。
【００５７】
次に、エラーであると判別された部品に対し、正解部品の候補となる候補部品を表示する手段について説明する。
【００５８】
図８は、正解部品の候補部品の表示例を示す図である。エラー部品の修正を開始すると、ＣＲＴ６に復号画像および差分領域を表示する修正ウインドウ７４および正解部品の候補部品表示する部品ウインドウ７５が表示される。
【００５９】
操作者は差分領域７２からエラー個所を確認し、エラー部品を設定する。この設定は、エラー部品を示す外接矩形７１に対してマウス７のクリックなどの簡単な指示操作で実現する。エラー部品が設定されるとエラー部品に類似している順に部品ウインドウ７５に正解部品の候補部品が表示される。このようにエラー部品の設定を行うだけで、常に最適な修正すべき正解部品の候補部品を表示し、以降の修正作業の高効率化が実現できる。
【００６０】
次に、正解部品を選択する方法について説明する。図９は、正解部品を選択する操作例を示す図である。操作者は部品ウインドウ７５に表示された候補部品から正解部品７６をマウス７を用いて選択し、たとえば矢符７７に沿ってドラッグアンドロップにより正解部品７６を選択する。あるいは正解部品７６をマウスクリックで直接指定するなどの指示操作で正解部品の選択を行う。このように、簡単な指示操作で正解候補を選択できるため、修正作業の高効率化が実現できる。
【００６１】
上述のとおり、エラー部品であると判断された部品に対しては、差分領域を別色などでわかりやすく示し、正解部品の候補部品も表示する。エラーの修正は正解部品をマウスなどで選択する簡単な操作で行えるため、エラー修正の高効率化が実現できるが、これらは１つのエラー部品の修正のみに有効となる。
【００６２】
書籍などでは、同一の部品を多数使用しており、別の個所で同じエラーが発生している可能性が高い。したがって、１つのエラー部品を修正することにより、別個所の同じエラー部品の修正を一括して実行できる手段が必要となる。この一括修正について以下に説明する。
【００６３】
一括修正の基本原理は、同じエラー部品を使用している全個所を一括修正候補として操作者に呈示し確認および修正を行うものであるが、単純にエラー部品を（たとえば出現順で）呈示するだけでは、大量のページ画像で構成される書籍などを対象とした場合で、かつエラー部品が出現頻度の高いパターン（＝文字）であった場合は、大量に一括修正候補が表示されてしまい、その中から修正が必要な個所、不要な個所を確認し指定する作業が煩雑となる。一括修正候補を表示する際にエラーの可能性が高い順に表示し、確認の高効率化を実現する。
【００６４】
一括修正候補を表示させる手段でエラーの可能性順を判断する原理は、エラー部品と正解部品との差分をとり、差分が大なる注目領域を設定し、注目領域部分でのパターンマッチングにより比較する。図１０は、一括修正候補を表示させる順序を示す図である。エラー部品を文字「大」、正解部品を文字「犬」とし、図９に示す方法を用いて、この修正が完了した状態とする。ここで、エラー部品「大」と正解部品「犬」とを特徴抽出し、差分を求め、差分が大なる領域を抽出する。ここでは、差分が大なる領域７６は「、」が存在する右上領域と判定される。次に、復号画像中で同じエラー部品「大」を使用している別個所を順に検索し、エラー部品「大」に対応する原画像（これらには正解に修正すべき「犬」や、そのままで良い「大」がランダムに出現する）に対して特徴抽出を行い、領域７６のみでパターンマッチングを行う。パターンマッチングの結果、類似していないと判定される順７７に並び替える。この判定は、たとえばパターンマッチングにユークリッド距離を用いた場合は、距離が大なる順に並び替えれば良い。この原理をまとめると、復号画像中に「犬」→「大」となるエラー部品が発生した場合、その両者を見分けるために一番有効な領域を抽出し、その領域のみで、再度、パターンマッチングを行うものである。
【００６５】
一括修正候補を表示する手段では、エラー部品、正解部品と、同じエラー部品を使用している個所の原画をエラーの可能性が高い順に一括修正候補として表示する。
【００６６】
図１１は一括修正の操作例を示す図である。ここでは、エラー部品「大」が１０００個所に出現し、そのうち正解部品「犬」に修正するものが２００個所であった場合の例である。ＣＲＴ６には、エラー部品「大」を表示するウインドウ８０、正解部品「犬」を表示するウインドウ８１、一括修正候補を表示するウインドウ８２、エラーの可能性が高い順に並び替えられた原画像のパターンを表示する領域８３、原画像のパターンに対応した原画番号（エラーの可能性順位）を表示する領域８４、マウスで左右に操作することで連動して原画像のパターンおよび原画番号をスクロールして表示させるスクロールバー８５、一括修正ボタン８６、Ｕｎｄｏ（前状態に戻す）ボタン８７、Ｒｅｄｏ（次状態に戻す）ボタン８８およびキャンセルボタン８９が表示される。
【００６７】
ウインドウ８２に表示される一括修正候補は、エラーの可能性が高い順に原画を表示しているので、原画番号が小さい先頭付近では、部品「大」に対して注目領域の差分が異なる原画像のパターン「犬」が並んでいる。スクロールバー８５を操作し原画番号が２００付近（破線矩形９０で示される個所）へスクロールすると部品「大」と同じパターンの「大」が並び出す。操作者は、この「犬」から「大」に変化する個所（原画番号２０２）９１を発見するだけで、以降の一括修正候補を無条件で削除することが可能となる。なぜなら変化箇所９１以降の一括修正候補は、原画番号２０２のパターンよりもエラーの可能性が低い原画パターンが並ぶため、パターン「犬」が出現することはないためである。
【００６８】
一括修正の操作方法は、一括修正候補としてウインドウ８２に表示されたパターンに対して変化個所９１を発見した時点で、操作者は、たとえばマウス右クリックでメニュー９２を表示させ、メニューから一括削除ボタン９３を押して変化箇所９１以降の不要候補を削除する。または、孤立した不要候補９４に対しては、たとえばマウス右クリックでメニュー９２を表示させ、メニューから候補削除ボタン９５を押して孤立した不要候補９４を削除する。以上のような簡単な操作で不要候補を削除した後、一括修正ボタン８６を押して一括修正を行う。
【００６９】
図１２は、本発明の圧縮画像修正装置１による修正処理のフローチャートを示す図である。
【００７０】
まず、Ｓ１０１において、外部記憶装置５より部品画像圧縮ファイル５ｂを入力し、部品画像メモリ４に格納する。部品画像圧縮ファイル５ｂを構成する複数の座標ファイルが部品画像メモリ４の座標部４ａへ、１つの部品ファイルが部品部４ｂへ格納される。
【００７１】
次に、Ｓ１０２で座標部４ａの先頭画像ポインタを参照し、復号すべき画像が存在するかどうかを判定する。存在しない場合は、処理を終了しＳ１１３へ進む。存在する場合、Ｓ１０３へ進む。
【００７２】
Ｓ１０３では、先頭画像ポインタで示される画像を部品画像メモリ４の情報を基に復号し、結果の復号画像をワークメモリ３の復号画像バッファ３ｂに格納し、Ｓ１０４に進む。
【００７３】
Ｓ１０４で復号画像に対応する原画を外部記憶装置５の原画像ファイル５ａより入力し、原画画像バッファ３ａに格納する。
【００７４】
Ｓ１０５では、原画画像バッファ３ａに格納された原画画像データおよび復号画像バッファ３ｂに格納された復号画像データに対して膨張処理を施し、結果を原画膨張画像バッファ３ｃおよび復号画像膨張画像バッファ３ｄへそれぞれ格納する。
【００７５】
原画画像バッファ３ａに格納された原画画像データと、復号画像バッファ３ｂに格納された復号画像データを入力し、原画像より復号画像の各画素値を引くことにより差分画像を作成し、結果を差分画像バッファ３ｅに格納して走査する。差分が正となる画素に対しては復号画像膨張画像バッファ３ｄの対応する画素を参照し、その画素が黒画素である場合は差分を０に変換し、差分が負となる画素に対しては原画膨張画像バッファ３ｃの対応する画素を参照し、その画素が黒画素である場合は差分を０に変換することにより、不要差分画素の消去を行う。不要差分画素が消去された結果は、差分画像バッファ３ｅにそのまま格納される。
【００７６】
次に、Ｓ１０６で復号画像バッファ３ｂに格納された復号画像データに、差分画像バッファ３ｅで差分が存在する（すなわち差分が０以外の）画素を別色で上書きし、かつ差分画素を含む部品の外接座標を部品画像メモリ４の座標部４ａから求め、その外接矩形も別色で上書きしたものを、たとえば図８に示されるようにＣＲＴ６に表示し、操作者がエラーの確認を行う。
【００７７】
Ｓ１０７で操作者は、ＣＲＴ６に表示された画像を確認し、エラーの有無を判定し、エラーが無い場合はＳ１０２へ戻り、エラーが存在する場合はＳ１０８へ進む。
【００７８】
Ｓ１０８では、操作者がＣＲＴ６に表示された画像上のエラー領域をマウス７で左クリックし、マウス７から入力したポインティング座標を基に、部品画像メモリ４の座標部４ａから対応するエラー部品の設定を行う。
【００７９】
次にＳ１０９で部品画像メモリ４の部品部４ｂを走査し、エラー部品と全部品とのパターンマッチング（本発明では、メッシュ特徴を用いたユークリッド距離）を行う。エラー部品に類似する順に部品インデックスを並び替え、その結果を候補部品バッファ３ｇに格納する。
【００８０】
Ｓ１１０では、候補部品バッファ３ｇに格納された部品インデックスを参照し、候補部品を部品ウインドウ７５に表示し、操作者はこの中から正解部品をマウス７を用いて選択指示する。
【００８１】
Ｓ１１１で選択された正解部品インデックスを、Ｓ１０８で設定されたエラー部品の部品インデックスにコピーし、エラー部品を正解部品に修正する。
【００８２】
Ｓ１１２では、１つの部品が修正された段階で一括修正処理を行い再びＳ１０２に戻る。なお、一括修正処理のフローについては後述する。
【００８３】
最後にＳ１１３で全ての復号画像に対して処理を終了した時点で、部品画像メモリ４に格納されている情報を、部品画像圧縮ファイル５ｂに出力し、処理を終了する。
【００８４】
図１３は、本発明の圧縮画像修正装置１による一括修正処理のフローチャートを示す図である。
【００８５】
まずＳ２０１でエラー部品の部品インデックスと図１２のＳ１１０で選択された正解部品の部品インデックスを基に部品画像を部品部４ｂから入力し、各々の特徴を抽出（本発明ではメッシュ特徴を採用する）する。これらの差分を求め、結果をワークメモリ３の部品差分バッファ３ｈに格納する。
【００８６】
Ｓ２０２で再び部品差分バッファ３ｈを走査し、差分が大なる注目領域（差分の絶対値がある閾値以上）を残し、それ以外の要素はクリアする。
【００８７】
次にＳ２０３で部品画像メモリ４の座標部４ａを走査し、エラー部品の部品インデックスと同じ部品インデックスをもつデータを検索し、同一部品インデックスを持つデータが無い場合Ｓ２０６に進み、同一部品インデックスを持つデータがある場合はＳ２０４に進む。
【００８８】
Ｓ２０４では、エラー部品の部品インデックスと同じ部品インデックスを持つデータが存在した場合、１つのデータに対して一括修正候補バッファ３ｉ内の１つの候補データ領域を確保した後、そのデータの先頭アドレスを確保した一括修正候補バッファ３ｉの座標部ポインタに設定し、座標データを基に対応する領域の原画画像を原画像ファイル５ａから抽出し、これを確保した一括修正候補バッファ３ｉを原画バッファ３ａに格納し、最後に確保した一括修正候補バッファ３ｉの削除フラグ２１をクリアする。
【００８９】
次に、Ｓ２０５で原画バッファ３ａより特徴を抽出し、その特徴とエラー部品の特徴間でのマッチング（ユークリッド距離）を、部品差分バッファ３ｈで差分が大とされている（すなわち０以外の）領域だけで計算し、結果の距離を対応する一括修正候補バッファ３ｉの距離部１９に格納する。
【００９０】
Ｓ２０６では、エラー部品の部品インデックスと同じ部品インデックスを持つ全てのデータに対して、原画抽出と差分が大となる領域でのマッチングが終了した後、格納された距離を基に、距離が大なる順に順位を求め、結果の順位を対応する一括修正候補バッファの順位部に格納する。
【００９１】
Ｓ２０７では、一括修正候補バッファ３ｉの順位部に格納された順位順に、たとえば図１１に示すような一括修正候補表示を、ＣＲＴ６に対して行う。
【００９２】
Ｓ２０７で操作者は、図１１で説明される操作手順で不要候補の設定を行い、設定された不要候補に対しては、対応する一括修正候補バッファ３ｉの削除フラグ２１を１に設定する。
【００９３】
最後に、Ｓ２０８で一括修正候補バッファ３ｉの削除フラグが０のものだけに対し、その座標部ポインタの部品インデックスを、正解部品の部品インデックスに変更し、処理を終了する。
【００９４】
【発明の効果】
以上のように本発明によれば、圧縮効率を高めた圧縮画像の復号画像に対して、微少なずれであればエラーとならず、修正箇所を少なくして効率よく復号画像の修正を行うことができる。
また、圧縮画像に含まれる全てのエラーを一括で修正することができる。
【００９５】
また本発明によれば、正解部品の候補となる候補部品が表示されるので、容易にエラー部品の修正を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である圧縮画像修正装置１の構成を示すブロック図である。
【図２】部品画像圧縮ファイル５ｂを示す図である。
【図３】部品画像メモリ４を示す図である。
【図４】一括修正候補バッファ３ｉを示す図である。
【図５】原画像と復号画像との微小なズレを示す図である。
【図６】エラーを判断するときに用いる膨張原理を説明した図である。
【図７】エラーと判断された部品の画面表示例である。
【図８】正解部品の候補部品の表示例を示す図である。
【図９】正解部品を選択する操作例を示す図である。
【図１０】一括修正候補を表示させる順序を示す図である。
【図１１】一括修正の操作例を示す図である。
【図１２】本発明の圧縮画像修正装置１による修正処理のフローチャートを示す図である。
【図１３】本発明の圧縮画像修正装置１による一括修正処理のフローチャートを示す図である。
【図１４】メッシュ特徴および特徴ベクトルを示すずである。
【図１５】ある２つの異種でかつ類似パターンの特徴空間上での分布を、便宜上２次元平面に示した図である。
【図１６】ユークリッド距離方式で閾値を小さくして判定した場合の同一パターン判定例である。
【図１７】ユークリッド距離方式で閾値を大きくして判定した場合の同一パターン判定例である。
【符号の説明】
１ 圧縮画像修正装置
２ ＣＰＵ（中央演算処理装置）
３ ワークメモリ
３ａ 原画像バッファ
３ｂ 復号画像バッファ
３ｃ 原画膨張画像バッファ
３ｄ 復号画像膨張画像バッファ
３ｅ 差分画像バッファ
３ｆ 色付画像バッファ
３ｇ 候補部品バッファ
３ｈ 部品差分バッファ
３ｉ 一括修正候補バッファ
４ 部品画像メモリ
４ａ 座標部
４ｂ 部品部
５ 外部記憶装置
５ａ 原画像ファイル
５ｂ 部品画像圧縮ファイル
６ ＣＲＴ
７ マウス
８ キーボード[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a compressed image correction apparatus for correcting an error for a decoded image of a compressed image with improved compression efficiency.
[0002]
[Prior art]
Traditionally, the center of the industry is expected to shift from the hardware industry to the software industry in the course of its development, and further to the content industry in the 21st century. The closest target of the content industry is e-books that have been attracting attention both in Japan and overseas in recent years. Among them, image-based e-books that can be created at low cost by applying image processing technology are considered promising. . Especially in Japan, “manga”, which accounts for about half of all paper books in sales, is the target, so image-based electronic books are expected to play a central role.
[0003]
Image-based e-books are based on existing proofread paper books, and can be used to automate most of the creation process from scanner input → various image processing → manual correction / editing → content output. However, there is a drawback that the amount of data is larger than that of a text (character code) -based electronic book. Here, the comparison of the data amount between the text base and the image base is shown in Table 1. This is a comparison with the case where the number of characters is 800 characters, the size of image data is XGA (1024 × 768) 256 gradations, and the compression method of image data is JPEG (Q parameter is 75). is there.
[0004]
[Table 1]

[0005]
However, even if the capacity of the font data itself is negligible in a text page, in order to faithfully realize the layout and fonts (because the font data is often installed in hardware, a special Since it is not necessary to embed font data except for cases), it is necessary to add font reference information and layout information. In this case, the data amount of several KB to 10 KB increases per page. However, it is still an order of magnitude lower than the image base.
[0006]
As a conventional technique for solving this large amount of data, there is a component image compression method disclosed in the image compression method described in Japanese Patent Laid-Open No. 8-30794.
[0007]
Briefly explaining this conventional example, when a part of the original image is cut out as a pattern according to a certain rule (black pixel connection area in the conventional example), this is matched with a registered part (template), and matched Represents the cut pattern as a matched part. If the pattern does not match, the cut pattern is registered as a new part, and each pattern is described by part information and position information. That is, the prior art is a method of describing image data with automatically extracted parts.
[0008]
Although many images exist in a book, each character pattern is composed of a single or several types of fonts. In such a case, in the prior art, each character pattern is automatically extracted as font data from images of all pages, one code is associated with one font data, and the image of each page is registered as a code. Describe with location information. Therefore, when the prior art functions ideally, character pattern data (= font data: component data), pattern information (= character code) for referring to it, and position information are extracted. The amount of data in this case is equal to the amount of text-based data including font data.
[0009]
Therefore, as an image-based electronic book compression method, in order to reduce the amount of data, use of a compression method based on component images as in the prior art is considered promising.
[0010]
However, in the prior art, a pattern error due to an erroneous determination occurs in matching between a pattern and a part. This is equivalent to erroneous recognition of similar characters such as “Dog” → “Large” or “People” → “On” when replaced with character recognition.
[0011]
This principle will be described with reference to the drawings.
Even if the same pattern (character) was originally printed with the same pattern (character shape), (1) minute variations in print quality in units of pages, (2) minute fluctuations during image input by a scanner, etc., (3) Due to ▼ subtle inclination for each page, ④ quantization error at the time of feature vector conversion, etc., it is distributed in a certain range in the pattern space. Here, the feature space is a multidimensional space spanned by feature vectors used in pattern matching, and the number of dimensions depends on the feature to be adopted. An example of the simplest feature vector is a mesh feature shown in FIG. In this pattern, the vertical length of the pattern is divided into M pieces, the horizontal pieces are divided into N pieces, and divided into M × N meshes, and the total value of black pixels (or gray values) in each mesh is used as a feature vector. In this case, the number of dimensions of the feature space is M × N dimensions.
[0012]
FIG. 15 is a diagram showing a distribution in a feature space of two different types and similar patterns on a two-dimensional plane for convenience. Heterogeneous patterns are indicated by ◯ and △, and it is easy to understand when ◯ is considered to be the letter “dog” and △ is “large”. As described above, due to the various problems listed in the above (1) to (4), even in the feature space, even the same pattern is distributed in a certain range. In addition, when a very large amount of the same pattern exists, the distribution is expected to be a normal distribution, but with a small number of patterns, the distribution is not necessarily a normal distribution. Further, different similar patterns exist near each other in space as shown in FIG.
[0013]
Since the prior art is an image compression method, an ideal place is to express a plurality of identical patterns (same characters in terms of characters) with only one template. Since it is originally a pattern printed in the same character shape, it is easy to think that the same pattern is easy to determine, but in reality, there is some dispersion in the feature space as described above, so there are some differences in matching determination of the same pattern It is necessary to use a threshold having a width. Note that the threshold value and the size determination depend on the matching method to be employed. For example, in the case of the similarity method, it is determined that a value having a value larger than the threshold value is matched. In the Euclidean distance method, for example, It is determined that a small value is matched.
[0014]
FIG. 16 is an example of the same pattern determination in the case where the determination is made with the threshold reduced by the Euclidean distance method with respect to FIG. The threshold distance is indicated by a broken-line circle, and ● is given to the pattern determined to be a template. Further, the circle pattern P1 is represented by a circle template R1, the circle P2 is represented by circle R2, and the triangle P3 is represented by triangle R3.
[0015]
In this example, there is no erroneous determination (determination of different patterns as the same pattern), but the number of templates determined is large (18 templates are created from 21 patterns), and the compression rate that is the object of the prior art Will decline.
[0016]
Therefore, in the component image compression method, a measure is taken to reduce the number of templates as much as possible and improve the compression rate by adopting a threshold value that is increased to such an extent that erroneous determination is unlikely to occur.
[0017]
FIG. 17 is a determination example when the threshold value is made larger than that in FIG. The meanings of the dashed circle and ● are the same as those in FIG. In this example, five templates are generated from 21 patterns, and the compression rate is improved as compared with FIG. However, since the threshold value is increased, an erroneous determination in which the Δ pattern P4 is represented by the ◯ template R4 occurs. If ◯ is the character “Large” and △ is the character “Dog”, the image is compressed using this template, and one “Dog” is replaced with a “Large” pattern in the decoded image.
[0018]
As described above, in the component image compression with an increased compression rate, there is a possibility that a pattern error may occur between similar different patterns. Computerization cannot be realized.
[0019]
Therefore, in order to apply component image compression to an image-based electronic book and realize low-cost computerization, which is an advantage of the image base, a technique for correcting this pattern error with high efficiency is required.
[0020]
In order to correct this pattern error with high efficiency, the following two techniques are important.
[0021]
One is a technique for presenting the detection of errors to the operator with a minimum number without omission, and the other is a technique for correcting the same errors in separate places collectively in a correction operation for the detected errors. is there.
[0022]
At present, when the component image compression has not yet been put into practical use, the above correction method for component image compression has not been proposed, but the closest preceding similar technique is a correction method in character recognition. As this prior art, there is a character recognition device described in JP-A-7-21303. This conventional technique determines an error character based on a rule such as a distance of the first candidate, a distance difference between the first candidate and the second candidate, or a character with a high misrecognition frequency, and another character similar to the error character. The error character and all similar characters are displayed, and the operator selects the correct character code and the correction target character (because all characters that are similar to the error character are selected. Because it is not necessarily recognition), it is a method of correcting the correct code in a lump.
[0023]
[Problems to be solved by the invention]
However, the prior art has problems that error determination is not performed and that correct characters are determined to be errors. This is because the error character is determined based on the distance of the first candidate, the difference between the first candidate and the second candidate, or a character with a high misrecognition frequency. For example, between similar heterogeneous patterns Therefore, it is necessary to set a threshold for error determination tightly, and as a result, most characters are determined to be errors. Conversely, if the threshold value is relaxed, there will be a leak in the error determination.
[0024]
In addition, when a book composed of hundreds of pages (hundreds of thousands of characters) is targeted, and the error target is a character with a high frequency of appearance, the related art displays a large number of similar patterns, and these efficiently. There is a problem that cannot be confirmed. In other words, the conventional technique is a method that targets several to several tens of sheets, and is not a technique that can handle a large amount of data such as books.
[0025]
Further, since the result of the component image compression is not code information such as character recognition, it is not possible to apply a rule such as presetting characters with high misrecognition frequency as in the prior art.
[0026]
An object of the present invention is to provide a compressed image correction apparatus capable of performing error correction with high efficiency on a decoded image of a compressed image with improved compression efficiency.
[0027]
[Means for Solving the Problems]
  The present invention cuts out a part of an original image as a pattern, performs pattern matching between the cut out pattern and a registered part, and if matched, the cut out pattern is represented by the matched part and does not match In the compressed image correction apparatus used when correcting the compressed image for registering the cut out pattern as a new part, describing each cut out pattern with part information and position information, and performing compression,
  Compare the decoded image component and the corresponding pattern of the original image to find the difference. If the difference is greater than or equal to a predetermined threshold value, expand or contract the pattern or component so that the difference decreases, and compare again If the difference is greater than or equal to the threshold, there is a means to determine that the decoded image component is an error.And
  When the error part and the correct part are selected, the difference between the error part and the correct part is obtained, the area where the difference is large is extracted as the attention area, and all the original images using the same error part in the decoded image There is a means for extracting the patterns and rearranging them in the order of the size of the difference in the region of interest.This is a compressed image correction device.
[0028]
  According to the present invention, the difference between the decoded image component and the corresponding pattern of the original image is obtained, the pattern or component is expanded or contracted, and the comparison is performed again. If the difference is equal to or greater than the threshold, the decoding is performed. Since it is determined that the image component is an error, an error is not generated if the deviation is small, and the decoded image can be efficiently corrected with fewer correction points.
  In addition, if one error part is corrected, all the original image patterns that use the same error part are extracted from the decoded image and displayed in the order of the highest possibility of error. All errors can be corrected at once.
[0029]
In addition, the present invention is characterized by having means for displaying candidate parts that are similar to error parts and that are candidates for correct parts, for parts that are determined to be errors.
[0030]
According to the present invention, since candidate parts that are similar to error parts and are candidates for correct parts are displayed, it is possible to easily correct error parts.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of a compressed image correction apparatus (hereinafter, also simply referred to as “correction apparatus”) 1 according to an embodiment of the present invention.
[0034]
The present invention includes a CPU (central processing unit) 2 that performs all control and arithmetic processing, a work memory 3 for storing various work buffers, a component image memory 4 for storing component image compressed file information, and an original image. The external storage device 5 in which files and component image compressed files are stored, a CRT 6 for performing various displays to the operator, a mouse 7 for inputting the instructions of the operator, a keyboard 8, and a data bus 9 Is done.
[0035]
The external storage device 5 stores an original image file 5a to be compressed and a component image compressed file 5b output by component image compression. The original image file 5a has one unique for each page. The file is given a unique name, and its format is arbitrarily adopted by the system. In the present invention, this image file is the most basic BMP (bitmap) file on Windows. On the other hand, since the component image compression file 5b has a special structure depending on the compression method, the most basic structure will be described in more detail with reference to FIG.
[0036]
FIG. 2 is a diagram showing the component image compression file 5b and its composite image.
The component image compression file 5b is composed of coordinate files 10 and 11 each having one unique name for each page, and one component file 12 for all compression targets. Therefore, for example, as a result of compression processing for a 200-page book, 200 coordinate files and one component file are output.
[0037]
The coordinate file 10 includes a coordinate part 10a in which coordinates for outputting the part for each part are stored, and a part index 10b for referring to the part in the part file. The component file 12 stores components (images) in order.
[0038]
In FIG. 2, 13 and 14 are described as examples of the decoded image. The decoded image 13 corresponds to the coordinate file 10, and the decoded image 14 corresponds to the coordinate file 11. The decoding of the image is performed by the coordinates stored in the coordinate portion 10a of the coordinate file 10 and the parts referenced by the parts index 10b. For example, the first character “ha” of the composite image 13 can be realized by pasting the first component “ha” of the component file 12 indicated by the component index 10b to the coordinates stored in the coordinate unit 10a.
[0039]
Next, returning to FIG. 1, the component image memory 4 will be described. The component image memory 4 is a memory for inputting the component image compressed file 5b stored in the external storage device 5, storing correction information, and outputting a component image compressed file as a final result.
[0040]
FIG. 3 is a diagram showing the component image memory 4.
The component image memory 4 includes a component coordinate unit 4a and a component unit 4b. The component coordinate unit 4a is a memory for storing the coordinate file shown in FIG. 2, and the component unit 4b is a memory for storing the component file shown in FIG. Among these, the structure of the component part 4b is the same as the component file 12 of FIG. Also, the structure of the component coordinate unit 4a is almost the same as the coordinate file 10 of FIG. 2, but FIG. 2 is composed of a plurality of files for each page and is composed of one memory image. . For this reason, the component coordinate unit 4a further includes two image head pointer units 15 and a component / index unit 16. The component / index unit 16 has the same structure as the coordinate file.
[0041]
In the present invention, a component image compression file 5b (that is, a plurality of coordinate files and one component file) to be corrected is input as the first step of image correction. At this time, the component file is stored in the component unit 4b as it is, and a plurality of component files are stored. The coordinate file information is connected to one and stored in the component / index unit 16. In order to indicate a break for each coordinate file (that is, for each page image), the head address of the coordinate portion of the component / index portion 16 corresponding to the image head pointer portion 15 is stored for each coordinate file.
[0042]
Returning to FIG. 1 again, the work memory 3 will be described. The work memory 3 is a buffer for storing various image data necessary for correction processing, and includes an original image buffer 3a, a decoded image buffer 3b, an original image expanded image buffer 3c, a decoded image expanded image buffer 3d, a difference image buffer 3e, It is composed of a colored image buffer 3f, a candidate part buffer 3g, a part difference buffer 3h, and a batch correction candidate buffer 3i.
[0043]
The original image buffer 3a to the component difference buffer 3h are constituted by a simple image buffer or a one-dimensional array buffer. However, since the batch correction candidate buffer 3i has a special structure related to the component image memory 4, this will be described with reference to FIG.
[0044]
The structure of the batch correction candidate buffer 3i includes an original image buffer 17, a coordinate part pointer 18, a distance part 19, a ranking part 20, and a deletion flag 21 for each correction candidate as shown in FIG. Although the data contents stored in each element will be described later, the coordinate pointer 18 stores the leading address of the coordinate section 16 of the component image memory 4 as shown in FIG. The operation at the time of storage will be described in detail later.
[0045]
The capacity and required size of the various buffers of the work memory 3 and the component image memory 4 depend on the compressed original image size and the number of pages. Therefore, the capacity of these is dynamically secured as necessary.
[0046]
Next, a method for correcting a compressed image by the correction apparatus 1 having the above configuration will be described.
For ease of understanding, the cut out parts are treated as “characters” here. However, in the present invention, any unit of parts may be used. Even the case works on the same principle. Similarly, for the sake of simplicity, the following description will be made taking a binary image in which the black pixel of the image is 1 and the white pixel is 0 as an example. The present invention can be applied as it is only by reversing the size determination or even in the case of a multi-value image.
[0047]
First, a means for determining whether or not a decoded image component is an error will be described.
[0048]
The basic principle for determining an error is to obtain the difference between the original image and the decoded image and to present the location where the difference is large as an error.
[0049]
FIG. 5 is a diagram showing a slight deviation between the original image and the decoded image. FIG. 5 is a diagram in which an original image and a decoded image are superimposed on three character patterns “large” 52 in an original image in a state where a character “large” 51 is registered as a part.
[0050]
Usually, most of the parts are patterns extracted from a page image different from the pattern, and minute pattern fluctuations occur for each page. Therefore, when the original image and the decoded image are overlapped, a small amount like 52 A misalignment occurs. Therefore, if the difference between the original image and the decoded image is simply obtained, all the shifted areas are determined as errors, and erroneous determination that the correct part is also an error part occurs. As a result, the number of patterns to be corrected becomes very large.
[0051]
However, the displacement itself is very small, and if the difference is taken again after either the original image or the decoded image is expanded or contracted by a minute amount enough to absorb the displacement, the difference will not occur. Here, for example, the expansion process is to uniformly thicken the entire characters of the original image data and the decoded image data, or to uniformly thicken the entire image, the outer periphery, and the like. More specifically, the pattern and the component are expanded by setting the black pixels in the pattern and the component to a predetermined number of pixels around the black pixel. Moreover, you may give an expansion process to some instead of the whole.
[0052]
The following two types of errors between the original image and the decoded image can be considered. One is when the black pixel region existing in the original image does not exist in the decoded image (error case 1). The other is a case where a black pixel region that does not exist in the original image exists in the decoded image (error case 2). Therefore, in the case of error case 1, it is necessary to expand the decoded image in the case of error case 1, and in the case of error case 2, it is necessary to expand the original image.
[0053]
FIG. 6 shows the expansion principle. If the difference direction is always the original image-decoded image, 61 is error case 1 and the difference is positive. 62 is error case 2 and the difference is negative. In these two cases, if the difference is positive, the decoded image is expanded and the difference is obtained again (there is no black pixel in the decoded image, so nothing is generated by the expansion process). If the difference is negative and the difference is negative, the difference area is saved as it is based on the same principle if the original image is expanded and the difference is obtained again (as a result, an error can be detected by presenting the saved difference) ). This principle can be similarly applied to the same pattern in which a minute deviation occurs. Usually, as shown in the original image 63 and the decoded image 64, a deviation occurs even in the same pattern. Considering this difference, it can be decomposed into a positive area (area where only the original picture exists) 65, a 0 area (area where both the original picture and the decoded picture exist) 66, and a negative area (area where only the decoded picture exists) 67, and a difference is generated. Are two regions, a positive region 65 and a negative region 67. In the positive region 65, the difference disappears by expanding the decoded image and obtaining the difference again, and in the negative region 67, the difference disappears by expanding the original image and obtaining the difference again.
[0054]
Therefore, since a slight shift within the same pattern that occurs between pages or the like is not determined as an error, the pattern to be corrected can be reduced and the correction can be performed efficiently. Further, if a difference with a difference equal to or greater than the threshold remains even after the expansion process is performed, it is determined that an error has occurred.
[0055]
Finally, the region where the difference of the decoded image determined to be an error remains is superimposed on another color (for example, red in the case of a monochrome image) and presented to the operator.
[0056]
FIG. 7 is a screen display example of a component determined to be an error. In the present embodiment, an error location is presented in the decoded image for a location where the component “dog” is mistakenly recognized as “large” during compression. The circumscribed rectangle 71 of the part determined to be an error is also displayed in a different color as in the difference area. In the difference area 72, “,” which is not displayed when only the decoded image is displayed because “dog” is mistakenly recognized as “large” is presented in a different color. In the portion 73 where no difference has occurred, the decoded image is displayed as it is. In addition, since no difference occurs in another character (component), the decoded image is presented as it is. The operator can check the error by paying attention only to the difference area 72 displayed in a different color of the circumscribed rectangle 71, and can realize high efficiency of the error check.
[0057]
Next, a means for displaying candidate parts that are candidates for correct parts for parts determined to be in error will be described.
[0058]
FIG. 8 is a diagram illustrating a display example of correct candidate component parts. When correction of an error part is started, a correction window 74 for displaying a decoded image and a difference area and a part window 75 for displaying a candidate part for a correct part are displayed on the CRT 6.
[0059]
The operator confirms the error location from the difference area 72 and sets an error part. This setting is realized by a simple instruction operation such as clicking the mouse 7 on the circumscribed rectangle 71 indicating the error part. When error parts are set, candidate parts for correct parts are displayed in the part window 75 in the order similar to the error parts. By simply setting the error parts in this way, it is possible to always display candidate parts for correct parts that should be optimally corrected, and to realize higher efficiency of the subsequent correction work.
[0060]
Next, a method for selecting the correct part will be described. FIG. 9 is a diagram illustrating an operation example for selecting the correct part. The operator selects the correct part 76 from the candidate parts displayed in the part window 75 using the mouse 7, and selects the correct part 76 by drag-and-drop along the arrow 77, for example. Alternatively, the correct part is selected by an instruction operation such as directly specifying the correct part 76 with a mouse click. In this way, since the correct answer candidate can be selected by a simple instruction operation, the efficiency of the correction work can be improved.
[0061]
As described above, for a part that is determined to be an error part, the difference area is displayed in an easy-to-understand manner with another color or the like, and candidate parts for correct parts are also displayed. Since error correction can be performed by a simple operation of selecting a correct part with a mouse or the like, high efficiency of error correction can be realized, but these are effective only for correcting one error part.
[0062]
In books and the like, many of the same parts are used, and it is highly possible that the same error has occurred in different places. Therefore, it is necessary to provide a means capable of executing correction of the same error part in a separate place at once by correcting one error part. This batch correction will be described below.
[0063]
The basic principle of batch correction is to present all the parts using the same error parts to the operator as batch correction candidates for confirmation and correction, but simply present error parts (for example, in the order of appearance). Alone, if the book is composed of a large number of page images, etc., and if the error part is a pattern with a high appearance frequency (= characters), a large number of batch correction candidates will be displayed, The operation of confirming and specifying a part that needs correction and an unnecessary part becomes complicated. When displaying the batch correction candidates, they are displayed in the order of the highest possibility of error, realizing high efficiency of confirmation.
[0064]
The principle of judging the possibility of error by means of displaying the batch correction candidates is to take the difference between the error part and the correct part, set the attention area where the difference is large, and compare by pattern matching in the attention area part . FIG. 10 is a diagram illustrating the order in which the batch correction candidates are displayed. The error component is the character “Large”, the correct answer component is the character “Dog”, and this correction is completed using the method shown in FIG. Here, the error part “large” and the correct part “dog” are extracted, the difference is obtained, and the region where the difference is large is extracted. Here, the region 76 with the large difference is determined to be the upper right region where “,” exists. Next, in the decoded image, the distinct parts using the same error component “Large” are searched in order, and the original image corresponding to the error component “Large” (the “Dog” that should be corrected to the correct answer) In this case, feature extraction is performed for “large”, which is good, and pattern matching is performed only in the region 76. As a result of pattern matching, the images are rearranged in the order 77 determined as not similar. For example, when the Euclidean distance is used for pattern matching, the determination may be rearranged in order of increasing distance. To summarize this principle, when an error part of “Dog” → “Large” occurs in the decoded image, the most effective area is extracted to distinguish both of them, and pattern matching is performed again only with that area. Is to do.
[0065]
In the means for displaying the batch correction candidates, the error parts, the correct parts, and the original images of the parts using the same error parts are displayed as the batch correction candidates in descending order of possibility of error.
[0066]
FIG. 11 is a diagram illustrating an operation example of batch correction. In this example, error parts “Large” appear at 1000 places, and 200 parts correct to the correct part “Dog”. The CRT 6 includes a window 80 that displays an error part “large”, a window 81 that displays a correct part “dog”, a window 82 that displays batch correction candidates, and patterns of original images that are rearranged in descending order of possibility of error. , An area 83 for displaying the original picture number (possibility of error) corresponding to the pattern of the original image, and scrolling the pattern and the original picture number of the original image in conjunction with the left / right operation with the mouse A scroll bar 85, a batch correction button 86, an Undo (return to previous state) button 87, a Redo (return to next state) button 88, and a cancel button 89 are displayed.
[0067]
The batch correction candidates displayed in the window 82 display the original images in the order of the highest possibility of error. Therefore, in the vicinity of the head having the smallest original image number, the difference between the regions of interest differs from the part “large”. The pattern “Dog” is lined up. When the scroll bar 85 is operated and the original image number is scrolled to around 200 (the portion indicated by the broken-line rectangle 90), “large” having the same pattern as the component “large” is displayed. The operator can unconditionally delete the subsequent batch correction candidates only by finding the portion (original number 202) 91 that changes from “dog” to “large”. This is because the pattern “dog” does not appear in the batch correction candidates after the change portion 91 because the original pattern having a lower possibility of error than the pattern of the original image number 202 is arranged.
[0068]
The batch correction operation method is as follows. When the change portion 91 is found with respect to the pattern displayed in the window 82 as a batch correction candidate, the operator displays the menu 92 by right-clicking the mouse, for example, and clicks the batch delete button from the menu. 93 is pushed and the unnecessary candidate after the change part 91 is deleted. Alternatively, for the isolated unnecessary candidate 94, for example, the menu 92 is displayed by right-clicking the mouse, and the candidate delete button 95 is pressed from the menu to delete the isolated unnecessary candidate 94. After deleting unnecessary candidates by the simple operation as described above, the batch correction button 86 is pressed to perform batch correction.
[0069]
FIG. 12 is a diagram showing a flowchart of correction processing by the compressed image correction apparatus 1 of the present invention.
[0070]
First, in step S <b> 101, the component image compression file 5 b is input from the external storage device 5 and stored in the component image memory 4. A plurality of coordinate files constituting the component image compression file 5b are stored in the coordinate unit 4a of the component image memory 4, and one component file is stored in the component unit 4b.
[0071]
Next, in S102, it is determined whether or not there is an image to be decoded by referring to the head image pointer of the coordinate unit 4a. If not, the process ends and the process proceeds to S113. When it exists, it progresses to S103.
[0072]
In S103, the image indicated by the head image pointer is decoded based on the information in the component image memory 4, the resulting decoded image is stored in the decoded image buffer 3b of the work memory 3, and the process proceeds to S104.
[0073]
In S104, the original image corresponding to the decoded image is input from the original image file 5a of the external storage device 5 and stored in the original image buffer 3a.
[0074]
In S105, the original image data stored in the original image buffer 3a and the decoded image data stored in the decoded image buffer 3b are subjected to expansion processing, and the results are respectively sent to the original image expanded image buffer 3c and the decoded image expanded image buffer 3d. Store.
[0075]
The original image data stored in the original image buffer 3a and the decoded image data stored in the decoded image buffer 3b are input, and a difference image is created by subtracting each pixel value of the decoded image from the original image. The image is stored in the image buffer 3e and scanned. For a pixel with a positive difference, the corresponding pixel in the decoded image expansion image buffer 3d is referred to. When the pixel is a black pixel, the difference is converted to 0, and for a pixel with a negative difference The corresponding pixel in the original image expanded image buffer 3c is referred to, and when the pixel is a black pixel, the difference is converted to 0 to delete the unnecessary difference pixel. The result of erasing unnecessary difference pixels is stored in the difference image buffer 3e as it is.
[0076]
Next, the difference image buffer 3e overwrites the decoded image data stored in the decoded image buffer 3b in S106 with a different color in the difference image buffer 3e (that is, the difference is other than 0), and includes the difference pixel. The circumscribed coordinates are obtained from the coordinate portion 4a of the component image memory 4, and the circumscribed rectangle overwritten with another color is displayed on the CRT 6 as shown in FIG. 8, for example, and the operator confirms the error.
[0077]
In S107, the operator confirms the image displayed on the CRT 6, determines whether there is an error, returns to S102 if there is no error, and proceeds to S108 if there is an error.
[0078]
In S108, the operator left-clicks the error area on the image displayed on the CRT 6 with the mouse 7, and sets the corresponding error part from the coordinate part 4a of the part image memory 4 based on the pointing coordinates input from the mouse 7. I do.
[0079]
In step S109, the component part 4b of the component image memory 4 is scanned to perform pattern matching between the error component and all components (in the present invention, Euclidean distance using a mesh feature). The component indexes are rearranged in the order similar to the error component, and the result is stored in the candidate component buffer 3g.
[0080]
In S110, the component index stored in the candidate component buffer 3g is referred to, the candidate component is displayed on the component window 75, and the operator uses the mouse 7 to select and instruct the correct component.
[0081]
The correct part index selected in S111 is copied to the part index of the error part set in S108, and the error part is corrected to the correct part.
[0082]
In S112, batch correction processing is performed when one component is corrected, and the process returns to S102 again. The flow of batch correction processing will be described later.
[0083]
Finally, when the processing is completed for all the decoded images in S113, the information stored in the component image memory 4 is output to the component image compression file 5b, and the processing is terminated.
[0084]
FIG. 13 is a diagram showing a flowchart of batch correction processing by the compressed image correction apparatus 1 of the present invention.
[0085]
First, a part image is input from the part part 4b based on the part index of the error part in S201 and the part index of the correct part selected in S110 of FIG. 12, and each feature is extracted (in the present invention, a mesh feature is adopted). To do. These differences are obtained, and the results are stored in the component difference buffer 3h of the work memory 3.
[0086]
In step S202, the component difference buffer 3h is scanned again, leaving a region of interest where the difference is large (the absolute value of the difference is equal to or greater than a certain threshold), and other elements are cleared.
[0087]
Next, in step S203, the coordinate part 4a of the component image memory 4 is scanned to search for data having the same component index as the component index of the error component. If there is no data having the same component index, the process proceeds to S206 to have the same component index. If there is data, the process proceeds to S204.
[0088]
In S204, if there is data having the same component index as the component index of the error component, after securing one candidate data area in the batch correction candidate buffer 3i for one data, the first address of the data is secured. Is set to the coordinate portion pointer of the batch correction candidate buffer 3i, the original image of the corresponding area is extracted from the original image file 5a based on the coordinate data, and the batch correction candidate buffer 3i in which this is secured is stored in the original image buffer 3a. Then, the deletion flag 21 of the batch correction candidate buffer 3i secured at the end is cleared.
[0089]
Next, in S205, a feature is extracted from the original image buffer 3a, and the matching (Euclidean distance) between the feature and the feature of the error component is a region where the difference is large (that is, other than 0) in the component difference buffer 3h. The distance of the result is stored in the distance portion 19 of the corresponding batch correction candidate buffer 3i.
[0090]
In S206, for all data having the same component index as the component index of the error component, after the original image extraction and matching in the area where the difference is large, the distance is increased based on the stored distance. The rank is obtained in order, and the rank of the result is stored in the rank portion of the corresponding batch correction candidate buffer.
[0091]
In S207, for example, batch correction candidate display as shown in FIG. 11 is performed on the CRT 6 in the order of the ranks stored in the rank portion of the batch correction candidate buffer 3i.
[0092]
In S207, the operator sets unnecessary candidates according to the operation procedure described in FIG. 11, and sets the deletion flag 21 of the corresponding batch correction candidate buffer 3i to 1 for the set unnecessary candidates.
[0093]
Finally, in S208, for only the deletion flag of the batch correction candidate buffer 3i having 0, the component index of the coordinate pointer is changed to the component index of the correct component, and the process is terminated.
[0094]
【The invention's effect】
  As described above, according to the present invention, a decoded image of a compressed image with improved compression efficiency is not an error if it is a slight deviation, and the decoded image can be corrected efficiently with fewer correction points. Can do.
  Further, all errors included in the compressed image can be corrected at once.
[0095]
Further, according to the present invention, candidate parts that are candidates for correct parts are displayed, so that error parts can be easily corrected.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a compressed image correction apparatus 1 according to an embodiment of the present invention.
FIG. 2 is a diagram showing a component image compression file 5b.
FIG. 3 is a diagram showing a component image memory 4;
FIG. 4 is a diagram illustrating a batch correction candidate buffer 3i.
FIG. 5 is a diagram illustrating a slight deviation between an original image and a decoded image.
FIG. 6 is a diagram illustrating an expansion principle used when determining an error.
FIG. 7 is a screen display example of a component determined to be an error.
FIG. 8 is a diagram showing a display example of candidate parts for correct parts.
FIG. 9 is a diagram illustrating an example of an operation for selecting a correct part.
FIG. 10 is a diagram illustrating an order in which batch correction candidates are displayed.
FIG. 11 is a diagram illustrating an operation example of batch correction.
FIG. 12 is a diagram showing a flowchart of correction processing by the compressed image correction apparatus 1 of the present invention.
FIG. 13 is a diagram showing a flowchart of batch correction processing by the compressed image correction apparatus 1 of the present invention.
FIG. 14 is a diagram illustrating mesh features and feature vectors.
FIG. 15 is a diagram showing a distribution in a feature space of two different types of similar patterns on a two-dimensional plane for convenience.
FIG. 16 is an example of determining the same pattern in a case where determination is performed by reducing the threshold value by the Euclidean distance method.
FIG. 17 is an example of determining the same pattern when the Euclidean distance method is used to increase the threshold.
[Explanation of symbols]
1 Compressed image correction device
2 CPU (Central Processing Unit)
3 Work memory
3a Original image buffer
3b Decoded image buffer
3c Original image expansion image buffer
3d decoded image expansion image buffer
3e Difference image buffer
3f Colored image buffer
3g Candidate parts buffer
3h Parts difference buffer
3i Batch correction candidate buffer
4 Parts image memory
4a Coordinate part
4b Parts
5 External storage device
5a Original image file
5b Component image compression file
6 CRT
7 mouse
8 Keyboard

Claims (2)

A part of the original image is cut out as a pattern, and pattern matching between the cut out pattern and the registered part is performed. If there is a match, the cut out pattern is represented by the matched part. In the compressed image correction device used when correcting the compressed image for registering the extracted pattern as a new part, describing each extracted pattern with the part information and the position information and performing compression,
Compare the decoded image component and the corresponding pattern of the original image to find the difference. If the difference is greater than or equal to a predetermined threshold, expand or contract the pattern or component to reduce the difference and compare again. and, parts of the decoded image when the difference is equal to or greater than the threshold have a means for determining as an error,
When the error part and the correct part are selected, the difference between the error part and the correct part is obtained, the area where the difference is large is extracted as the attention area, and all the original images using the same error part in the decoded image pattern extracting, correction device of the compressed image, which comprises chromatic means for displaying sorted in the order of magnitude of the difference in the region of interest.   2. The compressed image correction apparatus according to claim 1, further comprising means for displaying a candidate part that is similar to the error part and that is a candidate for a correct part for a part that has been determined to be an error.

Images