JP4116179B2 - 画像処理方法、画像処理装置および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、紙面に記入された文字を光学的に認識する方法とその装置およびこの方法を実行するプログラムを記憶した記憶媒体に関し、濃淡画像から文字の位置を正確に特定して、文字認識の精度向上を図る画像処理方法およびこの方法を実行するプログラムを記憶した記憶媒体に装置に関する。
【０００２】
【従来の技術】
画後処理分野において、２枚以上の同じ種類の画像の位置をあわせる必要が生じることは多い。例えば、定型帳票内の文字を認識させたい場合などである。この場合、認識させたい帳票を入力する前に、あらかじめ文字の書かれる位置を与えておき、実際に帳票画像が入力された時に、その座標をもとに認識させるべき文字の存在位置を決めて、認識処理を行う。ところが、同種の帳票とは言っても、入力時に微妙に位置がずれたり、わずかに歪んで撮像されたり、傾いてしまったりすることがある。こうした場合にはあらかじめ定めた位置とはずれた位置に認識すべき文字があることになり、このまま文字認識すると正しい結果が得られない。
【０００３】
そこで、特開平１０−９１７８３号公報では、入力画像より線分の十字点を抽出し、抽出された十字点と参照画像よりあらかじめ抽出された十字点との対応づけをし、対応した十字点間の位置関係に基いて、一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を求めることで座標値のずれの補正（位置合わせ）を行っている。
この方法は、タイミングマークと呼ばれる位置あわせのための特殊なマークを帳票上に印刷する必要がないので、文字認識の専用帳票以外にも応用可能な技術であり、また、位置ずれだけでなく、歪みや傾きにも対応できる方法である。
しかしながら、この方法は２値画像が対象であるため、原稿の２値化の状態が位置あわせの精度に大きく影響する。原稿の印刷色が中間色である場合は、ノイズの多い２値画像になったり罫線などがかすれてしまうなど、精度が大きく低下することが考えられる。
【０００４】
【発明が解決しようとする課題】
上述のごとく、従来の線分の十字点を対応させて、対応した十字点間の位置関係に基いて、一方の画像上の座標値から他方の画像上の対応する座標値を求める位置合わせの画像処理方法では、原稿の印刷色が中間色である場合などでは、精度が低下し、位置合わせがずれてしまうなどの問題があった。
本発明は、タイミングマークが不要で、かつ、中間色で印刷された帳票原稿も安定して位置あわせを行える画像処理方法とこれを実行する画像処理装置および画像処理方法を記憶する記憶媒体の実現を課題とする。
【０００５】
【課題を解決するための手段】
上記課題を達成するため、本発明に係る画像処理装置は、入力された濃淡画像であるデータ画像と、位置あわせに用いる目印を有するマスター画像との位置あわせを行なう画像処理装置であって、前記データ画像におけるエッジ成分の連結成分にかかる外接矩形から、位置あわせのための文字を選択する選択手段と、前記マスター画像の目印と、前記データ画像の選択された文字との位置関係に基づいて、該データ画像と前記マスター画像との位置合わせに用いる変換式を算出する変換式算出手段と、を備えることを特徴とする。
【０００６】
また、２つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理方法において、２つの濃淡画像のそれぞれから位置あわせの目印となる部分を抽出する目印抽出過程と、この目印抽出過程で抽出した目印の中から各画像の対応する目印を選択する目印選択過程と、この目印選択過程で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する数式演繹過程とを備えることとしてもよい。
また、前記目印選択過程は、各画像上の目印である矩形領域内の画素値の相関係数を計算する相関係数演算過程と、この相関係数演算過程の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定過程とを有することとしてもよい。
【０００７】
また、前記目印選択過程は、各画線上の目印である矩形領域内の画素値の縦横２方向の射影を計算する射影演算過程と、この射影相関係数演算過程の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定過程とを有することとしてもよい。
【０００８】
また、前記目印抽出過程は、前記２つの濃淡画像のエッジ成分を計算してエッジ成分の強い部分を選択するエッジ成分選択過程と、このエッジ成分選択過程で選択されたエッジ成分の連結成分を求めてその外接矩形を求める外接矩形抽出過程と、この外接矩形抽出過程で求められた外接矩形の中から目印となる部分を選別する外接矩形選別過程とを有することとしてもよい。
【０００９】
また、２つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理を行う画像処理装置において、２つの濃淡画像のそれぞれから位置あわせの目印となる部分を抽出する目印抽出手段と、この目印抽出手段で抽出した目印の中から各画像の対応する目印を選択する目印選択手段と、この目印選択手段で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する数式演繹手段とを備えることとしてもよい。
【００１０】
また、前記目印選択手段は、各画像上の目印である矩形領域内の画素値の相関係数を計算する相関係数演算手段と、この相関係数演算手段の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定手段とを有することとしてもよい。
【００１１】
また、前記目印選択手段は、各画線上の目印である矩形領域内の画素値の縦横２方向の射影を計算する射影演算手段と、この射影相関係数演算手段の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定手段とを有することとしてもよい。
【００１２】
また、前記目印抽出手段は、前記２つの濃淡画像のエッジ成分を計算してエッジ成分の強い部分を選択するエッジ成分選択手段と、このエッジ成分選択手段で選択されたエッジ成分の連結成分を求めてその外接矩形を求める外接矩形抽出手段と、この外接矩形抽出手段で求められた外接矩形の中から目印となる部分を選別する外接矩形選別手段とを有することとしてもよい。
【００１３】
また、２つの同種の濃淡画像の位置を相互に対応させて合わせる画像処理をコンピュータに実行させるためのプログラムを記憶したコンピュータ用の記憶媒体において、２つの濃淡画像のそれぞれから位置あわせの目印となる部分を抽出する目印抽出機能と、この目印抽出過程で抽出した目印の中から各画像の対応する目印を選択する目印選択機能と、この目印選択過程で対応づけられた目印同士の位置関係を基に一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を演繹する数式演繹機能とを備えたプログラムを記憶していることとしてもよい。
【００１４】
また、前記目印選択機能は、各画像上の目印である矩形領域内の画素値の相関係数を計算する相関係数演算機能と、この相関係数演算機能の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定機能とを有することとしてもよい。
【００１５】
また、前記目印選択機能は、前記目印選択機能は、各画線上の目印である矩形領域内の画素値の縦横２方向の射影を計算する射影演算機能と、この射影相関係数演算機能の計算で相関係数の値が大きいと計算された目印同士を対応する目印と判定する目印判定機能とを有することとしてもよい。
【００１６】
また、前記目印抽出機能は、前記２つの濃淡画像のエッジ成分を計算してエッジ成分の強い部分を選択するエッジ成分選択機能と、このエッジ成分選択機能で選択されたエッジ成分の連結成分を求めてその外接矩形を求める外接矩形抽出機能と、この外接矩形抽出機能で求められた外接矩形の中から目印となる部分を選別する外接矩形選別機能とを有することとしてもよい。
【００１７】
【発明の実施の形態】
以下、本発明にかかる画像処理方法、画像処理装置および記憶媒体を添付図面を参照にして詳細に説明する。
【００１８】
図１は、本発明の第１の実施の形態の構成図である。
図１において、１は位置あわせをしたい帳票原稿を濃淡画像として読み込む、スキャナ等の画像入力手段である。以下ではこの画像入力手段１によって入力される画像をデータ画像と呼ぶ。２は位置あわせを行う際に目印となる部分を画像から抽出する目印抽出手段、６は位置あわせする基準となる濃淡画像（以下マスター画像と呼ぶ）から目印を抽出し、それを保持しておくマスター画像目印抽出格納手段、７はデータ画像およびマスター画像の目印を吟味し、対応するものを選択する対応目印選択手段、１０は得られた複数の対応目印の位置から、一方の画像上の座標値から他方の画像上の対応する座標値を求める数式を計算する変換式算出手段、１１は算出された変換式を出力する変換式出力手段である。
【００１９】
また、３、４、５は２の抽出手段の一部で、３は濃淡画像のエッジ成分を計算してエッジ成分の強い部分を選択するエッジ強度算出手段、４は選択されたエッジ成分の連結成分を求めてその外接矩形を求める強エッジ連結成分抽出手段、５は外接矩形の中から目印となる部分を選別する連結成分選別手段である。また、８、９は７の対応目印選択手段の一部で、８は目印矩形内の画素値で相関係数を算出する相関係数算出手段、９は相関係数が大きな値をもつ目印の組を吟味し、対応目印とするかどうかを決定する対応目印選別手段である。
【００２０】
図２は、図１に示す本実施の形態の処理手順を表す図である。
まず、画像入力手段１を用いてデータ画像を入力する（ステップ１０１）。この画像は濃淡画像である。次に、エッジ強度算出手段３により、得られた濃淡画像から各画素のエッジ強度を算出する（ステップ１０２）。
【００２１】
エッジ強度算出法としてはさまざまなものが考えられるが、ここではエッジ強度を算出したい画素を中心として、図３に示す形状のフィルタをかけ、その値をエッジ強度とする。
注目画素を中心とし、その周り５×５画素の画素値とフィルタ値の積を計算してそれらを合計する。縦、横方向の２方向のエッジ強度を求める２種類のフィルタを適用してその値を求め、それらの絶対値和をエッジ強度とする。このエッジ強度があらかじめ定めた値より大きい画素を、エッジ強度の強い画素とする。これらの操作をデータ画像全体の画素について行う。例えば、図４に示す原画像の例に対して、図３に示すような形状のフィルタをかけ、エッジ強度があらかじめ定めた値より大きい画素を選び出して図５のような強エッジ部分を抽出した画像とする。
【００２２】
次に、強エッジ連結成分抽出手段４により前ステップで求めたエッジ強度の強い画素の連結成分を求める（ステップ１０３）。この連結成分の選別を連結成分選別手段５により行う（ステップ１０４）。
連結成分の外接矩形の大きさが、ある規定範囲にある場合には位置あわせのための目印候補として仮登録する。ここで大きさを見る理由は、小さすぎる連結成分はノイズの可能性が高く、位置あわせのための目印としては使用できないことと、大きすぎる連結成分は、あとで相関係数の計算を行う際に、時間がかかりすぎるので、目印としては不適であるためである。エッジ強度が強く、その連結成分の大きさがある範囲内であるのは、帳票に印刷されている文字などがそれに相当する。
【００２３】
次にマスター画像上の目印をひとつ読み込む（ステップ１０５）。ここでいう目印とは、目印となる部分の画像とマスター画像上での位置（座標値）である。マスター画像上の目印はあらかじめ登録しておいたものを使用する。目印は上述したデータ画像の場合と同様に、エッジ強度の強い部分の連結成分のうち、その大きさがある範囲内であるものを選んで使用する。
次に相関係数算出手段８により、読み込んだマスター画像上の目印と、その位置の近傍にあるデータ画像上の仮決定した目印候補との相関係数を計算する（ステップ１０６）。相関係数は以下のように計算される。
【００２４】
まず、マスター画像上の目印の画素値の集合をＸａ、データ画像上の目印候補の画素値の集合をＸｂとおき、ＸａとＸｂの各要素をそれぞれａij、ｂijとおく。また、それぞれの目印の幅、高さをｗa 、ｗb 、ｈa 、ｈb （画素）とおき、ｗa 、ｗb のうちの小さい方をｗ、高さｈa 、ｈb のうちの小さい方をｈとおく。すなわち
【００２５】
【数１】

【００２６】
である。図６に目印候補の連結成分外接矩形の略図とその幅および高さを参考に示す。
さて、平均をＥと書けば
【００２７】
【数２】

【００２８】
などと書ける。これより、分散Ｖおよび共分散Ｖ（ＸａＸｂ）は
【００２９】
【数３】

【００３０】
となる。
これらを用いると、相関係数ρ（Ｘａ，Ｘｂ）は
【００３１】
【数４】

【００３２】
と表せる。
【００３３】
この相関係数を近傍のすべての目印候補との間で計算し、対応目印選別手段９で、もっともその値が大きいものを選ぶ（ステップ１０７）。この値をあらかじめ定めておいた値と比較する（ステップ１０８）。もし、値が既定値以下である場合は対応する目印（印刷文字等）同士でない可能性が高いので、位置あわせのための目印としては使用しない。既定値以上であれば対応する目印同士であるとみなせるので位置あわせのための目印として登録する（ステップ１０９）。
こうして、マスター画像上の目印をひとつずつ読み込み、すべての目印の吟味が終了するまでステップ１０５からくり返す（ステップ１１０）。
【００３４】
次に変換式算出手段１０により、登録された目印の組の位置関係から、一方の座標上の点を変換すると他方の対応する画像上の座標値が得られる変換式を計算する。まず、位置あわせに用いる目印の組数を吟味する（ステップ１１１）。変換式として、アフイン変換を使用する場合、従来技術として挙げた特開平１０−９１７８３号公報と同じ算出法を用いたとすると、目印の組は最低でも４組必要となるので、この数を下回る場合は位置あわせできない。この場合はエラーを出力して（ステップ１１２）、終了する。４組以上ある場合は、変換式の計算ができるのでこれを行い（ステップ１１３）、出力して（ステップ１１４）終了する。
出力された変換式は、例えば文字認識の場合には、文字の位置を正確に推定するのに使用できる。
【００３５】
マスター画像上で（Ｘｉ、Ｙｉ）、（ｉ＝１、２、３、４）を頂点に持つ四角形内が文字の記入位置であったとする。記入位置に文字が記載されたデータ画像上では、スキャナ入力時のずれなどで、このとおりの座標では文字の記入位置を正確にあらわしていない場合が多く、そのまま文字認識を行うと誤認の可能性がある。そこで、得られた変換式で変換を行う。変換後の四角形の座標値を（ｘｉ、ｙｉ）、（ｉ＝１、２、３、４）、アフイン変換の変換係数をａ〜ｆとすると、
【００３６】
【数５】

【００３７】
と書ける。この（ｘｉ、ｙｉ）がデータ画像上の文字の記入位置に相当するので、ここの画像を文字認識すれば精度の良い認識が可能となる。図７に文字位置の推定のための変換前の四角形の座標値、変換後の四角形の座標値の関係を示す。
【００３８】
目印同士が同一の形状を持つかどうかは、相関係数を用いれば正確に知ることができる。しかし、相関係数は矩形領域内のすべての画素値について積和計算を行わねばならず、計算時間が問題になる場合がある。そこで、まず領域内の射影を計算し、射影の相関係数を計算すれば計算量が大幅に減少し、処理時間の短縮が可能となる。
【００３９】
図８は、本発明の第２の実施の形態の構成図で、図１に示す第１の実施の形態と異なる対応目印選択手段７の内部のみを示したものである。
対応目印選択手段７の内部は目印候補矩形の画素値の射影を計算する射影計算手段２１と、射影同士で相関係数を算出する相関係数算出手段２２と、相関係数の高いものから対応する目印を選び出す対応目印選別手段２３である。
【００４０】
図９は、この第２の実施の形態動作の流れ図である。図９も図２に示す第１の実施の形態のそれと異なる部分のみを示している。
図２でのステップ１０６、１０７の代わりに、ステップ３０１〜３０３を設けているのが両者の違いである。
【００４１】
まず、ステップ１０５でマスター画像上にある目印を一つ読み込む。次に射影計算手段により、マスター画像の近傍にあるデータ画俊上の目印候補の射影と、マスター画像上の目印の射影を計算する。射影は縦横２方向にわたって計算され、横方向の和を射影の成分としたものをｐh （ｙ）、縦方向の和を射影の成分としたものをｐv （ｘ）とする。射影はマスター画像、データ画像の目印画像に対して計算されるので、それぞれ、ｐah（ｙ）、ｐav（ｘ）およびｐbh（ｙ）、ｐbv（ｘ）と書くことにする。例えば図６の場合では、
【００４２】
【数６】

【００４３】
となる。
【００４４】
次に、相関係数算出手段２２で、射影同士の相関係数を求め、得られた２つの相関係数の和を求める（ステップ３０２）。上述の例の場合では、ｐah（ｙ）とｐbh（ｙ）との相関係数と、ｐav（ｘ）とｐbv（ｘ）の相関係数を求め、これらの和をとる。
そして、得られた和のうちで最大のものを与えるデータ画像の目印を選び（ステップ３０３）、既定値以上のものだけを位置あわせに用いる目印として登録する（ステップ１０８）。
【００４５】
図１０に、本発明の第３の実施の形態の構成を示す。本実施の形態は、請求項９〜請求項１２の、ソフトウェアによって実現する場合の実施の形態である。
本発明の実施の形態は、ＣＰＵ４１、メモリ４２、ハードディスク４３、入力装置４４、ＣＤ−ＲＯＭドライブ４５、ディスプレイ４６、バス４８、マウスなどからなる汎用の処理装置によって実行される。ＣＤ−ＲＯＭなどの記録媒体４７には、本発明による帳票種識別の処理機能や処理手順を実現させるためのプログラムが記録されている。また、処理対象の原稿画像は、例えばハードディスク４３などに格納されている。ＣＰＵ４１は、記録媒体４７から上記した処理機能、手順を実現するプログラムを読み出し実行し、位置あわせの結果をディスプレイ４６などに出力する。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、位置あわせのための特別なマークを使用しなくても位置合わせが可能となり、さらに、濃淡画像に対しても安定して位置あわせを行なうことができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施の形態の構成を示すブロック図。
【図２】図１に示す画像処理装置の一実施の形態での処理手順を示すフローチャート。
【図３】図１に示す画像処理装置の一実施の形態で用いられるエッジ強度算出フィルタの構成を示す図。
【図４】図３に示すエッジ強度算出フィルタ処理前の原画像の一例。
【図５】図４に示す原画像を図３に示すエッジ強度算出フィルタで処理して強エッジ部分を抽出した画像。
【図６】目印候補の連結成分外接矩形の略図。
【図７】変換前の四角形の座標値、変換後の四角形の座標値の関係を示す図。
【図８】本発明の画像処理装置の他の実施の形態の構成で図１のそれと異なる部分を示すブロック図。
【図９】図８に示す画像処理装置の実施の形態での処理手順を示すフローチャートで図２のそれと異なる部分を示すブロック図。
【図１０】本発明の記録媒体を用いるさらに他の実施の形態の構成を示すブロック図。
【符号の説明】
１ 画像入力手段
２ 目印抽出手段
３ エッジ強度算出手段
４ 強エッジ連結成分抽出手段
５ 連結成分選別手段
６ マスター画像目印抽出格納手段
７ 対応目印選択手段
８ 相関係数算出手段
９ 対応目印選別手段
１０ 変換式算出手段
１１ 変換式出力手段
２１ 射影計算手段
２２ 相関係数算出手段
２３ 対応目印選別手段
４１ ＣＰＵ
４２ メモリ
４３ ハードディスク
４４ 入力装置
４５ ＣＤ−ＲＯＭドライブ
４６ ディスプレイ
４７ 記録媒体
４８ バス

Claims (11)

1. 入力された濃淡画像であるデータ画像と、位置あわせに用いる目印を有するマスター画像との位置あわせを行なう画像処理装置であって、
   前記データ画像におけるエッジ成分の連結成分にかかる外接矩形から、位置あわせのための文字を選択する選択手段と、
   前記マスター画像の目印と、前記データ画像の選択された文字との位置関係に基づいて、該データ画像と前記マスター画像との位置合わせに用いる変換式を算出する変換式算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記マスター画像の複数の目印夫々について、前記位置あわせのための文字を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記マスター画像の目印との相関係数に基づいて、前記位置あわせのための文字を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、所定の大きさを有する外接矩形から前記位置あわせのための文字を選択することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記選択手段は、前記外接矩形内における画素値の縦横２方向の射影に基づいて前記位置あわせのための文字を選択することを特徴とする請求項４に記載の画像処理装置。
6. 入力された濃淡画像であるデータ画像と、位置あわせに用いる目印を有するマスター画像との位置あわせを行なう画像処理方法であって、
   前記データ画像におけるエッジ成分の連結成分にかかる外接矩形から、位置あわせのための文字を選択する選択過程と、
   前記マスター画像の目印と、前記データ画像の選択された文字との位置関係に基づいて、該データ画像と前記マスター画像との位置合わせに用いる変換式を算出する変換式算出過程と、
   を備えることを特徴とする画像処理方法。
7. 前記選択過程では、前記マスター画像の複数の目印夫々について、前記位置あわせのための文字を選択することを特徴とする請求項６に記載の画像処理方法。
8. 前記選択過程では、前記マスター画像の目印との相関係数に基づいて、前記位置あわせのための文字を選択することを特徴とする請求項６または７に記載の画像処理方法。
9. 前記選択過程では、所定の大きさを有する外接矩形から前記位置合わせのための文字を選択することを特徴とする請求項６乃至８のいずれかに記載の画像処理方法。
10. 前記選択過程では、前記外接矩形内における画素値の縦横２方向の射影に基づいて前記位置あわせのための文字を選択することを特徴とする請求項９に記載の画像処理方法。
11. 請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶していることを特徴とする記憶媒体。

Images