JP3572832B2 - Pattern reader - Google Patents

Description

【０００６】
ここで、
【０００７】
【数２】

【０００８】
図３に類似度算出部１０の中身を示す。画像メモリ３に記憶されている入力画像の濃度値Ｉ及びメモリ９に記憶されているパターン画像の濃度値Ｍ_ｐ が、アドレス／データバス６を通じて類似度算出部１０に取り込まれる。類似度算出部１０では共分散算出部１２において、ＩとＭ_ｐ の共分散
【０００９】
【数３】

【００１０】
が算出される。また、標準偏差算出部１３において、Ｉの標準偏差
【００１１】
【数４】

【００１２】
及び、Ｍ_ｐ の標準偏差
【００１３】
【数５】

【００１４】
が算出される。
積算部１４において、Ｉの標準偏差とＭ_ｐ の標準偏差の積
【００１５】
【数６】

【００１６】
が算出される。除算部１５において、パターンｐの位置（ｉ，ｊ） における類似度〔ＣＣ（ｉ，ｊ，ｐ） 〕が算出され、パターン画像と入力画像の類似度データとしてメモリ９に記憶される。
次に、パターン読取部１１において、全てのパターンに対する類似度データに基づいたパターン読取が行われる。パターン読取の処理手順を図６に示す。所定のマスク１６（マスク１６は図７に示す）を用い、マスクの左上隅座標を基準に入力画像の左上から右下まで走査可能な位置座標（ｘ，ｙ） が順次算出される（ＳＴ６）。算出されたマスク位置内における全ての類似度データの最大値が算出され（ＳＴ７）、最大値が所定のしきい値よりも大きい場合には（ＳＴ８）、その最大値（ｍａｘ₋ ｘ，ｍａｘ₋ ｙ）にパターンがあるものとし、パターン名ｐと位置（ｍａｘ₋ ｘ，ｍａｘ₋ ｙ）をメモリ９に記憶する。その後、領域１７（ｍａｘ₋ ｘ，ｍａｘ₋ ｙ）−（ｍａｘ₋ ｘ＋ｍｘ−１，ｍａｘ₋ ｙ＋ｍｙ−１）内の全てのパターンに対する類似度データを削除する（ＳＴ１０）。これにより、文字を重なった位置で読取ることを回避する。
【００１７】
【発明が解決しようとする課題】
上記した従来のパターン読取装置は、濃度階調の移動や伸縮の下で不変なマッチング手法である。しかし、シェーディングや背景変化等、パターン画像と入力画像との間に、線形変換関係が成り立たない場合においては、安定した読取ができないといった問題点がある。例えば、図８のように、パターン画像の背景の一部分が変化したような入力画像（ｂ）とパターン画像（ａ）の類似度の計算を行うと、類似度が０．６１となり、パターン画像同士の類似度１．０と比べた場合、かなり低下し、安定した読取ができない。
【００１８】
また、刻印文字やエンボス文字のようにパターン自体の見え方が変化するような場合（図９）にも、類似度が０．７２となり、パターン画像同士の相関値１．０と比べた場合、かなり低下し、安定した読取ができない。
この発明は上記問題点に着目してなされたものであって、濃度勾配方向と濃度勾配強度を用いて類似度を算出することにより、パターン画像の背景の一部分が変化したり、刻印文字、エンボス文字のようにパターン自体の見え方が変化する場合でも、精度良く読取れるパターン読取装置を提供することを目的としている。
【００１９】
【課題を解決するための手段】
この発明のパターン読取装置は、入力画像の各画素における濃度勾配方向Ｉθを求める濃度勾配方向算出手段と、この入力画像の濃度勾配方向Ｉθと、所定のパターンｐの各画素の濃度勾配方向Ｍθ_,pとの間で、濃度勾配方向の差異を評価する値ｆ (Ｉθ，Ｍθ_,p) を求める濃度勾配方向評価値算出手段と、この評価値に、前記所定のパターンｐより得られるパターン画像の濃度勾配強度Ｍ_w,p で重み付けする重み付け手段と、重み付けした評価値を加算する加算手段と、この重み付けされた加算値を重み合計で除算することにより類似度を算出する手段と、算出した全てのパターンｐの類似度より入力画像のパターンを読取る手段とを備えている。
【００２０】
この発明では、濃度勾配方向の差を評価した値を加算することにより、２つの濃淡画像の類似度を算出する。濃度勾配方向は、背景部と対象部とからなるコントラストが変化した場合においても値が同じであるという特徴がある。
また、濃度勾配方向はマスク演算を用いて算出されるため、連続的に背景部分が変化する場合においても、局所的に見れば背景部分は同じ濃度であるので、濃度勾配方向が変化しにくいという特徴がある。また、複雑背景上に対象が描かれている場合においても、背景変化の不連続な部分で濃度勾配方向が本来の方向と異なるが、局所的に濃度勾配方向を算出しているため、画像全体には伝播しないという特徴がある。
【００２１】
また、エンボスや刻印のように、パターン自体の見え方が変化する場合においては、パターン画像の輪郭部における濃度勾配方向と、入力画像の輪郭部における濃度勾配方向とは同一であるという特徴がある。
【００２２】
【発明の実施の形態】
以下、実施の形態により、この発明をさらに詳細に説明する。
〈実施形態１〉
実施形態１として、カード上のエンボス文字を読み取るパターン読取装置を例にとり、説明を行う。図１０に示すパターン読取装置は、目的物を撮影するカメラ１と、撮影した画像をデジタル信号に変換するＡ／Ｄコンバータ２と、デジタル化された画像を記憶する画像メモリ３と、表示のためデジタル画像をアナログ信号に変換するＤ／Ａコンバータ４と、画像を表示するＣＲＴディスプレイ５と、アドレス／データバス６と、タイミング制御部７と、入力画像の取込み、表示等の種々の処理、制御を実行するＣＰＵ８と、類似度算出のための画像データを記憶するメモリ９と、画像の濃度勾配方向を算出する濃度勾配方向算出部１８と、画像の濃度勾配強度を算出する濃度勾配強度算出部１９と、類似度算出部２０と、重み和算出部２１と、パターン読取部１１よりなる。
【００２３】
このパターン読取装置では、カメラ１から出力されたアナログ映像信号はＡ／Ｄコンバータ２で、タイミング制御部７からのタイミング信号に同期してＡ／Ｄ変換された後、画像メモリ３に記憶される。画像メモリ３に取り込まれた入力画像（図１１に入力画像例としてのカードを示す）は、Ｄ／Ａコンバータ４を通じてアナログ信号に変換された後、ＣＲＴディスプレイ５に表示される。入力画像は濃度勾配方向算出部１８において入力濃度勾配方向に変換され、メモリ９に記憶される。また、読取に用いられるパターン辞書のパターン画像はメモリ９に予め記憶されている。その例を、図２に示す。各パターン毎に、パターン濃度勾配強度とパターン濃度勾配方向が濃度勾配強度算出部１９及び濃度勾配方向算出部１８において、予め算出され、メモリ９に記憶されている。また、パターン濃度勾配強度の合計値が重み和算出部２１において、予め算出され、メモリ９記憶されている。類似度算出部２０においては、入力濃度勾配方向、パターン濃度勾配強度、パターン濃度勾配方向を用いて全てのパターンに対する類似度データが算出され、メモリ９に記憶される。全ての類似度データに基づいてパターン読取部１１において、パターンの読取が行われ、パターン名とその位置がメモリ９に記憶される。各モジュール間のデータの受け渡しは、アドレス／データバス６を通じて行われる。また、各モジュールの起動コマンド発行はＣＰＵ８により行われる。
【００２４】
先ず、類似度算出部２０において、全てのパターン画像に対する類似度データが算出される。その処理手順は、図４に示すフロー図と同様であり、処理の流れは、従来技術で示す例と同じである。従来のものとはＳＴ３の類似度算出における類似度算出手法が異なる。類似度算出ＳＴ３では、パターン名ｐ、照合位置（ｉ，ｊ） 〔図５参照〕、パターン濃度勾配方向とパターン濃度勾配強度の大きさを（ｍｘ，ｍｙ） 、パターン濃度勾配方向をＭθ_，ｐ、パターン濃度勾配強度をＭ_ｗ，ｐ 、入力濃度勾配方向をＩθとすると、類似度算出部２０において、以下の式により類似度が算出される。
【００２５】
【数７】

【００２６】
差値の評価した値は、濃度勾配方向の差の余弦（請求項２）、すなわち
ｆ（ω）＝ｃｏｓω
を使用する。
また、差値の評価した値は濃度勾配方向の差の２倍の余弦（請求項３）、すなわち
ｆ（ω）＝ｃｏｓ２ω
を使用してもよい。
【００２７】
また、差値の評価した値は、濃度勾配方向の差が０°を含む所定の範囲内の値であれば１とし、それ以外の所定の範囲内の値であれば−１とし、それぞれ以外の所定の範囲内の値であれば０とする（請求項４）。一例として、
【００２８】
【数８】

【００２９】
を使用してもよい。
また、差値の評価した値は、濃度勾配方向の差が０°を含む所定の範囲内の値と１８０°を含む所定の範囲内の値であれば１とし、それ以外の所定の範囲内の値であれば−１とし、それぞれ以外の所定の範囲内の値であれば０とする（請求項５）。一例として、
【００３０】
【数９】

【００３１】
を使用してもよい。
図１２に類似度算出部２０の中身を示す。画像メモリ３に記憶されている入力画像濃度勾配方向Ｉθ及びメモリ９に記憶されているパターン濃度勾配強度Ｍ_w,p 、パターン濃度勾配方向Ｍθ _,p の合計値が、アドレス／データバス６を通じて類似度算出部２０に取り込まれる。減算部２２において、各画素の入力濃度勾配方向Ｉθとパターン濃度勾配方向Ｍθ_,pの差
Ｉθ (i+x,j+y)−Ｍθ_,p(x,y)
が算出される。方向差評価部２３において、
ｆ〔Ｉθ (i+x,j+y)−Ｍθ_,p(x,y) 〕
が算出され、積和演算部２４において、
【００３２】
【数１０】

【００３３】
が算出され、除算部２５において、本発明に係る類似度が算出される。以上の類似度算出を全てのパターンｐについて入力画像中の全ての位置（ｉ，ｊ） において行う。
パターンは予め以下の手順で作成され、メモリに記憶されている。パターン画像をカメラ１よりＡ／Ｄコンバータ２を通じて画像メモリ３に取り込む。パターン画像は、濃度勾配方向算出部１８において、パターン濃度勾配方向に変換され、濃度勾配強度算出部１９においてパターン濃度勾配強度に変換される。パターン濃度勾配方向とパターン濃度勾配強度は、メモリ９に記憶される。濃度勾配強度算出部１７においては、以下の式（Ｓｏｂｅｌオペレータ）により濃度勾配強度が算出される。
【００３４】

ここで、

濃度勾配強度算出方法としては、グラジェント等の他のオペレータでも良い。濃度勾配方向算出部１８においては、以下の式（Ｓｏｂｅｌオペレータ）により濃度勾配方向〔０°，３６０°〕が算出される。
【００３５】
Ｍθ_，ｐ（ｘ，ｙ） ＝ａｔａｎ２（Ｄｘ，Ｄｙ）
ここで、ａｔａｎ２とは、Ｄｘ座標、Ｄｙ座標で表されるＤｘ−Ｄｙ座標の逆正接関数をさす（図１３）。濃度勾配方向算出方法としては、Ｐｒｅｗｉｔｔオペレータ等の他のオペレータでも良い。
次に、パターン読取部１１において、類似度データに基づいた文字読取が行われる。処理のステップを図６に示す。処理の流れは従来の技術に示したものと同様である。
【００３６】
カードのエンボスは、背景がいろいろと変化し、かつ文字自体の見え方も照明条件により変化する。例えば、あるパターン画像（濃度値で示す）を図１４の（ａ）とし、ある照合位置での入力画像（濃度値で示す）を図１４の（ｂ）とする。図１４の（ｂ）に示すように、入力画像の背景部分の濃度値が一部パターン画像と異なっており、かつ入力画像の一部分の濃度値が小さくなっている。このような状況は、カードのエンボス等でしばしば起こる。パターン濃度勾配方向及び入力濃度勾配方向を上記手法を用いて算出すると、図１４の（ｃ）及び（ｄ）のようになる。また、パターン濃度勾配強度を上記手法を用いて算出すると、図１５の（ｅ）のようになる。ここで、パターン濃度勾配方向及び入力濃度勾配方向に付してあるＮＤというラベルは、Ｄｘ、Ｄｙともに０であったため、方向が不定となる画素を示している。この画素の方向差評価は、ｆ（ω）＝０とする。入力濃度勾配方向とパターン濃度勾配方向の差を図１５の（ｆ）に示す。請求項３〔ｆ（ω）＝ｃｏｓ２ω〕及び請求項５〔数５〕にしたがったｆ（ω）を用いて方向差の評価を行うと図１５の（ｇ）と図１５の（ｈ）のようになり、方向不定部分を除き、パターンの明るさの変化や、背景の変化に影響されることなく、評価値がほぼ１．０になっていることがわかる。この場合、ｆ（ω）＝ｃｏｓ２ωを用いた類似度を計算すると０．７１５となり、〔数５〕にしたがったｆ（ω）を用いた類似度を計算すると０．６９７となり、同じ画像での正規化相互相関値０．５６４と比べても優位な差が見られ、本発明に係るパターン読取装置が背景の変化やパターンの明るさの変化の影響を受けにくいことが示されている。
【００３７】
カード上のエンボス以外にもタイヤ上のエンボス等でも光源の位置により、パターン自身の見え方が変わったり、タイヤに泥などの汚れが付着することにより、背景部やパターン自身の見え方が変わったりすることがあり、このような場合においても本手法の適用が可能である。また、タイヤの場合には、円弧上にパターンが並んでいるため〔図１６の（ａ）〕、画像上でのタイヤの中心位置（ｘｃ，ｙｃ） を求めておき、（ｘｃ，ｙｃ） を通る直線を引いた場合に同一線上にある画素が画像上でｘ＝一定の直線上に乗るよう画像変換を予め行い、パターンが横一列に並ぶようにすると、上記カード上のエンボスと同様の処理が可能である〔図１６の（ｈ）〕。
【００３８】
<実施形態２>
この発明の実施形態２として、刻印を読み取るパターン読取装置を例にとり説明を行う。このパターン読取装置の構成は、実施形態１に記載のものと同じである。刻印パターン〔図１７の（ａ）〕の断面は、図１７の（ｂ）、図１７の（ｃ）に示すように立体形状をしている。このため、照明の当てる方向によって、明るくなる部分と影になる部分が発生する〔図１８の（ｄ）、図１８の（ｅ）〕。例として、左側より照明を当てた場合を用いて、説明を行う。この場合は、図１９の（ｂ）に示すように、パターンの右半分の濃度値が大きくなっており、パターンの左半分の濃度値が小さくなっている。しかし、図１９の（ｃ）、図１９の（ｄ）のようにパターン濃度勾配方向と入力濃度勾配方向は一致しているため、方向差はＮＤフラグが付いた部分以外は０となる。このため、請求項２〔ｆ（ω）＝ｃｏｓω〕、請求項３〔ｆ（ω）＝ｃｏｓ２ω〕、請求項４〔数４〕、及び請求項５〔数５〕にしたがったｆ（ω）は、全て図２０の（ｇ）のようになり、類似度は全て１．０となる。一方、正規化相互相関値は０．７２であり、本発明に係るパターン読取装置が刻印に対して安定に読取可能であることが示されている。
【００３９】
〈実施形態３〉
この発明の実施形態３として、包装容器や包装用紙あるいは透明フィルム上に描かれた文字や記号の読取装置を例にとり、説明を行う。このパターン読取装置の構成は、実施形態１に記載のものと同じである。包装容器や包装用紙は商品購買意欲を高めるために、表面に模様が施されていることが多い。一方、このような複雑背景上に印字をしたパターンは従来安定に認識ができないため、包装容器や包装用紙の一部を白地にし、その上にパターンを印字するということが行われている。しかし、デザイン上の観点から複雑背景上にパターンを印字し、読取ができることが望ましい。また、透明フィルム上に印字されたパターンの場合には、包装容器や包装用紙の模様が透けて見えるため、同様に複雑背景上のパターンと考えることができる。
【００４０】
あるパターン画像を図２１の（ａ）とし、入力画像を図２１の（ｂ）とする。図２１の（ｂ）に示すように、入力画像の背景部分の濃度値がパターン画像と異なっている。このとき、パターン濃度勾配方向及び入力濃度勾配方向を実施形態１に記載の方法を用いて算出すると、図２１の（ｃ）及び図２１の（ｄ）のようになる。また、パターン濃度勾配強度を実施形態１に記載の方法を用いて算出すると図２２の（ｅ）のようになる。入力濃度勾配方向とパターン濃度勾配方向の差を図２２の（ｆ）に示す。請求項２〔ｆ（ω）＝ｃｏｓω〕及び請求項４〔数４〕にしたがったｆ（ω）を用いて方向差の評価を行うと、図２２の（ｇ）や図２２の（ｈ）のようになり、方向不定部分を除き、背景の変化に影響されることなく１．０に近い値になっていることがわかる。この場合、ｆ（ω）＝ｃｏｓωを用いた類似度を算出すると０．９９２となり、〔数５〕にしたがったｆ（ω）を用いた類似度を算出すると１．０となり、同じ画像での正規化相互相関値０．８７４と比べても優位な差が見られ、本発明に係るパターン読取装置が背景の変化や、パターンの明るさの変化の影響を受けにくいことが示されている。
【００４１】
包装容器や包装用紙上のパターンや透明フィルム上のパターン以外にも、予め罫線が引いてある用紙上に印字されたパターンでは、パターンが罫線に重なる可能性があるため、同様に複雑背景上のパターン読取装置において読み取ることが可能である。
【００４２】
【発明の効果】
この発明によれば、シェーディングのように背景部の濃淡値が連続的に変化する場合や、複雑背景のように背景部に不連続な部分はあるものの、その割合が少ない場合に、パターン読取が可能になるという効果が得られる。また、安定した読取が可能となる。
【００４３】
特に、この発明によれば、入力画像とパターン画像との間での濃度勾配方向差を評価し、その評価値をパターン画像の濃度勾配強度で重み付けし、重み付けされた加算値を重み合計で除算するようにしたので、複雑背景のように背景が画像によって異なるようなパターンや刻印やエンボスのように、パターン自身の明るさが変化する場合においても、安定に読取が可能という効果がある。
【００４４】
また、請求項２、請求項３、請求項４、請求項５に係る発明によれば、濃度勾配方向の差値の評価値の値域を〔−１，１〕とし、類似度の値域が〔−１，１〕となり、従来法の正規化相互相関による読取装置に使い慣れた人でも容易にしきい値を求められるという効果がある。
また、請求項３、請求項４、請求項５に係る発明によれば、濃度勾配方向の差値が１８０°の付近で０とし、パターン部と背景部の濃淡値が反転した場合においても類似度が１．０となり、刻印のように照明条件により濃淡値が反転する場合にも安定して認識を行うことができる。
【００４５】
また、請求項４、請求項５に係る発明によれば、濃度勾配方向の差値を評価した値を１，０，−１の３値とし、演算量が削減されるという効果があげられる。
【図面の簡単な説明】
【図１】従来のパターン読取装置の構成を示すブロック図である。
【図２】パターン辞書のパターン名とパターン画像を示す図である。
【図３】上記パターン読取装置の類似度算出部の構成を示すブロック図である。
【図４】全てのパターン画像に対する類似度算出処理を説明するフロー図である。
【図５】類似度算出処理におけるパターン画像サイズを説明する図である。
【図６】全てのパターン画像に対する類似度データを用いて行うパターン読取処理を説明するフロー図である。
【図７】パターン読取におけるマスクと読取領域を説明する図である。
【図８】パターン画像の背景の一部分が変化した入力画像例を示す図である。
【図９】パターン自体の見え方が変化する場合の入力画像例を示す図である。
【図１０】この発明の実施形態１のパターン読取装置の構成を示すブロック図である。
【図１１】同実施形態１のパターン読取装置の入力画像例を示す図である。
【図１２】同実施形態１のパターン読取装置の類似度算出部の構成を示すブロック図である。
【図１３】同実施形態１のパターン読取装置における差値評価の関数ａｔａｎ２を説明する図である。
【図１４】同実施形態１のパターン読取装置におけるパターン画像、入力画像、パターン濃度勾配方向、及び入力濃度勾配方向の各例を示す図である。
【図１５】同実施形態１のパターン読取装置におけるパターン濃度勾配、方向差、差値評価の各例を示す図である。
【図１６】同実施形態１のパターン読取装置の画像変換を説明する図である。
【図１７】刻印を読み取る場合において、照明方向により生じる画像変化を説明する図である。
【図１８】図１７とともに、刻印を読み取る場合において、照明方向により生じる画像変化を説明する図である。
【図１９】この発明の実施形態２のパターン読取装置におけるパターン画像、入力画像、パターン濃度勾配方向及び入力濃度勾配方向の各例を示す図である。
【図２０】同実施形態２のパターン読取装置におけるパターン濃度勾配強度、方向差及び差値評価の各例を示す図である。
【図２１】この発明の実施形態３のパターン読取装置におけるパターン画像、入力画像、パターン濃度勾配方向及び入力濃度勾配方向の各例を示す図である。
【図２２】同実施形態３のパターン読取装置におけるパターン濃度勾配強度、方向差及び差値評価値の各例を示す図である。
【符号の説明】
１ カメラ
３ 画像メモリ
８ ＣＰＵ
９ メモリ
１１ パターン読取部
１８ 濃度勾配方向算出部
１９ 濃度勾配強度算出部
２０ 類似度算出部
２１ 重み和算出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pattern reading device that reads characters and symbols.
[0002]
[Prior art]
As a conventional pattern reading apparatus, there is an apparatus using a normalized cross-correlation method (image analysis handbook, supervised by Mikio Takagi and Hirohisa Shimoda, University of Tokyo Press). FIG. 1 shows the configuration of a conventional pattern reading apparatus using this normalized cross-correlation. The pattern reading apparatus includes a camera 1 for photographing an object, an A / D converter 2 for converting a photographed image into a digital signal, an image memory 3 for storing a digitized image, and a digital image for display. A D / A converter 4 for converting into an analog signal, a CRT display 5 for displaying an image, an address / data bus 6, a timing control unit 7, and various processes and controls such as capturing and displaying an input image. It comprises a CPU 8, a memory 9 for storing pattern image data and the like for calculating similarity, a similarity calculating unit 10, and a pattern reading unit 11.
[0003]
In this pattern reading device, an analog video signal output from the camera 1 is A / D converted by an A / D converter 2 in synchronization with a timing signal from a timing control unit 7 and then stored in an image memory 3. , Are displayed on the CRT display 5 through the D / A converter 4. On the other hand, in the similarity calculating section 10, the similarity between the input image stored in the image memory 3 and the pattern image of the pattern dictionary (the pattern name and the pattern image are shown in FIG. 2) stored in the memory 9 in advance is input. It is calculated at every position in the image and stored in the memory 9. The pattern is read by the pattern reading unit based on the similarity data corresponding to all the pattern images, and the pattern name and its position are stored in the memory 9. Data transfer between the modules is performed via the address / data bus 6. The start command of each module is issued by the CPU 8.
[0004]
First, the similarity calculation unit 10 calculates the similarity for all the pattern images. FIG. 4 shows the procedure of the similarity calculation process for all pattern images at all positions. First, one of the pattern images stored in the memory 9 is selected (step ST (hereinafter simply abbreviated as ST) 1). Let p be the pattern name. Next, a matching position [(i, j) in FIG. 5] of the pattern image and the input image in the image is obtained, a normalized cross-correlation value at the matching position is calculated, and stored in the memory 9 as similarity data. (ST2, ST3, ST4). The above processing is performed on all pattern image data at all collation positions. In the comparison position calculation of ST2, position coordinates that can be compared from the upper left to the lower right of the input image are sequentially calculated based on the upper left coordinates of the pattern. In similarity calculation ST3, the input image I, the pattern image M _p, when the pattern image size (mx, my), in similarity calculation unit 10, the similarity is calculated as represented by the following formula You.
[0005]
(Equation 1)

[0006]
here,
[0007]
(Equation 2)

[0008]
FIG. 3 shows the contents of the similarity calculation unit 10. Density values M _p of the pattern image stored in the density values I and the memory 9 of the input image stored in the image memory 3 is taken to the similarity calculation unit 10 via the address / data bus 6. In the similarity calculation unit 10, the covariance calculation unit 12, the covariance of I and _{M p} [0009]
(Equation 3)

[0010]
Is calculated. In the standard deviation calculating unit 13, the standard deviation of I
(Equation 4)

[0012]
And the standard deviation of M _p
(Equation 5)

[0014]
Is calculated.
In integration unit 14, a product [0015] of the standard deviation of the standard deviation and _{M p} of I
(Equation 6)

[0016]
Is calculated. The division unit 15 calculates the similarity [CC (i, j, p)] at the position (i, j) of the pattern p and stores it in the memory 9 as similarity data between the pattern image and the input image.
Next, the pattern reading unit 11 performs pattern reading based on the similarity data for all the patterns. FIG. 6 shows a processing procedure of pattern reading. Using a predetermined mask 16 (the mask 16 is shown in FIG. 7), position coordinates (x, y) that can be scanned from the upper left to the lower right of the input image are sequentially calculated based on the upper left corner coordinates of the mask (ST6). . The maximum value of all the similarity data in calculated mask in position is calculated (ST7), when the maximum value is greater than a predetermined threshold (ST8), the maximum value (max _{- x,} max - Assuming that there is a pattern in y), the pattern name p and the position (max _- x, max _- y) are stored in the memory 9. Then, the similarity data for all the patterns in the area 17 (max _- x, max _- y)-(max _- x + mx-1, max _- y + my-1) is deleted (ST10). This avoids reading characters at overlapping positions.
[0017]
[Problems to be solved by the invention]
The above-described conventional pattern reading apparatus is a matching method that does not change under the movement or expansion and contraction of the density gradation. However, when a linear conversion relationship is not established between the pattern image and the input image such as shading or background change, there is a problem that stable reading cannot be performed. For example, as shown in FIG. 8, when the similarity between the input image (b) and the pattern image (a) in which a part of the background of the pattern image is changed is calculated, the similarity becomes 0.61 and the pattern images When compared with the similarity of 1.0, the reading is considerably reduced and stable reading cannot be performed.
[0018]
Also, in the case where the appearance of the pattern itself changes like an engraved character or an embossed character (FIG. 9), the similarity is 0.72, and when compared with the correlation value 1.0 between pattern images, The reading is considerably reduced, and stable reading cannot be performed.
The present invention has been made in view of the above-described problems, and calculates a similarity using the density gradient direction and the density gradient strength to change a part of the background of the pattern image, to perform engraved characters, embossed characters, and the like. It is an object of the present invention to provide a pattern reading device that can read with high accuracy even when the appearance of a pattern itself changes like a character.
[0019]
[Means for Solving the Problems]
The pattern reading apparatus according to the present invention includes a density gradient direction calculating means for obtaining a density gradient direction Iθ at each pixel of an input image, a density gradient direction Iθ of the input image, and a density gradient direction Mθ of each pixel of a predetermined pattern p _. a density gradient direction evaluation value calculating means for obtaining a value f (Iθ, Mθ _{, p} ) for evaluating a difference in the density gradient direction between _p and _p ; a value of a pattern image obtained from the predetermined pattern p Weighting means for weighting with the density gradient strength M _{w, p} , adding means for adding the weighted evaluation value, means for calculating the similarity by dividing the weighted addition value by the total weight, Means for reading the pattern of the input image from the similarity of the pattern p.
[0020]
According to the present invention, the similarity between two grayscale images is calculated by adding the values obtained by evaluating the difference in the density gradient direction. The characteristic of the density gradient direction is that the value is the same even when the contrast between the background part and the target part changes.
Further, since the density gradient direction is calculated using the mask calculation, even when the background portion changes continuously, the background portion has the same density when viewed locally, so that the density gradient direction is hard to change. There are features. Also, when the target is drawn on a complex background, the density gradient direction is different from the original direction at the discontinuous portion of the background change, but since the density gradient direction is calculated locally, the entire image is calculated. Has the characteristic that it does not propagate.
[0021]
Further, when the appearance of the pattern itself changes, such as in embossing or engraving, there is a feature that the density gradient direction in the contour of the pattern image is the same as the density gradient direction in the contour of the input image. .
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in more detail with reference to embodiments.
<Embodiment 1>
As a first embodiment, a pattern reading device that reads embossed characters on a card will be described as an example. The pattern reading apparatus shown in FIG. 10 includes a camera 1 for photographing an object, an A / D converter 2 for converting a photographed image into a digital signal, an image memory 3 for storing a digitized image, and an image memory 3 for display. D / A converter 4 for converting a digital image into an analog signal, CRT display 5 for displaying an image, address / data bus 6, timing control unit 7, and various processes and controls such as capture and display of an input image , A memory 9 for storing image data for calculating similarity, a density gradient direction calculator 18 for calculating the density gradient direction of the image, and a density gradient intensity calculator for calculating the density gradient intensity of the image. 19, a similarity calculation unit 20, a weight sum calculation unit 21, and a pattern reading unit 11.
[0023]
In this pattern reading device, an analog video signal output from the camera 1 is A / D converted by an A / D converter 2 in synchronization with a timing signal from a timing control unit 7 and then stored in an image memory 3. . An input image (a card as an example of an input image is shown in FIG. 11) taken into the image memory 3 is converted into an analog signal through a D / A converter 4 and then displayed on a CRT display 5. The input image is converted into an input density gradient direction by a density gradient direction calculation unit 18 and stored in the memory 9. The pattern image of the pattern dictionary used for reading is stored in the memory 9 in advance. An example is shown in FIG. The pattern density gradient intensity and the pattern density gradient direction are calculated in advance by the density gradient intensity calculation unit 19 and the density gradient direction calculation unit 18 for each pattern and stored in the memory 9. Further, the total value of the pattern density gradient intensities is calculated in advance in the weight sum calculator 21 and stored in the memory 9. The similarity calculator 20 calculates similarity data for all patterns using the input density gradient direction, the pattern density gradient strength, and the pattern density gradient direction, and stores the data in the memory 9. The pattern reading unit 11 reads the pattern based on all the similarity data, and stores the pattern name and its position in the memory 9. Data transfer between the modules is performed via the address / data bus 6. The start command of each module is issued by the CPU 8.
[0024]
First, the similarity calculator 20 calculates similarity data for all pattern images. The processing procedure is the same as that of the flowchart shown in FIG. 4, and the flow of the processing is the same as the example shown in the related art. The similarity calculation method in the similarity calculation in ST3 is different from the conventional one. In the similarity calculation ST3, the pattern name p, the collation position (i, j) (see FIG. 5), the pattern density gradient direction and the magnitude of the pattern density gradient intensity are (mx, my), and the pattern density gradient direction is Mθ _{, p} Assuming that the pattern density gradient strength is M _{w, p} and the input density gradient direction is Iθ, the similarity calculation unit 20 calculates the similarity by the following equation.
[0025]
(Equation 7)

[0026]
The evaluated value of the difference value is the cosine of the difference in the density gradient direction (claim 2 ), that is, f (ω) = cosω
Use
The evaluated value of the difference value is a cosine of twice the difference in the density gradient direction (claim 3 ), that is, f (ω) = cos2ω
May be used.
[0027]
The evaluated value of the difference value is set to 1 if the difference in the concentration gradient direction is a value within a predetermined range including 0 °, and is set to -1 if the difference is within a predetermined range other than 0 °. Is set to 0 if the value is within a predetermined range of (Claim 4 ). As an example,
[0028]
(Equation 8)

[0029]
May be used.
In addition, the evaluated value of the difference value is set to 1 if the difference in the concentration gradient direction is a value within a predetermined range including 0 ° and a value within a predetermined range including 180 °, and within a predetermined range other than that. if the value is -1, and 0 if the value in a predetermined range other than the respective (claim 5). As an example,
[0030]
(Equation 9)

[0031]
May be used.
FIG. 12 shows the contents of the similarity calculation unit 20. The sum of the input image density gradient direction Iθ stored in the image memory 3, the pattern density gradient intensity M _{w, p} and the pattern density gradient direction Mθ _{, p} stored in the memory 9 is similar through the address / data bus 6. The degree is taken into the degree calculation unit 20. In the subtraction unit 22, the difference Iθ (i + x, j + y) −Mθ _{, p} (x, y) between the input density gradient direction Iθ of each pixel and the pattern density gradient direction Mθ _{, p}
Is calculated. In the direction difference evaluation unit 23,
f [Iθ (i + x, j + y) −Mθ _{, p} (x, y)]
Is calculated, and in the product-sum operation unit 24,
[0032]
(Equation 10)

[0033]
Is calculated, and the division unit 25 calculates the similarity according to the present invention. The above similarity calculation is performed for all patterns p at all positions (i, j) in the input image.
The pattern is created in advance by the following procedure and stored in the memory. The pattern image is taken into the image memory 3 from the camera 1 through the A / D converter 2. The pattern image is converted into a pattern density gradient direction by a density gradient direction calculation unit 18 and converted into a pattern density gradient intensity by a density gradient intensity calculation unit 19. The pattern density gradient direction and the pattern density gradient strength are stored in the memory 9. The density gradient strength calculation unit 17 calculates the density gradient strength by the following equation (Sobel operator).
[0034]

here,

As a method of calculating the concentration gradient intensity, another operator such as a gradient may be used. The density gradient direction calculation unit 18 calculates the density gradient direction [0 °, 360 °] by the following equation (Sobel operator).
[0035]
Mθ _{, p} (x, y) = atan2 (Dx, Dy)
Here, atan2 indicates an arctangent function of Dx-Dy coordinates represented by Dx coordinates and Dy coordinates (FIG. 13). As the density gradient direction calculation method, another operator such as a Prewitt operator may be used.
Next, in the pattern reading unit 11, a character is read based on the similarity data. The steps of the process are shown in FIG. The processing flow is the same as that shown in the prior art.
[0036]
The background of the emboss of the card changes in various ways, and the appearance of the character itself also changes depending on the lighting conditions. For example, assume that a certain pattern image (indicated by a density value) is (a) in FIG. 14, and an input image (indicated by a density value) at a certain collation position is (b) in FIG. As shown in FIG. 14B, the density value of the background part of the input image is partially different from that of the pattern image, and the density value of a part of the input image is small. Such a situation often occurs when the card is embossed. When the pattern density gradient direction and the input density gradient direction are calculated using the above method, the results are as shown in FIG. 14 (c) and (d). Further, when the pattern density gradient intensity is calculated using the above method, it becomes as shown in FIG. Here, the label ND attached to the pattern density gradient direction and the input density gradient direction indicates a pixel whose direction is uncertain because both Dx and Dy are 0. The evaluation of the direction difference of the pixel is f (ω) = 0. The difference between the input density gradient direction and the pattern density gradient direction is shown in FIG. When the direction difference is evaluated using f (ω) according to claim 3 [f (ω) = cos2ω] and claim 5 [Equation 5], the difference between (g) in FIG. 15 and (h) in FIG. As a result, it can be seen that the evaluation value is almost 1.0 without being affected by the change in the brightness of the pattern or the change in the background, except for the portion where the direction is undefined. In this case, the similarity calculated using f (ω) = cos2ω is 0.715, and the similarity calculated using f (ω) according to [Equation 5] is 0.697, which is the same image. A significant difference is seen even when compared with the normalized cross-correlation value of 0.564, indicating that the pattern reading apparatus according to the present invention is less susceptible to changes in the background and changes in the brightness of the pattern.
[0037]
Depending on the position of the light source, the appearance of the pattern itself may change depending on the position of the light source, as well as the embossing on the tire, in addition to the embossing on the card, and the appearance of the background and the pattern itself may change due to dirt such as mud adhered to the tire In such a case, the present method can be applied. In the case of a tire, since the patterns are arranged on an arc [FIG. 16 (a)], the center position (xc, yc) of the tire on the image is obtained, and (xc, yc) is calculated as Image conversion is performed in advance so that pixels on the same line are drawn on a straight line x = constant on the image when a straight line is drawn, and when the patterns are arranged in a horizontal line, the same processing as the embossing on the card is performed. [(H) of FIG. 16].
[0038]
<Embodiment 2>
As a second embodiment of the present invention, a description will be given by taking a pattern reading apparatus for reading a stamp as an example. The configuration of this pattern reading device is the same as that described in the first embodiment. The cross section of the engraved pattern [(a) of FIG. 17] has a three-dimensional shape as shown in (b) of FIG. 17 and (c) of FIG. For this reason, depending on the direction of illumination, a bright portion and a shadow portion are generated [(d) in FIG. 18 and (e) in FIG. 18]. As an example, description will be made using a case where illumination is applied from the left side. In this case, as shown in FIG. 19B, the density value of the right half of the pattern is large, and the density value of the left half of the pattern is small. However, since the pattern density gradient direction and the input density gradient direction match as shown in FIG. 19C and FIG. 19D, the direction difference is 0 except for the part with the ND flag. Therefore, f (ω) according to claim 2 [f (ω) = cos ω], claim 3 [f (ω) = cos2ω], claim 4 [Equation 4], and claim 5 [Equation 5] Are all as shown in FIG. 20 (g), and the similarities are all 1.0. On the other hand, the normalized cross-correlation value is 0.72, which indicates that the pattern reading apparatus according to the present invention can stably read a stamp.
[0039]
<Embodiment 3>
Third Embodiment As a third embodiment of the present invention, a description will be given of an example of a reading device for characters and symbols drawn on a packaging container, packaging paper, or a transparent film. The configuration of this pattern reading device is the same as that described in the first embodiment. In many cases, the surface of a packaging container or a wrapping paper is patterned in order to increase the willingness to purchase products. On the other hand, since a pattern printed on such a complicated background cannot be recognized stably in the past, a part of a packaging container or a wrapping paper is made white and a pattern is printed thereon. However, it is desirable that a pattern can be printed and read on a complicated background from the viewpoint of design. In the case of a pattern printed on a transparent film, the pattern on the packaging container or the packaging paper can be seen through, so that the pattern can be similarly considered as a pattern on a complicated background.
[0040]
A certain pattern image is shown in FIG. 21A, and an input image is shown in FIG. 21B. As shown in FIG. 21B, the density value of the background portion of the input image is different from that of the pattern image. At this time, when the pattern density gradient direction and the input density gradient direction are calculated using the method described in the first embodiment, the results are as shown in FIG. 21 (c) and FIG. 21 (d). Further, when the pattern density gradient intensity is calculated using the method described in the first embodiment, the result is as shown in FIG. The difference between the input density gradient direction and the pattern density gradient direction is shown in FIG. When the direction difference is evaluated using f (ω) = cos ω according to claim 2 and f (ω) according to claim 4 , (g) in FIG. 22 and (h) in FIG. It can be seen that the value is close to 1.0 without being affected by the change in the background, except for the indeterminate direction portion. In this case, the similarity using f (ω) = cosω is calculated to be 0.992, and the similarity using f (ω) according to [Equation 5] is calculated as 1.0. A significant difference is seen even when compared with the normalized cross-correlation value of 0.874, indicating that the pattern reading apparatus according to the present invention is less susceptible to changes in the background and changes in the brightness of the pattern.
[0041]
In addition to patterns on packaging containers and wrapping paper, and patterns on transparent films, patterns printed on pre-ruled paper may overlap the ruled lines. It can be read by a pattern reading device.
[0042]
【The invention's effect】
According to the present invention, pattern reading is performed when the gray value of the background portion changes continuously as in shading, or when there is a discontinuous portion in the background portion such as a complicated background but the ratio is small. The effect that it becomes possible is obtained. Also, stable reading can be performed.
[0043]
In particular, according to the present invention, the difference in the density gradient direction between the input image and the pattern image is evaluated, the evaluation value is weighted by the density gradient intensity of the pattern image, and the weighted sum is divided by the total weight. Therefore, even if the brightness of the pattern itself changes, such as a pattern in which the background differs depending on the image, such as a complicated background, or a mark or emboss, there is an effect that the reading can be performed stably.
[0044]
According to the second , third , fourth , and fifth aspects of the present invention, the range of the evaluation value of the difference value in the density gradient direction is [-1, 1], and the range of the similarity is [ −1, 1], so that even a person who is familiar with the reader using the normalized cross-correlation of the conventional method can easily find the threshold.
According to the third , fourth and fifth aspects of the present invention, the similarity is obtained even when the difference value in the density gradient direction is set to 0 near 180 ° and the gray value of the pattern portion and the background portion is inverted. The degree becomes 1.0, and the recognition can be performed stably even when the grayscale value is inverted depending on the lighting conditions as in the case of engraving.
[0045]
According to the fourth and fifth aspects of the present invention, the value obtained by evaluating the difference value in the direction of the density gradient is set to three values of 1, 0, and −1, so that the amount of calculation can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a conventional pattern reading device.
FIG. 2 is a diagram showing pattern names and pattern images of a pattern dictionary.
FIG. 3 is a block diagram showing a configuration of a similarity calculation unit of the pattern reading device.
FIG. 4 is a flowchart illustrating a similarity calculation process for all pattern images.
FIG. 5 is a diagram illustrating a pattern image size in a similarity calculation process.
FIG. 6 is a flowchart illustrating a pattern reading process performed using similarity data for all pattern images.
FIG. 7 is a diagram illustrating a mask and a reading area in pattern reading.
FIG. 8 is a diagram illustrating an example of an input image in which a part of the background of a pattern image has changed.
FIG. 9 is a diagram illustrating an example of an input image when the appearance of the pattern itself changes.
FIG. 10 is a block diagram illustrating a configuration of a pattern reading device according to the first embodiment of the present invention.
FIG. 11 is a diagram showing an example of an input image of the pattern reading apparatus of the first embodiment.
FIG. 12 is a block diagram illustrating a configuration of a similarity calculation unit of the pattern reading apparatus according to the first embodiment.
FIG. 13 is a diagram illustrating a function atan2 for evaluating a difference value in the pattern reading apparatus according to the first embodiment.
FIG. 14 is a diagram illustrating an example of a pattern image, an input image, a pattern density gradient direction, and an input density gradient direction in the pattern reading device of the first embodiment.
FIG. 15 is a diagram showing each example of a pattern density gradient, a direction difference, and a difference value evaluation in the pattern reading device of the first embodiment.
FIG. 16 is a diagram illustrating image conversion of the pattern reading apparatus according to the first embodiment.
FIG. 17 is a diagram illustrating an image change caused by an illumination direction when reading a mark.
FIG. 18 is a diagram for explaining an image change caused by an illumination direction when reading a mark, together with FIG. 17;
FIG. 19 is a diagram illustrating an example of a pattern image, an input image, a pattern density gradient direction, and an input density gradient direction in the pattern reading apparatus according to the second embodiment of the present invention.
FIG. 20 is a diagram showing each example of a pattern density gradient intensity, a direction difference, and a difference value evaluation in the pattern reading device of the second embodiment.
FIG. 21 is a diagram illustrating examples of a pattern image, an input image, a pattern density gradient direction, and an input density gradient direction in the pattern reading device according to the third embodiment of the present invention.
FIG. 22 is a diagram illustrating an example of a pattern density gradient intensity, a direction difference, and a difference value evaluation value in the pattern reading apparatus according to the third embodiment.
[Explanation of symbols]
1 camera 3 image memory 8 CPU
9 Memory 11 Pattern reading unit 18 Density gradient direction calculation unit 19 Density gradient intensity calculation unit 20 Similarity calculation unit 21 Weight sum calculation unit

Claims (5)

Density gradient direction calculation means for determining a density gradient direction Iθ at each pixel of the input image;
The density gradient direction I [theta] of the input image, a predetermined pattern each pixel of the density gradient direction M.theta of _p, with the _p, gradient obtaining a value to evaluate the differences in density gradient direction f _(Iθ, Mθ, _p) Direction evaluation value calculation means,
Weighting means for weighting the evaluation value with a density gradient strength M _{w, p} of a pattern image obtained from the predetermined pattern p ;
Adding means for adding the weighted evaluation value;
Means for calculating the similarity by dividing the weighted sum by the total weight; means for reading the pattern of the input image from the calculated similarities of all the patterns p;
A pattern reading device comprising: The pattern reading device according to claim 1, wherein the value obtained by evaluating the difference is a cosine of the difference in a density gradient direction. The pattern reading device according to claim 1, wherein a value obtained by evaluating the difference is a cosine of twice a difference in a density gradient direction. The value obtained by evaluating the difference is set to 1 if the difference in the density gradient direction is a value within a predetermined range including 0 °, set to -1 if the difference is within a predetermined range other than the above, and set to -1 if the difference is within a predetermined range. pattern reading apparatus according to claim 1, 0 if the value in the range. The value obtained by evaluating the difference is set to 1 if the difference in the concentration gradient direction is a value within a predetermined range including 0 ° and a value within a predetermined range including 180 °, and a value within the other predetermined range. and -1 if the pattern reading apparatus according to claim 1, 0 if the value in a predetermined range other than, respectively.

Images