Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4058883B2 - Optical information reader - Google Patents
[go: Go Back, main page]

JP4058883B2 - Optical information reader - Google Patents

Optical information reader Download PDF

Info

Publication number
JP4058883B2
JP4058883B2 JP2000130178A JP2000130178A JP4058883B2 JP 4058883 B2 JP4058883 B2 JP 4058883B2 JP 2000130178 A JP2000130178 A JP 2000130178A JP 2000130178 A JP2000130178 A JP 2000130178A JP 4058883 B2 JP4058883 B2 JP 4058883B2
Authority
JP
Japan
Prior art keywords
image
images
article
optical information
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000130178A
Other languages
Japanese (ja)
Other versions
JP2001312715A (en
Inventor
喜郎 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2000130178A priority Critical patent/JP4058883B2/en
Publication of JP2001312715A publication Critical patent/JP2001312715A/en
Application granted granted Critical
Publication of JP4058883B2 publication Critical patent/JP4058883B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、移動する物品に付された情報コードを読み取る技術に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
従来、バーコード、2次元コードなどの情報コードを光学的に読み取る手法として、LEDなどの発光手段が光学情報読取用の光を光学情報記録面へ出射し、受光素子であるフォトセンサ等を配列したCCDセンサを用いてその反射光から情報コードを画像として装置内に取り込んでデコードする手法が知られている。
【0003】
この種の光学情報読取装置の中には、移動中の情報コード、例えばベルトコンベアによって搬送される物品に付された情報コードを読み取る装置もあった。この場合、ベルトコンベアなど搬送装置の速度を考慮し、物品に付された情報コードがちょうどCCDセンサの視野に入るタイミングで、光学情報読取用の光を出射しCCDセンサを露光し情報コードを画像として取り込んでいた。
【0004】
しかし、ベルトコンベアなど搬送装置の速度のみを考慮しても、物品に付される情報コードの位置が物品毎にずれている場合、取込タイミングにおいて情報コードがCCDセンサの視野からはみ出してしまい、取り込まれた画像中に情報コード領域の一部あるいは全部が入らないという状況が生じる。
【0005】
このような情報コードの位置ズレに対応する手法として従来より、複数枚の画像を取り込んでデコードすることが提案されている。その場合、物品が搬送装置の所定位置に来たことを検知する検知手段からの信号に基づき、物品の搬送位置を把握して複数枚の画像を取り込んでいる。
【0006】
ところが、この従来の構成においては、次に示すような制約が生じてしまう。それは、画像取込部(画像取込手段)と物品検知部(検知手段)との配置関係である。つまり、従来は物品が所定位置まで来たことを検知し、その検知タイミングに基づいて画像を取り込むようにしていたため、必ず物品検知部が画像取込部よりも搬送方向の手前側、すなわち画像の取り込みに先立って物品が検知できるような位置に配置されていた。情報コードの位置にズレが生じる場合、物品検知部が手前にないと、物品が検知された時でCCDセンサの視野を情報コードが既に通過しているという事態が起こり得るためである。このような配置関係の制約は装置のコンパクト化を阻害する原因となる。
【0007】
本発明は、物品に付される情報コードの位置にズレが生じる可能性がある場合にも、その情報コードを取り込んでデコードでき、さらに、画像取込部と物品検知部との配置関係の制約をなくした光学情報読取装置を提供することを目的とする。
【0008】
【課題を解決するための手段及び発明の効果】
請求項1に記載の光学情報読取装置では、複数枚の画像として物品の光学情報記録面を取り込む。これは画像取込手段が、所定の時間間隔で繰り返し画像を取り込むことによって実現される。なお、画像取込手段は例えばCCDセンサを用いて構成することが考えられ、CCDセンサの視野が1枚の画像の領域となる。この場合、連続する2枚の画像に光学情報記録面の一部が重複して記録されても構わない。
【0009】
このようにして取り込まれた画像は、画像記憶制御手段によって画像メモリに記憶される。このとき、画像記憶制御手段は、時間的に新しい第1の所定枚数の画像が画像メモリに記憶されるようにする。例えば6枚の画像が記憶される構成では、最新の画像を6枚の中の最も古い画像に上書きするという具合である。
【0010】
そして、検知手段は、物品が搬送路の所定位置に来たことを検知する。この検手段を、光学情報の読み取りを行う構成が配置される筐体内に設ける必要は必ずしもない。この検知手段による物品検知時点に基づき、処理実行手段が、画像メモリに記憶された画像に対してデコード処理を施す。デコード処理は、画像に含まれる情報コードをデコードするための処理である。
具体的には、処理実行手段は、物品検知時点から所定時間経過後に画像取込手段にて取り込まれた画像を基準画像とし、基準画像および基準画像の前後の画像を含む、第1の所定枚数より少ない第2の所定枚数の画像を画像メモリより読み出し、情報コードが有する位置決め用シンボルを規定数検出することにより、読み出した画像から情報コードの位置を特定し、特定した情報コードにデコード処理を施す。例えば情報コードが正常位置に付されていれば入るであろう画像を基準画像とし、情報コードのズレる可能性に合わせ、基準画像の前後それぞれ何枚という具合に特定する。
【0011】
従来、画像を適切なタイミングで取り込もうという発想の下に物品を先に検知するという構成が提案され、さらに、情報コードの位置ズレを考慮して複数枚の画像を取り込むという発想に至った。しかし、複数枚の画像を取り込むという思想を前提とした場合、何も最初に物品の検知を行う必要なない。所定のタイミングで取り込まれる画像を物品検知時点に基づくタイミングでデコードできればよいためである。
【0012】
本発明では、第1の所定枚数の画像を所定のタイミングで取り込むようにし、物品検知時点に基づいて画像メモリの画像にデコード処理を施す。したがって、画像メモリに取り込まれる画像枚数を多くすればするほど、物品検知時点の制限がなくなる。つまり、画像メモリに取り込む画像枚数を増やせば、物品検知時点をいくらでも遅らせることができるのである。
【0013】
その結果、物品に付される情報コードの位置がズレている場合にも、その情報コードを取り込んでデコードでき、さらに、画像取込部と物品検知部との配置関係の制約をなくすことができる。
なお、画像メモリに例えば6枚の画像が記憶される構成において、実際の物品の光学情報記録面が5枚の画像に収まるような場合、6枚の画像全てをデコード対象とする必要はない。
また、請求項2に示すように、処理実行手段は、位置決め用シンボルの規定数検出が複数の画像にまたがる場合は、複数の画像を合成し、当該合成画像に対してデコード処理を施すようにすればよい。これによって、情報コードが確実にデコードされる
【0017】
【発明の実施の形態】
以下、本発明を具体化した一実施例を図面を参照して説明する。
図1は実施例の2次元コード読取装置10を含むシステム構成の斜視図であり、図2は、図1中に記号Kで示す方向から図1を見た概略透視図である。
【0018】
2次元コード読取装置10は、定置式の装置であり、ベルトコンベア70によって搬送される物品71の上面(以下「光学情報記録面71b」という。)に印刷されたQRコードを読み取る。2次元コード読取装置10は、ベルトコンベア70側方の図示しない支柱に固定され、ベルトコンベア70の上方に配置されている。
【0019】
2次元コード読取装置10は、物品検知部12を内蔵している。最初に、この物品検知部12について説明する。
物品検知部12は、下方へ光を出射しこの反射光を検知する。そして、反射光が検知されたか否かを示す信号を出力する。物品検知部12からの光は、ベルトコンベア70と光学情報記録面71bとの色の違いによって、ベルトコンベア70に照射された場合は吸収され、一方、光学情報記録面71bに照射された場合は反射される。本実施例では、物品71がベルトコンベア70の所定位置まで来ると、具体的には物品71の先端面71aが図2中に記号αで示した位置(以下、単に「位置α」という。)まで来ると、反射光が検知されるものとする。
【0020】
また、2次元コード読取装置10は、光学情報を読み取るための構成を備えている。図2中には物品検知部12との配置関係を示すように画像取込部13のみを示したが、さらに、図3(a)に示すように、データ処理部11、2値化部14、同期パルス発生部15及びリングバッファ16を備えている。
【0021】
データ処理部11は、CPU、ROM、RAM、I/O等を備えたコンピュータシステムとして構成され、ROMに記憶されているプログラムに従って後述するデコード処理を実行する。上述した物品検知部12からの信号は、このデータ処理部11に入力されるようになっている。
【0022】
画像取込部13は、図示しない照明用LEDやCCDセンサを備えており、照明用LEDによって照明用の赤色光を照射し、CCDセンサによって反射光を受光し、所定領域を撮像してその2次元画像を水平方向の走査線信号として出力する。この走査線信号は増幅されて2値化部14に出力される。
【0023】
2値化部14は、増幅された走査線信号を、閾値に基づいて2値化し、リングバッファ16に出力する。
同期パルス発生部15は、画像取り込み動作のための同期パルスを出力する。画像取込部13は、この同期パルスに基づき所定時間間隔で繰り返し画像を取り込む。また、リングバッファ16も、この同期パルスに基づいて、2値化部14からの画像データを記憶する。
【0024】
このリングバッファ16は、図3(b)に示すように、クロック発生部16a、画素カウンタ16b、画像カウンタ16c、カウンタバッファ16d、マルチプレクサ16e、画像メモリ16f、及びバッファ16gを備えている。
クロック発生部16aは、上述した同期パルス発生部15からの同期パルスに基づき、2値化部14から出力される画像データを画素単位でカウントするためのクロックを、画素カウンタ16bへ出力する。
【0025】
画素カウンタ16bは、クロック発生部16aからのクロック信号をカウントする。この画素カウンタ16bは、画像取込部13のCCDセンサによって撮像される所定領域の画像を画素単位でカウントするものであり、所定領域の画像が横m個、縦n個の画素で構成されていれば、「1」〜「m×n」までを繰り返しカウントする。そして、このカウント値をマルチプレクサ16eに出力する。また、カウンタ値をリセットするタイミングで、リセット信号を画像カウンタ16cに出力する。
【0026】
画像カウンタ16cは、画像番号をカウントするものであり、画素カウンタ16bからのリセット信号に基づき、「1」〜「6」までを繰り返しカウントする。そして、そのカウント値を、カウンタバッファ16d及びマルチプレクサ16eへ出力する。
【0027】
カウンタバッファ16dは画像カウンタ16cからのカウント値を保持する。このカウント値(画像番号)は、データ処理部11によって読み出し可能になっている。これによって、データ処理部11は、画像メモリ16fに取り込まれつつある画像の画像番号を知ることができる。
【0028】
マルチプレクサ16eには、上述したように、画素カウンタ16bのカウント値と画像カウンタ16cのカウント値とが入力される。マルチプレクサ16eは、これらカウント値に基づき、画像メモリ16fのアドレスを発生する。そして、2値化部14からの画像データは、バッファ16gを介し、マルチプレクサ16eによって算出された画像メモリ16fのアドレスに記憶される。したがって、画像メモリ16fは、画像番号1〜6の6枚の画像が記憶できるメモリ装置として構成されている。以下、画像番号xの画像を「画像x」と記述する。
【0029】
また、画像メモリ16fに記憶された画像データは、データ処理部11により、バッファ16gを介して読み出せるようになっている。このときデータ処理部11は、マルチプレクサ16eに対して読み出し指示を出力すると共に画像番号を指定する。
【0030】
次に、このように構成された本実施例の2次元コード読取装置10の動作を説明する。
本実施例の2次元コード読取装置10では、画像取込部13によって所定時間間隔で繰り返し画像が取り込まれ、上述したリングバッファ16の画像メモリ16fに記憶される。この画像メモリ16fを概念的に示すのが、図4(a)である。
【0031】
ある時点で取り込まれた画像を画像1とすると、次に取り込まれた画像が画像2として記憶され、同様に、画像3→画像4→画像5→画像6と記憶される。そして、画像6の次に取り込まれた画像は、再び画像1として記憶される。これによって、画像メモリ16fには、時間的に新しい6枚の画像が記憶されることになる。
【0032】
本実施例では、画像取込部13によって物品71の光学情報記録面71bが複数枚の画像として取り込まれるのであるが、画像1〜6と光学情報記録面71bとの関係を例示したのが、図4(b)である。図4(b)では、画像5,6,1,2,3で光学情報記録面71bが撮像されている。本実施例では、光学情報記録面71bの長手方向の長さと撮像間隔との関係から、多くても5枚の画像として光学情報記録面71bが記録されるようにしている。
【0033】
このとき、データ処理部11は、これら5枚の画像を物品検知部12からの信号に基づいて特定し、これら5枚の画像に対しデコード処理を施し、光学情報記録面71bに記録されたQRコードをデコードする。そこで次に、データ処理部11によって実行されるデコード処理を、図5のフローチャートに基づいて説明する。
【0034】
まず最初のステップ(以下、ステップを単に記号Sで示す。)100において物品を検出したか否かを判断する。この処理は、物品検知部12からの信号に基づき、物品71の先端面71aが図2中の位置αに来たことを判断するものである。ここで物品を検知した場合(S100:YES)、S110へ移行する。一方、物品を検知しないうちは(S100:NO)、この判断処理を繰り返す。
【0035】
S110では、所定時間が経過したか否かを判断する。この処理は、ベルトコンベア70の速度がほぼ一定であると仮定し、図2に記号βで示す位置(以下「位置β」という。)まで物品71の先端面71aが移動したか否かを判断するものである。なお、光学系との位置関係から、先端面71aが位置βまで移動すると、光学情報記録面71bのほぼ中央部が撮像されるようになっている。S110で所定時間が経過したと判断されると(S110:YES)、S120へ移行する。一方、所定時間が経過していないうちは(S110:NO)、この判断処理を繰り返す。
【0036】
S120では、光学情報記録面71bの中央部の画像である基準画像を画像番号にて特定する。これは、リングバッファ16のカウンタバッファ16dの値(画像番号)を取得する処理である。
続くS130では、カウンタバッファ16dの値を読み込むことによって、必要枚数の画像を取り込んだか否かを判断する。この処理は、基準画像の後に取り込まれる画像の中で、光学情報記録面71bが記録される可能性のある画像が全て取り込まれたか否かを判断するものである。本実施例では、基準画像及び、基準画像の前後2枚ずつの画像をデコード対象とするため、基準画像が取り込まれ、さらに2枚の画像が取り込まれた時点で肯定判断する。ここで必要枚数の画像が取り込まれたと判断された場合(S130:YES)、S140へ移行する。一方、必要枚数の画像が取り込まれないうちは(S130:NO)、この判断処理を繰り返す。
【0037】
S140では、画像の記憶を停止させる。この処理は、マルチプレクサ16eに読み出し指示を出力するものである。これによってマルチプレクサ16eは読み出し動作に切り換わり、2値化部14からの画像データが画像メモリ16fに記憶されない状態となる。
【0038】
そして続くS150にて、マルチプレクサ16eに画像番号を出力し、デコード処理の対象となる画像を読み出す。本実施例では、上述したように、基準画像の前後2枚ずつの画像を読み出す。
次のS160では、読み出した画像に対してデコード処理を施す。ここでは、周知のように、画像中のQRコードの位置を特定してデコードを行う。このとき、QRコードが2枚の画像にまたがって記憶されているような場合には、それら2枚の画像を合成してデコードする。
【0039】
QRコードの位置は、QRコードの備える位置決め用シンボルに基づいて特定できる。簡単に説明すると、図6に示すようにQRコードは、3つの位置決め用シンボルA,C,Dを有している。QRコードを読み取る際、まず最初にこの3つの位置決め用シンボルA,C,Dを検出する。この位置決め用シンボルA,C,Dは、明暗の比率が走査方向によらず特定の比率、1(暗):1(明):3(暗):1(明):1(暗)となるパターンである。したがって、画像データを走査しこの特定の比率になったことを判断して、位置決め用シンボルA,C,Dを検出することができる。なお、QRコードは、この位置決め用シンボルA,C,Dの間に、明、暗のセルを交互に配列したタイミングセルE,Fを有するため、さらにこのタイミングセルの中心位置から他のセルの中心位置が求められる。
【0040】
以上のようなデコード処理を、光学情報記録面71bが図4(b)に示すように撮像される場合で具体的に説明する。このときは、図4(a)に示すように、画像6を取り込んでいる途中で物品が検知される(S100)。すると、所定時間の経過を判断し(S110)、カウンタバッファ16dの値に基づき、基準画像を特定する(S120)。この例では、画像1が基準画像となる。その後、2枚の画像2及び画像3が取り込まれると、すなわちカウンタバッファの値が「4」になると、画像の記憶を停止する(S140)。そして、基準画像である画像1を含め、前後それぞれ2枚ずつの画像、すなわち画像5,6,1,2,3を読み出し(S150)、QRコードのデコードを行う(S160)。QRコードのデコードは、まずQRコードの位置を位置決め用シンボルから特定する。このとき、QRコード全体が含まれる画像があれば(記号Bにあれば画像1、記号Cにあれば画像2)、その画像を用いてQRコードをデコードする。一方、記号Aで示すように2枚の画像にQRコードがまたがっていれば、2枚の画像(記号Aにあれば画像5及び6)を合成して、QRコードをデコードする。
【0041】
次に、本実施例の2次元コード読取装置10の発揮する効果を説明する。
本実施例の2次元コード読取装置10では、画像取込部13にて一定時間間隔で画像を取り込んでリングバッファ16の画像メモリ16fに記憶し、物品検知時点に基づいて(図5中のS100)、画像メモリ16fの画像を読み出し(S150)、QRコードをデコードする(S160)。したがって、物品に付されるQRコードの位置がズレている場合にも、そのQRコードを取り込んでデコードでき、さらに、画像取込部13と物品検知部12との配置関係の制約をなくすことができる。
【0042】
具体的には、デコード処理におけるS110の所定時間(所定時間は「0」としてもよい)と、S130の必要枚数を変更すれば、図4(b)に示すように光学情報記録面71bが撮像される場合、図4(a)における画像5の取込開始時点から、画像4の取込終了時点までの間に物品を検知できればよい。画像5,6,1,2,3を読み出せるからである。したがって、その範囲で、物品検知部12を移動させることができ、制約をなくすことができる。
【0043】
したがって、取り込む画像の枚数を多くすればするほど、物品検知部12と画像取込部13との配置関係の制約がなくなる。
従来は、物品を検知して、その後、画像の取り込みを行っていたため、CCDセンサの視野よりも手前側に必ず物品検知部12を配置する必要があり、装置のコンパクト化を阻害していた。これに対して実施例の2次元コード読取装置10では、画像取込部13のCCDセンサの視野よりも後ろで物品を検知している。
【0044】
また、本実施例では、6枚の画像をリングバッファ16の画像メモリ16fに取り込むが、光学情報記録面71bを撮像した画像のみを読み出してデコード対象とする。つまり、QRコードが記録されている可能性のある画像のみを読み出してデコード対象としている。したがって、画像メモリに取り込む画像枚数にデコード処理時間が左右されることがない。
【0045】
さらにまた、本実施例では、必要枚数が取り込まれると(図5中のS130:YES)、画像の記憶を停止する(S140)。これによって、デコード(S160)に時間を要しても、画像メモリ16fに画像が上書きされることがない。その結果、データ処理部11の性能を画像取込部13の取り込み間隔に合わせて向上させる必要がなく、本2次元コード読取装置10が安価になる。
【0046】
また、本実施例では、QRコードの位置を求め、QRコートが2枚の画像にまたがって撮像されていれば、それら画像を合成してQRコードをデコードする。これによって、QRコードが確実にデコードできる。
なお、本実施例における画像取込部13が「画像取込手段」に相当し、リングバッファ16が「画像記憶制御手段」に相当し、物品検知部12が「検知手段」に相当し、データ処理部11が「処理実行手段」に相当する。そして、図5に示すデコード処理が処理実行手段としての処理に相当する。
【0047】
以上、本発明はこのような実施例に何等限定されるものではなく、本発明の主旨を逸脱しない範囲において種々なる形態で実施し得る。
例えば上記実施例は、QRコードを読み取る装置であったが、QRコード以外の2次元コードを読み取る装置としてもよい。また、2次元コードには限られず、例えばバーコードなどの1次元コード、文字コードを読み取る装置にも適用できることは言うまでもない。
【図面の簡単な説明】
【図1】実施例の2次元コード読取装置を含むシステム全体を示す斜視図である。
【図2】図1中に記号Kで示す方向から図1を見た概略透視図である。
【図3】(a)は2次元コード読取装置の構成を示すブロック図であり、(b)はリングバッファの構成を示すブロック図である。
【図4】(a)は画像メモリの概念図であり、(b)は光学情報記録面が複数枚の画像として撮像される様子を例示した説明図である。
【図5】デコード処理を示すフローチャートである。
【図6】QRコードを示す説明図である。
【符号の説明】
10…2次元コード読取装置 11…データ処理部
12…物品検知部 13…画像取込部
14…2値化部 15…同期パルス発生部
16…リングバッファ 16a…クロック発生部
16b…画素カウンタ 16c…画像カウンタ
16d…カウンタバッファ 16e…マルチプレクサ
16f…画像メモリ 16g…バッファ
70…ベルトコンベア 71…物品
71a…先端面 71b…光学情報記録面
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for reading an information code attached to a moving article.
[0002]
[Prior art and problems to be solved by the invention]
Conventionally, as a method for optically reading an information code such as a bar code or a two-dimensional code, a light emitting means such as an LED emits light for reading optical information to an optical information recording surface, and a photosensor as a light receiving element is arranged. There has been known a technique in which an information code is taken into an apparatus as an image from reflected light using the CCD sensor and decoded.
[0003]
Some optical information readers of this type read information codes that are in motion, for example, information codes attached to articles conveyed by a belt conveyor. In this case, considering the speed of the conveyor such as a belt conveyor, the information code attached to the article is just at the timing of entering the field of view of the CCD sensor, the light for reading optical information is emitted, the CCD sensor is exposed, and the information code is imaged. It was taken in as.
[0004]
However, even if only the speed of the conveying device such as a belt conveyor is considered, if the position of the information code attached to the article is shifted for each article, the information code protrudes from the field of view of the CCD sensor at the take-in timing, A situation occurs in which part or all of the information code area does not enter the captured image.
[0005]
Conventionally, it has been proposed that a plurality of images be captured and decoded as a method corresponding to such a positional shift of the information code. In that case, a plurality of images are captured by grasping the conveyance position of the article based on a signal from a detection unit that detects that the article has arrived at a predetermined position of the conveyance apparatus.
[0006]
However, this conventional configuration has the following restrictions. That is the arrangement relationship between the image capture unit (image capture unit) and the article detection unit (detection unit). In other words, in the past, it was detected that an article had reached a predetermined position, and an image was captured based on the detection timing. Therefore, the article detection unit must always be in front of the image capture unit in the transport direction, that is, the image Prior to taking in, the article was placed at a position where it could be detected. This is because when the position of the information code is displaced, if the article detection unit is not in front, the information code may already pass through the field of view of the CCD sensor when the article is detected. Such restrictions on the arrangement relationship cause a reduction in the size of the apparatus.
[0007]
In the present invention, even when there is a possibility that the position of the information code attached to the article may be shifted, the information code can be taken in and decoded, and the arrangement relationship between the image taking-in unit and the article detecting unit is restricted. An object of the present invention is to provide an optical information reading apparatus that eliminates the above-mentioned problem.
[0008]
[Means for Solving the Problems and Effects of the Invention]
In the optical information reading apparatus according to the first aspect, the optical information recording surface of the article is captured as a plurality of images. This is realized by the image capturing means repeatedly capturing images at predetermined time intervals. Note that it is conceivable that the image capturing means is constituted by using, for example, a CCD sensor, and the field of view of the CCD sensor becomes an area of one image. In this case, a part of the optical information recording surface may be recorded in duplicate on two consecutive images.
[0009]
The image captured in this way is stored in the image memory by the image storage control means. At this time, the image storage control means causes the first predetermined number of images new in time to be stored in the image memory. For example, in a configuration in which six images are stored, the latest image is overwritten on the oldest image among the six images.
[0010]
Then, the detecting means detects that the article has arrived at a predetermined position on the conveyance path. The detection knowledge means, we need not necessarily be provided in a housing configured for reading optical information is arranged. Based on the article detection time by the detection means, the process execution means performs a decoding process on the image stored in the image memory. The decoding process is a process for decoding an information code included in an image.
Specifically, the process execution means uses the first predetermined number of images including the reference image and images before and after the reference image, with the image captured by the image capture means after a predetermined time has elapsed from the time of article detection as the reference image. A smaller second predetermined number of images are read from the image memory, and a predetermined number of positioning symbols included in the information code are detected to identify the position of the information code from the read image, and the specified information code is decoded. Apply. For example, an image that will be entered if the information code is attached to the normal position is set as a reference image, and the number of images before and after the reference image is specified in accordance with the possibility that the information code is shifted.
[0011]
Conventionally, a configuration has been proposed in which an article is first detected based on the idea of capturing an image at an appropriate timing, and the idea of capturing a plurality of images in consideration of positional deviation of information codes has been reached. However, if the idea of capturing a plurality of images is assumed, it is not necessary to detect an article first. This is because an image captured at a predetermined timing may be decoded at a timing based on the article detection time.
[0012]
In the present invention, the first predetermined number of images are captured at a predetermined timing, and the image memory image is decoded based on the article detection time point. Therefore, as the number of images taken into the image memory is increased, there is no restriction on the article detection time point. That is, if the number of images taken into the image memory is increased, the article detection time can be delayed as much as possible.
[0013]
As a result, even when the position of the information code attached to the article is misaligned, the information code can be taken in and decoded, and further, the restriction on the arrangement relationship between the image fetching section and the article detecting section can be eliminated. .
For example, in a configuration in which six images are stored in the image memory, when the optical information recording surface of the actual article fits in five images, it is not necessary to set all six images as decoding targets.
According to a second aspect of the present invention, when the prescribed number of positioning symbols is detected over a plurality of images , the processing execution unit synthesizes the plurality of images and performs a decoding process on the combined image. do it. This ensures that the information code is decoded .
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view of a system configuration including a two-dimensional code reader 10 according to an embodiment. FIG. 2 is a schematic perspective view of FIG. 1 viewed from a direction indicated by a symbol K in FIG.
[0018]
The two-dimensional code reader 10 is a stationary device, and reads a QR code printed on the upper surface (hereinafter referred to as “optical information recording surface 71 b”) of an article 71 conveyed by the belt conveyor 70. The two-dimensional code reader 10 is fixed to a post (not shown) on the side of the belt conveyor 70 and is disposed above the belt conveyor 70.
[0019]
The two-dimensional code reading device 10 includes an article detection unit 12. First, the article detection unit 12 will be described.
The article detection unit 12 emits light downward and detects the reflected light. Then, a signal indicating whether reflected light is detected is output. The light from the article detection unit 12 is absorbed when irradiated to the belt conveyor 70 due to the difference in color between the belt conveyor 70 and the optical information recording surface 71b, whereas when light is irradiated to the optical information recording surface 71b. Reflected. In this embodiment, when the article 71 reaches a predetermined position on the belt conveyor 70, specifically, the front end surface 71a of the article 71 is a position indicated by symbol α in FIG. 2 (hereinafter simply referred to as “position α”). It is assumed that reflected light is detected when it reaches.
[0020]
In addition, the two-dimensional code reader 10 has a configuration for reading optical information. In FIG. 2, only the image capturing unit 13 is shown so as to show the arrangement relationship with the article detection unit 12, but as shown in FIG. 3A, the data processing unit 11 and the binarizing unit 14 are also shown. , A synchronization pulse generator 15 and a ring buffer 16 are provided.
[0021]
The data processing unit 11 is configured as a computer system including a CPU, a ROM, a RAM, an I / O, and the like, and executes a later-described decoding process according to a program stored in the ROM. The signal from the article detection unit 12 described above is input to the data processing unit 11.
[0022]
The image capturing unit 13 includes an illumination LED and a CCD sensor (not shown). The illumination LED emits red light for illumination, the reflected light is received by the CCD sensor, and a predetermined area is imaged. A dimensional image is output as a horizontal scanning line signal. The scanning line signal is amplified and output to the binarization unit 14.
[0023]
The binarization unit 14 binarizes the amplified scanning line signal based on the threshold value and outputs the binarized signal to the ring buffer 16.
The synchronization pulse generator 15 outputs a synchronization pulse for the image capturing operation. The image capturing unit 13 repeatedly captures images at predetermined time intervals based on the synchronization pulse. The ring buffer 16 also stores the image data from the binarization unit 14 based on this synchronization pulse.
[0024]
As shown in FIG. 3B, the ring buffer 16 includes a clock generator 16a, a pixel counter 16b, an image counter 16c, a counter buffer 16d, a multiplexer 16e, an image memory 16f, and a buffer 16g.
The clock generation unit 16a outputs a clock for counting the image data output from the binarization unit 14 on a pixel basis to the pixel counter 16b based on the synchronization pulse from the synchronization pulse generation unit 15 described above.
[0025]
The pixel counter 16b counts the clock signal from the clock generator 16a. The pixel counter 16b counts an image of a predetermined area captured by the CCD sensor of the image capturing unit 13 in units of pixels, and the image of the predetermined area is composed of m horizontal pixels and n vertical pixels. Then, “1” to “m × n” are repeatedly counted. The count value is output to the multiplexer 16e. Further, a reset signal is output to the image counter 16c at the timing of resetting the counter value.
[0026]
The image counter 16c counts image numbers, and repeatedly counts “1” to “6” based on a reset signal from the pixel counter 16b. Then, the count value is output to the counter buffer 16d and the multiplexer 16e.
[0027]
The counter buffer 16d holds the count value from the image counter 16c. This count value (image number) can be read out by the data processing unit 11. Thus, the data processing unit 11 can know the image number of the image being captured in the image memory 16f.
[0028]
As described above, the multiplexer 16e receives the count value of the pixel counter 16b and the count value of the image counter 16c. The multiplexer 16e generates an address of the image memory 16f based on these count values. The image data from the binarization unit 14 is stored in the address of the image memory 16f calculated by the multiplexer 16e via the buffer 16g. Therefore, the image memory 16f is configured as a memory device capable of storing six images of image numbers 1 to 6. Hereinafter, the image of the image number x is described as “image x”.
[0029]
The image data stored in the image memory 16f can be read by the data processing unit 11 via the buffer 16g. At this time, the data processing unit 11 outputs a read instruction to the multiplexer 16e and designates an image number.
[0030]
Next, the operation of the two-dimensional code reader 10 of this embodiment configured as described above will be described.
In the two-dimensional code reader 10 of this embodiment, images are repeatedly captured at predetermined time intervals by the image capturing unit 13 and stored in the image memory 16f of the ring buffer 16 described above. FIG. 4A conceptually shows the image memory 16f.
[0031]
Assuming that an image captured at a certain point in time is image 1, the next captured image is stored as image 2, and similarly, image 3 → image 4 → image 5 → image 6 is stored. The image captured next to the image 6 is stored again as the image 1. As a result, six images that are new in time are stored in the image memory 16f.
[0032]
In this embodiment, the optical information recording surface 71b of the article 71 is captured as a plurality of images by the image capturing unit 13, but the relationship between the images 1 to 6 and the optical information recording surface 71b is exemplified. It is FIG.4 (b). In FIG. 4B, the optical information recording surface 71b is imaged with images 5, 6, 1, 2, and 3. In the present embodiment, the optical information recording surface 71b is recorded as at most five images from the relationship between the length in the longitudinal direction of the optical information recording surface 71b and the imaging interval.
[0033]
At this time, the data processing unit 11 specifies these five images based on the signal from the article detection unit 12, performs decoding processing on these five images, and records the QR recorded on the optical information recording surface 71b. Decode the code. Next, the decoding process executed by the data processing unit 11 will be described based on the flowchart of FIG.
[0034]
First, it is determined whether or not an article is detected in the first step (hereinafter, the step is simply indicated by symbol S) 100. This process is based on the signal from the article detection unit 12 to determine that the front end surface 71a of the article 71 has reached the position α in FIG. If an article is detected here (S100: YES), the process proceeds to S110. On the other hand, this determination process is repeated until the article is not detected (S100: NO).
[0035]
In S110, it is determined whether or not a predetermined time has elapsed. In this process, it is assumed that the speed of the belt conveyor 70 is substantially constant, and it is determined whether or not the front end surface 71a of the article 71 has moved to a position indicated by symbol β in FIG. 2 (hereinafter referred to as “position β”). To do. From the positional relationship with the optical system, when the front end surface 71a moves to the position β, an image of the substantially central portion of the optical information recording surface 71b is taken. If it is determined in S110 that the predetermined time has elapsed (S110: YES), the process proceeds to S120. On the other hand, as long as the predetermined time has not elapsed (S110: NO), this determination process is repeated.
[0036]
In S120, a reference image, which is an image at the center of the optical information recording surface 71b, is specified by an image number. This is a process of acquiring the value (image number) of the counter buffer 16d of the ring buffer 16.
In subsequent S130, it is determined whether the necessary number of images have been captured by reading the value of the counter buffer 16d. In this process, it is determined whether or not all the images that may be recorded on the optical information recording surface 71b are captured among the images captured after the reference image. In this embodiment, since the reference image and two images before and after the reference image are to be decoded, the determination is affirmed when the reference image is captured and two more images are captured. If it is determined that the necessary number of images have been captured (S130: YES), the process proceeds to S140. On the other hand, this determination process is repeated until the required number of images is not captured (S130: NO).
[0037]
In S140, image storage is stopped. This process outputs a read instruction to the multiplexer 16e. As a result, the multiplexer 16e switches to the read operation, and the image data from the binarization unit 14 is not stored in the image memory 16f.
[0038]
In subsequent S150, the image number is output to the multiplexer 16e, and the image to be decoded is read out. In the present embodiment, as described above, two images before and after the reference image are read out.
In the next S160, decoding processing is performed on the read image. Here, as is well known, decoding is performed by specifying the position of the QR code in the image. At this time, if the QR code is stored across two images, the two images are synthesized and decoded.
[0039]
The position of the QR code can be specified based on the positioning symbol provided in the QR code. In brief, as shown in FIG. 6, the QR code has three positioning symbols A, C, and D. When reading the QR code, first, the three positioning symbols A, C, and D are detected. The positioning symbols A, C, and D have a specific ratio of 1 (dark): 1 (bright): 3 (dark): 1 (bright): 1 (dark) regardless of the scanning direction. It is a pattern. Therefore, it is possible to detect the positioning symbols A, C, and D by scanning the image data and determining that the specific ratio has been reached. Since the QR code has timing cells E and F in which bright and dark cells are alternately arranged between the positioning symbols A, C, and D, the QR code further includes other cells from the center position of the timing cell. The center position is determined.
[0040]
The decoding process as described above will be specifically described in the case where the optical information recording surface 71b is imaged as shown in FIG. At this time, as shown in FIG. 4A, the article is detected while the image 6 is being captured (S100). Then, the elapse of a predetermined time is determined (S110), and the reference image is specified based on the value of the counter buffer 16d (S120). In this example, image 1 is the reference image. Thereafter, when the two images 2 and 3 are captured, that is, when the value of the counter buffer becomes “4”, image storage is stopped (S140). Then, two images before and after the reference image, ie, image 1, ie, images 5, 6, 1, 2, and 3, are read (S150), and QR code decoding is performed (S160). To decode the QR code, first, the position of the QR code is specified from the positioning symbol. At this time, if there is an image including the entire QR code (image 1 if it is in symbol B, image 2 if it is in symbol C), the QR code is decoded using that image. On the other hand, as indicated by symbol A, if the QR code spans two images, the two images (images 5 and 6 if symbol A) are combined and the QR code is decoded.
[0041]
Next, effects exhibited by the two-dimensional code reader 10 of the present embodiment will be described.
In the two-dimensional code reader 10 of this embodiment, the image capturing unit 13 captures images at regular time intervals, stores them in the image memory 16f of the ring buffer 16, and based on the article detection time (S100 in FIG. 5). ), The image in the image memory 16f is read (S150), and the QR code is decoded (S160). Therefore, even when the position of the QR code attached to the article is misaligned, the QR code can be taken in and decoded, and further, the restriction on the arrangement relationship between the image fetching unit 13 and the article detecting unit 12 can be eliminated. it can.
[0042]
Specifically, if the predetermined time of S110 in the decoding process (the predetermined time may be “0”) and the required number of S130 are changed, the optical information recording surface 71b is imaged as shown in FIG. In this case, it is only necessary that the article can be detected between the time when the image 5 in FIG. 4A starts to be captured and the time when the image 4 is captured. This is because the images 5, 6, 1, 2, and 3 can be read out. Therefore, the article detection unit 12 can be moved within the range, and the restriction can be eliminated.
[0043]
Therefore, as the number of images to be captured is increased, there is no restriction on the arrangement relationship between the article detection unit 12 and the image capture unit 13.
Conventionally, since an article is detected and then an image is captured, it is necessary to always place the article detection unit 12 in front of the field of view of the CCD sensor, which hinders downsizing of the apparatus. On the other hand, in the two-dimensional code reader 10 of the embodiment, the article is detected behind the field of view of the CCD sensor of the image capturing unit 13.
[0044]
Further, in this embodiment, six images are taken into the image memory 16f of the ring buffer 16, but only an image obtained by imaging the optical information recording surface 71b is read out as a decoding target. In other words, only images that may have QR codes recorded are read out and subjected to decoding. Therefore, the decoding processing time does not depend on the number of images fetched into the image memory.
[0045]
Furthermore, in the present embodiment, when the required number of images is captured (S130: YES in FIG. 5), the image storage is stopped (S140). As a result, even if time is required for decoding (S160), the image is not overwritten in the image memory 16f. As a result, it is not necessary to improve the performance of the data processing unit 11 in accordance with the capturing interval of the image capturing unit 13, and the present two-dimensional code reading device 10 becomes inexpensive.
[0046]
In the present embodiment, the position of the QR code is obtained, and if the QR code is captured across two images, the images are combined and the QR code is decoded. Thereby, the QR code can be reliably decoded.
In the present embodiment, the image capturing unit 13 corresponds to an “image capturing unit”, the ring buffer 16 corresponds to an “image storage control unit”, the article detection unit 12 corresponds to a “detecting unit”, and data The processing unit 11 corresponds to “processing execution means”. The decoding processing shown in FIG. 5 corresponds to processing as processing execution means.
[0047]
As described above, the present invention is not limited to such embodiments, and can be implemented in various forms without departing from the spirit of the present invention.
For example, the above embodiment is an apparatus for reading a QR code, but may be an apparatus for reading a two-dimensional code other than the QR code. Needless to say, the present invention is not limited to a two-dimensional code, and can be applied to a device that reads a one-dimensional code such as a barcode or a character code.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an entire system including a two-dimensional code reader according to an embodiment.
FIG. 2 is a schematic perspective view of FIG. 1 viewed from a direction indicated by a symbol K in FIG.
FIG. 3A is a block diagram showing a configuration of a two-dimensional code reader, and FIG. 3B is a block diagram showing a configuration of a ring buffer.
4A is a conceptual diagram of an image memory, and FIG. 4B is an explanatory diagram illustrating a state in which an optical information recording surface is captured as a plurality of images.
FIG. 5 is a flowchart showing a decoding process.
FIG. 6 is an explanatory diagram showing a QR code.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Two-dimensional code reader 11 ... Data processing part 12 ... Article detection part 13 ... Image capture part 14 ... Binarization part 15 ... Synchronization pulse generation part 16 ... Ring buffer 16a ... Clock generation part 16b ... Pixel counter 16c ... Image counter 16d ... Counter buffer 16e ... Multiplexer 16f ... Image memory 16g ... Buffer 70 ... Belt conveyor 71 ... Article 71a ... Tip surface 71b ... Optical information recording surface

Claims (2)

搬送路を移動する物品からの反射光を受光して前記物品の光学情報記録面を複数枚の画像として取り込み、当該取り込んだ画像に基づき前記光学情報記録面に記録された情報コードをデコードすることによって情報を読み取る光学情報読取装置であって、
所定の時間間隔で繰り返し画像を取り込む画像取込手段と、
時間的に新しい第1の所定枚数の画像が画像メモリに記憶されるように、前記画像取込手段にて取り込まれる画像を前記画像メモリに記憶させる画像記憶制御手段と、
前記物品が前記搬送路の所定位置に来たことを検知する検知手段と、
該検知手段によって前記物品が前記所定位置に来たことが検知された物品検知時点に基づき、前記画像メモリに記憶された画像に対し、前記情報コードをデコードするためのデコード処理を施す処理実行手段と
を備え、前記処理実行手段は、
前記物品検知時点から所定時間経過後に前記画像取込手段にて取り込まれた画像を基準画像とし、
前記基準画像および前記基準画像の前後の画像を含む、前記第1の所定枚数より少ない第2の所定枚数の画像を前記画像メモリより読み出し、
前記情報コードが有する位置決め用シンボルを規定数検出することにより、前記読み出した画像から前記情報コードの位置を特定し、
前記特定した情報コードに前記デコード処理を施すことを特徴とする光学情報読取装置。
Receiving reflected light from an article moving on a conveyance path, capturing the optical information recording surface of the article as a plurality of images, and decoding an information code recorded on the optical information recording surface based on the captured images An optical information reader for reading information by:
Image capturing means for repeatedly capturing images at predetermined time intervals;
As images temporally new first predetermined number is stored in the image memory, an image storage control means for an image Ru is stored in the image memory to be captured by the image capturing means,
Detecting means for detecting that the article has arrived at a predetermined position on the conveyance path;
The said article by detecting means on the basis of article detection time of it is detected that comes to the predetermined position, the image stored in the image memory, processing execution means for performing a decoding process for decoding the information code and,
The process execution means includes
The image captured by the image capturing means after a predetermined time has elapsed from the article detection time as a reference image,
A second predetermined number of images less than the first predetermined number, including the reference image and images before and after the reference image, are read from the image memory;
By detecting a specified number of positioning symbols included in the information code, the position of the information code is specified from the read image,
An optical information reading apparatus that performs the decoding process on the specified information code .
請求項1に記載の光学情報読取装置において、
前記処理実行手段は、前記位置決め用シンボルの規定数検出が複数の画像にまたがる場合は、前記複数の画像を合成し、当該合成画像に対して前記デコード処理を施すこと
を特徴とする光学情報読取装置
The optical information reader according to claim 1.
The process execution means combines the plurality of images when the prescribed number of positioning symbols is detected over a plurality of images, and performs the decoding process on the combined images. Equipment .
JP2000130178A 2000-04-28 2000-04-28 Optical information reader Expired - Fee Related JP4058883B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000130178A JP4058883B2 (en) 2000-04-28 2000-04-28 Optical information reader

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000130178A JP4058883B2 (en) 2000-04-28 2000-04-28 Optical information reader

Publications (2)

Publication Number Publication Date
JP2001312715A JP2001312715A (en) 2001-11-09
JP4058883B2 true JP4058883B2 (en) 2008-03-12

Family

ID=18639327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000130178A Expired - Fee Related JP4058883B2 (en) 2000-04-28 2000-04-28 Optical information reader

Country Status (1)

Country Link
JP (1) JP4058883B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013136562A1 (en) * 2012-03-15 2013-09-19 コニカミノルタ株式会社 Re-packaging method and re-packaging device
JP5626320B2 (en) * 2012-11-26 2014-11-19 株式会社三洋物産 Game machine
US11049279B2 (en) * 2018-03-27 2021-06-29 Denso Wave Incorporated Device for detecting positional relationship among objects

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2511886B2 (en) * 1986-07-04 1996-07-03 株式会社日立製作所 Image processing system
JP2634064B2 (en) * 1988-07-25 1997-07-23 富士電機株式会社 Binarization device
JP2767983B2 (en) * 1990-06-21 1998-06-25 株式会社明電舎 Mark reader
JPH07311892A (en) * 1994-03-24 1995-11-28 Omron Corp Vehicle imaging system and vehicle imaging method
JPH08153272A (en) * 1994-11-28 1996-06-11 Hitachi Ltd Product recognition device and its recognition method
JP3231612B2 (en) * 1995-12-28 2001-11-26 株式会社日立製作所 Barcode recognition device and method
JP3804140B2 (en) * 1997-01-07 2006-08-02 株式会社デンソー Two-dimensional code reader
JP3049352U (en) * 1997-10-09 1998-06-09 有限会社フィット Monitoring device
JPH11331766A (en) * 1998-05-15 1999-11-30 Omron Corp Equipment logging device

Also Published As

Publication number Publication date
JP2001312715A (en) 2001-11-09

Similar Documents

Publication Publication Date Title
US5754670A (en) Data symbol reading system
US6637658B2 (en) Optical reader having partial frame operating mode
US7527203B2 (en) Multi-format bar code reader
US6296187B1 (en) CCD-based bar code scanner
JP3607131B2 (en) Information code image capturing device, optical information reading device, and image capturing timing setting system
CN102369538B (en) Auto-exposure for multi-imager barcode reader
EP2182466B1 (en) Optical code reading terminal including frame quality evaluation processing
EP2847710B1 (en) System and method for reading optical codes on bottom surface of items
US5442164A (en) Bar code reader for reading two-dimensional bar codes by using length information derived from a sensed signal
WO2007143136A2 (en) Camera frame selection based on barcode characteristics
US8107675B2 (en) Trigger system for data reading device
JP4058883B2 (en) Optical information reader
US20070069028A1 (en) System to improve reading performance and accuracy of single or two dimensional data codes in a large field of view
US5959286A (en) Method and apparatus for raster scanning of images
JP2000337853A (en) Information code recording position detecting device and optical information reading device
JP7035813B2 (en) Inspection system
JP3140184B2 (en) Barcode symbol reader
JP5232904B2 (en) Data code reading apparatus and method
JP4293199B2 (en) Optical information reader
EP1178665A2 (en) Optical scanner and image reader including one and two dimensional symbologies at variable depth of field
WO2001082214A1 (en) Multi-format bar code reader
JP3911892B2 (en) Optical information reading system
US6478224B1 (en) Symbology-independent method and apparatus for identifying potential bar code data
JP4063021B2 (en) Optical information reader
JP2012194853A (en) Optical information reader

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees