JP4372902B2 - Guru detection device - Google Patents
Guru detection device Download PDFInfo
- Publication number
- JP4372902B2 JP4372902B2 JP23211099A JP23211099A JP4372902B2 JP 4372902 B2 JP4372902 B2 JP 4372902B2 JP 23211099 A JP23211099 A JP 23211099A JP 23211099 A JP23211099 A JP 23211099A JP 4372902 B2 JP4372902 B2 JP 4372902B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- walnut
- imaging
- book
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は製本の技術分野に属する。特に、製本の際に、表紙と中身の天地を誤ってくるんだクルミ本であるグルを検知する技術分野に属する。
【0002】
【従来の技術】
無線綴製本機(上製綴製本機)においてクルミ本の中身(本文)を供給するときにその天地の誤りを検知するグル検知装置がある。このタイプのグル検知装置は中身の背印(背部の目印)に基づいて良否判定を行う。折丁の順序が見分け易いように折丁の背になる部分には書名や折りの順序を示す数字が刷り込まれている(背丁)。また、落丁、乱丁、取込等を発見し易いように折丁の背になる部分には正しく丁合した場合に斜線に並ぶような位置に目印が刷り込まれている(背標)。中身の背部には、この背丁、背標による特徴的な背印が存在するから、たとえば、天地の誤りによって濃淡が変化する部位を光学的なセンサで検出し、それに基づいて天地の誤りを検知することが行われている。
【0003】
【発明が解決しようとする課題】
しかし、上述のグル検知装置は、中身の背部に存在する背印の濃淡を検出するため、背印が現れにくく安定しない綴じ方(たとえば、あじろ綴じ)であると背印の濃淡を検出することができない。また、カラー印刷物で背印がカラーであると背印の濃淡を検出することが困難である。すなわち、上述のグル検知装置は使用できなかったり、使用できても誤動作が非常に多く生産阻害となるという課題がある。
【0004】
また、上述のグル検知装置は中身グル(本文グル)の検知装置であって表紙グルの検知装置ではない。一般的な無線綴製本機においては無線綴は丁合からの連続工程となっている関係で完全な中身グルはまず起きることはない。ただし、綴り仮製本の投げ込み作業では中身グルの検知装置は重要である。一方、表紙は無線綴製本機においてオペレータによって供給され、しかも一度に多くの表紙を供給することができる。そのため、発生頻度が小さくても大量の表紙グルが発生することとなる。
【0005】
本発明は上記の課題を解決するためになされたものである。その目的は、中身の背部に存在する背印の有無や状態に影響されるため高い信頼性を得ることができない従来のグル検知装置の問題点を解消することにある。すなわち、クルミ本の表紙の天地の誤りを高い信頼性で検知することができるグル検知装置を提供することにある。
【0006】
【課題を解決する手段】
上記の課題は下記の本発明によって解決される。すなわち、本発明の請求項1に係るグル検知装置は、無線綴製本機において表紙を中身にくるみクルミ本と成した後にそのクルミ本の表紙を撮像する撮像手段と、撮像手段によって得られる撮像画像の内の所定の判定領域における所定の色の面積を演算する色面積演算手段と、色面積演算手段によって演算された面積に基づいて前記クルミ本の表紙の向きの適否を判定する判定手段を備えるようにしたものである。本発明によれば、クルミ本の中身ではなく、それよりも画像が安定している表紙の撮像画像に基づいて適否の判定が行われる。また、表紙の撮像画像の内の、天地の誤りによって大きく画像の形状および/または色が変化するような所定の判定領域における所定の色の面積に基づいて適否の判定が行われる。したがって、クルミ本の表紙の天地の誤りを高い信頼性で検知することができるグル検知装置が提供される。
【0007】
また本発明の請求項2に係るグル検知装置は、無線綴製本機において表紙を中身にくるみクルミ本と成した後に、そのクルミ本の表紙を撮像し撮像信号を出力する撮像手段と、前記撮像手段の撮像領域を照明する照明手段と、前記撮像信号を入力してディジタルデータに変換し撮像画像を得るA/D変換(analog-to-digital converting)手段と、前記撮像画像の内部において判定領域を設定する判定領域設定手段と、前記判定領域における表示色の内から指定色を設定する指定色設定手段と、前記指定色に基づいて前記判定領域から指定色領域を抽出する指定色領域抽出手段と、前記指定色領域の画素数を計数し指定色領域数を出力する指定色領域数計数手段と、判定基準となる表紙の前記指定色領域数である基準指定色領域数と、判定対象となる表紙の前記指定色領域数である検査対象指定色領域数とを比較して前記表紙の向きの良否判定出力を行う良否判定手段と、を有するようにしたものである。
【0008】
本発明によれば、無線綴製本機において表紙を中身にくるみクルミ本と成した後に、撮像手段によりそのクルミ本の表紙が撮像され撮像信号が出力され、照明手段により撮像手段の撮像領域が照明され、A/D変換手段により撮像信号が入力されディジタルデータに変換され撮像画像が得られ、判定領域設定手段により撮像画像の内部において判定領域が設定され、指定色設定手段により判定領域における表示色の内から指定色が設定され、指定色領域抽出手段により指定色に基づいて判定領域から指定色領域が抽出され、指定色領域数計数手段により指定色領域の画素数が計数され指定色領域数が出力され、良否判定手段により判定基準となる表紙の指定色領域数である基準指定色領域数と、判定対象となる表紙の指定色領域数である検査対象指定色領域数とが比較され表紙の向きの良否判定出力が行われる。本発明によれば、クルミ本の中身ではなく、それよりも画像が安定している表紙の撮像画像に基づいて適否の判定が行われる。また、表紙の撮像画像の内の、天地の誤りによって大きく画像の形状および/または色が変化するような所定の判定領域における所定の色の面積に基づいて適否の判定が行われる。したがって、クルミ本の表紙の天地の誤りを高い信頼性で検知することができるグル検知装置が提供される。
【0009】
また本発明の請求項3に係るグル検知装置は、請求項2に係るグル検知装置において、前記クルミ本はベルトコンベアに載せられて搬送されており、前記クルミ本が所定の位置に到達したことを検出して到達信号を出力する到達検出手段を有し、前記撮像手段は前記到達信号に同期して前記撮像を行うようにしたものである。本発明によれば、ベルトコンベアに載せられて搬送されるクルミ本がグル検知の対象される。
また本発明の請求項4に係るグル検知装置は、請求項2または3に係るグル検知装置において、前記照明手段が照明し前記撮像手段が撮像を行う前記撮像領域を設定する撮像領域設定手段を有するようにしたものである。本発明によれば、撮像領域の設定を適正に行うことができる
また本発明の請求項5に係るグル検知装置は、請求項2〜4のいずれかに係るグル検知装置において、前記良否判定出力を入力して不良品と判定されたクルミ本を良品とは区分して排出する不良品区分排出手段を有するようにしたものである。本発明によれば、表紙グルの不良品は良品とは区分して排出される。
また本発明の請求項6に係るグル検知装置は、請求項2〜5のいずれかに係るグル検知装置において、前記良否判定出力を入力して判定が不良品の場合に警報出力を行う警報出力手段を有するようにしたものである。本発明によれば、表紙グルの不良品を検知すると警報が出力される。
また本発明の請求項7に係るグル検知装置は、請求項2〜6のいずれかに係るグル検知装置において、前記良否判定出力を入力して不良品の判定が所定回数連続する場合に前記無線綴製本機の運転を停止するための停止信号の出力を行う停止信号出力手段を有するようにしたものである。本発明によれば、表紙グルの不良品を連続して検知すると無線綴製本機の運転が自動停止される。
【0010】
【発明の実施の形態】
次に、本発明について実施の形態により説明する。まず、本実施形態のグル検知装置の全体像について説明する。本実施形態のグル検知装置の構成の一例を図1に絵図で示す。また、本実施形態のグル検知装置の無線綴製本機における設置の一例を図2に、無線綴部の構成の一例を図3に絵図で示す。図1において、1は撮像手段、2は照明手段、3はグル検知装置の本体、4は警報手段、5は到達検出手段、6は撮像領域設定手段、7は操作入力手段、31はディスプレイモニター、32は異常復帰ボタンスイッチ、33は機械停止ボタンスイッチ、34は設定/運転切替スイッチ、100a,100b,100cはクルミ本、104はレイダウンコンベアである。また、図2において、101は丁合機、102はバインダー、103はカバーフィーダ、104はレイダウンコンベア、105はグル検知位置、106は不良品排出手段、107は三方断裁機である。図3において、201はバイブレータ部、202はミーリング部、203はサンディング部、204はラフニング部、205はブラッシング部、206は背糊付部、207は横糊付部、208は表紙フィーダ、209は表紙クルミ同調部、210はプレス部、211はバインダー出口、211はレイダウン部である。
【0011】
撮像手段1はCCD(charge coupled device )等のエリアセンサと結像光学系を有するカメラ(撮像装置)である。撮像手段1は無線綴製本機において表紙を中身にくるみクルミ本と成した後に、その表紙を撮像して撮像信号を出力する。図1、図2、図3に示す一例において、クルミ本100a,100b,100cは、レイダウンコンベア104の上に間隔をあけて寝かせ置かれて流れるように搬送される。このレイダウンコンベア104は、カバーフィーダ103の下流、不良排出手段106の上流に設けられている。このレイダウンコンベア104の直近にグル検知位置105が設けられている。撮像手段1は、このグル検知位置105において、クルミ本100a,100b,100cの撮像を行う。
【0012】
照明手段2は撮像手段1の撮像領域を照明する。照明手段2にはリング形状の蛍光灯、メタルハライドランプ、ハロゲンランプ、キセノンランプ、等やそれらに光ファイバーや反射鏡を組み合わせた周知の照明装置を使用することができ特に限定はない。グル検知位置105における特殊な条件、たとえば外光の変動等が存在する場合がある。撮像に悪影響が生じないように、遮光や十分な照度が得られるようにする等の処置は当然の設計事項である。
【0013】
本体3は撮像手段1の撮像信号を入力し演算を行って良否判定を行う部分である。本体3は、パーソナルコンピュータ、マイクロコンピュータ、専用演算装置、等のデータ処理装置のハードウェアとソフトウェアによって構成することができる。図1に示すように、本体3のパネルには、ディスプレイモニター31、異常復帰ボタンスイッチ32、機械停止ボタンスイッチ33、設定/運転切替スイッチ34、等が付属している。本体3の構成と動作については詳細を後述する。
【0014】
警報出力手段4は本体3の良否判定データを入力する。そして、良否判定データが不良品を示す場合、すなわちグルを検知した場合に警報を出力する。警報出力手段4はブザーとそれに供給する電源のON/OFFを行うリレー回路、等により構成することができる。
【0015】
到達検出手段5はレイダウンコンベア104に載せられて搬送されているクルミ本100a,・・・が、所定の位置に到達したことを検知して到達信号を出力する。所定の位置とは、通常は、撮像領域にクルミ本が収まる位置である。到達検出手段5は、投光部と受光部とを有する反射型または透過型の光スイッチ、等により構成することができる。
【0016】
撮像領域設定手段6は前述の照明手段2が照明し撮像手段1が撮像を行う撮像領域を設定する。図1に示す一例においては、リング状の蛍光灯を有する照明手段2のリングの中央に存在する孔を通して撮像手段1が撮像を行う構成となっており、撮像手段1と照明手段2とは一体となっている。撮像領域設定手段6は、その一体となっている撮像手段1と照明手段2とを、レイダウンコンベア104の上方の空間において、所定の位置に移動可能かつ固定可能に支持する。図1に示すように、撮像領域設定手段6は、撮像手段1を支持するハンドル付きのステージと、そのステージを一端において支持するアームと、テーブルに固定して設けられアームの他端を固定または自由にするレバー付きの支持部材とによって構成される。
【0017】
操作入力手段7は、グル検知機を操作するための入力をオペレータが行うグル検知機の部分である。主として、判定領域、指定色、等の設定入力において使用される。
【0018】
ここで、本実施形態のグル検知装置を適用する無線綴製本機について、簡単に説明しておく。前述したように図2に一例を示す製本機において、製本機は丁合機101、バインダー102、カバーフィーダ103、レイダウンコンベア104、不良品排出手段106、三方断裁機107、等を連結した構成を有する。グル検知位置105はレイダウンコンベア104の近傍にある。丁合機101は折丁を各折の順番に揃えて1冊分づつまとめる動作を行う。
【0019】
バインダー102およびカバーフィーダ103は、すなわち無線綴部は、図3により詳しい絵図が示されている。図3において、バイブレータ部201は1冊分づつまとめられた折丁の背部分の位置を揃えて背部分を平らにする。ミーリング部202は背部分を切り削る。サンディング部203はミーリングした背部分を仕上げる。ラフニング部204はガリを入れる。ブラッシング部205は背部分に付着し紙粉を除去する。背糊付部206は荒び出しを行った背部分に糊(ホットメルト系の接着剤)を塗工する。横糊付部207は中本ノド元へ糊を塗工する。
【0020】
表紙クルミ部207は表紙を供給する。表紙くるみ同調部209はその表紙とまとめられた1冊分の折丁(「中身」という)とを同調させて所定の位置においてくるみ貼り合わせる。プレス部210は貼り合わせた後の背部分を押圧して密着し糊付けを完全にするとともに成形しクルミ本と成す。このクルミ本はバインダー出口211より排出され、レイダウン部212によって寝かせ置かれ移送される。
【0021】
レイダウンコンベア104上のクルミ本はグル検知位置105においてグル検知装置によってグル検知が行われる。さらに、コンベアによって搬送され、不良排出手段106に至り、そのクルミ本が不良品、すなわちグルである場合には不良排出手段106において不良品スタックに排出される。そのクルミ本が良品である場合には三方断裁機107に至り、三方断裁機107において化粧断ちが行われ、良品スタックに排出される。
【0022】
次に、本実施形態のグル検知装置におけるデータ処理について説明する。本実施形態のグル検知装置におけるデータ処理手段の構成の一例を図4にブロック図で示す。図4において、1は撮像手段、2は照明手段、4は警報出力手段、5は到達検出手段、6は撮像領域設定手段、71は判定領域設定手段、72は指定色設定手段、104はクルミ本搬送手段(レイダウンコンベア)、106は不良品排出手段、108は良品排出手段、301はA/D変換手段、302は画像記憶手段、303は指定色領域抽出手段、304は指定色領域数計数手段、305は基準指定色領域数記憶手段、306は検査対象指定色領域数記憶手段、307は良否判定手段、308は停止信号出力手段である。
【0023】
また、本実施形態のグル検知装置におけるデータ処理過程を図5、図6にフロー図で示す。図5(A)はグル検知における全体のデータ処理過程のフロー図であり、グル検知の過程は、大別してステップS1の設定過程とステップS2の運転過程とから構成されることを示している。図5(B)はステップS1の設定過程の細部の過程を示しており、図6はステップS2の運転過程の細部の過程を示している。
【0024】
図4、図5、図6に基づき、本実施形態のグル検知装置におけるデータ処理について説明する。すでに、無線綴製本機において製本が進行中か、休止中においてすでにでき上がったクルミ本を手挿入する、等により、クルミ本はクルミ本搬送手段(レイダウンコンベア)104によってグル検知位置105に搬送されるものとする。まず、設定過程におけるステップS101(撮像領域設定)において、オペレータは、設定/運転切替スイッチを設定とする。また、搬送されるクルミ本における適正な領域の撮像が行われるように、撮像領域設定手段6において撮像手段1と照明手段2の位置を調節して撮像領域を設定をする(図1とその説明参照)。撮像手段1の撮像領域は照明手段2によって照明が行われる。このとき、到達検出手段5との位置関係が考慮されるが、必要に応じて到達検出手段5の位置設定も行う。
【0025】
次に、ステップS102(基準画面登録)において、到達検出手段5は搬送されているクルミ本が撮像領域に到達したことを検知して到達信号を出力する。撮像手段1は到達信号を入力し、その到達信号に同期して撮像を行うことにより、クルミ本の表紙を撮像し撮像信号を出力する。A/D変換(analog-to-digital converting)手段301は、アナログ信号である撮像信号をディジタルデータに変換して撮像画像を生成する。その撮像画像は画像記憶手段302に記憶される。オペレータは本体3のモニタ31(図1参照)に画像記憶手段302に記憶されている撮像画像を表示する指示入力を操作入力手段7から行い、撮像画像に不備な点、たとえば撮像範囲が不適切、焦点が合っていない(ピンボケ)、等が存在するか否かを確認する。不備な点が存在する場合には、不備を除く処置を行って繰り返し撮像を行う。不備な点が存在しなければ、次のステップに進む。
【0026】
次に、ステップS103(判定領域設定)において、オペレータはモニタ31に同時表示された撮像画像と判定領域枠とに基づいて判定領域を設定する。すなわち、判定領域枠を操作し適正な位置と寸法が得られたところで判定領域を設定する指示入力を操作入力手段7から行う。判定領域は、一色の面積が大きい絵柄によって充たされ、表紙を反対向きにしたとき同色がないか、同色があっても面積的に大きな差異を有する表紙の領域が適正である。判定領域の設定は判定領域設定手段71において行われ、設定された判定領域のデータは判定領域設定手段71によって記憶される。
【0027】
次に、ステップS104(指定色設定)において、オペレータはモニタ31に表示されている判定領域枠の内側の撮像画像において指定色を設定する。指定色は、表紙を反対向きにしたとき指定色と同色がないか、同色があっても面積的に大きな差異を有する絵柄の部位の色が適正である。指定色を設定すると判定領域における指定色の部分、すなわち指定色領域の面積に相当する画素数の計数が行われる。この計数の過程は次のステップにより行われる。すなわち、まず、判定領域の設定と指定色の設定が行われると指定色領域抽出手段303によって指定色領域が抽出される。次に、指定色領域数計数手段304によって指定色領域数の計数が行われる。その指定色領域数は基準指定色領域数記憶手段305に記憶される。オペレータはその指定色領域の画素数を確認し指定色を設定する参考とすることができる。
【0028】
次に、ステップS105(許容範囲設定)において、オペレータは指定色領域の画素数の許容範囲を設定する。表紙の絵柄濃度や撮像条件の微妙な変動によって良品のクルミ本であっても撮像を行う度に指定色領域の画素数は変動する。許容範囲は、この正常な変動をグルと誤判定するのを防止するためにある。しかし、許容範囲を大きくし過ぎると不良品のクルミ本であっても良品とする誤判定が起きることとなる。したがって、適正な許容範囲を設定する必要がある。許容範囲は、前述の指定色領域の画素数において、上限値と下限値を設定することと同等である。その上限値と下限値は良否判定手段307に記憶される。
【0029】
次に、ステップS106(運転準備)において、設定/運転切替スイッチを運転とする。レイダウンコンベア104において正常な向きにクルミ本を流し、グル検知機において良品判定が行われることを確認する。次に、レイダウンコンベア104において正常とは逆向きにクルミ本を流し、グル検知機において不良品判定が行われることを警報等により確認する。この動作確認において異常がある場合には設定過程をやり直す。異常がなければ、次のステップである「運転」に進む。
【0030】
次に、無線綴製本機の運転が開始され、クルミ本がレイダウンコンベア104によって搬送される。運転過程におけるステップS201(到達検出)において、到達検出手段5は、クルミ本が前述(S102)の所定の位置に到達するのを監視しつづけ、グル検知機は待機状態となっている。そしてクルミ本が所定の位置に到達したことを検出すると到達信号を出力する。
次に、ステップS202(撮像)において、その到達信号に同期して撮像手段1はクルミ本の表紙を撮像する。撮像手段1が出力する撮像信号は、A/D変換手段301によってデジタルデータに変換され撮像画像が得られる。
次に、ステップS203(画像記憶)において、その撮像画像は画像記憶手段302に記憶される。
【0031】
次に、ステップS204(指定色領域抽出)において、指定色領域抽出手段303は、前述(S104)の指定色に基づいて前述の(S103)の判定領域から指定色領域を抽出する。
ここで指定色領域の抽出方法について一例を説明する。たとえば、指定色の原色成分RGB(red,green,blue)に対して上限値と下限値の閾値を設定する。そして、すべての閾値の条件を満たす画素の集合として指定色領域を定義する。同じ色(色相)でも明るさ(明度)が変化するような場合において、明るさの異なる同じ色の領域を抽出する場合には、上限値と下限値の閾値の幅を色相において小さく、明度において大きくする。たとえば、RGB成分に対して、下記の数1により色相(r,g)と明度(l)を演算し、色相(r,g)と明度(l)に対して閾値を設定し、その閾値の条件を満たす画素の集合として指定色領域を定義する。
【数1】
l = R+G+B
r = R/(R+G+B)
g = G/(R+G+B)
【0032】
次に、ステップS205(領域数(面積)計数)において、指定色領域数計数手段304は前述の指定色領域の画素数を計数し指定色領域数を出力する。その指定色領域数は検出対象指定色領域数記憶手段306に記憶される。
【0033】
次に、ステップS206(良否判定)において、良否判定手段307は基準指定色領域数記憶手段305に記憶されている基準画像の指定色領域数と、検出対象指定色領域数記憶手段306に記憶されている検査対象画像の指定色領域数と、良否判定手段307に記憶されている許容範囲(上限値と下限値)とに基づいて、クルミ本の表紙の向きの良否判定出力を行う。その良否判定出力は、図4に示すように、良品排出手段108、不良品排出手段106、警報出力手段4、停止信号出力手段308によって入力される。
【0034】
図2に示す不良品排出手段106(請求項の不良品区分排出手段)は不良品(グル)を製造ラインから除去する装置であり、良品は製造ラインに残り引き続き加工が行われる。図4に示す良品排出手段108と不良品排出手段106とは、このように、一方だけで済ませることもできる。不良品排出手段106、良品排出手段108は良否判定出力を入力すると、その良否判定出力の対象となっているクルミ本がコンベアによって搬送されてそれらの位置に到達するまで、それらの動作を遅延させる。それらの動作はクルミ本の到達と同期する。
【0035】
警報出力手段4は良否判定出力が不良品(グル)の場合には直ちに警報を出力する。この警報は、異常復帰32ボタンスイッチがオペレータによって押される、等により警報解除されない限り出力され続ける。一方、良否判定出力が良品の場合にはそのままの状態を続ける。すなわち、警報出力がある場合には警報出力が続けられ、警報出力がない場合には警報は出力されない。
【0036】
停止信号出力手段308は、良否判定出力を入力して不良品の判定が所定回数連続する場合に無線綴製本機の運転を停止するための停止信号を出力する。この停止信号によって無線綴製本機の運転が停止させられることにより、オペレータがしばらく対応できないような状況下においても不良品の大量発生を防止することができる。
【0037】
次に、ステップS207(終了)において、運転を終了するか否かの判定が行われる。たとえば、オペレータが機械停止ボタンスイッチ33を操作して機械停止を実行した場合には、その操作の後の最初のこのステップにおいて図6に示す運転のデータ処理過程を終了する。そのような終了の指示入力がない場合には上述のステップS201に戻って以降の過程を繰り返す。
【0038】
【発明の効果】
以上のように本発明の請求項1に係るグル検知装置によれば、クルミ本の表紙の天地の誤りを高い信頼性で検知することができるグル検知装置が提供される。また本発明の請求項2に係るグル検知装置によれば、クルミ本の表紙の天地の誤りを高い信頼性で検知することができるグル検知装置が提供される。また本発明の請求項3に係るグル検知装置によれば、ベルトコンベアに載せられて搬送されるクルミ本をグル検知の対象とすることができる。また本発明の請求項4に係るグル検知装置によれば、撮像領域の設定を適正に行うことができるまた本発明の請求項5に係るグル検知装置によれば、表紙グルの不良品は良品とは区分して排出することができる。また本発明の請求項6に係るグル検知装置によれば、表紙グルの不良品を検知して警報を出力することができる。また本発明の請求項7に係るグル検知装置によれば、表紙グルの不良品を連続して検知した場合には無線綴製本機の運転を自動停止することができる。
【図面の簡単な説明】
【図1】本発明のグル検知装置の構成の一例を示す絵図である。
【図2】本発明のグル検知装置の無線綴製本機における設置の一例を示す絵図である。
【図3】本発明のグル検知装置の無線綴製本機における無線綴部の構成の一例を示す絵図である。
【図4】本発明のグル検知装置におけるデータ処理手段の構成の一例を示すブロック図である。
【図5】本発明のグル検知装置におけるデータ処理過程を示すフロー図(その1)である。
【図6】本発明のグル検知装置におけるデータ処理過程を示すフロー図(その2)である。
【符号の説明】
1 撮像手段
2 照明手段
3 グル検知装置の本体
4 警報手段
5 到達検出手段
6 撮像領域設定手段
7 操作入力手段
31 ディスプレイモニター
32 異常復帰ボタンスイッチ
33 機械停止ボタンスイッチ
34 設定/運転切替スイッチ
100a,100b,100c クルミ本
101 丁合機
102 バインダー
103 カバーフィーダ
104 レイダウンコンベア
105 グル検知位置
106 不良品排出手段
107 三方断裁機
201 バイブレータ部
202 ミーリング部
203 サンディング部
204 ラフニング部
205 ブラッシング部
206 背糊付部
207 横糊付部
208 表紙フィーダ
209 表紙クルミ同調部
210 プレス部
211 バインダー出口
212 レイダウン部
301 A/D変換手段
302 画像記憶手段
303 指定色領域抽出手段
304 指定色領域数計数手段
305 基準指定色領域数記憶手段
306 検査対象指定色領域数記憶手段
307 良否判定手段
308 停止信号出力手段[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of bookbinding. In particular, it belongs to the technical field of detecting a guru, which is a walnut book that misplaces the cover and the top and bottom of the book during bookbinding.
[0002]
[Prior art]
There is a guru detection device that detects an error in the top and bottom when supplying the contents (text) of a walnut book in a wireless binding machine (upper binding machine). This type of guru detection device makes a pass / fail judgment based on the back mark (the mark on the back) of the contents. In order to make it easy to distinguish the order of the signatures, numbers indicating the name of the book and the order of folding are imprinted on the back of the signatures (backs). In addition, in order to make it easy to find missing pages, random pages, captures, etc., a mark is imprinted on the back of the signature at a position that is aligned with a diagonal line when correctly collated (back sign). Since the back of the contents has a characteristic back mark due to this back and sign, for example, the part where the shading changes due to an error in the top and bottom is detected by an optical sensor, and the error in the top and bottom is detected based on that. It is being detected.
[0003]
[Problems to be solved by the invention]
However, since the above-described gull detection device detects the density of the spine present on the back of the contents, it detects the density of the spine if the binding is difficult to appear and is not stable (for example, Ajiro binding). I can't. Further, when the back mark is a color in a color printed matter, it is difficult to detect the shading of the back mark. That is, there is a problem that the above-described glu detection device cannot be used, or even if it can be used, there are many malfunctions that hinder production.
[0004]
Further, the above-described guru detection device is a content guru (text guru) detection device and not a cover guru detection device. In a general wireless binding machine, perfect binding does not occur first because wireless binding is a continuous process from collation. However, the content gluing detection device is important in the throwing work of the spelling bookbinding. On the other hand, the cover is supplied by the operator in the perfect binding machine, and many covers can be supplied at a time. Therefore, even if the frequency of occurrence is small, a large amount of cover sheet glue is generated.
[0005]
The present invention has been made to solve the above problems. The purpose is to solve the problems of the conventional guru detection device that cannot be highly reliable because it is affected by the presence or absence and state of the spine present on the back of the contents. That is, it is an object of the present invention to provide a guru detection device that can detect an error in the top and bottom of a walnut book cover with high reliability.
[0006]
[Means for solving the problems]
The above problems are solved by the present invention described below. In other words, the glu detection device according to claim 1 of the present invention includes an image pickup means for picking up the cover of the walnut book after forming the cover as a walnut book in the wireless binding apparatus, and a captured image obtained by the image pickup means. A color area calculating means for calculating an area of a predetermined color in a predetermined determination area, and a determining means for determining whether or not the orientation of the cover of the walnut book is appropriate based on the area calculated by the color area calculating means. It is what I did. According to the present invention, the suitability is determined based on the captured image of the cover, which is not the contents of the walnut book but the image is more stable than that. In addition, the suitability determination is performed based on the area of a predetermined color in a predetermined determination area in which the shape and / or color of the image largely changes due to an upside-down error in the captured image of the cover. Therefore, there is provided a guru detection device capable of detecting an error in the top and bottom of the cover of the walnut book with high reliability.
[0007]
According to a second aspect of the present invention, there is provided a glu detection device comprising: an imaging means for capturing an image of a cover of the walnut book and outputting an imaging signal after the cover is formed as a walnut book in the wireless binding machine; Illuminating means for illuminating the imaging area of the means, A / D conversion (analog-to-digital converting) means for inputting the imaging signal and converting it to digital data to obtain a captured image, and a determination area within the captured image Determination area setting means for setting, a designated color setting means for setting a specified color from display colors in the determination area, and a specified color area extracting means for extracting the specified color area from the determination area based on the specified color A designated color area number counting unit that counts the number of pixels of the designated color area and outputs the designated color area number, a reference designated color area number that is the designated color area number of the cover serving as a judgment reference, and a determination target Table And a pass / fail judgment means for performing pass / fail judgment output of the orientation of the cover by comparing with the number of designated color areas to be inspected, which is the number of designated color areas of the paper.
[0008]
According to the present invention, after the cover is made into a walnut book with a cover in the wireless binding machine, the cover of the walnut book is picked up by the image pickup means and an image pickup signal is output, and the image pickup area of the image pickup means is illuminated by the illumination means. The A / D conversion means inputs the image pickup signal and converts it into digital data to obtain a picked-up image. The determination area setting means sets a determination area inside the picked-up image, and the designated color setting means displays the display color in the determination area. The specified color area is extracted from the determination area based on the specified color by the specified color area extracting means, the number of pixels of the specified color area is counted by the specified color area count counting means, and the specified color area number Is output, and the number of reference specified color areas, which is the number of specified color areas of the cover that is the determination reference by the quality determination means, and the number of specified color areas of the cover that is the determination target Quality determination output of the orientation of the cover and the elephant specified color area number is compared is made. According to the present invention, the suitability is determined based on the captured image of the cover, which is not the contents of the walnut book but the image is more stable than that. In addition, the suitability determination is performed based on the area of a predetermined color in a predetermined determination area in which the shape and / or color of the image largely changes due to an upside-down error in the captured image of the cover. Therefore, there is provided a guru detection device capable of detecting an error in the top and bottom of the cover of the walnut book with high reliability.
[0009]
The gluing detection device according to claim 3 of the present invention is the gluing detection device according to claim 2, wherein the walnut book is transported on a belt conveyor, and the walnut book has reached a predetermined position. And arrival detection means for outputting a arrival signal, and the imaging means performs the imaging in synchronization with the arrival signal. According to the present invention, the walnut book carried on the belt conveyor is subject to guru detection.
According to a fourth aspect of the present invention, there is provided the gull detection device according to the second or third aspect, wherein the gluing detection device according to the second or third aspect includes an imaging region setting unit that sets the imaging region in which the illumination unit illuminates and the imaging unit performs imaging. It is what you have. According to the present invention, the gull detection device according to claim 5 of the present invention, which can appropriately set the imaging region, is the above-described pass / fail determination output in the glu detection device according to any one of claims 2 to 4. , And the walnut book determined to be defective is classified as non-defective and discharged. According to the present invention, the defective product of the front cover group is discharged separately from the non-defective product.
A gull detection device according to
According to a seventh aspect of the present invention, there is provided the guru detection device according to any one of the second to sixth aspects, wherein the wireless communication is performed when the good / bad determination output is input and a defective product is continuously determined a predetermined number of times. It has stop signal output means for outputting a stop signal for stopping the operation of the binding apparatus. According to the present invention, when the defective product of the front cover group is continuously detected, the operation of the wireless binding machine is automatically stopped.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described. First, an overall image of the guru detection device of this embodiment will be described. An example of the configuration of the guru detection device of this embodiment is shown in a pictorial diagram in FIG. FIG. 2 shows an example of the installation of the glue detection device of the present embodiment in the wireless binding machine, and FIG. 3 shows an example of the configuration of the wireless binding unit. In FIG. 1, 1 is an imaging means, 2 is an illumination means, 3 is a main body of a guru detection device, 4 is an alarm means, 5 is an arrival detection means, 6 is an imaging area setting means, 7 is an operation input means, and 31 is a display monitor. , 32 is an abnormal return button switch, 33 is a machine stop button switch, 34 is a setting / operation switching switch, 100a, 100b, and 100c are walnut books, and 104 is a laydown conveyor. In FIG. 2, 101 is a collating machine, 102 is a binder, 103 is a cover feeder, 104 is a laydown conveyor, 105 is a gluing detection position, 106 is a defective product discharging means, and 107 is a three-way cutter. In FIG. 3, 201 is a vibrator part, 202 is a milling part, 203 is a sanding part, 204 is a roughing part, 205 is a brushing part, 206 is a back glue part, 207 is a horizontal glue part, 208 is a cover feeder, 209 A cover walnut tuning unit, 210 is a press unit, 211 is a binder outlet, and 211 is a laydown unit.
[0011]
The imaging means 1 is a camera (imaging device) having an area sensor such as a CCD (charge coupled device) and an imaging optical system. The imaging unit 1 captures the cover and outputs an imaging signal after the cover is made into a walnut book with a cover in the wireless binding machine. In the example shown in FIGS. 1, 2, and 3, the
[0012]
The illumination unit 2 illuminates the imaging area of the imaging unit 1. The illumination means 2 can be a ring-shaped fluorescent lamp, a metal halide lamp, a halogen lamp, a xenon lamp, or the like, or a well-known illuminating device in which an optical fiber or a reflecting mirror is combined therewith, and is not particularly limited. There may be special conditions at the guru detection position 105, such as fluctuations in external light. Treatments such as shading and obtaining sufficient illuminance so as not to adversely affect imaging are natural design matters.
[0013]
The main body 3 is a part that inputs an image pickup signal of the image pickup means 1 and performs a calculation to determine pass / fail. The main body 3 can be configured by hardware and software of a data processing device such as a personal computer, a microcomputer, and a dedicated arithmetic device. As shown in FIG. 1, a
[0014]
The alarm output means 4 inputs the quality determination data of the main body 3. Then, when the pass / fail judgment data indicates a defective product, that is, when a guru is detected, an alarm is output. The alarm output means 4 can be constituted by a buzzer and a relay circuit for turning on / off the power supplied to the buzzer.
[0015]
The arrival detection means 5 detects that the
[0016]
The imaging
[0017]
The operation input means 7 is a part of the guru detector in which an operator performs input for operating the guru detector. It is mainly used for setting input such as a judgment area and a designated color.
[0018]
Here, a simple binding machine to which the glue detection device of this embodiment is applied will be briefly described. As described above, in the bookbinding machine shown in FIG. 2, the bookbinding machine has a configuration in which the collating machine 101, the binder 102, the cover feeder 103, the
[0019]
The binder 102 and the cover feeder 103, that is, the wireless binding portion, a detailed picture is shown in FIG. In FIG. 3, the
[0020]
A cover walnut unit 207 supplies a cover. The cover-
[0021]
The walnut book on the
[0022]
Next, data processing in the guru detection device of this embodiment will be described. An example of the configuration of the data processing means in the guru detection device of this embodiment is shown in a block diagram in FIG. In FIG. 4, 1 is an imaging means, 2 is an illumination means, 4 is an alarm output means, 5 is an arrival detection means, 6 is an imaging area setting means, 71 is a determination area setting means, 72 is a designated color setting means, and 104 is a walnut. This conveying means (laydown conveyor), 106 is a defective product discharging means, 108 is a non-defective product discharging means, 301 is an A / D conversion means, 302 is an image storage means, 303 is a designated color area extracting means, and 304 is a number of designated color areas. 305, a reference designated color area number storage means, 306, an inspection object designated color area number storage means, 307, pass / fail judgment means, and 308, a stop signal output means.
[0023]
Moreover, the data processing process in the guru detection apparatus of this embodiment is shown in a flowchart in FIGS. FIG. 5A is a flowchart of the entire data processing process in guru detection. The glu detection process is roughly composed of a setting process in step S1 and an operation process in step S2. FIG. 5B shows a detailed process of the setting process in step S1, and FIG. 6 shows a detailed process of the operation process in step S2.
[0024]
Data processing in the guru detection device of this embodiment will be described based on FIGS. The walnut book is transported to the guru detection position 105 by the walnut book transport means (laydown conveyor) 104 by, for example, manually inserting a walnut book that is already in progress in the wireless binding machine or during pause. Shall. First, in step S101 (imaging area setting) in the setting process, the operator sets the setting / operation switch. In addition, the imaging
[0025]
Next, in step S102 (reference screen registration), the arrival detection means 5 detects that the walnut book being conveyed has reached the imaging region, and outputs an arrival signal. The imaging means 1 inputs the arrival signal, and performs imaging in synchronization with the arrival signal, thereby imaging the cover of the walnut book and outputting the imaging signal. An A / D conversion (analog-to-digital converting)
[0026]
Next, in step S103 (determination area setting), the operator sets a determination area based on the captured image displayed simultaneously on the
[0027]
Next, in step S104 (specified color setting), the operator sets the specified color in the captured image inside the determination area frame displayed on the
[0028]
Next, in step S105 (allowable range setting), the operator sets an allowable range of the number of pixels in the designated color region. Even with a good walnut book, the number of pixels in the designated color region changes every time an image is taken due to subtle changes in the picture density of the cover and the imaging conditions. The permissible range is to prevent this normal fluctuation from being erroneously determined as guru. However, if the allowable range is increased too much, an erroneous determination that a defective walnut book is a non-defective product will occur. Therefore, it is necessary to set an appropriate allowable range. The allowable range is equivalent to setting an upper limit value and a lower limit value for the number of pixels in the specified color area described above. The upper limit value and lower limit value are stored in the pass / fail judgment means 307.
[0029]
Next, in step S106 (operation preparation), the setting / operation changeover switch is set to operation. A walnut book is made to flow in a normal direction on the
[0030]
Next, the operation of the wireless binding machine is started, and the walnut book is conveyed by the
Next, in step S202 (imaging), the imaging means 1 images the cover of the walnut book in synchronization with the arrival signal. The imaging signal output by the imaging unit 1 is converted into digital data by the A /
Next, in step S <b> 203 (image storage), the captured image is stored in the
[0031]
Next, in step S204 (designated color area extraction), the designated color
Here, an example of a method for extracting the designated color region will be described. For example, an upper limit value and a lower limit value threshold are set for the primary color components RGB (red, green, blue) of the designated color. Then, the designated color region is defined as a set of pixels that satisfy all the threshold conditions. When brightness (brightness) changes even with the same color (hue), when extracting areas of the same color with different brightness, the threshold width between the upper limit value and the lower limit value is reduced in hue, and in brightness Enlarge. For example, for the RGB component, hue (r, g) and lightness (l) are calculated by the following formula 1, threshold values are set for hue (r, g) and lightness (l), and A designated color region is defined as a set of pixels that satisfy the condition.
[Expression 1]
l = R + G + B
r = R / (R + G + B)
g = G / (R + G + B)
[0032]
Next, in step S205 (counting the number of areas (areas)), the designated color area number counting means 304 counts the number of pixels of the designated color area and outputs the designated color area number. The number of designated color areas is stored in the detection target designated color area number storage means 306.
[0033]
Next, in step S206 (quality determination), the
[0034]
The defective product discharging means 106 (defective product classification discharging means in the claims) shown in FIG. 2 is an apparatus for removing defective products (glu) from the production line, and the non-defective products remain on the manufacturing line and are continuously processed. The non-defective product discharging means 108 and the defective product discharging means 106 shown in FIG. When the defective product discharging means 106 and the non-defective product discharging means 108 receive the pass / fail judgment output, their operations are delayed until the walnut books that are the targets of the pass / fail judgment output are conveyed by the conveyor and reach their positions. . Their operation is synchronized with the arrival of the walnut book.
[0035]
The alarm output means 4 immediately outputs an alarm when the pass / fail judgment output is a defective product (guru). This alarm continues to be output unless the alarm is canceled by, for example, pressing the
[0036]
The stop signal output means 308 inputs a pass / fail determination output and outputs a stop signal for stopping the operation of the binding device when the defective product is continuously determined a predetermined number of times. By stopping the operation of the binding device by this stop signal, it is possible to prevent a large number of defective products from being generated even under a situation where the operator cannot cope with the operation for a while.
[0037]
Next, in step S207 (end), it is determined whether or not to end the operation. For example, when the operator operates the machine
[0038]
【The invention's effect】
As described above, according to the guru detection device of the first aspect of the present invention, there is provided a guru detection device capable of detecting the top and bottom errors of the cover of the walnut book with high reliability. Moreover, according to the guru detection device according to claim 2 of the present invention, there is provided a guru detection device capable of detecting an error in the top and bottom of the cover of the walnut book with high reliability. Further, according to the guru detection device of the third aspect of the present invention, the walnut book carried on the belt conveyor can be set as a glu detection target. Further, according to the guru detection device according to
[Brief description of the drawings]
FIG. 1 is a pictorial diagram showing an example of the configuration of a guru detection device of the present invention.
FIG. 2 is a pictorial diagram showing an example of installation of the glue detection device of the present invention in a wireless binding machine.
FIG. 3 is a pictorial diagram showing an example of a configuration of a wireless binding unit in the wireless binding machine of the glue detection device of the present invention.
FIG. 4 is a block diagram showing an example of the configuration of data processing means in the guru detection device of the present invention.
FIG. 5 is a flowchart (part 1) showing a data processing process in the guru detection device of the present invention.
FIG. 6 is a flowchart (part 2) illustrating a data processing process in the guru detection device of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image pickup means 2 Illumination means 3 Glue detection device
Claims (7)
前記撮像手段によって得られる撮像画像の内の所定の判定領域における所定の色の面積を演算する色面積演算手段と、
前記色面積演算手段によって演算された面積に基づいて前記クルミ本の表紙の向きの適否を判定する判定手段と、
を備えることを特徴とするグル検知装置。 An image pickup means for picking up an image of the cover of the walnut book after the cover is made into a walnut book in the wireless binding machine ;
A color area calculation means for calculating the area of a predetermined color in the predetermined determination area of the captured image obtained by the imaging means,
Determining means for determining the suitability of the orientation of the cover of the walnut book based on the area calculated by the color area calculating means ;
Guru detecting apparatus comprising: a.
前記撮像手段の撮像領域を照明する照明手段と、
前記撮像信号を入力してディジタルデータに変換し撮像画像を得るA/D変換(analog-to-digital converting)手段と、
前記撮像画像の内部において判定領域を設定する判定領域設定手段と、
前記判定領域における表示色の内から指定色を設定する指定色設定手段と、
前記指定色に基づいて前記判定領域から指定色領域を抽出する指定色領域抽出手段と、
前記指定色領域の画素数を計数し指定色領域数を出力する指定色領域数計数手段と、
判定基準となる表紙の前記指定色領域数である基準指定色領域数と、判定対象となる表紙の前記指定色領域数である検査対象指定色領域数とを比較して前記表紙の向きの良否判定出力を行う良否判定手段と、
を有することを特徴とするグル検知装置。An imaging unit that images the cover of the walnut book and outputs an imaging signal after forming the cover as a walnut book in the wireless binding machine;
Illuminating means for illuminating the imaging area of the imaging means;
A / D conversion (analog-to-digital converting) means for inputting the imaging signal and converting it into digital data to obtain a captured image;
Determination area setting means for setting a determination area in the captured image;
Designated color setting means for setting a designated color from among display colors in the determination area;
A designated color area extracting means for extracting a designated color area from the determination area based on the designated color;
A designated color area number counting means for counting the number of pixels of the designated color area and outputting the designated color area number;
The number of reference designated color areas, which is the number of designated color areas of the cover used as a judgment reference, is compared with the number of inspection target designated color areas, which is the number of designated color areas of the cover used as a judgment target, to determine whether the orientation of the cover is correct. Pass / fail judgment means for performing judgment output;
A guru detection device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23211099A JP4372902B2 (en) | 1999-08-19 | 1999-08-19 | Guru detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23211099A JP4372902B2 (en) | 1999-08-19 | 1999-08-19 | Guru detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001054990A JP2001054990A (en) | 2001-02-27 |
| JP4372902B2 true JP4372902B2 (en) | 2009-11-25 |
Family
ID=16934173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23211099A Expired - Lifetime JP4372902B2 (en) | 1999-08-19 | 1999-08-19 | Guru detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4372902B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009196134A (en) * | 2008-02-20 | 2009-09-03 | Panasonic Corp | Inspecting method of printing state of individual recognition information and inspecting apparatus thereof |
-
1999
- 1999-08-19 JP JP23211099A patent/JP4372902B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001054990A (en) | 2001-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN201440129U (en) | Printing product detecting equipment | |
| US8289386B2 (en) | Sheet-like product inspecting method and device | |
| JP3730082B2 (en) | Cigarette inspection device | |
| EP0860277A1 (en) | A system and method for registration control on-press during press set-up and printing | |
| CN102511056B (en) | Banknote handling device with unbundling station and banknote handling method | |
| JP4372902B2 (en) | Guru detection device | |
| CN109673144A (en) | It is a kind of cold to plug standby multistation continuous operation method | |
| CN213001298U (en) | Tobacco impurity removing device | |
| JP4304690B2 (en) | Tape member inspection device | |
| JP4249382B2 (en) | Cover gluing detector | |
| RU2377654C2 (en) | Control device and control method | |
| CN108511356A (en) | A kind of positioning of battery string welding machine and battery appearance detecting method | |
| EP0443062B1 (en) | Device for inspecting quality of printed matter and method thereof | |
| JP4303881B2 (en) | Body guru detection device | |
| JP2003207456A (en) | Foreign object-inspecting apparatus | |
| JP2019152673A (en) | Inspection device | |
| CN210513211U (en) | Capacitance detection device | |
| JP2007238324A (en) | Method of detecting abnormal condition of folded paper | |
| JP2710954B2 (en) | Grain removal rate detector | |
| WO2024159656A1 (en) | Intelligent smt feeding apparatus and feeding method | |
| JP2003191662A (en) | Controller for incorrect collating inspecting apparatus and incorrect collating inspecting apparatus | |
| CN116654390A (en) | Tobacco bale outward appearance detecting system | |
| JPH091791A (en) | Print quality judgment device | |
| JP7751263B2 (en) | Print inspection equipment | |
| JP3415307B2 (en) | Appearance inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090903 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4372902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |