Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3759111B2 - Inspection device and inspection method for printed matter - Google Patents
[go: Go Back, main page]

JP3759111B2 - Inspection device and inspection method for printed matter - Google Patents

Inspection device and inspection method for printed matter Download PDF

Info

Publication number
JP3759111B2
JP3759111B2 JP2003022713A JP2003022713A JP3759111B2 JP 3759111 B2 JP3759111 B2 JP 3759111B2 JP 2003022713 A JP2003022713 A JP 2003022713A JP 2003022713 A JP2003022713 A JP 2003022713A JP 3759111 B2 JP3759111 B2 JP 3759111B2
Authority
JP
Japan
Prior art keywords
image
gray level
value
positional deviation
inspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003022713A
Other languages
Japanese (ja)
Other versions
JP2004233222A (en
Inventor
衆一 竹本
範文 田阪
文昭 谷野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2003022713A priority Critical patent/JP3759111B2/en
Publication of JP2004233222A publication Critical patent/JP2004233222A/en
Application granted granted Critical
Publication of JP3759111B2 publication Critical patent/JP3759111B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Inking, Control Or Cleaning Of Printing Machines (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、印刷物の絵柄の欠陥を検出する検査装置及び検査方法に関し、特に紙面の位置ずれを考慮して欠陥検出を行なう印刷物の検査装置及び検査方法に関する。
【0002】
【従来の技術】
一般に印刷機には、紙面に印刷された絵柄に欠陥がないか否かを検査する印刷物の検査装置が設けられている。
例えば、従来の輪転機にかかる検査装置では、図5に示すように、光源3aにより紙面1に光を照射してラインセンサカメラ3により紙面1からの反射光量を1画素(例えば10mm×10mm)毎に検出し、画像を濃淡レベル値(具体的には輝度値又は光量値)で示される画像データに変換する。
【0003】
なお、反射光量の検出は紙面1の被印刷領域を含んだ所定領域を1画素単位のマトリックスに分解して各画素に対して行なう。また、このときの輝度値は、例えば、最も低い(最も黒い)部分の輝度値を「0」、最も高い(最も白い)部分の輝度値を「200」というようにして、0〜200までの整数値で示す。
【0004】
そして、予め記憶しておいた基準となる画像(基準画像)と、検査対象となる画像(被検査画像)とを対応する各画素(10mm×10mm)単位で輝度値の比較を行ない、基準画像の輝度値と被検査画像の輝度値との差が所定値(欠陥判定値)D1以上であれば、これを欠陥として検出するようになっている。
【0005】
例えば、欠陥判定値を「20」に設定した場合であって、図6(a)に示す基準画像に対して図6(b)に示す被検査画像が得られた場合、基準画像と被検査画像とを1画素単位で輝度値の比較を行なうと、符号M1で示す画素の輝度値が、基準画像では「174」であるが、被検査画像では「200」であり、輝度値の差が20以上であるので、この位置において欠陥が生じていることがわかる。
このような欠陥は、例えば、紙面1に接触して絵柄2を転写するブランケット胴の表面にゴミが付着してその部分にインキが付かなかった場合に生じる。
【0006】
また、図6(a),(b)の符号M2で示す画素の輝度値が、基準画像では「200」であるが、被検査画像では「162」であり、輝度値の差が20以上であるので、この位置においても欠陥が生じていることがわかる。
この場合、図6(a),(b)の符号M2で示す箇所は、基準画像では輝度値が200、即ち真っ白であるはずが、被検査画像では輝度値が162とやや黒い部分が存在することになり、例えばインキのぼた落ちが発生したことが推測できる。
【0007】
なお、通常、真っ白な部分の輝度値は最大「200」になるが、1画素を大きくとるとこの白い部分は1画素内の一部となり、1画素単位では輝度値は必ずしも最大値にはならない。
【0008】
ところで、通常印刷機では、紙面1は、紙面1の長さ方向(走行方向)に適度なテンションを与えられながら、また、紙面1の幅方向へ多少蛇行しながら走行しているため、被検査画像は、基準画像に対して紙面1の長さ方向及び幅方向へずれることがある。
この場合、上述したような1画素毎の単純な比較では、例えば絵柄2の輪郭(エッジ)部分のように、隣接する画素間の輝度値の差が大きいような場合、紙面1が少しでもずれたりしたら輝度値の変化量が大きくなり、本来は「欠陥」ではなく「位置ずれ」であるのに、これを印刷物の欠陥とみなしてしまう(誤検出を起こしてしまう)おそれが生じる。
【0009】
例えば、図7(a),(b)に示すように紙面がx方向へずれることにより、図7(a)に示す基準画像に対して図7(b)に示す被検査画像が得られた場合、符号M3で示す画素の輝度値が、基準画像では「200」であるが、被検査画像では「150」となり、もし欠陥とみなす輝度値の差を予め「20」に設定していたとしたら、この位置において欠陥が生じていると誤検出してしまうのである。
【0010】
従来の検査装置では、このような紙面1の位置ずれによる誤検出を防止するため、絵柄2の各エッジ部分において隣接する画素の輝度値の差に応じた所定値(欠陥判定値)D2(所定値D1よりもαだけ大きい値。D1+α)を設定して、エッジ部分における検出性能を低下させておくことで、位置ずれによる誤検出を防止している。
【0011】
【発明が解決しようとする課題】
しかしながら、上述したような従来の検査装置では、単なる位置ずれであっても、位置ずれによっては、基準画像と被検査画像との輝度値の差が欠陥判定値D2を越えてしまうこともあり、当然のことながら位置ずれに対して印刷欠陥であるものと誤検出を起こしてしまう。
【0012】
新聞等を印刷する場合、印刷速度が速く紙面のぶれが大きいので、上述したように10mm×10mmを1画素としたおおまかな検査で十分であるが、チラシ広告や写真などの商業印刷の場合には、例えば1mm×1mmを1画素としてより精度良く検査を行なっており、このような場合には誤検出を防止することが一層困難となる。
【0013】
また、上述のような位置ずれ対応を行なうと、絵柄2のエッジ部分に欠陥があったとしても、この欠陥による輝度値の変化量が欠陥判定値D2以内であれば、この欠陥はマスクされてしまい検出することができなかった。
【0014】
本発明は、このような課題に鑑み創案されたもので、印刷面の位置ずれによる誤検出を防止して、より精度良く印刷物の欠陥を検出できるようにした、印刷物の検査装置及び検査方法を提供することを目的とする。
【0015】
【課題を解決するための手段】
このため、本発明の印刷物の検査装置(請求項1)は、印刷面から印刷された被検査画像を、該印刷面の位置(x,y)をパラメータとした濃淡レベル値f(x,y)として検出する画像検出手段と、検査基準となる基準画像を、印刷面の位置(x,y)をパラメータとした濃淡レベル値fbase(x,y)として記憶する記憶手段と、該印刷面における被検査画像の該基準画像に対するサブピクセルの位置ずれ量(Δx,Δy)を算出する位置ずれ算出手段と、該画像検出手段により検出された被検査画像の濃淡レベル値f(x,y)を該位置ずれ算出手段により算出された位置ずれ量(Δx,Δy)に基づいて位置ずれ補正する位置ずれ補正手段と、該位置ずれ補正手段により位置ずれ補正された補正画像の濃淡レベル値F(x,y)と該基準画像の濃淡レベル値fbase(x,y)との差|fbase(x,y)−F(x,y)|から、該基準画像の濃淡レベル値fbase(x,y)の"位置ずれ方向へのパラメータに関する二次微分値"を減算して得られた該被検査画像の濃淡レベル差を、予め設定された基準値とピクセルで比較し、該濃淡レベル差が該基準値よりも大きい場合に欠陥と判定して該被検査画像の欠陥を検出する欠陥検出手段とをそなえていることを特徴としている。
【0016】
該画像検出手段は、該印刷面の幅方向に設けられたラインセンサカメラをそなえていることが好ましい(請求項2)。
該ラインセンサカメラは、連続紙に印刷を行なう輪転機に付設されていることが好ましい(請求項3)。
該濃淡レベル値は、輝度値であることが好ましい(請求項4)。
【0017】
本発明の印刷物の検査方法(請求項5)は、印刷面から印刷された被検査画像を、該印刷面の位置(x,y)をパラメータとした濃淡レベル値f(x,y)として検出する第1のステップと、予め記憶しておいた検査基準となる基準画像の濃淡レベル値fbase(x,y)に対する該被検査画像の濃淡レベル値f(x,y)のサブピクセルの位置ずれ量(Δx,Δy)を算出する第2のステップと、該被検査画像の濃淡レベル値f(x,y)を該位置ずれ量(Δx,Δy)に基づいて位置ずれ補正する第3のステップと、位置ずれ補正した補正画像の濃淡レベル値F(x,y)と該基準画像の濃淡レベル値fbase(x,y)との差|fbase(x,y)−F(x,y)|から、該基準画像の濃淡レベル値fbase(x,y)の"位置ずれ方向へのパラメータに関する二次微分値"を減算して得られた該被検査画像の濃淡レベル差を、予め設定された基準値とピクセルで比較し、該濃淡レベル差が該基準値よりも大きい場合に欠陥と判定して該被検査画像の欠陥を検出する第4のステップとをそなえていることを特徴としている。
【0018】
【発明の実施の形態】
以下、図面により、本発明の実施の形態について説明する。
図1は本発明の一実施形態としての印刷物の検査装置を示す概略構成図である。
図1に示すように、本実施形態の印刷物の検査装置は、例えば連続紙(紙面)1に印刷を行なう輪転機にそなえられるもので、画像検出手段としてのラインセンサカメラ3及び画像処理手段5と、ラインセンサカメラ3に接続されたコンピュータ等の制御部4と、表示手段としてのディスプレイ10とをそなえて構成されている。
【0019】
ラインセンサカメラ3は、図示省略のCCDイメージセンサ素子,レンズ等から構成されており、光源(例えば蛍光灯)3aにより照明された紙面1からの反射光量を検出することにより、同一の絵柄2が連続して印刷された紙面1の画像を取り込むようになっている。
【0020】
画像処理手段5は、制御部4内の機能の1つとして設けられており、ラインセンサカメラ3により取り込まれた画像を、紙面1の幅方向をx軸、紙面1の走行方向をy軸とした、即ち印刷面の位置(x,y)をパラメータとした濃淡レベル値(具体的には輝度値)f(x,y)として画像データに変換するようになっている。
【0021】
また、画像処理手段5は、ラインセンサカメラ3により取り込まれた画像を、さらに細かいサブピクセル(1/N画素)に展開できるようになっている。なお、Nは、必要な検査精度に応じて変更することが可能であり、例えばN=100に設定すれば、1/100画素単位で後述する位置ずれを検出することが可能となる。
【0022】
制御部4は、前述した画像処理手段5の他に、記憶手段6,位置ずれ算出手段7,位置ずれ補正手段8,欠陥検出手段9に相当する各機能をそなえて構成されている。
記憶手段5は、検査基準となる基準画像を、輝度値fbase(x,y)として記憶するようになっている。
【0023】
位置ずれ算出手段7は、記憶手段5に予め記憶されている基準画像fbase(x,y)と、検査対象となる現在の画像(以下、被検査画像という)f(x,y)とのx軸方向及びy軸方向の輝度断面データを生成し、基準画像fbase(x,y)と被検査画像f(x,y)とを比較して、被検査画像f(x,y)の基準画像fbase(x,y)に対する位置ずれ量(Δx,Δy)を算出するようになっている。
【0024】
ここで、被検査画像f(x,y)が基準画像fbase(x,y)に対してx軸方向へのみ位置ずれしている場合について説明する。図2は、一例として、基準画像fbase(x,y)及び被検査画像f(x,y)のx軸方向についての輝度グラフを示している。
位置ずれ量を算出する際には、紙面1の端部(図2に示す区間x1〜x2)における輝度断面データを使用し、この区間において、以下に示す式(1)の変数tを1/Nずつ変化させながら(サブピクセルレベルで)計算していく。
【0025】
【数1】

Figure 0003759111
【0026】
上記の式1で、V(t)の値が最小になる時のtを求め、このときのtを、被検査画像f(x,y)の基準画像fbase(x,y)に対する位置ずれ量Δxと決定する。
【0027】
位置ずれ補正手段8では、ラインセンサカメラ3により検出された被検査画像f(x,y)を、位置ずれ算出手段7により算出された位置ずれ量(Δx,Δy)に基づいて位置ずれ補正するようになっている。
【0028】
この位置ずれ補正について具体的に説明する。また、説明を段階的に行なうため、画像を一次元のものとする。つまり、基準画像をfbase(x)、被検査画像をf(x)とする。
図3に示すように、検査対象が、基準画像fbase(x)に対してx軸の正方向にΔxだけずれている時、取り込まれる被検査画像f(x)は欠陥がなければ式(2)で表わされる。
【0029】
【数2】
Figure 0003759111
また、被検査画像f(x)を位置ずれ補正した後の補正画像F(x)は式(3)で表わされる。
【数3】
Figure 0003759111
この式(3)により、被検査画像f(x)の位置ずれを補正することで補正画像の濃淡レベル値F(x)を得ることができる。
【0030】
欠陥検出手段9では、まず、以下に示す式(4)により、補正画像F(x)と基準画像fbase(x)との差から、基準画像fbase(x)の“位置ずれ方向(ここではx軸方向)へのパラメータに関する二次微分値”を減算するようになっている。
【数4】
Figure 0003759111
【0031】
そして、欠陥検出手段9では、式(4)により得られた被検査画像f(x)の輝度値の差(濃淡レベル差)Sを予め設定されたしきい値と比較し、Sがしきい値よりも大であれば欠陥があると判定し、Sがしきい値以下であれば欠陥はないと判定するようになっている。
【0032】
ところで、式(4)は、以下のような計算により求められたものである。まず、式(3)に式(2)を代入して以下の式(5)を得る。
【数5】
Figure 0003759111
【0033】
ここで、Δx(1−Δx)をkとおいて整理すると、以下の式(6)が得られる。
【数6】
Figure 0003759111
また、式(6)の右辺の中括弧の中を整理すると、以下の式(7)が得られる。
【数7】
Figure 0003759111
この式(7)は、基準画像fbase(x)の差分の差分、すなわち基準画像fbase(x)の2次微分を示している。
【0034】
さらに、画像を二次元で表示すると、即ち、基準画像をfbase(x,y)、被検査画像をf(x,y)とすると、上述と同様の考え方で、以下の式(8)を得る。
【数8】
Figure 0003759111
【0035】
なお、式(8)の右辺第1項は基準画像fbase(x,y)のx軸方向の2次微分値、右辺第2項は基準画像fbase(x,y)のy軸方向の2次微分値、右辺第3項は基準画像fbase(x,y)の斜め方向の2次微分値である。
【0036】
上述したように、基準画像fbase(x,y)から補正画像F(x,y)を減算しても結果は0にはならず、ある値を持っている。この値は、基準画像fbase(x,y)の2次微分値と等しい値であることがわかる。
つまり、本検査装置では、基準画像fbase(x,y)から補正画像F(x,y)を減算した値から、基準画像fbase(x,y)の2次微分値をさらに減算することにより、より精度良く位置ずれを補正した上で被検査画像f(x,y)に飛び汚れ等の欠陥があるか否かを判定できるようになっている。
【0037】
また、本検査装置では、欠陥検出手段9により欠陥が発見された箇所の被検査画像f(x,y)の輝度断面のグラフを表示するとともに、該当箇所に矢印アイコン等を表示することで、作業者に対して、より明瞭に欠陥の位置を知らせることができるようになっている。
なお、ディスプレイ10に印刷物の画像を表示するとともに、欠陥と判定された箇所の座標を表示したり、あるいは、欠陥と判定された箇所に矢印アイコンなどを表示したりするようにしても良い。
【0038】
本実施形態の印刷物の検査装置は、上述のように構成されているので、例えば図4に示すフローに沿って検査が行なわれる。
つまり、まず、予め検査基準となる画像(基準画像)をラインセンサカメラ3により取り込み、必要な画像処理を施した後、記憶手段6に記憶させておく(ステップS10)。次に、ラインセンサカメラ3により検査対象となる被検査画像を取り込み、必要な画像処理を施す(ステップS20。第1のステップ)。
【0039】
そして、位置ずれ算出手段7により、被検査画像の基準画像に対する位置ずれ量を算出する(ステップS30。第2のステップ)。
その後、位置ずれ補正手段8により、被検査画像の位置ずれを補正して補正画像を求める(ステップS40。第3のステップ)。
そして、欠陥検出手段9により、基準画像から補正画像と基準画像の2次微分値を減算し、その結果がしきい値を越えている場合、この箇所を欠陥と判定して検出し(ステップS50。第4のステップ)、この欠陥箇所の輝度断面データをディスプレイ10に出力(表示)する(ステップS60)。
【0040】
このように、本実施形態の検査装置及び検査方法では、被検査画像が基準画像に対して位置ずれを起こしていても、この位置ずれを正確に補正した上で、基準画像との違い(欠陥)を検出することができるので、従来のように絵柄2の各エッジ部分に異なるしきい値を設定しておく必要がなく、エッジ部分における欠陥の検出性能を低下させることがない。
したがって、紙面1の位置ずれによる誤検出(見のがし)を防止することができ、より精度良く印刷物の欠陥を検出することが可能である。
【0041】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、本実施形態において、位置ずれ補正手段8では残差逐次近似法を用いて被検査画像の位置ずれを補正する構成としたが、これに限定されるものではなく、公知の正規化相関演算等により位置ずれを補正するように構成しても良い。
【0042】
また、本実施形態では、ラインセンサカメラ3により検査基準として取り込んだ基準画像を、画像処理手段5により必要な画像処理を施してから記憶手段6に記憶するように構成したが、ラインセンサカメラ3により取り込んだ画像を記憶手段6に記憶しておき、必要な時に画像処理手段5により画像処理を施すように構成してももちろん良い。
【0043】
【発明の効果】
以上詳述したように、本発明の印刷物の検査装置及び検査方法によれば、基準画像fbase(x,y)から補正画像F(x,y)を減算した値から、基準画像fbase(x,y)の2次微分値をさらに減算することにより、位置ずれを正確に補正した上で被検査画像f(x,y)に飛び汚れ等の欠陥があるか否かを判定できる。
【0044】
これにより、従来のように絵柄の各エッジ部分に異なるしきい値を設定しておく必要がなく、エッジ部分における欠陥の検出性能を低下させることがない。
したがって、紙面の位置ずれによる誤検出を防止することができ、より精度良く印刷物の欠陥を検出することが可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態としての印刷物の検査装置を示す模式的な構成図(一部ブロック図)である。
【図2】本発明の一実施形態に係る位置ずれ算出手段における処理を説明するためのもので、基準画像及び被検査画像の輝度断面データを示すグラフである。
【図3】本発明の一実施形態に係る位置ずれ補正手段における処理を説明するための図である。
【図4】本発明の一実施形態としての印刷物の検査方法における処理を示すフローチャートである。
【図5】従来の印刷物の検査装置を説明するための模式的な構成図である。
【図6】従来の印刷物の検査方法における処理を説明するための図であって、(a)は基準画像、(b)は被検査画像を模式的に示す図である。
【図7】従来の印刷物の検査方法における処理を説明するための図であって、(a)は基準画像、(b)は被検査画像を模式的に示す図である。
【符号の説明】
1 紙面
2 絵柄
3 ラインセンサカメラ(画像検出手段の一部)
3a 光源
4 制御部(コンピュータ)
5 画像処理手段(画像検出手段の一部)
6 記憶手段
7 位置ずれ算出手段
8 位置ずれ補正手段
9 欠陥検出手段
10 表示手段(ディスプレイ)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an inspection apparatus and an inspection method for detecting a defect in a pattern of a printed matter, and more particularly to an inspection device and an inspection method for a printed matter that detect a defect in consideration of a positional deviation on a paper surface.
[0002]
[Prior art]
In general, a printing machine is provided with an inspection device for printed matter that inspects whether or not a pattern printed on a paper surface is free from defects.
For example, in a conventional inspection apparatus for a rotary press, as shown in FIG. 5, the light source 3a emits light onto the paper surface 1 and the line sensor camera 3 reflects the reflected light from the paper surface 1 by one pixel (for example, 10 mm × 10 mm). Detection is performed every time, and the image is converted into image data indicated by a gray level value (specifically, a luminance value or a light amount value).
[0003]
The amount of reflected light is detected for each pixel by decomposing a predetermined area including the area to be printed on the paper 1 into a matrix of one pixel unit. The luminance value at this time is, for example, 0 to 200, with the luminance value of the lowest (blackest) part being “0” and the luminance value of the highest (whitest) part being “200”. Shown as an integer value.
[0004]
Then, the reference image stored in advance (reference image) and the image to be inspected (inspected image) are compared with each other in the corresponding pixel (10 mm × 10 mm) unit, and the reference image is compared. if the difference between the luminance value of the luminance values and the inspection image a predetermined value (defect determination value) D 1 or more, so as to detect this as a defect.
[0005]
For example, when the defect determination value is set to “20” and the inspection image shown in FIG. 6B is obtained with respect to the reference image shown in FIG. When the luminance value of the image is compared in units of one pixel, the luminance value of the pixel indicated by the symbol M 1 is “174” in the reference image, but “200” in the inspected image, and the difference in luminance value is Since it is 20 or more, it turns out that the defect has arisen in this position.
Such a defect occurs, for example, when dust adheres to the surface of the blanket cylinder that transfers the pattern 2 in contact with the paper surface 1 and ink is not applied to that portion.
[0006]
Further, the luminance value of the pixel indicated by the symbol M 2 in FIGS. 6A and 6B is “200” in the reference image, but “162” in the inspected image, and the difference in luminance value is 20 or more. Therefore, it can be seen that a defect is also generated at this position.
In this case, the portion indicated by the symbol M 2 in FIGS. 6A and 6B should have a luminance value of 200, that is, pure white in the reference image, but a slightly black portion having a luminance value of 162 in the inspected image. For example, it can be estimated that ink drops have occurred.
[0007]
Normally, the brightness value of the white part is “200” at the maximum, but if one pixel is increased, this white part becomes a part of one pixel, and the brightness value does not necessarily become the maximum value in one pixel unit. .
[0008]
By the way, in a normal printing machine, the paper surface 1 travels while being given an appropriate tension in the length direction (running direction) of the paper surface 1 and while meandering in the width direction of the paper surface 1 to some extent. The image may be shifted in the length direction and width direction of the paper surface 1 with respect to the reference image.
In this case, in the simple comparison for each pixel as described above, for example, when the difference in luminance value between adjacent pixels is large, such as the outline (edge) portion of the pattern 2, the paper surface 1 may be slightly shifted. If this happens, the amount of change in the brightness value becomes large, and although it is originally “positional deviation” instead of “defect”, there is a risk that this will be regarded as a defect in the printed matter (incorrect detection will occur).
[0009]
For example, as shown in FIGS. 7A and 7B, the inspection image shown in FIG. 7B is obtained with respect to the reference image shown in FIG. 7A by shifting the paper surface in the x direction. In this case, the luminance value of the pixel indicated by the symbol M 3 is “200” in the reference image, but “150” in the image to be inspected, and the difference between the luminance values regarded as defects is set to “20” in advance. Then, it is erroneously detected that a defect has occurred at this position.
[0010]
In the conventional inspection apparatus, in order to prevent such erroneous detection due to the displacement of the paper surface 1, a predetermined value (defect determination value) D 2 (defect determination value) D 2 (defect determination value) corresponding to the difference in luminance value of adjacent pixels at each edge portion of the pattern 2. By setting α to a value larger than the predetermined value D 1 by D 1 + α), the detection performance at the edge portion is lowered to prevent erroneous detection due to misalignment.
[0011]
[Problems to be solved by the invention]
However, the conventional inspection apparatus as described above, be a simple misalignment by the position deviation also is possible that the difference in luminance value between the reference image and the inspection image exceeds the defect determination value D 2 As a matter of course, misdetection of a print defect with respect to misalignment occurs.
[0012]
When printing newspapers, etc., the printing speed is fast and the paper surface blurring is large, so a rough inspection with 10 mm x 10 mm as one pixel is sufficient as described above. In this case, for example, 1 mm × 1 mm is used as one pixel for more accurate inspection. In such a case, it becomes more difficult to prevent erroneous detection.
[0013]
Further, when the positional deviation corresponding as described above, even if a defect in the edge portion of the pattern 2, if the defect determination value D 2 within the amount of change in luminance value by the defect, the defect is masked Could not be detected.
[0014]
The present invention was devised in view of such problems, and provides a printed matter inspection apparatus and inspection method capable of preventing erroneous detection due to misalignment of the printed surface and detecting defects of the printed matter with higher accuracy. The purpose is to provide.
[0015]
[Means for Solving the Problems]
For this reason, the printed matter inspection apparatus according to the present invention (Claim 1) uses the inspected image printed from the print surface as a lightness level value f (x, y) using the position (x, y) of the print surface as a parameter. ), A storage means for storing a reference image serving as an inspection reference as a gray level value f base (x, y) with the position (x, y) of the print surface as a parameter, and the print surface A displacement calculating means for calculating a displacement (Δx, Δy) of a sub-pixel of the image to be inspected with respect to the reference image, and a gray level value f (x, y) of the inspection image detected by the image detecting means. Based on the positional deviation amount (Δx, Δy) calculated by the positional deviation calculating means, and the gray level value F (of the corrected image corrected by the positional deviation correcting means. x, y) and the group "Position from, gray level value of the reference image f base (x, y) | difference between gray level values f base image (x, y) | f base (x, y) -F (x, y) The gray level difference of the image to be inspected obtained by subtracting the “secondary differential value relating to the parameter in the shift direction” is compared with a preset reference value by a pixel, and the gray level difference is smaller than the reference value. It is characterized by having defect detection means for detecting a defect in the image to be inspected when it is large.
[0016]
The image detecting means preferably includes a line sensor camera provided in the width direction of the printing surface.
The line sensor camera is preferably attached to a rotary press that prints on continuous paper.
The gray level value is preferably a luminance value.
[0017]
The printed matter inspection method of the present invention (Claim 5) detects an image to be inspected printed from a printing surface as a gray level value f (x, y) using the position (x, y) of the printing surface as a parameter. And the position of the sub-pixel of the gray level value f (x, y) of the image to be inspected with respect to the gray level value f base (x, y) of the reference image serving as the inspection standard stored in advance. A second step of calculating a shift amount (Δx, Δy), and a third step of correcting the shift of the gray level value f (x, y) of the image to be inspected based on the shift amount (Δx, Δy). The difference between the step and the gray level value F (x, y) of the corrected image corrected for misalignment and the gray level value f base (x, y) of the reference image | f base (x, y) −F (x, parameters from, gray level value f base of the reference image (x, y) "to the position deviation direction | y) The gray level difference between the obtained obtaining step image by subtracting the secondary differential value "relating data, compared with a preset reference value and the pixel, defects if the concentrated light level difference is greater than the reference value And a fourth step of detecting a defect in the image to be inspected.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram illustrating a printed matter inspection apparatus according to an embodiment of the present invention.
As shown in FIG. 1, the printed matter inspection apparatus according to the present embodiment is provided, for example, in a rotary press that prints on continuous paper (paper surface) 1, and includes a line sensor camera 3 and an image processing means 5 as image detecting means. And a control unit 4 such as a computer connected to the line sensor camera 3 and a display 10 as a display means.
[0019]
The line sensor camera 3 is composed of a CCD image sensor element, a lens, etc. (not shown), and by detecting the amount of light reflected from the paper surface 1 illuminated by a light source (for example, a fluorescent lamp) 3a, the same pattern 2 is obtained. Images of the paper 1 printed continuously are captured.
[0020]
The image processing means 5 is provided as one of the functions in the control unit 4, and the image captured by the line sensor camera 3 is represented with the width direction of the paper surface 1 as the x axis and the traveling direction of the paper surface 1 as the y axis. That is, it is converted into image data as a light / dark level value (specifically, luminance value) f (x, y) using the position (x, y) of the printing surface as a parameter.
[0021]
Further, the image processing means 5 can expand the image captured by the line sensor camera 3 into finer subpixels (1 / N pixels). Note that N can be changed according to the required inspection accuracy. For example, if N is set to 100, it is possible to detect a positional shift described later in units of 1/100 pixels.
[0022]
In addition to the image processing means 5 described above, the control unit 4 is configured to have functions corresponding to the storage means 6, the positional deviation calculation means 7, the positional deviation correction means 8, and the defect detection means 9.
The storage unit 5 stores a reference image serving as an inspection reference as a luminance value f base (x, y).
[0023]
The misregistration calculation means 7 includes a reference image f base (x, y) stored in advance in the storage means 5 and a current image to be inspected (hereinafter referred to as an inspected image) f (x, y). Luminance cross-sectional data in the x-axis direction and the y-axis direction are generated, and the reference image f base (x, y) is compared with the inspected image f (x, y), and the inspected image f (x, y) is compared. A positional deviation amount (Δx, Δy) with respect to the reference image f base (x, y) is calculated.
[0024]
Here, a case where the inspection image f (x, y) is displaced only in the x-axis direction with respect to the reference image f base (x, y) will be described. FIG. 2 shows, as an example, a luminance graph in the x-axis direction of the reference image f base (x, y) and the inspection image f (x, y).
When calculating the amount of misalignment, the luminance cross-section data at the end of the paper surface 1 (sections x 1 to x 2 shown in FIG. 2 ) is used, and in this section, the variable t in the equation (1) shown below is set. The calculation is performed while changing by 1 / N (at the sub-pixel level).
[0025]
[Expression 1]
Figure 0003759111
[0026]
In Equation 1 above, t when the value of V (t) is minimized is obtained, and t at this time is determined as a positional deviation of the image to be inspected f (x, y) with respect to the reference image f base (x, y). The amount is determined as Δx.
[0027]
The positional deviation correction unit 8 corrects the positional deviation of the inspected image f (x, y) detected by the line sensor camera 3 based on the positional deviation amount (Δx, Δy) calculated by the positional deviation calculation unit 7. It is like that.
[0028]
This positional deviation correction will be specifically described. In order to explain step by step, the image is assumed to be one-dimensional. That is, the base image is f base (x), and the inspection image is f (x).
As shown in FIG. 3, when the inspection object is deviated by Δx in the positive x-axis direction with respect to the reference image f base (x), the captured inspection image f (x) has an equation ( 2).
[0029]
[Expression 2]
Figure 0003759111
Further, the corrected image F (x) after correcting the displacement of the image to be inspected f (x) is expressed by Expression (3).
[Equation 3]
Figure 0003759111
By using this equation (3), the gray level value F (x) of the corrected image can be obtained by correcting the positional deviation of the inspection image f (x).
[0030]
The defect detection device 9, first, the equation (4) shown below, from the difference between the corrected image F (x) the reference image f base (x), the reference image f base of (x) "positional deviation direction (here Then, the secondary differential value "relating to the parameter in the x-axis direction) is subtracted.
[Expression 4]
Figure 0003759111
[0031]
Then, the defect detection means 9 compares the brightness value difference (light / dark level difference) S of the inspected image f (x) obtained by the equation (4) with a preset threshold value, and S is the threshold. If it is larger than the value, it is determined that there is a defect, and if S is less than or equal to the threshold value, it is determined that there is no defect.
[0032]
By the way, Formula (4) is calculated | required by the following calculations. First, the following formula (5) is obtained by substituting the formula (2) into the formula (3).
[Equation 5]
Figure 0003759111
[0033]
Here, when Δx (1−Δx) is arranged as k, the following equation (6) is obtained.
[Formula 6]
Figure 0003759111
Moreover, the following formula (7) is obtained by arranging the curly brackets on the right side of the formula (6).
[Expression 7]
Figure 0003759111
The equation (7), the difference of the difference between the reference image f base (x), that is, the second derivative of the reference image f base (x).
[0034]
Further, when the image is displayed in two dimensions, that is, when the base image is f base (x, y) and the image to be inspected is f (x, y), the following equation (8) is expressed in the same way as described above. obtain.
[Equation 8]
Figure 0003759111
[0035]
Note that the first term is the reference image f base (x, y) of formula (8) x-axis direction of the second derivative of the second term is the reference image f base (x, y) in the y-axis direction The secondary differential value, the third term on the right side, is the secondary differential value in the oblique direction of the reference image f base (x, y).
[0036]
As described above, even if the corrected image F (x, y) is subtracted from the reference image f base (x, y), the result does not become 0 but has a certain value. It can be seen that this value is equal to the secondary differential value of the reference image f base (x, y).
That is, in this inspection apparatus, the reference image f base (x, y) correction image F (x, y) from the value obtained by subtracting the reference image f base (x, y) to further subtract the second derivative of Thus, it is possible to determine whether or not the inspection image f (x, y) has a defect such as a flying stain after correcting the positional deviation with higher accuracy.
[0037]
Moreover, in this inspection apparatus, while displaying the graph of the brightness | luminance cross section of the to-be-inspected image f (x, y) of the location where the defect was discovered by the defect detection means 9, and displaying an arrow icon etc. in an applicable location, It is possible to inform the operator of the position of the defect more clearly.
In addition, while displaying the image of printed matter on the display 10, you may display the coordinate of the location determined to be a defect, or may display the arrow icon etc. in the location determined to be a defect.
[0038]
Since the printed matter inspection apparatus of the present embodiment is configured as described above, for example, inspection is performed along the flow shown in FIG.
That is, first, an image (reference image) serving as an inspection reference is captured in advance by the line sensor camera 3 and subjected to necessary image processing, and then stored in the storage unit 6 (step S10). Next, an inspected image to be inspected is captured by the line sensor camera 3 and necessary image processing is performed (step S20, first step).
[0039]
Then, the misregistration calculating means 7 calculates the misregistration amount of the image to be inspected with respect to the reference image (step S30, second step).
Thereafter, the positional deviation correction means 8 corrects the positional deviation of the image to be inspected to obtain a corrected image (step S40, third step).
Then, the defect detection means 9 subtracts the secondary differential value of the corrected image and the reference image from the reference image, and if the result exceeds the threshold value, this portion is determined as a defect and detected (step S50). (4th step), the brightness | luminance cross-section data of this defect location are output (displayed) to the display 10 (step S60).
[0040]
As described above, in the inspection apparatus and the inspection method according to the present embodiment, even when the image to be inspected is misaligned with respect to the reference image, the difference (defects) from the reference image is corrected after accurately correcting the misalignment. ) Can be detected, it is not necessary to set different threshold values for each edge portion of the pattern 2 as in the prior art, and the defect detection performance in the edge portion is not deteriorated.
Accordingly, it is possible to prevent erroneous detection (lookout) due to the positional deviation of the paper surface 1 and to detect a defect in the printed matter with higher accuracy.
[0041]
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
For example, in the present embodiment, the misregistration correction unit 8 is configured to correct the misregistration of the image to be inspected using the residual successive approximation method. However, the present invention is not limited to this, and a known normalized correlation calculation is used. It is also possible to configure so as to correct the positional deviation by, for example.
[0042]
In the present embodiment, the reference image captured as the inspection reference by the line sensor camera 3 is stored in the storage unit 6 after the image processing unit 5 performs necessary image processing. Of course, it is possible to store the image captured in the storage means 6 and perform image processing by the image processing means 5 when necessary.
[0043]
【The invention's effect】
As described above in detail, according to the printed matter inspection apparatus and inspection method of the present invention, the reference image f base (x) is obtained by subtracting the corrected image F (x, y) from the reference image f base (x, y). By further subtracting the second-order differential value of x, y), it is possible to determine whether or not the inspection image f (x, y) has a defect such as a flying stain after correcting the positional deviation accurately.
[0044]
This eliminates the need to set different threshold values for each edge portion of the pattern as in the prior art, and does not degrade the defect detection performance at the edge portion.
Accordingly, it is possible to prevent erroneous detection due to the positional deviation of the paper surface, and it is possible to detect a defect of the printed matter with higher accuracy.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram (partial block diagram) showing a printed matter inspection apparatus according to an embodiment of the present invention.
FIG. 2 is a graph illustrating luminance cross-sectional data of a reference image and an image to be inspected for explaining processing in a positional deviation calculation unit according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining processing in a misalignment correction unit according to an embodiment of the present invention.
FIG. 4 is a flowchart showing processing in a printed matter inspection method according to an embodiment of the present invention.
FIG. 5 is a schematic configuration diagram for explaining a conventional printed matter inspection apparatus.
FIGS. 6A and 6B are diagrams for explaining processing in a conventional printed matter inspection method, in which FIG. 6A is a diagram schematically illustrating a reference image, and FIG.
FIGS. 7A and 7B are diagrams for explaining processing in a conventional printed matter inspection method, in which FIG. 7A schematically illustrates a reference image and FIG. 7B schematically illustrates an inspection image;
[Explanation of symbols]
1 Paper 2 Picture 3 Line sensor camera (part of image detection means)
3a Light source 4 Control unit (computer)
5 Image processing means (part of image detection means)
6 storage means 7 position deviation calculation means 8 position deviation correction means 9 defect detection means 10 display means (display)

Claims (5)

印刷面から印刷された被検査画像を、該印刷面の位置(x,y)をパラメータとした濃淡レベル値f(x,y)として検出する画像検出手段と、
検査基準となる基準画像を、印刷面の位置(x,y)をパラメータとした濃淡レベル値fbase(x,y)として記憶する記憶手段と、
該印刷面における被検査画像の該基準画像に対するサブピクセルの位置ずれ量(Δx,Δy)を算出する位置ずれ算出手段と、
該画像検出手段により検出された被検査画像の濃淡レベル値f(x,y)を該位置ずれ算出手段により算出された位置ずれ量(Δx,Δy)に基づいて位置ずれ補正する位置ずれ補正手段と、
該位置ずれ補正手段により位置ずれ補正された補正画像の濃淡レベル値F(x,y)と該基準画像の濃淡レベル値fbase(x,y)との差|fbase(x,y)−F(x,y)|から、該基準画像の濃淡レベル値fbase(x,y)の"位置ずれ方向へのパラメータに関する二次微分値"を減算して得られた該被検査画像の濃淡レベル差を、予め設定された基準値とピクセルで比較し、該濃淡レベル差が該基準値よりも大きい場合に欠陥と判定して該被検査画像の欠陥を検出する欠陥検出手段とをそなえている
ことを特徴とする、印刷物の検査装置。
Image detecting means for detecting an image to be inspected printed from the printing surface as a gray level value f (x, y) using the position (x, y) of the printing surface as a parameter;
Storage means for storing a reference image serving as an inspection reference as a gray level value f base (x, y) with the position (x, y) of the printing surface as a parameter;
A misregistration calculating means for calculating a subpixel misregistration amount (Δx, Δy) of the image to be inspected on the printing surface with respect to the reference image;
A positional deviation correction means for correcting the positional deviation based on the positional deviation amount (Δx, Δy) calculated by the positional deviation calculation means for the gray level value f (x, y) of the inspection image detected by the image detection means. When,
Difference between the gray level value F (x, y) of the corrected image corrected for positional deviation by the positional deviation correction means and the gray level value f base (x, y) of the reference image | f base (x, y) − The density of the image to be inspected obtained by subtracting the “secondary differential value relating to the parameter in the direction of displacement” of the density level value f base (x, y) of the reference image from F (x, y) | Comparing a level difference with a reference value set in advance with a pixel, and a defect detection means for determining a defect when the difference in gray level is larger than the reference value and detecting a defect in the inspected image An inspection apparatus for printed matter, characterized by comprising:
該画像検出手段は、該印刷面の幅方向に設けられたラインセンサカメラをそなえている
ことを特徴とする、請求項1記載の印刷物の検査装置。
The printed image inspection apparatus according to claim 1, wherein the image detection unit includes a line sensor camera provided in a width direction of the printing surface.
該ラインセンサカメラは、連続紙に印刷を行なう輪転機に付設されている
ことを特徴とする、請求項2記載の印刷物の検査装置。
3. The printed matter inspection apparatus according to claim 2, wherein the line sensor camera is attached to a rotary press that performs printing on continuous paper.
該濃淡レベル値は、輝度値である
ことを特徴とする、請求項1〜3の何れか1項に記載の印刷物の検査装置。
The printed matter inspection apparatus according to claim 1, wherein the gray level value is a luminance value.
印刷面から印刷された被検査画像を、該印刷面の位置(x,y)をパラメータとした濃淡レベル値f(x,y)として検出する第1のステップと、
予め記憶しておいた検査基準となる基準画像の濃淡レベル値fbase(x,y)に対する該被検査画像の濃淡レベル値f(x,y)のサブピクセルの位置ずれ量(Δx,Δy)を算出する第2のステップと、
該被検査画像の濃淡レベル値f(x,y)を該位置ずれ量(Δx,Δy)に基づいて位置ずれ補正する第3のステップと、
位置ずれ補正した補正画像の濃淡レベル値F(x,y)と該基準画像の濃淡レベル値fbase(x,y)との差|fbase(x,y)−F(x,y)|から、該基準画像の濃淡レベル値fbase(x,y)の"位置ずれ方向へのパラメータに関する二次微分値"を減算して得られた該被検査画像の濃淡レベル差を、予め設定された基準値とピクセルで比較し、該濃淡レベル差が該基準値よりも大きい場合に欠陥と判定して該被検査画像の欠陥を検出する第4のステップとをそなえている
ことを特徴とする、印刷物の検査方法。
A first step of detecting an image to be inspected printed from a printing surface as a gray level value f (x, y) using the position (x, y) of the printing surface as a parameter;
The positional deviation amount (Δx, Δy) of the subpixel of the gray level value f (x, y) of the image to be inspected with respect to the gray level value f base (x, y) of the reference image serving as the inspection standard stored in advance. A second step of calculating
A third step of correcting the positional deviation based on the amount of positional deviation (Δx, Δy), the gray level value f (x, y) of the image to be inspected;
Difference between the gray level value F (x, y) of the corrected image subjected to the positional deviation correction and the gray level value f base (x, y) of the reference image | f base (x, y) −F (x, y) | The difference between the gray level of the image to be inspected obtained by subtracting the “secondary differential value relating to the parameter in the direction of displacement” from the gray level value f base (x, y) of the reference image is set in advance. were compared with the reference value and the pixel, characterized in that said concentration pale level difference and a fourth step of detecting a defect of the determination to obtaining step image defect is larger than the reference value , Inspection method for printed matter.
JP2003022713A 2003-01-30 2003-01-30 Inspection device and inspection method for printed matter Expired - Fee Related JP3759111B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003022713A JP3759111B2 (en) 2003-01-30 2003-01-30 Inspection device and inspection method for printed matter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003022713A JP3759111B2 (en) 2003-01-30 2003-01-30 Inspection device and inspection method for printed matter

Publications (2)

Publication Number Publication Date
JP2004233222A JP2004233222A (en) 2004-08-19
JP3759111B2 true JP3759111B2 (en) 2006-03-22

Family

ID=32951720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003022713A Expired - Fee Related JP3759111B2 (en) 2003-01-30 2003-01-30 Inspection device and inspection method for printed matter

Country Status (1)

Country Link
JP (1) JP3759111B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841102B (en) * 2012-09-05 2015-01-14 同济大学 Recognition method and device for micro-scale damage point in damage threshold measurement
CN111242896A (en) * 2019-12-31 2020-06-05 电子科技大学 Color printing label defect detection and quality rating method
CN115631173B (en) * 2022-10-28 2023-04-18 兰州理工大学 Composite film defect identification method

Also Published As

Publication number Publication date
JP2004233222A (en) 2004-08-19

Similar Documents

Publication Publication Date Title
JP7665326B2 (en) Image processing device, image processing method, and program
JP2011076204A (en) Method and apparatus for inspecting printed matter
JP2002005846A (en) Defect inspecting apparatus
JP2015189216A (en) Inspection apparatus and inspection method
JP7350637B2 (en) High-speed image distortion correction for image inspection
JP2006130795A (en) Printing paper complex inspection system
KR100827906B1 (en) Substrate inspection device
JP3759111B2 (en) Inspection device and inspection method for printed matter
JP5521365B2 (en) Performance evaluation sheet for printed material inspection equipment
JP3433331B2 (en) Image inspection method and apparatus
JP5710101B2 (en) Printed matter inspection apparatus and printed matter inspection method
JPH04353452A (en) Method and apparatus for inspecting printed matter
JP4165932B2 (en) Light / dark inspection apparatus and light / dark inspection method
JPH1139492A (en) Print inspection equipment
JP3784762B2 (en) Pattern defect inspection apparatus and pattern defect inspection method
JP2005091331A (en) Printed product inspection apparatus and method
JP3810746B2 (en) Printing error detection method and printing error detection device
JP3756279B2 (en) Defect content discrimination method in printed matter inspection
JP3523994B2 (en) Print inspection equipment
JP2005091330A (en) Color tone inspection apparatus and method, and light stain inspection apparatus and method
JP2876999B2 (en) Printing defect inspection equipment
JP4585109B2 (en) Steel plate surface flaw detection device, detection method, and storage medium
JP3400859B2 (en) Defect pattern detection method and device
JP2004028729A (en) Card sign panel inspection method
US7720278B2 (en) Misregister amount detection method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040922

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050727

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051227

R151 Written notification of patent or utility model registration

Ref document number: 3759111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140113

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees