Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3682382B2 - 画像処理システム及び記録媒体 - Google Patents
[go: Go Back, main page]

JP3682382B2 - 画像処理システム及び記録媒体 - Google Patents

画像処理システム及び記録媒体 Download PDF

Info

Publication number
JP3682382B2
JP3682382B2 JP01537199A JP1537199A JP3682382B2 JP 3682382 B2 JP3682382 B2 JP 3682382B2 JP 01537199 A JP01537199 A JP 01537199A JP 1537199 A JP1537199 A JP 1537199A JP 3682382 B2 JP3682382 B2 JP 3682382B2
Authority
JP
Japan
Prior art keywords
image
plane
bit
luminance
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01537199A
Other languages
English (en)
Other versions
JP2000216982A (ja
Inventor
圭司 岩本
英二 新堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP01537199A priority Critical patent/JP3682382B2/ja
Publication of JP2000216982A publication Critical patent/JP2000216982A/ja
Application granted granted Critical
Publication of JP3682382B2 publication Critical patent/JP3682382B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、可視電子透かしを利用した画像処理システム、及びプログラムを記録した記録媒体に関するものである。
【0002】
【従来の技術】
昨今、インターネット等においてデジタル画像を送信する場合、その画像に権利情報等を挿入する事がある。例えば、表示された画像において、その画像の著作権者が誰のものかを示す情報等を挿入する。画像に権利情報等を挿入する電子透かし技術には可視である可視電子透かしと不可視である不可視電子透かしとがあるが、可視電子透かしは権利情報を明示することができる。
【0003】
【発明が解決しようとする課題】
しかしながら、画像に可視電子透かしを挿入すると、透かしが挿入された部分の画像の色相を損なうなど、即ち画像の意匠性を損なうといった問題がある。
【0004】
本発明はこのような問題に鑑みてなされたもので、その目的とするところは、可視電子透かしを挿入し権利情報等を明示すると共に、必要時には可視電子透かしを除去して画像の意匠性を保つことができる画像処理システムを提供することにある。
【0005】
【課題を解決するための手段】
前述した目的を達成するための第1の発明は、第1の画像を輝度プレーンの画像と輝度以外の色情報の画像とに分ける手段と、輝度プレーンをビットプレーンに分割する手段と、分割されたビットプレーンのうち、2値画像が上書きされるビットプレーンよりも下位側のビットプレーンで、2値ガ増が上書きされる領域の各ビットプレーンの値を、予め下位側にビットシフトさせ、最下位のビットプレーンの値を破棄し、分割されたビットプレーンのいずれかに2値画像を上書きし、他のビットプレーンとともに第2の画像を生成する手段と、第2の画像と輝度プレーン以外の色情報の画像とから、第3の画像を生成する手段と、を具備することを特徴とする画像処理システムである。
また、この画像処理システムによって、生成された第3の画像を輝度プレーンの画像と、輝度以外の色情報の画像に分ける手段と、輝度プレーンの画像から2値画像を除去する除去手段と、2値画像が除去された輝度プレーンの画像と、輝度以外の色情報の画像に色空間変換を行って第4の画像を生成する手段と、を具備することが好ましい。除去手段は、輝度プレーンをビットプレーンに分割し、2値画像が挿入された領域の各ビットプレーンの値を、上位側にビットシフトさせ、最下位のビットプレーンに0又は1を書き込む。
また、第2の発明は、第1の画像を輝度プレーンの画像と輝度以外の色情報の画像とに分ける手段と、輝度プレーンをビットプレーンに分割する手段と、分割されたビットプレーンのうち、2値画像が上書きされる領域のビットプレーンの値を、予め他のビットプレーンに上書きして退避させ、分割されたビットプレーンのいずれかに2値画像を上書きし、他のビットプレーンとともに第2の画像を生成する手段と、第2の画像と輝度プレーン以外の色情報の画像とから、第3の画像を生成する手段と、を具備することを特徴とする画像処理システムである。
さらに、この画像処理システムによって、生成された第3の画像を輝度プレーンの画像と、輝度以外の色情報の画像に分ける手段と、輝度プレーンの画像から2値画像を除去する除去手段と、2値画像が除去された輝度プレーンの画像と、輝度以外の色情報の画像に色空間変換を行って第4の画像を生成する手段と、を具備することが好ましい。除去手段は、輝度プレーンをビットプレーンに分割し、分割されたビットプレーンのうち、2値画像が挿入された領域のビットプレーンの値を、予め他のビットプレーンに退避させておいた値で置き換える。
【0006】
また、第3の発明は、第1の発明の画像処理システムとして機能させるプログラムが記録された記録媒体であり、第4の発明は、第2の発明の画像処理システムとして機能させるプログラムが記録された記録媒体である。
【0007】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図1は、本実施の形態に係る画像処理システム1の概略構成を示す図である。
【0008】
コンピュータ3には補助記憶装置5とマウス7が接続される。コンピュータ3では、補助記憶装置5から読み出した画像に対して、可視電子透かしの挿入および除去の処理が行われる。マウス7は、操作指示や位置、数値等の入力等に使用される。
【0009】
次に、画像処理システム1による可視電子透かし挿入処理について説明する。図2は可視電子透かし挿入処理のフローチャートであり、図3は挿入処理の概要を示す模式図である。
【0010】
図3に示すように、原画像101に対し可視電子透かしの画像201を挿入して画像111を得るものとし、画像201を挿入する領域を領域A、挿入しない領域を領域Bとする。
【0011】
原画像101の色空間変換を行い(ステップ21)、輝度情報およびその他の情報からなる色空間に変換し画像301とする。画像301において輝度プレーンからなる画像を画像401、その他の情報を示す画像を画像501とする。ここで、原画像101がもともと輝度情報を含む色空間の画像である場合は、ステップ21の処理は必要なく、原画像101の輝度プレーンを画像401とすればよい。
【0012】
次に、画像301の輝度プレーンからなる画像401の領域Aに対してビットシフト処理を行い(ステップ22)、画像402とする。画像402において最上位ビットプレーンといった特定のビットプレーンの領域Aを、可視電子透かしの2値画像201に置き換えて、透かしを挿入する(ステップ23)。
【0013】
こうして作成された可視電子透かし入りの画像411と輝度以外のプレーンの画像501とから色空間の逆変換を行い(ステップ24)、可視電子透かしの挿入された画像111を得る。
【0014】
以下、図2の各ステップについて更に詳しく説明する。
ステップ21
原画像101がRGB色空間にて表現されている画像である場合、各画素値を次式によって変換し、輝度情報とその他の情報とからなる色空間YPbPrやYIQ等に変換する。ここでは色空間YPbPrに変換する場合について述べる。色空間YPbPrの内、Yが輝度信号であり、Pb、Prは色差信号である。
【0015】
Y=0.121R+0.701G+0.087B
Pb=−0.116R−0.384G+0.500B …(1)
Pr=0.500R−0.445G−0.055B
こうして原画像101は色空間YPbPrにて表現され、その内のYプレーンが輝度プレーンの画像401となり、Pbプレーン、Prプレーンが画像501となる。
【0016】
ステップ22、ステップ23
図4は輝度プレーンのビットシフト処理の説明図である。図4に示すように、例えば画像401が256階調の画像であれば、画像401は8枚のビットプレーン601−1、601−2、…、601−8に分割される。ビットプレーン601−1は最上位ビットプレーンであり、ビットプレーン601−8は最下位ビットプレーンである。
ここである画素の値をXとすると、
Figure 0003682382
a1からa8は「0」または「1」
で表される。最上位のビットプレーン601−1はa1の値を示し、ビットプレーン601−2はa2の値を示し、以下同様に、各ビットプレーンがa3、a4……の値を示す。
【0017】
8枚のビットプレーン601−1、601−2、…、601−8の領域Aの画素のビット値は下位方向に1ビットずつシフトされ、画像402が得られる。このとき画像401における領域Aの最下位ビットの内容は破棄されるが、最下位ビットの変化は画質に対する影響が小さいため問題はない。
【0018】
得られた画像402の最上位ビットプレーン611−1の領域Aの画素のビット値は、可視電子透かしの2値画像201と置き換えられ、画像411が得られる。即ち、輝度プレーンの画像411には可視電子透かしが挿入されたことになる。
【0019】
図5は、可視電子透かし挿入処理において、領域A及び領域B内の一つの画素のビット値を示す図である。図5に示すビット81−1は画像401のビットプレーン601−1の領域Aのある画素の値であり、ビット値は「1」である。同様にビット81−2、81−3、…、81−8は画像401のビットプレーン601−2、601−3、…、601−8の同じ画素の値であり、ビット値は「0」、「1」、…、「0」となる。
【0020】
図5に示すように、画像401においてビット81−1からビット81−7の値が下位方向へシフトされる。即ち、画像402のビット82−2から82−8にビット81−1からビット81−7の値が入り、ビット81−8の内容は破棄される。このとき図5ではビット82−1に「0」が入れられるが、これは「1」でもよい。
【0021】
次に、ビット82−1の値を、可視電子透かしパターン即ち画像201の相当画素の値である「0」と置き換える。こうして可視電子透かしが挿入された画像411が得られる。
【0022】
一方、図5に示す領域Bの画素のビット値は画像401、画像402、画像411において変わらない。
但し、本実施の形態では領域Aと領域Bとを判別するための情報を画像411に持たしていないため、図5に示す最下位のビット91に領域を判別するための情報を与えることもできる。例えば、領域Aのビットシフト処理後、領域Aの画素のビット82−8を値を「1」、領域Bの画素のビット91の値を「0」とすることで、領域の判別が可能となる。
【0023】
ステップ24
こうして作成した画像411と画像501とから色空間の変換を行い、原画像101と同様の色空間で表現された可視電子透かし入りの画像111が得られる。例えば、YPbPr色空間からRGB色空間への変換は次式によって行われる

【0024】
R=1.576Pr+Y
B=1.826Pb+Y …(2)
G=(Y−0.087B−0.212R)/0.701
【0025】
こうして作成された透かし入りの画像111は、原画像101と比較すると、領域Aの輝度情報には変化が発生するが、色空間変換が可逆であれば、輝度以外の成分には変化が発生しないため、領域Aは原画像101の色相を損なわない。また、色空間変換時の誤差が肉眼では判別できない程度であれば、色相への影響も無視できる。
【0026】
また、ビットシフト処理を用いて輝度プレーンに透かしを挿入することで、ビットプレーンの大小関係が保持され、電子透かしが半透明的に挿入され、画質への影響が少ない。
【0027】
次に、画像111から可視電子透かしを除去する作業手順について説明する。図6は可視電子透かしの除去作業のフローチャートであり、図7は除去作業の説明図である。
【0028】
透かし入りの画像111の色空間変換を行う(ステップ61)。画像111はRGB色空間で表現されているので、(1)式によってYPbPr色空間で表現される画像311に変換される。画像311は輝度プレーンの画像411とその他の情報の画像511に分けられる。
【0029】
次に、画像311の輝度プレーン画像411の領域Aに対してビットシフト処理を行い(ステップ62)、画像421が得られる。ここで、領域Aと領域Bの判別に必要な情報は入力により与えられるが、前述のように図5に示す最下位ビット91の値に情報を入れておき、それを参照することも可能である。
【0030】
画像421と画像511とから色空間の逆変換を行い(ステップ63)、可視電子透かしの除去された画像121が得られる。例えば、元のRGB色空間に変換する場合は(2)式を用いる。
【0031】
次に、図6の各ステップについて更に詳しく説明する。
ステップ62
図8は輝度プレーン画像411のビットシフト処理の説明図である。画像411は8枚のビットプレーン611−1、611−2、…、611−8に分割される。最上位ビットプレーン611−1の領域Aには、可視電子透かしの画像201が挿入されている。
【0032】
8枚のビットプレーン611−1、611−2、…、611−8の領域Aの画素のビット値は上位方向に1ビットずつシフトされ、画像421が得られる。即ち、最上位プレーン621−1の領域Aに挿入されていた画像201は上書きされ、可視電子透かしが除去されたことになる。
【0033】
図9は、可視電子透かし除去処理において、領域A及び領域B内の一つの画素のビット値を示す図である。図9に示すビット85−1には可視電子透かしの画像201のビット値「0」が入っているが、ビット85−2からビット85−8の値を上位方向にシフトすることにより、ビット85−2の値「1」が入り、ビット85−1の値は破棄される。
一方、領域Bの画素のビット値には変化がない。
【0034】
このようにビットシフト処理を行うことで、ビット87−1、…、87−7の値がそのまま復元されるため、可視電子透かしを除去した画像121と原画像101と生じる誤差は非常に少なく、無視できる。また、透かしも輝度プレーンに挿入除去されることから、色相への影響が少ない。
【0035】
このように、本実施の形態によれば、可視電子透かしを挿入することで画像の権利情報を明示することができ、かつ可視電子透かしを任意に除去できることから画像の意匠性を保つことができる。また、透かし挿入時も、透かしが輝度プレーンに挿入されるので画像の色相を損なうことが少ない。
【0036】
なお、本実施の形態では、原画像101がRGB画像であったが、HSV、YIQなどといった他の色空間表現の画像であっても色空間YPbPrに変換すれば同様に可視電子透かしを挿入、除去できる。
【0037】
また、本実施の形態では、輝度プレーンの最上位ビットプレーンの領域Aを電子透かしの画像201に置き換えて透かしを挿入したが、可視電子透かしはどのビットプレーンにも挿入可能である。この場合、可視電子透かしを挿入するビットプレーンと、それより下位のビットプレーンのみをビットシフトの対象とすればよい。可視電子透かしを挿入するビットプレーンが下位になるほど、可視電子透かしは目立たなくなるため、要求される可視電子透かしの見え具合に応じてビットプレーンを選択することが可能である。
【0038】
また、本実施の形態では、ビットシフト処理によって原画像の情報を待避させたが、例えば最上位ビットプレーンの領域Aを最下位ビットプレーンに退避させ、最上位プレーンの領域Aに2値画像を挿入するようにしてもよい。この場合、透かしを除去するには、最下位ビットプレーンに退避させていた値を最上位ビットプレーンに書き込むことにより行う。
【0039】
また、本実施の形態で述べたような処理をコンピュータに行わせるためのプログラムはCD−ROM等の記録媒体に記録される。例えば、ネットワークを介して可視電子透かし入りの画像を与え、正式なクライアントにはこのような記録媒体を配布し、透かしが除去できるようにするなどといった利用方法もある。
【0040】
【発明の効果】
以上、詳細に説明したように本発明によれば、画像の意匠性を損なうことなく、その権利情報を明示することができる。
【図面の簡単な説明】
【図1】 本発明の1実施の形態に係る画像処理システム1を示す図
【図2】 可視電子透かし挿入処理を示すフローチャート
【図3】 挿入処理を示す模式図
【図4】 輝度プレーンのビットシフト処理を示す模式図
【図5】 挿入時の領域A及び領域Bの画素値を示す図
【図6】 可視電子透かし除去処理を示すフローチャート
【図7】 除去処理を示すを示す図
【図8】 輝度プレーンのビットシフト処理を示す模式図
【図9】 除去時の領域A及び領域Bの画素値を示す図
【符号の説明】
1………画像処理システム
3………コンピュータ
5………外部記憶装置
7………マウス
101………原画像
401、411………輝度プレーン画像
111………可視電子透かし入り画像

Claims (6)

  1. 第1の画像を輝度プレーンの画像と輝度以外の色情報の画像とに分ける手段と、
    前記輝度プレーンをビットプレーンに分割する手段と、
    分割されたビットプレーンのうち、2値画像が上書きされるビットプレーンよりも下位側のビットプレーンで、2値画像が上書きされる領域の各ビットプレーンの値を、予め下位側にビットシフトさせ、最下位のビットプレーンの値を破棄し、分割されたビットプレーンのいずれかに2値画像を上書きし、他のビットプレーンとともに第2の画像を生成する手段と、
    前記第2の画像と前記輝度プレーン以外の色情報の画像とから、第3の画像を生成する手段と、
    を具備することを特徴とする画像処理システム。
  2. 請求項1記載の画像処理システムによって、生成された第3の画像を輝度プレーンの画像と、輝度以外の色情報の画像に分ける手段と、
    前記輝度プレーンの画像から前記2値画像を除去する除去手段と、
    2値画像が除去された輝度プレーンの画像と、前記輝度以外の色情報の画像に色空間変換を行って第4の画像を生成する手段と、
    を具備し、
    前記除去手段は、輝度プレーンをビットプレーンに分割し、2値画像が挿入された領域の各ビットプレーンの値を、上位側にビットシフトさせ、最下位のビットプレーンに0又は1を書き込むことを特徴とする請求項1記載の画像処理システム。
  3. 第1の画像を輝度プレーンの画像と輝度以外の色情報の画像とに分ける手段と、
    前記輝度プレーンをビットプレーンに分割する手段と、
    分割されたビットプレーンのうち、2値画像が上書きされる領域のビットプレーンの値を、予め他のビットプレーンに上書きして退避させ、分割されたビットプレーンのいずれかに2値画像を上書きし、他のビットプレーンとともに第2の画像を生成する手段と、
    前記第2の画像と前記輝度プレーン以外の色情報の画像とから、第3の画像を生成する手段と、
    を具備することを特徴とする画像処理システム。
  4. 請求項3記載の画像処理システムによって、生成された第3の画像を輝度プレーンの画像と、輝度以外の色情報の画像に分ける手段と、
    前記輝度プレーンの画像から前記2値画像を除去する除去手段と、
    2値画像が除去された輝度プレーンの画像と、前記輝度以外の色情報の画像に色空間変換を行って第4の画像を生成する手段と、
    を具備し、
    前記除去手段は、輝度プレーンをビットプレーンに分割し、前記分割されたビットプレーンのうち、2値画像が挿入された領域のビットプレーンの値を、予め他のビットプレーンに退避させておいた値で置き換えることを特徴とする請求項3記載の画像処理システム。
  5. コンピュータを請求項1又は請求項2記載の画像処理システムとして機能させるプログラムが記録された記録媒体。
  6. コンピュータを請求項3又は請求項4記載の画像処理システムとして機能させるプログラムが記録された記録媒体。
JP01537199A 1999-01-25 1999-01-25 画像処理システム及び記録媒体 Expired - Fee Related JP3682382B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01537199A JP3682382B2 (ja) 1999-01-25 1999-01-25 画像処理システム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01537199A JP3682382B2 (ja) 1999-01-25 1999-01-25 画像処理システム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2000216982A JP2000216982A (ja) 2000-08-04
JP3682382B2 true JP3682382B2 (ja) 2005-08-10

Family

ID=11886935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01537199A Expired - Fee Related JP3682382B2 (ja) 1999-01-25 1999-01-25 画像処理システム及び記録媒体

Country Status (1)

Country Link
JP (1) JP3682382B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870944B1 (en) 1999-06-08 2005-03-22 Sony Corporation Image processing apparatus, image processing method, and storage medium
KR100374665B1 (ko) * 2001-04-13 2003-03-04 주식회사 마크애니 디지털 워터마크의 삽입 및 검출방법과 이를 이용한워터마크 삽입/검출 장치
KR100378222B1 (ko) * 2001-04-21 2003-03-29 주식회사 마크애니 디지털 워터마크의 삽입 및 검출방법과 이를 이용한워터마크 삽입/검출 장치
GB2379295A (en) 2001-08-31 2003-03-05 Sony Uk Ltd A system for distributing audio/video material to a potential buyer
JP4897860B2 (ja) 2009-09-16 2012-03-14 シャープ株式会社 画像処理装置、画像形成装置、画像処理システム、コンピュータプログラム、及び、そのコンピュータプログラムを記録した記録媒体
KR102855268B1 (ko) * 2020-01-06 2025-09-03 한화비전 주식회사 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
JP2000216982A (ja) 2000-08-04

Similar Documents

Publication Publication Date Title
US6021196A (en) Reference palette embedding
US6526155B1 (en) Systems and methods for producing visible watermarks by halftoning
US6268866B1 (en) Digital watermarking system for making a digital watermark with few colors of input image
US7106884B2 (en) Digital watermark embedding apparatus for document, digital watermark extraction apparatus for document, and their control method
JP4491488B2 (ja) 画像処理装置、画像読取装置、画像データ出力処理装置、および画像処理方法
JP2007006504A (ja) デジタル像符牒の処理方法及びシステム
US7599099B2 (en) Image processing apparatus and image processing method
JP3682382B2 (ja) 画像処理システム及び記録媒体
JP2004334852A (ja) ピクセルタイプによる画像処理
JP3853156B2 (ja) カラー映像分割方法
US6122069A (en) Efficient method of modifying an image
JP2006303784A (ja) 画像読取装置及び方法
JP2009246967A (ja) 文書の高画質読取画像生成方法
JPH07129762A (ja) 素描風画像生成装置
JP2003158632A (ja) 画像処理方法とこれを実行するための画像処理装置および画像処理システム
US20040086196A1 (en) Method for digital image alteration detection and original digital image recovery
US7418138B2 (en) Image processor for and method of performing tonal transformation on image data
JP2002358482A (ja) カラードロップアウトの実行方法
JP4935467B2 (ja) 画像処理装置
JP5506588B2 (ja) 電子透かしによる画像処理方法および画像処理装置
JP2005278171A (ja) カラー画像処理装置およびカラー画像処理方法
JP3389970B2 (ja) 印刷処理装置
JP2001339598A (ja) 画像処理装置、画像処理方法、及び記憶媒体
JP6711031B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP4784531B2 (ja) 画像処理方法,および,画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050523

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080527

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090527

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090527

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130527

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees