JP4104475B2 - 輪郭補正装置 - Google Patents
輪郭補正装置 Download PDFInfo
- Publication number
- JP4104475B2 JP4104475B2 JP2003074001A JP2003074001A JP4104475B2 JP 4104475 B2 JP4104475 B2 JP 4104475B2 JP 2003074001 A JP2003074001 A JP 2003074001A JP 2003074001 A JP2003074001 A JP 2003074001A JP 4104475 B2 JP4104475 B2 JP 4104475B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- component
- contour correction
- coefficient
- outputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、輪郭補正装置であり、特に映像信号等の画像データに対して輪郭補正処理を行う輪郭補正装置に関する。
【0002】
【従来の技術】
モニター等の映像表示装置において、入力された映像信号の輪郭補正処理は、主に鮮鋭感を増すための輪郭強調、ジャギー(粗いサンプリングによる画素のギザギザ)を除去するための輪郭平滑化の二つの目的がある。
【0003】
従来より、映像信号の強調及び平滑化の処理には、局所的な領域内での空間フィルタ処理を行うのが一般的であり、図7に空間フィルタ処理におけるブロック図を、図8に水平方向3画素、垂直方向3画素領域でのフィルタ処理に用いられる代表的なフィルタ係数の一例を示す。
【0004】
しかし、これらのフィルタ処理では単一のフィルタ係数を用いるため、映像全体に対して一律な処理となり、映像内において過剰もしくは過少な補正となる部分が発生する。また、強調と平滑化が相反する処理であるために、ジャギーを除去しつつ鮮鋭感を増す処理を同時に行うことが困難である。
【0005】
これを回避する手段として特許文献1には、映像信号中に存在するエッジの方向を検出してエッジと平行な方向には平滑化、エッジと垂直な方向には微分を施したエッジ画像を作成し入力映像信号と合成することで、エッジが有効に強調されるエッジ強調装置が示されている。
【0006】
図9は、上記公報の実施例におけるブロック図であり、100は画像入力手段、101は入力画像切替手段、102は方向画像生成手段、103はエッジ検出手段、104は画像合成手段、105は画像記憶・選択手段、106は繰返制御手段、107は画像出力手段で構成されている。
【0007】
具体的な処理としては、入力画像から局所的なエッジの方向を示す方向画像を作成し、これを基に原画像に対してエッジと平行な方向にはガウシアン平滑化、垂直な方向には二次微分による強調処理を行いエッジ画像を作成、原画像と合成することで強調画像を得て、この強調画像を新たな入力画像として繰返し処理を指定回数行うことで適切な強調処理を実現している。
【0008】
また、特許文献2には、画像データの注目画素及び周辺画素に対して少なくとも四つの方向における画素の類似性を判別して、類似性の強い方向の重み比率を増やした上で周辺画素との加重平均をすることで画像の鮮鋭度を落とさずにジャギーを除去する方向依存ローパスフィルタ処理が示されている。
【0009】
図10は、上記公報の実施例における画像処理の流れ図であり、S1は画像ファイルの読み出し手段、S2は領域設定手段、S3は非類似度算出手段、S4は代表値算出手段、S5は類似度算出手段、S6は重み比重算出手段、S7は加重平均手段、S8は画像出力手段で実行される。
【0010】
具体的な処理としては、入力画像の注目画素を含む局所領域に対して少なくとも四つの方向(縦、横、斜め上、斜め下)に画素ラインを設定し、このライン毎にレベル差などの特徴を検出して各方向の画素類似性を判定、類似性の強い方向に重み比重を増やした上で注目画素に周辺画素との加重平均を行うことで、画像構造をさほど損なうことなくジャギーの補正を実現している。
【0011】
【特許文献1】
特開平7−193716号公報
【特許文献2】
特開2001−61157号公報
【0012】
【発明が解決しようとする課題】
しかし、特許文献1によるエッジ強調装置では、繰返し処理により強調度の最適化を図っているため、入力画像が時系列的に次々と変化するテレビ映像のような動画信号に対して適用できない、もしくは入力画像を蓄積する多大なバッファ回路が必要となる。さらに、画像のエッジ情報のうち方向のみを利用していることから、線画等の二値画像に対しては有効であるが、階調を持つ一般的な自然画ではエッジの大小に関係なくフィルタ処理を行ってしまうため、最適な強調画像が得られないといった問題がある。
【0013】
また、特許文献2による方向依存ローパスフィルタ処理では、類似性の判別に少なくとも4つの方向による特徴量の算出が必要であり、さらに細かく加重平均する重みの方向を利用したい場合には、多くの方向による特徴量の算出が必要になり演算量の増加といった問題がある。
【0014】
本発明は、上記のような問題点を解消するために成されたもので、演算量の増加を抑え且つ動画信号処理に適した輪郭補正装置を提供することを目的とする。
【0015】
【課題を解決するための手段】
本発明は、映像信号の輪郭補正を行う輪郭補正装置において、入力映像信号のうち注目画素及びその周辺画素を用いて映像の輪郭を抽出しエッジ成分を出力するエッジ算出手段と、前記エッジ成分をパラメータとしてエッジの方向に依存した局所フィルタの係数を算出する係数算出手段と、前記フィルタ係数を用いて入力映像と局所フィルタ演算を行い輪郭補正成分を出力するフィルタ演算手段と、前記輪郭補正成分に対してエッジの大きさで規格化を行う規格化演算手段と、規格化演算後の輪郭補正成分と入力信号を合成して出力する加算手段とを備えた輪郭補正装置である。
【0016】
また、本発明は、上記エッジ算出手段は、注目画素の周辺画素から画素値勾配を算出し、水平成分及び垂直成分の二成分を出力する手段を有する輪郭補正装置である。
【0017】
そして、本発明は、上記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向に依存した平滑化処理となるように出力する手段を有する輪郭補正装置である。
【0018】
更に、本発明は、上記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向に依存した強調処理となるように出力する手段を有する輪郭補正装置である。
【0019】
また、本発明は、上記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向には平滑化処理、垂直方向には強調処理となるように出力する手段を有する輪郭補正装置である。
【0020】
そして、本発明は、上記規格化演算手段は、エッジ算出手段の出力であるエッジ成分を用いてエッジの大きさ(エッジ強度)を算出し、これを理論上算出され得る最大エッジ強度、又は注目画素周辺領域などの局所領域内の最大値及び最小値から算出される最大エッジ強度によって規格化し、エッジ強度に依存した輪郭補正成分となるように出力する手段を有する輪郭補正装置である。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態を説明する。
本発明の輪郭補正装置の実施形態について、図面に基づいて説明する。
【0022】
実施形態1を説明する。本実施形態の輪郭補正装置は、例えば図1に示すブロック図のように構成される。図1の構成において、1は入力映像INPUTのうち注目画素及びその周辺画素を用いて映像の輪郭を抽出しエッジ成分EH、EVを出力するエッジ算出器、2はエッジ成分EH、EVをパラメータとして局所フィルタ係数F1〜F9を算出する係数算出器、3はフィルタ係数F1〜F9を用いてINPUTと局所フィルタ演算を行い輪郭補正成分DEを出力するフィルタ演算器、4はエッジ成分EH、EVからエッジ強度を算出し輪郭補正成分DEに対して規格化演算を行い規格化輪郭補正成分NEを出力する規格化演算器、5は規格化演算後の輪郭補正成分NEとINPUTを合成して出力する加算器である。
【0023】
この装置において、エッジ算出器1はINPUTの注目画素及びその周辺画素を用いて映像の輪郭を抽出し、互いに直交する二つのエッジ成分、例えば映像に対して平行なエッジ成分EH、垂直なエッジ成分EVを算出して出力する。
【0024】
図2は、エッジ算出器1の構成の一例を示すブロック図であり、6はINPUTに対する注目画素の周辺領域を設定する局所領設定器、7は前記周辺領域から画素値勾配の水平成分EHを算出する水平成分算出器、8は前記周辺領域から画素値勾配の垂直成分EVを算出する垂直成分算出器である。
【0025】
係数算出器2は、エッジの方向θをパラメータとする三角関数で表現されるエッジの方向に依存した平滑化、又は強調処理となるフィルタ係数F1〜F9を算出する。
【0026】
図3は、エッジの方向に平滑化処理を行うためのフィルタ係数の一例を示す表であり、3x3の枡目内の値は局所フィルタ係数を表し、中央が注目画素に対する重み係数、そのまわりが周辺画素に対する重み係数を表している。このフィルタ係数のうち左上の位置F1における係数値の変化を見ると、θ=135[deg]の場合のみ1となっている。つまり、θ=135[deg]で1となり、それ以外で0を取るような周期関数を係数値とすることで、複数のフィルタを準備することなくエッジ方向に依存したフィルタ処理が可能である。
【0027】
さらに、前記周期関数をθをパラメータとする三角関数で表現することで、周期関数の計算においてエッジ算出手段1の出力であるエッジ成分EH、EVから三角関数の演算を行う必要がなくなる。つまりθとEH、EVの間には、
EH=sqrt(EH*EH+EV*EV)*cosθ (式1)
EV=sqrt(EH*EH+EV*EV)*sinθ (式2)
の関係があるため、三角関数をEHとEVに置き換えて演算することができる。
【0028】
図4は、θをパラメータとする三角関数によってフィルタ係数を表した一例を示したものであり、これをエッジ成分EHとEVで置き換えたものが図5である。これにより、複雑な周期関数の演算をせずにエッジ方向に依存したフィルタ係数がエッジ成分のみから得られる。
【0029】
また、前記係数値において注目画素の位置F5を2とし、その他を符号反転することでエッジ方向に強調するフィルタ処理、F1とF3、F2とF4、F6とF8、F7とF9の係数値を入れ換えることによりエッジと垂直な方向にフィルタ処理を行うことができるため、エッジ方向には平滑化を、垂直方向には強調処理を行うことでジャギーを抑制しつつ輪郭強調を行うことが可能である。
【0030】
フィルタ演算器3は、係数算出器3の出力であるフィルタ係数F1〜F9を用いてINPUTと局所フィルタ演算を行い、輪郭補正成分DEを出力する。
【0031】
規格化演算器4は、エッジ方向のみから算出されたDEに対して、エッジ成分EH、EVからエッジの大きさ(エッジ強度)を算出し、理論上算出され得る最大エッジ強度と除算した規格化因子を用いて、DEと乗算することで規格化演算を行う。これによりエッジの大きさに依存した輪郭補正成分NEが算出される。また最大エッジ強度として、理論上入力映像の取り得る最大値及び最小値を用いる以外にも、注目画素の周辺画素領域などの局所領域内の最大値及び最小値を用いて規格化演算を行うことで、比較的小さなエッジ成分に対しても適用可能な輪郭補正を行うことができる。
【0032】
図6は、規格化演算器4の構成の一例を示すブロック図であり、エッジ成分EH、EVからエッジ強度を算出し出力するエッジ強度算出器10、最大エッジ強度にINPUTの取り得る値を用いるか局所領域内の値を用いるかを選択する選択器12、選択器12の出力を用いて最大エッジ強度を算出し出力する最大エッジ強度算出器13、エッジ強度と最大エッジ強度を除算する除算器11、DEを規格化するための乗算器9である。
【0033】
加算器5は、INPUTと輪郭補正成分NEを加算したのちに出力映像OUTPUTとして出力する。
【0034】
以上実施形態1で説明したように、本発明の輪郭補正装置は、鮮鋭感を増すための輪郭強調処理及びジャギーを除去するための輪郭平滑化処理に関して、映像信号のエッジ成分を算出し、その方向及び強度によって強調及び平滑化を行うことで、繰返し処理の必要がなく適切な輪郭補正処理を行うことができる効果がある。
【0035】
また、本発明の輪郭補正装置は、強調及び平滑化を行うフィルタ係数をエッジの方向をパラメータとする三角関数で表現することで、フィルタ係数を水平エッジ成分及び垂直エッジ成分のみから算出することができ、複雑な演算を必要とせずにエッジ方向に依存したフィルタ係数を算出できる効果がある。
【0036】
そして、本発明の輪郭補正装置は、エッジの方向に対して平行な方向にのみ平滑化処理を行うことにより、輪郭構造を維持しつつ映像信号に含まれるジャギーを除去することができる効果がある。
【0037】
更に、本発明の輪郭補正装置は、エッジ成分の大きさで輪郭補正成分を規格化演算する際に、局所領域内の最大値及び最小値を用いることで比較的小さなエッジ成分に対しても適切な輪郭補正を行うことができる効果がある。
【0038】
【発明の効果】
本発明によれば、演算量の増加を抑え且つ動画信号処理に適した輪郭補正装置を得ることができる。
【図面の簡単な説明】
【図1】実施形態1の輪郭補正装置の構成の一例を示すブロック図。
【図2】実施形態1におけるエッジ算出器の構成の一例を示すブロック図。
【図3】一般的なフィルタ処理によるエッジの方向に平滑化処理を行うためのフィルタ係数の一例の説明図。
【図4】実施形態1における係数算出器によるフィルタ係数をエッジ方向をパラメータとした三角関数で表現した一例を示すフィルタ係数値を説明する図表。
【図5】実施形態1における係数算出器によるフィルタ係数を水平エッジ成分と垂直エッジ成分で表現した一例を示すフィルタ係数値を説明する図表。
【図6】実施形態1における規格化演算器の構成の一例を示すブロック図。
【図7】従来の空間フィルタ処理の基本的な構成を示すブロック図。
【図8】従来の空間フィルタ処理におけるフィルタ係数の一例の説明図。
【図9】従来の輪郭強調装置の基本的な構成を示すブロック図。
【図10】従来の輪郭強調装置における処理の手順を示す流れ図。
【符号の説明】
1 エッジ算出器
2 係数算出器
3 フィルタ演算器
4 規格化演算器
5 加算器
6 局所領域設定器
7 水平成分算出器
8 垂直成分算出器
9 乗算器
10 エッジ強度算出器
11 除算器
12 選択器
13 最大エッジ強度算出器
100 画像入力手段
101 入力画像切替手段
102 方向画像生成手段
103 エッジ検出手段
104 画像合成手段
105 画像記憶・選択手段
106 繰返制御手段
107 画像出力手段
Claims (5)
- 映像信号の輪郭補正を行う輪郭補正装置において、
入力映像信号のうち注目画素及びその周辺画素を用いて映像の輪郭を抽出しエッジ成分を出力するエッジ算出手段と、前記エッジ成分をパラメータとしてエッジの方向に依存した局所フィルタの係数を算出する係数算出手段と、前記フィルタ係数を用いて入力映像と局所フィルタ演算を行い輪郭補正成分を出力するフィルタ演算手段と、前記輪郭補正成分に対してエッジの大きさで規格化を行う規格化演算手段と、規格化演算後の輪郭補正成分と入力信号とを合成して出力する加算手段とを備え、
前記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向に依存した強調処理となるように出力する手段を有することを特徴とする輪郭補正装置。 - 映像信号の輪郭補正を行う輪郭補正装置において、
入力映像信号のうち注目画素及びその周辺画素を用いて映像の輪郭を抽出しエッジ成分を出力するエッジ算出手段と、前記エッジ成分をパラメータとしてエッジの方向に依存した局所フィルタの係数を算出する係数算出手段と、前記フィルタ係数を用いて入力映像と局所フィルタ演算を行い輪郭補正成分を出力するフィルタ演算手段と、前記輪郭補正成分に対してエッジの大きさで規格化を行う規格化演算手段と、規格化演算後の輪郭補正成分と入力信号とを合成して出力する加算手段とを備え、
前記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向に依存した強調処理となるように出力する手段を有することを特徴とする輪郭補正装置。 - 映像信号の輪郭補正を行う輪郭補正装置において、
入力映像信号のうち注目画素及びその周辺画素を用いて映像の輪郭を抽出しエッジ成分を出力するエッジ算出手段と、前記エッジ成分をパラメータとしてエッジの方向に依存した局所フィルタの係数を算出する係数算出手段と、前記フィルタ係数を用いて入力映像と局所フィルタ演算を行い輪郭補正成分を出力するフィルタ演算手段と、前記輪郭補正成分に対してエッジの大きさで規格化を行う規格化演算手段と、規格化演算後の輪郭補正成分と入力信号とを合成して出力する加算手段とを備え、
前記係数算出手段は、フィルタ係数がエッジの方向をパラメータとする三角関数で表現され、エッジ算出手段の出力であるエッジ成分のみから算出することができ、フィルタ係数がエッジの方向には平滑化処理、垂直な方向には強調処理となるように出力する手段を有することを特徴とする輪郭補正装置。 - 上記エッジ算出手段は、注目画素の周辺画素から画素値勾配を算出し、水平成分及び垂直成分の二成分を出力する手段を有する請求項1〜3のいずれか1項に記載の輪郭補正装置。
- 上記規格化演算手段は、エッジ算出手段の出力であるエッジ成分を用いてエッジの大きさ(エッジ強度)を算出し、これを理論上算出され得る最大エッジ強度、又は注目画素周辺領域などの局所領域内の最大値及び最小値から算出される最大エッジ強度によって規格化し、エッジ強度に依存した輪郭補正成分となるように出力する手段を有する請求項1〜3のいずれか1項に記載の輪郭補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003074001A JP4104475B2 (ja) | 2003-03-18 | 2003-03-18 | 輪郭補正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003074001A JP4104475B2 (ja) | 2003-03-18 | 2003-03-18 | 輪郭補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004282593A JP2004282593A (ja) | 2004-10-07 |
| JP4104475B2 true JP4104475B2 (ja) | 2008-06-18 |
Family
ID=33289755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003074001A Expired - Fee Related JP4104475B2 (ja) | 2003-03-18 | 2003-03-18 | 輪郭補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4104475B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374460B2 (en) | 2008-07-29 | 2013-02-12 | Ricoh Company, Ltd. | Image processing unit, noise reduction method, program and storage medium |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101240645B1 (ko) | 2005-08-29 | 2013-03-08 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동 방법 |
| JP4700445B2 (ja) * | 2005-09-01 | 2011-06-15 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| US8913842B2 (en) | 2010-07-06 | 2014-12-16 | Mitsubishi Electric Corporation | Image smoothing method based on content-dependent filtering |
| JP5398667B2 (ja) | 2010-08-23 | 2014-01-29 | 株式会社東芝 | 画像処理装置 |
| WO2019132548A1 (en) | 2017-12-28 | 2019-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image and computer program product thereof |
-
2003
- 2003-03-18 JP JP2003074001A patent/JP4104475B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374460B2 (en) | 2008-07-29 | 2013-02-12 | Ricoh Company, Ltd. | Image processing unit, noise reduction method, program and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004282593A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| US8248492B2 (en) | Edge preserving and tone correcting image processing apparatus and method | |
| US8175417B2 (en) | Apparatus, method, and computer-readable recording medium for pixel interpolation | |
| JP5487106B2 (ja) | 画像処理装置および方法、ならびに、画像表示装置 | |
| US20110285871A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| JP5983373B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| US20120189208A1 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
| WO2005111933A1 (ja) | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| CN118154442B (zh) | 边缘特征增强方法、装置、存储介质及电子设备 | |
| KR102404557B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| US20200118250A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| WO2005004057A1 (ja) | 画像処理装置、画像処理方法及びプログラム及び記録媒体 | |
| EP3826301B1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP4104475B2 (ja) | 輪郭補正装置 | |
| US6876778B2 (en) | Edge enhancement method and apparatus in digital image scalar-up circuit | |
| JP5652272B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
| CN115760903A (zh) | 图像运动区域的定位方法、装置、存储介质及终端 | |
| JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10275854B2 (en) | Signal processing device, signal processing method, solid-state image sensor, imaging device, and electronic device | |
| WO2013150824A1 (ja) | 画像処理装置及び方法、並びに画像処理プログラム | |
| CN115018817A (zh) | 划痕检测方法、装置、电子设备和可读存储介质 | |
| JP4930638B2 (ja) | 画像補正装置および画像補正方法 | |
| JPH08265572A (ja) | 画像処理装置 | |
| CN120298255A (zh) | 图像处理电路、方法、设备及芯片 | |
| US9531922B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4104475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |