Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3933501B2 - ノイズ低減装置 - Google Patents
[go: Go Back, main page]

JP3933501B2 - ノイズ低減装置 - Google Patents

ノイズ低減装置 Download PDF

Info

Publication number
JP3933501B2
JP3933501B2 JP2002071243A JP2002071243A JP3933501B2 JP 3933501 B2 JP3933501 B2 JP 3933501B2 JP 2002071243 A JP2002071243 A JP 2002071243A JP 2002071243 A JP2002071243 A JP 2002071243A JP 3933501 B2 JP3933501 B2 JP 3933501B2
Authority
JP
Japan
Prior art keywords
noise
noise reduction
image signal
contour
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002071243A
Other languages
English (en)
Other versions
JP2003274181A (ja
Inventor
健吉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002071243A priority Critical patent/JP3933501B2/ja
Priority to US10/387,481 priority patent/US6781625B2/en
Publication of JP2003274181A publication Critical patent/JP2003274181A/ja
Application granted granted Critical
Publication of JP3933501B2 publication Critical patent/JP3933501B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

【0001】
【技術分野】
この発明は,画像信号のノイズを低減する装置に関する。
【0002】
【発明の背景】
CCDが高画素となると、1画素当りの面積が少なくなる。1画素から得られる信号量が少なくなるのでノイズの影響が大きくなる。ノイズを低減するために,画像信号にフィルタリングすることがある。しかしながら,画像信号に一律にフィルタリングをすると,画質が低下してしまうことが多い。また,画像は見かけ上の画質を上げるために輪郭強調を行うことが多い。しかしながら,輪郭強調処理によりノイズも強調されてしまう。
【0003】
【発明の背景】
この発明は,画像のノイズを目立たなくすることを目的とする。
【0004】
この発明によるノイズ低減装置は,ノイズ低減の対象となる画像を表すノイズ低減対象画像信号(画像信号には,アナログ信号のみならずディジタル画像データも含まれる)を入力し,ノイズ成分を低減して,第1の画像信号を出力する第1のノイズ低減手段,上記第1のノイズ低減手段から出力された第1の画像信号から輪郭信号を抽出する輪郭抽出手段,および上記輪郭抽出手段によって抽出された輪郭信号と上記ノイズ低減対象画像信号とを加算して出力する加算手段を備えていることを特徴とする。
【0005】
この発明によるノイズ低減装置に適した制御方法を提供するようにしてもよい。そのような方法は,ノイズ低減手段に,ノイズ低減の対象となる画像を表すノイズ低減対象画像信号を入力し,ノイズ成分が低減された第1の画像信号を得,上記第1のノイズ低減手段から出力された第1の画像信号をから輪郭信号を抽出し,抽出された輪郭信号と上記ノイズ低減対象画像信号とを加算するものである。
【0006】
この発明によると,ノイズ低減の対象となる画像を表すノイズ低減対象画像信号のノイズ成分が低減させられ,第1の画像信号が得られる。得られた第1の画像信号から画像の輪郭を表す輪郭信号が抽出される。抽出された輪郭信号とノイズ低減対象画像信号とが加算される。
【0007】
輪郭信号はノイズ低減済の第1の画像信号から抽出されるので,ノイズ成分が低減させられているものとなる。したがって,輪郭信号をノイズ低減対象画像信号に加算して輪郭強調処理を行っても輪郭強調によりノイズが強調されてしまうことを未然に防止できる。輪郭強調により見かけ上の画質を向上しつつ,ノイズを低減できる。
【0008】
上記ノイズ低減対象画像信号を入力し,ノイズ成分を低減して第2の画像信号を出力する第2のノイズ低減手段(第1のノイズ低減手段と第2のノイズ低減手段とは同じものでもよい)をさらに備えるようにしてもよい。この場合,上記加算手段は,上記輪郭抽出手段によって抽出された輪郭信号と上記第2の画像信号とを加算して出力するものとなろう。
【0009】
ノイズ低減対象画像信号自体のノイズ成分が低減させられるので,画像のノイズが目立たなくなる。しかも,ノイズが低減した第2の画像信号に輪郭信号が加算されることにより輪郭強調処理が行われているので,輪郭強調により見かけ上の画質が向上し,上記加算手段から出力される信号によって表される画像の画質が低下してしまうことを未然に防止できる。
【0010】
上記第1のノイズ低減手段または上記第2のノイズ低減手段は,ノイズ成分の低減の程度が調整可能なものとしてもよい。
【0011】
上述したものにおいて,ノイズ低減対象画像信号から輪郭信号を抽出し,抽出した輪郭信号のノイズ成分の低減処理を行うようにすることもできる。ノイズ成分が低減した輪郭信号とノイズ低減対象画像信号とが加算される。
【0012】
【実施例の説明】
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラの電気的構成の一部を示すブロック図,図2(A)から(D)は,図1に示す回路に流れるデータの一例である。
【0013】
ディジタル・スチル・カメラの全体の動作は,CPU11によって統括される。
【0014】
ディジタル・スチル・カメラは,撮像により得られた画像データのレベルを設定に応じて調整することができる(ゲイン制御)。レベルを設定するために設定スイッチ12がディジタル・スチル・カメラに含まれている。設定スイッチ12から出力される設定信号は,CPU11に入力する。CPU11から信号処理回路4にゲイン制御信号が与えられ,信号処理回路4において画像データのレベルが調整される。
【0015】
また,CPU11には,メモリ13が接続されている。このメモリ13には後述するように,ノイズ低減処理に用いられるしきい値がゲイン制御値に応じて記憶されている。
【0016】
撮像レンズ1により被写体像がCCD2の受光面上に結像する。CCD2からは,被写体像を表す映像信号が出力される。映像信号は,アナログ/ディジタル変換回路3においてディジタル画像データに変換され,信号処理回路4に入力する。
【0017】
信号処理回路4において,上述したように画像データのレベル調整が行われるほか,ガンマ補正,色バランス調整などの信号処理が行われる。信号処理回路4から出力された画像データ(ノイズ低減対象画像データという。図2(A)参照。ノイズ成分がNで示されている。)は,CPU11,第1のノイズ検出回路5,第1のノイズ低減回路6,第2のノイズ検出回路8および第2のノイズ低減回路9に入力する。
【0018】
この実施例におけるノイズ低減処理は,次のようにして行われる。
【0019】
図3を参照して,垂直方向に連続した3つの画素D1,D2およびD3を考える。ノイズ低減の対象となる画素は,これらの3つの画素D1,D2およびD3のうち中央の画素D2(ハッチングで示す)である。式1にしたがって,3つの画素D1,D2およびD3の平均レベルがavgが算出される。式1において画素D1,D2およびD3のレベルもそれぞれD1,D2およびD3によって表わされている。
【0020】
avg=(D1+D2+D3)/3・・・式1
【0021】
式2にしたがって,ノイズ低減の対象画素D2が平均レベルavgからの隔たりを表す値valが計算される。
【0022】
val=D2−avg・・・式2
【0023】
式2から得られる値avgがしきい値より大きければ,その画素D2のレベルが上下の画素D1およびD3よりも極端に大きいのでエッジと考えられ、対象画素D2はノイズとは判断されず,ノイズ低減の対象画素D2は入力した画素D2そのものを表すデータが出力される(D2out=D2)。式2から得られる値avgがしきい値より小さければ,ノイズと判断される。ノイズ低減の対象画素D2の画像データとして平均レベルを表すデータが出力され(D2out=avg),ノイズが低減される。
【0024】
第1のノイズ検出回路5において,上述した式1および式2の算出が行われる。算出された結果,値avgがしきい値(このしきい値は,ユーザによって設定されたゲインに応じた値であり,対応するしきい値がメモリ13から読み取られ,第1のノイズ検出回路5に与えられることとなる)より小さければ,ノイズであることを示す信号が第1のノイズ検出回路5から第1のノイズ低減回路6に与えられる。この結果,第1のノイズ低減回路6において,式1にしたがって平均レベルの算出処理が行われる。第1のノイズ低減回路6からは,対象画素D2のデータとして,平均レベルavgを示すデータが出力される。値avgがしきい値より大きければ,ノイズではないことを示す信号が第1のノイズ検出回路5から第1のノイズ低減回路6に与えられる。この結果,第1のノイズ低減回路6からは,対象画素D2のデータとして,対象画素D2そのものを示すデータが出力される。第1のノイズ低減回路6から出力された画像データを第1の画像データということにする。
【0025】
上述したのと同様に,第2のノイズ検出回路8においてノイズ検出処理が行われ,第2のノイズ低減回路9において,ノイズ低減処理が行われる。第2のノイズ低減回路9から出力された画像データを第2の画像データということにする。
【0026】
第1の画像データおよび第2の画像データは,図2(B)に示すようにノイズが低減されたものとなる。
【0027】
第1のノイズ低減回路6から出力された第1の画像データは,輪郭抽出回路7に与えられる。図2(C)に示すように,輪郭抽出回路7において,画像の輪郭を表す輪郭データが抽出される。抽出された輪郭データは,加算回路10に与えられる。
【0028】
加算回路10には,第2のノイズ低減回路9から出力された第2の画像データも与えられる。加算回路10において,第2の画像データと輪郭データとが加算され,ノイズが低減され,かつ輪郭強調が行われた出力画像データが得られる(図2(D)。
【0029】
このようにして得られた出力画像データが表示装置に与えられることにより,ノイズが低減され,かつ輪郭強調により見かけ上の画質が向上した画像が表示される。また,メモリ・カードなどの記録媒体に与えられることにより,出力画像データが記録される。
【0030】
上述したしきい値は,第1のノイズ検出回路5と第2のノイズ検出回路9とで変えるようにしてもよいし,同じものでもよい。また,加算回路10において輪郭データと加算されるデータは,上述のようにノイズを低減された第2の画像データでなく,ノイズ低減処理が行われていないノイズ低減対象画像データでもよい。
【0031】
たとえば,ノイズが多いと考えられるときには第1のノイズ低減回路6および第2のノイズ低減回路9の両方においてノイズ低減処理が行われるようにそれぞれのしきい値が設定される。ノイズが中位と考えられるときには第1のノイズ低減回路6においてノイズ低減処理が行われ,第2のノイズ低減回路9においてはノイズ低減処理が行われないようにそれぞれのしきい値が設定される。ノイズが少ないと考えられるときに,第1のノイズ低減回路6および第2のノイズ低減回路9の両方にノイズ低減処理がされないようにそれぞれのしきい値が設定される。第1のノイズ検出回路5において用いられるしきい値を第2のノイズ検出回路8において用いられるしきい値よりも大きくし,第1のノイズ検出回路5においてノイズと検出される確率を第2のノイズ検出回路においてノイズと検出される確率よりも大きくしてもよい。これにより,上述したようにノイズの量に応じた第1のノイズ低減回路6におけるノイズ低減処理および第2のノイズ低減回路9におけるノイズ低減処理を切り換えることができるようになる。
【0032】
さらに,上述した回路においては,ノイズ検出回路とノイズ低減回路とが別々の回路であるが,両方の動作を1つの回路で行うようにしてもよい。上述した式1および式2の算出ならびにしきい値との判定のすべてが1つの回路で行われることとなるであろう。
【0033】
図4は,上述したしきい値を補正してノイズ低減処理を行うときの処理手順を示すフローチャートである。
【0034】
上述したように,ユーザによって設定されたゲインが読み取られる(ステップ21)。すると,ゲインに応じたしきい値がメモリ13から読み取られる(ステップ22)。つづいて,低減対象画素のレベルが検出される(ステップ23)。
【0035】
ノイズ低減対象画像データは,上述したように信号処理回路4においてガンマ補正が行われている。このガンマ補正により,レベルの高い画像データに比べてレベルの低い画像データはよりノイズ量が増える。したがって,レベルの高い画像データとレベルの低い画像データとを同じしきい値でノイズ判定されると,レベルが高いほどノイズであると判定されてしまう確率が高くなってしまう。このために,レベルが高いほどしきい値が小さくなるように,レベルが低いほどしきい値が大きくなるようにしきい値の補正が行われる(ステップ24)。ガンマ補正によるノイズ判定の誤動作を未然に防止できるようになる。
【0036】
このようにして補正されたしきい値を用いて上述したノイズ低減処理が行われる(ステップ25)。1駒分の画像を表す画像データについてノイズ低減処理が終了するまで,ステップ23から25の処理が繰り返される(ステップ26)。
【図面の簡単な説明】
【図1】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図2】(A)から(D)は,ディジタル・スチル・カメラの回路を流れるデータの波形の一例である。
【図3】ノイズ対象画素とのその上下の画素との関係を示している。
【図4】ノイズ低減処理手順を示すフローチャートである。
【符号の説明】
5,8 ノイズ検出回路
6,9 ノイズ低減回路
7 輪郭抽出回路
10 加算回路
11 CPU
13 メモリ

Claims (3)

  1. ノイズ低減の対象となる画像を表すノイズ低減対象画像信号を入力し,第1のしきい値にもとづいて,入力したノイズ低減対象画像信号にノイズが含まれているかどうかを検出し,ノイズが検出されたことに応じて,入力したノイズ低減対象画像信号のノイズ成分を低減して,第1の画像信号を出力する第1のノイズ低減手段,
    上記第1のノイズ低減手段から出力された第1の画像信号から輪郭信号を抽出する輪郭抽出手段
    上記ノイズ低減対象画像信号を入力し,ノイズが検出される確率が上記第1のしきい値よりも小さい第2のしきい値にもとづいて,入力したノイズ低減対象画像信号にノイズが含まれているかどうかを検出し,ノイズが検出されたことに応じて,入力したノイズ低減対象画像信号のノイズ成分を低減して第2の画像信号を出力する第2のノイズ低減手段,および
    上記輪郭抽出手段によって抽出された輪郭信号と上記第2のノイズ低減手段から出力された上記第2の画像信号とを加算して出力する加算手段,
    を備えたノイズ低減装置。
  2. 上記第1のノイズ低減手段がノイズ成分の低減の程度が調整可能なものである,請求項1に記載のノイズ低減装置。
  3. 第1のノイズ低減手段が,ノイズ低減の対象となる画像を表すノイズ低減対象画像信号を入力し,第1のしきい値にもとづいて,入力したノイズ低減対象画像信号にノイズが含まれているかどうかを検出し,ノイズが検出されたことに応じて,入力したノイズ低減対象画像信号のノイズ成分を低減して,第1の画像信号を出力し,
    輪郭抽出手段が,上記第1のノイズ低減手段から出力された第1の画像信号から輪郭信号を抽出し,
    第2のノイズ低減手段が,上記ノイズ低減対象画像信号を入力し,ノイズが検出される確率が上記第1のしきい値よりも小さい第2のしきい値にもとづいて,入力したノイズ低減対象画像信号にノイズが含まれているかどうかを検出し,ノイズが検出されたことに応じて,入力したノイズ低減対象画像信号のノイズ成分を低減して第2の画像信号を出力し,
    加算手段が,上記輪郭抽出手段によって抽出された輪郭信号と上記第2のノイズ低減手段から出力された上記第2の画像信号とを加算して出力する,
    ノイズ低減装置の制御方法。
JP2002071243A 2002-03-15 2002-03-15 ノイズ低減装置 Expired - Lifetime JP3933501B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002071243A JP3933501B2 (ja) 2002-03-15 2002-03-15 ノイズ低減装置
US10/387,481 US6781625B2 (en) 2002-03-15 2003-03-14 Noise reducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002071243A JP3933501B2 (ja) 2002-03-15 2002-03-15 ノイズ低減装置

Publications (2)

Publication Number Publication Date
JP2003274181A JP2003274181A (ja) 2003-09-26
JP3933501B2 true JP3933501B2 (ja) 2007-06-20

Family

ID=28035100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002071243A Expired - Lifetime JP3933501B2 (ja) 2002-03-15 2002-03-15 ノイズ低減装置

Country Status (2)

Country Link
US (1) US6781625B2 (ja)
JP (1) JP3933501B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106919A1 (ja) 2005-03-31 2006-10-12 Nikon Corporation 画像処理方法
JP4410168B2 (ja) * 2005-07-15 2010-02-03 三菱電機株式会社 画像処理装置
JP4979595B2 (ja) * 2005-12-28 2012-07-18 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
EP2003877B1 (en) * 2006-03-31 2015-05-06 Nikon Corporation Image processing method
JP2007318630A (ja) * 2006-05-29 2007-12-06 Matsushita Electric Ind Co Ltd 画像入力装置、撮像モジュール、及び固体撮像装置
JP5009004B2 (ja) * 2006-07-31 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
US7839431B2 (en) * 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
WO2008093836A1 (ja) 2007-02-02 2008-08-07 Nikon Corporation 画像処理方法
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
JP4465002B2 (ja) * 2007-11-16 2010-05-19 オリンパス株式会社 ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
US8928813B2 (en) 2010-10-28 2015-01-06 Microsoft Corporation Methods and apparatus for reducing structured noise in video

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334244A (en) * 1980-07-28 1982-06-08 Magnavox Government And Industrial Electronics Company Adaptive image enhancement system
GB9426273D0 (en) * 1994-12-24 1995-02-22 Cambridge Consultants Improved data processing method and apparatus
JPH08298603A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 映像信号処理装置
US5933540A (en) * 1995-05-11 1999-08-03 General Electric Company Filter system and method for efficiently suppressing noise and improving edge definition in a digitized image

Also Published As

Publication number Publication date
US6781625B2 (en) 2004-08-24
US20030174223A1 (en) 2003-09-18
JP2003274181A (ja) 2003-09-26

Similar Documents

Publication Publication Date Title
EP1223760A2 (en) Mosquito noise reducing apparatus and method
JPH0944654A (ja) 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
JP3933501B2 (ja) ノイズ低減装置
US7106346B2 (en) Signal processing apparatus and method, recording medium, and program
CN104794705A (zh) 基于图像局部内容特征的图像去雾方法及装置
JP2006295763A (ja) 撮像装置
US20070103570A1 (en) Apparatus, method, recording medium and program for processing signal
JP3829843B2 (ja) 画像処理装置
JP3267200B2 (ja) 画像処理装置
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010102426A (ja) 画像処理装置及び画像処理方法
JP4415172B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2921973B2 (ja) 特定物体の画像抽出方法及び画像抽出装置
CN101010939A (zh) 图像处理装置以及图像处理程序
JPH1117984A (ja) 画像処理装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP2872005B2 (ja) 自動画質調整装置
JP4679174B2 (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
JP2003348382A (ja) 輪郭強調回路
CN115880196B (zh) 图像处理方法、装置、电子设备及存储介质
JP2007013666A (ja) 画像処理装置
US7773824B2 (en) Signal processing device and method, recording medium, and program
JP5535443B2 (ja) 画像処理装置
JP2003299107A (ja) 撮像装置
JP2007312331A (ja) 映像信号処理装置及び映像信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060727

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070313

R150 Certificate of patent or registration of utility model

Ref document number: 3933501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250