JP4075457B2 - Edge correction circuit and edge correction method - Google Patents
Edge correction circuit and edge correction method Download PDFInfo
- Publication number
- JP4075457B2 JP4075457B2 JP2002145390A JP2002145390A JP4075457B2 JP 4075457 B2 JP4075457 B2 JP 4075457B2 JP 2002145390 A JP2002145390 A JP 2002145390A JP 2002145390 A JP2002145390 A JP 2002145390A JP 4075457 B2 JP4075457 B2 JP 4075457B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- edge
- coring
- corrected
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003705 background correction Methods 0.000 claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000000295 complement effect Effects 0.000 claims description 17
- 102000004381 Complement C2 Human genes 0.000 claims 1
- 108090000955 Complement C2 Proteins 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 239000004576 sand Substances 0.000 description 7
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、画像情報のエッジを強調するためのエッジ補正回路に係り、詳しくは、エッジ補正処理時のノイズの増幅を抑制したエッジ補正回路及びエッジ補正方法に関する。
【0002】
【従来の技術】
画像処理装置において、カメラからの入力映像信号によって画像表示を行う場合には、表示される画面を見やすくするとともに、画像表現を強調する目的から、エッジ補正回路を設けて、撮影レンズの特性に基づく画面周辺の明るさの低下を電気的に補正するためのシェーディング処理と、画像のエッジを強調して表現するためのエッジ補正処理とが行われているが、従来は、このようなシェーディング処理とエッジ補正処理とをそれぞれ独立のものとして行ったのち、それぞれの処理結果を足し合わせて、出力映像信号を得るようにしていた。
【0003】
図8は、従来のエッジ補正回路の構成例を示したものである。
この従来例のエッジ補正回路は、図8に示すように、シェーディング補正係数発生回路1と、乗算器2と、エッジ抽出用バンドパスフィルタ(BPF)3と、コアリング回路4と、乗算器5と、加算器6とから概略構成されている。
【0004】
シェーディング補正係数発生回路1は、映像信号入力に対するシェーディング補正特性を決定するためのシェーディング補正係数信号を発生する。乗算器2は、入力映像信号に対してシェーディング補正係数を乗算して、シェーディング補正された映像信号を出力する。エッジ抽出用BPF3は、乗算器2からのシェーディング補正された映像信号から、エッジ成分を抽出して、エッジ信号として出力する。
【0005】
コアリング回路4は、エッジ抽出用BPF3からのエッジ信号から、コアリングレベル信号で定まるしきい値以下の信号を遮断するコアリング処理を行うことによって、ノイズ成分を減衰したエッジ信号を出力する。乗算器5は、コアリング回路4からのエッジ信号にエッジ強調度信号を乗算して、強調されたエッジ信号を出力する。加算器6は、乗算器2からのシェーディング補正された映像信号と、乗算器5からの強調されたエッジ信号とを加算して、出力映像信号を生成する。
【0006】
図9は、従来のコアリング回路の論理回路構成例を示したものである。図8に示すコアリング回路4は、図9に示すように、コンパレータ41と、アンド回路42とからなるしきい値処理回路を構成している。
コンパレータ41 は、エッジ抽出用BPF3からの入力信号(nビット)が、コアリングレベル信号(nビット)によって定まるしきい値を超えたとき0を出力し、それ以外のときは1を出力する。アンド回路42は、コンパレータ41 の出力が0のとき0を出力し、コンパレータ41 の出力が1のときは、入力信号をそのまま出力する。
従って、図9の回路によれば、入力信号における、しきい値以下の部分が遮断された出力信号が得られる。
【0007】
図10は、この従来例のエッジ補正回路の動作を説明するタイミングチャートであって、図8に示されたエッジ補正回路の各部における、1走査期間の各部信号を示し、(a)は入力映像信号S11、(b)はシェーディング補正係数信号S12、(c)はシェーディング補正された映像信号S13、(d)はエッジ信号S14及びコアリングレベル信号S15、(e)はコアリング回路3の出力信号S16、(f)は出力映像信号S18をそれぞれ示し、これら各図において、横軸は、画面中央をcとしたときの、1走査期間の画像に対応する各信号の時間的位置を表し、縦軸は、各信号のレベルを表している。
【0008】
以下、図8乃至図10を参照して、従来のエッジ補正回路の動作を説明する。
入力映像信号S11は、矩形状の被写体の輪郭を示すものであるが、撮影レンズの特性に基づいて、図10(a)に示すように、画面中央位置cを中心として左右の信号レベルが低下したものとなっている。さらに入力映像信号S11には、図中、砂子模様で示すように、その上下にノイズが重畳している。
【0009】
入力映像信号S11は、乗算器2において、シェーディング補正係数発生回路1で発生した、図10(b)に示すような、画面中央では小さいが、画面の左右では、対称に次第に増大する値を有するシェーディング補正係数S12を乗算されることによって、左右の信号レベルの低下を補正されて、図10(c)に示すような、シェーディング補正された映像信号S13として出力される。
映像信号S13は、シェーディング補正時、増幅されることによって振幅が大きくなり、その際、ノイズも増幅されて大きくなっている。
【0010】
シェーディング補正された映像信号S13は、エッジ抽出用BPF3に入力される。エッジ抽出用BPF3では、映像信号S13における隣接2画素間の差分をとって得た信号からもう一度差分をとる(二重差分)等の処理を行うことによって、被写体の左右の輪郭に対応する位置に、図10(d)に示すような、エッジ信号S14が抽出される。エッジ信号S14にも、砂子模様で示すようにノイズが重畳している。
【0011】
抽出されたエッジ信号S14は、コアリングレベル信号S15とともに、コアリング回路4に加えられる。コアリングレベル信号S15は、図10(d)に示すように、画面の各部で大きさが等しいしきい値からなっている。コアリング回路4では、入力されたエッジ信号S14から、コアリングレベル信号S15で定まる正負のしきい値範囲内の部分を遮断することによって、図10(e)に示すような、ノイズ成分を減衰したエッジ信号からなる出力信号S16が得られる。
【0012】
コアリング回路4の出力信号S16は、乗算器5において、エッジに対する強調の度合いを決定するエッジ強調度信号を乗算されて、強調されたエッジ信号S17として出力される。強調されたエッジ信号S17と、乗算器2からのシェーディング補正された映像信号S13とを、加算器6において加算することによって、図10(f)に示すような、シェーディング補正され、エッジ強調された出力映像信号S18が得られる。
出力映像信号S18には、シェーディング処理に基づくノイズ(濃い砂子模様で模式的に示す)と、コアリング処理で残留し、エッジ強調処理で増幅されたノイズ(薄い砂子模様で模式的に示す)とが重畳されている。
【0013】
【発明が解決しようとする課題】
図8に示された、従来のエッジ補正回路では、シェーディング補正した映像信号S13から抽出したエッジ信号S14に対して、画面位置にかかわらず一定の値を有するしきい値からなる、コアリングレベル信号S15によってコアリング処理を行うようにしている。
しかしながら、シェーディング補正された映像信号S13は、シェーディング補正係数の値が大きいところと小さいところとでは、ノイズレベルに差があるため、一定の大きさを持つしきい値であるコアリングレベル信号S15によってコアリング処理を行うと、レベルが大きい部分のノイズが減衰させられずに残ってしまう。
【0014】
そして、このようにして残留したノイズがエッジ強調度信号によってさらに強調されて、加算器6で、シェーディング補正した映像信号S13に加算されるため、出力映像信号S18において、ノイズが強調される結果になるという問題があった。
これに対して、シェーディング処理によって増大したノイズを減衰させるために、コアリングレベル信号S15のしきい値レベルを大きくすると、エッジ信号成分も減衰するため、エッジ強調の効果が減少するという別の問題が生じることになる。
【0015】
この発明は上述の事情に鑑みてなされたものであって、エッジ補正回路において、エッジ補正処理によって出力映像信号におけるノイズが強調されるのを防止することが可能な、エッジ補正回路及びエッジ補正方法を提供することを目的としている。
【0016】
【課題を解決するための手段】
上記課題を解決するため、請求項1記載の発明はエッジ補正回路に係り、入力映像信号に所定のシェーディング補正係数を乗算してシェーディング補正された映像信号を出力する第1の乗算手段と、上記シェーディング補正された映像信号からエッジ信号を抽出するエッジ抽出手段と、コアリングレベル信号に上記シェーディング補正係数を乗算して補正されたコアリングレベル信号を出力する第2の乗算手段と、上記抽出されたエッジ信号に対して上記補正されたコアリングレベル信号に応じてコアリングを行ってコアリングされたエッジ信号を出力するコアリング手段と、上記コアリングされたエッジ信号に所定の強調度を乗算して強調されたエッジ信号を出力する第3の乗算手段と、上記第1の乗算手段からのシェーディング補正された映像信号に上記第3の乗算手段からの強調されたエッジ信号を加算して出力映像信号を得る加算手段とを備えたことを特徴としている。
【0017】
また、請求項2記載の発明は、請求項1記載のエッジ補正回路に係り、上記コアリング手段が、入力エッジ信号から、上記補正されたコアリングレベル信号によって定まるしきい値以下の信号を除去して出力信号を発生するしきい値処理手段からなることを特徴としている。
【0018】
また、請求項3記載の発明は、請求項1記載のエッジ補正回路に係り、上記コアリング手段が、入力エッジ信号における負値の入力に対応する範囲の信号を絶対値が等しい正値として出力する第1の信号変換手段と、該第1の信号変換手段の出力信号を、上記補正されたコアリングレベル信号によって定まるしきい値だけ負方向にシフトして出力を発生する減算手段と、該減算手段の出力信号における負値の範囲を除去するリミット手段と、該リミット手段の出力信号における、負値の入力に対応する範囲の信号を絶対値が等しい負値として出力する第2の信号変換手段とからなることを特徴としている。
【0019】
また、請求項4記載の発明は、請求項1記載のエッジ補正回路に係り、上記コアリング手段が、2の補数を含む2進信号からなる入力エッジ信号を絶対値に変換する絶対値化手段と、上記絶対値からなるエッジ信号から上記補正されたコアリングレベル信号を減算する減算手段と、該減算結果のエッジ信号ににおける負値の範囲を除去するするリミット手段と、該リミット手段の出力エッジ信号を絶対値から2の補数を含む2進信号に変換する絶対値−2の補数変換手段とからなることを特徴としている。
【0020】
また、請求項5記載の発明は、エッジ補正方法に係り、入力映像信号に所定のシェーディング補正係数を乗算してシェーディング補正された映像信号を生成して、該シェーディング補正された映像信号からエッジ信号を抽出するとともに、コアリングレベル信号に上記シェーディング補正係数を乗算して補正されたコアリングレベル信号を生成し、上記抽出されたエッジ信号に対して上記補正されたコアリングレベル信号に応じてコアリングを行ってコアリングされたエッジ信号を生成したのち、該コアリングされたエッジ信号に所定の強調度を乗算して強調されたエッジ信号を生成し、上記シェーディング補正された映像信号に上記強調されたエッジ信号を加算して出力映像信号を得ることを特徴としている。
【0021】
また、請求項6記載の発明は、請求項5記載のエッジ補正方法に係り、上記コアリングが、上記抽出されたエッジ信号から上記補正されたコアリングレベル信号によって定まるしきい値以下の信号を除去することによって行われることを特徴としている。
【0022】
また、請求項7記載の発明は、請求項5記載のエッジ補正方法に係り、上記コアリングが、入力エッジ信号における負値の範囲を絶対値が等しい正値に変換し、上記補正されたコアリングレベル信号によって定まるしきい値だけ負方向にシフトして該シフトされた信号における負値の範囲を除去した信号の、負値の入力に対応する範囲の信号を絶対値が等しい負値に変換することによって行われることを特徴としている。
【0023】
また、請求項8記載の発明は、請求項5記載のエッジ補正方法に係り、上記コアリングが、2の補数を含む2進信号からなる入力エッジ信号を絶対値に変換し、該絶対値からなるエッジ信号から上記補正されたコアリングレベル信号を減算し、該減算結果のエッジ信号から負値の範囲を除去して、2の補数を含む2進信号に変換することによって行われることを特徴としている。
【0024】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。説明は、実施例を用いて具体的に行う。
◇第1実施例
図1は、この発明の第1実施例であるエッジ補正回路の構成を示すブロック図、図2は、本実施例のエッジ補正回路の動作を説明するタイミングチャートである。
【0025】
この例のエッジ補正回路は、図1に示すように、シェーディング補正係数発生回路1と、乗算器2と、エッジ抽出用バンドパスフィルタ(BPF)3と、コアリング回路4Aと、乗算器5と、加算器6と、乗算器7とから概略構成されている。これらのうち、シェーディング補正係数発生回路1,乗算器2,エッジ抽出用BPF3,乗算器5,加算器6は、図8に示された従来例の場合と同様なので、以下においては、これらについての詳細な説明を省略する。
【0026】
コアリング回路4Aは、その構成は図9に示された従来のコアリング回路と同様であるが、エッジ抽出用BPF3からのエッジ信号に対して、乗算器7からの、シェーディング補正係数によって補正されたコアリングレベル信号に応じてコアリング処理を行うことによって、ノイズ成分を減衰したエッジ信号を出力する。乗算器7は、コアリングレベル信号に対して、シェーディング補正係数発生回路4からのシェーディング補正係数を乗算して、シェーディング補正係数に応じて補正されたコアリングレベル信号を発生する。
【0027】
図2は、この例のエッジ補正回路の動作をタイミングチャートを用いて説明するものであって、図1に示されたエッジ補正回路の各部における、1走査期間の各部信号を示し、(a)は入力映像信号S1、(b)はシェーディング補正係数信号S2、(c)はシェーディング補正された映像信号S3、(d)はエッジ信号S4及びシェーディング補正係数に応じて補正されたコアリングレベル信号S5、(e)はコアリング回路4Aの出力信号S6、(f)は出力映像信号S8をそれぞれ示し、これら各図において、横軸は、画面中央をcとしたときの、1走査期間の画像に対応する各信号の時間的位置を表し、縦軸は、各信号のレベルを表している。
【0028】
以下、図1,図2を参照して、この例のエッジ補正回路の動作を説明する。
入力映像信号S1は、矩形からなる被写体の輪郭を表すものであって、矩形波状をなすべきものであるが、カメラの撮影レンズの特性に基づいて、図2(a)に示すように、画面中央位置cを中心として左右の信号レベルが低下したものとなっている。入力映像信号S1には、図中、砂子模様で示すように、その上下にノイズが重畳している。
【0029】
入力映像信号S1は、乗算器2において、シェーディング補正係数発生回路1で発生した、図2(b)に示すような、画面中央cでは小さいが、画面の左右では、対称に次第に増大する値を有するシェーディング補正係数S2を乗算されることによって、左右の信号レベルの低下が補正されて、図2(c)に示すような、シェーディング補正された映像信号S3として出力される。
映像信号S3は、シェーディング補正時、増幅されることによって振幅が大きくなり、その際、ノイズも増幅されて大きくなっている。
【0030】
シェーディング補正された映像信号S3は、エッジ抽出用BPF3に入力される。エッジ抽出用BPF3では、従来例の場合と同様に、二重差分等の処理を行うことによって、被写体の左右の輪郭に対応する位置で振幅が増大する、図2(d)に示すような、エッジ信号S4が抽出される。エッジ信号S4にも、砂子模様で示すように、ノイズが重畳している。
一方、乗算器7において、コアリングレベル信号に対して、シェーディング補正係数発生回路1からのシェーディング補正係数S2を乗算することによって、シェーディング補正係数に応じて、画面中央cで小さく、画面の左右で次第に増大するしきい値からなる、補正されたコアリングレベル信号S5が生成される。
【0031】
エッジ抽出用BPF3において抽出されたエッジ信号S4は、乗算器5からの補正されたコアリングレベル信号S5とともに、コアリング回路4Aに加えられる。コアリング回路4Aでは、エッジ信号S4から、補正されたコアリングレベル信号S5で定まる、正負のしきい値範囲内の部分を遮断することによって、図2(e)に示すような、ノイズ成分を除去したエッジ信号からなる出力信号S6が得られる。
【0032】
コアリング回路4Aの出力信号S6は、乗算器5において、エッジに対する強調の度合いを決定するエッジ強調度信号を乗算されることによって、強調されたエッジ信号からなる信号S7が出力される。この出力信号7と、乗算器2からのシェーディング補正された映像信号S3とを、加算器6において加算することによって、図2(f)に示すような、シェーディング補正され、エッジ強調された出力映像信号S8が得られる。
出力映像信号S8には、シェーディング処理に基づくノイズ(砂子模様で模式的に示す)が重畳されているが、シェーディング補正係数が大きくなる部分のエッジ信号に重畳するノイズが、コアリング処理で除去されているため、エッジ強調処理で増幅されて、出力映像信号S8に重畳することが防止されている。
【0033】
このように、この例のエッジ補正回路では、コアリング回路4Aにおいて、シェーディング補正後の映像信号から抽出されたエッジ信号をコアリングする際に、シェーディング補正係数に応じて補正したコアリングレベル信号によって定まるしきい値によって、コアリング処理を行うようにしたので、シェーディング補正で増加したノイズに、エッジ補正処理によって増大したノイズ成分が重畳されることを防止できる。
従って、この例のエッジ補正回路によれば、従来のエッジ補正回路のように、エッジ補正処理によって、シェーディング補正後の映像信号のノイズが増大するという問題が解消される。
【0034】
◇第2実施例
図3は、この発明の第2実施例であるエッジ補正回路の構成を示すブロック図、図4は、本実施例における各部の入出力特性を示す図、図5は、本実施例によるコアリング回路出力におけるエッジ成分の急変防止を説明する図である。
この例のエッジ補正回路は、図3に示すように、シェーディング補正係数発生回路1と、乗算器2と、エッジ抽出用バンドパスフィルタ(BPF)3と、コアリング回路4Bと、乗算器5と、加算器6と、乗算器7とから概略構成されている。これらのうち、シェーディング補正係数発生回路1,乗算器2,エッジ抽出用BPF3,乗算器5,加算器6,乗算器7は、図1に示された第1実施例の場合と同様なので、以下においては、これらについての詳細な説明を省略する。
【0035】
コアリング回路4Bは、第1の信号変換回路11と、減算器12と、リミット回路13と、第2の信号変換回路14とから構成されている。
信号変換回路11は、エッジ抽出用BPF3からの入力信号における負の値を有する部分を、絶対値が等しい正の値に変換して出力する処理を行う。減算器12は、信号変換回路11の出力から乗算器7の出力を減算する。リミット回路13は、減算器12の出力における負の値を有する部分を遮断する。信号変換回路14は、リミット回路13からの入力信号における負の値を有する部分を、絶対値が等しい正の値に変換して出力する処理を行う。
【0036】
以下、図3,図4を参照して、この例のエッジ補正回路の動作を説明する。
第1の信号変換回路11は、エッジ抽出用BPF3からの入力に対して、負側の入力に対応する範囲を、絶対値が等しい正の値に変換して、図4(a)に示すように、正の値のみを有する出力信号を発生する。
【0037】
減算器12は、信号変換回路11からの入力信号に対して、図4(b)に示すように、入力信号から、図中tで示す、乗算器7からのシェーディング補正係数によって補正されたコアリングレベル信号によって定まるしきい値だけ、負方向にレベルシフトして出力信号を発生する。
リミット回路13は、減算器12からの入力信号に対して、負の値をもつ範囲の信号を遮断して、図4(c)に示すように、正の値のみをもつ出力信号を発生する。
【0038】
第2の信号変換回路14は、リミット回路13からの正の値のみをもつ信号に対して、その負の入力に対応する範囲の信号を、絶対値が等しい負の値をもつ信号に変換して、図4(d)に示すように、入力が正の範囲では正の値をもち、入力が負の範囲では負の値をもつ信号として出力する。
【0039】
次に、図5を用いて、この例のエッジ補正回路の場合の、コアリング回路出力におけるエッジ成分の急変防止作用について説明する。
【0040】
図5(a)は、図8に示された従来例、又は図1に示された第1実施例の場合の、コアリング回路出力を例示したものである。
入力が正の場合には、入力の減少によってコアリング回路出力が減少して、入力がコアリング係数又は補正されたコアリング係数によって定まるしきい値に等しくなるA点で、コアリング回路出力はしきい値に等しい値となるが、入力がそれ以下になると遮断されてコアリング回路出力が急激に0となる。
また、入力が負の場合には、入力の増加によってコアリング回路出力が増加して、入力が(コアリング係数又は補正されたコアリング係数)×(−1)によって定まるしきい値に等しくなるB点で、コアリング回路出力はしきい値に等しい値となるが、入力がそれ以上になると遮断されてコアリング回路出力は急激に0となる。
このような特性の場合、入力がしきい値を下回った範囲では、コアリング回路の出力であるエッジ成分が急激に変化して0になるため、画像が不自然になる。
【0041】
図5(b)は、図3に示す第2実施例のエッジ補正回路の場合の、コアリング回路出力を例示したものである。
入力が正の場合には、入力の減少によってコアリング回路出力が減少して、入力がコアリング係数又は補正されたコアリング係数によって定まるしきい値に等しくなるA’点で、コアリング回路出力が0となり、入力がそれ以下になっても変わらない。
また、入力が負の場合には、入力の増加によってコアリング回路出力が増加して、入力が(コアリング係数又は補正されたコアリング係数)×(−1)によって定まるしきい値に等しくなるB’点で、コアリング回路出力が0となり、入力がそれ以上になっても変わらない。
従って、第2実施例のコアリング回路4Bの場合、入力がしきい値を下回った範囲になる境界で、コアリング回路の出力であるエッジ成分が急激に変化して0になることがないので、より自然な画像が得られる。
【0042】
このように、この例のエッジ補正回路では、コアリング回路4Bにおいて、シェーディング補正後の映像信号から抽出されたエッジ信号をコアリングする際に、シェーディング補正係数に応じて補正したコアリングレベル信号によって定まるしきい値によって、コアリング処理を行うようにしたので、シェーディング補正で増加したノイズに、エッジ補正処理によって増大したノイズ成分が重畳されることを防止できるとともに、コアリング回路の入力がしきい値を下回った範囲でも、コアリング回路の出力であるエッジ成分が急激に変化して0になることがないので、より自然な画像を得ることができる。
【0043】
◇第3実施例
図6は、この発明の第3実施例であるエッジ補正回路の構成を示すブロック図、図7は、本実施例におけるコアリング回路の各部の論理回路構成を示す図である。
この例のエッジ補正回路は、図6に示すように、シェーディング補正係数発生回路1と、乗算器2と、エッジ抽出用バンドパスフィルタ(BPF)3Aと、コアリング回路4Cと、乗算器5と、加算器6と、乗算器7とから概略構成されている。これらのうち、シェーディング補正係数発生回路1,乗算器2,乗算器5,加算器6,乗算器7は、図1に示された第1実施例の場合と同様なので、以下においては、これらについての詳細な説明を省略する。コアリング回路4Cは、さらに、絶対値化回路21と、減算器22と、リミット回路23と、絶対値−2の補数変換回路24とから構成されている。
【0044】
エッジ抽出用BPF3Aは、乗算器2からのシェーディング補正された映像信号からエッジ成分を抽出して、負値を2の補数としたnビットのデータと、符号ビットとからなるエッジ信号として出力する。
コアリング回路4Cにおいて、絶対値化回路21は、図7(a)に示すように、排他的論理和(EX−OR)回路211と、半加算器212とからなっている。
絶対値化回路21では、EX−OR回路211において、エッジ抽出用BPF3Aからの、負値を2の補数で表したnビットの入力と、符号ビット(1ビット)との排他的論理和の演算を行い、半加算器212において、EX−OR回路211からの演算結果に符号ビットを加算する。これによって、符号ビットが0(正値を示す)のときは、エッジ抽出用BPF3Aからの、nビットの信号をそのまま出力し、符号ビットが1(負値を示す)のときは、EX−OR回路211からエッジ抽出用BPF3Aからのnビットの信号を反転した出力を発生し、半加算器212において、EX−OR回路211からの出力に1を加算することによって、エッジ抽出用BPF3Aからの入力を、絶対値を表すnビットのデータと符号とからなる信号に変換して出力する。
【0045】
減算器22は、絶対値化回路21からの、絶対値を表すnビットの信号から、乗算器7からの、シェーディング補正係数によって補正されたコアリングレベル信号を減算して、絶対値化回路21からの、絶対値を表すnビットの信号から、補正されたコアリングレベル信号に対応するしきい値を減算された、nビットからなる出力を発生する。
【0046】
リミット回路23は、図7(b)に示すように、アンド回路231からなっている。
アンド回路231では、減算器22からのnビットの入力信号における符号ビットが1のとき、出力の全ビットを0にするとともに、符号ビットが0のときは、nビットの信号をそのまま出力することによって、減算器22からの入力における、負値の範囲を遮断した、nビットの出力を発生する。
【0047】
絶対値−2の補数変換回路24は、図7(c)に示すように、排他的論理和(EX−OR)回路241と、半加算器242とからなっている。
絶対値−2の補数変換回路24では、EX−OR回路241において、リミット回路23からのnビットの入力と、エッジ抽出用BPF3Aからの符号ビットとの排他的論理和の演算を行い、半加算器242において、EX−OR回路241からの演算結果に符号ビットを加算する。これによって、符号ビットが0のときは、リミット回路23からのnビットの信号をそのまま出力し、符号ビットが1のときは、EX−OR回路241においてリミット回路23からの信号を反転した出力を発生し、半加算器242において、EX−OR回路241からの出力に1を加算することによって、リミット回路23からの入力を、負値が2の補数からなるnビットの信号に変換した出力を発生する。
【0048】
このように、この例のエッジ補正回路では、第2実施例の場合のコアリング回路4Bにおけると同様の処理を論理回路によって行って、シェーディング補正後の映像信号から抽出したエッジ信号をコアリングする際に、シェーディング補正係数に応じて補正したコアリングレベル信号によって定まるしきい値によって、コアリング処理を行うようにしたので、シェーディング補正で増加したノイズに、エッジ補正処理によって増大したノイズ成分が重畳されることを防止できるとともに、コアリング回路の入力がしきい値を下回った範囲でも、コアリング回路の出力であるエッジ成分が急激に変化して0になることがないので、より自然な画像を得ることができる。
【0049】
以上、この発明の実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られたものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、第3実施例の場合に、コアリング回路を形成する各部における入出力信号のビット数nは、回路設計に応じて任意に定めることができる。
【0050】
【発明の効果】
以上、説明したように、本発明のエッジ補正回路によれば、シェーディング補正後の映像信号から抽出したエッジ信号をコアリングする際に、シェーディング補正係数に応じて補正したコアリングレベル信号によって定まるしきい値を用いてコアリング処理を行うようにしたので、シェーディング補正で増加したノイズに、エッジ補正処理によって増大したノイズ成分が重畳されるのを防止することができる。
また、本発明のエッジ補正回路によれば、コアリング回路の入力がしきい値を下回った範囲でも、コアリング回路の出力であるエッジ成分が急激に変化して0になることがないので、より自然な画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1実施例であるエッジ補正回路の構成を示すブロック図である。
【図2】同実施例のエッジ補正回路の動作を説明するタイミングチャートである。
【図3】本発明の第2実施例であるエッジ補正回路の構成を示すブロック図である。
【図4】同実施例における各部の入出力特性を示す図である。
【図5】同実施例によるコアリング回路出力におけるエッジ成分の急変防止を説明する図である。
【図6】本発明の第3実施例であるエッジ補正回路の構成を示すブロック図である。
【図7】同実施例におけるコアリング回路の各部の論理回路構成を示す図である。
【図8】従来のエッジ補正回路の構成例を示す図である。
【図9】従来のコアリング回路の論理回路構成例を示す図である。
【図10】従来のエッジ補正回路の動作を説明するタイミングチャートである。
【符号の説明】
1 シェーディング補正係数発生回路
2 乗算器(第1の乗算手段)
3 エッジ検出用バンドパスフィルタ(BPF)(エッジ抽出手段)
4A,4B,4C コアリング回路(コアリング手段)
5 乗算器(第3の乗算手段)
6 加算器(加算手段)
7 乗算器(第2の乗算手段)
11 信号変換回路(第1の信号変換手段)
12 減算器(減算手段)
13 リミット回路(リミット手段)
14 信号変換回路(第2の信号変換手段)
21 絶対値化回路(絶対値化手段)
22 減算器(減算手段)
23 リミット回路(リミット手段)
24 絶対値−2の補数変換回路(絶対値−2の補数変換手段)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an edge correction circuit for emphasizing edges of image information, and more particularly to an edge correction circuit and an edge correction method that suppress noise amplification during edge correction processing.
[0002]
[Prior art]
In an image processing apparatus, when an image is displayed using an input video signal from a camera, an edge correction circuit is provided for the purpose of making the displayed screen easier to see and emphasizing the image expression, and based on the characteristics of the photographing lens. Shading processing for electrically correcting the decrease in brightness around the screen and edge correction processing for emphasizing and expressing the edges of the image are performed. Conventionally, such shading processing and After the edge correction processing is performed independently, the processing results are added together to obtain an output video signal.
[0003]
FIG. 8 shows a configuration example of a conventional edge correction circuit.
As shown in FIG. 8, the conventional edge correction circuit includes a shading correction
[0004]
The shading correction
[0005]
The
[0006]
FIG. 9 shows a logic circuit configuration example of a conventional coring circuit. As shown in FIG. 9, the
The
Therefore, according to the circuit of FIG. 9, an output signal in which a portion below the threshold in the input signal is cut off can be obtained.
[0007]
FIG. 10 is a timing chart for explaining the operation of the edge correction circuit of this conventional example, showing respective signals in one scanning period in each part of the edge correction circuit shown in FIG. Signals S11 and (b) are shading correction coefficient signals S12, (c) is a shading corrected video signal S13, (d) is an edge signal S14 and coring level signal S15, and (e) is an output signal of the
[0008]
The operation of the conventional edge correction circuit will be described below with reference to FIGS.
The input video signal S11 shows the outline of the rectangular object, but the left and right signal levels are lowered around the screen center position c as shown in FIG. 10A based on the characteristics of the photographing lens. It has become. Furthermore, noise is superimposed on the upper and lower sides of the input video signal S11 as shown by a sand dust pattern in the figure.
[0009]
The input video signal S11 is generated in the shading correction
The amplitude of the video signal S13 is increased by being amplified at the time of shading correction, and noise is also amplified and increased at that time.
[0010]
The shading-corrected video signal S13 is input to the
[0011]
The extracted edge signal S14 is applied to the
[0012]
The output signal S16 of the
In the output video signal S18, noise (schematically shown by a dark sand pattern) based on shading processing and noise (schematically shown by a thin sand pattern) remaining by coring processing and amplified by edge enhancement processing are included. Are superimposed.
[0013]
[Problems to be solved by the invention]
In the conventional edge correction circuit shown in FIG. 8, a coring level signal composed of a threshold value having a constant value regardless of the screen position with respect to the edge signal S14 extracted from the video signal S13 subjected to shading correction. The coring process is performed in S15.
However, since the shading-corrected video signal S13 has a noise level difference between a large shading correction coefficient and a small shading correction coefficient, the coring level signal S15 is a threshold having a certain magnitude. When the coring process is performed, the noise of the portion with a large level remains without being attenuated.
[0014]
The residual noise is further enhanced by the edge enhancement signal and added to the shading-corrected video signal S13 by the
On the other hand, when the threshold level of the coring level signal S15 is increased in order to attenuate the noise increased by the shading process, the edge signal component is also attenuated, so that the edge enhancement effect is reduced. Will occur.
[0015]
The present invention has been made in view of the above-described circumstances, and an edge correction circuit and an edge correction method capable of preventing noise in an output video signal from being emphasized by edge correction processing in an edge correction circuit. The purpose is to provide.
[0016]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention according to
[0017]
The invention according to
[0018]
The invention according to
[0019]
According to a fourth aspect of the invention, there is provided the edge correction circuit according to the first aspect, wherein the coring means converts an input edge signal composed of a binary signal including two's complement into an absolute value. A subtracting means for subtracting the corrected coring level signal from the edge signal composed of the absolute value, a limit means for removing a negative value range in the edge signal as a result of the subtraction, and an output of the limit means It is characterized by comprising an absolute value -2's complement conversion means for converting an edge signal from an absolute value into a binary signal including 2's complement.
[0020]
The invention according to
[0021]
According to a sixth aspect of the invention, there is provided the edge correction method according to the fifth aspect, wherein the coring is a signal having a threshold value or less determined by the corrected coring level signal from the extracted edge signal. It is characterized by being performed by removing.
[0022]
The invention according to
[0023]
The invention according to
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. The description will be made specifically using examples.
◇ First example
FIG. 1 is a block diagram showing the configuration of an edge correction circuit according to a first embodiment of the present invention, and FIG. 2 is a timing chart for explaining the operation of the edge correction circuit according to this embodiment.
[0025]
As shown in FIG. 1, the edge correction circuit of this example includes a shading correction
[0026]
The configuration of the
[0027]
FIG. 2 explains the operation of the edge correction circuit of this example using a timing chart, and shows each signal of one scanning period in each part of the edge correction circuit shown in FIG. Is the input video signal S1, (b) is the shading correction coefficient signal S2, (c) is the shading corrected video signal S3, (d) is the coring level signal S5 corrected according to the edge signal S4 and the shading correction coefficient. (E) shows the output signal S6 of the
[0028]
The operation of the edge correction circuit of this example will be described below with reference to FIGS.
The input video signal S1 represents the outline of a subject formed of a rectangle and should have a rectangular wave shape. However, based on the characteristics of the photographing lens of the camera, as shown in FIG. The left and right signal levels are lowered with the center position c as the center. In the input video signal S1, noise is superimposed on the top and bottom of the input video signal S1, as shown by the sand pattern in the figure.
[0029]
The input video signal S1 is generated in the
The amplitude of the video signal S3 is increased by being amplified at the time of shading correction, and noise is also amplified and increased at that time.
[0030]
The shading-corrected video signal S3 is input to the
On the other hand, the
[0031]
The edge signal S4 extracted in the
[0032]
The
In the output video signal S8, noise based on the shading process (schematically shown by a sand pattern) is superimposed, but the noise superimposed on the edge signal of the portion where the shading correction coefficient is large is removed by the coring process. Therefore, it is prevented from being amplified by the edge enhancement process and superposed on the output video signal S8.
[0033]
Thus, in the edge correction circuit of this example, when coring the edge signal extracted from the video signal after shading correction in the
Therefore, according to the edge correction circuit of this example, the problem that the noise of the video signal after the shading correction is increased by the edge correction processing as in the conventional edge correction circuit is solved.
[0034]
◇ Second embodiment
3 is a block diagram showing a configuration of an edge correction circuit according to a second embodiment of the present invention, FIG. 4 is a diagram showing input / output characteristics of each part in this embodiment, and FIG. 5 is a coring according to this embodiment. It is a figure explaining prevention of the sudden change of the edge component in a circuit output.
As shown in FIG. 3, the edge correction circuit of this example includes a shading correction
[0035]
The
The
[0036]
The operation of the edge correction circuit of this example will be described below with reference to FIGS.
The first
[0037]
As shown in FIG. 4B, the
The
[0038]
The second
[0039]
Next, the action of preventing an edge component sudden change in the coring circuit output in the case of the edge correction circuit of this example will be described with reference to FIG.
[0040]
FIG. 5A illustrates the coring circuit output in the case of the conventional example shown in FIG. 8 or the first embodiment shown in FIG.
If the input is positive, the coring circuit output is reduced by decreasing the input and the coring circuit output is at point A where the input is equal to the threshold determined by the coring factor or the corrected coring factor. Although the value is equal to the threshold value, when the input becomes lower than that, the output is cut off and the coring circuit output suddenly becomes zero.
When the input is negative, the coring circuit output increases as the input increases, and the input becomes equal to the threshold value determined by (coring coefficient or corrected coring coefficient) × (−1). At the point B, the coring circuit output becomes a value equal to the threshold value, but when the input exceeds it, the output is cut off and the coring circuit output suddenly becomes zero.
In the case of such characteristics, in the range where the input is below the threshold value, the edge component, which is the output of the coring circuit, suddenly changes to 0, and the image becomes unnatural.
[0041]
FIG. 5B illustrates the coring circuit output in the case of the edge correction circuit of the second embodiment shown in FIG.
If the input is positive, the coring circuit output will decrease due to the decrease in input, and the coring circuit output will be at point A ′ where the input is equal to the threshold determined by the coring factor or the corrected coring factor. Even if the input becomes less than 0, it does not change.
When the input is negative, the coring circuit output increases as the input increases, and the input becomes equal to the threshold value determined by (coring coefficient or corrected coring coefficient) × (−1). At the point B ′, the coring circuit output becomes 0, and it does not change even if the input becomes more than that.
Therefore, in the case of the coring circuit 4B of the second embodiment, the edge component that is the output of the coring circuit does not change suddenly to 0 at the boundary where the input falls below the threshold value. A more natural image can be obtained.
[0042]
Thus, in the edge correction circuit of this example, when coring the edge signal extracted from the video signal after shading correction in the coring circuit 4B, the coring level signal corrected according to the shading correction coefficient is used. Since the coring process is performed with a fixed threshold, it is possible to prevent the noise component increased by the edge correction process from being superimposed on the noise increased by the shading correction, and the input of the coring circuit is the threshold. Even in the range below the value, the edge component, which is the output of the coring circuit, does not change abruptly and becomes 0, so that a more natural image can be obtained.
[0043]
◇ Third example
FIG. 6 is a block diagram showing a configuration of an edge correction circuit according to a third embodiment of the present invention, and FIG. 7 is a diagram showing a logic circuit configuration of each part of the coring circuit in this embodiment.
As shown in FIG. 6, the edge correction circuit of this example includes a shading correction
[0044]
The edge extraction BPF 3A extracts an edge component from the shading-corrected video signal from the
In the coring circuit 4C, the absolute
In the absolute
[0045]
The
[0046]
The
In the AND
[0047]
As shown in FIG. 7C, the absolute value −2
In the absolute value-2
[0048]
Thus, in the edge correction circuit of this example, the same processing as in the coring circuit 4B in the second embodiment is performed by the logic circuit, and the edge signal extracted from the video signal after shading correction is cored. At this time, since the coring process is performed with the threshold value determined by the coring level signal corrected according to the shading correction coefficient, the noise component increased by the edge correction process is superimposed on the noise increased by the shading correction. Since the edge component, which is the output of the coring circuit, does not change abruptly even in the range where the input of the coring circuit falls below the threshold value, the image becomes more natural. Can be obtained.
[0049]
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and even if there is a design change or the like without departing from the gist of the present invention. Included in the invention. For example, in the case of the third embodiment, the bit number n of input / output signals in each part forming the coring circuit can be arbitrarily determined according to the circuit design.
[0050]
【The invention's effect】
As described above, according to the edge correction circuit of the present invention, when coring the edge signal extracted from the video signal after shading correction, it is determined by the coring level signal corrected according to the shading correction coefficient. Since the coring process is performed using the threshold value, it is possible to prevent the noise component increased by the edge correction process from being superimposed on the noise increased by the shading correction.
Further, according to the edge correction circuit of the present invention, the edge component that is the output of the coring circuit does not change suddenly to 0 even in the range where the input of the coring circuit is below the threshold value. A more natural image can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an edge correction circuit according to a first embodiment of the present invention.
FIG. 2 is a timing chart for explaining the operation of the edge correction circuit according to the embodiment;
FIG. 3 is a block diagram showing a configuration of an edge correction circuit according to a second embodiment of the present invention.
FIG. 4 is a diagram showing input / output characteristics of each part in the same example.
FIG. 5 is a diagram for explaining prevention of sudden change of an edge component in a coring circuit output according to the same embodiment;
FIG. 6 is a block diagram showing a configuration of an edge correction circuit according to a third embodiment of the present invention.
FIG. 7 is a diagram showing a logic circuit configuration of each part of the coring circuit in the same embodiment;
FIG. 8 is a diagram illustrating a configuration example of a conventional edge correction circuit.
FIG. 9 is a diagram showing a logic circuit configuration example of a conventional coring circuit.
FIG. 10 is a timing chart for explaining the operation of a conventional edge correction circuit.
[Explanation of symbols]
1 Shading correction coefficient generator
2 multiplier (first multiplication means)
3 Bandpass filter for edge detection (BPF) (edge extraction means)
4A, 4B, 4C coring circuit (coring means)
5 Multiplier (third multiplication means)
6 Adder (addition means)
7 Multiplier (second multiplication means)
11 Signal conversion circuit (first signal conversion means)
12 Subtractor (subtraction means)
13 Limit circuit (limit means)
14 Signal conversion circuit (second signal conversion means)
21 Absolute value circuit (absolute value means)
22 Subtractor (subtraction means)
23 Limit circuit (limit means)
24 Complement conversion circuit of absolute value-2 (complement conversion means of absolute value-2)
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145390A JP4075457B2 (en) | 2002-05-20 | 2002-05-20 | Edge correction circuit and edge correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145390A JP4075457B2 (en) | 2002-05-20 | 2002-05-20 | Edge correction circuit and edge correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003338949A JP2003338949A (en) | 2003-11-28 |
| JP4075457B2 true JP4075457B2 (en) | 2008-04-16 |
Family
ID=29704733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002145390A Expired - Fee Related JP4075457B2 (en) | 2002-05-20 | 2002-05-20 | Edge correction circuit and edge correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4075457B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7712174B2 (en) | 2003-05-16 | 2010-05-11 | Panasonic Electric Works Co., Ltd. | Rolling driving actuator and power toothbrush using the same |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496976B2 (en) * | 2005-02-04 | 2010-07-07 | 日本電気株式会社 | Noise reduction circuit |
| JP4783676B2 (en) * | 2006-05-29 | 2011-09-28 | 日本放送協会 | Image processing apparatus and image processing program |
| KR100862494B1 (en) * | 2007-04-25 | 2008-10-08 | 삼성전기주식회사 | Edge enhancement method of image according to lens shading distribution |
| JP2009201062A (en) * | 2008-02-25 | 2009-09-03 | Canon Inc | Imaging device and imaging method |
| JP5677361B2 (en) * | 2012-04-23 | 2015-02-25 | キヤノン株式会社 | Imaging apparatus and image signal processing method |
-
2002
- 2002-05-20 JP JP2002145390A patent/JP4075457B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7712174B2 (en) | 2003-05-16 | 2010-05-11 | Panasonic Electric Works Co., Ltd. | Rolling driving actuator and power toothbrush using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003338949A (en) | 2003-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8170362B2 (en) | Edge-enhancement device and edge-enhancement method | |
| KR100679789B1 (en) | Noise detection device, noise detection method, signal processing device and signal processing method | |
| KR101031153B1 (en) | Signal Processing Device and Method | |
| JP4859632B2 (en) | Image processing apparatus and image processing method | |
| CN103581537A (en) | Image processing device, image processing method and solid-state imaging device | |
| JP3240371B2 (en) | Video signal processing device | |
| JP4075457B2 (en) | Edge correction circuit and edge correction method | |
| JP4333150B2 (en) | Signal processing apparatus and method, recording medium, and program | |
| JP4400160B2 (en) | Image processing device | |
| JP2003087605A (en) | Noise reduction device, noise reduction method, medium, and program | |
| JP3106831B2 (en) | Video signal processing device | |
| JP5753437B2 (en) | Image enhancement device | |
| EP2282531A2 (en) | Signal processing device, reproducing device, signal processing method and program | |
| JP4085739B2 (en) | Noise removal circuit | |
| EP2410731B1 (en) | Edge correction apparatus, edge correction method, program, and storage medium | |
| EP1622080B1 (en) | Signal processing device and method, recording medium, and program | |
| JP2007265122A (en) | Image processor | |
| JP4650372B2 (en) | Video processing circuit | |
| JP4552881B2 (en) | Video signal processing device | |
| JP2007208723A (en) | Method and program for enhancing contour | |
| JP4571605B2 (en) | Noise reduction apparatus and method | |
| JPH0344172A (en) | Contour correction circuit | |
| JP5008604B2 (en) | Signal processing apparatus and signal processing method | |
| JP4180007B2 (en) | Image signal processing circuit | |
| JP4332317B2 (en) | Outline correction apparatus, outline correction method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |