JP3680334B2 - Pixel unevenness correction apparatus and method - Google Patents
Pixel unevenness correction apparatus and method Download PDFInfo
- Publication number
- JP3680334B2 JP3680334B2 JP00473695A JP473695A JP3680334B2 JP 3680334 B2 JP3680334 B2 JP 3680334B2 JP 00473695 A JP00473695 A JP 00473695A JP 473695 A JP473695 A JP 473695A JP 3680334 B2 JP3680334 B2 JP 3680334B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel unevenness
- pixel
- level
- absolute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、CCD(固体撮像素子)に発生するいわゆる白キズ等の画素ムラを補正する画素ムラ補正装置及び方法に関する。
【0002】
【従来の技術】
例えばビデオカメラ等に搭載されるCCD(固体撮像素子)の画素ムラ(いわゆる白キズ等のように素子出力レベルにオフセットがあるもの)を補正する従来の画素ムラ補正装置は、当該CCDの画素ムラ(以下単にキズと呼ぶ)の位置及びそのキズのレベルのデータからなる補正用のデータを格納しておくROM(リード・オンリ・メモリ)と、そのROMからデータを読み出して当該データに応じた処理を行う専用のIC(集積回路)とを有してなる。ここで、上記CCDのキズの位置とそのキズのレベルは、例えば当該CCDが搭載されるビデオカメラの製造時等に測定され、この測定されたキズの位置(相対アドレス)とキズのレベル(例えば相対値)のデータが上記ROMに格納されている。なお、上記キズの位置の相対アドレスとは、CCD上のあるキズ位置から次のキズ位置がどれくらい離れているかを示す情報であり、上記キズのレベルの相対値とは、ある位置のキズのレベルに対して次の位置のキズのレベルがどれくらい変化しているかを示す情報である。このように、キズ位置を相対アドレスで格納し、キズレベルを相対値で格納するのは、これらキズ位置とレベルのデータを用いて後に補正処理を行う時の処理を簡略化できるようにするためである。
【0003】
ビデオカメラは上記画素ムラ補正装置を搭載しており、したがって、当該ビデオカメラは、例えば電源オン後に上記ROMに予め格納されているキズの位置とレベルのデータを読み出し、このキズの位置とレベルのデータに基づいてキズの補正を行うようになっている。
【0004】
【発明が解決しようとする課題】
ところで、上述したように、従来のビデオカメラにおいては、CCDのキズの位置とレベルのデータがビデオカメラの製造時に上記画素ムラ補正装置のROMに書き込まれるようになっているため、例えば、当該ビデオカメラの出荷後(例えばユーザにカメラが渡った後等)に新たにCCDにキズが発生したような場合には、補正できないことになる。
【0005】
したがって、このようにビデオカメラの出荷後にCCDに新たにキズが発生した場合には、当該ビデオカメラを例えばサービスステーション等に送り、上記ROM内のデータを書き換えなければならなくなる。この場合のサービスステーションでは、当該ビデオカメラのCCDのキズの位置とそのレベルを測定し、当該キズの位置とレベルのデータを、先にROMに格納されていたキズの位置とレベルのデータと共に新しいROM(データ未記憶の別のROM)に書き込み、この新しいROMを、先に搭載されていた古いROMと交換して装填することを行う。
【0006】
このようなことから、サービスステーションには、上記キズの位置とレベルの測定やROMの交換等の作業を行うための専用の治具や、パーソナルコンピュータ、データ未記憶の新しいROM、このROMへのデータの書き込みを行うROMライタ等の数多くの機器が必要となる。
【0007】
また、上記ビデオカメラが、例えば放送局用等の高価かつその局にとってなくなはならないものであるような場合には、当該ビデオカメラの修理を行っている期間の代替カメラ等も用意しておかなければならず、費用と手間がかかることが問題となっている。
【0008】
さらに、ROMを交換する場合、新しいROMに新たな補正用のデータを書き込み、画素ムラ補正装置の基板に例えばソケットを介して搭載されている古いROMを外して、上記新たなROMを差し込むという作業が必要になる。この作業の際には、例えばソケットへの差し込み間違いやソケットへの抜き差しによる基板の破損やパターンの破損、さらに静電気等による破壊等のトラブルが発生する可能性もある。
【0009】
そこで、本発明は上述の実情に鑑み、CCDに新たにキズが発生しても、サービスステーションでの作業が不要で簡単かつ安価に補正することができ、さらにROMの交換も不要となる画素ムラ補正装置及び方法を提供するものである。
【0010】
【課題を解決するための手段】
本発明の画素ムラ補正装置は、上述した目的を達成するために提案されたものであり、固体撮像素子に発生する画素ムラを補正する画素ムラ補正装置において、固体撮像素子に既に存在していた画素ムラの相対位置データ及び相対レベルデータを格納する不揮発性の第1のメモリ手段と、固体撮像素子に新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを生成する生成手段と、上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを格納する書き換え可能な不揮発性の第2のメモリ手段と、上記第1のメモリ手段の相対位置データ及び相対レベルデータと第2のメモリ手段の絶対位置データ及び絶対レベルデータを処理して書き換え可能な第3のメモリ手段に展開する制御手段と、上記第3のメモリ手段に展開された画素ムラの位置データ及びレベルデータを読み出して、画素ムラの補正を行う補正手段とを有し、上記制御手段は、上記第2のメモリ手段の絶対位置データ及び絶対レベルデータを相対位置データ及び相対レベルデータに直して上記第3のメモリ手段に展開することを特徴とするものである。
【0011】
また、本発明の画素ムラ補正装置は、画面上に表示する十字カーソルのデータを発生するカーソル発生手段をも有し、上記新たに発生した画素ムラの位置を、当該画面上に表示した十字カーソルにより測定する。さらに、本発明の画素ムラ補正装置は、上記位置の測定を行った画素ムラのレベルを決定するレベル決定手段をも有している。本発明の画素ムラ補正装置は、上記構成の他に、固体撮像素子上に被写体像を結像させる光学系と、固体撮像素子からの撮像信号を映像信号に変換する変換系とを少なくとも有するカメラ部を備えてもいる。
【0012】
次に、本発明の画素ムラ補正方法は、固体撮像素子に発生する画素ムラを補正する画素ムラ補正方法において、固体撮像素子に新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを生成し、上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを書き換え可能な不揮発性のメモリに格納し、固体撮像素子に既に存在していた画素ムラの相対位置データ及び相対レベルデータと、上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを相対位置データ及び相対レベルデータに直したデータとを処理して書き換え可能なメモリに展開し、当該展開された画素ムラの相対位置データ及び相対レベルデータをメモリから読み出して、画素ムラの補正を行うことを特徴とするものである。
【0013】
また、本発明の画素ムラ補正方法では、画面上に十字カーソルを表示し、当該画面上に表示した十字カーソルにより、上記新たに発生した画素ムラの位置を測定し、さらに、上記位置の測定を行った画素ムラのレベルから判断して補正レベルを設定し、当該補正レベルで補正を行って、上記測定した位置と補正レベルの適正度を判断する。またさらに、上記測定した位置と補正レベルが適正であると判断した後には、当該測定した位置のデータと補正レベルのデータを上記新たに発生した画素ムラの位置データ及びレベルデータとして上記書き換え可能な不揮発性のメモリに格納する。
【0014】
【作用】
本発明の画素ムラ補正装置及び方法によれば、固体撮像素子に既に存在していた画素ムラの位置データ及びレベルデータを元々格納しているため、これら既に存在していた画素ムラの補正は可能である。ここで、新たに画素ムラが発生したときには、その新たに発生した画素ムラの位置データ及びレベルデータを生成し、これら新たに発生した画素ムラの位置データ及びレベルデータを書き換え可能な不揮発性のメモリに格納するようにしている。したがって、この書き換え可能な不揮発性のメモリに格納している新たに発生した画素ムラの位置データ及びレベルデータを用いれば、これら画素ムラの補正ができるようになる。さらに、固体撮像素子に既に存在していた画素ムラの位置データ及びレベルデータも元々格納しているため、書き換え可能な不揮発性のメモリに格納している新たに発生した画素ムラの位置データ及びレベルデータと、既に存在していた画素ムラの位置データ及びレベルデータをまとめて書き換え可能なメモリに展開することで、古い画素ムラのみならず新しい画素ムラも全て補正できるようになる。
【0015】
【実施例】
以下、本発明の好ましい実施例について、図面を参照しながら説明する。
【0016】
図1には、本発明の画素ムラ補正方法が適用される画素ムラ補正装置の一実施例の構成を示す。本実施例の画素ムラ補正装置は、例えばビデオカメラ等のCCDを有するものに適用されるものであり、以下の説明では、ビデオカメラに搭載した場合について説明している。なお、本実施例でいう画素ムラとは、CCDの素子出力レベルにオフセットがあるものであり、いわゆる白キズのみならず黒キズも含み、これ以降の説明では当該画素ムラを単にキズと呼ぶ。
【0017】
この図1において、本発明実施例のビデオカメラに搭載される画素ムラ補正装置は、工場出荷時にCCDに既に存在していたキズの位置データ(相対アドレスデータ)及びレベルデータ(相対レベルデータ)を格納する不揮発性の第1のメモリ手段であるROM(リード・オンリ・メモリ)4と、CCDに新たに発生したキズの絶対アドレスデータ及び絶対レベルデータを生成する生成手段としての操作パネル20及びCPU1と、上記新たに発生したキズの絶対アドレスデータ及び絶対レベルデータを格納する書き換え可能な不揮発性の第2のメモリ手段としてのEEPROM(electrically erasable programmable ROM)2と、上記ROM4とEEPROM7のデータを処理して書き換え可能な第3のメモリ手段であるRAM7に展開するCPU3と、上記RAM7に展開されたキズの位置データ及びレベルデータを読み出して、キズの補正を行う補正手段の一部としての補正を行うべき位置にゲートパルスを出力するキズ補正IC10とを有することを特徴とするものである。
【0018】
先ず、図1の各構成要素の機能について順に説明する。
【0019】
遠隔操作パネル20は、CCDの水平方向のアドレスを調整する水平アドレス調整ボリュームと、CCDの垂直方向のアドレスを調整する垂直アドレス調整ボリュームと、レベルを調整するためのレベル調整ボリュームの計3個のボリュームが少なくとも配され、さらに、キズの補正を行うか否かを指示するための補正オン/オフスイッチと、キズのデータをストアするか否かを指示するめたのストアオン/オフスイッチと、カーソルのオン/オフを指示するためのカーソルオン/オフスイッチの計3個のスイッチが少なくとも配されるものである。なお、上記アドレスは、実際には後述するように画面上に表示された十字カーソルにより指定される画面上の位置と対応している。また、この遠隔操作パネル20の各ボリュームやスイッチは、カメラをコントロールするメインパネル部に配したり、カメラ本体の後部にあるリアパネルに配することもできる。さらに、この操作パネル20には、CCDの読み出しモードをフィールドモードとフレームモードとに切り換えるモード切換スイッチも配されている。
【0020】
CPU(中央処理ユニット)1は、カメラ本体側のCPUで、CCDブロック側のCPU3と通信を行うものであり、後述するようにして操作パネル20によりアドレス指定されるCCDのキズ位置とそのレベルとを測定し、これらキズ位置とレベルの情報をCCD3に伝える機能を有する。上記CPU1からは、操作パネル20により指定されたアドレスに対応する絶対アドレスデータと、同じく操作パネル20により調整された絶対値で表されるレベルデータとが出力されて、CPU3に送られる。
【0021】
書き換え可能な不揮発性メモリであるEEPROM2は、後述するようにして求められたCCDに新たに発生したキズの位置のデータ(絶対アドレス値)とそのレベル(絶対値)のデータを格納する。
【0022】
CPU3は、CCDブロックに搭載されているCPUで、カメラ本体と通信すると共に、本発明の画素ムラ補正装置の各構成要素(CCDブロック内の対応する構成要素)を制御して動作させる機能を有する。また、当該CPU3は、上記CPU1から送られてきた絶対アドレスデータを次に述べるROM4内に格納されているものと同様の相対アドレスデータに直すと共に、絶対値で表されるレベルも相対値に直す処理を行う。
【0023】
ROM4は、ビデオカメラの製造時の例えばCCD固着時に検出した、補正すべきレベルとなっているキズの位置のデータ(相対アドレスのデータ)とレベルデータ(相対値)を格納する。これらキズ位置の相対アドレスとレベルの相対値は、前述同様に、CCD上のあるキズ位置から次のキズ位置がどれくらい離れているかを示す情報と、ある位置のキズのレベルに対して次の位置のキズのレベルがどれくらい変化しているかを示す情報である。また、ROM4に対してキズ位置を相対アドレスで格納し、キズレベルを相対値で格納するのは、これらキズ位置とレベルのデータを用いて後に補正処理を行う時の処理を簡略化できるようにするためである。なお、本実施例では、キズがない場合でも、例えばCPU3によって3H(Hは水平走査周期)おきにダミーのキズをHのブランキング期間中に入れるようにしている。
【0024】
カーソル発生回路5は、CPU1からのデータ(S.DATA)とロードデータ(S.LD)とクロック(S.CLK)とからなるシリアルデータ群によりコントロールされて十字カーソルデータ発生する機能を有する。この十字カーソルデータは出力端子21を介して後段の構成に送られる。具体的には、この十字カーソルデータは、画像信号処理系に送られ、例えばビューファインダや液晶ディスプレイ或いは接続されたテレビジョンモニタ画面等に十字のカーソルとして表示されるようになる。なお、当該カーソル発生回路5は、上記表示を行う十字カーソルのデータを発生するために、垂直駆動パルスVDと水平駆動パルスHDとクロックCLKとが供給されている。
【0025】
セレクタ6は、2つの入力端子がCPU3からのアドレスバス(16ビット)と後述するキズ補正IC10からのアドレスバス(16ビット)とに接続され、これら2つの入力端子の入力(アドレスデータ)をCPU3からの切換制御信号に基づいて切り換えて出力するものである。すなわち、当該セレクタ6の一方の入力端子には、上記CPU3の読出制御信号によってROM4から読み出された相対アドレスのデータが、また、他方の入力端子にはキズ補正IC10からの相対アドレスのデータが供給され、上記CPU3の切換制御信号に基づいてこれら相対アドレスのデータのいずれかが出力されてRAM(ランダム・アクセス・メモリ)7に送られる。
【0026】
RAM7は、例えば1M(メガバイト)のSRAM(スタティックRAM)からなり、EEPROM2から読み出された絶対値で表されるレベルがCPU3によって相対値で表されるレベルに直されたデータと、CPU3からの読出制御信号によってROM4から読み出された相対値で表されるレベルのデータとが、当該CPU3からの制御信号に応じて展開されるものである。当該展開されたデータは、上記セレクタ6によって切り換えられたキズ補正IC10からのアドレスデータ(相対アドレス)によって読み出される。
【0027】
バッファ8は、キズ補正IC10によりコントロールされ、上記RAM7から読み出されたレベル(相対値)のデータを出力し、キズ補正IC10に送る。
【0028】
また、バッファ9は、CPU3により書き込みと読み出しがコントロールされ、ROM4から読み出された相対値で表されるレベルデータとEEPROM2から読み出されてCPU3で相対値に直されたレベルデータとをRAM7に送ることと、当該RAM7から読み出されたレベル(相対値)のデータをCPU3に送ることの、双方向の入出力機能を有するものである。
【0029】
キズ補正IC10は、ゲートアレイからなりキズ補正専用ICである。このキズ補正IC10には、前記カーソル発生回路5に送られるものと同じシリアルデータ群がCPU1から供給され、セレクタ6を介してRAM7に前記相対アドレスデータを出力すると共に、RAM7から読み出されたレベル(相対値)データをD/Aコンバータ11に送り、さらに、当該RAM7からのレベルデータに基づいて3原色のR(赤),G(緑),B(青)用の補正信号を出力するためのゲートパルスを出力する機能を有する。なお、当該キズ補正IC10にも、垂直駆動パルスVDと水平駆動パルスHDとクロックCLKとが供給されている。
【0030】
D/Aコンバータ11は、上記キズ補正IC10からのクロックに応じて、当該キズ補正IC10から供給されるキズに対応する8ビットのレベルデータをアナログ量に変換する機能を有し、このアナログ量をスイッチ12に送る。
【0031】
スイッチ12は、キズ補正IC10からのR,G,Bそれぞれに対するゲートパルスを切換コントロール信号として、上記D/Aコンバータ11から得られたアナログ量をオン/オフすることで、R,G,B各チャンネルに対する補正信号を出力する機能を有する。
【0032】
次に本発明のキズ補正装置を搭載したビデオカメラにおいて、新たに発生したキズを補正する基本動作(すなわち本発明のキズ補正方法)について、図2を用いて説明する。
【0033】
この図2において、ステップS1では、CCDの読み出しを、フレーム読み出しにする。
【0034】
次のステップS2では、新たに発生しているキズの位置を十字カーソルで測定する。すなわち、画面上で十字カーソルの位置をキズ上に合わせる(水平方向のアドレスと垂直方向のアドレスを調整する)ことで、キズの位置を測定する。ステップS3では、上記測定した位置のキズのレベルを測定し、そのレベルから判断して、補正レベルを決定する。
【0035】
ステップS4では、上記決定した補正レベルで、上記キズの補正を試しに行ってみる(この補正をプリ補正と呼ぶ)。このプリ補正を行うのは、上記キズの位置が合っているかどうかと、上記決定した補正レベルが正しい補正レベルであるかどうかを確認するためである。すなわち、次のステップS5では、上記プリ補正で正しく補正されたか否かの判断を行い、正しく補正されていない場合には、ステップS2に戻って再度ステップS2からステップS4の処理を繰り返す。また、ステップS5で正しく補正されていると判断した場合にはステップS6に進む。
【0036】
このステップS6では、上記正しいプリ補正におけるキズの位置のデータ(絶対アドレスデータ)とレベル(絶対値)のデータをストアする。
【0037】
次のステップS7では、上記ストアがなされたか否かを判断するために、一旦電源をオフした後、再度オンする。次のステップS8では、上記電源オフとオン後の画面において、前記新たに発生していたキズが正常に補正されているか否かの判断を行う。このステップS8で正常に補正されていないと判断した場合には、ステップS1に戻り、再度ステップS1からステップS8までの処理を行う。また、ステップS8で正常に補正されたと判断した場合には処理を終了する。
【0038】
本発明の画素ムラ補正方法では、上述のような手順により、画素ムラすなわちキズの補正を行う。なお、上述の図2のフローチャートは、新たに発生した1つのキズの補正についての動作であるが、新たに発生したキズが複数ある場合には、それぞれについて上記図2の処理を行うことで、全てのキズの補正が可能となる。
【0039】
次に、上記図2のフローチャートに示した本発明の画素ムラ補正方法を、図1で説明した本実施例の画素ムラ補正装置(ビデオカメラ)に適用した場合の具体的な動作は、以下のようになる。
【0040】
先ず、ステップS1では、ビデオカメラをコントロールする前記操作パネル20上のモード切換スイッチを操作することで、CCDの読み出しモードをフレームモードにする。
【0041】
次のステップS2では、上記操作パネル20の前記カーソルオン/オフスイッチをオンし、さらに操作パネル20上の前記水平アドレス調整ボリュームと垂直アドレス調整ボリュームとを操作することで、当該操作パネル20からは、カーソルオンの信号及び十字カーソルの水平方向のアドレスデータと垂直方向のアドレスデータが出力される。これらのデータはCPU1に送られ、当該CPU1でシリアルデータ群になされてカーソル発生回路5に送られる。カーソル発生回路5は、供給されたデータに基づいて画面上に表示する十字カーソルデータを発生し、この十字カーソルデータが端子21を介して後段の構成に送られる。このように、画面上に十字カーソルが表示されている状態で、当該画面上に新たに発生しているキズ上に上記十字カーソルの位置を合わせることで、キズの位置を測定する。このキズの位置は水平方向及び垂直方向の絶対アドレスデータとして得られることになる。
【0042】
次にステップS3では、上記測定した位置のキズのレベルを測定し、そのレベルから判断して、上記操作パネル20上の前記レベル調整ボリュームを操作することにより、プリ補正のための補正レベル(絶対レベル)を設定する。
【0043】
次のステップS4では、上記操作パネル20上の補正オン/オフスイッチを操作してプリ補正をオンにする。ここで当該プリ補正をオンにすると、上記ステップS2とステップS3により得られたアドレスデータと補正レベルのデータは、CPU1からシリアルデータとなされてCPU3に送られる。このデータを受けたCPU3は、ROM4から製造時に既に記憶されている相対アドレスデータと相対レベルデータとを読み出すと共に、上記CPU1から送られてきた絶対アドレス及び絶対レベルのデータを処理してROM4に記憶されていたのと同様の相対アドレス及び相対レベルのデータに直して、これらデータをRAM7に展開する。このRAM7への展開後は、上記RAM7へのアドレス設定が、キズ補正IC10からのアドレスデータに切り換えられ、これにより上記決定した補正レベルでのプリ補正が行われる。その後、前記操作パネル20上の補正オン/オフスイッチを操作することでプリ補正をオフとする。このプリ補正オフの後、CPU3は、さらにROM4のデータのみをRAM7に展開し、元からあるキズに対するアドレス及びレベルのデータを無視する動作を行う。すなわち、当該CPU3では、新たに発生したキズと元からあるキズとを区別する。
【0044】
次のステップS5では、実際に上記プリ補正で正しく補正がなされたか否かの判断を行い、正しく補正されていない場合には、ステップS2に戻って再度ステップS2からステップS4の処理を繰り返す。また、ステップS5で正しく補正されていると判断した場合にはステップS6に進む。
【0045】
ステップS6では、操作パネル20上のストアオン/オフスイッチを操作して、上記正しい補正データとアドレスデータ、すなわち新たに発生したキズに対応する水平方向の絶対アドレスデータ及び垂直方向の絶対アドレスデータと、補正データの絶対レベルデータとを、前記EEPROM2にストアする。この場合、ストアオン/オフスイッチをオンすると、上記新たなキズに対応するデータ(絶対アドレスデータと絶対レベルデータ)は、CPU1からCPU3に送られ、CPU3が当該供給されたデータをEEPROM2に書き込む。これにより、新たに発生したキズの補正が可能となる。
【0046】
次のステップS7では、EEPROM2に、本当に書き込まれているかどうかを再チェックするために、電源をオフにして再度オンする。電源オンした時点から、CPU3は、EEPROM2に格納されているデータと、ROM4のデータを読み出してきて、RAM7上に展開する。以後、このRAM7に展開したデータは、キズ補正IC10からのアドレス設定によりデータが読み出され、このデータを用いたキズ補正が行われることになる。このキズ補正により、ステップS8では、上記電源オフとオン後の画面において、以前から存在するキズと共に前記新たに発生していたキズも正常に補正されているか否かの判断を行い、正常に補正されたと判断した場合には処理を終了する。
【0047】
上述したように、本発明実施例の画素ムラ補正装置及び方法によれば、新たに発生したキズの補正用の回路をCCDブロック内に搭載することで、工場出荷時点以後に発生したキズを、専用の治具や装置を必要とせずに簡単に消すことができる。また、新たに発生したキズに対するデータは、EEPROM2に格納されるので、初めからあるキズのデータが入っているROM4はそのまま交換する必要がなく、したがって、ROM交換の際のトラブルの発生がなくなる。さらに、上記EEPROM2の容量にもよるが、新たに発生したキズに対するデータは、例えば最大70個分程度のキズに対応でき、したがって、工場出荷後の新たなキズの補正のためにCCDブロックそのものの交換などのも不要となる。
【0048】
なお、ビデオカメラに搭載される従来のキズ補正装置は、図1中の点線で囲まれた部分に対応している。また、図1のCCDブロック中の図中の点線で囲まれたところ以外の部分は、従来のサービスステーション等のパーソナルコンピュータ及び専用治具により構成されていたものである。
【0049】
【発明の効果】
以上の説明からも明らかなように、本発明の画素ムラ補正装置及び方法においては、新たに画素ムラが発生したときには、その新たに発生した画素ムラの位置データ及びレベルデータを生成し、これら新たに発生した画素ムラの位置データ及びレベルデータを書き換え可能な不揮発性のメモリに格納するようにしているので、この書き換え可能な不揮発性のメモリに格納している新たに発生した画素ムラの位置データ及びレベルデータを用いることにより、これら画素ムラの補正が可能となる。さらに、固体撮像素子に既に存在していた画素ムラの位置データ及びレベルデータも元々格納しているため、書き換え可能な不揮発性のメモリに格納している新たに発生した画素ムラの位置データ及びレベルデータと、既に存在していた画素ムラの位置データ及びレベルデータをまとめて書き換え可能なメモリに展開することで、古い画素ムラのみならず新しい画素ムラも全て補正可能である。したがって、本発明の画素ムラ補正装置及び方法においては、CCDに新たにキズが発生しても、サービスステーションでの作業が不要で簡単かつ安価に補正することができ、さらにROMの交換も不要となる。
【図面の簡単な説明】
【図1】本発明実施例の画素ムラ補正装置を搭載するビデオカメラの要部の構成を示すブロック回路図である。
【図2】本発明の画素ムラ補正方法の手順を示すフローチャートである。
【符号の説明】
1,3 CPU
2 EEPROM
4 ROM
5 カーソル発生回路
6 セレクタ
7 RAM
8,9 バッファ
10 キズ補正IC
11 D/Aコンバータ
12 スイッチ
20 操作パネル[0001]
[Industrial application fields]
The present invention relates to a pixel unevenness correction apparatus and method for correcting pixel unevenness such as so-called white scratches that occur in a CCD (solid-state imaging device).
[0002]
[Prior art]
For example, a conventional pixel unevenness correction device that corrects pixel unevenness (a so-called white defect or the like having an offset in the element output level) of a CCD (solid-state imaging device) mounted on a video camera or the like is a pixel unevenness of the CCD. A ROM (Read Only Memory) that stores correction data consisting of data on the position of the scratch (hereinafter simply referred to as a scratch) and the level of the scratch, and processing according to the data read from the ROM And a dedicated IC (integrated circuit) for performing the above. Here, the position of the scratch on the CCD and the level of the scratch are measured, for example, at the time of manufacturing a video camera on which the CCD is mounted, and the position (relative address) of the measured scratch and the level of the scratch (for example, Relative value) data is stored in the ROM. The relative address of the flaw position is information indicating how far the next flaw position is from one flaw position on the CCD. The relative value of the flaw level is the flaw level at a certain position. This is information indicating how much the level of the scratch at the next position has changed. In this way, the scratch position is stored as a relative address, and the scratch level is stored as a relative value in order to simplify processing when performing correction processing later using the scratch position and level data. is there.
[0003]
The video camera is equipped with the pixel non-uniformity correction device. Therefore, the video camera reads data on the position and level of scratches stored in advance in the ROM after the power is turned on, for example. Scratch correction is performed based on the data.
[0004]
[Problems to be solved by the invention]
Incidentally, as described above, in the conventional video camera, the data on the position and level of the scratch on the CCD is written in the ROM of the pixel unevenness correction device when the video camera is manufactured. If the CCD is newly damaged after the camera is shipped (for example, after the camera is passed to the user), the correction cannot be made.
[0005]
Therefore, when a new scratch is generated in the CCD after shipment of the video camera in this way, the video camera must be sent to a service station, for example, and the data in the ROM must be rewritten. In this case, the service station measures the position and level of the CCD scratch on the video camera, and the scratch position and level data is updated together with the scratch position and level data previously stored in the ROM. The data is written in a ROM (another ROM not storing data), and this new ROM is replaced with an old ROM that has been previously mounted.
[0006]
For this reason, the service station includes a dedicated jig for performing work such as measurement of the position and level of the scratch and replacement of the ROM, a personal computer, a new ROM not storing data, and access to this ROM. Many devices such as a ROM writer for writing data are required.
[0007]
If the video camera is expensive and indispensable for the station, for example, for a broadcasting station, prepare an alternative camera for the period during which the video camera is being repaired. It has to be expensive and time consuming.
[0008]
In addition, when replacing the ROM, an operation of writing new correction data in the new ROM, removing the old ROM mounted on the substrate of the pixel unevenness correction device, for example, via a socket, and inserting the new ROM Is required. In this operation, troubles such as a mistake in insertion into the socket, damage to the substrate due to insertion or removal from the socket, damage to the pattern, and destruction due to static electricity may occur.
[0009]
Therefore, in view of the above situation, the present invention can easily and inexpensively correct the pixel unevenness even if a new scratch is generated in the CCD, and further, it is possible to correct the pixel unevenness without replacing the ROM. A correction apparatus and method are provided.
[0010]
[Means for Solving the Problems]
The pixel unevenness correction apparatus of the present invention has been proposed in order to achieve the above-described object, and the pixel unevenness correction apparatus that corrects the pixel unevenness generated in the solid-state image sensor has already existed in the solid-state image sensor. Non-volatile first memory means for storing relative position data and relative level data of pixel unevenness, generation means for generating absolute position data and absolute level data of pixel unevenness newly generated in the solid-state imaging device, and the new A rewritable non-volatile second memory means for storing absolute position data and absolute level data of pixel irregularities generated in the memory, relative position data and relative level data of the first memory means, and second memory means Control means for processing absolute position data and absolute level data and developing them in a rewritable third memory means, and developing them in the third memory means And the correction means for correcting the pixel unevenness by reading out the pixel unevenness position data and level data, and the control means uses the absolute position data and absolute level data of the second memory means as relative position data. In addition, the data is developed in the third memory means after correcting the relative level data.
[0011]
The pixel unevenness correction apparatus of the present invention also has cursor generating means for generating cross cursor data to be displayed on the screen, and the position of the newly generated pixel unevenness is displayed on the screen. Measure with Furthermore, the pixel unevenness correction apparatus of the present invention also has level determining means for determining the level of pixel unevenness that has been measured at the position. In addition to the above-described configuration, the pixel unevenness correction device of the present invention has at least an optical system that forms a subject image on a solid-state image sensor and a conversion system that converts an image signal from the solid-state image sensor into a video signal. It also has a part.
[0012]
Next, the pixel unevenness correction method of the present invention is a pixel unevenness correction method for correcting pixel unevenness that occurs in a solid-state image sensor, and generates absolute position data and absolute level data of pixel unevenness that has newly occurred in the solid-state image sensor. The newly generated absolute position data and absolute level data of pixel unevenness are stored in a rewritable nonvolatile memory, and the relative position data and relative level data of the pixel unevenness already existing in the solid-state imaging device, Newly generated absolute position data and absolute level data of pixel unevenness are processed into relative position data and data corrected to the relative level data, and developed into a rewritable memory, and the developed relative position data of pixel unevenness and Relative level data is read from the memory, and pixel unevenness is corrected.
[0013]
Further, in the pixel unevenness correction method of the present invention, a cross cursor is displayed on the screen, the position of the newly generated pixel unevenness is measured with the cross cursor displayed on the screen, and the measurement of the position is further performed. A correction level is set by judging from the level of pixel unevenness performed, and correction is performed at the correction level to determine the appropriateness of the measured position and the correction level. Furthermore, after determining that the measured position and correction level are appropriate, the measured position data and correction level data can be rewritten as the newly generated pixel unevenness position data and level data. Store in non-volatile memory.
[0014]
[Action]
According to the pixel unevenness correction apparatus and method of the present invention, since the pixel unevenness position data and level data that have already existed in the solid-state imaging device are originally stored, it is possible to correct these already existing pixel unevenness. It is. Here, when new pixel unevenness occurs, the position data and level data of the newly generated pixel unevenness are generated, and the newly generated pixel unevenness position data and level data can be rewritten. To store. Therefore, if the newly generated pixel unevenness position data and level data stored in the rewritable nonvolatile memory are used, the pixel unevenness can be corrected. Further, since the pixel unevenness position data and level data that already existed in the solid-state imaging device are also stored originally, the newly generated pixel unevenness position data and level stored in the rewritable nonvolatile memory are stored. By deploying the data and the existing pixel unevenness position data and level data together in a rewritable memory, it becomes possible to correct not only old pixel unevenness but also new pixel unevenness.
[0015]
【Example】
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 shows the configuration of an embodiment of a pixel unevenness correction apparatus to which the pixel unevenness correction method of the present invention is applied. The pixel unevenness correction apparatus of the present embodiment is applied to a device having a CCD such as a video camera, for example, and in the following description, a case where it is mounted on a video camera is described. The pixel unevenness referred to in this embodiment has an offset in the element output level of the CCD, and includes not only so-called white scratches but also black scratches. In the following description, the pixel unevenness is simply referred to as a scratch.
[0017]
In FIG. 1, the pixel unevenness correction apparatus mounted on the video camera of the embodiment of the present invention uses the position data (relative address data) and level data (relative level data) of the scratches already present in the CCD at the time of shipment from the factory. A ROM (Read Only Memory) 4 which is a nonvolatile first memory means for storing, an operation panel 20 and a
[0018]
First, the function of each component in FIG. 1 will be described in order.
[0019]
The remote control panel 20 has a total of three, a horizontal address adjustment volume for adjusting the horizontal address of the CCD, a vertical address adjustment volume for adjusting the vertical address of the CCD, and a level adjustment volume for adjusting the level. A volume at least, and a correction on / off switch for instructing whether or not to correct flaws; a store on / off switch for instructing whether or not to store flaw data; and a cursor A total of three switches, a cursor on / off switch for instructing on / off of the cursor, are arranged. The address actually corresponds to the position on the screen specified by the cross cursor displayed on the screen as will be described later. Further, each volume and switch of the remote operation panel 20 can be arranged on a main panel section for controlling the camera, or can be arranged on a rear panel at the rear part of the camera body. Further, the operation panel 20 is also provided with a mode switch for switching the CCD reading mode between the field mode and the frame mode.
[0020]
A CPU (central processing unit) 1 is a CPU on the camera body side, and communicates with the
[0021]
The
[0022]
The
[0023]
The ROM 4 stores flaw position data (relative address data) and level data (relative value) at a level to be corrected, which is detected when the video camera is manufactured, for example, when the CCD is fixed. As described above, the relative value of the scratch position and the relative value of the level are information indicating how far the next scratch position is from a certain scratch position on the CCD and the next position with respect to the scratch level at a certain position. It is information indicating how much the level of scratches has changed. In addition, the scratch position is stored as a relative address in the ROM 4 and the scratch level is stored as a relative value, so that the processing when the correction process is performed later using the scratch position and level data can be simplified. Because. In this embodiment, even if there is no scratch, for example, the
[0024]
The
[0025]
The
[0026]
The RAM 7 is composed of, for example, 1M (megabyte) SRAM (static RAM), and the data represented by the absolute value read from the
[0027]
The
[0028]
The
[0029]
The
[0030]
The D / A converter 11 has a function of converting 8-bit level data corresponding to the scratch supplied from the
[0031]
The
[0032]
Next, a basic operation for correcting a newly generated scratch (that is, the scratch correction method of the present invention) in a video camera equipped with the scratch correction apparatus of the present invention will be described with reference to FIG.
[0033]
In FIG. 2, in step S1, the CCD readout is frame readout.
[0034]
In the next step S2, the position of a newly generated scratch is measured with a cross cursor. In other words, the position of the flaw is measured by aligning the position of the cross cursor on the flaw on the screen (adjusting the horizontal address and the vertical address). In step S3, the level of the scratch at the measured position is measured, and the correction level is determined by judging from the level.
[0035]
In step S4, the above-described scratch correction is tried with the determined correction level (this correction is referred to as pre-correction). This pre-correction is performed in order to confirm whether the position of the scratch is correct and whether the determined correction level is a correct correction level. That is, in the next step S5, it is determined whether or not the correction has been made correctly by the pre-correction. If the correction has not been made correctly, the process returns to step S2 and the processes from step S2 to step S4 are repeated again. If it is determined in step S5 that the correction is correct, the process proceeds to step S6.
[0036]
In this step S6, flaw position data (absolute address data) and level (absolute value) data in the correct pre-correction are stored.
[0037]
In the next step S7, the power is once turned off and then turned on again in order to determine whether or not the store has been performed. In the next step S8, it is determined whether or not the newly generated scratch is corrected normally on the screen after the power is turned off and on. If it is determined in step S8 that the correction has not been made normally, the process returns to step S1 and the processes from step S1 to step S8 are performed again. If it is determined in step S8 that the correction is normal, the process ends.
[0038]
In the pixel unevenness correction method of the present invention, pixel unevenness, that is, a defect is corrected by the above-described procedure. The above-described flowchart of FIG. 2 is an operation for correcting one newly generated scratch. However, when there are a plurality of newly generated scratches, the processing of FIG. All scratches can be corrected.
[0039]
Next, the specific operation when the pixel unevenness correction method of the present invention shown in the flowchart of FIG. 2 is applied to the pixel unevenness correction apparatus (video camera) of the present embodiment described with reference to FIG. It becomes like this.
[0040]
First, in step S1, the CCD read mode is set to the frame mode by operating a mode changeover switch on the operation panel 20 for controlling the video camera.
[0041]
In the next step S2, the cursor on / off switch of the operation panel 20 is turned on, and the horizontal address adjustment volume and the vertical address adjustment volume on the operation panel 20 are further operated. The cursor-on signal and the horizontal address data and the vertical address data of the crosshair cursor are output. These data are sent to the
[0042]
Next, in step S3, the level of the scratch at the measured position is measured, and based on the level, the level adjustment volume on the operation panel 20 is operated to adjust the correction level (absolute for absolute correction). Level).
[0043]
In the next step S4, the correction on / off switch on the operation panel 20 is operated to turn on the pre-correction. When the pre-correction is turned on, the address data and the correction level data obtained in steps S2 and S3 are converted from the
[0044]
In the next step S5, it is determined whether or not the pre-correction has been correctly corrected. If the correction has not been correctly performed, the process returns to step S2 and the processes from step S2 to step S4 are repeated again. If it is determined in step S5 that the correction is correct, the process proceeds to step S6.
[0045]
In step S6, the store on / off switch on the operation panel 20 is operated to correct the correct correction data and address data, that is, the horizontal and vertical absolute address data corresponding to the newly generated scratch. The absolute level data of the correction data is stored in the
[0046]
In the next step S7, the power is turned off and turned on again in order to recheck whether the data is actually written in the
[0047]
As described above, according to the pixel unevenness correcting apparatus and method of the embodiment of the present invention, by installing a circuit for correcting newly generated scratches in the CCD block, scratches generated after the time of factory shipment, It can be easily erased without the need for a dedicated jig or device. Further, since the data for the newly generated scratch is stored in the
[0048]
Note that a conventional defect correction device mounted on a video camera corresponds to a portion surrounded by a dotted line in FIG. Further, the portion other than the portion surrounded by the dotted line in the CCD block in FIG. 1 is constituted by a conventional personal computer such as a service station and a dedicated jig.
[0049]
【The invention's effect】
As is clear from the above description, in the pixel unevenness correcting apparatus and method of the present invention, when new pixel unevenness occurs, the newly generated pixel unevenness position data and level data are generated, and these new data are generated. Since the pixel unevenness position data and level data generated in the memory are stored in a rewritable nonvolatile memory, newly generated pixel unevenness position data stored in the rewritable nonvolatile memory. And by using the level data, it is possible to correct these pixel unevenness. Further, since the pixel unevenness position data and level data that already existed in the solid-state imaging device are also stored originally, the newly generated pixel unevenness position data and level stored in the rewritable nonvolatile memory are stored. By developing the data and the pixel unevenness position data and level data that have already existed in a rewritable memory, it is possible to correct not only old pixel unevenness but also new pixel unevenness. Therefore, in the pixel unevenness correction apparatus and method according to the present invention, even if a new scratch is generated in the CCD, it is possible to correct at a service station without any work at the service station, and further, it is not necessary to replace the ROM. Become.
[Brief description of the drawings]
FIG. 1 is a block circuit diagram showing a configuration of a main part of a video camera equipped with a pixel unevenness correction apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a procedure of a pixel unevenness correction method of the present invention.
[Explanation of symbols]
1,3 CPU
2 EEPROM
4 ROM
5 Cursor generation circuit
6 Selector
7 RAM
8,9 buffer
10 Scratch correction IC
11 D / A converter
12 switch
20 Operation panel
Claims (6)
固体撮像素子に既に存在していた画素ムラの相対位置データ及び相対レベルデータを格納する不揮発性の第1のメモリ手段と、
固体撮像素子に新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを生成する生成手段と、
上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを格納する書き換え可能な不揮発性の第2のメモリ手段と、
上記第1のメモリ手段の相対位置データ及び相対レベルデータと第2のメモリ手段の絶対位置データ及び絶対レベルデータを処理して書き換え可能な第3のメモリ手段に展開する制御手段と、
上記第3のメモリ手段に展開された画素ムラの位置データ及びレベルデータを読み出して、画素ムラの補正を行う補正手段とを有し、
上記制御手段は、上記第2のメモリ手段の絶対位置データ及び絶対レベルデータを相対位置データ及び相対レベルデータに直して上記第3のメモリ手段に展開する
ことを特徴とする画素ムラ補正装置。In a pixel unevenness correction apparatus that corrects pixel unevenness that occurs in a solid-state imaging device,
Non-volatile first memory means for storing relative position data and relative level data of pixel unevenness that already existed in the solid-state imaging device;
Generating means for generating absolute position data and absolute level data of pixel unevenness newly generated in the solid-state imaging device;
A rewritable nonvolatile second memory means for storing the absolute position data and absolute level data of the newly generated pixel unevenness;
Control means for processing the relative position data and relative level data of the first memory means and the absolute position data and absolute level data of the second memory means to develop them into a rewritable third memory means;
Reads the position data and the level data of the pixel unevenness developed in the third memory means, have a correcting means for correcting the pixel irregularities,
The pixel unevenness is characterized in that the control means converts the absolute position data and absolute level data of the second memory means into relative position data and relative level data and develops them in the third memory means. Correction device.
上記新たに発生した画素ムラの位置を、当該画面上に表示した十字カーソルにより測定することを特徴とする請求項1記載の画素ムラ補正装置。A cursor generating means for generating cross cursor data to be displayed on the screen;
2. The pixel unevenness correction apparatus according to claim 1, wherein the position of the newly generated pixel unevenness is measured by a cross cursor displayed on the screen.
固体撮像素子に新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを生成し、
上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを書き換え可能な不揮発性のメモリに格納し、
固体撮像素子に既に存在していた画素ムラの相対位置データ及び相対レベルデータと、上記新たに発生した画素ムラの絶対位置データ及び絶対レベルデータを相対位置データ及び相対レベルデータに直したデータとを処理して書き換え可能なメモリに展開し、
当該展開された画素ムラの相対位置データ及び相対レベルデータをメモリから読み出して、画素ムラの補正を行う
ことを特徴とする画素ムラ補正方法。In a pixel unevenness correction method for correcting pixel unevenness that occurs in a solid-state imaging device,
Generate absolute position data and absolute level data of pixel unevenness newly generated in the solid-state image sensor,
Store the absolute position data and absolute level data of the newly generated pixel unevenness in a rewritable nonvolatile memory,
Relative position data and relative level data of pixel unevenness already existing in the solid-state imaging device, and data obtained by converting the newly generated absolute position data and absolute level data of pixel unevenness into relative position data and relative level data. Process and expand to rewritable memory,
A pixel unevenness correction method comprising: reading out the developed relative position data and relative level data of pixel unevenness from a memory, and correcting pixel unevenness.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00473695A JP3680334B2 (en) | 1995-01-17 | 1995-01-17 | Pixel unevenness correction apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00473695A JP3680334B2 (en) | 1995-01-17 | 1995-01-17 | Pixel unevenness correction apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08195909A JPH08195909A (en) | 1996-07-30 |
| JP3680334B2 true JP3680334B2 (en) | 2005-08-10 |
Family
ID=11592202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00473695A Expired - Fee Related JP3680334B2 (en) | 1995-01-17 | 1995-01-17 | Pixel unevenness correction apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3680334B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3587433B2 (en) | 1998-09-08 | 2004-11-10 | シャープ株式会社 | Pixel defect detection device for solid-state imaging device |
| JP4499946B2 (en) * | 2001-03-16 | 2010-07-14 | オリンパス株式会社 | Imaging device |
| JP2002281394A (en) * | 2001-03-16 | 2002-09-27 | Olympus Optical Co Ltd | Imaging device |
| JP5019581B2 (en) * | 2007-01-29 | 2012-09-05 | キヤノン株式会社 | Imaging apparatus and imaging system |
| JP5432657B2 (en) * | 2009-10-02 | 2014-03-05 | キヤノン株式会社 | Imaging device, storage device, and control method |
| JP6701025B2 (en) * | 2016-08-05 | 2020-05-27 | キヤノン株式会社 | Data processing device, data processing method, and program |
-
1995
- 1995-01-17 JP JP00473695A patent/JP3680334B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08195909A (en) | 1996-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5368382B2 (en) | Image sensor with defective pixel compensation function | |
| JP2011151792A (en) | Image processing apparatus and method | |
| KR20050008793A (en) | Method and apparatus for real time identification and correction of pixel defects for image sensor arrays | |
| CN102469258B (en) | Image processor, method of controlling the same | |
| JP4992698B2 (en) | Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program | |
| JPH10243347A (en) | Image recording and reproducing device | |
| CN102215340A (en) | Imaging apparatus and imaging signal correcting method | |
| JP3680334B2 (en) | Pixel unevenness correction apparatus and method | |
| JP2007053634A (en) | Imaging apparatus, defective pixel correction apparatus and method | |
| JP2000287134A (en) | Image processing apparatus and processing method | |
| JP2011077825A (en) | Display device, display system, display method and program | |
| US20070076101A1 (en) | Self-calibrating and/or self-testing camera module | |
| JP2006030600A (en) | Multi-screen display system, multi-screen display method, brightness correction method, and program | |
| JP5410158B2 (en) | Imaging system and electronic information device | |
| US6670983B2 (en) | Electric mask generating apparatus of electronic endoscope | |
| US7773135B2 (en) | Imaging apparatus | |
| JP3153949B2 (en) | Device for automatically detecting defective pixels in solid-state image sensor, method for automatically detecting defective pixels in solid-state image sensor, automatic defect correction device, and camera | |
| JP3050282B2 (en) | LCD projector distortion correction device | |
| JP2005338113A (en) | Adjusting the projection size according to switching between multiple display modes with different resolutions | |
| US7602426B2 (en) | Digital camera and defect pixel compensation system | |
| CN100353221C (en) | Automatic color compensation control device and method thereof | |
| JP2014013957A (en) | Imaging device, and method of controlling the same | |
| US6771313B1 (en) | Electronic image recording apparatus and data memorizing method therefor | |
| JPH07152347A (en) | Gamma characteristic correcting method for liquid crystal display device and liquid crystal display device | |
| JP2008191238A (en) | Dot matrix type display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |