JP3679233B2 - Monitoring image processing device - Google Patents
Monitoring image processing device Download PDFInfo
- Publication number
- JP3679233B2 JP3679233B2 JP31528897A JP31528897A JP3679233B2 JP 3679233 B2 JP3679233 B2 JP 3679233B2 JP 31528897 A JP31528897 A JP 31528897A JP 31528897 A JP31528897 A JP 31528897A JP 3679233 B2 JP3679233 B2 JP 3679233B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image
- unit
- storage unit
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、照度不足等を受光素子の蓄積時間を増加することで補う機能を有する電子増感カメラにも対応する監視用画像処理装置に関するものである。
【0002】
【従来の技術】
従来の監視用画像処理装置について図7を参照しながら説明する。図7は、従来の監視用画像処理装置の構成を示すブロック図である。
【0003】
図7において、1は本監視用画像処理装置に処理される映像を受けるビデオ入力部、2はビデオ入力部1から入る映像を量子化するA/D変換部、3はA/D変換部2からの出力を受け現在の映像データを記憶する現画像蓄積部、4はA/D変換部2からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、5は背景画像蓄積部4のデータを一定ルールで演算し背景更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去5枚の現画像の平均を背景画像とする。
【0004】
また、同図において、6は現画像蓄積部3と背景画像蓄積部4の2つの画像を比較し、その背景差分データを算出する背景差分部、7は背景差分部6のデータを2値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。
【0005】
さらに、同図において、8は敷居値演算部7で求めた敷居値で背景差分データを2値化する2値化部、9は2値化部8から出力される2値データを受け、その特徴量を算出する特徴量演算部、10は例えば人物、車両等の正規発報対象の特徴量パラメ一ターを予め記億する発報対象特徴量記憶部、11は特徴量演算部9から出力される特徴量データと発報対象特徴量記憶部10からの発報対象の特徴量パラメーターとを比較し、イベント発生か否かを判断する認識処理部、12はイベント発見を知らせる通知、13は通知12を受け発報(例:BEEP音等)する発報処理部である。
【0006】
図8は、図7に示す従来の認識処理部11の構成(動作)を更に詳細に示したフローである。
【0007】
図8のステップ21は、2値化データを見て、同一の移動物に属すると思われる変化領域を統合して1つの変化領域にまとめる変化領域統合処理部、ステップ22〜26は統合された変化領域が発報対象か否かを発報対象特徴量パラメーターと比較し判断する特徴量比較部である。
【0008】
ステップ22では、変化領域が一定時間連続で存在するかを見る。次に、ステップ23では、変化領域が所定の面積であるか否かを見る。次に、ステップ24では、変化領域が所定の縦横寸法か否かを見る。さらに、ステップ25では、変化領域が所定の移動速度か否かを見る。そして、以上の結果を受け、ステップ26では、発報対象発見か発報対象無しかの判断を行い、イベント発見と判断すれば図7の発報処理部13へと通知する。
【0009】
つぎに、従来の監視用画像処理装置の動作について説明する。外部から装置に与えられた映像信号はビデオ入力部1で受け取り、A/D変換部2に送られる。このA/D変換部2では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。1画素あたり8ビットの多値データに変換するのが一般的である。
【0010】
現画像蓄積部3では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部4では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。背景更新部5では、背景画像蓄積部4に蓄積してある背景画像を定期的に一定ル一ルで背景更新処理する。これは定期的にサンブリングされた現画像を元に演算処理されるのが一般で、例としては過去5シーンの現画像の平均値を背景画像とする方法や、一定時間前のフレームの映像である場合が多い。
【0011】
背景差分部6は、現画像蓄積部3と背景画像蓄積部4の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは、一般的には映像中の輝度の変化した部分、即ち多値変化領域を表す。通常は人物や車両のような移動物が主であるが、まれに「太陽光の照り陰りによる影の出現」や「夜間の車のヘッドライトの反射」の様な、非発報対象の輝度変化を出力する場合もある。
【0012】
敷居値演算部7は、背景差分部6から送られる多値変化領域を2値化する為の敷居値を求める。多値変化領域は多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも2値化して2値データに変換するのが一般的である。2値化部8は、上記敷居値をもって多値変化領域を2値化する。その結果、以降変化領域は2値変化領域となる。ただし、装置によってはこの2値化を行わずに直接多値変化領域を認識処理する場合がある。
【0013】
図9を例にこの変化領域について説明する。図9は、通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図10が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【0014】
特徴量演算部9は、入力された変化領域データを受け、その変化領域の特徴量を演算する。今、例としてこの特徴量を「面積」、「縦横寸法」、「速度」とする。発報対象特徴量記憶部10には、本装置が正規発報対象としている対象物(例:人物や車両)の特徴量があらかじめ記億されている。認識処理部11は、特徴量演算部9からの特徴量データを受け、その特徴量が発報対象特徴量記憶部10に記憶されている発報対象の特徴量パラメーターに合致しているか否かの判断を行う。近似していると判断されれば、イベント発見となり、その通知12を出力する。
【0015】
尚、認識処理では以下の手順で認識を行う。ただし、ここに示すのは一例である。変化領域統合処理部21は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して1つの変化領域にまとめる。次に、特徴量比較部22〜25は、変化領域統合処理部21で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった正規発報対象の特徴量パラメーターに対し、この変化領域の特徴量が合致するかを判断する。ここで所定条件に合致すれば、正規発報対象と見なされる。
【0016】
ここでは、例として以下のような判断を行う。
ステップ22では、変化領域が一定時間連続で存在するかを見る。
ステップ23では、変化領域が所定の面積であるか否かを見る。
ステップ24では、変化領域が所定の縦横寸法か否かを見る。
ステップ25では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、「移動速度」は、ステップ22で一定時間中の平均を算出して参照されるのが一般的である。
【0017】
しかし、逆に、ここに仮に正規発報対象ではない全く別の物が現れても(例:太陽光の照り陰りによる建物の影の出現)、ここで特徴量が合致すれば、装置はイベントと判断し、そのまま誤った発報に至る。このような、非発報対象による誤った発報を、以降、不要検知と呼称する。
【0018】
不要検知であれ正常検知であれ、イベントは認識処理部11から発報処理部13に伝えられ、そこで発報処理を行う。通常は、上位にあるパソコン(PC)等に特定の信号を送ったり、装置のブザーを鳴らしたりという処理である。条件に合致しない場合は、発報対象は無かったと見なし、イベント通知12は出力されない。従って、この場合は発報処理部13にはなにも報告されない為、発報はされない。なお、認識処理部11と発報処理部13はソフトウエア(S/W)にて処理されるのが一般的である。
【0019】
【発明が解決しようとする課題】
上述したような従来の監視用画像処理装置では、電子増感カメラを用いた場合、その構造上、認識性能を低下させる可能性がある。つまり、電子増感カメラでは、その構造上、同一の画像データを複数フレーム連続で送出する場合がある。監視用画像処理装置が同一の画像を連続で取り込んだ場合、画像が同一のため画像間では差が検出できない。仮にこの前後の画像で変化領域を検出できていたとしても、侵入者の判定に、時系列の特徴などを使用している場合は、正常な認識が阻害されてしまう。これを連続性の欠如と呼称する。
【0020】
例えば、図11のような、画像Aと画像Bが同じで画像Cと画像Dが同じである、電子増感カメラからの画像が得られたとき、従来の監視用画像処理装置では、画像Aと画像Bの間に変化がないため侵入者なしと判断する。そして、画像Bと画像Cの間には変化があり、侵入者を発見する。しかし、その前後に侵入者がいなかったことから連続性の欠如により侵入者なしと判断されてしまうという問題点があった。
【0021】
この発明は、前述した問題点を解決するためになされたもので、電子増感カメラの増感倍率を自動的に求め、求まった増感倍率より、処理するサイクルを逐次切り替えることで、連続性の欠如を防止することができ、認識率を向上することができる監視用画像処理装置を得ることを目的とする。
【0022】
【課題を解決するための手段】
この発明に係る監視用画像処理装置は、電子増感カメラからの現在の画像を記憶する現画像蓄積部と、前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、前記変化領域の面積あるいはラベル数の変化に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、前記背景差分データに基づきその特徴量を算出する特徴量演算部と、発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、前記認識処理部からのイベント発見の通知に基づき発報する発報処理部とを備えたものである。
【0023】
また、この発明に係る監視用画像処理装置は、電子増感カメラからの現在の画像を記憶する現画像蓄積部と、前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、前記電子増感カメラによって画像にスーパーインポーズされた文字あるいは記号の識別に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、前記背景差分データに基づきその特徴量を算出する特徴量演算部と、発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、前記認識処理部からのイベント発見の通知に基づき発報する発報処理部とを備えたものである。
【0025】
【発明の実施の形態】
実施の形態1.
この発明の実施の形態1に係る監視用画像処理装置について図1を参照しながら説明する。図1は、この発明の実施の形態1に係る監視用画像処理装置の構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0026】
図1において、ビデオ入力部1〜発報対象特徴量記憶部10、イベント通知12〜発報処理部13は従来例と同様のため省略する。また、11Aは認識処理部、14は電子増感カメラの増感倍率(蓄積時間の長さ)を自動的に検出する増感倍率類推処理部であり、詳細は後述する実施の形態2及び3で示す。さらに、15は増感倍率類推処理部14で求められた増感倍率をもとに処理サイクルを知らせる通知である。
【0027】
図1に示す認識処理部11Aの構成(動作)を更に詳細に示したフローを図2に示す。
【0028】
つぎに、この実施の形態1の動作について説明する。ビデオ入力部1〜発報対象特徴量記憶部10、イベント通知12〜発報処理部13に於いては、従来例と同様のため説明を省略する。
【0029】
以下では、電子増感カメラの増感倍率にあわせ認識・判定サイクルを変更する場合についての一例を示す。増感倍率類推処理部14で決定された増感倍率をもとに、認識処理部11Aに増感倍率を通知15し、認識・判定処理を行うサイクルを決定し、そのサイクルにあわせて認識処理を行う。
【0030】
図2に示すように、ステップ27で現在のサイクルが増感倍率より認識サイクルを決定し、そのサイクルでステップ21〜26の認識・判定処理を行う。たとえば、増感倍率が4(4フレーム同一の画像が入力される)の場合、4フレームに1度認識処理を行う。
【0031】
また、認識処理のサイクルを変えるのではなく、画像の取り込みサイクルを変えることでも同様の効果が得られる。
【0032】
以上のように、本実施の形態により、監視用画像処理装置は、電子増感カメラから入力される連続した同一画像を取り込むことを避け、あるいは、連続同一画像結果で認識・判定されることを避けることで連続性の欠如を防止し、認識率を向上させる効果を有する。
【0033】
すなわち、この実施の形態1は、ビデオ信号を入力するビデオ入力部1と、上記入力部から取り込んだビデオ信号をA/D変換するA/D変換部2と、現画像のデータを得る(必要に応じ記録する)現画像蓄積部3と、比較用画像データである背景画像を得る若しくは必要に応じ記録する背景画像蓄積部4と、ある一定手順(例:過去5画像の平均)で背景画像を更新する背景更新部5と、現画像データを背景画像データと比較して、そこより画像内の移動物・変化物(多値変化領域)を差分として抽出する背景差分部6と、変化領域を2値化する為の敷居値を演算する敷居値演算部7と、変化領域を2値化する2値化部8と、2値化後の変化領域の特徴量(例えば、面積、縦横寸法)を各種演算する特徴量演算部9と、オペレーターが事前に決定した発報対象(例:人物、車)の特徴量の設定値(例:面積の上限と下限、縦横寸法の上限と下限:特徴量パラメーター)を記億する発報対象特徴量記憶部10と、上記2値変化領域の特徴量が正規発報対象の特徴量パラメーターに該当することを認識する認識処理部11Aと、イベント(認識処理で一致した場合)発見の際にそれを知らせる発報処理部13とを持つ監視用画像処理装置に於いて、電子増感カメラを接続している状態において、現在の電子増感カメラの蓄積時間の長さ(増感倍率)が求まった時点で、監視用画像処理装置の誤動作や精度劣化を防ぐためにカメラからの画像の取り込みサイクルあるいは、認識処理サイクルを増感倍率に合わせ任意に設定できる機能を有し、それにより、同一の画像を繰り返し入力するための弊害、あるいは、連続同一画像に対して認識、判定を行うための弊害を回避し、装置の誤動作や精度劣化を防ぐ機能を有する。
【0034】
以上のように本実施の形態1によれば、電子増感カメラから一定期間同一の画像が入力されたとき、増感倍率から認識・判定処理のサイクルを設定することで、「同一の画像データを連続して取り込み処理した場合、変化領域を検出することができず、また、検出できたとしても、連続性の欠如から最終的な判断で誤判定を下される恐れがある」といった問題点を回避し、電子増感カメラを接続可能とするものである。
【0035】
実施の形態2.
この発明の実施の形態2に係る監視用画像処理装置について図3を参照しながら説明する。図3は、この発明の実施の形態2に係る監視用画像処理装置の構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0036】
図3において、ビデオ入力部1〜発報処理部13は上記実施の形態1と同様のため省略する。14Aは変化領域の面積あるいは、ラベル数の変化から、増感倍率を類推する増感倍率類推処理部である。
【0037】
増感倍率類推処理部14Aを更に詳細に示したフローについては、図4に示す。ステップ31は変化領域があるかないかをフレーム毎に見る。次に、ステップ32は変化領域のない状態が続いたフレーム数と、現在の増感倍率の大小関係を見る。ステップ33は変化領域のない状態が続いた回数をカウントする。ステップ34は現在の増感倍率の値を増加させる。ステップ35は、蓄積カウンタに格納されている変化領域のない状態が続いたフレーム数が、現在の増感倍率より小さいときには蓄積カウンタの値を新たな増感倍率とする。
【0038】
尚、図3の認識処理部11Aを更に詳細に示したフローについては、図2と同様の為、省略する。
【0039】
次に、動作について代表的な例を説明する。ビデオ入力部1〜発報処理部13に於いては、上記実施の形態1と同様のため省略する。
【0040】
以下では、変化領域の面積を用いて増感倍率を求める場合についての一例を示す。電子増感カメラを用いている場合、一定期間(これは増感倍率によって決まる)、同じ画像が入力されるので、その間変化領域がない。また、増感倍率を超えた時間でも、移動物がない場合、変化領域が現れない。この特徴を利用して、増感倍率類推処理部14Aでは増感倍率を検出する。
【0041】
図4に示す増感倍率類推処理部14Aのフロー図において、ステップ31で現在の画像と、以前の画像を比較したときに変化領域があるかどうかを考え、変化領域がない場合、ステップ33で変化領域がない画像が連続して続くフレーム数を蓄積カウンタによりカウントする。変化領域がある場合、ステップ32で蓄積カウンタに格納された、以前までカウントしてきた変化領域がない画像の連続フレーム数と、現在の増感倍率と比較し、ステップ35でこの連続フレーム数が、増感倍率よりも小さい場合はこの値を新たな増感倍率とする。さらに、電子増感カメラの増感倍率が増加した場合に対応するために、ステップ34でこの連続フレーム数が増感倍率よりも大きい場合、増感倍率を増加させる(例えば、1だけ増やす)。ただし、増感倍率の最大値をあらかじめ設定しておく。
【0042】
つまり、変化領域が現れてから次の変化領域が現れるまでの、変化領域がない画像が続くフレーム数をカウントし、そのフレーム数が、現在の増感倍率よりも小さいときに、それを新たな増感倍率とするというものである。
【0043】
この方法では、連続して変化領域がない画像が入力され、増感倍率が増加しても、変化領域が生じるとすぐに正確な増感倍率を求めることができる。
【0044】
以上のように、本実施の形態により、得られた画像から増感倍率を自動的に検出することができ、その倍率にあわせて、監視用画像処理装置自身が電子増感カメラに対応できるという効果を有する。
【0045】
すなわち、この実施の形態2は、上記実施の形態1の監視用画像処理装置に於いて、電子増感カメラを接続している状態において、得られた画像から増感倍率を自動的に検出する機能として、変化領域の面積、あるいはラベル数が、ある一定サイクルで極端に変化する、あるいはしないことを用いて増感倍率を類推する機能を有するものである。
【0046】
以上のように本実施の形態2によれば、電子増感カメラから一定期間同一の画像が入力されたとき、「変化領域の面積あるいはラベル数が一定サイクルで変化するかしないか」ということを利用することで現在の増感倍率を判断し、その判断結果からその倍率にあわせて監視用画像処理装置自身が電子増感カメラに対応することを可能にする。
【0047】
実施の形態3.
この発明の実施の形態3に係る監視用画像処理装置について図5を参照しながら説明する。図5は、この発明の実施の形態3に係る監視用画像処理装置の構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0048】
図5において、ビデオ入力部1〜発報処理部13は上記実施の形態1と同様のため省略する。14Bは電子増感カメラによってスーパーインポーズされる文字、記号を識別することで、増感倍率を類推する増感倍率類推処理部である。
【0049】
増感倍率類推処理部14Bを更に詳細に示したフローについては、図6に示す。ステップ41でスーパーインポーズされた文字を検出する。次に、ステップ42で検出された文字を文字認識により識別する。次に、ステップ43でその文字から増感倍率を決定する。
【0050】
尚、図5の認識処理部11Aを更に詳細に示したフローについては、図2と同様の為、省略する。
【0051】
次に、動作について代表的な例を説明する。ビデオ入力部1〜発報処理部13に於いては、上記実施の形態1と同様のため省略する。
【0052】
以下では、電子増感カメラによってスーパーインポーズされる文字を利用して増感倍率を求める場合についての一例を示す。電子増感カメラによって、画像中のある領域に増感倍率を表示させる。増感倍率類推処理部14Bでは、ステップ41で画像中にスーパーインポーズされた文字の部分のみを抽出し、次に、ステップ42で文字認識によってその文字を読み取り、次に、ステップ43で現在の増感倍率を決定する。
【0053】
表示させる文字は、現在の増感倍率でなくてもよい。電子増感カメラで増感倍率の時間の間、同じ文字をスーパーインポーズさせるようにすれば、文字を読み取り、同じ文字が何回繰り返されるかをカウントすることで、増感倍率を求めることができる。これは、文字でなく記号でも同様のことが可能である。
【0054】
以上のように、本実施の形態により、上記実施の形態2の手法よりも正確に、得られた画像から増感倍率を自動的に検出することができ、その倍率にあわせて、監視用画像処理装置自身が電子増感カメラに対応できるという効果を有する。
【0055】
すなわち、上記実施の形態1の監視用画像処理装置に於いて、電子増感カメラから入力される画像のある特定場所に、文字あるいは記号の監視エリアを設け、そのエリア(区画)内に電子増感カメラによってスーパーインポーズされる文字あるいは記号を識別し、そこから現在の電子増感カメラの増感倍率を類推する機能を有するものである。
【0056】
以上のように本実施の形態3によれば、電子増感カメラから一定期間同一の画像が入力されたとき、「電子増感カメラによって文字や記号をスーパーインポーズし、その文字や記号を認識する」ということを利用することで、上記実施の形態2の手法よりも正確に、現在の増感倍率を判断し、その判断結果からその倍率にあわせて監視用画像処理装置自身が電子増感カメラに対応することを可能にする。
【0057】
【発明の効果】
この発明に係る監視用画像処理装置は、以上説明したとおり、電子増感カメラからの現在の画像を記憶する現画像蓄積部と、前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、前記変化領域の面積あるいはラベル数の変化に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、前記背景差分データに基づきその特徴量を算出する特徴量演算部と、発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、前記認識処理部からのイベント発見の通知に基づき発報する発報処理部とを備えたので、連続性の欠如を防止することができ、認識率を向上することができるという効果を奏する。
【0058】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、電子増感カメラからの現在の画像を記憶する現画像蓄積部と、前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、前記電子増感カメラによって画像にスーパーインポーズされた文字あるいは記号の識別に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、前記背景差分データに基づきその特徴量を算出する特徴量演算部と、発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、前記認識処理部からのイベント発見の通知に基づき発報する発報処理部とを備えたので、連続性の欠如を防止することができ、認識率を向上することができるという効果を奏する。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に係る監視用画像処理装置の構成を示すブロック図である。
【図2】 この発明の実施の形態1に係る監視用画像処理装置の認識処理部の動作を示すフローチャートである。
【図3】 この発明の実施の形態2に係る監視用画像処理装置の構成を示すブロック図である。
【図4】 この発明の実施の形態2に係る監視用画像処理装置の増感倍率類推処理部の動作を示すフローチャートである。
【図5】 この発明の実施の形態3に係る監視用画像処理装置の構成を示すブロック図である。
【図6】 この発明の実施の形態3に係る監視用画像処理装置の増感倍率類推処理部の動作を示すフローチャートである。
【図7】 従来の監視用画像処理装置の構成を示すブロック図である。
【図8】 従来の監視用画像処理装置の認識処理部の動作を示すフローチャートである。
【図9】 従来の監視用画像処理装置に係る現画像を示す図である。
【図10】 従来の監視用画像処理装置に係る変化領域をスーパーインポーズした現画像を示す図である。
【図11】 電子増感カメラによる画像を示す図である。
【符号の説明】
1 ビデオ入力部、2 A/D変換部、3 現画像蓄積部、4 背景画像蓄積部、5 背景更新部、6 背景差分部、7 敷居値演算部、8 2値化部、9 特徴量演算部、10 発報対象特徴量記憶部、11A 認識処理部、13 発報処理部、14、14A、14B 増感倍率類推処理部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring image processing apparatus that is also compatible with an electronic intensifying camera having a function of compensating for insufficient illuminance or the like by increasing the accumulation time of a light receiving element.
[0002]
[Prior art]
A conventional monitoring image processing apparatus will be described with reference to FIG. FIG. 7 is a block diagram showing a configuration of a conventional monitoring image processing apparatus.
[0003]
In FIG. 7, reference numeral 1 denotes a video input unit that receives video processed by the monitoring image processing apparatus, 2 denotes an A / D conversion unit that quantizes video input from the
[0004]
In the figure, 6 is a background difference unit that compares two images of the current
[0005]
Further, in the figure, 8 is a binarization unit that binarizes the background difference data with the threshold value obtained by the threshold
[0006]
FIG. 8 is a flowchart showing in more detail the configuration (operation) of the conventional
[0007]
[0008]
In
[0009]
Next, the operation of the conventional monitoring image processing apparatus will be described. A video signal given to the apparatus from the outside is received by the video input unit 1 and sent to the A / D conversion unit 2. The A / D converter 2 converts the received video signal into digital data for later processing. In general, conversion into multi-value data of 8 bits per pixel is performed.
[0010]
The current
[0011]
The
[0012]
The threshold
[0013]
The change area will be described with reference to FIG. FIG. 9 is an image of a normal main gate. Now, a person is moving in the image. In this case, the position of the moving person becomes the change area as it is. FIG. 10 is an image in which the superimpose in which the change area is dyed in black is overlapped.
[0014]
The feature
[0015]
In the recognition process, recognition is performed according to the following procedure. However, this is only an example. The change area
[0016]
Here, the following determination is performed as an example.
In
In
In
In
In general, the “area”, “vertical / horizontal dimensions”, and “moving speed” are referred to by calculating an average during a predetermined time in
[0017]
However, conversely, even if something completely different from the regular alert appears here (eg, the appearance of a building shadow due to sunlight), if the feature value matches here, the device It will be judged and it will lead to wrong report as it is. Such an erroneous report due to a non-report target is hereinafter referred to as unnecessary detection.
[0018]
Whether it is unnecessary detection or normal detection, the event is transmitted from the
[0019]
[Problems to be solved by the invention]
In the conventional monitoring image processing apparatus as described above, when an electronic intensifying camera is used, there is a possibility that the recognition performance is lowered due to its structure. That is, in the electronic sensitizing camera, the same image data may be sent out continuously for a plurality of frames due to its structure. When the monitoring image processing apparatus continuously captures the same image, the difference between the images cannot be detected because the images are the same. Even if the change area can be detected in the images before and after this, if time-series features are used for the determination of the intruder, normal recognition is hindered. This is called lack of continuity.
[0020]
For example, as shown in FIG. 11, when an image from an electronic intensifying camera in which the image A and the image B are the same and the image C and the image D are the same is obtained, the conventional monitoring image processing apparatus uses the image A Since there is no change between the image B and the image B, it is determined that there is no intruder. Then, there is a change between the image B and the image C, and an intruder is found. However, since there was no intruder before and after that, there was a problem that it was judged that there was no intruder due to lack of continuity.
[0021]
The present invention has been made to solve the above-described problems. The sensitization magnification of the electronic sensitizing camera is automatically obtained, and the processing cycle is sequentially switched based on the obtained sensitization magnification. It is an object of the present invention to obtain a monitoring image processing apparatus capable of preventing the lack of image quality and improving the recognition rate.
[0022]
[Means for Solving the Problems]
A monitoring image processing apparatus according to the present invention includes a current image storage unit that stores a current image from an electronic intensifying camera, and a background image storage that stores a background image for comparison based on the image from the electronic intensifying camera. A background update unit that calculates a background image by calculating image data of the background image storage unit according to a certain rule, and compares the two images of the current image storage unit and the background image storage unit to obtain background difference data A background difference unit for calculating a change area, Based on the change of the area of the change area or the number of labels The sensitization magnification of the electronic sensitizing camera By analogy Sensitization magnification analogy processing unit for notification, feature amount calculation unit for calculating the feature amount based on the background difference data, report target feature amount storage unit for storing the feature parameter of the report target in advance, and the notification Was The recognition processing cycle is determined according to the sensitization magnification, and the recognition A recognition processing unit that determines whether an event has occurred by comparing the feature amount data calculated by the feature amount calculation unit with the feature amount parameter for each processing cycle, and notification of event discovery from the recognition processing unit And a report processing unit that reports based on the above.
[0023]
The monitoring image processing apparatus according to the present invention includes: A current image storage unit that stores a current image from an electronic sensitizing camera, a background image storage unit that stores a background image for comparison based on an image from the electronic sensitizing camera, and image data of the background image storage unit A background update unit that calculates a background image by calculating a constant image, and a background difference unit that compares two images of the current image storage unit and the background image storage unit to calculate a change area that is background difference data; A sensitization magnification analogy processing unit for analogizing and notifying the sensitization magnification of the electronic sensitizing camera based on identification of characters or symbols superimposed on the image by the electronic sensitizing camera, and based on the background difference data A feature amount calculation unit for calculating the feature amount, a report target feature amount storage unit for storing the feature parameter of the report target in advance, and a recognition processing cycle according to the notified sensitization magnification. A recognition processing unit that determines whether an event has occurred by comparing the feature amount data calculated by the feature amount calculation unit and the feature amount parameter for each recognition processing cycle; And a report processing unit that reports based on event discovery notifications Is.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
A monitoring image processing apparatus according to Embodiment 1 of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of a monitoring image processing apparatus according to Embodiment 1 of the present invention. In addition, in each figure, the same code | symbol shows the same or equivalent part.
[0026]
In FIG. 1, the video input unit 1 to the notification target feature
[0027]
FIG. 2 shows a flow showing the configuration (operation) of the
[0028]
Next, the operation of the first embodiment will be described. Since the video input unit 1 to the notification target feature
[0029]
Below, an example about the case where a recognition and determination cycle is changed according to the sensitization magnification of an electronic sensitization camera is shown. Based on the sensitization magnification determined by the sensitization magnification
[0030]
As shown in FIG. 2, in
[0031]
The same effect can be obtained by changing the image capture cycle instead of changing the recognition processing cycle.
[0032]
As described above, according to the present embodiment, the monitoring image processing apparatus avoids capturing the same continuous image input from the electronic intensifying camera, or is recognized and determined based on the same continuous image result. By avoiding it, the lack of continuity is prevented and the recognition rate is improved.
[0033]
That is, in the first embodiment, a video input unit 1 for inputting a video signal, an A / D conversion unit 2 for A / D converting the video signal taken in from the input unit, and current image data are obtained (necessary). A background
[0034]
As described above, according to the first embodiment, when the same image is input from the electronic sensitizing camera for a certain period, the recognition / determination process cycle is set based on the sensitization magnification. , The change area cannot be detected, and even if it can be detected, there is a risk that it will be erroneously determined in the final judgment due to the lack of continuity. " This makes it possible to connect an electronic intensifying camera.
[0035]
Embodiment 2. FIG.
A monitoring image processing apparatus according to Embodiment 2 of the present invention will be described with reference to FIG. FIG. 3 is a block diagram showing the configuration of the monitoring image processing apparatus according to Embodiment 2 of the present invention. In addition, in each figure, the same code | symbol shows the same or equivalent part.
[0036]
In FIG. 3, the video input unit 1 to the
[0037]
A flow showing the sensitization magnification
[0038]
The flow showing the
[0039]
Next, a typical example of the operation will be described. Since the video input unit 1 to the
[0040]
Below, an example about the case where a sensitization magnification is calculated | required using the area of a change area | region is shown. When an electronic sensitizing camera is used, since the same image is input for a certain period (which is determined by the sensitization magnification), there is no change area during that period. Further, even when the time exceeds the sensitization magnification, if there is no moving object, the change area does not appear. Using this feature, the sensitization magnification
[0041]
In the flowchart of the sensitization magnification
[0042]
That is, the number of frames in which an image without a change area continues after the change area appears until the next change area appears is counted, and when the number of frames is smaller than the current sensitization magnification, The sensitization magnification is used.
[0043]
In this method, even if an image having no change region is continuously input and the sensitization magnification is increased, an accurate sensitization magnification can be obtained as soon as the change region is generated.
[0044]
As described above, according to the present embodiment, the sensitization magnification can be automatically detected from the obtained image, and the monitoring image processing apparatus itself can correspond to the electronic sensitization camera in accordance with the magnification. Has an effect.
[0045]
That is, the second embodiment automatically detects the sensitization magnification from the obtained image in the monitoring image processing apparatus of the first embodiment when the electronic sensitizing camera is connected. As a function, it has a function of analogizing the sensitization magnification by using the fact that the area of the change region or the number of labels changes or does not change extremely in a certain cycle.
[0046]
As described above, according to the second embodiment, when the same image is input from the electronic intensifying camera for a certain period, “whether or not the area of the change region or the number of labels changes in a certain cycle” is determined. By using this, the current sensitization magnification is determined, and based on the determination result, the monitoring image processing apparatus itself can correspond to the electronic sensitization camera.
[0047]
A monitoring image processing apparatus according to
[0048]
In FIG. 5, the video input unit 1 to the
[0049]
A flow showing the sensitization magnification
[0050]
The flow showing the
[0051]
Next, a typical example of the operation will be described. Since the video input unit 1 to the
[0052]
Below, an example about the case where a sensitization magnification is calculated | required using the character superimposed by the electronic sensitization camera is shown. The sensitization magnification is displayed in a certain area in the image by the electronic sensitizing camera. The sensitization magnification
[0053]
The displayed character may not be the current sensitization magnification. If the same character is superimposed during the sensitization magnification time with the electronic sensitization camera, the sensitization magnification can be obtained by reading the character and counting how many times the same character is repeated. it can. This is also possible with symbols instead of letters.
[0054]
As described above, according to the present embodiment, the sensitization magnification can be automatically detected from the obtained image more accurately than the method of the second embodiment, and the monitoring image is matched to the magnification. There exists an effect that processing apparatus itself can respond to an electronic intensifying camera.
[0055]
That is, in the monitoring image processing apparatus according to the first embodiment, a character or symbol monitoring area is provided at a specific location of an image input from the electronic intensifying camera, and the electronic enhancement is performed in the area (section). It has a function of identifying a character or a symbol superimposed by the sensation camera and estimating the sensitization magnification of the current electronic sensitization camera therefrom.
[0056]
As described above, according to the third embodiment, when the same image is input from the electronic intensifying camera for a certain period of time, “superimpose characters and symbols by the electronic intensifying camera and recognize the characters and symbols. By using this, the current sensitization magnification is determined more accurately than the method of the second embodiment, and the monitoring image processing apparatus itself performs electronic sensitization according to the magnification based on the determination result. It is possible to correspond to the camera.
[0057]
【The invention's effect】
As described above, the monitoring image processing apparatus according to the present invention includes a current image storage unit that stores a current image from an electronic sensitizing camera, and a background image for comparison based on the image from the electronic sensitizing camera. Comparing the two images of the background image storage unit to store, the background update unit that updates the background image by calculating the image data of the background image storage unit according to a certain rule, the current image storage unit and the background image storage unit A background difference unit that calculates a change area that is background difference data; Based on the change of the area of the change area or the number of labels The sensitization magnification of the electronic sensitizing camera By analogy Sensitization magnification analogy processing unit for notification, feature amount calculation unit for calculating the feature amount based on the background difference data, report target feature amount storage unit for storing the feature parameter of the report target in advance, and the notification Was The recognition processing cycle is determined according to the sensitization magnification, and the recognition A recognition processing unit that determines whether an event has occurred by comparing the feature amount data calculated by the feature amount calculation unit with the feature amount parameter for each processing cycle, and notification of event discovery from the recognition processing unit Since it is provided with a report processing unit that reports based on the above, it is possible to prevent the lack of continuity and improve the recognition rate.
[0058]
Moreover, the monitoring image processing apparatus according to the present invention is as described above. A current image storage unit that stores a current image from an electronic sensitizing camera, a background image storage unit that stores a background image for comparison based on an image from the electronic sensitizing camera, and image data of the background image storage unit A background update unit that calculates a background image by calculating a constant image, and a background difference unit that compares two images of the current image storage unit and the background image storage unit to calculate a change area that is background difference data; A sensitization magnification analogy processing unit for analogizing and notifying the sensitization magnification of the electronic sensitizing camera based on identification of characters or symbols superimposed on the image by the electronic sensitizing camera, and based on the background difference data A feature amount calculation unit for calculating the feature amount, a report target feature amount storage unit for storing the feature parameter of the report target in advance, and a recognition processing cycle according to the notified sensitization magnification. A recognition processing unit that determines whether an event has occurred by comparing the feature amount data calculated by the feature amount calculation unit and the feature amount parameter for each recognition processing cycle; And a report processing unit that reports based on event discovery notifications Therefore, the lack of continuity can be prevented, and the recognition rate can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a monitoring image processing apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a flowchart showing an operation of a recognition processing unit of the monitoring image processing apparatus according to the first embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of a monitoring image processing apparatus according to Embodiment 2 of the present invention.
FIG. 4 is a flowchart showing an operation of a sensitization magnification analogy processing unit of the monitoring image processing apparatus according to the second embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a monitoring image processing apparatus according to
FIG. 6 is a flowchart showing the operation of the sensitization magnification analogy processing unit of the monitoring image processing apparatus according to the third embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration of a conventional monitoring image processing apparatus.
FIG. 8 is a flowchart illustrating an operation of a recognition processing unit of a conventional monitoring image processing apparatus.
FIG. 9 is a diagram illustrating a current image according to a conventional monitoring image processing apparatus.
FIG. 10 is a diagram illustrating a current image obtained by superimposing a change area according to a conventional monitoring image processing apparatus.
FIG. 11 is a diagram showing an image obtained by an electronic intensifying camera.
[Explanation of symbols]
1 video input unit, 2 A / D conversion unit, 3 current image storage unit, 4 background image storage unit, 5 background update unit, 6 background difference unit, 7 threshold value calculation unit, 8 binarization unit, 9 feature value calculation , 10 notification target feature amount storage unit, 11A recognition processing unit, 13 notification processing unit, 14, 14A, 14B sensitization magnification analogy processing unit.
Claims (2)
前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、
前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、
前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、
前記変化領域の面積あるいはラベル数の変化に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、
前記背景差分データに基づきその特徴量を算出する特徴量演算部と、
発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、
前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、
前記認識処理部からのイベント発見の通知に基づき発報する発報処理部と
を備えたことを特徴とする監視用画像処理装置。A current image storage unit for storing a current image from the electronic intensifying camera;
A background image storage unit for storing a background image for comparison based on an image from the electronic intensifying camera;
A background update unit that calculates image data of the background image storage unit according to a certain rule and updates a background image;
A background difference unit that compares two images of the current image storage unit and the background image storage unit to calculate a change area that is background difference data; and
A sensitization magnification analogy processing unit for informing and informing the sensitization magnification of the electronic sensitizing camera based on the change of the area of the change region or the number of labels ,
A feature amount calculation unit for calculating the feature amount based on the background difference data;
A report target feature amount storage unit that pre-stores a feature amount parameter of a report target;
A recognition processing cycle is determined in accordance with the notified sensitization magnification, and an event occurs by comparing the feature amount data calculated by the feature amount calculation unit with the feature amount parameter for each recognition processing cycle. A recognition processing unit for determining whether or not
A monitoring image processing apparatus comprising: an alarm processing unit that generates an event based on an event discovery notification from the recognition processing unit.
前記電子増感カメラからの画像に基づき比較用の背景画像を記憶する背景画像蓄積部と、
前記背景画像蓄積部の画像データを一定ルールで演算して背景画像を更新する背景更新部と、
前記現画像蓄積部及び前記背景画像蓄積部の2つの画像を比較して背景差分データである変化領域を算出する背景差分部と、
前記電子増感カメラによって画像にスーパーインポーズされた文字あるいは記号の識別に基づき前記電子増感カメラの増感倍率を類推して通知する増感倍率類推処理部と、
前記背景差分データに基づきその特徴量を算出する特徴量演算部と、
発報対象の特徴量パラメーターを予め記憶する発報対象特徴量記憶部と、
前記通知された増感倍率にあわせて認識処理サイクルを決定し、前記認識処理サイクル毎に、前記特徴量演算部により算出された特徴量データと前記特徴量パラメーターとを比較してイベント発生か否かを判断する認識処理部と、
前記認識処理部からのイベント発見の通知に基づき発報する発報処理部と
を備えたことを特徴とする監視用画像処理装置。 A current image storage unit for storing a current image from the electronic intensifying camera;
A background image storage unit for storing a background image for comparison based on an image from the electronic intensifying camera;
A background update unit that calculates image data of the background image storage unit according to a certain rule and updates a background image;
A background difference unit that compares two images of the current image storage unit and the background image storage unit to calculate a change area that is background difference data; and
A sensitization magnification analogy processing unit for analogizing and notifying the sensitization magnification of the electronic sensitizing camera based on identification of characters or symbols superimposed on the image by the electronic sensitizing camera;
A feature amount calculation unit for calculating the feature amount based on the background difference data;
A report target feature amount storage unit that pre-stores a feature amount parameter of a report target;
A recognition processing cycle is determined in accordance with the notified sensitization magnification, and an event occurs by comparing the feature amount data calculated by the feature amount calculation unit with the feature amount parameter for each recognition processing cycle. A recognition processing unit for determining whether or not
A notification processing unit that issues a notification based on a notification of event discovery from the recognition processing unit;
Monitor image processing apparatus comprising the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31528897A JP3679233B2 (en) | 1997-11-17 | 1997-11-17 | Monitoring image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31528897A JP3679233B2 (en) | 1997-11-17 | 1997-11-17 | Monitoring image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11150725A JPH11150725A (en) | 1999-06-02 |
| JP3679233B2 true JP3679233B2 (en) | 2005-08-03 |
Family
ID=18063601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31528897A Expired - Fee Related JP3679233B2 (en) | 1997-11-17 | 1997-11-17 | Monitoring image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3679233B2 (en) |
-
1997
- 1997-11-17 JP JP31528897A patent/JP3679233B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11150725A (en) | 1999-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0400607A2 (en) | Infrared monitoring system | |
| JP2001357484A (en) | Road abnormality detection device | |
| US5963272A (en) | Method and apparatus for generating a reference image from an image sequence | |
| JP5388829B2 (en) | Intruder detection device | |
| KR100513739B1 (en) | Motion detecting device using face characteristics and monitoring system adapting it | |
| JPH0779429A (en) | Image monitoring device | |
| CN101163234A (en) | Realization Method of Pattern Recognition and Image Monitoring Using Data Processing Device | |
| JP2612662B2 (en) | Intruder identification system | |
| JP3679233B2 (en) | Monitoring image processing device | |
| JP2987353B2 (en) | Video surveillance method | |
| JP3625442B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| JPH0514891A (en) | Image monitoring device | |
| JP2667973B2 (en) | Mobile monitoring device | |
| JP3830616B2 (en) | Image processing device for monitoring | |
| JP3986643B2 (en) | Image processing device for monitoring | |
| JP4071336B2 (en) | Image processing device for monitoring | |
| JP3871051B2 (en) | Image processing device for monitoring | |
| CN118506292A (en) | Camera shielding detection method and device, computer equipment and readable storage medium | |
| JP2000175174A (en) | Surveillance image processing device | |
| JPH0512591A (en) | Monitoring device | |
| JP3848709B2 (en) | Image processing device for monitoring | |
| JP2503613B2 (en) | Abnormality monitoring device | |
| JPH056433A (en) | Supervisory unit | |
| JP3490196B2 (en) | Image processing apparatus and method | |
| JP2002247557A (en) | Video surveillance equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080520 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |