JP3660160B2 - Interface measuring apparatus and interface measuring method - Google Patents
Interface measuring apparatus and interface measuring method Download PDFInfo
- Publication number
- JP3660160B2 JP3660160B2 JP14045799A JP14045799A JP3660160B2 JP 3660160 B2 JP3660160 B2 JP 3660160B2 JP 14045799 A JP14045799 A JP 14045799A JP 14045799 A JP14045799 A JP 14045799A JP 3660160 B2 JP3660160 B2 JP 3660160B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interface
- original image
- difference
- interface position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、計測される界面を含む原画像を予め設定したサンプリング間隔にて取得するための画像取得手段と、取得された原画像を解析して界面位置を求める画像解析手段とを備えた界面計測装置及び界面計測方法に関するものである。
【0002】
【従来の技術】
界面とは、液体、気体、固体等の二層が接している境界のことを言い、例えば、液体が貯蔵されているドラムにおける液体と空気との境界である。かかる界面を測定する装置として一般的に市販されているものとして次のようなものがあげられる。
(1)垂直反射型変位計
この原理は、液面上空からレーザー光又は超音波を液面に向かって垂直下方に放射し、液面での反射を受信して距離を測定するものである。
(2)静電容量式レベルスイッチ
この原理は、液体と空気の比誘電率の差を利用してセンサー付近に液面があるかどうかを検知するものである。
【0003】
しかしながら、上記 (1) の場合は、装置を二層のうちのいずれかの層中に設置する必要があるので、装置に対して影響を与えないような工夫、例えば装置をシールド状態にできることが必要となる。また、タンク内など外界から閉ざされることが必要な場合は、設置・保全が容易ではないと言う問題があった。
【0004】
また、上記(2)の場合は、センサーが設けられている位置における検知は可能であるが、広範囲にわたる連続値の計測ができないと言う問題があった。
また、上記の他に、フロートレベル計、抵抗レベル計、インピーダンス式界面計もあるが、これらは界面においてインピーダンスや密度と言った特徴値に大きな差があり、かつ、値が安定していると言う前提条件が必要とされていた。実際の界面計測を行なう現場においては、さまざまな不安定要因があり、上記市販装置をそのまま適用することが困難な場合が多い。
【0005】
上記問題点を考慮した従来技術として、特開平8−43173号公報に開示されている画像処理による水位測定装置がある。
この装置は、液体の水面位置 (界面) を目測する水位計の画像を取り込み、画像処理によって水位を自動的に測定するものであり、前記水位計の画像を濃淡画像に変換し、その濃淡値を水平方向に積算するとともに、垂直方向の変化として示すヒストグラムを求め、このヒストグラムが予め設定された所定のしきい値を超えて変化した場合に、その位置を水位として求める装置である。
画像処理による界面測定装置としては、他に、実開平6−30727号公報、特開平7−98238号公報に開示される装置があげられる。
【0006】
【発明が解決しようとする課題】
しかしながら、これら従来の画像処理による界面計測装置は、外乱の多い現場環境では安定して使用することができない問題があった。
つまり、従来の画像処理では、界面において何らかの物理量 (濃度など:上記例ではヒストグラムの変化) の変化が生じ、それと同様の変化は界面以外の部分においては発生しないと言う前提条件のもとで、安定して界面の検出をすることができるものである。
【0007】
また一方で、界面を形成する二層の画像の濃度差で検出する場合は、界面を形成する二層の物性により夫々の濃度がほぼ決まるため、濃度差が充分ではない場合もある。二層を形成する物質に着色することで濃度差を生じさせる方法はあるが、装置の制約など界面の濃度差を改善することが困難な場合が多い。つまり、濃度差が非常にわずかな画像を基に界面を検出しなければならないことも多い。
【0008】
更に付け加えると、現実の界面測定の現場は屋外であることも多く、その場合には観測面の汚れや周囲の明るさの変化、周辺の設置物による陰影の映り込みなどの、さまざまな外乱が画像として取り込まれる。しかも、これら外乱による濃度変化のほうが、測定すべき界面での濃度変化よりも大きいことも多い。このような場合には、界面における濃度変化分だけを、他の外乱による変化分と区別して抽出する必要がある。
【0009】
本発明は上記実情に鑑みてなされたものであり、その目的は、外乱が生じていたとしても精度良く界面の計測を行なうことのできる界面計測装置及び界面計測方法を提供するものである。
【0010】
【課題を解決するための手段】
上記目的を達成するための本発明に係る界面計測装置は、計測される水平界面を含む原画像を予め設定したサンプリング間隔にて取得するための画像取得手段と、取得された原画像を解析して水平界面位置を求める画像解析手段とを備えた界面計測装置において、前記画像解析手段は、現在の原画像と過去の原画像との差分画像を求める差分演算部と、この差分画像に基づいて原画像に含まれる水平界面の時間的変化分を抽出した抽出画像を求める変化分抽出部と、この抽出画像に基づいて水平界面位置を決定する界面位置決定部とを備えていることを特徴とするものである。
【0011】
本発明の原理を説明すると、水平界面(以下、水平界面を単に「界面」という。)において変化が生じる物理量として濃度差のみではなく、界面の位置の時間変化も捉えようとするものである。例えば、稼働中の生産プラントにおける界面の場合は、界面が絶えず揺動している場合が多い。一方、観測面の汚れや周囲の明るさの変化、周辺物の陰影などの外乱の画像は、長い時間幅で見ると変化するかもしれないが、短い時間幅では静止しているとみなせることが多い。
【0012】
そこで、予め設定したサンプリング間隔にて原画像 (原画像とは画像処理を行なう前の画像を意味するものである。)を取得し、現在の原画像と過去の原画像との差分画像を差分演算部により求める。このサンプリング間隔は界面の揺動の周期に合わせて適宜設定すればよい。差分画像を演算することにより、静止状態にある外乱画像を除去することができ、揺動している界面画像のみを残すような抽出画像を得ることができる。つまり、濃度変化の大小に基づいて界面を検出するのではなく、界面の位置の変化を捉えるものであり、界面における濃度変化が外乱画像よりも小さかったとしても検出することができる。界面位置決定部は、抽出画像に基づいて界面位置を最終決定 (特定) する。
以上のように、外乱が生じていたとしても精度良く界面の計測を行なうことのできる界面計測装置を提供することができた。
【0013】
本発明の好適な実施形態として、前記画像解析手段は、前記差分画像からノイズ成分を除去した平滑化画像を求める平滑化処理部を更に備えているものがあげられる。サンプリング画像の差分をとって差分画像を得たとしても、完全に外乱画像を除去できないことが普通であり、多少のノイズ成分が残る。ノイズ成分が少ない場合は平滑化処理をする必要はないが、ノイズ成分が目立つような場合は差分画像を平滑化処理して平滑化画像を求めるようにするのが好ましい。これにより、界面計測を精度良く行なうことができる。
【0014】
本発明の別の好適な実施形態として、前記差分画像の濃度ヒストグラム又は前記平滑化画像の濃度ヒストグラムから、前記抽出画像を求めるためのしきい値を求めるしきい値演算部を更に備えているものがあげられる。
【0015】
画像の明るさが昼夜天候などの影響で変化する場合には、濃度ヒストグラムも変化するから、その変化に応じて抽出画像 (例えば、0 (黒) レベルと1 (白) レベルとグレーレベルの3値画像である。)を求めるためのしきい値を求めるようにするのが好ましい。これにより、界面計測を精度よく行なうことができる。なお、昼夜天候などの影響が全くなく、画像の明るさが安定している (濃度ヒストグラムが変化しない。) 場合には、しきい値は固定しておいても良い。
【0016】
本発明の更に別の好適な実施形態として、前記変化分抽出部は、前記差分画像又は前記平滑化画像から、前記しきい値演算部により求められたしきい値又は予め設定されたしきい値により前記抽出画像を求めるものがあげられる。
【0017】
差分画像又は差分画像から求められた平滑化画像では、変化分に相当する画素の濃度はある範囲内にあるものと推定されるから、しきい値を設定することによりその変化分の画像を抽出することができる。
【0018】
本発明の更に別の好適な実施形態として、前記界面位置決定部は、前記差分画像から求められる濃度変化パターンと、予め用意している濃度変化パターンとを比較することにより、界面位置を決定するものがあげられる。
【0019】
抽出画像を求めると、この画像から界面位置を特定する必要がある。その際に、前記差分画像から濃度変化パターンを求め、これを予め用意している濃度変化パターンと比較する。この濃度変化パターンとして、例えば、界面が上方向に移動した場合、下方向に移動した場合など考えられるいくつかのパターンを用意しておけば良い。これらのパターンに基づいて、抽出画像から最終的に界面位置を特定することができる。
【0020】
本発明の更に別の好適な実施形態として、前記画像取得手段により取得された原画像を表示する表示手段を備え、この表示手段は、前記界面位置決定部により決定された界面位置及び界面位置の経時的変化を表わすグラフを前記原画像と共に表示するものがあげられる。
【0021】
この構成によると、原画像と共に、界面位置及び界面位置の経時的変化を表示手段に表示できるので、オペレータは計測結果を直ちに認識できる。また、界面位置の経時的変化を表わすグラフも表示することで、界面位置の現在位置のみならず過去の計測結果も直ちに認識することができる。
【0022】
本発明の目的を達成するための本発明に係る界面計測方法は、
計測される水平界面を含む原画像を予め設定したサンプリング間隔にて取得するステップと、
取得された現在の原画像と過去の原画像との差分画像を求めるステップと、
この差分画像に基づいて原画像に含まれる水平界面の時間的変化分を抽出した抽出画像を求めるステップと、
この抽出画像に基づいて水平界面位置を決定するステップとを有することを特徴とするものである。
【0023】
この構成による作用は、本発明に係る界面計測装置と同様であり、次の通りである。
(イ)計測される界面を含む原画像を予め設定したサンプリング間隔にて取得する。サンプリング間隔の設定は、界面の変動状態に応じて設定すれば良い。
(ロ)差分画像に基づいて原画像の変化分を抽出した抽出画像を求める。ここで、「差分画像に基づいて」とは、差分画像から直接、原画像の変化分を抽出する場合を含むのはもちろんのこと、差分画像から求められる別の画像、例えば、差分画像からノイズ成分を除去した平滑化画像を求めて、この平滑化画像から変化分を抽出する場合なども含む。
(ハ)抽出画像に基づいて界面位置を決定する。
その他の作用・効果については、界面計測装置の場合と同じであるので説明を省略する。
【0024】
【発明の実施の形態】
本発明に係る界面計測装置の好適な実施形態を図面を用いて説明する。図1は、界面計測装置を含む全体構成(現場+計側室)を示す図である。
<全体構成>
現場には、界面計測対象としての容器(ドラムなど)1と、容器1の観測窓1aから見える被計測界面1bを照明する蛍光灯などの照明手段2と、界面1bの画像を取得するためのTVカメラ3(画像取得手段に相当する。)とが設けられている。
本実施形態における現場は、屋外であり観測窓1aへの汚れ付着などが避けられなく、また、降雨時はその影響が画像に外乱となって現われる可能性がある。かかる外乱があったとしても、既存のTVカメラ3を用いて界面画像を取得してこの画像を解析するアルゴリズムを工夫することで界面位置を検出するものである。
【0025】
計測室には、TVカメラ3から画像が入力される画像解析システム4と、この画像解析システム4に接続されたTVモニタ5とCRモニタ6(夫々表示手段に相当する。)とが設けられている。画像解析システム4については次に説明するが、画像解析手段40が設けられている。
【0026】
<画像解析システム>
次に、画像解析システム4のブロック構成を図2に示す。
この画像解析システム4は、各部の制御を行なうシステム制御部41と、TVカメラ3が取得した画像を解析して界面位置を計測する画像解析手段40と、ハードディスク42と、フロッピーディスク43と、データ記録再生手段44と、周辺処理手段45と、画像合成手段46と、グラフ作成手段47と、キーボード48とを備えている。
【0027】
図3は、画像解析手段40の機能を説明するブロック構成図である。図4は、概略の手順を示すフローチャートである。
TVカメラ3から取得されるアナログ画像信号は、A/D変換部10においてデジタルデータ化されたデジタル画像信号(原画像)として所定のサンプリング間隔(周期)で画像解析手段40に取り込まれる。サンプリング間隔は、界面の揺動する周期に合わせて設定すれば良く、本実施形態では2秒に設定している。取り込まれた原画像は、フレームメモリ部40aに取り込まれる。フレームメモリ部40aは少なくとも第1フレームメモリFM1と第2フレームメモリFM2を備えている。なお、原画像とは画像処理が行なわれる前の画像のことを意味するものであり、本実施形態では、8ビットの濃淡画像(256段階の濃淡画像データ)として表わされる。
【0028】
原画像データはまず、第1フレームメモリFM1に取り込まれる(図4のs1参照)。この原画像(現在の原画像)を図5に示す。また、第2フレームメモリFM2には2秒前に取得した原画像が保存されており、この原画像(過去の原画像)を図6に示す。
【0029】
差分演算部40bは、現在の原画像と過去の原画像との差分画像を求める(s2)。本実施形態では、現在の原画像から過去の原画像を減算処理しているが、もちろんその逆の減算を行なっても良い。なお、差分画像については減算結果を128(中間階調)オフセットしたものを用いており、このオフセットされた差分画像を図6に示す。差分画像は第2フレームメモリFM2に格納される。
【0030】
差分画像を求めると、外乱画像等の移動しない部分は差分をとると0(オフセットすると128)になるが、実際には差分を取ったとしても微小なノイズ成分が残ることがある。かかるノイズ成分を除去するために平滑化処理部40cにて平滑化処理を行なう(s3)。平滑化処理としては、本実施形態では1行×32列フィルタを用いて平滑化した。これは、移動平均フィルタのことであり、注目画素を中心として32画素の平均を注目画素位置の平滑化画像とする方法である。本実施形態において、上記フィルタを採用した理由は、界面画像への影響が少なく、かつ最も効果が得られたからである。もちろん、平滑化フィルタは、上記フィルタに限定されるものではなく、現場状況などに合わせて適切なものを採用すれば良い。また、差分画像にノイズ成分がほとんどないような場合には、平滑化処理は不要である。
【0031】
次に、平滑化処理された差分画像から、原画像の変化分を抽出するための処理を説明する。この変化分は界面付近の画像に相当するものである。これは、界面は常時揺動しているものと考えられるので、原画像の変化分を抽出することで界面を計測できると言う考え方に基づくものである。
【0032】
まず、図7に示される平滑化された差分画像の濃度ヒストグラムを求めると、図8のようになり、(a)は界面変化がない場合の濃度ヒストグラムであり、(b)は界面変化があった場合の濃度ヒストグラムを示す図である。図8(a)の場合は、しきい値演算部40dは、ノイズによる度数分布の両端部n1 とn2 をしきい値として設定する。(b)の場合、しきい値演算部40dは、ノイズによる度数分布と界面位置の変化による度数分布の中間であるn3 とn4 をしきい値として設定する。度数分布の幅は、天候、時刻、振動、電気ノイズなどにより毎回異なるため、しきい値演算部40dでは、毎回度数分布の形状を数式的に認識してしきい値を演算している。
なお、差分画像の濃度ヒストグラムが毎回ほとんど一定である場合には、しきい値を自動演算する処理は必要がなく、予め設定した固定値で良い。濃度ヒストグラムの形状が毎回ばらつく場合に、上記処理を行なうのが有効である。
【0033】
しきい値が求まると、変化分抽出部40eにおいて、図7の差分画像を2値画像に変換する。具体的には、濃度がn1 〜n2 の間、又はn3 〜n4 の間にある画像は0レベル (0値) に変換し、n2 又はn4 以上の画像を1レベル(255値)に変換し、n1 又はn3 以下の画像を中間のグレーレベルに変換する。これにより、原画像の変化分を抽出した抽出画像(3値化画像) を求めることができる。この抽出画像を図9に示す。この抽出画像を求めるに際して、ノイズ成分を除去するための孤立点除去処理(膨張・収縮処理等)を行なうのが好ましい。
【0034】
図9は、理想的な抽出画像であり、島が2つ現われる。2つ現われるのは、本実施形態における界面が後述するモデルパターンの図13に相当するようなエマルジョン層を有するからであり、この抽出画像から正しい界面位置を特定するためのアルゴリズムが必要となる。この処理は、界面位置決定部40fにより行なわれる。以下、界面位置を特定するための手順を説明する。
【0035】
まず、差分画像から図10に示すような濃度分布パターンを求める。この濃度分布パターンは、差分画像の縦方向の断面を積算平均(又は、積算)したものであり、変化のない部分(直線部分)では128の値となる。図10(a)は、濃度分布パターンyと、図9の抽出画像における2つの島(白レベルの大楕円E1とグレーレベルの小楕円E2で表わされている。)とを並べてかいたものである。図に示される4つのラインL1,L2,L3,L4は、濃度分布パターンが図8に示されるしきい値を横切る位置を示している。図8(b)の例で言うならば、ラインL3,L4は、しきい値n4 を横切る位置、ラインL1,L2はしきい値n3 を横切る位置をそれぞれ示している。また、2つの島との関係で言うと、大楕円E1は、ラインL3,L4で挟まれる関係にあり、小楕円E2は、ラインL1,L2で挟まれる関係にある。
【0036】
この濃度分布パターンから界面位置を特定するため、予めいくつかの濃度分布パターンを用意しておく。界面付近の画像の濃度分布パターンは、対象物によりさまざまであるが、夫々の濃度変化パターンに応じてモデルを作成しておき、毎回求められる差分画像の濃度分布パターンから、適合するモデルを選択して界面位置を決定することができる。
【0037】
図11のモデルは、単純界面の場合であって、前回に対して界面位置が上方へ移動した場合のモデルであり、差分をとった場合の濃度分布パターンは図11の右側のようになり、界面位置は濃度分布パターンの凸部の上側である。
図12のモデルは、単純界面の場合であって、前回に対して界面位置が下方に移動した場合のモデルであり、差分をとった場合の濃度分布パターンは図12の右側のようになり、界面位置は濃度分布パターンの凹部の下側である。
【0038】
図13のモデルは、エマルジョン層などの遷移領域がある場合であって、前回に対して界面位置が上方へ移動した場合のモデルであり、差分をとった場合の濃度分布パターンは図12の右側のようになり、界面位置は濃度分布パターンの凸部の上側である。
図13のモデルは、メニスカス層に濃度変化がある場合であって、前回に対して界面位置が上方へ移動した場合のモデルであり、差分をとった場合の濃度分布パターンは図14の右側のようになり、界面位置は濃度分布パターンの凸部の上側である。以上代表的なモデルを4つ例示した。
【0039】
図10(a)に戻り、実際に得られた濃度分布パターンをモデルと比較してみると、図13のモデルに相当するので、ラインL2(白レベルの大楕円E2の上端)を界面位置として決定する。また、図10(b)の例の場合は、ラインL1(大楕円E2の下端)を界面位置として決定する。
【0040】
図4のフローチャートに戻り、界面位置を特定する処理が完了すると(s3)、第1フレームメモリFM1の現在の原画像データを第2フレームメモリFM2へ転送する(s4)。そして、データを更新処理すべきであれば(s5)、データ更新処理を行ない(s6)、データ更新タイミングでなければs1に戻る。
【0041】
<TVモニタ表示画面例>
図15は、TVモニタ5の表示画面例を示すものである。この表示画面には、原画像に、界面位置を示すラインとトレンドグラフと日付時刻とを画像合成したものが表示されている。図15の、右側の真ん中に見えているのが界面位置であり、最終的に特定された界面位置が1本の横線で示されている。トレンドグラフとは、横軸を時間とし、縦軸を計測データとしたグラフである。計測データとは、毎回の計測により得られた界面位置の画像中における座標値のことを言う。縦軸は、界面位置を示すものであり、例えば、基準位置からの変位量を長さの単位で表わしたものである。
【0042】
トレンドグラフでは、過去n時間の計測データの変化をグラフ化したものである。nは任意に設定可能であり、例えば、4,8,12時間の計測データをグラフに表示させることができる。設定は、キーボード48から入力する。プラントの運転等では、過去数時間の計測データ(界面位置)の変化の様子を知ることが重要であることが多いので、かかる場合にトレンドグラフを表示させると便利である。また、トレンドグラフは所定時間毎(例えば1分)に自動書き換えされるようにしている。
【0043】
TVモニタ5の表示画面のトレンドグラフの左上には、動作インジケータがあり、1回の計測のたびにドットが伸び縮みし、これによりオペレータは本界面計測システムが正常に作動していることを知ることができる。表示画面の左下には、日付時刻が表示されているが、さらに研究部門の名称などをいっしょに表示しても良い。日付表示の位置は、画面の保護のために、表示位置を時間の経過と共に少しづつ移動させるようにするのが好ましい。
【0044】
図2のブロック図に戻り、データ記録再生手段44は、予め設定された時間間隔で計測データを外部記憶装置であるハードディスク42に日付毎に所定のファイル形式で保存する。また、データ記録再生手段44は、ハードディスク42に記憶されている計測データのうち、オペレータがキーボード48から入力指定した年月日(1日分)、又は年月(1ヶ月分)の計測データを読み出して、フロッピーディスク43にコピー(記録)する。また、グラフ作成手段47では、オペレータが指定した年月日の計測データをグラフ表示するための画像データを作成する。
【0045】
画像合成手段46は、原画像と作成された計測データのトレンドグラフと、現在の計測データ(界面位置)を画像合成して、TVモニタ5に表示させる。図2に示される画像計測システムでは、トレンドグラフを自動で作成してこれをTVモニタ5に表示し、計測データはすべて、ハードディスク42やフロッピーディスク43に自動的に保存され、さらにオペレータの指定した日付の計測データを直ちにTVモニタ5に表示させることができる。これにより、オペレータの負担を大幅に軽減することができる。
【0046】
次に、周辺処理手段45は、異常があった場合の自己診断機能を有しており、以下説明する。
TVカメラ3により、画像取得を試みてみたが、設定した回数以上、連続して画像信号(同期信号)が入ってこなかった場合は、TVカメラ3の故障かケーブル断線の疑いがあるとして、その旨をCRTモニタ6に警告表示をする。設定した回数以上としたのは、ケーブルが長く屋外を経由して画像解析手段40に入力される場合、外部ノイズなどで瞬間的に信号が乱れる可能性があるからである。かかる瞬間的な異常により画像がうまく取得できずに、計測データが取れないことがあったとしても、その場合は前回の計測データを保持しておくようにし、次回以降の計測を続けることができる。このように、瞬間的な異常による警告表示はしないようにしている。
【0047】
また、画像入力ボードの故障を自己診断することができる。これは、A/D変換部10(図3参照)のA/D変換チップを自己診断する。たとえば、画像取得が完了したような動作をするが、実際の画像データが全く平坦な画像データ(全画素が0値、又は全画素が255値)である場合には、チップの故障であることが考えられるので、この場合にもCRTモニタ6に警告表示をする。
【0048】
また、統計データを元に自己診断をすることもできる。上述したTVカメラ3やA/D変換チップの故障は、それぞれ設定回数以上連続したときにはじめて異常であると警告表示するものであるが、仮に連続的ではなくても、1日における発生回数が無視できないような場合には、やはり、CRTモニタ6に警告表示をするようにする。
【0049】
次に、CRTモニタ6の表示画面例を図16に示す。本実施形態では、表示手段としてTVモニタ5とCRTモニタ6とを設けているが、TVモニタ5は、TVカメラ3が撮影しているリアルタイムの原画像と、界面位置、トレンドグラフと日付表示を行なっており、通常の場合は情報はこれで十分である。
【0050】
CRTモニタ6は画像解析手段4のコンピュータを操作するときに用いるものである。CRTモニタ6におけるトレンドグラフC2と日付時刻C5は、図15の表示画面と同じである。ステータスウィンドウC1は、本画像計測システムの動作状態や、オペレータのキー操作に対するメッセージ、及び異常時の警告表示を行なう。図16では、「界面計測:通常運転中」と表示している。その他に、計測データをフロッピーディスク43にコピーするときに、「データ取り出し」の表示、システムに異常が発生したときの「TV信号異常メッセージ」「画像入力ボード異常メッセージ」を表示する。
【0051】
解析結果表示ウィンドウC3は、毎回の画像処理結果の内訳を表示する。内訳は、所定時間毎に更新される。オペレータは、通常このウィンドウC3の表示内容に留意する必要はなく、主として異常時の診断に使用する。このウィンドウC3において数値は発生回数を示している。
ディスク使用状況表示C4は、現在のハードディスク42の使用状況を表示するものである。計測データは所定のファイル形式にて毎日ハードディスク42に保存されるが、月が変わると毎月分の計測データは1つの別ファイルにまとめられる。また、今月の1日から今日までの計測データを所定のキー操作により取り出すこともできる。
【0052】
<変形例>
本実施形態では、抽出画像は3値化画像であるが、図11や図12に示されるような単純界面である場合には、2値化画像で抽出しても良い。
【図面の簡単な説明】
【図1】界面計測装置を含む全体構成を示す図
【図2】画像解析システムの構成を示すブロック図
【図3】画像解析手段の機能を説明するブロック構成図
【図4】作動フローチャート
【図5】現在の原画像を表わす図
【図6】過去の原画像を表わす図
【図7】差分画像を表わす図
【図8】差分画像の濃度ヒストグラム
【図9】抽出画像を表わす図
【図10】濃度分布パターンを示す図
【図11】濃度分布パターンのモデル例1
【図12】濃度分布パターンのモデル例2
【図13】濃度分布パターンのモデル例3
【図14】濃度分布パターンのモデル例4
【図15】TVモニタの表示画面例
【図16】CRTモニタの表示画面例
【符号の説明】
3 TVカメラ (画像取得手段)
4 画像解析システム
5 TVモニタ
6 CRTモニタ
40 画像解析手段
40b 差分演算部
40c 平滑化処理部
40d しきい値演算部
40e 変化分抽出部
40f 界面位置決定部[0001]
BACKGROUND OF THE INVENTION
The present invention provides an interface comprising image acquisition means for acquiring an original image including an interface to be measured at a preset sampling interval, and image analysis means for analyzing the acquired original image to obtain an interface position. The present invention relates to a measuring apparatus and an interface measuring method.
[0002]
[Prior art]
The interface refers to a boundary where two layers such as a liquid, a gas, and a solid are in contact with each other. The following are examples of commercially available apparatuses for measuring the interface.
(1) Vertical reflection displacement meter
According to this principle, laser light or ultrasonic waves are emitted vertically downward from the liquid surface toward the liquid surface, and the reflection on the liquid surface is received to measure the distance.
(2) Capacitance type level switch
This principle detects whether there is a liquid level in the vicinity of the sensor using a difference in relative permittivity between liquid and air.
[0003]
However, in the case of the above (1), since the device needs to be installed in one of the two layers, a device that does not affect the device, for example, the device can be in a shielded state. Necessary. In addition, when it is necessary to be closed from the outside such as in a tank, there is a problem that installation and maintenance are not easy.
[0004]
In the case of (2), detection at the position where the sensor is provided is possible, but there is a problem that continuous values cannot be measured over a wide range.
In addition to the above, there are also float level meters, resistance level meters, and impedance type interface meters, but these have large differences in characteristic values such as impedance and density at the interface, and the values are stable. The precondition to say was needed. In actual site measurement, there are various instability factors, and it is often difficult to apply the above-mentioned commercially available apparatus as they are.
[0005]
As a prior art considering the above problems, there is a water level measuring device by image processing disclosed in Japanese Patent Laid-Open No. 8-43173.
This device takes in an image of a water level gauge that measures the water surface position (interface) of the liquid, and automatically measures the water level by image processing, converts the image of the water level meter into a gray image, and the gray value Are obtained in a horizontal direction, and a histogram indicating a change in the vertical direction is obtained. When the histogram changes beyond a predetermined threshold value set in advance, the position is obtained as a water level.
Other examples of the interface measuring device using image processing include the devices disclosed in Japanese Utility Model Laid-Open Nos. 6-30727 and 7-98238.
[0006]
[Problems to be solved by the invention]
However, these conventional interface processing apparatuses based on image processing have a problem that they cannot be used stably in an on-site environment with many disturbances.
In other words, in the conventional image processing, there is a change in some physical quantity (density, etc .: change in histogram in the above example) at the interface, and under the precondition that the same change does not occur in any part other than the interface, The interface can be detected stably.
[0007]
On the other hand, when the detection is performed based on the density difference between the two layers forming the interface, the density difference may not be sufficient because each density is almost determined by the physical properties of the two layers forming the interface. Although there is a method for producing a concentration difference by coloring the substance forming the two layers, it is often difficult to improve the concentration difference at the interface due to restrictions on the apparatus. That is, it is often necessary to detect the interface based on an image having a very small density difference.
[0008]
In addition, the actual interface measurement site is often outdoors. Captured as an image. Moreover, the concentration change due to these disturbances is often larger than the concentration change at the interface to be measured. In such a case, it is necessary to extract only the change in concentration at the interface in distinction from the change due to other disturbances.
[0009]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an interface measuring apparatus and an interface measuring method capable of accurately measuring an interface even when a disturbance occurs.
[0010]
[Means for Solving the Problems]
The interface measuring device according to the present invention for achieving the above object is measured. Horizontal Image acquisition means for acquiring an original image including an interface at a preset sampling interval, and analyzing the acquired original image Horizontal In the interface measuring apparatus including an image analysis unit for obtaining an interface position, the image analysis unit includes a difference calculation unit for obtaining a difference image between a current original image and a past original image, and an original image based on the difference image Of horizontal interface included in Based on this extracted image, a change extraction unit for obtaining an extracted image from which the change is extracted Horizontal And an interface position determining unit that determines the interface position.
[0011]
To explain the principle of the present invention, Horizontal interface (Hereinafter, the horizontal interface is simply referred to as “interface”.) As a physical quantity that causes a change in the temperature, not only the density difference but also the temporal change in the position of the interface is captured. For example, in the case of an interface in an operating production plant, the interface often oscillates constantly. On the other hand, disturbance images such as dirt on the observation surface, changes in ambient brightness, and shadows of surrounding objects may change when viewed over a long period of time, but can be considered to be stationary over a short period of time. Many.
[0012]
Therefore, an original image (original image means an image before image processing) is acquired at a preset sampling interval, and a difference image between the current original image and the past original image is obtained as a difference. Obtained by the calculation unit. This sampling interval may be set as appropriate in accordance with the oscillation cycle of the interface. By calculating the difference image, a disturbance image in a stationary state can be removed, and an extracted image that leaves only the oscillating interface image can be obtained. That is, it does not detect the interface based on the magnitude of the density change, but captures the change in the position of the interface, and can detect even if the density change at the interface is smaller than the disturbance image. The interface position determination unit finally determines (specifies) the interface position based on the extracted image.
As described above, it has been possible to provide an interface measuring apparatus that can accurately measure an interface even when a disturbance occurs.
[0013]
As a preferred embodiment of the present invention, the image analysis means further includes a smoothing processing unit that obtains a smoothed image obtained by removing a noise component from the difference image. Even if the difference image is obtained by taking the difference between the sampling images, it is normal that the disturbance image cannot be completely removed, and some noise components remain. When the noise component is small, it is not necessary to perform the smoothing process, but when the noise component is conspicuous, it is preferable to smooth the difference image to obtain a smoothed image. Thereby, interface measurement can be performed with high accuracy.
[0014]
As another preferred embodiment of the present invention, the image processing apparatus further includes a threshold value calculation unit that obtains a threshold value for obtaining the extracted image from the density histogram of the difference image or the density histogram of the smoothed image. Can be given.
[0015]
When the brightness of the image changes due to the effect of daytime and night weather, the density histogram also changes. Therefore, the extracted image (for example, 3 of 0 (black) level, 1 (white) level, and gray level) It is preferable to obtain a threshold value for obtaining a value image. Thereby, interface measurement can be performed with high accuracy. Note that the threshold value may be fixed when there is no influence of daytime and nighttime weather and the brightness of the image is stable (the density histogram does not change).
[0016]
As still another preferred embodiment of the present invention, the change extraction unit includes a threshold value obtained by the threshold value calculation unit or a preset threshold value from the difference image or the smoothed image. To obtain the extracted image.
[0017]
In the difference image or the smoothed image obtained from the difference image, the pixel density corresponding to the change is estimated to be within a certain range, so the image of the change is extracted by setting a threshold value. can do.
[0018]
As still another preferred embodiment of the present invention, the interface position determination unit determines an interface position by comparing a density change pattern obtained from the difference image with a density change pattern prepared in advance. Things can be raised.
[0019]
When the extracted image is obtained, it is necessary to specify the interface position from this image. At that time, a density change pattern is obtained from the difference image and is compared with a density change pattern prepared in advance. As this density change pattern, for example, several possible patterns may be prepared, for example, when the interface moves upward or when the interface moves downward. Based on these patterns, the interface position can be finally identified from the extracted image.
[0020]
As still another preferred embodiment of the present invention, the image processing apparatus includes a display unit that displays the original image acquired by the image acquisition unit, and the display unit determines the interface position and the interface position determined by the interface position determination unit. One that displays a graph representing a change over time together with the original image is available.
[0021]
According to this configuration, the interface position and the temporal change of the interface position can be displayed together with the original image on the display means, so that the operator can immediately recognize the measurement result. Further, by displaying a graph showing the change in the interface position over time, not only the current position of the interface position but also the past measurement results can be recognized immediately.
[0022]
In order to achieve the object of the present invention, the interface measuring method according to the present invention is:
Measured Horizontal Acquiring an original image including an interface at a preset sampling interval;
Obtaining a difference image between the acquired current original image and the past original image;
The original image based on this difference image Of horizontal interface included in Obtaining an extracted image from which changes are extracted; and
Based on this extracted image Horizontal And a step of determining an interface position.
[0023]
The effect | action by this structure is the same as that of the interface measuring apparatus which concerns on this invention, and is as follows.
(A) An original image including a measured interface is acquired at a preset sampling interval. The sampling interval may be set according to the interface fluctuation state.
(B) An extracted image obtained by extracting a change in the original image based on the difference image is obtained. Here, “based on the difference image” includes not only the case of extracting the change of the original image directly from the difference image, but also another image obtained from the difference image, for example, noise from the difference image. This includes a case where a smoothed image from which components are removed is obtained, and a change is extracted from the smoothed image.
(C) The interface position is determined based on the extracted image.
Since other operations and effects are the same as those of the interface measuring apparatus, description thereof will be omitted.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
A preferred embodiment of an interface measuring apparatus according to the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an overall configuration (site + meter side room) including an interface measuring device.
<Overall configuration>
In the field, a container (such as a drum) 1 as an interface measurement target, an illuminating means 2 such as a fluorescent lamp that illuminates the
In the present embodiment, the site is outdoors, and it is unavoidable that dirt adheres to the
[0025]
The measurement room is provided with an
[0026]
<Image analysis system>
Next, a block configuration of the
The
[0027]
FIG. 3 is a block diagram illustrating the function of the image analysis means 40. FIG. 4 is a flowchart showing a schematic procedure.
The analog image signal acquired from the
[0028]
First, the original image data is taken into the first frame memory FM1 (see s1 in FIG. 4). This original image (current original image) is shown in FIG. In addition, the original image acquired two seconds ago is stored in the second frame memory FM2, and this original image (past original image) is shown in FIG.
[0029]
The
[0030]
When the difference image is obtained, the non-moving part of the disturbance image or the like becomes 0 (128 when offset) when the difference is taken, but in reality, a minute noise component may remain even if the difference is taken. In order to remove such noise components, the smoothing
[0031]
Next, a process for extracting a change in the original image from the smoothed difference image will be described. This change corresponds to an image near the interface. This is based on the idea that the interface can be measured by extracting the amount of change in the original image because the interface is considered to be constantly oscillating.
[0032]
First, the density histogram of the smoothed difference image shown in FIG. 7 is obtained as shown in FIG. 8, where (a) is the density histogram when there is no interface change, and (b) is the interface change. FIG. In the case of FIG. 8 (a), the threshold
When the density histogram of the difference image is almost constant every time, the process of automatically calculating the threshold value is not necessary, and a fixed value set in advance may be used. It is effective to perform the above processing when the shape of the density histogram varies every time.
[0033]
When the threshold value is obtained, the
[0034]
FIG. 9 is an ideal extracted image, and two islands appear. The two appear because the interface in the present embodiment has an emulsion layer corresponding to a model pattern shown in FIG. 13 described later, and an algorithm for specifying the correct interface position from this extracted image is required. This process is performed by the interface
[0035]
First, a density distribution pattern as shown in FIG. 10 is obtained from the difference image. This density distribution pattern is an integrated average (or integrated) of the cross-sections in the vertical direction of the difference image, and has a value of 128 in a portion where there is no change (straight line portion). FIG. 10A shows the density distribution pattern y and two islands (represented by a white level large ellipse E1 and a gray level small ellipse E2) in the extracted image of FIG. It is. The four lines L1, L2, L3, and L4 shown in the figure indicate positions where the density distribution pattern crosses the threshold value shown in FIG. In the example of FIG. 8B, the lines L3 and L4 have a threshold value n. Four , The line L1, L2 is the threshold value n Three The positions crossing each are shown. In terms of the relationship with the two islands, the large ellipse E1 is sandwiched between the lines L3 and L4, and the small ellipse E2 is sandwiched between the lines L1 and L2.
[0036]
In order to specify the interface position from this density distribution pattern, several density distribution patterns are prepared in advance. The density distribution pattern of the image near the interface varies depending on the object, but a model is created according to each density change pattern, and the appropriate model is selected from the density distribution pattern of the difference image obtained each time. The interface position can be determined.
[0037]
The model of FIG. 11 is a model in the case of a simple interface and the interface position moves upward with respect to the previous time. The density distribution pattern when the difference is taken is as shown on the right side of FIG. The interface position is above the convex portion of the density distribution pattern.
The model of FIG. 12 is a model in the case of a simple interface, and the interface position has moved downward relative to the previous time. The density distribution pattern when the difference is taken is as shown on the right side of FIG. The interface position is below the concave portion of the concentration distribution pattern.
[0038]
The model in FIG. 13 is a model in the case where there is a transition region such as an emulsion layer, and the interface position moves upward with respect to the previous time. The concentration distribution pattern in the case of taking the difference is the right side of FIG. The interface position is above the convex portion of the density distribution pattern.
The model in FIG. 13 is a model in the case where the meniscus layer has a density change and the interface position moves upward with respect to the previous time. Thus, the interface position is above the convex portion of the density distribution pattern. Four typical models have been exemplified above.
[0039]
Returning to FIG. 10 (a), when the actually obtained density distribution pattern is compared with the model, it corresponds to the model of FIG. 13, and therefore the line L2 (the upper end of the white-level large ellipse E2) is taken as the interface position. decide. In the example of FIG. 10B, the line L1 (the lower end of the large ellipse E2) is determined as the interface position.
[0040]
Returning to the flowchart of FIG. 4, when the process of specifying the interface position is completed (s3), the current original image data in the first frame memory FM1 is transferred to the second frame memory FM2 (s4). If the data is to be updated (s5), the data is updated (s6), and if it is not the data update timing, the process returns to s1.
[0041]
<Example of TV monitor display screen>
FIG. 15 shows a display screen example of the
[0042]
The trend graph is a graph of changes in measurement data in the past n hours. n can be arbitrarily set. For example, measurement data for 4, 8, and 12 hours can be displayed on a graph. Settings are input from the
[0043]
There is an operation indicator at the upper left of the trend graph on the display screen of the
[0044]
Returning to the block diagram of FIG. 2, the data recording / reproducing
[0045]
The image synthesizing means 46 synthesizes the original image, the created trend graph of the measurement data, and the current measurement data (interface position), and displays them on the
[0046]
Next, the peripheral processing means 45 has a self-diagnosis function when there is an abnormality, which will be described below.
I tried to acquire an image with the
[0047]
Further, it is possible to self-diagnose a failure of the image input board. This performs self-diagnosis of the A / D conversion chip of the A / D conversion unit 10 (see FIG. 3). For example, if the image acquisition is complete, but the actual image data is completely flat image data (all pixels are 0 values or all pixels are 255 values), it is a chip failure. Therefore, a warning is displayed on the
[0048]
Self-diagnosis can also be performed based on statistical data. The above-mentioned failure of the
[0049]
Next, a display screen example of the
[0050]
The CRT monitor 6 is used when operating the computer of the image analysis means 4. The trend graph C2 and date time C5 in the
[0051]
The analysis result display window C3 displays a breakdown of image processing results for each time. The breakdown is updated every predetermined time. The operator usually does not need to pay attention to the display contents of the window C3, and is mainly used for diagnosis at the time of abnormality. In this window C3, the numerical value indicates the number of occurrences.
The disk usage status display C4 displays the current usage status of the
[0052]
<Modification>
In this embodiment, the extracted image is a ternary image. However, in the case of a simple interface as shown in FIGS. 11 and 12, it may be extracted as a binary image.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration including an interface measuring device.
FIG. 2 is a block diagram showing the configuration of an image analysis system
FIG. 3 is a block diagram illustrating the function of image analysis means.
FIG. 4 is an operation flowchart.
FIG. 5 is a diagram representing the current original image
FIG. 6 shows a past original image.
FIG. 7 is a diagram showing a difference image
FIG. 8 is a density histogram of a difference image.
FIG. 9 is a diagram showing an extracted image
FIG. 10 is a diagram showing a density distribution pattern
FIG. 11 is a model example 1 of a density distribution pattern.
FIG. 12 is a model example 2 of a density distribution pattern.
FIG. 13 is a
FIG. 14 is a
FIG. 15 is a display screen example of a TV monitor.
FIG. 16: Display screen example of CRT monitor
[Explanation of symbols]
3 TV camera (image acquisition means)
4 Image analysis system
5 TV monitor
6 CRT monitor
40 Image analysis means
40b Difference calculation unit
40c Smoothing processor
40d threshold value calculation unit
40e Change extractor
40f Interface position determination unit
Claims (7)
取得された原画像を解析して水平界面位置を求める画像解析手段とを備えた界面計測装置において、
前記画像解析手段は、現在の原画像と過去の原画像との差分画像を求める差分演算部と、この差分画像に基づいて原画像に含まれる水平界面の時間的変化分を抽出した抽出画像を求める変化分抽出部と、この抽出画像に基づいて水平界面位置を決定する界面位置決定部とを備えていることを特徴とする界面計測装置。Image acquisition means for acquiring an original image including a horizontal interface to be measured at a preset sampling interval;
In the interface measuring device provided with the image analysis means for analyzing the acquired original image and obtaining the horizontal interface position,
The image analysis means includes a difference calculation unit for obtaining a difference image between a current original image and a past original image, and an extracted image obtained by extracting a temporal change of a horizontal interface included in the original image based on the difference image. An interface measurement apparatus comprising: a change extraction unit to be obtained; and an interface position determination unit that determines a horizontal interface position based on the extracted image.
取得された現在の原画像と過去の原画像との差分画像を求めるステップと、
この差分画像に基づいて原画像に含まれる水平界面の時間的変化分を抽出した抽出画像を求めるステップと、
この抽出画像に基づいて水平界面位置を決定するステップとを有することを特徴とする界面計測方法。Acquiring an original image including a horizontal interface to be measured at a preset sampling interval;
Obtaining a difference image between the acquired current original image and the past original image;
Obtaining an extracted image obtained by extracting the temporal change of the horizontal interface included in the original image based on the difference image;
And a step of determining a horizontal interface position based on the extracted image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14045799A JP3660160B2 (en) | 1999-05-20 | 1999-05-20 | Interface measuring apparatus and interface measuring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14045799A JP3660160B2 (en) | 1999-05-20 | 1999-05-20 | Interface measuring apparatus and interface measuring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000329608A JP2000329608A (en) | 2000-11-30 |
| JP3660160B2 true JP3660160B2 (en) | 2005-06-15 |
Family
ID=15269062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14045799A Expired - Fee Related JP3660160B2 (en) | 1999-05-20 | 1999-05-20 | Interface measuring apparatus and interface measuring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3660160B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007033106A (en) * | 2005-07-25 | 2007-02-08 | Ricoh Elemex Corp | Ultrasonic liquid level gage |
| JP6370321B2 (en) * | 2016-02-19 | 2018-08-08 | 三菱電機株式会社 | Water level measuring device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0798238A (en) * | 1993-09-27 | 1995-04-11 | Kiichi Taga | Water gauge using video camera |
| JP3220339B2 (en) * | 1994-11-16 | 2001-10-22 | 株式会社日立製作所 | Water level measurement method and apparatus by image processing |
| JPH0843173A (en) * | 1994-07-28 | 1996-02-16 | Hitachi Ltd | Water level measuring method and device |
| JP2933158B2 (en) * | 1995-12-12 | 1999-08-09 | 株式会社日立製作所 | Water level measuring method and water level measuring device using image processing |
| JPH1054748A (en) * | 1996-08-09 | 1998-02-24 | Yokogawa Electric Corp | Liquid level detection device |
| JP3035916U (en) * | 1996-09-19 | 1997-04-08 | 原子力システム株式会社 | Plant monitoring equipment |
| JP3345325B2 (en) * | 1997-06-30 | 2002-11-18 | 株式会社日立製作所 | Liquid level measuring method and device and water mark |
-
1999
- 1999-05-20 JP JP14045799A patent/JP3660160B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000329608A (en) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805113B (en) | Foundation pit automatic monitoring data screening technique and system based on image recognition | |
| CA2430927A1 (en) | Slope monitoring system | |
| CN118296682B (en) | Digital twin construction method and system based on WEB configuration | |
| JP3849420B2 (en) | Interface measuring device | |
| CN117765368A (en) | Light-weight YOLOv8 optical fiber distributed vibration signal image detection method | |
| CN120014549A (en) | Method and system for detecting construction workers crossing dangerous areas based on neural network | |
| Zhao et al. | Research on remote meter automatic reading based on computer vision | |
| CN120279477A (en) | Dynamic object monitoring method, device, equipment and storage medium | |
| JP3660160B2 (en) | Interface measuring apparatus and interface measuring method | |
| CN119067982A (en) | A Fault Diagnosis System for Chemical Equipment | |
| CN107796323A (en) | A kind of micro- change detecting system of bridge based on hot spot vision signal intellectual analysis | |
| JP2000156852A (en) | Monitoring device | |
| CN120612659A (en) | Real-time 3D dynamic visualization monitoring system for unmanned road sweepers | |
| JP3500425B2 (en) | Road surface condition judgment method in visible image type road surface condition grasping device | |
| JP4095801B2 (en) | Image processing apparatus and method based on image vector definition | |
| CN120408523A (en) | A method for identifying the corrosion status of sound barriers by fusing images and multi-sensor data | |
| Sušin et al. | Open‐source tool for interactive digitisation of pluviograph strip charts | |
| JP3220339B2 (en) | Water level measurement method and apparatus by image processing | |
| JPH1054748A (en) | Liquid level detection device | |
| JP4118352B2 (en) | Weather discrimination method and apparatus | |
| CN121275750B (en) | Boiler furnace slagging degree online detection method based on multi-spectrum vision | |
| JP3423624B2 (en) | Image monitoring device | |
| CN120220070B (en) | Water gauge detection method, system and storage medium based on pre-training model | |
| CN113884776B (en) | A radio frequency electromagnetic field radiation immunity test method and device | |
| CN121304681B (en) | A method and system for predicting the development trend of concrete cracks based on time-series images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050316 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090325 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100325 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110325 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120325 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130325 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140325 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |