Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5560734B2 - 画像読み取り装置 - Google Patents
[go: Go Back, main page]

JP5560734B2 - 画像読み取り装置 - Google Patents

画像読み取り装置 Download PDF

Info

Publication number
JP5560734B2
JP5560734B2 JP2010015520A JP2010015520A JP5560734B2 JP 5560734 B2 JP5560734 B2 JP 5560734B2 JP 2010015520 A JP2010015520 A JP 2010015520A JP 2010015520 A JP2010015520 A JP 2010015520A JP 5560734 B2 JP5560734 B2 JP 5560734B2
Authority
JP
Japan
Prior art keywords
image
container
power supply
imaging
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010015520A
Other languages
English (en)
Other versions
JP2011153912A (ja
Inventor
孝四郎 庄司
想 石村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tosoh Corp
Original Assignee
Tosoh Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tosoh Corp filed Critical Tosoh Corp
Priority to JP2010015520A priority Critical patent/JP5560734B2/ja
Publication of JP2011153912A publication Critical patent/JP2011153912A/ja
Application granted granted Critical
Publication of JP5560734B2 publication Critical patent/JP5560734B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Analysis And Handling Materials Therefor (AREA)

Description

本発明は画像を読み取る装置に係り、特に自動分析装置において搬送される容器に付された記号などの読み取りに有用である。
自動分析装置、製品の表面検査装置、電子部品実装装置などにおいて、検査対象物の状態をビデオカメラで観察したり、自動搬送される構成部品に付されたバーコードやドットコードなどの記号を識別するために、照明手段と撮像手段とを備えた読み取り装置や記号識別装置が用いられている。
特許文献1は、生体試料中の特定成分を分析するための自動分析装置における、試薬容器の上部シール面に付された記号を識別するための記号識別装置を開示している。特許文献1の装置は、前記シール面を覆うように配置された、中心孔を有する乳白色プラスチック製のドーム型または円柱型光拡散体と、前記光拡散体外側下端面から10mmと20mmの高さに等間隔に配置した各5個の発光ダイオードと、を備えたシール面照射装置により照射された試薬容器の上部シール面を、前記中心孔上方に設けたビデオカメラにより撮像し、上部シール面に付された記号を識別することにより、以降の自動分析装置による分析手順を決定している。
特許文献2は、特許文献1と同様の目的で使用するシール面照射装置として、基板上にLEDチップなどの発光素子を複数設けた光源と、導光拡散体と、前記導光拡散体を経て試料容器から反射された鏡面反射光成分が撮像装置の外を通過するよう設けた支持枠と、を備えた照射装置を開示している。特許文献2の装置は、照明された対象物表面の光沢、テカリなどによる誤認識を防ぐ効果がある。
特許2881826号公報 特開2005−300302号公報
容器に付された画像を読み取る装置の処理速度は、前記装置を備えた自動分析装置におけるトータルの処理速度を決定する場合がある。一般に読み取り装置の処理時間を短くすれば、誤認識の発生頻度が増す傾向にある。その理由は、容器に光を照射し、撮像手段中のイメージセンサにより前記容器を撮像した画像を電気信号として取り込み、自動露出調整、自動ゲイン調整、自動ホワイトバランス調整といった信号処理を施した後、A/D変換し、所定の演算回路で画像解析処理することで画像が意味する情報を解析する作業が、時間に依存するからである。例えば、撮像した領域の印字濃度が閾値を超えているかを判断するためには、撮像した領域の特定の1点のみの濃度データをサンプリングするよりも、その1点の位置的および/または時間的に近接した領域の濃度データをサンプリングして統計処理するほうが、確度の高い判断結果が得られる。また前記処理を、1個の容器について10秒かけて処理してよい場合と1秒以下で処理しなければならない場合とで、どちらが誤認識の発生頻度が高くなるかは自明である。
本発明は、容器に付された識別コードなどの画像を読み取る装置において、処理時間を短くしても、読み取り処理に伴う誤認識の発生頻度を極力抑えた読み取り装置、つまり高速かつ確度の高い判断結果が得られる読み取り装置を提供することを目的とする。
本発明者らは、前記課題を解決するために、読み取り装置における照明手段と撮像手段との動作タイミングについて検討を重ねた結果、本発明を完成した。
すなわち第一の発明は、
容器を撮像し撮像した画像を取り込む撮像手段と、
撮像手段で撮像する位置にある前記容器を照明する照明手段と、
撮像手段および照明手段への電源供給ならびにその制御を行なう電源供給手段と、
を備えた読み取り装置であって、
電源供給手段による照明手段への電源供給開始と同時または供給開始後、撮像手段への電源供給を開始する、前記読み取り装置である。
また第二の発明は、前記容器が撮像手段で撮像する位置に位置した時点で、電源供給手段による照明手段への電源の供給を開始する、第一の発明に記載の読み取り装置である。
また第三の発明は、撮像手段がCMOS(相補型金属酸化膜半導体)センサを設けた手段である、第一または第二の発明に記載の読み取り装置である。
また第四の発明は、照明手段が白色発光ダイオードを設けた手段である、第一から第三の発明のいずれかに記載の読み取り装置である。
また第五の発明は、
第一から第四の発明のいずれかに記載の読み取り装置と、
撮像手段で撮像する位置への容器の搬入/搬出を行なう搬送手段と、
を備えた自動分析装置である。
以下、本発明を詳細に説明する。
従来の読み取り装置では、撮像手段は電源供給手段から常に電源供給を受けており、容器が撮像手段で撮像する位置に位置した時点で、電源供給手段から照明手段への電源供給を行なっていた。しかしながら、容器が撮像手段で撮像する位置に位置したとき、照明手段により容器が暗い状態から明るい状態に突然切り替わると、撮像手段のホワイトバランス調整に時間がかかるため、照明手段への電源供給開始直後(例えば数ミリ秒後)に撮像手段による容器の画像取り込みを行なうと、結果として露光過剰の状態で取り込んでしまい、その後の画像解析手段による誤認識の原因となっていた(図5参照)。
一方、本発明の読み取り装置は、電源供給手段による撮像手段への電源供給を、照明手段への電源供給の開始と同時または供給開始後に行なうことを特徴としており、撮像手段への電源供給中は、容器に対する照明光量が急変しないため、撮像手段のホワイトバランス調整への影響を最小限にすることができる。したがって、照明手段への電源供給開始直後に撮像手段による容器の画像取り込みを行なっても、コントラストの高い状態で取り込むことができるため、その後の画像解析手段による誤認識の発生を抑えることができる(図6参照)。なお、本発明の読み取り装置において、電源供給手段による撮像手段への電源供給を、照明手段への電源供給開始と同時または供給開始直後(例えば、照明手段への電源供給開始から数ミリ秒から数百ミリ秒後)に行なうと、容器あたりの読み取り速度の向上につながるため、好ましい。
なお、本発明の読み取り装置で読み取られる容器が、撮像手段で撮像する位置に位置した時点で、電源供給手段による照明手段への電源供給を開始し、それと同時またはその後、電源供給手段による撮像手段への電源供給を開始して容器の画像を取り込み、取り込み作業が終了した時点で、電源供給手段からの照明手段および撮像手段への電源供給を停止する構成とすると、その後の画像解析手段による誤認識の発生を抑えるとともに、照明手段で使用する光源の寿命が向上し、消費電力を抑制し、装置の温度上昇も抑制できる点で好ましい。
本発明の読み取り装置における撮像手段としては、
試料容器からの光を撮像面に結像させるレンズと、
撮像面に結像させた光学像を光電変換素子(フォトダイオードなど)で光電変換し、信号電荷の像を形成後、一定の方式で走査して電気信号を転送する固体撮像素子と、
信号増幅、タイミングジェネレータ、各種補正処理、ホワイトバランス調整などを行なう電子回路と、
を設けた手段が例示でき、固体撮像素子としてはCCD(電荷結合素子)センサやCMOS(相補型金属酸化膜半導体)センサなどがあげられるが、消費電力が低く信号処理回路の一体化などに優れたCMOSセンサが好ましい。また、本発明の読み取り装置における照明手段で用いる光源としては、点灯応答性の高い発光ダイオード(LED)が好ましく、特に照明輝度が高い白色発光ダイオードが好ましい。
本発明の読み取り装置において、容器を撮像手段で撮像する位置に位置させるには、容器を撮像手段で撮像する位置に手で一つずつ載置することで位置させてもよいし、容器を搬送する搬送手段により自動的に容器を撮像手段で撮像する位置に位置させてもよいが、後者の方法が撮像手段による容器の画像取り込みを高速かつ継続的に行なえる点で好ましい。
本発明の読み取り装置は、
容器を撮像し撮像した画像を取り込む撮像手段と、
撮像手段で撮像する位置にある前記容器を照明する照明手段と、
撮像手段および照明手段への電源供給ならびにその制御を行なう電源供給手段と、
を備えており、
電源供給手段による照明手段への電源供給開始と同時または供給開始後に撮像手段への電源供給を開始することを特徴としている。本発明の読み取り装置は、従来の読み取り装置では例えば5秒程度の時間を要した撮像手段のホワイトバランス調整を含む信号処理を、撮像手段への電源供給開始直後(例えば数ミリ秒間)に終了することができる。したがって、容器が撮像手段で撮像する位置に位置した直後に、容器に付された識別記号をコントラストの高い画像として取り込むことができ、その後の画像解析手段による誤認識の発生を抑えることができる。
また、本発明の読み取り装置において、容器を撮像手段で撮像する位置に位置した時点で、電源供給手段による照明手段への電源供給を開始し、それと同時またはその後、電源供給手段による撮像手段への電源供給を開始することで、その後の画像解析手段による誤認識の発生を抑えつつ、照明手段で使用する光源の寿命の向上、消費電力の抑制、装置の温度上昇の抑制が期待できる。
なお本発明の読み取り装置に、撮像手段で撮像する位置への容器の搬入/搬出を行なう搬送手段を備えると、撮像手段による容器の画像取り込みを高速かつ継続的に行なえるため、その後の画像解析手段による誤認識の発生を抑えつつ、容器に付された識別記号を高速かつ継続的に読み取ることができる。
自動分析装置において、搬送手段にて搬送された容器の上部シール面に付された識別記号を、読み取り装置により画像として読み取る操作を示した図。 本発明の読み取り装置の装置構成の一態様を示した図。 従来の読み取り装置と本発明の読み取り装置とを比較した図。(a)が従来の読み取り装置、(b)が本発明の読み取り装置である。 従来の読み取り装置および本発明の読み取り装置における、電源供給および画像取り込みのタイミングを示した図。(a)が従来の読み取り装置、(b)が本発明の読み取り装置である。 従来の読み取り装置による画像取り込み結果を示した図。(a)は取り込んだ画像であり、(b)は水平同期信号および(a)のある1行(Line n)を走査したときの白黒2値の画像信号電圧パターンである。 本発明の読み取り装置による画像取り込み結果を示した図。(a)は取り込んだ画像であり、(b)は水平同期信号および(a)のある1行(Line n)を走査したときの白黒2値の画像信号電圧パターンである。
以下、図面を参照しながら、本発明をさらに詳細に説明する。
自動分析装置において、搬送手段にて搬送された容器の上部シール面に付された識別記号を、読み取り装置により画像として読み取る操作を示した図を図1に示す。搬送ラック30に載置された容器20は、所定速度で間欠的に搬送され、撮像手段11およびリング状の光源12aを設けた位置(撮像位置)へ搬送されると、光源12aで照明された容器20の上部シール面に付された識別記号(記号およびドットコード)を撮像手段11にて撮像し、画像解析手段により前記識別記号を識別する。
本発明の読み取り装置の一態様を示した図を図2に示す。画像読み取り装置10は容器20から上方に一定の距離隔てた位置に設けており、容器20の上部シール面に付された識別記号(記号およびドットコード)を読み取っている。図2に示す読み取り装置10は、
撮像手段11であるCMOSボードカメラと、
発光ダイオード(LED)からなるリング状の光源12aと光源制御基板12bとを備えた照明手段12と、
撮像手段11からライン16aを介して取込まれた撮像信号を解析して、試薬容器20に付された識別記号の内容を識別する画像解析手段13と、
ライン16b・16cを介して、照明手段12および撮像手段11の電源のON/OFFを、所定のタイミングで切り替える制御手段14aと、
制御手段14にライン16dを介して電源を供給する電源装置14bと、
を備えている。なお、図2の読み取り装置10では、撮像手段11、照明手段12および制御手段14aは筐体15内に収容されている。
従来の読み取り装置と本発明の読み取り装置とを比較した図を図3に示す。従来の読み取り装置(図3(a))では、電源供給手段14(制御手段14aと電源装置14bとを備えた手段)から撮像手段11に供給する電源は常にONにし、照明手段12に供給する電源は容器に付された識別記号を撮像するとき(容器が撮像位置に位置しているとき)のみONにしていた。一方、本発明の読み取り装置(図3(b))では、電源供給手段14から照明手段12に供給する電源は、従来の装置と同様容器に付された識別記号を撮像するとき(容器が撮像位置に位置しているとき)のみONにするが、撮像手段11に供給する電源は、容器に付された識別記号を撮像するとき(容器が撮像位置に位置しているとき)、照明手段12の電源ONと同時にまたはその直後にONとし、撮像して画像を取り込んだ後、照明手段12に供給する電源をOFFにすると同時にOFFにする。
従来の読み取り装置および本発明の読み取り装置における、電源供給手段からの撮像手段11および照明手段12への電源供給、ならびに撮像手段11による画像取り込みのタイミングを示した図を図4に示す。
従来の読み取り装置(図4(a))では、電源装置14bをONにする((A)のタイミング)と同時に撮像手段11に供給する電源をONにし、以降撮像手段11に供給する電源は常にONの状態を維持する。容器が撮像位置へ搬送される((B)のタイミング)と、照明手段12に供給する電源をONにする。(B)のタイミングの直後、すなわち(B)のタイミングの5ミリ秒後から16ミリ秒間(図4(a)の(C)で示した領域)撮像手段11により画像を取り込んだときの、容器に付された識別記号の画像を図5(a)に示す。なお、画像の取り込みは、撮像手段11に設けたCMOSセンサにより、奇数フィールド(256ライン)の画像信号を取り込んだ後、画像同期信号(垂直/水平)に同期したクロックのタイミングでA/D変換することで、デジタルの画素値として取り込む。取り込んだ画像データは、画像解析手段により2値化処理し識別記号(ドットコード)を識別する。水平走査開始のための水平同期信号、および図5(a)のうちLine nの行を走査したときの白黒2値の画像信号電圧パターンを図5(b)に示す。なお、取り込んだ画像の幅に対応する1行分の画素(240ドット)を52.655マイクロ秒で走査している。また、撮像手段11は、フォルテシモ社製レンズ一体型CMOSカメラモジュールF02−3821−IR(0)を用いた。
図5(a)は一見してわかるように露光過剰の状態で取り込んでいる。具体的には、Line nにおける容器の黒レベル信号と白レベル信号の値(A/D値)がそれぞれ172、217(フルスケールは255)と、ともに高値を示している(図5(b))。そのため、コントラストが小さく(黒レベル信号と白レベル信号との差が45)、画像解析手段が誤認識する可能性が生じる。この原因としては、画像取り込み時に照明手段に供給する電源をONにすると照射される容器が暗い状態から明るい状態に急に変化し、撮像手段(CMOSセンサ)のホワイトバランス調整に時間がかかることから、ホワイトバランス調整が終了するまでの間、取り込んだ画像の信号レベルが高めに推移するためと考えられる。そのため、従来の読み取り装置において、コントラストが大きい鮮明な画像を取り込むためには、照明手段に供給する電源をONにした後5秒以上経過してから画像取り込(16ミリ秒間、図4(a)の(D)で示した領域)する必要があり、1つの容器に付された識別記号を画像として取り込むのに10秒程度要することになる。
一方、本発明の読み取り装置(図4(b))では、電源装置14bをONにしても((A)のタイミング)、撮像手段11に供給する電源はOFFのままにし、容器が撮像位置へ搬送されたとき((B)のタイミング)に、撮像手段11に供給する電源と照明手段12に供給する電源とを同時にONにする。(B)のタイミングの直後、すなわち(B)のタイミングの5ミリ秒後から16ミリ秒間(図4(b)の(C)で示した領域)、撮像手段11により画像を取込んだときの、容器に付された識別記号の画像を図6(a)に示し、水平走査開始のための水平同期信号、および図6(a)のうちLine nの行を走査したときの白黒2値の画像信号電圧パターンを図6(b)に示す。なお、撮像手段11および取り込み方法は前述した従来の読み取り装置と同様である。
撮像手段11に供給する電源と照明手段12に供給する電源とを同時にONにする場合、撮像手段に設けたCMOSセンサ中の制御回路などの初期化に時間を要する懸念があった。しかしながら、取り込まれた画像は従来の読み取り装置(図5(a))と比較し鮮明であった(図6(a))。具体的には、Line nにおける容器の黒レベル信号と白レベル信号の値(A/D値)がそれぞれ10、147(フルスケールは255)と、従来の読み取り装置と比較し、コントラストが大きく(黒レベル信号と白レベル信号との差が137)、かつ黒レベル信号と白レベル信号の絶対値も従来の読み取り装置の黒レベル信号の絶対値より低かった。したがって、本発明の読み取り装置は照明手段に供給する電源をONにした直後(5ミリ秒後)であっても、画像を鮮明に取り込むことができ、その後の画像解析手段による誤認識の発生を抑えることができる。また、1つの容器に付された識別記号の、画像としての取り込みも1.5秒程度と、従来の取り込み装置と比較し短縮している。なお、撮像手段の電源をONにするタイミングは、制御の便宜上同時にONにするのが容易であるが、時間が許されるのであれば、照明手段に供給する電源をONにした数ミリ秒後から数百ミリ秒後に撮像手段に供給する電源をONにしてもよい。
10:読み取り装置
11:撮像手段
12:照明手段
12a:光源
12b:光源制御基板
13:画像解析手段
14:電源供給手段
14a:制御手段
14b:電源装置
15:筐体
16a、16b、16c、16d:ライン
20:容器
30:搬送ラック

Claims (5)

  1. 容器に付された識別記号を撮像し撮像した画像を取り込む撮像手段と、
    撮像手段で撮像する位置にある前記容器を照明する照明手段と、
    撮像手段および照明手段への電源供給ならびにその制御を行なう電源供給手段と、
    撮像手段から取り込まれた撮像信号を解析して、容器に付された識別信号の内容を識別する画像解析手段と、
    を備えた読み取り装置であって、
    電源供給手段による照明手段への電源供給開始と同時または供給開始後、撮像手段への電源供給を開始し、撮像手段への電源供給開始直後に撮像した画像を取り込む、前記読み取り装置。
  2. 前記容器が撮像手段で撮像する位置に位置した時点で、電源供給手段による照明手段への電源の供給を開始する、請求項1に記載の読み取り装置。
  3. 撮像手段がCMOS(相補型金属酸化膜半導体)センサを設けた手段である、請求項1または2に記載の読み取り装置。
  4. 照明手段が白色発光ダイオードを設けた手段である、請求項1から3のいずれかに記載の読み取り装置。
  5. 請求項1から4のいずれかに記載の読み取り装置と、
    撮像手段で撮像する位置への容器の搬入/搬出を行なう搬送手段と、
    を備えた自動分析装置。
JP2010015520A 2010-01-27 2010-01-27 画像読み取り装置 Expired - Fee Related JP5560734B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010015520A JP5560734B2 (ja) 2010-01-27 2010-01-27 画像読み取り装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010015520A JP5560734B2 (ja) 2010-01-27 2010-01-27 画像読み取り装置

Publications (2)

Publication Number Publication Date
JP2011153912A JP2011153912A (ja) 2011-08-11
JP5560734B2 true JP5560734B2 (ja) 2014-07-30

Family

ID=44539994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010015520A Expired - Fee Related JP5560734B2 (ja) 2010-01-27 2010-01-27 画像読み取り装置

Country Status (1)

Country Link
JP (1) JP5560734B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6044059B2 (ja) * 2011-09-16 2016-12-14 富士ゼロックス株式会社 物体情報管理システム及びプログラム。

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06333079A (ja) * 1993-03-25 1994-12-02 Asahi Optical Co Ltd データシンボル読み取り装置
JP3435200B2 (ja) * 1993-11-29 2003-08-11 ペンタックス株式会社 画像読取装置
JP2005300302A (ja) * 2004-04-09 2005-10-27 Tosoh Corp 照明装置および読み取り装置
US7398927B2 (en) * 2005-01-26 2008-07-15 Datalogic Scanning, Inc. Data reader and methods for imaging targets subject to specular reflection
JP2009198266A (ja) * 2008-02-20 2009-09-03 Olympus Corp 識別コード読取装置および自動分析装置

Also Published As

Publication number Publication date
JP2011153912A (ja) 2011-08-11

Similar Documents

Publication Publication Date Title
JP6880287B2 (ja) グローバル電子シャッター制御を持つイメージ読み取り装置
CN101171597B (zh) 具有全局电子快门控制的条形码读取装置
JP5753020B2 (ja) 部品実装装置
US5754670A (en) Data symbol reading system
US20100128968A1 (en) System and a method for insepcting an object
CN101601047A (zh) 图像采集系统
US20090078773A1 (en) Multiple Configuration Image Scanner
JP2000266691A (ja) 外観検査装置
JP2003032435A (ja) 画像認識装置
JP5560734B2 (ja) 画像読み取り装置
JP2009192358A (ja) 欠陥検査装置
JPH09297813A (ja) コンテナ番号認識装置
JP4822468B2 (ja) 欠陥検査装置、欠陥検査方法、及びパターン基板の製造方法
JP2001312690A (ja) 画像形成装置に対する効果的な露光決定
JP2000266514A (ja) 金属板の検査方法及び装置
JP2003273507A (ja) 電子部品の基板実装方法
JP4622992B2 (ja) 光学情報読取装置
CN102324013B (zh) 具有全局电子快门控制的条形码读取装置
CN102324014B (zh) 图像读取装置及自动对焦手持条形码读取装置的方法
WO2024166256A1 (ja) 画像転送システムおよび画像転送方法
JP2006013155A (ja) 画像読取装置
JPH06243235A (ja) 実装基板検査装置
US20120293697A1 (en) Image Sensor and Control Method for Image Sensor
JPH0926313A (ja) 電子部品実装基板外観検査装置における物体認識方法
JP2003232750A (ja) 外観検査装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R151 Written notification of patent or utility model registration

Ref document number: 5560734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees