Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3579971B2 - In-vehicle map display device - Google Patents
[go: Go Back, main page]

JP3579971B2 - In-vehicle map display device - Google Patents

In-vehicle map display device Download PDF

Info

Publication number
JP3579971B2
JP3579971B2 JP19276995A JP19276995A JP3579971B2 JP 3579971 B2 JP3579971 B2 JP 3579971B2 JP 19276995 A JP19276995 A JP 19276995A JP 19276995 A JP19276995 A JP 19276995A JP 3579971 B2 JP3579971 B2 JP 3579971B2
Authority
JP
Japan
Prior art keywords
name
voice
display device
map display
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19276995A
Other languages
Japanese (ja)
Other versions
JPH0942988A (en
Inventor
祐史 隅田
八州男 香川
庸介 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP19276995A priority Critical patent/JP3579971B2/en
Publication of JPH0942988A publication Critical patent/JPH0942988A/en
Application granted granted Critical
Publication of JP3579971B2 publication Critical patent/JP3579971B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車載用ナビゲーション装置に適用して好適な、音声認識機能を備えた地図表示装置に関する。
【0002】
【従来の技術】
近年、車載用ナビゲーション装置として音声認識機能を備えたものが開発されている。
【0003】
この音声認識機能を備えた車載用ナビゲーション装置では、操作者が手を使わずに現在地、目的地等の地名、施設等の名称を音声で入力することにより、現在地、目的地等の地図情報を表示手段に表示することができるから、安全運転上極めて好ましいものであり、例えば、特開平3−257485号に開示された車載用地図表示装置では、表示装置に表示している地名の情報群の音声特徴と入力された音声とを比較し、認識された音声特徴に対応した地図情報を表示することにより、容易かつ確実な地名入力を可能にしている。
【0004】
【発明が解決しようとする課題】
ところが、従来のナビゲーション装置が備えている音声認識システムでは、その音声特徴データベースに、地名、施設名(以下、「地名等」と呼ぶ)を正確に発話した場合のデータしか登録されていないため、誤った呼称あるいは省略した呼称を発話した場合は、システム側に受理されなかった。したがって、ナビゲーション装置の操作者が、正確な地名等を知らない場合は、音声による操作が不可能であった。
【0005】
上述の事情に鑑み、本発明は、操作者が地名等を誤って、あるいは一部を省略して発話した場合であっても、音声認識による地図操作、情報検索が可能な車載用地図表示装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明による車載用地図表示装置は、地図情報を記憶する地図情報記憶手段と、該地図情報記憶手段に記憶された地名等の情報群の音声特徴を記憶する音声特徴記憶手段と、入力音声から抽出した音声特徴を音声特徴記憶手段に記憶された音声特徴と比較して地図表示に必要な入力音声の特徴を認識する音声認識手段と、該音声認識手段により認識された音声特徴に対応した地図情報を上記地図情報記憶手段から読み出して表示する地図表示手段とを備えてなる構成において、地名等の正式な呼称に、該地名等に関し多用される不正確な呼称を加えたものを認識対象語として、上記音声特徴記憶手段に記憶させ、上記地名等には施設名を含み、上記音声特徴記憶手段に記憶される認識対象語が、施設の所在地および該施設の属性から検索可能なキーワードよりなることを特徴とするものである。
【0007】
この場合、上記地名等の不正確な呼称は、地名等の漢字が誤って発話される可能性が高いと推測される呼称を含む。
【0008】
また、上記地名等の不正確な呼称は、省略表現される地名等の呼称を含む。
【0009】
また、省略表現される地名が、郡、市、町、村を省略した地名よりなる。
【0010】
【発明の効果】
本発明によれば、地名等の正確な呼称に加えて、誤って発話される可能性のある呼称、あるいは省略表現される呼称等を認識対象語とすることにより、操作者が地名等に関し不正確な発話をした場合でも、操作者の意図に適合した動作をさせることができるから、音声入力手段を備えたこの種の車載用地図表示装置にありがちな欠点が解消される。
【0011】
また、施設に関しては、その所在地および該施設の属性から検索可能なキーワードを認識対象語に設定することにより、操作者が正確な名称を知らない施設等の検索にも対応することができる。
【0012】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明による地図表示装置が適用されるナビゲーション装置の全体構成を示すブロック図である。
【0013】
図1に示すナビゲーション装置は、地図情報を記憶する地図データベース1(地図情報記憶手段)と、この地図データベース1に記憶された地名情報群の音声特徴を記憶する音声特徴データベース2(音声特徴記憶手段)と、音声入力手段としてのマイクロフォン3からの入力音声から抽出した音声特徴を音声特徴データベース2に記憶された音声特徴と比較して地図表示に必要な入力音声の特徴を認識する音声認識部4(音声認識手段)と、この音声認識部4により認識された音声特徴に対応した地図情報を地図データベース1から読み出して表示装置5の画面に表示する経路誘導装置6と、認識対象語決定部7(認識対象語決定手段)と、GPSアンテナ、車速センサ、ジャイロ等からなる車両位置検出装置8と、音声によってドライバを道案内し、かつ適切な指示を与える音声出力装置9とを備えている。
【0014】
本実施の形態においては、経路誘導装置6は、ドライバが設定した目的地までの推奨経路を探索して、これを表示装置5の画面に表示する機能を有する。さらに、経路誘導装置6から認識対象語決定部7に対して、現在地データ、経路データおよび道路属性データが送信され、認識対象語決定部7では、これらデータの基づいて、音声認識対象語を、予め設定された車両走行経路もしくは現在の車両走行状態から予測される車両走行域のみに関連する地名情報に限定して決定し、その決定された認識対象語データを音声認識部4に送信するようになっている。
【0015】
上記地図データベース1には、地図データに加えて、地名の音声認識用データが緯度、経度に関連づけて格納されている。また、現在地データには、緯度、経度の他に車速、進行方位データおよび走行している道路のリンクIDも含まれており、さらに、道路属性データとは、車両が現在走行している道路の属性(自動車専用道路、国道、県道等)に関するデータである。
【0016】
音声特徴データベース2には、例えば下記の表1に記載されているように、正式には「いさわ」と呼称すべき漢字名称「石和」を有する地名に対して、正式地名を知らない者が誤読する可能性が高い「いしわ」および「せきわ」が正式呼称「いさわ」とともに認識対象語として登録されてある。したがって、ドライバが誤って「いしわ」あるいは「せきわ」と発話した場合であっても、「石和」周辺の地図を表示装置に表示することができる。
【0017】
【表1】

Figure 0003579971
【0018】
また、音声特徴データベース2には、例えば下記の表2に記載されているように、正式には「きしねちょう」と呼称すべき漢字名称「岸根町」を有する町名に対して、誤読される可能性が高い「きしねまち」および「町」を省略した「きしね」が正式呼称「きしねちょう」とともに認識対象語として登録されてある。したがって、ドライバが「きしねまち」あるいは「きしね」と発話した場合であっても、「岸根町」周辺の地図を表示装置に表示することができる。同様に、「町」のみでなく、郡、市、村等を省略した他の地名に関しても、正式地名とともに認識対象語として登録される。
【0019】
【表2】
Figure 0003579971
【0020】
さらに、音声特徴データベース2には、施設施設の所在地および該施設の属性から検索可能なキーワードが登録されている。例えば「広島市民球場」という正式施設名に加えて「広島の野球場」も認識対象語として登録されてある。したがって、ドライバが「広島の野球場」と発話した場合であっても、現在地から「広島市民球場」への経路を表示装置に表示させることができる。
【0021】
このように、本実施の形態においては、地名等の正確な呼称に加えて、誤って発話される可能性のある呼称、あるいは省略表現される呼称等を認識対象語として音声特徴データベース2に登録しておくことにより、操作者が地名等に関し不正確な発話をした場合でも、操作者の意図に適合した動作をさせることができるから、音声入力手段を備えたこの種の車載用地図表示装置にありがちな欠点が解消される。
【0022】
また、施設に関しては、その所在地および該施設の属性から検索可能なキーワードを認識対象語に設定することにより、操作者が正確な名称を知らない施設等の検索にも対応することができる。
【図面の簡単な説明】
【図1】本発明による地図表示装置が適用されるナビゲーション装置の全体構成を示すブロック図
【符号の説明】
1 地図データベース(地図情報記憶手段)
2 音声特徴データベース(音声特徴記憶手段)
3 マイクロフォン
4 音声認識部(音声認識手段)
5 表示装置(地図表示手段)
6 経路誘導装置
7 認識対象語決定部(認識対象語決定手段)
8 車両位置検出装置
9 音声出力装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a map display device having a voice recognition function, which is suitably applied to an in-vehicle navigation device.
[0002]
[Prior art]
In recent years, an in-vehicle navigation device having a voice recognition function has been developed.
[0003]
In the in-vehicle navigation device equipped with the voice recognition function, the operator inputs the name of the current location, the name of the destination, and the name of the facility, etc., without using a hand, thereby enabling the map information of the current location, the destination, and the like to be input. Since it can be displayed on the display means, it is very preferable for safe driving. For example, in the in-vehicle map display device disclosed in JP-A-3-257485, the information group of the place name displayed on the display device is displayed. By comparing the voice feature with the input voice and displaying map information corresponding to the recognized voice feature, it is possible to easily and reliably input a place name.
[0004]
[Problems to be solved by the invention]
However, in a voice recognition system provided in a conventional navigation device, only data obtained when a place name and a facility name (hereinafter, referred to as “place names, etc.”) are uttered correctly are registered in the voice feature database. If an incorrect or abbreviated name was spoken, it was not accepted by the system. Therefore, if the operator of the navigation device does not know the exact place name or the like, the operation by voice cannot be performed.
[0005]
In view of the above circumstances, the present invention provides a vehicle-mounted map display device capable of performing map operation and information search by voice recognition even when an operator utters a place name or the like erroneously or omits a part thereof. The purpose is to provide.
[0006]
[Means for Solving the Problems]
An on-vehicle map display device according to the present invention includes: a map information storage unit for storing map information; a voice feature storage unit for storing voice features of a group of information such as place names stored in the map information storage unit; A voice recognition unit for comparing the extracted voice feature with a voice feature stored in the voice feature storage unit to recognize a feature of an input voice required for map display; and a map corresponding to the voice feature recognized by the voice recognition unit. A map display means for reading out information from the map information storage means and displaying the information. The recognition target word is obtained by adding an inaccurate name frequently used for the place name to a formal name such as the place name. as, is stored in the speech feature memory means, in the place names include facility name recognition subject words stored in the speech feature memory means retrievable from the location and the property attributes of the facility And it is characterized in that consists of keywords.
[0007]
In this case, the incorrect name such as the place name includes a name that is estimated to be likely to erroneously utter kanji such as the place name.
[0008]
Further, the incorrect names such as the above-mentioned place names include names such as place names that are abbreviated.
[0009]
Further, the abbreviated place name is made up of the place name in which the county, city, town, and village are omitted.
[0010]
【The invention's effect】
According to the present invention, in addition to an accurate name such as a place name or the like, a name that may be erroneously uttered or an abbreviated name or the like is used as a recognition target word, so that the operator does not recognize the place name or the like. Even if an accurate utterance is made, an operation suitable for the operator's intention can be performed, so that the drawbacks of this type of in-vehicle map display device provided with voice input means are eliminated.
[0011]
Further, for a facility, by setting a keyword that can be searched from the location and the attribute of the facility as a recognition target word, it is possible to cope with a search for a facility or the like for which the operator does not know the exact name.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a navigation device to which a map display device according to the present invention is applied.
[0013]
The navigation device shown in FIG. 1 includes a map database 1 (map information storage unit) for storing map information, and a voice feature database 2 (voice feature storage unit) for storing voice features of a group of place name information stored in the map database 1. ) And a speech recognition unit 4 that compares a speech feature extracted from a speech input from a microphone 3 as speech input means with a speech feature stored in a speech feature database 2 to recognize features of the input speech necessary for map display. (Voice recognition means), a route guidance device 6 for reading map information corresponding to the voice feature recognized by the voice recognition unit 4 from the map database 1 and displaying the map information on a screen of a display device 5, and a recognition target word determination unit 7 (Recognition target word determination means), a vehicle position detection device 8 including a GPS antenna, a vehicle speed sensor, a gyro, etc., and a driver Directions to, and give appropriate instructions and an audio output device 9.
[0014]
In the present embodiment, the route guidance device 6 has a function of searching for a recommended route to the destination set by the driver and displaying the recommended route on the screen of the display device 5. Further, the current position data, the route data, and the road attribute data are transmitted from the route guidance device 6 to the recognition target word determination unit 7, and the recognition target word determination unit 7 determines the speech recognition target word based on the data. Only the place name information related to only the vehicle traveling area predicted from the preset vehicle traveling route or the current vehicle traveling state is determined, and the determined recognition target word data is transmitted to the voice recognition unit 4. It has become.
[0015]
The map database 1 stores, in addition to map data, voice recognition data of place names in association with latitude and longitude. In addition to the latitude and longitude, the current location data includes vehicle speed, heading data, and the link ID of the road on which the vehicle is traveling. Further, the road attribute data is information on the road on which the vehicle is currently traveling. This is data on attributes (exclusive roads, national roads, prefectural roads, etc.).
[0016]
For example, as shown in Table 1 below, a person who does not know the formal place name has a kanji name “Isawa” that should be officially called “Isawa” in the voice feature database 2. “Isawa” and “Sekiwa” that are likely to be misread are registered as recognition target words together with the official name “Isawa”. Therefore, even when the driver utters “Ishiwa” or “Sekiwa” by mistake, a map around “Ishiwa” can be displayed on the display device.
[0017]
[Table 1]
Figure 0003579971
[0018]
In addition, in the voice feature database 2, for example, as shown in Table 2 below, a town name having a kanji name “Kishinecho” that should be officially called “Kishinecho” is misread. "Kishine", which has a high possibility of omitting "Kishinemachi" and "Town", is registered as a recognition target word together with the official name "Kishinecho". Therefore, even when the driver utters "Kishinemachi" or "Kishine", a map around "Kishine-cho" can be displayed on the display device. Similarly, not only “town” but also other place names omitting counties, cities, villages, etc. are registered as recognition target words together with official place names.
[0019]
[Table 2]
Figure 0003579971
[0020]
Further, in the voice feature database 2, keywords that can be searched from the location of the facility and the attribute of the facility are registered. For example, "Hiroshima baseball stadium" is registered as a recognition target word in addition to the official facility name "Hiroshima stadium". Therefore, even when the driver utters “Hiroshima baseball stadium”, a route from the current location to “Hiroshima stadium” can be displayed on the display device.
[0021]
As described above, in the present embodiment, in addition to an accurate name such as a place name, a name that may be erroneously uttered, or a name that is abbreviated, is registered in the voice feature database 2 as a recognition target word. By doing so, even if the operator makes an incorrect utterance regarding the place name, etc., it is possible to make the operation conform to the intention of the operator. The common disadvantages are eliminated.
[0022]
Further, for a facility, by setting a keyword that can be searched from the location and the attribute of the facility as a recognition target word, it is possible to cope with a search for a facility or the like for which the operator does not know the exact name.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a navigation device to which a map display device according to the present invention is applied.
1 map database (map information storage means)
2 Voice feature database (voice feature storage means)
3 microphone 4 voice recognition unit (voice recognition means)
5 Display device (map display means)
6 route guidance device 7 recognition target word determination unit (recognition target word determination means)
8 Vehicle position detection device 9 Audio output device

Claims (4)

地図情報を記憶する地図情報記憶手段と、該地図情報記憶手段に記憶された地名等の情報群の音声特徴を記憶する音声特徴記憶手段と、入力音声から抽出した音声特徴を音声特徴記憶手段に記憶された音声特徴と比較して地図表示に必要な入力音声の特徴を認識する音声認識手段と、該音声認識手段により認識された音声特徴に対応した地図情報を上記地図情報記憶手段から読み出して表示する地図表示手段とを備えてなる車載用地図表示装置において、
地名等の正式な呼称に、該地名等に関し多用される不正確な呼称を加えたもの認識対象語として、上記音声特徴記憶手段に記憶させ
上記地名等には施設名を含み、上記音声特徴記憶手段に記憶される認識対象語が、施設の所在地および該施設の属性から検索可能なキーワードよりなることを特徴とする車載用地図表示装置。
Map information storage means for storing map information; voice feature storage means for storing voice features of information groups such as place names stored in the map information storage means; and voice features extracted from the input voice to voice feature storage means. Voice recognition means for recognizing a feature of an input voice necessary for map display by comparing the stored voice feature, and reading out map information corresponding to the voice feature recognized by the voice recognition means from the map information storage means; A vehicle-mounted map display device comprising a map display means for displaying,
The official designation of the place names, as the recognition target words a plus incorrect designation frequently used relates該地name, etc., is stored in the speech feature memory means,
The on-vehicle map display device, wherein the place name and the like include a facility name, and the recognition target word stored in the voice feature storage means is a keyword that can be searched from the location of the facility and the attribute of the facility .
上記地名等の不正確な呼称が、地名等の漢字が誤って発話される可能性が高いと推測される呼称を含むことを特徴とする請求項1記載の車載用地図表示装置。2. The in-vehicle map display device according to claim 1, wherein the inaccurate name such as the place name includes a name that is estimated to have a high possibility that a kanji such as a place name is erroneously uttered. 上記地名等の不正確な呼称が、省略表現される地名等の呼称を含むことを特徴とする請求項1または2記載の車載用地図表示装置。3. The in-vehicle map display device according to claim 1, wherein the inaccurate name such as the place name includes a name such as an abbreviated place name. 省略表現される地名が、郡、市、町、村を省略した地名よりなることを特徴とする請求項3記載の車載用地図表示装置。The on-vehicle map display device according to claim 3, wherein the abbreviated place name is a place name in which a county, a city, a town, and a village are omitted.
JP19276995A 1995-07-28 1995-07-28 In-vehicle map display device Expired - Fee Related JP3579971B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19276995A JP3579971B2 (en) 1995-07-28 1995-07-28 In-vehicle map display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19276995A JP3579971B2 (en) 1995-07-28 1995-07-28 In-vehicle map display device

Publications (2)

Publication Number Publication Date
JPH0942988A JPH0942988A (en) 1997-02-14
JP3579971B2 true JP3579971B2 (en) 2004-10-20

Family

ID=16296732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19276995A Expired - Fee Related JP3579971B2 (en) 1995-07-28 1995-07-28 In-vehicle map display device

Country Status (1)

Country Link
JP (1) JP3579971B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4520555B2 (en) * 1999-09-09 2010-08-04 クラリオン株式会社 Voice recognition device and voice recognition navigation device
JP2001083982A (en) * 1999-09-09 2001-03-30 Xanavi Informatics Corp Speech recognition device, recording medium having data for speech recognition recorded therein and speech recognition navigation device
JP2006330577A (en) * 2005-05-30 2006-12-07 Alpine Electronics Inc Device and method for speech recognition
CN101558443B (en) 2006-12-15 2012-01-04 三菱电机株式会社 Voice recognition device
KR102453833B1 (en) 2018-05-10 2022-10-14 삼성전자주식회사 Electronic device and control method thereof

Also Published As

Publication number Publication date
JPH0942988A (en) 1997-02-14

Similar Documents

Publication Publication Date Title
US5977885A (en) Land vehicle navigation apparatus with local route guidance selectivity and storage medium therefor
CN1323283C (en) Navigation device for vehicle and method for guiding vehicle using same
JP3719315B2 (en) Vehicle navigation device and storage medium
JP3521817B2 (en) Navigation device
US6064323A (en) Navigation apparatus, navigation method and automotive vehicles
US20110060523A1 (en) Method of utilizing a personal navigation device to suggest alternate routes being identified by recognizable street names
JP4096180B2 (en) NAVIGATION DEVICE, PROGRAM FOR THE DEVICE, AND RECORDING MEDIUM
US9829336B2 (en) Server for navigation, navigation system, and navigation method
JPH1151674A (en) Car navigation system and recording medium
EP1995558A1 (en) Position registration device, route search device, position registration method, position registration program, and recording medium
JP3399643B2 (en) Vehicle guidance device
JP2010127837A (en) Navigation device
US7848876B2 (en) System and method for determining a vehicle traffic route
US20060253251A1 (en) Method for street name destination address entry using voice
JP3579971B2 (en) In-vehicle map display device
US20060106615A1 (en) Speech interaction apparatus and speech interaction method
JPH0942987A (en) In-vehicle map display device
JP2924885B2 (en) Vehicle navigation system
JP5971619B2 (en) Route guidance device and route guidance program
US8560226B2 (en) Navigation device and navigation method
JP3760958B2 (en) Navigation device
EP1174685A1 (en) Method and apparatus for providing geographical regions for point of interest selection
JP3925368B2 (en) Control system
JP3389148B2 (en) Navigation device and storage medium
JP2008298522A (en) Navigation apparatus, and method and program for retrieval of navigation apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070730

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees