Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4075768B2 - オーディオ信号処理装置 - Google Patents
[go: Go Back, main page]

JP4075768B2 - オーディオ信号処理装置 - Google Patents

オーディオ信号処理装置 Download PDF

Info

Publication number
JP4075768B2
JP4075768B2 JP2003369329A JP2003369329A JP4075768B2 JP 4075768 B2 JP4075768 B2 JP 4075768B2 JP 2003369329 A JP2003369329 A JP 2003369329A JP 2003369329 A JP2003369329 A JP 2003369329A JP 4075768 B2 JP4075768 B2 JP 4075768B2
Authority
JP
Japan
Prior art keywords
channel
state
signal processing
audio
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003369329A
Other languages
English (en)
Other versions
JP2005136625A (ja
Inventor
直俊 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003369329A priority Critical patent/JP4075768B2/ja
Priority to US10/976,117 priority patent/US7590460B2/en
Priority to KR1020040086740A priority patent/KR100682444B1/ko
Priority to TW093133062A priority patent/TWI282217B/zh
Priority to CN2004100896720A priority patent/CN1612205B/zh
Publication of JP2005136625A publication Critical patent/JP2005136625A/ja
Application granted granted Critical
Publication of JP4075768B2 publication Critical patent/JP4075768B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

この発明は、オーディオ信号に対して各種の音響処理を施すオーディオ信号処理装置に関する。
複数チャネルの音声データに各種の信号処理を施すことが可能なオーディオ信号処理装置が普及している。この種のオーディオ信号処理装置は、信号処理のための構成に着目すると、2種類に大別することができる。第1のオーディオ信号処理装置は、図4に示すように、信号処理のためのデータパスを各チャネル毎に持ち、各チャネルの音声データに対する信号処理をパラレルに実行する。第2のオーディオ信号処理装置は、図5に示すように、各チャネルに共通する単一のデータパスを持ち、この単一のデータパスを使用し、各チャネルの音声データに対する信号処理を時分割制御により順次実行する。なお、第2のオーディオ信号処理装置を開示した技術文献として、例えば特許文献1がある。
特開2000−122650号公報
上述した第1のオーディオ信号処理装置によると、使用しないチャネルのデータパスを停止させることで消費電力を低下させることができる。しかしながら、このオーディオ信号処理装置は、各チャネル毎にデータパスを設けなければならないので、装置が大規模になり、LSIにより実現する場合にはチップ面積が大きくなるという問題があった。第2のオーディオ信号処理装置によれば、単一のデータパスのみを設ければよいので、装置が小規模で済み、LSIにより実現する場合にはチップ面積を小さくすることができる。しかしながら、このオーディオ信号処理装置は、一部のチャネルの音声データしか入力されなくても常にすべてのチャネルの演算を行うため、本来であれば必要のない演算を行い、無駄な電力を消費してしまうという問題があった。
この発明は、以上説明した事情に鑑みてなされたものであり、小規模な構成とすることができると共に、消費電力を低く抑えることが可能な複数チャネルのオーディオ信号処理装置を提供することを目的とする。
上記課題を解決するため、この発明は、複数チャネルの音声データを各々受け取る複数のインターフェースと、前記複数のインターフェースを介して入力される複数チャネルの音声データから、各チャネルが起動状態にあるか停止状態にあるかを検出し、各チャネルが起動状態であるか停止状態であるかを示すチャネル状態信号を出力する検出部と、前記複数チャネルの音声データを一時記憶するためのメモリと、前記メモリから読み出される前記複数チャネルの音声データに対する信号処理を時分割制御により実行する手段であり、前記検出部によって出力されたチャネル状態信号に基づいて各チャネルの状態を特定し、起動状態であるチャネルの音声データに対する信号処理のみを実行し、停止状態であるチャネルの音声データに対する信号処理を停止するオーディオ信号処理部とを具備するオーディオ信号処理装置を提供する。
本発明によれば、各チャネルが起動状態であるか停止状態であるかが検出部により検出され、オーディオ信号処理部は、起動状態であるチャネルの音声データに対する信号処理のみを実行し、停止状態であるチャネルの音声データに対する信号処理を停止する。従って、無駄な信号処理を回避し、信号処理に伴う電力消費を低く抑えることができる。
好ましい態様において、前記検出部は、1つのチャネルの音声データが所定時間以上に亙って途絶えた場合に当該チャネルが停止状態にある旨のチャネル状態信号を出力する。
かかる態様によれば、残響処理などの遅延系の信号処理がオーディオ信号処理部において実行されているときに、あるチャネルの音声データが途絶えた場合、その所定時間経過後の適正なタイミングにおいて、そのチャネルの信号処理が停止する。従って、残響処理などがその実行途中において中断されるという不具合を回避することができる。
他の好ましい態様において、前記検出部は、1つのチャネルの音声データが途絶えた状態が第1の時間以上継続した場合に第1のチャネル状態信号を出力するとともに、該音声データの途絶えた状態が第1の時間より長い第2の時間以上継続した場合に第2のチャネル状態信号を出力し、前記オーディオ信号処理部は、あるチャネルについて第1のチャネル状態信号が前記検出部から出力されたときには、当該チャネルに対応した信号処理のうち所定の種類の信号処理を停止し、第2のチャネル状態信号が出力されたときには、当該チャネルに対応した信号処理全体の実行を停止する。
かかる態様によれば、音声データが途絶えた時点で中断しても構わないような所定の種類の信号処理については、音声データが途絶えて第1のチャネル状態信号が出力した時点で信号処理が停止され、それ以外の信号処理については音声データの途絶えた状態が所定時間以上続いたときに停止される。従って、先に述べた態様よりも、消費電力をさらに低く抑えることができる。
<第1実施形態>
以下、図面を参照して、本発明の第1の実施形態について説明する。
図1は、この発明の第1の実施形態に係るオーディオ信号処理装置10の構成を示すブロック図である。このオーディオ信号処理装置10は、図示された各部に相当する回路を半導体チップ上に形成してなるLSIであり、エフェクタ機能、ミキシング機能などの機能を必要とする各種のオーディオ機器に搭載される。
本実施形態に係るオーディオ信号処理装置10は、音声データを装置内部に入力するためのインターフェースとして、チャネル0に対応したCH0インターフェース70、チャネル1に対応したCH1インターフェース71およびチャネル2に対応したCH2インターフェース72をそれぞれ備えている。これら各インターフェース70〜72は、すべてが同一のソースから出力されるデータを受け取ってもよいし、異なるソースから出力されるデータを受け取ってもよい。また、これらの各インターフェース70〜72は、同一フォーマットのデータを取り扱うものであってもよいし、異なるフォーマットのデータを取り扱うものであってもよい。例えば、あるインターフェースは、音声波形のサンプルデータである音声データを受け取って出力するものであり、他のインターフェースは、MIDIなどの演奏データを受け取り、これに従って音声データを生成して出力するものである、という態様もあり得る。
チャネル起動・停止検出回路50は、各チャネルのインターフェース70〜72を介して入力される音声データから、それぞれのチャネルが起動状態にあるかそれとも停止状態にあるかを検出し、その結果を示すチャネル状態信号を出力する。
ここで、このチャネル起動・停止検出回路50は、無音であることを示す音声データの入力後直ちにそのチャネルが停止状態になったと判断するのでなく、無音であることを示す音声データが入力された後、音声データが入力されない状態が予め設定された所定期間継続したときにそのチャネルが停止状態に至ったと判断する。これは、停止状態を示すチャネル状態信号を直ちに出力してしまうと、それ以前のサンプリング周期で既に入力された音声データに対して実行されている信号処理まで途中で中止されてしまうおそれがあるからである。停止状態に至ったと判断する目安となる期間をどの程度に設定するのが最も望ましいかについては後に詳述する。
オーディオ信号処理部20は、各インターフェース70〜72を介して入力される音声データに対する信号処理を行い、その処理結果であるL、R2チャネルのディジタル信号を出力する装置である。アナログ部60は、D/A変換器を主要な構成要素としており、オーディオ信号処理部20から出力されるL、R2チャネル分のディジタル信号をアナログ信号に各々変換し、左右のスピーカ(図示略)に出力する。
図1に示すように、オーディオ信号処理部20は、データパス部30と、ステートマシン部40とを有している。そしてデータパス部30は、テンポラリデータ格納用メモリ31と演算部32とを有している。
テンポラリデータ格納用メモリ31は、処理対象である音声データや信号処理の途中のディジタルデータを一時記憶するための一時記憶領域として用いられる。ここで、オーディオ信号処理装置10により実行される信号処理にはいわゆる遅延系の信号処理も含まれるので、テンポラリデータ格納用メモリ31には、音声データをn個記憶するだけの格納領域を有したFIFO(first-in first-out)が確保されている。FIFOに記憶可能な音声データの個数nは、最長遅延時間とサンプリング周期との比率に応じて予め設定される。
上述したように、チャネル起動・停止検出回路50は、無音であることを示す音声データが入力された後、音声データが入力されない状態が所定期間継続したときにはじめて停止状態と判断するが、停止状態と判断するための目安となる期間は上述の最長遅延時間よりも長く設定されることが最も望ましい。残響付与などの遅延系の信号処理においては、テンポラリデータ格納用メモリ31の特定のエリアを、音声データを遅延させるFIFO(First-In First-Out)として使用し、サンプリング周期が経過する毎にFIFO内の音声データを順次後方の記憶領域へシフトさせながら、FIFO内の音声データを用いた演算を逐次行うため、音声データの入力が途絶えても、信号処理がすべて終了するまでに一定のタイムラグが発生する。従って、停止状態と判断する期間をテンポラリデータ格納用メモリ31の音声データがすべてクリアされるまでの時間よりも幾分長く設定することで、既に入力された音声データに対する信号処理が途中で中止されてしまうといった事態を回避できる。
演算部32は、テンポラリデータ格納用メモリ31から読み出されるデータに対して演算処理を施す装置であり、乗算器33と、累算器34と、演算係数生成回路35とを有している。ここで、乗算器33は、テンポラリデータ格納用メモリ31から読み出されるデータに対して演算係数を乗算する回路であり、演算係数生成回路35は、その演算係数を生成する回路である。累算器34は、乗算器33から乗算結果が出力される度にその累算を行う回路である。演算係数生成回路35が如何なる演算係数を生成するか、乗算器33および累算器34により如何なる演算を行うか、テンポラリデータ格納用メモリ31内のどの領域のデータを演算対象にするか、および演算結果をどこに出力するかはステートマシン部40(詳しくはその演算処理用ステートマシン)から供給される制御信号によりすべて決定される。
ステートマシン部40は、データパス部30の状態遷移のための制御を行う装置である。ステートマシン部40には、データパス部30の内部状態を示す状態信号が供給され、この状態信号に基づいてデータパス部30の内部状態の変化を監視する。そして、この監視結果に基づいた制御信号をデータパス部30へ出力することにより、各種の信号処理を行わせる。
図1に示すように、ステートマシン部40は、チャネル0〜2にそれぞれ対応する各演算処理用ステートマシン41〜43と、これらの演算処理用ステートマシンを総括するメインステートマシン44とを有している。ここで、各演算処理用ステートマシン41〜43は、チャネル0〜2の各音声データの信号処理を行わせるためのデータパス部30の制御を各々行うステートマシンである。さらに詳述すると、演算処理用ステートマシン41〜43は、メインステートマシン44によって起動されると、演算係数生成回路35で生成されるべき演算係数や、演算対象となるデータを格納したテンポラリデータ格納用メモリ31のアドレス、乗算器33および累算器34により実行させる演算内容、演算結果の出力先などを指定する一連の制御信号を予め設定された手順に従って順次出力する。なお、これら一連の信号は、オーディオ信号処理部20内部で生成されるメインクロックと同期して順次出力される。
メインステートマシン44は、各サンプリング周期において、これらの演算処理用ステートマシン41〜43を所定の順序に従って順次起動する。ただし、あるサンプリング周期において特定のチャネルが停止状態となったことを示すチャネル状態信号がチャネル起動・停止検出回路50から出力されると、その次のサンプリング周期においてメインステートマシン44は、そのチャネルに対応した演算処理用ステートマシンの起動をスキップし、ステートマシン部40を次の状態へ遷移させる。この停止状態にあるチャネルに対応した信号処理の制御をスキップさせる動作は、そのチャネルが起動状態に戻ったことを示すチャネル状態信号がチャネル起動・停止検出回路50から出力されるまで繰り返される。
ステートマシン部40の状態遷移と演算部32による処理との関係を図2および図3を参照して説明する。図2(a)は、すべてのチャネルが起動状態にあるサンプリング周期におけるステートマシン部40の状態遷移を示す図、図2(b)は、チャネル1が停止状態にあるサンプリング周期におけるメインステートマシン44の状態遷移を示す図である。これらの図において、「CH0」は、チャネル0の音声データの信号処理が行われるように演算処理用ステートマシン41がデータパス部30を制御している状態、「CH1」は、チャネル1の音声データの信号処理が行われるように演算処理用ステートマシン42がデータパス部30を制御している状態、「CH2」は、チャネル2の音声データの信号処理が行われるように演算処理用ステートマシン43がデータパス部30を制御している状態を示す。また、「IDLE」は、いずれの演算処理用ステートマシンも起動されておらず、データパス部30において何も信号処理が行われていない状態を示す。
すべてのチャネルが起動状態にある場合、図2(a)に示すように、ステートマシン部40の状態は、サンプリング周期の開始により、「IDLE」状態から「CH0」状態に移行し、その後、「CH1」→「CH2」と遷移した後に「IDLE」状態に戻る。従って、このサンプリング周期では、図3(a)に示すように、CH0、CH1、CH2のすべてのサンプルデータに対する信号処理が実行される。
チャネル1が停止状態にある場合、図2(b)に示すように、ステートマシン部40の状態遷移は、「CH1」状態がスキップされるため、「IDLE」→「CH0」→「CH2」と遷移した後に「IDLE」に戻る。従って、このサンプリング周期では、図3(b)に示すように、チャネル0、チャネル2の音声データに対する信号処理が実行される一方で、チャネル1の音声データに対する信号処理は行われない。そして、チャネル1の音声データに対する信号処理がスキップされるために、「IDLE」状態の期間が長くなり、その分、消費電力が少なくなる。
チャネル0やチャネル2が停止状態となったことを示すチャネル状態信号がチャネル起動・停止検出回路50から出力されたときも同様であり、メインステートマシン44は、停止状態であるチャネルに対応した演算処理用ステートマシンの起動をスキップする。これにより、停止状態にあるチャネルの演算を行なわないで済むため、信号処理演算に要する消費電力を少なくすることができる。従って、例えば携帯電話など、低消費電力であることが要求される携帯型電子機器への搭載も可能であり、これらの機器において高品質のオーディオ信号処理機能を提供することが可能になる。
<第2実施形態>
第1実施形態では、あるチャネルの音声データの途絶えた状態が所定時間以上継続したときにそのチャネルの信号処理の実行を停止した。これに対し、本実施形態では、次のような動作が行われる。まず、チャネル起動・停止検出回路50は、あるチャネルについて無音を示す音声データの入力が第1の時間以上継続したとき、第1のチャネル状態信号を出力する。そして、同チャネルについて無音を示す音声データの入力が第1の時間よりも長い第2の時間以上継続したとき、第2のチャネル状態信号を出力する。この第2の時間は、上記第1実施形態においてチャネルが停止状態になったと判断するときの無音状態の継続時間と同じ時間である。ステートマシン部40の演算処理用ステートマシン41〜43は、上記第1実施形態と同様、チャネル状態信号に応じて信号処理のスキップを行うが、その態様は、第1のチャネル状態信号が出力されたときと第2のチャネル状態信号が出力されたときとで異なる。
例えばチャネル0が起動状態であるときに、メインステートマシン44は、そのチャネル0に対応した演算処理用ステートマシン41を起動する。この演算処理用ステートマシン41が、チャネル0の信号処理を行わせるべく、データパス部30の状態を「処理1」→「処理2」→「処理3」→「処理4」→「IDLE」と遷移させるものとする。この状態において、チャネル0に対応した第1のチャネル状態信号が出力されると、演算処理用ステートマシン41は、例えば遅延処理を含まない「処理2」をスキップする。その後、同チャネル0について第2のチャネル状態信号が出力されると、メインステートマシン44は、チャネル0に対応した演算処理用ステートマシン41の起動をスキップする。この結果、チャネル0に対応した全信号処理が停止される。その後、有音を示すチャネル0の音声データが入力され、その旨を示すチャネル状態信号が出力されると、以後のサンプリング周期においてメインステートマシン44は、演算処理用ステートマシン41を起動し、チャネル0に対応した信号処理を再開させる。
このように、本実施形態では、演算処理用ステートマシン41〜43の制御の下に実行される個々の処理単位で、起動と停止とを切り替える構成としたので、例えばイコライザ処理のように無音の音声データが入力された後直ちに停止してもよい処理については、第1のチャネル状態信号が出力された時点で直ちに停止し、遅延系処理のようにテンポラリデータ格納用メモリ31に格納されたデータがすべてクリアされるのを待ってから停止することが望ましい処理については、それより後に第2のチャネル状態信号が出力されたときに停止するといった動作を行わせることができる。これにより、不要な演算をより細かな時分解能でスキップさせることができ、信号処理に要する消費電力をより低く抑えることができる。
この発明の第1実施形態であるオーディオ信号処理装置10の構成を示すブロック図である。 同装置の状態遷移を示す図である。 同装置における演算部の振舞いを示す図である。 従来技術の回路構成を示す図である。 従来技術の回路構成を示す図である。
符号の説明
10:オーディオ信号処理装置,20:オーディオ信号処理部,30:データパス部,31:テンポラリデータ格納用メモリ,32:演算部,33:乗算器,34:累算器,35:演算係数生成回路,40:ステートマシン部,41〜43:演算処理用ステートマシン,44:メインステートマシン,50:チャネル起動・停止検出回路,60:アナログ部

Claims (3)

  1. 複数チャネルの音声データを各々受け取る複数のインターフェースと、
    前記複数のインターフェースを介して入力される複数チャネルの音声データから、各チャネルの状態を示すチャネル状態信号を出力する検出部と、
    前記複数チャネルの音声データを一時記憶するためのメモリと、
    前記メモリから読み出される前記複数チャネルの音声データに対する信号処理を時分割制御により実行する手段であり、前記検出部によって出力された状態信号に基づいて各チャネルの状態を特定し、起動状態であるチャネルの音声データに対する信号処理のみを実行し、停止状態であるチャネルの音声データに対する信号処理を停止するオーディオ信号処理部と
    を備えるオーディオ信号処理装置。
  2. 前記検出部は、1つのチャネルの音声データが所定時間以上に亙って途絶えた場合に当該チャネルが停止状態にある旨のチャネル状態信号を出力する請求項1記載のオーディオ信号処理装置。
  3. 前記検出部は、1つのチャネルの音声データの途絶えた状態が第1の時間以上継続した場合に第1のチャネル状態信号を出力するとともに、該音声データの途絶えた状態が第1の時間より長い第2の時間以上継続した場合に第2のチャネル状態信号を出力し、
    前記オーディオ信号処理部は、あるチャネルについて第1のチャネル状態信号が前記検出部から出力されたときには、当該チャネルに対応した信号処理のうち所定の種類の信号処理を停止し、第2のチャネル状態信号が出力されたときには、当該チャネルに対応した信号処理全体の実行を停止する請求項1記載のオーディオ信号処理装置。
JP2003369329A 2003-10-29 2003-10-29 オーディオ信号処理装置 Expired - Fee Related JP4075768B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003369329A JP4075768B2 (ja) 2003-10-29 2003-10-29 オーディオ信号処理装置
US10/976,117 US7590460B2 (en) 2003-10-29 2004-10-28 Audio signal processor
KR1020040086740A KR100682444B1 (ko) 2003-10-29 2004-10-28 오디오 신호 프로세서
TW093133062A TWI282217B (en) 2003-10-29 2004-10-29 Audio signal processor
CN2004100896720A CN1612205B (zh) 2003-10-29 2004-10-29 音频信号处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003369329A JP4075768B2 (ja) 2003-10-29 2003-10-29 オーディオ信号処理装置

Publications (2)

Publication Number Publication Date
JP2005136625A JP2005136625A (ja) 2005-05-26
JP4075768B2 true JP4075768B2 (ja) 2008-04-16

Family

ID=34646726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003369329A Expired - Fee Related JP4075768B2 (ja) 2003-10-29 2003-10-29 オーディオ信号処理装置

Country Status (1)

Country Link
JP (1) JP4075768B2 (ja)

Also Published As

Publication number Publication date
JP2005136625A (ja) 2005-05-26

Similar Documents

Publication Publication Date Title
KR100682444B1 (ko) 오디오 신호 프로세서
JP4075768B2 (ja) オーディオ信号処理装置
JP2003506775A (ja) 乗算結果を選択的に遅延させる算術装置及びその方法
JPWO2008105494A1 (ja) Dma転送装置及び方法
JP2989938B2 (ja) ディジタルシグナルプロセッサ
JP4494754B2 (ja) オーディオ信号処理装置
JP3138585B2 (ja) 電子楽音発生装置
JP3693046B2 (ja) 楽音発生装置
JP3693045B2 (ja) 楽音発生装置
JP4894218B2 (ja) 半導体集積回路
JP3755249B2 (ja) データ記憶装置
JP2003202865A (ja) 電子音発生方法及び装置、それを用いた携帯機器
JP4434118B2 (ja) 電子機器
JPH0561901A (ja) プログラム制御型プロセツサ
JP4561224B2 (ja) オーディオ信号処理装置
JP3736123B2 (ja) パワー制御回路
JP2003255946A (ja) 楽音発生装置
JP5003070B2 (ja) デジタル信号処理装置
JP2009302784A (ja) クロスフェード装置
JP3364573B2 (ja) 電子楽音発生装置
JPH0328893A (ja) オーディオ信号データ処理装置
JPH0328899A (ja) オーディオ信号データ処理装置
JPH031198A (ja) ディジタル信号処理装置
JP2007241936A (ja) データ転送回路
JP2008061053A (ja) 信号処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080121

R150 Certificate of patent or registration of utility model

Ref document number: 4075768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees