JP3890338B2 - Image signal processing device - Google Patents
Image signal processing device Download PDFInfo
- Publication number
- JP3890338B2 JP3890338B2 JP2004238782A JP2004238782A JP3890338B2 JP 3890338 B2 JP3890338 B2 JP 3890338B2 JP 2004238782 A JP2004238782 A JP 2004238782A JP 2004238782 A JP2004238782 A JP 2004238782A JP 3890338 B2 JP3890338 B2 JP 3890338B2
- Authority
- JP
- Japan
- Prior art keywords
- color difference
- data
- line
- difference signals
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像データの符号化、復号化等の処理を行うための画像信号処理装置に関する。 The present invention relates to an image signal processing apparatus for performing processing such as encoding and decoding of image data.
従来から、膨大なデータ量の各種データを符号化することによりデータ量を削減して比較的低い伝送レートで伝送し得るようにするための各種装置が開発されている。例えば、画像データを磁気テープ等の記憶媒体に記録するディジタルVTRにおいても124Mbps程度の入力画像データを5分の1の25Mbps程度に圧縮して磁気テープ上に記録し、再生するための規格が制定されている。 2. Description of the Related Art Conventionally, various apparatuses have been developed for encoding various kinds of data with a huge amount of data so that the amount of data can be reduced and transmitted at a relatively low transmission rate. For example, in a digital VTR that records image data on a storage medium such as magnetic tape, a standard has been established for compressing input image data of about 124 Mbps to about 1/5 of 25 Mbps, and recording and reproducing the data on magnetic tape. Has been.
このような規格に基づくディジタルVTRにおいては、入力データをDCT変換した後に量子化し、この量子化データをハフマン符号化等により可変長符号化することによってデータの圧縮を行っており、さらに量子化する際の量子化ステップを各種のパラメータに基づいて可変したり、可変長符号化された後のデータ量が一定になるようにレート制御が行われる。 In a digital VTR based on such a standard, the input data is quantized after DCT conversion, and the quantized data is subjected to variable length coding by Huffman coding or the like, thereby compressing the data and further quantizing the data. The rate control is performed so that the quantization step at that time is variable based on various parameters, or the amount of data after the variable length encoding is constant.
また、入力画像データをフレーム間又はフィールド間動き補償付き予測符号化を用いて圧縮し、この予測符号化データを上述のようなDCT、量子化及び可変長符号化を用いて更に圧縮するようにしたMPEG規格が制定されており、この規格に対応したCD−ROM等の各種装置が開発されている。 Further, the input image data is compressed using interframe or interfield motion compensation predictive coding, and the predictive coded data is further compressed using the above-described DCT, quantization, and variable length coding. The MPEG standard has been established, and various devices such as a CD-ROM corresponding to this standard have been developed.
上述のようなディジタルVTRやCD−ROM等の装置においては、各種信号処理をリアルタイムに行う必要がある。それを実現するために各種信号処理に合わせた複数個のメモリを用いることが考えられているが、装置全体のコストアップ及びダウンサイジングの妨げになるという問題があった。 In a device such as a digital VTR or a CD-ROM as described above, it is necessary to perform various signal processing in real time. In order to realize this, it is considered to use a plurality of memories adapted to various signal processing, but there is a problem that the cost of the whole apparatus is increased and downsizing is hindered.
本発明は、上述のような実情に鑑みてなされたものであり、装置全体のコストダウンとダウンサイジングを図りながら、高速な画像処理と最適なメモリ使用が可能な画像信号処理装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an image signal processing apparatus capable of high-speed image processing and optimal memory use while reducing the cost and downsizing of the entire apparatus. With the goal.
本発明による画像信号処理装置においては、それぞれ輝度信号と二つの色差信号とを有し、前記輝度信号の画素に対して前記二つの色差信号の画素が水平方向に間引かれ且つ各水平ラインに前記二つの色差信号が存在する第1の画像信号と、前記輝度信号の画素に対して前記二つの色差信号の画素が水平方向に間引かれ且つ水平ライン毎に交互に前記二つの色差信号の一方が存在する第2の画像信号とを処理する画像信号処理装置であって、クロックに同期して同一のロウ(row)アドレスに対してバースト書き込み及びバースト読み出しが可能であって、入力された前記第1の画像信号と前記第2の画像信号を記憶するメモリと、垂直方向と水平方向がそれぞれ複数画素からなる画素ブロック単位に前記メモリに記憶された第1の画像信号または第2の画像信号を処理する処理手段と、前記第1の画像信号と前記第2の画像信号における輝度信号の水平ラインそれぞれを前記メモリにアクセスする際のバースト長を有する複数の輝度ラインブロックに分割すると共に前記二つの色差信号の水平ラインをそれぞれ複数の色差ラインブロックに分割し、前記輝度信号と前記二つの色差信号についてそれぞれ同一の前記ブロック内の全ての画素のデータが前記メモリにおける同一のロウアドレスに並ぶよう、前記輝度ラインブロックと前記二つの色差信号の色差ラインブロックを配置する制御手段を備え、前記制御手段は、前記第1の画像信号については同一の水平ラインの前記二つの色差信号の色差ラインブロックを合わせて前記バースト長となるよう前記二つの色差信号の水平ラインを複数の前記ラインブロックに分割すると共に同一の水平ラインにおいて前記バースト長となる前記二つの色差信号の色差ラインブロックを同一のロウアドレスに配置し、前記第2の画像信号については前記二つの色差信号の色差ラインブロックがそれぞれ前記バースト長となるよう前記二つの色差信号の水平ラインを複数の前記ラインブロックに分割すると共に前記二つの色差信号の色差ラインブロックを互いに異なるロウアドレスに配置する。 In the image signal processing apparatus according to the present invention, each has a luminance signal and two color difference signals, and the pixels of the two color difference signals are thinned out in the horizontal direction with respect to the pixels of the luminance signal, and are arranged in each horizontal line. The first image signal in which the two color difference signals are present, and the pixels of the two color difference signals are thinned out in the horizontal direction with respect to the pixels of the luminance signal, and the two color difference signals are alternately displayed for each horizontal line. An image signal processing apparatus that processes a second image signal in which one exists, and can perform burst writing and burst reading on the same row address in synchronization with a clock, and is input A memory for storing the first image signal and the second image signal, and a first image signal stored in the memory in units of pixel blocks each including a plurality of pixels in the vertical and horizontal directions. Or processing means for processing the second image signal, and a plurality of luminance line blocks having a burst length when accessing the memory for each horizontal line of the luminance signal in the first image signal and the second image signal. And the horizontal lines of the two color difference signals are respectively divided into a plurality of color difference line blocks, and the data of all the pixels in the same block for the luminance signal and the two color difference signals are the same in the memory. The luminance line block and the color difference line block of the two color difference signals are arranged so as to line up with the row address of the first image signal, and the control means includes the two of the same horizontal line for the first image signal. The horizontal lines of the two color difference signals are adjusted so that the color difference line blocks of the color difference signals are combined to obtain the burst length. The color difference line blocks of the two color difference signals having the burst length on the same horizontal line are arranged at the same row address, and the second image signal is divided into the two line blocks. The horizontal lines of the two color difference signals are divided into a plurality of line blocks so that the color difference line blocks of the color difference signals have the burst length, and the color difference line blocks of the two color difference signals are arranged at different row addresses.
本発明によれば、同一ブロックのデータを高速にアクセスすることができ、画像信号の種類に応じて最適にメモリを使用することができる。具体的に、本発明によれば、色差信号のサンプリング構成が異なる二種類の画像信号を、バーストアクセス可能なメモリに対して効率よく配置することができる。 According to the present invention, data of the same block can be accessed at high speed, and a memory can be optimally used according to the type of image signal. Specifically, according to the present invention, two types of image signals having different sampling configurations for color difference signals can be efficiently arranged in a burst accessible memory.
以下、本発明の実施の形態を図面を用いて説明する。
図1は、本発明の基本構成を示すブロック図である。
本実施の形態は、図1に示すように各種処理ブロックがシステム制御ブロック8によって制御されつつ各々が所望のタイミングでメモリにアクセスし、それらのアクセス要求をシステム制御ブロック8が調停することで、各ブロックの動作を保証するように構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the basic configuration of the present invention.
In the present embodiment, as shown in FIG. 1, various processing blocks are controlled by the
上記各ブロックは、以下のように動作する。
端子1、端子2、端子3は、輝度信号(以下、Yと記す)と色差信号(以下、Cr、Cbと記す)との比率が4:2:2であるDIフォーマットのディジタルコンポーネント信号の入出力端子である。
Each of the above blocks operates as follows.
画像入出力ブロック4は、符号化時には、上記各端子1〜3から入力されたデータに対して色差信号を間引き処理し、輝度信号と色差信号との比率を4:1:1のディジタル信号に変換処理を行い、そのY、Cr、Cbに対してマルチプレクス処理を施したデータ列(以下、MUX−DATAと記す)を出力する。これと共にMUX−DATA列内のY、Cr/Cbをバッファ5に一時バッファリングするためのアドレスであるY−RA、C−RA、イネーブル信号Y−EN、C−ENを発生し、さらにメインメモリ6にアクセスするためのアドレス、Y−MA、C−MA、メモリアクセス要求信号ReqY、ReqCをシステム制御ブロック8に対して発生する。また復号化時には、上記と同様の信号を発生しつつ、バッファ5からMUX−DATAを読み出して4:2:2のディジタルコンポーネント信号に変換し、上記端子1〜3へ出力する。
At the time of encoding, the image input /
バッファ5は、各周辺ブロックからのアドレス信号(Y−RA、C−RA、YM−RA、CM−RA)、書き込み/読み出しを制御する制御信号(Y−En、C−En、YM−En、CM−En)によって、上記MUX−DATA及び、メインメモリ6に対して書き込み/読み出しを行う輝度信号(以下、Y−MDと記す)と色差信号(以下、C−MDと記す)を所定のデータ長でバッファリングする。メインメモリ6は、システムクロックに同期してデータの書き込み/読み出しを行う。
The
圧縮・伸張ブロック7は、メインメモリ6にアクセスし、画像データに対して離散コサイン変換を用いた可変長符号化/復号化を行う。システム制御ブロック8は、上記各ブロックからのメインメモリ6に対するアドレス及びメモリアクセス要求信号によりメインメモリ6を含むシステム全体の制御を行う。尚、本実施の形態における上記メインメモリ6は、クロックの立ち上がりに同期してデータのバースト転送を行うことで、高速なリード/ライトのアクセスを可能とするSDRAM(Syncronous−DRAM)が用いられている。
The compression /
このSDRAMに供給されるクロックは、図2に示すようなジッターの無い外部の周波数発振器90から周波数逓倍器92に例えば27.5MHzのクロックを供給し、そこで逓倍されて発生した67.5MHzがリファレンスクロックとして供給される。ここでリファレンスクロック67.5MHz(MCLK)は、周波数発振器94で作られる水平同期信号にロックした13.5MHzの整数倍(5倍)に設定されている。ここで、周波数発振器94から供給される13.5MHzは、Yのサンプリング周波数であり、周波数分周器96で4分周された3.375MHzは、上記4:1:1に変換された後のCr、Cbのサンプリング周波数である。
The clock supplied to the SDRAM is, for example, a 27.5 MHz clock supplied from an
次に、図1における画像入出力ブロック4によってY、Cr、Cbがマルチプレクスされる詳細な動作について図3を用いて説明する。尚、図3において図1と同一部分には同一符号を付してある。
40は一般的なフィルタであり、符号化時には、上記4:2:2で入力された画像データY、Cr、Cbを間引き処理をすることにより、それぞれ4:1:1の画像データEX−Y、EX−Cr、EX−Cbに変換する。また復号化時には、逆に4:1:1の画像データEX−Y、EX−Cr、EX−Cbを色差信号に対して補間処理を行うことにより、4:2:2の画像データY、Cr、Cbに復元して出力する。ここで、EX−Yは、上記13.5MHzに同期し、EX−Cr、EX−Cbは、上記3.375MHzに同期している。
Next, a detailed operation in which Y, Cr, and Cb are multiplexed by the image input /
42、44、46は、67.5MHzで駆動する双方向のフリップフロップであり、符号化時には、上記画像データEX−Y、EX−Cr、EX−Cbをマルチプレクス処理して67.5MHzに同期したMUX−DATAを生成し、復号化時には、MUX−DATAからデマルチプレクス処理して画像データEX−Y、EX−Cr、EX−Cbを生成する。上記各処理は、それぞれタイミング発生器48から供給される67.5MHzに同期したイネブール信号MUX−Y、MUX−Cr、MUX−Cbによって制御される。タイミング発生器48は、上記以外に67.5MHzに同期したそれぞれのアドレス(Y−RA、C−RA、Y−MA、C−MA)、イネブール信号(Y−En、C−En)、メモリアクセス要求信号(ReqY、ReqC)を発生して周辺ブロックへ供給する。
図4は図3における上記マルチプレクス及びデマルチプレクス処理の詳細なタイミングである。図4(a)〜(g)にマルチプレクスのタイミングを示す。
(a)は13.5MHzに同期した4:1:1の輝度データEX−Y、(b)は3.375MHzに同期した4:1:1の色差データEX−Cr、同様に(c)は、3.375MHzに同期した4:1:1の色差データEX−Cbである。(d)、(e)、(f)は、67.5MHzに同期したイネブール信号であり、(a)のEX−Yは、(d)のMUX−YがLOWレベルの時に67.5MHzでラッチ出力され、(b)のEX−Crは、(e)のMUX−CrがLOWレベルの時に67.5MHzでラッチ出力され、(c)のEX−Cbは、(f)のMUX−CbがLOWレベルの時に67.5MHzでラッチ出力されることによって、(g)示すようにマルチプレクスデータMUX−DATAが生成される。
FIG. 4 shows the detailed timing of the multiplex and demultiplex processing in FIG. 4A to 4G show the multiplex timing.
(A) is 4: 1: 1 luminance data EX-Y synchronized with 13.5 MHz, (b) is 4: 1: 1 color difference data EX-Cr synchronized with 3.375 MHz, and similarly (c) is 3. Color difference data EX-Cb of 4: 1: 1 synchronized with 3.375 MHz. (D), (e), (f) are Inebourg signals synchronized with 67.5 MHz. EX-Y in (a) is latched at 67.5 MHz when MUX-Y in (d) is at LOW level. (B) EX-Cr is latched at 67.5 MHz when (e) MUX-Cr is at LOW level, (c) EX-Cb is (F) MUX-Cb is LOW By latch output at 67.5 MHz at the level, multiplex data MUX-DATA is generated as shown in (g).
図4(g)、(a)′〜(f)′にデマルチプレクスのタイミングを示す。(d)′、(e)′、(f)′は、それぞれデマルチプレクス処理を行うときのイネーブル信号MUX−Y、MUX−Cr、MUX−Cbである。そのネーブル信号がLOWレベルの時にそれぞれ67.5MHzでMUX−DATAをラッチ出力することで、デマルチプレクスされたEX−Y(a)′、EX−Cr(b)′、EX−Cb(c)′が生成される。尚、当然のことながら、EX−Y(a)′は13.5MHzに同期し、EX−Cr(b)′、EX−Cb(c)′は3.375MHzに同期したデータ列となる。 4 (g) and 4 (a) 'to (f)' show the demultiplex timing. (D) ′, (e) ′, and (f) ′ are enable signals MUX-Y, MUX-Cr, and MUX-Cb when performing demultiplex processing, respectively. When the enable signal is at the LOW level, MUX-DATA is latched and output at 67.5 MHz, so that demultiplexed EX-Y (a) ′, EX-Cr (b) ′, and EX-Cb (c) 'Is generated. As a matter of course, EX-Y (a) ′ is synchronized with 13.5 MHz, and EX-Cr (b) ′ and EX-Cb (c) ′ are data strings synchronized with 3.375 MHz.
図5は図1におけるバッファリ5のメモリマップである。
容量は全体で256バイトで、上記色差信号EX−Cr、EX−Cbは、アドレス0〜127にマッピングされ、輝度信号EX−Yは、アドレス128〜255にマッピングされる。更に、輝度信号、色差信号のそれぞれの領域は、本実施の形態では、64バイト単位にバンク構成になっている。ここで、アドレス0〜63は、色差信号のためのバンク0(以下、C−B0と記す)、アドレス64〜127は、色差信号のためのバンク1(以下、C−B1と記す)、アドレス128〜191は、輝度信号のためのバンク0(以下、Y−B0と記す)、アドレス192〜255は、輝度信号のためのバンク1(以下、Y−B1と記す)という構成になっていて、画像入出力ブロック4とメインメモリ6の書き込み/読み出し処理とが競合しないようにシステム制御ブロック8によって制御されている。
FIG. 5 is a memory map of the
The total capacity is 256 bytes. The color difference signals EX-Cr and EX-Cb are mapped to
図6はバッファ5に対する符号化時の書き込み/読み出し処理の詳細なタイミング図である。
(a)は、画像入出力ブロック4から供給されるマルチプレクスデータMUX−DATAである。(b)、(d)は、MUX−DATAからそれぞれ輝度信号(XY0、XY1、…)及び色差信号(XCr0、XCb0、XCr1、XCb1、…)を抽出し、バッファ5の各領域へ書き込むためのイネーブル信号であり、(c)、(e)は、その際の書き込みアドレスである。
FIG. 6 is a detailed timing chart of the writing / reading process at the time of encoding with respect to the
(A) is multiplexed data MUX-DATA supplied from the image input /
上記書き込みアドレスは、(b)のY−EnがLOWレベルの時に(c)のY−RAが選択され、(d)のC−EnがLOWレベルの時に(e)のC−RAが選択される。この時Y−EnとC−Enが同時にLOWレベルになることはあり得ない。従って、輝度信号は、図5のY−B0のアドレス128から順次書き込まれ、色差信号は同様にC−B0のアドレス0から順次書き込まれる。ここで、67.5MHzのが20クロックで1パケットとして、そのパケット単位にまとめて表記したものが(a)である。従って、1パケット内には、輝度データが4バイト、色差データがCr成分/Cb成分それぞれ1バイトづつ含まれる。
When the Y-En in (b) is at the LOW level, the Y-RA in (c) is selected as the write address, and the C-RA in (e) is selected when the C-En in (d) is at the LOW level. The At this time, Y-En and C-En cannot be at the LOW level at the same time. Therefore, the luminance signal is sequentially written from the
(f)、(g)は、画像入出力ブロック4からシステム制御ブロック8に供給されるメモリアクセス要求信号であり、輝度データ及び色差データのそれぞれが、バッファ5に64バイト蓄積される毎に出力される。従って、輝度データのメモリアクセス要求信号は、(a)′に示したパケット番号P15がバッファに蓄積された時点で出力される。一方、色差データのメモリアクセス要求信号は、(a)′に示したパケット番号P31がバッファに蓄積された時点で出力される。この時の色差データ64バイトの内訳は、Cr成分が32バイト、Cb成分が32バイトである。但し、これはテレビジョン方式がNTSCモードの場合であり、他のPAL等のモードにおいては、この限りではない。
(F) and (g) are memory access request signals supplied from the image input /
(i)、(k)は、システム制御ブロック8において各ブロックから供給されるメモリアクセス要求信号を調停した結果によって生成されるイネーブル信号YM−En及びCM−Enである。(h)はバッファから読み出された輝度データY−MDであり、YM−EnがLOWレベル期間に読み出しが行われる。同様に(j)はバッファから読み出された色差データC−MDであり、CM−EnがLOWレベル期間に読み出しが行われる。ここで、図示せずも、それぞれの読み出しアドレスは、画像入出力ブロック4がリアルタイムに書き込みを行っているバンクとは逆のバンクから読み出されるように発生される。また、本実施の形態における色差データC−MDの読み出しは、Cr成分/Cb成分それぞれ32バイト毎にまとめてメインメモリ6にアクセスしたいため、偶数/奇数に分けてアドレスを発生する。
(I) and (k) are enable signals YM-En and CM-En generated as a result of arbitrating the memory access request signal supplied from each block in the
図7はバッファ5に対する復号化時の書き込み/読み出し処理の詳細なタイミング図である。
(a)ReqY、(b)ReqCは、画像入出力ブロック4からシステム制御ブロック8に対するメモリアクセス要求信号であって図3のタイミング発生器48から供給される。ReqYは、(1/13.5MHz×64byte)ns周期で発生し輝度データをアクセスし、ReqCは、(1/6.75MHz×64byte)ns周期で発生し色差データをアクセスする。
FIG. 7 is a detailed timing chart of the writing / reading process at the time of decoding with respect to the
(A) ReqY and (b) ReqC are memory access request signals from the image input /
(c)Y−MD、(d)C−MDは、システム制御ブロック8で上記メモリアクセス要求信号を調停処理した結果、読み出しアドレスをメインメモリ6へ供給することで読み出された輝度データ及び色差データである。本実施の形態におけるメモリアクセスに際してのバースト長は、符号化時と同様に64バイトである。尚、アクセスに際するバースト長の算出手段については後に詳細に説明する。
(C) Y-MD and (d) C-MD are the luminance data and color difference read by supplying the read address to the
(d)YM−En、(f)CM−Enは、メインメモリ6から同様のバースト長で読み出されたデータをバッファ5へ書き込むためのイネーブル信号であり、それぞれLOWレベル期間にそれぞれのデータの書き込み処理が行われる。尚、図示せずも、システム制御ブロック8からバッファ5に対して書き込みアドレスが供給されるが、前述したようにバンク制御されており、他のブロックの処理と競合しないように発生される。
(D) YM-En and (f) CM-En are enable signals for writing data read out from the
(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAは、上記符号化処理において説明したように、画像入出力ブロック4からバッファ5に供給されるイネーブル信号とリードアドレスである。(k)MUX−DATAは、上記(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAによってラッチ出力された輝度データと色差データがマルチプレクサされたデータ列であり、画像入出力ブロック4へ供給される。
(G) Y-En, (i) C-En, (h) Y-RA, and (i) C-RA are supplied from the image input /
次に、メインメモリ6のマッピング方法について説明する。
図8は図1のメインメモリ6のメモリ空間を示したものであり、2フレーム分の容量を備えたビデオメモリ(VM)領域(BS0及びBS1)と、それ以外のデータを記憶するための容量を備えたOthers領域とからそれぞれ構成されており、各領域におけるメモリセルは、1フレーム毎に書き込みモードと読み出しモードとに設定可能であるとともに、必要に応じてVM領域又は、Others領域との間でデータの授受を行うことも可能である。
Next, the mapping method of the
FIG. 8 shows a memory space of the
即ち、図1において、上記画像入出力ブロック4はバッファ5を介して専らVM領域との間でデータの授受を行い、圧縮/伸張ブロック7はVM領域とのデータの授受を行うことによって、符号化時には、VM領域からデータを読み出して符号化処理した後に、その後に続く処理部に対して出力し、復号化時には、入力された符号化データに対して復号化処理した後にVM領域に書き込む。この時のアドレスは、図1のシステム制御ブロック8によって列(以下、rowと記す)アドレスと行(以下、colと記す)アドレスとして発生される。
That is, in FIG. 1, the image input /
次にメインメモリ6にアクセスする際のバースト長の算出方法について図9を参照して説明する。
図9において、(A)は4:1:1に変換されたNTSCモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直480ラインで構成される。(B)は4:1:1に変換されたNTSCモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平180画素×垂直480ラインで構成される。
Next, a method for calculating the burst length when accessing the
In FIG. 9, (A) shows the structure of luminance data (hereinafter referred to as Y) in one frame of NTSC mode converted to 4: 1: 1, and is composed of horizontal 720 pixels × vertical 480 lines. . (B) shows the configuration of the color difference data (hereinafter referred to as Cr and Cb) in the
(C)は4:2:0に変換されたPALモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直576ラインで構成される。(D)は4:2:0に変換されたPALモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平360画素×垂直288ラインで構成される。(E)は圧縮・伸張ブロック7が符号化/復号化処理をする時のDCTブロックである。通常n画素×m画素で構成されるが、本実施の形態ではn=m=8としている。
(C) shows the structure of luminance data (hereinafter referred to as Y) in one frame of the PAL mode converted to 4: 2: 0, and is composed of horizontal 720 pixels × vertical 576 lines. (D) shows the structure of color difference data (hereinafter referred to as Cr and Cb) in a
ここで、本発明では、メインメモリ6にアクセスする際のバースト長を次の条件式により決定する。
バースト長=(m×N)×n≦COL ………(1)
N:1以上の自然数
COL:バンク(BS0及びBS1)のカラム方向の容量。
ここで、本実施の形態ではCOL=512であるため、式(1)は、
8N×8≦512 ………(2)
となることからN≦8となる。
In the present invention, the burst length for accessing the
Burst length = (m × N) × n ≦ COL (1)
N: Natural number of 1 or more COL: Capacity in the column direction of banks (BS0 and BS1).
Here, since COL = 512 in the present embodiment, the expression (1) is
8N × 8 ≦ 512 (2)
Therefore, N ≦ 8.
従ってバースト長は、8バイト以上64バイト以下の8の倍数となる。メインメモリ6であるSDRAMを効率良く高速にアクセスするには、rowアドレスを固定し、できるだけ長いバースト長でアクセスするのが望ましい。従って、本実施の形態においては、バースト長を64バイトとする。
Therefore, the burst length is a multiple of 8 from 8 bytes to 64 bytes. In order to access the SDRAM, which is the
次に、NTSCモードの場合のYデータのVM領域に対するアクセス方法について図10を用いて詳細に説明する。
図10において(A)は、図8のエリアAを拡大し、実際の画面イメージのデータがメモリ以上に配置される様子を示したものである。ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは、水平1ラインの分割数である。上述の如く図9(A)の1ラインの画像データは64画素ごとに12分割され、その分割されたLine0の12個のブロックは、図10(A)のCBL0エリアに示すように、row方向(アドレス0〜アドレス11)に順次記憶される。同様にLine1に関しては、CBL1エリアに順次記憶される。残りのラインの画像データにおいても同様である。
Next, a method for accessing the VM area of Y data in the NTSC mode will be described in detail with reference to FIG.
FIG. 10A shows a state in which the area A in FIG. 8 is enlarged and the actual screen image data is arranged beyond the memory. Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9A is divided into twelve for every 64 pixels, and the twelve blocks of the divided
従って、CBL0エリアには、図9(A)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+1番目、CBL2エリアには、8n+2番目、CBL3エリアには、8n+3番目、CBL4エリアには、8n+4番目、CBL5エリアには、8n+5番目、CBL6エリアには、8n+6番目、CBL7エリアには、8n+7番目のラインのデータが順次記憶されることになる。 Accordingly, the data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9A is sequentially stored in the CBL0 area, the 8n + 1th line in the CBL1 area, the 8n + 2th in the CBL2 area, In the CBL3 area, data of the 8n + 3th, 8th + 4th in the CBL4 area, 8n + 5th in the CBL5 area, 8n + 6th in the CBL6 area, and 8n + 7th data in the CBL7 area are sequentially stored. Become.
このように記憶された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画面の水平方向に8個分存在する。従って、図1の圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれそれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのデータを得る事ができ、順次同様にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、順次DCTブロックを構成して処理を行う。
On the same row address stored in this way, there are eight DCT blocks of 8 pixels × 8 pixels shown in FIG. 9E in the horizontal direction of the one screen. Therefore, when the compression /
一方、復号化時においては、図1の圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ、8データを連続して書き込むことにより、図10(A)に示すようにデータを記憶させる。画像入出力ブロック4は、rowアドレスを順次遷移させながら上記データを64バースト単位に連続読み出しを行う。PALモードにおいても同様の処理動作を行う。
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression /
次に、Cr、CbデータのVM領域に対するアクセス方法について詳細に説明する。
まず、画像入出力ブロック4のメモリアクセス動作について説明する。図9(B)に示すように、NTSCモードにおける色差データは、水平方向に1/4に間引かれ、かつ毎ラインにCr、Cbデータが同時に存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、輝度データと同様に64バイトとなる。但し、上述したようにNTSCモードにおける色差データの性質から、1回のアクセスにおけるバースト長の内訳は、Crの32バイトとCbの32バイトを合わせた64バイトとなる。
Next, a method for accessing the VM area of Cr and Cb data will be described in detail.
First, the memory access operation of the image input /
図11(A)は、上記NTSCモードにおける図8のCr/Cb領域のバンク0を示したものである。
Cr、Cbはcolアドレスによって分割し、colアドレスが0から255までをCr領域、colアドレスが256から511までをCb領域とする。CBL0〜CBL15は、Cr/Cbそれぞれ32column毎に分割されたcolumn blockである。ここで、書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、Crの32バイトがCBL0に対して行われ、Cbの32バイトがCBL8に対して行われる。順次、ラインが遷移する毎に、CBL1とCBL9、CBL2とCBL10というようにアクセスエリアが遷移する。
FIG. 11A shows
Cr and Cb are divided by a col address, and a col address from 0 to 255 is defined as a Cr area, and a col address from 256 to 511 is defined as a Cb area. CBL0 to CBL15 are column blocks divided every 32 columns of Cr / Cb. Here, in the writing / reading mode, access to 64 bytes of color difference data is performed for 32 bytes of Cr to CBL0 and 32 bytes of Cb to CBL8. Sequentially, each time the line changes, the access area changes such as CBL1 and CBL9 and CBL2 and CBL10.
図10(B)は図11(A)のCr領域のバンク0を拡大し、上記処理を詳細に示したものである。
ここで、RNは、水平ラインの分割数であり色差データの場合RN=5である。上述のように、図9(B)の1ラインの画像データは、Cr、Cbそれぞれ32画素ごとに6分割され、その分割されたLine0の6個のブロックは、Crの場合図10(B)のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次処理される。同様にCbのLine0の6個のブロックは、CBL8エリアに対して処理が行われる。
FIG. 10B shows the above process in detail by enlarging the
Here, RN is the number of divisions of the horizontal line, and in the case of color difference data, RN = 5. As described above, the image data of one line in FIG. 9B is divided into six for every 32 pixels of Cr and Cb, and the six blocks of
また、Line1のCr及びCbに関しては、CBL1及びCBL9エリアに対して同様に処理される。残りのラインの画像データについても同様である。従って、CBL0、CBL8エリアに対しては、図9(B)の8n+0番目(nは、0以上の正数)のラインのそれぞれCr、Cbデータが処理され、以下同様にCBL1、CBL9エリアには、8n+1番目、CBL2、CBL10エリアには、8n+2番目、CBL3、CBL11エリアには、8n+3番目、CBL4、CBL12エリアには、8n+4番目、CBL5、CBL13エリアには、8n+5番目、CBL6、CBL14エリアには、8n+6番目、CBL7、CBL15エリアには、8n+7番目のラインのデータが処理されることになる。
Further, the Cr and Cb of
次に、図1の圧縮・伸張ブロック7のメモリアクセス動作について説明する。
例えば、NTSCモードのCr、Cbが上述のように書き込み処理された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画素の水平方向にCr、Cbそれぞれ8個分存在する。従って、圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCrデータを得ることができ、同様に、CBL8〜CBL15のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCbデータを得る。順次同様にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、Cr、Cbそれぞれ所望のDCTブロックを構成して処理を行う。
Next, the memory access operation of the compression /
For example, on the same row address in which Cr and Cb in NTSC mode are written as described above, the DCT block of 8 pixels × 8 pixels shown in FIG. 9E is Cr in the horizontal direction of the one pixel. , Cb exists for each 8 pieces. Therefore, when the compression /
一方、復号化時には、圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して書き込むことにより図10(B)に示すようにデータを記憶させる。また画像入出力ブロック4は、rowアドレスを順次遷移させながらCrデータの32バイト及びCbデータの32バイト毎に64バースト単位にして連続読み出しを行う。
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression /
次に、PALモードにおける処理動作を説明する。
図9(D)に示すように、PALモードにおける色差データは、Cr、Cbそれぞれ水平方向に1/2に間引かれ、毎ライン交互にCr、Cbデータのどちらか一方が存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、Cr、Cbそれぞれ輝度データと同様に64バイトとなる。
Next, the processing operation in the PAL mode will be described.
As shown in FIG. 9D, the color difference data in the PAL mode is thinned by half in the horizontal direction for Cr and Cb, and either one of Cr or Cb data exists alternately for each line. Further, the DCT block configuration of the color difference data is 8 pixels × 8 pixels as in the luminance data, and the capacity in the COL direction per bank is 512 bytes. Therefore, the burst length in one access is 64 bytes, similarly to the luminance data for Cr and Cb.
図11(B)は、PALモードにおける図8のCr/Cb領域のバンク0を示したものである。
Cr、Cbはrowアドレスによって分割し、本実施の形態ではrowアドレスが864から1079までをCr領域、rowアドレスが1080から1294までをCb領域とする。CBL0〜CBL7は、Cr/Cbそれぞれ64column毎に分割されたcolumn blockである。
FIG. 11B shows
Cr and Cb are divided by a row address. In this embodiment, a row address from 864 to 1079 is a Cr region, and a row address from 1080 to 1294 is a Cb region. CBL0 to CBL7 are column blocks divided into 64 / each Cr / Cb.
ここで、Crデータの書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、図9(D)に示した偶数ラインの場合に行われ、例えばLine0の時はCrの64バイトがCBL0に対して行われる。ラインが順次に遷移する毎にアクセスエリアはCBL7までの間で遷移する。この詳細な処理動作について図12を用いて説明する。
Here, the access of 64 bytes of color difference data in both the writing / reading mode of Cr data is performed in the case of the even line shown in FIG. 9D. For example, in the case of
図12は図11のCrエリアを拡大して実際の画面イメージのデータがメモリ上に配置される様子を示したものである。
ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは水平1ラインの分割数である。上述のように図9(D)の1ラインの画像データは64画素ごとに6分割され、その分割されたLine0の6個のブロックは、図12のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次記憶される。同様に、Line2に関してはCBL1エリアに順次記憶される。残りのラインの画像データについても同様である。
FIG. 12 shows a state in which the Cr area in FIG. 11 is enlarged and actual screen image data is arranged on the memory.
Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9D is divided into six parts every 64 pixels, and the six blocks of
従って、CBL0エリアには、図9(D)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+2番目、CBL2エリアには、8n+4番目、CBL3エリアには、8n+6番目、CBL4エリアには、8n+8番目、CBL5エリアには、8n+10番目、CBL6エリアには、8n+12番目、CBL7エリアには、8n+14番目のラインのデータが順次記憶されることになる。 Accordingly, the data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9D is sequentially stored in the CBL0 area, the 8n + 2th line in the CBL1 area, the 8n + 4th in the CBL2 area, In the CBL3 area, the data of the 8n + 6th, the CBL4 area, the 8n + 8th, the CBL5 area, the 8n + 10th, the CBL6 area, the 8n + 12th data, and the CBL7 area, the 8n + 14th data are sequentially stored. Become.
尚、Cbエリアに関しては、図示せずともCBL0エリアには、図9(D)の8n+1番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+3番目、CBL2エリアには8n+5番目、CBL3エリアには、8n+7番目、CBL4エリアには、8n+9番目、CBL5エリアには、8n+11番目、CBL6エリアには、8n+13番目、CBL7エリアには、8n+15番目のラインのデータが順次記憶されることになる。圧縮・伸張ブロック7の符号化/復号化時のメモリアクセスは、他のモードと同様にアクセスされて、Cr、Cbにおいてそれぞれ所望の8画素×8画素のDCTブロック単位の処理がなされる。
As for the Cb area, although not shown, the CBL0 area sequentially stores the data of the 8n + 1th line (n is a positive number of 0 or more) in FIG. 9D, and the CBL1 area has the 8n + 3rd line. , 8n + 5th in the CBL2 area, 8n + 7th in the CBL3 area, 8n + 9th in the CBL4 area, 8n + 11th in the CBL5 area, 8n + 13th in the CBL6 area, and 8n + 15th in the CBL7 area. Data will be stored sequentially. Memory access at the time of encoding / decoding of the compression /
尚、図11に示すCr、Cbのエリア分割方法は一例であって、例えば図11(A)のCr、Cbを32バイト単位にcolアドレス方向に対して交互に分割しても良い。つまり、colアドレスでCr、Cbが分割されていて、かつ前記条件式(6)から導かれたバースト長分の連続データが同一rowアドレス上に配置出来れば良い。図11(B)については、rowアドレスでCr、Cbが分割されていて、かつ前記条件式(1)から導かれたバースト長分の連続データが同一rowアドレス上に記憶できればよい。 Note that the Cr and Cb area division method shown in FIG. 11 is an example, and for example, Cr and Cb in FIG. 11A may be alternately divided in the col address direction in units of 32 bytes. That is, it is only necessary that Cr and Cb are divided by the col address, and continuous data corresponding to the burst length derived from the conditional expression (6) can be arranged on the same row address. In FIG. 11B, it is only necessary that Cr and Cb are divided by the row address, and continuous data corresponding to the burst length derived from the conditional expression (1) can be stored on the same row address.
1、2、3 入出力端子
4 画像入出力ブロック
5 バッファ
6 メインメモリ
7 圧縮・伸張ブロック
8 システム制御ブロック
Y 輝度信号
Cr、Cb 色差信号
MUX−DATA データ列
Y−MD バッファリングされた輝度信号
C−MD バッファリングされた色差信号
1, 2, 3 Input /
Claims (1)
クロックに同期して同一のロウ(row)アドレスに対してバースト書き込み及びバースト読み出しが可能であって、入力された前記第1の画像信号と前記第2の画像信号を記憶するメモリと、
垂直方向と水平方向がそれぞれ複数画素からなる画素ブロック単位に前記メモリに記憶された第1の画像信号または第2の画像信号を処理する処理手段と、
前記第1の画像信号と前記第2の画像信号における輝度信号の水平ラインそれぞれを前記メモリにアクセスする際のバースト長を有する複数の輝度ラインブロックに分割すると共に前記二つの色差信号の水平ラインをそれぞれ複数の色差ラインブロックに分割し、前記輝度信号と前記二つの色差信号についてそれぞれ同一の前記ブロック内の全ての画素のデータが前記メモリにおける同一のロウアドレスに並ぶよう、前記輝度ラインブロックと前記二つの色差信号の色差ラインブロックを配置する制御手段を備え、
前記制御手段は、前記第1の画像信号については同一の水平ラインの前記二つの色差信号の色差ラインブロックを合わせて前記バースト長となるよう前記二つの色差信号の水平ラインを複数の前記ラインブロックに分割すると共に同一の水平ラインにおいて前記バースト長となる前記二つの色差信号の色差ラインブロックを同一のロウアドレスに配置し、前記第2の画像信号については前記二つの色差信号の色差ラインブロックがそれぞれ前記バースト長となるよう前記二つの色差信号の水平ラインを複数の前記ラインブロックに分割すると共に前記二つの色差信号の色差ラインブロックを互いに異なるロウアドレスに配置することを特徴とする画像信号処理装置。 A first pixel having a luminance signal and two color difference signals, wherein the pixels of the two color difference signals are thinned out in the horizontal direction with respect to the pixels of the luminance signal, and the two color difference signals are present in each horizontal line; And a second image signal in which the pixels of the two color difference signals are thinned out in the horizontal direction with respect to the pixels of the luminance signal and one of the two color difference signals exists alternately for each horizontal line An image signal processing device for processing
A memory capable of burst writing and burst reading with respect to the same row address in synchronization with a clock, and storing the input first image signal and the second image signal;
Processing means for processing the first image signal or the second image signal stored in the memory in units of pixel blocks each having a plurality of pixels in the vertical direction and the horizontal direction;
Each of the horizontal lines of the luminance signal in the first image signal and the second image signal is divided into a plurality of luminance line blocks having a burst length when accessing the memory, and the horizontal lines of the two color difference signals are divided. Each of the luminance line block and the two color difference signals is divided into a plurality of color difference line blocks, and the luminance line block and the two color difference signals are arranged in the same row address in the memory so that the data of all the pixels in the same block are aligned. Comprising a control means for arranging color difference line blocks of two color difference signals;
The control means sets the horizontal line of the two color difference signals to the plurality of line blocks so that the color difference line blocks of the two color difference signals of the same horizontal line for the first image signal are combined to become the burst length. The color difference line blocks of the two color difference signals having the burst length in the same horizontal line are arranged at the same row address, and the color difference line block of the two color difference signals is the second image signal. Image signal processing characterized in that a horizontal line of the two color difference signals is divided into a plurality of line blocks so as to have the burst length, and the color difference line blocks of the two color difference signals are arranged at different row addresses. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004238782A JP3890338B2 (en) | 2004-08-18 | 2004-08-18 | Image signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004238782A JP3890338B2 (en) | 2004-08-18 | 2004-08-18 | Image signal processing device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22239297A Division JP3884830B2 (en) | 1997-08-19 | 1997-08-19 | Image signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005006354A JP2005006354A (en) | 2005-01-06 |
| JP3890338B2 true JP3890338B2 (en) | 2007-03-07 |
Family
ID=34101443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004238782A Expired - Fee Related JP3890338B2 (en) | 2004-08-18 | 2004-08-18 | Image signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3890338B2 (en) |
-
2004
- 2004-08-18 JP JP2004238782A patent/JP3890338B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005006354A (en) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7114039B2 (en) | Signal processor with a plurality of kinds of processors and a shared memory accessed through a versatile control means | |
| KR100203243B1 (en) | How to record video signal of frame on SDRAM | |
| KR20100073029A (en) | Apparatus for image processing and method for managing frame memory in image processing | |
| US8369635B2 (en) | Information processing device and method | |
| JPH11331751A (en) | Tiling in picture memory mapping to minimize memory bandwidth in data sequence compression and decompression | |
| JP2824425B2 (en) | Apparatus for decoding MPEG video bit stream via multiple paths | |
| US7515631B2 (en) | Image processing apparatus and image processing method | |
| WO2007024413A2 (en) | Transpose buffering for video processing | |
| JP3825888B2 (en) | Signal processing apparatus / method and memory storage method | |
| JP2011034370A (en) | Memory controller | |
| US8213731B2 (en) | Information processing device and method | |
| JPH0723397A (en) | Image signal decoding apparatus and image signal decoding method | |
| CN100356780C (en) | Image storing method for compressing video frequency signal decode | |
| JPH08186826A (en) | Image decoding processing method and storage device used for it and image decoder | |
| JP3890338B2 (en) | Image signal processing device | |
| JP3884830B2 (en) | Image signal processing device | |
| JPH08275170A (en) | Image processing device | |
| JPH06189292A (en) | Moving image decoding device | |
| JPH07298264A (en) | Image data processing method, storage device used for the method and processing unit of image data | |
| GB2333201A (en) | Video decoder for high picture quality | |
| KR100575179B1 (en) | Image data processing device | |
| JP4122753B2 (en) | Image processing device | |
| JPH11308620A (en) | Image decoding device | |
| JPH08123943A (en) | Signal processor | |
| JP2001103486A (en) | Video signal decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |