JP3884830B2 - Image signal processing device - Google Patents
Image signal processing device Download PDFInfo
- Publication number
- JP3884830B2 JP3884830B2 JP22239297A JP22239297A JP3884830B2 JP 3884830 B2 JP3884830 B2 JP 3884830B2 JP 22239297 A JP22239297 A JP 22239297A JP 22239297 A JP22239297 A JP 22239297A JP 3884830 B2 JP3884830 B2 JP 3884830B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- signal
- area
- color difference
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Memory System (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像データの符号化、復号化等の処理を行うための画像信号処理装置に関する。
【0002】
【従来の技術】
従来から、膨大なデータ量の各種データを符号化することによりデータ量を削減して比較的低い伝送レートで伝送し得るようにするための各種装置が開発されている。
例えば、画像データを磁気テープ等の記憶媒体に記録するディジタルVTRにおいても124Mbps程度の入力画像データを5分の1の25Mbps程度に圧縮して磁気テープ上に記録し、再生するための規格が制定されている。
【0003】
このような規格に基づくディジタルVTRにおいては、入力データをDCT変換した後に量子化し、この量子化データをハフマン符号化等により可変長符号化することによってデータの圧縮を行っており、さらに量子化する際の量子化ステップを各種のパラメータに基づいて可変したり、可変長符号化された後のデータ量が一定になるようにレート制御が行われる。
【0004】
また、入力画像データをフレーム間又はフィールド間動き補償付き予測符号化を用いて圧縮し、この予測符号化データを上述のようなDCT、量子化及び可変長符号化を用いて更に圧縮するようにしたMPEG規格が制定されており、この規格に対応したCD−ROM等の各種装置が開発されている。
【0005】
【発明が解決しようとする課題】
上述のようなディジタルVTRやCD−ROM等の装置においては、各種信号処理をリアルタイムに行う必要がある。それを実現するために各種信号処理に合わせた複数個のメモリを用いることが考えられているが、装置全体のコストアップ及びダウンサイジングの妨げになるという問題があった。
【0006】
本発明は、上述のような実情に鑑みてなされたものであり、装置全体のコストアップ及びダウンサイジングが可能な画像信号処理装置、画像信号処理方法及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像信号処理装置は、互いにサンプリング周波数が異なる輝度信号と色差信号を入力する入力手段と、前記輝度信号のサンプリング周波数の整数倍の周波数のクロックに従って前記輝度信号と前記色差信号とを画素単位にマルチプレクスしてデータ列信号に変換する変換手段と、前記変換手段より出力されたデータ列信号を一時記憶するバッファメモリと、バーストアクセスによりデータの書き込み及び読み出しを行うメモリであって前記バッファメモリから読み出された前記データ列信号を記憶するメモリと、前記メモリに記憶されたデータ列信号に対して符号化処理を施す符号化手段と、前記バッファメモリを前記輝度信号用の領域と前記色差信号用の領域に分けると共に、前記輝度信号用の領域と前記色差信号用の領域とをそれぞれ前記メモリにおけるバースト長と同じ容量を有する複数のバンクから構成し、前記複数のバンクを書き込みバンクと読み出しバンクに切り替えることにより前記バッファメモリに対する前記輝度信号と前記色差信号の書き込み及び読み出しを制御するシステム制御手段とを備える。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。
図1は、本発明の基本構成を示すブロック図である。
本実施の形態は、図1に示すように各種処理ブロックがシステム制御ブロック8によって制御されつつ各々が所望のタイミングでメモリにアクセスし、それらのアクセス要求をシステム制御ブロック8が調停することで、各ブロックの動作を保証するように構成されている。
【0014】
上記各ブロックは、以下のように動作する。
端子1、端子2、端子3は、輝度信号(以下、Yと記す)と色差信号(以下、Cr、Cbと記す)との比率が4:2:2であるDIフォーマットのディジタルコンポーネント信号の入出力端子である。
【0015】
画像入出力ブロック4は、符号化時には、上記各端子1〜3から入力されたデータに対して色差信号を間引き処理し、輝度信号と色差信号との比率を4:1:1のディジタル信号に変換処理を行い、そのY、Cr、Cbに対してマルチプレクス処理を施したデータ列(以下、MUX−DATAと記す)を出力する。これと共にMUX−DATA列内のY、Cr/Cbをバッファ5に一時バッファリングするためのアドレスであるY−RA、C−RA、イネーブル信号Y−EN、C−ENを発生し、さらにメインメモリ6にアクセスするためのアドレス、Y−MA、C−MA、メモリアクセス要求信号ReqY、ReqCをシステム制御ブロック8に対して発生する。また復号化時には、上記と同様の信号を発生しつつ、バッファ5からMUX−DATAを読み出して4:2:2のディジタルコンポーネント信号に変換し、上記端子1〜3へ出力する。
【0016】
バッファ5は、各周辺ブロックからのアドレス信号(Y−RA、C−RA、YM−RA、CM−RA)、書き込み/読み出しを制御する制御信号(Y−En、C−En、YM−En、CM−En)によって、上記MUX−DATA及び、メインメモリ6に対して書き込み/読み出しを行う輝度信号(以下、Y−MDと記す)と色差信号(以下、C−MDと記す)を所定のデータ長でバッファリングする。メインメモリ6は、システムクロックに同期してデータの書き込み/読み出しを行う。
【0017】
圧縮・伸張ブロック7は、メインメモリ6にアクセスし、画像データに対して離散コサイン変換を用いた可変長符号化/復号化を行う。
システム制御ブロック8は、上記各ブロックからのメインメモリ6に対するアドレス及びメモリアクセス要求信号によりメインメモリ6を含むシステム全体の制御を行う。尚、本実施の形態における上記メインメモリ6は、クロックの立ち上がりに同期してデータのバースト転送を行うことで、高速なリード/ライトのアクセスを可能とするSDRAM(Syncronous−DRAM)が用いられている。
【0018】
このSDRAMに供給されるクロックは、図2に示すようなジッターの無い外部の周波数発振器90から周波数逓倍器92に例えば27.5MHzのクロックを供給し、そこで逓倍されて発生した67.5MHzがリファレンスクロックとして供給される。ここでリファレンスクロック67.5MHz(MCLK)は、周波数発振器94で作られる水平同期信号にロックした13.5MHzの整数倍(5倍)に設定されている。ここで、周波数発振器94から供給される13.5MHzは、Yのサンプリング周波数であり、周波数分周器96で4分周された3.375MHzは、上記4:1:1に変換された後のCr、Cbのサンプリング周波数である。
【0019】
次に、図1における画像入出力ブロック4によってY、Cr、Cbがマルチプレクスされる詳細な動作について図3を用いて説明する。尚、図3において図1と同一部分には同一符号を付してある。
40は一般的なフィルタであり、符号化時には、上記4:2:2で入力された画像データY、Cr、Cbを間引き処理をすることにより、それぞれ4:1:1の画像データEX−Y、EX−Cr、EX−Cbに変換する。また復号化時には、逆に4:1:1の画像データEX−Y、EX−Cr、EX−Cbを色差信号に対して補間処理を行うことにより、4:2:2の画像データY、Cr、Cbに復元して出力する。ここで、EX−Yは、上記13.5MHzに同期し、EX−Cr、EX−Cbは、上記3.375MHzに同期している。
【0020】
42、44、46は、67.5MHzで駆動する双方向のフリップフロップであり、符号化時には、上記画像データEX−Y、EX−Cr、EX−Cbをマルチプレクス処理して67.5MHzに同期したMUX−DATAを生成し、復号化時には、MUX−DATAからデマルチプレクス処理して画像データEX−Y、EX−Cr、EX−Cbを生成する。上記各処理は、それぞれタイミング発生器48から供給される67.5MHzに同期したイネブール信号MUX−Y、MUX−Cr、MUX−Cbによって制御される。タイミング発生器48は、上記以外に67.5MHzに同期したそれぞれのアドレス(Y−RA、C−RA、Y−MA、C−MA)、イネブール信号(Y−En、C−En)、メモリアクセス要求信号(ReqY、ReqC)を発生して周辺ブロックへ供給する。
【0021】
図4は図3における上記マルチプレクス及びデマルチプレクス処理の詳細なタイミングである。図4(a)〜(g)にマルチプレクスのタイミングを示す。(a)は13.5MHzに同期した4:1:1の輝度データEX−Y、(b)は3.375MHzに同期した4:1:1の色差データEX−Cr、同様に(c)は、3.375MHzに同期した4:1:1の色差データEX−Cbである。(d)、(e)、(f)は、67.5MHzに同期したイネブール信号であり、(a)のEX−Yは、(d)のMUX−YがLOWレベルの時に67.5MHzでラッチ出力され、(b)のEX−Crは、(e)のMUX−CrがLOWレベルの時に67.5MHzでラッチ出力され、(c)のEX−Cbは、(f)のMUX−CbがLOWレベルの時に67.5MHzでラッチ出力されることによって、(g)示すようにマルチプレクスデータMUX−DATAが生成される。
【0022】
図4(g)、(a)′〜(f)′にデマルチプレクスのタイミングを示す。(d)′、(e)′、(f)′は、それぞれデマルチプレクス処理を行うときのイネーブル信号MUX−Y、MUX−Cr、MUX−Cbである。そのネーブル信号がLOWレベルの時にそれぞれ67.5MHzでMUX−DATAをラッチ出力することで、デマルチプレクスされたEX−Y(a)′、EX−Cr(b)′、EX−Cb(c)′が生成される。尚、当然のことながら、EX−Y(a)′は13.5MHzに同期し、EX−Cr(b)′、EX−Cb(c)′は3.375MHzに同期したデータ列となる。
【0023】
図5は図1におけるバッファリ5のメモリマップである。容量は全体で256バイトで、上記色差信号EX−Cr、EX−Cbは、アドレス0〜127にマッピングされ、輝度信号EX−Yは、アドレス128〜255にマッピングされる。更に、輝度信号、色差信号のそれぞれの領域は、本実施の形態では、64バイト単位にバンク構成になっている。ここで、アドレス0〜63は、色差信号のためのバンク0(以下、C−B0と記す)、アドレス64〜127は、色差信号のためのバンク1(以下、C−B1と記す)、アドレス128〜191は、輝度信号のためのバンク0(以下、Y−B0と記す)、アドレス192〜255は、輝度信号のためのバンク1(以下、Y−B1と記す)という構成になっていて、画像入出力ブロック4とメインメモリ6の書き込み/読み出し処理とが競合しないようにシステム制御ブロック8によって制御されている。
【0024】
図6はバッファ5に対する符号化時の書き込み/読み出し処理の詳細なタイミング図である。(a)は、画像入出力ブロック4から供給されるマルチプレクスデータMUX−DATAである。(b)、(d)は、MUX−DATAからそれぞれ輝度信号(XY0、XY1、…)及び色差信号(XCr0、XCb0、XCr1、XCb1、…)を抽出し、バッファ5の各領域へ書き込むためのイネーブル信号であり、(c)、(e)は、その際の書き込みアドレスである。
【0025】
上記書き込みアドレスは、(b)のY−EnがLOWレベルの時に(c)のY−RAが選択され、(d)のC−EnがLOWレベルの時に(e)のC−RAが選択される。この時Y−EnとC−Enが同時にLOWレベルになることはあり得ない。従って、輝度信号は、図5のY−B0のアドレス128から順次書き込まれ、色差信号は同様にC−B0のアドレス0から順次書き込まれる。ここで、67.5MHzのが20クロックで1パケットとして、そのパケット単位にまとめて表記したものが(a)である。従って、1パケット内には、輝度データが4バイト、色差データがCr成分/Cb成分それぞれ1バイトづつ含まれる。
【0026】
(f)、(g)は、画像入出力ブロック4からシステム制御ブロック8に供給されるメモリアクセス要求信号であり、輝度データ及び色差データのそれぞれが、バッファ5に64バイト蓄積される毎に出力される。従って、輝度データのメモリアクセス要求信号は、(a)′に示したパケット番号P15がバッファに蓄積された時点で出力される。一方、色差データのメモリアクセス要求信号は、(a)′に示したパケット番号P31がバッファに蓄積された時点で出力される。この時の色差データ64バイトの内訳は、Cr成分が32バイト、Cb成分が32バイトである。但し、これはテレビジョン方式がNTSCモードの場合であり、他のPAL等のモードにおいては、この限りではない。
【0027】
(i)、(k)は、システム制御ブロック8において各ブロックから供給されるメモリアクセス要求信号を調停した結果によって生成されるイネーブル信号YM−En及びCM−Enである。(h)はバッファから読み出された輝度データY−MDであり、YM−EnがLOWレベル期間に読み出しが行われる。同様に(j)はバッファから読み出された色差データC−MDであり、CM−EnがLOWレベル期間に読み出しが行われる。ここで、図示せずも、それぞれの読み出しアドレスは、画像入出力ブロック4がリアルタイムに書き込みを行っているバンクとは逆のバンクから読み出されるように発生される。また、本実施の形態における色差データC−MDの読み出しは、Cr成分/Cb成分それぞれ32バイト毎にまとめてメインメモリ6にアクセスしたいため、偶数/奇数に分けてアドレスを発生する。
【0028】
図7はバッファ5に対する復号化時の書き込み/読み出し処理の詳細なタイミング図である。(a)ReqY、(b)ReqCは、画像入出力ブロック4からシステム制御ブロック8に対するメモリアクセス要求信号であって図3のタイミング発生器48から供給される。ReqYは、(1/13.5MHz×64byte)ns周期で発生し輝度データをアクセスし、ReqCは、(1/6.75MHz×64byte)ns周期で発生し色差データをアクセスする。
【0029】
(c)Y−MD、(d)C−MDは、システム制御ブロック8で上記メモリアクセス要求信号を調停処理した結果、読み出しアドレスをメインメモリ6へ供給することで読み出された輝度データ及び色差データである。本実施の形態におけるメモリアクセスに際してのバースト長は、符号化時と同様に64バイトである。尚、アクセスに際するバースト長の算出手段については後に詳細に説明する。
【0030】
(d)YM−En、(f)CM−Enは、メインメモリ6から同様のバースト長で読み出されたデータをバッファ5へ書き込むためのイネーブル信号であり、それぞれLOWレベル期間にそれぞれのデータの書き込み処理が行われる。尚、図示せずも、システム制御ブロック8からバッファ5に対して書き込みアドレスが供給されるが、前述したようにバンク制御されており、他のブロックの処理と競合しないように発生される。
【0031】
(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAは、上記符号化処理において説明したように、画像入出力ブロック4からバッファ5に供給されるイネーブル信号とリードアドレスである。(k)MUX−DATAは、上記(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAによってラッチ出力された輝度データと色差データがマルチプレクサされたデータ列であり、画像入出力ブロック4へ供給される。
【0032】
次に、メインメモリ6のマッピング方法について説明する。
図8は図1のメインメモリ6のメモリ空間を示したものであり、2フレーム分の容量を備えたビデオメモリ(VM)領域(BS0及びBS1)と、それ以外のデータを記憶するための容量を備えたOthers領域とからそれぞれ構成されており、各領域におけるメモリセルは、1フレーム毎に書き込みモードと読み出しモードとに設定可能であるとともに、必要に応じてVM領域又は、Others領域との間でデータの授受を行うことも可能である。
【0033】
即ち、図1において、上記画像入出力ブロック4はバッファ5を介して専らVM領域との間でデータの授受を行い、圧縮/伸張ブロック7はVM領域とのデータの授受を行うことによって、符号化時には、VM領域からデータを読み出して符号化処理した後に、その後に続く処理部に対して出力し、復号化時には、入力された符号化データに対して復号化処理した後にVM領域に書き込む。この時のアドレスは、図1のシステム制御ブロック8によって列(以下、rowと記す)アドレスと行(以下、colと記す)アドレスとして発生される。
【0034】
次にメインメモリ6にアクセスする際のバースト長の算出方法について図9を参照して説明する。
図9において、(A)は4:1:1に変換されたNTSCモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直480ラインで構成される。(B)は4:1:1に変換されたNTSCモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平180画素×垂直480ラインで構成される。
【0035】
(C)は4:2:0に変換されたPALモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直576ラインで構成される。(D)は4:2:0に変換されたPALモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平360画素×垂直288ラインで構成される。(E)は圧縮・伸張ブロック7が符号化/復号化処理をする時のDCTブロックである。通常n画素×m画素で構成されるが、本実施の形態ではn=m=8としている。
【0036】
ここで、本発明では、メインメモリ6にアクセスする際のバースト長を次の条件式により決定する。
バースト長=(m×N)×n≦COL ………(1)
N:1以上の自然数
COL:バンク(BS0及びBS1)のカラム方向の容量。
ここで、本実施の形態ではCOL=512であるため、式(1)は、
8N×8≦512 ………(2)
となることからN≦8となる。
【0037】
従ってバースト長は、8バイト以上64バイト以下の8の倍数となる。メインメモリ6であるSDRAMを効率良く高速にアクセスするには、rowアドレスを固定し、できるだけ長いバースト長でアクセスするのが望ましい。従って、本実施の形態においては、バースト長を64バイトとする。
【0038】
次に、NTSCモードの場合のYデータのVM領域に対するアクセス方法について図10を用いて詳細に説明する。図10において(A)は、図8のエリアAを拡大し、実際の画面イメージのデータがメモリ以上に配置される様子を示したものである。
ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは、水平1ラインの分割数である。上述の如く図9(A)の1ラインの画像データは64画素ごとに12分割され、その分割されたLine0の12個のブロックは、図10(A)のCBL0エリアに示すように、row方向(アドレス0〜アドレス11)に順次記憶される。同様にLine1に関しては、CBL1エリアに順次記憶される。残りのラインの画像データにおいても同様である。
【0039】
従って、CBL0エリアには、図9(A)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+1番目、CBL2エリアには、8n+2番目、CBL3エリアには、8n+3番目、CBL4エリアには、8n+4番目、CBL5エリアには、8n+5番目、CBL6エリアには、8n+6番目、CBL7エリアには、8n+7番目のラインのデータが順次記憶されることになる。
【0040】
このように記憶された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画面の水平方向に8個分存在する。従って、図1の圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれそれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのデータを得る事ができ、順次同様にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、順次DCTブロックを構成して処理を行う。
【0041】
一方、復号化時においては、図1の圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ、8データを連続して書き込むことにより、図10(A)に示すようにデータを記憶させる。画像入出力ブロック4は、rowアドレスを順次遷移させながら上記データを64バースト単位に連続読み出しを行う。PALモードにおいても同様の処理動作を行う。
【0042】
次に、Cr、CbデータのVM領域に対するアクセス方法について詳細に説明する。まず、画像入出力ブロック4のメモリアクセス動作について説明する。
図9(B)に示すように、NTSCモードにおける色差データは、水平方向に1/4に間引かれ、かつ毎ラインにCr、Cbデータが同時に存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、輝度データと同様に64バイトとなる。但し、上述したようにNTSCモードにおける色差データの性質から、1回のアクセスにおけるバースト長の内訳は、Crの32バイトとCbの32バイトを合わせた64バイトとなる。
【0043】
図11(A)は、上記NTSCモードにおける図8のCr/Cb領域のバンク0を示したものである。Cr、Cbはcolアドレスによって分割し、colアドレスが0から255までをCr領域、colアドレスが256から511までをCb領域とする。CBL0〜CBL15は、Cr/Cbそれぞれ32column毎に分割されたcolumn blockである。ここで、書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、Crの32バイトがCBL0に対して行われ、Cbの32バイトがCBL8に対して行われる。順次、ラインが遷移する毎に、CBL1とCBL9、CBL2とCBL10というようにアクセスエリアが遷移する。
【0044】
図10(B)は図11(A)のCr領域のバンク0を拡大し、上記処理を詳細に示したものである。ここで、RNは、水平ラインの分割数であり色差データの場合RN=5である。上述のように、図9(B)の1ラインの画像データは、Cr、Cbそれぞれ32画素ごとに6分割され、その分割されたLine0の6個のブロックは、Crの場合図10(B)のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次処理される。同様にCbのLine0の6個のブロックは、CBL8エリアに対して処理が行われる。
【0045】
また、Line1のCr及びCbに関しては、CBL1及びCBL9エリアに対して同様に処理される。残りのラインの画像データについても同様である。従って、CBL0、CBL8エリアに対しては、図9(B)の8n+0番目(nは、0以上の正数)のラインのそれぞれCr、Cbデータが処理され、以下同様にCBL1、CBL9エリアには、8n+1番目、CBL2、CBL10エリアには、8n+2番目、CBL3、CBL11エリアには、8n+3番目、CBL4、CBL12エリアには、8n+4番目、CBL5、CBL13エリアには、8n+5番目、CBL6、CBL14エリアには、8n+6番目、CBL7、CBL15エリアには、8n+7番目のラインのデータが処理されることになる。
【0046】
次に、図1の圧縮・伸張ブロック7のメモリアクセス動作について説明する。例えば、NTSCモードのCr、Cbが上述のように書き込み処理された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画素の水平方向にCr、Cbそれぞれ8個分存在する。従って、圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCrデータを得ることができ、同様に、CBL8〜CBL15のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCbデータを得る。
順次同様にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、Cr、Cbそれぞれ所望のDCTブロックを構成して処理を行う。
【0047】
一方、復号化時には、圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して書き込むことにより図10(B)に示すようにデータを記憶させる。また画像入出力ブロック4は、rowアドレスを順次遷移させながらCrデータの32バイト及びCbデータの32バイト毎に64バースト単位にして連続読み出しを行う。
【0048】
次に、PALモードにおける処理動作を説明する。
図9(D)に示すように、PALモードにおける色差データは、Cr、Cbそれぞれ垂直方向に1/2に間引かれ、毎ライン交互にCr、Cbデータのどちらか一方が存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、Cr、Cbそれぞれ輝度データと同様に64バイトとなる。
【0049】
図11(B)は、PALモードにおける図8のCr/Cb領域のバンク0を示したものである。Cr、Cbはrowアドレスによって分割し、本実施の形態ではrowアドレスが864から1079までをCr領域、rowアドレスが1080から1294までをCb領域とする。CBL0〜CBL7は、Cr/Cbそれぞれ64column毎に分割されたcolumn blockである。
【0050】
ここで、Crデータの書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、図9(D)に示した偶数ラインの場合に行われ、例えばLine0の時はCrの64バイトがCBL0に対して行われる。ラインが順次に遷移する毎にアクセスエリアはCBL7までの間で遷移する。この詳細な処理動作について図12を用いて説明する。
【0051】
図12は図11のCrエリアを拡大して実際の画面イメージのデータがメモリ上に配置される様子を示したものである。
ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは水平1ラインの分割数である。上述のように図9(D)の1ラインの画像データは64画素ごとに6分割され、その分割されたLine0の6個のブロックは、図12のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次記憶される。同様に、Line2に関してはCBL1エリアに順次記憶される。残りのラインの画像データについても同様である。
【0052】
従って、CBL0エリアには、図9(D)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+2番目、CBL2エリアには、8n+4番目、CBL3エリアには、8n+6番目、CBL4エリアには、8n+8番目、CBL5エリアには、8n+10番目、CBL6エリアには、8n+12番目、CBL7エリアには、8n+14番目のラインのデータが順次記憶されることになる。
【0053】
尚、Cbエリアに関しては、図示せずともCBL0エリアには、図9(D)の8n+1番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+3番目、CBL2エリアには8n+5番目、CBL3エリアには、8n+7番目、CBL4エリアには、8n+9番目、CBL5エリアには、8n+11番目、CBL6エリアには、8n+13番目、CBL7エリアには、8n+15番目のラインのデータが順次記憶されることになる。圧縮・伸張ブロック7の符号化/復号化時のメモリアクセスは、他のモードと同様にアクセスされて、Cr、Cbにおいてそれぞれ所望の8画素×8画素のDCTブロック単位の処理がなされる。
【0054】
尚、図11に示すCr、Cbのエリア分割方法は一例であって、例えば図11(A)のCr、Cbを32バイト単位にcolアドレス方向に対して交互に分割しても良い。つまり、colアドレスでCr、Cbが分割されていて、かつ前記条件式(6)から導かれたバースト長分の連続データが同一rowアドレス上に配置出来れば良い。図11(B)については、rowアドレスでCr、Cbが分割されていて、かつ前記条件式(1)から導かれたバースト長分の連続データが同一rowアドレス上に記憶できればよい。
【0055】
【発明の効果】
以上説明したように本発明によれば、異なるビットレートのデータ列をマルチプレクスした後に転送することにより、共通のメモリを用いてデータを一系統の伝送路を用いて伝送することができ、ハード量を低減してシステムのコストダウン及びダウンサイジングに大きな効果が得られる。
また、本発明によれば、サンプリング周波数が異なる輝度信号と色差信号とを一時記憶するためにそれぞれのバッファメモリを設ける必要がなく、回路規模を小さくすることができる。
更に、本発明によれば、バッファメモリにおける各バンクのデータはメモリのバースト長と等しいため、メモリに対してデータを書き込む際、1つのバンクを全て読み出せばよいので、アドレス制御を極めて簡単に行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示すブロック図である。
【図2】本発明で用いるクロックを説明するための構成図である。
【図3】画像入出力ブロックの詳細な構成図である。
【図4】マルチプレクス及びデマルチプレクス動作を示すタイミングチャートである。
【図5】バッファ内部のメモリ空間のマッピングを説明するための構成図である。
【図6】マルチプレクスデータをバッファに書き込む時の詳細なタイミング図である。
【図7】マルチプレクスデータをバッファから読み出す時の詳細なタイミング図である。
【図8】メインメモリ空間のマッピングを説明するための構成図である。
【図9】NTSCにおける輝度データ、色差データ及びPALにおける輝度データの1画面の構成図である。
【図10】メインメモリの一部のアドレス例を示す構成図である。
【図11】Cr、Cbのメインメモリに対するマッピングを説明する構成図である。
【図12】本発明のメインメモリにおけるPALモード時のC領域へのアクセス手段を説明するための構成図である。
【符号の説明】
1、2、3 入出力端子
4 画像入出力ブロック
5 バッファ
6 メインメモリ
7 圧縮・伸張ブロック
8 システム制御ブロック
Y 輝度信号
Cr、Cb 色差信号
MUX−DATA データ列
Y−MD バッファリングされた輝度信号
C−MD バッファリングされた色差信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus for performing processing such as encoding and decoding of image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various apparatuses have been developed for encoding various kinds of data with a huge amount of data so that the amount of data can be reduced and transmitted at a relatively low transmission rate.
For example, in a digital VTR that records image data on a storage medium such as magnetic tape, a standard has been established for compressing input image data of about 124 Mbps to about 1/5 of 25 Mbps, and recording and reproducing the data on magnetic tape. Has been.
[0003]
In a digital VTR based on such a standard, the input data is quantized after DCT conversion, and the quantized data is subjected to variable length coding by Huffman coding or the like, thereby compressing the data and further quantizing the data. The rate control is performed so that the quantization step at that time is variable based on various parameters, or the amount of data after the variable length encoding is constant.
[0004]
Further, the input image data is compressed using interframe or interfield motion compensation predictive coding, and the predictive coded data is further compressed using the above-described DCT, quantization, and variable length coding. The MPEG standard has been established, and various devices such as a CD-ROM corresponding to this standard have been developed.
[0005]
[Problems to be solved by the invention]
In a device such as a digital VTR or a CD-ROM as described above, it is necessary to perform various signal processing in real time. In order to realize this, it is considered to use a plurality of memories adapted to various signal processing, but there is a problem that the cost of the whole apparatus is increased and downsizing is hindered.
[0006]
The present invention has been made in view of the above circumstances, and provides an image signal processing apparatus, an image signal processing method, and a computer-readable recording medium capable of increasing the cost and downsizing of the entire apparatus. Objective.
[0007]
[Means for Solving the Problems]
The image signal processing apparatus according to the present invention provides an input means for inputting a luminance signal and a color difference signal having different sampling frequencies and a pixel having the luminance signal and the color difference signal in accordance with a clock having a frequency that is an integral multiple of the sampling frequency of the luminance signal. A conversion means for multiplexing and converting the data into a data string signal; a buffer memory for temporarily storing the data string signal output from the conversion means; and a memory for writing and reading data by burst access. A memory for storing the data string signal read from the memory; an encoding means for performing an encoding process on the data string signal stored in the memory; and the buffer memory for the luminance signal area and the memory The color difference signal area is divided into the luminance signal area and the color difference signal area. Each memory is composed of a plurality of banks having the same capacity as the burst length in the memory, and the writing and reading of the luminance signal and the color difference signal to the buffer memory are controlled by switching the plurality of banks to a writing bank and a reading bank. System control means.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the basic configuration of the present invention.
In the present embodiment, as shown in FIG. 1, various processing blocks are controlled by the
[0014]
Each of the above blocks operates as follows.
[0015]
At the time of encoding, the image input /
[0016]
The
[0017]
The compression /
The
[0018]
The clock supplied to the SDRAM is, for example, a 27.5 MHz clock supplied from an
[0019]
Next, a detailed operation in which Y, Cr, and Cb are multiplexed by the image input /
[0020]
[0021]
FIG. 4 shows the detailed timing of the multiplex and demultiplex processing in FIG. 4A to 4G show the multiplex timing. (A) is 4: 1: 1 luminance data EX-Y synchronized with 13.5 MHz, (b) is 4: 1: 1 color difference data EX-Cr synchronized with 3.375 MHz, and similarly (c) is 3. Color difference data EX-Cb of 4: 1: 1 synchronized with 3.375 MHz. (D), (e), (f) are Inebourg signals synchronized with 67.5 MHz. EX-Y in (a) is latched at 67.5 MHz when MUX-Y in (d) is at LOW level. (B) EX-Cr is latched at 67.5 MHz when (e) MUX-Cr is at LOW level, (c) EX-Cb is (F) MUX-Cb is LOW By latch output at 67.5 MHz at the level, multiplex data MUX-DATA is generated as shown in (g).
[0022]
4 (g) and 4 (a) 'to (f)' show the demultiplex timing. (D) ′, (e) ′, and (f) ′ are enable signals MUX-Y, MUX-Cr, and MUX-Cb when performing demultiplex processing, respectively. When the enable signal is at the LOW level, MUX-DATA is latched and output at 67.5 MHz, so that demultiplexed EX-Y (a) ′, EX-Cr (b) ′, and EX-Cb (c) 'Is generated. As a matter of course, EX-Y (a) ′ is synchronized with 13.5 MHz, and EX-Cr (b) ′ and EX-Cb (c) ′ are data strings synchronized with 3.375 MHz.
[0023]
FIG. 5 is a memory map of the
[0024]
FIG. 6 is a detailed timing chart of the writing / reading process at the time of encoding with respect to the
[0025]
When the Y-En in (b) is at the LOW level, the Y-RA in (c) is selected as the write address, and the C-RA in (e) is selected when the C-En in (d) is at the LOW level. The At this time, Y-En and C-En cannot be at the LOW level at the same time. Therefore, the luminance signal is sequentially written from the
[0026]
(F) and (g) are memory access request signals supplied from the image input /
[0027]
(I) and (k) are enable signals YM-En and CM-En generated as a result of arbitrating the memory access request signal supplied from each block in the
[0028]
FIG. 7 is a detailed timing chart of the writing / reading process at the time of decoding with respect to the
[0029]
(C) Y-MD and (d) C-MD are the luminance data and color difference read by supplying the read address to the
[0030]
(D) YM-En and (f) CM-En are enable signals for writing data read out from the
[0031]
(G) Y-En, (i) C-En, (h) Y-RA, and (i) C-RA are supplied from the image input /
[0032]
Next, the mapping method of the
FIG. 8 shows a memory space of the
[0033]
That is, in FIG. 1, the image input /
[0034]
Next, a method for calculating the burst length when accessing the
In FIG. 9, (A) shows the structure of luminance data (hereinafter referred to as Y) in one frame of NTSC mode converted to 4: 1: 1, and is composed of horizontal 720 pixels × vertical 480 lines. . (B) shows the configuration of the color difference data (hereinafter referred to as Cr and Cb) in the
[0035]
(C) shows the structure of luminance data (hereinafter referred to as Y) in one frame of the PAL mode converted to 4: 2: 0, and is composed of horizontal 720 pixels × vertical 576 lines. (D) shows the structure of color difference data (hereinafter referred to as Cr and Cb) in a
[0036]
In the present invention, the burst length for accessing the
Burst length = (m × N) × n ≦ COL (1)
N: Natural number of 1 or more
COL: Capacity in the column direction of the banks (BS0 and BS1).
Here, since COL = 512 in the present embodiment, the expression (1) is
8N × 8 ≦ 512 (2)
Therefore, N ≦ 8.
[0037]
Therefore, the burst length is a multiple of 8 from 8 bytes to 64 bytes. In order to access the SDRAM, which is the
[0038]
Next, a method for accessing the VM area of Y data in the NTSC mode will be described in detail with reference to FIG. FIG. 10A shows a state in which the area A in FIG. 8 is enlarged and the actual screen image data is arranged beyond the memory.
Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9A is divided into twelve for every 64 pixels, and the twelve blocks of the divided
[0039]
Accordingly, data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9A is sequentially stored in the CBL0 area, the 8n + 1th line in the CBL1 area, the 8n + 2th in the CBL2 area, In the CBL3 area, data of the 8n + 3th, 8th + 4th in the CBL4 area, 8n + 5th in the CBL5 area, 8n + 6th in the CBL6 area, and 8n + 7th data in the CBL7 area are sequentially stored. Become.
[0040]
On the same row address stored in this way, there are eight DCT blocks of 8 pixels × 8 pixels shown in FIG. 9E in the horizontal direction of the one screen. Therefore, when the compression /
[0041]
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression /
[0042]
Next, a method for accessing the VM area of Cr and Cb data will be described in detail. First, the memory access operation of the image input /
As shown in FIG. 9B, the color difference data in the NTSC mode is thinned out to 1/4 in the horizontal direction, and Cr and Cb data exist simultaneously on each line. Further, the DCT block configuration of the color difference data is 8 pixels × 8 pixels as in the luminance data, and the capacity in the COL direction per bank is 512 bytes. Therefore, the burst length in one access is 64 bytes, similarly to the luminance data. However, as described above, due to the nature of the color difference data in the NTSC mode, the breakdown of the burst length in one access is 64 bytes including 32 bytes of Cr and 32 bytes of Cb.
[0043]
FIG. 11A shows
[0044]
FIG. 10B shows the above process in detail by enlarging the
[0045]
Further, the Cr and Cb of
[0046]
Next, the memory access operation of the compression /
By sequentially reading 8 data while sequentially offsetting the col address by 8 with respect to CBL0 to CBL7 and CBL8 to CBL15 in the same manner, Cr and Cb each constitutes a desired DCT block and performs processing.
[0047]
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression /
[0048]
Next, the processing operation in the PAL mode will be described.
As shown in FIG. 9D, the color difference data in the PAL mode is thinned out by half in the vertical direction of Cr and Cb, and either one of Cr or Cb data exists alternately every line. Further, the DCT block configuration of the color difference data is 8 pixels × 8 pixels as in the luminance data, and the capacity in the COL direction per bank is 512 bytes. Therefore, the burst length in one access is 64 bytes, similarly to the luminance data for Cr and Cb.
[0049]
FIG. 11B shows
[0050]
Here, the access of 64 bytes of color difference data in both the writing / reading mode of Cr data is performed in the case of the even line shown in FIG. 9D. For example, in the case of
[0051]
FIG. 12 shows a state in which the Cr area in FIG. 11 is enlarged and actual screen image data is arranged on the memory.
Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9D is divided into six parts every 64 pixels, and the six blocks of
[0052]
Accordingly, data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9D is sequentially stored in the CBL0 area, the 8n + 2th line in the CBL1 area, the 8n + 4th in the CBL2 area, In the CBL3 area, the data of the 8n + 6th, the CBL4 area, the 8n + 8th, the CBL5 area, the 8n + 10th, the CBL6 area, the 8n + 12th data, and the CBL7 area, the 8n + 14th data are sequentially stored. Become.
[0053]
As for the Cb area, although not shown, the CBL0 area sequentially stores the data of the 8n + 1th line (n is a positive number of 0 or more) in FIG. 9D, and the CBL1 area has the 8n + 3rd line. , 8n + 5th in the CBL2 area, 8n + 7th in the CBL3 area, 8n + 9th in the CBL4 area, 8n + 11th in the CBL5 area, 8n + 13th in the CBL6 area, and 8n + 15th in the CBL7 area. Data will be stored sequentially. Memory access at the time of encoding / decoding of the compression /
[0054]
Note that the Cr and Cb area division method shown in FIG. 11 is an example, and for example, Cr and Cb in FIG. 11A may be alternately divided in the col address direction in units of 32 bytes. That is, it is only necessary that Cr and Cb are divided by the col address, and continuous data corresponding to the burst length derived from the conditional expression (6) can be arranged on the same row address. In FIG. 11B, it is only necessary that Cr and Cb are divided by the row address, and continuous data corresponding to the burst length derived from the conditional expression (1) can be stored on the same row address.
[0055]
【The invention's effect】
As described above, according to the present invention, data streams having different bit rates can be transmitted after being multiplexed, whereby data can be transmitted using a common transmission line using a common memory, By reducing the amount, a great effect can be obtained in the cost reduction and downsizing of the system.
In addition, according to the present invention, it is not necessary to provide each buffer memory for temporarily storing luminance signals and color difference signals having different sampling frequencies, and the circuit scale can be reduced.
Furthermore, according to the present invention, since the data in each bank in the buffer memory is equal to the burst length of the memory, it is only necessary to read out one bank when writing data to the memory, so address control is very simple. It can be carried out.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a configuration diagram for explaining a clock used in the present invention;
FIG. 3 is a detailed configuration diagram of an image input / output block.
FIG. 4 is a timing chart showing multiplex and demultiplex operations.
FIG. 5 is a configuration diagram for explaining mapping of a memory space inside a buffer;
FIG. 6 is a detailed timing chart when multiplex data is written to a buffer.
FIG. 7 is a detailed timing chart when reading multiplex data from a buffer.
FIG. 8 is a configuration diagram for explaining mapping of a main memory space.
FIG. 9 is a configuration diagram of one screen of luminance data, color difference data in NTSC, and luminance data in PAL.
FIG. 10 is a configuration diagram illustrating an example of a part of addresses in a main memory.
FIG. 11 is a configuration diagram illustrating mapping of Cr and Cb to a main memory.
FIG. 12 is a block diagram for explaining means for accessing a C area in the PAL mode in the main memory of the present invention.
[Explanation of symbols]
1, 2, 3 I / O terminals
4 Image input / output block
5 buffers
6 Main memory
7 Compression / decompression block
8 System control block
Y Luminance signal
Cr, Cb color difference signal
MUX-DATA data string
Y-MD buffered luminance signal
C-MD buffered color difference signal
Claims (1)
前記輝度信号のサンプリング周波数の整数倍の周波数のクロックに従って前記輝度信号と前記色差信号とを画素単位にマルチプレクスしてデータ列信号に変換する変換手段と、
前記変換手段より出力されたデータ列信号を一時記憶するバッファメモリと、
バーストアクセスによりデータの書き込み及び読み出しを行うメモリであって前記バッファメモリから読み出された前記データ列信号を記憶するメモリと、
前記メモリに記憶されたデータ列信号に対して符号化処理を施す符号化手段と、
前記バッファメモリを前記輝度信号用の領域と前記色差信号用の領域に分けると共に、前記輝度信号用の領域と前記色差信号用の領域とをそれぞれ前記メモリにおけるバースト長と同じ容量を有する複数のバンクから構成し、前記複数のバンクを書き込みバンクと読み出しバンクに切り替えることにより前記バッファメモリに対する前記輝度信号と前記色差信号の書き込み及び読み出しを制御するシステム制御手段とを備えることを特徴とする画像信号処理装置。Input means for inputting luminance signals and color difference signals having different sampling frequencies;
Conversion means for multiplexing the luminance signal and the color difference signal in units of pixels in accordance with a clock having a frequency that is an integral multiple of the sampling frequency of the luminance signal, and converting it into a data string signal;
A buffer memory for temporarily storing the data string signal output from the conversion means;
A memory for writing and reading data by burst access and storing the data string signal read from the buffer memory;
Encoding means for performing an encoding process on the data string signal stored in the memory;
The buffer memory is divided into the luminance signal area and the chrominance signal area, and the luminance signal area and the chrominance signal area each have a plurality of banks having the same capacity as the burst length in the memory. Image signal processing comprising: system control means for controlling writing and reading of the luminance signal and the color difference signal to and from the buffer memory by switching the plurality of banks to a writing bank and a reading bank apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22239297A JP3884830B2 (en) | 1997-08-19 | 1997-08-19 | Image signal processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22239297A JP3884830B2 (en) | 1997-08-19 | 1997-08-19 | Image signal processing device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004238782A Division JP3890338B2 (en) | 2004-08-18 | 2004-08-18 | Image signal processing device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH1169376A JPH1169376A (en) | 1999-03-09 |
| JPH1169376A5 JPH1169376A5 (en) | 2005-06-02 |
| JP3884830B2 true JP3884830B2 (en) | 2007-02-21 |
Family
ID=16781657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22239297A Expired - Fee Related JP3884830B2 (en) | 1997-08-19 | 1997-08-19 | Image signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3884830B2 (en) |
-
1997
- 1997-08-19 JP JP22239297A patent/JP3884830B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1169376A (en) | 1999-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7114039B2 (en) | Signal processor with a plurality of kinds of processors and a shared memory accessed through a versatile control means | |
| RU2160969C2 (en) | Decoder of movable image and process recording group of data of videosignal in synchronous dynamic device | |
| JPH11331751A (en) | Tiling in picture memory mapping to minimize memory bandwidth in data sequence compression and decompression | |
| KR20100073029A (en) | Apparatus for image processing and method for managing frame memory in image processing | |
| JP2824425B2 (en) | Apparatus for decoding MPEG video bit stream via multiple paths | |
| JP4517592B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP3825888B2 (en) | Signal processing apparatus / method and memory storage method | |
| US20050013361A1 (en) | Compression-encoded data decoding apparatus | |
| JPH0723397A (en) | Image signal decoding apparatus and image signal decoding method | |
| US6233280B1 (en) | Video decoder for high picture quality | |
| JP3884830B2 (en) | Image signal processing device | |
| JPH08275170A (en) | Image processing device | |
| JP3890338B2 (en) | Image signal processing device | |
| JPH06189292A (en) | Moving image decoding device | |
| JPH07298264A (en) | Image data processing method, storage device used for the method and processing unit of image data | |
| KR100575179B1 (en) | Image data processing device | |
| JP3507146B2 (en) | Signal processing apparatus and method | |
| JP3599385B2 (en) | Signal processing apparatus and method | |
| JP3847848B2 (en) | Signal processing device | |
| JP4122753B2 (en) | Image processing device | |
| JPH11308620A (en) | Image decoding device | |
| KR970008413B1 (en) | Image decoder | |
| JP2001103486A (en) | Video signal decoder | |
| JPH1169303A (en) | Data processing device, data processing method, and computer-readable recording medium | |
| JPH03289786A (en) | Image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040818 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061120 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |