Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3884830B2 - Image signal processing device - Google Patents
[go: Go Back, main page]

JP3884830B2 - Image signal processing device - Google Patents

Image signal processing device Download PDF

Info

Publication number
JP3884830B2
JP3884830B2 JP22239297A JP22239297A JP3884830B2 JP 3884830 B2 JP3884830 B2 JP 3884830B2 JP 22239297 A JP22239297 A JP 22239297A JP 22239297 A JP22239297 A JP 22239297A JP 3884830 B2 JP3884830 B2 JP 3884830B2
Authority
JP
Japan
Prior art keywords
data
signal
area
color difference
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22239297A
Other languages
Japanese (ja)
Other versions
JPH1169376A5 (en
JPH1169376A (en
Inventor
秀典 星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP22239297A priority Critical patent/JP3884830B2/en
Publication of JPH1169376A publication Critical patent/JPH1169376A/en
Publication of JPH1169376A5 publication Critical patent/JPH1169376A5/en
Application granted granted Critical
Publication of JP3884830B2 publication Critical patent/JP3884830B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Memory System (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データの符号化、復号化等の処理を行うための画像信号処理装置に関する。
【0002】
【従来の技術】
従来から、膨大なデータ量の各種データを符号化することによりデータ量を削減して比較的低い伝送レートで伝送し得るようにするための各種装置が開発されている。
例えば、画像データを磁気テープ等の記憶媒体に記録するディジタルVTRにおいても124Mbps程度の入力画像データを5分の1の25Mbps程度に圧縮して磁気テープ上に記録し、再生するための規格が制定されている。
【0003】
このような規格に基づくディジタルVTRにおいては、入力データをDCT変換した後に量子化し、この量子化データをハフマン符号化等により可変長符号化することによってデータの圧縮を行っており、さらに量子化する際の量子化ステップを各種のパラメータに基づいて可変したり、可変長符号化された後のデータ量が一定になるようにレート制御が行われる。
【0004】
また、入力画像データをフレーム間又はフィールド間動き補償付き予測符号化を用いて圧縮し、この予測符号化データを上述のようなDCT、量子化及び可変長符号化を用いて更に圧縮するようにしたMPEG規格が制定されており、この規格に対応したCD−ROM等の各種装置が開発されている。
【0005】
【発明が解決しようとする課題】
上述のようなディジタルVTRやCD−ROM等の装置においては、各種信号処理をリアルタイムに行う必要がある。それを実現するために各種信号処理に合わせた複数個のメモリを用いることが考えられているが、装置全体のコストアップ及びダウンサイジングの妨げになるという問題があった。
【0006】
本発明は、上述のような実情に鑑みてなされたものであり、装置全体のコストアップ及びダウンサイジングが可能な画像信号処理装置、画像信号処理方法及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像信号処理装置は、互いにサンプリング周波数が異なる輝度信号と色差信号を入力する入力手段と、前記輝度信号のサンプリング周波数の整数倍の周波数のクロックに従って前記輝度信号と前記色差信号とを画素単位にマルチプレクスしてデータ列信号に変換する変換手段と、前記変換手段より出力されたデータ列信号を一時記憶するバッファメモリと、バーストアクセスによりデータの書き込み及び読み出しを行うメモリであって前記バッファメモリから読み出された前記データ列信号を記憶するメモリと、前記メモリに記憶されたデータ列信号に対して符号化処理を施す符号化手段と、前記バッファメモリを前記輝度信号用の領域と前記色差信号用の領域に分けると共に、前記輝度信号用の領域と前記色差信号用の領域とをそれぞれ前記メモリにおけるバースト長と同じ容量を有する複数のバンクから構成し、前記複数のバンクを書き込みバンクと読み出しバンクに切り替えることにより前記バッファメモリに対する前記輝度信号と前記色差信号の書き込み及び読み出しを制御するシステム制御手段とを備える。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を図面を用いて説明する。
図1は、本発明の基本構成を示すブロック図である。
本実施の形態は、図1に示すように各種処理ブロックがシステム制御ブロック8によって制御されつつ各々が所望のタイミングでメモリにアクセスし、それらのアクセス要求をシステム制御ブロック8が調停することで、各ブロックの動作を保証するように構成されている。
【0014】
上記各ブロックは、以下のように動作する。
端子1、端子2、端子3は、輝度信号(以下、Yと記す)と色差信号(以下、Cr、Cbと記す)との比率が4:2:2であるDIフォーマットのディジタルコンポーネント信号の入出力端子である。
【0015】
画像入出力ブロック4は、符号化時には、上記各端子1〜3から入力されたデータに対して色差信号を間引き処理し、輝度信号と色差信号との比率を4:1:1のディジタル信号に変換処理を行い、そのY、Cr、Cbに対してマルチプレクス処理を施したデータ列(以下、MUX−DATAと記す)を出力する。これと共にMUX−DATA列内のY、Cr/Cbをバッファ5に一時バッファリングするためのアドレスであるY−RA、C−RA、イネーブル信号Y−EN、C−ENを発生し、さらにメインメモリ6にアクセスするためのアドレス、Y−MA、C−MA、メモリアクセス要求信号ReqY、ReqCをシステム制御ブロック8に対して発生する。また復号化時には、上記と同様の信号を発生しつつ、バッファ5からMUX−DATAを読み出して4:2:2のディジタルコンポーネント信号に変換し、上記端子1〜3へ出力する。
【0016】
バッファ5は、各周辺ブロックからのアドレス信号(Y−RA、C−RA、YM−RA、CM−RA)、書き込み/読み出しを制御する制御信号(Y−En、C−En、YM−En、CM−En)によって、上記MUX−DATA及び、メインメモリ6に対して書き込み/読み出しを行う輝度信号(以下、Y−MDと記す)と色差信号(以下、C−MDと記す)を所定のデータ長でバッファリングする。メインメモリ6は、システムクロックに同期してデータの書き込み/読み出しを行う。
【0017】
圧縮・伸張ブロック7は、メインメモリ6にアクセスし、画像データに対して離散コサイン変換を用いた可変長符号化/復号化を行う。
システム制御ブロック8は、上記各ブロックからのメインメモリ6に対するアドレス及びメモリアクセス要求信号によりメインメモリ6を含むシステム全体の制御を行う。尚、本実施の形態における上記メインメモリ6は、クロックの立ち上がりに同期してデータのバースト転送を行うことで、高速なリード/ライトのアクセスを可能とするSDRAM(Syncronous−DRAM)が用いられている。
【0018】
このSDRAMに供給されるクロックは、図2に示すようなジッターの無い外部の周波数発振器90から周波数逓倍器92に例えば27.5MHzのクロックを供給し、そこで逓倍されて発生した67.5MHzがリファレンスクロックとして供給される。ここでリファレンスクロック67.5MHz(MCLK)は、周波数発振器94で作られる水平同期信号にロックした13.5MHzの整数倍(5倍)に設定されている。ここで、周波数発振器94から供給される13.5MHzは、Yのサンプリング周波数であり、周波数分周器96で4分周された3.375MHzは、上記4:1:1に変換された後のCr、Cbのサンプリング周波数である。
【0019】
次に、図1における画像入出力ブロック4によってY、Cr、Cbがマルチプレクスされる詳細な動作について図3を用いて説明する。尚、図3において図1と同一部分には同一符号を付してある。
40は一般的なフィルタであり、符号化時には、上記4:2:2で入力された画像データY、Cr、Cbを間引き処理をすることにより、それぞれ4:1:1の画像データEX−Y、EX−Cr、EX−Cbに変換する。また復号化時には、逆に4:1:1の画像データEX−Y、EX−Cr、EX−Cbを色差信号に対して補間処理を行うことにより、4:2:2の画像データY、Cr、Cbに復元して出力する。ここで、EX−Yは、上記13.5MHzに同期し、EX−Cr、EX−Cbは、上記3.375MHzに同期している。
【0020】
42、44、46は、67.5MHzで駆動する双方向のフリップフロップであり、符号化時には、上記画像データEX−Y、EX−Cr、EX−Cbをマルチプレクス処理して67.5MHzに同期したMUX−DATAを生成し、復号化時には、MUX−DATAからデマルチプレクス処理して画像データEX−Y、EX−Cr、EX−Cbを生成する。上記各処理は、それぞれタイミング発生器48から供給される67.5MHzに同期したイネブール信号MUX−Y、MUX−Cr、MUX−Cbによって制御される。タイミング発生器48は、上記以外に67.5MHzに同期したそれぞれのアドレス(Y−RA、C−RA、Y−MA、C−MA)、イネブール信号(Y−En、C−En)、メモリアクセス要求信号(ReqY、ReqC)を発生して周辺ブロックへ供給する。
【0021】
図4は図3における上記マルチプレクス及びデマルチプレクス処理の詳細なタイミングである。図4(a)〜(g)にマルチプレクスのタイミングを示す。(a)は13.5MHzに同期した4:1:1の輝度データEX−Y、(b)は3.375MHzに同期した4:1:1の色差データEX−Cr、同様に(c)は、3.375MHzに同期した4:1:1の色差データEX−Cbである。(d)、(e)、(f)は、67.5MHzに同期したイネブール信号であり、(a)のEX−Yは、(d)のMUX−YがLOWレベルの時に67.5MHzでラッチ出力され、(b)のEX−Crは、(e)のMUX−CrがLOWレベルの時に67.5MHzでラッチ出力され、(c)のEX−Cbは、(f)のMUX−CbがLOWレベルの時に67.5MHzでラッチ出力されることによって、(g)示すようにマルチプレクスデータMUX−DATAが生成される。
【0022】
図4(g)、(a)′〜(f)′にデマルチプレクスのタイミングを示す。(d)′、(e)′、(f)′は、それぞれデマルチプレクス処理を行うときのイネーブル信号MUX−Y、MUX−Cr、MUX−Cbである。そのネーブル信号がLOWレベルの時にそれぞれ67.5MHzでMUX−DATAをラッチ出力することで、デマルチプレクスされたEX−Y(a)′、EX−Cr(b)′、EX−Cb(c)′が生成される。尚、当然のことながら、EX−Y(a)′は13.5MHzに同期し、EX−Cr(b)′、EX−Cb(c)′は3.375MHzに同期したデータ列となる。
【0023】
図5は図1におけるバッファリ5のメモリマップである。容量は全体で256バイトで、上記色差信号EX−Cr、EX−Cbは、アドレス0〜127にマッピングされ、輝度信号EX−Yは、アドレス128〜255にマッピングされる。更に、輝度信号、色差信号のそれぞれの領域は、本実施の形態では、64バイト単位にバンク構成になっている。ここで、アドレス0〜63は、色差信号のためのバンク0(以下、C−B0と記す)、アドレス64〜127は、色差信号のためのバンク1(以下、C−B1と記す)、アドレス128〜191は、輝度信号のためのバンク0(以下、Y−B0と記す)、アドレス192〜255は、輝度信号のためのバンク1(以下、Y−B1と記す)という構成になっていて、画像入出力ブロック4とメインメモリ6の書き込み/読み出し処理とが競合しないようにシステム制御ブロック8によって制御されている。
【0024】
図6はバッファ5に対する符号化時の書き込み/読み出し処理の詳細なタイミング図である。(a)は、画像入出力ブロック4から供給されるマルチプレクスデータMUX−DATAである。(b)、(d)は、MUX−DATAからそれぞれ輝度信号(XY0、XY1、…)及び色差信号(XCr0、XCb0、XCr1、XCb1、…)を抽出し、バッファ5の各領域へ書き込むためのイネーブル信号であり、(c)、(e)は、その際の書き込みアドレスである。
【0025】
上記書き込みアドレスは、(b)のY−EnがLOWレベルの時に(c)のY−RAが選択され、(d)のC−EnがLOWレベルの時に(e)のC−RAが選択される。この時Y−EnとC−Enが同時にLOWレベルになることはあり得ない。従って、輝度信号は、図5のY−B0のアドレス128から順次書き込まれ、色差信号は同様にC−B0のアドレス0から順次書き込まれる。ここで、67.5MHzのが20クロックで1パケットとして、そのパケット単位にまとめて表記したものが(a)である。従って、1パケット内には、輝度データが4バイト、色差データがCr成分/Cb成分それぞれ1バイトづつ含まれる。
【0026】
(f)、(g)は、画像入出力ブロック4からシステム制御ブロック8に供給されるメモリアクセス要求信号であり、輝度データ及び色差データのそれぞれが、バッファ5に64バイト蓄積される毎に出力される。従って、輝度データのメモリアクセス要求信号は、(a)′に示したパケット番号P15がバッファに蓄積された時点で出力される。一方、色差データのメモリアクセス要求信号は、(a)′に示したパケット番号P31がバッファに蓄積された時点で出力される。この時の色差データ64バイトの内訳は、Cr成分が32バイト、Cb成分が32バイトである。但し、これはテレビジョン方式がNTSCモードの場合であり、他のPAL等のモードにおいては、この限りではない。
【0027】
(i)、(k)は、システム制御ブロック8において各ブロックから供給されるメモリアクセス要求信号を調停した結果によって生成されるイネーブル信号YM−En及びCM−Enである。(h)はバッファから読み出された輝度データY−MDであり、YM−EnがLOWレベル期間に読み出しが行われる。同様に(j)はバッファから読み出された色差データC−MDであり、CM−EnがLOWレベル期間に読み出しが行われる。ここで、図示せずも、それぞれの読み出しアドレスは、画像入出力ブロック4がリアルタイムに書き込みを行っているバンクとは逆のバンクから読み出されるように発生される。また、本実施の形態における色差データC−MDの読み出しは、Cr成分/Cb成分それぞれ32バイト毎にまとめてメインメモリ6にアクセスしたいため、偶数/奇数に分けてアドレスを発生する。
【0028】
図7はバッファ5に対する復号化時の書き込み/読み出し処理の詳細なタイミング図である。(a)ReqY、(b)ReqCは、画像入出力ブロック4からシステム制御ブロック8に対するメモリアクセス要求信号であって図3のタイミング発生器48から供給される。ReqYは、(1/13.5MHz×64byte)ns周期で発生し輝度データをアクセスし、ReqCは、(1/6.75MHz×64byte)ns周期で発生し色差データをアクセスする。
【0029】
(c)Y−MD、(d)C−MDは、システム制御ブロック8で上記メモリアクセス要求信号を調停処理した結果、読み出しアドレスをメインメモリ6へ供給することで読み出された輝度データ及び色差データである。本実施の形態におけるメモリアクセスに際してのバースト長は、符号化時と同様に64バイトである。尚、アクセスに際するバースト長の算出手段については後に詳細に説明する。
【0030】
(d)YM−En、(f)CM−Enは、メインメモリ6から同様のバースト長で読み出されたデータをバッファ5へ書き込むためのイネーブル信号であり、それぞれLOWレベル期間にそれぞれのデータの書き込み処理が行われる。尚、図示せずも、システム制御ブロック8からバッファ5に対して書き込みアドレスが供給されるが、前述したようにバンク制御されており、他のブロックの処理と競合しないように発生される。
【0031】
(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAは、上記符号化処理において説明したように、画像入出力ブロック4からバッファ5に供給されるイネーブル信号とリードアドレスである。(k)MUX−DATAは、上記(g)Y−En、(i)C−En、及び(h)Y−RA、(i)C−RAによってラッチ出力された輝度データと色差データがマルチプレクサされたデータ列であり、画像入出力ブロック4へ供給される。
【0032】
次に、メインメモリ6のマッピング方法について説明する。
図8は図1のメインメモリ6のメモリ空間を示したものであり、2フレーム分の容量を備えたビデオメモリ(VM)領域(BS0及びBS1)と、それ以外のデータを記憶するための容量を備えたOthers領域とからそれぞれ構成されており、各領域におけるメモリセルは、1フレーム毎に書き込みモードと読み出しモードとに設定可能であるとともに、必要に応じてVM領域又は、Others領域との間でデータの授受を行うことも可能である。
【0033】
即ち、図1において、上記画像入出力ブロック4はバッファ5を介して専らVM領域との間でデータの授受を行い、圧縮/伸張ブロック7はVM領域とのデータの授受を行うことによって、符号化時には、VM領域からデータを読み出して符号化処理した後に、その後に続く処理部に対して出力し、復号化時には、入力された符号化データに対して復号化処理した後にVM領域に書き込む。この時のアドレスは、図1のシステム制御ブロック8によって列(以下、rowと記す)アドレスと行(以下、colと記す)アドレスとして発生される。
【0034】
次にメインメモリ6にアクセスする際のバースト長の算出方法について図9を参照して説明する。
図9において、(A)は4:1:1に変換されたNTSCモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直480ラインで構成される。(B)は4:1:1に変換されたNTSCモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平180画素×垂直480ラインで構成される。
【0035】
(C)は4:2:0に変換されたPALモード1フレームにおける輝度データ(以下、Yと記す)の構成を示したもので、水平720画素×垂直576ラインで構成される。(D)は4:2:0に変換されたPALモード1フレームにおける色差データ(以下、Cr、Cbと記す)の構成を示したもので、Cr、Cbそれぞれ水平360画素×垂直288ラインで構成される。(E)は圧縮・伸張ブロック7が符号化/復号化処理をする時のDCTブロックである。通常n画素×m画素で構成されるが、本実施の形態ではn=m=8としている。
【0036】
ここで、本発明では、メインメモリ6にアクセスする際のバースト長を次の条件式により決定する。
バースト長=(m×N)×n≦COL ………(1)
N:1以上の自然数
COL:バンク(BS0及びBS1)のカラム方向の容量。
ここで、本実施の形態ではCOL=512であるため、式(1)は、
8N×8≦512 ………(2)
となることからN≦8となる。
【0037】
従ってバースト長は、8バイト以上64バイト以下の8の倍数となる。メインメモリ6であるSDRAMを効率良く高速にアクセスするには、rowアドレスを固定し、できるだけ長いバースト長でアクセスするのが望ましい。従って、本実施の形態においては、バースト長を64バイトとする。
【0038】
次に、NTSCモードの場合のYデータのVM領域に対するアクセス方法について図10を用いて詳細に説明する。図10において(A)は、図8のエリアAを拡大し、実際の画面イメージのデータがメモリ以上に配置される様子を示したものである。
ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは、水平1ラインの分割数である。上述の如く図9(A)の1ラインの画像データは64画素ごとに12分割され、その分割されたLine0の12個のブロックは、図10(A)のCBL0エリアに示すように、row方向(アドレス0〜アドレス11)に順次記憶される。同様にLine1に関しては、CBL1エリアに順次記憶される。残りのラインの画像データにおいても同様である。
【0039】
従って、CBL0エリアには、図9(A)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+1番目、CBL2エリアには、8n+2番目、CBL3エリアには、8n+3番目、CBL4エリアには、8n+4番目、CBL5エリアには、8n+5番目、CBL6エリアには、8n+6番目、CBL7エリアには、8n+7番目のラインのデータが順次記憶されることになる。
【0040】
このように記憶された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画面の水平方向に8個分存在する。従って、図1の圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれそれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのデータを得る事ができ、順次同様にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、順次DCTブロックを構成して処理を行う。
【0041】
一方、復号化時においては、図1の圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7に対してcolアドレスを8づつオフセットしつつ、8データを連続して書き込むことにより、図10(A)に示すようにデータを記憶させる。画像入出力ブロック4は、rowアドレスを順次遷移させながら上記データを64バースト単位に連続読み出しを行う。PALモードにおいても同様の処理動作を行う。
【0042】
次に、Cr、CbデータのVM領域に対するアクセス方法について詳細に説明する。まず、画像入出力ブロック4のメモリアクセス動作について説明する。
図9(B)に示すように、NTSCモードにおける色差データは、水平方向に1/4に間引かれ、かつ毎ラインにCr、Cbデータが同時に存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、輝度データと同様に64バイトとなる。但し、上述したようにNTSCモードにおける色差データの性質から、1回のアクセスにおけるバースト長の内訳は、Crの32バイトとCbの32バイトを合わせた64バイトとなる。
【0043】
図11(A)は、上記NTSCモードにおける図8のCr/Cb領域のバンク0を示したものである。Cr、Cbはcolアドレスによって分割し、colアドレスが0から255までをCr領域、colアドレスが256から511までをCb領域とする。CBL0〜CBL15は、Cr/Cbそれぞれ32column毎に分割されたcolumn blockである。ここで、書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、Crの32バイトがCBL0に対して行われ、Cbの32バイトがCBL8に対して行われる。順次、ラインが遷移する毎に、CBL1とCBL9、CBL2とCBL10というようにアクセスエリアが遷移する。
【0044】
図10(B)は図11(A)のCr領域のバンク0を拡大し、上記処理を詳細に示したものである。ここで、RNは、水平ラインの分割数であり色差データの場合RN=5である。上述のように、図9(B)の1ラインの画像データは、Cr、Cbそれぞれ32画素ごとに6分割され、その分割されたLine0の6個のブロックは、Crの場合図10(B)のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次処理される。同様にCbのLine0の6個のブロックは、CBL8エリアに対して処理が行われる。
【0045】
また、Line1のCr及びCbに関しては、CBL1及びCBL9エリアに対して同様に処理される。残りのラインの画像データについても同様である。従って、CBL0、CBL8エリアに対しては、図9(B)の8n+0番目(nは、0以上の正数)のラインのそれぞれCr、Cbデータが処理され、以下同様にCBL1、CBL9エリアには、8n+1番目、CBL2、CBL10エリアには、8n+2番目、CBL3、CBL11エリアには、8n+3番目、CBL4、CBL12エリアには、8n+4番目、CBL5、CBL13エリアには、8n+5番目、CBL6、CBL14エリアには、8n+6番目、CBL7、CBL15エリアには、8n+7番目のラインのデータが処理されることになる。
【0046】
次に、図1の圧縮・伸張ブロック7のメモリアクセス動作について説明する。例えば、NTSCモードのCr、Cbが上述のように書き込み処理された同一のrowアドレス上には、図9(E)に示した8画素×8画素のDCTブロックが上記1画素の水平方向にCr、Cbそれぞれ8個分存在する。従って、圧縮・伸張ブロック7が、このデータを読み出して符号化する場合は、CBL0〜CBL7のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCrデータを得ることができ、同様に、CBL8〜CBL15のそれぞれ先頭アドレスから8データを連続して読み出せば、所望の8画素×8画素のDCTブロックのCbデータを得る。
順次同様にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して読み出すことにより、Cr、Cbそれぞれ所望のDCTブロックを構成して処理を行う。
【0047】
一方、復号化時には、圧縮・伸張ブロック7が復号処理した8画素×8画素データを符号化時とは逆にCBL0〜CBL7、及びCBL8〜CBL15に対してcolアドレスを8づつオフセットしつつ8データを連続して書き込むことにより図10(B)に示すようにデータを記憶させる。また画像入出力ブロック4は、rowアドレスを順次遷移させながらCrデータの32バイト及びCbデータの32バイト毎に64バースト単位にして連続読み出しを行う。
【0048】
次に、PALモードにおける処理動作を説明する。
図9(D)に示すように、PALモードにおける色差データは、Cr、Cbそれぞれ垂直方向に1/2に間引かれ、毎ライン交互にCr、Cbデータのどちらか一方が存在する。また、色差データのDCTブロック構成は、輝度データと同様に8画素×8画素であり、1バンク当たりのCOL方向の容量は512バイトである。従って、1回のアクセスにおけるバースト長は、Cr、Cbそれぞれ輝度データと同様に64バイトとなる。
【0049】
図11(B)は、PALモードにおける図8のCr/Cb領域のバンク0を示したものである。Cr、Cbはrowアドレスによって分割し、本実施の形態ではrowアドレスが864から1079までをCr領域、rowアドレスが1080から1294までをCb領域とする。CBL0〜CBL7は、Cr/Cbそれぞれ64column毎に分割されたcolumn blockである。
【0050】
ここで、Crデータの書き込み/読み出し両モードにおける色差データ64バイトのアクセスは、図9(D)に示した偶数ラインの場合に行われ、例えばLine0の時はCrの64バイトがCBL0に対して行われる。ラインが順次に遷移する毎にアクセスエリアはCBL7までの間で遷移する。この詳細な処理動作について図12を用いて説明する。
【0051】
図12は図11のCrエリアを拡大して実際の画面イメージのデータがメモリ上に配置される様子を示したものである。
ここで、CBL0〜CBL7は、64column毎に分割されたcolumn blockで、RNは水平1ラインの分割数である。上述のように図9(D)の1ラインの画像データは64画素ごとに6分割され、その分割されたLine0の6個のブロックは、図12のCBL0エリアに示すように、row方向(アドレス0〜アドレス5)に順次記憶される。同様に、Line2に関してはCBL1エリアに順次記憶される。残りのラインの画像データについても同様である。
【0052】
従って、CBL0エリアには、図9(D)の8n+0番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+2番目、CBL2エリアには、8n+4番目、CBL3エリアには、8n+6番目、CBL4エリアには、8n+8番目、CBL5エリアには、8n+10番目、CBL6エリアには、8n+12番目、CBL7エリアには、8n+14番目のラインのデータが順次記憶されることになる。
【0053】
尚、Cbエリアに関しては、図示せずともCBL0エリアには、図9(D)の8n+1番目(nは、0以上の正数)のラインのデータが順次記憶され、CBL1エリアには、8n+3番目、CBL2エリアには8n+5番目、CBL3エリアには、8n+7番目、CBL4エリアには、8n+9番目、CBL5エリアには、8n+11番目、CBL6エリアには、8n+13番目、CBL7エリアには、8n+15番目のラインのデータが順次記憶されることになる。圧縮・伸張ブロック7の符号化/復号化時のメモリアクセスは、他のモードと同様にアクセスされて、Cr、Cbにおいてそれぞれ所望の8画素×8画素のDCTブロック単位の処理がなされる。
【0054】
尚、図11に示すCr、Cbのエリア分割方法は一例であって、例えば図11(A)のCr、Cbを32バイト単位にcolアドレス方向に対して交互に分割しても良い。つまり、colアドレスでCr、Cbが分割されていて、かつ前記条件式(6)から導かれたバースト長分の連続データが同一rowアドレス上に配置出来れば良い。図11(B)については、rowアドレスでCr、Cbが分割されていて、かつ前記条件式(1)から導かれたバースト長分の連続データが同一rowアドレス上に記憶できればよい。
【0055】
【発明の効果】
以上説明したように本発明によれば、異なるビットレートのデータ列をマルチプレクスした後に転送することにより、共通のメモリを用いてデータを一系統の伝送路を用いて伝送することができ、ハード量を低減してシステムのコストダウン及びダウンサイジングに大きな効果が得られる。
また、本発明によれば、サンプリング周波数が異なる輝度信号と色差信号とを一時記憶するためにそれぞれのバッファメモリを設ける必要がなく、回路規模を小さくすることができる。
更に、本発明によれば、バッファメモリにおける各バンクのデータはメモリのバースト長と等しいため、メモリに対してデータを書き込む際、1つのバンクを全て読み出せばよいので、アドレス制御を極めて簡単に行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示すブロック図である。
【図2】本発明で用いるクロックを説明するための構成図である。
【図3】画像入出力ブロックの詳細な構成図である。
【図4】マルチプレクス及びデマルチプレクス動作を示すタイミングチャートである。
【図5】バッファ内部のメモリ空間のマッピングを説明するための構成図である。
【図6】マルチプレクスデータをバッファに書き込む時の詳細なタイミング図である。
【図7】マルチプレクスデータをバッファから読み出す時の詳細なタイミング図である。
【図8】メインメモリ空間のマッピングを説明するための構成図である。
【図9】NTSCにおける輝度データ、色差データ及びPALにおける輝度データの1画面の構成図である。
【図10】メインメモリの一部のアドレス例を示す構成図である。
【図11】Cr、Cbのメインメモリに対するマッピングを説明する構成図である。
【図12】本発明のメインメモリにおけるPALモード時のC領域へのアクセス手段を説明するための構成図である。
【符号の説明】
1、2、3 入出力端子
4 画像入出力ブロック
5 バッファ
6 メインメモリ
7 圧縮・伸張ブロック
8 システム制御ブロック
Y 輝度信号
Cr、Cb 色差信号
MUX−DATA データ列
Y−MD バッファリングされた輝度信号
C−MD バッファリングされた色差信号
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus for performing processing such as encoding and decoding of image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various apparatuses have been developed for encoding various kinds of data with a huge amount of data so that the amount of data can be reduced and transmitted at a relatively low transmission rate.
For example, in a digital VTR that records image data on a storage medium such as magnetic tape, a standard has been established for compressing input image data of about 124 Mbps to about 1/5 of 25 Mbps, and recording and reproducing the data on magnetic tape. Has been.
[0003]
In a digital VTR based on such a standard, the input data is quantized after DCT conversion, and the quantized data is subjected to variable length coding by Huffman coding or the like, thereby compressing the data and further quantizing the data. The rate control is performed so that the quantization step at that time is variable based on various parameters, or the amount of data after the variable length encoding is constant.
[0004]
Further, the input image data is compressed using interframe or interfield motion compensation predictive coding, and the predictive coded data is further compressed using the above-described DCT, quantization, and variable length coding. The MPEG standard has been established, and various devices such as a CD-ROM corresponding to this standard have been developed.
[0005]
[Problems to be solved by the invention]
In a device such as a digital VTR or a CD-ROM as described above, it is necessary to perform various signal processing in real time. In order to realize this, it is considered to use a plurality of memories adapted to various signal processing, but there is a problem that the cost of the whole apparatus is increased and downsizing is hindered.
[0006]
The present invention has been made in view of the above circumstances, and provides an image signal processing apparatus, an image signal processing method, and a computer-readable recording medium capable of increasing the cost and downsizing of the entire apparatus. Objective.
[0007]
[Means for Solving the Problems]
The image signal processing apparatus according to the present invention provides an input means for inputting a luminance signal and a color difference signal having different sampling frequencies and a pixel having the luminance signal and the color difference signal in accordance with a clock having a frequency that is an integral multiple of the sampling frequency of the luminance signal. A conversion means for multiplexing and converting the data into a data string signal; a buffer memory for temporarily storing the data string signal output from the conversion means; and a memory for writing and reading data by burst access. A memory for storing the data string signal read from the memory; an encoding means for performing an encoding process on the data string signal stored in the memory; and the buffer memory for the luminance signal area and the memory The color difference signal area is divided into the luminance signal area and the color difference signal area. Each memory is composed of a plurality of banks having the same capacity as the burst length in the memory, and the writing and reading of the luminance signal and the color difference signal to the buffer memory are controlled by switching the plurality of banks to a writing bank and a reading bank. System control means.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the basic configuration of the present invention.
In the present embodiment, as shown in FIG. 1, various processing blocks are controlled by the system control block 8 while each accesses the memory at a desired timing, and the system control block 8 arbitrates those access requests. It is configured to guarantee the operation of each block.
[0014]
Each of the above blocks operates as follows.
Terminal 1, terminal 2, and terminal 3 input DI component digital component signals in which the ratio of the luminance signal (hereinafter referred to as Y) and the color difference signals (hereinafter referred to as Cr and Cb) is 4: 2: 2. Output terminal.
[0015]
At the time of encoding, the image input / output block 4 thins out the color difference signal for the data input from the terminals 1 to 3 so that the ratio of the luminance signal and the color difference signal is converted into a digital signal of 4: 1: 1. A conversion process is performed, and a data string (hereinafter referred to as MUX-DATA) obtained by performing a multiplexing process on the Y, Cr, and Cb is output. At the same time, Y-RA, C-RA and enable signals Y-EN, C-EN, which are addresses for temporarily buffering Y, Cr / Cb in the MUX-DATA column in the buffer 5, are generated, and the main memory 6, Y-MA, C-MA and memory access request signals ReqY, ReqC are generated for the system control block 8. Further, at the time of decoding, MUX-DATA is read from the buffer 5 and converted into a 4: 2: 2 digital component signal while generating a signal similar to the above, and output to the terminals 1 to 3.
[0016]
The buffer 5 includes address signals (Y-RA, C-RA, YM-RA, CM-RA) from each peripheral block, and control signals (Y-En, C-En, YM-En, CM-En) and the luminance signal (hereinafter referred to as Y-MD) and the color difference signal (hereinafter referred to as C-MD) for writing / reading data to / from the main memory 6 by the predetermined data. Buffer long. The main memory 6 writes / reads data in synchronization with the system clock.
[0017]
The compression / decompression block 7 accesses the main memory 6 and performs variable length encoding / decoding using discrete cosine transform on the image data.
The system control block 8 controls the entire system including the main memory 6 based on an address and a memory access request signal for the main memory 6 from each block. The main memory 6 according to the present embodiment uses an SDRAM (Synchronous DRAM) that enables high-speed read / write access by performing burst transfer of data in synchronization with the rising edge of the clock. Yes.
[0018]
The clock supplied to the SDRAM is, for example, a 27.5 MHz clock supplied from an external frequency oscillator 90 without jitter to the frequency multiplier 92 as shown in FIG. Supplied as a clock. Here, the reference clock 67.5 MHz (MCLK) is set to an integral multiple (5 times) of 13.5 MHz locked to the horizontal synchronizing signal generated by the frequency oscillator 94. Here, 13.5 MHz supplied from the frequency oscillator 94 is a sampling frequency of Y, and 3.375 MHz divided by 4 by the frequency divider 96 is converted to the above 4: 1: 1. It is the sampling frequency of Cr and Cb.
[0019]
Next, a detailed operation in which Y, Cr, and Cb are multiplexed by the image input / output block 4 in FIG. 1 will be described with reference to FIG. In FIG. 3, the same parts as those in FIG.
Reference numeral 40 denotes a general filter. At the time of encoding, image data EX-Y of 4: 1: 1 is obtained by thinning out the image data Y, Cr, and Cb input at 4: 2: 2. , EX-Cr, EX-Cb. On the other hand, at the time of decoding, 4: 2: 1 image data Y, Cr is obtained by interpolating the 4: 1: 1 image data EX-Y, EX-Cr, EX-Cb on the color difference signal. , Cb is restored and output. Here, EX-Y is synchronized with the above 13.5 MHz, and EX-Cr and EX-Cb are synchronized with the above 3.375 MHz.
[0020]
Reference numerals 42, 44, and 46 are bidirectional flip-flops driven at 67.5 MHz. At the time of encoding, the image data EX-Y, EX-Cr, and EX-Cb are multiplexed and synchronized to 67.5 MHz. The generated MUX-DATA is generated, and at the time of decoding, demultiplex processing is performed from the MUX-DATA to generate image data EX-Y, EX-Cr, and EX-Cb. Each of the above processes is controlled by the Enebourg signals MUX-Y, MUX-Cr, and MUX-Cb synchronized with 67.5 MHz supplied from the timing generator 48, respectively. In addition to the above, the timing generator 48 is provided with each address (Y-RA, C-RA, Y-MA, C-MA) synchronized with 67.5 MHz, an Enebourg signal (Y-En, C-En), memory access Request signals (ReqY, ReqC) are generated and supplied to the peripheral blocks.
[0021]
FIG. 4 shows the detailed timing of the multiplex and demultiplex processing in FIG. 4A to 4G show the multiplex timing. (A) is 4: 1: 1 luminance data EX-Y synchronized with 13.5 MHz, (b) is 4: 1: 1 color difference data EX-Cr synchronized with 3.375 MHz, and similarly (c) is 3. Color difference data EX-Cb of 4: 1: 1 synchronized with 3.375 MHz. (D), (e), (f) are Inebourg signals synchronized with 67.5 MHz. EX-Y in (a) is latched at 67.5 MHz when MUX-Y in (d) is at LOW level. (B) EX-Cr is latched at 67.5 MHz when (e) MUX-Cr is at LOW level, (c) EX-Cb is (F) MUX-Cb is LOW By latch output at 67.5 MHz at the level, multiplex data MUX-DATA is generated as shown in (g).
[0022]
4 (g) and 4 (a) 'to (f)' show the demultiplex timing. (D) ′, (e) ′, and (f) ′ are enable signals MUX-Y, MUX-Cr, and MUX-Cb when performing demultiplex processing, respectively. When the enable signal is at the LOW level, MUX-DATA is latched and output at 67.5 MHz, so that demultiplexed EX-Y (a) ′, EX-Cr (b) ′, and EX-Cb (c) 'Is generated. As a matter of course, EX-Y (a) ′ is synchronized with 13.5 MHz, and EX-Cr (b) ′ and EX-Cb (c) ′ are data strings synchronized with 3.375 MHz.
[0023]
FIG. 5 is a memory map of the buffer 5 in FIG. The total capacity is 256 bytes. The color difference signals EX-Cr and EX-Cb are mapped to addresses 0 to 127, and the luminance signal EX-Y is mapped to addresses 128 to 255. Furthermore, each region of the luminance signal and the color difference signal has a bank configuration in units of 64 bytes in the present embodiment. Here, addresses 0 to 63 are bank 0 (hereinafter referred to as C-B0) for color difference signals, and addresses 64 to 127 are bank 1 (hereinafter referred to as C-B1) and addresses for color difference signals. 128 to 191 are configured as a bank 0 for luminance signals (hereinafter referred to as Y-B0), and addresses 192 to 255 are configured as a bank 1 for luminance signals (hereinafter referred to as Y-B1). The system input / output block 4 and the main memory 6 are controlled by the system control block 8 so as not to compete with each other.
[0024]
FIG. 6 is a detailed timing chart of the writing / reading process at the time of encoding with respect to the buffer 5. (A) is multiplexed data MUX-DATA supplied from the image input / output block 4. (B) and (d) are for extracting the luminance signals (XY0, XY1,...) And the color difference signals (XCr0, XCb0, XCr1, XCb1,...) From the MUX-DATA, respectively, and writing them to the respective areas of the buffer 5. This is an enable signal, and (c) and (e) are write addresses at that time.
[0025]
When the Y-En in (b) is at the LOW level, the Y-RA in (c) is selected as the write address, and the C-RA in (e) is selected when the C-En in (d) is at the LOW level. The At this time, Y-En and C-En cannot be at the LOW level at the same time. Therefore, the luminance signal is sequentially written from the address 128 of Y-B0 in FIG. 5, and the color difference signal is similarly written from the address 0 of C-B0. Here, 67.5 MHz is 20 packets and one packet is represented as a packet in (a). Therefore, one packet contains 4 bytes of luminance data and 1 byte of color difference data for each of the Cr component / Cb component.
[0026]
(F) and (g) are memory access request signals supplied from the image input / output block 4 to the system control block 8, and are output each time 64 bytes of luminance data and color difference data are accumulated in the buffer 5. Is done. Accordingly, the memory access request signal for luminance data is output when the packet number P15 shown in (a) ′ is accumulated in the buffer. On the other hand, the memory access request signal for color difference data is output when the packet number P31 shown in (a) ′ is accumulated in the buffer. The breakdown of the color difference data of 64 bytes at this time is that the Cr component is 32 bytes and the Cb component is 32 bytes. However, this is the case where the television system is in the NTSC mode, and this is not the case in other modes such as PAL.
[0027]
(I) and (k) are enable signals YM-En and CM-En generated as a result of arbitrating the memory access request signal supplied from each block in the system control block 8. (H) is luminance data Y-MD read from the buffer, and YM-En is read during the LOW level period. Similarly, (j) is the color difference data C-MD read from the buffer, and CM-En is read during the LOW level period. Here, although not shown, each read address is generated so that the image input / output block 4 is read from a bank opposite to the bank to which the image input / output block 4 is writing in real time. In addition, in reading the color difference data C-MD in the present embodiment, since it is desired to access the main memory 6 in units of 32 bytes each for the Cr component / Cb component, addresses are generated separately for even / odd.
[0028]
FIG. 7 is a detailed timing chart of the writing / reading process at the time of decoding with respect to the buffer 5. (A) ReqY and (b) ReqC are memory access request signals from the image input / output block 4 to the system control block 8, and are supplied from the timing generator 48 of FIG. ReqY is generated in a cycle of (1 / 13.5 MHz × 64 bytes) ns and accesses luminance data, and ReqC is generated in a cycle of (1 / 6.75 MHz × 64 bytes) ns and accesses color difference data.
[0029]
(C) Y-MD and (d) C-MD are the luminance data and color difference read by supplying the read address to the main memory 6 as a result of the arbitration processing of the memory access request signal in the system control block 8. It is data. The burst length at the time of memory access in this embodiment is 64 bytes as in the case of encoding. The means for calculating the burst length for access will be described in detail later.
[0030]
(D) YM-En and (f) CM-En are enable signals for writing data read out from the main memory 6 with the same burst length to the buffer 5, and each of the data in the LOW level period. Write processing is performed. Although not shown, a write address is supplied from the system control block 8 to the buffer 5, but as described above, bank control is performed so that it does not conflict with the processing of other blocks.
[0031]
(G) Y-En, (i) C-En, (h) Y-RA, and (i) C-RA are supplied from the image input / output block 4 to the buffer 5 as described in the encoding process. Enable signal and read address. (K) MUX-DATA is multiplexed with luminance data and color difference data latched and output by (g) Y-En, (i) C-En, and (h) Y-RA, (i) C-RA. And is supplied to the image input / output block 4.
[0032]
Next, the mapping method of the main memory 6 will be described.
FIG. 8 shows a memory space of the main memory 6 of FIG. 1, and a video memory (VM) area (BS0 and BS1) having a capacity for two frames and a capacity for storing other data. The memory cells in each region can be set to the write mode and the read mode for each frame, and between the VM region or the Others region as necessary. It is also possible to exchange data with.
[0033]
That is, in FIG. 1, the image input / output block 4 exchanges data with the VM area exclusively through the buffer 5, and the compression / decompression block 7 exchanges data with the VM area. At the time of encoding, data is read from the VM area and encoded, and then output to the subsequent processing unit. At the time of decoding, the input encoded data is decoded and written to the VM area. The addresses at this time are generated by the system control block 8 in FIG. 1 as column (hereinafter referred to as row) addresses and row (hereinafter referred to as col) addresses.
[0034]
Next, a method for calculating the burst length when accessing the main memory 6 will be described with reference to FIG.
In FIG. 9, (A) shows the structure of luminance data (hereinafter referred to as Y) in one frame of NTSC mode converted to 4: 1: 1, and is composed of horizontal 720 pixels × vertical 480 lines. . (B) shows the configuration of the color difference data (hereinafter referred to as Cr and Cb) in the NTSC mode 1 frame converted to 4: 1: 1. Each of Cr and Cb is composed of horizontal 180 pixels × vertical 480 lines. Is done.
[0035]
(C) shows the structure of luminance data (hereinafter referred to as Y) in one frame of the PAL mode converted to 4: 2: 0, and is composed of horizontal 720 pixels × vertical 576 lines. (D) shows the structure of color difference data (hereinafter referred to as Cr and Cb) in a PAL mode 1 frame converted to 4: 2: 0, and each of Cr and Cb is composed of 360 horizontal pixels × vertical 288 lines. Is done. (E) is a DCT block when the compression / decompression block 7 performs encoding / decoding processing. Usually, it is composed of n pixels × m pixels, but in this embodiment, n = m = 8.
[0036]
In the present invention, the burst length for accessing the main memory 6 is determined by the following conditional expression.
Burst length = (m × N) × n ≦ COL (1)
N: Natural number of 1 or more
COL: Capacity in the column direction of the banks (BS0 and BS1).
Here, since COL = 512 in the present embodiment, the expression (1) is
8N × 8 ≦ 512 (2)
Therefore, N ≦ 8.
[0037]
Therefore, the burst length is a multiple of 8 from 8 bytes to 64 bytes. In order to access the SDRAM, which is the main memory 6, efficiently and at high speed, it is desirable to fix the row address and access with the longest burst length possible. Therefore, in this embodiment, the burst length is 64 bytes.
[0038]
Next, a method for accessing the VM area of Y data in the NTSC mode will be described in detail with reference to FIG. FIG. 10A shows a state in which the area A in FIG. 8 is enlarged and the actual screen image data is arranged beyond the memory.
Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9A is divided into twelve for every 64 pixels, and the twelve blocks of the divided Line 0 are in the row direction as shown in the CBL0 area in FIG. The data are sequentially stored at (address 0 to address 11). Similarly, Line1 is sequentially stored in the CBL1 area. The same applies to the image data of the remaining lines.
[0039]
Accordingly, data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9A is sequentially stored in the CBL0 area, the 8n + 1th line in the CBL1 area, the 8n + 2th in the CBL2 area, In the CBL3 area, data of the 8n + 3th, 8th + 4th in the CBL4 area, 8n + 5th in the CBL5 area, 8n + 6th in the CBL6 area, and 8n + 7th data in the CBL7 area are sequentially stored. Become.
[0040]
On the same row address stored in this way, there are eight DCT blocks of 8 pixels × 8 pixels shown in FIG. 9E in the horizontal direction of the one screen. Therefore, when the compression / decompression block 7 shown in FIG. 1 reads out and encodes this data, if 8 data are continuously read out from the head addresses of CBL0 to CBL7, the desired 8 pixels × 8 pixels can be obtained. Data of the DCT block can be obtained, and the DCT block is sequentially read and processed by sequentially reading out the 8 data while sequentially offsetting the col address by 8 with respect to CBL0 to CBL7.
[0041]
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression / decompression block 7 of FIG. By writing the data continuously, the data is stored as shown in FIG. The image input / output block 4 sequentially reads the data in 64 burst units while sequentially changing the row address. The same processing operation is performed in the PAL mode.
[0042]
Next, a method for accessing the VM area of Cr and Cb data will be described in detail. First, the memory access operation of the image input / output block 4 will be described.
As shown in FIG. 9B, the color difference data in the NTSC mode is thinned out to 1/4 in the horizontal direction, and Cr and Cb data exist simultaneously on each line. Further, the DCT block configuration of the color difference data is 8 pixels × 8 pixels as in the luminance data, and the capacity in the COL direction per bank is 512 bytes. Therefore, the burst length in one access is 64 bytes, similarly to the luminance data. However, as described above, due to the nature of the color difference data in the NTSC mode, the breakdown of the burst length in one access is 64 bytes including 32 bytes of Cr and 32 bytes of Cb.
[0043]
FIG. 11A shows bank 0 in the Cr / Cb region of FIG. 8 in the NTSC mode. Cr and Cb are divided by a col address, and a col address from 0 to 255 is defined as a Cr area, and a col address from 256 to 511 is defined as a Cb area. CBL0 to CBL15 are column blocks divided every 32 columns of Cr / Cb. Here, in the writing / reading mode, access to 64 bytes of color difference data is performed for 32 bytes of Cr to CBL0 and 32 bytes of Cb to CBL8. Sequentially, each time the line changes, the access area changes such as CBL1 and CBL9 and CBL2 and CBL10.
[0044]
FIG. 10B shows the above process in detail by enlarging the bank 0 in the Cr region of FIG. Here, RN is the number of divisions of the horizontal line, and in the case of color difference data, RN = 5. As described above, the image data of one line in FIG. 9B is divided into six for every 32 pixels of Cr and Cb, and the six blocks of Line 0 thus divided are Cr. As shown in the CBL0 area, processing is sequentially performed in the row direction (address 0 to address 5). Similarly, processing is performed on the CBL8 area for the six blocks of Cb Line0.
[0045]
Further, the Cr and Cb of Line 1 are similarly processed for the CBL 1 and CBL 9 areas. The same applies to the image data of the remaining lines. Therefore, for the CBL0 and CBL8 areas, the Cr and Cb data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9B is processed, respectively. , 8n + 1, CBL2, CBL10 area, 8n + 2, CBL3, CBL11 area, 8n + 3, CBL4, CBL12 area, 8n + 4, CBL5, CBL13 area, 8n + 5, CBL6, CBL14 area , 8n + 6th, CBL7, CBL15 area, the data of the 8n + 7th line is processed.
[0046]
Next, the memory access operation of the compression / decompression block 7 in FIG. 1 will be described. For example, on the same row address in which Cr and Cb in NTSC mode are written as described above, the DCT block of 8 pixels × 8 pixels shown in FIG. 9E is Cr in the horizontal direction of the one pixel. , Cb exists for each 8 pieces. Therefore, when the compression / decompression block 7 reads out and encodes this data, it can read out the 8 data continuously from the head addresses of CBL0 to CBL7, and the Cr of the desired 8 pixel × 8 pixel DCT block can be obtained. Similarly, Cb data of a desired 8-pixel × 8-pixel DCT block can be obtained by continuously reading 8 data from the head addresses of CBL8 to CBL15.
By sequentially reading 8 data while sequentially offsetting the col address by 8 with respect to CBL0 to CBL7 and CBL8 to CBL15 in the same manner, Cr and Cb each constitutes a desired DCT block and performs processing.
[0047]
On the other hand, at the time of decoding, the 8 pixel × 8 pixel data decoded by the compression / decompression block 7 is 8 data while offsetting the col address by 8 with respect to CBL0 to CBL7 and CBL8 to CBL15 contrary to the case of encoding. Are continuously written to store data as shown in FIG. The image input / output block 4 performs continuous reading in units of 64 bursts for every 32 bytes of Cr data and 32 bytes of Cb data while sequentially changing the row address.
[0048]
Next, the processing operation in the PAL mode will be described.
As shown in FIG. 9D, the color difference data in the PAL mode is thinned out by half in the vertical direction of Cr and Cb, and either one of Cr or Cb data exists alternately every line. Further, the DCT block configuration of the color difference data is 8 pixels × 8 pixels as in the luminance data, and the capacity in the COL direction per bank is 512 bytes. Therefore, the burst length in one access is 64 bytes, similarly to the luminance data for Cr and Cb.
[0049]
FIG. 11B shows bank 0 in the Cr / Cb region of FIG. 8 in the PAL mode. Cr and Cb are divided by a row address. In this embodiment, a row address from 864 to 1079 is a Cr region, and a row address from 1080 to 1294 is a Cb region. CBL0 to CBL7 are column blocks divided into 64 / each Cr / Cb.
[0050]
Here, the access of 64 bytes of color difference data in both the writing / reading mode of Cr data is performed in the case of the even line shown in FIG. 9D. For example, in the case of Line 0, 64 bytes of Cr are transferred to CBL 0. Done. Each time the line transitions sequentially, the access area transitions to CBL7. This detailed processing operation will be described with reference to FIG.
[0051]
FIG. 12 shows a state in which the Cr area in FIG. 11 is enlarged and actual screen image data is arranged on the memory.
Here, CBL0 to CBL7 are column blocks divided every 64 columns, and RN is the number of divisions of one horizontal line. As described above, the image data of one line in FIG. 9D is divided into six parts every 64 pixels, and the six blocks of Line 0 divided into the row direction (address) as shown in the CBL0 area of FIG. 0 to address 5) are sequentially stored. Similarly, Line2 is sequentially stored in the CBL1 area. The same applies to the image data of the remaining lines.
[0052]
Accordingly, data of the 8n + 0th line (n is a positive number greater than or equal to 0) in FIG. 9D is sequentially stored in the CBL0 area, the 8n + 2th line in the CBL1 area, the 8n + 4th in the CBL2 area, In the CBL3 area, the data of the 8n + 6th, the CBL4 area, the 8n + 8th, the CBL5 area, the 8n + 10th, the CBL6 area, the 8n + 12th data, and the CBL7 area, the 8n + 14th data are sequentially stored. Become.
[0053]
As for the Cb area, although not shown, the CBL0 area sequentially stores the data of the 8n + 1th line (n is a positive number of 0 or more) in FIG. 9D, and the CBL1 area has the 8n + 3rd line. , 8n + 5th in the CBL2 area, 8n + 7th in the CBL3 area, 8n + 9th in the CBL4 area, 8n + 11th in the CBL5 area, 8n + 13th in the CBL6 area, and 8n + 15th in the CBL7 area. Data will be stored sequentially. Memory access at the time of encoding / decoding of the compression / decompression block 7 is accessed in the same manner as in the other modes, and processing of each desired 8 × 8 pixel DCT block is performed in Cr and Cb.
[0054]
Note that the Cr and Cb area division method shown in FIG. 11 is an example, and for example, Cr and Cb in FIG. 11A may be alternately divided in the col address direction in units of 32 bytes. That is, it is only necessary that Cr and Cb are divided by the col address, and continuous data corresponding to the burst length derived from the conditional expression (6) can be arranged on the same row address. In FIG. 11B, it is only necessary that Cr and Cb are divided by the row address, and continuous data corresponding to the burst length derived from the conditional expression (1) can be stored on the same row address.
[0055]
【The invention's effect】
As described above, according to the present invention, data streams having different bit rates can be transmitted after being multiplexed, whereby data can be transmitted using a common transmission line using a common memory, By reducing the amount, a great effect can be obtained in the cost reduction and downsizing of the system.
In addition, according to the present invention, it is not necessary to provide each buffer memory for temporarily storing luminance signals and color difference signals having different sampling frequencies, and the circuit scale can be reduced.
Furthermore, according to the present invention, since the data in each bank in the buffer memory is equal to the burst length of the memory, it is only necessary to read out one bank when writing data to the memory, so address control is very simple. It can be carried out.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a configuration diagram for explaining a clock used in the present invention;
FIG. 3 is a detailed configuration diagram of an image input / output block.
FIG. 4 is a timing chart showing multiplex and demultiplex operations.
FIG. 5 is a configuration diagram for explaining mapping of a memory space inside a buffer;
FIG. 6 is a detailed timing chart when multiplex data is written to a buffer.
FIG. 7 is a detailed timing chart when reading multiplex data from a buffer.
FIG. 8 is a configuration diagram for explaining mapping of a main memory space.
FIG. 9 is a configuration diagram of one screen of luminance data, color difference data in NTSC, and luminance data in PAL.
FIG. 10 is a configuration diagram illustrating an example of a part of addresses in a main memory.
FIG. 11 is a configuration diagram illustrating mapping of Cr and Cb to a main memory.
FIG. 12 is a block diagram for explaining means for accessing a C area in the PAL mode in the main memory of the present invention.
[Explanation of symbols]
1, 2, 3 I / O terminals
4 Image input / output block
5 buffers
6 Main memory
7 Compression / decompression block
8 System control block
Y Luminance signal
Cr, Cb color difference signal
MUX-DATA data string
Y-MD buffered luminance signal
C-MD buffered color difference signal

Claims (1)

互いにサンプリング周波数が異なる輝度信号と色差信号を入力する入力手段と、
前記輝度信号のサンプリング周波数の整数倍の周波数のクロックに従って前記輝度信号と前記色差信号とを画素単位にマルチプレクスしてデータ列信号に変換する変換手段と、
前記変換手段より出力されたデータ列信号を一時記憶するバッファメモリと、
バーストアクセスによりデータの書き込み及び読み出しを行うメモリであって前記バッファメモリから読み出された前記データ列信号を記憶するメモリと、
前記メモリに記憶されたデータ列信号に対して符号化処理を施す符号化手段と、
前記バッファメモリを前記輝度信号用の領域と前記色差信号用の領域に分けると共に、前記輝度信号用の領域と前記色差信号用の領域とをそれぞれ前記メモリにおけるバースト長と同じ容量を有する複数のバンクから構成し、前記複数のバンクを書き込みバンクと読み出しバンクに切り替えることにより前記バッファメモリに対する前記輝度信号と前記色差信号の書き込み及び読み出しを制御するシステム制御手段とを備えることを特徴とする画像信号処理装置。
Input means for inputting luminance signals and color difference signals having different sampling frequencies;
Conversion means for multiplexing the luminance signal and the color difference signal in units of pixels in accordance with a clock having a frequency that is an integral multiple of the sampling frequency of the luminance signal, and converting it into a data string signal;
A buffer memory for temporarily storing the data string signal output from the conversion means;
A memory for writing and reading data by burst access and storing the data string signal read from the buffer memory;
Encoding means for performing an encoding process on the data string signal stored in the memory;
The buffer memory is divided into the luminance signal area and the chrominance signal area, and the luminance signal area and the chrominance signal area each have a plurality of banks having the same capacity as the burst length in the memory. Image signal processing comprising: system control means for controlling writing and reading of the luminance signal and the color difference signal to and from the buffer memory by switching the plurality of banks to a writing bank and a reading bank apparatus.
JP22239297A 1997-08-19 1997-08-19 Image signal processing device Expired - Fee Related JP3884830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22239297A JP3884830B2 (en) 1997-08-19 1997-08-19 Image signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22239297A JP3884830B2 (en) 1997-08-19 1997-08-19 Image signal processing device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004238782A Division JP3890338B2 (en) 2004-08-18 2004-08-18 Image signal processing device

Publications (3)

Publication Number Publication Date
JPH1169376A JPH1169376A (en) 1999-03-09
JPH1169376A5 JPH1169376A5 (en) 2005-06-02
JP3884830B2 true JP3884830B2 (en) 2007-02-21

Family

ID=16781657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22239297A Expired - Fee Related JP3884830B2 (en) 1997-08-19 1997-08-19 Image signal processing device

Country Status (1)

Country Link
JP (1) JP3884830B2 (en)

Also Published As

Publication number Publication date
JPH1169376A (en) 1999-03-09

Similar Documents

Publication Publication Date Title
US7114039B2 (en) Signal processor with a plurality of kinds of processors and a shared memory accessed through a versatile control means
RU2160969C2 (en) Decoder of movable image and process recording group of data of videosignal in synchronous dynamic device
JPH11331751A (en) Tiling in picture memory mapping to minimize memory bandwidth in data sequence compression and decompression
KR20100073029A (en) Apparatus for image processing and method for managing frame memory in image processing
JP2824425B2 (en) Apparatus for decoding MPEG video bit stream via multiple paths
JP4517592B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
JP3825888B2 (en) Signal processing apparatus / method and memory storage method
US20050013361A1 (en) Compression-encoded data decoding apparatus
JPH0723397A (en) Image signal decoding apparatus and image signal decoding method
US6233280B1 (en) Video decoder for high picture quality
JP3884830B2 (en) Image signal processing device
JPH08275170A (en) Image processing device
JP3890338B2 (en) Image signal processing device
JPH06189292A (en) Moving image decoding device
JPH07298264A (en) Image data processing method, storage device used for the method and processing unit of image data
KR100575179B1 (en) Image data processing device
JP3507146B2 (en) Signal processing apparatus and method
JP3599385B2 (en) Signal processing apparatus and method
JP3847848B2 (en) Signal processing device
JP4122753B2 (en) Image processing device
JPH11308620A (en) Image decoding device
KR970008413B1 (en) Image decoder
JP2001103486A (en) Video signal decoder
JPH1169303A (en) Data processing device, data processing method, and computer-readable recording medium
JPH03289786A (en) Image processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees