JP3719699B2

JP3719699B2 - Encoding device and decoding device

Info

Publication number: JP3719699B2
Application number: JP16737498A
Authority: JP
Inventors: 啓行 ▲高▼橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-06-15
Filing date: 1998-06-15
Publication date: 2005-11-24
Anticipated expiration: 2018-06-15
Also published as: JP2000004364A

Description

【０００１】
【発明の属する技術分野】
本発明は、データ圧縮及び伸長の分野に係り、特に、ウェーブレット変換を利用する符号化及び復号化のための装置に関する。
【０００２】
【従来の技術】
データ圧縮は、大量のデータの蓄積や伝送のために非常に有用なツールである。例えば、文書のファクシミリ伝送や、ワールドワイドウェブのような画像の伝送に要する時間は、圧縮を使ってその画像の再生に必要とされるビット数を減らすと、飛躍的に短縮される。
【０００３】
従来より、多くの様々なデータ圧縮手法が存在している。最も広く普及している圧縮方式としてＪＰＥＧ（Joint Photographic Experts Group）の圧縮方式がある。ＪＰＥＧの圧縮方式においては、入力シンボルまたは輝度データは量子化されてから出力符号語へ変換される。量子化は、データの重要な特徴量を保存する一方、重要でない特徴量を除去することを目的としている。量子化に先立ち、エネルギー集中をするために変換が用いられるが、ＪＰＥＧではＤＣＴ（離散コサイン変換）が採用されている。ところが、ＤＣＴを用いるＪＰＥＧ方式に対し様々な欠点が指摘されている。例えば、ブロックノイズやモスキートノイズ（蚊が飛んでいるように見えるところから、このように呼ばれる）である。画像信号処理においては、これらの欠点を解消する効率的かつ高精度のデータ圧縮符号化方式を追求することに関心が集まっている。その方式の中に、ウェーブレット（wavelet）ピラミッド処理方式がある。
【０００４】
画像信号のような２次元信号にウェーブレット変換（順変換）を適用する場合には、入力信号に対し水平方向低域通過型フィルタＨＬ（Horizontal Low）及び水平方向高域通過型フィルタＨＨ（Horizontal High）を使用して、水平方向低域信号であるＳ（smooth）係数及び水平方向高域信号であるＤ（detail）係数に分離し、さらに、これらＳ係数及びＤ係数に対して、垂直方向低域通過型フィルタＶＬ（Vertical Low）及び垂直方向高域通過型フィルタＶＨ（Vertical High)を使用して水平方向低域−垂直方向低域信号であるＳＳ係数、水平方向低域−垂直方向高域信号であるＳＤ係数、水平方向高域−垂直方向低域信号であるＤＳ係数、及び水平方向高域−垂直方向高域信号であるＤＤ係数に分離する。
【０００５】
以上の一連の処理をレベルと呼び、１回の水平処理と垂直処理を行った出力をレベル１の出力と呼ぶ。さらに、以上の４種類の信号を周波数帯信号と呼ぶ。レベル２以上の出力を希望するときは、この処理がＳＳ係数に対して再帰的に行われる。レベル２の出力では、ＳＳ係数、１ＳＤ係数と２ＳＤ係数、１ＤＳ係数と２ＤＳ係数、１ＤＤ係数と２ＤＤ係数、の７つの周波数帯信号が得られる。以上の説明では、まず水平方向にフィルタを適用し、次に垂直方向にフィルタを適用したが、その順序は逆でもよい。
【０００６】
図１４にレベル４までの処理を行う場合の従来の構成を示した。図中、１０００はウェーブレット変換部、１１００はメモリ部、１２００は符号化／復号化部である。符号化時には、イメージデータdataがメモリ部１１００に取り込まれ、このイメージデータに対してウェーブレット変換部１０００によりウェーブレット順変換が施され、メモリ部１１００に周波数帯信号が得られる。符号化／復号化部１２００は、メモリ部１１００から周波数帯信号を取り込み、符号化して圧縮コードcodeを出力する。復号化時には、入力する圧縮コードcodeが符号化／復号化部１２００によって復号化され、メモリ部１１００上に周波数帯信号が復元される。この周波数帯信号に対してウェーブレット変換部１０００によってウェーブレット逆変換が施されることによりイメージデータがメモリ部１１００に復元され、これが外部に出力される。
【０００７】
ウェーブレット変換部１０００においてfilter１Ｈ，filter２Ｈ，filter３Ｈ，filter４Ｈは、水平方向低域通過型フィルタＨＬ及び水平方向高域通過型フィルタＨＨを含む水平方向フィルタである。これらフィルタ名中の数字１〜４はレベル番号を表し、Ｈは水平方向フィルタであることを意味する。同様にfilter１Ｖ１とfilter１Ｖ２，filter２Ｖ１とfilter２Ｖ２，filter３Ｖ１とfilter３Ｖ２，filter４Ｖ１とfilter４Ｖ２は、垂直方向低域通過型フィルタＶＬ及び垂直方向高域通過型フィルタＶＨを含む垂直方向フィルタである。これらのフィルタ名中のＶは垂直方向フィルタであることを意味し、Ｖの前の数字１〜４はレベル番号を表し、Ｖの後の数字１は水平方向低域信号（Ｓ係数）を入力とするフィルタであることを示し、Ｖの後の数字２は水平方向高域信号（Ｄ係数）を入力とするフィルタであることを示す。Controllerはメモリ部１１００とフィルタとの間のデータ転送等を制御するコントローラである。
【０００８】
以上のフィルタはどのような構成のものでもよいが、以下の説明では、水平方向低域通過型フィルタＨＬ及び垂直方向低域通過型フィルタＶＬとして、２組のデータを用い演算を行う２タップのフィルタを使用するものとする。水平方向高域通過型フィルタＨＨ及び垂直方向高域通過型フィルタＶＨとして、低域通過形フィルタＨＬまたはＶＬの出力であるＳ係数のうち、現在の位置と、１つ前及び１つ後の合計３組のデータを用い演算を行う６タップのフィルタを使用するものとする。
【０００９】
このようなフィルタを用いた場合の演算の例を図１５に示す。図１５の（ａ）は水平方向フィルタの処理を説明するもので、００は０ライン目の０画素目のデータを意味し、１２は１ライン目の２画素目のデータを意味する（このようにライン、画素とも０番目から数えるものとする）。水平方向低域通過型フィルタＨＬの０画素目の出力Ｓ００は、００データ及び０１データから求められ、また、１画素目の出力Ｓ０１は０２データ及び０３データから求められる。これに対し、水平方向高域通過型フィルタＨＨの０画素目の出力Ｄ００は、００データの２つ前及び１つ前のデータ（実在しない）と、００データと、０１データと、０２データと、０３データとから求められる。ここで、実在しない００データの２つ前と１つ前のデータを得るため、ミラーと呼ばれる処理を施す。具体的には、データを鏡像関係で折り返す処理を行う。これにより、２つ前と１つ前のデータは０１データと００データとなる。このようにして、Ｄ００は６画素のデータから計算される。
【００１０】
図１５の（ｂ）は垂直方向フィルタの処理を説明している。この処理は、垂直方向フィルタ処理によるＳ係数及びＤ係数を用いて垂直方向に行われる。実在しない係数は、水平方向フィルタの処理の場合と同様にミラー処理が施される。
【００１１】
図１６はフレームメモリなどにラスタ順に格納されたイメージデータを示す。図１７乃至図２０に、ウェーブレット変換処理のレベル２までの演算結果の格納方法の一例を示す。最初にフレームメモリからデータを読み出して水平処理を行い、その結果を再びフレームメモリに書き込む。この書き込みの際に、未処理のデータに上書きしてしまわないように、例えば図１７に示すようなマッピングでＳ係数及びＤ係数を書き込んでいく。図１７において、１Ｓ００と１Ｄ００はレベル１のアドレス００のＳ係数とＤ係数を意味する。図１８は垂直処理を行った後の各係数を書き込む際のマッピングの例を示す。ここまでがレベル１の各係数の格納方法である。図１９はレベル２の水平方向の各係数の格納方法の例を示す。レベル２の処理は１ＳＳ係数に対してのみ行われるため、網掛けされた部分のデータは用いられないことに注意されたい。ついで、図２０に示すようなマッピングで、レベル２の各係数が格納され、レベル２の処理が終了する。同様の処理が、レベル４まで順に繰り返される。１６画素×１６ラインのイメージデータを入力した場合において、レベル４まで処理したときの各レベルの各周波数帯信号の格納方法を図２１に示す。
【００１２】
以上のようにして得られた各レベルの周波数帯信号が符号化／復号化部１２００で符号化されて圧縮されるのであるが、符号化は通常、ビット処理が行われるため、前述のように、周波数帯信号を一旦、メモリ部１１００内のストレージに書き込んでおく必要がある。一般に用いられるストレージは半導体メモリである。符号化／復号化部１２００ではストレージに書き込まれた各周波数帯信号を参照してビット処理を行って符号化し、圧縮コードcodeとして出力する。圧縮コードcodeからイメージデータへの復元処理は前述の符号化処理と逆順で行われる。
【００１３】
なお、本発明に関連する符号化及び復号化装置、ウェーブレット変換部、あるいはフィルタについてのより詳細な情報は、特開平８−１３９９３５号公報などを参照されたい。また、類似の従来技術が特開平３−２７６８７号公報、特開平５−１６７９９７号公報、特開平５−１８３３８６号公報に開示されている。
【００１４】
【発明が解決しようとする課題】
イメージデータは通常、図１６に示したようにラスタデータとしてフレームメモリに書き込まれている。ウェーブレット変換部では、このラスタデータをラスタ順にメモリから読み出してウェーブレット変換を行う。この際、未処理のデータに対して上書きしないように、図２１に示したように、データを離散的にマッピングしてフレームメモリに書き込んでいる。
【００１５】
処理時間がそれほど問題にならないのであれば、フレームメモリにどのようなものを用いても問題はないが、高速処理を実現するためには、ＳＤＲＡＭあるいはＲＤＲＡＭなどの高速メモリを用いる必要がある。これらの高速メモリは、バースト転送、すなわち指定したアドレスを起点とした連続したアドレスに対応するデータを読み出し又は書き込みするような構成となっているため、離散的なアドレスをアクセスする場合にはウエイト時間が発生する。画素方向に対して離散的にアクセスする場合には、工夫をすればある程度はウエイトを小さくすることができる。しかし、ライン方向に対しては、構造的に必ずウエイト時間が発生してしまう。例えば、ライン方向に離散的なアドレッシングを行う場合（垂直処理の場合に必ず必要となる）にウエイトが２サイクル分発生すれば、垂直処理に対しては実際のメモリアクセスに必要な１サイクル分を含め、トータルで３倍の処理時間がかかってしまう。
【００１６】
このようなわけで、高速メモリの高速性を十分に活かすことができないという問題があった。ウェーブレット処理をしながらフレームメモリをアクセスする場合、内部との同期をとる必要があるが、この同期がとれるまでウエイト時間が発生するという問題もあった。ウェーブレット変換後のアドレスマップが図２１に示した如く複雑で離散的なものであるため、フレームメモリとのインターフェース部も複雑になるという問題もあった。
【００１７】
また、装置を１チップ化し、画像の処理単位であるタイルに対応する大きさのメモリを内部に設けようとした場合、チップ内部で使用できる１つのメモリ要素の大きさに制限があるため、２個以上のメモリ要素から構成せざるを得ないことがある。このような構成の場合、ウェーブレット変換部及び符号化／復号化部の両方のブロックからのメモリアクセスが複雑になる。すなわち、ウェーブレット変換部と符号化／復号化部双方の制御部が、規模が大きく複雑な構成になるという問題があった。
【００１８】
また、ウェーブレット変換部ではデータの入出力がワード単位であり、一方、符号化／復号化部ではデータの入出力がビット単位であるので、使用される記憶手段がウェーブレット変換部と符号化／復号化部とで異なっており、そのため記憶のためのチップ領域が大きくなってしまうという問題があった。
【００１９】
本発明は、前記問題点に鑑みてなされたものであり、その目的は、ウェーブレット変換を利用する符号化／復号化装置の動作の高速化、構成の簡略化、メモリ使用効率の向上などを図ることにある。
【００２０】
【課題を解決するための手段】
請求項１記載の発明は、イメージデータ又は周波数帯信号データを一時的に記憶するための記憶手段、フレームを分割したタイルを処理単位としてイメージデータのウェーブレット順変換処理を行って周波数帯信号データを生成するウェーブレット変換手段、周波数帯信号データの符号化処理を行って圧縮コードを生成する符号化手段、フレームメモリより前記ウェーブレット順変換処理の対象となるイメージデータを前記記憶手段へ転送する制御、前記記憶手段より前記ウェーブレット順変換処理によって生成された周波数帯信号データを前記フレームメモリへ転送する制御、前記フレームメモリより前記符号化処理の対象となる周波数帯信号データを前記記憶手段へ転送する制御、前記記憶手段と前記ウェーブレット変換手段との間でイメージデータ又は周波数帯信号データを転送する制御、前記記憶手段と前記符号化手段との間で周波数帯信号データを転送する制御を行う制御手段を有し、前記制御手段の制御によって、前記記憶手段より前記ウェーブレット順変換処理によって生成された周波数帯信号データが周波数帯毎に連続して読み出され、該読み出されたデータが前記フレームメモリのライン毎のラスタ順の連続データとして前記フレームメモリへ転送されることを特徴とする符号化装置である。
前記記憶手段より前記フレームメモリへの周波数帯信号データの転送の具体的な内容は、例えば後記実施例１との関連で説明するならば次の通りである。
１のタイルに対するウェーブレット順変換処理によって例えばＳＳ，４ＳＤ，４ＤＳ，４ＤＤ，２ＳＤ，２ＤＳ，２ＤＤ，１ＳＤ，１ＤＳ，１ＤＤの各周波数帯の信号が生成され、これが例えば図２１のようなマッピングで内部メモリ１１０に記憶される。そして、このような周波数帯信号データは周波数帯毎に連続して内部メモリ１１０より読み出され、該データはフレームメモリ１００のライン毎のラスタ順の連続データとしてフレームメモリ１００へ転送されることにより、フレームメモリ１００の当該タイルの領域に例えば図５に示すマッピングで記憶される。
例えば、２ＳＤの場合、そのデータは連続して読み出され、まずフレームメモリ１００のライン１に対応したラスタ順の連続データとして転送され、フレームメモリ１００のライン１に記憶される。２ＤＳのデータも連続して読み出され、ライン２のラスタ順の連続データとして順次転送され、フレームメモリ１００のライン２に記憶される。２ＤＤのデータも同様にライン３のラスタ順の連続データとして転送され、フレームメモリのライン３に記憶される。１ＳＤ，１ＤＳ，１ＤＤのデータも同様に周波数帯毎に連続して読み出され、ライン毎のラスタ順の連続データとして順次転送され、フレームメモリのライン４〜１５に順次記憶される。ただし、周波数帯ＳＳ，４ＳＤ，４ＤＳ，４ＤＤ，３ＳＤ，３ＤＳ，３ＤＤのデータは周波数帯毎に連続して読み出されるが、これらは係数の個数が少ないため、その全体が１ライン分のラスタ順の連続データとして転送され、ラインメモリ１００のライン０に記憶される。
【００２１】
請求項２記載の発明は、請求項１記載の発明に係る符号化装置であって、前記記憶手段は、前記フレームメモリより転送された、ウェーブレット順変換処理の対象タイルのイメージデータ中のタイル境界部のデータを、当該タイルより後の他のタイルを対象としたウェーブレット順変換処理で参照するために一時的に保存するオーバーラップメモリを含み、前記オーバーラップメモリへのデータの保存、及び、前記オーバーラップメモリに保存されたデータのウェーブレット順変換処理での参照が前記制御手段により制御されることを特徴とする符号化装置である。
【００２２】
請求項３記載の発明は、請求項１記載の発明に係る符号化装置であって、ウェーブレット順変換処理時に前記記憶手段に記憶されているイメージデータ又は周波数帯信号データの一部を、該ウェーブレット順変換処理で参照するために一時的に保存するラインメモリを有し、前記ラインメモリへのイメージデータ又は周波数帯信号データの保存、及び、前記ラインメモリに保存されたイメージデータ又は周波数帯信号データのウェーブレット順変換処理での参照が前記制御手段により制御され、かつ、前記制御手段の制御により、ウェーブレット順変換処理により生成された周波数帯信号データは周波数帯毎に集約された形で前記記憶手段に記憶されることを特徴とする符号化装置である。
【００２３】
請求項４記載の発明は、請求項１記載の発明に係る符号化装置であって、前記記憶手段は複数のメモリブロックからなり、前記フレームメモリから前記記憶手段に転送されたイメージデータは、前記制御手段の制御により、前記複数のメモリブロックの特定の記憶領域に分割されて記憶され、ウェーブレット変換処理により生成された周波数帯信号データは、前記制御手段の制御により、周波数帯別に集約された形で、前記複数のメモリブロック中の対応したメモリブロックの対応した記憶領域に記憶されることを特徴とする符号化装置である。
【００２４】
請求項５記載の発明は、請求項４記載の発明に係る符号化装置であって、前記複数のメモリブロックはそれぞれ物理的に独立しており、それぞれ独立にアクセス可能であることを特徴とする符号化装置である。
【００２５】
請求項６記載の発明は、請求項４記載の発明に係る符号化装置であって、前記各メモリブロックの各記憶領域は、そこに記憶される周波数帯信号データのビット深さ分のビット深さを持つことを特徴とする符号化装置である。
【００２６】
請求項７記載の発明は、請求項５記載の発明に係る符号化装置であって、前記各メモリブロックは、複数のメモリ要素と、前記各メモリ要素に対する読み出し及び書き込みを制御する入力データ制御手段と、前記各メモリ要素の出力データの外部出力を制御する出力データ制御手段とを有し、外部からの入力信号として、読み出しアドレス、書き込みアドレス、読み出し許可、入力データ、ウェーブレット順変換のレベル、及び、当該メモリブロックに対する選択信号の各信号を有することを特徴とする符号化装置である。
【００２７】
請求項８記載の発明は、請求項１記載の発明に係る符号化装置であって、前記記憶手段は、ワード単位でもビット単位でも読み出しと書き込みが可能な記憶要素であることを特徴とする符号化装置である。
【００２８】
請求項９記載の発明は、請求項８記載の発明に係る符号化装置であって、前記記憶要素はレジスタであることを特徴とする符号化装置である。
【００２９】
請求項１０記載の発明は、請求項１記載の発明に係る符号化装置であって、前記制御手段は、前記フレームメモリから符号化処理の対象となる周波数帯信号データを、前記記憶手段を介することなく、直接的に前記符号化手段へ転送する制御のための手段を含むことを特徴とする符号化装置である。
【００３０】
請求項１１記載の発明は、周波数帯信号データ又はイメージデータを一時的に記憶するための記憶手段、圧縮コードの復号化処理を行って周波数帯信号データを生成する復号化手段、フレームを分割したタイルを処理単位として周波数帯信号データのウェーブレット逆変換処理を行ってイメージデータを生成するウェーブレット変換手段、前記復号化手段より前記復号化処理によって生成された周波数帯信号データを前記記憶手段へ転送する制御、前記記憶手段より前記復号化処理によって生成された周波数帯信号データをフレームメモリへ転送する制御、前記フレームメモリより前記ウェーブレット逆変換処理の対象となる周波数帯信号データを前記記憶手段へ転送する制御、前記記憶手段より前記ウェーブレット逆変換処理によって生成されたイメージデータを前記フレームメモリへ転送する制御、前記記憶手段と前記ウェーブレット変換手段との間で周波数帯信号データ又はイメージデータを転送する制御を行う制御手段を有し、前記制御手段の制御によって、前記記憶手段より前記復号化処理によって生成された周波数帯信号データが周波数帯毎に連続して読み出され、該読み出されたデータが前記フレームメモリのライン毎のラスタ順の連続データとして前記フレームメモリへ転送されることを特徴とする復号化装置である。
【００３１】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を説明する。なお、説明の便宜上、複数の図において同一部分又は対応部分に同一の参照符号が付されている。
【００３２】
＜実施例１＞
図１は本発明の一実施例による符号化／復号化システムのブロック図である。図１において、１００はフレームメモリ、１０１はウェーブレット変換部、１０２は符号化／復号化部、１０３は記憶部である。例えば、ウェーブレット変換部１０１、符号化／復号化部１０２及び記憶部１０３は同じ一つのチップ上に集積され、フレームメモリ１００は外付けのメモリとなる。フレームメモリ１００としては、例えばバースト転送の可能なＳＤＲＡＭが用いられる。
【００３３】
符号化／復号化部１０２は、符号化動作の場合に、ウェーブレット変換の周波数帯信号を符号化して圧縮コードcodeを生成する符号化部とし働き、復号化動作の場合に、圧縮コードcodeを復号化して周波数帯信号を生成する復号化部として働く。なお、符号化／復号化部１０２を符号化専用のものと置き換えた同様構成の符号化システムと、符号化／復号化部１０２を復号化専用のものと置き換えた同様構成の復号化システムも、本発明に包含される。
【００３４】
記憶部１０３は、内部メモリ（内部記憶手段）１１０と、データ転送の制御などのための手段としての３つの入出力インターフェース部１１１，１１２，１１３とからなる。入出力インターフェース部１１１は内部メモリ１１０とフレームメモリ１００との間のデータ転送などの制御を行い、入出力インターフェース部１１２は内部メモリ１１０とウェーブレット変換部１０１との間のデータ転送などの制御を行い、また、入出力インターフェース部１１３は内部メモリ１１０と符号化／復号化部１０２との間のデータ転送などの制御を行う。
【００３５】
フレームメモリ１００は、図２に示すように、Ｘ画素×Ｙラインの大きさを持つ。このフレームメモリ１００上のイメージデータに対するウェーブレット順変換などは、図２に示すように、Ｍ（ｘ方向）×Ｎ（ｙ方向）の大きさの領域（タイル）を処理単位として行われる。このタイル分割は、隣り合うタイル間がオーバーラップしないように行われる。
【００３６】
内部メモリ１１０は、図３に示すように、フレームメモリ１００の１つのタイルの大きさに対応した大きさを持つタイルメモリ１２０と、ａ×Ｎ画素の大きさを持つｘ方向（画素方向）オーバーラップメモリ１２１と、Ｘ×ａ画素の大きさのｙ方向（ライン方向）オーバーラップメモリ１２２とからなる。ここで、ａはウェーブレット変換部１０１に用いられるフィルタのタップ数で決まる。前記従来技術において述べたフィルタを用いる場合には、ａ＝２となる。
【００３７】
タイルメモリ１２０は、概念的には、図３に示すような位置関係のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｚの領域から構成される。領域Ｚ，Ｅ，Ｆ，Ｇ，Ｈの集まりからなるメモリ領域は、タイルの大きさと同じＭ×Ｎ画素の大きさを有し、フレームメモリ１００のあるタイルをウェーブレット順変換する場合には、当該タイルのイメージデータが１対１対応で当該メモリ領域に転送される。領域Ａ，Ｂ，Ｃ，Ｄは、図３に示すような位置関係で上記Ｍ×Ｎ画素のメモリ領域の外側に位置する。領域Ａと領域ＣはそれぞれＭ×ａ画素の大きさであり、領域Ｂと領域Ｄの大きさはそれぞれａ×Ｎ画素である。領域Ａ，Ｂ，Ｃ，Ｄとオーバーラップメモリ１２１，１２２の利用方法については、図４に関連して後述する。
【００３８】
次に、フレームメモリ１００上のイメージデータを符号化する場合の動作を説明する。図６は、この場合のウェーブレット順変換処理に関連した概略フローチャートである。
【００３９】
まず、記憶部１０３内の入出力インターフェース部１１１の制御により、フレームメモリ１００の処理対象となった一つのタイルと、領域Ｃ，Ｄに対応する領域のイメージデータがライン毎、ラスタ順に内部メモリ１１０へバースト転送され、タイルメモリ１２０へ１対１対応で書き込まれる（ステップ１）。
【００４０】
次に、入出力インターフェース部１１１（又は入出力インターフェース部１１２）の制御により、タイルメモリ１２０内のＨ領域とＧ領域（図３参照）のイメージデータがｘ方向オーバーラップメモリ１２１とｙ方向オーバーラップメモリ１２２にそれぞれコピーされる（ステップ２）。
【００４１】
次に、入出力インターフェース部１１１（又は１１２）の制御により、タイルメモリ１２０のＡ，Ｂ，Ｃ，Ｄに対する必要なデータコピーが行われる（ステップ３）。このデータコピーの内容は、処理対象のタイルの位置に依存する。フレームメモリ１００上でのタイルの位置関係は図４（ｂ）に代表して示すような９種類に分類される。入出力インターフェース部１１１（又は１１２）は、処理するタイルがいずれの位置にあるか、図４（ａ）の「判断」欄に記載された条件に従って判別し、その結果に応じて図４（ａ）の「コピー元」欄の記載に従ったデータコピーを行う。
【００４２】
最初は、図２中の斜線領域である左上のタイル（０）を処理するが、このタイルは図４（ｂ）に示す位置１にあるタイルである。この位置１にあるタイルの場合、ウェーブレット順変換処理に必要なＡ領域とＢ領域のデータは存在せず、従来技術に関連して述べたようなミラー処理を行う必要がある。このミラー処理として、入出力インターフェース部１１１（又は１１２）により、図４（ａ）の「コピー元」欄に記載されているように、タイルメモリ１２０のＡ領域へ、Ｅ領域とＨ領域の一部からデータがコピーされ、また、Ｂ領域に対し、Ｆ領域とＥ，Ｇ領域の一部からデータがコピーされる。かくして、タイルメモリ１２０内にタイル（０）のウェーブレット順変換処理に必要なデータが揃う。
【００４３】
次に、ウェーブレット変換部１０１は、入出力インターフェース部１１２を介してタイルメモリ１２０をアクセスし、ウェーブレット順変換処理を実行する（ステップ４）。例えば従来技術に関連して述べたと同様の４レベルのウェーブレット順変換が行われる。この際、タイルメモリ１２０に、例えば、レベル１の水平処理の結果であるＳ係数とＤ係数は図１７に示すようなマッピングで書き込まれ、レベル１の垂直処理の結果である１ＳＳ係数，１ＳＤ係数、１ＤＳ係数及び１ＤＤ係数は図１８に示すようなマッピングで書き込まれる。同様に、１ＳＳ係数に対するレベル２の水平処理の結果である２Ｓ係数と２Ｄ係数は図１９に示すようなマッピングで書き込まれ、レベル２の垂直処理の結果である２ＳＳ係数、２ＳＤ係数、２ＤＳ係数及び２ＤＤ係数は図２０のようなマッピングで書き込まれる。最終的に、レベル４の垂直処理が終わると、タイルメモリ１２０のＭ×Ｎ画素のメモリ領域に図２１に示すようなマッピングで各レベルの各周波数帯信号が書き込まれる。ただし、図２１はタイルサイズをＭ＝Ｎ＝１６としている（以下、同様）。
【００４４】
このようにしてタイル（０）のウェーブレット順変換が終了すると、タイルメモリ１２０のＭ×Ｎのメモリ領域のデータが、入出力インターフェース部１１１を介してフレームメモリ１００のタイル（０）の領域に書き出される（ステップ５）。この際、入出力インターフェース部１１１は、図２１に示すように離散的にマッピングされているタイルメモリ１２０上の各周波数帯信号データをライン毎、ラスタ順の連続したデータとなるように、タイルメモリ１２０をアドレッシングして読み出し、そのデータをライン毎、ラスタ順にフレームメモリ１００へ転送し、例えば図５に示すようなマッピングでフレームメモリ１００のタイル（０）の領域に書き込む。
【００４５】
このようにしてタイル（０）に対するウェーブレット順変換処理が終了すると、右隣のタイル（１）が処理の対象に選ばれ（ステップ６）、入出力インターフェース部１１１により、フレームメモリ１００のタイル（１）とその周囲のＣ，Ｄ領域に対応した領域のイメージデータがライン毎、ラスタ順に内部メモリ１１０へ転送され、タイルメモリ１２０に書き込まれる（ステップ１）。次に、Ｈ領域とＧ領域のデータがオーバーラップメモリ１２１，１２２へそれぞれコピーされる（ステップ２）。
【００４６】
タイル（１）は図４（ｂ）に示す位置２にあるタイルであるため、Ａ領域のデータは存在しないので、そのミラー処理として、入出力インターフェース部１１１（又は１１２）によりＥ領域とＨ領域の一部からＡ領域へデータがコピーされる（ステップ３）。また、領域Ｂに対応したフレームメモリ１００上のデータはタイル（０）の処理によって書き換えられているが、その書き換え前のデータがオーバーラップメモリ（ｘ）１２１に保存されている。この保存データがＢ領域にコピーされる（ステップ３）。これでタイル（１）のウェーブレット順変換に必要なデータがタイルメモリ１２０に揃った。
【００４７】
そして、ウェーブレット変換部１０１は入出力インターフェース部１１２を介してタイルメモリ１２０をアクセスしつつウェーブレット順変換を行う（ステップ４）。タイルメモリ１２０上に離散的にマッピングされた各レベルの各周波数帯信号データは、入出力インターフェース部１１１によってライン毎、ラスタ順のデータに変換されてフレームメモリ１００へ転送され、図５に示すようなマッピングで書き込まれる（ステップ５）。
【００４８】
タイル（ｎ−１）の手前のタイルまで順次右側のタイルが処理されるが、それらタイルは図４（ｂ）の位置２に示すタイルであるのでステップ３においてタイル（１）と同様のデータコピーが行われる。
【００４９】
右端のタイル（ｎ−１）は図４（ｂ）の位置３にあるタイルである。この位置にあるタイルを処理する場合、ステップ３において、データの存在しないＡ領域に対して、Ｅ領域とＨ領域の一部のデータがコピーされ（ミラー処理）、また、データの存在しないＤ領域に対してＨ領域のデータがコピーされる（ミラー処理）。さらに、データが書き換えられているＢ領域に対し、オーバーラップメモリ１２１に保存されているデータがコピーされる。
【００５０】
次に２列目の最初のタイル（ｎ）が処理されるが、これは図４（ｂ）の位置４にあるタイルである。この位置にあるタイルを処理する場合、ステップ３において、データが存在しないＢ領域に対しＦ領域、Ｅ領域の一部、及びＧ領域の一部のデータがコピーされる（ミラー処理）。データが書き換えられているＡ領域に対し、オーバーラップメモリ１１２に保存されているデータがコピーされる。
【００５１】
次に右隣のタイル（ｎ＋１）が処理されるが、これは図４（ｂ）の位置５にあるタイルである。この位置にあるタイルを処理する場合、ステップ３において、データが書き換えられているＡ領域とＢ領域に、オーバーラップメモリ１２２とオーバーラップ１２１から書き換え前のデータがそれぞれコピーされる。
【００５２】
その右側のタイル（右端のタイルを除く）の場合も、タイル（ｎ）と同様のコピー処理がステップ３で行われる。その右端のタイルは図４（ｂ）の位置６にあり、ステップ３では、データが書き換えられたＡ領域とＢ領域にオーバーラップメモリ１２２とオーバーラップメモリ１２１からデータがコピーされ、データの存在しないＤ領域に対しＨ領域のデータがコピーされる（ミラー処理）。
【００５３】
同様にして上から下、左から右へとタイルが順次処理されるが、それらタイルに対しては図４（ｂ）の位置４、位置５又は位置６のタイルに対応したデータのコピー操作がステップ３で行われる。
【００５４】
フレームメモリ１００の左下のタイルは図４（ｂ）の位置７にある。このタイルを処理する場合、ステップ３において、データが存在しないＢ領域にＦ領域と、Ｅ領域の一部と、Ｇ領域の一部からデータがコピーされ（ミラー処理）、データが存在しないＣ領域にＧ領域とＨ領域の一部のデータがコピーされる（ミラー処理）。また、データが書き換えられているＡ領域に、オーバーラップメモリ１２２からデータがコピーされる。
【００５５】
その右側のタイル（右端のタイルを除く）は図４（ｂ）の位置８にあるタイルである。これらタイルを処理する場合、ステップ３において、データが存在しないＣ領域にＧ領域とＨ領域の一部のデータがコピーされる（ミラー処理）。また、データが書き換えられているＡ領域とＢ領域に、オーバーラップメモリ１２２とオーバーラップメモリ１２１から書き換え前のデータがそれぞれコピーされる。
【００５６】
最後の右端（右下）のタイル、すなわち図４（ｂ）の位置９にあるタイルを処理する場合、ステップ３において、データが存在しないＣ領域にＧ領域とＨ領域の一部のデータがコピーされ（ミラー処理）、データが存在しないＤ領域にＨ領域のデータがコピーされる（ミラー処理）。また、データが書き換えられているＡ領域とＢ領域に、オーバーラップメモリ１２２とオーバーラップメモリ１２１から書き換え前のデータがそれぞれコピーされる。
【００５７】
以上に述べたように、フレームメモリ１００から内部メモリ１１０のタイルメモリ１２０へのイメージデータの転送も、タイルメモリ１２０からフレームメモリ１００への周波数帯信号データの転送も、ライン毎、ラスタ順に行われる。したがって、フレームメモリ１００としてＳＤＲＡＭを用いた場合、レイテンシを生じさせることなく、それらデータの転送をバースト転送により高速に行うことができる。
【００５８】
イメージデータをタイルメモリ１２０に読み込んだ後は、ウェーブレット順変換処理中にアクセスされるメモリは内部メモリ１１０だけであり、フレームメモリ１００をアクセスする必要がない。したがって、従来問題になっていた垂直処理時のフレームメモリ・アクセスに関連したレイテンシの発生は回避される。タイルメモリ１２０はフレームメモリ１００に比べ小容量であり、高速なランダムアクセスが可能な任意の種類のメモリとすることができるので、ウェーブレット順変換処理を極めて高速に行うことができる。また、入出力インターフェース部１１１では、タイルメモリ１２０上に離散的にマッピングされた周波数帯信号データをフレームメモリ１００へ転送する際に、周波数帯信号データをライン毎、ラスタ順の連続したデータとなるようにアドレッシングしてタイルメモリ１２０をアクセスするが、このアクセスも極めて高速に行うことが可能である。したがって、フレームメモリ１００よりイメージデータをタイルメモリ１２０へ転送する動作から、周波数帯信号をタイルメモリ１２０よりイメージメモリ１２０へ転送する動作までの一連の動作を高速に行うことができる。
【００５９】
１フレーム分のウェーブレット順変換処理が終了すると、フレームメモリ１００上の周波数帯信号データが記憶部１０３を介し符号化／復号化部１０２へ転送され符号化され、圧縮コードcodeとして外部へ出力される。符号化／復号化部１０２では、あるレベルのある種類の周波数帯信号データを連続して得る必要があるが、フレームメモリ１００に周波数帯信号データが図５に示すようにマッピングされているため、フレームメモリ１００から内部メモリ１１０への周波数帯信号データの転送をバースト転送により高速に行うことができる。例えば、１ＤＤ係数データについては、図５に●印で示したアドレス（x=0，y=12）からｘ方向（画素方向）にバースト転送し、次のラインのデータは、その１つ下のアドレス（0,13）からバースト転送すればよい。
【００６０】
周知のように、フレームメモリ１００として使用されることの多いＳＤＲＡＭは、ｘ方向（画素方向）にはバースト転送を行うので高速である。しかし、ｙ方向（ライン方向）の転送は、センスアンプにその行方向のデータが存在していれば即読み出し可能ではあるが、それが無ければ一旦プリチャージが必要で、そのために遅れ（レイテンシ）が生じる。図２１のように離散的にデータがマッピングされている場合、レイテンシの発生を避けられない。これに対し、本実施例においてはデータが図５に示すようにマッピングされているため、バースト転送が容易であり、プリチャージ時間を十分にとれるためレイテンシは発生しない（例えばｘ方向の４画素以上をバースト転送すれば、その間にプリチャージを終了させることができる）。なお、図５から理解されるように、レベル３とレベル４の周波数帯信号については離散的であるため、その転送の際にレイテンシが発生する。しかし、それら周波数帯信号の画素数が少ないため（例えばレベル３のある係数の総数はレベル１のある係数の総数の１／１６にすぎない）、そのレイテンシはデータ転送時間全体から見れば格別問題にならない。
【００６１】
フレームメモリ１００から内部メモリ１１０へ転送された周波数帯信号データは、入出力インターフェース部１１３を介して符号化／復号化部１０２へ転送される。符号化／復号化部１０２で必要なデータはビット単位である。内部メモリ１１０がデータの読み書きをワード単位でしか行うことができないメモリである場合には、入出力インターフェース部１１３においてワードから必要なビットを抽出する操作が行われる（後述）。
【００６２】
符号化についてさらに説明すれば、ＳＳ係数を除いた各レベルの各種類の周波数帯信号毎に、例えば４ＤＳ、４ＳＤ、４ＤＤ、．．．毎に、ビットプレーン（同じビット深さの位置の２次元のビット平面）単位で、そのＭＳＢ（最上位ビット）から下位ビットへと順に処理される。符号化の処理は、ビットプレーンの２（ｘ方向）×８（ｙ方向）画素単位（これは２×８の大きさのデータが存在する場合。それより小さい場合はその大きさ）で行われる。実際に処理されるのは、上述の大きさの単位毎であるが、その周辺も参照するため、周辺を含めた領域のデータ、例えば４×１０画素のデータがフレームメモリ１００から読み込まれる。さらに、同じ種類の１つ上のレベルの周波数帯信号が存在する場合は、それも参照されるので、同様にフレームメモリ１００から読み込まれる。最上位のビットプレーンの処理が終了すると、１つ下位のビットプレーンが同様に処理される。これを繰り返すことにより、１つのレベルの１種類の周波数帯信号の処理が終了する。これが全レベルの全種類の周波数帯信号に対して行われ、符号化が終了する。
【００６３】
１ＤＤ係数データの内部メモリ１１０への転送についてさらに説明すれば、１ＤＤ係数は、図５中の●印のアドレス（０，１２）を先頭として、４ライン分のデータがｘ方向にフレームメモリ・サイズＸと同じ大きさで存在する。まず、入出力インターフェース部１１１によって、フレームメモリ１００のアドレス（０，１２）を先頭アドレスとして、１ＤＤ係数データが内部メモリ１１０へバースト転送される。この際に転送するデータ数（ワード数）が指定されるが、この転送データ数は内部メモリ１１０のＺ，Ｅ，Ｇ，Ｇ，Ｈ領域からなるメモリ領域が１６×１６の大きさの場合は最大６４画素相当となる。バースト転送された６４画素分のＩＤＤ係数データは、内部メモリ１１０にアドレス（０，０）〜（１５，０）、アドレス（０，４）〜（１５，４）、．．．のように４ラインおきに書き込まれる。次に、フレームメモリ１００のアドレス（０，１３）が先頭アドレスとして指定され、６４画素分の１ＤＤ係数データがバースト転送され、内部メモリ１１０のアドレス（０，１）〜（１５，１）、アドレス（０，５）〜（１５，５）．．．のように４ラインおきに書き込まれる。このような形で内部メモリ１１０に書き込むのは、各係数の隣接関係を破壊しないためである。かくして、フレームメモリ１００上の一番左上（先頭）の１ＤＤ係数データが内部メモリ１１０の上１／４に、その右隣の１ＤＤ係数データが内部メモリ１１０の次の１／４に、その右隣の１ＤＤ係数データが内部メモリ１１０の次の１／４に書き込まれる。さらに、一つ上のレベルの２ＤＤデータが（０，３）を先頭として６４画素分、バースト転送され、内部メモリ１１０の一番下の領域に４ラインおきに書き込まれる。
【００６４】
以上は符号化を行う場合の説明である。復号化は、符号化の場合と逆の手順で行われる。すなわち、符号化／復号化部１０２によって、圧縮コードcodeが復号化されて周波数帯信号データが内部メモリ１１０上に復元され、これがフレームメモリ１００に転送される。最終的にフレームメモリ１００に図５に示すようなマッピングで１フレーム分の周波数帯信号データに得られる。より詳しく述べれば、復号化は、外部より入力した圧縮コードcodeから、あるレベルのある種類の周波数帯信号、例えば４ＤＤ係数が、ＭＳＢからビット単位で復号化され、ビットプレーンが再生される。復号化もビットプレーンの２（ｘ方向）×８（ｙ方向）画素単位（２×８の大きさのデータが存在する場合。それより小さい場合はその大きさの単位）で再生される。同じ種類の１つ上のレベルの周波数帯信号が存在する場合は、それも参照される。当該ビットプレーンの処理が終了すると、ＭＳＢ−１のビット深さのビットプレーンが処理される。同様の処理が全レベルの全種類の周波数帯信号に対して施され、符号化部／復号化部１０２の復号化処理が終了する。
【００６５】
フレームメモリ１００には図５に示すようなマッピングで周波数帯信号データが書き込まれる。すなわち、符号化時の読み出し処理が、復号化時は書き込み処理になる。この周波数帯信号データが１タイル分、内部メモリ１１０へ転送され、例えば図１０に示すようなマッピングで内部メモリ１１０に書き込まれる。この周波数帯信号データに対し、ウェーブレット変換部１０１によってウェーブレット逆変換処理が行われる。ウェーブレット逆変換処理はレベル４から行われ、また各レベルの垂直処理、水平処理がこの順で行われる。最初にＳＳ係数と４ＳＤ，４ＤＳ，４ＤＤの各係数から３ＳＳ係数が再生され、これがＳＳ係数と４ＳＤ，４ＤＳ，４ＤＤに上書きされる。再生された３ＳＳ係数と３ＳＤ，３ＤＳ，３ＤＤの各係数から２ＳＳ係数が再生され、これが３ＳＳ，３ＳＤ，３ＤＳ，３ＤＤに上書きされる。同様にウェーブレット順変換とは逆の手順が繰り返され、最終的にイメージデータが復元され、これがフレームメモリ１００に転送され、当該タイルの周波数帯信号データに上書きされる。フレームメモリ１００と内部メモリ１１０との間のデータ転送は、符号化の場合と同様にライン毎、ラスタ順にバースト転送によって行われる。
【００６６】
なお、タイルメモリ１２０のサイズは、ウェーブレット変換部１０１で要求される最大レベルに合わせて決定される。すなわち、最大レベルのＳＳ出力が１画素になるように選ばれる。本実施例では、レベル４であるのでタイルサイズはＭ＝Ｎ＝１６に選ばれている。レベル６であれば、Ｍ＝Ｎ＝６４に選ばれる。このようにすると、タイルメモリ１２０の使用効率が向上する。換言すれば、ウェーブレット変換のレベル数に応じて内部メモリ１１０のワード数を最適化し、メモリ使用効率を高めるわけである。このことは以下の各実施例においても同様である。
【００６７】
＜実施例２＞
図７は、本発明の他の実施例による符号化／復号化システムのブロック図である。前記実施例１と本実施例との構成上の相異は、図１と図７を対比すれば明らかなように、記憶部１０３内に、Ｍ／２のワード数（ただし、Ｍ≧Ｎ）を持つラインメモリ（ライン記憶手段）１１５が追加されている点である。後述のように、ウェーブレット順変換処理においてラインメモリ１１５を利用する点を除けば、全体的な動作は前記実施例１と同様である。
【００６８】
符号化の場合、フレームメモリ１００から１タイル分の処理のためのイメージデータが内部メモリ１１０のタイルメモリ１２０に読み込まれる。この際のオーバーラップメモリ１２１，１２２へのデータコピーとミラー処理などは前記実施例１において図３及び図４を参照して説明した通りである。
【００６９】
タイルメモリ１２０上のイメージデータに対しウェーブレット変換部１０１によりウェーブレット順変換が行われる。レベル１の水平処理は、図８に●印で示した０ライン目の０画素目から行われれるが、その開始に先だって、図８に斜線領域として示した（Ｍ／２＋１）画素目から最後の画素までのデータが入出力インターフェース部１１２によりラインメモリ１１５にコピーされる。そして、タイルメモリ１２０の０ライン目の水平処理が行われ、得られたＳ係数はタイルメモリ１２０の０ライン目の０画素目から順次書き込まれ、また、Ｄ係数は０ライン目の（Ｍ／２＋１）画素目から順次書き込まれる。この水平処理中に、タイルメモリ１２０の０ライン目の（Ｍ／２＋１）画素目以降に対しＤ係数が上書きされるが、その元のデータはラインメモリ１１５に保存されおり、ウェーブレット変換部１１５は入出力インターフェース部１１２を介してラインメモリ１１５のデータを参照することにより、最後の画素まで支障無く水平処理を行うことができる。
【００７０】
次の１ライン目の０画素目からの水平処理の際にも同様に、まずタイルメモリ１２０の１ライン目の（Ｍ／２＋１）画素目から最後の画素までのデータがラインメモリ１１５にコピーされた後、水平処理が行われ、Ｓ係数とＤ係数が同様に書き込まれる。上書きされたデータについても、０ライン目と同様にラインメモリ１１５のデータを参照することにより、支障無く最後の画素まで水平処理が行われる。以下同様にして、最後のラインまで水平処理が行われることにより、図８に示すようにタイルメモリ１２０の左半分にＳ係数、右半分にＤ係数が保存される。
【００７１】
次にレベル１の垂直処理が、図９に●印で示す画素から縦一列のＳ係数データについて行われるが、この場合にも図９に斜線領域として示した（Ｎ／２＋１）ライン目から最終ラインまでのＳ係数データがラインメモリ１１５に予めコピーされる。垂直処理により得られるＳＳ係数はタイルメモリ１２０の０ライン目から下へ向かって順に書き込まれ、ＳＤ係数は（Ｎ／２＋１）ライン目から下へ向かって順に書き込まれる。ＳＤ係数が上書きされる位置のＳ係数データはラインメモリ１１５に保存されているので、これを参照することによりウェーブレット変換部１０１は支障無くＳ係数データに対する垂直処理を行うことができる。同様にしてＳ係数データに対する垂直処理が行われ、（Ｍ／２＋１）画素目からはＤ係数に対する垂直処理が行われ、得られた１ＤＳ係数はタイルメモリ１２０の０ライン目から書き込まれ、１ＤＤ係数はタイルメモリ１２０の（Ｎ／２＋１）ライン目から書き込まれる。この場合にも同様に、タイルメモリ１２０の下半分のＤ係数データが、その垂直処理に先だってラインメモリ１１５にコピーされ、それがウェーブレット変換部１０１により参照されるため、支障無く垂直処理を行うことができる。かくして、レベル１のＳＳ係数、１ＳＤ係数、１ＤＳ係数、１ＤＤ係数のデータが図９に示すようなマッピングでタイルメモリ１２０上に得られる。
【００７２】
次にレベル１のＳＳ係数データに対して、レベル２の水平処理が行われる。この場合も、各ラインの水平処理を開始するに先だって、そのラインの（Ｍ／４＋１）画素目から後のＳＳ係数データがラインメモリ１１５にコピーされ、水平処理中にラインメモリ１１５上のＳＳ係数データが参照される。得られたＳ係数は０画素目から、Ｄ係数は（Ｍ／４＋１）画素目から、それぞれ書き込まれる。水平処理結果に対しレベル２の垂直処理が行われるが、この場合も処理する縦一列の下半分のＳ係数データ又はＤ係数データは予めラインメモリ１１５にコピーされ、処理中に参照される。得られたＳＳ係数又は２ＤＳ係数は０ライン目から書き込まれ、２ＳＤ係数又は２ＤＤ係数は（Ｎ／４＋１）ライン目から書き込まれる。
【００７３】
次にレベル２のＳＳ係数に対し、レベル３の水平処理が行われ、その結果に対して垂直処理が行われる。レベル３の処理により得られたＳＳ係数に対しレベル４の処理が行われる。レベル３とレベル４の処理においても、処理により得られた係数が上書きされる部分のデータがラインメモリ１１５にコピーされ、処理中に参照される。かくして、最終的な周波数帯信号データがタイルメモリ１２０上に図１０に示すようにマッピングされる。
【００７４】
タイルメモリ１２０に得られた周波数帯信号データは、入出力インターフェース部１１１を介して、前記実施例１の場合と同様にライン毎、ラスタ順に連続したデータに変換されてバースト転送によりラインメモリ１００へ転送される。この際、タイルメモリ１２０上に周波数帯信号データが図１０のように非離散的にマッピングされているため、例えば図２１に示すように離散的にマッピングされた場合に比べ、入出力インターフェース部１１２のタイルメモリ１２０に対するアドレッシングが簡単になる。例えば、図１０に示したように、１ＤＤ係数データの読み出しは、●印の位置を起点とする、連続したアドレッシングを行えば済む。他の係数データも、図１０に●印で示した位置を起点として同様に連続したアドレッシングによって読み出せばよい。したがって、入出力インターフェース部１１１のアドレス生成機構を大幅に単純化できる。また、ウェーブレット順変換処理中に、図８及び図９に示すようにタイルメモリ１２０上に係数データが連続的にマッピングされるため、図１７乃至図２０に示したように離散的にマッピングされる場合に比べ、タイルメモリ１２０に対する読み書きのための入出力インターフェース部１１２によるアドレッシングも単純になるため、入出力インターフェース部１１２のアドレス生成機構も単純化できる。
【００７５】
＜実施例３＞
本発明の他の実施例によれば、前記実施例２の構成において、内部メモリ１１０のタイルメモリが、図１１に示すような周波数帯信号の種類別に対応付けた４つの独立したメモリブロック（memSS，memSD，memDS，memDD）１２４に分割した構成とされる。それぞれのメモリブロックmemSS，memSD，memDS，memDDは、図３に示したタイルメモリ１２０を縦横に４分割したものに相当する記憶領域（網掛けのない領域）に、レベル２以降の対応した種類の周波数帯信号を格納するための記憶領域（網掛けした領域）を付加した如き構成のメモリである。
【００７６】
このような分割構成のタイルメモリへのイメージデータの読み込みは、前記実施例１及び２と同様に考えればよいが、１タイル分のイメージデータは４つのメモリブロックmemSS，memSD，memDS，memDDの網掛けされない記憶領域に分散された形で書き込まれる。イメージデータに対するミラー処理なども同様である。読み込まれたイメージデータに対するウェーブレット順変換は、基本的には前記実施例２と同様に考えればよいが、レベル１の各種類の係数データは、図１１に示すように、対応付けられたメモリブロックmemSS，memSD，memDS，memDDの網掛けされていない記憶領域に書き込まれ、レベル２からレベル４の各種類の係数データは図１１に示すように対応付けられた網掛けされた記憶領域に書き込まれる。
【００７７】
メモリブロックmemSS，memSD，memDS，memDDはそれぞれ物理的に独立しているので、それぞれを同時にアクセスし、Ｓ係数とＤ係数を同時に読み書きし、又はＳＳ，ＳＤ，ＤＳ，ＤＤを同時に読み書きすることができるため、より高速な処理が可能である。このことは、復号化時のウェーブレット逆変換処理についても同様である。また、各係数データは対応したメモリブロックの対応した記憶領域に連続的にマッピングされるので、ウェーブレット変換処理時の入出力インターフェース部１１２の内部メモリ１１０に対するアドレッシングが単純になる。また、最終的に必要となる各種の周波数帯信号データは、図１１を見れば明らかなように、すでに連続したデータとして内部メモリ１１０上にマッピングされた形となるため、それらをフレームメモリ１００へバースト転送する際に入出力インターフェース部１１１は複雑なアドレッシングを行う必要がない。
【００７８】
さらに、本実施例の構成は、ウェーブレット変換部１０１で使用される低域通過フィルタ又は高域通過フィルタの出力ビット深さが、イメージデータのビット深さと異なる場合に特に有効である。例えば、イメージデータが８ビット深さ、ＳＳ係数が８ビット深さ、ＳＤ係数とＤＳ係数が１２ビット深さ、ＤＤ係数が１６ビット深さである場合、それぞれの係数データのための記憶領域に、対応する係数のビット深さ分のビット深さを持たせることができる。したがって、メモリ全体に最大のビット深さであるＤＤ係数と同じ１６ビットの深さを持たせるよりも、内部メモリ１１０の総ビット数を減らしメモリコストを削減できる。
【００７９】
＜実施例４＞
本発明の他の実施例によれば、前記実施例３にけるタイルメモリを構成する各メモリブロック（memSS，memSD，memDS，memDD）１２４が図１２に示すような構成とされる。すなわち、各メモリブロック１２４は、独立した３個（一般的には複数個）のメモリ要素（mem1，mem2，mem3）２０２と、これらメモリ要素２０２に対する読み出し及び書き込みを制御するための入力データ制御部２００と、各メモリ要素２０２の出力データの外部出力を制御するための出力データ制御部２０１とからなり、入力信号としてｒａ（読み出しアドレス）、ｗａ（書き込みアドレス）、ｒｅｂ（読み出し許可）、ｗｅｂ（書き込み許可）、ｉ（入力データ）、ｌｅｖｅｌ（ウェーブレット変換のレベル）、ｓｅｌ（このメモリブロックに対する選択信号）の各信号を持ち、また、一つの出力信号ｏ（出力データ）を持ち、外部から見れば、複数のメモリ要素２０２をあたかも一つの大きなメモリ要素であるかのように扱うことができる構成である。
【００８０】
チップに内蔵できるメモリの大きさには限度がある。それを越えるサイズのメモリブロックが要求される場合、チップ内において複数のメモリ要素から各メモリブロックmemSS，memsD，memDS，memDDを構成せざるを得ない。この場合、本実施例のメモリブロックを用いれば、ウェーブレット変換部１０１及び符号化／復号化部１０２は、各メモリブロックが複数のメモリ要素から構成されていることを意識することなく、レベルとアドレスなどを指定するだけで、各メモリブロックをアクセスすることができるため、単純に複数のメモリ要素を用いる場合に比べ、両者からのメモリブロック・アクセスに関係した制御機構を簡単かつ小規模にできる。
【００８１】
＜実施例５＞
本発明の他の実施例によれば、前記各実施例の構成において、内部メモリ１１０のタイルメモリがワード単位でもビット単位でも読み出しと書き込みが可能な記憶要素、例えばレジスタを用いて構成される。そのような種類のメモリがあれば、それを用いてタイルメモリを構成してもよい。
【００８２】
ウェーブレット変換部１０１ではデータの操作はワード単位で行われるのに対し、符号化／復号化部１０２で必要なデータはビット単位である。したがって、タイルメモリがワード単位でしかデータの読み書きを行えない場合、符号化／復号化部１０２では、データを１ワードずつ読み込み、必要なビットだけを抽出する処理をし、当該ビットのみを書き換え（他のビットはマスクする等の方法で書き換えられないような処理が必要）、再びワード単位で書き戻すといった処理が必要になる。これに対し、タイルメモリがビット単位でもデータの読み書きが可能なものであれば、必要なビットだけを読み込み、処理をして同じアドレス及びビットプレーンに書き戻すだけで済むため、より効率的・高速な処理が可能である。
【００８３】
＜実施例６＞
本発明の他の実施例によれば、記憶部１０３が図１３に示すような構成に変更される。これ以外の構成は前記実施例１，２，３又は４と同様である。
【００８４】
図１３において、３００はフレームメモリ１００と内部メモリ１１０又は符号化／復号化部１０２との間のデータ転送を制御するための入出力インターフェース部であり、これは内部メモリ１１０とフレームメモリ１００との間のデータ転送を制御する入出力インターフェース部３０１、符号化／復号化部１０２とフレームメモリ１００との間のデータ転送を制御する入出力インターフェース部３０２、及び、データ選択部３０３からなる。
【００８５】
フレームメモリ１００上のイメージデータを符号化する場合、データ選択部３０３によって入出力インターフェース部３０１とフレームメモリ１００とが接続された形になり、前記実施例１，２，３又は４の場合と同様に、入出力インターフェース部３０１の制御によりフレームメモリ１００からイメージデータがバースト転送されて内部メモリ１１０のタイルメモリに書き込まれる。このイメージデータに対するウェーブレット順変換がウェーブレット変換部１０１によって行われ、得られた周波数帯信号データは入出力インターフェース部３０１の制御によりフレームメモリ１００へバースト転送される。フレームメモリ１００に得られた周波数帯信号データの符号化を行う場合、データ選択部３０３によってフレームメモリ１００と入出力インターフェース部３０２とが接続された形となり、入出力インターフェース部３０２の制御により、周波数帯信号データは内部メモリ１１０を介することなく直接的に符号化／復号化部１０２へ入力される。このように内部メモリ１１０へのデータ転送のステップが不要になるため、高速な符号化処理が可能である。
【００８６】
復号化の場合、データ選択部３０３によりフレームメモリ１００と入出力インターフェース部３０２とが接続された形となり、符号化／復号化部１０２により、内部メモリ１１０を介することなく直接的にフレームメモリ１００上に周波数帯信号データが復元される。復元された周波数帯信号に対するウェーブレット逆変換動作は前記実施例１，２，３又は４の場合と同様であり、データ選択部３０３によって入出力インターフェース部３０１が選択され、同入出力インターフェース部の制御により、周波数帯信号が内部メモリ１１０に読み込まれてウェーブレット変換部１０１によってウェーブレット逆変換を施されてイメージデータが再生され、これがフレームメモリ１００に書き出される。
【００８７】
以上、本発明の実施の形態を説明したが、本発明はそのような実施形態のみに限定されるものではなく、様々な変形が許されるものである。
【００８８】
【発明の効果】
以上に詳細に説明したように、本発明によれば、以下に述べるような多くの効果を得られる。
【００８９】
請求項１乃至１１の各項記載の符号化装置又は復号化装置においては、内部記憶手段からフレームメモリへの周波数帯信号データの転送をバースト転送で高速に行うことが可能である。また、フレームメモリ上に周波数帯信号が非離散的にマッピングされるためフレームメモリから内部記憶手段へ周波数帯信号データをバースト転送で高速に転送することも可能になる。また、ウェーブレット変換を内部記憶手段を利用して行うことができるため、ウェーブレット変換時にフレームメモリをライン方向にアクセスする必要がない。したがって、フレームメモリに対するアクセスに伴う遅れを回避し、符号化／復号化動作を高速化できる。
【００９０】
請求項３記載の符号化装置においては、前述のように、ラインメモリを用意することにより、ウェーブレット変換の段階で内部記憶手段に周波数帯信号データを非離散的にマッピングするため、その周波数帯信号データをフレームメモリへ転送する際に、その転送の制御のための手段が離散的なアドレスマッピングを行うことなくライン毎、ラスタ順のデータとして周波数帯信号データを転送することができ、したがって、その制御のための手段を簡略、小規模なものにできる。また、ウェーブレット変換時の内部記憶手段に対するアドレッシングも単純になるため、その制御機構も簡略化できる。
【００９１】
さらに、請求項４，５，６記載の符号化装置においては、ウェーブレット順変換時に内部記憶手段の複数のブロックを同時にアクセスすることが可能であるため、符号化動作の一層の高速化が可能である。また、各ブロックに、対応した種類の周波数帯信号に応じて必要最小限のビット深さを持たせることにより、内部記憶手段のためのメモリコストを減らすことができる。
【００９２】
請求項７記載の符号化装置においては、内部記憶手段の各ブロックが複数の記憶要素から構成されていることを意識することなく、ウェーブレット変換部及び符号化部から各ブロックをあたかも単一の記憶要素の如く扱ってアクセスすることができるため、そのアクセスに関連した制御機構を簡略化できる。
【００９３】
請求項８，９記載の符号化装置においては、前述のように、符号化部の処理を単純化・高速化し、符号化動作をより高速化することができる。
【００９４】
請求項１０記載の符号化装置においては、符号化部とフレームメモリとの間で内部記憶手段を介さず直接的にデータを転送することにより、より高速な符号化動作が可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施例による符号化／復号化システムのブロック図である。
【図２】フレームメモリと処理単位であるタイルの説明図である。
【図３】タイルメモリとオーバーラップメモリの説明図である。
【図４】（ａ）処理対象のタイルの位置の判断方法及びミラー処理などの内容を説明する表図である。
（ｂ）フレームメモリ上のタイルの位置関係を示す図である。
【図５】フレームメモリにおける周波数帯信号データのマッピングを示す図である。
【図６】イメージデータのウェーブレット変換処理に関連した動作を説明するためのフローチャートである。
【図７】本発明の第２の実施例による符号化／復号化システムのブロック図である。
【図８】タイルメモリに対する水平処理時におけるラインメモリの利用方法と係数データの格納方法を説明するための図である。
【図９】タイルメモリに対する垂直処理時におけるインメモリの利用方法と係数データの格納方法を説明するための図である。
【図１０】タイルメモリにおける周波数帯信号データのマッピングを示す図である。
【図１１】本発明の第３の実施例におけるタイルメモリの構成と周波数帯信号データの格納方法を示す図である。
【図１２】本発明の第４の実施例におけるメモリブロックの構成を示すブロック図である。
【図１３】本発明の第５の実施例による圧縮／伸長システムのブロック図である。
【図１４】従来技術を説明するためのブロック図である。
【図１５】ウェーブレット変換の水平処理及び垂直処理における演算を説明するための図である。
【図１６】イメージデータのメモリマップを示す図である。
【図１７】１Ｓ係数及び１Ｄ係数のメモリマップを示す図である。
【図１８】１ＳＳ係数、１ＳＤ係数、１ＤＳ係数及び１ＤＤ係数のメモリマップを示す図である。
【図１９】２Ｓ係数及び２Ｄ係数のメモリマップを示す図である。
【図２０】２ＳＳ係数、２ＳＤ係数、２ＤＳ係数及び２ＤＤ係数のメモリマップを示す図である。
【図２１】レベル４の各係数のメモリマップを示す図である。
【符号の説明】
１００フレームメモリ
１０１ウェーブレット変換部
１０２符号化／復号化部
１０３記憶部
１１０内部メモリ
１１１，１１２，１１３入出力インターフェース部
１１５ラインメモリ
１２０タイルメモリ
１２１ｘ方向オーバーラップメモリ
１２２ｙ方向オーバーラップメモリ
１２４メモリブロック
２００入力データ制御部
２０１出力データ制御部
２０２メモリ要素
３０１，３０２入出力インターフェース部
３０３データ選択部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to the field of data compression and decompression, and more particularly to an apparatus for encoding and decoding using wavelet transform.
[0002]
[Prior art]
  Data compression is a very useful tool for storing and transmitting large amounts of data. For example, the time required for facsimile transmission of a document and transmission of an image such as the World Wide Web can be drastically shortened by reducing the number of bits required for reproduction of the image using compression.
[0003]
  Conventionally, many different data compression methods exist. As the most widely used compression method, there is a JPEG (Joint Photographic Experts Group) compression method. In the JPEG compression method, input symbols or luminance data are quantized and then converted into output codewords. Quantization aims to remove important feature quantities while preserving important feature quantities of data. Prior to quantization, transformation is used to concentrate energy, but JPEG employs DCT (discrete cosine transformation). However, various drawbacks have been pointed out with respect to the JPEG method using DCT. For example, block noise and mosquito noise (called this because mosquitoes appear to fly). In image signal processing, there is an interest in pursuing an efficient and highly accurate data compression encoding method that eliminates these drawbacks. Among these methods, there is a wavelet pyramid processing method.
[0004]
  When wavelet transform (forward transform) is applied to a two-dimensional signal such as an image signal, a horizontal low-pass filter HL (Horizontal Low) and a horizontal high-pass filter HH (Horizontal High) are applied to the input signal. ) To separate the S (smooth) coefficient, which is a horizontal low-frequency signal, and the D (detail) coefficient, which is a horizontal high-frequency signal. Using a low-pass filter VL (Vertical Low) and a vertical high-pass filter VH (Vertical High), the SS coefficient that is a horizontal low-vertical low-frequency signal, horizontal low-vertical high-frequency The signal is divided into an SD coefficient, a DS coefficient that is a horizontal high band-vertical low band signal, and a DD coefficient that is a horizontal high band-vertical high band signal.
[0005]
  The series of processes described above is called a level, and an output obtained by performing one horizontal process and vertical process is called a level 1 output. Furthermore, the above four types of signals are called frequency band signals. This process is recursively performed on the SS coefficient when an output of level 2 or higher is desired. In the level 2 output, seven frequency band signals of SS coefficient, 1SD coefficient and 2SD coefficient, 1DS coefficient and 2DS coefficient, 1DD coefficient and 2DD coefficient are obtained. In the above description, the filter is first applied in the horizontal direction and then the filter is applied in the vertical direction, but the order may be reversed.
[0006]
  FIG. 14 shows a conventional configuration when processing up to level 4 is performed. In the figure, 1000 is a wavelet transform unit, 1100 is a memory unit, and 1200 is an encoding / decoding unit. At the time of encoding, image data data is taken into the memory unit 1100, and wavelet order conversion is performed on the image data by the wavelet transform unit 1000, and a frequency band signal is obtained in the memory unit 1100. The encoding / decoding unit 1200 takes a frequency band signal from the memory unit 1100, encodes it, and outputs a compressed code code. At the time of decoding, the input compressed code code is decoded by the encoding / decoding unit 1200, and the frequency band signal is restored on the memory unit 1100. Wavelet inverse transform is performed on the frequency band signal by the wavelet transform unit 1000, whereby image data is restored to the memory unit 1100 and output to the outside.
[0007]
  In the wavelet transform unit 1000, filter1H, filter2H, filter3H, and filter4H are horizontal filters including a horizontal low-pass filter HL and a horizontal high-pass filter HH. Numbers 1 to 4 in these filter names represent level numbers, and H means a horizontal filter. Similarly, filter1V1, filter1V2, filter2V1, filter2V2, filter3V1, filter3V2, filter4V1 and filter4V2 are vertical filters including a vertical low-pass filter VL and a vertical high-pass filter VH. V in these filter names means a vertical filter, numbers 1 to 4 before V represent level numbers, and number 1 after V inputs a horizontal low-frequency signal (S coefficient). The numeral 2 after V indicates that the filter receives a horizontal high-frequency signal (D coefficient). The Controller is a controller that controls data transfer between the memory unit 1100 and the filter.
[0008]
  The above filter may have any configuration, but in the following description, a 2-tap operation is performed using two sets of data as the horizontal low-pass filter HL and the vertical low-pass filter VL. A filter shall be used. As the horizontal high-pass filter HH and the vertical high-pass filter VH, among the S coefficients that are the outputs of the low-pass filter HL or VL, the current position and the sum of the previous and next It is assumed that a 6-tap filter that uses 3 sets of data for calculation is used.
[0009]
  An example of calculation when such a filter is used is shown in FIG. (A) of FIG. 15 explains the process of the horizontal direction filter, 00 means the 0th pixel data of the 0th line, and 12 means the 2nd pixel data of the 1st line (such as this). Both lines and pixels are counted from the 0th position). The output S00 of the 0th pixel of the horizontal low-pass filter HL is obtained from 00 data and 01 data, and the output S01 of the 1st pixel is obtained from 02 data and 03 data. On the other hand, the output D00 of the 0th pixel of the horizontal high-pass filter HH is the data before and after the 00 data (not existing), 00 data, 01 data, and 02 data. , 03 data. Here, in order to obtain the data before and after the 00 data that does not actually exist, a process called a mirror is performed. Specifically, a process of turning back the data in a mirror image relationship is performed. As a result, the previous data and the previous data become 01 data and 00 data. In this way, D00 is calculated from the 6 pixel data.
[0010]
  FIG. 15B illustrates the vertical filter processing. This process is performed in the vertical direction using the S coefficient and the D coefficient by the vertical filter process. The non-existent coefficient is subjected to mirror processing as in the case of the horizontal filter processing.
[0011]
  FIG. 16 shows image data stored in a frame memory or the like in raster order. FIG. 17 to FIG. 20 show an example of a method for storing the calculation results up to level 2 of the wavelet transform process. First, data is read from the frame memory, horizontal processing is performed, and the result is written again into the frame memory. In order to avoid overwriting unprocessed data at the time of writing, for example, the S coefficient and the D coefficient are written by mapping as shown in FIG. In FIG. 17, 1S00 and 1D00 mean the S coefficient and D coefficient of the address 00 of level 1. FIG. 18 shows an example of mapping when writing each coefficient after performing vertical processing. This is the method of storing each level 1 coefficient. FIG. 19 shows an example of a method of storing each level 2 horizontal coefficient. Note that the shaded portion of data is not used because level 2 processing is only performed on 1SS coefficients. Next, in the mapping as shown in FIG. 20, each level 2 coefficient is stored, and the level 2 processing ends. Similar processing is repeated up to level 4. FIG. 21 shows a method of storing each frequency band signal at each level when processing up to level 4 is performed when image data of 16 pixels × 16 lines is input.
[0012]
  The frequency band signals of the respective levels obtained as described above are encoded and compressed by the encoding / decoding unit 1200. However, since encoding is usually performed by bit processing, as described above. The frequency band signal needs to be once written in the storage in the memory unit 1100. A commonly used storage is a semiconductor memory. The encoding / decoding unit 1200 performs encoding by performing bit processing with reference to each frequency band signal written in the storage, and outputs the result as a compressed code code. The decompression process from the compressed code code to the image data is performed in the reverse order to the above-described encoding process.
[0013]
  For more detailed information about the encoding and decoding apparatus, wavelet transform unit, or filter related to the present invention, refer to Japanese Patent Laid-Open No. 8-139935. Similar conventional techniques are disclosed in JP-A-3-27687, JP-A-5-167997, and JP-A-5-183386.
[0014]
[Problems to be solved by the invention]
  Image data is normally written in the frame memory as raster data as shown in FIG. The wavelet transform unit converts this raster data into raster order.memoryAnd wavelet transform. At this time, the data is discretely mapped and written to the frame memory as shown in FIG. 21 so that the unprocessed data is not overwritten.
[0015]
  As long as the processing time does not matter so much, any frame memory can be used. However, in order to realize high-speed processing, it is necessary to use a high-speed memory such as SDRAM or RDRAM. These high-speed memories are configured to read or write data corresponding to successive addresses starting from a specified address, so that a wait time is required when accessing discrete addresses. Will occur. When accessing the pixel direction discretely, the weight can be reduced to some extent by devising it.it can. However, in the line direction, the wait time is always generated structurally. For example, if discrete addressing is performed in the line direction (necessary for vertical processing), if two wait cycles occur, one cycle cycle required for actual memory access is required for vertical processing. In total, it takes three times as much processing time.
[0016]
  For this reason, there is a problem that the high-speed performance of the high-speed memory cannot be fully utilized. When accessing the frame memory while performing wavelet processing, it is necessary to synchronize with the inside, but there is also a problem that wait time occurs until this synchronization is achieved. Since the address map after wavelet transform is complicated and discrete as shown in FIG. 21, there is also a problem that the interface part with the frame memory becomes complicated.
[0017]
  In addition, the device is made into one chip, and the size corresponding to the tile that is the unit of image processing.SanomeIf the memory is to be provided inside, there is a limit to the size of one memory element that can be used inside the chip, so there are cases where the memory must be composed of two or more memory elements. In such a configuration, memory access from both blocks of the wavelet transform unit and the encoding / decoding unit becomes complicated. That is, there is a problem that the control units of both the wavelet transform unit and the encoding / decoding unit are large in size and complicated.
[0018]
  In the wavelet transform unit, data input / output is in units of words. On the other hand, in the encoding / decoding unit, data input / output is in units of bits, so that the storage means used is the same as the wavelet transform unit. Therefore, there is a problem that a chip area for storage becomes large.
[0019]
  The present invention has been made in view of the above-described problems, and its object is to increase the operation speed, simplify the configuration, and improve the memory usage efficiency of an encoding / decoding device that uses wavelet transform. There is.
[0020]
[Means for Solving the Problems]
  According to the first aspect of the present invention, storage means for temporarily storing image data or frequency band signal data, wavelet order conversion processing of image data is performed by using tiles obtained by dividing a frame as processing units, and frequency band signal data is obtained. Wavelet transform means for generating, encoding means for performing compression processing of frequency band signal data to generate a compressed code, control for transferring image data to be subjected to the wavelet order conversion processing from a frame memory to the storage means, Control for transferring frequency band signal data generated by the wavelet forward conversion processing from the storage means to the frame memory, control for transferring frequency band signal data to be encoded from the frame memory to the storage means, Between the storage means and the wavelet transform means. Control means for transferring frequency data or frequency band signal data, and control means for transferring frequency band signal data between the storage means and the encoding means. By the control of the control means, the storage means The frequency band signal data generated by the wavelet order conversion process is continuously read for each frequency band, and the read data is transferred to the frame memory as continuous data in raster order for each line of the frame memory. The encoding device is characterized by the above.
  The specific contents of the transfer of the frequency band signal data from the storage means to the frame memory will be described as follows in connection with, for example, Example 1 described later.
  For example, signals in each frequency band of SS, 4SD, 4DS, 4DD, 2SD, 2DS, 2DD, 1SD, 1DS, and 1DD are generated by the wavelet order conversion process for one tile. 110 stored. And Such frequency band signal data is continuously read from the internal memory 110 for each frequency band, and the data is transferred to the frame memory 100 as continuous data in a raster order for each line of the frame memory 100, thereby For example, the mapping shown in FIG. 5 is stored in the tile area of the memory 100.
  For example, in the case of 2SD, the data is read continuously, and is first transferred as continuous data in raster order corresponding to line 1 of the frame memory 100 and stored in line 1 of the frame memory 100. The 2DS data is also read continuously, sequentially transferred as raster 2 continuous data on line 2, and stored in line 2 of the frame memory 100. Similarly, 2DD data is transferred as continuous data in the raster order of line 3 and stored in line 3 of the frame memory. Similarly, 1SD, 1DS, and 1DD data are continuously read for each frequency band, sequentially transferred as raster-continuous data for each line, and sequentially stored in lines 4 to 15 of the frame memory. However, the data of the frequency bands SS, 4SD, 4DS, 4DD, 3SD, 3DS, and 3DD are continuously read for each frequency band. However, since the number of coefficients is small, the entire data is in raster order for one line. It is transferred as continuous data and stored in line 0 of the line memory 100.
[0021]
  A second aspect of the present invention is the encoding device according to the first aspect of the present invention, wherein the storage means is a tile boundary in the image data of the target tile of the wavelet order conversion process transferred from the frame memory. An overlap memory for temporarily storing the data of the part for reference in a wavelet order conversion process for other tiles after the tile, storing the data in the overlap memory, and The encoding device is characterized in that reference in the wavelet order conversion processing of data stored in the overlap memory is controlled by the control means.
[0022]
  According to a third aspect of the present invention, there is provided an encoding apparatus according to the first aspect of the present invention, wherein a part of the image data or frequency band signal data stored in the storage means during the wavelet forward conversion process is converted into the wavelet. A line memory temporarily stored for reference in the forward conversion process; storing image data or frequency band signal data in the line memory; and image data or frequency band signal data stored in the line memory The reference in the wavelet forward transformation process is controlled by the control means, and the storage means in a form in which the frequency band signal data generated by the wavelet forward transformation process is aggregated for each frequency band by the control of the control means It is the encoding apparatus characterized by being memorize | stored in this.
[0023]
  According to a fourth aspect of the present invention, there is provided an encoding apparatus according to the first aspect of the invention, wherein the storage unit includes a plurality of memory blocks, and the image data transferred from the frame memory to the storage unit is The frequency band signal data divided and stored in specific storage areas of the plurality of memory blocks under the control of the control means and generated by the wavelet transform process are aggregated for each frequency band under the control of the control means. Thus, the encoding device is stored in a corresponding storage area of a corresponding memory block in the plurality of memory blocks.
[0024]
  A fifth aspect of the present invention is the encoding apparatus according to the fourth aspect of the present invention, wherein each of the plurality of memory blocks is physically independent and can be independently accessed. It is an encoding device.
[0025]
  A sixth aspect of the present invention is the encoding device according to the fourth aspect of the present invention, wherein each storage area of each memory block has a bit depth corresponding to the bit depth of frequency band signal data stored therein. This is a coding device characterized by having a length.
[0026]
  A seventh aspect of the invention is an encoding apparatus according to the fifth aspect of the invention, wherein each of the memories The block includes a plurality of memory elements, input data control means for controlling reading and writing with respect to each memory element, and output data control means for controlling external output of output data of each memory element. As an input signal, there are provided a read address, write address, read permission, input data, wavelet order conversion level, and selection signal for the memory block.
[0027]
  The invention according to claim 8 is the encoding apparatus according to claim 1, wherein the storage means is a storage element that can be read and written in word units or bit units. Device.
[0028]
  A ninth aspect of the present invention is the encoding apparatus according to the eighth aspect of the present invention, wherein the storage element is a register.
[0029]
  A tenth aspect of the present invention is the encoding apparatus according to the first aspect of the present invention, wherein the control means passes frequency band signal data to be encoded from the frame memory via the storage means. And a control unit that directly transfers the data to the encoding unit.
[0030]
  The invention described in claim 11 is a storage means for temporarily storing frequency band signal data or image data, a decoding means for performing compression code decoding processing to generate frequency band signal data, and a frame divided Wavelet transforming means for generating image data by performing wavelet inverse transform processing of frequency band signal data in units of tiles, and transferring the frequency band signal data generated by the decoding process from the decoding means to the storage means. Control, control for transferring the frequency band signal data generated by the decoding process from the storage means to the frame memory, and transferring the frequency band signal data to be subjected to the wavelet inverse transformation process from the frame memory to the storage means Control, generated by the wavelet inverse transformation process from the storage means Control means for transferring the received image data to the frame memory, control for transferring frequency band signal data or image data between the storage means and the wavelet transform means, and by control of the control means The frequency band signal data generated by the decoding process from the storage means is continuously read for each frequency band, and the read data is the continuous data in raster order for each line of the frame memory. A decoding apparatus characterized by being transferred to a frame memory.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
  Embodiments of the present invention will be described below with reference to the accompanying drawings. For convenience of explanation, the same reference numerals are assigned to the same portions or corresponding portions in the drawings.
[0032]
<Example 1>
  FIG. 1 is a block diagram of an encoding / decoding system according to an embodiment of the present invention. In FIG. 1, 100 is a frame memory, 101 is a wavelet transform unit, 102 is an encoding / decoding unit, and 103 is a storage unit. For example, the wavelet transform unit 101, the encoding / decoding unit 102, and the storage unit 103 are integrated on the same chip, and the frame memory 100 is an external memory. As the frame memory 100, for example, an SDRAM capable of burst transfer is used.
[0033]
  Encoding / decoding unit102Works as an encoding unit that encodes wavelet transform frequency band signals to generate compressed code code in the case of encoding operation, and generates frequency band signals by decoding compressed code code in the case of decoding operation It works as a decoding unit. Encoding / decoding unit102Encoding system having the same configuration in which is replaced with an encoding-dedicated one, and encoding / decoding unit102A decoding system having a similar configuration in which is replaced with a decoding-dedicated one is also included in the present invention.
[0034]
  The storage unit 103 includes an internal memory (internal storage unit) 110 and three input / output interface units 111, 112, and 113 serving as a unit for controlling data transfer. The input / output interface unit 111 controls data transfer between the internal memory 110 and the frame memory 100, and the input / output interface unit 112 controls data transfer between the internal memory 110 and the wavelet transform unit 101. The input / output interface unit 113 controls data transfer between the internal memory 110 and the encoding / decoding unit 102.
[0035]
  As shown in FIG. 2, the frame memory 100 has a size of X pixels × Y lines. As shown in FIG. 2, the wavelet order conversion for the image data on the frame memory 100 is performed with a region (tile) having a size of M (x direction) × N (y direction) as a processing unit. This tile division is performed so that adjacent tiles do not overlap.
[0036]
  As shown in FIG. 3, the internal memory 110 includes a tile memory 120 having a size corresponding to the size of one tile of the frame memory 100, and an x direction (pixel direction) oversize having a size of a × N pixels. The lap memory 121 and the y direction (line direction) overlap memory 122 having a size of X × a pixels are included. Here, a is determined by the number of taps of the filter used in the wavelet transform unit 101. When the filter described in the prior art is used, a = 2.
[0037]
  The tile memory 120 conceptually has a positional relationship of A, B, C, D, E, F, G as shown in FIG., H,It is composed of the Z region. A memory area composed of a collection of areas Z, E, F, G, and H has the same size of M × N pixels as the size of the tile, and when a tile in the frame memory 100 is subjected to wavelet order conversion, The tile image data is transferred to the memory area in a one-to-one correspondence. Regions A, B, C, and D are located outside the memory region of M × N pixels in the positional relationship shown in FIG. Region A and region C each have a size of M × a pixels, and regions B and D each have a size of a × N pixels. A method of using the areas A, B, C, and D and the overlap memories 121 and 122 will be described later with reference to FIG.
[0038]
  Next, an operation for encoding image data on the frame memory 100 will be described. FIG. 6 is a schematic flowchart related to the wavelet order conversion process in this case.
[0039]
  First, under the control of the input / output interface unit 111 in the storage unit 103, one tile that is the processing target of the frame memory 100 and the image data of the regions corresponding to the regions C and D are stored in the internal memory 110 in line and raster order. And is written to the tile memory 120 in a one-to-one correspondence (step 1).
[0040]
  Next, under the control of the input / output interface unit 111 (or the input / output interface unit 112), the image data in the H area and the G area (see FIG. 3) in the tile memory 120 is overlapped with the x direction overlap memory 121. Each is copied to the memory 122 (step 2).
[0041]
  Next, necessary data copy for A, B, C, and D of the tile memory 120 is performed under the control of the input / output interface unit 111 (or 112) (step 3). The contents of this data copy depend on the position of the tile to be processed. The positional relationship of tiles on the frame memory 100 is classified into nine types as representatively shown in FIG. The input / output interface unit 111 (or 112) determines in which position the tile to be processed is located according to the condition described in the “determination” column of FIG. 4A, and according to the result, FIG. ) Copy data according to the description in the “Copy source” column.
[0042]
  Initially, the upper left tile (0), which is the hatched area in FIG. 2, is processed, and this tile is the tile at position 1 shown in FIG. 4 (b). In the case of the tile at the position 1, there is no data of the A area and the B area necessary for the wavelet order conversion process, and it is necessary to perform the mirror process as described in the related art. As this mirror processing, the input / output interface unit 111 (or 112) moves one of the E area and the H area to the A area of the tile memory 120 as described in the “copy source” column of FIG. Data is copied from the part, and data is copied from a part of the F area and the E and G areas to the B area. Thus, the tile memory 120 has the data necessary for the wavelet order conversion processing of the tile (0).
[0043]
  Next, the wavelet transform unit 101 accesses the tile memory 120 via the input / output interface unit 112 and executes a wavelet order transform process (step 4). For example, the same four-level wavelet order transformation as described in the related art is performed. At this time, for example, the S coefficient and the D coefficient that are the result of the level 1 horizontal processing are written in the tile memory 120 by mapping as shown in FIG. 17, and the 1SS coefficient and the 1SD coefficient that are the result of the level 1 vertical processing are written. The 1DS coefficient and 1DD coefficient are written by mapping as shown in FIG. Similarly, the 2S coefficient and 2D coefficient that are the result of level 2 horizontal processing for the 1SS coefficient are written by mapping as shown in FIG. 19, and the 2SS coefficient, 2SD coefficient, 2DS coefficient, and The 2DD coefficient is written by mapping as shown in FIG. Finally, when level 4 vertical processing ends, each frequency band signal of each level is written in the memory area of M × N pixels of the tile memory 120 by mapping as shown in FIG. However, in FIG. 21, the tile size is M = N = 16 (hereinafter the same).
[0044]
  When the wavelet order conversion of the tile (0) is completed in this way, the data in the M × N memory area of the tile memory 120 is written to the tile (0) area of the frame memory 100 via the input / output interface unit 111. (Step 5). At this time, the input / output interface unit 111 converts each frequency band signal data on the tile memory 120 that is discretely mapped as shown in FIG. 120 is addressed and read, and the data is transferred to the frame memory 100 in line-by-line and raster-order, and written into the tile (0) area of the frame memory 100 by mapping as shown in FIG.
[0045]
  When the wavelet order conversion processing for the tile (0) is completed in this way, the tile (1) on the right is selected as the processing target (step 6), and the tile (1) of the frame memory 100 is selected by the input / output interface unit 111. ) And the image data in the area corresponding to the surrounding C and D areas are transferred to the internal memory 110 for each line in raster order and written to the tile memory 120 (step 1). Next, the data in the H area and the G area are copied to the overlap memories 121 and 122, respectively (step 2).
[0046]
  Since tile (1) is a tile at position 2 shown in FIG. 4 (b), there is no data in area A. Therefore, as mirror processing, the E area and H area are processed by the input / output interface unit 111 (or 112). Data is copied from a part of A to the A area (step 3). The data on the frame memory 100 corresponding to the area B is rewritten by the processing of the tile (0), but the data before the rewriting is stored in the overlap memory (x) 121. This stored data is copied to area B (step 3). Thus, the data necessary for the wavelet order conversion of the tile (1) has been prepared in the tile memory 120.
[0047]
  The wavelet transformation unit 101 performs wavelet order transformation while accessing the tile memory 120 via the input / output interface unit 112 (step 4). Each frequency band signal data of each level discretely mapped on the tile memory 120 is converted into data in a raster order for each line by the input / output interface unit 111 and transferred to the frame memory 100, as shown in FIG. Is written with a correct mapping (step 5).
[0048]
  The tiles on the right side are sequentially processed up to the tile before the tile (n−1). Since these tiles are the tiles shown in the position 2 in FIG. 4B, the data copy similar to the tile (1) is performed in step 3. Is done.
[0049]
  The rightmost tile (n−1) is a tile at position 3 in FIG. When processing the tile at this position, in Step 3, a part of the data in the E area and the H area is copied to the A area where no data exists (mirror processing), and the D area where no data exists. The data in the H area is copied (mirror processing). Further, the data stored in the overlap memory 121 is copied to the B area where the data is rewritten.
[0050]
  Next, the first tile (n) in the second column is processed, which is the tile at position 4 in FIG. 4 (b). When processing the tile at this position, in step 3, the data of the F area, a part of the E area, and a part of the G area are copied to the B area where no data exists (mirror processing). The data stored in the overlap memory 112 is copied to the A area where the data is rewritten.
[0051]
  Next, the tile (n + 1) on the right is processed, which is the tile at position 5 in FIG. 4 (b). When processing the tile at this position, in step 3, the data before rewriting is copied from the overlap memory 122 and the overlap 121 to the A area and B area where the data is rewritten.
[0052]
  In the case of the tile on the right side (excluding the tile at the right end), the same copy processing as that for the tile (n) is performed in step 3. The tile at the right end is at position 6 in FIG. 4B, and in step 3, data is copied from the overlap memory 122 and the overlap memory 121 to the A area and B area where the data has been rewritten, and no data exists. Data in the H area is copied to the D area (mirror processing).
[0053]
  Similarly, tiles are sequentially processed from top to bottom and from left to right. For these tiles, a data copy operation corresponding to the tile at position 4, 5 or 6 in FIG. 4B is performed. This is done in step 3.
[0054]
  The lower left tile of the frame memory 100 is at position 7 in FIG. When processing this tile, in step 3, data is copied from the F area, a part of the E area, and a part of the G area to the B area where no data exists (mirror processing), and the C area where no data exists A part of the data in the G area and the H area is copied to (mirror processing). Further, the data is copied from the overlap memory 122 to the area A where the data is rewritten.
[0055]
  The tile on the right side (excluding the rightmost tile) is the tile at position 8 in FIG. When processing these tiles, in step 3, part of the data in the G area and the H area is copied to the C area where no data exists (mirror processing). Further, the data before rewriting is copied from the overlap memory 122 and the overlap memory 121 to the A area and B area where the data is rewritten.
[0056]
  When processing the last rightmost (lower right) tile, that is, the tile at position 9 in FIG. 4B, in Step 3, part of the data in the G and H areas is copied to the C area where no data exists. The data in the H area is copied to the D area where no data exists (mirror processing). Further, the data before rewriting is copied from the overlap memory 122 and the overlap memory 121 to the A area and B area where the data is rewritten.
[0057]
  As described above, the transfer of image data from the frame memory 100 to the tile memory 120 of the internal memory 110 and the transfer of frequency band signal data from the tile memory 120 to the frame memory 100 are performed for each line in raster order. . Therefore, when an SDRAM is used as the frame memory 100, the data can be transferred at high speed by burst transfer without causing latency.
[0058]
  After the image data is read into the tile memory 120, only the internal memory 110 is accessed during the wavelet order conversion process, and the frame memory 100 need not be accessed. Therefore, the occurrence of latency related to frame memory access during vertical processing, which has been a problem in the past, is avoided. Since the tile memory 120 has a smaller capacity than the frame memory 100 and can be an arbitrary type of memory capable of high-speed random access, the wavelet order conversion process can be performed at a very high speed. Further, when the frequency band signal data discretely mapped on the tile memory 120 is transferred to the frame memory 100, the input / output interface unit 111 converts the frequency band signal data into continuous data in each line and in raster order. The tile memory 120 is accessed by addressing as described above, and this access can be performed at a very high speed. Therefore, a series of operations from the operation of transferring the image data from the frame memory 100 to the tile memory 120 to the operation of transferring the frequency band signal from the tile memory 120 to the image memory 120 can be performed at high speed.
[0059]
  When the wavelet order conversion process for one frame is completed, the frequency band signal data on the frame memory 100 is transferred to the encoding / decoding unit 102 via the storage unit 103 and encoded, and is output to the outside as a compressed code code. . In the encoding / decoding unit 102, it is necessary to continuously obtain a certain type of frequency band signal data at a certain level, but since the frequency band signal data is mapped in the frame memory 100 as shown in FIG. Transfer of frequency band signal data from the frame memory 100 to the internal memory 110 can be performed at high speed by burst transfer. For example, for 1DD coefficient data, burst transfer is performed in the x direction (pixel direction) from the address (x = 0, y = 12) indicated by the mark ● in FIG. 5, and the data of the next line is the next lower one. Burst transfer may be performed from the address (0, 13).
[0060]
  As is well known, an SDRAM that is often used as the frame memory 100 is high-speed because burst transfer is performed in the x direction (pixel direction). However, the transfer in the y direction (line direction) can be read immediately if there is data in the row direction in the sense amplifier, but if it does not exist, precharge is required once, and therefore delay (latency) occurs. Occurs. When data is discretely mapped as shown in FIG. 21, the occurrence of latency is inevitable. In contrast, in this embodiment, since data is mapped as shown in FIG. 5, burst transfer is easy and sufficient precharge time can be taken, so no latency occurs (for example, 4 pixels or more in the x direction). Can be pre-charged during that time). As can be understood from FIG. 5, since the frequency band signals of level 3 and level 4 are discrete, latency occurs during the transfer. However, since the number of pixels of these frequency band signals is small (for example, the total number of certain coefficients of level 3 is only 1/16 of the total number of coefficients of level 1), the latency is a special problem in terms of the entire data transfer time. do not become.
[0061]
  The frequency band signal data transferred from the frame memory 100 to the internal memory 110 passes through the input / output interface unit 113.TickThe data is transferred to the encoding / decoding unit 102. Data necessary for the encoding / decoding unit 102 is in units of bits. When the internal memory 110 is a memory that can read and write data only in word units, the input / output interface unit 113 performs an operation of extracting necessary bits from the words (described later).
[0062]
  The encoding will be further described. For example, 4DS, 4SD, 4DD,. . . Each time, the MSB (most significant bit) is processed in order from the lower bit in units of bit planes (two-dimensional bit planes at the same bit depth). The encoding process is performed in units of 2 (x direction) × 8 (y direction) pixels of the bit plane (this is when 2 × 8 size data exists, and when smaller, the size). . What is actually processed is every unit of the above-mentioned size, but since the periphery is also referred to, data of an area including the periphery, for example, data of 4 × 10 pixels is read from the frame memory 100. Furthermore, if there is a frequency band signal of the same type and one level above, it is also referred to, and is similarly read from the frame memory 100. When the processing of the highest-order bit plane is completed, the next lower bit plane is processed in the same manner. By repeating this, processing of one type of frequency band signal of one level is completed. This is performed for all types of frequency band signals at all levels, and the encoding ends.
[0063]
  The transfer of the 1DD coefficient data to the internal memory 110 will be further described. The 1DD coefficient has four lines of data in the x direction as the frame memory size starting from the address (0, 12) indicated by ● in FIG. It exists in the same size as X. First, the input / output interface unit 111 burst-transfers 1DD coefficient data to the internal memory 110 using the address (0, 12) of the frame memory 100 as a head address. At this time, the number of data to be transferred (number of words) is specified. This is the number of data to be transferred when the memory area consisting of the Z, E, G, G, and H areas of the internal memory 110 is 16 × 16 in size. The maximum is equivalent to 64 pixels. The IDD coefficient data for 64 pixels transferred in bursts are stored in the internal memory 110 at addresses (0, 0) to (15, 0), addresses (0, 4) to (15, 4),. . . As shown in FIG. Next, the address (0, 13) of the frame memory 100 is specified as the head address, 1DD coefficient data for 64 pixels is burst transferred, and the addresses (0, 1) to (15, 1) of the internal memory 110 are addressed. (0, 5) to (15, 5). . . As shown in FIG. The reason why the data is written in the internal memory 110 in this manner is that the adjacent relationship between the coefficients is not destroyed. Thus, the upper left (first) 1DD coefficient data on the frame memory 100 is the upper 1/4 of the internal memory 110, and the right 1DD coefficient data is the next 1/4 of the internal memory 110, and the right adjacent 1 DD coefficient data is written to the next quarter of the internal memory 110. Furthermore, 2DD data of the level one level above is burst-transferred for 64 pixels starting from (0, 3), and written to the bottom area of the internal memory 110 every four lines.
[0064]
  The above is the description when encoding is performed. Decoding is performed in the reverse procedure of the encoding. That is, the encoding / decoding unit 102 decodes the compressed code code, restores the frequency band signal data on the internal memory 110, and transfers this to the frame memory 100. Finally, frequency frame signal data for one frame is obtained in the frame memory 100 by mapping as shown in FIG. More specifically, in the decoding, a certain level of frequency band signal, for example, 4DD coefficient, is decoded from the MSB in bit units from the compression code code inputted from the outside, and a bit plane is reproduced. Decoding is also performed in 2 (x direction) × 8 (y direction) pixel units of the bit plane (when data of 2 × 8 size exists. If there is a higher level frequency band signal of the same type, it is also referred to. When the processing of the bit plane is completed, the bit plane having the bit depth of MSB-1 is processed. Similar processing is performed on all types of frequency band signals at all levels, and the decoding processing of the encoding unit / decoding unit 102 ends.
[0065]
  Frequency band signal data is written in the frame memory 100 by mapping as shown in FIG. That is, the reading process at the time of encoding becomes the writing process at the time of decoding. The frequency band signal data for one tile is transferred to the internal memory 110, and is written in the internal memory 110 by mapping as shown in FIG. The wavelet transform unit 101 performs wavelet inverse transform processing on the frequency band signal data. Wavelet inverse transform processing is performed from level 4, and vertical processing and horizontal processing at each level are performed in this order. First, the 3SS coefficient is reproduced from the SS coefficient and each coefficient of 4SD, 4DS, and 4DD, and this is overwritten on the SS coefficient and 4SD, 4DS, and 4DD. A 2SS coefficient is reproduced from the reproduced 3SS coefficient and each coefficient of 3SD, 3DS, and 3DD, and this is overwritten on 3SS, 3SD, 3DS, and 3DD. Similarly, a procedure reverse to the wavelet order transformation is repeated, and finally the image data is restored, transferred to the frame memory 100, and overwritten on the frequency band signal data of the tile. Data transfer between the frame memory 100 and the internal memory 110 is performed by burst transfer for each line and in raster order as in the case of encoding.
[0066]
  Note that the size of the tile memory 120 is determined in accordance with the maximum level required by the wavelet transform unit 101. That is, the maximum level SS output is selected to be one pixel. In this embodiment, since the level is 4, the tile size is selected as M = N = 16. If it is level 6, M = N = 64 is selected. In this way, the usage efficiency of the tile memory 120 is improved. In other words, the number of words in the internal memory 110 is optimized according to the number of wavelet transform levels, and the memory usage efficiency is increased. The same applies to the following embodiments.
[0067]
<Example 2>
  FIG. 7 is a block diagram of an encoding / decoding system according to another embodiment of the present invention. The difference in configuration between the first embodiment and the present embodiment is that the number of words of M / 2 (where M ≧ N) is stored in the storage unit 103, as is apparent from the comparison between FIG. 1 and FIG. The line memory (line storage means) 115 having the above is added. As will be described later, the overall operation is the same as that of the first embodiment except that the line memory 115 is used in the wavelet order conversion process.
[0068]
  In the case of encoding, image data for processing for one tile is read from the frame memory 100 into the tile memory 120 of the internal memory 110. Data copying to the overlap memories 121 and 122 and mirror processing at this time are as described with reference to FIGS. 3 and 4 in the first embodiment.
[0069]
  The wavelet transform unit 101 performs wavelet order transformation on the image data on the tile memory 120. Level 1 horizontal processing is performed from the 0th pixel of the 0th line indicated by the ● mark in FIG. 8, but prior to the start, the last processing from the (M / 2 + 1) th pixel shown as the hatched area in FIG. Data up to these pixels are copied to the line memory 115 by the input / output interface unit 112. Then, the horizontal processing of the 0th line of the tile memory 120 is performed, and the obtained S coefficient is sequentially written from the 0th pixel of the 0th line of the tile memory 120, and the D coefficient is (M / 2 + 1) Sequentially written from the pixel. During this horizontal processing, the D coefficient is overwritten on the (M / 2 + 1) th pixel and beyond of the 0th line of the tile memory 120, but the original data is stored in the line memory 115, and the wavelet transform unit 115 By referring to the data in the line memory 115 via the input / output interface unit 112, the horizontal processing can be performed without any trouble up to the last pixel.
[0070]
  Similarly, in the case of horizontal processing from the 0th pixel of the next first line, the data from the (M / 2 + 1) pixel of the first line of the tile memory 120 to the last pixel is first copied to the line memory 115. After that, horizontal processing is performed, and the S coefficient and the D coefficient are written in the same manner. With respect to the overwritten data, the horizontal processing is performed to the last pixel without any trouble by referring to the data in the line memory 115 as in the 0th line. Similarly, the horizontal processing is performed up to the last line, so that the S coefficient is stored in the left half of the tile memory 120 and the D coefficient is stored in the right half as shown in FIG.
[0071]
  Next, level 1 vertical processing is performed on the S coefficient data in a single column from the pixel indicated by ● in FIG. 9. In this case as well, the final processing starts from the (N / 2 + 1) -th line shown as the hatched area in FIG. S coefficient data up to the line is copied to the line memory 115 in advance. SS coefficients obtained by the vertical processing are sequentially written from the 0th line to the bottom of the tile memory 120, and SD coefficients are sequentially written from the (N / 2 + 1) th line to the bottom. Since the S coefficient data at the position where the SD coefficient is overwritten is stored in the line memory 115, the wavelet transform unit 101 can perform vertical processing on the S coefficient data without any trouble by referring to this. Similarly, the vertical processing is performed on the S coefficient data, the vertical processing is performed on the D coefficient from the (M / 2 + 1) th pixel, and the obtained 1DS coefficient is written from the 0th line of the tile memory 120 to obtain the 1DD coefficient. Are written from the (N / 2 + 1) th line of the tile memory 120. Similarly, in this case, the D coefficient data in the lower half of the tile memory 120 is copied to the line memory 115 prior to the vertical processing, and is referred to by the wavelet transform unit 101. Can do. Thus, level 1 SS coefficient, 1SD coefficient, 1DS coefficient, and 1DD coefficient data are obtained on the tile memory 120 by mapping as shown in FIG.
[0072]
  Next, level 2 horizontal processing is performed on the level 1 SS coefficient data. Also in this case, before starting the horizontal processing of each line, the SS coefficient data after the (M / 4 + 1) -th pixel of the line is copied to the line memory 115, and the SS coefficient on the line memory 115 is processed during the horizontal processing. Data is referenced. The obtained S coefficient is written from the 0th pixel, and the D coefficient is written from the (M / 4 + 1) th pixel. Level 2 vertical processing is performed on the horizontal processing result. In this case as well, the lower half S coefficient data or D coefficient data to be processed is copied to the line memory 115 in advance and referred to during processing. The obtained SS coefficient or 2DS coefficient is written from the 0th line, and the 2SD coefficient or 2DD coefficient is written from the (N / 4 + 1) line.
[0073]
  Next, level 3 horizontal processing is performed on the level 2 SS coefficient, and vertical processing is performed on the result. A level 4 process is performed on the SS coefficient obtained by the level 3 process. Also in the level 3 and level 4 processing, the data of the portion where the coefficient obtained by the processing is overwritten is copied to the line memory 115 and referred to during the processing. Thus, the final frequency band signal data is mapped on the tile memory 120 as shown in FIG.
[0074]
  The frequency band signal data obtained in the tile memory 120 is converted into continuous data for each line and in raster order via the input / output interface unit 111 as in the first embodiment, and is transferred to the line memory 100 by burst transfer. Transferred. At this time, since the frequency band signal data is non-discretely mapped as shown in FIG. 10 on the tile memory 120, for example, the input / output interface unit 112 is compared to the case of discrete mapping as shown in FIG. Addressing of the tile memory 120 is simplified. For example, as shown in FIG. 10, 1DD coefficient data can be read by performing continuous addressing starting from the position of the mark ●. Other coefficient data may be read out by continuous addressing in the same manner starting from the position indicated by ● in FIG. Therefore, the address generation mechanism of the input / output interface unit 111 can be greatly simplified. In addition, since coefficient data is continuously mapped on the tile memory 120 as shown in FIGS. 8 and 9 during the wavelet order conversion process, it is discretely mapped as shown in FIGS. Compared to the case, since the addressing by the input / output interface unit 112 for reading and writing with respect to the tile memory 120 is simplified, the address generation mechanism of the input / output interface unit 112 can be simplified.
[0075]
<Example 3>
  According to another embodiment of the present invention, in the configuration of the second embodiment, the tile memory of the internal memory 110 has four independent memory blocks (memSS) associated with the types of frequency band signals as shown in FIG. , MemSD, memDS, memDD) 124. Each memory block memSS, memSD, memDS, and memDD is stored in a storage area (non-shaded area) equivalent to the tile memory 120 shown in FIG. This is a memory having a configuration in which a storage area (shaded area) for storing frequency band signals is added.
[0076]
  The reading of the image data into the tile memory having such a divided configuration may be considered in the same manner as in the first and second embodiments, but the image data for one tile is a network of four memory blocks memSS, memSD, memDS, and memDD. It is written in a distributed form in a storage area that is not multiplied. The same applies to mirror processing for image data. The wavelet order conversion for the read image data may be basically considered in the same manner as in the second embodiment. However, each type of coefficient data of level 1 is associated with a corresponding memory block as shown in FIG. The memSS, memSD, memDS, and memDD are written in the non-shaded storage areas, and the coefficient data of each type from level 2 to level 4 are written in the corresponding shaded storage areas as shown in FIG. .
[0077]
  Since the memory blocks memSS, memSD, memDS, and memDD are physically independent from each other, they can be accessed at the same time and read / write the S coefficient and D coefficient at the same time, or read / write SS, SD, DS, and DD simultaneously. Therefore, higher speed processing is possible. The same applies to the wavelet inverse transform processing at the time of decoding. Further, since each coefficient data is continuously mapped to the corresponding storage area of the corresponding memory block, the addressing to the internal memory 110 of the input / output interface unit 112 during the wavelet transform process is simplified. Further, as will be apparent from FIG. 11, the various frequency band signal data that are finally required are already mapped onto the internal memory 110 as continuous data. When performing burst transfer, the input / output interface unit 111 does not need to perform complicated addressing.
[0078]
  Furthermore, the configuration of the present embodiment is particularly effective when the output bit depth of the low-pass filter or high-pass filter used in the wavelet transform unit 101 is different from the bit depth of the image data. For example, when the image data is 8 bits deep, the SS coefficient is 8 bits deep, the SD coefficient and DS coefficient are 12 bits deep, and the DD coefficient is 16 bits deep, the storage area for each coefficient data is stored in the storage area. The bit depth corresponding to the bit depth of the corresponding coefficient can be provided. Therefore, the total number of bits of the internal memory 110 can be reduced and the memory cost can be reduced, rather than giving the entire memory the same 16-bit depth as the DD coefficient that is the maximum bit depth.
[0079]
<Example 4>
  According to another embodiment of the present invention, each memory block (memSS, memSD, memDS, memDD) 124 constituting the tile memory in the third embodiment is configured as shown in FIG. That is, each memory block 124 includes three independent (generally plural) memory elements (mem1, mem2, mem3) 202 and an input data control unit for controlling reading and writing to these memory elements 202. 200 and an output data control unit 201 for controlling the external output of the output data of each memory element 202. As input signals, ra (read address), wa (write address), reb (read permission), web ( Write permission), i (input data), level (wavelet transform level), sel (selection signal for this memory block), and one output signal o (output data). Multiple memory elements 202 can be treated as if they were one large memory element. It is a configuration.
[0080]
  There is a limit to the size of memory that can be built into a chip. When a memory block having a size larger than that is required, each memory block memSS, memsD, memDS, and memDD must be formed from a plurality of memory elements in the chip. In this case, if the memory block of the present embodiment is used, the wavelet transform unit 101 and the encoding / decoding unit 102 can recognize the level and the address without being conscious that each memory block is composed of a plurality of memory elements. Since each memory block can be accessed simply by designating, etc., the control mechanism related to memory block access from both can be made simpler and smaller than when a plurality of memory elements are simply used.
[0081]
<Example 5>
  According to another embodiment of the present invention, in the configuration of each embodiment described above, the tile memory of the internal memory 110 is configured using a storage element such as a register that can be read and written in word units or bit units. If there is such a type of memory, a tile memory may be configured using the memory.
[0082]
  In the wavelet transform unit 101, data manipulation is performed in units of words, whereas data required in the encoding / decoding unit 102 is in units of bits. Therefore, when the tile memory can read and write data only in word units, the encoding / decoding unit 102 reads data one word at a time, extracts only necessary bits, and rewrites only the relevant bits ( Other bits need to be processed so that they cannot be rewritten by a method such as masking), and processing such as writing back in units of words is necessary. On the other hand, if the tile memory is capable of reading and writing data even in bit units, it is more efficient and faster because only the necessary bits are read, processed and written back to the same address and bit plane. Processing is possible.
[0083]
<Example 6>
  According to another embodiment of the present invention, the storage unit 103 is changed to a configuration as shown in FIG. Other configurations are the same as those in the first, second, third, or fourth embodiment.
[0084]
  In FIG. 13, reference numeral 300 denotes an input / output interface unit for controlling data transfer between the frame memory 100 and the internal memory 110 or the encoding / decoding unit 102, which is an interface between the internal memory 110 and the frame memory 100. An input / output interface unit 301 that controls data transfer between them, an input / output interface unit 302 that controls data transfer between the encoding / decoding unit 102 and the frame memory 100, and a data selection unit 303.
[0085]
  When the image data on the frame memory 100 is encoded, the input / output interface unit 301 and the frame memory 100 are connected by the data selection unit 303, which is the same as in the first, second, third, or fourth embodiments. In addition, image data is burst transferred from the frame memory 100 under the control of the input / output interface unit 301 and written to the tile memory of the internal memory 110. Wavelet order conversion for the image data is performed by the wavelet conversion unit 101, and the obtained frequency band signal data is burst transferred to the frame memory 100 under the control of the input / output interface unit 301. When encoding the frequency band signal data obtained in the frame memory 100, the frame memory 100 and the input / output interface unit 302 are connected by the data selection unit 303, and the frequency is controlled by the control of the input / output interface unit 302. The band signal data is directly input to the encoding / decoding unit 102 without going through the internal memory 110. In this way, the data transfer step to the internal memory 110 is not necessary, and high-speed encoding processing is possible.
[0086]
  In the case of decoding, the frame memory 100 and the input / output interface unit 302 are connected by the data selection unit 303, and the coding / decoding unit 102 directly connects the frame memory 100 without using the internal memory 110. Thus, the frequency band signal data is restored. The wavelet inverse transform operation for the restored frequency band signal is the same as in the first, second, third, or fourth embodiment, and the input / output interface unit 301 is selected by the data selection unit 303, and the control of the input / output interface unit is performed. As a result, the frequency band signal is read into the internal memory 110, wavelet inverse transform is performed by the wavelet transform unit 101, image data is reproduced, and this is written into the frame memory 100.
[0087]
  Although the embodiments of the present invention have been described above, the present invention is not limited to such embodiments, and various modifications are allowed.
[0088]
【The invention's effect】
  As described above in detail, according to the present invention, many effects as described below can be obtained.
[0089]
  Claims 1 to11In each sectionEncoding device or decoding deviceCan transfer the frequency band signal data from the internal storage means to the frame memory at high speed by burst transfer. Further, since the frequency band signals are non-discretely mapped on the frame memory, it is possible to transfer the frequency band signal data from the frame memory to the internal storage means at high speed by burst transfer. In addition, since wavelet transformation can be performed using internal storage means, it is not necessary to access the frame memory in the line direction during wavelet transformation. Therefore, delay associated with access to the frame memory can be avoided, and the encoding / decoding operation can be speeded up.
[0090]
  Claim3DescribedEncoderIn line, as mentioned abovememoryIn order to non-discretely map the frequency band signal data to the internal storage means at the wavelet transform stage, the means for controlling the transfer when transferring the frequency band signal data to the frame memory However, it is possible to transfer frequency band signal data as raster-order data for each line without performing discrete address mapping. Therefore, the means for controlling the frequency band can be simplified and reduced in size. Further, since the addressing to the internal storage means at the time of wavelet transform is simplified, the control mechanism can be simplified.
[0091]
  And claims4, 5, 6DescribedEncoderSince it is possible to access multiple blocks of the internal storage means simultaneously during wavelet order conversion,ConversionIt is possible to further speed up the work. Further, by providing each block with the necessary minimum bit depth according to the corresponding type of frequency band signal, the memory cost for the internal storage means can be reduced.
[0092]
  ClaimItem 7ListedEncoderIn, without being aware that each block of the internal storage means is composed of a plurality of storage elements, the wavelet transform unit andEncoderSince each block can be accessed as if it were a single storage element, the control mechanism related to the access can be simplified.
[0093]
  Claim8,9DescribedEncoderAs mentioned above,EncoderThis process can be simplified and speeded up, and the coding operation can be speeded up.
[0094]
  Claim10DescribedEncoderInEncoderBy transferring data directly between the frame memory and the frame memory without going through the internal storage meansEncoding operationIs possible.
[Brief description of the drawings]
FIG. 1 is a block diagram of an encoding / decoding system according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram of a frame memory and a tile that is a processing unit.
FIG. 3 is an explanatory diagram of a tile memory and an overlap memory.
FIG. 4A is a table for explaining the contents of a method for determining the position of a tile to be processed, mirror processing, and the like.
  (B) It is a figure which shows the positional relationship of the tile on a frame memory.
FIG. 5 is a diagram showing mapping of frequency band signal data in a frame memory.
FIG. 6 is a flowchart for explaining operations related to wavelet transform processing of image data.
FIG. 7 is a block diagram of an encoding / decoding system according to a second embodiment of the present invention.
FIG. 8 is a diagram for explaining a method of using a line memory and a method of storing coefficient data during horizontal processing for a tile memory.
FIG. 9 is a diagram for explaining a method of using an in-memory and a method of storing coefficient data during vertical processing with respect to a tile memory.
FIG. 10 is a diagram illustrating mapping of frequency band signal data in a tile memory.
FIG. 11 is a diagram showing a configuration of a tile memory and a method for storing frequency band signal data in a third embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration of a memory block in a fourth embodiment of the present invention.
FIG. 13 is a block diagram of a compression / decompression system according to a fifth embodiment of the present invention.
FIG. 14 is a block diagram for explaining a conventional technique.
FIG. 15 is a diagram for explaining operations in horizontal processing and vertical processing of wavelet transform.
FIG. 16 is a diagram showing a memory map of image data.
FIG. 17 is a diagram illustrating a memory map of 1S coefficients and 1D coefficients.
FIG. 18 is a diagram illustrating a memory map of 1SS coefficient, 1SD coefficient, 1DS coefficient, and 1DD coefficient.
FIG. 19 is a diagram illustrating a memory map of 2S coefficients and 2D coefficients.
FIG. 20 is a diagram illustrating a memory map of 2SS coefficients, 2SD coefficients, 2DS coefficients, and 2DD coefficients.
FIG. 21 is a diagram showing a memory map of each coefficient of level 4;
[Explanation of symbols]
  100 frame memory
  101 Wavelet transform unit
  102 Coding / decoding unit
  103 storage unit
  110 Internal memory
  111, 112, 113 Input / output interface section
  115 line memory
  120 tile memory
  121 x direction overlap memory
  122 Y direction overlap memory
  124 memory blocks
  200 Input data control unit
  201 Output data control unit
  202 memory elements
  301, 302 Input / output interface unit
  303 Data selection part

Claims

Storage means for temporarily storing image data or frequency band signal data;
Wavelet transform means for generating frequency band signal data by performing wavelet order transform processing of image data using tiles obtained by dividing frames as processing units;
Encoding means for generating a compressed code by performing encoding processing of frequency band signal data;
Control for transferring image data to be subjected to wavelet order conversion processing from a frame memory to the storage means, control for transferring frequency band signal data generated by the wavelet order conversion processing from the storage means to the frame memory, Control for transferring the frequency band signal data to be encoded from the frame memory to the storage means, control for transferring image data or frequency band signal data between the storage means and the wavelet transform means, the storage Control means for performing control to transfer frequency band signal data between the means and the encoding means,
Under the control of the control means, the frequency band signal data generated by the wavelet order conversion process is continuously read from the storage means for each frequency band, and the read data is read for each line of the frame memory. An encoding apparatus, wherein the data is transferred to the frame memory as continuous data in raster order.

The storage means refers to the data of the tile boundary portion in the image data of the target tile of the wavelet order conversion process transferred from the frame memory in the wavelet order conversion process for other tiles after the tile. Including overlap memory to temporarily store to
2. The encoding according to claim 1, wherein storage of the data in the overlap memory and reference in the wavelet order conversion processing of the data stored in the overlap memory are controlled by the control means. apparatus.

A line memory for temporarily storing a part of the image data or frequency band signal data stored in the storage means at the time of wavelet order conversion processing for reference in the wavelet order conversion processing;
The image data or the frequency band signal data stored in the line memory, and the reference in the wavelet transform process of the image data or the frequency band signal data stored in the line memory is controlled by the control means, and 2. The encoding apparatus according to claim 1, wherein the frequency band signal data generated by the wavelet forward conversion process is stored in the storage means in a form aggregated for each frequency band under the control of the control means.

The storage means comprises a plurality of memory blocks,
The image data transferred from the frame memory to the storage means is divided and stored in specific storage areas of the plurality of memory blocks under the control of the control means.
The frequency band signal data generated by the wavelet transform process is stored in the corresponding storage area of the corresponding memory block in the plurality of memory blocks in a form aggregated for each frequency band under the control of the control means. The encoding device according to claim 1.

5. The encoding apparatus according to claim 4, wherein each of the plurality of memory blocks is physically independent and can be accessed independently.

5. The encoding apparatus according to claim 4, wherein each storage area of each memory block has a bit depth corresponding to a bit depth of frequency band signal data stored therein.

Each of the memory blocks is
Multiple memory elements;
Input data control means for controlling reading and writing to each memory element;
Output data control means for controlling the external output of the output data of each memory element,
As an external input signal, read address, write address, read permission, input 6. The encoding apparatus according to claim 5, further comprising: force data, a wavelet order conversion level, and a selection signal for the memory block.

The encoding device according to claim 1, wherein the storage means is a storage element that can be read and written in word units or bit units.

9. The encoding apparatus according to claim 8, wherein the storage element is a register.

The control means includes means for controlling to transfer frequency band signal data to be encoded from the frame memory directly to the encoding means without going through the storage means. The encoding device according to claim 1.

Storage means for temporarily storing frequency band signal data or image data;
Decoding means for generating frequency band signal data by performing decoding processing of the compressed code;
Wavelet transform means for generating image data by performing wavelet inverse transform processing of frequency band signal data using tiles obtained by dividing frames as processing units;
Control for transferring frequency band signal data generated by the decoding process from the decoding means to the storage means, control for transferring frequency band signal data generated by the decoding process from the storage means to a frame memory, Control for transferring the frequency band signal data to be subjected to the wavelet inverse transform processing from the frame memory to the storage means, control for transferring the image data generated by the wavelet inverse transform processing from the storage means to the frame memory, Control means for performing control to transfer frequency band signal data or image data between the storage means and the wavelet transform means;
Under the control of the control means, the frequency band signal data generated by the decoding process is continuously read from the storage means for each frequency band, and the read data is rasterized for each line of the frame memory. A decoding apparatus characterized by being transferred to the frame memory as sequential continuous data.