JPH0693753B2 - 画像変換符号化装置 - Google Patents

Description

【発明の詳細な説明】 ［技術分野］ 本発明は画像を変換符号化し、画像データを圧縮するた
めの画像変換符号装置に関するものである。

［背景技術］ 画像の画素間挿関を利用して高能率な符号化を行う方法
としては予測符号化方式と、離散コサイン変換（Discre
te Cosin Transfer:DCT）符号化方式が現在多く用い
られている。予測符号化方式は符号化再生済みの数画素
から目的の画素を予測することにより冗長度を除去しよ
うとするものであり、符号化処理が簡単なため実現性が
良いが、反面符号化歪みの伝播のため符号量を大きく減
らした場合の符号化特性はDCT符号下法に比べて劣ると
されている。［J.B,O′Neal and T.R,Nataraja"Codin
g Isotropic Images"IEEE Trans,Inf,Theory IT-2
3,6.pp.697〜707（Nov.1977）参照…文献（４）］ DCT符号化法は画像を正方形ブロックに分割し、各ブロ
ック毎にDCTを行うことによりブロック間冗長度をほぼ
完全に除去するものであり、変換後に残るブロック間冗
長度を無視できる程度にブロックサイズを大きくしなけ
ればならない。この条件を満たすブロックサイズは通常
16×16画素程度とかなり大きく、高速アルゴリズムの助
けを得て効率よく変換演算を行ったとしても、これを高
速に実現するためのハードウェアのコストは他の符号化
方式より、大きいという欠点があった。

本発明で述べる外挿予測離散サイン変換は画像をある大
きさのブロックに分割し、各ブロックの画素を既に符号
化再生済みの画素から外挿予測することでブロック間の
冗長度を除去した上で、予測値を各画素の値から差し引
いた予測誤差を離散サイン変換することでブロック内の
冗長度を除去することができる。

「電子通信学会論文、画像の新しい高能率符号化法−外
挿予測離散サイン変換符号化法（１次元符号化の場合）
山根他著」…文献（１）により公知とっている外挿予測
離散サイン変換は下記の式（3-1）の行列から得られる
もので、単純マルコフ過程に対する外挿予測誤差信号を
完全に無相関にし、理論的にも最も高能率な符号化が可
能となる外挿予測Karhutet−Loeve変換（EP−KL変換）
を非常によく近似することが示されている。

外挿予測離散サイン変換を表す式は以下の通りである。

（N:変換画素数Ｎ個の連続した画素が行列ψk,nによっ
て変換される） また「第９回 情報理論とその応用シンポジウムレジメ
２次元外挿予測−離散サイン変換による画像の高能率
符号化法」…文献（２）により上記変換を２次元に拡張
した２次元外装離散サイン変換は４×４画素，のブロッ
クサイズで離散コサイン変換（米国特許第4,302,775
号、米国特許第4,385,363号及び米国特許第4,394,774号
…文献（３））の16×16画素のものと同等の符号化特性
を有し、且つブロックサイズが小さいために変換に要す
る演算量が少ないという効果があることが示されてい
る。上記２次元外挿予測離散サイン変換は（3-1）式で
示された１次元外挿離散サイン変換を縦続接続すること
で定義される。以下に１次元信号列｛χｎ｝（ｎ＝1,2,
…,N）について外挿予測離散サイン変換を行う演算方法
を示す。

まず信号列の外挿予測を行う。外挿予測信号列を とし、予測のために使用する｛χｎ｝のすぐ過去の信号
をχ_０とする。ここで｛χｎ｝を画像信号とすると、零
平均で単位分散を持つ低域単純マルコフ過程であること
が予想される。即ち Ｅ［χｎ］＝0,E［χｍχｎ］＝ρ^|m−n| （Ｅ［・］は・の期待値、ρは相関係数（０＜ρ＜
１））である。従って予測信号列は と表現できる。予測誤差信号列｛yn｝は として求められる。この｛yn｝を離散サイン変換する。

この変換後の信号列を｛Yn｝とすると の行列演算を行い、｛Yn｝を符号化すれば、外挿予測離
散サインを変換が行なわれたことになる。

２次元信号列を扱う場合はまず２次元外挿予測を行い、
次に先に述べた離散サイン変換をブロックの各行を各列
に対して実行すれば良い。まず２次元外挿予測について
述べる。文献（２）では平面画像信号｛χm,n｝（m,n＝
1,2,…,n）を式（3-4）のような自己相関関数を持つ零
平均の広域定常過程であるとしている。

｛Ｃ（・）は・自己相関関数Ｅ［・］は・の期待値］ρ
は隣接する画素間の送関係数｝ 第17図は予測方法を表すための便宜上の座標を示し、同
図中のＢはこれから予測しょうとするＮ×Ｎ画素のブロ
ック、Ｒは既に予測変換符号化された後再生された画素
の領域、ＬはブロックＢの予測のために使用される境界
値の領域を表している。画像信号はブロックＢ（Ｎ×Ｎ
画素）単位で、予測変換符号化され、ブロック単位の画
面走査を行うことで画面全体の符号化処理が行なわれる
である。符号再生時に同等の操作が使えるようにするた
め、予測に使用する信号は、画素の真値を予測して変換
符号化後に再生した信号を用いねばならない。このよう
な処理方式のため、実際に予測に利用できるのは既に符
号化処理を終え、再生された領域（走査済みの領域）Ｒ
である。（3-4）式で表わされる自己相関を持つ信号列
の予測には厳密には周囲の全ての画素が必要であるが、
近似的に領域Ｒ内の各点からの線形予測を用いることも
できる。上記文献（２）では更にブロックＢと、領域Ｒ
側の境界の水平方向を長さ2Nに拡張した境界領域Ｌから
ブロックＢ内の画素を次の差分方程式にて予測してい
る。

初期条件 但しχ₀,n、χm,₀は境界値、 は予測値である。

この予測の模様を具体的に示したものが第18図である。
上記（3-5）式によって予測された予測信号｛χm,n｝
（m,n＝1,2,…,N）を真値χm,n（m,n＝1,2,…,N）より
差し引くことで予測誤差信号を得る。

更にこの｛ym,n｝（m,n＝1,2,…,N）に２次元離散サイ
ン変換を行い、変換された信号列を符号化すれば２次元
外挿予測離散サイン変換符号が完了する。２次元離散サ
イン変換は先にも述べた通り、（3-1）式の離散サイン
変換の縦続接続で表される。即ち変換後の値の列を｛Y
k,l｝（k,l＝1,2,…,N）とすると、 と表現される。即ちＮ×Ｎ画素のブロックＢの各行に対
してＮ回の離散サイン変換を行い、次に各列に対してＮ
回の離散サイン変換を行うことになる。

以上の演算についてＮ＝４の場合について具体的に考え
てみる。まず原信号列｛χm,nnについては例えば通常よ
く使用される８ビット精度の絶対値表現を考える。この
信号より式（3-6）を用いて予測誤差信号列｛ym,n｝
（m,n＝1,…,4）を求める操作を行う。予測誤差信号列
｛ym,n｝の精度は符号を含み９ビットの精度となる。さ
てＮ＝４の場合の１次元離散サイン変換行列は次のよう
になる。

演算の精度が悪くなると、変換の直交性が保たれなくな
り、符号化能率が落ちるため、７ビット程度の精度が必
要である。従って（3-7）式に示される演算を行うため
には９ビット×７ビットの積和演算が必要となる。直交
性が十分に保たれていれば、行列演算後の値｛Yn｝冗長
度が省かれて小さな値が多くなるため、ある閾値以下の
値は０とする切り捨て操作及び量子化値で除して、精度
を下げる操作を行って符号量を削減することが可能とな
る。

以上のことから外挿予測離散サイン変換符号化は予測符
号化よりも符号化特性が良く、またDCT（離散コサイン
変換）符号化と同等の符号化特性を持ち且つブロックサ
イズを小さくすることができるためハードウェア量が小
さいという利点がある。

しかし、従来の方法ではDCTよりハードウェア量が少な
いにしても、それでもまた９×７ビットの積和演算を２
次元で行わなければならないという問題がある。

また予測に基づく誤差を送ることで、成立しているた
め、送り側で予測、変換、量子化、逆量子化の４つの手
順を行ってからでないと、次のブロック（４×４画素）
の処理ができないという。つまり普通に考えると大規
模、且つ高速の素子が必要であるという問題がある。

更に大容量で複雑な２次元変換のための並び換えメモリ
がDCTでは必要になっているという問題がある。

［発明の目的］ 本発明は以上の点に鑑みて為されたもので、その目的と
するところは整数化直交変換を離散サイン変換として用
いることによりハードウェア規模がより小さく且つ高速
の演算素子を必要としない画像変換符号化装置を提供す
るにある。

［発明の開示］ 以下本発明を実施例により説明する。

第１図は本発明の画像変換符号化装置の実施例の回路ブ
ロック図を示し、フレームメモリ１は外部よりデジタル
化した画像を入力するフレームメモリである。このフレ
ームメモリ１に対応して設けてあるのが上側境界値メモ
リ２と、左側境界値メモリ３で、メモリ2,3は夫々フレ
ームメモリ１の横一列分、縦一列分のメモリ容量を持っ
ている。これらメモリ1,2,3はメモリ制御回路17によっ
て番地の読出し、書き込みのタイミングが制御される。
予測器４はフレームメモリ１、上側境界値メモリ２、左
側境界値メモリ３の各値から外挿予測を行い、外挿予測
誤差信号を出力するもので、２次元外挿予測手段を構成
する。

この予測器４には後述の逆変換器14から次のブロックと
の境界値の予測誤差を再生した信号を受け取って、予測
値と加えることにより境界値を再生する機能も有する。
この予測器４の予測誤差信号がパラレルで画素毎に出力
されるのをパラレル／シリアル変換メモリ５によりシリ
アルに変換される。このパラレル／シリアル変換メモリ
５は後述の行列変換器８が１ブロック（本実施例は４×
４画素である。）16画素分のデータを夫々の最下位ビッ
トから順にシリアルに述べたものが必要になるために用
いられるもので、パラレル入出力可能なシフトレジスタ
を16本並べたものを２組マルチプレクサによって切り換
えて用いる。

行列変換器８は外挿予測離散サイン変換を行う変換手段
を構成するもので、本実施例では行変換器６、列変換器
７よりなり、ビットスライス法により高速の積和演算が
行はわれるもので、次に示す整数直交変換を用いて演算
を簡単にしている。

なる行列が整数直交行列であり、これ自体完全な直交行
列である点で（３−７）式の離散サイン変換行列の単な
る近似とは明らかに異なる。

この行列変換器８からの出力は量子化器11に入力される
もので、量子化器11は行列変換器８からの出力である変
換後のデータについて或閾値以下の値を切り捨てて０と
見なす切り捨て回路９と、切り捨て処理後のデータのダ
イナミックレンジを下げるための量子化回路10よりなる
量子化手段であって、この量子化器11の出力が圧縮画像
データとして出力される。

ここで多くの場合、圧縮画像データはこの後符号化器12
によってハフマン符号等を用いて可変長符号化された形
で、通信路や蓄積のためのメモリに送られる。本実施例
では公知のハフマン符号化器を用いるものとするが他の
ものを用いてもよい。

量子化器11の出力は上述の符号化器12の他に逆量子化器
13に入力する。この逆量子化器13は量子化器11とは逆の
働きをする逆量子化手段で、入力信号に量子化ステップ
幅を乗じ、更に閾値を加えて量子化前の精度に戻す操作
を行う。

この逆量子化器13で逆量子化されたデータは逆変換器14
で逆変換器される。ここで外挿予測サイン変換並びに整
数直交変換の行列の逆行列は元の変換行列の転置行列で
あるから、逆変換手段である逆変換器14は行列変換器８
と同一の構成で実現される。この逆変換器14の出力は正
規化回路15で整数直交変換の の補正される。ここで整数直交変換は１回の変換を行う
毎に値が になる。又行列変換器８で行及び列の変換で２回、逆変
換器14で２回の変換を行うので演算精度が十分高ければ
逆変換器14の出力は行列変換器８の入力である外挿予測
誤差信号の になっている筈である。しかし後述する通り行列変換器
８、逆変換器４にて丸め操作を行っているため、実際に
はこのような大きな値にはならず、正規化回路にて各係
数に適当なスケールファクタを乗じることで、本来の離
散サイン変換を行った場合と、同じ程度の大きさにする
ことができる。従って正規化回路は公知の乗算器（本実
施例ではシリアルデータを扱うのでシリアル乗算器）を
用いて実現している。正規化回路15の出力はシリアル／
パラレル変換メモリ16によりパラレルに変換され、上記
の予測器４に入力される。尚18はクロック信号CLKを基
準として全体の回路のタイミングを作るタイミイング制
御回路である。

次に本発明の実施例の動作を詳細する。

まず［背景技術］で述べたような外挿予測の方法（第８
図図示の方法）は３つの値の加算が必要であり、また上
部にブロックの長さの２倍の境界値メモリが必要である
ので、ハードウェア化し難い。そこで本実施例では第６
図に示すような予測の方法を用いる。即ち予測しょうと
する画素の上側と左側の夫々の画素の値の単純平均をと
り、この単純平均を４×４のブロック全体に拡張して４
つの上部境界値と、４つの左側境界値を用いて、第４図
のχ₁,₁から順に予測値を求めて行く方法である。この
方法の利点は上側と左側のブロックの符号化操作が終了
し、境界値が求められていれば、予測器４を動作させる
ことができる点である。このことから本実施例では２次
元外挿予測、変換、量子化、逆変換の４つの処理をブロ
ック毎の斜め走査を行うことでパイプライン化ができ
る。

第２図はブロック走査の方法を、第３図はパイプライン
処理の様子を示し、これらの図に基づいて処理の流れを
説明する。第３図中のＰは２次元外挿予測処理、ψは変
換処理、Ｑは量子化処理、ψ^-1逆変換処理を示し、夫々
サイクル時間Ｔの間に各処理を終了するものとする。第
３図を縦軸にとった番号は第２図中の番号である。まず
第２図のブロック（１）について外挿予測処理Ｐ、変換
処理ψ、量子化処理Ｑ、逆変換処理ψ^-1の順に処理を行
う。ブロック（１）について逆変換処理ψ^-1が終了する
まで、前述したようにブロック（２）の予測はできない
ので、この間多重処理ができない（第３図中の無駄時間
Loss1、３サイクル）。ブロック（１）について逆変換
処理ψ^-1が終了後に次のサイクルでブロック（２）の予
測が行なわれる。ブロック（３）については既にブロッ
ク（１）の処理が済み、上部境界値が求められているの
で、ブロック（２）の予測が終了した第３図に示す時点
（5T）で予測を始めることができる。ブロック（４）に
ついてはブロック（２）の逆変換が終了するまで、予測
を始めることができないが（第３図中の無駄時間Loss
2、２サイクル）、ブロック（５），（６）については
連続して行うことができる。ブロック（７）については
ブロック（４）の逆変換が終了するまで予測ができな
い。（第３図中の無駄時間Loss3、１サイクル）。

以下同様の走査を続けて行くが、ブロック（８）以降は
無駄時間を生じず、ハードウェアを十分に活用すること
ができる。第２図の左端の斜線によって表されたブロッ
クは、この無駄時間を表す仮想のブロックであって実際
には存在しない。本実施例では、パイプラインの段数
を、外挿予測処理Ｐ、変換処理ψ、量子化処理Ｑ、逆変
換処理ψ^-1の４段としているため、第２図のように画像
全体を縦方向に４ブロックづつの帯状に区切って処理を
行い、画像の右下角のブロックが量子化されるまで、こ
の走査を続けることで、画像全体の変換符号化が行なわ
れる。尚本実施例ではパイプライン化の処理段数を４と
したが、更に処理を細分化してパイプライン段数を増加
させることも可能であり、その場合にはパイプライン段
数をNpとすると画像を縦方向Npブロックづつの帯状に分
割して走査を行うこともできる。

以上で全体的な処理手順について説明したのでこの後、
サイクルＴで処理される２次元外挿入予測Ｐ、変換ψ、
量子化Ｑ、逆変換ψについて個別にその詳細なハードウ
エアと動作について述べる。

まず２次元外挿予測を予測器４を示すブロック図で、ハ
ードウエア構成を第７図に示す。第７図は第１図の上側
及び左側境界値メモリ２、３、フレームメモリ１、メモ
リ制御回路17、及びパラレル／シリアル変換メモリ５が
含まれている。尚MUX1〜MUX7はマルチプレクサ、L1〜L5
はラッチ、ADD1〜ADD4は加算器である。各要素のビット
数は図面中の数字の通りである。

以下、各回路の動作について説明する。メモリ２、メモ
リ３は、各ブロックの予測のための境界値を入力するメ
モリであり、初期値として画像の上端横１行分の画像デ
ータと、画像左側の縦１列の画像データが夫々入力され
る。このときだけマルチプレクサMUX1、マルチプレクサ
MUX2を側に設定して、フレームメモリ１より画像デー
タの初期値を入力する。この様子を第５図に示す。メモ
リ２とメモリ３はそれぞれ画像全体の横および縦１ライ
ン分の流さを持つメモリであるブロックを予測する時に
は、メモリ２、メモリ３夫々のそのブロックに対応する
横、縦の位置のメモリが使用される。

まず一般的な場合を考えて、今第２図中の中央部に示し
たブロックＺの予測を行なうことを考える。ブロック
Ｘ、Ｙはすでに処理済みなので、ブロックＸの最下辺予
測値、ブロックＹの最右辺の予測値がすでに確定してお
り、これらの予測値はメモリ２、メモリ３のブロックＺ
に対応する位置に入れられている。また、ブロックＸの
最下辺、ブＹの最右辺の予測誤差信号の復元されたもの
が逆変換器14より出力可能な状態になっている。予測
は、第４図のブロックの各画素につけた番号順に行なわ
れる。まずブロックＺの１の画素の予測を行なうにはメ
モリ２より、ブロックＸの下辺の予測値を読み出しラッ
チL1に入力する。次のステップでは、マルチプレクサMU
X4をの位置に切り換えて逆変換器14からの予測誤差を
ラッチL1の値と加え合わせラッチL2に入力する。ラッチ
L2の値は、予測誤差と予測値を加えた復元値で第４図中
の上部境界値χ₀,₁である。左側境界値χ₁,₀について
も、メモリ２の次のステップでメモリ３から読み出し、
マルチプレクサMUX5を側に切り換えて逆変換器14より
も予測誤差を加えχ₀,₁を求める。このときマルチプレ
クサMUX3は側に切り換えておく。次のサイクルχ₀,₁
とχ₁,₀が加算器ADD3によって加算され、下位ビットを
切り捨てることで1/2としてラッチL3に入力される。さ
らに次のステップではラッチL3の出力を加算器ADD4によ
ってブロックＺの原画像より減算し、予測誤差信号とし
てパラレル／シリアル変換メモリ5a又は5bに出力され
る。またラッチL3の出力である予測値は、メモリ３に書
き込まれ、さらにラッチL4にも入力される。ラッチL4の
値は次のステップでメモリ２に書き込まれて、画素
（２）の予測に使用する。画素（２）、（３）、（４）
についてはマルチプレクサMUX3を側に戻し、メモリ２
と逆変換器14からの値を加え合わせてχ₀,₂、χ₀,₃、χ
₀,₄を再生し、ラッチL3の値（即ち１つ前の画素の予測
値）と次々に加え合わせることで可能になる。画素
（５）の予測の時には、メモリ２内の画素（１）の をそのまま使用して予測するので、マルチプレクサMUX4
は側に切換え加算器ADD1には０を入力する。従って がそのままラッチL2に入力される。画素（５）の位置は
左端なのでメモリ３にはブロックＹの右端予測値が入っ
ており、この場合にも、マルチプレクサMUX5を側にし
て、逆変換器14からの予測誤差の復元値を加えてχ₂,₀
を再生する。（マルチプレクサMUX5はブロックＺが画像
面最左端のブロックの時のみ側となり、その時０が加
算器ADD2に入力される。これは最左端のときはメモリ３
の値が真の境界値であるためである。）マルチプレクサ
MUX3を側に切り換えて、 と加え合わせてχ₂,₁を求めラッチL3に入力する。以下
画像（６）、（７）、（８）の予測は画素（２）、
（３）、（４）を求めたのと同様の方法で行なう。ただ
画素（６）、（７）、（８）の予測では、逆変換器14か
ら加えるべき予測誤差がないので、マルチプレクサMUX4
は側になり、０が入力される。（またマルチプレクサ
MUX4は、画像面の最上端の画素の予測のときも、メモリ
２からの値が真の境界値であるため側となる。）以上
の操作を画素（16）まで繰り返すと、この時点で、メモ
リには、 が、またメモリ３には が入っており、パラレル／シリアル変換メモリ5aには、
ブロックＺの予測誤差｛ym,n｝（m,n＝1,2,3,4）が入力
されている。ブロックＺの予測が行なわれている間に、
パラレル／シリアル変換メモリ5bからは、時間Ｔだけ以
前に行なわれたブロックZ_-1予測誤差が、行列変換器８
に向けて出力されており、ブロックＺの予測が終了する
と、次の時間Ｔの間には、マルチプレクサMUX6、７を
側に切り換えて、パラレル／シリアル変換メモリ5aの内
容（今はブロックＺの予測誤差）を行列変換器８に出力
し、同時にパラレル／シリアル変換メモリ52に、ブロッ
クZ₊₁の予測誤差を入力する。こうすることで、各ブロ
ックの予測誤差を次々に行列変換器８に入力することが
できる。パラレル／シリアル変換メモリ5a,5bは同一の
もので具体的には、第８図（ａ）（ｂ）のようになって
いる。第８図（ａ）は、出力が４×４のビット列となっ
て出力されることを示したもの、同図（ｂ）は、詳細に
説明のための図である。第８図（ｂ）に示される各長方
形S₁…S₁₆は、夫々ラッチ信号にてパラレルにラッチさ
れ、シフト信号にて下方に１ビットシフトすることがで
きるパラレル入出力可能なシフトレジスタである。出力
されたLSBは、再びMSBにローテート入力される。マルチ
プレクサMUX6により予測器４に接続された方のパラレル
／シリアル変換メモリ5a又は5bは、ラッチ信号をブロッ
ク内の画素数（本実施例では４×４＝16画素）だけ受け
て内容を予測誤差で満たし、その次のサイクル（時間
Ｔ）の間はマルチプレクサMUX7によって行列変換器８に
接続されシリアルデータを16ビット分（ブロックが４×
４の場合）出力する。シフト信号を何回も入力すること
で繰り返し出力が可能である。このような出力を得るこ
とで、次に述べる行列変換器８におけるビットスライス
処理が可能となる。

これまで予測は、第４図の方法で考えて来たがその他に
も第６図のような３値による予測が考えられる。このう
ち第６図中の（ａ）（ｂ）については、基本的に上、
右、右斜め上のブロックより次のブロックが予測できる
ので、予測のハードウエアを工夫すれば本発明の斜め方
向ブロック走査が実現でき、パイプライン化も可能であ
る。従って、第４図の予測方法で、本発明が限定される
ものではない。

次に、行列変換器８について説明する。本行列変換器８
は整数直交変換を用いるもので、小さい整数の演算のみ
で直交性を保ち、高い変換符号化特性を実現することが
できる。本実施例では、ビットスライス方とROMテーブ
ルの参照による乗算回路を用いて、この演算を効率的に
実現している。本行列変換器８は、第１図に示したとお
り、行変換器６と列変換器７とより成る。背景技術に述
べた通り２次元離散サイン変換は、２回の１次元変換
（行および列変換）の縦続接続であり、整数直交変換を
用いてもこのような構成となる。

本実施例では行変換および列変換を次のように定義す
る。

添字ｋ、ｌは離散サイン変換の波数であり、基底となる
サイン関数の基本波を１として順に付けた番号である。
変換後の値は、これら基本波の線形結合で表される。

まず各行ｍ＝1,2,3,4,について行変換器６によって行変
換を行なう。すなわち｛ym,n｝の各行についての１次元
変換となる。変換値｛Cm,l｝は次式で表される。

ここで｛Cm,l｝の処理は、ｍ＝1,2,3,4については同時
に、波数ｌ＝1,2,3,4については順に処理される。従っ
て次の列変換気では （3-11）式を波数ｋ＝1,2,3,4について同時に行なう列
変換器を用いることで、｛Kk,l｝がｌ＝1,2,3,4につい
て順に出力されることになり、従ってCm,l（ｌ＝1,2,3,
4）のうちｌ＝ｌ′のものCm,l′が得られた時、ただち
にYk,l′を求める列変換を行なうことができる。この様
子を図示したものを第９図に示す。図示するｍ−ｎ平面
は変換以前の予測誤差データである。ｍ−ｎ平面上の太
線で示されるのが、各ブロックの予測誤差の水平１行分
で同一データが第９図（ａ）（ｂ）（ｃ）（ｄ）の各段
階で使用される。ｍ−ｎ平面は行変換が終了した時点で
のデータを表わすものである。まずCm,lのうちｌ＝１に
ついてｍ＝1,2,3,4の４回の行変換が同時に行なわれ
る。ここで必要な演算は、予測誤差信号各行と離散サイ
ン変換の波数１のもの、本実施例の場合に直行整数変換
を用いているので、ｍ＝1,2,3,4について である。上式の演算がｍ＝1,2,3,4の各位置について同
時に行なわれる。一般的に書くと 但し ψ_１＝（3578） ψ_２＝（770−７） ψ_３＝（８−３−78） ψ_４＝（５−87−３） ｌ＝1,2,3,4の順に、（3-12）式の行変換を行なうこと
を示したものが第９図（ａ）〜（ｄ）である。さて、行
変換を終えた出力Cm,l（ｌ＝1,2,3,4）は列変換器７に
入力される。列変換器７は第９図の上部に示したように
Cm,l（ｌ＝1,2,3,4）の各入力に対して、波数ｋについ
て同時に４つの変換を行なうことで列変換を実行する。
すなわちｌ＝１については、ｋ＝1,2,3,4の夫々につい
て となり、変換値Yk,l（k,l＝1,2,3,4）が得られる。以上
のような変換順序で変換を行なうことで、通常の行列演
算を２回繰り返す場合に比べて、行と列のデータを並べ
変える必要がなく、余分なハードウエアを必要としな
い。また整数直交変換を用いたため、変換係数ψｌの各
値はたかだか４ビットで表現でき（３−８）式のような
実数係数の演算が不要なため、演算処理が非常に簡単に
なる。本実施例では以上の演算方法を用い、さらにビッ
トスライス法とROMテーブルによる乗算を用いて、より
簡単なハードウエアでこれを実現している。

次に本発明で用いられるビットスライス演算について述
べる。まず前述したパラレル／シリアル変換メモリ5a,5
b内のデータ（予測誤差信号ym,n）をＢ＋１ビットの２
の補数として表わすと、次式のようになる。（ビットＢ
（MSB）は符号ビットである。） パラレル／シリアル変換メモリ5a,5bからの出力は、ビ
ットφ（ｂ＝０）から順に16画素分のすべてについて同
時にシリアルに行変換器６へ出力される。また第９図で
示したように同一のデータをｌの値に応じて４回入力す
る必要があるので、パラレル／シリアル変換メモリ5a,5
bのローテート機能を利用して４回分のシリアル出力を
行なう。（3-12）式に（3-14）式に代入すると行変換器
６のビットスライス演算を表わす次式となる。

合わせて書くと、 上式でym,n（ｎ＝1,2,3,4）の値はすべて１から０であ
るからこの４ビットの値をアドレスとして の値を予め計算して、メモリの内容に入れたROMテーブ
ルをｌ＝1,2,3,4の各値について作っておけば、ビット
スライスのｂ＝０、〜Ｂ−１の各部分については、これ
を累積加算することで演算が行なえる。最上位ビットで
あるビットＢについては減算となるが、最上位ビットに
ついてのみ発生するタイミングクロックを用意し、予め
補数をとったROMテーブルを用意してROMテーブルを切り
換えるか、またはROMテーブルはそのままで、MSBの時だ
け動作する２の補数器を設けて、ROMテーブルの出力の
補数をとるかいずれかの操作を行なえばよい。（本実施
例は前者となっている。）ROMテーブルは各ｌの値（1,
2,3,4）について１つずつ必要で、更にこれが４行分
（ｍ＝1,2,3,4）に用いられる。

のうち絶対値の最大のものはｌ＝１でかつym,nがすべて
１のとき３＋５＋７＋８＝23であり、符号まで考えても
６ビットの２の補数表現ですべての部分積が表わせる。
従って行変換器６必要なROMは、アドレスとして、入力
４ビット、ｌの値によってROMテーブル４枚を切り換え
るための２ビット、更に本実施例では、MSB用に補数の
テーブルを持っているためこれの切り換え用に１ビット
合計７ビットのアドレス線を持ち、出力が６ビット中の
ものとなる。先に述べたように２の補数器を用いればMS
B用のROMテーブルは不要になることはいうまでもない。
第10図は行変換器６の構造図である。１行目ｍ＝１のも
のだけについて詳細にかかれている。他の行について
は、まったく同じ構成である。ROM6aについては先述の
もの、ラッチD1はタイミングを取るためのラッチで、後
述のラッチD2、シフトレジスタSRと共にクロック信号CK
を入力する。前加算器FAaは７ビットの全加算器であ
る。ラッチD2は累積加算のためのラッチでこの出力は、
ラッチD1の出力より１ビット下位にずれて（右シフトし
て全加算器FAaに入力されている。こうすることによっ
てROM6aの出力である行列積和演算のビットスライス部
分積和が累積加算される。この様子を第11図に示す。ビ
ット０から順にパラレル／シリアル変換メモリ5a又は5b
より入力された信号はROMの出力（各６ビット）となっ
て順に加算されていく。図では後からのものが上方にシ
フトした形となっているが、実際にはそれ以前の累積和
が右シフトされて新しいROM6a出力と加え合わされる。
下３ビットに１を加えているのは、丸めのためで後に４
ビット切り捨てるために、７を加えている。この操作
は、全加算器FAaのキャリー入力に接続されているU/D信
号線（第10図に図示）を使用して制御回路より行なわれ
る。実際に出力されるデータは図中の○印のビットで、
ビット４のスライスの加算が行なわれる時点でシリアル
に出力可能となる。最終MSBが加算された時点では最後
の６ビットが一度に確定するので、この時点で第10図の
シフトレジスタSRに６ビットパラレルに入力され、その
後順次シリアルに出力されていく。シフトレジスタSR
は、ビット４の部分積和の加算時点からラッチD2の最下
位ビットを出力し、MSBの加算が済んだ時点でS/L信号に
よってラッチD2の信号のうち上位の６ビットをパラレル
に入力し、その後入力された６ビットをシリアルに出力
するように構成されたシリアルデータを出力するための
特殊なシフトレジスタである。

なお、ラッチD2に入力されている▲▼信号はラッ
チD2の値を０にする信号で、ビット０のスライスが入力
される時に使用される。つまりｌについて順に計算を行
なうので、ｌの値が変わりROMテーブルが取り変えられ
るたびにラッチD2を０とする必要があるためである。

次に列変換について述べる。列変換器７の構成を第12図
に示す。行変換器６からは、水平方向に変換された信号
Cm,lがｍについては１〜４まで同時にｌついては順に出
力される。この列変換器７では、同時に行なわれるのは
波数ｋについてである。上述の行変換と異なるのは、波
数ｋの値によってROMの内容が異なることである。ｋ＝
１に対してはψ_１のROMテーブルが、同様にｋ＝ｋ′に
ついてはψｋのROMテーブルが必要になる。なおこのROM
7aについては、行変換のように入れ換えて使用する必要
がなく入力４ビットに▲▼信号を１ビットを加
え、５ビットアドレス、６ビット出力のROMを用いれば
よい。ラッチD1′,D2′、全加算器FAb以下の構成は、行
変換器とまったく同じである。行変換器６よりの各10ビ
ットの出力を各列変換器７に同時に入力して波数ｋ＝1,
2,3,4に対する変換を同時に行なう。列変換器７も行変
換と同様の方法で４ビットの丸め操作を行ないまた出力
は本実施例ではシリアルで、｛Y₁,l｝ｌ＝1,2,3,4の形
で行なわれる。またこの場合MSBの１つ下位のビット
は、符号拡張されているのみで意味がなくなっているの
で、本実施例ではMSBを切り捨て変換出力として10ビッ
トの出力をとるようにしてある。この操作は、終段のシ
フトレジスタSR′のシフタクロックを１つ減らすことで
実現している。

次に量子化器11について説明する。この場合量子化とは
閾値をＴステップ巾をＬとした時次式で表現される。

Qk,l＝sk,l（|Yk,l|−Ｔ）/L …（3-16） 但しQk,l:量子化後の各ブロックの変換係数 Yk,l:変換後の各ブロックの値（変換係数） （２の補数表現） sk,l:Yklの符号 ＋１又は−１ さらに変形すると（３−16）式は Qk,l＝（Yk,l−sk,lT）/L ＝（Ykl−sk,l・Ｔ）・A/2^P …（3-17） と表現できる。第13図の切り捨て回路９、第14図の量子
化回路10は上式を夫々実現したものである。尚各回路
９、10は各図の回路を４回路を使って実際は構成され
る。さて第13図の切り換え回路９ではまず（3-17）式の
（）内の値Yk,lを計算する。入力Yk,lは行列変換器８よ
り得られた変換係数である。10ビットのシリアル入力を
シフトレジスタSR1に入力し、パラレルにラッチL1に入
力する。これは符号がわからないと、切り捨ての処理が
できないからである。ラッチL1の最上位ビットMSB1は即
ちsk,lを表わしているので、このビットを用いてＴの値
を加算するか減算するか（２の補数器9aでＴの補数をと
る。）かを決定する。MSB1が１のときsk,l＝−１なの
で、６ビットセレクタS1を側にし、MSB1が０のときは
sk,l＝１であるので、セレクタS1を側としてＴの値の
補数を取り加算する。ラッチL1の値とセレクタS1の出力
は全加算器FAcにて加算され、ラッチL2に続いてシフト
レジスタSR2にロードされ、シリアル出力される。この
ときラッチL2の最上位ビットMSB2の値が、MSB1と異なる
ときYk,lの絶対値がＴより小さかったことになるので、
このときは値が切り捨てられシフトレジスタSR2が排他
的ノアＮの出力でクリアされる。尚フリップフロップD
1,D2はMSB1,MSB2を保存しておくためのフリップフロッ
プであって、その出力が上記排他的ノアＮに入力する。

（３−17）式の後半を実現する量子化回路10は、本実施
例ではステップ幅Ｌで量子化する。即ちＬで除算すると
いう操作をＡ＝2^P/Lなる整数値Ａを導入してＡを乗じた
後、2^Pで割る操作によって行う。Ａを乗ずるにはＬの値
からＡの値を導き出すROM10a（Ｌに対するＡの値を予め
計算したROMテーブル）からのＡの出力と、Yk,lのスラ
イスされた各ビット（１又は０）の積を、累積加算する
方法を用いている。即ちYk,l＝０のときは０を、Yk,l＝
１のときはＡの値を選択するセレクタS2によって部分積
を作り、セレクタS2に入力の一方を接続した全加算器FA
dと、全加算器FAdの出力に接続され、その全加算器FAの
出力は１ビット右シフトして全加算器FAのもう一方の入
力に接続されたラッチＤとでセレクタS2の出力の累積加
算を行う方法である。Yk,lは２の補数表現となっている
ので、MSBが入ったときにはセレクタS3がセレクタS2側
に切り換えられ部分積としてＡの２の補数が補数器10b
が出力され、更に2^Pで割らねばならないのである。本実
施例ではＰ＝７である。ここでYk,lが各10ビットで表さ
れているので、全加算器FAdとラッチＤとによるＡの部
分積が10回足し合わされることになる。演算が終了した
後その上位６ビットをシフトレジスタSRaに入力し、次
段へシリアル出力する。こうすることによってYk,l×Ａ
の上位６ビットが取り込まれ、下位７ビットは切り捨て
たことになる。また下位６ビットの累積加算時に全加算
器FAdのキャリー入力を１にしておくことで、下位７ビ
ット分を切り捨てる時に量子化データQk,lを丸めること
ができる。

第１図の逆量子化器13は前述の量子化回路10の逆の操作
を行うもので、まず逆量子化のためにQk,lにＬを乗算
し、その後切り捨てたＴの量を加え量子化器11で行なわ
れた操作の逆を行う。具体的な回路としては第13図、第
14図と同様の回路で実現できる。

逆変換器14は行列変換器８と同じく行変換器と列変換器
からなり、直交行列ψの逆行列ψ（転地行列）であるこ
とから、ROMテーブルのデータが異なるのみで全く同じ
構成動作で実現できる。但し出力データの丸めについて
は各３ビットとし、また不要なMSBを切り捨てる操作を
行い、正規化回路15へ送られる。

正規化回路15は前述の通り の正規化係数を補正するものである。予測誤差信号と同
じレベルに信号値を戻すための補正係数は2¹⁴/147²3/
4であることを利用して、総ての逆変換出力に3/4を乗じ
る。本実施例では逆変換器14からの出力はビットシリア
ルで、４画素分同時なので、４つのシリアル乗算器（３
倍する演算）と、下位２ビットを切り捨てる（４で割る
演算）回路とで実現できる。これらは公知の回路で実現
可能である。

第１図に示すシリアル／パラレル変換メモリ16はパラレ
ル／シリアル変換メモリ５の逆の動作を行うシリアル入
力、パラレル出力のレジスタ群からなり、その構成は第
15図に示すようになっている。正規化回路15よりのシリ
アル入力は各ｍの値に対応して、セレクタSa,Sbを動作
させ、各行毎にシリアルデータを入力する。入力が終了
したら、セレクタSa,Sbを切換え、共にの側としても
う一方のS/PRAM16bに入力を行う。その間にはS/PRAM16b
は出力をパラレルにシフトしながら画素番号順に出力が
得られる。これを予測器４に向け出力し、必要なものだ
けを利用する。実際に予測のために必要なのはこの16個
のデータの内次のブロックの境界となる4,8,12,13,14,1
5,16の各値だけであり、この部分だけを蓄積する方法も
考えられる。尚第16図はS/PRAM16a,16bの構成を示して
おり、シリアル入力、パラレル出力のレジスタRg₁…群
とセレクタＳとから構成される。

以上のように本実施例では原画像を８ビットとして各回
路に必要なビット数を示しているが、入力画像のビット
数によって、またデータ圧縮率によっても各段階で必要
なビット精度は異なることになる。本実施例のビット数
によって本発明を限定するものではない。また本実施例
では４×４のブロックの場合を扱ったが、外挿予測離散
サイン変換符号化は各種ブロックサイズに対応できる。

〔発明の効果〕

本発明は、画像をブロックに分割してブロックの外の境
界値からブロック内の画像信号を外挿予測し、この外挿
予測によって得られた外挿予測信号をブロック内の原画
像信号により減じて外挿予測誤差信号として出力する２
次元外挿予測手段と、この２次元外装予挿手段から出力
される外挿予測誤差信号を２次元離散サイン変換する変
換手段と、この変換手段で変換された２次元離散サイン
変換係数をある閾値で切り捨て、所定の量子化ステップ
幅によって量子化する量子化手段と、この量子化手段か
らの出力を逆量子化する逆量子化手段と、この逆量子化
手段からの出力を２次元逆離散サイン変換して該変換出
力を上記２次元外挿予測手段に与えて上記外挿予測信号
に加え次のブロックとの境界値を再生させる逆変換手段
と、上記量子化手段からの出力を符号化し外部に出力す
る符号化手段とを備えた画像変換符号化装置において、
上記変換手段は、直交性を完全に保ち更に変換行列の係
数が整数である整数化直交変換を離散サイン変換の近似
として用いるので、従来のDCT方式に比べて外挿予測離
散サイン変換のブロックサイズを小さくすることがで
き、そのため変換符号化に要するハードウェアを小さく
することができ、そのため装置全体のコストを下げるこ
とができるという効果を奏する。

特に上記変換手段は、外挿予測離散サイン変換をよく近
似し、且つ直交性を完全に保ち更に変換行列の係数が整
数である整数化直交変換を２次元外挿予測離散サイン変
換として用いるので、従来のDCT方式に用いられている
行列変換バッファメモリよりも簡単な演算で効果的に行
と列を変換することができ、ハードウェアの簡略化が一
層のコスオ低減が図れる。また本発明では外層予測−離
散サイン変換符号化の特性を応用して符号化処理を幾つ
かの部分に分割し、画像を斜め方向に操作することによ
ってパイプライン処理を可能とし、ハードウェアの使用
効率を高めることで更に高速化を図ることができる。

【図面の簡単な説明】

第１図は本発明の実施例装置の全体ブロック図、第２図
は同上のブロック走査の説明図、第３図は同上のパイラ
イン処理の様子を示す説明図、第４図は同上のブロック
内の予測方法の説明図、第５図は同上のブロック分解と
境界値の説明図、第６図は同上の他の予測方法の説明
図、第７図は同上の予測器の回路構成図、第８図は同上
のパラレル／シリアル変換メモリの構成図、第９図は同
上の行列変換の説明図、第10図は同上の行変換器の回路
構成図、第11図は同上の累積加算と丸めの方法の説明
図、第12図は同上の列変換器の回路構成図、第13図は同
上の切り捨て回路の一部省略した回路構成図、第14図は
同上の量子化回路の一部省略した回路構成図、第15図は
同上のシリアル／パラレル変換メモリの回路構成図、第
16図は同上使用のS/PRAMの回路構成図、第17図は画像予
測に用いる画像ブロックの境界領域とブロックの説明
図、第18図は従来の予測方式の説明図である。 １……フレームメモリ、２……上側境界値メモリ、３…
…左側境界値メモリ、４……予測器、５……パラレル／
シリアル変換メモリ、６……行変換器、７……列変換
器、８……行列変換器、９……切り捨て回路、10……量
子化回路、11……量子化器、12……符号化器、13……逆
変換器、15……正規化回路、16……シリアル／パラレル
変換メモリである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 徳永 吉彦 大阪府門真市大字門真1048番地 松下電工 株式会社内 (72)発明者 浜田 博 岡山県岡山市高島新屋敷164―４ (72)発明者 森川 良孝 岡山県赤磐郡瀬戸町江尻旭ケ丘３丁目１― 18 (72)発明者 山根 延元 岡山県岡山市津島中１丁目３番ＲＢ棟103 (56)参考文献 電子通信学会論文誌69−Ｂ「７」 （1986）Ｐ．686−697

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像をブロックに分割してブロックの外の
   境界値からブロック内の画像信号を外挿予測し、この外
   挿予測によって得られた外挿予測信号をブロック内の原
   画像信号により減じて外挿予測誤差信号として出力する
   ２次元外挿予測手段と、この２次元外挿予測手段から出
   力される外挿予測誤差信号を２次元離散サイン変換する
   変換手段と、この変換手段で変換された２次元離散サイ
   ン変換係数をある闘値で切り捨て、所定の量子化ステッ
   プ幅によって量子化する量子化手段と、この量子化手段
   からの出力を逆量子化する逆量子化手段と、この逆量子
   化手段からの出力を２次元逆離散サイン変換して該変換
   出力を上記２次元外挿予測手段に与えて上記外挿予測信
   号に加え次のブロックとの境界値を再生させる逆変換手
   段と、上記量子化手段からの出力を符号化し外部に出力
   する符号化手段とを備えた画像変換符号化装置におい
   て、上記変換手段は、直交性を完全に保ち更に変換行列
   の係数が整数である整数化直交変換を離散サイン変換の
   近似として用いることを特徴とする画像変換符号化装
   置。
2. 【請求項２】外挿予測誤差信号を２次元離散サイン変換
   する外挿予測離散サイン変換の性質を用いて画像をブロ
   ック毎に斜め方向に走査することで、符号化処理を幾つ
   かの部分処理に分割し、パイプライン化することを特徴
   とする特許請求の範囲第１項記載の画像変換符号化装
   置。