JP3710464B2 - フィルタ装置 - Google Patents

Description

本発明は、ブロック分割して、直交変換・量子化・符号化された符号化データを復号し、逆量子化・逆直交変換して得られる復号画像に発生するブロックひずみとモスキート雑音を低減するフィルタ装置に関する。

近年、ＩＳＤＮ （Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）， ＧＳＴＮ （Ｇｅｎｅｒａｌ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）を有効に活用するサービスとしてテレビ電話やテレビ会議などの画像通信サービスが有望視され、このような動画像の効率的な伝送を目的とした高能率符号化の研究が盛んに行われている。これらの研究は、画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。このような符号化方式として動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式がよく知られている。

また、復号側においては、復号画像に対して動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式に特有なブロックひずみとモスキート雑音を低減するポストフィルタを実施し、画質の改善を行っている。

以下、図７により動き補償予測と２次元直交変換を用いた場合の動画像復号装置の従来例について説明する。図７において、５１は可変長復号部、５２は逆量子化部、５３は逆直交変換部、５４は加算器、５５はフレームメモリ部、５６は動き補償予測部、５７はスイッチ、５８はポストフィルタ部を示している。

可変長復号部５１に符号化情報である符号化ビットストリームが入力される。符号化ビットストリームは、動画像符号化装置により生成した画像の直交変換係数や符号化の状態を表す符号化モード、すなわち、符号化実施の有無や動きベクトルやフレーム間／フレーム内予測の情報などが可変長符号化され、多重化されたものである。

可変長復号部５１では符号化ビットストリームを復号して量子化された直交変換係数や動きベクトル、フレーム間／フレーム内予測などの符号化モード情報を得る。逆量子化部５２では、量子化された直交変換係数に逆量子化を実施して直交変換係数を得て、これを逆直交変換部５３で２次元逆直交変換して差分画像を得る。

上記符号化モードがフレーム間予測であるときは、スイッチ５７の出力が動き補償予測部５６の出力となるようにして、差分画像を加算器５４でフレームメモリ部５５に蓄積された前フレームの復号画像に基づき、動き補償予測部５６からの動き補償予測値と加算して、フレームメモリ部５５に現フレームの復号画像を蓄積する。

また、ブロックがフレーム内予測である場合は、スイッチ５７が動き補償予測部５６と切断され、逆直交変換部５３からの出力に加算されるものがないので結果的に逆直交変換部５３の出力がそのままフレームメモリ部５５に復号画像として蓄積されることになる。

ポストフィルタ部５８では、加算器５４からの出力である現フレームの復号画像に対してブロックひずみ及びモスキート雑音を低減するポストフィルタを施し、雑音を低減した復号画像を出力する。

上記した従来の方式では、復号画像には必ずポストフィルタが実施され、前フレームと変化のない静止画像部分などポストフィルタの処理が必要ない部分にもフィルタリングが行われてしまい、処理量の増加や処理時間の浪費といった欠点がある。これは、ハードウェア化を行った場合など消費電力の増加にもつながる。

また、ブロックの符号化属性を参照しないため、発生した雑音に適したフィルタリングを行うことができないので、処理量の増加のみならずフィルタリングによる画質の劣化も引き起こすという欠点もある。

このような問題点に鑑み、本発明は、現ブロックの符号化実施の有無、動きベクトル、フレーム間／フレーム内予測の情報、変換係数の状態に基づいて、ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのオン／オフ制御、さらに前フレームのポストフィルタが施された復号画像によるブロックの置き換えを適応的に行い、処理量を軽減しつつもポストフィルタによる雑音が低減された復号画像を得ることができ、画質の改善が可能なフィルタ装置を提供するものである。

本発明によれば、ブロック毎に符号化された画像を復号し、復号画像のブロック境界を滑らかに接続するためにブロック境界を挟む画素値を変化させフィルタ後の画素値とするフィルタ手段と、フィルタ後の復号画像を記憶するフレームメモリ手段を備え、前記フィルタ後の復号画像を前フレームとして前記フレームメモリ手段に記憶し、現フレームの復号画像を得る際に前記フィルタ後の復号画像からブロックを読み出して出力することにより、上記課題を解決する。

本発明によれば、ブロック境界を滑らかに接続するフィルタリング後の復号画像を前フレームの復号画像として記憶し、変換係数、動きベクトルの状態に基づいて前フレームの復号画像を現フレームのブロックとして出力するので、フィルタリングによる処理量を軽減しつつもブロックひずみが低減された復号画像を得ることができる。また、本発明による実施例をハードウェア化した場合においては、この処理量の軽減は消費電力の削減という効果もある。

以下、図面を参照して本発明の一実施例について説明する。図１は本発明の一実施例のブロック図であり、符号化ビットストリームを可変長復号する可変長復号部１と、該可変長復号部１に接続し量子化された直交変換係数を逆量子化する逆量子化部２と、該逆量子化部２に接続し直交変換係数を２次元逆直交変換して差分画像を求める逆直交変換部３と、該逆直交変換部３とスイッチ７に接続し該逆直交変換部３で得られた差分画像と動き補償予測値とを加算して復号画像を求める加算器４と、該加算器４に接続し該加算器４で得られた復号画像を蓄積する第１のフレームメモリ部５と、該可変長復号部１と該第１のフレームメモリ部５に接続し動き補償予測値を出力する動き補償予測部６と、該可変長復号部１と該動き補償予測部６に接続し動き補償予測値の出力を切換えるスイッチ７と、該可変長復号部１に接続しポストフィルタの動作を制御するポストフィルタ処理内容制御部８と、該加算器４と該ポストフィルタ処理内容制御部８に接続し復号画像にポストフィルタを実施するポストフィルタ部９と、該ポストフィルタ処理内容制御部８と出力信号選択部１１とに接続しポストフィルタされた画像を蓄積する第２のフレームメモリ部１０と、該ポストフィルタ部９と該第２のフレームメモリ部１０と該ポストフィルタ処理内容制御部８に接続しポストフィルタされた画像の出力を切換え制御する出力信号選択部１１を備えている。

上記構成による動画像復号装置の動作は、以下の通りである。

可変長復号部１は、動画像符号化装置により画像に対してＤＣＴを実施して当該ＤＣＴ係数を量子化した量子化されたＤＣＴ係数、符号化実施の有無の情報、フレーム内／フレーム間予測の情報である予測符号化モード、動きベクトル等を可変長符号化して多重化された符号化ビットストリームを生成したもの、例えばＩＴＵ−Ｔ勧告Ｈ．２６３に従う符号化ビットストリームが入力される。

そして、ここで可変長復号を行うことで、ブロック毎に量子化された離散コサイン変換（ＤＣＴ）係数、動きベクトル、フレーム間／フレーム内予測の情報（予測符号化モード）、符号化しないブロック（符号化実施の有無の情報）、量子化ステップサイズ等の符号化情報を得る。

逆量子化部２では、可変長復号部１で得られた量子化されたＤＣＴ係数を量子化ステップサイズに従い逆量子化して逆量子化されたＤＣＴ係数を得る。

逆直交変換部３は、逆量子化されたＤＣＴ係数に２次元逆ＤＣＴを実施して差分画像を得る。

加算器４では、ブロックがフレーム間予測であった場合は第１のフレームメモリ部５に蓄積された前フレームの復号画像からブロックの動きベクトルに基づき算出された動き補償予測値、あるいはそのブロックがフレーム内予測であった場合はスイッチ７により動き補償予測値をゼロとするような出力とを切り替え、逆直交変換部３で得られた差分画像を加算して復号画像を得る。

第１のフレームメモリ部５は、加算器４で得られた復号画像を蓄積する。動き補償予測部６では、第１のフレームメモリ部５の前フレームの復号画像と可変長復号部１からの情報である動きベクトルから動き補償予測値を求める。

スイッチ７は、可変長復号部１で復号された予測符号化モードの情報に従い、加算器４への入力を切換える。

加算器４からの出力は第１のフレームメモリ部５に出力されるとともに、ポストフィルタ部９にも出力される。

ポストフィルタ処理内容制御部８は、ポストフィルタ部９、第２のフレームメモリ部１０、出力信号選択部１１の動作を制御して処理量を削減し最適な雑音低減処理が実施できるような制御を行う。これは、可変長復号部１からの出力される符号化情報である現ブロックの符号化モードとＤＣＴ係数の状態によって図２に示すように次のような処理が決定される。

符号化モードはビットストリーム中に存在する符号化モードを表すビットにより容易に判断することができる。ＤＣＴ係数の状態（有無・内容）を判断する手段に関しては、ビットストリーム中にＤＣＴ係数の状態を示すビットフラグが存在する場合は、そのビットフラグに基づいて判断すればよい。もし、ビットストリーム中にそのようなビットフラグが存在しない場合は、可変長復号されたデータそのものに基づいて、各ブロックのＤＣＴ係数の状態を判断することになる。

（１） 符号化しないブロックであるとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第２のフレームメモリ部１０の前フレームのポストフィルタが実施された復号画像の現ブロックの位置の画像を出力とする。

（２） フレーム間予測でブロック内にＤＣＴ係数が存在しないとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第２のフレームメモリ部１０の前フレームのポストフィルタリングが実施された復号画像に対して動きベクトルに従い動き補償を行った位置の画像を出力とする。

（３） フレーム間予測でブロック内にＤＣＴ係数の直流成分のみが存在するとき
加算器４からの出力に対して、ブロックひずみ低減フィルタのみを実施し、この画像を出力とする。

（４） フレーム間予測でブロック内にＤＣＴ係数の直流および交流成分が存在するとき
加算器４からの出力に対して、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する。

（５） フレーム内予測でブロック内にＤＣＴ係数の直流成分のみが存在するとき
加算器４からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタのみを実施し、この画像を出力とする。

（６） フレーム内予測でブロック内にＤＣＴ係数の直流および交流成分が存在するとき
加算器４からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施し、この画像を出力とする。

上記のように６種類の場合分けをした理由は以下の通りである。まず、現ブロックが符号化しないブロックである場合は、第２のフレームメモリ部１０にある前フレームにおける現ブロックと同位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。

また、現ブロックがフレーム間予測でブロック内にＤＣＴ係数が存在しない場合は、第２のフレームメモリ部１０にある前フレームにおける現ブロックに対して動きベクトルにより動き補償された位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。

また、現ブロックがフレーム間予測でブロック内にＤＣＴ係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。

また、現ブロックがフレーム間予測でブロック内にＤＣＴ係数の直流および交流成分が両方存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。

また、現ブロックがフレーム内予測でブロック内にＤＣＴ係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。

また、現ブロックがフレーム内予測でブロック内にＤＣＴ係数の直流および交流成分が存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。

上記の処理の一例を図３により説明する。本来、加算器４からはブロック単位で復号画像が出力されるが、図３（Ａ）において加算器４の出力内容は説明のために復元する画像と同様にブロックを並べた形で示してある。また、図３（Ｂ）の第２のフレームメモリの内容は、前フレームのポストフィルタが実施された画像である。

図３においてブロック１は前フレームと全く同一であるため、符号化実施の有無の情報が符号化しないブロックとなっている。従って、このブロックは第２のフレームメモリに格納されている前フレームのポストフィルタが実施された画像のブロック２で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。

また、ブロック３は動きベクトルで示されたブロック４と同一でありるため、フレーム間予測で動きベクトルを持ちＤＣＴ係数が存在しない。従って、ブロック４で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。

また、ブロック５は前フレームおいて全く存在しない画像であるので、フレーム内予測でブロック内にＤＣＴ係数の直流および交流成分が存在する。従って、加算器４からの出力に対してブロックひずみ及びモスキート雑音低減処理を実施することになる。ポストフィルタ部９では、加算器４での復号画像に発生した雑音を低減する。

図４は、ポストフィルタ部９の構成を説明する図であり、該ポストフィルタ処理内容制御部８と接続し、ブロックひずみ低減フィルタ部２２と切換器２３とモスキート雑音低減フィルタ部２４と切換器２５の動作を制御するフィルタ切換制御部２１と、該加算器４と該フィルタ切換制御部２１に接続しブロックひずみを低減するフィルタを行うブロックひずみ低減フィルタ部２２と、該加算器４と該フィルタ切換制御部２１と該ブロックひずみ低減フィルタ部２２に接続しブロックひずみ低減フィルタの出力か、加算器４の出力かを切換え出力する切換器２３と、該フィルタ切換制御部２１と該切換器２３に接続しモスキート雑音を低減するフィルタを行うモスキート低減フィルタ部２４と、該フィルタ切換制御部２１と該切換器２３と該モスキート雑音低減フィルタ部２４に接続しモスキート雑音低減フィルタの出力か、切換器２３の出力かを切換え出力する切換器２５で構成する。

フィルタ切換制御部２１は、ポストフィルタ処理内容制御部８で決定された処理に従い、ポストフィルタリングの動作を次のように制御する。

（１） ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施しないとき
ブロックひずみ低減フィルタ部２２をオフにし、加算器４の出力がそのまま切換器２３の出力となるようにする。さらに、モスキート雑音低減フィルタ部２４をオフにし、切換器２３の出力がそのまま切換器２５の出力となるようにする。

（２） ブロックひずみ低減フィルタのみを実施するとき
ブロックひずみ低減フィルタ部２２をオンにし、ブロックひずみ低減フィルタ部２２の出力が切換器２３の出力となるようにする。さらに、モスキート雑音低減フィルタ部２４をオフにし、切換器２３の出力がそのまま切換器２５の出力となるようにする。

（３） ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタの両方を実施するとき
ブロックひずみ低減フィルタ部２２をオンにし、ブロックひずみ低減フィルタ部２２の出力が切換器２３の出力となるようにする。さらに、モスキート雑音低減フィルタ部２４をオンにし、モスキート雑音低減フィルタ部２４の出力が切換器２５の出力となるようにする。

ブロックひずみ低減フィルタ部２２は、フィルタ切換制御部２１の制御に従ってブロックひずみ低減フィルタを実施のときに次のような処理を行う。これは、ブロック境界の不連続を除去することが目的であるので、図５に示すように加算器４の出力である復号画像のブロック境界を挟んだｘ０、ｘ１の２画素を滑らかに接続するようにする。その際、レベル差の大きい部分の過補償を防ぐために、式（１）のような非線型処理を行い、ｘ０を出力画素値ｙ０に置き換える。ここで、ｑはフィルタ強度を制御するパラメータである。

また、フィルタ切換制御部２１の制御がブロックひずみ低減フィルタ部２２をオフのときは上記の処理は行われない。

切換器２３では、フィルタ切換制御部２１の制御がブロックひずみ低減フィルタ部２２をオンのときは、ブロックひずみ低減フィルタ部２２の出力、すなわちブロックひずみが低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部２１の制御がブロックひずみ低減フィルタ部２２をオフのときは、加算器４の出力、すなわちフィルタ処理されていない復号画像がそのまま出力されるように切換が行われる。

モスキート雑音低減フィルタ部２４は、フィルタ切換制御部２１の制御に従ってモスキート雑音低減フィルタを実施のときに次のような処理を行う。ここでは、図６に示すように注目画素ｘｉ，ｊを中心とした３×３画素のウィンドウにより式（２）に示すフィルタを用いて出力画素ｙｉ，ｊを得て、ｘｉ，ｊと置き換える。ここで、εはフィルタ強度を制御するパラメータである。

また、フィルタ切換制御部２１の制御がモスキート雑音低減フィルタ部２４をオフのときは上記の処理は行われない。

切換器２５では、フィルタ切換制御部２１の制御がモスキート雑音低減フィルタ部２４をオンのときは、モスキート雑音低減フィルタ部２４の出力、すなわちモスキート雑音が低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部２１の制御がモスキート雑音低減フィルタ部２４をオフのときは、切換器２３の出力、すなわちフィルタ処理されていない復号画像、あるいはブロックひずみのみ低減処理された復号画像が出力されるように切換が行われる。

第２のフレームメモリ部１０は、出力信号選択部１１の出力が入力され雑音が低減された前フレームの復号画像として蓄積しておく。また、ポストフィルタ処理内容制御部８からの制御により、現ブロックが符号化しないブロックであるときはその位置に相当する前フレームの画像が出力信号選択部１１にブロック単位で入力される。また、フレーム間予測でブロック内にＤＣＴ係数が存在しないときには、動きベクトルに従い動き補償を行った位置の画像を出力信号選択部１１に入力されるようにする。

出力信号選択部１１では、ポストフィルタ処理内容制御部８の制御に従ってポストフィルタ部９からの出力か、第２のフレームメモリ部１０からの出力かどちらか一方が出力されるように切換が行われる。現ブロックが符号化しないブロックであるとき、あるいはフレーム間予測でブロック内にＤＣＴ係数が存在しないときは、第２のフレームメモリ部１０からの入力が出力されるように切換が行われる。また、フレーム間予測でブロック内にＤＣＴ係数の直流成分のみが存在するとき、あるいはフレーム間予測でブロック内にＤＣＴ係数の直流および交流成分が存在するとき、あるいはフレーム内予測でブロック内にＤＣＴ係数の直流成分のみが存在するとき、あるいはフレーム内予測でブロック内にＤＣＴ係数の直流および交流成分が存在するときには、ポストフィルタ部９からの入力が出力されるように切換が行われる。

以上のように符号化実施の有無と動きベクトルとフレーム間／フレーム内予測の情報によりポストフィルタとポストフィルタが実施された前フレームの画像が蓄積されている第２のフレームメモリを適応的に制御することで、処理量を軽減しながらも雑音が低減された復号画像を得ることができる。

即ち、ブロック境界を滑らかに接続するフィルタリング後の復号画像を前フレームの復号画像として記憶し、変換係数、動きベクトルの状態に基づいて前フレームの復号画像を現フレームのブロックとして出力するので、フィルタリングによる処理量を軽減しつつもブロックひずみが低減された復号画像を得ることができる。また、本実施例をハードウェア化した場合においては、この処理量の軽減は消費電力の削減という効果もある。

本発明における一実施形態の構成を示すブロック図である。 本発明におけるポストフィルタ処理内容制御部の処理を示す説明図である。 本発明におけるポストフィルタ処理の一例を説明する図である。 本発明におけるポストフィルタ部の構成の詳細を示す図である。 本発明におけるブロックひずみ低減フィルタの構成を説明する図である。 本発明におけるモスキート雑音低減フィルタの構成を説明する図である。 従来の動画像復号装置の構成を示すブロック図である。

符号の説明

１…可変長復号部、２…逆量子化部、３…逆直交変換部、４…加算器、５…第１のフレームメモリ部、６…動き補償予測部、７…スイッチ、８…ポストフィルタ処理内容制御部、９…ポストフィルタ部、１０…第２のフレームメモリ部、１１…出力信号選択部。

Claims (2)

1. ブロック毎に符号化された画像を復号し、復号画像のブロック境界を滑らかに接続するためにブロック境界を挟む画素値を変化させフィルタ後の画素値とするフィルタ手段と、前記フィルタ手段を制御するフィルタ制御手段を備え、
   前記フィルタ制御手段は、
   （１）フィルタの処理内容として第一のフィルタを実施する場合と、第二のフィルタを実施するかフィルタを実施しない場合のいずれかを選択し、
   （２）前記第一のフィルタを前記第二のフィルタよりも強いフィルタ強度に設定し、
   （３）ブロックの予測符号化モードがフレーム内予測のときは前記第一のフィルタを実施する場合を選択し、
   （４）ブロックの予測符号化モードがフレーム間予測のときは、前記ブロック内に変換係数が存在するときに前記第二のフィルタを実施する場合を選択し、前記ブロック内に変換係数が存在しないときにフィルタを実施しない場合を選択し、
   前記フィルタ手段は、前記フィルタ制御手段の制御に従ってブロック境界をフィルタリングすることを特徴とするフィルタ装置。
2. 前記フィルタ後の復号画像を記憶するフレームメモリ手段を備え、
   前記フィルタ後の復号画像を前フレームとして前記フレームメモリ手段に記憶し、
   前記ブロックの予測符号化モードがフレーム間予測で、かつ前記ブロック内に変換係数を含まない場合は、前記フレームメモリに格納された復号画像に対して動きベクトルに従い動き補償を行った位置の画像を出力とすることを特徴とする前記請求項１に記載のフィルタ装置。

Images