JP3392307B2 - 画像信号平滑化装置および画像信号平滑化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ブロック単位で符
号化・復号化処理された画像に対して、画素位置別に量
子化パラメータと復号画像のブロック活性度に従って強
さの異なる平滑化フィルタ処理を行うことで、不自然な
雑音を除去した高品質な画像を得ることを特徴とする画
像信号の平滑化処理装置（画像フィルタ），平滑化処理
方法および前記フィルタをポストフィルタあるいはルー
プフィルタとする画像符号化装置，画像符号化方法，画
像復号化装置および画像復号化方法に関するものであ
る。

【０００２】

【従来の技術】画像信号を高い能率で符号化するため、
主にブロック単位で適応的に符号化する動画像符号化・
復号化方式およびその装置が従来から多く使われてい
る。代表的なものとして国際電信電話規格（ＩＴＵ−Ｔ
Ｈ．２６１規格）準拠のテレビ会議システムが一般に
使用されている。しかしながら、これらの符号化方式に
よると、復号画像に量子化誤差によるブロック状の段差
（ブロック雑音）が知覚される。また、平坦なバックに
文字のように急峻な画素変化があると、その周辺にモス
キートノイズと呼ばれる疑似エッジを生じることが知ら
れている。ブロック状の雑音は、ブロックの境界上で不
自然な輝度、色等の段差が発生することにより観察され
るもので、従来は、この段差を減少させるようなスムー
ジングフィルタを復号画像全体あるいはブロック境界に
位置する画素に対して使用し、ブロック状雑音を軽減す
るようにしている。

【０００３】図２４に前記ＩＴＵ−Ｔ Ｈ．２６１規格
のフレーム間符号化・復号化方式のブロック構成図を示
す。この図２４はブロック状雑音軽減を施す位置も示し
ている。図２４において、１１は入力された画像信号１
０と符号化され復号化されて再構成された１つ前のフレ
ームの画像信号２４との差分を生成する減算器であり、
その差分は符号化部１２（ＤＣＴ＋量子化＋ハフマン符
号）で符号化される。符号化された誤差信号１３は復号
部２５に伝送されるとともに、局部復号部１４（逆ハフ
マン符号＋逆量子化＋逆ＤＣＴ）で再度差分信号に戻さ
れる。この差分信号１５は符号化部１２、局部復号部１
４での演算誤差を含み、減算器１１からの差分とは異な
る値となる。

【０００４】そして、この差分信号１５と１つ前のフレ
ームの画像信号２４を加算器１６において加算し、画像
信号を生成する。この加算結果の画像信号１７をフレー
ムメモリ１８に記憶し、次の画像信号の入力に備える。
これらの動作においては、画像を８×８ドットの大きさ
に分割したブロック単位で処理が行われる。

【０００５】減算器１１において入力画像信号１０とフ
レームメモリ１８からの１フレーム前の画像信号２４と
の差分をとるとき、一般に動き探索・補償と呼ばれる技
術が用いられる。これは動きベクトル検出部１９で実行
するもので、フレームメモリ１８に記憶された信号と入
力画像信号の差分をとるとき、フレームメモリ１８から
１フレーム前の画像信号２１を取り出し上下左右にスラ
イドさせて差分をとり、その差分が最も小さくなるスラ
イド量を動きベクトル２２として選択し、マルチプレク
サ２９ａにより符号化された誤差信号１３と多重化して
復号器側に伝送する。この動きベクトルをフレームメモ
リ１８にアドレス信号として返して動き補償予測信号２
０を得る。以上が符号化器側の構成である。

【０００６】復号器側においては、デマルチプレクサ２
９ｂにより伝送されてきた信号のなかから差分の信号１
３を分離して復号部２５（逆ハフマン符号＋逆量子化＋
逆ＤＣＴおよび動きベクトル抽出）で復号し、動き補償
フレームメモリ１８に、デマルチプレクサ２９により分
離した動きベクトル２２を与えてスライドさせて得た動
き補償予測信号２０をフレームメモリ１８より読み出
す。復号部２５で復号された差分信号１５とフレームメ
モリ１８から読み出された信号２０を加算器１６で加算
し、画像信号（局部復号信号）１７を生成する。このよ
うにして符号化され復号化されて再構成された画像信号
１７に対してポストフィルタ２６によりフィルタリング
を施す。あるいは、フレームメモリ１８からの出力に対
してループ内フィルタ２３によりフィルタリングを施す
ことにより、ブロック状雑音を軽減する。このフィルタ
リングに用いられている従来の手法を以下に列挙する。

【０００７】まず、従来例１について説明する。図２２
に三ツ矢らによる「後置フィルタ処理によるブロック符
号化画像の画質改善法の検討」（信学技報ＩＥ８４−４
６）の手法を示す。この手法は、得られた復号画像の輝
度変化の少ないブロック、言い換えるとブロック境界に
おいてブロック歪が顕在化しやすいブロックに対しての
みフィルタリングを行うものであり、ブロック境界にあ
る画素５０に対してのみ強い平滑フィルタリングを行
う。このフィルタリングは、図２１で示す着目画素４０
とその周辺８画素４１〜４８との９画素による重みの等
しい単純平均を取るローパスフィルタ（ＬＰＦ）により
これを行うものである。５１はブロック内にある画素を
示し、５２はブロック境界を示す。

【０００８】次に、従来例２について説明する。中島に
よる「ＭＰＥＧ符号化における雑音除去のための後処理
方式」（信学技報ＩＥ９４−７、ＤＳＰ９４−７、１９
９４−０４）の手法（以下、中島の手法という）は、復
号画素値とその周辺画素値の単純平均との混合割合を、
画像の局所活性度、量子化パラメータ、ブロック活性
度、ブロック境界との位置関係で適応的に変化させるも
のである。以下、図を参照しながら解説する。着目画素
周辺の局所領域を図２１に示す３×３画素の画像領域
（以下、局所領域という）とし、σ_b ² （ブロック活性
度）を算出する領域を図２０に示すＤＣＴ演算を実施す
る８×８画素の領域（以下、画像ブロックという）と
し、復号における量子化パラメータは画像ブロックごと
に記憶する。

【０００９】復号画像の全画素個々に対して図２０に示
す局所領域で、局所平均値＜ｄ（ｘ，ｙ）＞を式（１）
で定義する。その総和Σをとるとき、ｉ，ｊの値により
画素が画像領域の範囲外に出る場合はこれに代えて着目
画素の値を用いる。なお、ｄ（ｘ，ｙ）は座標（ｘ，
ｙ）の復号画素値である。

【００１０】

【数１】

【００１１】次に、式（２）で定義するような各画素ご
との分散（以下、局所活性度という）を局所領域で求め
る。ここでは、分散の定義として局所領域と式（１）の
局所平均の差分の自乗和をとる。これも式（１）と同様
に全画素個々に対して定義する。

【００１２】

【数２】

【００１３】画像ブロック分散（以下、ブロック活性度
という）を式（３）で定義する。このブロック活性度は
図２０に示すような各画像ブロックＢ₀₀〜Ｂ₂₂ごとに定
義する。

【００１４】

【数３】

【００１５】ｍ（ｘ，ｙ）、ｄ（ｘ，ｙ）、＜ｄ（ｘ，
ｙ）＞は、それぞれ（ｘ，ｙ）座標における修正された
画素値、復号された画素値、局所領域の単純平均画素値
である。

【００１６】

【数４】

【００１７】ここで、βは復号された値と局所領域で平
滑化された値の混合割合で、以下の式で定義される。

【００１８】

【数５】

【００１９】画像ブロック内部の画素では

【００２０】

【数６】

【００２１】画像ブロック境界の画素では

【００２２】

【数７】

【００２３】このとき、σ_bn ² は、量子化パラメータと
ブロック活性度を変数とする関数値であり、文献中でグ
ラフで示された実験値である。中島の文献によれば、各
種画像ノイズが発生しやすい以下の条件のとき、式
（４）のβを変化させ、単純平均の割合を大きくしよう
とするものである。

【００２４】（ア）量子化パラメータが粗いとき、
（イ）ブロック活性度が高いとき、（ウ）画像の一定領
域にノイズがあるとき、（エ）画像ブロック内部にシャ
ープなエッジが存在するとき。

【００２５】さらに、従来例３について説明する。D.C.
C.WANG,A.H.VAGNUCCI,AND C.C.LI「Gradient Inverse W
eighted Smoothing and the Evalution of its Perform
ance」（Comp.Graphics Image Processing,Vol.15,pp.1
67-181,1981 ）の手法（以下、ＷＡＮＧの手法という）
は、着目画素と周辺画素との重み付き平均をとるもので
ある。その重み係数は着目画素と周辺画素の差分の絶対
値の逆数である。式（８）から式（１１）にその定義を
行う。なお、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の復号画素
値、ｍ（ｘ，ｙ）は（ｘ，ｙ）座標における重み付き平
均された画素値である。

【００２６】

【数８】

【００２７】ここで、

【００２８】

【数９】

【００２９】として、

【００３０】

【数１０】

【００３１】ここで、

【００３２】

【数１１】

【００３３】この手法は、周辺画素との差分値が小さい
と重み係数は大きくなり、着目画素のフィルタ後の値が
周辺に均一化される。逆に、差分が大きい（エッジが存
在する）と重み係数は小さくなり、エッジを保存するフ
ィルタリングになる。

【００３４】最後に、従来例４を説明する。この従来例
４として、世界電気通信標準化会議において承認された
ＩＴＵ−Ｔ勧告Ｈ．２６１（以下、Ｈ．２６１規格とい
う）に用いられているフィルタの手法を記述する。この
フィルタが用いられる場所は１フレーム前の画像信号が
記憶されたフレームメモリの出力に対してであり、入力
された画像信号との差分をとる前である（図２４のルー
プ内フィルタ２３を参照）。このフレームメモリの出力
は、８×８の画像ブロックごとにフィルタリングされ
る。

【００３５】このフィルタは１次元フィルタを水平、垂
直方向に作用させるもので、画像ブロック内部の画素に
対しては１／４，１／２，１／４の係数をもつ非再帰型
フィルタである。フィルタ演算に用いる画素が画像ブロ
ックの外に出てしまう場合は、０，１，０の係数をもつ
ｌ次元フィルタとして作用させる。図２３に８×８の画
像ブロックの各点の位置におけるフィルタ係数を示す。
６１は四隅におけるフィルタ係数、６２は上下端におけ
るフィルタ係数、６３は左右端におけるフィルタ係数、
６４は内部領域におけるフィルタ係数である。上下端、
左右端にはそれぞれ６個の画素があり、内部領域には３
６個の画素があるが、フィルタ係数はずらせて適用する
ものとする。

【００３６】

【発明が解決しようとする課題】上記の従来構成の基本
的なフィルタは、復号画像全体に一様なフィルタをかけ
るために、ブロック雑音以外の画像が本来もっているエ
ッジ情報を削減することになる。また、三ツ矢らの手法
でブロック境界にのみフィルタをかける場合、もともと
ブロック境界上に連続した線分が横切っていると、連続
した線分がブロック境界上でのみぼけることになる。そ
のためブロック境界上で観察者に不自然な印象を与え
る。

【００３７】また、中島の手法は復号画素値とその周辺
の画素値の単純平均の混合であるので、画像ブロック内
部のエッジ情報をぼかすフィルタリングとなる。さら
に、式（４）で定義されているように、ブロック境界で
エッジ保存性の無いフィルタ割合を強くするので三ツ矢
らと同様な問題が生じる。

【００３８】また、エッジ保存性のあるＷＡＮＧの手法
は着目画素の重み係数が１／２に固定されており同一画
像に対して複数回の処理が必要となる。また、式（９）
の画素差分値ΔＤ_ijが０となる場合の重み係数の置き換
えは、その重み係数を小さく評価することになる。本手
法はブロックに分割されるときに発生する、ブロック境
界でのブロック雑音現象を考慮していないので、ブロッ
ク境界の段差をエッジと誤認識して処理する可能性があ
る。

【００３９】さらに、Ｈ．２６１規格のフィルタもやは
りエッジ保存性の無いフィルタであるため、復号画像が
ぼけていく欠点を有している。

【００４０】本発明は上記の課題を解決するもので、画
面全体の解像度の低下を抑えながら、復号画像品質の劣
化を軽減することができる画像信号平滑化装置，画像信
号平滑化方法，画像符号化装置，画像復号化装置，画像
符号化方法，および画像復号化方法を提供することを目
的としている。

【００４１】

【課題を解決するための手段】本発明の請求項１の画像
信号平滑化装置は、サンプリングされデジタル化された
画像信号に対し、着目画素とその周辺画素の重み付け平
均でフィルタリング処理を行う平滑化フィルタを適用し
て平滑化処理を行う画像信号平滑化装置において、着目
画素値とその周辺画素値の差分を検出する手段と、その
差分の絶対値をとる手段と、フィルタリングすべき画像
をブロック分割する手段と、前記着目画素とその周辺画
素の差分値に加える非負の値を、画像信号の各ブロック
を符号化または復号化するときに用いられた量子化特性
に代表される各ブロックごとの量子化パラメータの粗さ
に応じて適応的に変化させる手段と、前記差分検出絶対
値に前記非負の値（ｍ）を加算する手段と、その加算後
の値の逆数（重み係数）を取る手段と、その逆数を取っ
た後の値に周辺画素値を乗算する手段と、その乗算した
後の値の総和（Ａ）を取る手段と、前記逆数（重み係
数）のみの総和（Ｂ）を取る手段と、前記重み係数の総
和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／Ｂ）
する手段とを備えたことを特徴とするものである。

【００４２】また、本発明の請求項２の画像信号平滑化
装置は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化装置において、着目画素値とそ
の周辺画素値の差分を検出する手段と、その差分の絶対
値をとる手段と、フィルタリングすべき画像をブロック
分割する手段と、ブロックごとに画素の変化の度合いを
表すブロック活性度を算出する手段と、そのブロック活
性度に応じて前記着目画素とその周辺画素の差分値に加
える非負の値を適応的に変化させる手段と、前記差分検
出絶対値に前記非負の値（ｍ）を加算する手段と、その
加算後の値の逆数（重み係数）を取る手段と、その逆数
を取った後の値に周辺画素値を乗算する手段と、その乗
算した後の値の総和（Ａ）を取る手段と、前記逆数（重
み係数）のみの総和（Ｂ）を取る手段と、前記重み係数
の総和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／
Ｂ）する手段とを備えたことを特徴とするものである。

【００４３】また、本発明の請求項３の画像信号平滑化
装置は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化装置において、着目画素値とそ
の周辺画素値の差分を検出する手段と、その差分の絶対
値をとる手段と、フィルタリングすべき画像をブロック
分割する手段と、前記着目画素がブロック境界の位置に
あるか否かを検出する手段と、前記着目画素がブロック
境界に位置する際にその点に接する隣接ブロックのブロ
ック活性度（隣接ブロック活性度）を検出する手段と、
前記隣接ブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
手段と、前記差分検出絶対値に前記非負の値（ｍ）を加
算する手段と、その加算後の値の逆数（重み係数）を取
る手段と、その逆数を取った後の値に周辺画素値を乗算
する手段と、その乗算した後の値の総和（Ａ）を取る手
段と、前記逆数（重み係数）のみの総和（Ｂ）を取る手
段と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除
算して正規化（Ａ／Ｂ）する手段とを備えたことを特徴
とするものである。

【００４４】また、本発明の請求項４の画像信号平滑化
装置は、請求項１記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、画像信
号の各ブロックを符号化・復号化するときに用いられた
量子化特性に代表される各ブロックごとの量子化パラメ
ータの粗さに応じて前記混合の割合を適応的に変化させ
る手段とを備えたことを特徴とするものである。

【００４５】また、本発明の請求項５の画像信号平滑化
装置は、請求項２記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、画像信
号の各ブロックの活性度に応じて前記混合の割合を適応
的に変化させる手段とを備えたことを特徴とするもので
ある。

【００４６】また、本発明の請求項６の画像信号平滑化
装置は、請求項３記載の画像信号平滑化装置において、
画像信号の各ブロック毎に前記平滑化処理された信号値
と平滑化処理する前の信号値を混合する手段と、着目画
素がブロック境界の位置にあるか否かを検出する手段
と、着目画素がブロック境界に接する位置にあるときそ
の画素に接する隣接ブロックの隣接ブロック活性度に応
じて前記混合の割合を適応的に変化させる手段とを備え
たことを特徴とするものである。

【００４７】また、本発明の請求項７の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、前記着目画素とその周辺
画素の差分値に加える非負の値を、画像信号の各ブロッ
クを符号化・復号化するときに用いられた量子化特性に
代表される各ブロック毎の量子化パラメータの粗さに応
じて適応的に変化させるステップと、前記差分検出絶対
値に前記非負の値（ｍ）を加算するステップと、その加
算後の値の逆数（重み係数）を取るステップと、その逆
数を取った後の値に周辺画素値を乗算するステップと、
その乗算した後の値の総和（Ａ）を取るステップと、前
記逆数（重み係数）のみの総和（Ｂ）を取るステップ
と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算
して正規化（Ａ／Ｂ）するステップとを含むことを特徴
とするものである。

【００４８】また、本発明の請求項８の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、ブロックごとに画素の変
化の度合いを表すブロック活性度を算出するステップ
と、そのブロック活性度に応じて前記着目画素とその周
辺画素の差分値に加える非負の値を適応的に変化させる
ステップと、前記差分検出絶対値に前記非負の値（ｍ）
を加算するステップと、その加算後の値の逆数（重み係
数）を取るステップと、その逆数を取った後の値に周辺
画素値を乗算するステップと、その乗算した後の値の総
和（Ａ）を取るステップと、前記逆数（重み係数）のみ
の総和（Ｂ）を取るステップと、前記重み係数の総和
（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／Ｂ）す
るステップとを含むことを特徴とするものである。

【００４９】また、本発明の請求項９の画像信号平滑化
方法は、サンプリングされデジタル化された画像信号に
対し、着目画素とその周辺画素の重み付け平均でフィル
タリング処理を行う平滑化フィルタを適用して平滑化処
理を行う画像信号平滑化方法において、着目画素値とそ
の周辺画素値の差分を検出するステップと、その差分の
絶対値をとるステップと、フィルタリングすべき画像を
ブロック分割するステップと、前記着目画素がブロック
境界の位置にあるか否かを検出するステップと、前記着
目画素がブロック境界に位置する際にその点に接する隣
接ブロックのブロック活性度（隣接ブロック活性度）を
検出するステップと、前記隣接ブロック活性度に応じて
前記着目画素とその周辺画素の差分値に加える非負の値
を適応的に変化させるステップと、前記差分検出絶対値
に前記非負の値（ｍ）を加算するステップと、その加算
後の値の逆数（重み係数）を取るステップと、その逆数
を取った後の値に周辺画素値を乗算するステップと、そ
の乗算した後の値の総和（Ａ）を取るステップと、前記
逆数（重み係数）のみの総和（Ｂ）を取るステップと、
前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
るものである。

【００５０】また、本発明の請求項１０の画像信号平滑
化方法は、請求項７に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、画像信号の各ブロックを符号化・復号化するときに
用いられた量子化特性に代表される各ブロックごとの量
子化パラメータの粗さに応じて前記混合割合を適応的に
変化させるステップとを含むことを特徴とするものであ
る。

【００５１】また、本発明の請求項１１の画像信号平滑
化方法は、請求項８に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、画像信号の各ブロックの活性度に応じて前記混合割
合を適応的に変化させるステップとを含むことを特徴と
するものである。

【００５２】また、本発明の請求項１２の画像信号平滑
化方法は、請求項９に記載の画像信号平滑化方法におい
て、画像信号の各ブロック毎に前記平滑化処理された信
号値と平滑化処理する前の信号値を混合するステップ
と、着目画素がブロック境界の位置にあるか否かを検出
するステップと、着目画素がブロック境界に接する位置
にあるときその画素に接する隣接ブロックの隣接ブロッ
ク活性度に応じて前記混合割合を適応的に変化させるス
テップとを含むことを特徴とするものである。

【００５３】

【００５４】

【００５５】

【００５６】

【００５７】

【００５８】

【００５９】

【００６０】

【００６１】

【００６２】

【００６３】

【００６４】

【００６５】

【００６６】

【００６７】

【００６８】

【００６９】

【００７０】

【００７１】

【００７２】

【００７３】

【発明の実施の形態】

（実施の形態１）以下、本発明の実施の形態１について
図１ないし図２０を参照しながら説明する。

【００７４】本実施の形態１は画面全体の解像度の低下
を抑えながら、復号画像品質の劣化を軽減することを実
現するために、復号された着目画素と周辺画素との差分
値にある非負の値を加えた上で、逆数をとり、その逆数
を重みとするようなエッジ保存性のある平滑化フィルタ
を用いるようにしたものであり、この平滑化フィルタに
よれば、差分値の逆数で平滑化するので、着目画素が孤
立点ならば周辺画素全てと差分値が大きく、周辺全てが
同じような重みとなる。着目画素の隣にエッジが存在す
る場合は、着目画素とエッジの差分は大きくなるが、エ
ッジ以外の周辺画素との差分は小さい。したがって、エ
ッジ側の重みが小さい重み平均をとる構成になり、連続
したエッジはこの構成で保存でき、孤立点は平滑するこ
とができる。重み係数算出において逆数をとる前の非負
の加える値を制御することで、量子化誤差のみでなくあ
る値以下の雑音も消去することができる。また、この平
滑化フィルタを用いたことによりブロック境界に生じる
歪を大幅に軽減でき、視覚上大きな画質改善効果を得る
ことができる。また、復号化パラメータの粗さと画像信
号の活性度に応じて平滑フィルタの特性を変えて平滑処
理するので、復号画像全体の解像度の低下を少なくで
き、視覚的に見やすい高品質な復号画像を得ることがで
きる。

【００７５】図１は本発明に係る画像符号化・復号化装
置のブロック図であり、従来技術で説明した構成に加え
てループ内フィルタ２３およびポストフィルタ２６の位
置を示している。

【００７６】また、図２は図１のループ内フィルタ２３
またはポストフィルタ２６に内蔵する平滑フィルタのブ
ロック構成を示す。図２において、２３１は着目画素値
と周辺画素値の差分を検出する差分器であり、その差分
は絶対値器２３２で絶対値がとられる。その絶対値は加
算器２３３で非負の値ｍと加算され、その加算値は逆数
器２３４で逆数がとられて重み係数となる。その重み係
数は乗算器２３５で周辺画素値と乗算され、その乗算値
は総和器２３６で総和がとられる。また重み係数は総和
器２３７で総和がとられ、総和器２３６でとられた総和
は除算器２３８で総和器２３７でとられた総和により除
算されてスムージングされた画素値が得られる。

【００７７】また、図３は図２の平滑フィルタに付加さ
れる構成を示す。図３において、２３３１はフィルタリ
ングすべき画像をブロック分割する画像ブロック分割器
であり、そのブロック分割された画像毎の量子化パラメ
ータが量子化パラメータ算出器２３３２で算出され、そ
の量子化パラメータの粗さに応じて非負加算値可変器２
３３３は図２の加算器２３３で加算すべき非負の値ｍを
可変する。

【００７８】また、図４は図２の平滑フィルタに付加さ
れる構成を示す。図４において、２３３４はブロック分
割された画像毎の活性度を算出するブロック活性度算出
器であり、そのブロック活性度に応じて非負加算値可変
器２３３３は図２の加算器２３３で加算すべき非負の値
ｍを可変する。

【００７９】また、図５は図２の平滑フィルタに付加さ
れる構成を示す。図５において、２３３５は着目画素が
ブロック境界の位置にあることを検出する画素位置検出
器であり、その着目画素がブロック境界の位置にあれ
ば、ブロック活性度算出器２３３４はその点に隣接する
ブロック活性度を検出し、そのブロック活性度に応じて
非負加算値可変器２３３３は図２の加算器２３３で加算
すべき非負の値ｍを可変する。

【００８０】また、図６は図２の平滑フィルタに付加さ
れる構成を示す。図６において、２３３２は画像信号の
各ブロック毎の量子化パラメータを算出する量子化パラ
メータ算出器であり、その各ブロック毎の量子化パラメ
ータの粗さに応じて信号混合器２３３６は画像信号の各
ブロック毎に平滑化された信号値と平滑化処理する前の
信号値を混合する割合を適応的に変化させる。

【００８１】また、図７は図２の平滑フィルタに付加さ
れる構成を示す。図７において、２３３４は画像信号の
各ブロック毎の活性度を算出するブロック活性度算出器
であり、その各ブロック毎の活性度に応じて信号混合器
２３３６は画像信号の各ブロック毎に平滑化された信号
値と平滑化処理する前の信号値を混合する割合を適応的
に変化させる。

【００８２】また、図８は図２の平滑フィルタに付加さ
れる構成を示す。図８において、２３３５は着目画素が
ブロック境界の位置にあるか否かを検出する画素位置検
出器であり、その着目画素がブロック境界に接する位置
にあるときに信号混合器２３３６は画像信号の各ブロッ
ク毎に平滑化された信号値と平滑化処理する前の信号値
を混合する割合を適応的に変化させる。

【００８３】また、図９は図２の平滑フィルタの構成を
示す。図９において、２３３５は着目画素がブロック境
界の位置にあるか否かを検出する画素位置検出器であ
り、その着目画素がブロック境界の位置にある場合、エ
ッジ保存性を弱めた平滑フィルタリングを行うフィルタ
回路２３３７を選択し、その着目画素がブロックの内部
に存在する場合エッジ保存性のある平滑フィルタリング
を行うフィルタ回路２３３８を選択する。

【００８４】また、図１０は図２の平滑フィルタの構成
を示す。図１０において、２３３５は着目画素がブロッ
ク境界の位置にあるか否かを検出する画素位置検出器で
あり、その着目画素がブロック境界の位置にある場合、
活性度算出器２３４０は着目画素とその周辺の画素値よ
り着目点の活性度を算出し、その活性度に応じてエッジ
保存性を弱めた平滑フィルタリングを行うフィルタ回路
２３３７を選択するかあるいはエッジ保存性のある平滑
フィルタリングを行うフィルタ回路２３３８を選択す
る。

【００８５】また、図１１は図２の平滑フィルタの構成
を示す。図１１において、２３３５は着目画素がブロッ
ク境界の位置にあるか否かを検出する画素位置検出器で
あり、その着目画素がブロック境界の位置にある場合、
境界連続方向検出器２３４１は着目画素が属するブロッ
ク境界が水平，垂直のどちらに連続しているかを検出
し、着目画素が属するブロックの方向に応じてエッジ保
存性を弱めた平滑フィルタリングを行うフィルタ回路２
３３７を選択するかあるいはエッジ保存性のある平滑フ
ィルタリングを行うフィルタ回路２３３８を選択する。

【００８６】また、図１２は図１の画像符号化・復号化
装置あるいは図２ないし図１１の平滑フィルタをソフト
ウエアで実現する場合の構成を示す。図１２において、
３００は画像データを入力する画像入力部であり、その
画像データはバス１５０を介して直接ＣＰＵ１００に入
力されるか、あるいは画像メモリ２００に一旦記憶され
た後、画像メモリ２００から読み出されてＣＰＵ１００
に入力される。このＣＰＵ１００に入力された画像デー
タはソフトウエアによって処理され、バス１５０を介し
て直接画像出力部４００に入力されるか、あるいは画像
メモリ２００に一旦記憶された後、画像メモリ２００か
ら読み出されて画像出力部４００に入力される。

【００８７】以下では、従来技術の説明で定義された類
似式も本実施の形態１の手法の定義を明確にするために
再度定義する。着目画素周辺の局所領域を図２１に示す
３×３画素の画像領域（以下、局所領域という）とし、
σ_b ² （ブロック活性度）を算出する領域は図２０に示
すＤＣＴ演算を実施する８×８画素の領域（以下、画像
ブロックという）とし、復号における量子化パラメータ
は画像ブロックごとに記憶する。

【００８８】復号画像の全画素個々に対して図２１に示
す局所領域で、局所平均値＜ｄ（ｘ，ｙ）＞を式（１
２）で定義する。その総和Σをとるとき、ｉ，ｊの値に
より画像領域の範囲外に出る場合は着目画素の値をと
る。ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の復号画素値であ
る。

【００８９】

【数１２】

【００９０】次に、式（１３）で定義するような各画素
ごとの分散（以下、局所活性度という）を局所領域で求
める。ここでは、分散の定義に局所領域と式（１２）の
局所平均の差分の自乗和をとる。これも式（１２）と同
様に全画素個々に対して定義する（請求項９で使用）。

【００９１】

【数１３】

【００９２】画像ブロック分散（以下、ブロック活性度
という）を式（１４）で定義する。ブロック活性度は図
２０に示すような各ブロックごとに定義する（請求項
３，１３，４，１４，６，１６，７，１７で使用）。

【００９３】

【数１４】

【００９４】ｍ（ｘ，ｙ）、ｄ（ｘ，ｙ）、ｓ（ｘ，
ｙ）は、それぞれ（ｘ，ｙ）座標における修正された画
素値、復号された画素値、局所領域でスムージングされ
た画素値である。

【００９５】

【数１５】

【００９６】ここで、λは復号された値と局所領域で平
滑化された値の混合割合で、以下の式（１６）〜（１
８）で定義される。ＱＰは復号における量子化パラメー
タ、σ_b ² は式（１４）で算出されるブロック活性度で
ある。量子化パラメータが大きいと量子化誤差が生じや
すく、また復号画像のブロック活性度が大きいと画素値
の段差が数多く存在するので平滑化特性を強くする構成
としている（請求項５，１５，６，１６に該当）。

【００９７】これにより、画像ブロック毎に、画素毎の
性質によりフィルタリング特性を変化させることができ
る。また、量子化パラメータが１の場合、量子化誤差が
生じないので、最終的なフィルタリングの後の値は平滑
化処理する前の信号そのままでよく、混合割合を量子化
パラメータで制御する構成を有することにより、平滑化
された信号値をフィルタリングに使用しないようにする
ことができる。これにより、フィルタリング処理をスキ
ップすることができ、装置をＣＰＵやＤＳＰにより構成
した場合、その処理時間を短縮することができる。

【００９８】また、ブロック活性度の低い平坦なブロッ
クの場合、平滑化された平坦な信号をより多く最終的な
フィルタリング値に含ませることで、平坦なブロックで
目につきやすい雑音を除去できる。

【００９９】

【数１６】

【０１００】式（１５）で定義される右辺第２項ｓ
（ｘ，ｙ）のスムージングには座標（ｘ，ｙ）における
復号値ｄ（ｘ，ｙ）を含んでいない。式（１８）、式
（２１）の定義よりスムージング後の画素値ｓ（ｘ，
ｙ）に着目点ｄ（ｘ，ｙ）の画素値は含まれない。そこ
で、λのとる値の範囲を以下の範囲とする。

【０１０１】

【数１７】

【０１０２】式（１６）のλが式（１７）で定義する範
囲の値でアンダーフロー／オーバーフローした場合はそ
れぞれ最小／最大値で固定する。

【０１０３】次に、式（１５）で用いた右辺第２項スム
ージングの画素値算出の定義を行う。スムージングは、
式（２１）で定義される重みに従って、周辺画素の重み
平均をとることである。この重みは画素値の差分の逆数
で定義するので、画素値の差分が大きいエッジのような
ところは平滑化に影響を与えない。すなわち、エッジが
保存されるような平滑化を行う。

【０１０４】

【数１８】

【０１０５】また、座標（ｘ，ｙ）の周辺画素との差分
を局所領域でとり、各画素との差分の絶対値に正則化の
ための非負の数ｍの項を加える。この項の作用によりｄ
（ｘ，ｙ）−ｄ（ｘ＋ｉ，ｙ＋ｊ）＝０であっても式
（２１）が無限大になることはない。

【０１０６】しかも、この項の作用で周辺画素との差分
値がｍ以下の場合、周辺画素の単純平均に近い値を算出
することになる（請求項１，１１に該当）。

【０１０７】これにより、上述のように、差分値の逆数
で平滑化を行うので、連続したエッジはこの構成で保存
でき、孤立点は平滑化することができる。また、非負の
値を加えることで、逆数をとったときの演算結果が無限
大になるのを避けることができる。

【０１０８】

【数１９】

【０１０９】右辺第２項のｍの値が大きいとエッジ保存
効果の画素値差分（右辺第１項）をマスクするように作
用する。このマスク値は固定値でも可能であるが、量子
化誤差の変動を反映できるように、式（２０）のような
量子化パラメータで制御する（請求項２，１２に該
当）。これにより、量子化誤差が拡大することに伴い拡
大する雑音を消去することができる。

【０１１０】

【数２０】

【０１１１】

【数２１】

【０１１２】ブロック歪を生じている場合には、ブロッ
ク内部は局所活性度σ_d ² ＝０であるが、ブロック境界
上の画素は、周辺画素が隣接ブロックに接し段差が生じ
ているので局所活性度σ_d ² が大きい。しかし、ブロッ
クで平均化されるので、このような状況ではブロック活
性度σ_b ² がある閾値δ₂ より小さくなっている。ブロ
ック歪を強く消去するために式（１６），（１７）で算
出されたλに、追加の制限事項を定める（請求項３，１
３，６，１６に該当）。これにより、雑音と認識する幅
を拡大し、平坦な平滑化特性を強くし、雑音が認識され
ないようにすることができる。

【０１１３】

【数２２】

【０１１４】また、着目画素がブロック境界に位置し、
下記（ア），（イ）の条件ならば同様に平滑特性を強く
する。本条件によりブロック内部ではエッジ保存性の強
いフィルタリングとなり、ブロック境界ではエッジ保存
性の弱いフィルタリングとなる（（ア）は請求項４，１
４，７，１７に、（イ）は請求項９，１９に該当）。

【０１１５】これにより、画像が平坦なブロックに隣接
する場合、隣接ブロックがブロック活性度の低い平坦な
ことを検出して、平坦なブロックに接する点の平滑化特
性の平坦度を高め、生じるべき境界段差をぼかすことが
できる。また、画像がブロック活性度の低い平坦なブロ
ックに隣接する場合、その隣接ブロックが平坦なことを
検出して、平坦なブロックに接する点のフィルタリング
特性の平坦度を強め、生じるべき境界をぼかすことがで
きる。また、着目点がブロック境界に位置しかつ着目点
の活性度が高い場合、平滑特性の平坦度を高めるととも
に、フィルタリング特性における平滑特性の割合を大き
くすることで、生じるべき段差を消去できる。

【０１１６】

【数２３】

【０１１７】（ア）着目画素が接する画像ブロックの隣
接ブロックのブロック活性度が、ある閾値δ₂ より低い
場合。式（２２）の判定では、着目画素の属するブロッ
クの活性度のみを判定しており、本条件は隣接するブロ
ックの活性度を判定している。

【０１１８】図２０の３０が着目画素ならば隣接ブロッ
クは３１である。 （イ）着目画素の局所活性度がある閾値δ₃ より高い場
合。これは、直交変換（ＤＣＴ変換）の高い周波数成分
で生成された波形が、ブロック境界において寸断され
て、隣のブロックとの間で段差が生じている場合に相当
する。

【０１１９】閾値λ_max 、δ₁ ，δ₂ ，δ₃ の一例を示
す。

【０１２０】

【数２４】

【０１２１】

【数２５】

【０１２２】

【数２６】

【０１２３】

【数２７】

【０１２４】

【数２８】

【０１２５】ここで、σ_pic はブロック活性度を画像全
体で平均したものである。Ｍは水平方向のブロック数、
Ｎは垂直方向のブロック数である。

【０１２６】画像が８×８でブロック分割されていると
き、座標（ｘ，ｙ）のｘが８の倍数、またはｘの８の剰
余が７ならば垂直方向に連続したブロック境界が存在す
る。

【０１２７】同様にｙが８の倍数、またはｙの８の剰余
が７ならば水平方向に連続したブロック境界が存在す
る。条件 （ウ）着目画素がブロック境界に属し、局所活性度がδ
₃ より高い場合、ブロック境界にブロック雑音が発生し
ていると判定されるので、式（１９），（２０）を以下
の式に再定義する（請求項１０，２０に該当）。

【０１２８】

【数２９】

【０１２９】

【数３０】

【０１３０】水平方向に連続するブロック境界が存在す
る座標で、（ウ）の条件ならば水平方向のブロック雑音
が存在するので、着目画素と水平方向に隣接する画素か
らの平滑特性を弱くする。

【０１３１】

【数３１】

【０１３２】同様に、垂直方向のブロック雑音ならば、

【０１３３】

【数３２】

【０１３４】この構成で、ブロック雑音に平行する着目
画素の両隣の画素の重み係数は小さく評価されるので、
ブロック雑音の方向に対して垂直方向のフィルタ特性が
強く作用することになり、ブロック境界の方向に垂直な
エッジを強く保存しながらブロック雑音を消去すること
ができる。これにより、画像信号の重要要素であるエッ
ジをより多く残しながら、フィルタリングを実行するこ
とが可能となる。

【０１３５】以上の，図１のフィルタ２３または２６の
動作を、図１２の装置の実際の計算手順である図１３な
いし図１８のフローチャートに従って説明する。

【０１３６】ステップＳ１：画像信号の全画素に対して
式（１２）に基づいて復号画像の全画素個々に局所平均
値＜ｄ（ｘ，ｙ）＞を算出する。

【０１３７】ステップＳ２：同様に式（１３）に基づい
て局所活性度σ_d ² （ｘ，ｙ）を算出する。

【０１３８】ステップＳ３：各８×８ドットの画像ブロ
ックごとに式（１４）に基づいてブロック活性度σ_b ²
［bn］を算出するとともに、量子化パラメータＱＰ［b
n］の読み込みを行う。

【０１３９】ステップＳ４，Ｓ５，Ｓ２５：画像ブロッ
クすべてについてループを回す。各ループにおいて、個
々のブロックに対して以下の計算を実施する。

【０１４０】ステップＳ６：混合割合λを式（１６）に
基づいて算出する。このとき、δ₁はある一定の値であ
る。

【０１４１】ステップＳ７：非負の値ｍを式（２０）に
基づいて定める。

【０１４２】ステップＳ８，Ｓ９：混合割合λが制限範
囲を超える場合は、λをλ_max に制限する（式（１
７））。

【０１４３】ステップＳ１０，Ｓ１１：ステップＳ３で
計算した画像ブロックのブロック活性度σ_b ² ［bn］が
ある閾値δ₂ 以下の場合、式（２２）のとおり、λ＝λ
_max、ｍ＝ＱＰ［bn］に置き換える。

【０１４４】ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ２
１，Ｓ２２，Ｓ２３，Ｓ２４：画像ブロック内のすべて
の画素についてループを回す。変数ｋ，ｌはそれぞれ
ｘ，ｙ方向の増分で、画像ブロックの大きさが８×８で
あるので、０から７の範囲で増加する。ｘ_b ，ｙ_b は着
目画像ブロックの左上隅座標である。

【０１４５】ステップＳ１６：変数ｋ，ｌが０あるいは
７であるとき、着目画素は図２０の丸点のようにブロッ
ク境界に存在する。この判断を行う。

【０１４６】ステップＳ２６，Ｓ２７，Ｓ２８：変数ｌ
＝０のとき、図２０の着目ブロックＢ₁₁の上辺であるの
で、着目ブロックの上に接するブロックＢ₀₁がσ
_b ² ［bn−Ｍ］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ
［bn］に置き換える（式（２３）、（ア））。

【０１４７】ステップＳ２９，Ｓ３０，Ｓ３１：変数ｋ
＝７のとき、着目ブロックＢ₁₁の右辺であるので、着目
ブロックの右に接するブロックＢ₁₂がσ_b ² ［ bn ＋
１］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。

【０１４８】ステップＳ３２，Ｓ３３，Ｓ３４：変数ｌ
＝７のとき、着目ブロックＢ₁₁の下辺であるので、着目
ブロックの下に接するブロックＢ₂₁がσ_b ² ［ bn ＋
Ｍ］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。

【０１４９】ステップＳ３５，Ｓ３６，Ｓ３７：変数ｋ
＝０のとき、着目ブロックＢ₁₁の左辺であるので、着目
ブロックの左に接するブロックＢ₁₀がσ_b ² ［ bn −
１］≦δ₂ であれば、λ＝λ_max 、ｍ＝ＱＰ［bn］に置
き換える。

【０１５０】ステップＳ３８，Ｓ３９：着目画素の局所
活性度σ_d ² （ｘ，ｙ）が閾値δ₃以上のとき、λ＝λ
_max 、ｍ＝ＱＰ［bn］に置き換える（式（２３）、
（イ））。

【０１５１】ステップＳ１７：変数ｉ，ｊは±１で着目
画素と周辺画素で差分を算出し、その差分の絶対値に非
負の値ｍを加算する（式（１９））。この式（１９）の
逆数を着目画素の重みｗ（ｉ，ｊ）とする（式（２
１））。

【０１５２】ステップＳ１８，Ｓ１９：ステップＳ１７
で算出された重みと対応画素の画素値の積の総和Ａを算
出する。また、重みの総和Ｂを算出する。次に、Ａ／Ｂ
を算出し、スムージング値ｓとする。

【０１５３】ステップＳ２０：式（１５）のように、着
目画素の値とスムージング値を混合割合λに従って混合
し、着目画素のフィルタリング後の画素値とする。

【０１５４】なお、図１９は図１３ないし図１８の処理
の概略を示したフローチャートであるので、これらの対
応関係のみを示す。

【０１５５】

【表１】

【０１５６】（実施の形態２）請求項２１，２４，２
７，３０に対応する実施の形態２を説明する。この実施
の形態２は図１の実線１７の代わりに破線２８で示した
構成とする。このときポストフィルタ２６として用いる
エッジ保存性のあるフィルタは実施の形態１で記載した
ものと同じフィルタを用いる。この構成をとることで、
画像を符号化・復号化するときに生じたランダムノイズ
が抑制され、かつエッジを保存しながら画像信号が平滑
化されるので、次フレームの入力画像信号との予測誤差
を小さくでき、符号化・復号化の際の伝送ビット量を削
減できる。

【０１５７】請求項２２，２５，２８，３１は図１の減
算器１１で算出された残差がある閾値より小さい場合の
処理を行う装置，方法であり、図１の符号化部１２で残
差を符号化しない（Ｈ．２６１規格の無為ブロックに相
当）場合に相当する。したがって、この該当画像ブロッ
クが図１のフレームメモリ１８から読み出された画像そ
のままのときである。この場合、フレームメモリに記憶
された画像は、すでに１つ前のフレームでフィルタリン
グされているので、フレームメモリそのものの画像デー
タに対しては、再度フィルタリングする必要がない。こ
のため、残差が符号化された有意ブロックに対してのみ
エッジ保存性のあるフィルタリングを行うため、再度同
一画像に対してフィルタリングを行わないことにより、
画像のぼけを防止できる。

【０１５８】請求項２３，２９は本発明の平滑化方法を
符号化部と復号化部の内部のループ内フィルタ（図１の
２３）に用いた場合である。以下に一つの実施の形態を
示す。図１の２０は動き補償された後の画像信号なの
で、記憶したブロックごとの量子化パラメータやブロッ
ク活性度が、ＤＣＴブロック分割に一致しない。そこ
で、式（１６）のλを固定値にし、動き補償された画像
ブロックに対して式（１２）から（１４）を算出する。
このとき、動き補償はフィルタリングする前のフレーム
メモリの記憶画素値と入力信号で算出する。

【０１５９】

【数３３】

【０１６０】このブロック活性度がある閾値δ₂ より小
さいとき、

【０１６１】

【数３４】

【０１６２】とし、入力画像とフレームメモリの平均自
乗誤差〔式（３５）〕が、入力画像とフレームメモリの
フィルタ後の平均自乗誤差〔式（３６）〕より大きい場
合、復号ループのループ内フィルタを式（１５），（１
８），（２１）で構成する。

【０１６３】

【数３５】

【０１６４】

【数３６】

【０１６５】ここで、ｄ（ｘ，ｙ）はフレームメモリに
記憶され動き補償された画像値、ｉ（ｘ，ｙ）は入力画
像信号、ｍ（ｘ，ｙ）は動き補償された画像ブロックに
対して、本フィルタを適用した後の画像値である。

【０１６６】このように、符号化ループおよび復号化ル
ープ内部のループ内フィルタをエッジ保存性のあるフィ
ルタで構成することにより、次のフレームの入力画像信
号との予測誤差を小さくでき、伝送ビット量を削減でき
る。

【０１６７】式（３３）、（３４）の一例を示す。

【０１６８】

【数３７】

【０１６９】このように、本実施の形態２によれば、平
滑化フィルタによりブロック境界に生じる歪を大幅に軽
減でき、視覚上大きな画質改善効果を得ることができ
る。また、復号化パラメータの粗さと画像信号の活性度
に応じて平滑フィルタの特性を変えて平滑処理するの
で、復号画像全体の解像度の低下を少なくでき、視覚的
に見やすい高品質な復号画像を得ることができる。さら
に、復号ループ内部にこの平滑フィルタを用いること
で、予測誤差信号が小さくなり伝送ビット量を削減する
ことができる。

【０１７０】

【発明の効果】以上のように、本発明の請求項１の画像
信号平滑化装置によれば、サンプリングされデジタル化
された画像信号に対し、着目画素とその周辺画素の重み
付け平均でフィルタリング処理を行う平滑化フィルタを
適用して平滑化処理を行う画像信号平滑化装置におい
て、着目画素値とその周辺画素値の差分を検出する手段
と、その差分の絶対値をとる手段と、フィルタリングす
べき画像をブロック分割する手段と、前記着目画素とそ
の周辺画素の差分値に加える非負の値を、画像信号の各
ブロックを符号化または復号化するときに用いられた量
子化特性に代表される各ブロックごとの量子化パラメー
タの粗さに応じて適応的に変化させる手段と、前記差分
検出絶対値に前記非負の値（ｍ）を加算する手段と、そ
の加算後の値の逆数（重み係数）を取る手段と、その逆
数を取った後の値に周辺画素値を乗算する手段と、その
乗算した後の値の総和（Ａ）を取る手段と、前記逆数
（重み係数）のみの総和（Ｂ）を取る手段と、前記重み
係数の総和（Ｂ）で前記総和（Ａ）を除算して正規化
（Ａ／Ｂ）する手段とを備えるようにしており、差分値
の逆数で平滑化するので、着目画素が孤立点ならば周辺
画素すべてと差分値が大きく、周辺すべてが同じような
重みとなる。着目画素の隣にエッジが存在する場合は、
着目画素とエッジの差分は大きくなるが、エッジ以外の
周辺画素との差分は小さい。したがって、エッジ側の重
みが小さい重み平均をとる構成になる。連続したエッジ
はこの構成で保存でき、孤立点は平滑することができ
る。また、非負の値を加えることで、雑音の影響度合い
を演算の中で制御できるとともに、逆数をとったときの
演算結果が無限大になることを避けることができる。ま
た、重み係数算出において逆数をとる前の加える非負の
値を量子化パラメータの粗さで制御することにより、量
子化誤差が拡大することに伴い拡大する雑音を消去する
ことができる。

【０１７１】また、本発明の請求項２の画像信号平滑化
装置によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化装置において、着目画素
値とその周辺画素値の差分を検出する手段と、その差分
の絶対値をとる手段と、フィルタリングすべき画像をブ
ロック分割する手段と、ブロックごとに画素の変化の度
合いを表すブロック活性度を算出する手段と、そのブロ
ック活性度に応じて前記着目画素とその周辺画素の差分
値に加える非負の値を適応的に変化させる手段と、前記
差分検出絶対値に前記非負の値（ｍ）を加算する手段
と、その加算後の値の逆数（重み係数）を取る手段と、
その逆数を取った後の値に周辺画素値を乗算する手段
と、その乗算した後の値の総和（Ａ）を取る手段と、前
記逆数（重み係数）のみの総和（Ｂ）を取る手段と、前
記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して正
規化（Ａ／Ｂ）する手段とを備えるようにしており、差
分値の逆数で平滑化するので、着目画素が孤立点ならば
周辺画素すべてと差分値が大きく、周辺すべてが同じよ
うな重みとなる。着目画素の隣にエッジが存在する場合
は、着目画素とエッジの差分は大きくなるが、エッジ以
外の周辺画素との差分は小さい。したがって、エッジ側
の重みが小さい重み平均をとる構成になる。連続したエ
ッジはこの構成で保存でき、孤立点は平滑することがで
きる。また、非負の値を加えることで、雑音の影響度合
いを演算の中で制御できるとともに、逆数をとったとき
の演算結果が無限大になることを避けることができる。
また、画像がブロック活性度の低い平坦な場合、雑音が
目につきやすいが、雑音と認識する幅を拡大し、平坦な
平滑化特性を強くし、雑音が認識されないようにするこ
とができる。

【０１７２】また、本発明の請求項３の画像信号平滑化
装置によれば、請求項１の画像信号平滑化装置におい
て、サンプリングされデジタル化された画像信号に対
し、着目画素とその周辺画素の重み付け平均でフィルタ
リング処理を行う平滑化フィルタを適用して平滑化処理
を行う画像信号平滑化装置において、着目画素値とその
周辺画素値の差分を検出する手段と、その差分の絶対値
をとる手段と、フィルタリングすべき画像をブロック分
割する手段と、前記着目画素がブロック境界の位置にあ
るか否かを検出する手段と、前記着目画素がブロック境
界に位置する際にその点に接する隣接ブロックのブロッ
ク活性度（隣接ブロック活性度）を検出する手段と、前
記隣接ブロック活性度に応じて前記着目画素とその周辺
画素の差分値に加える非負の値を適応的に変化させる手
段と、前記差分検出絶対値に前記非負の値（ｍ）を加算
する手段と、その加算後の値の逆数（重み係数）を取る
手段と、その逆数を取った後の値に周辺画素値を乗算す
る手段と、その乗算した後の値の総和（Ａ）を取る手段
と、前記逆数（重み係数）のみの総和（Ｂ）を取る手段
と、前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算
して正規化（Ａ／Ｂ）する手段とを備えるようにしてお
り、差分値の逆数で平滑化するので、着目画素が孤立点
ならば周辺画素すべてと差分値が大きく、周辺すべてが
同じような重みとなる。着目画素の隣にエッジが存在す
る場合は、着目画素とエッジの差分は大きくなるが、エ
ッジ以外の周辺画素との差分は小さい。したがって、エ
ッジ側の重みが小さい重み平均をとる構成になる。連続
したエッジはこの構成で保存でき、孤立点は平滑するこ
とができる。また、非負の値を加えることで、雑音の影
響度合いを演算の中で制御できるとともに、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、画像が平坦なブロックに隣接する場合、そ
の境界において連続した輝度（色相）の段差を生じる可
能性が高いので、隣接ブロックがブロック活性度の低い
平坦なことを検出して、平坦なブロックに接する点の平
滑化特性の平坦度を強め、この境界段差をぼかすことが
できる。

【０１７３】また、本発明の請求項４の画像信号平滑化
装置によれば、請求項１記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
画像信号の各ブロックを符号化・復号化するときに用い
られた量子化特性に代表される各ブロックごとの量子化
パラメータの粗さに応じて前記混合の割合を適応的に変
化させる手段とを備えるようにしたので、着目画素のフ
ィルタリングの最終的な値を前記の平滑化処理された信
号値と平滑化処理する前の信号値を混合する前記構成に
より、画像ブロックごとに、画素ごとの性質によりフィ
ルタリング特性を変化させることができる。そして、量
子化パラメータが１の場合、量子化誤差は生じないの
で、最終的なフィルタリング後の値は平滑化処理する前
の信号そのままでよく、混合割合を量子化パラメータで
制御する構成を有することにより、平滑化された信号値
をフィルタリングに使用しないようにすることができ
る。

【０１７４】また、本発明の請求項５の画像信号平滑化
装置によれば、請求項２記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
画像信号の各ブロックの活性度に応じて前記混合の割合
を適応的に変化させる手段とを備えるようにしたので、
ブロック活性度の低い平坦なブロックの場合、平滑化さ
れた平坦な信号値をより多く最終的なフィルタリング値
に含ませることで、平坦なブロックで目につきやすい雑
音を除去できる。

【０１７５】また、本発明の請求項６の画像信号平滑化
装置によれば、請求項３記載の画像信号平滑化装置にお
いて、画像信号の各ブロック毎に前記平滑化処理された
信号値と平滑化処理する前の信号値を混合する手段と、
着目画素がブロック境界の位置にあるか否かを検出する
手段と、着目画素がブロック境界に接する位置にあると
きその画素に接する隣接ブロックの隣接ブロック活性度
に応じて前記混合の割合を適応的に変化させる手段とを
備えるようにしており、画像がブロック活性度の低い平
坦なブロックに隣接する場合、その境界において連続し
た輝度（色相）の段差を生じる可能性が高いので、隣接
ブロックが平坦なことを検出して、平坦なブロックに接
する点のフィルタリング特性の平坦度を強め、この境界
をぼかすことができる。

【０１７６】また、本発明の請求項７の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、前記着目画素とそ
の周辺画素の差分値に加える非負の値を、画像信号の各
ブロックを符号化・復号化するときに用いられた量子化
特性に代表される各ブロック毎の量子化パラメータの粗
さに応じて適応的に変化させるステップと、前記差分検
出絶対値に前記非負の値（ｍ）を加算するステップと、
その加算後の値の逆数（重み係数）を取るステップと、
その逆数を取った後の値に周辺画素値を乗算するステッ
プと、その乗算した後の値の総和（Ａ）を取るステップ
と、前記逆数（重み係数）のみの総和（Ｂ）を取るステ
ップと、前記重み係数の総和（Ｂ）で前記総和（Ａ）を
除算して正規化（Ａ／Ｂ）するステップとを含むように
しており、差分値の逆数で平滑化するので、着目画素が
孤立点ならば周辺画素すべてと差分値が大きく、周辺す
べてが同じような重みとなる。着目画素の隣にエッジが
存在する場合は、着目画素とエッジの差分は大きくなる
が、エッジ以外の周辺画素との差分は小さい。したがっ
て、エッジ側の重みが小さい重み平均をとる構成にな
る。連続したエッジはこの構成で保存でき、孤立点は平
滑することができる。非負の値を加えることで、雑音の
影響度合いを演算の中で制御できる。また、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、重み係数算出において逆数をとる前の加え
る非負の値を量子化パラメータの粗さで制御することに
より、量子化誤差が拡大することに伴い拡大する雑音も
消去することができる。

【０１７７】また、本発明の請求項８の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、ブロックごとに画
素の変化の度合いを表すブロック活性度を算出するステ
ップと、そのブロック活性度に応じて前記着目画素とそ
の周辺画素の差分値に加える非負の値を適応的に変化さ
せるステップと、前記差分検出絶対値に前記非負の値
（ｍ）を加算するステップと、その加算後の値の逆数
（重み係数）を取るステップと、その逆数を取った後の
値に周辺画素値を乗算するステップと、その乗算した後
の値の総和（Ａ）を取るステップと、前記逆数（重み係
数）のみの総和（Ｂ）を取るステップと、前記重み係数
の総和（Ｂ）で前記総和（Ａ）を除算して正規化（Ａ／
Ｂ）するステップとを含むようにしており、差分値の逆
数で平滑化するので、着目画素が孤立点ならば周辺画素
すべてと差分値が大きく、周辺すべてが同じような重み
となる。着目画素の隣にエッジが存在する場合は、着目
画素とエッジの差分は大きくなるが、エッジ以外の周辺
画素との差分は小さい。したがって、エッジ側の重みが
小さい重み平均をとる構成になる。連続したエッジはこ
の構成で保存でき、孤立点は平滑することができる。非
負の値を加えることで、雑音の影響度合いを演算の中で
制御できる。また、逆数をとったときの演算結果が無限
大になることを避けることができる。また、画像がブロ
ック活性度の低い平坦な場合、雑音が目につきやすい
が、雑音と認識する幅を拡大し、平坦な平滑化特性を強
くし、雑音が認識されないようにすることができる。

【０１７８】また、本発明の請求項９の画像信号平滑化
方法によれば、サンプリングされデジタル化された画像
信号に対し、着目画素とその周辺画素の重み付け平均で
フィルタリング処理を行う平滑化フィルタを適用して平
滑化処理を行う画像信号平滑化方法において、着目画素
値とその周辺画素値の差分を検出するステップと、その
差分の絶対値をとるステップと、フィルタリングすべき
画像をブロック分割するステップと、前記着目画素がブ
ロック境界の位置にあるか否かを検出するステップと、
前記着目画素がブロック境界に位置する際にその点に接
する隣接ブロックのブロック活性度（隣接ブロック活性
度）を検出するステップと、前記隣接ブロック活性度に
応じて前記着目画素とその周辺画素の差分値に加える非
負の値を適応的に変化させるステップと、前記差分検出
絶対値に前記非負の値（ｍ）を加算するステップと、そ
の加算後の値の逆数（重み係数）を取るステップと、そ
の逆数を取った後の値に周辺画素値を乗算するステップ
と、その乗算した後の値の総和（Ａ）を取るステップ
と、前記逆数（重み係数）のみの総和（Ｂ）を取るステ
ップと、前記重み係数の総和（Ｂ）で前記総和（Ａ）を
除算して正規化（Ａ／Ｂ）するステップとを含むように
しており、差分値の逆数で平滑化するので、着目画素が
孤立点ならば周辺画素すべてと差分値が大きく、周辺す
べてが同じような重みとなる。着目画素の隣にエッジが
存在する場合は、着目画素とエッジの差分は大きくなる
が、エッジ以外の周辺画素との差分は小さい。したがっ
て、エッジ側の重みが小さい重み平均をとる構成にな
る。連続したエッジはこの構成で保存でき、孤立点は平
滑することができる。非負の値を加えることで、雑音の
影響度合いを演算の中で制御できる。また、逆数をとっ
たときの演算結果が無限大になることを避けることがで
きる。また、画像が平坦なブロックに隣接する場合、そ
の境界において連続した輝度（色相）の段差を生じる可
能性が高いので、隣接ブロックがブロック活性度の低い
平坦なことを検出して、平坦なブロックに接する点の平
滑化特性の平坦度を強め、この境界段差をぼかすことが
できる。

【０１７９】また、本発明の請求項１０の画像信号平滑
化方法によれば、請求項７に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、画像信号の各ブロックを符号化・復号化すると
きに用いられた量子化特性に代表される各ブロックごと
の量子化パラメータの粗さに応じて前記混合割合を適応
的に変化させるステップとを含むようにしており、着目
画素のフィルタリングの最終的な値を前記の平滑化処理
された信号値と平滑化処理する前の信号値を混合する前
記構成により、画像ブロックごとに、画素ごとの性質に
よりフィルタリング特性を変化させることができる。量
子化パラメータが１の場合、量子化誤差は生じないの
で、最終的なフィルタリング後の値は平滑化処理する前
の信号そのままでよい。混合割合を量子化パラメータで
制御する構成により、平滑化された信号値をフィルタリ
ングに使用しないことができる。

【０１８０】また、本発明の請求項１１の画像信号平滑
化方法によれば、請求項８に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、画像信号の各ブロックの活性度に応じて前記混
合割合を適応的に変化させるステップとを含むようにし
ており、ブロック活性度の低い平坦なブロックの場合、
平滑化された平坦な信号値をより多く最終的なフィルタ
リング値に含ませることで、平坦なブロックで目につき
やすい雑音を除去できる。

【０１８１】また、本発明の請求項１２の画像信号平滑
化方法によれば、請求項９に記載の画像信号平滑化方法
において、画像信号の各ブロック毎に前記平滑化処理さ
れた信号値と平滑化処理する前の信号値を混合するステ
ップと、着目画素がブロック境界の位置にあるか否かを
検出するステップと、着目画素がブロック境界に接する
位置にあるときその画素に接する隣接ブロックの隣接ブ
ロック活性度に応じて前記混合割合を適応的に変化させ
るステップとを含むようにしており、画像がブロック活
性度の低い平坦なブロックに隣接する場合、その境界に
おいて連続した輝度（色相）の段差を生じる可能性が高
いので、隣接ブロックが平坦なことを検出して、平坦な
ブロックに接する点のフィルタリング特性の平坦度を強
め、この境界をぼかすことができる。

【０１８２】

【０１８３】

【０１８４】

【０１８５】

【０１８６】

【０１８７】

【０１８８】

【０１８９】

【０１９０】

【０１９１】

【０１９２】

【０１９３】

【０１９４】

【０１９５】

【０１９６】

【０１９７】

【０１９８】

【０１９９】

【０２００】

【０２０１】

【図面の簡単な説明】

【図１】本発明が適用されるフレーム間符号化方式のブ
ロック図である。

【図２】本発明の平滑フィルタの構成を示すブロック図
である。

【図３】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図４】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図５】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図６】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図７】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図８】図２の平滑フィルタに付加される構成を示すブ
ロック図である。

【図９】本発明の平滑フィルタの構成を示すブロック図
である。

【図１０】本発明の平滑フィルタの構成を示すブロック
図である。

【図１１】本発明の平滑フィルタの構成を示すブロック
図である。

【図１２】本発明の平滑フィルタの構成を示すブロック
図である。

【図１３】本発明のフィルタ制御の詳細フローチャート
図である。

【図１４】本発明のフィルタ制御の詳細フローチャート
図である。

【図１５】本発明のフィルタ制御の詳細フローチャート
図である。

【図１６】本発明のフィルタ制御の詳細フローチャート
図である。

【図１７】本発明のフィルタ制御の詳細フローチャート
図である。

【図１８】本発明のフィルタ制御の詳細フローチャート
図である。

【図１９】本発明のフィルタ制御の概略フローチャート
図である。

【図２０】ブロック分割と着目画素の接する隣接ブロッ
クを示す図である。

【図２１】式（ｌ），（２），（７）の局所領域を示す
図である。

【図２２】信学技報ＩＥ８４−４６の一例の説明図であ
る。

【図２３】Ｈ．２６１規格のフィルタ係数の説明図であ
る。

【図２４】従来のフィルタ方式が適用されるフレーム間
符号化方式のブロック図である。

【符号の説明】

１０……入力画像信号 １１……減算器 １２……符号化部 １３……符号化された誤差信号 １４……局部復号化部 １５……局部復号誤差信号 １６……加算器 １７……局部復号信号 １８……フレームメモリ １９……動きベクトル検出部 ２０……動き補償予測信号 ２１……１フレーム前の画像信号 ２２……動きベクトル ２３……ループ内フィルタ（適応フィルタ部） ２４……予測信号 ２５……復号部 ２６……ポストフィルタ ２７……出力画像信号 ２８……請求項１０実現時の構成 ２９ａ……マルチプレクサ ２９ｂ……デマルチプレクサ ３０……着目画素 ３１……着目画素が接する隣接画像ブロック ３２……着目画素が属する画像ブロック ３３……ブロック境界 ４０……着目画素 ４１〜４８……周辺画素 ５０……ブロック境界にある画素 ５１……ブロック内部にある画素 ５２……ブロック境界 ６０……８×８画像ブロックの分割 ６１……四隅におけるフィルタ係数 ６２……上下端におけるフィルタ係数 ６３……左右端におけるフィルタ係数 ６４……内部領域におけるフィルタ係数 １００……ＣＰＵ １５０……バス ２００……画像メモリ ２３１……差分器 ２３２……絶対値器 ２３３……加算器 ２３４……逆数器 ２３５……乗算器 ２３６……総和器 ２３７……総和器 ２３８……除算器 ３００……画像入力部 ４００……画像出力部 ２３３１……画像ブロック分割器 ２３３２……量子化パラメータ算出器 ２３３３……非負加算値可変器 ２３３４……ブロック活性度算出器 ２３３５……画素位置検出器 ２３３６……信号混合器 ２３３７……フィルタ回路 ２３３８……フィルタ回路 ２３４０……活性度算出器 ２３４１……境界連続方向検出器

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを適用して平
   滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、フィルタリングすべき画像をブロック分割する手段と、 前記着目画素とその周辺画素の差分値に加える非負の値
   を、画像信号の各ブロックを符号化または復号化すると
   きに用いられた量子化特性に代表される各ブロックごと
   の量子化パラメータの粗さに応じて適応的に変化させる
   手段と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
   段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
   と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）する手段とを備えたことを特徴とする
   画像信号平滑化装置。
2. 【請求項２】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを適用して平
   滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、 フィルタリングすべき画像をブロック分割する手段と、 ブロックごとに画素の変化の度合いを表すブロック活性
   度を算出する手段と、 そのブロック活性度に応じて前記着目画素とその周辺画
   素の差分値に加える非負の値を適応的に変化させる手段
   と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
   段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
   と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）する 手段とを備えたことを特徴とする
   画像信号平滑化装置。
3. 【請求項３】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを適用して平
   滑化処理を行う画像信号平滑化装置において、 着目画素値とその周辺画素値の差分を検出する手段と、 その差分の絶対値をとる手段と、 フィルタリングすべき画像をブロック分割する手段と、 前記着目画素がブロック境界の位置にあるか否かを検出
   する手段と、 前記着目画素がブロック境界に位置する際にその点に接
   する隣接ブロックのブロック活性度（隣接ブロック活性
   度）を検出する手段と、 前記隣接ブロック活性度に応じて前記着目画素とその周
   辺画素の差分値に加える非負の値を適応的に変化させる
   手段と、 前記差分検出絶対値に前記非負の値（ｍ）を加算する手
   段と、 その加算後の値の逆数（重み係数）を取る手段と、 その逆数を取った後の値に周辺画素値を乗算する手段
   と、 その乗算した後の値の総和（Ａ）を取る手段と、 前記逆数（重み係数）のみの総和（Ｂ）を取る手段と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）する手段とを 備えたことを特徴とする
   画像信号平滑化装置。
4. 【請求項４】 請求項１記載の画像信号平滑化装置にお
   いて、画像信号の各ブロック毎に前記平滑化処理された信号値
   と平滑化処理する前の信号値を混合する手段と、 画像信
   号の各ブロックを符号化・復号化するときに用いられた
   量子化特性に代 表される各ブロックごとの量子化パラメータの粗さに応
   じて前記混合の割合を 適応的に変化させる手段とを備え
   たことを特徴とする画像信号平滑化装置。
5. 【請求項５】 請求項２記載の画像信号平滑化装置にお
   いて、 画 像信号の各ブロック毎に前記平滑化処理された信号値
   と平滑化処理する前の信号値を混合する手段と、画像信号の各ブロックの活性度に 応じて前記混合の割合
   を適応的に変化させる手段とを備えたことを特徴とする
   画像信号平滑化装置。
6. 【請求項６】 請求項３記載の画像信号平滑化装置にお
   いて、 画 像信号の各ブロック毎に前記平滑化処理された信号値
   と平滑化処理する前の信号値を混合する手段と、着目画素がブロック境界の位置にあるか否かを検出する
   手段と、 着目画素がブロック境界に接する位置にあるときその画
   素に接する隣接ブロックの隣接ブロック 活性度に応じて
   前記混合の割合を適応的に変化させる手段とを備えたこ
   とを特徴とする画像信号平滑化装置。
7. 【請求項７】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを適用して平
   滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
   と 、その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
   と、 前記着目画素とその周辺画素の差分値に加える非負の値
   を、画像信号の各ブロックを符号化・復号化するときに
   用いられた量子化特性に代表される各ブロックごとの量
   子化パラメータの粗さに応じて適応的に変化させるステ
   ップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
   テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
   プと、 その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
   と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
   る画像信号平滑化方法。
8. 【請求項８】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを 適用して平
   滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
   と、 その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
   と、 ブロックごとに画素の変化の度合いを表すブロック活性
   度を算出するステップと、 そのブロック活性度に応じて前記着目画素とその周辺画
   素の差分値に加える非負の値を適応的に変化させるステ
   ップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
   テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
   プと、 その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
   と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
   る画像信号平滑化方法。
9. 【請求項９】 サンプリングされデジタル化された画像
   信号に対し、着目画素とその周辺画素の重み付け平均で
   フィルタリング処理を行う平滑化フィルタを適用して平
   滑化処理を行う画像信号平滑化方法において、 着目画素値とその周辺画素値の差分を検出するステップ
   と、 その差分の絶対値をとるステップと、 フィルタリングすべき画像をブロック分割するステップ
   と、 前記着目画素がブロック境界の位置にあるか否かを検出
   するステップと、 前記着目画素がブロック境界に位置する際にその点に接
   する隣接ブロックのブロック活性度（隣接ブロック活性
   度）を検出するステップと、 前記隣接ブロック活性度に応じて前記着目画素とその周
   辺画素の差分値に加える非負の値を適応的に変化させる
   ステップと、 前記差分検出絶対値に前記非負の値（ｍ）を加算するス
   テップと、 その加算後の値の逆数（重み係数）を取るステップと、 その逆数を取った後の値に周辺画素値を乗算するステッ
   プと 、その乗算した後の値の総和（Ａ）を取るステップと、 前記逆数（重み係数）のみの総和（Ｂ）を取るステップ
   と、 前記重み係数の総和（Ｂ）で前記総和（Ａ）を除算して
   正規化（Ａ／Ｂ）するステップとを含むことを特徴とす
   る画像信号平滑化方法。
10. 【請求項１０】 請求項７に記載の画像信号平滑化方法
    において、 画像信号の各ブロック毎に前記平滑化処理された信号値
    と平滑化処理する前の信号値を混合するステップと、 画像信号の各ブロックを符号化・復号化するときに用い
    られた量子化特性に代表される各ブロックごとの量子化
    パラメータの粗さに応じて前記混合割合を適応的に変化
    させるステップとを含むことを特徴とする画像信号平滑
    化方法。
11. 【請求項１１】 請求項８に記載の画像信号平滑化方法
    において、 画像信号の各ブロック毎に前記平滑化処理された信号値
    と平滑化処理する前の信号値を混合するステップと、 画像信号の各ブロックの活性度に応じて前記混合割合を
    適応的に変化させる ステップとを含むことを特徴とする
    画像信号平滑化方法。
12. 【請求項１２】 請求項９に記載の画像信号平滑化方法
    において、画像信号の各ブロック毎に前記平滑化処理された信号値
    と平滑化処理する前の信号値を混合するステップと、 着目画素がブロック境界の位置にあるか否かを検出する
    ステップと、 着目画素がブロック境界に接する位置にあるときその画
    素に接する隣接ブロックの隣接ブロック活性度に応じて
    前記混合割合を 適応的に変化させるステップとを含むこ
    とを特徴とする画像信号平滑化方法。