JP5727872B2 - 復号化装置及び復号化プログラム - Google Patents

Description

本発明は、復号化装置及び復号化プログラムに係り、特に復号後の信号を符号化前の信号に近似させるための復号化装置及び復号化プログラムに関する。

従来では、画像や映像、音声等の符号化装置として、入力信号に含まれる雑音と有意な信号成分とを明示的に区別せずに符号化処理を行うものが標準化されている。また従来では、無音区間において音声信号を符号化せず、背景雑音を符号化して送信する音声符号化伝送システムが存在する（例えば、特許文献１参照）。

更に、従来では、画像信号を原入力信号の波形を、圧縮後にできるだけ良好に近似するように符号化及び復号化を行うため、符号化及び復号化における損失を補償するための信号のノイズ成分（又は、波形符号化により失われる信号成分）をモデルベース符号化して別個に伝送し、復号側においてノイズを再発生させ、波形復号化された画像信号に加算する技術が存在する（例えば、特許文献２参照）。

特開平９−２３１９６号公報 特表平１０−５０９２９７号公報

しかしながら、上述した従来技術では、入力信号に含まれる雑音成分については時間的又は空間的な予測が困難であることから、雑音と有意な信号とを区別しない従来の画像や映像、音声等の符号化において、雑音の存在が符号化効率の低下を招く可能性がある。すなわち、上述した従来技術では、入力信号に含まれていた雑音成分が復号化信号に十分再現されないことがあった。

ここで、特許文献１に示されている手法では、無音区間とそれ以外の区間とを時間的に分割し、無音区間は背景雑音のみを符号化し、無音区間以外では背景雑音を含む音声信号を符号化している。つまり、特許文献１では、信号の符号化・復号化と、雑音の符号化・復号化とを時々刻々の入力が無音であるか否かに応じて切り替えるため、復号される信号や雑音の性質が、分割した時間で衝撃的に切り替わってしまう。また、上述した手法では、無音として扱うのか否かの判定に閾値処理等が必要となるため、その閾値によっては雑音に埋もれた弱い有意な信号が無視されてしまったり、逆に有意な信号が含まれていないものを有意と誤判定して符号化を行ってしまう可能性がある。

更に、特許文献２に示されている技術では、ノイズを分散で表現し、その加減算でモデル再構築を行うため、予めガウスノイズ等の分散の加減算が可能な雑音が仮定されている。しかしながら、一般には分散の加法が成立しない雑音の場合には、復号側で付加する雑音に過不足を生じてしまう。

本発明は、上述した問題点に鑑みなされたものであり、復号後の信号の雑音を、符号化前の信号に含まれる雑音に近似させるための復号化装置及び復号化プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明は、所定の信号に対して符号化された符号化信号を復号化する復号化装置において、前記符号化信号を復号化する復号化手段と、前記復号化手段により得られる出力に雑音の差分を重畳し、当該復号化装置出力とする重畳手段と、前記重畳手段の出力信号に含まれる雑音成分の特性を定量化した第一の雑音パラメータを検出する雑音検出手段と、前記所定の信号を符号化した符号化装置により検出された前記所定の信号に含まれる雑音に対応する第二の雑音パラメータを取得し、取得した第二の雑音パラメータと、前記雑音検出手段により得られる第一の雑音パラメータとを比較する比較手段と、前記比較手段により得られる比較結果に基づいて、前記雑音の差分を生成する雑音生成手段とを有することを特徴とする。

本発明によれば、復号後の信号を符号化前の信号に近似させることができる。

本実施形態における符号化・復号化システムの概略構成の一例を示す図である。 雑音検出手段の機能構成の一例を示す図である。 第２の実施形態における符号化装置の機能構成例を示す図である。 第２の実施形態における復号化装置の機能構成例を示す図である。 第３の実施形態における復号化装置の機能構成例を示す図である。

＜本発明について＞
本発明では、例えば符号側における従来の符号化信号に加えて、符号化前の入力信号に含まれていた雑音の特性を表す情報を雑音パラメータとして出力することで、復号化装置において入力信号に含まれていた雑音を高精度に再現させる。

また復号側では、復号化信号に含まれる雑音と、符号化側での入力信号に含まれていた元々の雑音との間の差異を補償する雑音とを重畳して出力信号として出力し、出力信号と入力信号間の雑音の特性を揃える。その結果、出力信号と入力信号との間の知覚上の品質等をより近似させることができる。以下に、上述したような特徴を有する本発明における復号化装置及び復号化プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜符号化・復号化システム：概略構成例＞
まず、本実施形態における符号化装置、復号化装置を用いた符号化・復号化システムの概略構成例について、図を用いて説明する。図１は、本実施形態における符号化・復号化システムの概略構成の一例を示す図である。図１に示す符号化・復号化システム１０は、第１の実施形態としての符号化装置１１と復号化装置１２とを有する。

第１の実施形態としての符号化装置１１は、符号化手段２１と、雑音検出手段２２とを有するよう構成されている。また、第１の実施形態としての復号化装置１２は、復号化手段３１と、雑音検出手段３２と、比較手段３３と、雑音生成手段３４と、重畳手段３５とを有するよう構成されている。

第１の実施形態において、符号化装置１１には入力信号が入力される。符号化手段２１は、入力信号に対して予め設定された符号化方式を用いて符号化を行い、得られた符号化信号を復号化装置１２に送信する。雑音検出手段２２は、入力信号から雑音を検出し、その雑音を定量化した雑音パラメータを復号化装置１２に出力する。なお、雑音検出手段２２における雑音検出の詳細については後述する。

ここで、図１に示す符号化・復号化システム１０において、復号化装置１２が符号化装置１１から符号化信号及び雑音パラメータを取得する場合には、例えば電波等の伝送系、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信ネットワーク、又はＣＤ−ＲＯＭやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体等を介して取得することができる。このとき、符号化信号及び雑音パラメータは、上述した各取得方式のうち、同一の方式で取得してもよく、また別々の方式で取得してもよい。

また、第１の実施形態では、符号化装置１１から出力される符号化信号及び雑音パラメータを、例えば符号化装置や復号化装置１２の外部や内部等に設けられた蓄積手段等に蓄積しておき、復号化装置１２が必要なときにその蓄積手段に蓄積された符号化信号及び雑音パラメータを読み出す構成としてもよい。このとき、符号化信号及び雑音パラメータは、同一の蓄積手段に蓄積されてもよく、また別々の蓄積手段に蓄積されてもよい。

更に、第１の実施形態においては、上述した内容に限定されるものではなく、例えば復号化装置１２側から通信ネットワーク等を用いて符号化装置１１にアクセスし、符号化装置１１に蓄積された符号化信号及び雑音パラメータをダウンロードすることで取得することもできる。

また、図１に示す符号化・復号化システム１０における入力信号の種類としては、例えば画像（静止画像）信号や映像（動画像）信号、音声信号等があるが、本発明においてはこれに限定されるものではない。

また、上述した雑音パラメータとしては、例えば雑音成分の分散値、雑音成分（列）を周波数領域に変換したときのパワースペクトル系列、パワースペクトル系列の包絡線を曲線近似したパラメータ（スプライン曲線のパラメータ、ベジエ曲線のパラメータ等）のうち、何れか１つ又は複数を組み合わせて適用することができる。

また、雑音パラメータとして、例えば情報源符号化又は通信路符号化、又はそれら両符号化を適用してもよい。ここで、情報源符号化手法の例としては、例えば「標本化→変換→量子化→符号語割り当て」等を用い、以下の任意の組み合わせで構成することができる。ここで、標本化の例としては、例えば均一標本化（例えば、入力信号（ここでは、雑音パラメータ）を時間や空間上に一定間隔で配置された標本点上で標本化を行い、予測処理に渡す）、不均一標本化（例えば、入力信号を、時間や空間上に不均一に配置した標本点上で標本化を行い、予測処理に渡す）等を用いることができる。

また、変換の例としては、例えば変換なし（例えば、標本点毎の標本値（雑音パラメータ）を変換せずそのまま出力）、差分予測（例えば、注目する標本点の標本値と、隣接する標本点（例えば、前時点や左隣等の標本点）の標本値の差分値を出力）、動き補償（例えば映像の場合に、前時点の標本値列と、現時点の標本値列との対応付けをブロック毎に行い、その対応付け情報（動きベクトル）と対応付けされたブロック間の差分値列（残差信号）とを出力）、直交変換（例えば、標本値列（又は動き補償の残差信号列）に直交変換（離散コサイン変換等）を施し、その結果の変換係数列を出力）等を用いることができる。

また、量子化の例としては、例えば等間隔量子化（例えば、変換処理出力の数値列を、一定間隔の量子化レベルで量子化することで、その数値列の値を離散化する）、不等間隔量子化（例えば、変換処理出力の数値列を、不均一間隔の量子化レベルで量子化することで、その数値列の値を離散化する）、ベクトル量子化（例えば、変換処理出力の数値列を複数標本ずつ纏めてベクトル化し、そのベクトルが、不均一に分割されたベクトル空間のどの分割領域に属するかのインデックスを出力する）等を用いることができる。

また、符号語割り当ての例としては、例えば、単純な割り当て（例えば、量子化処理出力（シンボル列）の性質を考慮せず、単純にシンボル値を二進数表現する）、エントロピー符号化（例えば、量子化処理出力（シンボル列）をその出現頻度に応じて符号語を割り当てる（ハフマン符号化、算術符号化等））等を用いることができる。

また、上述した通信路符号化の例としては、例えば、情報源符号化から出力された符号を伝送路の帯域、雑音、妨害等に応じて再度符号化することで、誤り耐性を与えるもの（例えば、パリティビットの付加、畳み込み符号、ターボ符号）等を用いることができる。

また、雑音パラメータは、例えば符号化信号のシンタクス内に記述してもよい。更に、雑音パラメータは、例えば符号化信号と雑音パラメータとを多重化して伝送又は蓄積してもよい。

また、復号化装置１２において、復号化手段３１は、符号化装置１１から取得した符号化信号を、符号化に用いた符号化方式に対応する復号化方式を用いて符号化信号を復号化し、復号化信号を取得する。また、復号化手段３１は、雑音検出手段３２及び重畳手段３５に復号化信号を出力する。

雑音検出手段３２は、復号化手段３１により得られる復号化信号に対する雑音を検出し、雑音パラメータを検出する。比較手段３３は、雑音検出手段３２により得られる雑音パラメータと、符号化装置１１から送信された雑音パラメータとを比較し、差分情報を取得する。雑音生成手段３４は、比較手段３３により得られた差分情報を用いて雑音を生成する。

重畳手段３５は、復号化手段３１により得られた復号化信号に、雑音生成手段３４により得られた雑音を重畳して出力信号を出力する。なお、重畳手段３５は、復号化された復号化された信号系列と、雑音生成手段３４により得られた雑音系列とを、系列の先頭から重畳していくことで２つの信号が同期した所望の復号信号を出力することができる。また、本発明においては、これに限定されるものではなく、例えば予めそれぞれの信号に時間情報を付加しておき、重畳手段３５は、その時間情報に基づいて重畳してもよい。また、他の例としては、例えば各信号の符号列に対し同期ビット列を付加しておき、重畳手段３５は、その同期ビット列に基づいて重畳してもよい。

これにより、第１の実施形態によれば、入力信号と同様の雑音パラメータを重畳して、より入力信号に類似する出力信号を取得することができる。

ここで、上述した符号化手段２１と復号化手段３１とは、対をなす符号化器と復号化器であり、何れも既に標準化されている等の公知の符号化方式によるものを用いることができる。また、符号化手段２１と復号化手段３１として、例えば例えば、動画像におけるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式等、今後利用可能となる符号化方式を採用してもよい。

また、例えば、符号化手段２１と復号化手段３１として、入力信号が音声信号の場合、その音声符号化として、例えば、ＬＰＣＭ（Ｌｉｎｅａｒ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）、Ｗｉｎｄｏｗ Ｍｅｄｉａ Ａｕｄｉｏ、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＡＣ−３、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）オーディオ用コーデック（例えば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＭＰ１、ＭＰ２、ＭＰ３等）、Ｔｗｉｎ ＶＱ（Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｅｉｇｈｔｅｄ Ｉｎｔｅｒｌｅａｖｅ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）等の任意の符号化方式を用いることができる。

また、第１の実施形態では、入力信号が画像信号の場合、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧ２０００、ＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）等の任意の符号化方式を用いることができる。

更に、第１の実施形態では、入力信号が動画信号の場合、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００、ＷＭＶ（Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｖｉｄｅｏ）９、Ｒｅａｌ Ｖｉｄｅｏ等の任意の符号化方式を用いることができる。なお、第１の実施形態においては、上述した符号化方式に限定されるものではない。

＜雑音検出手段について＞
次に、上述した雑音検出手段２２，３２の具体的な機能構成例について、図を用いて説明する。図２は、雑音検出手段の機能構成の一例を示す図である。以下の説明では、復号化装置１２に設けられた雑音検出手段３２を用いて説明するが、符号化装置１１に設けられた雑音検出手段２２も同様の構成及び動作等を行うため、ここでの詳細な説明は省略する。なお、雑音検出手段３２では、復号化信号が入力され、雑音検出手段２２は、元の入力信号が入力される点のみが異なる。

図２に示す雑音検出手段３２は、雑音信号抽出手段４１と、パラメータ化手段４２とを有するよう構成されている。雑音信号抽出手段４１は、入力される復号化信号から雑音信号を抽出する。

パラメータ化手段４２は、雑音信号抽出手段４１により抽出された雑音の内容に対応させて雑音パラメータを生成する。ここで、雑音信号抽出手段４１の具体例について説明する。

＜雑音信号抽出としてトータルバリエーションノルム正則化を用いる場合＞
まず、具体例として、雑音信号抽出にトータルバリエーションノルム正則化を用いる場合について説明する。

ここで、第１の実施形態におけるトータルバリエーションノルムとは、信号を上昇区間と下降区間に分け、各区間の変化量（差の絶対値）を全て加えたものを意味し、トータルバリエーションノルムは、信号の上下の回数やその大きさが大きいほど、値が大きくなるという性質を有する。また、第１の実施形態におけるトータルバリエーションノルム正則化法とは、例えば「評価値＝Σ_信号区間｜平滑化信号−入力信号（ここでは、復号化信号）｜＋（信号区間のトータルバリエーション値）」等の式により定義される評価値を小さくするような平滑化信号を求める手法を意味する。なお、上述した平滑化信号は、例えば最急降下法等で求めることができ、上述の式もこれに限定されるものではなく、例えばΣの中を絶対値ではなく２乗等にした式を用いこともできる。

すなわち、トータルバリエーションノルム正則化法で得られる平滑化信号は、入力信号（ここでは、復号化信号）を近似しつつもトータルバリエーション値を抑えた信号となる。したがって、この平滑化信号は、信号波形の不規則かつ小刻みな上下動のみを取り除いた信号となる。

また、上述の式に示すように（平滑化信号−入力信号）を計算することで、雑音である不規則な上下動だけを分離して取り出すことができる。これにより、トータルバリエーションノルム正則化法による雑音分離を行うことができる。

具体的に説明すると、雑音信号抽出手段４１は、例えば入力信号（ここでは、復号化信号）が雑音のない信号成分Ｓと雑音信号Ｌとの合成であるものとしてモデル化を行い、復号化信号又は雑音信号Ｌの信号の性質（例えば、波形の特徴や統計的性質等）を考慮して入力信号を信号成分Ｓ_ｅｓｔと雑音成分Ｌ_ｅｓｔとに分離する。

例えば、入力信号の標本点位置ｔにおける標本値をＸ（ｔ）とおくと、雑音信号抽出手段４１は、以下に示す式（１）により、信号成分Ｓ_ｅｓｔと雑音成分Ｌ_ｅｓｔとを分離する。

なお、標本点位置ｔは、例えば、入力信号が音声信号等の１次元信号の場合にはスカラーを示し、画像信号や動画像信号等の場合にはベクトルを示す。また、上述した式（１）において、ｆ［Ｘ，Ｓ］は、二つの関数Ｘ及びＳが類似しているほど、小さな値を取る汎関数である。一方、ｇ［Ｓ］は、関数Ｓの波形が単純であるほど、小さな値を取る汎関数である。また、λは、例えば予め設定される適当な係数であり、典型的には正の実定数（例えば、１．０等）である。更に、ａｒｇ ｍｉｎは、例えばその引数（式（１）中の括弧（）内）の値が最小となるような信号波形Ｓ（ｔ）を求める演算である。

ここで、類似度を測る汎関数ｆは、例えば、以下に示す式（２）或いは式（３）に示すように関数Ｘ及びＳの誤差の積分値等により定義することができる。

なお、標本点位置ｔが離散化されている場合には、例えば上述した式（２）や式（３）の積分演算を総和演算に代えて実行してもよい。第１の実施形態では、以下同様に、積分演算を総和演算に置き換えてもよいものとする。

一方、信号成分Ｓの単純さを測る汎関数ｇは、例えば以下に示す式（４）に示すようにトータルバリエーションノルムにより定義することができる。

なお、上述した式（４）の右辺の積分記号内のノルムは、任意のノルムを用いることができる。また、上述したノルムは、例えばＬｌノルムやＬ２ノルム（ユークリッドノルム）を用いるのが好ましい。

また、第１の実施形態では、ベクトル（Ｋ次元、各成分ｚ_ｉ）に対するノルムをより一般的に、以下に示す式（５）とした場合に、信号成分Ｓの単純さを測る汎関数ｇを、以下に示す式（６）と定義することもできる。

なお、上述した式（５）において、Ｋは標本点位置ｔの次元を表す自然数を示し、ｐは適当な０以上（無限大∞を含む）の実数を示し、ｎは適当な正の実数を示す。具体的には、例えばｐ＝２かつｎ＝２とすることができる（このとき、上述した式（５）は、ユークリッドノルムの２乗となる）。

また、雑音信号抽出手段４１は、入力信号（ここでは、復号化信号）と、その入力信号を平滑化した信号との比較により雑音信号を抽出してもよい。したがって、以下に一例として、雑音信号抽出手段４１が、平滑化に移動平均処理法を用いる場合、順序統計処理法を用いる場合、及びモルフォロジ処理法を用いる場合について説明する。

＜雑音信号抽出手段４１が移動平均処理法を用いる場合＞
例えば、雑音信号抽出手段４１が移動平均処理法を用いる場合、雑音信号抽出手段４１は、以下の式（７）に示すように、局所領域内における入力信号（ここでは、復号化信号）の移動平均による平滑化により信号成分Ｓ_ｅｓｔを取得し、その入力信号と信号成分Ｓ_ｅｓｔとの差分から雑音成分Ｌ_ｅｓｔを求めるように動作させる。

なお、上述した式（７）において、Ｗは平滑化を行う窓の領域形状を表す集合を示す。

＜雑音信号抽出手段４１が順序統計処理法を用いる場合＞
例えば、雑音信号抽出手段４１が順序統計処理法を用いる場合、雑音信号抽出手段４１は、局所領域内における入力信号（ここでは、復号化信号）の順序統計処理により信号成分Ｓ_ｅｓｔを取得し、その入力信号と信号成分Ｓ_ｅｓｔとの差分から雑音成分Ｌ_ｅｓｔを求めるよう動作させる。

ここで、順序統計処理とは、例えば標本値列を昇順（又は降順）に整順し、整順結果の所定の順位にある標本値を求めて出力する処理である。順序統計処理には、例えば最大値抽出処理、最小値抽出処理、中央値抽出処理等が含まれる。

例えば、ある標本値列の中央値を求める演算をｍｅｄとしたとき、以下に示す式（８）により信号成分Ｓ_ｅｓｔと雑音成分Ｌ_ｅｓｔとを求めることができる。

＜雑音信号抽出手段４１がモルフォロジ処理法を用いる場合＞
例えば、雑音信号抽出手段４１がモルフォロジ処理法を用いる場合、雑音信号抽出手段４１は、以下の式（９）に示すように、入力信号（ここでは、復号化信号）のモルフォロジ演算処理により信号成分Ｓ_ｅｓｔを取得し、その入力信号と信号成分Ｓ_ｅｓｔとの差分から雑音成分Ｌ_ｅｓｔを求めるよう動作させる。

なお、上述した式（９）において、ｃｌｏｓｅはクローズ演算を示し、波形の凹みを埋める効果がある。またｏｐｅｎは、オープン演算を示し、波形の突出部を消す効果がある。また、ｄｉｌは、膨張演算（ダイレーション；ｄｉｌａｔｉｏｎ）を示し、波形を太らせる効果があり、ｍａｘ演算で定義することができる。また、ｅｒｏは、収縮演算（エロージョン；ｅｒｏｓｉｏｎ）を示し、波形を細らせる効果があり、ｍｉｎ演算で定義することができる。

このように、第１の実施形態によれば、信号波形の不規則な上下のみを選択的に抽出することができ、音声や映像等の構造（例えば、被写体の像の輝度パターン等）に起因する有意な波形とはみなし難い信号を雑音として抽出することができる。これにより、復号化装置（符号化装置も含む）の雑音検出手段は、有意ではない信号成分を雑音とみなして、適切な雑音パラメータを出力することができる。

＜雑音信号抽出手段４１の代わりに局部復号を用いて雑音信号を抽出する場合＞
ここで、本実施形態では、例えば上述した雑音信号抽出手段４１の代わりに局部復号処理等を用いて雑音信号を抽出することができる。この場合、雑音検出手段２２は、図２の雑音信号抽出手段４１に代えて、復号化手段と比較手段とを有する。

ここで、上述した構成を有する符号化装置を第２の実施形態として、図を用いて説明する。なお、以下の説明では、上述の機能構成と同様の処理を行う部分については、同一の符号化を付するものとし、ここでの具体的な説明は省略する。

＜符号化装置：第２の実施形態＞
図３は、第２の実施形態における符号化装置の機能構成例を示す図である。図３に示す符号化装置５１は、符号化手段２１と、雑音検出手段５２とを有するよう構成されている。また、雑音検出手段５２は、復号化手段５３と、比較手段５４と、パラメータ化手段４２とを有するよう構成されている。

符号化装置５１において、復号化手段５３は、符号化手段２１から出力された符号を復号し、その結果を局部復号化信号として出力する。復号化手段５３は、符号化手段２１と対をなす復号化器であり、上述した復号化装置１２側の復号化手段３１と同様の入出力関係にあるものとする。なお、符号化手段２１が、例えば局部復号化器（例えば、ローカルデコーダ等）を有する符号化方式である場合には、その局部復号化器の出力を、上述した局部復号化信号として流用することもできる。これにより、局部復号を有する符号化方式を符号化手段として用いる場合には、その局部復号化の結果を雑音検出に流用することができるため、符号化装置の規模や演算コストを削減することができる。

比較手段５４は、入力信号と復号化手段５３から得られる局部復号化信号とを比較する。具体的には、比較手段５４は、例えば信号の標本点毎に入力信号と局部復号化信号との差分を取得し、取得した差分の系列を雑音信号として出力する。

パラメータ化手段４２は、比較手段５４により得られた雑音信号の雑音成分Ｌ_ｅｓｔをパラメータ化し、雑音パラメータに変換する。ここで、雑音パラメータは、例えば雑音成分Ｌ_ｅｓｔの統計量に基づいて定義してもよく、フーリエ変換等を実施した結果の変換係数に基づいて定義してもよい。

＜雑音パラメータが統計量に基づき定義される場合＞
ここで、雑音パラメータが統計量に基づき定義される場合について具体的に説明する。雑音パラメータが統計量に基づき定義される場合、パラメータ化手段４２は、例えば、以下の式（１０）に示すように、雑音成分Ｌ_ｅｓｔの分散値σ^２を用いて雑音パラメータＮを定義することができる。

ここで、上述した式（１０）のＥは分散を求める際の演算対象とする標本点位置の集合を示す。集合Ｅは、例えば、音声信号や画像信号、動画像信号の１フレームを構成する標本点の集合、又は画像信号や動画像信号のフレーム内の１ブロックを構成する標本点の集合等、時空間内に設定される局所領域であってもよく、信号系列全体の標本点の集合であってもよい。

＜雑音パラメータがスペクトルに基づき定義される場合＞
次に、雑音パラメータがスペクトルに基づき定義される場合について具体的に説明する。スペクトルに基づき定義される場合、パラメータ化手段４２は、例えば、雑音成分Ｌ_ｅｓｔを周波数領域に変換し、その周波数領域におけるスペクトルに基づいて雑音パラメータＮを定義することができる。

例えば、パラメータ化手段４２は、雑音成分の系列（Ｌ_ｅｓｔ（ｔ））_ｔ∈Ｔを周波数領域に変換する。ここで、集合Ｔは、変換対象とする標本点の集合を示し、例えば、音声信号等の１次元信号おいては、あるフレームの標本点系列全体としたり、あるフレーム内に設定されるブロック内の標本点系列とすることができる。また、周波数領域への変換には、例えば、離散フーリエ変換、離散コサイン変換、離散サイン変換、アダマール変換等を用いることができる。

ここで、本実施形態では、雑音成分の系列（Ｌ_ｅｓｔ（ｔ））_ｔ∈Ｔを周波数領域に変換した結果をスペクトル系列（Ｇ（ｆ））_ｆ∈Ｆとおく。なお、上述のｆは周波数（例えば、音声信号等１次元信号においては周波数、画像信号や動画像信号等多次元信号においては空間周波数等）を示し、Ｆは変換結果の周波数の値域を示す。

パラメータ化手段４２は、スペクトル系列（Ｇ（ｆ））_ｆ∈Ｆを雑音パラメータＮに変換する。例えば、雑音パラメータＮとして、パワースペクトル系列（Ｐ（ｆ））_ｆ∈Ｆを用いて、以下に示す式（１１）のように表すことができる。

なお、上述した式（１１）の上線は複素共役を示す。

また、パラメータ化手段４２は、例えば雑音パラメータＮとして、パワースペクトル系列（Ｐ（ｆ））_ｆ∈Ｆの包絡線の情報を用いることができる。このとき、パラメータ化手段４２は、パワースペクトル系列（Ｐ（ｆ））_ｆ∈Ｆの包絡線を、例えばスプライン曲線やベジエ曲線等のパラメトリックな曲線で近似し、その曲線のパラメータを雑音パラメータとしてもよい。

＜復号化装置：第２の実施形態＞
次に、復号化装置の第２の実施形態について図を用いて説明する。図４は、第２の実施形態における復号化装置の機能構成例を示す図である。復号化装置の第２の実施形態では、フィードバック型の復号化装置を示している。なお、上述した復号化装置と同様の機能を有する部分については同一の符号を付するものとし、ここでの具体的な説明は省略する。

図４に示す復号化装置６１は、復号化手段３１と、雑音検出手段６２と、比較手段６３と、ラッチ６４と、積算手段６５と、雑音生成手段６６と、重畳手段６７とを有するよう構成されている。

雑音検出手段６２は、重畳手段６７により得られる出力信号を入力して上述した雑音検出手段３２と同様の手法を用いて雑音を検出し、検出された雑音から雑音パラメータを生成する。なお、雑音検出手段６２により出力されるパラメータを雑音パラメータＭとする。

比較手段６３は、符号化装置側の雑音検出手段２２，５２により得られる雑音パラメータ（例えば、雑音パラメータＮ）と、上述した雑音検出手段６２で検出された雑音パラメータＭとの比較を行い、その雑音の差を定量化し、雑音差分情報として出力する。なお、雑音の差としては、例えば標準偏差の差、分散の差、振幅の差、パワーの差、周波数特性の差、又はこれらの組み合わせ等があるが、本発明においてはこれに限定されるものではない。

例えば、比較手段６３は、雑音パラメータＮの値から雑音パラメータＭの値を減じた数値（Ｎ−Ｍ）を差分雑音情報として出力する。なお、比較手段６３は、時系列の雑音パラメータが入力された場合に、雑音パラメータＮの系列の各項から雑音パラメータＭの系列の対応する各項を減じた系列（Ｎ−Ｍ）を差分雑音情報として出力することもできる。

なお、雑音パラメータＮ及び雑音パラメータＭが、雑音の特性を表すパラメータ（例えば、包絡線のパラメータ等）である場合、比較手段６３は、該パラメータに基づいて各スペクトル包絡を求め、両スペクトル包絡の差分の波形を出力するよう動作することもできる。

ラッチ６４は、ある区間（例えば、信号区間、パラメータ時系列の区間、画像のフレーム区間）のデータを一時的に保持するメモリであり、例えば予め設定された区間の処理を遅延させる遅延手段として動作する。また、ラッチ６４の初期値は任意であるが、例えば値を０とすることが好ましい。

なお、図４において、ラッチ６４は、比較手段６３と積算手段６５との間に設けられているが、本発明においては、これに限定されるものではなく、例えば雑音検出手段６２の入力直前、雑音検出手段６２と比較手段６３との間、積算手段６５と雑音生成手段６６との間、雑音生成手段６６と重畳手段６７との間の何れに設けられていてもよい。

積算手段６５は、比較手段６３により得られる雑音パラメータの比較結果（例えば、差分雑音情報等）を積算する。ここで、本実施形態における積算とは、これまでの積算結果に入力値を加算した結果を意味し、例えばスペクトルのように複数成分を有するものについては、成分毎の和、すなわちベクトルとしての和等を意味する。つまり、積算手段６５は、これまでの積算結果を蓄積しておき、次に入力された入力値を新たな積算結果としつつ、その新たな積算結果を出力する。ここで、積算結果の初期値は任意であるが、例えば０（スペクトルの場合には、全成分０）とするのが好ましい。

雑音生成手段６６は、積算手段６５により得られる積算値に基づいて雑音を生成する。具体的には、雑音生成手段６６は、上述した雑音差分情報に基づいて雑音系列を生成し、生成された雑音系列を出力する。例えば、雑音差分情報が雑音パラメータの差分による場合に、雑音生成手段６６は、その差分値（Ｎ−Ｍ）に基づいて雑音系列を生成する。また、例えば、雑音パラメータが分散値による場合に、雑音生成手段６６は、分散値を以下に示す式（１２）で表し、かつ平均値が０である雑音系列を生成する。なお、式（１２）では、雑音検出手段２２で検出された分散値をσ_Ｎ ^２とし、雑音検出手段６２で検出された分散値をσ_Ｍ ^２としている。

また、例えば生成する雑音系列をガウス雑音とした場合に、雑音生成手段６６は、正規分布Ｎ（０，σ_Ｇ ^２）に従う雑音系列を生成する。

ここで、上述した雑音パラメータＮ及び雑音パラメータＭが、雑音の周波数特性の包絡線を近似するパラメータであり、かつ、比較手段６３が雑音パラメータＮ及び雑音パラメータＭに基づいて、パワースペクトル包絡Ｅ_Ｎ（ｆ）及びＥ_Ｍ（ｆ）を求め、両パワースペクトル包絡の差分の波形Ｄ（ｆ）＝Ｅ_Ｎ（ｆ）−Ｅ_Ｍ（ｆ）を出力するよう動作する場合について、雑音生成手段６６の動作を以下に説明する。なお、上述したｆは周波数を示し、例えば音声信号の場合には１次元の周波数を示し、映像信号の場合には２次元の空間周波数を示す。

雑音生成手段６６は、出力すべき雑音のパワースペクトルＤ_Ｇ（ｆ）を以下に示す式（１３）からなる「確率分布からの標本抽出」によって、周波数ｆ毎にスペクトル値Ｄ_Ｇ（ｆ）を定める。

なお、第２の実施形態では、実装上、周波数ｆを離散化し、有限可算個の周波数成分を標本抽出によって生成するものとしてもよい。

重畳手段６７は、復号化手段３１から出力された復号化信号に、雑音生成手段６６で生成された雑音を加算等により重畳し、出力信号として出力する。なお、重畳手段６７は、雑音生成手段６６で生成された雑音が無雑音（例えば、値０のみからなる雑音系列等）である場合には、結果として復号化手段３１により得られる復号化信号をそのまま出力することになるが、通常は復号化信号自体にも雑音が含まれる。また、重畳手段６７は、例えば復号化手段３１から出力された復号化信号に、雑音生成手段６６を加算した後で、量子化を行ったり、加算の結果が所定の範囲を超えないように値を制限してもよい。例えば、出力信号を０以上２５５以下の整数（８ビット信号等）に限定し、加算結果が０未満の場合には値０を出力し、加算結果が２５５を超える場合には値２５５を出力し、それ以外の場合には、加算結果を近似する整数に丸めた結果を出力するよう動作させることができる。

したがって、第２の実施形態では、例えば入力信号を画像信号とし、フレーム単位の区間で処理する場合には、１フレーム過去の雑音検出結果に基づいて現フレームの出力信号を得るＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）的な動作を行うこととなる。

＜復号化装置：第３の実施形態＞
ここで、上述した復号化装置の第２の実施形態では、特に雑音パラメータがフレームと共に緩やかに変化する場合等に適用することができるが、例えばフレームが進むにつれて雑音パラメータが急激に変化するような場合には繰り返し最適化を行う構成が好ましい。そこで、上述した構成を有する復号化装置の第３の実施形態について以下に説明する。

図５は、第３の実施形態における復号化装置の機能構成例を示す図である。復号化装置の第３の実施形態では、フィードバック型の復号化装置を示している。なお、上述した復号化装置と同様の機能を有する部分については同一の符号を付するものとし、ここでの具体的な説明は省略する。

図５に示す復号化装置７１は、復号化手段３１と、雑音検出手段６２と、比較手段６３と、ラッチ６４，７２，７３と、積算手段６５と、雑音生成手段６６と、重畳手段６７と、最適化手段７４とを有するよう構成されている。

ここで、上述した第２の実施形態における復号化装置と第３の実施形態における復号化装置との違いは、各ブロックの接続の仕方である。第３の実施形態における復号化装置７１では、雑音を重畳した結果の雑音パラメータが、入力された雑音パラメータをできる限り近似するようにフィードバック制御による最適化が行われ、最適化の結果が出力信号として出力される。具体的には、図５に示すように最適化手段７４とラッチ６４とを用い、以下のように動作を行う。

復号化装置７１は、例えば復号化手段３１で復号化された信号を適当な領域（例えば、映像信号における所定のフレーム単位やブロック単位等）で区分し（以下、「最適化区間」という）、ラッチ６４、積算手段６５、雑音生成手段６６、重畳手段６７、雑音検出手段６２、及び比較手段６３からなるループを１回以上動作させることで、最適化区間内の信号について、よりよい結果となるように、出力すべき信号を最適化する。なお、上述したループは、主な構成として、例えば雑音生成手段６６、重畳手段６７、雑音検出手段６２、及び比較手段６３における各処理を含むループであればよい。また、第３の実施形態では、例えば上述したループの繰り返し処理を並列処理化し、複数回の試行を纏めて処理させてもよい。

また、第３の実施形態におけるラッチ７２，７３の位置は、図５の位置に限定されるものではなく、フィードバックするためのループの回数に応じて適所に適宜設定することができる。また、各ラッチ６４，７２，７３は、それぞれがメモリを有し、入力データを一時的に記憶する手段として機能する。ここで、ラッチ６４，７２，７３の初期値は任意であるが、例えば値を０とすることが好ましい。また、ラッチ６４が値０を出力しているとき、雑音生成手段６６は無雑音（例えば、値０のみからなる雑音系列等）を出力する。ラッチ６４は、トリガ信号が所定の信号レベル又は信号波形となった場合に、雑音差分情報を一時的に保持する。

更に、第３の実施形態では、例えば最適化の完了を知らせるために、最適化手段７４から最適化完了信号を出力させる。例えば、トリガ信号は、２値の論理値とし、その値が例えば「真」又は「偽」となった場合、又は立ち上がりエッジ又は立ち下がりエッジの何れかにおいて、ラッチ６４が雑音差分情報を一時的に保持する。

最適化手段７４は、最適化処理における内部状態及び比較手段６３からの雑音差分情報との何れか、又は両方に応じて、最適化完了信号及びラッチ６４へのトリガ信号を出力する。なお、上述した内部状態とは、例えば繰り返しの回数や雑音差分情報の履歴等である。

つまり、最適化手段７４は、ラッチ７２にトリガ信号を出力して復号化手段３１からの復号化信号の出力タイミングを制御し、重畳手段６７により所望する重畳処理を行わせる。また、最適化手段７４は、出力結果の良否や最適化の完了を判定しつつ、上述したループの制御を行う。また、最適化手段７４は、最適化が完了した場合には、ラッチ７３に最適化完了信号を出力し、重畳手段６７からの出力をラッチ７３にラッチさせて出力信号を出力する。

ここで、上述した最適化完了信号は、例えば「完了」と「未完了」の２状態等を用いることができる。最適化手段７４は、所定のタイミング（例えば、一定のクロック間隔等）により、上述した処理を繰り返す。

また、最適化手段７４は、各処理において、内部状態と雑音差分情報の何れか一方又は両方が所定の条件（以下、「最適化完了条件」という）を満たしたとき、例えば、トリガ信号の出力を一旦停止しつつ最適化完了信号を「完了」状態とする。また、最適化手段７４は、各処理において、最適化完了条件を満たさないとき、例えば最適化完了信号を「未完了」状態としつつ、トリガ信号を出力する。ここで、最適化完了条件は、例えば上述したループの繰り返しの回数（言い換えれば、比較手段６３による比較回数等）が所定の回数（例えば、１０回等）を満たしたときに条件成立とすることができる（これを「条件Ａ」とする）。

また、最適化完了条件は、例えば雑音差分情報が所定の条件（例えば、所定の閾値未満となった場合等）を満たしたときに条件成立とすることができる（これを「条件Ｂ」とする）。

なお、上述した雑音差分情報に対する所定の条件とは、例えば雑音パラメータが分散値で表される場合には、雑音差分情報である分散値の差分の絶対値が、あるスカラー値（例えば、１）未満となったか否かを条件とすることができる。また、雑音パラメータがスペクトル等の波形により表わされる場合には、その波形のノルム（例えば、Ｈ_∞ノルム）が、あるスカラー値（例えば、１）未満となったか否かを条件にすることができる。

更に、最適化完了条件は、例えば雑音差分情報の履歴が所定の条件（例えば、今回の処理における雑音差分情報の値が、前回の処理における雑音差分情報の値よりも小さくなくなった場合等）を満たしたときに条件成立とすることができる（これを「条件Ｃ」とする）。

また、第３の実施形態では、上述した条件Ａ、条件Ｂ、条件Ｃの何れかを満たした場合に最適化完了条件の条件成立としてもよく、条件Ａ、条件Ｂ、条件Ｃのうち、二つ以上の論理演算により最適化完了条件を定義してもよい。

上述した最適化手段７４における最適化処理は、例えば最適化区間毎に最適化完了条件を満たすまで繰り返される。ここで、第３の実施形態において、復号化装置７１から出力される出力信号は、例えばラッチ７３等に最適化完了信号が「真」となったタイミングで記憶させることで、最適化の完了した出力信号のみを並べた復号結果の信号を出力することができる。なお、上述した復号化装置の各実施形態は、適宜組み合わせて適用することができる。

また、本発明では、上述した復号化装置１２，６１，７１が有する各手段として機能させるためにコンピュータを好適に用いることができる。このようなコンピュータは、復号化装置１２，６１，７１が有する各手段による各機能を実現する処理内容を記述したプログラム（復号化プログラム）を、当該コンピュータの記憶部等に格納しておき、当該コンピュータが有するＣＰＵ（中央演算処理装置）によって読み出して実行させることで実現することができる。

上述したように本発明によれば、復号後の信号を符号化前の信号に近似させることができる。具体的には、本発明によれば、復号化装置は、復号化手段により得た復号化信号に含まれる雑音（符号化信号により特性が変化する雑音も含む）と、符号化装置に入力された信号に含まれていた元々の雑音との間の差異を補償する雑音を、雑音生成手段に重畳して出力信号として出力するため、出力信号と入力信号間の雑音の特性を揃えることができる。その結果、出力信号と入力信号との間の知覚上の品質（例えば、音声信号における聴感や、画像符号化・映像符号化における主観画質）をより近似させることができる。

また、本発明によれば、雑音検出手段は、信号波形の不規則な上下のみを選択的に抽出することができ、音声や映像等の構造（例えば、被写体の像の輝度パターン等）に起因する有意な波形とはみなし難い信号を雑音として抽出することができる。これにより、復号化装置は、有意ではない信号成分を雑音とみなして、適切な雑音パラメータを出力することができる。

また、本発明によれば、復号化装置は、平滑化という平易な演算によって雑音パラメータを得ることができるため、符号化装置の規模や演算コストを削減することができる。

また、本発明によれば、復号化装置は、復号化処理による復号化信号における雑音成分の不足分をフィードフォワード的に補償することができ、少ないハードウェア規模及び演算量で雑音の補償を実現できる。したがって、特に雑音が加法性を有するときには好適な構成である。また、本発明によれば、復号化装置は、復号化処理による復号結果に雑音を重畳した結果得られる信号に含まれる雑音の量（雑音パラメータ）が、所望の雑音パラメータを近似するようフィードバック的な繰り返し最適化が行われる。これにより、復号化装置は、雑音が加法性を満たすか満たさないかの如何に関わらず、適切な雑音の補償が実現できる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 符号化・復号化システム
１１，５１ 符号化装置
１２，６１，７１ 復号化装置
２１ 符号化手段
２２，３２，５２，６２ 雑音検出手段
３１，５３ 復号化手段
３３，５４，６３ 比較手段
３４，６６ 雑音生成手段
３５，６７ 重畳手段
４１ 雑音信号抽出手段
４２ パラメータ化手段
５２ 復号化手段
６４，７２，７３ ラッチ
６５ 積算手段
７４ 最適化手段

Claims (5)

1. 所定の信号に対して符号化された符号化信号を復号化する復号化装置において、
   前記符号化信号を復号化する復号化手段と、
   前記復号化手段により得られる出力に雑音の差分を重畳し、当該復号化装置出力とする重畳手段と、
   前記重畳手段の出力信号に含まれる雑音成分の特性を定量化した第一の雑音パラメータを検出する雑音検出手段と、
   前記所定の信号を符号化した符号化装置により検出された前記所定の信号に含まれる雑音に対応する第二の雑音パラメータを取得し、取得した第二の雑音パラメータと、前記雑音検出手段により得られる第一の雑音パラメータとを比較する比較手段と、
   前記比較手段により得られる比較結果に基づいて、前記雑音の差分を生成する雑音生成手段とを有することを特徴とする復号化装置。
2. 前記比較手段により得られる比較結果が予め設定される条件を満たすように、前記雑音生成手段、前記重畳手段、前記雑音検出手段、及び前記比較手段を含む処理の繰り返し回数を制御して、前記雑音の差分の最適化を行う最適化手段を有することを特徴とする請求項１に記載の復号化装置。
3. 前記最適化手段は、
   前記比較手段における比較回数、前記比較手段による比較結果として得られる雑音差分情報、及び前記雑音差分情報の履歴情報のうち、少なくとも１つに対して設定された条件に基づいて前記最適化を行うことを特徴とする請求項２に記載の復号化装置。
4. 前記雑音検出手段は、
   トータルバリエーションノルム正則化法、移動平均処理法、順序統計処理法、及びモルフォロジ処理法のうち何れか１つを行い、前記雑音成分を検出することを特徴とする請求項１乃至３の何れか１項に記載の復号化装置。
5. コンピュータを、
   請求項１乃至４の何れか１項に記載の復号化装置が有する各手段として機能させるための復号化プログラム。

Images