JP4716086B2 - 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム - Google Patents

Description

本発明は、符号化装置および方法、記録媒体、プログラム、並びに画像処理システムに関し、特に、アナログデータのコピーを抑止する場合に用いて好適な符号化装置および方法、記録媒体、プログラム、並びに画像処理システムに関する。

映像コンテンツ等の画像信号が記録されている一般的な記録媒体（例えば、DVD(Digital Versatile Disc)、VHS(Video Home System)等のカセット磁気テープ）が再生装置によって再生され、再生結果がアナログデータとしてテレビジョン受像機等に供給されている状況を想定した場合、テレビジョン受像機等に供給されるアナログデータを分岐して所定の記録装置に入力するようにすれば、映像コンテンツのコピーを作成することができる。

ただし、このようなコピー作成は著作権を侵害することがあるので、映像コンテンツ等の不正なコピーを抑止する方法が従来から提案されている。

具体的には、再生装置が出力するアナログデータにスクランブル処理を施したり、アナログデータの出力を禁止したりする方法が提案されている（例えば、特許文献１参照）。

上述した従来の方法によれば、アナログデータの不正コピーは抑止できる。しかしながら当該アナログデータが供給されるテレビジョン受像機等において正常な画像を表示することができなくなってしまうという課題があった。

そこで、本出願人は上述した課題を解決するために、アナログデータをディジタルデータに変換して符号化するに際し、位相ずれ等のアナログノイズに着目した符号化を行うことにより、復号化後の画質を劣化させる発明を既に出願済である（例えば、特許文献２参照）。
特開２００１−２４５２７０号公報 特開２００４−２８９６８５号公報

特許文献１に記載された発明によれば、アナログデータの不正コピーは抑止できる。また、特許文献２に記載された発明によれば、当該アナログデータが供給されるテレビジョン受像機等において正常な画像を表示することができる。

しかしながら、アナログデータの不正コピーを抑止する発明の探求は特許文献２に止まらず、上述した課題のさらに他の発明による解決が求められている。

本発明はこのような状況に鑑みてなされたものであり、アナログデータをディジタル化して符号化し、その結果得られるディジタル符号化データを復号化する一連の処理を繰り返した場合、同様の符号化、復号化にも拘わらず、２回目以降の復号結果が劣化しているようにする。これにより、アナログデータのコピーを抑止できるようにするものである。

本発明の符号化装置は、フレーム単位で連続的に入力された画像データに対して基準画像を設定し、画像データを基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、所定の処理が施された第２の画像データを、極値数に応じて符号化する第２の符号化手段と、第１の符号化手段による符号化結果を復号化する第１の局所復号化手段と、第２の符号化手段による符号化結果を復号化する第２の局所復号化手段と、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段とを含み、第１の符号化手段は、第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については極小値よりも小さく極小値に最も近い量子化代表値に、極大値については極大値よりも大きく極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、第２の符号化手段は、差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの極値数を計算する極値数計算手段と、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、極大値が大きいほど大きい値に決定する次数決定手段と、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出手段とを含む。

前記画像データには、ノイズが付加されているようにすることができる。

本発明の符号化装置は、分離手段に入力される前の画像データにノイズを付加するノイズ付加手段をさらに含むことができる。

前記画像データは、少なくとも１度符号化された後、復号化されているようにすることができる。

本発明の符号化装置は、第１および第２の符号化手段の出力結果を復号化する復号化手段をさらに含むことができる。

前記量子化手段による量子化は、ADRCであるようにすることができる。

前記第１の符号化手段は、第１の画像データの符号化結果であることを示す情報と、ブロック毎にADRCの結果である量子化コード、画素値の最小値、およびダイナミックレンジを符号化結果として出力するようにすることができる。

前記第２の符号化手段は、差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの極値数を計算する極値数計算手段と、各ブロックに対して、離散コサイン変換において画質を決定するためのパラメータであり、その値が大きいほど高画質であることを示すクオリティを、計算された極値数が所定の閾値よりも小さい場合には第１の値に決定し、計算された極値数が所定の閾値以上である場合には第１の値よりも小さい第２の値に決定する決定手段と、決定手段によって決定されたクオリティに従って調整した量子化テーブルを用い、各ブロックにおける第２の画像データに離散コサイン変換を施す変換手段とを含むことができる。

前記第２の符号化手段は、第２の画像データの符号化結果であることを示す情報と、ブロック毎に近似式の次数および各次数項の係数を符号化結果として出力するようにすることができる。

前記第２の符号化手段は、差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの極値数を計算する極値数計算手段と、各ブロックに対して、極値数に対応して離散コサイン変換において画質を決定するためのパラメータであるクオリティを決定する決定手段と、決定手段によって決定されたクオリティに従って調整した量子化テーブルを用い、各ブロックにおける第２の画像データに離散コサイン変換を施す変換手段とを含むことができる。

前記第２の符号化手段は、第２の画像データの符号化結果であることを示す情報と、ブロック毎に離散コサイン変換の結果である離散コサイン係数とクオリティを符号化結果として出力するようにすることができる。

本発明の符号化方法は、フレーム単位で連続的に入力された画像データに対して基準画像を設定し、画像データを基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、所定の処理が施された第２の画像データを、極値数に応じて符号化する第２の符号化ステップと、第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップとを含み、第１の符号化ステップは、第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については極小値よりも小さく極小値に最も近い量子化代表値に、極大値については極大値よりも大きく極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、第２の符号化ステップは、差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの極値数を計算する極値数計算ステップと、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、極大値が大きいほど大きい値に決定する次数決定ステップと、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出ステップとを含む。

前記第２の符号化ステップは、差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの極値数を計算する極値数計算ステップと、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を決定する次数決定ステップと、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出ステップとを含むことができる。

本発明の第１の記録媒体は、フレーム単位で連続的に入力された画像データに対して基準画像を設定し、画像データを基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、所定の処理が施された第２の画像データを、極値数に応じて符号化する第２の符号化ステップと、第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップとを含み、第１の符号化ステップは、第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については極小値よりも小さく極小値に最も近い量子化代表値に、極大値については極大値よりも大きく極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、第２の符号化ステップは、差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの極値数を計算する極値数計算ステップと、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、極大値が大きいほど大きい値に決定する次数決定ステップと、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出ステップとを含む処理を実行させるためのプログラムが記録されている。

本発明の第１のプログラムは、フレーム単位で連続的に入力された画像データに対して基準画像を設定し、画像データを基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、所定の処理が施された第２の画像データを、極値数に応じて符号化する第２の符号化ステップと、第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップとを含み、第１の符号化ステップは、第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については極小値よりも小さく極小値に最も近い量子化代表値に、極大値については極大値よりも大きく極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、第２の符号化ステップは、差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、各ブロックの極値数を計算する極値数計算ステップと、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、極大値が大きいほど大きい値に決定する次数決定ステップと、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出ステップとを含む処理をコンピュータに実行させる。

本発明の符号化装置および方法、並びにプログラムにおいては、フレーム単位で連続的に入力された画像データに対して基準画像が設定され、画像データが基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離される。そして、第１の画像データが、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化され、所定の処理が施された第２の画像データが、極値数に応じて符号化される。さらに、第１の画像データの符号化結果が復号化され、第２の画像の符号化結果が復号化され、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データが生成される。

本発明の復号化装置は、符号化データを第１の符号化画像データと第２の符号化画像データに分離する分離手段と、分離された第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化手段と、分離された第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化手段とを含み、第１の復号化手段は、第１の符号化画像データに逆ADRCを施して、所定のサイズのブロック単位で第１の復号化データを生成する逆量子化手段と、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整手段とを含む。

本発明の復号化装置は、第２の復号化データと第１の復号化データを加算することにより合成画像データを生成する合成手段をさらに含むことができ、前記合成手段は、さらに、第２の復号化データと第２の復号化データの１枚前に生成した合成画像データを加算することにより、次の合成画像データを生成するようにすることができる。

前記第２の復号化手段は、第２の符号化画像データから、第２の復号化データを構成する各ブロックについて、各ブロックに含まれる画素の画素値と画素位置の関係を示す近似式の次数および各次数項の係数を抽出する抽出手段と、抽出された前次数および係数に基づいて近似式を生成し、生成した近似式に画素位置を代入することにより、第２の復号化データの画素値を算出する算出手段とを含むことができる。

前記第２の復号化手段は、第２の符号化画像データから、第２の復号化データを構成する各ブロックについて、離散コサイン変換の結果である離散コサイン係数と、離散コサイン変換において画質を決定するためのパラメータであるクオリティを抽出する抽出手段と、抽出されたクオリティに従って調整した量子化テーブルを用いて、離散コサイン係数に逆離散コサイン変換を施すことにより、第２の復号化データの画素値を算出する算出手段とを含むことができる。

本発明の復号化方法は、符号化データを第１の符号化画像データと第２の符号化画像データに分離する分離ステップと、分離された第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、分離された第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップとを含み、第１の復号化ステップは、第１の符号化画像データに逆ADRCを施して、所定のサイズのブロック単位で第１の復号化データを生成する逆量子化ステップと、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む。

本発明の第２の記録媒体は、符号化データを第１の符号化画像データと第２の符号化画像データに分離する分離ステップと、分離された第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、分離された第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップとを含み、第１の復号化ステップは、第１の符号化画像データに逆ADRCを施して、所定のサイズのブロック単位で第１の復号化データを生成する逆量子化ステップと、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む処理を実行させるためのプログラムが記録されている。

本発明の第２のプログラムは、符号化データを第１の符号化画像データと第２の符号化画像データに分離する分離ステップと、分離された第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、分離された第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップとを含み、第１の復号化ステップは、第１の符号化画像データに逆ADRCを施して、所定のサイズのブロック単位で第１の復号化データを生成する逆量子化ステップと、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む処理をコンピュータに実行させるプログラム。

本発明の復号化装置および方法、並びにプログラムにおいては、符号化データが第１の符号化画像データと第２の符号化画像データに分離され、分離された第１の符号化画像データが復号化されて第１の復号化データが生成され、分離された第２の符号化画像データが復号化されて第２の復号化データが生成される。なお、第１の符号化画像データの復号化では、第１の符号化画像データに逆ADRCが施され、所定のサイズのブロック単位で第１の復号化データが生成され、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かが判定され、極値と判定された画素値の凹凸が判定され、第１の復号化データの画素値が、極小値については所定の値だけ増加され、極大値については所定の値だけ減少されることによって調整される。

本発明の画像処理システムは、符号化部が、フレーム単位で連続的に入力された画像データに対して基準画像を設定し、画像データを基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、所定の処理が施された第２の画像データを、極値数に応じて符号化する第２の符号化手段と、第１の符号化手段による符号化結果を復号化する第１の局所復号化手段と、第２の符号化手段による符号化結果を復号化する第２の局所復号化手段と、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段とを含み、第１の符号化手段は、第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については極小値よりも小さく極小値に最も近い量子化代表値に、極大値については極大値よりも大きく極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、第２の符号化手段は、差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、各ブロックの極値数を計算する極値数計算手段と、各ブロックに対し、極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、極大値が大きいほど大きい値に決定する次数決定手段と、各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により近似式の各次数項の係数を算出する係数算出手段とを含む。また、復号化部が、符号化データを第１の符号化画像データと第２の符号化画像データに分離する分離手段と、分離された第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化手段と、分離された第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化手段とを含み、第１の復号化手段は、第１の符号化画像データに逆ADRCを施して、所定のサイズのブロック単位で第１の復号化データを生成する逆量子化手段と、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整手段とを含む。

本発明の画像処理システムにおいては、符号化部により、フレーム単位で連続的に入力された画像データに対して基準画像が設定され、画像データが基準画像に対応する第１の画像データと、基準画像以外の画像に対応する第２の画像データとに分離される。そして、第１の画像データが、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化され、所定の処理が施された第２の画像データが、極値数に応じて符号化される。さらに、第１の画像データの符号化結果が復号化され、第２の画像の符号化結果が復号化され、第２の画像データと、第２の画像データの１枚前の第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データが生成される。また、復号化部により、符号化データが第１の符号化画像データと第２の符号化画像データに分離され、分離された第１の符号化画像データが復号化されて第１の復号化データが生成され、分離された第２の符号化画像データが復号化されて第２の復号化データが生成される。なお、第１の符号化画像データの復号化では、第１の符号化画像データに逆ADRCが施され、所定のサイズのブロック単位で第１の復号化データが生成され、第１の復号化データの各ブロックの各画素の画素値が極値であるか否かが判定され、極値と判定された画素値の凹凸が判定され、第１の復号化データの画素値が、極小値については所定の値だけ増加され、極大値については所定の値だけ減少されることによって調整される。

本発明によれば、アナログデータをディジタル化して符号化し、その結果得られるディジタル符号化データを復号化する一連の処理を繰り返した場合、同様の符号化、復号化にも拘わらず、２回目以降の復号化結果を劣化させることができる。よって、アナログデータのコピーを抑止することが可能となる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した画像表示システムの構成例を示している。この画像表示システム１は、チューナ１１等から入力されるアナログ画像信号Ｖ_an0を符号化して記録メディア１３に記録する符号化装置１２、記録メディア１３に記録されている符号化ディジタルデータＶ_rd,0を読み出して再生する再生装置１４、再生装置１４から供給されるアナログ画像信号Ｖ_an1を表示するディスプレイ１５、再生装置１４から供給されるアナログ画像信号Ｖ_an1を符号化して記録媒体１７に記録する符号化装置１６、および復号化装置１６から供給されるアナログ画像信号Ｖ_an2を表示するディスプレイ１８から構成される。

チューナ１１は、例えばテレビジョン放送等を受信し、その結果得られるアナログ画像信号Ｖ_an0を符号化装置１２に出力する。

符号化装置１２は、チューナ１１から入力されるアナログ画像信号Ｖ_an0をディジタル化し、その結果得られるディジタル画像信号Ｖ_dg1,0を符号化部２２−１に出力するアナログディジタル変換部（Ａ／Ｄ）２１、ディジタル画像信号Ｖ_dg1,0をフレーム間差分を用いて符号化し、その結果得られる符号化ディジタル画像データＶ_cd,0を記録部２３に出力する符号化部２２−１、および符号化ディジタル画像データＶ_cd,0を記録メディア１３に記録する記録部２３から構成される。

記録メディア１３および１７は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVDを含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどからなる。

再生装置１４は、記録メディア１３から読み出されるディジタル符号化データＶ_rd,0を復号化し、その結果得られるディジタル画像信号Ｖ_dg0をディジタルアナログ変換部３２に出力する復号化部３１−１、およびディジタル画像信号Ｖ_dg0をアナログ化し、その結果得られるアナログ画像信号Ｖ_an1をディスプレイ１５および符号化装置１６に出力するディジタルアナログ変換部（Ｄ／Ａ）３２から構成される。

ディジタルアナログ変換部３２においては、一般的なアナログディジタル変換回路の特性により、ディジタル画像信号Ｖ_dg0がアナログ化されるとき、その結果得られるアナログ画像信号Ｖ_an1にアナログノイズ（ホワイトノイズと称される高周波成分が付加されて生じる歪み等）が付加される。

ここで、高周波成分が付加されて生じる歪みについて図２を参照して説明する。同図左側は、ディジタルアナログ変換部３２におけるディジタルアナログ変換前のディジタル画像信号Ｖ_dg0の並列５画素の画素値を示しており、同一の画素値であるとする。ディジタルアナログ変換により高周波成分の歪みが付加されたアナログ画像信号Ｖ_an1は、後段のアナログディジタル変換部４１によってディジタル化されると、同図右側に示すように同一であった画素値に変動が生ずる。この変動に規則性はなく一律には定まらない。さらに、水平方向のみならず、垂直方向にも同様に高周波成分の歪みが付加される。以下、ディジタルアナログ変換とアナログディジタル変換を経て付加されるこの歪みもホワイトノイズと称する。

図１に戻る。ディスプレイ１５および１７は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等から成り、入力されるアナログ画像信号に対応する画像を表示する。

符号化装置１６は、再生装置１４から入力されるアナログ画像信号Ｖ_an1をディジタル化し、その結果得られるディジタル画像信号Ｖ_dg1を符号化部２２−２に出力するアナログディジタル変換部４１、ディジタル画像信号Ｖ_dg1をフレーム間差分を利用して符号化し、その結果得られる符号化ディジタル画像データＶ_cdを記録部４４および復号化部３１−２に出力する符号化部２２−２、並びに符号化ディジタル画像データＶ_cdを記録メディア１７に記録するとともに、記録メディア１７に記録されている符号化ディジタル画像データＶ_rdを読み出して復号化部３１−２に供給する記録部４４から構成される。

さらに、符号化装置１６は、符号化部２２−２から供給される符号化ディジタル画像データＶ_cdまたは記録部４４から供給される符号化ディジタル画像データＶ_rdを復号化し、その結果得られるディジタル画像信号Ｖ_dg2をディジタルアナログ変換部４６に出力する復号化部３１−２、およびディジタル画像信号Ｖ_dg2をアナログ化し、その結果得られるアナログ画像信号Ｖ_an2をディスプレイ１８に出力するディジタルアナログ変換部４６から構成される。

なお、アナログディジタル変換部４１から出力されるディジタル画像信号Ｖ_dg1は、ディジタル化される前のアナログ画像信号Ｖ_an1にアナログノイズ（ホワイトノイズ）が生じていることに起因して、復号化部３１−１から出力されたディジタル画像信号Ｖ_dg0に比較して画素値が僅かに変動した状態（すなわち、ノイズがのった状態）となる。

また、アナログディジタル変換部４１にノイズ付加部４２を内蔵させ、意図的にディジタル化される前のアナログ画像信号Ｖ_an1にアナログノイズ（ホワイトノイズに相当するノイズ）を付加した後、ディジタル化するようにしてもよい。

符号化装置１２における符号化部２２−１と符号化装置１６における符号化部２２−２は、同一の構成（後述）を有している。以下、符号化部２２−１と符号化部２２−２を個々に区別する必要がない場合、単に符号化部２２と記述する。

また、再生装置１４における復号化部３１−１と符号化装置１６における復号化部３１−２も、同一の構成（後述）を有している。以下、復号化部３１−１と復号化部３１−２を個々に区別する必要がない場合、単に復号化部３１と記述する。

次に画像表示システム１の動作について、図３を参照して説明する。この画像表示システム１は、原画像を符号化して復号化し、その結果得られる「１回目の符号化・復号化画像」を、再び符号化して復号化し、「２回目の符号化・復号化画像」を出力する。「１回目の符号化・復号化画像」と「２回目の符号化・復号化画像」の定義については以下のとおりである。

すなわち、同図Ａに示す原画像は、チューナ１１から出力されるアナログ画像信号Ｖ_an0に相当する。原画像を符号化して復号化した、同図Ｂに示す「１回目の符号化・復号化画像」は、再生装置１４の復号化部３１−１から出力されるディジタル画像信号Ｖ_dg0に相当する。同図Ｃに示す「１回目の符号化・復号化画像に歪みが付加された画像」は、再生装置１４のディジタルアナログ変換部３２から出力されるアナログ画像信号Ｖ_an1に相当する。同図Ｄに示す「２回目の符号化・復号化画像」は、符号化装置１６の復号化部３１−２から出力されるディジタル画像信号Ｖ_dg2、あるいは記録メディア１７を再生装置１４の復号化部３１−１によって復号化した結果のディジタル画像信号等に相当する。

次に、符号化部２２によるフレーム間差分を利用した符号化について、図４および図５を参照して説明する。

図４に示すように、符号化部２２においては、再生順に配置された一連の画像に対し、所定の間隔で基準画像が設定される。そして、基準画像は、当該画像のみに基づいて符号化が行われる。基準画像が符号化されて復号化された画像を、基準画像に対応する復号化結果である生成画像０とする。

図５に示すように、「基準画像の１枚後の画像」については、当該画像と生成画像０との差分である差分画像１が生成され、差分画像１が符号化される。差分画像１が符号化されて復号化された画像と生成画像０との加算結果を、「基準画像の１枚後の画像」に対応する復号化結果である生成画像１とする。

同様に、「基準画像の２枚後の画像」については、当該画像と生成画像１との差分である差分画像２が生成され、差分画像２が符号化される。差分画像２が符号化されて復号化された画像と生成画像１との加算結果を、「基準画像の２枚後の画像」に対応する復号化結果である生成画像２とする。このように、次の基準画像までの間の画像については、１枚前の生成画像との差分画像が作成されて符号化が行われる。

次に、符号化部２２の詳細について説明する。符号化部２２は、第１乃至第３の構成例を有する。符号化部２２の第１乃至第３の構成例に対応し、復号化部３１も第１乃至第３の構成例を有する。

図６は符号化部２２の第１の構成例を示している。符号化部２２の第１の構成例は、入力される一連の画像に対して所定の間隔で基準画像を設定し、基準画像を基準画像符号化部５２に供給し、その他の画像を差分画像生成部５４に供給する基準画像抽出部５１、供給された基準画像を所定の符号化方式（例えば、ADRC(Adaptive Dynamic Range Coding)等）で符号化する基準画像符号化部５２、基準画像の符号化結果を復号化して復号化結果（図５の生成画像０に相当する）を差分画像生成部５４に供給する基準画像復号化部５３、基準画像以外の画像（図５の基準画像の１枚後の画像等）と、その１枚前の画素の符号化・復号化結果である生成画像との差分画像を生成する差分画像生成部５４、差分画像を所定の符号化方式（例えば、DCT(Discrete Cosine Transform)等）で符号化する差分画像符号化部５５、および差分画像の符号化結果を復号化する差分画像復号化部５６から構成される。

符号化部２２の第１の構成例による動作について、符号化装置１６の符号化部２２−２を例とし、図７のフローチャートを参照して説明する。

まず始めにステップＳ１として、アナログディジタル変換部４１のノイズ付加部４２がディジタル化する前のアナログ画像信号Ｖ_an1にノイズを付加する。ただし、ステップＳ１の処理は省略しても構わない。

ステップＳ２において、基準画像符号化部５２が、前段から入力された一連の画像に対して所定の間隔で基準画像を設定し、ステップＳ３において、符号化対象の画像が基準画像であるか否かを判定する。基準画像であると判定した場合、当該基準画像を基準画像符号化部５２に供給する。処理はステップＳ４に進む。

ステップＳ４において、基準画像符号化部５２が、基準画像抽出部５１から供給された基準画像を所定の方式（例えば、ADRC）で符号化し、ステップＳ５において、符号化結果に基準画像に対応するものであることを示す情報を付加し、符号化ディジタル画像データＶ_cdとして後段（基準画像復号化部５３、および図１の記録部４４等）に出力する。

ステップＳ３において、符号化対象の画像が基準画像ではないと判定された場合、基準画像抽出部５１が当該画像を差分画像生成部５４に供給し、処理はステップＳ６に進む。ステップＳ６において、差分画像生成部５４が、供給された符号化対象の画像が「基準画像の１枚後の画像」であるか否かを判定する。「基準画像の１枚後の画像」であると判定された場合、処理はステップＳ７に進む。ステップＳ７において、基準画像復号化部５３が、基準画像の符号化結果を復号化して生成画像０を生成し、差分画像生成部５４に出力する。なお、このステップＳ７の処理は、上述したステップＳ５の処理の後、直ちに実行しても構わない。

ステップＳ８において、差分画像生成部５４が、基準画像抽出部５１から供給された符号化対象の画像と、基準画像復号化部５３から供給された生成画像０との差分画像１を生成し、差分画像符号化部５５に供給する。ステップＳ９において、差分画像符号化部５５が、差分画像（いまの場合、差分画像１）を所定の方式（例えば、DCT）を用いて符号化する。そして、処理はステップＳ５に進み、差分画像の符号化結果に、基準画像以外の画像に対応するものであることを示す情報を付加し、符号化ディジタル画像データＶ_cdとして後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

ステップＳ６において、符号化対象の画像が「基準画像の１枚後の画像」ではないと判定された場合、処理はステップＳ１０に進む。例えば、符号化対象の画像を「基準画像の２枚後の画像」と仮定する。

ステップＳ１０において、差分画像復号化部５６が、差分画像１の符号化結果を復号化し、復号化結果を差分画像生成部５４に供給する。そして、差分画像生成部５４が、差分画像１の符号化・復号化の結果と生成画像０と加算して生成画像１を生成する。なお、このステップＳ１０の処理は、上述したステップＳ９の処理の後、直ちに実行しても構わない。

そして、ステップＳ１１において、差分画像生成部５４が、生成した生成画像１と、基準画像抽出部５１から供給された「基準画像の２枚後の画像」との差分画像２を生成して差分画像符号化部５５に出力する。この後、処理はステップＳ９に進み、差分画像符号化部５５により差分画像２が符号化される。そして、処理はステップＳ５に進み、差分画像の符号化結果に、基準画像以外の画像に対応するものであることを示す情報を付加し、符号化ディジタル画像データＶ_cdとして後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

符号化部２２の後段に出力された符号化ディジタル画像データＶ_cdは、記録部４４により記録メディア１７に記録されたり、復号化部３１−２によって復号化されたりする。以上で符号化部２２の第１の構成例による動作説明を終了する。

次に、符号化部２２の第１の構成例による符号化に対応した復号化を行う復号化部３１の第１の構成例について説明する。図８は復号化部３１の第１の構成例を示している。

復号化部３１の第１の構成例は、前段から入力される符号化ディジタル画像データＶ_cdのうち、基準画像に対応するデータを抽出して基準画像復号化部６２に供給し、基準画像以外の画像（差分画像）に対応するデータを差分画像復号化部６３に出力するデータ分離部６１、基準画像に対応する符号化ディジタル画像データＶ_cdを復号化して、復号化結果である生成画像０を後段（加算部６４、および図１のディジタルアナログ変換部４６等）に出力する基準画像復号化部６２、基準画像以外の画像（差分画像）に対応する符号化ディジタル画像データＶ_cdを復号化して加算部６４に供給する差分画像復号化部６３、差分画像復号化部６３から供給される差分画像の符号化・復号化の結果に、１枚前の生成されている生成画像（基準画像復号化部６２から供給される生成画像０、または生成画像保持部６５に保持されている生成画像１等）を加算して生成画像を生成し、後段（生成画像保持部６５、および図１のディジタルアナログ変換部４６等）に出力する加算部６４、および加算部６４から入力される生成画像を保持し、１枚後の画像の復号化に際し、保持している生成画像を加算部６４に供給する生成画像保持部６５から構成される。

復号化部３１の第１の構成例による動作について、符号化装置１６の復号化部３１−２を例に、図９のフローチャートを参照して説明する。符号化部３１−２には、符号化部２２−２から符号化ディジタル画像データＶ_cd（または記録部４４によって記録メディア１７から読み出される符号化ディジタル画像データＶ_rd）が供給されているものとする。

ステップＳ２１において、データ分離部６１が、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものであるか否かを判定する。復号化対象が基準画像に対応するものであると判定した場合、その符号化ディジタル画像データＶ_cdを基準画像復号化部６２に供給する。ステップＳ２２において、基準画像復号化部６２が、基準画像に対応する符号化ディジタル画像データＶ_cdを復号化し、ステップ２３において、復号化結果である生成画像０をディジタル画像信号Ｖ_dg2として後段（加算部６４、および図１のディジタルアナログ変換部４６等）に出力する。

ステップＳ２１において、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものではないと判定された場合、その符号化ディジタル画像データＶ_cdを差分画像復号化部６３に供給する。

例えば、基準画像ではない画像が差分画像１である場合、ステップＳ２４において、差分画像復号化部６３が、差分画像１に対応する符号化ディジタル画像データＶ_cdを復号化し、復号化結果（差分画像１の符号化・復号化の結果）を加算部６４に出力する。ステップ２５において、加算部６４が、差分画像復号化部６３から供給された復号化結果（差分画像１の符号化・復号化の結果）に、基準画像復号化部６２から供給された生成画像０を加算して生成画像１を生成する。ステップＳ２６において、加算部６４が、生成した生成画像１を生成画像保持部６５に出力する。この後、ステップＳ２３に進み、加算部６４が、生成した生成画像１をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

また例えば、基準画像ではない画像が差分画像２である場合、ステップＳ２４において、差分画像復号化部６３が、差分画像２に対応する符号化ディジタル画像データＶ_cdを復号化し、復号化結果（差分画像２の符号化・復号化の結果）を加算部６４に出力する。ステップ２５において、加算部６４が、差分画像復号化部６３から供給された復号化結果（差分画像２の符号化・復号化の結果）に、生成画像保持部６５に保持されている生成画像１を加算して生成画像２を生成する。ステップＳ２６において、加算部６４が、生成した生成画像２を生成画像保持部６５に出力する。この後、ステップＳ２３に進み、加算部６４が、生成した生成画像１をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

このディジタル画像信号Ｖ_dg2が上述した「２回目の符号化・復号化画像」であって画質が劣化したものであるので、符号化装置１６を用いてアナログ画像信号Ｖ_an1をコピーしようとすることが抑止される。

次に、図１０は符号化部２２の第２の構成例を示している。符号化部２２の第２の構成例は、図６に示された第１の構成例に比較して、基準画像符号化部５２、および差分画像符号化部５５がより詳細に示されている。第２の構成例における第１の構成例と共通の部位には同一の符号を附しているので、その説明は適宜省略する。

基準画像５１は、入力される一連の画像に対して所定の間隔で基準画像を設定し、基準画像を基準画像符号化部５２に供給し、その他の画像を差分画像生成部５４に供給する。

基準画像符号化部５２のブロック分割部７１は、入力される基準画像を所定のサイズ（例えば、８×８画素）のブロックに分割する。極値判定部７２は、各ブロックに含まれる各画素の画素値が極値（極大値または極小値）であるか否かを判定する。

極値判定部７２による極値判定について、図１１を参照して説明する。ブロックに含まれる各画素の画素値が極値であるか否かの判定は、画素の位置によってその判定方法が異なる。以下、極値であるか否かが判定される画素を注目画素と称し、その画素値をＬ_cとする。注目画素の上下左右にそれぞれ隣接する画素の画素値をＬ_u，Ｌ_d，Ｌ_l、またはＬ_rとする。

同図Ａに示すように、ブロックの最外周側の１画素を除く内側の画素（例えば、ブロックのサイズが８×８画素である場合、７×７画素）については、以下の４条件のうちの１つが満たされれば、画素値が極値であると判定される。
条件１：（Ｌ_c＞Ｌ_l） and （Ｌ_c＞Ｌ_r）
条件２：（Ｌ_c＜Ｌ_l） and （Ｌ_c＜Ｌ_r）
条件３：（Ｌ_c＞Ｌ_u） and （Ｌ_c＞Ｌ_d）
条件４：（Ｌ_c＜Ｌ_u） and （Ｌ_c＜Ｌ_d）

同図Ｂに示すように、ブロックの頂点を除く、上辺および下辺の画素については、以下の２条件のうちの１つが満たされれば、画素値が極値であると判定される。
条件１：（Ｌ_c＞Ｌ_l） and （Ｌ_c＞Ｌ_r）
条件２：（Ｌ_c＜Ｌ_l） and （Ｌ_c＜Ｌ_r）

同図Ｃに示すように、ブロックの頂点を除く、左辺および右辺の画素については、以下の２条件のうちの１つが満たされれば、画素値が極値であると判定される。
条件１：（Ｌ_c＞Ｌ_u） and （Ｌ_c＞Ｌ_d）
条件２：（Ｌ_c＜Ｌ_u） and （Ｌ_c＜Ｌ_d）

同図Ｄに示すように、ブロックの頂点に位置する４画素については、画素値に拘わらず、極値ではないと判定される。

図１０に戻る。凹凸判定部７３は、極値判定部７２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。凹凸判定部７３による凹凸判定について、図１２を参照して説明する。

凹凸判定は、画素の位置によってその判定方法が異なる。以下、凹凸が判定される画素を注目画素と称し、その画素値をＬ_cとする。注目画素の上下左右にそれぞれ隣接する画素の画素値をＬ_u，Ｌ_d，Ｌ_l、またはＬ_rとする。

同図Ａに示すように、ブロックの最外周側の１画素を除く内側の画素（例えば、ブロックのサイズが８×８画素である場合、７×７画素）については、以下のとおりとする。
Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも大きい場合、且つ、Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも大きい場合、注目画素の画素値Ｌ_cは「上に凸」であると判定される。
Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも小さい場合、且つ、Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも小さい場合、注目画素の画素値Ｌ_cは「下に凸」であると判定される。

Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも大きい場合、且つ、Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも小さい場合であって、
点Ｌ_cと直線Ｆ_lrとの距離 ＞ 点Ｌ_cと直線Ｆ_udとの距離
が満たされる場合、注目画素の画素値Ｌ_cは「上に凸」であると判定される。
点Ｌ_cと直線Ｆ_lrとの距離 ＜ 点Ｌ_cと直線Ｆ_udとの距離
が満たされる場合、注目画素の画素値Ｌ_cは「下に凸」であると判定される。

Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも小さい場合、且つ、Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも大きい場合であって、
点Ｌ_cと直線Ｆ_lrとの距離 ＞ 点Ｌ_cと直線Ｆ_udとの距離
が満たされる場合、注目画素の画素値Ｌ_cは「下に凸」であると判定される。
点Ｌ_cと直線Ｆ_lrとの距離 ＜ 点Ｌ_cと直線Ｆ_udとの距離
が満たされる場合、注目画素の画素値Ｌ_cは「上に凸」であると判定される。

同図Ｂに示すように、ブロックの頂点を除く、上辺および下辺の画素については、以下のとおりとする。
Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも大きい場合、注目画素の画素値Ｌ_cは「上に凸」であると判定される。
Ｌ_lとＬ_rを結ぶ直線Ｆ_lrを引き、Ｌ_cがその直線Ｆ_lrよりも小さい場合、注目画素の画素値Ｌ_cは「下に凸」であると判定される。

同図Ｃに示すように、ブロックの頂点を除く、左辺および右辺の画素については、以下のとおりとする。
Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも大きい場合、注目画素の画素値Ｌ_cは「上に凸」であると判定される。
Ｌ_uとＬ_dを結ぶ直線Ｆ_udを引き、Ｌ_cがその直線Ｆ_udよりも小さい場合、注目画素の画素値Ｌ_cは「下に凸」であると判定される。

同図Ｄに示すように、ブロックの頂点に位置する４画素については、極値判定が行われないので、凹凸判定も行われない。

図１０に戻る。ADRC部７４は、ブロック毎、極値が保存されるようにADRCを施し、ADRCの結果として、各ブロックの画素値の最小値、ダイナミックレンジ、および量子化コードを、基準画像のデータであることを示す情報とともに、符号化ディジタル画像データＶ_cdとして後段（基準画像復号化部５３、および図１の記録部４４等）に出力する。

ここで、極値が保存されないADRCと、極値が保存されるADRCの違いについて、図１３を参照して説明する。例えば、ADRCの量子化コードに対するビット割当が２ビットである場合、量子化代表値は４種類となり、各画素の画素値は４種類の量子化代表値のいずれかに量子化される。

この量子化に際し、極値が保存されないADRCでは、原信号の画素値に最も近い量子化代表値に量子化されるので、原信号が同図Ａに示されるとおりである場合、量子化後は同図Ｂに示されるように、最大値および最小値といくつかの極値は保存されるものの、いくつかの極値は消失してしまう。

これに対して、極値が保存されるADRCでは、上に凸である極値の画素の画素値は当該画素値よりも大きい直近の量子化代表値に量子化され、下に凸である極値の画素の画素値は当該画素値よりも小さい直近の量子化代表値に量子化されるので、原信号が同図Ｃに示されるとおりである場合、量子化後は同図Ｄに示されるように、最大値および最小値と全ての極値が保存される。

図１０に戻る。基準画像復号化部５３は、基準画像に対応する符号化ディジタル画像データＶ_cdを復号化して（逆ADRCを施して）復号化結果（図５の生成画像０に相当する）を差分画像５４に供給する。差分画像生成部５４は、基準画像以外の画像（図５の基準画像の１枚後の画像等）と、その１枚前の画素の符号化・復号化結果である生成画像との差分画像を生成する。

差分画像符号化部５５のブロック分割部７５は、差分画像を所定のサイズ（例えば、８×８画素）のブロックに分割する。極値数計算部７６は、図１１を参照して上述した極値判定方法によって、ブロックに含まれる各画素の画素値が極値であるか否かを判定し、極値であると判定した画素の数（極値数）を求める。

次数ｉ決定部７７は、各ブロックに対し、求められた極値数と所定の閾値を比較することによって、２次元ｉ次多項式の次数ｉを決定する。この２次元ｉ次多項式とは、各グループに含まれる画素の画素値を、画素の位置（ｘ，ｙ）の関数ｆ（ｘ，ｙ）に見立てたものであり、２次元ｉ次多項式ｆ（ｘ，ｙ）の各次数項の係数ｗ_kは、係数演算部７８によって決定される。

ここで、２次元ｉ次多項式ｆ（ｘ，ｙ）について説明する。

図１４は、変数ｘの関数である１次元ｉ次多項式ｆ（ｘ）の一例を示している。１次元ｉ次多項式ｆ（ｘ）は、次式（１）のように０次関数ｆ₀（ｘ）、１次関数ｆ₁（ｘ）、２次関数ｆ₂（ｘ）、３次関数ｆ₃（ｘ）、…、ｉ次関数ｆ_i（ｘ）の総和として表すことができる。
ｆ（ｘ）＝Σ（Ｗ_k・ｘ^k） …（１）
ただし、Σはｋ＝０，…，ｉの総和であり、Ｗ_kは係数である。

この１次元ｉ次多項式ｆ（ｘ）を２次元に拡張したものが、２次元ｉ次多項式ｆ（ｘ，ｙ）であって、次式（２）のように表すことができる。変数（ｘ，ｙ）の関数である２次元ｉ次多項式ｆ（ｘ，ｙ）の一例を図１５に示す。
ｆ（ｘ，ｙ）＝Σ（Ｗ_k・（ａ・ｘ＋ｂ・ｙ）^k） …（２）
ただし、Σはｋ＝０，…，ｉの総和であり、Ｗ_k，ａ，ｂは係数である。

例えば、次数ｉ＝０の２次元ｉ次多項式ｆ（ｘ，ｙ）の場合、
ｆ（ｘ，ｙ）＝ｗ₀ …（３）
となり、２次元の波形は１個の係数ｗ₀によって表現できることになる。

例えば、次数ｉ＝１の２次元ｉ次多項式ｆ（ｘ，ｙ）の場合、
ｆ（ｘ，ｙ）＝ｗ₂・ｘ＋ｗ₁・ｙ＋ｗ₀ …（４）
となり、２次元の波形は３個の係数ｗ₀，ｗ₁，ｗ₂によって表現できることになる。

例えば、次数ｉ＝２の２次元ｉ次多項式ｆ（ｘ，ｙ）の場合、
ｆ（ｘ，ｙ）＝ｗ₅・ｘ²＋ｗ₄・ｘｙ＋ｗ₃・ｙ²＋ｗ₂・ｘ＋ｗ₁・ｙ＋ｗ₀ …（５）
となり、２次元の波形は６個の係数ｗ₀，…，ｗ₅によって表現できることになる。

例えば、次数ｉ＝３の２次元ｉ次多項式ｆ（ｘ，ｙ）の場合、
ｆ（ｘ，ｙ）＝ｗ₉・ｘ³＋ｗ₈・ｙ³＋ｗ₇・ｘ²ｙ＋ｗ₆・ｘｙ²
＋ｗ₅・ｘ²＋ｗ₄・ｘｙ＋ｗ₃・ｙ²＋ｗ₂・ｘ＋ｗ₁・ｙ＋ｗ₀
…（６）
となり、２次元の波形は１０個の係数ｗ₀，…，ｗ₉によって表現できることになる。

図１０に戻る。係数演算部７８は、各ブロックに対し、次数ｉが決定されている２次元ｉ次多項式ｆ（ｘ，ｙ）の各次数項の係数ｗ_kを、ブロックに含まれる画素の位置（ｘ，ｙ）を入力データと画素値ｆ（ｘ，ｙ）を観測データとする最小自乗法を用いて算出する。そして、各ブロックに対する符号化結果として、２次元ｉ次多項式ｆ（ｘ，ｙ）の次数ｉと各次数項の係数ｗ_kを、基準画像以外の画像に対応するデータであることを示す情報とともに、符号化画像データＶ_cdとして後段（差分画像復号化部５６、および図１の記録部４４等）に出力する。

ここで、係数演算部７８による、最小自乗法によって係数ｗ_kを算出する方法について説明する。

図１６は、最小自乗法の概念を示している。最小自乗法は入力データｐ（いまの場合、ブロックに含まれる画素の位置（ｘ，ｙ））と観測データｑ（いまの場合、ブロックに含まれる画素の画素値）とを入力とし、入力データｐと観測データｑによって示される点が、入力データｐの関数である予測データｑ’が示す線上に最もよく当てはまるように、予測データｑ’の係数を定める方法である。

図１６の例では、７個のサンプル、すなわち、観測データｑが入力されており、予測データｑ’は線形１次予測式
ｑ’＝Ａ・ｐ＋Ｂ （７）
とされている。

入力された観測ｑデータと予測データｑ’の誤差をｅ＝ｑ−ｑ’とした場合、誤差ｅの自乗誤差和Ｅは次式（８）のとおりとなる。
Ｅ＝Σ（ｑ−Ａ・ｐ＋Ｂ）² （８）
ここで、Σはサンプル数分の総和である。

この自乗誤差和Ｅが最小となるように、係数Ａ，Ｂが求められる。具体的には、次式（９）に示されるように、自乗誤差和Ｅを係数Ａ，Ｂのそれぞれによって偏微分した値が０となるような係数Ａ，Ｂが求められる。
∂Ｅ／∂Ａ＝０，∂Ｅ／∂Ｂ＝０ （９）

係数演算部７８では、分割されたブロックのサイズが、図１７に示すように８×８画素であれば、６４（＝８×８）画素分の位置（ｘ，ｙ）を入力データｐ、それらの画素値を観測データｑ、予測データｑ’＝２次元ｉ次多項式ｆ（ｘ，ｙ）＝Σ（Ｗ_k・（ａ・ｘ＋ｂ・ｙ）^k）として、観測ｑデータと予測データｑ’の自乗誤差和Ｅが最小となるように、係数ｗ_kを演算する。

差分画像復号化部５６は、差分画像の符号化結果である、２次元ｉ次多項式ｆ（ｘ，ｙ）の次数ｉと各次数項の係数ｗ_kに基づいて、差分画像の画素値を算出することにより、差分画像の符号化・復号化の結果を得て、差分画像生成部５４に出力する。

次に、符号化部２２の第２の構成例による動作について、符号化装置１６の符号化部２２−２を例とし、図１８のフローチャートを参照して説明する。

まず始めにステップＳ３１として、アナログディジタル変換部４１のノイズ付加部４２がディジタル化する前のアナログ画像信号Ｖ_an1にノイズを付加する。ただし、ステップＳ３１の処理は省略しても構わない。

ステップＳ３２において、基準画像符号化部５２が前段から入力された一連の画像に対して所定の間隔で基準画像を設定し、ステップＳ３３において、符号化対象の画像が基準画像であるか否かを判定する。基準画像であると判定した場合、当該基準画像を基準画像符号化部５２に供給する。処理はステップＳ３４に進む。

ステップＳ３４において、基準画像符号化部５２のブロック分割部７１が、入力された基準画像を所定のサイズ（例えば、８×８画素）のブロックに分割する。ステップＳ３５において、極値判定部７２が、各ブロックに含まれる各画素の画素値が極値であるか否かを判定する。ステップＳ３６において、凹凸判定部７３が、極値判定部７２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。

ステップＳ３７において、ADRC部７４が、ブロック毎、極値が保存されるようにADRCを施す。そして、ステップＳ３８において、ADRC部７４が、ADRCの結果として、各ブロックの画素値の最小値、ダイナミックレンジ、および量子化コードを、基準画像のデータであることを示す情報とともに、符号化ディジタル画像データＶ_cdとして後段（基準画像復号化部５３、および図１の記録部４４等）に出力する。

ステップ３３において、符号化対象の画像が基準画像ではないと判定された場合、基準画像抽出部５１が当該画像を差分画像生成部５４に供給する。処理はステップＳ３９に進む。ステップＳ３９において、差分画像生成部５４が、供給された符号化対象の画像が「基準画像の１枚後の画像」であるか否かを判定する。「基準画像の１枚後の画像」であると判定された場合、処理はステップＳ４０に進む。

ステップＳ４０において、基準画像復号化部５３が、基準画像の符号化結果を復号化して（逆ADRCを施して）、復号化結果である生成画像０を生成し、差分画像生成部５４に出力する。なお、このステップＳ４０の処理は、上述したステップＳ３８の処理の後、直ちに実行しても構わない。ステップＳ４１において、差分画像生成部５４が、基準画像抽出部５１から供給された符号化対象の「基準画像の１枚後の画像」と、基準画像復号化部５３から供給された生成画像０との差分画像１を生成し、差分画像符号化部５５に供給する。

ステップＳ４２において、差分画像符号化部５５のブロック分割部７５が、図１９Ａに示すような原画像（いまの場合、差分画像１）を同図Ｂに示すように所定のサイズ（例えば、８×８画素）のブロックに分割する。ステップＳ４３において、極値数計算部７６が、各ブロックの極値数を求める。以下、ブロックｊの極値数をｅｘ_jと称する。ステップＳ４４において、次数ｉ決定部７７が、各ブロックｊに対し、求められた極値数ｅｘ_jと所定の閾値を比較することによって、２次元ｉ次多項式の次数ｉを決定する。具体的には、同図Ｄに示すように、以下の規則に従って次数ｉを０乃至３に決定する。
ｅｘ_j＝０のとき、 ｉ＝０
０＜ｅｘ_j≦ｔｈ₁のとき ｉ＝１
ｔｈ₁＜ｅｘ_j≦ｔｈ₂のとき ｉ＝２
ｔｈ₂＜ｅｘ_j≦ｔｈ₃のとき ｉ＝３

なお、閾値ｔｈ₁，ｔｈ₂，ｔｈ₃は、ｔｈ₁＜ｔｈ₂＜ｔｈ₃であって、任意に設定することができる。また、閾値ｔｈの数を４以上に、次数ｉを４次以上にしても構わない。ただし、閾値ｔｈの数や次数ｉの上限は、後段において２次元ｉ次多項式の各次数項の係数ｗ_kが最小自乗法によって演算可能な範囲とする。

ステップＳ４５において、係数演算部７８が、同図Ｆに示すように各ブロックｊに対し、各ブロックｊに含まれる画素の位置と画素値を入力とする最小自乗法により、次数ｉが決定されている２次元ｉ次多項式の係数ｗ_kを演算する。この後、処理はステップＳ３８に進み、差分画像１の符号化結果である、各ブロックの２次元ｉ次多項式ｆ（ｘ，ｙ）の次数ｉと各次数項の係数ｗ_kが、基準画像以外の画像に対応するデータであることを示す情報とともに、符号化画像データＶ_cdとして後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

ステップＳ３９において、符号化対象の画像が「基準画像の１枚後の画像」ではないと判定された場合、処理はステップＳ４６に進む。例えば、符号化対象の画像を「基準画像の２枚後の画像」と仮定する。

ステップＳ４６において、差分画像復号化部５６が、差分画像１の符号化結果を復号化し、復号化結果を差分画像生成部５４に供給する。そして、差分画像生成部５４が、差分画像１の符号化・復号化の結果と生成画像０と加算して生成画像１を生成する。なお、このステップＳ４６の処理は、上述したステップＳ３８の処理の後、直ちに実行しても構わない。

そして、ステップＳ４７において、差分画像生成部５４が、生成した生成画像１と、基準画像抽出部５１から供給された「基準画像の２枚後の画像」との差分画像２を生成して差分画像符号化部５５に出力する。この後、処理はステップＳ４２に進み、それ以降の処理が行われて、差分画像２が符号化され、符号化結果である、各ブロックの２次元ｉ次多項式ｆ（ｘ，ｙ）の次数ｉと各次数項の係数ｗ_kが、基準画像以外の画像に対応するデータであることを示す情報とともに、符号化画像データＶ_cdとして後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

符号化部２２の後段に出力された符号化ディジタル画像データＶ_cdは、記録部４４により記録メディア１７に記録されたり、復号化部３１−２によって復号化されたりする。以上で符号化部２２の第２の構成例による動作説明を終了する。

次に、符号化部２２の第２の構成例による符号化に対応した復号化を行う復号化部３１の第２の構成例について説明する。図２０は復号化部３１の第２の構成例を示している。復号化部３１の第２の構成例は、図８に示された第１の構成例に比較して、基準画像復号化部６２と差分画像復号化部６３がより詳細に示されている。第２の構成例における第１の構成例と共通の部位には同一の符号を附しているので、その説明は適宜省略する。

データ分離部６１は、前段から入力される符号化ディジタル画像データＶ_cdのうち、基準画像に対応するデータを抽出して基準画像復号化部６２に供給し、基準画像以外の画像（差分画像）に対応するデータを差分画像復号化部６３に出力する。

基準画像復号化部６２の逆ADRC部８１は、基準画像に対応する符号化ディジタル画像データＶ_cdを復号化して、具体的には、符号化ディジタル画像データＶ_cdに含まれる各ブロックに対応する画素値の最小値、ダイナミックレンジ、および量子化コードを元に逆ADRCを実行して生成画像０を生成する。この生成画像０を構成する画素の画素値は、全て量子化代表値となっている。極値判定部８２は、生成された生成画像０の各画素の画素値が極値であるか否かを判定する。この極値判定の方法は、図１１を参照して上述した方法と同様である。凹凸判定部８３は、極値判定部８２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。この凹凸判定は、図１２を参照して上述した方法と同様である。

調整部８４は、生成画像０の画素のうち、極値であると判定された画素の画素値を調整する。具体的には、図２１に示すように、生成画像０を構成する極値である画素のうち、最大値または最小値の画素を除くものの画素値を、上に凸の場合はΔ／４だけ減算し、下に凸の場合はΔ／４だけ加算する。ここで、Δは量子化幅である。

そして、基準画像復号化部６２は、極値の画素値を調整した生成画像０を後段（加算部６４、および図１のディジタルアナログ変換部４６等）に出力する

差分画像復号化部６３のｉ・ｗ_k検出部８５は、基準画像以外の画像（差分画像）に対応する符号化ディジタル画像データＶ_cdから、各ブロックに対応する２次元ｉ次多項式の次数ｉおよび係数ｗ_kを検出する。２次元ｉ次多項式生成部８６は、検出された次数ｉおよび係数ｗ_kを用いて各ブロックにそれぞれ対応する２次元ｉ次多項式を復元する。画素値演算部８７は、各ブロックにそれぞれ対応して復元された２次元ｉ次多項式に、画素位置を代入して差分画像の画素値を演算する。そして、差分画像復号化部６３は、このようにして復号化された差分画像を加算部６４に供給する。

加算部６４は、差分画像復号化部６３から供給される復号化された差分画像に、１枚前の生成されている生成画像（基準画像復号化部６２から供給される生成画像０、または生成画像保持部６５に保持されている生成画像１等）を加算して生成画像を生成し、後段（生成画像保持部６５、および図１のディジタルアナログ変換部４６等）に出力する。生成画像保持部６５は、加算部６４から入力される生成画像を保持し、１枚後の画像の復号化に際し、保持している生成画像を加算部６４に供給する。

復号化部３１の第２の構成例による動作について、符号化装置１６の復号化部３１−２を例に、図２２のフローチャートを参照して説明する。符号化部３１−２には、符号化部２２−２から符号化ディジタル画像データＶ_cd（または記録部４４によって記録メディア１７から読み出される符号化ディジタル画像データＶ_rd）が供給されているものとする。

ステップＳ５１において、データ分離部６１が、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものであるか否かを判定する。復号化対象が基準画像に対応するものであると判定した場合、その符号化ディジタル画像データＶ_cdを基準画像復号化部６２に供給する。

ステップＳ５２において、基準画像復号化部６２の逆ADRC部８１が、基準画像に対応する符号化ディジタル画像データＶ_cdに含まれる各ブロックに対応する画素値の最小値、ダイナミックレンジ、および量子化コードを元に逆ADRCを実行して生成画像０を生成する。ステップＳ５３において、極値判定部８２が、生成された生成画像０の各画素の画素値が極値であるか否かを判定する。ステップＳ５４において、凹凸判定部８３が、極値判定部８２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。ステップＳ５５において、調整部８４が、生成画像０の画素のうち、極値であると判定された画素の画素値を調整する。

そして、ステップＳ５６において、基準画像復号化部６２が、復号化結果である生成画像０をディジタル画像信号Ｖ_dg2として後段（加算部６４、および図１のディジタルアナログ変換部４６等）に出力する。

ステップＳ５１において、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものではないと判定された場合、その符号化ディジタル画像データＶ_cdを差分画像復号化部６３に供給する。

例えば、基準画像ではない画像が差分画像１である場合、ステップＳ５７において、差分画像復号化部６３のｉ・ｗ_k検出部８５が、差分画像１に対応する符号化ディジタル画像データＶ_cdから、各ブロックに対応する２次元ｉ次多項式の次数ｉおよび係数ｗ_kを検出する。ステップＳ５８において、２次元ｉ次多項式生成部８６が、検出された次数ｉおよび係数ｗ_kを用いて各ブロックにそれぞれ対応する２次元ｉ次多項式を復元する。ステップＳ５９において、画素値演算部８７が、各ブロックにそれぞれ対応して復元された２次元ｉ次多項式に画素位置を代入して、差分画像の画素値を演算する。そして、このようにして復号化された差分画像１が加算部６４に供給される。

ステップＳ６０において、加算部６４が、差分画像復号化部６３から供給された復号化された差分画像１に、１枚前の生成されている生成画像（いまの場合、基準画像復号化部６２から供給された生成画像０）を加算して生成画像１を生成し、ステップＳ６１において、生成した生成画像１を生成画像保持部６５に出力する。生成画像保持部６５は、加算部６４から入力される生成画像１を保持する。そして、処理はステップＳ５６に進み、加算部６４が、生成した生成画像１をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

また例えば、基準画像ではない画像が差分画像２である場合、ステップＳ５７において、差分画像復号化部６３のｉ・ｗ_k検出部８５が、差分画像２に対応する符号化ディジタル画像データＶ_cdから、各ブロックに対応する２次元ｉ次多項式の次数ｉおよび係数ｗ_kを検出する。ステップＳ５８において、２次元ｉ次多項式生成部８６が、検出された次数ｉおよび係数ｗ_kを用いて各ブロックにそれぞれ対応する２次元ｉ次多項式を復元する。ステップＳ５９において、画素値演算部８７が、各ブロックにそれぞれ対応して復元された２次元ｉ次多項式に画素位置を代入して、差分画像の画素値を演算する。そして、このようにして復号化された差分画像２が加算部６４に供給される。

ステップＳ６０において、加算部６４が、差分画像復号化部６３から供給された復号化された差分画像２に、１枚前の生成されている生成画像（いまの場合、生成画像保持部６５に保持されている生成画像１）を加算して生成画像２を生成し、ステップＳ６１において、生成した生成画像２を生成画像保持部６５に出力する。生成画像保持部６５は、加算部６４から入力される生成画像２を保持する。そして、処理はステップＳ５６に進み、加算部６４が、生成した生成画像２をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

このディジタル画像信号Ｖ_dg2が上述した「２回目の符号化・復号化画像」であって画質が劣化したものであるので、符号化装置１６を用いてアナログ画像信号Ｖ_an1をコピーしようとすることが抑止される。

ここで、第２の構成例を有する復号化部３１−２から出力されるディジタル画像信号Ｖ_dg2（２回目の符号化・復号化画像）が、同じく第２の構成例を有する復号化部３１−１から出力されるディジタル画像信号Ｖ_dg1（１回目の符号化・復号化画像）よりも画質が劣化したものであることについて説明する。

図２３は、基準画像が２回目の符号化・復号化により画質が劣化するときの概要を示している。

基準画像中のあるブロックの原信号（１回目の符号化の前の状態）が同図Ａに示すとおりであったとする。この原信号は、極値が保存されるようにADRCにより復号化（量子化）され、復号化（逆量子化）されると、同図Ｂに示される「１回目の符号化・復号化処理後の信号」となる。この「１回目の符号化・復号化処理後の信号」を再び符号化するに際し、ホワイトノイズが付加されると、同図Ｃに示されるように画素値が変化して量子化代表値をまたぐことがある。この場合、２回目の符号化・復号化処理後の信号は、同図Ｄに示されるように、原信号とは大きく異なるものとなる。このように、極値を検出し、その凹凸に応じて量子化代表値を決めると、ノイズが付加された後の２回目の符号化では、原信号とは大きく異なる量子化代表値となり、画像の劣化として現れることになる。

図２４は、差分画像が２回目の符号化・復号化により画質が劣化するときの概要を示している。同図Ａに示された原画像が１回目の符号化のとき、各ブロックにそれぞれ対応する２次元ｉ次多項式の次数ｉが、同図Ｂに示すように決定されるとして、右上の丸印で囲んだブロック（以下、対象ブロックと称する）を例に挙げて説明する。この対象ブロックに含まれる画素の画素値は同図Ｃに示されるとおりであるとする。この対象ブロックは、１回目の符号化においては、極値数が比較的少ないので次数ｉが１に決定され、対象ブロックの画素値は画素位置（ｘ，ｙ）の２次元１次多項式と見なされる。１回目の符号化・復号化後には２次元１次多項式にフィッティングするような同図Ｄに示される「１回目の符号化・復号化の画素値」となり、元信号に近い値が保持できる。

ところが、１回目の符号化では次数ｉが１に決定されていた対象ブロックでも、２回目の符号化に際して、ホワイトノイズが付加されることにより次数ｉが１に決定されないことがある。例えば、２回目の符号化のとき、対象ブロックの画素の画素値はホワイトノイズにより同図Ｆに示される「１回目の符号化・復号化後の画素値に歪みが付加した画素値」のように変化しており、極値数が増加して、対象ブロックの次数ｉが２に決定されることがある（同図Ｅ）。

この場合、２回目の復号化では、対象ブロックの画素値が画素位置（ｘ，ｙ）の２次元２次多項式と見なされる。よって、２回目の符号化・復号化後には、２次元２次多項式にフィッティングするような同図Ｇに示される「２回目の符号化・復号化の画素値」となる。

同図Ｇに示される「２回目の符号化・復号化後の画素値」と同図Ｃに示される「原画像の画素値」を比較して明らかなように、両者は大きく異なっている。このように、１回目の符号化では、各ブロックの元信号に基づく極値数に従って２次元ｉ次多項式の次数ｉが決定されるので画質の劣化が抑止されるが、２回目の符号化では、ホワイトノイズにより極値数が変化し、適切な次数ｉが決定されないので、画質が劣化したものとなる。当然ながら、「２回目の符号化・復号化後の画素値」は、同図Ｄに示される「１回目の符号化・復号化後の画素値」と比較しても画質が劣化したものとなる。

次に、図２５は符号化部２２の第３の構成例を示している。符号化部２２の第３の構成例は、図６に示された第１の構成例に比較して、基準画像符号化部５２、および差分画像符号化部５５がより詳細に示されており、図１０に示された第２の構成例に比較して、差分画像符号化部５５の詳細な構成が異なる。第３の構成例における、第１または第２の構成例と共通の部位には同一の符号を附しているので、その説明は適宜省略する。

差分画像符号化部５５のブロック分割部９１は、差分画像生成部５４から供給される差分画像（図２６Ａ）を、同図Ｂに示されるように所定のサイズ（例えば、８×８画素）のブロックに分割する。極値数計算部９２は、同図Ｃに示されるように、図１１を参照して上述した極値判定方法によって、各ブロックｊに対し、ブロックｊに含まれる各画素の画素値が極値であるか否かを判定し、極値であると判定した画素の数（極値数）ｅｘ_jを求める。

クオリティ決定部９３は、各ブロックｊの極値数ｅｘ_jと所定の閾値ｔｈ_exとを比較する。そして、同図Ｄに示すように、極値数ｅｘ_jが閾値ｔｈ_exよりも小さいブロックｊに対しては、DCTにおいて画質を決定するパラメータであるQuality＝７５に決定する。極値数ｅｘ_jが閾値ｔｈ_ex以上であるブロックｊに対しては、Quality＝５０に決定する。なお、閾値ｔｈ_exは、任意に設定することが可能である。

画質を決定するパラメータであるQualityは、０から１００までの値をとるものとし、Quality＝１００が最も画質がよく（劣化が少なく）量子化が行われる。QualityはDCTにおいては用いられる量子化テーブルＱをスケーリングするときに用いられる。スケーリング後の量子化テーブルＱ’は、次式（１０）または（１１）によって算出される。
Ｑ’＝Ｑ×（５０／Quality） （Quality＜５０） …（１０）
Ｑ’＝Ｑ×（１００−Quality／５０） （５０≦Quality） …（１１）

DCT部９４は、差分画像の各ブロックを、決定されたQualityを用いてスケーリングした量子化テーブルＱ’を適用してDCTを行う。そして、DCTの結果得られる各ブロックに対応するDCT係数と適用したQualityとが、基準画像に対応するデータではないことを示す情報とともに符号化画像データＶ_cdとして、後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

次に、符号化部２２の第３の構成例による動作について、符号化装置１６の符号化部２２−２を例とし、図２７のフローチャートを参照して説明する。

まず始めにステップＳ７１として、アナログディジタル変換部４１のノイズ付加部４２がディジタル化する前のアナログ画像信号Ｖ_an1にノイズを付加する。ただし、ステップＳ７１の処理は省略しても構わない。

ステップＳ７２において、基準画像符号化部５２が前段から入力された一連の画像に対して所定の間隔で基準画像を設定し、ステップＳ７３において、符号化対象の画像が基準画像であるか否かを判定する。基準画像であると判定した場合、当該基準画像を基準画像符号化部５２に供給する。処理はステップＳ７４に進む。

ステップＳ７４において、基準画像符号化部５２のブロック分割部７１が、入力された基準画像を所定のサイズ（例えば、８×８画素）のブロックに分割する。ステップＳ７５において、極値判定部７２が、各ブロックに含まれる各画素の画素値が極値であるか否かを判定する。ステップＳ７６において、凹凸判定部７３が、極値判定部７２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。

ステップＳ７７において、ADRC部７４が、ブロック毎、極値が保存されるようにADRCを施す。そして、ステップＳ７８において、ADRC部７４が、ADRCの結果として、各ブロックの画素値の最小値、ダイナミックレンジ、および量子化コードを、基準画像のデータであることを示す情報とともに、符号化ディジタル画像データＶ_cdとして後段（基準画像復号化部５３、および図１の記録部４４等）に出力する。

ステップ７３において、符号化対象の画像が基準画像ではないと判定された場合、基準画像抽出部５１が当該画像を差分画像生成部５４に供給する。処理はステップＳ７９に進む。ステップＳ７９において、差分画像生成部５４が、供給された符号化対象の画像が「基準画像の１枚後の画像」であるか否かを判定する。「基準画像の１枚後の画像」であると判定された場合、処理はステップＳ８０に進む。

ステップＳ８０において、基準画像復号化部５３が、基準画像の符号化結果を復号化して（逆ADRCを施して）、復号化結果である生成画像０を生成し、差分画像生成部５４に出力する。なお、このステップＳ８０の処理は、上述したステップＳ７８の処理の後、直ちに実行しても構わない。ステップＳ８１において、差分画像生成部５４が、基準画像抽出部５１から供給された符号化対象の「基準画像の１枚後の画像」と、基準画像復号化部５３から供給された生成画像０との差分画像１を生成し、差分画像符号化部５５に供給する。

ステップＳ８２において、差分画像符号化部５５のブロック分割部９１は、入力された差分画像（いまの場合、差分画像１）を所定のサイズ（例えば、８×８画素）のブロックに分割する。ステップＳ８３において、極値数計算部９１が、差分画像の各ブロックに対して、極値数を求める。ステップＳ８４において、クオリティ決定部９３が、差分画像の各ブロックｊの極値数ｅｘ_jと所定の閾値ｔｈ_exとを比較し、Qualityを決定する。ステップＳ８５において、DCT部９４が、差分画像の各ブロックを、決定されたQualityを用いてスケーリングした量子化テーブルＱ’を適用してDCTを行う。

そして、処理はステップＳ７８に進み、差分画像復号化部５５が、DCTの結果得られる各ブロックに対応するDCT係数と適用したQualityとを、基準画像に対応するデータではないことを示す情報とともに符号化画像データＶ_cdとして、後段（差分画像復号化部５６、および図１の記録部４４等）に出力する。

ステップＳ７９において、符号化対象の画像が「基準画像の１枚後の画像」ではないと判定された場合、処理はステップＳ８６に進む。例えば、符号化対象の画像を「基準画像の２枚後の画像」と仮定する。

ステップＳ８６において、差分画像復号化部５６が、差分画像１の符号化結果を復号化し、復号化結果を差分画像生成部５４に供給する。そして、差分画像生成部５４が、差分画像１の符号化・復号化の結果と生成画像０と加算して生成画像１を生成する。なお、このステップＳ８６の処理は、上述したステップＳ７８の処理の後、直ちに実行しても構わない。

そして、ステップＳ８７において、差分画像生成部５４が、生成した生成画像１と、基準画像抽出部５１から供給された「基準画像の２枚後の画像」との差分画像２を生成して差分画像符号化部５５に出力する。この後、処理はステップＳ８２に進み、それ以降の処理が行われて、差分画像２が符号化され、符号化（DCT量子化）結果である、各ブロックに対応するDCT係数と適用したQualityとが、基準画像に対応するデータではないことを示す情報とともに符号化画像データＶ_cdとして、後段（差分画像復号化部５６、および図１の記録部４４等）に出力される。

符号化部２２の後段に出力された符号化ディジタル画像データＶ_cdは、記録部４４により記録メディア１７に記録されたり、復号化部３１−２によって復号化されたりする。以上で符号化部２２の第３の構成例による動作説明を終了する。

次に、符号化部２２の第３の構成例による符号化に対応した復号化を行う復号化部３１の第３の構成例について説明する。図２８は復号化部３１の第３の構成例を示している。復号化部３１の第３の構成例は、図８に示された第１の構成例に比較して、基準画像復号化部６２と差分画像復号化部６３がより詳細に示されており、図２０に示された第２の構成例に比較して、差分画像復号化部６３の詳細な構成が異なる。第３の構成例における、第１または第２の構成例と共通の部位には同一の符号を附しているので、その説明は適宜省略する。

差分画像復号化部６３のクオリティ検出部１０１は、データ分離部６１から入力される差分画像に対応する符号化ディジタル画像データＶ_cdから、差分画像の各ブロックのクオリティ(Quality)とDCT係数を検出する。

量子化テーブル調整部１０２は、復号化するブロック毎に、検出されたQualityを用いて量子化テーブルＱをスケーリングする。逆DCT部１０３は、スケーリングされた量子化テーブルＱ’を適用して検出されたDCT係数に基づいて逆DCTを行い、差分画像の画素値を復号化する。このようにして、復号化された差分画像は、加算部６４に供給される。

復号化部３１の第３の構成例による動作について、符号化装置１６の復号化部３１−２を例に、図１４のフローチャートを参照して説明する。符号化部３１−２には、符号化部２２−２から符号化ディジタル画像データＶ_cd（または記録部４４によって記録メディア１７から読み出される符号化ディジタル画像データＶ_rd）が供給されているものとする。

ステップＳ９１において、データ分離部６１が、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものであるか否かを判定する。復号化対象が基準画像に対応するものであると判定した場合、その符号化ディジタル画像データＶ_cdを基準画像復号化部６２に供給する。

ステップＳ９２において、基準画像復号化部６２の逆ADRC部８１が、基準画像に対応する符号化ディジタル画像データＶ_cdに含まれる各ブロックに対応する画素値の最小値、ダイナミックレンジ、および量子化コードを元に逆ADRCを実行して生成画像０を生成する。ステップＳ９３において、極値判定部８２が、生成された生成画像０の各画素の画素値が極値であるか否かを判定する。ステップＳ９４において、凹凸判定部８３が、極値判定部８２において画素値が極値であると判定された画素に対し、画素値が極大値（上に凸）であるか、極小値（凹、すなわち下に凸）であるかを判定する。ステップＳ９５において、調整部８４が、生成画像０の画素のうち、極値であると判定された画素の画素値を調整する。

そして、ステップＳ９６において、基準画像復号化部６２が、復号化結果である生成画像０をディジタル画像信号Ｖ_dg2として後段（加算部６４、および図１のディジタルアナログ変換部４６等）に出力する。

ステップＳ９１において、前段から入力された符号化ディジタル画像データＶ_cd（すなわち、復号化対象）が基準画像に対応するものではないと判定された場合、その符号化ディジタル画像データＶ_cdを差分画像復号化部６３に供給する。

例えば、基準画像ではない画像が差分画像１である場合、ステップＳ９７において、差分画像復号化部６３のクオリティ検出部１０１が、データ分離部６１から入力された差分画像１に対応する符号化ディジタル画像データＶ_cdから、差分画像１の各ブロックのQualityとDCT係数を検出する。ステップＳ９８において、量子化テーブル調整部１０２が、検出された各ブロックのQualityを用いて量子化テーブルＱをスケーリングする。ステップＳ９９において、逆DCT部１０３が、スケーリングされた量子化テーブルＱ’を適用して検出されたDCT係数に基づいて逆DCTを行い、差分画像１の画素の画素値を復号化する。そして、このようにして復号化された差分画像１が加算部６４に供給される。

ステップＳ１００において、加算部６４が、差分画像復号化部６３から供給された復号化された差分画像１に、１枚前の生成されている生成画像（いまの場合、基準画像復号化部６２から供給された生成画像０）を加算して生成画像１を生成し、ステップＳ１０１において、生成した生成画像１を生成画像保持部６５に出力する。生成画像保持部６５は、加算部６４から入力される生成画像１を保持する。そして、処理はステップＳ９６に進み、加算部６４が、生成した生成画像１をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

また例えば、基準画像ではない画像が差分画像２である場合、ステップＳ９７において、差分画像復号化部６３のクオリティ検出部１０１が、データ分離部６１から入力された差分画像２に対応する符号化ディジタル画像データＶ_cdから、差分画像２の各ブロックのQualityとDCT係数を検出する。ステップＳ９８において、量子化テーブル調整部１０２が、検出された各ブロックのQualityを用いて量子化テーブルＱをスケーリングする。ステップＳ９９において、逆DCT部１０３が、スケーリングされた量子化テーブルＱ’を適用して検出されたDCT係数に基づいて逆DCTを行い、差分画像２の画素の画素値を復号化する。そして、このようにして復号化された差分画像２が加算部６４に供給される。

ステップＳ１００において、加算部６４が、差分画像復号化部６３から供給された復号化された差分画像２に、１枚前の生成されている生成画像（いまの場合、生成画像保持部６５に保持されている生成画像１）を加算して生成画像２を生成し、ステップＳ１０１において、生成した生成画像２を生成画像保持部６５に出力する。生成画像保持部６５は、加算部６４から入力される生成画像２を保持する。そして、処理はステップＳ９６に進み、加算部６４が、生成した生成画像２をディジタル画像信号Ｖ_dg2として後段（図１のディジタルアナログ変換部４６等）に出力する。

このディジタル画像信号Ｖ_dg2が上述した「２回目の符号化・復号化画像」であって画質が劣化したものであるので、符号化装置１６を用いてアナログ画像信号Ｖ_an1をコピーしようとすることが抑止される。

ここで、第３の構成例を有する復号化部３１−２から出力されるディジタル画像信号Ｖ_dg2（２回目の符号化・復号化画像）が、同じく第２の構成例を有する復号化部３１−１から出力されるディジタル画像信号Ｖ_dg1（１回目の符号化・復号化画像）よりも画質が劣化したものであることについて説明する。

基準画像の画質が２回目の符号化・復号化によって劣化するときの概要については、図２３を参照して上述した内容と同一であるので、その説明は省略する。

図３０は、差分画像が２回目の符号化・復号化により画質が劣化するときの概要を示している。
同図Ａに示された原画像が１回目の符号化のとき、同図Ｂに示すように各ブロックに対してQualityが決定されるとして、右上の丸印で囲んだブロック（以下、対象ブロックと称する）を例に挙げて説明する。この対象ブロックに含まれる画素の画素値は同図Ｃに示されるとおりであるとする。この対象ブロックは、１回目の符号化においてQuality＝７５に決定されているので、Quality＝５０とされるよりも高画質でDCTが行われる。よって、１回目の符号化・復号化後には同図Ｄに示される「１回目の符号化・復号化の画素値」となり、元信号に近い値が保持できる。

ところが、１回目の符号化ではQuality＝７５とされていた対象ブロックでも、２回目の符号化に際して、ホワイトノイズが付加されることにより極値数が増加することがある。例えば、ホワイトノイズが付加されたことにより、対象ブロックの極値数が閾値ｔｈ_exよりも増加してしまい、Quality＝５０に決定されてしまうことがある（同図Ｅ）。

２回目の符号化のとき、対象ブロックの画素の画素値はホワイトノイズにより同図Ｆに示される「１回目の符号化・復号化後の画素値に歪みが付加した画素値」のように変化しており、さらに、Quality＝７５よりも画質の劣るQuality＝５０でDCTが行われる。この場合、２回目の符号化・復号化後には、画像の高周波成分が大きく削られて同図Ｇに示される「２回目の符号化・復号化の画素値」となる。

同図Ｇに示される「２回目の符号化・復号化後の画素値」と同図Ｃに示される「原画像の画素値」を比較して明らかなように、両者は大きく異なっている。このように、１回目の符号化では、各ブロックの元信号に基づく極値数によって適切にQualityが決定されるので画質の劣化が抑止されるが、２回目の符号化では、ホワイトノイズにより極値数が変化し、適切にQualityが決定されないので画質が劣化したものとなる。当然ながら、「２回目の符号化・復号化後の画素値」は、同図Ｄに示される「１回目の符号化・復号化後の画素値」と比較しても画質が劣化したものとなる。

以上説明したように、再生装置１４から出力されるアナログ画像信号Ｖ_an1にはディジタルアナログ変換時の特性によりアナログノイズ（高周波成分が付加された歪み）が生じているが、これがディスプレイ１５に表示されるときには、画質に何ら影響を及ぼすことはない。

しかしながら、再生装置１４から出力されるアナログ画像信号Ｖ_an1が符号化装置１６によって再度符号化された場合、復号化時に画質が劣化しているように符号化されるので、符号化装置１６がアナログ画像信号をコピーする用途に適さないものとなる。

また、再生結果が劣化していることを承知の上で、符号化装置１６によって符号化ディジタル画像データＶ_cdが記録された記録メディア１７を再生装置１４等によって再生し、再生結果を符号化装置１６によって再度符号化された場合、復号化時にさらに一層画質が劣化しているものとなる。よって、符号化装置１６がアナログ画像信号の２回目以降のコピー用途に適さないものとなる。したがって、符号化装置１６を用いたアナログデータのコピーが抑制されることになる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３１に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

このパーソナルコンピュータ２００は、CPU(Central Processing Unit)２０１を内蔵している。CPU２０１にはバス２０４を介して、入出力インタフェース２０５が接続されている。バス２０４には、ROM(Read Only Memory)２０２およびRAM(Random Access Memory)２０３が接続されている。

入出力インタフェース２０５には、ユーザが操作コマンドを入力するキーボード、マウス、等の入力デバイスよりなる入力部２０６、処理結果の映像等を表示するディスプレイよりなる出力部２０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部２０８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部２０９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM、DVDを含む）、光磁気ディスク（ＭＤを含む）、もしくは半導体メモリなどの記録媒体２１１に対してデータを読み書きするドライブ２１０が接続されている。

このパーソナルコンピュータ２００に上述した一連の処理を実行させるプログラムは、記録媒体２１１に格納された状態でパーソナルコンピュータ２００に供給され、ドライブ２１０によって読み出されて記憶部２０８に内蔵されるハードディスクドライブにインストールされている。記憶部２０８にインストールされているプログラムは、入力部２０６に入力されるユーザからのコマンドに対応するCPU２０１の指令によって、記憶部２０８からRAM２０３にロードされて実行される。

なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した画像表示システムの構成例を示すブロック図である。 ホワイトノイズについて説明するための図である。 画像表示システムの動作概要を説明するための図である。 所定の間隔で設ける基準画像について説明する図である。 基準画像、差分画像、および生成画像等の関係を説明するための図である。 図１における符号化部の第１の構成例を示すブロック図である。 図６に示された符号化部の第１の構成例による動作を説明するフローチャートである。 符号化部の第１の構成例に対応する復号化部の第１の構成例を示すブロック図である。 図８に示された復号化部の第１の構成例による動作を説明するフローチャートである。 図１における符号化部の第２の構成例を示すブロック図である。 極値であるか否かを判定する方法を説明するための図である。 極値の凹凸を判定する方法を説明するための図である。 極値を保存したADRCを説明するための図である。 １次元ｉ次多項式の一例を示す図である。 ２次元ｉ次多項式の一例を示す図である。 最小自乗法を説明するための図である。 ２次元ｉ次多項式の係数を求める方法を説明するための図である。 図１０に示された符号化部の第２の構成例による動作を説明するフローチャートである。 符号化部の第２の構成例による動作を説明するための図である。 符号化部の第２の構成例に対応する復号化部の第２の構成例を示すブロック図である。 図２０の調整部について説明するための図である。 図２０に示された復号化部の第２の構成例による動作を説明するフローチャートである。 符号化部の第２の構成例による効果を説明するための図である。 符号化部の第２の構成例による効果を説明するための図である。 図１における符号化部の第３の構成例を示すブロック図である。 図２５に示された符号化部の第３の構成例による動作を説明するための図である。 図２５に示された符号化部の第３の構成例による動作を説明するフローチャートである。 符号化部の第３の構成例に対応する復号化部の第３の構成例を示すブロック図である。 図２８に示された復号化部の第３の構成例による動作を説明するフローチャートである。 符号化部の第３の構成例による効果を説明するための図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像表示システム， １２ 符号化装置， １４ 再生装置， １６ 符号化装置， ２２ 符号化部， ３１ 復号化部， ３２ ディジタルアナログ変換部， ４１ アナログディジタル変換部， ４２ ノイズ付加部，５１ 基準画像抽出部， ５２ 基準画像符号化部， ５３ 基準画像復号化部， ５４ 差分画像生成部， ５５ 差分画像符号化部， ５６ 差分画像復号化部， ６１ データ分離部， ６２ 基準画像復号化部， ６３ 差分画像復号化部， ６４ 加算部， ６５ 生成画像保持部， ７１ ブロック分割部， ７２ 極値判定部， ７３ 凹凸判定部， ７４ ADRC部， ７５ ブロック分割部， ７６ 極値数計算部， ７７ 次数ｉ決定部， ７８ 係数演算部， ８１ 逆ADRC部， ８２ 極値判定部， ８３ 凹凸判定部， ８４ 調整部， ８５ ｉ・ｗ_k検出部， ８６ ２次元ｉ次多項式生成部， ８７ 画素値演算部， ９１ ブロック分割部， ９２ 極値数計算部， ９３ クオリティ決定部， ９４ DCT部， １０１ クオリティ検出部， １０２ 量子化テーブル調整部， １０３ 逆DCT部， ２００ パーソナルコンピュータ， ２０１ CPU， ２１１ 記録媒体

Claims (21)

1. フレーム単位で連続的に入力された画像データを符号化する符号化装置において、
   前記フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
   前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
   所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
   前記第１の符号化手段による符号化結果を復号化する第１の局所復号化手段と、
   前記第２の符号化手段による符号化結果を復号化する第２の局所復号化手段と、
   第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
   を含み、
   前記第１の符号化手段は、
   前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
   前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
   前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
   前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
   前記第２の符号化手段は、
   前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
   前記各ブロックの極値数を計算する極値数計算手段と、
   前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
   前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含む
   符号化装置。
2. 前記画像データには、ノイズが付加されている
   請求項１に記載の符号化装置。
3. 前記分離手段に入力される前の前記画像データにノイズを付加するノイズ付加手段を
   さらに含む請求項１に記載の符号化装置。
4. 前記画像データは、少なくとも１度符号化された後、復号化されている
   請求項１に記載の符号化装置。
5. 前記第１および第２の符号化手段の出力結果を復号化する復号化手段を
   さらに含む請求項１に記載の符号化装置。
6. 前記量子化手段による量子化は、ADRC(Adaptive Dynamic Range Coding)である
   ことを特徴とする請求項１に記載の符号化装置。
7. 前記第１の符号化手段は、前記第１の画像データの符号化結果であることを示す情報と、前記ブロック毎に前記ADRCの結果である量子化コード、画素値の最小値、およびダイナミックレンジを符号化結果として出力する
   ことを特徴とする請求項６に記載の符号化装置。
8. 前記第２の符号化手段は、前記第２の画像データの符号化結果であることを示す情報と、前記ブロック毎に前記近似式の次数および各次数項の係数を符号化結果として出力する
   ことを特徴とする請求項１に記載の符号化装置。
9. 前記第２の符号化手段は、
   前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
   前記各ブロックの極値数を計算する極値数計算手段と、
   前記各ブロックに対して、離散コサイン変換において画質を決定するためのパラメータであり、その値が大きいほど高画質であることを示すクオリティを、計算された前記極値数が所定の閾値よりも小さい場合には第１の値に決定し、計算された前記極値数が所定の閾値以上である場合には前記第１の値よりも小さい第２の値に決定する決定手段と、
   前記決定手段によって決定された前記クオリティに従って調整した量子化テーブルを用い、前記各ブロックにおける第２の画像データに離散コサイン変換を施す変換手段とを含む
   ことを特徴とする請求項１に記載の符号化装置。
10. 前記第２の符号化手段は、前記第２の画像データの符号化結果であることを示す情報と、前記ブロック毎に前記離散コサイン変換の結果である離散コサイン係数と前記クオリティを符号化結果として出力する
    ことを特徴とする請求項９に記載の符号化装置。
11. フレーム単位で連続的に入力された画像データを符号化する符号化装置の符号化方法において、
    前記フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化ステップと、
    前記第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、
    前記第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップと
    を含み、
    前記第１の符号化ステップは、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、
    前記第２の符号化ステップは、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの極値数を計算する極値数計算ステップと、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定ステップと、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出ステップとを含む
    符号化方法。
12. フレーム単位で連続的に入力された画像データを符号化するためのプログラムであって、
    前記フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化ステップと、
    前記第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、
    前記第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップと
    を含み、
    前記第１の符号化ステップは、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、
    前記第２の符号化ステップは、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの極値数を計算する極値数計算ステップと、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定ステップと、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出ステップとを含む
    処理を実行させるためのプログラムが記録されたコンピュータが読み取り可能な記録媒体。
13. フレーム単位で連続的に入力された画像データを符号化するためのプログラムであって、
    前記フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離ステップと、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化ステップと、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化ステップと、
    前記第１の符号化ステップの処理による符号化結果を復号化する第１の局所復号化ステップと、
    前記第２の符号化ステップの処理による符号化結果を復号化する第２の局所復号化ステップと、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成ステップと
    を含み、
    前記第１の符号化ステップは、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化ステップとを含み、
    前記第２の符号化ステップは、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化ステップと、
    前記各ブロックの極値数を計算する極値数計算ステップと、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定ステップと、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出ステップとを含む
    処理をコンピュータに実行させるプログラム。
14. フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果である第１の符号化画像データを復号化する第１の局所復号化手段と、
    前記第２の符号化手段による符号化結果である第２の符号化画像データを復号化する第２の局所復号化手段と、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
    を含み、
    前記第１の符号化手段は、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
    前記第２の符号化手段は、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの極値数を計算する極値数計算手段と、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含む
    符号化装置から出力された、前記第１の符号化画像データと前記第２の符号化画像データからなる符号化データを復号化する復号化装置において、
    前記符号化データを前記第１の符号化画像データと前記第２の符号化画像データに分離する分離手段と、
    分離された前記第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化手段と、
    分離された前記第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化手段と
    を含み、
    前記第１の復号化手段は、
    前記第１の符号化画像データに逆ADRC(Adaptive Dynamic Range Coding)を施して、所定のサイズのブロック単位で前記第１の復号化データを生成する逆量子化手段と、
    前記第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整手段とを含む
    復号化装置。
15. 前記第２の復号化データと前記第１の復号化データを加算することにより合成画像データを生成する合成手段をさらに含み、
    前記合成手段は、さらに、前記第２の復号化データと前記第２の復号化データの１枚前に生成した前記合成画像データを加算することにより、次の合成画像データを生成する
    請求項１４に記載の復号化装置。
16. 前記第２の復号化手段は、
    前記第２の符号化画像データから、前記第２の復号化データを構成する各ブロックについて、各ブロックに含まれる画素の画素値と画素位置の関係を示す近似式の次数および各次数項の係数を抽出する抽出手段と、
    抽出された前次数および前記係数に基づいて前記近似式を生成し、生成した前記近似式に画素位置を代入することにより、前記第２の復号化データの画素値を算出する算出手段とを含む
    請求項１４に記載の復号化装置。
17. 前記第２の復号化手段は、
    前記第２の符号化画像データから、前記第２の復号化データを構成する各ブロックについて、離散コサイン変換の結果である離散コサイン係数と、離散コサイン変換において画質を決定するためのパラメータであるクオリティを抽出する抽出手段と、
    抽出された前記クオリティに従って調整した量子化テーブルを用いて、前記離散コサイン係数に逆離散コサイン変換を施すことにより、前記第２の復号化データの画素値を算出する算出手段とを含む
    請求項１４に記載の復号化装置。
18. フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果である第１の符号化画像データを復号化する第１の局所復号化手段と、
    前記第２の符号化手段による符号化結果である第２の符号化画像データを復号化する第２の局所復号化手段と、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
    を含み、
    前記第１の符号化手段は、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
    前記第２の符号化手段は、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの極値数を計算する極値数計算手段と、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含む
    符号化装置から出力された、前記第１の符号化画像データと前記第２の符号化画像データからなる符号化データを復号化する復号化方法において、
    前記符号化データを前記第１の符号化画像データと前記第２の符号化画像データに分離する分離ステップと、
    分離された前記第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、
    分離された前記第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップと
    を含み、
    前記第１の復号化ステップは、
    前記第１の符号化画像データに逆ADRC(Adaptive Dynamic Range Coding)を施して、所定のサイズのブロック単位で前記第１の復号化データを生成する逆量子化ステップと、
    前記第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む
    復号化方法。
19. フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果である第１の符号化画像データを復号化する第１の局所復号化手段と、
    前記第２の符号化手段による符号化結果である第２の符号化画像データを復号化する第２の局所復号化手段と、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
    を含み、
    前記第１の符号化手段は、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
    前記第２の符号化手段は、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの極値数を計算する極値数計算手段と、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含む
    符号化装置から出力された、前記第１の符号化画像データと前記第２の符号化画像データからなる符号化データを復号化するためのプログラムであって、
    前記符号化データを前記第１の符号化画像データと前記第２の符号化画像データに分離する分離ステップと、
    分離された前記第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、
    分離された前記第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップと
    を含み、
    前記第１の復号化ステップは、
    前記第１の符号化画像データに逆ADRC(Adaptive Dynamic Range Coding)を施して、所定のサイズのブロック単位で前記第１の復号化データを生成する逆量子化ステップと、
    前記第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む
    処理を実行させるためのプログラムが記録されたコンピュータが読み取り可能な記録媒体。
20. フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果である第１の符号化画像データを復号化する第１の局所復号化手段と、
    前記第２の符号化手段による符号化結果である第２の符号化画像データを復号化する第２の局所復号化手段と、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
    を含み、
    前記第１の符号化手段は、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
    前記第２の符号化手段は、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの極値数を計算する極値数計算手段と、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含む
    符号化装置から出力された、前記第１の符号化画像データと前記第２の符号化画像データからなる符号化データを復号化するためのプログラムであって、
    前記符号化データを前記第１の符号化画像データと前記第２の符号化画像データに分離する分離ステップと、
    分離された前記第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化ステップと、
    分離された前記第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化ステップと
    を含み、
    前記第１の復号化ステップは、
    前記第１の符号化画像データに逆ADRC(Adaptive Dynamic Range Coding)を施して、所定のサイズのブロック単位で前記第１の復号化データを生成する逆量子化ステップと、
    前記第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定ステップと、
    前記極値判定ステップの処理によって極値と判定された画素値の凹凸を判定する凹凸判定ステップと、
    前記第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整ステップとを含む
    を含む処理をコンピュータに実行させるプログラム。
21. 画像データを符号化する符号化部と、前記符号化部からの符号化データを復号化する復号化部とを備え、前記画像データに対して符号化と復号化を繰り返すと前記画像データが劣化される画像処理システムにおいて、
    前記符号化部は、
    フレーム単位で連続的に入力された画像データに対して基準画像を設定し、前記画像データを前記基準画像に対応する第１の画像データと、前記基準画像以外の画像に対応する第２の画像データとに分離する分離手段と、
    前記第１の画像データを、画素値が極値である画素の数を表す極値数を符号化・復号化の前後において保存するように符号化する第１の符号化手段と、
    所定の処理が施された前記第２の画像データを、前記極値数に応じて符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果を復号化する第１の局所復号化手段と、
    前記第２の符号化手段による符号化結果を復号化する第２の局所復号化手段と、
    第２の画像データと、前記第２の画像データの１枚前の前記第１または第２の画像データの符号化・復号化結果との差分からなる差分画像データを生成する差分画像データ生成手段と
    を含み、
    前記第１の符号化手段は、
    前記第１の画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の画像データの各ブロックに対して、極値数と極値の画素値の凹凸が符号化・復号化後においても保存されるように、極小値については前記極小値よりも小さく前記極小値に最も近い量子化代表値に、極大値については前記極大値よりも大きく前記極大値に最も近い量子化代表値に変換する量子化を行う量子化手段とを含み、
    前記第２の符号化手段は、
    前記差分画像データを所定のサイズのブロックにブロック化するブロック化手段と、
    前記各ブロックの極値数を計算する極値数計算手段と、
    前記各ブロックに対し、前記極値数に対応して各ブロックに含まれる画素の画素値と画素位置との関係を示す近似式の次数を、前記極大値が大きいほど大きい値に決定する次数決定手段と、
    前記各ブロックに含まれる画素の画素値と画素位置に基づく最小自乗法により前記近似式の各次数項の係数を算出する係数算出手段とを含み、
    前記復号化部は、
    前記符号化データを前記第１の符号化画像データと前記第２の符号化画像データに分離する分離手段と、
    分離された前記第１の符号化画像データを復号化し、第１の復号化データを生成する第１の復号化手段と、
    分離された前記第２の符号化画像データを復号化し、第２の復号化データを生成する第２の復号化手段と
    を含み、
    前記第１の復号化手段は、
    前記第１の符号化画像データに逆ADRC(Adaptive Dynamic Range Coding)を施して、所定のサイズのブロック単位で前記第１の復号化データを生成する逆量子化手段と、
    前記第１の復号化データの各ブロックの各画素の画素値が極値であるか否かを判定する極値判定手段と、
    前記極値判定手段によって極値と判定された画素値の凹凸を判定する凹凸判定手段と、
    前記第１の復号化データの画素値を、極小値については所定の値だけ増加させ、極大値については所定の値だけ減少させることによって調整する調整手段とを含む
    画像処理システム。

Images