JP4622762B2

JP4622762B2 - 画像データ圧縮・復元方法

Info

Publication number: JP4622762B2
Application number: JP2005267358A
Authority: JP
Inventors: 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2005-09-14
Filing date: 2005-09-14
Publication date: 2011-02-02
Anticipated expiration: 2025-09-14
Also published as: JP2007081857A

Description

本発明は、画像データを圧縮して保存や伝送し、利用する際に復元する画像データ圧縮・復元方法に関するものである。

複雑な計算が必要な周波数空間への変換などを行わずに、簡易な計算処理で画像データを圧縮する手法として、二次元分布するデータを間引くという方法がある（例えば特許文献１）。

この特許文献１に開示されている方法は市松模様状に画素の情報を間引いてデータを圧縮し、間引かれて欠落した画素の値は間引かれずに残った周辺の１２個の画素の値から図形のパターンを解析して補間処理により復元するという方法である。

さらに、データ復元過程で実施される補間計算を予め想定してその一次結合（一次式）の方法を決めておく、という方法も従来からある（例えば特許文献２）。

これらの何れの従来の方法でも広範囲の画素の値を調べて図形パターンを把握することにより、再現性向上に有用な方法である。

また、動画像の画素を市松模様状に間引く際に、当フレーム及び時間的に前後に位置するフレームにある周辺の画素の値から、相関性の高い方向を選択、または、方向性はないとの判断を行って、間引かれる画素毎にクラス分けを行ってその情報を伝送し、復元時にはクラス分けに従って係数を決めて周辺画素の一次結合（一次式）で補間計算する方法も従来からある（例えば特許文献３）。

この特許文献３に開示されている方法は、圧縮過程では間引かれて欠落する画素の値とその周辺の画素の値を元に補間情報を生成しておき、復元過程では補間情報を参照して画素補間演算を行うもので、再現性向上に有用である。

また８ビット単位で扱われることが多い画像データのフォーマットに着目して、１画素の情報を保存するのに必要なビット数との差である空きビットに格納することで、補間情報を保存する方法が提供されている（例えば特許文献４）。
特開昭５２−３４６３５号公報（第２頁右上欄第８行乃至第３頁第左上欄第１９行）特開昭６３−４８０８８号公報（第２頁右上欄第１１行乃至左下欄第３行）特開平７−４６５８９号公報（段落００１２，００１３）特開２００４−２３４４５号公報（第１頁左欄の解決手段の項）

ところで、市松模様状に欠落した画素の値を補間で再現する場合に、特許文献１や特許文献２に開示されている方法を用いると、間引かれる画素周辺の画素の画素値を広い範囲で参照することで図形の特性を把握することができ、復元時の再現性が向上するという利点があるものの、演算規模が大きくなるという問題があった。

また特許文献３に開示されている画素補間に有用な情報を図形の特性把握により生成して保存しておく方法では、演算規模拡大に加えて、図形の特性を表現するには補間借報の量が大きくなるという問題があった。また動画像の時間的に前後に位置するフレームにある周辺の画素の値も参照するので、前後の画像を一次記憶するためのメモリも必要になるという問題もあった。

一方デジタル画像では２５６階調の８ビットのデータが多く用いられるが、この場合には、間引かれずに残る画素のデータは画像データのフォーマットに整合して格納されるので空きビットは生じず、そのため特許文献４に開示されている方法は利用できない。

そのためデータ量、演算量の抑制・低減によって圧縮復元の効率化が図れる画像データ圧縮・復元の方法が希求されていた。

本発明は、上記の問題点に鑑みて為されたもので、その目的とするところは、圧縮復元の効率化が図れる画像データ圧縮・復元方法を提供することにある。

上述の目的を達成するために、請求項１の発明は、市松模様状に画素の情報を間引いて画像データを圧縮し、間引かれて情報が欠落した画素の値を間引かれずに残った周辺の画素の値から補間復元する、画像データ圧縮・復元方法であって、データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位ｎ（ｎ≧１）ビットを無視した値において、上下の画素の上記値の平均値と、左右の画素の上記値の平均値との間で所定以上の差がある場合にのみ、前記間引き対象画素を復元する際に利用する補間情報を生成するとともに、間引かれずに残る画素の画素値のデータの下位の前記ｎビットを置き換えて前記生成した補間情報を格納し、データ復元過程においては、復元対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎを無視した値において、上下の画素の上記値の平均値と、左右の画素の上記値の平均値との間で所定以上の差がある場合に、前記補間情報を参照して復元対象画素の補間を行い、上記の差がない場合に補間情報を参照せずに復元対象画素の補間を行い、データ圧縮過程においては、前記間引き対象画素の画素値と、前記間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列との相対関係を、間引かれた各画素毎の前記補間情報として画像データに格納し、データ復元過程においては、間引かれた画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列から前記補間情報を用いて欠落した画素を再現することを特徴とする。

請求項１の発明によれば、条件を満たす場合に限り、補間情報が生成され、また参照されるため、画像データ全体として圧縮、復元の際のデータ量、演算量を抑制・低減することができ、効率化が図れる。また、大きく明暗の変化する部分における画素において補間情報が生成されるため、該補間情報により当該部分の画像が復元されても明暗の変化が大きくて画像としての違和感が小さく、また画素値が均一な部分においては補間情報が生成されることがないため、画質の低下がなく、画素値が均一な部分の復元画像に違和感を生じない。さらに、補間情報によりデータ量を増えないようにすることで、圧縮・復元の効率化が図れる。また、補間情報そのものを簡素にすることによって、圧縮・復元の効率化が図れる。

請求項２の発明は、市松模様状に画素の情報を間引いて画像データを圧縮し、間引かれて情報が欠落した画素の値を間引かれずに残った周辺の画素の値から補間復元する、画像データ圧縮・復元方法であって、データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位ｎ（ｎ≧１）ビットを無視した値において、最大値と最小値との間で所定以上の差がある場合にのみ、前記間引き対象画素を復元する際に利用する補間情報を生成するとともに、間引かれずに残る画素の画素値のデータの下位の前記ｎビットを置き換えて前記生成した補間情報を格納し、データ復元過程においては、復元対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値において、最大値と最小値との間で所定以上の差がある場合に、前記補間情報を参照して復元対象画素の補間を行い、上記の差がない場合に補間情報を参照せずに復元対象画素の補間を行い、データ圧縮過程においては、前記間引き対象画素の画素値と、前記間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列との相対関係を、間引かれた各画素毎の前記補間情報として画像データに格納し、データ復元過程においては、間引かれた画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列から前記補間情報を用いて欠落した画素を再現することを特徴とする。

請求項２の発明によれば、請求項１の発明と同様に、条件を満たす場合に限り、補間情報が生成され、また参照されるため、画像データ全体として圧縮、復元の際のデータ量、演算量を抑制・低減することができ、効率化が図れる。また、大きく明暗の変化する部分における画素において補間情報が生成されるため、該補間情報により当該部分の画像が復元されても明暗の変化が大きくて画像としての違和感が小さく、また画素値が均一な部分においては補間情報が生成されることがないため、画質の低下がなく、画素値が均一な部分の復元画像に違和感を生じない。さらに、補間情報によりデータ量を増えないようにすることで、圧縮・復元の効率化が図れる。また、補間情報そのものを簡素にすることによって、圧縮・復元の効率化が図れる。

請求項３の発明では、データ圧縮過程においては、間引き対象画素の上下左右の４画素において、画素の値の最大値の下位ｎビットを切り下げて２ ^ｎを加えた値と、画素の値の最小値の下位ｎビットを切り下げた値の間を２ ^ｎ−１等分して最小値から最大値までの各々の値に０から２ ^ｎ−１までの番号を付け、間引き対象画素の画素値と最も近い画素値の番号を間引き対象画素の補間情報として生成し、データ復元過程においては、復元対象画素の上下左右に隣接する４画素の最大値の下位ｎビットを切り下げて２ ^ｎを加えた値と最小値の下位ｎビットを切り下げた値の間を２ ^ｎ−１等分して最小値から最大値までの各々の値に０から２ ^ｎ−１までの番号を付け、隣の画素の下位ｎビットから読み取った補間情報と同じ番号の画素値を復元対象画素の補間結果とすることを特徴とする。

請求項４の発明では、データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求め、夫々の平均値に番号０〜３を付け、間引き対象画素の画素値と最も近い画素値の番号を選択し、その番号を２ビットデータ分の補間情報として生成し、データ復元過程においては、データ圧縮過程と同様に復元対象画素の上下左右に隣接する４画素の値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求めて０〜３の番号を付け、読み出した補間情報と同じ番号の画素値を復元対象画素の画素補間結果とすることを特徴とする。

請求項５の発明では、前記画像データは前記画素値としての輝度信号と色差信号からなるカラー画像データであって、データ圧縮過程においては、間引き対象画素の輝度信号の補間情報を、間引き対象の画素の周辺画素の輝度信号と色差信号とに分割して埋め込むことを特徴とする。また、請求項６の発明では、前記色差信号は、それぞれ縦２、横２の計４画素で共有された２種類の色差信号からなり、データ圧縮過程では、前記４画素中で間引き対象となる２画素のうち、一方の画素の輝度信号の補間情報は一方の色差信号と間引き対象とならない２画素のうち一方の画素の輝度信号とに分割して埋め込み、他方の画素の輝度信号の補間情報は他方の色差信号と間引き対象とならない２画素のうち他方の画素の輝度信号とに分割して埋め込むことを特徴とする。

請求項５の発明によれば、画像データ復元に用いる補間情報を周辺画素の輝度信号と色差信号に埋め込むことで、データ量を増やすことなく画像データの圧縮・復元の効率化が図れる。

本発明は、画像データの圧縮・復元の効率化が図れるという効果がある。

以下本発明を実施形態により説明する。

図１は本実施形態の画像データ圧縮・復元方法の基本的な流れを示しており、画像データＡを図１（ａ）に示すように市松模様状に画素（×印の画素）を間引いて圧縮する際には、各間引き対象画素（Ｐ_１１，Ｐ_１３、Ｐ_２２，Ｐ_２４、Ｐ_３１，Ｐ_３３）毎に、周辺の間引き対象外の画素の値を解析し所定の条件を満たしているか否かを判断するとともに、条件を満たしていると判断された場合のみ間引き対象画素を復元する際に用いる補間情報を、当該間引き対象画素の周辺の間引き対象外の画素値データを改変して埋め込む処理を行う過程とを経て、間引き対象外の画素（Ｐ_１２’，Ｐ_１４’、Ｐ_２１’，Ｐ_２３’、Ｐ_３２’，Ｐ_３４’）からなる圧縮データＢが得られることになる（図１（ｂ））。

また圧縮データＢから画像データを復元する際には、間引き対象画素（Ｐ_１１，Ｐ_１３、Ｐ_２１，Ｐ_２３、Ｐ_３１，Ｐ_３３）に対応する復元対象画素の周辺となる画素（Ｐ_１２’，Ｐ_１４’、Ｐ_２１’，Ｐ_２３’、Ｐ_３２’，Ｐ_３４’）の画素値（輝度値）を解析して所定の条件を満たしているか否かを判断する。例えば図１（ａ）において間引き対象画素Ｐ_２２に対する補間情報を画素Ｐ_２１に埋め込んで圧縮した場合には、復元時には復元対象画素Ｐ_２２’ 周辺の画素Ｐ_１２’，Ｐ_２１’，Ｐ_２３’、Ｐ_３２’の画素値の解析を行って所定の条件を満たしているか否かの判断を行うのである。そして条件を満たしている判断された場合のみ、周辺画素の情報に埋め込まれている補間情報を読み出し、この補間情報を参照して間引かれた欠落している復元対象画素の画素値を補間演算する過程を経て、全ての復元対象画素に対する補間処理が終了したときに元の画像データと同じデータ量の復元画像データＣが得られることになる（図１（ｃ））。

尚符号Ｐに付けている２桁の添え字は画素の座標上の位置を示し、Ｐはその画素の画素値（例えば輝度値）を表すものとし、以後も同様とする。

次に本実施形態の画像データ圧縮・復元方法を更に具体的に詳説する。
図２（ａ）は画像データ圧縮・復元方法を用いた画像処理装置の画像データ圧縮部（Ｉ）のブロック図を、図２（ｂ）は画像データ復元部（II）とのブロック図を示す。

画像データ圧縮部（Ｉ）は、圧縮対象となる画像データＡから市松模様状に画素を間引くために間引き対象画素の座標を設定する対象画素座標設定部１と、各間引き対象画素毎に、間引かれて欠落した画素を復元する際の手助けとなる補間情報を生成するか否かの判断を行う補間情報・要／不要判断部２と、補間情報が必要と判断されたときに補間情報を生成する補間情報生成処理部３と、生成された補間情報を隣接する間引き対象外の画素の画素値データに埋め込む処理を行いながら間引き対象外の画素を抽出して圧縮データＢを生成する圧縮データ生成部４とで構成される。

画像データ復元部（II）は、圧縮データＢから復元対象画素の座標を設定する対象画素座標設定部１１と、各復元対象画素毎に周辺の画素の情報に埋め込まれた補間情報を読み出す必要があるか否かの判断を行う補間情報・要／不要判断部１２と、補間情報が必要と判断されたときに周辺画素から補間情報を読み出す補間情報読み出し処理部１３と、補間情報が読み出された復元対象画素に対して補間情報を参照して補間処理の演算を行い、補間情報が読み出されなかった復元対象画素に対しては所定の補間処理の演算を行って復元画像データＣを生成する復元データ生成部１４とで構成される。

次にデータ圧縮過程と、データ復元過程について説明する。

先ずデータ圧縮過程では、画像データ圧縮部（ｉ）において画像データＡの画素を市松模様状に画素を間引いて圧縮するために、図３のフローチャートで示すように画像データＡを取り込んだ対象画素座標設定部１１が、間引き対象画素の座標を設定する（ステップＳ１）。この設定後、補間情報・要／不要判断部２は、各間引き対象画素毎に補間情報が必要か否かの判断を行う。例えば図４（ａ）に示すように判断を行う間引き対象画素がＰ_２２の場合、上、左、右、下に隣接する４画素Ｐ_１２，Ｐ_２１，Ｐ_２３，Ｐ_３２の画素値（輝度値）を読み出し、図４（ｂ）に示すように各画素値の内、最大値αと最小値βとをその下位ｎビットを無視して比較する解析を行い、その差γが予め設定している閾値よりも大きければ補間情報の生成が必要であると判断する。つまり間引き対象画素周辺で画素値の変化が大きくて有意な図形である可能性があると判断する。尚図４（ｂ）の斜線部分は無視される下位ｎビットに当る部分を表している。

而して補間情報・要／不要判断部２では、上述のように間引き対象画素周辺で画素値の変化が大きくて有意な図形である可能性がある場合には補間情報が必要と判断し、画素値の変化が小さくて画像が均一に近い場合、つまり後述のメディアン補間などの一般的な補間で問題なく再現できる場合には補間情報が不必要と判断する（ステップＳ２）。

ここで補間情報が必要であると判断されると、補間情報生成処理部３は図５（ａ）に示すように間引き対象画素Ｐ_２２の上下左右の４画素において、画素の値が最大値αの下位ｎビットを切り下げて２^ｎを加えた値と、最小値βの下位ｎビットを切り下げた値の間を図５（ｂ）のように２^ｎ−１等分して最小値から最大値までの各々の値に”０”から”２^ｎ−１”の番号を付け、間引き対象画素Ｐ_２２の画素値と最も近い画素値の番号（図示例では”２”）を間引き対象画素の補間情報として生成する（ステップＳ３）。尚図５（ａ）の斜線部分は下位ｎビットの操作による変動分に当る部分を表している。

而して最大値αと最小値βの何れの扱いにおいても下位ｎビットを切り下げて無視することになるので、間引かれずに残る画素に後述するように補間情報がその画素値データに埋め込まれてデータ圧縮過程とデータ復元過程で画素値が変化しても、両過程での処理に整合性を保つことができる。また最大値αにおいては切り下げ処理により値が小さくなると、後述のデータ復元過程において補間後の画素値の再現の幅が狭められることになるので、切り下げた後に２^ｎを加えることで切り上げとほぼ同等の結果となるようにしてある。

この補間情報生成処理部３では生成した補間情報を、次のステップＳ４で間引かれずに残る画素に埋め込み処理を行う。つまり図６に示すように間引き対象画素Ｐ_２２の左隣の画素Ｐ_２１の画素値の下位ｎビット（斜線部分）を改変して埋め込むのである。尚画像データＡの画素は市松模様状に間引かれるので、補間情報を埋め込む画素は水平１ライン毎に左隣と右隣を交代する。

ここで画素値情報が８ビットで補間情報が３ビットと仮定した具体例で説明すると、補間情報埋め込み対象画素の本来の値が”１０００００００”（十進数で１２８）で、埋め込まれる補間情報が”１０１”（十進数で５）の場合には、画素の値の下位３ビットは改変されて保存される値は”１００００１０１”（十進数で１３３）となる。尚この例では、補間情報埋め込み対象画素の値を”０１１１１１０１”（十進数で１２５〉と改変した方が、本来の値である”１０００００００”（十進数で１２８）に近いが、補間情報埋め込みの前後で上位５ビットが変わってしまう。そのため判断に影響を与えないことを確認するなどの対策を織り込まない限り、上位５ビットが変わることによって、データ圧縮過程とデータ復元過程で判断結果が相違し、後述の補間の不具合が生じる可能性があるので、採用しない。

以上のようにして一つの間引き対象画素に関して補間情報を生成する必要があるか否かの判断を行い、必要であれば補間情報を生成し、間引かれずに残る隣の画素の画素値データを改変することでその補間情報を埋め込むのであるが、この際上述のように補間情報を埋め込む画素を水平１ライン毎に左隣と右隣とに交替させながら間引き処理Ｓ５を圧縮データ生成部４で実施し、ステップＳ６で最終画素の処理が終了したと判断された時点で画像データＡに対してデータ量が半分の圧縮データが生成されることになる。

次に上述のように得られた圧縮データＢから元の画像データＡに対応する復元データＣを復元する復元過程について説明する。

まず画像データ復元部（II）では、圧縮データＢを読み込んだ対象画像座標設定部１１が図７のフローチャートで示すように復元対象画素の座標を設定する（ステップ１１）。この設定後、補間情報・要／不要判断部１２が各復元対象画素に関して補間情報を参照する必要があるか否かを判断し（ステップＳ１２）、必要と判断された場合、次のステップＳ１３で補間情報読み出し処理部１３が、当該復元対象画素の隣の画素の値に埋め込まれた補間情報を読み出し、復元データ生成部１４ではその補間情報を参照して当該復元対象画素の上下左右に隣接する４画素の値から補間演算の処理を行う（ステップＳ１４）。

図８は補間情報を参照して行う補間演算の処理を示しており、図８（ａ）に示すように復元対象画素の上下左右に隣接する４画素の最大値α’の下位ｎビットを切り下げて２^ｎを加えた値と最小値β’の下位ｎビットを切り下げた値との間を、図８（ｂ）に示すように２^ｎ−１等分して最小値から最大値までの各々の値に”０”から”２^ｎ−１”の番号を付け、隣の画素の下位ｎビットから読み取った補間情報と同じ番号の画素値を復元対象画素（例えばＰ_２２’）の補間結果とする。

一方補間情報を読み出す必要がないと判断された場合には補間情報の参照による補間演算の処理は為さず、所定の補間処理を行う（ステップＳ１５）。この場合、図９に示すよう復元対象画素の上下左右に隣接する４画素のうち、最大値α’と最小値β’を除いた中間の２つの画素の値ａ、ｂの平均値を当該復元対象画素（例えばＰ_２２’）の補間結果とする。これはメディアン補間と呼称される一般的な補間手法である。

そしてステップＳ１６で最終画素の補間処理が終了したと判断された時点で、元画像データと同じデータ量の復元データＢが生成されることになる。

尚補間情報の必要性の判断の詳細は、データ圧縮過程のものと同じで、図３に示される。またデータ圧縮過程における補間情報の埋め込みにより、補間対象画素の上下左右に隣接する４画素の画素値はデータ圧縮過程とデータ復元過程で変化しているが、その変化は下位ｎビットに限定されることになり、補間情報の必要性判断においては下位ｎビットを無視するので、データ圧縮過程とデータ復元過程で同一の判断結果となる。つまり両者で判断結果が相違すると、補間情報が埋め込まれていない画素値データから読み出された誤った補間情報による画素補間を行ったり、補間情報を参照して補間すべき有意な図形に対して画像が均一に近い部分に適用されるべき画素補間を行ったりして、画像の再現性を低下させることになるが、上述のように本実施形態では、データ圧縮過程とデータ復元過程で同一の判断結果となるため、画像の再現性の低下は起こらない。

本実施形態の画像データ圧縮・復元方法を採用した場合における画像のエッジ部分の画素値の変化例と、画像が均一に近い部分における画素値の変化例を図１０，図１１に示す。図１０（ａ）に示すように明暗が大きく変化する部分（グレースケールの濃度で示す）の状態では、間引かれずに残った画素には隣の画素の補間情報が埋め込まれるため、間引かれずに残った画素では図１０（ｂ）において実線で示す圧縮後の画素値は破線で示される圧縮前の値に比べて最大で２^ｎ−１となる斜線部で示される変化が生じることになるが、大きく明暗が変化する部分であるため、画像としての違和感は小さい。この変化が図１１（ａ）に示すように画像の明るさが均一な部分で各々の画素で独立して発生すると、画像にはノイズ状の微小な明暗が生じて画質低下が生じることになるが、本実施形態ではそのような場合には補間情報必要なしと判断して図１１（ｂ）のように補間情報を埋め込まないので、画質低下は生じない。

更に補間情報の必要性判断を行う場合、間引き対象画素の上下左右に隣接する４画素の画素値の最大値αと最小値βの差γを閾値と比べているが、間引き対象画素の上下の画素の画素値の平均値と、左右の画素の画素値の平均値との間で所定以上の差があるか否かで判断を行うようにしても良い。
（実施形態２）
上述の実施形態１のデータ圧縮過程では、間引き対象画素の上下左右の４画素において、画素の値が最大値αの下位ｎビットを切り下げて２^ｎを加えた値と、最小値βの下位ｎビットを切り下げた値の間を２^ｎ−１等分して最小値から最大値までの各々の値に”０”から”２^ｎ−１”の番号を付け、間引き対象画素の画素値と最も近い画素値の番号を間引き対象画素の補間情報として生成し、データ復元過程において、復元対象画素の上下左右に隣接する４画素の最大値α’の下位ｎビットを切り下げて２^ｎを加えた値と最小値β’の下位ｎビットを切り下げた値の間を２^ｎ−１等分して最小値から最大値までの各々の値に”０”から”２^ｎ−１”の番号を付け、隣の画素の下位ｎビットから読み取った補間情報と同じ番号の画素値を復元対象画素（例えばＰ_２２’）の補間結果とするようにしているが、本実施形態では、データ圧縮過程において、図１２（ａ）に示すように間引き対象画素の上下左右に隣接する４画素の画素値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求め、夫々の平均値に図１２（ｂ）に示すように番号（”０”〜”３”）を付け、間引き対象画素Ｐ_２２の画素値と最も近い画素値の番号（図示例では”１”）を選択し、その番号を２ビットデータ分の補間情報として生成する点に特徴がある。

これに対応してデータ復元過程では、データ圧縮過程と同様に復元対象画素の上下左右に隣接する４画素の値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求めて”０”〜”３”の番号を付け、読み出した補間情報と同じ番号の画素値を復元対象画素（例えばＰ_２２’）の画素補間結果とする。

尚図１１では図を判り易くする為に省略したが、図４や図５で示しているように参照する４画素の値には下位３ビットを無視するような処理を施して、補間情報の埋め込みによるこの４画素の画素値の変化の影響を受けないようにするのが望ましい。

また本実施形態では、図３における補間情報の生成のステップＳ３と、図８で示している画素補間のステップＳ１４に図１２の内容が反映される以外は、その他の処理は実施形態１と同じで、下位のビット数ｎは２ビットに相当する。

（実施形態３）
本実施形態は、データ圧縮過程において、図１３（ａ）に示すように間引き対象画素の上下左右に隣接する４画素の画素値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値と、４画素自身の画素値の計８個の値に番号”０”〜”７”を図１３（ｂ）に示すように付け、補間情報を必要と判断された間引き対象画素（例えばＰ_２２）の画素値と最も近いものを選択し、その番号を３ビットデータ分の補間情報として生成する。

一方データ復元過程においては、データ圧縮過程と同様に復元対象画素の上下左右に隣接する４画素の画素値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値に加えて４画素自身の画素値の計８個の値に”０”〜”７”の番号を付け、読み出した補間情報と同じ番号の画素値を復元対象画素（例えばＰ_２２’）の画素補間結果とする。

尚図１３では図を判り易くする為に省略したが、図４や図５で示しているように参照する４画素の値には下位３ビットを無視するような処理を施して、補間情報の埋め込みによるこの４画素の値の変化の影響を受けないようにするのが望ましい。また図３における補間情報の生成のステップＳ３と、図７における画素補間のステップ１４に図１３の内容が反映される以外は実施形態１と同じで、下位ビット数ｎは２に相当する。
（実施形態４）
本実施形態は、画素の情報を記録する手法の一つであるＹＵＶ４２０と呼ばれるカラー画像のデジタルデータ形式に対応するものである。ＹＵＶ４２０のデータ形式は図１４（ａ）に示す明暗を表す輝度信号（輝度情報）と、図１４（ｂ）、図１４（ｃ）に夫々示す色を表すＵ，Ｖの二種類の色差信号（色差情報）とからなるもので、ＵとＶの二種の色差信号を縦２、横２の計４画素で共有してデータ量を節約しており、本実施形態はこれらの信号の内、輝度信号Ｙのみの間引きを実施する画像データ圧縮・復元方法である。

つまりデータ圧縮過程では、図１５に示すように色信号Ｕ、Ｖを共用する４画素における間引き対象画素、例えばＹ１１の補間情報は、右隣の画素Ｙ１２の輝度信号の値の下位ビットと、４画素に対応する色差信号Ｕ１１の値の下位ビットに分割して埋め込み、また間引き対象画素Ｙ２２の補間情報はその左隣の画素Ｙ２１の輝度信号の値の下位ビットと対応する色差信号Ｖ１１の値の下位ビットに分割して埋め込む。

データ復元過程では、復元対象画素の隣りの画像の輝度信号の下位ビットと色差信号の下位ビットに埋め込まれた補間情報を読み出して補間処理を行うのである。

而して本実施形態では、補間情報を例えば画素Ｙ_１２と画素Ｙ_２１の輝度信号のみに埋め込む場合に比べて画素Ｙ_１２と画素Ｙ_２１の輝度信号の値の変化が小さくなるという利点がある。またＵ_１１とＶ_１１の色差信号の変化は色調の変化となって現れるので、図１０に示したような輝度変化における見え具合と合わせて、画像への影響が小さくなるように輝度信号と色差信号への配分を決めると効果的である。

また図３における補間情報の埋め込みのステップＳ４と、図７における補間情報の読み出しのステップＳ１３に図１５の内容が反映される以外は、実施形態１と同じである。

本発明の過程説明図である。（ａ）は実施形態１のデータ圧縮部のブロック図、（ｂ）は実施形態１のデータ復元部のブロック図である。実施形態１のデータ圧縮過程のフローチャートである。実施形態１の補間情報の必要性の判断処理の説明図である。実施形態１の補間情報の生成処理の説明図である。実施形態１の補間情報の埋め込み処理の説明図である。実施形態１のデータ復元過程のフローチャートである。実施形態１の補間情報を参照した画素補間処理の説明図である。実施形態１の補間情報を参照しない画素補間処理の説明図である。実施形態１における画像データのエッジ部分の画素値の説明図である。実施形態１における画像データの均一部分の画素値の説明図である。実施形態２の補間情報の生成処理と参照処理の説明図である。実施形態３の補間情報の生成処理と参照処理の説明図である。実施形態４が対象とするＹＵＶ４２０形式のデータの説明図である。実施形態４の補間情報の埋め込み処理の説明図である。

符号の説明

Ａ画像データ
Ｂ圧縮データ
Ｃ復元画像データ
Ｐ_１１…、Ｐ_１２’画素

Claims

市松模様状に画素の情報を間引いて画像データを圧縮し、間引かれて情報が欠落した画素の値を間引かれずに残った周辺の画素の値から補間復元する、画像データ圧縮・復元方法であって、
データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位ｎ（ｎ≧１）ビットを無視した値において、上下の画素の上記値の平均値と、左右の画素の上記値の平均値との間で所定以上の差がある場合にのみ、前記間引き対象画素を復元する際に利用する補間情報を生成するとともに、間引かれずに残る画素の画素値のデータの下位の前記ｎビットを置き換えて前記生成した補間情報を格納し、
データ復元過程においては、復元対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎを無視した値において、上下の画素の上記値の平均値と、左右の画素の上記値の平均値との間で所定以上の差がある場合に、前記補間情報を参照して復元対象画素の補間を行い、上記の差がない場合に補間情報を参照せずに復元対象画素の補間を行い、
データ圧縮過程においては、前記間引き対象画素の画素値と、前記間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列との相対関係を、間引かれた各画素毎の前記補間情報として画像データに格納し、
データ復元過程においては、間引かれた画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列から前記補間情報を用いて欠落した画素を再現することを特徴とする画像データ圧縮・復元方法。
市松模様状に画素の情報を間引いて画像データを圧縮し、間引かれて情報が欠落した画素の値を間引かれずに残った周辺の画素の値から補間復元する、画像データ圧縮・復元方法であって、
データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位ｎ（ｎ≧１）ビットを無視した値において、最大値と最小値との間で所定以上の差がある場合にのみ、前記間引き対象画素を復元する際に利用する補間情報を生成するとともに、間引かれずに残る画素の画素値のデータの下位の前記ｎビットを置き換えて前記生成した補間情報を格納し、
データ復元過程においては、復元対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値において、最大値と最小値との間で所定以上の差がある場合に、前記補間情報を参照して復元対象画素の補間を行い、上記の差がない場合に補間情報を参照せずに復元対象画素の補間を行い、
データ圧縮過程においては、前記間引き対象画素の画素値と、前記間引き対象画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列との相対関係を、間引かれた各画素毎の前記補間情報として画像データに格納し、
データ復元過程においては、間引かれた画素の上下左右に隣接する４画素の画素値のデータの下位の前記ｎビットを無視した値を大きさ順に並べた数列から前記補間情報を用いて欠落した画素を再現することを特徴とする画像データ圧縮・復元方法。
データ圧縮過程においては、間引き対象画素の上下左右の４画素において、画素の値の最大値の下位ｎビットを切り下げて２ ^ｎを加えた値と、画素の値の最小値の下位ｎビットを切り下げた値の間を２ ^ｎ−１等分して最小値から最大値までの各々の値に０から２ ^ｎ−１までの番号を付け、間引き対象画素の画素値と最も近い画素値の番号を間引き対象画素の補間情報として生成し、
データ復元過程においては、復元対象画素の上下左右に隣接する４画素の最大値の下位ｎビットを切り下げて２ ^ｎを加えた値と最小値の下位ｎビットを切り下げた値の間を２ ^ｎ−１等分して最小値から最大値までの各々の値に０から２ ^ｎ−１までの番号を付け、隣の画素の下位ｎビットから読み取った補間情報と同じ番号の画素値を復元対象画素の補間結果とすることを特徴とする請求項１又は請求項２記載の画像データ圧縮・復元方法。
データ圧縮過程においては、間引き対象画素の上下左右に隣接する４画素の画素値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求め、夫々の平均値に番号０〜３を付け、間引き対象画素の画素値と最も近い画素値の番号を選択し、その番号を２ビットデータ分の補間情報として生成し、
データ復元過程においては、データ圧縮過程と同様に復元対象画素の上下左右に隣接する４画素の値を降順にならべて１番目と２番目、２番目と３番目、３番目と４番目、４画素全て、の各々の４通りの平均値を求めて０〜３の番号を付け、読み出した補間情報と同じ番号の画素値を復元対象画素の画素補間結果とすることを特徴とする請求項１又は請求項２記載の画像データ圧縮・復元方法。
前記画像データは前記画素値としての輝度信号と色差信号からなるカラー画像データであって、
データ圧縮過程においては、間引き対象画素の輝度信号の補間情報を、間引き対象の画素の周辺画素の輝度信号と色差信号とに分割して埋め込むことを特徴とする請求項１又は請求項２記載の画像データ圧縮・復元方法。
前記色差信号は、それぞれ縦２、横２の計４画素で共有された２種類の色差信号からなり、
データ圧縮過程では、前記４画素中で間引き対象となる２画素のうち、一方の画素の輝度信号の補間情報は一方の色差信号と間引き対象とならない２画素のうち一方の画素の輝度信号とに分割して埋め込み、他方の画素の輝度信号の補間情報は他方の色差信号と間引き対象とならない２画素のうち他方の画素の輝度信号とに分割して埋め込むことを特徴とする請求項５記載の画像データ圧縮・復元方法。