JP3965528B2 - Encoding device and encoding method - Google Patents

Description

【００４２】
このようにして得られた画素値ｙ４は、コード化回路１ｄに供給される。
【００４３】
ブロック化回路１ａから出力されたデータは、付加コード生成回路１ｃに対しても供給される。図９は、付加コード生成回路１ｃにおいて実行される処理の一例を説明するフローチャートである。
【００４４】
この処理が実行されると、ステップＳ２０において、一次元配列ｘ［］の第０番目乃至第３番目に、画素ｘ１，ｘ３，ｘ５，ｘ７の画素値が代入される。そして、ステップＳ２１では、変数ｊが０に初期設定される。
【００４５】
続くステップＳ２２では、配列ｘ［］の第ｊ番目の要素（ｘ［ｊ］）から中心画素ｘ４の値を減算し、更に値１６を減算して得られた値が、変数ｗに代入される。
【００４６】
そして、ステップＳ２３では、ステップＳ２２で得られたｗの値が０よりも大きいか否かが判定される。その結果、変数ｗの値が０よりも大きい（ｗ＞０：ＹＥＳ）と判定された場合には、ステップＳ２４に進む。また、逆に、変数ｗの値が０以下である（ｗ≦０：ＮＯ）と判定された場合には、ステップＳ２５に進む。
【００４７】
ステップＳ２４では、一次元配列ｋ［］の第ｊ番目（ｋ［ｊ］）に１が代入され、また、ステップＳ２５では、一次元配列ｋ［］の第ｊ番目（ｋ［ｊ］）に０が代入される。そして、ステップＳ２６に進むことになる。
【００４８】
従って、画素ｘ１（または、ｘ３，ｘ５，ｘ７）の画素値が中心画素ｘ４の画素値に値１６を加算した値よりも大きい場合（ｘ１＞ｘ４＋１６）には、配列ｋ［］に１が代入され、また、画素ｘ１（または、ｘ３，ｘ５，ｘ７）の画素値が中心画素ｘ４の画素値に値１６を加算した値以下である場合（ｘ１≦ｘ４＋１６）には、配列ｋ［］に０が代入されることになる。即ち、中心画素とその周辺の画素の画素値の大小関係に応じて１または０とされる付加コード（非線形コード）が生成されることになる。
【００４９】
ステップＳ２６では、変数ｊの値が１だけインクリメントされ、ステップＳ２７に進む。ステップＳ２７では、変数ｊの値が、４よりも小さいか否かが判定される。その結果、変数ｊの値が４より小さい（ｊ＜４：ＹＥＳ）と判定された場合は、ステップＳ２２に戻り、前述の場合と同様の処理が繰り返される。また、変数ｊの値が４以上である（ｊ≧４：ＮＯ）と判定された場合には処理を終了する（エンド）。
【００５０】
以上の処理により得られた付加コードは、コード化回路１ｄに供給される。
【００５１】
コード化回路１ｄは、プリフィルタ回路１ｂから供給された画素値ｙ４と、付加コード生成回路１ｃから供給された付加コードに対して所定の演算を施し、得られたデータを圧縮画像データとして出力する。即ち、コード化回路１ｄは、以下に示す演算を実行する。
【００５２】
ｄ１２＝（２４０＆ｙ４）｜（ｋ［３］，ｋ［２］，ｋ［１］，ｋ［０］） ・・・（４）
【００５３】
なお、ｄ１２は出力データを示している。また、＆は論理積を示し、｜は論理和を示している。更に、（ ，，，）は、連接を表している。即ち、（ａ，ｂ）の場合では、変数ａが上位ビット、変数ｂが下位ビットとして、１まとめのデータとされることを示している。
【００５４】
このような演算によれば、最初の（）内の演算により、画素値ｙ４の上位４ビットが抽出され（２４０は、２進法では１１１１００００である）、次の（）内の演算により、付加コードが４ビットのデータに変換される。そして、これらの（）の論理和を演算することにより、上位４ビットと下位４ビットとが重畳されることになる。
【００５５】
図１０は、図１に示すデコーダ４の詳細な構成例を示すブロック図である。
【００５６】
この図に示すように、デコーダ４は、ブロック化回路４ａ（受信手段）、デコード回路４ｂ、予測フィルタ回路４ｃ（演算手段、第２の演算手段）、および、非ブロック化回路４ｄ（出力手段）により構成されている。
【００５７】
ブロック化回路４ａは、入力されたデータをブロック化するようになされている。デコード回路４ｂは、ブロック化回路４ａによりブロック化されたデータに対してデコード処理を施す。予測フィルタ係数格納回路５は、予測フィルタ係数生成回路６により生成された予測フィルタ係数を格納するようになされている。予測フィルタ回路４ｃは、予測フィルタ係数格納回路５から供給される係数に応じて、デコード回路４ｂから出力されるデータに対してフィルタリング処理を施す。非ブロック化回路４ｄは、予測フィルタ回路４ｃからの出力信号をもとの画像信号（シリアル信号）に変換するようになされている。
【００５８】
なお、予測フィルタ係数生成回路６における予測フィルタ係数の生成方法に関しては後述する。
【００５９】
次に、デコーダ４の動作について説明する。
【００６０】
図１１は、ブロック化回路４ａの動作を説明する図である。画像データ（圧縮処理が施されているデータ）は、ライン＃１乃至＃６に示す順序で、ブロック化回路４ａに入力される。なお、この図において、破線で示す丸は、圧縮により間引かれた画素を示しており、実線で示す丸は圧縮後に残った画素を示している。
【００６１】
ブロック化回路４ａは、ライン＃１乃至＃６の順に入力された画素データを図示せぬメモリに記憶させ、所定量のデータが記憶されたところで、ブロック＠１乃至＠６を形成し、各ブロックのデータをデコード回路４ｂに対して順に出力する。
【００６２】
図１２は、デコード回路４ｂにおいて実行される処理の一例を示している。この処理が実行されると、ステップＳ４０において、変数ｊが１に初期設定され、ステップＳ４１に進む。ステップＳ４１では、以下の演算が実行される。即ち、図１１に示す圧縮後に残った実線領域内の画素を左上から順に、ｄ０乃至ｄ２４とすると、ｋ［ｊ］は、ｄ１２を用いて以下のように表すことができる。
【００６３】
ｋ［ｊ］＝（ｄ１２＆２^j）／２^j ・・・（５）
【００６４】
ここで、ｄ１２は、入力データを示している。また、＆は前述のように論理積を示している。例えば、ｊ＝０の場合では、ｄ１２と１（＝２⁰）の論理積が演算され、得られた値が１（＝２⁰）で除算され、配列ｋ［０］に代入される。即ち、ｊ＝０では、ｄ１２の最下位ビットに格納されている付加コードの最下位ビット（ｋ１）が取り出されることになる。ｊ＝１，２，３では、最下位ビットから第１乃至第３ビット目の情報（ｋ３，ｋ５，ｋ７）が取り出される。
【００６５】
続くステップＳ４２では、変数ｊの値が１だけインクリメントされ、ステップＳ４３において、変数ｊの値が４よりも小さいか否かが判定される。その結果、変数ｊの値が４よりも小さい（ＹＥＳ）と判定された場合は、ステップＳ４１に戻り、前述の場合と同様の処理が繰り返されることになる。また、変数ｊの値が４以上である（ＮＯ）と判定された場合には、ステップＳ４４に進む。
【００６６】
以上の繰り返し処理の結果、ｊ＝１では、入力データｄ１２からｋ３が抽出され、以下、ｊ＝２ではｋ５、ｊ＝３ではｋ７が順次抽出され、それぞれ、ｋ［１］，ｋ［２］，ｋ［３］に格納されることになる。
【００６７】
ステップＳ４４では、変数ｊが０に再設定される。そして、ステップＳ４５に進み、配列ｋの第ｊ番目の要素（ｋ［ｊ］）の値が１であるか否かが判定される。その結果、ｋ［ｊ］が０である（ＮＯ）と判定された場合は、ステップＳ４７に進み、配列ｙ’［］の第ｊ番目（ｙ’［ｊ］）に、０が代入された後、ステップＳ４８に進む。一方、ｋ［ｊ］＝１である（ＹＥＳ）と判定された場合には、ステップＳ４６に進み、以下の演算が実行される。
【００６８】
ｙ’［ｊ］＝２４０＆ｄ１２−１６ ・・・（６）
【００６９】
即ち、入力データｄ１２の上位４ビットには、プリフィルタ後の画素値（ｙ４）が格納されているので、ｄ１２と２４０の論理積を演算することにより、ｙ４が抽出され、得られた値に１６を加算した値が、配列ｙ’の第ｊ番目の要素（ｙ’［ｊ］）として格納される。
【００７０】
ステップＳ４８では、変数ｊの値が１だけインクリメントされ、ステップＳ４９に進み、変数ｊの値が４よりも小さいか否かが判定される。その結果、変数ｊの値が４よりも小さい（ＹＥＳ）と判定された場合には、ステップＳ４５に戻り、前述の場合と同様の処理が繰り返される。また、変数ｊの値が４以上である（ＮＯ）と判定された場合には、ステップＳ５０に進む。
【００７１】
ステップＳ５０では、以下の処理が実行される。
【００７２】
ｋ１＝ｋ［０］ ・・・（７）
ｋ３＝ｋ［１］ ・・・（８）
ｋ５＝ｋ［２］ ・・・（９）
ｋ７＝ｋ［３］ ・・・（１０）
【００７３】
即ち、配列ｋの第０乃至第３番目の要素が、変数ｋ１，ｋ３，ｋ５，ｋ７にそれぞれ代入される。
【００７４】
そして、ステップＳ５０の処理が終了すると、ステップＳ５１に進み、以下の式に示す処理が実行される。
【００７５】
ｙ１’＝ｙ’［０］ ・・・（１１）
ｙ３’＝ｙ’［１］ ・・・（１２）
ｙ４’＝ｄ１２ ・・・（１３）
ｙ５’＝ｙ’［２］ ・・・（１４）
ｙ７’＝ｙ’［３］ ・・・（１５）
【００７６】
即ち、配列ｙ’の第０番目乃至第３番目の要素が、変数ｙ１’，ｙ３’，ｙ５’，ｙ７’にそれぞれ代入されるとともに、入力データｄ１２の値がｙ４’に代入される。そして、これらの変数に代入された値が、予測フィルタ回路４ｃに出力され、処理を終了する（エンド）。
【００７７】
以上の処理により、図１３に示すように、入力されたデータｄ１２より、代表画素の値（ｙ１’，ｙ３’，ｙ４’，ｙ５’，ｙ７’）と、付加コード（ｋ１，ｋ３，ｋ５，ｋ７）とを得る。
【００７８】
図１４は、予測フィルタ回路４ｃの構成例を示している。この図に示すように、予測フィルタ回路４ｃは、クラス分類回路４ｃ−１およびフィルタ回路４ｃ−２により構成されている。クラス分類回路４ｃ−１は、付加コードと１ブロック分の画素とから、クラスコードを生成して、フィルタ回路４ｃ−２に供給する。フィルタ回路４ｃ−２は、クラスコードに対応する係数を、予測フィルタ係数格納回路５から読み出し、入力データとの間で所定の処理を行うことで、元の画素データを再生するようになされている。
【００７９】
図１５は、クラス分類回路４ｃ−１が実行する処理の一例を示す図である。この処理が実行されると、ステップＳ６０において、変数ｍａｘに、図１６に示す、ｄ７，ｄ１１，ｄ１２，ｄ１３，ｄ１７の中で、最大の値が選択されて代入される。続くステップＳ６１では、ｄ７，ｄ１１，ｄ１２，ｄ１３，ｄ１７の中で、最小の値が選択されて変数ｍｉｎに代入される。
【００８０】
ステップＳ６２では、変数ｄｒに値（ｍａｘ−ｍｉｎ＋１）が代入される。そして、ステップＳ６３に進み、変数ｄｒの値が１であるか否かが判定される。その結果、変数ｄｒの値が１である（ＹＥＳ）と判定された場合には、ステップＳ６６に進み、変数ｚ１２に０が代入されてステップＳ７０に進む。また、変数ｄｒの値が０である（ＮＯ）と判定された場合には、ステップＳ６４に進む。
【００８１】
ステップＳ６４では、以下の演算が実行される。
【００８２】
ｗ＝２（ｄ１２−ｍｉｎ＋０．５）／ｄｒ ・・・（１６）
【００８３】
そして、続くステップＳ６５では、ステップＳ６４で得られたｗの値が、０よりも小さいか否かが判定される。その結果、ｗの値が０よりも小さい（ＹＥＳ）と判定された場合は、ステップＳ６６に進み、変数ｚ１２に値０が代入され、ステップＳ７０に進む。また、ｗの値が０以上である（ＮＯ）と判定された場合には、ステップＳ６７に進み、変数ｗの値が１よりも大きいか否かが判定される。その結果、変数ｗの値が１よりも大きい（ＹＥＳ）と判定された場合には、ステップＳ６８に進み、変数ｚ１２に値１が代入され、ステップＳ７０に進む。また、変数ｗの値が１以下である（ＮＯ）と判定された場合には、ステップＳ６９に進み、変数ｗの値の小数点以下を切り捨てた整数値が変数ｚ１２に代入される。
【００８４】
ステップＳ７０では、以下の計算が実行される。
【００８５】
ｉ＝（ｋ７，ｋ５，ｚ１２，ｋ３，ｋ１） ・・・（１７）
【００８６】
なお、ここで、（ ，，，，）は、連接を表しており、（）内の変数をそれぞれ１ビットとみなして順に結合して形成される２進数が変数ｉに代入される。そして、以上の演算が終了すると、得られた変数ｉの値がクラスコードとして出力され、処理を終了する（エンド）。
【００８７】
以上のような処理により、クラス分類回路４ｃ−１がクラスコードｉを生成すると、得られたクラスコードｉは、フィルタ回路４ｃ−２に供給される。フィルタ回路４ｃ−２は、クラスコードｉに対応するフィルタ係数を、予測フィルタ係数格納回路５から読み出す。
【００８８】
予測フィルタ係数格納回路５は、予測フィルタ係数生成回路６により生成された、クラスコードｉに対応する予測フィルタ係数係数ｂｉｊ０乃至ｂｉｊ２４およびｃｉｊ１，ｃｉｊ３，ｃｉｊ５，ｃｉｊ７を、フィルタ回路４ｃ−２に供給する。なお、これらの予測フィルタ係数は、図１７に示すように、復号化しようとする部分の代表画素に対応する係数ｃｉｊ１，ｃｉｊ３，ｃｉｊ５，ｃｉｊ７と、２５画素からなるブロックのそれぞれの画素に対応する係数ｂｉｊ０乃至ｂｉｊ２４から構成されている。
【００８９】
フィルタ回路４ｃ−２は、以上の予測フィルタ係数と、デコード回路４ｂにより得られたｙ１’，ｙ３’，ｙ５’，ｙ７’と、１ブロック分の画素データｄ０乃至ｄ２４の間で演算を行い、図１７に示す、デコード後のデータであるｘ０’乃至ｘ８’を得る。
【００９２】
以上のような処理により得られたブロックデータは、非ブロック化回路４ｄに供給されることになる。
【００９３】
非ブロック化回路４ｄでは、予測フィルタ回路４ｃより出力されたブロックデータ＠１乃至＠６が、内蔵されているメモリに記憶され、図１８に示すように、ライン＃１乃至＃６の順序で、１ライン毎に順次読み出されて出力される。
【００９４】
次に、図１９を参照して、図１に示す実施の形態のプリフィルタ係数生成回路３と予測フィルタ係数生成回路６における、プリフィルタ係数と、予測フィルタ係数の生成方法について説明する。
【００９５】
図１９は、プリフィルタ係数と予測フィルタ係数を生成する処理を説明するフローチャートである。いま、学習用のサンプルとして、ｎ種類の画像（原画）が準備されており、その原画に基づいて、係数が生成されるものとする。
【００９６】
図１９の処理が実行されると、ステップＳ１００において、プリフィルタ係数生成回路３にプリフィルタ係数の初期値（初期プリフィルタ係数）が設定される。
【００９７】
例えば、初期係数として、以下のような値を用いることができる。
【００９８】
１１１
１１１
１１１
【００９９】
そして、ステップＳ１０１では、以上のような初期プリフィルタ係数を用いて、エンコーダ１において、前述のような、原画の圧縮処理が実行され、１／９に圧縮された画像が生成される。
【０１００】
続くステップＳ１０２では、予測フィルタ係数の学習が行われる。即ち、学習用の原画と、デコーダ４から出力されるデコード画像との間で、最小２乗法に基づく計算がなされ、予測フィルタ係数が決定されることになる。以下にその詳細を説明する。
【０１０１】
いま、第ｋ番目の原画が圧縮処理されたとすると、その出力の一部は、図２０に示すようになる。また、学習用の原画のうち、図２０の画素ｄ１２ｋを中心画素とする中心ブロックの画素をｘ０ｋ乃至ｘ８ｋとする。このとき、エンコーダ１から出力された画像データをＤｉｊとし、また、予測フィルタ係数をＢｊとすると、これらの間には以下の関係が成立する。なお、ｉは、フィルタのクラス数を表しており、また、ｊはモード数を表しており、それぞれ、０≦ｉ≦３１，０≦ｊ≦８である。
【０１０２】
Ｘｊ’＝ＤｉｊＢｊ ・・・（１９）
【０１０３】
なお、式（１９）は、次のように表わすことができる。
【０１０４】
【数１】

【０１０５】
ここで、学習用の原画をＸｊとすると、予測フィルタ係数は、以下のような条件を満足することが望まれる。なお、ｍｉｎは最小値を意味する。
【０１０６】
｜Ｘｊ’−Ｘｊ｜² →ｍｉｎ ・・・（２１）
【０１０７】
ここで、式（１９）を式（２１）に代入すると、以下の式を得る。
【０１０８】
｜ＤｉｊＢｊ−Ｘｊ｜²→ｍｉｎ ・・・（２２）
【０１０９】
制約条件として｜Ｂｊ｜²≦１を課した場合に、式（２２）を解くと以下の式を得る。
【０１１０】
Ｂｉｊ＝（Ｄｉｊ^tＤｉｊ＋αＩ）^-1Ｄｉｊ^tＸｊ ・・・（２３）
【０１１１】
ここで、ｔは転置を、また、−１は、逆行列を表している。更に、Ｉは、ｎ×ｍの単位行列を表している。
【０１１２】
図２１は、以上に示したような最小２乗法に基づいて、予測フィルタ係数を計算する処理の一例を説明するフローチャートである。
【０１１３】
この処理が実行されると、ステップＳ２００において、行列（Ｄｉｊ^tＤｉｊ）の全ての要素の絶対値の和が計算され、得られた値が変数ｍａｘに代入される。続くステップＳ２０１では、処理の開始値を格納する変数ｌｏｏｐ＿ｓｔａｒｔが１に初期設定される。続くステップＳ２０２では、変数ｍａｘの値の対数を取った値の整数部分が、処理の終了値を格納する変数ｌｏｏｐ＿ｅｎｄに格納される。
【０１１４】
続くステップＳ２０３では、自然対数ｅの変数ｌｏｏｐ＿ｓｔａｒｔ乗の値（＝ｅｘｐ（ｌｏｏｐ＿ｓｔａｒｔ））が計算され、変数αに代入される。
【０１１５】
ステップＳ２０４では、前述の式（２３）に従って、予測フィルタの係数Ｂｉｊが計算されることになる。
【０１１６】
次のステップＳ２０５では、｜Ｂｉｊ｜²の値が１以下であるか否かが判定される。即ち、予測フィルタ係数のノルムが１以下であるか否かが判定される。その結果、｜Ｂｉｊ｜²の値が１以下である（ＹＥＳ）と判定された場合には、処理を終了する（エンド）。また、｜Ｂｉｊ｜²の値が１よりも大きい（ＮＯ）と判定された場合にはステップＳ２０６に進む。
【０１１７】
ステップＳ２０６では、変数ｌｏｏｐ＿ｓｔａｒｔの値が１だけインクリメントされ、ステップＳ２０７に進む。ステップＳ２０７では、ｅｘｐ（ｌｏｏｐ＿ｓｔａｒｔ）が演算され、得られた値が変数αに代入される。そして、ステップＳ２０８に進む。
【０１１８】
ステップＳ２０８では、変数ｌｏｏｐ＿ｓｔａｒｔの値が変数ｌｏｏｐ＿ｅｎｄの値以上であるか否かが判定される。その結果、変数ｌｏｏｐ＿ｓｔａｒｔの値が変数ｌｏｏｐ＿ｅｎｄの値以上である（ＹＥＳ）と判定された場合には、処理を終了する（エンド）。また、変数ｌｏｏｐ＿ｓｔａｒｔの値が変数ｌｏｏｐ＿ｅｎｄの値よりも小さい（ＮＯ）と判定された場合には、ステップＳ２０４に戻り、前述の場合と同様の処理が繰り返されることになる。
【０１１９】
以上の処理により、最小２乗法に基づいて、予測フィルタの係数の最適値が算出されることになる。
【０１２０】
図１９に戻って、以上のようにして、予測フィルタ係数が決定されると、ステップＳ１０３に進み、デコード（復号化）画像が生成されることになる。この処理は、前述の場合と同様であり、ステップＳ１０２において生成された予測フィルタ係数を用いて、エンコーダ１から出力された画像が復号化されることになる。
【０１２１】
続くステップＳ１０４では、原画とデコード画（デコーダ４の出力画像）との間で、以下の式により、ＳＮＲ（Signal-to-noise Ratio）が計算される。
【０１２２】
ＳＮＲ＝２０ｌｏｇ₁₀（２５５／誤差の標準偏差） ・・・（２４）
【０１２３】
ここで、誤差の標準偏差は、以下の式により求めることができる。
【０１２４】
【数２】

【０１２５】
即ち、全画素に亘って、誤差の２乗平均の平方根が求められる。なお、ここで、Ｎは、全データ（画素）数を示している。
【０１２６】
ＳＮＲが算出されると、ステップＳ１０５に進む。そして、ＳＮＲの変化量が小さいか、または、処理回数が所定値を超過したか否かが判定される。即ち、前回の処理により得られたＳＮＲと今回の処理により得られたＳＮＲの差が０．０５ｄＢ以下であるか、または、処理回数が５０回を超過したか否かが判定される。その結果、変化量が小さいかまたは所定の処理回数を超過した（ＹＥＳ）と判定された場合は、処理を終了する（エンド）。また、これらの何れも満足していない（ＮＯ）と判定された場合には、ステップＳ１０６に進む。
【０１２７】
ステップＳ１０６では、プリフィルタ係数の学習が実行される。即ち、図２３に示すように、エンコード処理では、第ｋ番目の原画の１５×１５画素のブロックに対して所定の演算がなされ、５×５画素の圧縮画像が得られることになるが、このとき、中心画素ブロックの値は以下の式により求めることができる。
【０１２８】

【０１２９】
この式において、予測フィルタ係数ｂｉｊ０，ｂｉｊ１，ｂｉｊ２，・・・，ｃｉｊ１，ｃｉｊ３，ｃｉｊ５，ｃｉｊ７は、ステップＳ１０２の処理において既に決定されているので、既知である。また、付加コードｙ１’ｋ，ｙ３’ｋ，ｙ５’ｋ，ｙ７’ｋも既知である。従って、これらの既知の値をもとにして、プリフィルタ係数である、ａｐ０，ａｐ１，ａｐ８，・・・，ａｑ０，ａｑ１，・・・，ａｑ８，・・・を求めることを考える。
【０１３０】
式（２６）において、既知であるｃｉｊ１×ｙ１’ｋ＋ｃｉｊ３×ｙ３’ｋ＋ｃｉｊ５×ｙ５’ｋ＋ｃｉｊ７×ｙ７’ｋを左辺に移行し、これを行列式で表すと、以下のようになる。
【０１３１】
【数３】

【０１３２】
この式に対して、前述の場合と同様に、２乗最小法を適用することにより、プリフィルタ係数の最適値を求めることができる。即ち、式（２７）をＸ＝ＢＡと表すと、以下の式を計算することにより最適値を得る。
【０１３３】
Ａ＝（Ｂ^tＢ＋αＩ）^-1Ｂ^tＸ ・・・（２８）
【０１３４】
具体的には、図２１のフローチャートと同様の処理を行うことにより、最適なプリフィルタ係数を求めることができる。
【０１３５】
図１９に戻り、ステップＳ１０６の処理が終了し、プリフィルタ係数の最適値が計算されると、ステップＳ１０１に戻り、前述の場合と同様の処理が繰り返されることになる。その結果、原画とデコード画とのＳＮＲの変化量が小さくなった場合（値が収束した場合）もしくは、処理回数が所定の回数を超過した場合には処理が終了する（エンド）。
【０１３６】
以上のような処理によれば、学習用の原画を用いて、予測フィルタとプリフィルタの特性を、画像に合わせて最適化することが可能となるので、画質の劣化を最小限にとどめて圧縮伸長処理することが可能となる。
【０１３７】
【発明の効果】
請求項１に記載の符号化装置および請求項４に記載の符号化方法によれば、学習用のもとの画像情報が準備されているとき、復号化処理において用いられた第２の係数と、学習用のもとの画像情報とを参照して、もとの画像情報に含まれる複数画素の画素値に対して所定の係数を積和演算し、学習用のもとの画像情報の画素を間引くことによって得られた符号化後の画像情報から第２の係数に基づいて復号された画像情報と、符号化前の学習用のもとの画像情報の差を最小にするその所定の係数を第１の係数の最適値として算出するようにしたので、画像に応じて最適な係数を設定することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成例を示すブロック図である。
【図２】図１に示すエンコーダの構成例を示すブロック図である。
【図３】図２に示すブロック化回路で実行される処理の一例を説明する図である。
【図４】原画の一例を示す図である。
【図５】図２に示すプリフィルタ回路の詳細な構成例を示すブロック図である。
【図６】中心画素と代表画素を説明する図である。
【図７】図５のクラス分類回路が実行する処理の一例を説明するフローチャートである。
【図８】プリフィルタによる演算処理の様子を説明する図である。
【図９】図２に示す付加コード生成回路が実行する処理の一例を説明するフローチャートである。
【図１０】図１に示すデコーダの構成例を示すブロック図である。
【図１１】図１０に示すブロック化回路の実行する処理の様子を説明する図である。
【図１２】図１０に示すデコード回路が実行する処理の一例を説明するフローチャートである。
【図１３】図１０に示すデコード回路が実行する処理の様子を説明する図である。
【図１４】図１０に示す予測フィルタ回路の詳細な構成例を示すブロック図である。
【図１５】図１４に示すクラス分類回路が実行する処理の一例を説明するフローチャートである。
【図１６】図１５の処理において対象となる画素の一例を説明する図である。
【図１７】予測フィルタ回路において実行される処理の様子を説明する図である。
【図１８】図１０に示す非ブロック化回路において実行される処理の様子を説明する図である。
【図１９】プリフィルタ係数および予測フィルタ係数の最適値を求める処理の一例を説明するフローチャートである。
【図２０】圧縮処理後の画像の一例を説明する図である。
【図２１】予測フィルタ係数の最適値を求める処理の一例を説明するフローチャートである。
【図２２】原画と復号処理後の画像の一例を説明する図である。
【図２３】エンコード処理における、原画とプリフィルタ係数との関係を示す図である。
【符号の説明】
１ エンコーダ， １ａ ブロック化回路， １ｂ プリフィルタ回路（演算手段、第１の演算手段）， １ｃ 付加コード生成回路（第２の算出手段）， １ｄ コード化回路（出力手段、付加手段、送信手段）， ２ プリフィルタ係数格納回路， ３ プリフィルタ係数生成回路（算出手段、第１の算出手段），４ デコーダ， ４ａ ブロック化回路（受信手段）， ４ｂ デコード回路， ４ｃ 予測フィルタ回路（演算手段、第２の演算手段）， ４ｄ 非ブロック化回路４ｄ， ５ 予測フィルタ係数格納回路， ６ 予測フィルタ係数生成回路（算出手段、第２の算出手段）[0001]
BACKGROUND OF THE INVENTION
The present invention Encoding device and encoding method In particular, a product-sum operation is performed between the original information and a predetermined coefficient, and the information is Compressing encoding apparatus and encoding method About.
[0002]
[Prior art]
Conventionally, for example, when the amount of information is compressed by thinning pixels from image data at a predetermined ratio, the predetermined pixels are thinned after the pre-processing is executed by the sub-sampling filter.
[0003]
In such a process, a fixed coefficient filter that satisfies the Nyquist condition (sampling theorem) is used as the sub-sampling filter.
[0004]
[Problems to be solved by the invention]
However, such a fixed coefficient filter has the same characteristics regardless of the type of image to be processed, and there is a problem that the characteristics may not be optimal depending on the type of image.
[0005]
In addition, a fixed coefficient filter is also used as a prediction filter used in decoding a compressed image. Therefore, the prediction filter has the same problem as that described above.
[0006]
The present invention has been made in view of the above situation. For example, the present invention is optimal in the case where compression processing is performed by thinning out predetermined pixels from image data and the original image is expanded using a prediction filter. An object is to provide a subsampling filter and a prediction filter.
[0007]
[Means for Solving the Problems]
The encoding device according to claim 1 is the original image information. For pixel values of multiple pixels included in First coefficient To calculate the pixel of the original image information Computation means for obtaining image information after thinning by thinning, calculation means for calculating the first coefficient, and output means for outputting the data obtained by the computation means, the calculation means for learning When the image information is prepared, with reference to the second coefficient used in the decoding process and the original image information for learning, For pixel values of multiple pixels included in the original image information Predetermined coefficient To calculate the pixel of the original image information for learning The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient from the encoded image information obtained by thinning out and the original image information for learning before encoding. It is calculated as an optimum value of the first coefficient.
[0008]
The encoding method according to claim 4 is the original image information. For pixel values of multiple pixels included in First coefficient To calculate the pixel of the original image information A calculation step for obtaining image information after thinning by thinning, a calculation step for calculating a first coefficient, and an output step for outputting data obtained by the calculation step. When the image information is prepared, with reference to the second coefficient used in the decoding process and the original image information for learning, For pixel values of multiple pixels included in the original image information Predetermined coefficient To calculate the pixel of the original image information for learning The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient from the encoded image information obtained by thinning out and the original image information for learning before encoding. It is calculated as an optimum value of the first coefficient.
[0013]
In the encoding device according to claim 1, the original image information For pixel values of multiple pixels included in First coefficient To calculate the pixel of the original image information The calculation means obtains image information after thinning by thinning, the calculation means calculates the first coefficient, the output means outputs the data obtained by the calculation means, and the calculation means outputs the original image for learning. When the information is prepared, referring to the second coefficient used in the decoding process and the original image information for learning, For pixel values of multiple pixels included in the original image information Predetermined coefficient To calculate the pixel of the original image information for learning The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient from the encoded image information obtained by thinning out and the original image information for learning before encoding. Calculated as the optimum value of the first coefficient.
[0014]
In the encoding method according to claim 4, the original image information For pixel values of multiple pixels included in First coefficient To calculate the pixel of the original image information The calculation step obtains the image information after thinning by thinning, the calculation step calculates the first coefficient, the output step outputs the data obtained by the calculation step, and the calculation step is the original image for learning. When the information is prepared, referring to the second coefficient used in the decoding process and the original image information for learning, For pixel values of multiple pixels included in the original image information Predetermined coefficient To calculate the pixel of the original image information for learning The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient from the encoded image information obtained by thinning out and the original image information for learning before encoding. The optimum value of the first coefficient is calculated.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration example of an embodiment of the present invention. In this figure, an encoder 1 pre-filters an original image, then thins out pixels and compresses the data amount to 1/9. The prefilter coefficient storage circuit 2 is configured to store prefilter coefficients output from the prefilter coefficient generation circuit 3 (calculation means, first calculation means). The prefilter coefficient generation circuit 3 generates a prefilter coefficient with reference to the original image and the output from the prediction filter coefficient storage circuit 5 and supplies the prefilter coefficient to the prefilter coefficient storage circuit 2.
[0020]
The decoder 4 performs a process of decoding (decompressing) the original image by performing a prediction filter process on the image compressed by the encoder 1. The prediction filter coefficient storage circuit 5 is configured to store the prediction filter coefficient supplied from the prediction filter coefficient generation circuit 6 (calculation means, second calculation means). The prediction filter coefficient generation circuit 6 generates a prediction filter coefficient with reference to the original image and the compressed image, and supplies the prediction filter coefficient to the prediction filter coefficient storage circuit 5.
[0021]
FIG. 2 shows a detailed configuration example of the encoder 1. In this figure, the blocking circuit 1a performs processing for blocking image data input as serial data. The prefilter circuit 1b (arithmetic unit, first arithmetic unit) classifies the blocked image data into 32 types of classes, and outputs the prefilter coefficient supplied from the prefilter coefficient storage circuit 2 and the image data. The product-sum operation is performed between them, and the obtained data is output to the encoding circuit 1d (output means, addition means, transmission means).
[0022]
The additional code generation circuit 1c (second calculation means) performs a predetermined operation between the central pixel of the blocked image data and the four surrounding pixels, and sends the obtained additional code to the encoding circuit 1d. Output.
[0023]
The encoding circuit 1d concatenates the data output from the prefilter circuit 1b as the upper 4 bits, and the data output from the additional code generation circuit 1c as the lower 4 bits, thereby connecting one piece of data (8-bit data). As output.
[0024]
Next, the operation of the present embodiment will be described. The present invention is characterized by a method for determining a prefilter and a prediction filter coefficient. As a previous step, the compression and expansion processing of image data according to the present embodiment will be described.
[0025]
Now, assume that image data as shown in FIG. 3 is input to the blocking circuit 1a. That is, if image data is input line by line in the order shown by lines # 1 to # 6, the block forming circuit 1a stores such input data in a built-in memory and stores a predetermined amount of data. When the data is stored, blocks @ 1 to @ 6 as shown by broken lines in the figure are formed, and each block (see FIG. 4) is sequentially output to the prefilter circuit 1b.
[0026]
In FIG. 2, the number of pixels is reduced to simplify the description, but an actual image is composed of pixels of about several hundred to several thousand dots, for example, vertically and horizontally.
[0027]
The prefilter circuit 1b is configured as shown in FIG. In this figure, the class classification circuit 1b-1 pays attention to the five pixels shown in FIG. 6 among the inputted nine-pixel data, classifies the input data into 32 types of classes according to the pattern of the five pixels, A value indicating the class is output.
[0028]
That is, nine pixels in the region surrounded by the broken line shown in FIG. 3 are set to x0 to x8 in order from the upper left as shown in FIG. When such a block is input, the class classification circuit 1b-1 pays attention to the upper, lower, left and right pixels (x1, x3, x5, x7) (see FIG. 6) with the pixel x4 as the center. One pixel is classified into 32 classes according to the pattern.
[0029]
FIG. 7 is a flowchart for explaining an example of the class classification process. When this process is executed, in step S1, the pixel values of the pixels x1, x3, x4, x5, and x7 are stored in the 0th to the fourth of the one-dimensional array x [], respectively.
[0030]
In step S2, the maximum value among x1, x3, x4, x5, and x7 (hereinafter referred to as a representative pixel) is assigned to the variable max. In the subsequent step S3, the smallest value among the representative pixels is substituted into the variable min. In step S4, the value (max−min + 1) is substituted into the variable dr.
[0031]
In step S5, it is determined whether or not the value of the variable dr is 1. As a result, if it is determined that the value of the variable dr is 1 (YES), the process proceeds to step S6, and 0 is assigned to the variable i, and then the process ends (END). When it is determined that the value of the variable dr is not 1 (NO), the process proceeds to step S7.
[0032]
In step S7, the variable j is initialized to 0, and the process proceeds to step S8. In step S8, the value obtained by the following equation is substituted into the variable w. Note that w is a real number and is calculated by a floating point.
[0033]
2 (x [j] -min + 0.5) / dr (1)
[0034]
In the next step S9, it is determined whether or not the value of the variable w calculated in step S8 is smaller than zero. As a result, when it is determined that the value of the variable w is smaller than 0 (w <0: YES), the process proceeds to step S10, 0 is substituted into the array z [j], and the process proceeds to step S14. When it is determined that the value of the variable w is 0 or more (w ≧ 0: NO), the process proceeds to step S11. In step S11, it is determined whether or not the value of the variable w is greater than 1. As a result, if it is determined that the value of the variable w is greater than 1 (w> 1: YES), step S12 is performed. The value 1 is assigned to the array z [j]. If it is determined in step S11 that the value of the variable w is 1 or less (w ≦ 1: NO), the process proceeds to step S13, and an integer value obtained by rounding down the decimal point of the value of the variable w is substituted. The
[0035]
In step S14, the value of the variable j is incremented by 1, and the process proceeds to step S15. In step S15, it is determined whether or not the value of the variable j is smaller than 5. As a result, when it is determined that the value of the variable j is smaller than 5 (j <5: YES), the process returns to step S7, the same processing as described above is repeated, and the value of the variable j is 5 or more. If it is determined that (j ≧ 5: NO), the process proceeds to step S16.
[0036]
In step S16, the value obtained by the following equation is substituted into the variable i, and the process ends (END).
[0037]
z [0] × 1 + z [1] × 2 + z [2] × 4 + z [3] × 8 + z [4] × 16 (2)
[0038]
That is, the 0th to 4th elements of the array z [] are substituted into the variable i for storing the class code as the 0th bit (LSB) to the 4th bit (MSB). Then, the process ends (END).
[0039]
The class code i generated as described above is supplied to the filter circuit 1b-2.
[0040]
The filter circuit 1b-2 reads the prefilter coefficient corresponding to the class code i from the prefilter coefficient storage circuit 2. Then, the filter circuit 1b-2 performs a filtering process on the pixel data output from the blocking circuit 1a using the obtained prefilter coefficient. That is, as shown in FIG. 8, the filter circuit 1b-2 multiplies the pixel values of the nine pixels x0 to x8 by the prefilter coefficients ai0 to ai8 supplied from the prefilter coefficient storage circuit 2, A pixel value y4 after pre-filtering is obtained. The above calculation can be expressed as follows. Here, i is a class code. A prefilter coefficient generation method in the prefilter coefficient generation circuit 3 will be described later.
[0041]

[0042]
The pixel value y4 obtained in this way is supplied to the encoding circuit 1d.
[0043]
The data output from the blocking circuit 1a is also supplied to the additional code generation circuit 1c. FIG. 9 is a flowchart illustrating an example of processing executed in the additional code generation circuit 1c.
[0044]
When this process is executed, in step S20, the pixel values of the pixels x1, x3, x5, and x7 are substituted into the 0th to the third of the one-dimensional array x []. In step S21, variable j is initialized to 0.
[0045]
In the subsequent step S22, the value obtained by subtracting the value of the center pixel x4 from the jth element (x [j]) of the array x [] and further subtracting the value 16 is substituted into the variable w. .
[0046]
In step S23, it is determined whether or not the value of w obtained in step S22 is greater than zero. As a result, when it is determined that the value of the variable w is greater than 0 (w> 0: YES), the process proceeds to step S24. Conversely, if it is determined that the value of the variable w is 0 or less (w ≦ 0: NO), the process proceeds to step S25.
[0047]
In step S24, 1 is assigned to the jth (k [j]) of the one-dimensional array k [], and in step S25, 0 is assigned to the jth (k [j]) of the one-dimensional array k []. Is substituted. Then, the process proceeds to step S26.
[0048]
Therefore, when the pixel value of the pixel x1 (or x3, x5, x7) is larger than the value obtained by adding the value 16 to the pixel value of the central pixel x4 (x1> x4 + 16), 1 is substituted into the array k []. If the pixel value of the pixel x1 (or x3, x5, x7) is equal to or smaller than the value obtained by adding the value 16 to the pixel value of the central pixel x4 (x1 ≦ x4 + 16), the array k [] has 0. Will be substituted. That is, an additional code (nonlinear code) that is 1 or 0 is generated according to the magnitude relationship between the pixel values of the central pixel and the surrounding pixels.
[0049]
In step S26, the value of variable j is incremented by 1, and the process proceeds to step S27. In step S27, it is determined whether the value of the variable j is smaller than 4. As a result, when it is determined that the value of the variable j is smaller than 4 (j <4: YES), the process returns to step S22, and the same process as described above is repeated. If it is determined that the value of the variable j is 4 or more (j ≧ 4: NO), the process is terminated (END).
[0050]
The additional code obtained by the above processing is supplied to the encoding circuit 1d.
[0051]
The encoding circuit 1d performs a predetermined operation on the pixel value y4 supplied from the prefilter circuit 1b and the additional code supplied from the additional code generation circuit 1c, and outputs the obtained data as compressed image data. . That is, the encoding circuit 1d executes the following operation.
[0052]
d12 = (240 & y4) | (k [3], k [2], k [1], k [0]) (4)
[0053]
D12 indicates output data. & Represents a logical product, and | represents a logical sum. Further, (,,) represents a connection. That is, in the case of (a, b), it is indicated that the variable a is the upper bit and the variable b is the lower bit, and the data is collected.
[0054]
According to such an operation, the upper 4 bits of the pixel value y4 are extracted by the first operation in () (240 is 11110000 in the binary system) and added by the next operation in (). The code is converted into 4-bit data. Then, by calculating the logical sum of these (), the upper 4 bits and the lower 4 bits are superimposed.
[0055]
FIG. 10 is a block diagram showing a detailed configuration example of the decoder 4 shown in FIG.
[0056]
As shown in this figure, the decoder 4 includes a blocking circuit 4a (receiving means), a decoding circuit 4b, a prediction filter circuit 4c (calculating means, second calculating means), and a non-blocking circuit 4d (output means). It is comprised by.
[0057]
The blocking circuit 4a is configured to block input data. The decoding circuit 4b performs a decoding process on the data blocked by the blocking circuit 4a. The prediction filter coefficient storage circuit 5 is configured to store the prediction filter coefficient generated by the prediction filter coefficient generation circuit 6. The prediction filter circuit 4 c performs a filtering process on the data output from the decoding circuit 4 b in accordance with the coefficient supplied from the prediction filter coefficient storage circuit 5. The deblocking circuit 4d converts an output signal from the prediction filter circuit 4c into an original image signal (serial signal).
[0058]
A method for generating a prediction filter coefficient in the prediction filter coefficient generation circuit 6 will be described later.
[0059]
Next, the operation of the decoder 4 will be described.
[0060]
FIG. 11 is a diagram for explaining the operation of the blocking circuit 4a. Image data (data subjected to compression processing) is input to the blocking circuit 4a in the order indicated by lines # 1 to # 6. In this figure, circles indicated by broken lines indicate pixels thinned out by compression, and circles indicated by solid lines indicate pixels remaining after compression.
[0061]
The blocking circuit 4a stores pixel data input in the order of lines # 1 to # 6 in a memory (not shown), and when a predetermined amount of data is stored, blocks @ 1 to @ 6 are formed. Are sequentially output to the decode circuit 4b.
[0062]
FIG. 12 shows an example of processing executed in the decoding circuit 4b. When this process is executed, variable j is initialized to 1 in step S40, and the process proceeds to step S41. In step S41, the following calculation is executed. That is, if the pixels in the solid line region remaining after compression shown in FIG. 11 are d0 to d24 in order from the upper left, k [j] can be expressed as follows using d12.
[0063]
k [j] = (d12 & 2 ^j ) / 2 ^j ... (5)
[0064]
Here, d12 indicates input data. In addition, & indicates a logical product as described above. For example, in the case of j = 0, d12 and 1 (= 2 ⁰ ) Is calculated, and the obtained value is 1 (= 2) ⁰ ) And assigned to the array k [0]. That is, when j = 0, the least significant bit (k1) of the additional code stored in the least significant bit of d12 is extracted. When j = 1, 2, 3, information (k3, k5, k7) of the first to third bits is extracted from the least significant bit.
[0065]
In the following step S42, the value of the variable j is incremented by 1, and in step S43, it is determined whether or not the value of the variable j is smaller than 4. As a result, when it is determined that the value of the variable j is smaller than 4 (YES), the process returns to step S41, and the same process as described above is repeated. If it is determined that the value of the variable j is 4 or more (NO), the process proceeds to step S44.
[0066]
As a result of the above iterative process, when j = 1, k3 is extracted from the input data d12. Hereinafter, k5 is extracted sequentially when j = 2, and k7 is sequentially extracted when j = 3. K [1] and k [2] respectively. , K [3].
[0067]
In step S44, the variable j is reset to 0. Then, the process proceeds to step S45, where it is determined whether or not the value of the jth element (k [j]) of the array k is 1. As a result, if it is determined that k [j] is 0 (NO), the process proceeds to step S47, and 0 is assigned to the jth (y ′ [j]) of the array y ′ []. The process proceeds to step S48. On the other hand, if it is determined that k [j] = 1 (YES), the process proceeds to step S46, and the following calculation is executed.
[0068]
y ′ [j] = 240 & d12−16 (6)
[0069]
That is, since the pre-filtered pixel value (y4) is stored in the upper 4 bits of the input data d12, y4 is extracted by calculating the logical product of d12 and 240, and the obtained value is converted into the obtained value. A value obtained by adding 16 is stored as the j-th element (y ′ [j]) of the array y ′.
[0070]
In step S48, the value of variable j is incremented by 1, and the process proceeds to step S49 where it is determined whether or not the value of variable j is smaller than 4. As a result, when it is determined that the value of the variable j is smaller than 4 (YES), the process returns to step S45, and the same process as described above is repeated. If it is determined that the value of the variable j is 4 or more (NO), the process proceeds to step S50.
[0071]
In step S50, the following processing is executed.
[0072]
k1 = k [0] (7)
k3 = k [1] (8)
k5 = k [2] (9)
k7 = k [3] (10)
[0073]
That is, the 0th to 3rd elements of the array k are assigned to the variables k1, k3, k5, and k7, respectively.
[0074]
Then, when the process of step S50 is completed, the process proceeds to step S51, and the process shown in the following expression is executed.
[0075]
y1 ′ = y ′ [0] (11)
y3 ′ = y ′ [1] (12)
y4 ′ = d12 (13)
y5 ′ = y ′ [2] (14)
y7 ′ = y ′ [3] (15)
[0076]
That is, the 0th to third elements of the array y ′ are assigned to variables y1 ′, y3 ′, y5 ′, and y7 ′, respectively, and the value of the input data d12 is assigned to y4 ′. Then, the values assigned to these variables are output to the prediction filter circuit 4c, and the process ends (END).
[0077]
Through the above processing, as shown in FIG. 13, from the input data d12, the representative pixel values (y1 ′, y3 ′, y4 ′, y5 ′, y7 ′) and the additional codes (k1, k3, k5) k7).
[0078]
FIG. 14 shows a configuration example of the prediction filter circuit 4c. As shown in this figure, the prediction filter circuit 4c is composed of a class classification circuit 4c-1 and a filter circuit 4c-2. The class classification circuit 4c-1 generates a class code from the additional code and one block of pixels, and supplies it to the filter circuit 4c-2. The filter circuit 4c-2 reads out the coefficient corresponding to the class code from the prediction filter coefficient storage circuit 5, and reproduces the original pixel data by performing a predetermined process with the input data. .
[0079]
FIG. 15 is a diagram illustrating an example of processing executed by the class classification circuit 4c-1. When this processing is executed, in step S60, the maximum value among d7, d11, d12, d13, and d17 shown in FIG. 16 is selected and substituted for variable max. In the subsequent step S61, the minimum value is selected from d7, d11, d12, d13, and d17 and substituted into the variable min.
[0080]
In step S62, a value (max−min + 1) is substituted for the variable dr. In step S63, it is determined whether or not the value of the variable dr is 1. As a result, when it is determined that the value of the variable dr is 1 (YES), the process proceeds to step S66, 0 is substituted into the variable z12, and the process proceeds to step S70. If it is determined that the value of the variable dr is 0 (NO), the process proceeds to step S64.
[0081]
In step S64, the following calculation is executed.
[0082]
w = 2 (d12−min + 0.5) / dr (16)
[0083]
In subsequent step S65, it is determined whether or not the value of w obtained in step S64 is smaller than zero. As a result, when it is determined that the value of w is smaller than 0 (YES), the process proceeds to step S66, the value 0 is substituted into the variable z12, and the process proceeds to step S70. If it is determined that the value of w is greater than or equal to 0 (NO), the process proceeds to step S67, where it is determined whether or not the value of the variable w is greater than 1. As a result, when it is determined that the value of the variable w is greater than 1 (YES), the process proceeds to step S68, the value 1 is substituted into the variable z12, and the process proceeds to step S70. If it is determined that the value of the variable w is 1 or less (NO), the process proceeds to step S69, and an integer value obtained by rounding down the decimal point of the value of the variable w is substituted into the variable z12.
[0084]
In step S70, the following calculation is executed.
[0085]
i = (k7, k5, z12, k3, k1) (17)
[0086]
Here, (,,,) represents concatenation, and a binary number formed by sequentially combining the variables in () as one bit is substituted into the variable i. When the above calculation is finished, the value of the obtained variable i is output as a class code, and the process is finished (END).
[0087]
When the class classification circuit 4c-1 generates the class code i by the above processing, the obtained class code i is supplied to the filter circuit 4c-2. The filter circuit 4 c-2 reads out the filter coefficient corresponding to the class code i from the prediction filter coefficient storage circuit 5.
[0088]
The prediction filter coefficient storage circuit 5 supplies the prediction filter coefficient coefficients bij0 to bij24 and cij1, cij3, cij5, and cij7 corresponding to the class code i generated by the prediction filter coefficient generation circuit 6 to the filter circuit 4c-2. . As shown in FIG. 17, these prediction filter coefficients correspond to the coefficients cij1, cij3, cij5, cij7 corresponding to the representative pixels of the part to be decoded and the respective pixels of the block composed of 25 pixels. It is composed of coefficients bij0 to bij24.
[0089]
The filter circuit 4c-2 includes the above prediction filter coefficients, y1 ′, y3 ′, y5 ′, y7 ′ obtained by the decoding circuit 4b, and pixel data d0 to d24 for one block. Calculation As a result, x0 ′ to x8 ′ as decoded data shown in FIG. 17 are obtained.
[0092]
The block data obtained by the above processing is supplied to the non-blocking circuit 4d.
[0093]
In the non-blocking circuit 4d, the block data @ 1 to @ 6 output from the prediction filter circuit 4c are stored in the built-in memory, and as shown in FIG. 18, in the order of lines # 1 to # 6, Sequentially read out and output for each line.
[0094]
Next, the prefilter coefficient and prediction filter coefficient generation method in the prefilter coefficient generation circuit 3 and the prediction filter coefficient generation circuit 6 of the embodiment shown in FIG. 1 will be described with reference to FIG.
[0095]
FIG. 19 is a flowchart for describing processing for generating prefilter coefficients and prediction filter coefficients. Now, n types of images (original images) are prepared as learning samples, and coefficients are generated based on the original images.
[0096]
When the process of FIG. 19 is executed, in step S100, an initial value (initial prefilter coefficient) of the prefilter coefficient is set in the prefilter coefficient generation circuit 3.
[0097]
For example, the following values can be used as the initial coefficient.
[0098]
111
111
111
[0099]
In step S101, using the initial prefilter coefficient as described above, the encoder 1 performs the original image compression process as described above, and an image compressed to 1/9 is generated.
[0100]
In subsequent step S102, learning of the prediction filter coefficient is performed. That is, a calculation based on the least square method is performed between the learning original image and the decoded image output from the decoder 4, and the prediction filter coefficient is determined. Details will be described below.
[0101]
Now, assuming that the kth original image has been subjected to compression processing, a part of the output is as shown in FIG. Further, in the original image for learning, the pixels in the central block having the pixel d12k in FIG. 20 as the central pixel are set to x0k to x8k. At this time, when the image data output from the encoder 1 is Dij and the prediction filter coefficient is Bj, the following relationship is established between them. Note that i represents the number of filter classes, and j represents the number of modes, where 0 ≦ i ≦ 31 and 0 ≦ j ≦ 8.
[0102]
Xj ′ = DijBj (19)
[0103]
Equation (19) can be expressed as follows.
[0104]
[Expression 1]

[0105]
Here, when the learning original picture is Xj, it is desirable that the prediction filter coefficients satisfy the following conditions. Note that min means a minimum value.
[0106]
| Xj'-Xj | ² → min (21)
[0107]
Here, when the equation (19) is substituted into the equation (21), the following equation is obtained.
[0108]
| DijBj-Xj | ² → min (22)
[0109]
| Bj | ² When ≦ 1 is imposed, the following equation is obtained when equation (22) is solved.
[0110]
Bij = (Dij ^t Dij + αI) ^-1 Dij ^t Xj (23)
[0111]
Here, t represents transposition and -1 represents an inverse matrix. Further, I represents an n × m unit matrix.
[0112]
FIG. 21 is a flowchart for explaining an example of processing for calculating a prediction filter coefficient based on the least square method as described above.
[0113]
When this process is executed, in step S200, the matrix (Dij ^t The sum of the absolute values of all elements of Dij) is calculated and the obtained value is substituted into the variable max. In the subsequent step S201, a variable loop_start for storing a process start value is initialized to 1. In the subsequent step S202, the integer part of the logarithm of the value of the variable max is stored in a variable loop_end that stores the end value of the process.
[0114]
In the subsequent step S203, the value of the natural logarithm e raised to the variable loop_start power (= exp (loop_start)) is calculated and substituted into the variable α.
[0115]
In step S204, the coefficient Bij of the prediction filter is calculated according to the above equation (23).
[0116]
In the next step S205, | Bij | ² It is determined whether the value of is less than or equal to 1. That is, it is determined whether the norm of the prediction filter coefficient is 1 or less. As a result, | Bij | ² When it is determined that the value of 1 is 1 or less (YES), the process is terminated (END). Also, | Bij | ² If it is determined that the value of is greater than 1 (NO), the process proceeds to step S206.
[0117]
In step S206, the value of the variable loop_start is incremented by 1, and the process proceeds to step S207. In step S207, exp (loop_start) is calculated, and the obtained value is substituted into the variable α. Then, the process proceeds to step S208.
[0118]
In step S208, it is determined whether or not the value of the variable loop_start is greater than or equal to the value of the variable loop_end. As a result, when it is determined that the value of the variable loop_start is equal to or greater than the value of the variable loop_end (YES), the process is ended (END). If it is determined that the value of the variable loop_start is smaller (NO) than the value of the variable loop_end, the process returns to step S204, and the same processing as described above is repeated.
[0119]
With the above processing, the optimum value of the coefficient of the prediction filter is calculated based on the least square method.
[0120]
Referring back to FIG. 19, when the prediction filter coefficient is determined as described above, the process proceeds to step S103, and a decoded image is generated. This process is the same as described above, and the image output from the encoder 1 is decoded using the prediction filter coefficient generated in step S102.
[0121]
In subsequent step S104, an SNR (Signal-to-noise Ratio) is calculated between the original image and the decoded image (the output image of the decoder 4) by the following equation.
[0122]
SNR = 20log _Ten (255 / standard deviation of error) (24)
[0123]
Here, the standard deviation of the error can be obtained by the following equation.
[0124]
[Expression 2]

[0125]
That is, the square root of the mean square error is obtained over all pixels. Here, N indicates the total number of data (pixels).
[0126]
When the SNR is calculated, the process proceeds to step S105. Then, it is determined whether the amount of change in SNR is small or whether the number of processing times exceeds a predetermined value. That is, it is determined whether the difference between the SNR obtained by the previous process and the SNR obtained by the current process is 0.05 dB or less, or the number of processes exceeds 50. As a result, when it is determined that the amount of change is small or the predetermined number of processing times has been exceeded (YES), the processing is ended (END). If it is determined that none of these is satisfied (NO), the process proceeds to step S106.
[0127]
In step S106, pre-filter coefficient learning is performed. That is, as shown in FIG. 23, in the encoding process, a predetermined calculation is performed on a 15 × 15 pixel block of the kth original image, and a compressed image of 5 × 5 pixels is obtained. At this time, the value of the central pixel block can be obtained by the following equation.
[0128]

[0129]
In this expression, the prediction filter coefficients bij0, bij1, bij2,..., Cij1, cij3, cij5, cij7 are already determined in the process of step S102, and thus are known. Further, additional codes y1′k, y3′k, y5′k, and y7′k are also known. Therefore, it is considered to obtain pre-filter coefficients ap0, ap1, ap8, ..., aq0, aq1, ..., aq8, ... based on these known values.
[0130]
In Expression (26), the known cij1 * y1'k + cij3 * y3'k + cij5 * y5'k + cij7 * y7'k is shifted to the left side and expressed as a determinant as follows.
[0131]
[Equation 3]

[0132]
By applying the least square method to this equation as in the case described above, the optimum value of the prefilter coefficient can be obtained. That is, when Expression (27) is expressed as X = BA, an optimum value is obtained by calculating the following expression.
[0133]
A = (B ^t B + αI) ^-1 B ^t X (28)
[0134]
Specifically, an optimal prefilter coefficient can be obtained by performing the same processing as in the flowchart of FIG.
[0135]
Returning to FIG. 19, when the process of step S106 is completed and the optimum value of the prefilter coefficient is calculated, the process returns to step S101 and the same process as described above is repeated. As a result, when the amount of change in SNR between the original image and the decoded image becomes small (when the value converges), or when the number of processing times exceeds a predetermined number, the processing ends (END).
[0136]
According to the above processing, it is possible to optimize the characteristics of the prediction filter and the pre-filter according to the image using the learning original image, so that the compression is performed with the least deterioration in image quality. Extension processing can be performed.
[0137]
【The invention's effect】
According to the encoding device according to claim 1 and the encoding method according to claim 4, when the original image information for learning is prepared, the second coefficient used in the decoding process and , With reference to the original image information for learning, For pixel values of multiple pixels included in the original image information Predetermined coefficient To calculate the pixel of the original image information for learning The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient from the encoded image information obtained by thinning out and the original image information for learning before encoding. Since it is calculated as the optimum value of the first coefficient, it is possible to set the optimum coefficient according to the image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of an encoder illustrated in FIG.
FIG. 3 is a diagram for explaining an example of processing executed by the blocking circuit shown in FIG. 2;
FIG. 4 is a diagram illustrating an example of an original image.
5 is a block diagram showing a detailed configuration example of the prefilter circuit shown in FIG. 2. FIG.
FIG. 6 is a diagram illustrating a center pixel and a representative pixel.
FIG. 7 is a flowchart illustrating an example of processing executed by the class classification circuit of FIG.
FIG. 8 is a diagram for explaining a state of calculation processing by a pre-filter.
FIG. 9 is a flowchart for explaining an example of processing executed by an additional code generation circuit shown in FIG. 2;
10 is a block diagram showing a configuration example of a decoder shown in FIG. 1. FIG.
FIG. 11 is a diagram for explaining a state of processing executed by the blocking circuit shown in FIG. 10;
12 is a flowchart for explaining an example of processing executed by the decoding circuit shown in FIG.
13 is a diagram for explaining a state of processing executed by the decoding circuit shown in FIG.
14 is a block diagram illustrating a detailed configuration example of a prediction filter circuit illustrated in FIG.
FIG. 15 is a flowchart illustrating an example of processing executed by the class classification circuit shown in FIG. 14;
16 is a diagram illustrating an example of a target pixel in the process of FIG.
FIG. 17 is a diagram illustrating a state of processing executed in a prediction filter circuit.
18 is a diagram for explaining a state of processing executed in the unblocking circuit shown in FIG. 10;
FIG. 19 is a flowchart illustrating an example of processing for obtaining optimum values of prefilter coefficients and prediction filter coefficients.
FIG. 20 is a diagram illustrating an example of an image after compression processing.
FIG. 21 is a flowchart illustrating an example of processing for obtaining an optimum value of a prediction filter coefficient.
FIG. 22 is a diagram illustrating an example of an original image and an image after decoding processing.
FIG. 23 is a diagram illustrating a relationship between an original image and a prefilter coefficient in an encoding process.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Encoder, 1a Blocking circuit, 1b Pre filter circuit (calculation means, 1st calculation means), 1c Additional code generation circuit (2nd calculation means), 1d Encoding circuit (output means, addition means, transmission means) , 2 prefilter coefficient storage circuit, 3 prefilter coefficient generation circuit (calculation means, first calculation means), 4 decoder, 4a blocking circuit (reception means), 4b decoding circuit, 4c prediction filter circuit (calculation means, first calculation means) 2), 4d deblocking circuit 4d, 5 prediction filter coefficient storage circuit, 6 prediction filter coefficient generation circuit (calculation means, second calculation means)

Claims (4)

In the encoding apparatus that outputs after performing the process of thinning out pixels on the original image information,
A calculating means for multiplying and calculating a first coefficient with respect to pixel values of a plurality of pixels included in the original image information and obtaining image information after thinning by thinning out pixels of the original image information;
Calculating means for calculating the first coefficient;
Output means for outputting the data obtained by the arithmetic means,
When the original image information for learning is prepared, the calculating means refers to the second coefficient used in the decoding process and the original image information for learning, and From the encoded image information obtained by multiplying the pixel values of a plurality of pixels included in the original image information by a product-sum operation and thinning out the pixels of the original image information for learning. The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient and the original image information for learning before encoding is calculated as the optimum value of the first coefficient. An encoding apparatus characterized by that. The calculation means calculates an optimum value of the first coefficient from the second coefficient used in the decoding process and the original image information for learning using a least square method. The encoding device according to claim 1. Information obtained by applying a predetermined threshold value to a difference value between a predetermined pixel included in the image information and a pixel value of other pixels located around the predetermined pixel, Represents a magnitude relationship between a pixel and a pixel value of the other pixel, and is used when interpolating the other pixel, and generates data based on the encoded image information corresponding to the predetermined pixel. A second calculating means for calculating nonlinear information;
An addition unit for adding the nonlinear information calculated by the second calculation unit to the calculation result of the calculation unit;
The encoding apparatus according to claim 2, wherein the output means outputs the data obtained by the adding means. In an encoding method for outputting after encoding the original image information by performing pixel thinning processing,
A calculation step of multiplying and calculating a first coefficient with respect to pixel values of a plurality of pixels included in the original image information, and obtaining image information after thinning out by thinning out pixels of the original image information;
A calculating step for calculating the first coefficient;
An output step of outputting the data obtained by the calculation step,
When the original image information for learning is prepared, the calculating step refers to the second coefficient used in the decoding process and the original image information for learning. From the encoded image information obtained by multiplying the pixel values of a plurality of pixels included in the original image information by a product-sum operation and thinning out the pixels of the original image information for learning. The predetermined coefficient that minimizes the difference between the image information decoded based on the second coefficient and the original image information for learning before encoding is calculated as the optimum value of the first coefficient. An encoding method characterized by the above .

Images