JP7469866B2 - 符号化装置および符号化方法、復号装置および復号方法 - Google Patents

Description

本発明は符号化装置および符号化方法、ならびに復号装置および復号方法に関する。

デジタルカメラの撮像素子に多く用いられている単板式のカラーイメージセンサには、予め定められた複数色のフィルタが規則的に配置されたカラーフィルタ（ＣＦＡ）が設けられている。色の組み合わせや配置方法が異なる様々なカラーフィルタが知られているが、図２（ａ）に示す原色ベイヤ配列のカラーフィルタが代表的である。

原色ベイヤ配列のＣＦＡは２×２を１単位としてＲ（赤）、Ｇ０（緑）、Ｇ１（緑）、Ｂ（青）のフィルタが周期的に配列されている。撮像素子の１画素あたり１つのフィルタが設けられるため、１回の撮影で得られる画像データを構成する画素データは、ＲＧＢのうち１つの色成分の情報しか有していない。この状態の画像データをＲＡＷデータと呼ぶ。

ＲＡＷデータはそのまま表示するには適していない。そのため、一般には様々な画像処理を適用して、ＲＡＷデータを汎用機器で表示可能な形式（例えばＪＰＥＧ形式やＭＰＥＧ形式）に変換してから記録している。しかしながら、変換の過程でデータ量の削減などのために不可逆的な画像処理が適用されることから、変換前のＲＡＷデータを記録可能なデジタルカメラも存在する。

ＲＡＷデータのデータ量は、撮像素子の画素数増加に伴って非常に大きくなっている。そのため、連写速度の向上や記録媒体の容量節約などを目的として、データ量を削減（圧縮）してから記録することも提案されている。特許文献１には、ＲＡＷデータをＲ、Ｇ０、Ｂ、Ｇ１の４つのプレーンに分離した後に符号化する方法が示されている。

特開２００３－１２５２０９号公報

ＲＡＷデータのような画像データを符号化してデータ量を削減する場合、符号化による画質低下を抑制しつつ、圧縮率（データ削減率）を高めることが重要である。本発明は、良好な符号化効率を実現しつつ、符号化による画質低下を抑制する符号化を実現する符号化装置および符号化方法を提供することを目的の１つとする。

上述の目的は、周波数変換して低周波成分のサブバンドデータと高周波成分のサブバンドデータとを生成する変換手段と、第１の画像データを変換手段により周波数変換して生成された第１の画像データよりも解像度が小さい低周波成分のサブバンドデータから、第１の画像データの解像度を有する第２の画像データを生成する生成手段と、第１の画像データを変換手段により周波数変換して生成された高周波成分のサブバンドデータと、第２の画像データを変換手段により周波数変換して生成された高周波成分のサブバンドデータとの差分を求める演算手段と、第１の画像データの低周波成分のサブバンドデータと、差分とを符号化して、符号化データを生成する符号化手段と、を有することを特徴とする符号化装置によって達成される。

本発明によれば、良好な符号化効率を実現しつつ、符号化による画質低下を抑制する符号化を実現する符号化装置および符号化方法を提供することができる。

第１実施形態に係る符号化装置および復号装置の機能構成例を示すブロック図 符号化装置におけるプレーン変換に関する図 可逆５－３ＤＷＴおよび可逆５－３逆ＤＷＴに関する図 サブバンド分解に関する図 第１実施形態に係る符号化装置および復号装置の処理の概要を模式的に示す図 第１実施形態において用いるニューラルネットワークを構成するニューロンの構成例を示す図 実施形態において超解像処理に利用可能なニューラルネットワークの構成例を示す図 図７のニューラルネットワークで用いる重みおよびバイアスの学習方法に関する模式図 ＤＣＴを用いた周波数変換に関する図 ＤＣ係数の構成を説明するための図 実施形態おける符号化データのデータ構造例に関する図 図１１のデータ構造例におけるヘッダ情報の詳細の例に関する図 図１２におけるニューラルネットワークに関する情報の具体例を説明するための図 図１１のデータ構造例におけるヘッダ情報の詳細の別の例に関する図 第２実施形態に係る符号化装置および復号装置の機能構成例を示すブロック図 第２実施形態に係る符号化データのヘッダ情報の詳細の例に関する図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態で説明する符号化装置および復号装置は、画像データを処理可能な電子機器において実現することができる。このような電子機器には、デジタルカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

●（第１実施形態）
図１（ａ）は、本発明の実施形態に係る符号化装置１００の機能構成例を示すブロック図である。符号化装置１００はプレーン変換部１０１、周波数変換部１０２、超解像部１０３、高周波差分演算部１０４、量子化部１０５、エントロピー符号化部１０６、量子化パラメータ設定部１０７を有する。これら各部（機能ブロック）は、ＡＳＩＣなどの専用ハードウェア回路により、不揮発性メモリに記憶されたプログラムをＤＳＰやＣＰＵなどの汎用プロセッサによってシステムメモリに読み込んで実行することにより、あるいはその組み合わせにより実現できる。以下では便宜上、各機能ブロックが自律的に、他の機能ブロックと連携しながら動作するように説明する。

ここでは、符号化の対象であるＲＡＷデータ（第１の画像データ）が、図２（ａ）に示した原色ベイヤ配列のＣＦＡを備えた撮像素子から読み出されたものであるとする。ＲＡＷデータは、プレーン変換部１０１に入力される。

プレーン変換部１０１は、図２（ｂ）に示すように、ＲＡＷデータをＣＦＡの色配列に応じたグループ（プレーン）に分離して、周波数変換部１０２に供給する。ここでは、プレーン変換部１０１は、原色ベイヤ配列のＣＦＡを構成するＲ、Ｇ０、Ｇ１、Ｂの４種類のフィルタのうち、同じ種類のフィルタが設けられた画素から得られる画素データをグループ化する。Ｒフィルタが設けられた画素（Ｒ画素）から得られる画素データのグループをＲプレーンとよぶ。したがってプレーン変換部１０１はＲＡＷデータをＲプレーン、Ｇ０プレーン、Ｇ１プレーン、Ｂプレーンに分離し、各プレーンを周波数変換部１０２に供給する。

周波数変換部１０２は、プレーン変換部１０１から入力された各プレーンのデータに対して可逆５－３離散ウェーブレット変換（ＤＷＴ）を１回実行する。５－３ＤＷＴは、５タップのローパスフィルタ（ＬＰＦ）と３タップのハイパスフィルタ（ＨＰＦ）とを用いたＤＷＴであり、５／３ＤＷＴとも呼ばれる。

ここで可逆５－３ＤＷＴの具体的な適用方法について、図３（ａ）および図４を用いて説明する。図３（ａ）において、ａ～ｅは画素データ列、ｂ’，ｄ’はＤＷＴを実行して生成される高周波成分のＤＷＴ係数、ｃ’’はＤＷＴを実行して生成される低周波成分のＤＷＴ係数を示している。高周波成分のＤＷＴ係数ｂ’，ｄ’は、画素データａ～ｅを用いて
（式１） ｂ’＝ｂ－（ａ＋ｃ）／２
（式２） ｄ’＝ｄ－（ｃ＋ｅ）／２
によって得られる。式１、式２は使用する画素データが異なるが、数式での演算は同一である。

また、低周波成分のＤＷＴ係数ｃ’’は、画素データａ～ｅと高周波成分のＤＷＴ係数ｂ’およびｄ’から
（式３） ｃ’’＝ｃ＋（ｂ’＋ｄ’＋２）／４
あるいは
（式４） ｃ’’＝（－ａ＋２ｂ＋６ｃ＋２ｄ－ｅ） ／８
によって得られる。

図３（ａ）に示すＤＷＴは１次元ＤＷＴである。１次元ＤＷＴを各プレーンのデータについて垂直方向と水平方向に実施することで、２次元ＤＷＴが実現できる。２次元ＤＷＴの結果、図４に６００で示すように、プレーンデータが１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの４つのサブバンド（周波数成分）データに分解される。

１ＨＨサブバンドはレベル１の水平方向、垂直方向ともに高周波成分のサブバンドを示している。図４に示すように、レベル１の各サブバンドデータを構成する水平および垂直方向の係数の数は、プレーンデータを構成する水平および垂直方向の画素データの半数となる。

図４の６００における１ＬＬサブバンドに２次元ＤＷＴを適用すると、１ＬＬサブバンドがさらにサブバンド分割され、６１０で示すようなレベル２のサブバンドデータ（２ＬＬ、２ＬＨ、２ＨＬ、２ＨＨ）が得られる。レベル２の各サブバンドデータを構成する水平および垂直方向の係数の数は、レベル１のサブバンドデータを構成する水平および垂直方向の画素データの半数となる。

なお、本実施形態では周波数変換部１０２が、入力される各プレーンのデータに対して２次元ＤＷＴを１回適用するものとする。したがって周波数変換部１０２は、低周波成分である１ＬＬのサブバンドデータを超解像部１０３およびエントロピー符号化部１０６に、高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータを高周波差分演算部１０４に、それぞれ供給する。

超解像部１０３（変換手段）は、各プレーンの１ＬＬサブバンドデータに超解像処理を適用する。超解像部１０３は超解像処理により、図５（ａ）の８０１に示すように、プレーン変換部１０１から出力されるプレーンデータと同じ解像度のデータ（超解像画像データまたは第２の画像データと呼ぶ）を生成する。超解像部１０３は、生成した超解像画像データを周波数変換部１０２に供給する。超解像処理の詳細については後述する。

周波数変換部１０２は超解像部１０３から入力された超解像画像データに対して可逆５－３ＤＷＴを１回適用してレベル１のサブバンドデータ（１ＬＬ’、高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’）を生成する。そして、高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’を高周波差分演算部１０４に供給する。

高周波差分演算部１０４には、周波数変換部１０２から高周波成分のサブバンドデータが２セット供給される。１セットはプレーンデータをサブバンド分割して得られた高周波成分（１ＬＨ，１ＨＬ，１ＨＨ）のサブバンドデータである。また、もう１セットは１ＬＬに基づく超解像画像データをサブバンド分割して得られた高周波成分（１ＬＨ’，１ＨＬ’，１ＨＨ’）のサブバンドデータである。

高周波差分演算部１０４は、２セットの高周波成分のサブバンドデータについて、同じ種類のサブバンドデータの差分を演算する。すなわち、高周波差分演算部１０４は、図５（ａ）の８０３に示すように１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’を演算し、演算結果を量子化部１０５に供給する。

量子化パラメータ設定部１０７は、ユーザーが設定した圧縮率に従い、各プレーンの各サブバンド間差分に与える量子化パラメータを決定し、量子化部１０５に供給する。なお、一般に同一符号量で画質を良くするためには視覚的な影響の少ない高周波のサブバンド、およびレベルの低いサブバンドほど強く量子化される。そのためレベル１まで周波数変換を実施した場合には１ＨＨ－１ＨＨ’＞１ＨＬ－１ＨＬ’≒１ＬＨ－１ＬＨ’、となるように量子化パラメータが設定される。

また、量子化パラメータ設定部１０７は、超解像部１０３に対して、ニューラルネットワークを構成するニューロンに設定する重みおよびバイアスを供給する。量子化パラメータ設定部１０７は、重みおよびバイアスをエントロピー符号化部１０６にも供給する。

量子化部１０５は、高周波差分演算部１０４から供給されるサブバンドデータの差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’の各々に対して、量子化パラメータ設定部１０７から設定された量子化パラメータを用いて量子化する。そして、量子化部１０５は、量子化した差分データと量子化パラメータとをエントロピー符号化部１０６に供給する。

エントロピー符号化部１０６は、周波数変換部１０２から供給される低周波成分１ＬＬと、量子化部１０５から供給される高周波成分の差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、 １ＨＨ－１ＨＨ’の量子化データとをエントロピー符号化する。エントロピー符号化の方法に制限は無いが、例えばＥＢＣＯＴ(Embedded Block Coding with Optimized Truncation)を用いることができる。エントロピー符号化部１０６は、符号化したデータと、量子化パラメータと、重みおよびバイアスとを例えば１つのデータファイルに格納して出力したり、符号化データストリームとして出力したりする。

超解像部１０３についてさらに説明する。本実施形態において超解像部１０３は、ニューラルネットワークを用いて超解像処理を実現する。
図６は、超解像部１０３が用いるニューラルネットワークの構成要素となるニューロンの構成例である。ニューロン９００は、複数の入力値（ここではｘ_１からｘ_Ｎ）のぞれぞれに対して別個に供給される重み（ｗ_１からｗ_Ｎ）を乗じて加算した後、バイアスｂを加算してｘ’を求める。さらに、活性化関数にｘ’を入力して得られるｙを出力する。

ニューロン９００の入力値は、ニューラルネットワークに入力される１ＬＬサブバンドデータ、あるいは上流もしくは前段のニューロンの出力である。また、ニューロン９００の出力ｙは下流もしくは後段の他のニューロンに入力されるか、超解像画像データとしてニューラルネットワークから出力される。

より具体的には、ニューロン９００でｘ’を求める演算は以下の式５で表される。

なお、重み（ｗ_１乃至ｗ_Ｎ）およびバイアスｂは量子化パラメータ設定部１０７から供給される。

続いて式５で求めたｘ’を活性化関数に入力して出力ｙを得る。活性化関数は非線形の関数であり、例えば式６に示すシグモイド関数や、式７に示すＲｅＬＵ（ランプ関数）などを用いることができるが、これらに限定されない。
（式６） ｙ＝１／（１＋ｅ^－ｘ’）
（式７） ｙ＝０ （ｘ’≦０），ｙ＝ｘ’ （ｘ’＞０）

図７（ａ）はニューロン９００を用いたニューラルネットワーク１０００の構成例を示す図である。ニューラルネットワーク１０００は、入力層１００１、第１中間層１００２、第２中間層１００３、および出力層１００４の４層構成である。各層の間には複数のニューロン９００が配置されている。

各層のデータがニューロン９００に入力され、ニューロン９００の出力が次の層のデータとなる。第１中間層１００２、第２中間層１００３のデータ数は一致している必要はない。したがって、層間に設けられるニューロン９００の数は０以外の任意の数でよい。なお、本実施形態ではデータ数を４倍にする超解像処理を実現するため、入力層のデータ数Ｎに対して出力層のデータ数が４Ｎとなるようにニューラルネットワーク１０００が構成されている。

入力層１００１のｉｎ_０～ｉｎ_Ｎはニューラルネットワーク１０００に入力される１ＬＬサブバンドデータである。また、出力層１００４のｏｕｔ_０～ｏｕｔ_４Ｎはニューラルネットワーク１０００が出力する超解像画素データである。

図７（ｂ）はニューロン９００を用いた別のニューラルネットワーク１１００の構成例を示す図である。ニューラルネットワーク１１００はスキップコネクションを含んでいる。入力層１１０１と第１中間層１１０２間の波線の矢印がスキップコネクションを示し、ｉｎ_０、ｉｎ_１は第１中間層１１０２と第２中間層１１０３の間に配置されたニューロン９００に直接入力されている。このように、超解像部１０３が用いるニューラルネットワークはスキップコネクションを含む構成であってもよい。

また、ＣＮＮ(Convolution Neural Network)やＤＢＮ(Deep Brief Network)といった他の任意の構成のニューラルネットワークを用いてもよい。また、ニューラルネットワークの層数は４に限定されず、任意の複数層のニューラルネットワークを用いることができる。

次に、ニューロン９００で適用する重みおよびバイアスの決定方法について説明する。本実施形態では図８に示すような構成によって機械学習を利用してこれらのパラメータを決定する。図８に示す重み・バイアス更新部１２０３および重み・バイアス設定部１２０４は符号化装置１００の構成（例えば量子化パラメータ設定部１０７の一部）であってもよいし、符号化装置１００とは別の学習装置の構成であってもよい。

学習にあたり、図１（ａ）の周波数変換部１０２から出力される１ＬＬサブバンドデータ１２００を超解像部１０３に供給する。重み・バイアス設定部１２０４は超解像部１０３に対し、重みおよびバイアスを設定する。重みおよびバイアスの初期値は任意であり、例えば乱数を用いることができる。

超解像部１０３は設定された重みおよびバイアスをニューロン９００で用いて超解像処理を実行し、サブバンド分割前のプレーンデータと同じ解像度（１ＬＬサブバンドデータの４倍の解像度）の超解像プレーンデータ１２０１を生成する。超解像部１０３は超解像プレーンデータ１２０１を重み・バイアス更新部１２０３に供給する。

重み・バイアス更新部１２０３には超解像プレーンデータ１２０１と、１ＬＬサブバンドデータの元になった、サブバンド分割前の原画プレーンデータ１２０２とが入力される。原画プレーンデータ１２０２はプレーン変換部１０１が出力するプレーンデータに相当する。

重み・バイアス更新部１２０３は超解像プレーンデータ１２０１と原画プレーンデータ１２０２とを比較し、誤差逆伝搬法などを用いて超解像プレーンデータ１２０１が原画プレーンデータに近づくように、重みおよびバイアスを更新する。重み・バイアス更新部１２０３は、更新した重みおよびバイアスを重み・バイアス設定部１２０４に供給する。これにより、重み・バイアス設定部１２０４から超解像部１０３に供給する重みおよびバイアスが更新される。

重みおよびバイアスを更新する際に用いる指標としては例えばＰＳＮＲ(Peak signal-to-noise ratio)や差分絶対値和などを用いることができるが、これらに限定されない。ＰＳＮＲを用いる場合にはＰＳＮＲが大きくなるように重みおよびバイアスを更新する。また、差分絶対値和を用いる場合には差分絶対値和が小さくなるように重みおよびバイアスを更新する。

上述した重みおよびバイアスの更新処理を大量の学習用データに対して実行することにより、超解像部１０３のニューラルネットワークが有するニューロンで適用する重みおよびバイアスを決定する。このように機械学習を用いて重みおよびバイアスを決定することにより、超解像部１０３において元のプレーンデータに近い超解像画像データを生成することができる。その結果、超解像画像データをサブバンド分割して得られる高周波成分についても、元のプレーンデータをサブバンド分割して得られる高周波成分に近いものになる。

したがって、高周波差分演算部１０４で得られる、超解像データに基づく高周波成分とプレーンデータに基づく高周波成分との差分結果は０に近い値が支配的になり、エントロピー符号化による符号化効率を高めることができる。

なお、本実施形態においては２次元ＤＷＴによるサブバンド分割を１回適用する構成について説明した。しかし、サブバンド分割を複数回適用してもよい。サブバンド分割を複数回適用する場合も、ＬＬサブバンドデータに対して超解像処理を行う。サブバンド分割はＬＬサブバンドデータに対して適用するため、適用するサブバンド分割の回数にかかわらず、ＬＬサブバンドデータは１種類しか存在しない。

例えば図４の６１０に示すようにサブバンド分割を２回適用した場合には、２ＬＬサブバンドデータに対して超解像処理を適用する。超解像部１０３では、サブバンド分割の適用回数をｐとすると、水平方向および垂直方向のそれぞれについて解像度（データ数）を２^ｐ倍する超解像処理をＬＬサブバンドデータに適用する。また、高周波差分演算部１０４で差分を演算される高周波成分のサブバンドデータは、１ＨＬ、１ＬＨ、１ＨＨからｐＨＬ、ｐＬＨ、ｐＨＨの３ｐ種類になる。

また、本実施形態では画像データを周波数成分に分割する方式として２次元ＤＷＴを用いたが、他の周波数変換方法を用いてもよい。例えば、ＭＰＥＧ２やＨ．２６４などの規格で用いられている離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）を用いることができる。

Ｈ．２６４では符号化する画像データを水平１６画素×垂直１６画素のマクロブロックに分割し、さらに４画素×４画素のブロック単位でＤＣＴを適用して周波数変換したのちに符号化する。図９は、ＤＣＴを適用して得られるＤＣＴ係数を模式的に示す図である。４×４の係数のうち、左上の係数をＤＣ係数、それ以外の係数をＡＣ係数と呼ぶ。周波数変換部１０２は、超解像処理の対象となる低周波成分（サブバンドデータ）を、図１０に示すように、ＤＣＴを行う単位であるブロックごとにＤＣ係数を取り出して構成することができる。ＤＣＴを４画素×４画素のブロックごとに適用する場合、ＤＣ係数からなるサブバンドデータは元データの１／１６の解像度となる。したがって、超解像部１０３では水平方向および垂直方向に４倍ずつ解像度を増やす超解像処理をサブバンドデータに適用する。ＤＣＴを適用するブロックのサイズが異なる場合でも、超解像処理の倍率が異なる以外は基本的に同様である。なお、ＤＣ係数についても１ＬＬサブバンドの係数と同様、量子化を行わないものとする。

図１１を用いて、符号化結果（符号化ＲＡＷデータおよび量子化パラメータ）を記録するためのデータ形式の例について説明する。データ形式は図１１（ａ）に示す階層構造を有する。データは、符号化データ全体に関わる情報を示す「ｍａｉｎ＿ｈｅａｄｅｒ」から始まる。また、ＲＡＷデータを画素ブロック（タイル）単位に符号化することを想定して「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」とが繰り返し含まれている。これによりタイル単位にデータを格納することが可能となっている。符号化がブロック単位に行われない場合、「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」はそれぞれ１つのみが含まれる。

「ｔｉｌｅ＿ｄａｔａ」には、符号化ＲＡＷデータがプレーン単位に順次格納される。各プレーンに関わる情報を示す「ｐｌａｎｅ＿ｈｅａｄｅｒ」とそのプレーンについての符号化データである「ｐｌａｎｅ＿ｄａｔａ」とがプレーンごとに繰り返される。プレーンごとの符号化データである「ｐｌａｎｅ＿ｄａｔａ」は、サブバンドごとの符号化データで構成される。したがって、「ｐｌａｎｅ＿ｄａｔａ」には、各サブバンドに関わる情報を示す「ｓｂ＿ｈｅａｄｅｒ」と、そのサブバンドについての符号化データである「ｓｂ＿ｄａｔａ」とがサブバンドインデックス順に配置される。サブバンドインデックスは、例えば図１１（ｂ）に示すように割り当てられている。本実施形態では低周波成分のサブバンドデータ（ＬＬサブバンドデータやＤＣ係数）については量子化を行わない。そのため、サブバンドインデックス０については係数をエントロピー符号化したデータが格納される。また、高周波成分に対応するサブバンドインデックス１～３については高周波差分演算部１０４で算出した差分を量子化およびエントロピー符号化したデータが格納される。

例えば、図７（ａ）に示した構成のニューラルネットワークを用いた場合について具体的な各ヘッダ情報のシンタクス要素の例を図１２に示す。
「ｍａｉｎ＿ｈｅａｄｅｒ」には以下の情報が格納される。
「ｃｏｄｅｄ＿ｄａｔａ＿ｓｉｚｅ」：符号化ＲＡＷデータ全体のデータ量
「ｗｉｄｔｈ」：ＲＡＷデータの幅
「ｈｅｉｇｈｔ」：ＲＡＷデータの高さ
「ｄｅｐｔｈ」：ＲＡＷデータのビット深度
「ｐｌａｎｅ」：ＲＡＷデータの符号化時のプレーン数
「ｌｅｖ」：各プレーンのサブバンド分解レベル
「ｌａｙｅｒ」、「ａｃｔｉｖａｔｏｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」は超解像処理におけるニューラルネットワークの構成を示すシンタクス要素である。
「ｌａｙｅｒ」：中間層の数
「ａｃｔｉｖａｔｏｒ」：活性化関数を特定する情報。例えば「０」であればシグモイド関数、「１」であればＲｅＬＵとする。情報や関数の種類や数は単なる例示であり、任意に設定できる。
「ｎｏｄｅ」：超解像処理における各中間層のニューロンの数
「ｂ」：各ニューロンのバイアス
「ｗ」：各ニューロンに入力される前階層のニューロンに乗算される重み
ニューラルネットワークに関する各シンタクスの詳細については後述する。

「ｔｉｌｅ＿ｈｅａｄｅｒ」には以下の情報が含まれる。
「ｔｉｌｅ＿ｉｎｄｅｘ」：タイル分割位置を識別するためのタイルのインデックス
「ｔｉｌｅ＿ｄａｔａ＿ｓｉｚｅ」：タイルに含まれる符号化データ量
「ｔｉｌｅ＿ｗｉｄｔｈ」：タイルの幅
「ｔｉｌｅ＿ｈｅｉｇｈｔ」：タイルの高さ

「ｐｌａｎｅ＿ｈｅａｄｅｒ」には以下の情報が含まれる。
「ｐｌａｎｅ＿ｉｎｄｅｘ」：プレーンを識別するためのプレーンインデックス
「ｐｌａｎｅ＿ｄａｔａ＿ｓｉｚｅ」：プレーンの符号化データ量

「ｓｂ＿ｈｅａｄｅｒ」には以下の情報が含まれる。
「ｓｂ＿ｉｎｄｅｘ」：サブバンドを識別するためのサブバンドインデックス
「ｓｂ＿ｄａｔａ＿ｓｉｚｅ」：サブバンドの符号化データ量
「ｓｂ＿ｑｐ＿ｄａｔａ」：各サブバンドの量子化パラメータ

図１２のように各ヘッダのシンタクス要素を構成した場合、符号化装置がニューラルネットワークの構成に関するヘッダ情報に基づいて自身が有するニューラルネットワークの構成を更新可能に構成することができる。この場合、符号化装置の超解像部１０３が用いるニューラルネットワークのニューロンで用いる重みやバイアスなどを外部から変更することが可能である。そのため、本実施形態の符号化装置を搭載した機器に対するファームウェアの更新などを通じ、学習が進んで精度が向上した重みやバイアスを超解像部１０３に設定することができる。したがって、搭載済みの符号化装置の符号化効率をより高めることが可能になる。

次に、「ｍａｉｎ＿ｈｅａｄｅｒ」に含まれるニューラルネットワークに関するシンタクス「ｌａｙｅｒ」、「ａｃｔｉｖａｔｏｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」と、ニューラルネットワークの具体的な構成との関係を、図１３（ａ）を用いて説明する。なお、ここでは符号化されている１ＬＬサブバンドデータが４×４の１６個の係数からなるものとする。したがって、例えば図１３（ａ）に示すような、１６入力、６４出力のニューラルネットワークに対応した情報が各項目に格納される。

図１３（ｂ）は図１３（ａ）における入力層２１０１と第１中間層２１０２のｍｉｄ_００に接続されるニューロン９０１の構成例を示している。基本的な構成は図６に示したニューロン９００と同様である。まず、図１３（ａ）のニューラルネットワークは中間層を２つ有するため、「ｌａｙｅｒ」＝２とする。また、図１３（ｂ）に示すように、ニューロン９０１では活性化関数としてＲｅＬＵを用いる場合、「ａｃｔｉｖａｔｏｒ」＝１とする。

第１中間層２１０２に接続されるニューロンの数は３、第２中間層２１０３に接続されるニューロンの数は２、出力層２１０４に接続されるニューロンの数は６４である。したがって「ｎｏｄｅ（０）」＝３、「ｎｏｄｅ（１）」＝２、「ｎｏｄｅ（２）」＝６４とする。「ｎｏｄｅ（ｉ）」はｉは層の番号を示している。ｉ＝０が第１中間層に相当する。

バイアスｂ（ｉ）（ｊ）はｉが層の番号、ｊがニューロン番号を示す。ニューロン番号ｊは接続される層の要素の順番に振られる番号である。「ｂ（０）（０）」は第１中間層２１０２に接続される３つのニューロンのうち、ｍｉｄ_００に接続されるニューロン９０１に設定されるバイアス値である。図１３（ｂ）に示すニューロン９０１の場合、「ｂ（０）（０）」＝１となる。

同様に、図１３（ａ）のｍｉｄ_０１に接続されるニューロンのバイアス値を「ｂ（０）（１）」に、図１３（ａ）のｍｉｄ_０２に接続されるニューロンのバイアス値を「ｂ（０）（２）」に格納する。

ｗ（ｉ）（ｊ）（ｋ）はｉが層の番号、ｊがニューロン番号，ｋが前階層のニューロン番号を示している。また、「ｗ」の総数は一階層前のニューロンの数と同一である。第１中間層２１０２に接続されるニューロンのそれぞれには、ＬＬサブバンドの係数が入力されるため、重みｗの総数は１６である。

図１３（ｂ）に示すように、重みｗはニューロンに入力される前階層のニューロンの出力に乗算される。「ｗ（０）（０）（０）」は図１３（ｂ）に示す第１中間層２１０２のｍｉｄ_００に接続されるニューロン９０１において、入力ｉｎ_０に乗算される重みである。同様に、「ｗ（０）（０）（１）」はｉｎ_１に乗算される重み、「ｗ（０）（０）（２）」はｉｎ_２に乗算される重み、「ｗ（０）（０）（１５）」はｉｎ_１５に乗算される重みである。したがって、図１３（ｂ）に示すニューロン９０１の場合、「ｗ（０）（０）（０）」＝２、「ｗ（０）（０）（１）」＝３、「ｗ（０）（０）（２）」＝４、...「ｗ（０）（０）（１５）」＝２０が格納される。

他のニューロンについても、同様に重みを格納する。第１中間層２１０２のｍｉｄ_０１に接続されるニューロンについては「ｗ（０）（１）（ｎ）」（ｎ＝０～１５）に重みを格納する。第１中間層２１０２のｍｉｄ_０２に接続されるニューロンについては「ｗ（０）（２）（ｎ）」（ｎ＝０～１５）に重みを格納する。

他のニューロンについても同様にバイアスおよび重みを格納する。出力層２１０４に接続されたニューロンに関して、「ｂ（２）（０）」、．．．「ｂ（２）（６３）」、重み「ｗ（２）（０）（０）」、．．．「ｗ（２）（６３）（１）」を格納する。

以上のように各項目に情報を含めることにより、復号装置において符号化時に超解像画像データの生成に用いたニューラルネットワークを復元することができる。また、復号装置が有するニューラルネットワークの構成を更新することができる。

続いて、各ヘッダ情報のシンタクス要素のもう一つの構成例について図１４に基づき説明を行う。

なお、図１２では「ｍａｉｎ＿ｈｅａｄｅｒ」に、符号化時の超解像度処理に用いたニューラルネットワークの構成に関するシンタクス要素「ｌａｙｅｒ」、「ａｃｔｉｖａｔｏｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」を含めたが、これらは必須ではない。例えば図１４に示すように、「ｍａｉｎ＿ｈｅａｄｅｒ」にはニューラルネットワークの構成に関するシンタクス要素である「ｌａｙｅｒ」、「ａｃｔｉｖａｔｏｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」を含めなくてもよい。

図１４の形式で符号化データを記録する場合には、符号化装置と復号装置とで同一かつ固定の構成を有するニューラルネットワークを用いる。この場合、ニューラルネットワークを用いた超解像度処理の精度をファームウェアの更新などで向上させることはできないが、符号化データファイルの容量を小さくできる。

上述した符号化装置によって生成される符号化データは、符号化装置と逆の処理を行う復号装置によって復号することができる。図１（ｂ）は、図１（ａ）の符号化装置と対をなす復号装置の機能構成例を示すブロック図である。復号装置２００は、エントロピー復号部２０１、逆量子化部２０２、超解像部２０３、周波数変換部２０４、高周波復元部２０５、逆周波数変換部２０６、ベイヤー変換部２０７とを有する。これら各部（機能ブロック）は、ＡＳＩＣなどの専用ハードウェア回路により、不揮発性メモリに記憶されたプログラムをＤＳＰやＣＰＵなどの汎用プロセッサによってシステムメモリに読み込んで実行することにより、あるいはその組み合わせにより実現できる。以下では便宜上、各機能ブロックが自律的に、他の機能ブロックと連携しながら動作するように説明する。

エントロピー復号部２０１はＥＢＣＯＴ(Embedded Block Coding with Optimized Truncation)などによって、符号化されたウェーブレット係数を図５（ｂ）に８０４で示すように復号する。エントロピー復号部２０１は復号された低周波成分１ＬＬのサブバンドデータは超解像部２０３および逆周波数変換部２０６に供給する。またエントロピー復号部２０１は、復号された高周波成分の差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’のデータと量子化パラメータとを逆量子化部２０２に供給する。さらに、エントロピー復号部２０１は、符号化データファイルにニューラルネットワークの構成に関する要素（「ｌａｙｅｒ」、「ａｃｔｉｖａｔｏｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」）が含まれている場合、これらの情報を超解像部２０３に供給する。

逆量子化部２０２は、エントロピー復号部２０１から送られた復元された高周波成分の差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’を、量子化パラメータを用いて逆量子化し、高周波復元部２０５に供給する。

超解像部２０３はエントロピー復号部２０１から入力される低周波成分１ＬＬのサブバンドデータに超解像度処理を適用し、サブバンド分割前のプレーンデータと同じ解像度のデータ（超解像画像データ）を生成して、周波数変換部２０４に供給する。この処理は、図５（ｂ）において、８０４から８０５を生成する処理に相当する。超解像部２０３においてもニューラルネットワークを用いてサブバンドデータから解像度の高いデータを生成する。なお、エントロピー復号部２０１からニューラルネットワークの構成に関する情報が供給されている場合、超解像部２０３は供給される情報に基づいてニューラルネットワークを構成して、超解像度処理に用いる。

周波数変換部２０４は超解像画像データに対して可逆５－３ＤＷＴを１回実行し、低周波成分１ＬＬ’および高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’にサブバンド分割する。この処理は、図５（ｂ）において、８０５から８０６を生成する処理に相当する。周波数変換部２０４は高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’のサブバンドデータを高周波復元部２０５に供給する。

高周波復元部２０５は逆量子化部２０２から供給される高周波成分の差分データと、周波数変換部２０４から送信される高周波成分のサブバンドデータとを、対応するサブバンドごとに加算する。具体的には、高周波復元部２０５は１ＬＨ－１ＬＨ’には１ＬＨ’を、１ＨＬ－１ＨＬ’には１ＨＬ’を、１ＨＨ－１ＨＨ’には１ＨＨ’を加算する。これにより、高周波復元部２０５は図５（ｂ）の８０７に示すように高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータを復元する。この復元は、高周波成分のサブバンドデータの加算データの取得に相当する。高周波復元部２０５は復元した高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータを逆周波数変換部２０６に供給する。

逆周波数変換部２０６はエントロピー復号部２０１から供給される低周波成分１ＬＬのサブバンドデータと、高周波復元部２０５から供給される復元された高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータとに対して逆周波数変換を適用する。逆周波数変換は符号化時に行われた周波数変換の逆処理であり、可逆５－３逆ＤＷＴ（逆離散ウェーブレット変換）である。逆周波数変換により、１プレーン分のデータが得られる。逆周波数変換部２０６は、符号化データに含まれるＲ、Ｇ０、Ｂ、Ｇ１の各プレーンについてのデータをベイヤー変換部２０７に供給する。

可逆５－３逆ＤＷＴの具体的な適用方法について、図３（ｂ）を用いて説明する。図３（ｂ）において、ａ’，ｃ’，ｅ’は高周波成分のＤＷＴ変換係数、ｂ’’，ｄ’’は低周波成分のＤＷＴ変換係数を示している。また、ｂ，ｄはＤＷＴの開始位置の画素を０番目とした時の偶数番目のプレーンの画素データ、ｃはＤＷＴ開始位置の画素を０番目とした時の奇数番目のプレーンの画素データを示している。ＤＷＴ開始位置の画素を０番目とした時の偶数番目のプレーンの画素データｂ，ｄは
（式８） ｂ＝ｂ’’－（ａ’＋ｃ’＋２）／４
（式９） ｄ＝ｄ’’－（ｃ’＋ｅ’＋２）／４
によって得られる。式８、式９は使用する画素データが異なるが、数式での演算は同一である。
また、ＤＷＴ開始位置の画素を０番目とした時の奇数番目の色プレーンの画素データｃは
（式１０） ｃ＝ｃ’＋（ｂ＋ｄ）／２
によって得られる。

図３（ｂ）に示す逆ＤＷＴは１次元逆ＤＷＴである。１次元逆ＤＷＴをサブバンドデータの水平方向、垂直方向に実施することで各プレーンのデータに逆変換する。

ベイヤー変換部２０７は逆周波数変換部２０６から供給されるＲ、Ｇ０、Ｂ、Ｇ１の各プレーンのデータをベイヤ配列となるように再合成し、復号されたＲＡＷデータとして出力する。

本実施形態では、画像をサブバンド分割して符号化する際、高周波成分のサブバンドデータについては、低周波成分のサブバンドデータに基づいて生成した画像をサブバンド分割して得られた高周波成分のサブバンドデータとの差分を符号化するようにした。これにより、高周波成分に関する符号化データ量を大幅に削減することができ、良好な符号化効率が実現できる。また、低周波成分のサブバンドデータについては量子化を行わないようにすることで、低周波成分については量子化誤差による画質低下が生じないため、高品質の復号画像データを得ることができる。

また、学習済みのニューラルネットワークを用いて低周波成分のサブバンドデータの解像度を増加させることにより、高周波成分の差分結果を０付近に集約することが可能であり、一層の符号化効率の向上が実現できる。また、復号装置で符号化に用いたニューラルネットワークを構成するための情報を符号化データに含めることにより、復号装置が有しているニューラルネットワークの性能を向上させることができる。

本実施形態に係る符号化装置においてプレーンへの変換は必須でない。また、本実施形態に係る符号化装置はＲＡＷデータに限らず、任意の画像に対する符号化に適用可能である。

●（第２実施形態）
次に、本発明の第２実施形態について、図１５（ａ）を用いて説明する。図１５（ａ）において、第１実施形態で説明した符号化装置１００と同様の機能ブロックについては同じ参照数字を付してある。本実施形態の符号化装置１８００は、逆量子化部１８０１を有する点を除き、第１実施形態で説明した符号化装置１００と同様の機能構成を有する。したがって、以下では第１実施形態と異なる部分について重点的に説明する。

第１実施形態では低周波成分である１ＬＬのサブバンドデータについては量子化しない構成であったが、本実施形態では１ＬＬのサブバンドデータも量子化する。そして、量子化した１ＬＬのサブバンドデータを逆量子化部１８０１で逆量子化して超解像部１０３に供給する。

したがって、本実施形態において、周波数変換部１０２は、１ＬＬのサブバンドデータを超解像部１０３ではなく量子化部１０５に供給する。
そして、量子化部１０５は、１ＬＬのサブバンドデータを、量子化パラメータ設定部１０７から設定された量子化パラメータを用いて量子化し、エントロピー符号化部１０６および逆量子化部１８０１に供給する。

量子化パラメータ設定部１０７は、例えばユーザが設定した圧縮率に応じた量子化パラメータを、１ＬＬのサブバンドデータに適用する量子化パラメータとして量子化部１０５および逆量子化部１８０１に設定することができる。

逆量子化部１８０１は量子化部１０５から供給される量子化済みの１ＬＬのサブバンドデータを、量子化時に用いられた量子化パラメータを用いて逆量子化し、超解像部１０３に供給する。

超解像部１０３は逆量子化部１８０１から入力された１ＬＬサブバンドデータに対して第１実施形態と同様に超解像処理を適用して超解像画像データを生成し、周波数変換部１０２に供給する。

超解像画像データに対する周波数変換部１０２の動作と、高周波差分演算部１０４の動作は第１実施形態と同様であるため説明を省略する。

量子化パラメータ設定部１０７は、高周波成分の差分データを量子化するための量子化パラメータを量子化部１０５に設定する。この量子化パラメータは、例えばユーザが設定した圧縮率に応じて決定されてよい。なお、視覚的な影響の少ない高周波のサブバンド、およびレベルの低いサブバンドほど大きな量子化ステップで量子化することで、同一符号量で画質の低下を抑制することができる。例えば周波数変換部１０２でレベル１のサブバンド分割を適用した場合、１ＨＨ－１ＨＨ’用の量子化ステップ＞１ＨＬ－１ＨＬ’用の量子化ステップ≒１ＬＨ－１ＬＨ’用の量子化ステップ、という大小関係を満たす量子化パラメータを設定することができる。量子化パラメータ設定部１０７は、このような大小関係を満たす量子化パラメータを、複数の圧縮率のそれぞれについて予め用意しておき、設定された圧縮率に基づいて適切な量子化パラメータを量子化部１０５に設定することができる。

量子化部１０５は、高周波差分演算部１０４から供給される高周波成分の差分データ（１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’）の各々に対して、量子化パラメータ設定部１０７から設定された量子化パラメータを用いて量子化する。そして、量子化部１０５は量子化したデータを、エントロピー符号化部１０６に供給する。

エントロピー符号化部１０６は、量子化された低周波成分１ＬＬのサブバンドデータと、量子化された高周波成分の差分データとに対して、ＥＢＣＯＴなどのエントロピー符号化を適用し、符号化データとして出力する。

本実施形態では、低周波成分についても量子化を行うことで、第１実施形態よりも符号化データ量を削減することができる。

なお、超解像処理に用いるニューラルネットワークに設定する重み・バイアスの学習は図８を用いて第１実施形態で説明したように実施可能である。入力される１ＬＬのサブバンドデータ１２００が量子化および逆量子化されている点のみ異なる。なお、本実施形態においても、ＤＷＴ以外の方法で周波数変換を行ってもよい。

本実施形態においては低周波成分１ＬＬのサブバンドデータに適用する量子化パラメータが、設定される圧縮率（デジタルカメラであれば記録画質に相当）に応じて異なる。そのため、ニューラルネットワークの重みおよびバイアスの学習を、圧縮率ごとに行ってもよい。学習に要する時間や、保持する重みおよびバイアスのデータ量が増加するが、圧縮率に応じてより適切な超解像度処理が実施可能である。

圧縮率ごとに学習を行う場合における符号化データファイルのヘッダ情報のシンタクス要素の構成例について図１６を用いて説明する。図１６のシンタクス要素は「ｍａｉｎ＿ｈｅａｄｅｒ」に「ｌａｙｅｒ」、「ｎｏｄｅ」、「ｂ」、「ｗ」を含まず、「ｎｗ＿ｐａｔ」を含む点が第１実施形態で説明した図１２のシンタクス要素と異なる。

「ｎｗ＿ｐａｔ」はユーザが選択した圧縮率を特定可能な情報を格納する。例えば低圧縮、中圧縮、高圧縮の３つから圧縮率が選択可能な場合、低圧縮：０、中圧縮：１、高圧縮：２といった値を格納することができる。超解像処理は設定された圧縮率ごとに学習した重み、バイアスを用いてなされる。この場合、復号装置においても同様に、圧縮率に応じた重みおよびバイアスを保持しておき、復号時に「ｎｗ＿ｐａｔ」の値に応じた重みおよびバイアスをニューラルネットワークに設定する。

なお、各ヘッダ情報のシンタクス要素は図１４の構成として、設定された圧縮率で学習した重み、バイアスの選択は「ｓｂ＿ｈｅａｄｅｒ」の「ｓｂ＿ｑｐ＿ｄａｔａ」を参照して行うようにしてもよい。

次に、符号化装置１８００と対をなす復号装置１９００について、図１５（ｂ）を用いて説明する。図１５（ｂ）において、第１実施形態で説明した復号装置２００と同様の機能ブロックについては同じ参照数字を付してある。本実施形態の復号装置１９００は、１ＬＬのサブバンドデータが逆量子化部２０２から超解像部２０３に供給される点を除き、第１実施形態で説明した復号装置２００と同様の機能構成を有する。したがって、以下では第１実施形態と異なる部分について重点的に説明する。

エントロピー復号部２０１はＥＢＣＯＴ(Embedded Block Coding with Optimized Truncation)などによって、符号化されたウェーブレット係数を図８（ｂ）に８０４で示すように復号する。エントロピー復号部２０１は復号された低周波成分１ＬＬのサブバンドデータと、高周波成分の差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’のデータと、量子化パラメータとを逆量子化部２０２に転送する。

逆量子化部２０２は、エントロピー復号部２０１から供給される、復号された低周波成分１ＬＬのサブバンドデータ、高周波成分の差分１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’のデータを、量子化パラメータを用いて逆量子化する。逆量子化された低周波成分１ＬＬは超解像部２０３と逆周波数変換部２０６に供給する。また、逆量子化された１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’は高周波復元部２０５に供給する。

超解像部２０３はエントロピー復号部２０１から入力される低周波成分１ＬＬのサブバンドデータに超解像部１０３と同じ超解像度処理を適用し、サブバンド分割前のプレーンデータと同じ解像度のデータ（超解像画像データ）を生成する。そして、超解像部２０３は生成した超解像画像データを周波数変換部２０４に供給する。

周波数変換部２０４は超解像画像データに対して可逆５－３ＤＷＴを１回実行し、低周波成分１ＬＬ’および高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’にサブバンド分割する。周波数変換部２０４は高周波成分１ＬＨ’、１ＨＬ’、１ＨＨ’のサブバンドデータを高周波復元部２０５に供給する。

高周波復元部２０５は逆量子化部２０２から供給される高周波成分の差分データと、周波数変換部２０４から送信される高周波成分のサブバンドデータとを、対応するサブバンドごとに加算する。具体的には、高周波復元部２０５は１ＬＨ－１ＬＨ’には１ＬＨ’を、１ＨＬ－１ＨＬ’には１ＨＬ’を、１ＨＨ－１ＨＨ’には１ＨＨ’を加算する。高周波復元部２０５は復元した高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータを逆周波数変換部２０６に供給する。

逆周波数変換部２０６は逆量子化部２０２から供給される低周波成分１ＬＬのサブバンドデータと、高周波復元部２０５から供給される復元された高周波成分１ＬＨ、１ＨＬ、１ＨＨのサブバンドデータとに対して逆周波数変換を適用する。逆周波数変換は符号化時に行われた周波数変換の逆処理であり、可逆５－３逆ＤＷＴである。逆周波数変換により、１プレーン分のデータが得られる。逆周波数変換部２０６は、符号化データに含まれるＲ、Ｇ０、Ｂ、Ｇ１の各プレーンについてのデータをベイヤー変換部２０７に供給する。

ベイヤー変換部２０７は逆周波数変換部２０６から供給されるＲ、Ｇ０、Ｂ、Ｇ１の各プレーンのデータをベイヤ配列となるように再合成し、復号されたＲＡＷデータとして出力する。

本実施形態によれば、第１実施形態では量子化しない１ＬＬのサブバンドデータを量子化するようにしたため、符号化データ量をさらに削減することができる。

●（変形例）
第１実施形態では低周波成分である１ＬＬのサブバンドデータは量子化を行わずに、高周波成分の差分のデータのみを量子化し、第２実施形態では低周波成分である１ＬＬのサブバンドデータと高周波成分の差分のデータの両方を量子化するものとした。
変形例では、符号化装置１００については、プレーン変換部１０１、周波数変換部１０２、超解像部１０３、高周波差分演算部の処理は、第１実施形態、及び、第２実施形態と同様であるが、量子化部１０５において量子化するデータが異なる。複号装置２００については、エントロピー複合部２０１、超解像部２０３、周波数変換部２０４、高周波復元部２０５、逆周波数変換部２０６での処理は、第１実施形態、及び、第２実施形態と同様であるが、逆量子化部２０２において逆量子化するデータが異なる。

変形例１では、符号化装置１００においては、周波数変換部１０２により周波数変換されたデータのうち、低周波成分である１ＬＬのサブバンドデータについては、第２実施形態と同様に量子化部１０５により量子化を行う。そして、高周波成分の差分データ（１ＬＨ－１ＬＨ’、１ＨＬ－１ＨＬ’、１ＨＨ－１ＨＨ’）に対しては、量子化部１０５において量子化を行わずに、エントロピー符号化部１０６において符号化する。低周波成分である１ＬＬのサブバンドデータについては、量子化することによりデータ量を削減し、高周波成分については差分データであるためそもそもデータ量が少ないため、量子化を行わないようにしている。複号装置２００においては、逆量子化部２０２では、エントロピー複合部２０１で復号されたデータのうち、低周波成分である１ＬＬのサブバンドデータについては、第２実施形態と同様に逆量子化を行う。そして、逆量子化したデータを、超解像部２０３、逆周波数変換部２０６に入力して第２の実施形態と同様の処理を行う。復号されたデータのうち、高周波成分のデータ（実際には、高周波成分の差分データ）については、逆量子化部２０２による逆量子化を行わずに、高周波復元部に入力する。そして、超解像画像を周波数変換部２０４により周波数変換した高周波成分と、エントロピー複合部２０１で復号した高周波成分のデータ（差分データ）とを加算する。

このように、変形例１では、低周波成分のサブバンドデータは量子化（逆量子化）を行うようにし、高周波成分の差分データは、量子化（逆量子化）を行わないようにする。データ量の多い低周波成分のサブバンドを量子化するため圧縮効率を高めてデータ量を削減することができる。また、高周波成分のサブバンドについては、差分データでありデータ量が小さく、量子化することによりデータが消失してしまう可能性があるため、量子化せずにそのままエントロピー符号化し、データの消失を防いでいる。

また、変形例２として、低周波成分のサブバンドデータと、高周波成分のサブバンドの差分データの両方について、符号化の際には、量子化を行わず符号化し、複号の際にも、逆量子化を行わないようにすることも考えられる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更および変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…符号化装置、１０１…プレーン変換部、１０２…周波数変換部、１０３…超解像部、１０４…高周波差分演算部、１０５…量子化部、１０６…エントロピー符号化部、１０７…量子化パラメータ設定部

Claims (18)

1. 周波数変換して低周波成分のサブバンドデータと高周波成分のサブバンドデータとを生成する変換手段と、
   第１の画像データを前記変換手段により周波数変換して生成された前記第１の画像データよりも解像度が小さい低周波成分のサブバンドデータから、前記第１の画像データの解像度を有する第２の画像データを生成する生成手段と、
   前記第１の画像データを前記変換手段により周波数変換して生成された高周波成分のサブバンドデータと、前記第２の画像データを前記変換手段により周波数変換して生成された高周波成分のサブバンドデータとの差分を求める演算手段と、
   前記第１の画像データの低周波成分のサブバンドデータと、前記差分とを符号化して、符号化データを生成する符号化手段と、
   を有することを特徴とする符号化装置。
2. 前記差分を量子化する量子化手段をさらに有し、
   前記符号化手段は前記量子化された前記差分を符号化する、
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記量子化手段はさらに前記第１の画像データの低周波成分のサブバンドデータを量子化し、
   前記符号化手段は前記量子化された前記差分と、前記量子化された前記低周波成分のサブバンドデータとを符号化する、
   ことを特徴とする請求項２に記載の符号化装置。
4. 前記第１の画像データの低周波成分のサブバンドデータを量子化する量子化手段をさらに有し、
   前記符号化手段は前記量子化された前記第１の画像データの低周波成分のサブバンドデータを符号化する、
   ことを特徴とする請求項１に記載の符号化装置。
5. 前記第１の画像データの低周波成分のサブバンドデータの量子化に用いる量子化パラメータが、圧縮率の設定に応じて異なることを特徴とする請求項４に記載の符号化装置。
6. 前記生成手段が、学習済みのニューラルネットワークを用いて前記第１の画像データの低周波成分のサブバンドデータから前記第２の画像データを生成することを特徴とする請求項１から５のいずれか１項に記載の符号化装置。
7. 前記符号化手段は、前記ニューラルネットワークの構成に関する情報と、前記符号化データとを出力することを特徴とする請求項６に記載の符号化装置。
8. 前記変換手段は２次元の離散ウェーブレット変換を用いて前記周波数変換を行い、
   前記低周波成分がＬＬサブバンド、前記高周波成分がＬＨ、ＨＬ、ＨＨサブバンドであることを特徴とする請求項１から７のいずれか１項に記載の符号化装置。
9. 前記変換手段は離散コサイン変換を用いて前記周波数変換を行い、
   前記低周波成分がＤＣ係数、前記高周波成分がＡＣ係数であることを特徴とする請求項１から７のいずれか１項に記載の符号化装置。
10. 前記第１の画像データが撮像素子によって得られたＲＡＷデータであることを特徴とする請求項１から９のいずれか１項に記載の符号化装置。
11. 撮像素子と、
    前記撮像素子によって得られたＲＡＷデータを符号化する請求項１から１０のいずれか１項に記載の符号化装置と、
    を有することを特徴とする撮像装置。
12. 符号化装置が実行する符号化方法であって、
    第１の画像データを周波数変換して生成された前記第１の画像データよりも解像度が小さい低周波成分のサブバンドデータから、前記第１の画像データの解像度を有する第２の画像データを生成する生成工程と、
    前記第１の画像データを周波数変換して生成された高周波成分のサブバンドデータと、前記第２の画像データを周波数変換して生成された高周波成分のサブバンドデータとの差分を求める演算工程と、
    前記第１の画像データの低周波成分のサブバンドデータと、前記差分とを符号化して、符号化データを生成する符号化工程と、
    を有することを特徴とする符号化方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の符号化装置が有する各手段として機能させるためのプログラム。
14. 符号化データを復号する復号手段と、
    前記復号手段により前記符号化データを復号して得られたデータのうちの低周波成分のサブバンドデータであって、前記符号化データに対応する画像データよりも解像度が小さい低周波成分のサブバンドデータから、前記符号化データに対応する画像データの解像度を有する第２の画像データを生成する生成手段と、
    前記第２の画像データを周波数変換して、低周波成分のサブバンドデータと高周波成分のサブバンドデータとを生成する変換手段と、
    前記復号手段により前記符号化データを復号して得られたデータのうちの高周波成分のサブバンドデータに、前記変換手段により周波数変換して生成された高周波成分のサブバンドデータを加算して、高周波成分のサブバンドデータの加算データを取得する演算手段と、
    前記復号手段により前記符号化データを復号して得られたデータのうちの前記低周波成分のサブバンドデータと、前記演算手段により取得した高周波成分のサブバンドデータの加算データとを、逆周波数変換する逆周波数変換手段と、
    を有することを特徴とする復号装置。
15. 前記復号手段により前記符号化データを復号して得られたデータのうちの高周波成分のサブバンドデータを逆量子化する逆量子化手段をさらに有し、
    前記演算手段は、前記逆量子化手段により逆量子化された高周波成分のサブバンドデータに、前記変換手段により周波数変換して生成された高周波成分のサブバンドデータを加算する、
    ことを特徴とする請求項１４に記載の復号装置。
16. 前記変換手段は２次元の逆離散ウェーブレット変換を用いて前記逆周波数変換を行い、
    前記低周波成分がＬＬサブバンド、前記高周波成分がＬＨ、ＨＬ、ＨＨサブバンドであることを特徴とする請求項１４または１５に記載の復号装置。
17. 復号装置が実行する復号方法であって、
    符号化データを復号して得られたデータのうちの低周波成分のサブバンドデータであって、前記符号化データに対応する画像データよりも解像度が小さい低周波成分のサブバンドデータから、前記符号化データに対応する画像データの解像度を有する第２の画像データを生成する生成工程と、
    前記第２の画像データを周波数変換して、低周波成分のサブバンドデータと高周波成分のサブバンドデータとを生成する変換工程と、
    前記符号化データを復号して得られたデータのうちの高周波成分のサブバンドデータを周波数変換して生成された高周波成分のサブバンドデータを加算して、高周波成分のサブバンドデータの加算データを取得する演算工程と、
    前記符号化データを復号して得られたデータのうちの前記低周波成分のサブバンドデータと、前記演算工程で取得される高周波成分のサブバンドデータの加算データとを、逆周波数変換する逆周波数変換工程と、
    を有することを特徴とする復号方法。
18. コンピュータを、請求項１４から１６のいずれか１項に記載の復号装置が有する各手段として機能させるためのプログラム。

Images