JP6143866B2 - 画像符号化装置、画像復号装置及びそれらのプログラム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置及びそれらのプログラムに関する。

マルチメディア技術の普及により、日常生活でもしばしば動画像が扱われている。画像データは、一般に情報量が多いうえ、動画像は複数の静止画で形成される。そのため、動画像データを伝送・蓄積する際、画像符号化技術を用いて情報量を圧縮するのが通例である。高い能率で情報量を圧縮する符号化方式として、予測符号化方式がある。予測符号化方式は、現時点での予測画像を過去に符号化した画像から予測する処理と、入力された入力画像と予測画像との差分である差分画像を符号化する処理からなる。差分画像の符号化では、差分画像について変換処理や、変換領域（例えば、空間周波数領域）で示される変換係数を量子化したうえでエントロピー符号化等の可逆符号化が行われる。人間の視覚特性は、空間周波数が低い周波数帯域（低域）のほうが高域よりも敏感であるため、量子化において低域ほど小さく、高域ほど大きい量子化幅が用いられることがある。このようなブロック内の座標もしくは周波数毎の量子化幅で形成されるデータは、量子化マトリクスと呼ばれる。これにより差分信号の低域成分が重視されるので、情報量を圧縮しても主観的な品質の低下が抑制される。

予測符号化方式の代表的な方式として、非特許文献１に記載のＨＥＶＣ（Ｈｉｇｈ Ｅｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高能率画像符号化）方式（ＩＳＯ／ＩＥＣ ２３００８−２ ＨＥＶＣ、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５とも呼ばれる）がある。ＨＥＶＣ方式では、差分画像の一部であるブロック毎に変換処理の一種である直交変換を省略（スキップ）するか否かを判定し、省略すると判定されたとき差分画像を量子化して可逆符号化が行われる。ここで、直交変換を行うか否かの各々について差分の大きさを比較して、直交変換を省略するか否かが定められる。直交変換を省略して量子化及び符号化を行う処理モードは、変換スキップ（ＴＳ：Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）モードと呼ばれる。ＴＳモードが選択された場合、差分画像の低域成分が主ではない場合でも、情報量を圧縮することができる。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５，（０４／２０１３）"，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ａｐｒｉｌ ２０１３

しかしながら、非特許文献１に記載の符号化方式においては、直交変換を行ったブロックと、直交変換を行わないブロックとが混在しているときに、主観的な画質が劣化することがあるという問題がある。例えば、直交変換を行ったブロックに合わせて、高域であるほど粗くなるように量子化の粗さを設定すると、直交変換を行っていないブロックでは、画素間で、量子化の粗さが異なるために、画素間にばらつきが発生し、主観的な画質が劣化してしまう。

本発明は、このような事情に鑑みてなされたもので、直交変換を行ったブロックと、直交変換を行わないブロックとが混在していても、量子化によって発生する主観的な画質の劣化を抑えることができる画像符号化装置、画像復号装置およびそれらのプログラムを提供する。

（１）そこで上記課題を解決するため、本発明は、入力画像と予測画像との差分を表す予測差分信号を分割した変換ブロックに対して直交変換を適用するか又は非適用とする変換スキップを行うかを判定する判定部と、前記判定に基づき選択された処理を行う直交変換部とを備える画像符号化装置であって、前記判定に基づき前記変換スキップが選択された場合、前記変換ブロックを復号側と予め共有している全ての要素の量子化の粗さが等しい第１の量子化行列を用いて量子化し、前記判定に基づき変換ブロックに対して直交変換が適用された場合、前記変換ブロックを前記第１の量子化行列又は復号側に伝送する第２の量子化行列を用いて量子化する量子化部を有することを特徴とする。

（２）また、本発明の他の態様は、入力画像と予測画像との差分を表す予測差分信号を分割した変換ブロックに対して直交変換を適用するか又は非適用とする変換スキップを行うかを判定する判定部と、前記判定に基づき選択された処理を行う直交変換部とを備える画像符号化装置であって、前記判定に基づき前記変換スキップが選択された場合、前記変換ブロックを復号側と予め共有している全ての要素の量子化の粗さが等しい第１の量子化行列又は復号側に伝送する第２の量子化行列を構成する要素の代表値で、全ての要素の量子化の粗さが表される量子化行列を用いて量子化し、前記判定に基づき変換ブロックに対して前記直交変換が適用された場合、前記第１の量子化行列又は前記第２の量子化行列を用いて量子化する量子化部を有することを特徴とする。

（３）また、本発明の他の態様は、入力画像と予測画像との差分を表す予測差分信号を分割した変換ブロックに対して直交変換を適用するか又は非適用とする変換スキップを行うかを判定する判定部と、前記判定に基づき選択された処理を行う直交変換部とを備える画像符号化装置であって、前記判定に基づき前記変換スキップが選択された場合、前記変換ブロックを復号側と予め共有している全ての要素の量子化の粗さが等しい第１の量子化行列又は復号側に伝送する単一の値であって、全ての要素の量子化の粗さが表される量子化行列を用いて量子化し、前記判定に基づき変換ブロックに対して前記直交変換が適用された場合、前記第１の量子化行列又は復号側に伝送する第２の量子化行列を用いて量子化する量子化部を有することを特徴とする。

（４）また、本発明の他の態様は、（１）乃至（３）のいずれかに記載の画像符号化装置であって、前記量子化部は、前記判定に基づき前記変換ブロックに対して直交変換が適用された場合であって、前記第２の量子化行列を伝送するとき該第２の量子化行列を用いて量子化し、前記直交変換が適用された場合であって、前記第２の量子化行列を伝送しないとき前記第１の量子化行列を用いて量子化することを特徴とする。

（５）また、本発明の他の態様は、（１）に記載の画像復号装置であって、 前記量子化部は、前記判定に基づき前記変換ブロックに対して前記変換スキップが選択された場合であって、前記第２の量子化行列を伝送するとき、前記第１の量子化行列を用いて量子化することを特徴とする。

（６）また、本発明の他の態様における画像復号装置は、符号化データに含まれる量子化済みブロックが、直交変換が非適用とされた変換スキップされたブロックである場合、前記量子化済みブロックを符号化側と予め共有している全ての要素の量子化の粗さが等しい第１の量子化行列を用いて逆量子化し、符号化データに含まれる量子化済みブロックが、直交変換が適用されたブロックである場合、前記第１の量子化行列又は符号化側から伝送される第２の量子化行列を用いて逆量子化する逆量子化部を有することを特徴とする。

（７）また、本発明の他の態様における画像復号装置は、符号化データに含まれる量子化済みブロックが、直交変換が非適用とされた変換スキップされたブロックである場合、前記量子化済みブロックを符号化側と予め共有している第１の量子化行列又は符号化側から伝送される第２の量子化行列を構成する要素の代表値で、全ての要素の量子化の粗さが表される量子化行列を用いて逆量子化し、符号化データに含まれる量子化済みブロックが、直交変換が適用されたブロックである場合、前記第１の量子化行列又は前記第２の量子化行列を用いて逆量子化する逆量子化部を有することを特徴とする。

（８）また、本発明の他の態様における画像復号装置は、符号化データに含まれる量子化済みブロックが、直交変換が非適用とされた変換スキップされたブロックである場合、前記量子化済みブロックを符号化側と予め共有している第１の量子化行列又は符号化側から伝送される単一の値で全ての要素の量子化の粗さが表される量子化行列を用いて逆量子化し、符号化データに含まれる量子化済みブロックが、直交変換が適用されたブロックである場合、前記第１の量子化行列又は符号化側から伝送される第２の量子化行列を用いて逆量子化する逆量子化部を有することを特徴とする。

（９）また、本発明の他の態様は、（６）乃至（８）のいずれかに記載の画像復号装置であって、前記逆量子化部は、前記符号化データに含まれる量子化済みブロックが、直交変換が適用されたブロックである場合であって、前記符号化側から前記第２の量子化行列が伝送されているとき、該第２の量子化行列を用いて逆量子化し、前記符号化データに含まれる量子化済みブロックが、直交変換が適用されたブロックである場合であって、前記符号化側から前記第２の量子化行列が伝送されていないとき、前記第１の量子化行列を用いて逆量子化することを特徴とする。

（１０）また、本発明の他の態様は、（６）に記載の画像復号装置であって、前記逆量子化部は、前記符号化データに含まれる量子化済みブロックが、直交変換が非適用とされた変換スキップされたブロックである場合であって、前記符号化側から前記第２の量子化行列が伝送されているとき、前記第１の量子化行列を用いて逆量子化することを特徴とする。

（１１）また、本発明の他の態様は、コンピュータを、（１）から（５）のいずれかに記載の画像符号化装置として機能させるためのプログラムである。

（１２）また、本発明の他の態様は、コンピュータを、（６）から（１０）のいずれかに記載の画像復号装置として機能させるためのプログラムである。

この発明の第１の実施形態における画像符号化装置１０の概略構成の一例を示すブロック図である。 同実施形態における符号化ブロックと、変換ブロックとを説明する模式図である。 同実施形態における量子化行列ｔｂ１１を示すテーブルである。 同実施形態における量子化行列ｔｂ２１を示すテーブルである。 同実施形態における量子化行列ｔｂ２２を示すテーブルである。 同実施形態における量子化行列決定部１０５と量子化部１０４の処理を説明するフローチャートである。 同実施形態における画像復号装置３０の構成を示す概略ブロック図である。 同実施形態における量子化行列決定部３０４と、逆量子化部３０３の動作を説明するフローチャートである。 この発明の第２の実施形態における量子化部１０４、量子化行列決定部１０５の動作を説明するフローチャートである。 同実施形態における逆量子化部３０３、量子化行列決定部３０４の動作を説明するフローチャートである。 この発明の第３の実施形態における量子化部１０４、量子化行列決定部１０５の動作を説明するフローチャートである。 同実施形態における逆量子化部３０３、量子化行列決定部３０４の動作を説明するフローチャートである。 この発明の第４の実施形態における画像符号化装置１０ａの構成を示す概略ブロック図である。 同実施形態における量子化部１０４、量子化行列決定部１０５ａの動作を説明するフローチャートである。 同本実施形態における画像復号装置３０ａの構成を示す概略ブロック図である。 同実施形態における逆量子化部３０３、量子化行列決定部３０４ａの動作を説明するフローチャートである。 この発明の第５の実施形態における量子化部１０４、量子化行列決定部１０５ａの動作を説明するフローチャートである。 同実施形態における逆量子化部３０３、量子化行列決定部３０４ａの動作を説明するフローチャートである。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態における画像符号化装置１０の概略構成の一例を示すブロック図である。画像符号化装置１０は、入力動画像ｒを符号化して、符号化データを生成する。図１に示す例では、画像符号化装置１０は、前処理部１００、予測差分信号生成部１０１、直交変換部１０２、変換スキップ判定部１０３、量子化部１０４、量子化行列決定部１０５、エントロピー符号化部１０６、逆量子化部１０７、逆直交変換部１０８、復号画像生成部１０９、ループフィルタ部１１０、復号画像記憶部１１１、イントラ予測部１１２、インター予測部１１３、動きベクトル計算部１１４、予測画像選択部１１５を含んで構成される。各部についての概略を以下に説明する。

前処理部１００は、入力された入力動画像ｒに対して、ピクチャタイプに合わせたピクチャの並べ替えを行い、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、各フレーム画像について、符号化ブロックへのブロック分割を行う。なお、符号化ブロックのサイズには、８×８、１６×１６、３２×３２の３種類がある。各符号化ブロックのサイズを、これらのうちのいずれにするかは、例えば、その領域の空間周波数分布を参照し、高周波成分が小さいほど、符号化ブロックのサイズを大きくするなど、どのような方法で決めてもよい。

予測差分信号生成部１０１は、前処理部１００が分割した符号化ブロックを取得する。予測差分信号生成部１０１は、その符号化ブロックと、予測画像選択部１１５から入力される予測画像のブロックデータとにより、予測差分信号を生成する。具体的には、予測画像選択部１１５の符号化ブロックの画素値各々から、予測画像選択部１１５から入力されるブロックデータの対応する画素値を差し引くことで、予測差分信号を生成する。予測差分信号生成部１０１は、生成された予測差分信号を直交変換部１０２と変換スキップ判定部１０３とに入力する。

直交変換部１０２は、入力された予測差分信号を、変換ブロックに分割する。なお、変換ブロックのサイズには、４×４、８×８、１６×１６、３２×３２の４種類がある。各変換ブロックのサイズを、これらのうちのいずれにするかは、どのようにして決定してもよい。例えば、直交変換部１０２は、該符号化データを復号した復号結果と入力動画像との差分の大きさを表す値と、各サイズのときの符号化データのビット数とに基づく評価値を算出し、該評価値が最も大きいときのサイズとする。なお、評価値は、符号化データのビット数が少ないほど大きく、復号結果と入力動画像との差分の大きさが少ないほど大きい値である。

直交変換部１０２は、分割した変換ブロックに対して、離散コサイン変換などの直交変換処理をして、量子化ブロックを生成する。ただし、変換スキップ判定部１０３によって、直交変換を適用しないと判定された変換ブロックについは、変換ブロックをそのまま量子化ブロックにする。なお、直交変換ではブロックのサイズが変化しないので、変換ブロックのサイズと、それを直交変換した量子化ブロックのサイズは同じである。

変換スキップ判定部１０３は、変換ブロック各々について直交変換を行うか否かを判定する。変換スキップ判定部１０３は、例えば、変換ブロックの空間周波数分布を算出し、周波数成分の最大値と最小値との差が、所定の閾値以下であるときは、変換スキップとする。なお、その他の方法で、直交変換を行うか否かを判定してもよい。また、本実施形態では、ＨＥＶＣと同様に、変換ブロックのサイズが４×４のときのみ直交変換を適用しない（変換スキップ）ようにすることができる。

変換スキップ判定部１０３は、当該変換ブロックが直交変換を適用しないようにすることができるものであるときには、当該変換ブロックに直交変換を適用するか否かを示す変換スキップフラグ（transform_skip_flag）をエントロピー符号化部１０６と、量子化行列決定部１０５とに入力する。なお、変換ブロックが直交変換を適用しないようにすることができるものであるときとは、本実施形態であれば、当該変換ブロックのサイズが４×４のときである。また、変換スキップフラグは、「１」であるときは、直交変換を適用しないことを表し、「０」であるときは、直交変換を適用することを表す。

量子化部１０４は、直交変換部１０２からの出力信号である量子化ブロックを量子化する。量子化部１０４は、量子化することによって出力信号の符号量を低減し、この出力信号（量子化済みブロック）をエントロピー符号化部１０６及び逆量子化部１０７に入力する。量子化部１０４は、量子化ブロックを量子化する際に、量子化行列決定部１０５が量子化ブロック毎に決定した量子化行列を用いる。この量子化行列は、その各要素（以降、量子化値という）が、量子化ブロックの対応する要素を量子化する際の量子化の粗さを表す行列である。量子化値が大きいほど、量子化ステップが大きくなる。

量子化行列決定部１０５は、量子化ブロック毎に、量子化行列を決定する。量子化行列決定部１０５は、量子化ブロックのうち、変換スキップにより得られた量子化ブロックの量子化行列を、全ての要素の量子化の粗さが等しい量子化行列となるように、すなわち、全ての量子化値が同じ値となるように量子化行列を決定する。量子化行列の決定方法の詳細は後述する。

量子化行列決定部１０５は、量子化行列として、復号側に伝送する伝送量子化行列を用いるか否かを表す伝送量子化行列適用フラグ（scaling_list_enable_flag）を、エントロピー符号化部１０６に入力する。さらに、量子化行列決定部１０５は、伝送量子化行列適用フラグが「１」であり、伝送量子化行列を用いることを示しているときは、該伝送量子化行列（ScalingFactor）の各要素を所定の順に並べたスケーリングリスト（ScalingList
）を、エントロピー符号化部１０６に入力する。

エントロピー符号化部１０６は、量子化部１０４からの出力信号や動きベクトル計算部１１４から出力された動きベクトル情報やループフィルタ部１１０からのフィルタ係数など、各部から入力された情報を、エントロピー符号化して、符号化データｅとして出力する。なお、各部から入力された情報には、変換スキップ判定部１０３から入力された変換スキップフラグ、量子化行列決定部１０５から入力されたスケーリングリスト、伝送量子化行列適用フラグを含む。また、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０７は、量子化部１０４から入力された量子化済みブロックを逆量子化して、変換済みブロックを生成する。逆量子化部１０７は、生成した変換済みブロックを逆直交変換部１０８に入力する。逆量子化部１０７は、逆量子化の際に、量子化行列決定部１０５が決定した量子化行列を用いる。これにより、量子化の際の量子化の粗さに応じた逆量子化を行う。

逆直交変換部１０８は、逆量子化部１０７から入力された変換済みブロックを逆直交変換処理してから復号画像生成部１０９に出力する。これら逆量子化部１０７及び逆直交変換部１０８によって復号処理が行われることにより、符号化前の予測差分信号と同程度の信号が得られる。

復号画像生成部１０９は、予測画像選択部１１５により選択された予測画像のブロックデータと、逆量子化部１０７及び逆直交変換部１０８により復号処理された予測差分信号とを加算する。復号画像生成部１０９は、加算して生成した復号画像のブロックデータを、ループフィルタ部１１０に出力する。

ループフィルタ部１１０は、例えばＳＡＯ（Sample Adaptive filter）、ＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタであり、いずれか又は複数を備えてもよい。

例えば、ループフィルタ部１１０は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１１０は、フィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１１０は、フィルタ処理結果を復号画像記憶部１１１に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。

復号画像記憶部１１１は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１２、インター予測部１１３及び動きベクトル計算部１１４に出力する。

イントラ予測部１１２は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部１１２は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。

インター予測部１１３は、復号画像記憶部１１１から取得した参照画像のデータを動きベクトル計算部１１４から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

動きベクトル計算部１１４は、符号化対象画像におけるブロックデータと、復号画像記憶部１１１から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。

動きベクトル計算部１１４は、求めた動きベクトルをインター予測部１１３に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０６に出力する。

イントラ予測部１１２とインター予測部１１３から出力されたブロックデータは、予測画像選択部１１５に入力される。

予測画像選択部１１５は、イントラ予測部１１２とインター予測部１１３から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測差分信号生成部１０１および復号画像生成部１０９に出力される。

図２は、本実施形態における符号化ブロックと、変換ブロックとを説明する模式図である。前処理部１００によって、各フレームは、符号化ブロックに分割される。符号化ブロックのサイズは、８×８、１６×１６、３２×３２のいずれかである。図２では、あるフレーム中の６４×６４のブロックが、３２×３２の符号化ブロックＣＢ１、ＣＢ２、ＣＢ３と、１６×１６の符号化ブロックＣＢ４、ＣＢ５、ＣＢ６、ＣＢ７に分割されている。

さらに、符号化ブロック各々に対応する予測差分信号は、直交変換部１０２によって、変換ブロックに分割される。図２では、３２×３２の符号化ブロックＣＢ２が、１６×１６の変換ブロックＴＢ１、ＴＢ２、ＴＢ３、８×８の変換ブロックＴＢ４、ＴＢ５、ＴＢ６、４×４の変換ブロックＴＢ７、ＴＢ８、ＴＢ９、ＴＢ１０に分割されている。

図３、図４、図５は、それぞれ水平方向に４個（４列）、垂直方向に４個（４行）、計１６個の量子化値を有する量子化行列ｔｂ１１、ｔｂ２１、ｔｂ２２を示すテーブルである。量子化行列ｔｂ１１、ｔｂ２１、ｔｂ２２は、要素数が４×４であるので、４×４の量子化ブロックの量子化に用いられる。量子化行列ｔｂ１１、ｔｂ２１、ｔｂ２２にそれぞれ含まれる四角形は要素を示す。四角形のそれぞれに記載された数字は量子化値を示す。

量子化行列ｔｂ１１は、平坦（フラット）な初期値によるデフォルト量子化行列の一例であり、各要素の量子化値はいずれも１６である。ここで、平坦とは、量子化行列の全ての要素が、同一の値であることをいう。このような平坦な量子化行列が用いられると、量子化ブロックの要素によらず同一な精度で量子化される。そのため、直交変換が行われない場合に、量子化行列ｔｂ２１等のように量子化値に偏りを有する量子化行列を用いることによる、画質の劣化を回避することができる。

量子化行列ｔｂ２１は、傾斜を持つ伝送量子化行列の一例である。量子化行列ｔｂ２１は、水平方向、垂直方向の次数がそれぞれ大きくなるほど、大きな量子化値を有する。量子化行列ｔｂ２１の左上端（第１行第１列）、中間（第３行第２列）、右下端（第４行第４列）の量子化値は、それぞれ６、２８、４２である。このような量子化行列では、より右下に配列された要素に係る変換係数、つまり高域の変換係数ほど低い精度で量子化される。そのため、直交変換が行われる場合には、低域ほど濃淡や色相の空間的変化に鋭敏であるという人間の視覚特性を活用し、主観的な画質を劣化させずに量子化によって高域での情報量を低減することが許容される。

量子化行列ｔｂ２２は、傾斜を持つ伝送量子化行列の他の例である。量子化行列ｔｂ２２も、水平方向、垂直方向の次数がそれぞれ大きくなるほど、大きな量子化値を有する。そのため、直交変換が行われる場合には、画質を劣化させずに量子化によって高域での情報量を低減することが許容される。但し、量子化行列ｔｂ２２の量子化値の傾斜は、量子化行列ｔｂ２１の量子化値の傾斜よりも緩やかである。

なお、図３、図４、図５では、４×４の量子化行列の例を示したが、量子化ブロックのサイズは、４×４、８×８、１６×１６、３２×３２の４種類である。このため、量子化行列のサイズも、４×４、８×８、１６×１６、３２×３２の４種類である。

図６は、量子化行列決定部１０５と量子化部１０４の処理を説明するフローチャートである。量子化行列決定部１０５と量子化部１０４とは、全ての符号化ブロックを順に一つずつ選択して、以下のステップＳａ２〜ステップＳａ１７の処理を行う（Ｓａ１）。ステップＳａ２では、量子化行列決定部１０５は、当該符号化ブロック（選択した符号化ブロック）に属する変換ブロックの量子化に、伝送量子化行列を使用するか否かを決定する。伝送量子化行列を使用するか否かの決定方法はどのようなものでもよいが、例えば、当該符号化ブロック内の量子化ブロックに、要素の値の最大値と最小値の差が所定の範囲外のものがあるか否かを判定、所定の範囲外のときは、伝送量子化行列を使用すると判定する。

ステップＳａ２にて、伝送量子化行列を使用しないと決定したときは（Ｓａ２−Ｎｏ）、量子化行列決定部１０５は、当該符号化ブロックに関する伝送量子化行列適用フラグを「０」として、エントロピー符号化部１０６に入力する（Ｓａ１３）。伝送量子化行列適用フラグは、その値が「０」である場合、当該符号化ブロック内の量子化ブロックを量子化する際に伝送量子化行列を用いず、デフォルト量子化行列を用いることを示す。

次に、当該符号化ブロック内の全ての量子化ブロックを順に一つずつ選択して、ステップＳａ１５、Ｓａ１６の処理を行う（Ｓａ１４）。ステップＳａ１５では、量子化行列決定部１０５は、当該量子化ブロックのサイズに応じたデフォルト量子化行列を、量子化部１０４と逆量子化部１０７に設定する。デフォルト量子化行列とは、復号側と予め共有し、記憶している初期値を要素とする量子化行列である。なお、本実施形態では、ＨＥＶＣと同様に、４×４のデフォルト量子化行列は、図３の量子化行列ｔｂ１１のように平坦であり、それ以外のサイズのデフォルト量子化行列は、傾斜を持つ。

すなわち、伝送量子化行列を用いない符号化ブロックについては、４×４の量子化ブロックを量子化する際には、変換スキップされているか否かに関わらず、常に平坦なデフォルト量子化行列が用いられる。

次に、量子化部１０４は、当該量子化ブロックの各要素を、ステップＳａ１５にて設定されたデフォルト量子化行列を用いて量子化して、量子化済みブロックを生成する。量子化部１０４は、生成した量子化済みブロックを、エントロピー符号化部１０６と、逆量子化部１０７とに入力する（Ｓａ１６）。量子化部１０４は、量子化を行う際、例えば、逆量子化部１０７が式（１）で算出する逆量子化された変換済みブロックｄ［x］［ｙ］が、直交変換部１０２から入力された量子化ブロックを最も近似するような変換係数レベル値ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］を選択して、量子化済みブロックとする。なお、式（１）において、ｍ［ｘ］［ｙ］が、量子化行列である。

ｄ［ｘ］［ｙ］＝Ｃｌｉｐ３（−３２７６８，３２７６７，（（ＴｒａｎｓＣｏｅｆｆＬｅｖｅｌ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］［ｘ］［ｙ］＊ｍ［ｘ］［ｙ］＊ｌｅｖｅｌＳｃａｌｅ［ｑＰ％６］＜＜（ｑＰ／６））＋（１＜＜（ｂｄＳｈｉｆｔ−１）））＞＞ｂｄＳｈｉｆｔ） … （１）

ここで、Ｃｌｉｐ３（ａ，ｂ，ｘｘ）は、実数ｘｘが実数ａよりも小さい場合には、ａと定め、実数ｘｘが実数ｂよりも大きい場合には、ｂと定め、実数ｘｘがａ又はａよりも大きく、かつｂ又はｂよりも小さい場合には、そのままｘｘと定める関数である。ｘＴｂＹ、ｙＴｂＹは、それぞれ処理対象となる量子化ブロック（対象ブロック）の左上端の水平方向、垂直方向の座標値を示す。−３２７６８、３２７６７は、それぞれ１６ビットで示された要素毎の信号値の最小値、最大値を示す。ｃＩｄｘは、信号値の種類を示すインデックスである。ｃＩｄｘ＝０、１、２とは、それぞれ輝度信号、色差信号Ｃｂ、色差信号Ｃｒを示す。

ｌｅｖｅｌＳｃａｌｅ［０］からｌｅｖｅｌＳｃａｌｅ［５］は、それぞれ、４０、４５、５１、５７、６４、７２である。ｑＰは、量子化パラメータ、つまり量子化精度を示す整数であって６増加する毎に量子化値を半分にすることを促すパラメータである。ｑＰ％６は、ｑＰを６で除算して得られる剰余を示す。ａ＜＜ｂは、ａの値を二進表示でｂ桁だけ左側にシフトすること、つまり、２のｂ乗を乗算することを示すビットシフト演算子である。ａ＞＞ｂは、ａの値を二進表示でｂ桁だけ右側にシフトすること、つまり、２のｂ乗を除算することを示すビットシフト演算子である。

ｂｄＳｈｉｆｔは、信号値の種類に応じて予め定められたビットシフト値である。例えば、信号値が輝度信号Ｙである場合、ｂｄＳｈｉｆｔは、ＢｉｔＤｅｐｔｈ_Ｙ＋Ｌｏｇ２（ｎＴｂＳ）−５である。ＢｉｔＤｅｐｔｈ_Ｙは、輝度信号Ｙのビット深度、つまり量子化ビット数（例えば、１６ビット）を示す。ｎＴｂＳは、対象ブロックのブロックサイズを示す。信号値が色差信号Ｃｂ、Ｃｒである場合、ｂｄ量子化行列決定部１０５は、Ｓｈｉｆｔは、ＢｉｔＤｅｐｔｈ_Ｃ＋Ｌｏｇ２（ｎＴｂＳ）−５である。ＢｉｔＤｅｐｔｈ_Ｃは、色差信号Ｃｂ、Ｃｒのビット深度、つまり量子化ビット数（例えば、１６ビット）を示す。ここで、ｑＰは、フレームの種類によって異なる値であってもよい。

次に、量子化行列決定部１０５は、当該符号化ブロックに属する全ての量子化ブロックについて、ステップＳａ１５、Ｓａ１６の処理を行っているか否かを判定し（Ｓａ１７）、全ての量子化ブロックについて行っているときは、ステップＳａ１２に進む。ステップＳａ１５、Ｓａ１６の処理を行っていない量子化ブロックがあるときは、量子化行列決定部１０５は、処理を行っていない量子化ブロックを一つ選択し、ステップＳａ１５に戻る。

一方、ステップＳａ２にて、当該符号化ブロックにて、伝送量子化行列を使用すると判定したときは（Ｓａ２−Ｙｅｓ）、量子化行列決定部１０５は、各サイズの伝送量子化行列（ScalingFactor）を決定する（Ｓａ３）。例えば、量子化行列決定部１０５は、各サイズの量子化行列を予め複数記憶しておき、それらの中から、量子化誤差が最も小さくなるものを選択する。あるいは、量子化誤差と、量子化後のビット数とに基づく評価値を算出し、該評価値を基準に選択してもよい。

次に、量子化行列決定部１０５は、決定した伝送量子化行列の各要素を所定の順に並べたスケーリングリストと、「１」に設定した伝送量子化行列適用フラグ（scaling_list_enable_flag）とをエントロピー符号化部１０６に入力する（Ｓａ４）。次に、当該符号化ブロック内の全ての量子化ブロックを順に一つずつ選択して、ステップＳａ６からＳａ１０の処理を行う（Ｓａ５）。

ステップＳａ６では、量子化行列決定部１０５は、当該量子化ブロックのサイズが４×４であるか否か、すなわち変換スキップをすることができる量子化ブロックであるか否かを判定する。ステップＳａ６にて、４×４であると判定したときは（Ｓａ６−Ｙｅｓ）、量子化行列決定部１０５は、当該量子化ブロックが、変換スキップされたものであるか否かを判定する（Ｓａ７）。なお、この判定の際には、変換スキップ判定部１０３から入力された変換スキップフラグを参照する。

ステップＳａ７にて、変換スキップであると判定したときは（Ｓａ７−Ｙｅｓ）、量子化行列決定部１０５は、４×４のデフォルト量子化行列を量子化部１０４と逆量子化部１０７に設定し（Ｓａ８）、ステップＳａ１０に進む。この４×４のデフォルト量子化行列は、ステップＳａ１５で設定したものと同一のものであり、平坦な量子化行列である。一方、ステップＳａ６にて４×４でないと判定したとき（Ｓａ６−Ｎｏ）および、ステップＳａ７にて変換スキップでないと判定したとき（Ｓａ７−Ｎｏ）は、量子化行列決定部１０５は、ステップＳａ３にて決定した伝送量子化行列のうち、当該量子化ブロックのサイズの伝送量子化行列を、量子化部１０４と逆量子化部１０７に設定し（Ｓａ９）、ステップＳａ１０に進む。

すなわち、伝送量子化行列を用いる符号化ブロックについては、４×４の量子化ブロックを量子化する際には、変換スキップされていると、デフォルト量子化行列が用いられ、変換スキップされていないときは、伝送量子化行列が用いられる。よって、変換スキップされているものには、平坦な量子化行列を用い、変換スキップされていないものには、傾斜を持つ量子化行列を用いるようにすることができる。

ステップＳａ１０では、量子化部１０４は、ステップＳａ１６と同様にして、ステップＳａ８またはＳａ９にて設定された量子化行列を用いて、当該量子化ブロックを量子化して、量子化済みブロックを生成する。量子化部１０４は、生成した量子化済みブロックを、エントロピー符号化部１０６と、逆量子化部１０７とに入力する。次に、量子化行列決定部１０５は、当該符号化ブロックに属する全ての量子化ブロックについて、ステップＳａ６〜Ｓａ１０の処理を行っているか否かを判定し（Ｓａ１１）、全ての量子化ブロックについて行っているときは、ステップＳａ１２に進む。ステップＳａ６〜Ｓａ１０の処理を行っていない量子化ブロックがあるときは、量子化行列決定部１０５は、処理を行っていない量子化ブロックを一つ選択し、ステップＳａ６に戻る。

ステップＳａ１２では、量子化行列決定部１０５は、全ての符号化ブロックについて、ステップＳａ２〜Ｓａ１７の処理を行っているか否かを判定する。ステップＳａ２〜Ｓａ１７の処理を行っていない符号化ブロックがあるときは、量子化行列決定部１０５は、処理を行っていない符号化ブロックを一つ選択し、ステップＳａ２に戻る。全ての符号化ブロックについて行っているときは、処理を終了する。

次に、画像符号化装置１０によって生成された符号化データｅを復号して復号画像を生成する画像復号装置３０について説明する。図７は、本実施形態における画像復号装置３０の構成を示す概略ブロック図である。図７に示すように、画像復号装置３０は、エントロピー復号部３０１、復号情報記憶部３０２、逆量子化部３０３、量子化行列決定部３０４、逆直交変換部３０５、変換スキップ判定部３０６、復号画像生成部３０７、ループフィルタ部３０８、フレームメモリ３０９、インター予測部３１０、イントラ予測部３１１、予測画像選択部３１２を含んで構成される。各部についての概略を以下に説明する。

エントロピー復号部３０１は、画像符号化装置１０によって生成された符号化データｅが入力されると、画像符号化装置１０のエントロピー符号化部１０６によるエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号（量子化済みブロック）は逆量子化部３０３に出力される。また、復号した変換スキップフラグ、伝送量子化行列適用フラグ、スケーリングリスト、フィルタ係数、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部３０２に入力される。

また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３１１にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３１２に通知する。

復号情報記憶部３０２は、復号された変換スキップフラグ、伝送量子化行列適用フラグ、スケーリングリスト、ループフィルタのフィルタ係数、動きベクトルや分割モードなどの復号情報を記憶する。

逆量子化部３０３は、エントロピー復号部３０１から入力された量子化済みブロックに対して、式（１）で表される逆量子化処理を行って、変換済みブロックを生成する。この変換済みブロックは、図１の直交変換部１０２が生成した量子化ブロックを復元したものである。逆量子化部３０３は、変換済みブロックを、逆直交変換部３０５に入力する。なお、逆量子化部３０３は、逆量子化処理を行う際に、量子化行列決定部３０４から設定された量子化行列を用いる。

量子化行列決定部３０４は、復号情報記憶部３０２から変換スキップフラグ、伝送量子化行列適用フラグ、スケーリングリストを読み出し、量子化済みブロック各々を逆量子化する際に用いる量子化行列を生成し、逆量子化部３０３に設定する。

逆直交変換部３０５は、逆量子化部３０３から入力された変換済みブロックに対して逆直交変換処理を行い、画像符号化装置１０の予測差分信号生成部１０１が生成した予測差分信号を復元した予測差分復元信号を生成する。なお、逆直交変換部３０５は、変換スキップ判定部３０６から逆直交変換を適用しないことを指定された変換済みブロックについては、逆直交変換処理を行わずに、そのまま予測差分復元信号とする。逆直交変換部３０５は、予測差分復元信号を復号画像生成部３０７に入力する。

イントラ予測部３１１は、フレームメモリ３０９から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。

インター予測部３１０は、フレームメモリ３０９から取得した参照画像のデータを復号情報記憶部３０２から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像からなる予測画像のブロックデータが生成される。

予測画像選択部３１２は、エントロピー復号部３０１からの通知に従い、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択された予測画像のブロックデータは、復号画像生成部３０７に入力される。

復号画像生成部３０７は、予測画像選択部３１２から入力される予測画像のブロックデータと、逆直交変換部３０５から入力される予測差分復元信号とを加算し、復号画像を生成する。生成された復号画像はループフィルタ部３０８に入力される。

ループフィルタ部３０８は、復号画像生成部３０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ処理後の復号画像をフレームメモリ３０９に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。

フレームメモリ３０９は、参照画像となる復号画像などを記憶する。なお、復号情報記憶部３０２とフレームメモリ３０９は、分けた構成にしているが、同じ記憶部であってもよい。

図８は、量子化行列決定部３０４と、逆量子化部３０３の動作を説明するフローチャートである。量子化行列決定部３０４と逆量子化部３０３とは、全ての符号化ブロックを順に一つずつ選択して、以下のステップＳｂ２からステップＳｂ１４の処理を行う（Ｓｂ１）。ステップＳｂ２では、量子化行列決定部３０４は、復号情報記憶部３０２を参照して、当該符号化ブロックの伝送量子化行列適用フラグが「１」になっているか否かを判定する。

「１」になっていないと判定したときは（Ｓｂ２−Ｎｏ）、量子化行列決定部３０４と逆量子化部３０３とは、当該符号化ブロック内の全ての量子化済みブロックを順に一つずつ選択して、以下のステップＳｂ１２からステップＳｂ１３の処理を行う。ステップＳｂ１２では、量子化行列決定部３０４は、当該符号化ブロックに属する全ての量子化ブロックについて、ステップＳｂ１２〜Ｓｂ１３の処理を行っているか否かを判定し（Ｓｂ１４）、全ての量子化ブロックについて行っているときは、ステップＳｂ１５に進む。ステップＳｂ１２〜Ｓｂ１３の処理を行っていない量子化ブロックがあるときは、量子化行列決定部３０４は、処理を行っていない量子化ブロックを一つ選択し、ステップＳｂ１２に戻る。

一方、ステップＳｂ２にて伝送量子化行列適用フラグが「１」になっていると判定したときは（Ｓｂ２−Ｙｅｓ）、量子化行列決定部３０４は、当該符号化ブロックの各サイズのスケーリングリストを、復号情報記憶部３０２から取得する（Ｓｂ３）。次に、量子化行列決定部３０４と逆量子化部３０３とは、全ての量子化済みブロックを順に一つずつ選択して、以下のステップＳｂ５からステップＳｂ１０の処理を行う（Ｓｂ４）。まず、量子化行列決定部３０４は、選択した当該量子化済みブロックのサイズが４×４であるか否かを判定する（Ｓｂ５）。４×４であると判定したときは（Ｓｂ４５−Ｙｅｓ）、さらに、当該量子化済みブロックの変換スキップフラグを復号情報記憶部３０２から取得し、変換スキップフラグが「１」であるか否かを判定する（Ｓｂ６）。

変換スキップフラグが「１」であると判定したときは（Ｓｂ６−Ｙｅｓ）、量子化行列決定部３０４は、４×４のデフォルト量子化行列を逆量子化部３０３に設定し（Ｓｂ７）、ステップＳｂ９に進む。一方、ステップＳｂ５にて４×４でないと判定したとき（Ｓｂ５−Ｎｏ）および、ステップＳｂ６にて変換スキップフラグが「１」でないと判定したとき（Ｓｂ６−Ｎｏ）は、量子化行列決定部３０４は、ステップＳｂ３にて取得したスケーリングリストのうち、当該量子化済みブロックのサイズのスケーリングリストから生成した伝送量子化行列を、逆量子化部３０３に設定し（Ｓｂ８）、ステップＳｂ９に進む。なお、量子化行列決定部３０４は、スケーリングリストを分割した各値を、それぞれ所定の位置の要素とすることで、伝送量子化行列を生成する。

ステップＳｂ９では、逆量子化部３０３は、ステップＳｂ１３と同様にして、ステップＳｂ７またはＳｂ８にて設定された量子化行列を用いて、当該量子化済みブロックを逆量子化して、変換済みブロックを生成する。逆量子化部３０３は、生成した変換済みブロックを、逆直交変換部３０５に入力する。次に、量子化行列決定部３０４は、当該符号化ブロックに属する全ての量子化済みブロックについて、ステップＳｂ５〜Ｓｂ９の処理を行っているか否かを判定し（Ｓｂ１０）、全ての量子化済みブロックについて行っているときは、ステップＳｂ１５に進む。ステップＳｂ５〜Ｓｂ９の処理を行っていない量子化済みブロックがあるときは、量子化行列決定部３０４は、処理を行っていない量子化済みブロックを一つ選択し、ステップＳｂ５に戻る。

ステップＳｂ１５では、量子化行列決定部３０４は、全ての符号化ブロックについて、ステップＳｂ２〜Ｓｂ１４の処理を行っているか否かを判定する（Ｓｂ１５）。ステップＳｂ２〜Ｓｂ１４の処理を行っていない符号化ブロックがあるときは、量子化行列決定部３０４は、処理を行っていない符号化ブロックを一つ選択し、ステップＳｂ２に戻る。全ての符号化ブロックについて行っているときは、処理を終了する。

このように、本実施形態の画像符号化装置１０は、変換スキップ判定部１０３と、直交変換部１０２と、量子化行列決定部１０５と、量子化部１０４とを含んで構成される。変換スキップ判定部１０３は、入力画像と予測画像との差分を表す予測差分信号を分割した変換ブロック各々について、直交変換を適用するか否かを判定する。直交変換部１０２は、変換ブロックのうち、直交変換を適用すると判定された変換ブロックを直交変換して量子化ブロックを生成し、変換ブロックのうち、直交変換を適用しないと判定された変換ブロックをそのまま量子化ブロックとする。

また、量子化行列決定部１０５は、量子化ブロックの各要素を量子化する際の要素毎の量子化の粗さを表す量子化行列を、量子化ブロック毎に決定する。量子化部１０４は、量子化行列決定部１０５が決定した量子化行列を用いて、量子化ブロックの各要素を量子化する。そして、量子化行列決定部１０５は、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、全ての要素の量子化の粗さが等しい量子化行列とする。

これにより、直交変換を行ったブロックと、直交変換を行わないブロックとが混在していても、変換ブロックのままとされた量子化ブロック、すなわち、直交変換が行われなかった量子化ブロックは、全ての要素の量子化の粗さが等しくなるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができることができる。

さらに、量子化行列決定部１０５は、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、復号側と予め共有しているデフォルト量子化行列とする。

これにより、変換ブロックのままとされた量子化ブロック、すなわち直交変換が行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部１０５は、量子化行列として、デフォルト量子化行列を用いるか、復号側に伝送する伝送量子化行列を用いるかを、１つまたは複数の前記量子化ブロックから構成される所定の単位（符号化ブロック）毎に判定する。また、量子化行列決定部１０５は、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、デフォルト量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化ブロックであっても、直交変換が行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

このように、画像復号装置３０は、量子化行列決定部３０４、逆量子化部３０３、変換スキップ判定部３０６、逆直交変換部３０５、復号画像生成部３０７を含んで構成される。量子化行列決定部３０４は、符号化データｅに含まれる量子化済みブロックの各要素を逆量子化する際の要素毎の量子化の粗さを表す量子化行列を、量子化済みブロック毎に決定する。逆量子化部３０３は、量子化行列決定部３０４が決定した量子化行列を用いて、量子化済みブロックの各要素を逆量子化して、変換済みブロックを生成する。変換スキップ判定部３０６は、変換済みブロック各々について、逆直交変換を適用するか否かを判定する。

また、逆直交変換部３０５は、変換済みブロックのうち、逆直交変換を適用すると判定された変換済みブロックを逆直交変換して予測差分復元信号を生成し、変換済みブロックのうち、逆直交変換を適用しないと判定された変換済みブロックをそのまま予測差分復元信号とする。復号画像生成部３０７（合成部）は、予測差分復元信号と予測画像とから、復号画像を生成する。そして、量子化行列決定部３０４は、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、全ての要素の量子化の粗さが等しい量子化行列とする。

これにより、直交変換を行ったブロックと、直交変換を行わないブロックとが混在していても、変換済みブロックをそのまま予測差分復元信号とし、逆直交変換を行わない変換済みブロックに対応する量子化済みブロックの逆量子化は、全ての要素の量子化の粗さが等しい量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、量子化行列決定部３０４は、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、符号化側と予め共有しているデフォルト量子化行列とする。

これにより、変換済みブロックをそのまま予測差分復元信号とし、逆直交変換が行われない変換済みブロックに対応する量子化済みブロックの逆量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、量子化行列決定部３０４は、量子化行列として、デフォルト量子化行列を用いるか、符号化側から伝送される伝送量子化行列を用いるかを、１つまたは複数の量子化済みブロックから構成される所定の単位（符号化ブロック）毎に判定する。また、量子化行列決定部３０４は、伝送量子化行列を用いると判定された符号化ブロックに含まれ、かつ、逆直交変換部３０５が変換済みブロックをそのまま予測差分ブロックとする変換済みブロックを生成する際に用いる量子化行列を、デフォルト量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化済みブロックであっても、逆量子化した後に逆直交変換を行わない量子化済みブロックの逆量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第１の実施形態では、伝送量子化行列を用いる符号化ブロックに属する量子化ブロックであっても、変換スキップされたものについては、デフォルト量子化行列を用いる例を説明した。第２の実施形態では、伝送量子化行列を用いる符号化ブロックに属する量子化ブロックであり、変換スキップされたものについては、伝送量子化行列から生成した平坦な量子化行列である代表値量子化行列を用いる例を説明する。

本実施形態における画像符号化装置１０と、画像復号装置３０とは、図１の画像符号化装置１０、図７の画像復号装置３０と同様の構成である。ただし、画像符号化装置１０は、量子化行列決定部１０５の動作が、画像復号装置３０は、量子化行列決定部３０４の動作が異なるので、これらの動作について説明する。

図９は、本実施形態における量子化部１０４、量子化行列決定部１０５の動作を説明するフローチャートである。図９において、図６の各部に対応する部分には同一の符号（Ｓａ１〜Ｓａ７、Ｓａ９〜Ｓａ１７）を付し、説明を省略する。図９のフローチャートは、図６のフローチャートとは、ステップＳａ８に変えてステップＳｃ８を有する点のみが異なる。ステップＳｃ８では、量子化行列決定部１０５は、ステップＳａ３にて決定した伝送量子化行列のうち、当該量子化ブロックのサイズの伝送量子化行列の一つの代表値を取得する。量子化行列決定部１０５は、全ての要素を該代表値と同じ値とする代表値量子化行列を、量子化部１０４と逆量子化部１０７に設定する。

例えば、代表値として、伝送量子化行列の予め決められた位置の要素を用い、全ての要素がこの代表値となっている量子化行列を代表値量子化行列とする。この代表値量子化行列ｍ［ｘ］［ｙ］は、伝送量子化行列をＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［ｘ］［ｙ］としたときに、式（２）のように表せる。ｍ［ｘ］［ｙ］＝ＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［α］［β］ … （２）ここで、α、βは、それぞれ水平方向、垂直方向の予め決められた位置を示す整数であり、０からｘＴｂＳ−１、０からｙＴｂＳ−１のいずれかの値（例えば、２）をとる。ｘＴｂＳは、ｘ方向のブロックサイズであり、ｙＴｂｓは、ｙ方向のブロックサイズであり、どちらも「４」である。ＳｉｚｅＩｄは、量子化ブロックのサイズを表すインデックスであり、ここでは、４×４を表す値が入る。

なお、代表値として、特定の要素を用いるのではなく、伝送量子行列の要素の平均値、中間値、最小値、最大値、最頻値などを用いるようにしてもよい。

図１０は、本実施形態における逆量子化部３０３、量子化行列決定部３０４の動作を説明するフローチャートである。図１０において、図８の各部に対応する部分には同一の符号（Ｓｂ１〜Ｓｂ６、Ｓｂ８〜Ｓａ１４）を付し、説明を省略する。図１０のフローチャートは、図８のフローチャートとは、ステップＳｂ７に変えてステップＳｄ７を有する点のみが異なる。

ステップＳｄ７では、量子化行列決定部３０４は、ステップＳｂ３にて取得したスケーリングリストのうち、当該量子化済みブロックのサイズのスケーリングリストから伝送量子化行列を生成し、生成した伝送量子化行列の一つの代表値を取得する。代表値の取得方法は、ステップＳｃ７と同様である。量子化行列決定部３０４は、全ての要素を該代表値と同じ値とする代表値量子化行列を、逆量子化部３０３に設定する。

このように、本実施形態の画像符号化装置１０において、量子化行列決定部１０５は、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、所定の行列を構成する要素の代表値で、全ての要素の量子化の粗さが表される代表値量子化行列とする。

これにより、変換ブロックのままとされた量子化ブロック、すなわち、直交変換が行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しい代表値量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部１０５は、量子化行列として、復号側と予め共有しているデフォルト量子化行列を用いるか、復号側に伝送する伝送量子化行列を用いるかを、１つまたは複数の量子化ブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部１０５が、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、代表値量子化行列とする。また、上述の所定の行列は、伝送量子化行列である。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化ブロックであっても、直交変換が行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しい代表値量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、このように、本実施形態の画像復号装置３０において、量子化行列決定部３０４は、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、所定の行列を構成する要素の代表値で、全ての要素の量子化の粗さが表される代表値量子化行列とする。

これにより、変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成するための逆量子化には、全ての要素の量子化の粗さが等しい代表値量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部３０４は、量子化行列として、復号側と予め共有しているデフォルト量子化行列を用いるか、符号化側から伝送される伝送量子化行列を用いるかを、１つまたは複数の前記量子化済みブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部３０４が、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、代表値量子化行列とする。また、上述の所定の行列は、伝送量子化行列である。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化済みブロックであっても、逆量子化した後に逆直交変換を行わない量子化済みブロックの逆量子化には、全ての要素の量子化の粗さが等しい代表値量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、伝送量子化行列を用いる符号化ブロックに属する量子化ブロックであり、変換スキップされたものについては、符号化側から復号側に一つの値を伝送し、該値から生成した平坦な単一値伝送量子化行列を用いる例を説明する。

本実施形態における画像符号化装置１０と、画像復号装置３０とは、図１の画像符号化装置１０、図７の画像復号装置３０と同様の構成である。ただし、画像符号化装置１０は、量子化行列決定部１０５の動作が、画像復号装置３０は、量子化行列決定部３０４の動作が異なるので、これらの動作について説明する。

図１１は、本実施形態における量子化部１０４、量子化行列決定部１０５の動作を説明するフローチャートである。図１１において、図６の各部に対応する部分には同一の符号（Ｓａ１〜Ｓａ２、Ｓａ５〜Ｓａ７、Ｓａ９〜Ｓａ１７）を付し、説明を省略する。図１１のフローチャートは、図６のフローチャートとは、ステップＳａ３、Ｓａ４、Ｓａ８に変えて、それぞれステップＳｅ３、Ｓｅ４、Ｓｅ８を有する点のみが異なる。

ステップＳｅ３では、量子化行列決定部１０５は、各サイズの伝送量子化行列（ScalingFactor）と、単一値伝送量子化行列（ScalingFactor_TS）を決定する。ここで、単一値伝送量子化行列は、全ての要素が同じ値であり、この値を一つ、復号側に伝送する量子化行列である。なお、この値は、予め決められた値を用いるようにしてもよいし、変換スキップされた量子化ブロックの要素の分布から求めるようにしてもよい。

ステップＳｅ４では、量子化行列決定部１０５は、ステップＳｅ３にて決定した伝送量子化行列の各要素と、単一値伝送量子化行列の要素を示す値一つとを、所定の順に並べたスケーリングリストを生成し、「１」に設定した伝送量子化行列適用フラグ（scaling_list_enable_flag）とをエントロピー符号化部１０６に入力する。

ステップＳｅ８では、量子化行列決定部１０５は、ステップＳｅ３にて決定した単一値伝送量子化行列を量子化部１０４と逆量子化部１０７に設定する。なお、設定する単一値伝送量子化行列ｍ［ｘ］［ｙ］は、単一値伝送量子化行列の要素を示す値をＳｃａｌｉｎｇＦａｃｔｏｒ＿ＴＳ［ｓｉｚｅＩｄ］とすると、式（３）のように表せる。ｍ［ｘ］［ｙ］＝ＳｃａｌｉｎｇＦａｃｔｏｒ＿ＴＳ［ｓｉｚｅＩｄ］ … （３）ＳｉｚｅＩｄは、量子化ブロックのサイズを表すインデックスであり、ここでは、４×４を表す値が入る。

なお、本実施形態では、単一値伝送量子化行列は、サイズが４×４のときのみ使用されるので、引数としてｓｉｚｅＩｄを持たなくてもよい。

また、単一値伝送量子化行列の要素を示す値ＳｃａｌｉｎｇＦａｃｔｏｒ＿ＴＳは、量子化ブロックのサイズ（ＳｉｚｅＩｄ）だけでなく、その他のパラメータとの組み合わせ毎に決定してもよい。例えば、その他のパラメータとしては、信号値の種類（輝度値Ｙ、色差Ｃｂ、Ｃｒ）、量子化ブロックが属する符号化ブロックの予測モード（イントラ予測、インター予測など）などがある。

また、ステップＳｅ３における単一値伝送量子化行列の決定と、該単一値伝送量子化行列のスケーリングリストのエントロピー符号化部１０６への入力は、当該符号化ブロックに変換スキップする量子化ブロックが含まれているときのみであってもよい。

図１２は、本実施形態における逆量子化部３０３、量子化行列決定部３０４の動作を説明するフローチャートである。図１２において、図８の各部に対応する部分には同一の符号（Ｓｂ１、Ｓｂ２、Ｓｂ４〜Ｓｂ６、Ｓｂ８〜Ｓａ１４）を付し、説明を省略する。図１２のフローチャートは、図８のフローチャートとは、ステップＳｂ３、Ｓｂ７に変えてステップＳｆ３、Ｓｆ７を有する点のみが異なる。

ステップＳｆ３では、量子化行列決定部３０４は、当該符号化ブロックの各サイズのスケーリングリストおよび単一値伝送量子化行列のスケーリングリストを、復号情報記憶部３０２から取得する。

ステップＳｆ７では、量子化行列決定部３０４は、ステップＳｆ３にて取得した単一値伝送量子化行列のスケーリングリストから、単一値伝送量子化行列を生成し、逆量子化部３０３に設定する。

このように、本実施形態の画像符号化装置１０において、量子化行列決定部１０５は、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、復号側に伝送する単一の値で、全ての要素の量子化の粗さが表される単一値伝送量子化行列とする。

これにより、変換ブロックのままとされた量子化ブロック、すなわち直交変換が行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しい単一値伝送量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、量子化行列決定部１０５は、量子化行列として、復号側と予め共有しているデフォルト量子化行列を用いるか、復号側に伝送する伝送量子化行列を用いるかを、１つまたは複数の量子化ブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部１０５は、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、直交変換部１０２により変換ブロックのままとされた量子化ブロックに対する量子化行列を、単一値伝送量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化ブロックであっても、直交変換を行われなかった量子化ブロックの量子化には、全ての要素の量子化の粗さが等しい単一値伝送量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、このように、本実施形態の画像復号装置３０において、量子化行列決定部３０４は、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、符号化側から伝送される単一の値で、全ての要素の量子化の粗さが表される単一値伝送量子化行列とする。

これにより、変換済みブロックをそのまま予測差分復元信号とし、逆直交変換が行われない変換済みブロックに対応する量子化済みブロックの逆量子化には、全ての要素の量子化の粗さが等しい単一値伝送量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部３０４は、量子化行列として、復号側と予め共有しているデフォルト量子化行列を用いるか、符号化側から伝送される伝送量子化行列を用いるかを、１つまたは複数の量子化済みブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部３０４は、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、逆直交変換部３０５が変換済みブロックをそのまま予測差分復元信号とする変換済みブロックを生成する際に用いる量子化行列を、単一値伝送量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化済みブロックであっても、逆量子化した後に逆直交変換を行わない量子化済みブロックの逆量子化には、全ての要素の量子化の粗さが等しい単一値伝送量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

［第４の実施形態］
以下、図面を参照して、本発明の第４の実施形態について説明する。第４の実施形態では、伝送量子化行列を用いる符号化ブロックに属する量子化ブロックであり、変換スキップすることができるものについては、平坦なデフォルト量子化行列を用いる例を説明する。

図１３は、本実施形態における画像符号化装置１０ａの構成を示す概略ブロック図である。図１３において、図１の各部に対応する部分には同一の符号（１００〜１０４、１０６〜１１５）を付し、説明を省略する。画像符号化装置１０ａは、図１の画像符号化装置１０とは、量子化行列決定部１０５に変えて、量子化行列決定部１０５ａを有する点のみが異なる。量子化行列決定部１０５ａは、量子化行列を決定する際に、変換スキップ判定部１０３の判定結果を参照しない点が、量子化行列決定部１０５と異なる。

図１４は、本実施形態における量子化部１０４、量子化行列決定部１０５ａの動作を説明するフローチャートである。図１４において、図６の各部に対応する部分には同一の符号（Ｓａ１〜Ｓａ１７）を付し、説明を省略する。図１４のフローチャートは、図６のフローチャートとは、ステップＳａ７を有せず、ステップＳａ６において、量子化ブロックのサイズが４×４であると判定したときに、ステップＳａ８に進む点のみが異なる。

図１５は、本実施形態における画像復号装置３０ａの構成を示す概略ブロック図である。図１５において、図７の各部に対応する部分には同一の符号（３０１〜３０３、３０５〜３１２）を付し、説明を省略する。画像復号装置３０ａは、図７の画像復号装置３０とは、量子化行列決定部３０４に変えて、量子化行列決定部３０４ａを有する点のみが異なる。量子化行列決定部３０４ａは、量子化行列を決定する際に、復号情報記憶部３０２から変換スキップフラグを読み出さない点が、量子化行列決定部３０４と異なる。

図１６は、本実施形態における逆量子化部３０３、量子化行列決定部３０４ａの動作を説明するフローチャートである。図１６において、図８の各部に対応する部分には同一の符号（Ｓｂ１〜Ｓｂ５、Ｓｂ７〜Ｓｂ１５）を付し、説明を省略する。図１６のフローチャートは、図８のフローチャートとは、ステップＳｂ６を有せず、ステップＳｂ５において、量子化済みブロックのサイズが４×４であると判定したときに、ステップＳｂ７に進む点のみが異なる。

このように、本実施形態の画像符号化装置１０ａにおいて、量子化行列決定部１０５ａは、そのブロックサイズが所定のブロックサイズ（４×４）である全ての量子化ブロックに対する量子化行列を、全ての要素の量子化の粗さが等しいものとする。

これにより、所定のブロックサイズであり、直交変換を行っていないことがある量子化ブロックに対する量子化行列は、全ての要素の量子化の粗さが等しいものとなるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

また、量子化行列決定部１０５ａは、そのブロックサイズが所定のブロックサイズ（４×４）である量子化ブロックに対する量子化行列を、復号側と予め共有しているデフォルト量子化行列とする。また、デフォルト量子化行列のうち、所定のブロックサイズのものは、全ての要素の量子化の粗さが等しい。

これにより、所定のブロックサイズであり、直交変換を行われないことがある量子化ブロックの量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部１０５ａは、量子化行列として、デフォルト量子化行列を用いるか、復号側に伝送する伝送量子化行列を用いるかを、１つまたは複数の量子化ブロックから構成される所定の単位（符号化ブロック）毎に判定する。そして、量子化行列決定部１０５ａは、量子化ブロックが、伝送量子化行列を用いると判定された所定の単位に含まれる量子化ブロックであっても、所定のブロックサイズ（４×４）である量子化ブロックの量子化行列を、デフォルト量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化ブロックであっても、所定のブロックサイズであり、直交変換を行われないことがある量子化ブロックの量子化には、全ての要素の量子化の粗さが等しいデフォルト量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

このように、本実施形態の画像復号装置３０ａにおいて、量子化行列決定部３０４ａは、そのブロックサイズが所定のブロックサイズ（４×４）である全ての変換済みブロック各々を生成する際に用いる量子化行列を、全ての要素の量子化の粗さが等しい量子化行列とする。

これにより、所定のブロックサイズであり、逆量子化後に直交変換を行わないものがある量子化済みブロックに対する量子化行列は、全ての要素の量子化の粗さが等しいものとなるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

このように、本実施形態の画像復号装置３０ａにおいて、量子化行列決定部３０４ａは、所定のブロックサイズ（４×４）の変換済みブロックを生成する際に用いる量子化行列を、符号化側と予め共有しているデフォルト量子化行列とする。

これにより、所定のブロックサイズであり、逆量子化後に直交変換を行わないものがある量子化済みブロックに対する量子化行列は、全ての要素の量子化の粗さが等しいデフォルト量子化行列となるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

さらに、量子化行列決定部３０４ａは、量子化行列として、デフォルト量子化行列を用いるか、符号化側から伝送される伝送量子化行列を用いるかを、１つまたは複数の前記量子化済みブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部３０４ａは、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、所定のブロックサイズ（４×４）の変換済みブロックを生成する際に用いる量子化行列を、デフォルト量子化行列とする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている変換済みブロックであっても、所定のブロックサイズであり、逆量子化後に直交変換を行わないものがある量子化済みブロックに対する量子化行列は、全ての要素の量子化の粗さが等しいデフォルト量子化行列となるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

［第５の実施形態］
以下、図面を参照して、本発明の第５の実施形態について説明する。第５の実施形態では、伝送量子化行列を用いる符号化ブロックに属する量子化ブロックであり、変換スキップすることができるものについては、平坦な伝送量子化行列を用いる例を説明する。

本実施形態における画像符号化装置１０ａと、画像復号装置３０ａとは、図１３の画像符号化装置１０ａ、図１５の画像復号装置３０ａと同様の構成である。ただし、画像符号化装置１０ａは、量子化行列決定部１０５の動作が、画像復号装置３０ａは、量子化行列決定部３０４の動作が異なるので、これらの動作について説明する。

図１７は、本実施形態における量子化部１０４、量子化行列決定部１０５ａの動作を説明するフローチャートである。図１７において、図６の各部に対応する部分には同一の符号（Ｓａ１〜Ｓａ５、Ｓａ９〜Ｓａ１７）を付し、説明を省略する。図１７のフローチャートは、図６のフローチャートとは、ステップＳａ３とＳａ４の間に、ステップＳｇ３、Ｓｇ４を有する点と、ステップＳａ６〜Ｓａ８を有せず、ステップＳａ５に続いてＳａ９を有する点のみが異なる。

ステップＳｇ３では、量子化行列決定部１０５ａは、当該符号化ブロックに４×４の量子化ブロックがあるか否かを判定する。ないと判定したときは（Ｓｇ３−Ｎｏ）、そのままステップＳａ４に進む。一方、ステップＳｇ３にてあると判定したときは（Ｓｇ３−Ｙｅｓ）、量子化行列決定部１０５ａは、４×４の伝送量子化行列を平坦なものにし（Ｓｇ４）、ステップＳａ４に進む。

図１８は、本実施形態における逆量子化部３０３、量子化行列決定部３０４ａの動作を説明するフローチャートである。図１８において、図８の各部に対応する部分には同一の符号（Ｓｂ１〜Ｓｂ４、Ｓｂ８〜Ｓｂ１５）を付し、説明を省略する。図１８のフローチャートは、図８のフローチャートとは、ステップＳｂ５〜Ｓｂ７を有せず、ステップＳｂ４に続いてＳａ８を有する点のみが異なる。

このように、量子化行列決定部１０５ａは、量子化行列として、復号側と予め共有しているデフォルト量子化行列を用いるか、復号側に伝送する伝送量子化行列を用いるかを、１つまたは複数の量子化ブロックから構成される所定の単位（符号化ブロック）毎に判定する。量子化行列決定部１０５ａは、伝送量子化行列を用いると判定された所定の単位に含まれ、かつ、所定のブロックサイズ（４×４）の量子化ブロックに対する量子化行列を、全ての要素の量子化の粗さが等しいものとする。

これにより、伝送量子化行列を用いると判定された所定の単位（符号化ブロック）に含まれている量子化ブロックであっても、所定のサイズであり、直交変換を行われないことがある量子化ブロックの量子化には、全ての要素の量子化の粗さが等しい伝送量子化行列が用いられるので、量子化によって発生する画素間のばらつきを抑え、主観的な画質の劣化を抑えることができる。

なお、上述の各実施形態では、変換ブロックが変換スキップできるものであるときの例として、当該変換ブロックのサイズが４×４であるときを例に挙げたが、その他のサイズあってもよいし、該当するサイズが複数あってもよい。あるいは、当該変換ブロックに対応する領域の予測画像を生成する方法に、特定の方法が含まれているときなど、変換ブロックのサイズ以外の条件が満たされるときであってもよい。

また、上述の各実施形態では、符号化ブロックのサイズは、８×８、１６×１６、３２×３２の３種類であり、変換ブロックおよび量子化ブロックのサイズは、４×４、８×８、１６×１６、３２×３２の４種類であるとしたが、これに限らない。他のサイズが含まれていてもよいし、いずれかのサイズが含まれていなくてもよいし、種類の数が多くてもよいし、少なくてもよい。

また、上述の各実施形態では、伝送量子化行列は、量子化ブロックのサイズ（ＳｉｚｅＩｄ）毎に決定するとしたが、サイズだけでなく、その他のパラメータとの組み合わせ毎に決定してもよい。例えば、その他のパラメータとしては、信号値の種類（輝度値Ｙ、色差Ｃｂ、Ｃｒ）、量子化ブロックが属する符号化ブロックの予測モード（イントラ予測、インター予測など）などがある。

また、上述の各実施形態では、伝送量子化行列（スケーリングリスト）のセットは、伝送量子化行列適用フラグと同様に符号化ブロック毎に決定したが、より大きな単位毎に決定してもよい。例えば、フレーム毎であってもよいし、符号化ブロックが複数集まった単位毎であってもよい。

また、上述の各実施形態における画像符号化装置１０、画像復号装置３０は、入力動画像を可逆符号化するロスレスモードを有していてもよい。

また、図１における画像符号化装置１０、図７における画像復号装置３０、図１３における画像符号化装置１０ａ、または、図１５における画像復号装置３０ａの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより該装置を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した図１における画像符号化装置１０、図７における画像復号装置３０、図１３における画像符号化装置１０ａ、または、図１５における画像復号装置３０ａの各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。

また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

なお、日本国特許出願第２０１３−２０３５２９（２０１３年９月３０日）の全内容が、参照により、本願明細書に組み込まれている。

本発明によれば、直交変換を行ったブロックと、直交変換を行わないブロックとが混在していても、量子化によって発生する主観的な画質の劣化を抑えることができる。

Claims (6)

1. 変換ブロックに対する直交変換をスキップするか否かを判定する判定部と、
   前記直交変換をスキップすると判定され、かつ、前記変換ブロックが所定サイズを有するという第１条件が満たされた場合に、或いは、異なる粗さを有する要素によって構成される第２の量子化行列を適用しない旨を行列適用フラグが示すという第２条件が満たされた場合に、等しい粗さを有する要素によって構成される第１の量子化行列を用いて、前記変換ブロックの量子化を行う量子化部とを備え、
   前記量子化部は、前記変換ブロックが所定サイズを有しておらず、かつ、前記第２条件が満たされていない場合に、前記第２の量子化行列を用いて、前記直交変換が行われた変換ブロックの量子化を行うことを特徴とする画像符号化装置。
2. 前記第１の量子化行列を構成する要素は、前記画像符号化装置及び画像復号装置によって予め共有された値であり、
   前記第２の量子化行列を構成する要素は、前記画像復号装置に伝送される値であることを特徴とする請求項１に記載の画像符号化装置。
3. 変換ブロックに対する逆直交変換をスキップするか否かを判定する判定部と、
   前記逆直交変換をスキップすると判定され、かつ、前記変換ブロックが所定サイズを有するという第１条件が満たされた場合に、或いは、異なる粗さを有する要素によって構成される第２の量子化行列を適用しない旨を行列適用フラグが示すという第２条件が満たされた場合に、等しい粗さを有する要素によって構成される第１の量子化行列を用いて、前記変換ブロックの逆量子化を行う逆量子化部とを備え、
   前記逆量子化部は、前記変換ブロックが所定サイズを有しておらず、かつ、前記第２条件が満たされていない場合に、前記第２の量子化行列を用いて、前記変換ブロックの逆量子化を行うことを特徴とする画像復号装置。
4. 前記第１の量子化行列を構成する要素は、画像符号化装置及び前記画像復号装置によって予め共有された値であり、
   前記第２の量子化行列を構成する要素は、前記画像符号化装置から伝送される値であることを特徴とすることを特徴とする請求項３に記載の画像復号装置。
5. コンピュータを、請求項１又は請求項２に記載の画像符号化装置として機能させるためのプログラム。
6. コンピュータを、請求項３又は請求項４に記載の画像復号装置として機能させるためのプログラム。

Images