JP4880255B2 - 符号化モードを選択する方法及び装置 - Google Patents

Description

本発明は、各ブロックに分割された複数の圧縮画像符号化の中から、各ブロックセットに含まれる各ブロックのサブセットを符号化するように、符号化モードを選択する方法に関する。

特に、本発明は、ビデオ圧縮での、ＭＰＥＧ−２、ＭＰＥＧ−４、パート２又は１０タイプのブロック毎の符号化スキーマに基づく圧縮技術に関わる。これらの圧縮スキーマは、マクロブロックと呼ばれるベースエンティティで作動する。以下、用語「ブロック」は、比較的小さなブロックサイズのグループを示し、従って、特に、マクロブロックと示される。これらのスキーマは、最も適していると思われる符号化モードを各マクロブロック毎に選択することができるための符号化決定方法を実行する。この選択は、事後的に、即ち、可能なモード全てを評価することによって、特に、符号化のコスト及び歪を評価することによって行ってもよい。その際、最良のビットレート歪コンプロマイズを示す符号化モードが選択される。既知の符号化決定方法は、因果方式で演算される：つまり、１つのマクロブロックに関して決定がなされると、次のマクロブロックに進む。これは、画像の走査の順序で行われる。

従って、公知の方法では、今後のマクロブロックでの決定のインパクトは考慮されていない。これにより、不均一度を示す画像全体に亘って選択されたモードのマップに否定的な結果が生じる。その際、ブロック効果が可視である。これによりまた、符号化コストに否定的な結果が生じる。つまり、一般的に、マクロブロックの符号化コストは、一般的に、隣接マクロブロック、特に、左側から右側、及び、上から下に走査の符号化方法の選択に著しく依存している。マクロブロックを考慮する決定は、このマクロブロックにとって最良であるが、後続のマクロブロックに影響するので、その結果は、事後のマクロブロック用の非最適な決定を選択することになるかもしれない。以前に採用された決定を再考することができるように、何回か繰り返すアプローチを使ってもよい。その際、計算量は多い。しかも、これらのアプローチによると、事後のマクロブロック用の非最適な決定を回避することができるのは、特に、ビデオ符号化と両立不可能な計算量を含む所謂ストカスチックリラクゼーションストラテジを適合することによってのみである。

マクロブロックセットを介しての符号化モードのコレクションの計算に基づく他のアプローチは、符号化モードの可能な組合せ全体を考慮することを前提しており、これは、明らかに計算時間の点で極端に高価である。

本発明の課題は、上述の欠点を生じない符号化決定方法を提供することにある。

この課題は、本発明の各ブロックに分割された複数の圧縮画像符号化の中から、各ブロックのセット内に含まれる各ブロックのサブセットを符号化するように、符号化モードを選択する方法で、各符号化モード用のブロックのセットについてのエネルギ関数を計算するステップ、少なくとも１つのブロックのサブセット用のエネルギ関数の計算要素を記憶するステップ、ブロックのセットについてのエネルギ関数を最小化する符号化の第１のモードを選択するステップ、各符号化モード用のブロックのサブセットについてのエネルギ関数を計算するステップを有しており、当該エネルギ関数の計算は、ブロックのサブセット用に記憶された計算要素を使用して、第１の符号化モードとは別個の符号化モードの符号化コストを、サブセットの隣接部について評価するステップを実行し、ブロックのサブセットについてのエネルギ関数を最小化する第２の符号化モードを選択するステップを有していることにより解決される。

本発明の符号化決定方法によると、上述の従来技術の通常の解決手段に較べて一層良好な質の圧縮画像を形成することができ、他方、符号化コストを最適化することができる。

特に、本発明により提案されているマルチスケールアプローチは、ブロックセット用の符号化モードの選択を使用し、その後、ブロックセットのサブセット用の符号化モードを決定するようにされる。こうすることによって、ブロックセットについて均一に決定を行うことができる。このアプローチにより、エネルギ関数のブロックのセットについてグローバルに最小値の近くにアプローチすることができるようになり、従って、特に、ブロックセットについて符号化コストを最適にすることができるようになる。符号化の第１及び第２のモードは、異なっているか又は同じであるということは言うまでもないが、１つ及び同一符号化モードにより、ブロックのセット用及びブロックのサブセット用のエネルギ関数を最小化することができる。

実施例では、ブロックのセットは、２^ｎ＊２^ｎブロックのグループであり、サブセットは、２^ｎ−１＊２^ｎ−１ブロックのグループである。

この実施例は、特に、画像符号化の、特に、ＭＰＥＧ標準に従った画像符号化のフレームワーク内で有利であり、その際、ブロックは、特にマクロブロックに分割されており、つまり、一緒にグループ分け、特に、２^ｎ＊２^ｎブロックのグループに分けられている。

実施例では、隣接部は、ブロックのサブセットの下側及び右側のブロックのグループである。

この実施例は、特に、ＭＰＥＧ標準による画像符号化のフレームワーク内で有利であり、その際、ブロックが、符号化のために、左側から右側に、及び、上から下に走査される。

実施例では、計算要素は、歪及び各ブロックのサブセット用の符号化コストである。

歪は、符号化された画像と、符号化されていない元の画像との間で見られる誤りを示す。符号化のコストは、一般的に画像の符号化用に必要なビット数を示す。これらの計算要素は、マクロブロックのサブセット用のエネルギ関数の計算ステップによってリコールされることができるように記憶されている。

実施例では、符号化モードを選択するステップは、符号化モードのパラメータを選択するサブステップを含む。

この特徴により、本発明のアプリケーションを、符号化モードに特有のパラメータの選択、例えば、ベクトルの選択に拡げることができる。

実施例では、ブロックステップのサブセットのシリーズに亘って反復して繰り返す。

この実施例は、特に、ＭＰＥＧ符号化にとって有用である。ブロックセットは、例えば、符号化されるべき画像内の最大可能なサイズ２^ｎのブロックからなり、次のサブセットは、サイズ２^ｎ−１である。本発明の方法によると、符号化モードは、４つのサブセット用に選択される。それから、サイズ２^ｎ−１の各サブセットは、ブロックのセットとなり、サイズ２^ｎ−２のサブセットとなり、等々となる。

本発明は、前述の方法を実施するための装置にも関する。

本発明は、また、本発明による方法を繰り返し実行することによって得られる圧縮画像に関する（完全な画像の、非常に大きなサイズの、典型的には１２８＊１２８ピクセルのブロックへの分割から始まる）。

本発明の別の特徴及び利点は、種々異なる図示の実施例の説明から明らかである。

図１に示されているように、本発明の装置１００は、各符号化モード用のブロックセット１０１についてエネルギ関数１０５を計算するための計算モジュール１０２を有している。メモリ１０４により、ブロック１０９の少なくとも１つのサブセット用のエネルギ関数１０５の計算要素１０４を記憶することができる。

明瞭にするために、１つのリファレンス１０５によって示されたエネルギ関数は、幾つかの符号化モード用に計算される。従って、エネルギ関数、リファレンス１０５の多くの値は、評価される符号化モードとして記憶される。

装置１００は、符号化モード（第１の符号化モード１０７と呼ぶ）を選択するためのモジュール１０６を有しており、前記のブロックセット１０１に関してエネルギ関数１０５を最小化する。

符号化モードの選択は、符号化モードセットＭ及びその関連のパラメータセットＰ（エネルギ関数１０５を最小化し、式中でＥと示される）をサーチすることからなり：
Ｍｉｎ_Ｍ，Ｐ Ｅ（Ｍ，Ｐ／Ｉ_ｃｕｒ，Ｉ_ｒｅｆ）
この式で、Ｉ_ｃｕｒは、現在の画像を示し、Ｉ_ｒｅｆは、画像がテンポラルプリディクション用の基準値として使用されることを示し、Ｍ＝｛ｍ_１，ｍ_２，・・・，ｍ_Ｎ｝は、Ｎ個のマクロブロックの符号化モードセットであり、ｍ_ｉは、Ｑ個の符号化モードセットの中から許容された値Ｔ＝｛ｔ_１，ｔ_２，・・・，ｔ_Ｑ｝をとることができ、Ｐは、各サイトｓで、そのモードｍｓと関連するパラメータセットである。これは、符号化のイントラモード用の空間プリディクションの方向の事項、運動ベクトルの事項、又は、インターモード用の双方向重み付け係数の事項である。

エネルギ関数Ｅは、ブロックセットに関する初等関数の和である。前述したように、これらの初等関数は、ブロックの隣接部に依存する。

図２ａに示されているように、例えば、ＭＰＥＧ−４パート１０符号化スキーマのような、左側から右側に、及び、上から下に走査が実行される符号化スキーマで、ブロック２００に関して計算された初等関数は、ブロック２０１〜２０４からなる隣接部内で選択された符号化モードに依存している。補足的に、図２ｂに示されているように、ブロック２０６〜２０９用に計算された各初等関数は、特に、ブロック２０５用に選択された符号化モードに依存している。

初等関数の和は、以下のように書ける：
Ｅ（Ｐ／Ｉ_ｃｕｒ，Ｉ_ｒｅｆ）＝Σｓ∈Ｓ Ｅ_ｓ（ｍ_ｓ， Ｐ_ｓ（ｍ_ｓ）／ｍ_ｒ，ｐ_ｒ（ｍ_ｒ）， ｒ∈Ｖ_ｓ，Ｉ_ｃｕｒ，Ｉ_ｒｅｆ）
この式で、Ｓは、画像のＮ個のマクロブロックの位置（またはサイト）のセットであり、Ｖ_ｓは、サイトｓの隣接部、例えば、図２ａのブロック２０１〜２０４を示す。

関数Ｅ_ｓは、幾つかの形式をとることがある。事後的なアプローチでは、以下の形式をとることがあり、その記法は、条件依存性を省略して単純化した：
Ｅ_ｓ（ｍ）＝Ｄ（ｍ，ｐ（ｍ））＋λ．Ｃ（ｍ，ｐ（ｍ））
この式で、Ｄは、歪の大きさ、Ｃは、符号化コストの大きさ、λは、決定又は計算されたパラメータであり、通常、ブロックの量子化ステップサイズの関数として決定又は計算される。

ブロックセットに関しての符号化の第１のモード１０７の選択は、上述の関数Ｅ_ｓ（ｍ）を最小化するモードによって決定される。

図１に１０３で示された計算要素Ｄ及びＣは、ブロックの各サブセット用、評価された各モード用に記憶されている。本発明によると、少なくとも、符号化モード１１２が選択される必要があるサブセット１０９のブロック用の計算要素が記憶されている。

従って、その後、装置１００は、ブロックのセット１０１のサブセット１０９を処理することができる。

従って、装置１００は、各符号化モードｍ用のブロックの前述のサブセット１０９に関するエネルギ関数１１０を計算するための計算モジュール１０８を含む。

図３は、本発明の演算方法を示す。第１の符号化モードは、ブロック３０１のセット用に選択された。その後、例えば、４ｘ４ブロックのサブセット３０９用に、エネルギ関数１１０が計算される。セット３０１の何れかの他のサブセット、例えば、サイズ３ｘ３で、図３に３０３で示された他のサブセットは、本発明の方法に従って選択される。他のサイズ全て、例えば、３Ｘ２等も、本発明で実行される。

図１によると、エネルギ関数１１０を計算するためのモジュール１０８は、ブロックのサブセット１０９用に記憶された計算要素１０３をコールする。つまり、計算モジュール１０８は、サブセットの隣接部、第１の符号化モジュール１０７とは別個の符号化モード用の符号化コストに関して評価するための評価モジュール１１３を含む。

図３によると、サブセットの隣接部は、ブロックのサブセット３０９の下及び右側に位置しているブロックによって定義された隣接部３０２である。特に、図２ｂに示されたように、サイトｓに位置しているブロック２０５用のモードの変化により、未来のブロック２０６〜２０９のエネルギが変えられる。未来のブロックは、式内でＦ_ｓと記される。サイトｓで、モードｍがモードｍ’と置き換えられると、それから得られるエネルギ内の変化は以下のようになる：
ΔＥ＝Ｅ_ｓ（ｍ’，ｐ_ｓ（ｍ’））−Ｅ_ｓ（ｍ，ｐ_ｓ（ｍ））＋Σｒ∈Ｆ_ｓ（Ｅ_ｒ（ｍ_ｒ，ｐ_ｒ（ｍ_ｒ）／ｍ’，ｐ_ｓ（ｍ’））−Ｅｒ（ｍ_ｒ，ｐ_ｒ（ｍ_ｒ）／ｍ，ｐ_ｓ（ｍ）））
最初の２つの項は、過去のブロックに依存するエネルギ関数の変化を示し、第３の項は、未来のブロックのエネルギ関数で生じるエネルギ関数の変化を示す。

通常のモノスケール因果アプローチでは、符号化モードの選択は、マクロブロックｓのエネルギ関数の変化を測定することによって行われ、つまり、最初の２つの項は、未来のブロック内に含まれているエネルギ変化を考慮しない。

幾つかのブロックに分割された画像での小から中の量子化ステップサイズに対して、隣接部の比較的早いブロックのモードの変化のブロックに対するインパクトは、歪を生じず、符号化コストを生じるにすぎない。特に、逆量子化後再構造化されたブロックは、量子化ステップサイズの小〜中レンジ用のソースブロックからあまり離れていない。この場合、歪は再計算される必要はない。従って、ブロックの各サブセットに対して、各モードの歪が最も粗いスケールの方で計算される。この場合、計算要素１０３の記憶により、それを再計算する必要なしに容易に歪Ｄを示す計算要素１０３をコールすることができる。

ブロックのサブセットの作業及びサブセット内の同じモードを有する必要性の結果として、符号化コストは、ブロックのサブセット内に置かれたブロックに対して変化しない。従って、所定のスケールで、ブロックのサブセット３０９用の符号化コストの変化によって形成された符号化コストの変化は、サブセット３０９の隣接部内のブロックに対してのみ感知される。これにより、実行される計算の量を著しく減少することができる。と言うのは、ブロックのサブセット３０９の隣接部３０２のブロック用の符号化コストでの変化だけが計算されるからである。ブロック内部〜サブセット用の他の符号化コストは、実際には、計算要素１０３の以前に見られた様子として記憶される。特に、図３から分かるように、符号化コストの通常の計算によると、１６＋９個の計算に高まるが、本発明によると、丁度９個実行することができる。

装置は、サブセット１０９に関する計算モジュール１０８によって計算されるエネルギ関数１１０を最小化する符号化モード１１２を選択するためのモジュール１１１を有している。

本発明により提案されているマルチスケールアプローチにより、画像に関する符号化の最適化に一層容易にきちんとアプローチすることができるようになる。特に、マルチスケールアプローチにより、方法が大きなスケールのブロックセットで実行される場合に一層有意義に、最小化されるべき関数をスムーズにすることができるようになる。

従って、方法用の開始ブロックのセットのために十分に高いスケールで、関数は凸状となり、全体的に最小値を達成するのが容易となる。

図４は、横座標に沿って示された複数モードでの、単一のディメンションに関して計算されたエネルギ関数のシンプルな場合を示す。従って、最も小さなスケールでのエネルギ関数の曲線４０１は、幾つかの最小値を示す。従って、エネルギ関数の最小化の間、不十分な初期化から始まると、局所的な最小値になる危険性がある。曲線４０２は、グローバルな最小値に加えて、はっきりしない局所最小値を示す中間スケールを示す。曲線４０１は、最も大きなスケールを示し、この曲線４０１は、はっきりと達成される１つの最小値を示す。この最後の図に示されているように、幾つかのブロックに分割される画像に関する符号化モードの最良のコレクションを決定するために、幾つかのディメンション、特に、画像ブロックの数、ブロック毎のモード数、空間−時間予測スペースを有するエネルギ関数を、エネルギ関数の最小値を見つける構成によって最小化する必要がある。従って、小さなスケールで、因果アプローチを使う場合、エネルギ関数のグローバルな最小値から遠く離れている局所最小値を形成することができるようになる。従って、本発明によると、ブロックのセットを全画像であるように定義することができるから、画像全体の符号化用のエネルギ関数の最小化値の近くにアプローチすることができるようになる。

図５によると、本発明の方法は、有利には、画像全体に亘って符号化モードのコレクションを最適化するように、ブロックのセット及びサブセット用の複数スケールに亘って反復して繰り返される。この反復により、以前のステップのサブセットは、次のステップのセットとなる、等々である。有利には、最も粗いスケールは、全画像である。

この反復方式により、エネルギ関数の最小化は、図５ａによって示された８ｘ８ブロックのセット５００によって計算される。図５ｂに示された第２のスケールでは、以前のスケールのサブセット５０１〜５０４は、各々本発明の方法を実行するためのブロックセットとなる。サブセットは、２ｘ２ブロックのグループ５０５〜５２０である。第３のスケールでは、サブセットは、ブロック５２１自体である。従って、ブロックは、２^ｎｘ２^ｎブロックのサブセットにグループ分けされる。各サブセットのブロックは、必ず全て、同じ符号化モードを有している。

本発明によると、最も粗いスケールから最適化を行うことができるようになる。因果スケールは、セット内のサブセットの各々を横切るのに使われる。本発明によると、最も低いエネルギを生じるモードは、所定のスケールＫで各サブセットに対して見つけられる。例えば、図５では、スケールＫ＋１のセット５００は、スケールＫのサブセット５０１〜５０４の各々に対する最も低いエネルギを生じるモードを決定するのに使われる等である。スケールＫが処理されたら、最も低いスケールＫ−１用に、スケールＫの各新規セット用のモードの初期マップを利用可能である。スケールＫ−１の各サブセットに対して、最も大きなエネルギ低下を達成するモードをサーチする。スケールＫ−１が処理されたら、スケールＫ−２に進み、等々して、スケール０にダウンし、スケール０では、例えば、シングルブロックがサブセットを継続する。

本発明は、符号化モードのパラメータの関数として、エネルギ関数を最適化するために利用される。２つのアプローチが考えられる。一方では、ブロックの各サブセットのパラメータが異なるようにされる。従って、サブセットの符号化モードは、例えば、ブロックの各サブセット用の動きベクトルパラメータでのインターモードである。他方では、各スケールでのパラメータＰのサブセットＰｎを処理することによってモードの場合と同様にして所定のパラメータＰに対して演算する。

両方の場合、パラメータＰの評価及び必要ならばパラメータＰｎの評価は、全て独立したやり方で行ってもよい。例えば、符号化決定装置の実行の前に画像全体についてマルチスケール動き評価を行うことができる。この解決手段の利点は、セットＭｎ及びＰｎを同時に評価する解決手段よりも計算費用が少ないという点にある。

本発明は、上述の実施例に限定されず、当業者は、種々異なる択一的な実施例が可能であることが分かる。例えば、隣接ブロックの符号化コストを計算するために、隣接の種々のタイプを想定することができる。符号化コストは、正確な計算によって、又は、既知の近似技術を使う近似計算によって評価される。

本発明の装置のダイアグラムである。 ａ及びｂは、符号化コストの計算時のブロック又はマクロブロックの隣りの役割を示す。 マクロブロックセット上での本発明の操作のやり方を示す。 種々のスケールでのエネルギ関数を示す。 ａ〜ｃは、マクロブロックセット上での本発明の方法の行動を示す。

符号の説明

１００ 装置
１０１ ブロックセット
１０２ 計算モジュール
１０３ 計算要素
１０４ メモリ
１０５ エネルギ関数
１０６ モジュール
１０７ 第１の符号化モード
１０８ 計算モジュール
１０９ ブロック
１１０ エネルギ関数
１１３ 評価モジュール
３０２ 隣接部

Claims (9)

1. 複数のブロックに分割された画像の圧縮符号化に関する複数の符号化モードの中から、前記ブロックのセットに含まれるブロックのサブセットを符号化するために、符号化モードを選択する方法であって、
   前記複数の符号化モードの各々に関して、前記ブロックのセットについての符号化コスト及び歪を計算することにより、前記ブロックのセットについてのエネルギ関数を計算する第１のステップと、
   前記ブロックのセットについて計算された、前記複数の符号化モードの各々に関する符号化コスト及び歪を記憶するステップと、
   前記第１のステップにおいて計算された前記複数の符号化モードの各々に関する前記符号化コスト及び前記歪に基づいて、前記ブロックのセットについての前記エネルギ関数を最小化する第１の符号化のモードを選択するステップと、
   前記第１の符号化モードとは異なる複数の符号化モードの各々に関して、前記ブロックの前記サブセットについてのエネルギ関数を計算する第２のステップであって、前記記憶するステップにおいて前記異なる複数の符号化モードの各々に関して記憶された歪は、前記第２のステップにおいて前記異なる複数の符号化モードの各々に関する歪として再使用され、前記サブセットの隣接部について計算された、前記第１の符号化モードを前記異なる複数の符号化モードの各々に置換することによって生じる符号化コストの変化は、前記第２のステップにおいて前記異なる複数の符号化モードの各々に関する符号化コストとして使用される、第２のステップと、
   前記第２のステップで計算された前記符号化コストの変化の各々と前記第２のステップで再使用される歪の各々とに基づいて、前記ブロックの前記サブセットについての前記エネルギ関数を最小化する第２の符号化モードを選択するステップと
   を含むことを特徴とする方法。
2. 前記ブロックのセットは、２ⁿ＊２ⁿブロックのグループであり、前記サブセットは、２^n-1＊２^n-1ブロックのグループであることを特徴とする請求項１に記載の方法。
3. 前記隣接部は、前記ブロックの前記サブセットの下側及び右側のブロックのグループであることを特徴とする請求項１又は２に記載の方法。
4. 前記符号化モードを選択するステップは、前記符号化モードのパラメータを選択するステップを含むことを特徴とする請求項１又は２に記載の方法。
5. 前記複数のブロックのセットの一連のサブセットに亘って反復して繰り返されることを特徴とする請求項１から４のいずれかに記載の方法。
6. 複数のブロックに分割された画像の圧縮符号化に関する複数の符号化モードの中から、前記ブロックのセットに含まれるブロックのサブセットを符号化するために、符号化モードを選択するように構成された装置において、
   前記複数の符号化モードの各々に関して、前記ブロックのセットについての符号化コスト及び歪を計算することにより、前記ブロックのセットについてのエネルギ関数を計算するための第１の計算モジュールと、
   前記ブロックのセットについて計算された、前記複数の符号化モードの各々に関する符号化コスト及び歪を記憶するメモリと、
   前記第１の計算モジュールにおいて計算された前記複数の符号化モードの各々に関する前記符号化コスト及び前記歪に基づいて、前記ブロックのセットについての前記エネルギ関数を最小化する第１の符号化のモードを選択するためのモジュールと、
   前記第１の符号化モードとは異なる複数の符号化モードの各々に関して、前記ブロックの前記サブセットについてのエネルギ関数を計算するための第２の計算モジュールであって、前記メモリにおいて前記異なる複数の符号化モードの各々に関して記憶された歪は、前記第２の計算モジュールにおいて前記異なる複数の符号化モードの各々に関する歪として再使用され、前記サブセットの隣接部について計算された、前記第１の符号化モードを前記異なる複数の符号化モードの各々に置換することによって生じる符号化コストの変化は、前記第２の計算モジュールにおいて前記異なる複数の符号化モードの各々に関する符号化コストとして使用される、前記第２の計算モジュールと、
   前記第２の計算モジュールで計算された前記符号化コストの変化の各々と前記第２の計算モジュールで再使用される歪の各々とに基づいて、前記ブロックの前記サブセットについての前記エネルギ関数を最小化する第２の符号化モードを選択するためのモジュールと
   を含むことを特徴とする装置。
7. 前記ブロックのセットは、２ⁿ＊２ⁿブロックのグループであり、前記サブセットは、２^n-1＊２^n-1のブロックのグループであることを特徴とする請求項６に記載の装置。
8. 前記隣接部は、前記ブロックの前記サブセットの下側及び右側のブロックのグループであることを特徴とする請求項６又は７に記載の装置。
9. 符号化モードを選択するためのモジュールの少なくとも１つは、前記符号化モードのパラメータを選択するためのサブモジュールを含むことを特徴とする請求項６から８のいずれかに記載の装置。

Images