JP4338787B2 - 映像圧縮のための方法及び装置 - Google Patents

Description

画像の合成は、コンピュータツールを使用することによりいわゆる仮想画像を形成することを可能にする。仮想画像は抽象記述及びディジタル計算から生じる。これは、２次元及び３次元グラフィックライブラリを使用する方法の集合を使用することを含む。そうした方法は、アクセラレータグラフィックカードタイプの特定ハードウエア回路によって、及びＡＰＩ（「アプリケーションプログラムインタフェース」）タイプの適当なインタフェースを通じて高速化されうる。
これらの画像を形成する方法は様々な段階に分割されうる。
この方法は第一に、構成要素オブジェクトを記述し、そこから可視のシーンを構築するようそれらのオブジェクトを組み立てるためのモデリング段階、即ち記述モデルを使用してオブジェクトを計算又は捕捉する段階を含む。
例えばオブジェクトが多数の基本多角形面又はファセットに分割される多角形タイプのモデルを引き合いに出そう。これらの基本幾何エンティティを定義し、組み立て、又は修正するためにグラフィックプリミティブが使用される。
これらのモデルは解釈可能である：これらは種々のグラフィックエンジン、例えば三角形の色づけ（又は「陰影処理」）、テクスチャのアンチエイリアシング等に関連しうる。これらは、動き、爆発等の行動的なものもテクスチャ、色、鏡面効果等の視覚的なものもある能力、即ち属性又は機能を有する。これらは、シナリオを実現しているときに環境、例えば光、他のオブジェクトと相互作用することが可能である。従って、第二に、時間（ここでは所与の適用を行うための時間）を通じてこれらのモデルの大局的な構成を支配する動いているシーンの構築、即ちシナリオ又はアニメーションの定義が行われる。
最後に、用途（ＣＡＤ、画像の生成、シミュレーション等）に依存して、最終段階は、このシナリオからディジタル画像を生成することを含む。この最後の段階はレンダリング又は画像「表現」方法と称され、できる限り現実感のあるシーンを表現することを目的とする。これは計算時間が非常に多くかかり、使用されるモデルに関して、また関わってくるプログラムに関係するデータに関して大きなメモリ容量を必要とすることがある。例えばラジオシティ又はレイ・トレーシングといった表現方法は質の良い画像を得ることを可能にするが、より高い費用がかかり、実装される計算アルゴリズムは非常に複雑である。
ディジタル画像によって表わされる情報のボリュームは、ＪＰＥＧ，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２及び間もなく実現されるＭＰＥＧ−４といった様々な圧縮標準の開発を引き起こし、当該技術と互換性のある情報のボリュームを、記憶にせよ伝送のためにせよ、操作することを可能にした。今日のところ、より一般的であるＭＰＥＧ−２標準は、ＭＰＥＧ標準で定義される様々なプロファイル及びレベル、そのうち従来のテレビジョンフォーマットの画像のためのＭＰ＠ＭＬ（「Main Profile at Main Level」）が最もよく知られている、を援用してあらゆる既存のフォーマットの画像を圧縮することを可能にする。かかるビデオ画像圧縮を実行する符号器の構造は、従来技術によれば、画像の様々なタイプ、即ちイントラ画像、予測画像、又は双方向画像（夫々Ｉ，Ｐ，Ｂ）に依存し、主な差異は予測の時間的モードである。符号化カーネルは従来どおり、ＤＣＴ（「離散コサイン変換」）に基づく周波数分解とそれに続く量子化及びエントロピー符号化を含んでおり、それにより符号器の出力において標準に準拠せねばならない２値列、即ち特定の構文を得る。
時間的予測は、例えば１６×１６画素の大きさの画像ブロックに基づいて、時間的に離れた画像間の動きを推定することによって行われる。動きは、現在画像のブロックと先行又は後続画像の探索窓のブロックとの間の相関から演繹される。次に、画像の８×８画素の大きさの各ブロックが計算された変位ベクトルを用いて予測され、推定ブロックと原ブロックとの間の誤差のみが符号化される。
従来画像又は合成画像のいずれのデータであってもよいデータの圧縮は、従って、動き推定といった従来の方法を使用する。かかる計算を実行する回路及び関連する回路は複雑であり、かかる構成の費用は高い。例えば、動き推定回路及び動き補償内挿回路はおそらくＭＰＥＧ−２タイプの符号器の複雑さの半分の原因となっている。
従来の方法による動き情報は、常に実際の動きに対応するわけではなく、ただ単に一般的に輝度情報に関する相関を含む。画像の動きベクトルからなるベクトルの場が実際の動きを反映しないということは、特にベクトルの差分符号化の場合は、データの最適な圧縮を妨げる。これは、均一な動きのゾーンに対応するマクロブロックについては、差分符号化において同一又は僅かに異なったベクトルを伝送する費用がランダムなベクトルを伝送する費用よりも小さいためである。
更に、従来の「ブロックマッチング」方法によって得られた動きベクトルが必ずしも実際の動きを反映しないということは、例えばディジタルビデオレコーダのスローモーションモード等の周波数の変換の間の良い質の画像の内挿又は外挿を実行するためにベクトル場を使用することを妨げる。
正しくない動きベクトル場はまた、マクロブロックよりもむしろ画像のための輪郭情報を使用する符号化の新しい技術の使用を妨げる。これは、これらの新しい技術によるデータの圧縮が画像セグメント化と、均一なゾーンを定義するこれらの「セグメント」の実際の変位に基づいているためである。
従って、動き推定の信頼性の欠如は、圧縮率又は所与のビットレートに対する画質の面での符号器の性能の最適化、及び復号器におけるこの動き情報の効果的な使用を妨げる。
本発明は、合成画像の符号化において上述の欠点を軽減することを目的とする。
このため、本発明の主題は、数学的データに基づいてシーンをモデリングする処理段階と、上記モデリングから合成画像を形成するための画像レンダリングの段階と、この合成画像を画像ブロックへ分割化する段階と、残差ブロックを与えるために少なくとも１つの動きベクトルに基づいて定義される少なくとも１つの合成画像のブロックに基づいて現在画像ブロックの差分符号化を行う段階とを含む、スクリプトの主体であるシーンを記述する合成画像のシーケンスのディジタルデータを圧縮する方法であって、上記動きベクトルは合成スクリプトから発せられ、シーケンスの主体であるシーンを構成する様々なオブジェクトの見かけの動きを定義する数学的データから計算されることを特徴とする方法である。
また、本発明の主題は、数学的データに基づいて合成されるべき画像を有するシーンをモデリングする処理回路と、合成画像を発生し獲得された画像を画像ブロックへ分割化するために処理回路からキューを受信する、画像レンダリングを行い画像をブロックへ分割化する回路と、予測ブロックを与えるために上記処理回路からキューを受信する画像ブロック動き補償回路と、残差ブロックを与えるよう、画像レンダリング及び画像ブロックへの分割化のための回路から発せられる現在ブロックと、動き補償回路から発せられる予測ブロックとの間の差を取るための減算器と、モード選択回路によってエネルギー規準の関数として選択される画像レンダリング及び画像ブロックへの分割化のための回路から発せられる画像ブロック又は減算器から発せられる残差ブロックのための離散コサイン変換回路と、変換された係数を量子化するための回路とを含む、スクリプトの主体であるシーンを記述するための合成画像のシーケンスのディジタルデータを圧縮する装置であって、上記動き補償回路は、現在ブロックに関連し予測ブロックを定義する動きベクトルを計算するために、処理回路によって与えられシーンを構成するモデリングされたオブジェクトの変位を表わす数学的データを使用することを特徴とする装置である。
他の実施例によれば、本発明の主題は、数学的データに基づいて合成されるべき画像を有するシーンをモデリングする処理回路と、合成画像を生じさせ獲得された画像を画像ブロックへ分割化させるために処理回路からキューを受信する画像レンダリングを行い画像をブロックに分割化する回路と、上記処理回路からキューを受信する画像ブロック動き補償回路とを含む、スクリプトの主体であるシーンを記述するための合成画像のシーケンスのディジタルデータを圧縮する装置であって、Ｎを所定の数とすると、シーケンスのＮの画像のうちの１つの画像をイントラモードで送信し、この画像Ｎは表現計算及び画像ブロックへの分割化のための回路によって表現計算される主体であり、他の画像は現在ブロックと予測ブロックとの間の差を表わす残差ブロックによってインターモードで送信され、残差ブロックはヌルであり、数学的データから計算される単一の動きベクトルによって定義されることを特徴とする装置である。
概して、画像レンダリングの技術は「オブジェクト」指向シナリオを画像として表わすことにある。ここで、スクリプト、即ちシナリオは、シーンの中のオブジェクト及びそれらの様々な属性に関するあらゆる可能な情報を含んでいる。画像合成の場合、２次元又は３次元スクリプトは時間を通じた諸オブジェクトの正確な配置を与える。このスクリプトは次に、最終的なディジタルビデオ画像を発生（レンダリング）するはたらきをする。従って、可視画像を形成する画素からなる、即ちモデリングされていない情報を使用する代わりに、画像シーケンス中の実際の動きを計算するためにモデリングツールが使用される。
推定された動きではなく実際の動きを使用することによる複雑さの減少の他に、予測の品質及び符号器の大局的な性能を改善することが可能である。
本発明の他の特徴及び利点は、非制限的な例として与えられ、添付の図面に関して与えられる以下の説明より明らかとなろう。図中、
図１は本発明による映像圧縮装置のアーキテクチャを示す図であり、
図２はかかる装置の簡単化されたアーキテクチャを示す図である。
図１は本発明による装置の第１の変形を示す図である。
上述のように、画像合成に関する計算は複雑性が大きく、一般的に専用ワークステーションによって実行される。ここでは処理回路１として称されるかかるワークステーションは、スクリプトの主体であるシーンを表わすこれらの合成画像を生成するためにスクリプトに基づいて前もって定義されたシーンのモデリングを実行する。このようにして処理回路から得られた情報は、画像「レンダリング」回路２及びインタフェース回路６に、並列に伝送される。レンダリング回路の出力は、画像ブロックへの分割化のための回路３の入力及び動き補償回路７の第１の入力に、並列に連結される。
分割化回路の第１の出力は、モード選択回路５の第１の入力に直接連結される。
分割化回路のｎ個のうちの第２の出力ｉは、減算器４ｉのｎ個のうちの第１の入力に連結される。減算器４ｉの出力は、モード選択回路５のｎ個のうちの第２の入力ｉに連結される。
インタフェース回路６の出力のほうは動き補償回路７の第２の入力に連結される。動き補償回路のｎ個のうちの出力ｉは、減算器４ｉの第２の入力に連結される。
モード選択回路５の出力は、直列に配置された離散コサイン変換計算回路８、量子化回路９、及び可変長符号化回路１０を通じて装置の出力に連結される。装置の出力である可変長符号化回路の出力は、量子化回路９（ビットレート調整を含む）の第２の入力へ戻される。動き補償回路７の他の出力は、可変長符号化回路１０の第２の入力に連結される。本例では、動き補償７は前に復号化された画像、即ち再構成された画像なしで実行される。すると、「ドリフト」として知られる予測誤り累積問題が生じうる。方法を改善するために、補償回路７に対して前に復号化された画像を与える逆量子化、逆ＤＣＴを有する負帰還ループを使用することが可能である。
従って処理回路１は、シナリオの数学的形成に必要とされるコンピュータツールを象徴する。その機能は、上述のように、３次元でシーンをモデリングすること、即ちシーンを形成するオブジェクト及びスクリプトによって定義されるそれらの動きの数学的な式を定義することである。これらの数学的モデリングデータは、処理回路にとってアクセス可能であり、例えば予め定義されたモデルを記憶しているコンピュータファイルに由来してもよい。
画像レンダリング回路の役割は、合成画像を生成することである。これはモデリングされたシーンから画素への変換を行なう。得られた画像の輝度及び色度ディジタル情報は、ＭＰＥＧ−２標準に従って４つの８×８画素画像ブロックからなる１６×１６画素の大きさのブロックであるマクロブロックへの各画像の分割化を行なう分割化回路３へ伝送される。
インタフェース回路６の役割は、適用、ここでは画像合成によって与えられる変位情報を、動き補償回路７に伝送されるマクロブロックごとの動きの場に変換することである。各マクロブロックには、処理回路１から受信されたシーンのモデリングのための数学的データからこのインタフェース回路によって計算された少なくとも１つの動きベクトルが関連づけられる。並進、回転、相似拡大等といった数学的変形は、各マクロブロックに関連づけられた２次元ベクトルとして表わされる。
もちろん、動きベクトルは、例えばシーンの視点の変位を考慮した、オブジェクトの見かけの動きを表わす。
この変位の変換は以下のように実行される。
まず、変位は、３次元ベクトルによって定義されるオブジェクト並進であり、その３次元ベクトルの画像の面への投影が該面での座標のベクトル（Ｄｘ，Ｄｙ）を与えると仮定する。このオブジェクトの一部を表わす全ての画像マクロブロック全体に、この同一のベクトルが関連づけられ、これがＭＰＥＧ標準で定義される動きベクトル（Ｄｘ，Ｄｙ）と見なされる。
オブジェクトの境界におけるマクロブロックといった、覆われた又は覆われていないゾーンといった特定的な場合がやはり存在する。
境界のブロックに関する限り、最も簡単な解決法は、マクロブロック中の多数派ベクトル、即ちそのマクロブロックの中の最多数の画素に対応するベクトルを、そのマクロブロックに関連する動きベクトルとすることである。また、背景に対応するベクトルよりもむしろ、オブジェクトに対応するベクトルを選択することも考えられる。この選択は最高ではない。というのも、上述の装置は、最も適したモード、例えば再構成（よって推定された動き）が良くない場合にイントラモードを選択するモード選択回路を有するからである。
覆われたマクロブロック／覆われていないマクロブロックに関して、最も簡単な解決法は、これらの覆われたマクロブロック又は覆われていないマクロブロックに対応するゾーンはあまりよく再構成されないことはわかっているので、そのマクロブロックにはゼロの動きを割り当てることである。より精巧な解決法は、Ｂ（双方向）画像に関して前方及び後方ベクトルのための規定を与えるＭＰＥＧ−２構文によって与えられる。それによると、これらの２つの種類のベクトルが、処理回路１によって与えられるデータに基づいて動きインタフェース回路６によって計算され、従って、処理されるマクロブロックに関連する前方及び後方動きベクトルとみなされる。すると、覆われていないゾーンは（時間について）前向きの動きによって、覆われたゾーンは後向きの動きによって再構成されうる。符号化のモードの選択もここでモード選択回路によって実行される。
ＭＰＥＧ標準は実際、マクロブロックに対して様々なタイプのベクトル、即ち：
処理されるマクロブロックに対応する画像の前の画像及び後の画像を夫々考慮する「前方」又は「後方」単方向タイプのベクトル；
モード選択回路が双方向予測モードを選択する場合に使用される双方向タイプのベクトル、を割り当てることを可能とする。
これは実際はマクロブロックに関連づけられる２つのベクトルを含み、処理されるマクロブロックは、前方ベクトル及び後方ベクトルによって、これらのベクトルによって定義される２つのマクロブロックの平均であるマクロブロックとマッチングされる。この平均化はマッチングされる画素の輝度と処理されるマクロブロックへの時間的な距離との関数である。これらのベクトルは上で定義されたものと同一であってもよい。
動き補償回路７は、動きベクトル場及び表現計算回路によって伝送される先行（及び後続）画像に基づいて、予測画像、即ち動き補償された画像の計算を行なうと共に、そのようにして得られた画像のマクロブロックへの分割化を行なう。
分割化回路３によって伝送される現在マクロブロックは減算器４の正の入力上で受信され、補償回路７によって伝送される、予測画像の対応するマクロブロックは減算器の負の入力上で受信される。減算器の出力において得られる「残差」、即ち各画素に対して形成される差に対応するマクロブロックが、モード選択回路５へ送信される。
実際、上で定義される各タイプの動きベクトルに対応して、補償回路によって計算される予測画像がある。従ってこの回路は選択されるベクトルのタイプと同じ数の出力ｎを有し、各出力は、他方の入力上で画像の現在ブロックを受信する減算器４ｉに連結される。計算された全てのタイプの残差は、モード選択回路のｎ個の入力上へ送信される。モード選択回路はもう一つの入力があって、そこで分割化回路３から直接、現在マクロブロックを受信する。
モード選択回路５はマクロブロックが符号化されるべきモードを決定する。使用可能な符号化のモードは、例えば以下の通りである：
動き補償あり、又は動き補償なしの、即ち動きベクトルの送信を伴う、又は伴わない符号化；
イントラ符号化又は非イントラ符号化（画像間符号化、同様のパリティ又は同様でないパリティのフレーム間符号化、予測フレーム間又は予測双方向符号化等）；
非イントラ符号化の場合、残差の符号化を行う、又は（残差が非常に小さい場合に）行わない。
モードの選択は、各モードにおいてマクロブロックエネルギー計算を行うことによって、また最も小さいエネルギーを与えるものを選択することによって行われる。大半の場合、エネルギー計算は絶対値の総和によって近似される。
選択されたブロックは次に、離散コサイン変換、量子化、及び可変長符号化タイプの符号化を受ける。ビットレートは量子化器へ送信されるべく装置の出力において引き出され、この調整ループは、簡単化のため量子化回路の中に含まれるビットレート調整ブロックによって量子化間隔に作用する。
処理されるマクロブロックに関連するベクトルは、動き補償回路によって、マクロブロックの量子化された係数によってこれらの値の多重化を行う可変長符号化回路１０に送信される。
この装置を、例えば減算器に提出される予測マクロブロックのタイプを制限することによって簡単化することももちろん考えられる。すると、インタフェース回路が保有している情報から最も良い相関を可能にするモードを演繹しうる場合、モードの選択は部分的に上流で実行されうる。
インタフェース回路は次にこのモードを課するためにモード選択回路５の補助入力上にモードキューを送信する。
図２は他の図式的な実施例を示す図である。
処理回路１１の出力は、画像レンダリング計算回路１２の入力と動きインタフェース回路１３の入力とへ並列に連結される。双方向リンクがこれらの画像レンダリング計算回路と動きインタフェース回路を接続する。画像レンダリング計算回路１２の出力は、直列配置された離散コサイン変換計算回路１４、量子化回路１５、及び可変長符号化回路１６を通じて装置の出力に連結される。装置の出力である可変長符号化回路の出力は、調整ループを構成するために量子化回路１５の第２の入力へ戻される。
動き補償回路１３の出力は、可変長符号化回路１６の第２の入力に連結される。
処理回路１１は、図１に示される処理回路と同じ特徴及び機能を有する。
ここで、回路１２によって行われる表現計算の、図１に図示される計算との違いは、サンプリングによって行われる、即ち伝送されるべき画像のシーケンスのＮ枚の画像ごとに１枚の画像について実行されるという点である。
この回路によって構成される画像は次にマクロブロック及び画像のブロックへ分割化され、この機能はまたこの画像表現回路によっても実行される。ブロックは相次いで、これらのブロックのコサイン変換を行う離散コサイン変換を計算する回路１４、変換された係数の量子化、待機及びこれらの係数の直列化を行う量子化回路１５、及び直列化されたデータのエントロピー符号化を行う可変長符号化回路１６へ送信される。調整ループが装置の出力においてビットレートを引き出して、量子化器１５の中に組み込まれたビットレート調整回路へ供給する。該ビットレート調整回路は、かかる調整を行うために量子化間隔に作用する。
動きインタフェース回路１３は、図１の動きインタフェース回路６について記載されたのと同様に動きベクトル場を計算し、現在処理されているマクロブロックに割り当てられる動きベクトルを可変長符号化回路へ送信する。動きインタフェース回路１３はまた、前記動きベクトルに対応するモードキューを与える。前記可変長符号化回路は、現在マクロブロックに関連する動きベクトルを、符号化モード並びにこのマクロブロックの変換及び量子化されたデータと共に多重化を行い、この全てを当該装置からの出力として送信する。
動きインタフェース回路１３と表現計算回路１２との間のリンクは、マクロブロックの分割化、ＤＣＴ回路へ送信される現在マクロブロック、符号化のモード等に関する情報を交換することを可能にする。
従ってここで、多大な計算時間を消費する画像レンダリング手順は簡単化される。これは、幾つかの合成画像のみを使用し、またその際に欠けている画像間の動きを使用することに基づく。計算された合成画像は、時間について離れており（即ちＮ個の画像期間毎に１つの画像）、典型的には符号器によってイントラモードで符号化された画像を表わす。言うところの欠けている画像は計算されず、送信されず、記憶されない。復号器が、送信されてくる動きキューを援用してこれらの欠けている画像を生成する役割を担う。従って、全ては、あたかも符号器が、予測誤り画像がヌルである（動き補償された予測が消去されている）構成であるかのように行われる。
回路１３によって伝送される符号化のモードは、レンダリング回路によって処理される画像に依存する。計算される画像がイントラ符号化に対応するとき、これらの画像に対する動きベクトルは送信されない。中間画像はゼロの予測誤り（残差マクロブロックの係数がゼロ）でインターモードで符号化された画像とみなされ、動きベクトルによって表わされる動きは推定されたのではない、実際に計算された動きであり、合成画像には雑音がないと仮定される。復号器では、これらのインター画像は、上述のように、イントラ画像及び各インター画像に対して送信される動きベクトルから再生成される。
この用途では、マクロブロックごとの動き（動きベクトル）は不正確であってもよく、境界のブロックの欠陥は補正されず、照明はイントラ画像間では一定であると仮定される。かかる装置は、ビデオゲームといった画質がより低くともよい用途のために使用される。処理速度、データ圧縮、及び低い費用の構成は、画質を犠牲にしてでもかかる装置に課される特徴である。
この装置の画質に関する第１の改善点では、符号化のモードは処理されるマクロブロックのタイプに依存する。図２に点線で示される誤りインタフェース回路１７が、この新しい機能を実行するために付加される。
誤りインタフェース回路は、画像レンダリング計算回路１２との間で、現在マクロブロックの符号化に関する情報を交換するために処理回路１１から情報を受信する。
誤りインタフェース回路の役割は、動いているオブジェクトの輪郭において生ずる誤りを検出することである。当該のマクロブロックに対して特定の処理が与えられる。送信されるべきマクロブロックが境界ブロックである場合、情報が処理回路１１から生ずる情報に基づいて誤りを計算する回路によって計算されるか、又は画像レンダリング計算回路を通じて動きインタフェース回路１３から受信されるとき、誤りインタフェース回路は、画像レンダリング計算回路上にこれらの境界ブロックのための画像レンダリングの計算を課する。すると、このマクロブロックに対してモードは強制的にイントラにされ、情報は動きインタフェース回路１３へ送信される。簡単化された表現計算は従って、インターモードで符号化された画像、即ち画像のこれらのブロックに対してのみ画像レンダリング計算回路１２によって行われる。
装置の第２の改善点は、図２に点線によって示される照明インタフェース１８を追加することである。
照明インタフェース１８は、画像レンダリング計算回路１２との間で現在マクロブロックの符号化に関する情報を交換するために処理回路１１から情報を受信する。
照明インタフェース回路の機能は、照明モデルを符号器用の誤り画像へ変換することである。オブジェクトキューからＭＰＥＧ標準に準拠する符号化に適したキューへの切換えは、例えばある画像から別の画像への照明の変化が予測誤りであるとみなすことによって行われる。従って、ある画像から別の画像への処理されるマクロブロックの輝度の変化に関するキュー〔情報〕が照明インタフェース１８によって画像レンダリング計算回路１２へ送信される。次いでこのキュー〔情報〕が、予測誤りとみなされるので、残差ブロックの形でレンダリング回路によってＤＣＴ計算回路へ送信される。動きインタフェース１３はこの処理されたマクロブロックについて計算される動きベクトル及び対応するモードタイプを同時に送信する。復号器において、再構成されたブロックは、残差ブロックが付加される動きベクトルに対応するブロックとなる。
装置の第３の改善点は、領域キューを量子化器１５へ送信することを可能とする領域インタフェース１９を追加することにある。
この領域インタフェース１９は処理回路１１からキューを受信し、画像レンダリング計算回路１２との間で現在ブロックの符号化に関する情報を交換し、量子化器１５へ領域情報を送信する。
このインタフェースは、処理回路１１から生ずるモデリング情報の関数として画像を領域へ分割化する。ラベルは各領域に割り当てられ、より正確には各ブロックに、該ブロックが属する領域の関数として割り当てられ、ブロックによる画像の分割化に関するデータは画像レンダリング計算回路１２から生ずる。量子化回路１５によって計算される量子化間隔は、量子化間隔によって復号器へ「搬送される」領域キューを送信するよう、このラベルの関数として変更される。この変更は領域の特性、即ち、非均一領域及び／又は低い動きの領域の量子化間隔の減少、非常に高くテクスチャ化された領域又は大きな動きの領域での増加に依存する。従って、所与のビットレートでは復号化された画像の品質は改善され、より高くテクスチャ化されたゾーン又は大きな動きのゾーンではブロックの中の欠陥があまりよく気づかれないことを可能とする。
動きベクトルに対する技術と同じ技術は、所属の曖昧な場合に使用されえ、即ち、主領域が大多数がこのブロックの中にある場合（大多数モード）はブロックは主領域に所属すると宣言され、或いは画像の主オブジェクトがこのブロックの少なくとも一部分を形成する場合（主オブジェクトモード）はブロックは画像の主領域に所属すると宣言される。
このインタフェースは、符号器の性能及び可能な適用を改善することを可能とし、即ち、主な改善は例えば上述からわかるように小さな動きの均一でないゾーンの量子化間隔の減少によるものであり、２次元又は３次元適用では、復号器に関する相互作用性の改善は領域キューによるものである。
もちろん、これらは例示的な実施例であり、様々な変形は所望の画質、適用、処理速度、又は圧縮の度合いによって組み合わせられるか又は別個とされうる。
このように、図２の装置は図１の装置の機能に非常に良く組み込まれることができ、その逆もまた可能である。例えば、表現計算のため及び画像ブロックへの分割化のための回路１２は、動き補償回路１３からの情報に基づいて差分ブロック又は残差ブロックの計算のための減算器４ｉの機能を実行すると共に、ＤＣＴ回路１４に画像ブロックを与えるモード選択器の機能を実施しうる。動作モードの数は、もちろん回路の複雑性という不利益を伴うが、このように増加されうる。
上述の方法及び装置は、送信された圧縮されたデータ及び復号化の両方に関してＭＰＥＧタイプのデータ圧縮標準と完全に互換性がある。
本願はビデオゲーム、対話型アプリケーション、又は仮想現実適用のための再生中（仮想スタジオ、漫画、映像合成又はフィルム、特殊効果）の画像の合成に適用される。
本発明は、本発明によって簡単化のレベルが得られる内蔵型プラットフォーム（ワークステーション、ゲームコンソール）の中で実施されうる。

Claims (10)

1. 一つ又は複数のオブジェクトを含むシーンを記述する合成画像のシーケンスのディジタルデータを圧縮する方法であって、シーンは、オブジェクトおよびその動きを定義する式を使う数学的モデルによって定義されるものであり、
   上記数学的モデルからピクセル表現の、ある視点からの前記シーンの表現である合成画像を生成する画像レンダリング段階と、
   この合成画像を画像ブロックに分割する段階と、
   現在画像のあるブロックについて、該ブロックの上記現在画像と前の画像との間の動きに対応する動きベクトルを決定する段階と、
   上記動きベクトルに従って上記前の画像における予測されたブロックを計算する段階と、
   上記シーケンスの少なくとも一つの合成画像について、合成画像のあるブロックと対応する予測されたブロックとの間の差を取ることによって残差ブロックを与え、該残差ブロックを符号化して圧縮されたデータを与える段階とを含んでおり、
   上記動きベクトルを決定する段階が、
   上記数学的モデルによって与えられるオブジェクトの動きの情報を、少なくとも該オブジェクトの一部を含むブロックについて、上記合成画像中の見かけの動きに変換し、変換された動きの情報を、少なくとも上記の該オブジェクトの一部を含むブロックに対して割り当てることを含むことを特徴とする方法。
2. 上記画像レンダリングは、Ｎを所定の数として、シーケンスのＮ枚の画像のうちの１枚の画像である選択された画像についてのみ実行され、該選択された画像はイントラモードで符号化され、
   上記差を取ることによって残差ブロックを与え、該残差ブロックを符号化して圧縮されたデータを与える段階は、上記選択された画像以外の画像である中間画像のブロックに対して実行されることを特徴とする、請求項１記載の方法。
3. 上記差を取ることによって残差ブロックを与え、該残差ブロックを符号化して圧縮されたデータを与える段階は、中間画像の全ブロックについて、すべての値がゼロである残差ベクトルを与えることを特徴とする、請求項２記載の方法。
4. 画像の境界画像ブロックの符号化は強制的にイントラモードにされ、ここで、境界画像ブロックとは、少なくともあるオブジェクトの境界の一部を含む画像ブロックであることを特徴とする、請求項１乃至３のうちいずれか１項記載の方法。
5. 上記画像の諸領域へのセグメント化を行い、上記画像の各ブロックに対して該ブロックが属する領域に従ってラベルを割り当て、領域情報を送信するようこのラベルの関数として量子化間隔を修正することを特徴とする、請求項１乃至４のうちいずれか１項記載の方法。
6. 一つ又は複数のオブジェクトを含むシーンを記述する合成画像のシーケンスのディジタルデータを圧縮する装置であって、シーンは、オブジェクトおよびその動きを定義する式を使う数学的モデルによって定義されるものであり：
   上記シーンの数学的モデルを与える処理回路と、
   上記処理回路から受信した数学的データに基づいて、上記数学的モデルからピクセル表現の、ある視点からの前記シーンの表現である合成画像を生成し、この合成画像を画像ブロックに分割する画像レンダリング回路とを含んでおり、
   当該装置がさらに、
   現在画像のあるブロックについて、上記現在画像と前の画像との間の上記ブロックの動きに対応する動きベクトルを決定する、動きインタフェース回路と、
   上記動きベクトルに従って上記前の画像における予測されたブロックを計算する動き補償回路と、
   上記シーケンスの少なくとも一つの合成画像について、画像レンダリング回路からの合成画像のあるブロックと動き補償回路からの対応する予測されたブロックとの間の差を取ることによって残差ブロックを与える減算器と、
   上記画像レンダリング回路からの画像ブロック又は上記減算器からの残差ブロックを符号化して圧縮されたデータを与える符号器とを含み、
   上記動きインタフェース回路は、動きベクトルの決定を：
   上記数学的モデルによって与えられるオブジェクトの動きの情報を、少なくとも該オブジェクトの一部を含むブロックについて、上記合成画像中の見かけの動きに変換し、変換された動きの情報を、少なくとも上記の該オブジェクトの一部を含むブロックに対して割り当てることによって行うことを特徴とする装置。
7. 請求項６記載の装置であって、
   上記符号器が離散コサイン変換回路を含み、
   当該回路がさらに、上記符号器が上記画像レンダリング回路からの画像ブロックを符号化してイントラ符号化を実行するか上記減算器からの残差ブロックを符号化してインター符号化を実行するかを選択するモード選択回路を有することを特徴とする装置。
8. 上記画像レンダリング回路は、Ｎを所定の数として、シーケンスのＮ枚の画像のうちの１枚の画像である選択された画像についてのみ合成画像を生成するよう構成されており、
   当該装置は該選択された画像をイントラモードで送信するよう構成されており、
   上記選択された画像以外の画像はインターモードで送信され、該インターモードにおいては、予測ブロックを定義し上記動きインタフェース回路からくる動きベクトルのみが送信され、残差ブロックの値はゼロと考えられることを特徴とする、請求項６記載の装置。
9. 予測ブロックに伴う誤りが所定の閾値を超過した場合に現在ブロックの符号化を強制的にイントラモードにするよう、現在ブロックと予測ブロックとの間の誤りを検出するための誤りインタフェース回路を含むことを特徴とする、請求項８記載の装置。
10. 上記ディジタルデータはＭＰＥＧ２形式又は派生形式によって圧縮されることを特徴とする、請求項７乃至９のうちいずれか１項記載の装置。

Images