JP5889899B2 - マルチ視野信号の２つの視野と対応する画像の対をエンコードする方法、デコードする方法、エンコーダ、デコーダ、コンピュータプログラム及びソフトウェアツール - Google Patents

Description

本発明は、マルチ視野信号の２つの視野と対応する画像の対をエンコードする方法、デコードする方法、エンコーダ、デコーダ、ビットストリーム、コンピュータ可読媒体上のコンピュータプログラム、及びこれらの方法を実行するためのソフトウェアツールに関する。

立体表示は、益々普及して来ている。立体表示装置は、例えば、シャッタ眼鏡を利用するＬＣＤ及びプラズマディスプレイ、偏光眼鏡と併せて用いられるＬＣＤ装置だけでなく、様々な他のタイプの立体表示装置を含む。

左目及び右目に対するフル解像度１９２０ｘ１０８０イメージを配信できる３Ｄ−ＢＤディスクの形式で、例えば予め記録されているマテリアルにより、表示装置のための立体的なコンテンツが既に供給されている。一方、３Ｄ放送の標準化は、様々なフォラムで議論されている。

ステレオコンテンツを配信するために、左及び右の視野が１つの通常のＨＤ（１９２０ｘ１０８０）フレームに結合される、いわゆるフレーム互換性を持つフォーマットは、非常に魅力的であるとみなされる。これらのフォーマットは、ステレオコンテンツ配信を可能にするために、例えば既存のＤＶＢ放送チャネルを含む既存のＨＤインフラストラクチャの再生使用、既存のＳＴＢハードェアの再生使用等を可能にする。

コンテンツの配信を可能にするために、ほとんどの３Ｄテレビ受信器は、例えばＨＤＭＩ（登録商標）入力インタフェスを介して、幾つかのフレーム互換性を持つフォーマットをサポートする。例えばＨＤＭＩ（登録商標）Ｖ１．４ａ仕様の公的にダウンロード可能な３Ｄ部分に対するhttp://www.hdmi.org/manufacturer/specification.aspxを参照されたい。

しかしながら、フレーム互換性を持つ配信フォーマットの１つの重要な欠点は、これらの減少した空間解像度である。フレーム互換性を持つ配信フォーマットの制限が、例えば、後の段階で、増強レイヤの追加を可能にすることにより克服できることが示唆されている。

しかしながら、発明者は、フレーム互換性を持つ配信フォーマットと増強レイヤとの組合せが幾つかの課題を持つと認識した。
Ａ）増強レイヤは、各目に対してフルＨＤを提供できない。
Ｂ）増強レイヤをエンコード及び／又はデコードすることは、例えばＭｕｌｔｉ Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇと比較して複雑さを増している。その上、付加的な信号シグナリングが、ビットストリームに必要である。
Ｃ）従来のフレーム互換性を持つフォーマットは、２つの視野（ステレオ）ディスプレイに主に目標が定められていて（限定されていて）、例えば、自動立体表示のためのサポートを提供していない。
Ｄ）増強レイヤのエンコードは、例えば、非効率的な予測の結果として、不十分な効率的であり、結果的に増強レイヤのための相対的に余分のビットレートになる。
Ｅ）フレーム互換性を持つ配信フォーマットは、ハードでエンコードされた視差を持つ固定の左及び右視点の送信を可能にするだけである。結果として、ステレオコンテンツは、特定のスクリーンサイズに調整されなければならず、結果として、コンテンツを見ている視聴者により経験される快適さレベルは、人により異なるだけでなく、使用されるディスプレイによっても異なってしまう。
Ｆ）３Ｄテレビ受信器は、市場に既に入っている。結果として、新しい立体配信標準は、現在利用可能なフレーム互換性を持つフォーマットを包含しなければならなくなりそうである。フレーム互換性を持つ配信フォーマットが現在利用可能なフレーム互換性を持つフォーマットに特に適しないとき、３Ｄテレビ受信器は最善ではない画像品質を得るだろう。
Ｇ）ベースレイヤは、両方のレイヤでのフルの解像度に近づくために妥協され、例えば、ベースレイヤは、サブサンプリングの前に弱いローパスフィルタで帯域制限されただけのサブサンプリングされたバージョンの左／右視野を有する。これは、ビデオ信号に動きがあるとき、特に悩ましいエイリアシング効果を生じさせる。

このように、課題のリストは長い。両眼に対するフルの解像度ＨＤに対するニーズがあり、可変のベースライン処理のためのサポートのためのニーズがあり、ＡＶＣ（Ｈ２６４）及びＭＰＥＧ２エンコード標準のためのサポートを提供するためのニーズがある（両方とも市場に出ている３Ｄフレームの互換性を持つフォーマットのために使われるので）。

上述の課題の少なくとも一つに対処することが、本発明の目的である。

本発明の一つの態様によると、マルチ視野信号の２つの視野に対応する画像対をエンコードする方法が提供され、当該方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョン及び画像対の第２の画像の第１のローパスフィルタ処理バージョンに基づいて第１の結合画像を生成する生成ステップであって、第１の結合画像は、第１の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されるサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって空間的に共に配置されるサンプルを有する生成ステップと、第１の結合画像をエンコードすることによりベースレイヤを生成する生成ステップと、第１及び第２の視差ベースの予測とベースレイヤにエンコードされた画像情報と関連した第１及び第２のブロックベースのそれぞれ関連した変位ベクトルとを生成するステップであって、第１及び第２のブロックベースの変位ベクトルは、第１及び第２の画像にある視差情報、ベースレイヤでエンコードされた画像情報、及びそれぞれの第１及び第２の画像を使用して生成される生成ステップと、第１及び第２の視差ベースの予測を使用して第１及び第２の画像をエンコードすることにより増強レイヤを生成するステップとを有する。

本発明の上述の態様によると、エンコーダ、デコーダ、マルチ視野信号の２つの視野に対応する画像対をデコードする方法、マルチ視野信号の２つの視野を表しているビットストリーム、コンピュータプログラム、及び本発明による方法を実行するためのソフトウェアツールが、請求項１２、１５、１８、２１、２４及び２５において提供される。

上述の方策は、画像対が第１の結合画像の形式でベースレイヤにエンコードされる、エンコード／デコード解決策を提供する。このように、画像対は、ベース品質レベルで提供される。加えて、画像対が第１及び第２の視差ベースの予測を使用してエンコードされる増強レイヤが、供給される。増強レイヤは、デコーダにより、増強された解像度レベルで画像対を取得可能にする。

第１及び第２の視差ベースの予測は、増強レイヤのエンコード効率の改善を提供する。この理由は、視差が、ベースレイヤからデコードされる第１の画像が、デコードされる第２の画像から推定可能にされるということであり、またこの逆も成立する。このように、予測は、第１の画像の改良された予測を得るために、デコードされた第２の画像から推定される第１の画像のバージョンと、デコードされた第１の画像との組合せを使用する。結果として、増強レイヤをエンコードするために少ない帯域幅だけが必要であるか、又は、同じ帯域幅が与えられて、より良好な品質が得られる。

その上、第１及び第２のブロックベースの変位ベクトルがビットストリームの一部として供給され、これによって、ビットストリームをデコードするデコーダにより、第１及び第２の視差ベースの予測を再生させ、よって増強された品質レベルで画像対を取得可能にする。スキームは、効果的な予測を供給することにより、課題Ｄに対処する。更にまた、スキームは、画像対の間の視差を効率的に得るためにデコーダで使用できる第１及び第２のブロックベースの変位ベクトルを供給することにより、課題Ｃ及びＥに対処し、デコーダにより、例えば、自動立体表示のために付加的な画像をレンダリング可能にするか、又は視差の異なるレベル、例えば視差が減少したレベルを持つ他の画像対をレンダリング可能にする。結果的に、視差情報がデコーダ側での使用のためにストリームに含まれるという事実のために、可変的なベースライン処理を実施することが容易になるであろう。

第１の画像の第１のローパスフィルタ処理されたバージョンからの第１のパリティは、第２の画像の第１のローパスフィルタ処理されたバージョンからの第２のパリティと異なることに留意されたい。例えば、第１の画像の第１のローパスフィルタ処理されたバージョンからの第１のパリティは「偶数」パリティであり、第２の画像の第１のローパスフィルタ処理されたバージョンからの第２のパリティは「奇数」パリティである。代わりに、第１の画像の第１のローパスフィルタ処理されたバージョンからの第１のパリティは、第２の画像の第１のローパスフィルタ処理されたバージョンからの第２のパリティに等しい。例えば、両方のパリティは、「偶数」パリティである。

オプションでは、第１及び第２の視差ベースの予測を生成するステップは、ベースレイヤでエンコードされた画像情報と第１及び第２の画像から取り出される第１の画像及び視差情報とに基づいて第１のブロックベースの変位ベクトル及び第１の視差予測と、ベースレイヤでエンコードされた画像情報と第１及び第２の画像から取り出される第２の画像及び視差情報とに基づいて第２のブロックベースの変位ベクトル及び第２の視差予測とを生成するステップを有する。前記方策は、第１及び第２の視差ベースの予測を生成するために特によく適している。

オプションで、第１及び第２の画像は、第２の結合画像の形式で増強レイヤでエンコードされ、当該方法は、更に、画像対の第１の画像の第２のローパスフィルタ処理されたバージョン及び画像対の第２の画像の第２のローパスフィルタ処理されたバージョンに基づいて第２の結合画像を生成するステップを有し、第２の結合画像は、第１の画像の第２のローパスフィルタ処理されたバージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理されたバージョンからの第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する。

第１の画像の第２のローパスフィルタ処理されたバージョンからの第２のパリティが、第１の画像の第１のローパスフィルタ処理されたバージョンからの第１のパリティとは異なることと、第２の画像の第２のローパスフィルタ処理されたバージョンからの第１のパリティが第１の画像の第１のローパスフィルタ処理されたバージョンからの第２のパリティと異なることとに留意されたい。

第１の画像の第２のローパスフィルタ処理されたバージョンからの第２のパリティは、第２の画像の第２のローパスフィルタ処理されたバージョンからの第１のパリティと異なる。例えば、第１の画像の第２のローパスフィルタ処理されたバージョンからの第２のパリティは、「偶数」パリティであり、第２の画像の第２のローパスフィルタ処理されたバージョンからの第１のパリティは、「奇数」パリティである。代わりに、第１の画像の第２のローパスフィルタ処理されたバージョンからの第２のパリティは、第２の画像の第２のローパスフィルタ処理されたバージョンからの第１のパリティに等しい。例えば、両方のパリティは、「偶数」パリティである。

本発明の上述の態様によると、マルチ視野信号の２つの視野と対応する画像対をデコードする方法、エンコーダ、デコーダ、マルチ視野信号の２つの視野を表わすビットストリーム、コンピュータプログラム、及び本発明による方法を実行するためのソフトウェアツールが、請求項１３、１６、１９、２２、２４及び２５に提供される。

上記の方策は、ベースレイヤの第１の結合画像により供給されるものと相補的である第１及び第２の画像のサンプルを有する、第２の結合画像の形式で画像対がエンコードされる増強レイヤを提供する。これは、サブサンプリングという理由で、ベースレイヤから省略される画像対のサンプルが増強レイヤにより供給されるので、増強された解像度を可能にする増強レイヤを供給する特に効率的なやり方である。当該スキームは、既知の従来技術に従って、視野当たりフルのＨＤに近いものを提供する。

オプションでは、ブロックベースの変位ベクトルを生成するステップは、第１及び第２の画像を使用して最初の視差推定を生成するステップと、最初の視差推定を使用して、それぞれの視差予測と関連するブロックベースの変位ベクトルを生成するステップとを有する。前記方策は、ブロックベースの変位ベクトルを生成するために特に適切である３段階アプローチを提供する。

オプションでは、説明される方法は、更に、第１の視差予測及び第２の視差ベースの予測を視差ベースの予測へ結合するステップを有し、視差ベースの予測は、第１の画像の第１の視差予測から第２のパリティを持つサンプルであって、視差ベースの予測において空間的に共に配置されているサンプルと、第２の画像の第２の視差予測から第１のパリティを持つサンプルであって、視差ベースの予測において空間的に共に配置されるサンプルとを有し、第１及び第２の画像をエンコードするステップは、視差ベースの予測の形式で第１及び第２の視差ベースの予測を使用するステップを有する。このように、視差ベースの予測のフォーマットは、第２の結合画像のフォーマットに適している。

オプションでは、増強レイヤは第１の増強レイヤ及び第２の増強レイヤにより形成され、当該方法は、更に、第１の視差ベースの予測を使用して第１の画像をエンコードすることにより第１の増強レイヤを生成するステップと、第２の視差ベースの予測を使用して第２の画像をエンコードすることにより第２の増強レイヤを生成するステップとを有する。

本発明の上述の態様によると、マルチ視野信号の２つの視野と対応する画像の対をデコードする方法、エンコーダ、デコーダ、マルチ視野信号の２つの視野を表わすビットストリーム、コンピュータプログラム、及び本発明による方法を実行するためのソフトウェアツールが、請求項１４、１７、２０、２３、２４及び２５に提供される。

第１及び第２の画像は、第１及び第２の視差ベースの予測のそれぞれの予測を使用して別々にエンコードされる。当該スキームは、目当たりのフルＨＤを提供する。この理由は、第１及び第２の画像が従来のローパスフィルタリング及び／又はサブサンプリングなしでエンコードされるということである。このように、このスキームは、更に課題Ａに対処する。

オプションでは、説明される方法は、更に両方ともフル解像度で第１の中間の予測及び第２の中間の予測をそれぞれ形成するためにベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、第１の中間の予測を更に使用して第１の画像をエンコードするステップと、第１の中間の予測を更に使用して第２の画像をエンコードするステップとを有する。

前記方策は、画像対のそれぞれのエンコードされた画像のアップスケールされたバージョンの形式で、追加の予測を提供する。好適には、増強レイヤのエンコード効率が改善される。

オプションでは、ベースレイヤは、ＭＰＥＧ２エンコード、ＡＶＣエンコード及びＨＶＣエンコードの１つを使用してエンコードされるか、又は増強レイヤは、ＡＶＣエンコード及びＨＶＣエンコードの１つを使用してエンコードされる。前記エンコード方法は、ベースレイヤ及び／又は増強レイヤをエンコードするために特によく適している。ＡＶＣはＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇを表し、ＨＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを表し、時々ＨｅＶＣ又はＨＥＶＣと呼ばれる。

オプションでは、結合画像は、横に並んでいるエンコードされた画像又は上下に並んでいるエンコードされた画像の１つとして、エンコードされる。前記エンコード方法は、結合画像をエンコードするため、例えば、既存のマルチ視野信号受信器との互換性を供給するために特によく適している。

オプションでは、説明される方法は、更に、ベースレイヤ、増強レイヤ、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルをビットストリームへ多重するステップを有する。このように、ベースレイヤの次に、増強された解像度を供給するための増強レイヤを供給する単一のビットストリームが、提供される。

本発明のこれら及び他の態様が、添付の図面を参照して、例証として詳細に説明されるだろう。

図１Ａは、結合画像を生成するためのブロック図を示す。 図１Ｂは、２つの結合画像に基づいた２つの画像の再構成のためのブロック図を示す。 図２Ａは、本発明によるエンコーダのブロック図を示す。 図２Ｂは、本発明によるデコーダのブロック図を示す。 図３は、従来技術のＭＶＣエンコーダ／デコーダの例示的なブロック図を示す。 図４は、視差推定器及びブロックベースの視差生成器のブロック図を示す。 図５は、本発明によるエンコーダのブロック図を示す。 図６Ａは、本発明によるエンコーダのブロック図を示す。 図６Ｂは、本発明によるデコーダのブロック図を示す。 図７Ａは、本発明によるエンコーダのブロック図を示す。 図７Ｂは、本発明によるデコーダのブロック図を示す。 図８は、本発明によるエンコーダのブロック図を示す。 図９は、本発明の態様及びそのバリエーションの選択された特性の概要を提供するテーブルを示す。

これらの図は、一定の比率で描かれていない。概して、同一のコンポーネントは、これらの図において同じ参照符号又は数字により示される。

この明細書の全体にわたって使用される用語を更に明らかにするために、この明細書で見られる共通のオペレーションの幾つかの短い例が説明される。

パリティ
この文書の全体にわたって、「パリティ」は、画像内のピクセルの属性として使われる。ここでパリティは、値について偶数又は奇数を採る。画像は、通常、サンプル又は画素値の２次元アレイとして表わされる。特定のピクセル値又はサンプルを示すために、通常は２つの座標が使われ、好ましくはｘ、ｙが使われ、ｘは水平座標を示し、ｙは垂直座標を示す。

上記に示されるように座標ｘ及びｙを使用しているが、座標の実際の範囲は変化し、範囲は、０で始まり、ｎ−１までであり、ｎは、その方向のピクセル数であるか、又は代わりに、１からｎまでの範囲でもよい。この選択は任意にみえるけれども、偶数／奇数ピクセルの選択を効果的に逆転させる。

例として図１Ａを考える。図１Ａ内に２画像、フル解像度で左画像２０及び右画像２１が提示されている。フル解像度で結合されて並んでいる画像２５を作ることを所望する状況を考える。ここでフル解像度は、元々エンコードされている画像の画像サイズを指し、すなわちこの例では、６個の水平及び４個の垂直のサンプル又は画素値の解像度を指す。

それぞれ左画像２０及び右画像２１の画素値をダウンスケールして結合するプロセスを適切に説明するために、この例の画像では、０から５の範囲の水平ピクセル番号を使用する。

ダウンスケーリング画像を生成するプロセスは、ファクタ２の削減を伴うダウンスケールの結果として生じるエイリアシングを減らすために、フィルタＦ１をサンプルに付与するステップを含む。結果として、奇数パリティを持つサンプルは、ダウンスケールされた左画像２２のままであり、同様に、奇数パリティを持つサンプルは、ダウンスケールされた右画像２３のままである。

ダウンスケールに続いて、ピクセルは、ブロックＰにおいてパックされる必要がある。それぞれダウンスケールされた左及び右画像（２２，２３）の列１、３及び５は、結合画像２５において、隣り合って配置され、ここで、左ピクセル列１，３，５は、結合画像のピクセル列１，２及び３に配置され、右ピクセル列１，３，５は、結合画像２５のピクセル列３，４及び５に置かれる。

先に示された例は、結合された横に並んだ画像が作られている状況に関するが、結合された上下に並んだ画像を構成することも可能である。しかしながら、この状況では、指定の「奇数」ピクセルは、列よりもむしろ画像の行を指すだろう。

横に並んでいる及び／又は上下に並んでいるとの選択は、特定のアプリケションに関連するが、これは本発明にとって重要ではない。結果として、結合画像を生成することを指すとき本願を通じて、横に並んでいる又は上下に並んでいることの選択は、明確に特定されない限り、オープンなままである。

結果として、より高いレベルでの上記オペレーションを指すことも可能であり、上記オペレーションは、結合画像にそれぞれの奇数ピクセルを空間的に共に配置することにより、左画像２０の奇数ピクセル及び右画像２１の奇数ピクセルを結合するとして要約される。これにより、それぞれの奇数ピクセルがパックされ（すなわち、隣接して配置され）、次に削減方向（図１Ａでは水平方向）に対応して隣接して配置されることを示す。

ここで採用される表記を用いて、左画像２０は「Ｌ」とも呼ばれ、右画像２１は「Ｒ」とも呼ばれ、ダウンスケールされた左画像は「Ｌｏ」とも呼ばれ、ダウンスケールされた右画像は「Ｒｏ」とも呼ばれ、結合画像は「ＬｏＲｏ」とも呼ばれる。

上記に示されるように、左及び右画像を結合画像のどこに置くべきか、０又は１でピクセルに番号をつけ始めるべきか否かの正確な選択は、慣例により決定される。これに対処するために、偶数及び奇数パリティの選択は、それぞれ第１のパリティを偶数又は奇数として、第２のパリティを奇数又は偶数として、これらを呼ぶことにより更に抽象化されてもよい。

このように、左及び右画像に基づいて結合画像を生成するステップは、第１の画像の第１のパリティを持つサンプルであって、結合画像の空間的に共に配置されるサンプルと、第２の画像の第１のパリティを持つサンプルであって、結合画像の空間的に共に配置されるサンプルとを有する、結合画像を生成するステップとして、更に一般化される。

画像の再構成
上記に示される用語を使用して、２つのフル解像度のデコードされた結合画像に基づいて、２つのフル解像度の左及び右画像を再構成するオペレーションを説明することも、可能である。

図１Ｂは、オペレータＱを使用して、第１のデコードされた結合画像ＬｏＲｏ’を第２のデコードされた結合画像ＬｅＲｅ’と結合することにより、第１及び第２の画像が再構成される例示的オペレーションを示す。Ｌ又はＲの後の「ｏ」は、含まれるサンプルが「奇数」パリティであることを示し、Ｌ又はＲの後の「ｅ」は、含まれるサンプルが「偶数」パリティであることを示す点に留意されたい。

よって、オペレータＱにより、第１のデコードされた結合画像ＬｏＲｏ’から空間的に共に配置されたサンプル、すなわち、Ｌにより示される（結合前に奇数パリティを持った）パックされたサンプルは、再構成された左画像Ｌ’内で奇数位置に置かれる、すなわち、画像ＬｏＲｏ’からの列０，１，２は、列１，３及び５として再構成された画像Ｌ’に置かれる。同様に、第１のデコードされた結合画像ＬｏＲｏ’から他の空間的に共に配置されたサンプル、すなわち、Ｒにより示される奇数パリティを持ったパックされたサンプルは、再構成された右画像Ｒ’内で奇数位置に置かれる。

同様に、Ｒにより示される（結合前に偶数パリティを持った）パックされたサンプルは、第１及び第２の再構成された画像の偶数位置に置かれる、すなわち、画像ＬｅＲｅ’からの列０，１，２は、列０，２及び４として再構成された画像Ｌ’に置かれる。

本発明による様々な実施例は、上記のように導入された用語を使用して、以下に説明されるだろう。

本発明の第１の態様によると、２つのエンコーダ、ベースレイヤＬＲ−ｂａｓをエンコードするための第１のエンコーダＥｎｃ１及び増強レイヤをエンコードするための第２のエンコーダＬＥ−ｅｎｈを使用する、画像対Ｌ，Ｒをエンコードする代替方法が提供される。しかしながら、後ほど図６Ａに示されるエンコーダシステムとは異なり、この第１の態様による本発明は、２つの異なる結合画像を使用する。

本発明の第１の態様による実施例（図２Ａ）において、ベースレイヤエンコーダは、第１の画像及び第２の画像に基づいて生成される第１の結合画像ＬｅＲｏをエンコードするが、しかしながら、このとき、第１のパリティを持つサンプルは第１の画像から選択され、第２のパリティを持つサンプルはＳＢＳブロック上の「ｅｏ」属性により示されるＳＢＳオペレーションで第２の画像から選択される。

図１Ａを参照して提示されるＳＢＳオペレーションのように、第１の結合画像ＬｅＲｏを生成するためのＳＢＳオペレーションは、また、１／２ｆｓを超えるカットオフ周波数を持つ低域フィルタを含む。この低域フィルタは、ＳＢＳブロック上の「Ｆ１」属性により示される。

本発明の第１の態様による実施例において、増強レイヤエンコーダは、第１の画像及び第２の画像に基づいて生成される第２の結合画像ＬｏＲｅをエンコードするが、しかしながら、このとき、第２のパリティを持つサンプルは第１の画像から選択され、第１のパリティを持つサンプルはＳＢＳブロック上の「ｏｅ」属性により示されるＳＢＳオペレーションで第２の画像から選択される。

図１Ａを参照して提示されるＳＢＳオペレーションのように、第１の結合画像ＬｅＲｏを生成するためのＳＢＳオペレーションは、また、１／２ｆｓを超えるカットオフ周波数を持つ低域フィルタを含む。

本発明のこの第１の態様によるエンコード／デコードの方法が両眼に対してフルのＨＤ解像度を提供できない点に留意されたい。これは、ＬｅＲｏ及びＬｏＲｅの生成の範囲内で適用される低域フィルタの結果として可能でない。

本発明の第１の態様によるエンコーダシステムのベースレイヤは、第１の結合画像ＬｅＲｏをエンコードすることにより生成される。ベースレイヤＬｅＲｏ’のエンコードされた画像情報は、その後、視差ベースの予測ＬｏＲｅｐｒｅｄＤを生成するために用いられる。この視差ベースの予測ＬｏＲｅｐｒｅｄＤが、その後、予測入力として視差ベースの予測を用いて、第２の結合画像ＬｏＲｅをエンコードすることにより増強レイヤＬＲ−ｅｎｈを生成するために用いられる。図２Ａに示されるように、ベースレイヤＬｅＲｏ’内のエンコードされた画像情報のような他の予測が、第２の結合画像ＬｏＲｅをより効率的にエンコードするために用いられる。

本発明の第１の態様は、ベースレイヤＬｅＲｏ’内のエンコードされた画像情報より、第２の結合画像をエンコードするための付加的情報を供給する予測の構成を可能にする付加的情報がエンコーダ側で供給されるという事実に基づく。

本発明の第１の態様によると、ベースレイヤＬｅＲｏ’内でエンコードされた画像情報と関連して、第１及び第２のブロックベースの変位ベクトルＬＨｖｅｃ及びＲＨｖｅｃが、第１及び第２のフル解像度の予測Ｌｐｒｅｄ及びＲｐｒｅｄを構成する際の使用に対して生成される。第１及び第２のブロックベースの変位ベクトルは、第１及び第２の画像Ｌ、Ｒに存在する視差情報を使用して生成され、ベースレイヤＬｅＲｏ’内の画像情報が増強レイヤをエンコードするために使用される視差ベースの予測を作るためにどのように用いられるかを示す。

好ましくは、図２Ａ及び図４に示されるように、視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）が、３ステジアプローチで生成される。最初に、初期ブロックベースの視差推定が、第１の画像Ｌ及び第２の画像Ｒで実行され、結果的に第１の変位Ｌｄｉｓ及び第２の変位Ｒｄｉｓになり、第１の変位Ｌｄｉｓは、ＲがＬに整合するように、第２の画像Ｒを第１の画像Ｌの方へどのくらいシフトさせるかを示す。同様に、第２の変位Ｒｄｉｓは、ＬがＲに整合するように、第１の画像Ｌを第２の画像Ｒの方へどのくらいシフトさせるかを示す（図４）。

第１及び第２の変位Ｌｄｉｓ及びＲｄｉｓは、順に、第１のフルの解像度視差予測ＬｐｒｅｄＤ及びＲｐｒｅｄＤをそれぞれ生成するために用いられる。この目的のため、ＭＥＭＣ（Ｌ）及びＭＥＭＣ（Ｒ）ブロックは、第１及び第２の変位Ｌｄｉｓ及びＲｄｉｓを精細にする。

この目的のため、ＭＥＭＣ（Ｌ）／（Ｒ）ブロックは、半分の解像度で、入力（Ｌｅ’又はＲｏ’）の一方にシフトを適用し、例えばＭＥＭＣ（Ｌ）は、半分の解像度で、Ｒｏ’から他の入力Ｌｅ’の方へシフトを適用し、対応するフルの解像度画像Ｌを持つ残りのエネルギＬｐｒｅｄＤを最小にするために一つのブロックのピクセルをインタリーブする。

このポイントで２つの選択ができる。第１の選択は、ビットストリーム内でＬｄｉｓ及びＲｄｉｓをエンコードして、Ｌｄｉｓ及びＲｄｉｓに基づいて、ＭＥＭＣブロックから結果として精細にされたものをエンコードすることである。このようにする利点は、これが視差／深度情報をエンコードされたストリームに加えるということであり、これは、順に、可変的なベースライン処理のために使われ、及び／又は、一般にポスト処理において有用であり、特に例えばサブタイトルをつける及び／又は合成する際に有用である。代わりに、ベクトルは、明確にＬｄｉｓ及びＲｄｉｓをエンコードすることなくエンコードできる。

第１及び第２のフルの解像度予測画像ＬｐｒｅｄＤ及びＲｐｒｅｄＤが上記の態様で作られると、第１及び第２のフルの解像度予測画像は、ＳＢＳオペレーションを使用して第３のフルの解像度予測画像へ結合され、「ｏｅ」属性により示されるように、ローパスフィルタ処理された第１の画像Ｌから第２のパリティサンプルと、第２の画像Ｒから第１のパリティサンプルとを選択する。「Ｆ２」属性により示されるように、ＳＢＳオペレータは低域フィルタを含み、低域フィルタＦ２はローパスフィルタＦ１より弱く、低域フィルタＦ２は１／２ｆｓを超えるカットオフ周波数を持つ。

残念なことに、上記のアプローチを用いて生成される予測された画像は、ブロックベースの性質を持ち、結果として、ベースバンドレイヤ内でエンコードされるように画像情報を置き換えるには、通常はあまり適していない。

その後、増強レイヤＬＲ−ｅｎｈが、視差ベースの予測ＬｏＲｅｐｒｅｄＤを使用して、第２の結合画像ＬｏＲｅをエンコードすることにより生成される。

図６Ａを参照して説明されるように、ベースレイヤは、例えば、ビデオ圧縮の当業者に知られているようなＭＰＥＧ２、ＡＶＣ又はＨＶＣエンコードスキームの１つを使用してエンコードされる。次に、増強レイヤエンコーダは、例えばＡＶＣ又はＨＶＣエンコードスキームの一つを使用するために選ばれる。

同様に、好ましくは、マルチ視野信号はステレオ信号であり、ここで、結合画像は、横に並んでいるエンコード画像又は上下のエンコード画像としてエンコードされている。

好ましい実施例において、第１のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第２の半分と一致する。

好ましい実施例において、マルチ視野信号は、ビデオシーケンスである。

好ましい実施例において、第１の画像の第１のローパスフィルタ処理バージョン及び第１の画像の第２のローパスフィルタ処理バージョンは、全く同一の画像である。同様に、第２の画像の第１のローパスフィルタ処理バージョン及び第２の画像の第２のローパスフィルタ処理バージョンは、全く同一の画像である。

図２Ａ内に示されるように、本発明による方法は、更に、ベースレイヤ、増強レイヤ、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルをビットストリームＢＳへ多重するステップを有する。

加えて、本発明による方法は、また、ビットストリームＢＳを報知、送信及び／又は格納するステップを有する。

エンコーダの代替の構成において、ベースレイヤエンコーダは、第１の画像及び第２の画像に基づいて生成される第１の結合画像をエンコードし、第１のパリティを持つサンプルが第１の画像から選択され、同じ第１のパリティを持つサンプルがＳＢＳブロック上の「ｅｅ」属性により示されるＳＢＳオペレーションにおいて第２の画像から選択されることは、理解されるだろう。

その上、増強レイヤエンコーダは、第１の画像及び第２の画像に基づいて生成される第２の結合画像をエンコードし、第２のパリティを持つサンプルが第１の画像から選択され、同じ第２のパリティを持つサンプルがＳＢＳブロック上の「ｏｏ」属性により示されるＳＢＳオペレーションにおいて第２の画像から選択される。

最後に、第１及び第２のフルの解像度予測画像ＬｐｒｅｄＤ及びＲｐｒｅｄＤが前述のやり方で構成されると、第１及び第２のフルの解像度予測画像は、ＳＢＳブロック上の「ｏｏ」属性により示される、第２のパリティサンプルがローパスフィルタ処理された第１の画像Ｌから選択され、第２のパリティサンプルが、また、第２の画像Ｒから選択されるＳＢＳオペレーションを用いて、第３のフルの解像度予測画像に結合される。

このように、結果として生じるビットストリームＢＳは、マルチ視野信号の２つの視野と一致するエンコードされた画像対、すなわちベースレイヤＬＲ−ｂａｓを有し、ベースレイヤは、エンコードされた第１の結合画像ＬｅＲｏ’を有し、第１の結合画像ＬｅＲｏ’は第１のエンコーダを使用してエンコードされている。ビットストリームＢＳは、更に、増強レイヤＬＲ−ｅｎｈを含み、増強レイヤはエンコードされた第２の結合画像ＬｏＲｅ’を有し、エンコードされた第２の結合画像ＬｏＲｅ’は、第２のエンコーダを使用して、また、デコードされたエンコードされている第１の結合画像ＬｅＲｏ’に基づいた予測入力を使用して、エンコードされている。

次に、エンコードされた第１の結合画像ＬｅＲｏ’は、第１の結合画像ＬｅＲｏに基づき、第１の結合画像ＬｅＲｏは、オリジナル画像対の第１の画像の第１のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第１のローパスフィルタ処理バージョンに基づき、第１の結合画像ＬｅＲｏは、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に共に配置されるサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に共に配置されているサンプルとを有する。

次に、エンコードされた第２の結合画像ＬｏＲｅ’は、第２の結合画像ＬｏＲｅに基づき、第２の結合画像ＬｏＲｅは、オリジナル画像対の第１の画像の第２のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第２のローパスフィルタ処理バージョンに基づき、第２の結合画像ＬｏＲｅは、第１の画像の第２のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されるサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する。

加えて、ビットストリームＢＳは、ベースレイヤＬｅＲｏ’内のエンコードされた画像情報と関連する第１及び第２のブロックベースの変位ベクトルを有し、第１及び第２のブロックベースの変位ベクトルは、第１及び第２の画像Ｌ、Ｒに存在する視差情報、ベースレイヤＬｅＲｏ’のエンコードされた画像情報、第１及び第２の画像Ｌ、Ｒを使用して生成される。

図２Ｂは、マルチ視野信号の２つの視野と対応する画像対（Ｌ，Ｒ）をデコードするための本発明の第１の態様に従うデコードシステムを提供する。

デコードシステムは、ビットストリームＢＳを受信するように設けられ、次に、ベースレイヤＬＲ−ｂａｓ及び増強レイヤＬＲ−ｅｎｈへのアクセスを供給するためにデマルチプレクサされる。加えて、デマルチプレクサは、増強レイヤをデコードする際の使用のため視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を生成する際の使用のために、第１及び第２のブロックベースの変位ベクトルＬＨｖｅｃ、ＲＨｖｅｃを供給する。

好ましい実施例において、本発明の第１の態様によるデコーダは、ベースレイヤＬＲ−ｂａｓをデコードすることにより第１のデコードされた結合画像ＬｅＲｏ’を生成するステップと、第１のデコードされた結合画像ＬｅＲｏ’と組み合わせて第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ，ＲＨｖｅｃ）を使用して、増強レイヤをデコードする際の使用のために視差ベースの予測ＬｏＲｅｐｒｅｄＤを生成するステップとを有するデコードの方法を実行するように設けられる。当該方法は、更に、視差ベースの予測ＬｏＲｅｐｒｅｄＤを用いて増強レイヤＬＲ−ｅｎｈをデコードすることにより、第２のデコードされた結合画像ＬｏＲｅ’を生成するステップを有する。

次に、第１及び第２の再構成される画像Ｌ’及びＲ’の再構成が始まる。

第１の再構成される画像Ｌ’を再構成するステップは、第１の再構成される画像Ｌ’の第１のパリティを持つサンプルとして第１のデコードされた結合画像ＬｅＲｏ’の空間的に共に配置されたサンプルを使用するステップと、第１の再構成される画像Ｌ’の第２のパリティを持つサンプルとして第２のデコードされた結合画像ＬｏＲｅ’の空間的に共に配置されたサンプルを使用するステップとを有し、これにより第１の再構成される画像Ｌ’を形成する。

第２の再構成される画像Ｒ’を再構成するステップは、第２の再構成される画像Ｒ’の第２のパリティを持つサンプルとして第１のデコードされた結合画像ＬｅＲｏ’の空間的に共に配置されたサンプルを使用するステップと、第２の再構成される画像Ｒ’の第１のパリティを持つサンプルとして第２のデコードされた結合画像ＬｏＲｅ’の更に空間的に共に配置されたサンプルを使用するステップとを有し、これにより第２の再構成される画像Ｒ’を形成する。

本発明の第１の態様に関して上述されたように、エンコードの間、予測を改善するために用いられる左及び右両方から得られる、２つの画像が利用できるという事実を利用することは、画像対のエンコード及びデコードの間で可能である。

前に示されているように、以前に提示されたエンコードの方法を用いて達成可能な最大の品質がフルのＨＤ解像度の品質に近づいているが、この品質に実際に達することは可能ではない。しかしながら、同様の技術を用いて、１つ追加のエンコーダを追加して、及び／又は実行される時間がある場合、他の画像再構成ステップを順次使用して、フルのＨＤエンコード／デコードを実際に達成することは可能である。

本発明の第２の態様は、ベースレイヤをエンコードし、これに基づいて、２つの高品質フル解像度の予測を生成することを目的とし、すなわち、一方が左画像をエンコードして（後のデコードの間に）再構成し、他方が右画像をエンコードして（後のデコードの間に）再構成することを目的とする。これらの予測は、図２Ａを参照して説明されたような視差ベースの予測を用いて好ましくは形成される。

その上、視差ベースの予測を使用する利点は、視差情報をエンコードされたストリームに追加することにより、視差情報がデコーダ側での使用のためにストリームに含まれるという事実のために、可変的なベースライン処理を実施することが、より容易であることを意味する。

この情報は、それぞれの画像の視野ポイントを適応させるため、例えば再構成された左及び右画像を処理するために用いられる。深度に基づいてステレオ画像対を処理するための原理は、参照により本願に組み込まれる同じ出願人による、「ＶＥＲＳＡＴＩＬＥ ３Ｄ ＰＩＣＴＵＲＥ ＦＯＲＭＡＴ」という題名の国際特許公開公報ＷＯ／２０１０／０１０５２１と、参照により本願に組み込まれるZaferAricanらによる三菱電機研究所の［ＴＲ２００９−０５２］の「Intermediate View Generation for Perceived Depth Adjustment of Stereo Video」とに開示されている。

図５は、本発明による方法を実行するように設けられたエンコーダシステムを示す。図５のエンコーダシステムは、図２Ａを参照して説明されたエンコーダシステムとかなりの重複部分を持つ。特に、ベースレイヤの生成、第１の結合画像ＬｅＲｏ、第１の視差ベースの予測ＬｐｒｅｄＤ、第２の視差ベースの予測ＲｐｒｅｄＤ、及びベースレイヤ（ＬｅＲｏ’）内のエンコードされた画像情報と関連する第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ，ＲＨｖｅｃ）は、同様のやり方で生成される。

図５によると、これらの予測は、その後、第１の視差ベースの予測ＬｐｒｅｄＤを使用して第１の画像Ｌをエンコードすることにより、第１の増強レイヤＬ−ｅｎｈを生成し、第２の視差ベースの予測ＲｐｒｅｄＤを使用して第２の画像Ｒをエンコードすることにより、第２の増強レイヤＲ−ｅｎｈを生成するために用いられる。

より好ましくは、２つの他のフルの解像度予測は、増強レイヤのエンコードを補助するために生成される。このために、ベースレイヤＬｅＲｏ’に含まれる画像情報のそれぞれの空間の半分は、両方ともフル解像度で、第１の中間の予測Ｌｐｒｅｄ及び第２の中間の予測Ｒｐｒｅｄそれぞれを形成するために２倍にアップスケールされる。

属性「Ｆ２」を使用して示されるように、アップスケールフィルタは、ローパスフィルタが後に続くアップサンプリングを含む。アップスケーリングのとき、アップスケーラは、好ましくは入力のパリティを考慮することに留意されたい。

第２の観点に従ってスキームを使用する利点は、各視野に対して、真のＨＤ解像度をエンコードし、その後デコードできるということである。

増強レイヤを生成するための予測は、フル解像度で、視差情報のブロックベースのエンコードのために、直接見られるためには適切でないことに留意されたい。

図５に示されないが、通常は、第１及び第２のベースレイヤをエンコードする副産物である、第１及び第２の再構成される画像Ｌ’及びＲ’の一方を、他方をエンコードする際の使用のための他の予測として使用することが可能である点に更に留意されたい。

加えて、第２の増強レイヤをエンコードするための他の予測として、第１の再構成された画像Ｌ’の一つ以上遅延されたコピー、すなわち、以前に再構成された画像を使用することは可能である。同様に、第１の増強レイヤをエンコードするための他の予測として、第２の再構成された画像Ｒ’の一つ以上遅延されたコピーを使用することも更に可能である。

当業者に知られているように、例えば、ＭＰＥＧ２エンコードスキーム、ＡＶＣエンコードスキーム又はＨＶＣエンコードスキームを使用して、ベースレイヤがエンコードされてもよいことに更に留意されたい。同様に、それぞれの第１及び第２の増強レイヤは、例えば、ＡＶＣエンコード又はＨＶＣエンコードスキームを使用してエンコードされてもよい。

通常は、マルチ視野信号は、ステレオ信号である。更に通常は、結合画像は、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像としてエンコードされる。

好ましくは、第１のパリティを持つ空間的に共に配置されたサンプルが結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されたサンプルが結合画像の第２の半分と一致する点に更に留意されたい。

通常は、マルチ視野信号は、ビデオシーケンスである。

好ましくは、図５のＳＢＳブロックのＦ１属性により示されるような「Ｆ１」フィルタを使用して、第１及び／又は第２の画像のローパスフィルタ処理は、１／２ｆｓより上のカットオフ周波数を持つ組み合わされた一つ以上のフィルタを使用するフィルタ処理を有する。

第２の観点によるエンコードの方法は、好ましくは、ベースレイヤ、第１の増強レイヤ、第２の増強レイヤ、第１のブロックベースの変位ベクトル、及び第２のブロックベースの変位ベクトルをビットストリームＢＳへ多重するステップを有する。

オプションで、当該方法は、更に、ビットストリームＢＳを報知するステップを有する。

本発明の第２の観点によるビットストリームＢＳは、マルチ視野信号の２つの視野と一致するエンコードされた画像対を有する。このように、ビットストリームは、ベースレイヤＬＲ−ｂａｓを含み、当該ベースレイヤは、エンコードされた第１の結合画像ＬｅＲｏ’を有し、当該結合画像は第１のエンコーダを使用してエンコードされている。

ビットストリームは、更に、２つの増強レイヤを有し、一方は、第１の増強レイヤＬ−ｅｎｈである。第１の増強レイヤは、第１のエンコードされた画像Ｌ’を有し、当該画像は第１の視差ベースの予測ＬｐｒｅｄＤ及びオプションの第１の中間の予測Ｌｐｒｅｄを使用してエンコードされている。ここで、第１の中間の予測ＬＰｒｅｄは、ベースレイヤＬｅＲｏ’に含まれる画像情報の第１の空間半分をアップスケールすることに基づき、第１の視差ベースの予測ＬｐｒｅｄＤは、ベースレイヤＬｅＲｏ’に含まれる画像情報、第１及び第２の画像Ｌ、Ｒに存在する視差情報を使用して生成される第１のブロックベースの変位ベクトル、ベースレイヤＬｅＲｏ’内でエンコードされた画像情報、及び第１の画像Ｌに基づく。

ビットストリームは、更に、第２の増強レイヤＲ−ｅｎｈを有し、当該第２の増強レイヤは、第２のエンコードされた画像Ｒ’を有し、当該画像は、第２の視差ベースの予測ＲｐｒｅｄＤ及びオプションの第２の中間の予測Ｒｐｒｅｄを使用してエンコードされる。ここで、第２の中間の予測Ｒｐｒｅｄは、ベースレイヤＬｅＲｏ’に含まれる画像情報の第２の空間半分をアップスケールすることに基づき、第２の視差ベースの予測ＲｐｒｅｄＤは、ベースレイヤＬｅＲｏ’に含まれる画像情報、第１及び第２の画像Ｌ、Ｒに存在する視差情報を使用して生成される第２のブロックベースの変位ベクトル、ベースレイヤＬｅＲｏ’内でエンコードされた画像情報、及び第２の画像Ｒに基づく。

その上、ＬｐｒｅｄＤ及びＲｐｒｅｄＤ予測を再構成するために、ビットストリームは、更に、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルを含む。

第２の観点によるエンコードと図２Ａを参照して説明されたようなエンコーダとの間にかなりの重複部分があるので、デコードプロセスも、かなりの類似性を示す。この類似性からみて、図５のエンコーダシステムと一致しているデコーダは、完全には描かれていない。しかしながら、第１及び第２の視差ベースの予測ＬｐｒｅｄＤ及びＲｐｒｅｄＤの生成は、図２Ｂを参照して説明されたものに大部分従っている。

しかしながら、完全性のために、本発明の第２の観点に従うデコードする方法を実行するように設けられるデコードシステムは、ベースレイヤをデコードすることにより第１のデコードされた結合画像ＬｅＲｏ’を生成するステップを有し、オプションで、両方ともフル解像度で、第１の中間の予測Ｌｐｒｅｄ及び第２の中間の予測Ｒｐｒｅｄをそれぞれ形成するために、ベースレイヤＬｅＲｏ’に含まれる画像情報のそれぞれの空間半分をアップスケールするステップも含む。

方法は、第１及び第２の増強レイヤＬ−ｅｎｈ、Ｒ−ｅｎｈと、ベースレイヤＬｅＲｏ’にエンコードされた画像情報と関連する第１及び第２のブロックベースのそれぞれ関連する変位ベクトルＬＨｖｅｃ、ＲＨｖｅｃとをそれぞれエンコードするのに用いられる第１及び第２の視差ベースの予測ＬｐｒｅｄＤ、ＲｐｒｅｄＤを生成するステップを更に有し、第１及び第２のブロックベースの変位ベクトルは、第１及び第２の画像Ｌ、Ｒ、ベースレイヤＬｅＲｏ’にエンコードされた画像情報、それぞれの第１及び第２の画像Ｌ、Ｒにある視差情報を使用して生成される。

方法は、第１の視差ベースの予測ＬｐｒｅｄＤを使用して、オプションで第１の中間の予測Ｌｐｒｅｄを使用して、第１の増強レイヤＬ−ｅｎｈをデコードすることを更に有し、よって、第１の再構成された画像Ｌ’を形成する。

方法は、第２の視差ベースの予測ＲｐｒｅｄＤ及びオプションで第２の中間の予測Ｒｐｒｅｄを使用して、第２の増強レイヤＲ−ｅｎｈをデコードするステップを更に有し、よって、第２の再構成された画像Ｒ’を形成する。

好ましくは、デコードされたマルチ視野信号は、ステレオ信号である。より好ましくは、第１のデコードされた結合画像ＬｅＲｏ’は、横に並んでエンコードされた画像であるか、又は第１のデコードされた結合画像ＬｅＲｏ’は、上下のエンコードされた画像である。

オプションで、デコードの方法は、報知されたビットストリームＢＳを受信するステップを更に有し、更にオプションで、方法は、ベースレイヤ、第１の増強レイヤ、第２の増強レイヤ、第１のブロックベースの変位ベクトルＬＨｖｅｃ及び第２のブロックベースの変位ベクトルＲＨｖｅｃを得るために、受信されたビットストリームをデマルチプレクスするステップを更に有する。

図９は、本発明の態様及びバリエーションの選択された特性の概要を供給するテーブルを示す。

本発明の他の実施例
本発明の他の実施例は、以下の節を参照して説明できる。

第１０１節
マルチ視野信号の２つの視野と対応する画像対をエンコードするための方法であって、前記方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成するステップであって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成するステップと、
画像対の第１の画像の第２のローパスフィルタ処理バージョンと、画像対の第２の画像の第２のローパスフィルタ処理バージョンとに基づいて第２の結合画像（ＬｏＲｅ）を生成するステップであって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成するステップと、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成するステップと、
増強レイヤをエンコードする際の使用のために視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）と、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と関連したそれぞれ関連する第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とを生成するステップであって、第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）が第１及び第２の画像（Ｌ、Ｒ）に存在する視差情報、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報、及びそれぞれの第１及び第２の画像（Ｌ、Ｒ）を使用して生成される視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）と第１及び第２のブロックベースの変位ベクトルとを生成するステップと、
視差ベースの予測を使用して、第２の結合画像（ＬｏＲｅ）をエンコードすることにより、増強レイヤ（ＬＲ−ｅｎｈ）を生成するステップとを有する、方法。

第１０２節
視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を生成するステップは、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と、第１の画像（Ｌ）と、第１及び第２の画像から導出される視差情報とに基づいた第１のフル解像度の視差予測（ＬｐｒｅｄＤ）及び第１のブロックベースの変位ベクトル（ＬＨｖｅｃ）と、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と、第２の画像（Ｒ）と、第１及び第２の画像から導出される視差情報とに基づいた第２のフル解像度の視差予測（ＲｅｐｒｅｄＤ）及び第２のブロックベースの変位ベクトル（ＲＨｖｅｃ）とを生成するステップを有する、第１０１節の方法。

第１０３節
前記ブロックベースの変位ベクトルを生成するステップは、第１及び第２の画像（Ｌ、Ｒ）を使用して、最初の視差推定値（Ｌｄｉｓ、Ｒｄｉｓ）を生成するステップと、最初の視差推定値（Ｌｄｉｓ、Ｒｄｉｓ）を使用して、それぞれのフル解像度の視差予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）と関連するブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）を生成するステップとを有する、第１０２節の方法。

第１０４節
視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を生成するステップは、更に、第１のフル解像度の視差予測（ＬｐｒｅｄＤ）及び第２のフル解像度の視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）に結合し、前記視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）は、第１の画像の第１の視差予測から第２のパリティを持つサンプルであって前記視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）において空間的に共に配置されているサンプルと、第２の画像の第２のフル解像度の視差予測から第１のパリティを持つサンプルであって前記視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）において空間的に共に配置されているサンプルとを有する、第１０２節又は第１０３節の方法。

第１０５節
前記ベースレイヤがＭＰＥＧ２エンコード、ＡＶＣエンコード、及びＨＶＣエンコードの一つを使用してエンコードされる、第１０１節乃至第１０４節の何れか一節に記載の方法。

第１０６節
前記増強レイヤがＡＶＣエンコード及びＨＶＣエンコードの一つを使用してエンコードされる、第１０１節乃至第１０５節の何れか一節に記載の方法。

第１０７節
前記マルチ視野信号がステレオ信号である、第１０１節乃至第１０６節の何れか一節に記載の方法。

第１０８節
前記結合画像が、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像の一つとしてエンコードされる、第１０８節の方法。

第１０９節
第１のパリティを持つ空間的に共に配置されるサンプルが結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されるサンプルが結合画像の第２の半分と一致する、第１０１節乃至第１０８節の何れか一節に記載の方法。

第１１０節
マルチ視野信号がビデオシーケンスである、第１０１節乃至第１０９節の何れか一節に記載の方法。

第１１１節
第１の画像の第１のローパスフィルタ処理バージョン及び第１の画像の第２のローパスフィルタ処理バージョンが全く同一の画像である、第１０１節乃至第１１０節の何れか一節の方法。

第１１２節
第２の画像の第１のローパスフィルタ処理バージョン及び第２の画像の第２のローパスフィルタ処理バージョンが全く同一の画像である、第１０１節乃至第１１１節の何れか一節の方法。

第１１３節
第１の画像及び／又は第２の画像が結合された一つ以上のフィルタを使用してフィルタ処理するステップを有し、一つ以上のフィルタが１／２ｆｓより上のカットオフ周波数を持つ、第１０１節乃至第１１２節の何れか一節の方法。

第１１４節
ベースレイヤ、増強レイヤ、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルをビットストリーム（ＢＳ）へ多重するステップを更に有する、第１０１節乃至第１１３節の何れか一節の方法。

第１１５節
ビットストリーム（ＢＳ）を報知するステップを更に有する、第１０１節乃至第１１４節の何れか一節の方法。

第１２０節
マルチ視野信号の２つの視野と一致するエンコードされた画像対を有するビットストリーム（ＢＳ）であって、第１のエンコーダを使用してエンコードされているエンコードされた第１の結合画像を有するベースレイヤ（ＬＲ−ｂａｓ）と、第２のエンコーダを使用し、デコードされたエンコード第１の結合画像（ＬｅＲｏ）に基づいた予測入力を使用してエンコードされるエンコードされた第２の結合画像（ＬｏＲｅ）を有する増強レイヤ（ＬＲ−ｅｎｈ）であって、エンコードされた第１の結合画像（ＬｅＲｏ）が第１の結合画像（ＬｅＲｏ）に基づき、第１の結合画像（ＬｅＲｏ）が、オリジナルの画像対の第１の画像の第１のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第１のローパスフィルタ処理バージョンに基づき、第１の結合画像（ＬｅＲｏ）が、第１の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に同じ場所に配置されているサンプルとを有し、
エンコードされた第２の結合画像（ＬｏＲｅ）が第２の結合画像（ＬｏＲｅ）に基づき、第２の結合画像（ＬｏＲｅ）が、オリジナルの画像対の第１の画像の第２のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第２のローパスフィルタ処理バージョンに基づき、第２の結合画像（ＬｏＲｅ）が、第１の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する増強レイヤと、
前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と関連する第１及び第２のブロックベースの変位ベクトルであって、第１及び第２の画像（Ｌ、Ｒ）に存在する視差情報、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報、それぞれの第１及び第２の画像（Ｌ、Ｒ）を使用して生成される第１及び第２のブロックベースの変位ベクトルとを有する、ビットストリーム。

第１３０節
マルチ視野信号の２つの視野と対応する画像対をデコードするための方法であって、前記方法は、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成するステップと、第１のデコードされた結合画像（ＬｅＲｏ’）と組み合わせて第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）を使用して増強レイヤをデコードする際の使用のため視差ベースの予測を生成するステップと、視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を使用して、増強レイヤをデコードすることにより第２のデコードされた結合画像を生成するステップと、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用して、第１の再構成された画像（Ｌ’）を再構成するステップと、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の更に空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の更に空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像（Ｒ’）を再構成するステップとを有する、方法。

第１３１節
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルは、第１のデコードされた結合画像（ＬｅＲｏ’）の第１の空間半分により形成され、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第１の空間半分により形成される、第１３０節の方法。

第１３２節
第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルは、第１のデコードされた結合画像（ＬｅＲｏ’）の第２の空間半分により形成され、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第２の空間半分により形成される、第１３１節の方法。

第１３３節
前記マルチ視野信号がステレオ信号である、第１３０節乃至第１３２節の何れか一節に記載の方法。

第１３４節
第１及び第２のデコードされた結合画像（ＬｅＲｏ’、ＬｏＲｅ’）は、横に並んだエンコードされた画像であるか、又は第１及び第２のデコードされた結合画像（ＬｅＲｏ’、ＬｏＲｅ’）は、上下に並んだエンコードされた画像である、第１３３節の方法。

第１３５節
報知されたビットストリーム（ＢＳ）を受信するステップを更に有する、第１３０節乃至第１３４節の何れか一節の方法。

第１３６節
ベースレイヤ、第１の増強レイヤ、第２の増強レイヤ、第１のブロックベースの変位ベクトル（ＬＨｖｅｃ）及び第２のブロックベースの変位ベクトル（ＲＨｖｅｃ）を得るために受信したビットストリームをデマルチプレクスするステップを更に有する、第１３０節乃至第１３５節の何れか一節の方法。

第１５０節
マルチ視野信号の２つの視野と対応する画像対をエンコードするためのエンコーダであって、前記エンコーダは、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成する第１の生成器であって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成する第１の生成器と、
画像対の第１の画像の第２のローパスフィルタ処理バージョンと、画像対の第２の画像の第２のローパスフィルタ処理バージョンとに基づいて第２の結合画像（ＬｏＲｅ）を生成する第２の生成器であって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成する第２の生成器と、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成する第１のエンコーダと、
増強レイヤをエンコードする際の使用のために視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）と、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と関連したそれぞれ関連する第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とを生成する第３の生成器であって、第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）が第１及び第２の画像（Ｌ、Ｒ）に存在する視差情報、前記ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報、及びそれぞれの第１及び第２の画像（Ｌ、Ｒ）を使用して生成される視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）と第１及び第２のブロックベースの変位ベクトルとを生成する第３の生成器と、
視差ベースの予測を使用して、第２の結合画像（ＬｏＲｅ）をエンコードすることにより、増強レイヤ（ＬＲ−ｅｎｈ）を生成する第２のエンコーダとを有する、エンコーダ。

第１５１節
マルチ視野信号の２つの視野と対応する画像対をデコードするためのデコーダであって、前記デコーダは、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成する第１のデコーダと、第１のデコードされた結合画像（ＬｅＲｏ’）と組み合わせて第１及び第２のブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）を使用して増強レイヤをデコードする際の使用のため視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を生成する第１の生成器と、視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を使用して、増強レイヤをデコードすることにより第２のデコードされた結合画像を生成する第２のデコーダと、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用して、第１の再構成された画像（Ｌ’）を再構成する第１の再構成器と、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の更に空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の更に空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像（Ｒ’）を再構成する第２の再構成器とを有する、デコーダ。

第１６０節
第１０１節乃至第１１５節又は第１３０節乃至第１３６節の方法の少なくとも一つ以上の方法を実行するための命令を有する、コンピュータ可読媒体上のコンピュータプログラム。

第１６１節
第１０１節乃至第１１５節又は第１３０節乃至第１３６節の方法の少なくとも一つ以上の方法を実行するためのソフトウェアツールであって、少なくとも一つ以上の前記方法を実行するための命令を有する、ソフトウェアツール。

第２０１節
マルチ視野信号の２つの視野と対応する画像対をエンコードするための方法であって、前記方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成するステップであって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成するステップと、第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成するステップと、第１の中間の予測及び第２の中間の予測を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、
第１及び第２の増強レイヤ（Ｌ−ｅｎｈ、Ｒ−ｅｎｈ）と、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報と関連する第１及び第２のブロックベースのそれぞれ関連する変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とをそれぞれエンコードするのに用いられる第１及び第２の視差ベースの予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）を生成するステップと、第１の視差ベースの予測（ＬｐｒｅｄＤ）及び第１の中間の予測（Ｌｐｒｅｄ）を用いて、第１の画像（Ｌ）をエンコードすることにより第１の増強レイヤ（Ｌ−ｅｎｈ）を生成するステップと、第１の視差に基づいた予測（ＲｐｒｅｄＤ）及び第１の中間の予測（Ｒｐｒｅｄ）を用いて、第２の画像（Ｒ）をエンコードすることにより第２の増強レイヤ（Ｒ−ｅｎｈ）を生成するステップとを有する、方法。

第２０２節
第１の視差ベースの予測（ＬｐｒｅｄＤ）を生成するステップは、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報、
第１の画像（Ｌ）及び
第１及び第２の画像から導出される視差情報とに基づいて、第１のブロックベースの変位ベクトル（ＬＨｖｅｃ）を生成するステップを有し、
第２の視差ベースの予測（ＬｏＲｅｐｒｅｄＤ）を生成するステップは、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報と、第１の画像（Ｌ）と、第１及び第２の画像から導出される視差情報とに基づいた第１のブロックベースの変位ベクトル（ＬＨｖｅｃ）を生成するステップを有する、第２０１節の方法。

第２０３節
前記ブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）を生成するステップは、第１及び第２の画像（Ｌ、Ｒ）を使用して、最初の視差推定値（Ｌｄｉｓ、Ｒｄｉｓ）を生成するステップと、最初の視差推定値（Ｌｄｉｓ、Ｒｄｉｓ）を使用して、それぞれのフル解像度の視差予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）と関連するブロックベースの変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）を生成するステップとを有する、第２０２節の方法。

第２０４節
前記ベースレイヤがＭＰＥＧ２エンコード、ＡＶＣエンコード、及びＨＶＣエンコードの一つを使用してエンコードされる、第２０１節乃至第２０３節の何れか一節に記載の方法。

第２０５節
前記増強レイヤがＡＶＣエンコード及びＨＶＣエンコードの一つを使用してエンコードされる、第２０１節乃至第２０４節の何れか一節に記載の方法。

第２０６節
前記マルチ視野信号がステレオ信号である、第２０１節乃至第２０５節の何れか一節に記載の方法。

第２０７節
前記結合画像が、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像の一つとしてエンコードされる、第２０６節の方法。

第２０８節
第１のパリティを持つ空間的に共に配置されるサンプルが結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されるサンプルが結合画像の第２の半分と一致する、第２０１節乃至第２０７節の何れか一節に記載の方法。

第２０９節
マルチ視野信号がビデオシーケンスである、第２０１節乃至第２０８節の何れか一節に記載の方法。

第２１０節
第１及び／又は第２の画像のローパスフィルタ処理は、第１の画像及び／又は第２の画像が結合された一つ以上のフィルタを使用してフィルタ処理するステップを有し、一つ以上のフィルタが１／２ｆｓより上のカットオフ周波数を持つ、第２０１節乃至第２０９節の何れか一節の方法。

第２１１節
ベースレイヤ、第１の増強レイヤ、第２の増強レイヤ、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルをビットストリーム（ＢＳ）へ多重するステップを更に有する、第２０１節乃至第２１０節の何れか一節の方法。

第２１２節
ビットストリーム（ＢＳ）を報知するステップを更に有する、第２０１節乃至第２１１節の何れか一節の方法。

第２１３節
アップスケーリングは、ローパスフィルタにより後続される、アップサンプリングｗｐ有する、第２０１節乃至第２１２節の何れか一節の方法。

第２１４節
アップスケーリングのためのローパスフィルタはｆｓより上のカットオフ周波数を持つ、第２１３節の方法。

第２２０節
マルチ視野信号の２つの視野と一致するエンコードされた画像対を有するビットストリーム（ＢＳ）であって、第１のエンコーダを使用してエンコードされているエンコードされた第１の結合画像を有するベースレイヤ（ＬＲ−ｂａｓ）と、第１の視差ベースの予測（ＬｐｒｅｄＤ）及び第１の中間の予測（Ｌｐｒｅｄ）を使用してエンコードされる第１のエンコードされた画像（Ｌ’）を有し、第１の中間の予測（ＬＰｒｅｄ）がベースレイヤ（ＬｅＲｏ’）に含まれる画像情報の第１の空間半分をアップスケールすることに基づき、第１の視差ベースの予測（ＬｐｒｅｄＤ）がベースレイヤ（ＬｅＲｏ’）に含まれる画像情報に基づく、第１の増強レイヤ（Ｌ−ｅｎｈ）と、画像情報及び第１及び第２の画像（Ｌ，Ｒ）にある視差情報、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報及び第１の画像（Ｌ）を使用して生成される第１のブロックベースの変位ベクトルと、第１のブロックベースの変位ベクトルと、第２の視差ベースの予測（ＲｐｒｅｄＤ）及び第２の中間の予測（Ｒｐｒｅｄ）を使用してエンコードされる第２のエンコードされた画像（Ｒ’）を有し、第２の中間の予測（ＬＰｒｅｄ）がベースレイヤ（ＬｅＲｏ’）に含まれる画像情報の第２の空間半分をアップスケールすることに基づき、第１の視差ベースの予測（ＬｐｒｅｄＤ）がベースレイヤ（ＬｅＲｏ’）に含まれる画像情報に基づく、第２の増強レイヤ（Ｒ−ｅｎｈ）と、画像情報及び第１及び第２の画像（Ｌ，Ｒ）にある視差情報、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報及び第２の画像（Ｌ）を使用して生成される第２のブロックベースの変位ベクトルと、第２のブロックベースの変位ベクトルとを有する、ビットストリーム。

第２３０節
マルチ視野信号の２つの視野と対応する画像対をデコードするための方法であって、前記方法は、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成するステップと、
第１の中間の予測及び第２の中間の予測を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、
第１及び第２の増強レイヤ（Ｌ−ｅｎｈ、Ｒ−ｅｎｈ）と、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報と関連する第１及び第２のブロックベースのそれぞれ関連する変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とをそれぞれエンコードするのに用いられる第１及び第２の視差ベースの予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）を生成するステップと、
第１の再構成された画像（Ｌ’）を形成する第１の視差ベースの予測（ＬｐｒｅｄＤ）及び第１の中間の予測（Ｌｐｒｅｄ）を使用して第１の増強レイヤ（Ｌ−ｅｎｈ）をデコードするステップと、第２の再構成された画像（Ｒ’）を形成する第２の視差ベースの予測（ＲｐｒｅｄＤ）及び第２の中間の予測（Ｒｐｒｅｄ）を使用して第２の増強レイヤ（Ｒ−ｅｎｈ）をデコードするステップとを有する、方法。

第２３１節
マルチ視野信号がステレオ信号である、第２３０節の方法。

第２３２節
第１のデコードされた結合画像（ＬｅＲｏ’）は、横に並んだエンコードされた画像であるか、又は第１のデコードされた結合画像（ＬｅＲｏ’）は、上下に並んだエンコードされた画像である、第２３１節の方法。

第２３３節
報知されたビットストリーム（ＢＳ）を受信するステップを更に有する、第２３０節乃至第２３２節の何れか一節の方法。

第２３４節
ベースレイヤ、第１の増強レイヤ、第２の増強レイヤ、第１のブロックベースの変位ベクトル（ＬＨｖｅｃ）及び第２のブロックベースの変位ベクトル（ＲＨｖｅｃ）を得るために受信したビットストリームをデマルチプレクスするステップを更に有する、第２３０節乃至第２３３節の何れか一節の方法。

第２５０節
マルチ視野信号の２つの視野と対応する画像対をエンコードするためのエンコーダであって、前記エンコーダは、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成する第１の生成器であって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成する第１の生成器と、第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成する第１のエンコーダと、第１の中間の予測及び第２の中間の予測を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするアップスケーラと、
第１及び第２の増強レイヤ（Ｌ−ｅｎｈ、Ｒ−ｅｎｈ）と、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報と関連する第１及び第２のブロックベースのそれぞれ関連する変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とをそれぞれエンコードするのに用いられる第１及び第２の視差ベースの予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）を生成する第２の生成器と、第１の視差ベースの予測（ＬｐｒｅｄＤ）及び第１の中間の予測（Ｌｐｒｅｄ）を用いて、第１の画像（Ｌ）をエンコードすることにより第１の増強レイヤ（Ｌ−ｅｎｈ）を生成する第２のエンコーダと、第１の視差に基づいた予測（ＲｐｒｅｄＤ）及び第１の中間の予測（Ｒｐｒｅｄ）を用いて、第２の画像（Ｒ）をエンコードすることにより第２の増強レイヤ（Ｒ−ｅｎｈ）を生成する第３のエンコーダとを有する、エンコーダ。

第２５１節
マルチ視野信号の２つの視野と対応する画像対をデコードするためのデコーダであって、前記デコーダは、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成する第１のデコーダと、
第１の中間の予測及び第２の中間の予測を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするアップスケーラと、
第１及び第２の増強レイヤ（Ｌ−ｅｎｈ、Ｒ−ｅｎｈ）と、ベースレイヤ（ＬｅＲｏ’）にエンコードされた画像情報と関連する第１及び第２のブロックベースのそれぞれ関連する変位ベクトル（ＬＨｖｅｃ、ＲＨｖｅｃ）とをそれぞれエンコードするのに用いられる第１及び第２の視差ベースの予測（ＬｐｒｅｄＤ、ＲｐｒｅｄＤ）を生成する第１の生成器と、
第１の再構成された画像（Ｌ’）を形成する第１の視差ベースの予測（ＬｐｒｅｄＤ）及び第１の中間の予測（Ｌｐｒｅｄ）を使用して第１の増強レイヤ（Ｌ−ｅｎｈ）をデコードする第２のデコーダと、第２の再構成された画像（Ｒ’）を形成する第２の視差ベースの予測（ＲｐｒｅｄＤ）及び第２の中間の予測（Ｒｐｒｅｄ）を使用して第２の増強レイヤ（Ｒ−ｅｎｈ）をデコードする第３のデコーダとを有する、デコーダ。

第２６０節
第２０１節乃至第２１４節又は第２３０節乃至第２３４節の方法の少なくとも一つ以上の方法を実行するための命令を有する、コンピュータ可読媒体上のコンピュータプログラム。

第２６１節
第２０１節乃至第２１４節又は第２３０節乃至第２３４節の方法の少なくとも一つ以上の方法を実行するためのソフトウェアツールであって、少なくとも一つ以上の前記方法を実行するための命令を有する、ソフトウェアツール。

本発明の他のバリエーション
以下に、本発明の他のバリエーションが説明されている。

バリエーション１
本発明の第１のバリエーションに従って、既知の従来技術と比較して、処理量及びメモリの量に関して節約を提供する、エンコード／デコード解決策が提供される。その上、エンコードはＭＶＣのものに非常に似ているので、当該解決策は、また、既知の従来技術と比較してスケールメリットを提供する。スキームは、既知の従来技術に従って目ごとに十分なＨＤに近いものを提供する。

このスキームは課題Ｂに対処する。

図６Ａは、このバリエーションに従うエンコードシステムを例示する。エンコードシステムは、ベースレイヤＬＲ−ｂａｓ及び増強レイヤＬＲ−ｅｎｈをそれぞれエンコードするための２つのエンコード装置Ｅｎｃ１及びＥｎｃ２を有する。

ベースレイヤエンコーダは、フレーム互換の結合画像を供給し、増強レイヤと組み合わせてベースレイヤは、エンコードされたステレオ画像の改良された再構成を与え、これは画像品質がフルＨＤに接近している。

この観点で、ベースレイヤが第１の結合画像ＬｅＲｅに基づいてだけエンコードされるので、第１のエンコーダＥｎｃ１が予測入力を持つ必要がないことに留意されたい。

しかしながら、ハードェアを再利用可能にするか又はエンコードアキテクチャを単純化するために、両方のエンコーダは、例えば、この場合３つの可能性がある外部の予測入力部を持つ標準ＭＶＣエンコーダと一致する図３に示されるエンコーダ／デコーダと全く同一のコダアキテクチャに基づくこともできる。

第１のバリエーションに従う本発明を適用することにより、エンコーダは、２フレーム互換性を持つステレオ信号ＬｅＲｅ及びＬｏＲｏを効果的に生成することに留意されたい。ここで、デコードベース信号ＬｅＲｅ’が、増強レイヤに対する予測として直接使われる。このように、処理及びメモリの有意な量が、既知の従来技術と比較して節約される。

エンコーダがＭＶＣと大きな類似性を示すハードェアを使用して実行されてもよく、当該解決策は更にスケールメリットの利点を持つ。

このスキームが本当のＨＤ解像度を再生できないにもかかわらず、画質は既知の従来技術のものに相当する。

図６Ａは、マルチ視野信号の２つの視野と対応する画像対Ｌ、Ｒをエンコードする方法を示す。

当該方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョン及び画像対の第２の画像の第１のローパスフィルタ処理バージョンに基づく第１の結合画像ＬｅＲｅを生成するステップ１０を有し、第１の結合画像ＬｅＲｅは、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されるサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する。

当該方法は、更に、画像対の第１の画像の第２のローパスフィルタ処理バージョン及び画像対の第２の画像の第２のローパスフィルタ処理バージョンに基づく第２の結合画像ＬｏＲｏを生成するステップ１１を有し、第２の結合画像ＬｏＲｏは、第１の画像の第２のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されるサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する。

当該方法は、また、第１の結合画像ＬｅＲｅをエンコードすることによりベースレイヤＬＲ−ｂａｓを生成するステップと、次に、エンコードの予測入力としてベースレイヤにエンコードされる情報を使用して、第２の結合画像ＬｏＲｏをエンコードすることにより増強レイヤＬＲ−ｅｎｈを生成するステップとを有する。

図６Ａに示されるように、ベースレイヤＬｅＲｅ’にエンコードされた画像情報は、増強レイヤを生成するための予測入力として使われる。ＬｅＲｅが、ベースレイヤ情報をデコードした後に、また、デコーダ側で利用可能であることを実現することは、重要である。結果的に、エンコードされたベースレイヤに含まれる情報は、以下に示されるように、予測として使われる前に更に処理されてもよいが、増強レイヤのための予測として直接使われてもよい。

現在様々なエンコード標準が利用できるので、複合型エンコーダを作ることも可能である。例えば、ベースレイヤは、ビデオ圧縮の当業者に知られている例えばＭＰＥＧ２、ＡＶＣ又はＨＶＣエンコードスキームの１つを使用してエンコードされてもよい。次に、増強レイヤエンコーダは、例えばＡＶＣ又はＨＶＣエンコードスキームの一つを使用するために選択される。

上記から明らかであるように、好ましくは、マルチ視野信号は、ステレオ信号であり、より好ましくは、横に並んでいるエンコードされた画像又は上下に並んでいるエンコードされた画像のような結合画像である。このように、バリエーションは、既存のフレーム互換性フォーマットとの下位互換性を供給する。

結合画像のために横に並んでいる又は上下に並んでいるエンコードを使用するとき、第１のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第２の半分と一致する。

このバリエーションが静止画像に適用されてもよいが、ビデオシーケンスのために好ましくは使われる。

図６Ａに示されるように、第２の結合画像ＬｏＲｏ、すなわち参照符号１１の生成は、図１Ａを参照して上述された結合画像の生成と一致する。

上述されたように第１及び第２の結合画像ＬｅＲｅ及びＬｏＲｏの生成は独立して実行されてもよいが、両方とも低域フィルタＦ１の適用を含むので、これらのオペレーションを組み合わせることは可能である。図１Ａに示されるように、このフィルタＦ１が両方の画像に対して同じであるので、結果的に、ブロック１０及び１１を組み合わせることは、結果的に小さなデザインフットプリントを持つことになる。

図１Ａに示されるように低域フィルタＦ１は、１／２ｆｓより上のカットオフ周波数を持つ一つ以上のフィルタを有する。結果として、フィルタは幾らかのエイリアシングを発生可能にするが、ベースレイヤ及び増強レイヤを結合するとき、高画質を可能にする。

図６Ａに示されるように、好ましくは、エンコードする方法は、また、ベースレイヤ及び増強レイヤをビットストリーム（ＢＳ）へ多重するステップを有する。最後に、エンコードする方法は、ビットストリーム（ＢＳ）を報知、格納及び／又は送信するステップも有する。

結果として生じるビットストリームＢＳは、マルチ視野信号の２つの視野と一致するエンコードされた画像対を有する。ビットストリームは、ベースレイヤＬＲ−ｂａｓを有し、当該ベースレイヤは、第１のエンコーダを使用してエンコードされるエンコードされた第１の結合画像ＬｅＲｅ’を有する。ビットストリームは、更に、増強レイヤＬＲ−ｅｎｈを有し、エンコードされた第２の結合画像ＬｏＲｏ’を有する当該増強レイヤは、第２のエンコーダを使用し、デコードされたエンコード第１の結合画像ＬｅＲｅ’に基づいた予測入力を使用して、エンコードされている。

エンコードされた第１の結合画像ＬｅＲｅ’は、次に、第１の結合画像ＬｅＲｅに基づき、第１の結合画像ＬｅＲｅは、オリジナル画像対の第１の画像の第１のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第１のローパスフィルタ処理されたバージョンに基づく。

第１の結合画像ＬｅＲｅは、次に、第１の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に共に配置されるサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に共に配置されているサンプルとを有する。

エンコードされた第２の結合画像ＬｏＲｏ’は、第２の結合画像ＬｏＲｏに基づき、第２の結合画像ＬｏＲｏは、オリジナル画像対の第１の画像の第２のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第２のローパスフィルタ処理されたバージョンに基づく。

第２の結合画像ＬｏＲｏは、次に、第１の画像の第２のローパスフィルタ処理されたバージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されるサンプルと、第２の画像の第２のローパスフィルタ処理されたバージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されるサンプルとを有する。

図６Ｂは、マルチ視野信号の２つの視野と対応する画像対をデコードする方法を実行するように設けられた本バリエーションによるデコーダを示す。

示されるデコーダは、受信されたビットストリーム（ＢＳ）をデマルチプレクスするためのデマルチプレクサを含み、このビットストリームは記憶媒体、有線又は無線ネットワクから受信された。デマルチプレクサは、ベースレイヤＬＲ−ｂａｓ及び増強レイヤＬＥ−ｅｎｈを得るために、受信されたビットストリームをデマルチプレクスする。

第１及び第２の再構成された画像Ｌ’及びＲ’それぞれを再構成するために、デコーダは、マルチ視野信号の２つの視野と対応する画像対をデコードする方法を行う。このために、第１のデコードされた結合画像ＬｅＲｅ’は、ベースレイヤをデコードすることにより生成される。その後、第２のデコードされた結合画像ＬｏＲｏ’は、予測として第１のデコード画像を使用して、増強レイヤをデコードすることにより生成される。

上述されたのと同様に、デコーダシステムは、これらがエンコーダ側と対称である限り、同じ又は異なるデコードアルゴリズムを利用するように選択される。

次に、第１及び第２の再構成された画像が再構成される。第１の再構成された画像Ｌ’の場合、これは、第１の再構成された画像Ｌ’の第１のパリティを持つサンプルとして第１のデコードされた結合画像ＬｅＲｅ’の空間的に共に配置されたサンプルを使用し、第１の再構成された画像Ｌ’の第２のパリティを持つサンプルとして第２のデコードされた結合画像ＬｏＲｏ’の空間的に共に配置されたサンプルを使用することを含み、これにより第１の再構成された画像Ｌ’を形成する。

同様に、第２の再構成された画像Ｒ’を再構成することは、第２の再構成された画像Ｒ’の第１のパリティを持つサンプルとして第１のデコードされた結合画像ＬｅＲｅ’の他の空間的に共に配置されたサンプルを使用し、第２の再構成された画像Ｒ’の第２のパリティを持つサンプルとして第２のデコードされた結合画像ＬｏＲｏ’の他の空間的に共に配置されたサンプルを使用することを含み、これにより第２の再構成された画像を形成する。

上記は、図１Ｂを参照して前に説明されたような画像再構成プロセスと一致する。

好ましい実施例において、第１の再構成された画像Ｌ’の第１のパリティを持つサンプルは、第１のデコードされた結合画像ＬｅＲｅ’の第１の空間半分により形成され、第１の再構成された画像Ｌ’の第２のパリティを持つサンプルは、第２のデコードされた結合画像ＬｏＲｏ’の第２の空間半分により形成される。同様に、第２の再構成された画像Ｒ’の第１のパリティを持つサンプルは、第１のデコードされた結合画像ＬｅＲｅ’の第２の空間半分により形成され、第２の再構成された画像Ｒ’の第２のパリティを持つサンプルは、第２のデコードされた結合画像ＬｏＲｏ’の第２の空間半分により形成される。

より好ましくは、第１及び第２のデコードされた結合画像ＬｅＲｅ’、ＬｏＲｏ’は、横に並んでいるエンコードされた画像であるか、又は第１及び第２のデコードされた結合画像ＬｅＲｅ’、ＬｏＲｏ’は、上下に並んでいるエンコードされた画像である。

バリエーション２
本発明の第２のバリエーションに従って、１７４その上、スキームは、改良されたフレーム互換性を持つ画像の生成を可能にする（下記の詳細を参照）。

このスキームは課題Ｂ、Ｄ及びＦに対処する。

図７Ａを参照して上記に示されたように、増強レイヤをエンコードし、増強レイヤに対する予測と同程度のベースレイヤにエンコードされた画像情報を使用することは可能である。しかしながら、ベースレイヤでエンコードされた画像情報及び画像対のオリジナルの左及び右画像から導き出せる情報を更にエンコードすることは、この付加的情報がデコーダ側でも利用可能となるとすると、可能である。

しかしながら、エンコード効率を維持するために、含まれるデタの量は、最小に保たれなければならない。バリエーションの他の態様によれば、付加的情報は、エンコードされたベースレイヤで供給される画像情報と第１の画像Ｌ及び／又は第２の画像Ｒからの画像情報との両方に基づいて予測を生成する際の使用のためのフィルタ係数の形式でビットストリームに供給される。

第１の画像Ｌ及び第２の画像Ｒがデコーダ側で利用可能でないので、これらの画像は、デコーダが、例えば、増強レイヤのエンコードのための予測画像の品質を改善可能にする情報をエンコードするために用いられる。

好ましい実施例において、第１の画像Ｌ及び第２の画像Ｒは、増強レイヤをエンコードする際の使用のために、予測を適応させるためのフィルタを構成するために用いられる。当業者には明らかであるように、この適応される予測は、オリジナルの予測の代わりに、又は、増強レイヤのエンコードのための他の予測入力として使われる。

より好ましくは、第１の画像Ｌ及び第２の画像Ｒは、第１及び第２の画像両方に対するフル解像度の予測を生成するために、一つ以上のアップスケーリングフィルタ（例えば左画像に対するフィルタ及び第２の画像に対するフィルタ）を構成するために用いられる。これらフル解像度の予測は、次に、ベースレイヤにエンコードされるような画像情報に加えて又は代わりに使用できる代わりの結合された予測へパッキングされる。

第１及び第２の画像Ｌ、Ｒに基づいて予測を適応させることを含む例示的エンコーダシステムが、図７Ａに提供される。図７Ａは、図６Ａとかなりの重複部分を持ち、結果的に、焦点は、増強レイヤＬＢ−ｅｎｈをエンコードするための付加的な結合予測画像の生成に主に向けられている。

ベースレイヤＬＲ−ｂａｓをエンコードした後、ベースレイヤＬＲ−ｂａｓにエンコードされるような画像情報は、他の予測を生成するために利用できる。この実施例において、ベースレイヤにエンコードされるような画像情報が、増強レイヤを生成するため第３のフルの解像度の予測入力（すなわち結合の予測入力）を生成するためだけでなく増強レイヤのエンコードのための予測入力として、直接使われる。

デコードされた結合画像ＬｅＲｅ’の画像情報をエンコードした後、左画像の再構成を意図する画像情報及び右画像の再構成を意図する画像情報が、「分離される」、すなわち、第１の再構成された画像Ｌｅ’の再構成を意図する空間的に共に配置されたサンプルが、ＳＢＳ（２）−１オペレーションを用いて、第２の再構成された画像Ｒｅ’の再構成を意図する空間的に共に配置されたサンプルから離隔される。それぞれの出力は、それぞれのアップスケーリングフィルタ４０及び４０を設定するため、第１の画像Ｌ及び第２の画像Ｒと組み合わせてＬｅ’及びＲｅ’を使用する画像依存的なアップスケーラを使用して、その後アップスケールされる２つのハフ解像度画像に対応する。

画像適応アップスケーリングは、画像適応アップスケーラを設定するために、例えば、全体的に又は下位レベルについて画像を分類することにより、例えば、ブロックレベルで特定の分類に調整されたアップスケーラを使用することにより、係数を決定する。結果として生じるフィルタ係数又はパラメータは、対応するデコーダを、エンコードの間、使用されるのと同じアップスケーリングを実施可能にするために、結果として生じるビットストリームにエンコードされる必要があるだろう。

斯様な分類プロセスを含む後処理を含むスキームの例は、同じ出願人による「ＩＭＡＧＥ ＣＯＭＰＲＥＳＳＩＯＮ ＡＮＤ ＤＥＣＯＭＰＲＥＳＳＩＯＮ」という発明の名称の国際特許出願公開公報ＷＯ２００８／０７５２４７に示されていて、これは参照によりここに組み込まれる。この特定の出願に対するこのタイプの処理の使用は、２つの利点を提供する。これは予測の品質を改善し、従って、増強レイヤのビットレートを低下させるが、加えて、これは増強レイヤをデコードする必要なしに、ベースレイヤ画像に改良を可能にする情報を提供する。これは、例えば増強レイヤをデコードすることがあまりに高コストで、すなわちリソースに関して、又は処理に関してあまりに高いアプリケションに対する解決策である。

よって、エンコードのこの特定の態様は、また、リソースが限られたアプリケションに対するスケーラビリティの形式を可能にする。

それぞれのアップスケーラの出力は、第１のフル解像度の予測Ｌｐｒｅｄ及び第２のフル解像度の予測Ｒｐｒｅｄに対応する。その後、第１及び第２のフル解像度の予測は、図１Ａを参照して説明されるようなＳＢＳオペレーションを使用して結合され、第３のフルの解像度予測ＬｏＲｏｐｒに結果としてなり、第３のフル解像度の予測ＬｏＲｏｐｒは、第１の画像の第１のフル解像度の予測から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されているサンプルと、第２の画像の第２のフル解像度の予測から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されるサンプルとを有する。

図７Ａに示されるようなＳＢＳオペレーションが、図１Ａに示される実施例にあったような低域フィルタを含まない点に留意することは、重要である。代わりに、図７Ａに示されるようなＳＢＳオペレーションは、入って来るフル解像度の予測画像を大いに縮小／ダウンサンプルするだけである。

ここで示されるように、アップスケーリングフィルタ４０、４１は、パラメータ化可能な画像適応アップスケーリングフィルタ（オプション）であり、画像適応アップスケーリングを設定するための係数及び／又はパラメータＣｐｐ，Ｌ、Ｃｐｐ，Ｒは、エンコードされたビットストリームに含まれるべきである。

このために、図７Ａに提示されたようなエンコードシステムは、ベースレイヤ、増強レイヤ、及び画像適応アップスケーリングフィルタのためのそれぞれのパラメータをビットストリームＢＳへ多重するためのマルチプレクサを有する。

結果として生じるビットストリームＢＳは、このように図６Ａ及び図６Ｂを参照して上述されたようなＢＳに加えて、ベースレイヤＬＲ−ｂａｓにエンコードされるような第１の画像の再構成のために意図されたような画像情報の第１のフル解像度の予測Ｌｐｒｅｄへの画像適応アップスケーリングと、ベースレイヤＬＲ−ｂａｓにエンコードされるような第２の画像の再構成のために意図されたような画像情報の第２のフル解像度の予測Ｒｐｒｅｄへの画像適応アップスケーリングとの使用のためのエンコードされたパラメータとを有する。

図７Ｂは、図７Ａで供給されるような情報を有するビットストリームをデコードする際の使用のために、マルチ視野信号の２つの視野と対応する画像対をデコードする際に使用されるデコーダシステムを示す。明確にするため、ビットストリームデマルチプレクサは含まれていない。このデマルチプレクサは、受信ビットストリーム（図示せず）を、ベースレイヤと、増強レイヤと、画像適応アップスケーリングフィルタ４２及び４３をそれぞれ設定するためのオプションの係数及び／又はパラメータＣｐｐ，Ｌ及びＣｐｐ，Ｒとへデマルチプレクスする。

これらのアップスケーリングフィルタ４２及び４３を用いて、デコーダは、第１及び第２のフル解像度の予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）を構成でき、これらは、次に、図７Ａを参照して説明されたような低域フィルタなしにＳＢＳオペレーションによって、フル解像度の第３の予測（ＬｏＲｏｐｒ）に結合される。

バリエーション１及びバリエーション２の他の実施例
第１のバリエーション及び第２のバリエーションの他の実施例は、以下の節を参照して説明できる。

本発明の第１のバリエーションに従って、エンコーダ、デコーダ、エンコードする方法、マルチ視野信号の２つの視野と対応する画像対をデコードする方法が提供されるだけでなく、マルチ視野信号の２つの視野を表しているビットストリーム、本発明による方法を実行するためのコンピュータプログラム及びソフトウェアツールが、前の節に依存する範囲で、１１３節、２０節、３０３６節、５０節、５３節、６０節及び６１節で提供される。

本発明の第２のバリエーションに従って、エンコーダ、デコーダ、エンコードする方法、マルチ視野信号の２つの視野と対応する画像対をデコードする方法が提供されるだけでなく、マルチ視野信号の２つの視野を表しているビットストリーム、本発明による方法を実行するためのコンピュータプログラム及びソフトウェアツールが、前の節に依存する範囲で、第１４１８節乃至第２１節乃至第３７４１節乃至第５１５２節乃至第５４５５節乃至第６０節及び第６１節で提供される。

第１節
マルチ視野信号の２つの視野と対応する画像対をエンコードするための方法であって、前記方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成するステップであって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成するステップと、
画像対の第１の画像の第２のローパスフィルタ処理バージョンと、画像対の第２の画像の第２のローパスフィルタ処理バージョンとに基づいて第２の結合画像（ＬｏＲｅ）を生成するステップであって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第２のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成するステップと、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成するステップと、
エンコードの際の予測入力としてベースレイヤにエンコードされる情報を使用して第２の結合画像（ＬｏＲｅ）をエンコードすることにより増強レイヤ（ＬＲ−ｅｎｈ）を生成するステップとを有する、方法。

第２節
ベースレイヤにエンコードされるような画像情報が増強レイヤを生成するため予測入力値として使用される、第１節の方法。

第３節
前記ベースレイヤがＭＰＥＧ２エンコード、ＡＶＣエンコード、及びＨＶＣエンコードの一つを使用してエンコードされる、第１節又は第２節の方法。

第４節
前記増強レイヤがＡＶＣエンコード及びＨＶＣエンコードの一つを使用してエンコードされる、第１節乃至第３節の何れか一節に記載の方法。

第５節
前記マルチ視野信号がステレオ信号である、第１節乃至第４節の何れか一節に記載の方法。

第６節
前記結合画像が、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像の一つとしてエンコードされる、第５節の方法。

第７節
第１のパリティを持つ空間的に共に配置されるサンプルが結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されるサンプルが結合画像の第２の半分と一致する、第６節の方法。

第８節
マルチ視野信号がビデオシーケンスである、第１節乃至第７節の何れか一節に記載の方法。

第９節
第１の画像の第１のローパスフィルタ処理バージョン及び第１の画像の第２のローパスフィルタ処理バージョンが全く同一の画像である、第１節乃至第８節の何れか一節の方法。

第１０節
第２の画像の第１のローパスフィルタ処理バージョン及び第２の画像の第２のローパスフィルタ処理バージョンが全く同一の画像である、第１節乃至第９節の何れか一節の方法。

第１１節
第１の画像及び／又は第２の画像が結合された一つ以上のフィルタを使用してフィルタ処理するステップを有し、一つ以上のフィルタが１／２ｆｓより上のカットオフ周波数を持つ、第１節乃至第１０節の何れか一節の方法。

第１２節
ベースレイヤ、増強レイヤ、第１のブロックベースの変位ベクトル及び第２のブロックベースの変位ベクトルをビットストリーム（ＢＳ）へ多重するステップを更に有する、第１節乃至第１１節の何れか一節の方法。

第１３節
ビットストリーム（ＢＳ）を報知するステップを更に有する、第１節乃至第１２節の何れか一節の方法。

第１４節
ベースレイヤにエンコードされるような画像情報が増強レイヤを生成するため予測入力値として使用される、第１節の方法。

第１５節
第１のフルの解像度予測へのベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第１の画像の再構成のために意図されるような画像情報の画像適応アップスケーリングと、第２のフルの解像度予測へのベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第２の画像の再構成のために意図されるような画像情報の画像適応アップスケーリングとを有する、第１４節の方法。

第１６節
第１のフル解像度の予測（Ｌｐｒｅｄ）及び第２のフル解像度の予測（Ｒｐｒｅｄ）を第３のフルの解像度予測（ＬｏＲｏｐｒ）へ結合するステップを有し、第３のフル解像度の予測（ＬｏＲｏｐｒ）は、第１の画像の第１のフル解像度の予測から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されているサンプルと、第２の画像の第２のフル解像度の予測から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されるサンプルとを有する、第１５節の方法。

第１７節
アップスケーリングが一つ以上のパラメータ化可能な画像適応アップスケーリングフィルタを利用する、第１５節又は第１６節の方法。

第１８節
ベースレイヤ、増強レイヤ及び画像適応アップスケーリングフィルタのためのそれぞれのパラメータをビットストリーム（ＢＳ）に多重するステップを更に有する、第１７節の方法。

第２０節
マルチ視野信号の２つの視野と一致するエンコードされた画像対を有するビットストリーム（ＢＳ）であって、第１のエンコーダを使用してエンコードされているエンコードされた第１の結合画像を有するベースレイヤ（ＬＲ−ｂａｓ）と、第２のエンコーダを使用し、デコードされたエンコード第１の結合画像（ＬｅＲｏ）に基づいた予測入力を使用してエンコードされるエンコードされた第２の結合画像（ＬｏＲｅ）を有する増強レイヤ（ＬＲ−ｅｎｈ）であって、エンコードされた第１の結合画像（ＬｅＲｏ）が第１の結合画像（ＬｅＲｏ）に基づき、第１の結合画像（ＬｅＲｏ）が、オリジナルの画像対の第１の画像の第１のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第１のローパスフィルタ処理バージョンに基づき、第１の結合画像（ＬｅＲｏ）が、第１の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、エンコードされた第１の結合画像において空間的に同じ場所に配置されているサンプルとを有し、
エンコードされた第２の結合画像（ＬｏＲｅ）が第２の結合画像（ＬｏＲｅ）に基づき、第２の結合画像（ＬｏＲｅ）が、オリジナルの画像対の第１の画像の第２のローパスフィルタ処理バージョン及びオリジナル画像対の第２の画像の第２のローパスフィルタ処理バージョンに基づき、第２の結合画像（ＬｏＲｅ）が、第１の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する増強レイヤとを有する、ビットストリーム。

第２１節
予測入力の生成のためのパラメータであって、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第１の画像の再構成のために意図された画像情報を第１のフル解像度の予測（Ｌｐｒｅｄ）への画像適応アップスケーリングと、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第２の画像の再構成のために意図された画像情報を第２のフル解像度の予測（Ｒｐｒｅｄ）への第２の画像適応アップスケーリングとの際の使用のためのパラメータを更に有する、第２０節のビットストリーム（ＢＳ）。

第３０節
マルチ視野信号の２つの視野と対応する画像対をデコードするための方法であって、前記方法は、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成するステップと、予測として第１のデコードされた画像を使用して増強レイヤをデコードすることにより第２のデコードされた結合画像（ＬｏＲｅ’）を生成するステップと、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用して、これにより第１の再構成された画像（Ｌ’）を形成する、第１の再構成された画像（Ｌ’）を再構成するステップと、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして第１のデコードされた結合画像（ＬｅＲｏ’）の更に空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の更に空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像（Ｒ’）を再構成するステップとを有する、方法。

第３１節
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルは、第１のデコードされた結合画像（ＬｅＲｏ’）の第１の空間半分により形成され、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第２の空間半分により形成される、第３０節の方法。

第３２節
第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルは、第１のデコードされた結合画像（ＬｅＲｏ’）の第２の空間半分により形成され、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第２の空間半分により形成される、第３１節の方法。

第３３節
前記マルチ視野信号がステレオ信号である、第３０節乃至第３２節の何れか一節に記載の方法。

第３４節
第１及び第２のデコードされた結合画像（ＬｅＲｏ’、ＬｏＲｅ’）は、横に並んだエンコードされた画像であるか、又は第１及び第２のデコードされた結合画像（ＬｅＲｏ’、ＬｏＲｅ’）は、上下に並んだエンコードされた画像である、第３３節の方法。

第３５節
報知されたビットストリーム（ＢＳ）を受信するステップを更に有する、第３０節乃至第３４節の何れか一節の方法。

第３６節
ベースレイヤ及び増強レイヤを得るために受信したビットストリームをデマルチプレクスするステップを更に有する、第３０節乃至第３５節の何れか一節の方法。

第３７節
ベースレイヤにエンコードされるような画像情報が増強レイヤをデコードするための予測入力として使用される前に、デコードされフィルタ処理される、第３０節乃至第３６節の何れか一節の方法。

第３８節
第１のフルの解像度予測へのベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第１の画像の再構成のために意図されるような画像情報の画像適応アップスケーリングと、第２のフルの解像度予測へのベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第２の画像の再構成のために意図されるような画像情報の画像適応アップスケーリングとを有する、第３７節の方法。

第３９節
第１のフル解像度の予測（Ｌｐｒｅｄ）及び第２のフル解像度の予測（Ｒｐｒｅｄ）を第３のフルの解像度予測（ＬｏＲｏｐｒ）へ結合するステップを有し、第３のフル解像度の予測（ＬｏＲｏｐｒ）は、第１の画像の第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されているサンプルと、第２の画像の第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）から第２のパリティを持つサンプルであって、第３のフル解像度の予測において空間的に共に配置されるサンプルとを有する、第３８節の方法。

第４０節
アップスケーリングが一つ以上のパラメータ化可能な画像適応アップスケーリングフィルタを利用する、第３８節又は第３９節の方法。

第４１節
ベースレイヤ、増強レイヤ及び画像適応アップスケーリングフィルタのためのそれぞれのパラメータをビットストリーム（ＢＳ）から得るステップを更に有する、第４０節の方法。

第５０節
マルチ視野信号の２つの視野と対応する画像対をエンコードするためのエンコーダであって、前記エンコーダは、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成するための第１の生成器であって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成する第１の生成器と、
画像対の第１の画像の第２のローパスフィルタ処理バージョンと、画像対の第２の画像の第２のローパスフィルタ処理バージョンとに基づいて第２の結合画像（ＬｏＲｅ）を生成する第２の生成器であって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第２のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成する第２の生成器と、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成するための第１のエンコーダ（Ｅｎｃ１）と、
エンコードの際の予測入力としてベースレイヤにエンコードされる情報を使用して第２の結合画像（ＬｏＲｅ）をエンコードすることにより増強レイヤ（ＬＲ−ｅｎｈ）を生成する第２のエンコーダとを有する、エンコーダ。

第５１節
増強レイヤを生成するための予測入力として使用される前に、ベースレイヤにエンコードされるような画像情報をフィルタ処理するために設けられたフィルタを更に有する、第５０節のエンコーダ。

第５２節
ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第１の画像の再構成のために意図された画像情報を第１のフル解像度の予測（Ｌｐｒｅｄ）にアップスケールするために設けられた第１の画像適応アップスケーラと、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第２の画像の再構成のために意図された画像情報を第２のフル解像度の予測（Ｒｐｒｅｄ）にアップスケールするために設けられた第２の画像適応アップスケーラとを更に有する、第５１節のエンコーダ。

第５３節
ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｅ’）を生成するための第１のデコーダと、予測として第１のデコード画像を使用して、増強レイヤをデコードすることにより第２のデコードされた結合画像（ＬｏＲｏ’）を生成するための第２のデコーダと、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして、第１のデコードされた結合画像（ＬｅＲｅ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして、第２のデコードされた結合画像（ＬｏＲｏ’）の空間的に共に配置されたサンプルを使用し、これにより第１の再構成された画像（Ｌ’）を形成する、第１の画像再構成器と、
第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして、第１のデコードされた結合画像（ＬｅＲｅ’）の空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして、第２のデコードされた結合画像（ＬｏＲｏ’）の空間的に共に配置されたサンプルを使用し、これにより第２の再構成された画像を形成する、第２の画像再構成器とを有する、マルチ視野信号の２つの視野と対応する画像対をデコードするためのデコーダ。

第５４節
増強レイヤを生成するための予測入力として使われる前に、デコードの後ベースレイヤにエンコードされるような画像情報をフィルタリングするためのフィルタを更に有する、第５３節のデコーダ。

第５５節
ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第１の画像の再構成のために意図された画像情報を第１のフル解像度の予測（Ｌｐｒｅｄ）にアップスケールするための第１の画像適応アップスケーラと、ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされるような第２の画像の再構成のために意図された画像情報を第２のフル解像度の予測（Ｌｐｒｅｄ）にアップスケールするための第２の画像適応アップスケーラとを更に有する、第５４節のデコーダ。

第６０節
第１節乃至第１８節又は第３０節乃至第４１節の方法の少なくとも一つ以上の方法を実行するための命令を有する、コンピュータ可読媒体上のコンピュータプログラム。

第６１節
第１節乃至第１８節又は第３０節乃至第４１節の方法の少なくとも一つ以上の方法を実行するためのソフトウェアツールであって、少なくとも一つ以上の前記方法を実行するための命令を有する、ソフトウェアツール。

バリエーション３
本発明の第３のバリエーションによると、エンコーダ／デコーダ、エンコード及びデコードする方法が、マルチ視野信号の２つの視野と対応する画像対Ｌ，Ｒのために提供され、これは、既知の従来技術と比較して、改良されたフレーム互換性を持つ画像を可能にし、同時に目当たりのフルのＨＤを可能にする。

このスキームは、課題Ａ、Ｄ、Ｆ及びＧに対処する。

この第３のバリエーションによると、ベースレイヤ及び２つの増強レイヤがエンコードされる。第３のバリエーションによると、フレーム互換性を持つ立体的な装置に対する画像品質が妥協されない、すなわち、ベースレイヤは、結合フレーム互換性を持つフォーマットのエイリアシングを防止するため、第１及び第２の画像をダウンスケールする際に、適切にフィルタリングされる点に留意することは、重要である。

第３のバリエーションによると、このフィルタリングは、目当たりフルのＨＤに近くなるためには、もはや必要とされない。その代わりに、２つの増強レイヤ、一つは偶数パリティを持つサンプルのため、もう一つは奇数パリティを持つサンプルのための増強レイヤをエンコードし、増強レイヤを生成するため経路に存在するフィルタリングの量を減らすことにより、フルのＨＤが両眼のために提供される。

図８は、本発明の第３のバリエーションによるエンコードシステムを示す。エンコードシステムは、マルチ視野信号の２つの視野と対応する画像対Ｌ，Ｒをエンコードする方法を実行するために設けられる。

方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョンと画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて、第１の結合画像ＬｅＲｅを生成するステップを有する。ＳＢＳブロック上の「Ｆ３」属性により示されるように、第１の結合画像ＬｅＲｅの生成は、ダウンサンプリングの前に、低域フィルタを適用するステップを含む。

弱いフィルタ、すなわち１／２ｆｓより上のカットオフ周波数を持つフィルタを使用することは可能であるが、エイリアシングを防止するために、１／２ｆｓのカットオフ周波数を持つフィルタを使用することが好まれる。結果として、現在展開されている立体表示装置、すなわちフレーム互換性を持つ装置のための最高の可能な品質が得られる。

第１の結合画像ＬｅＲｅは、第１の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する。

方法は、更に、第１の結合画像ＬｅＲｅをエンコードすることによりベースレイヤＬＲ−ｂａｓを生成するステップを有する。ベースレイヤ（ＬＲ−ｂａｓ）にエンコードされた画像情報は、その後、フル解像度の予測、Ｌｐｒｅｄ及びＲｐｒｅｄを生成するために用いられる。これらの２つの予測は、ベースレイヤＬｅＲｅ’に含まれる画像情報のそれぞれの空間半分をアップスケールすることにより形成され、よって、結果的に、両方とフル解像度で、第１の中間の予測Ｌｐｒｅｄ及び第２の中間の予測Ｒｐｒｅｄとなる。

それぞれアップスケーラ上の属性「Ｆ２」を使用して示されるように、アップスケーリングフィルタは、ローパスフィルタにより後続されるアップスケーリングするステップを含む。アップスケーリングするとき、アップスケーラが入力のパリティを好ましくは考慮することに留意されたい。

２つの中間の予測は、その後、２つの他のフル解像度の予測、各増強レイヤをエンコードするためのものを生成するために用いられる。しかしながら、これらの増強レイヤをエンコードするために、２つの他の結合画像ＬｏＲｏ−ｎｆ及びＬｅＲｅ−ｎｆを生成することを必要とする。

このため、エンコードシステムは、更に、第２の結合画像ＬｅＲｅ−ｎｆを生成するための手段を有し、第２の結合画像ＬｅＲｅ−ｎｆは、第１の画像の第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像から第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する。ＳＢＳオペレータ上の「ｎｏｆｉｌ」属性により示されるように、第２の結合画像の生成は低域フィルタを含まない。

加えて、第３の結合画像は、生成されたＬｏＲｏ−ｎｆであり、第３の結合画像ＬｏＲｏ−ｎｆは、第１の画像の第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルと、第２の画像から第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルとを有する。ＳＢＳオペレータ上の「ｎｏｆｉｌ」属性により示されるように、第３の結合画像の生成は低域フィルタを含まない。

第２及び第３の結合画像を効率的な態様でエンコードするために、中間の予測が、第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づいて第１の増強レイヤＬＲ−ｅｎｈ１を生成する際の使用のために、第１のフルの解像度予測ＬｅＲｅｐｒｅｄを形成するために用いられる。「ｎｏｆｉｌ」属性により示されるようなこの場合において、ＳＢＳオペレータを使用して、ダウンスケールすることは、フィルタリングを含まない。第１のフルの解像度予測ＬｅＲｅｐｒｅｄの場合には、第１のパリティを持つサンプルが用いられる。

同様に、２つのフルの解像度中間の予測は、第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づいて第２の増強レイヤＬＲ−ｅｎｈ２を生成する際の使用のために、第２のフルの解像度予測ＬｏＲｏｐｒｅｄを生成するために用いられる。「ｎｏｆｉｌ」属性により示されるようなこの場合において、ＳＢＳオペレータを使用して、ダウンスケールすることは、フィルタリングを含まない。第２のフルの解像度予測ＬｏＲｏｐｒｅｄの場合には、第２のパリティを持つサンプルが用いられる。

次に、第１の増強レイヤＬＲ−ｅｎｈ１は、第１のフルの解像度予測ＬｅＲｅｐｒｅｄを用いて第２の結合画像ＬｅＲｅ−ｎｆをエンコードすることにより生成され、第２の増強レイヤＬＲ−ｅｎｈ２は、第２のフルの解像度予測ＬｏＲｏｐｒｅｄを用いて第３の結合画像ＬｏＲｏ−ｎｆをエンコードすることにより生成される。

好ましくは、第１のフルの解像度予測は、第１の中間の予測Ｌｐｒｅｄの第１のパリティを持つサンプルであって、第１のフルの解像度予測ＬｅＲｅｐｒｅｄにおいて空間的に共に配置されているサンプルと、第２の中間の予測Ｒｐｒｅｄの第１のパリティを持つサンプルであって、第１のフルの解像度予測ＬｅＲｅｐｒｅｄにおいて空間的に共に配置されるサンプルとを有する。

好ましくは、第２のフルの解像度予測ＬｏＲｏｐｒｅｄは、第１の中間の予測Ｌｐｒｅｄの第２のパリティを持つサンプルであって、第２のフルの解像度予測ＬｏＲｏｐｒｅｄにおいて空間的に共に配置されているサンプルと、第２の中間の予測Ｒｐｒｅｄの第２のパリティを持つサンプルであって、第２のフルの解像度予測ＬｏＲｏｐｒｅｄにおいて空間的に共に配置されるサンプルとを有する。

好ましくは、ベースレイヤは、ＭＰＥＧ２エンコードスキーム、ＡＶＣエンコードスキーム、又はＨＶＣエンコードスキームを使用してエンコードされる。好ましくは、それぞれの増強レイヤは、ＡＶＣエンコードスキーム又はＨＶＣエンコードスキームを使用して、それぞれエンコードされる。同じ画像特性を保持するために、第１及び第２の増強レイヤが、同じエンコードスキームを使用して好ましくはエンコードされることは、当業者に明らかである。

それぞれの増強レイヤをエンコードするために使用されるエンコードスキームのタイプに依存して、それぞれの増強レイヤをエンコードするため他の予測を加えることは可能である。

例えば、第１の増強レイヤＬＲ−ｅｎｈ１をエンコードするために、他の予測として第３の結合信号ＬｏＲｏ−ｎｆ、又はベースレイヤＬｅＲｅ’にエンコードされるような画像情報さえ使用することが可能である。オプションで、他の予測として時間的に前の時点から第２の増強レイヤにエンコードされた画像情報を使用することも可能である。同様に、他の予測は、第２の増強レイヤＬＲ−ｅｎｈ２のエンコードを更に改善するために加えられてもよい。

好ましくは、マルチ視野信号はステレオ信号である。より好ましくは、結合画像は横に並んでエンコードされた画像又は上下に並んでエンコードされた画像としてエンコードされる。更に好ましくは、第１のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されたサンプルは、結合画像の第２の半分と一致する。

好ましくは、マルチ視野信号はビデオシーケンスである。

好ましくは、第１の画像の第１のローパスフィルタ処理バージョン及び第１の画像の第２のローパスフィルタ処理バージョンは全く同一の画像であり、第２の画像の第１のローパスフィルタ処理バージョン及び第２の画像の第２のローパスフィルタ処理バージョンは全く同一の画像である。より好ましくは、第１及び／又は第２の画像のローパスフィルタリングは、１／２ｆｓのカットオフ周波数を持つ結合された一つ以上のフィルタを使用してフィルタリングするステップを有する。

オプションで、方法は、ベースレイヤ、第１の増強レイヤ及び第２の増強レイヤをビットストリームＢＳに多重するステップを更に有する。更にオプションで、方法は、ビットストリームＢＳを報知するステップを更に有する。

このようにして結果として生じるビットストリームＢＳは、マルチ視野信号の２つの視野と一致するエンコードされた画像対を有する。これらの２つの視野は、ベースレイヤＬＲ−ｂａｓを使用してエンコードされ、ベースレイヤは、第１のエンコーダを使用してエンコードされた第１の結合画像ＬｅＲｅ’を有する。

加えて、ビットストリームは、２枚の増強レイヤを有する。第２のエンコーダを使用して、第１のフル解像度の予測ＬｅＲｅｐｒｅｄに基づいて予測入力を使用して、エンコードされた第２の結合画像ＬｅＲｅ−ｎｆ’を有する第１の増強レイヤである増強レイヤＬＲ−ｅｎｈ１であって、第１のフル解像度の予測ＬｅＲｅｐｒｅｄは、ベースレイヤＬｅＲｅ’に含まれる画像情報のそれぞれの空間半分をそれぞれフル解像度にアップスケールすることによりそれぞれ形成される第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づく。第３のエンコーダを使用して、第１のフル解像度の予測ＬｏＲｏｐｒｅｄに基づいて予測入力を使用して、エンコードされた第３の結合画像ＬｏＲｏ−ｎｆ’を有する第２の増強レイヤである増強レイヤＬＲ−ｅｎｈ２であって、第１のフル解像度の予測ＬｏＲｏｐｒｅｄは、ベースレイヤＬｏＲｏ’に含まれる画像情報のそれぞれの空間半分をそれぞれフル解像度にアップスケールすることによりそれぞれ形成される第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づく。

また、マルチ視野信号の２つの視野と対応する画像対（Ｌ，Ｒ）をデコードする方法が本発明の第３のバリエーションに含まれる。通常は、この方法は、例えばネットワク、有線又は無線の報知に従って、又は記憶媒体から検索されて、報知ビットストリームＢＳを受信するステップを有する。

複数のビットストリームが通常受信されるが、方法は、また、ベースレイヤ、第１の増強レイヤ及び第２の増強レイヤを得るために受信されたビットストリームをデマルチプレクスするステップを有する。

利用可能になると、実際のデコードが始まる。デコードは、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｅ’）を生成するステップを含む。エンコードプロセスと同様に次は、第１のデコードされた結合画像が２つの中間の予測を生成するために使用される。これら２つの中間の予測は、それぞれ両方ともフル解像度の第１の中間の予測Ｌｐｒｅｄ及び第２の中間の予測Ｒｐｒｅｄを形成するために、ベースレイヤＬｅＲｅ’に含まれる画像情報のそれぞれ空間半分をアップスケールすることにより得られる。

次に、２つの中間の予測Ｌｐｒｅｄ及びＲｐｒｅｄは、それぞれの増強レイヤをデコードするため２つのフルの解像度予測を生成するために用いられる。

このために、方法は、第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づいて、第１の増強レイヤＬＲ−ｅｎｈ１をデコードする際の使用のために、第１のフルの解像度予測ＬｅＲｅｐｒｅｄを生成するステップを有する。ＬｅＲｅｐｒｅｄの場合、第１のパリティを持つサンプルは、それぞれの中間の予測から選択される。次に、第２のフルの解像度予測ＬｏＲｏｐｒｅｄは、第１及び第２の中間の予測Ｌｐｒｅｄ、Ｒｐｒｅｄに基づいて第２の増強レイヤＬＲ−ｅｎｈ２をデコードする際の使用のために生成される。ＬｅＲｅｐｒｅｄの場合、第２のパリティを持つサンプルは、それぞれの中間の予測から選択される。

次に、第１の増強レイヤＬＲ−ｅｎｈ１は、第１のフルの解像度予測ＬｅＲｅｐｒｅｄを使用してデコードされ、結果的にデコードされた第２の結合画像ＬｅＲｅ−ｎｆ’になる。同様に、第２の増強レイヤＬＲ−ｅｎｈ２は、第２のフルの解像度予測ＬｏＲｏｐｒｅｄを使用してデコードされ、結果的にデコードされた第３の結合画像ＬｏＲｏ−ｎｆ’になる。

これらの２つのデコードされた結合画像に基づいて、第１の再構成された画像Ｌ’の第１のパリティを持つサンプルとしての第２のデコードされた結合画像ＬｅＲｅ−ｎｆ’の空間的に共に配置されたサンプルを用いて、第１の再構成された画像Ｌ’の第２のパリティを持つサンプルとして第３のデコードされた結合画像ＬｏＲｏ−ｎｆ’の空間的に共に配置されたサンプルを使用して、第１の再構成された画像Ｌ’を再構成することは可能であり、これにより第１の再構成された画像Ｌ’を形成する。

その上、第２の再構成された画像Ｒ’の第１のパリティを持つサンプルとしての第２のデコードされた結合画像ＬｅＲｅ−ｎｆ’の更に空間的に共に配置されたサンプルを用いて、第２の再構成された画像Ｒ’の第２のパリティを持つサンプルとして第３のデコードされた結合画像ＬｏＲｏ−ｎｆ’の更に空間的に共に配置されたサンプルを使用して、第２の再構成された画像Ｒ’を再構成可能にし、これにより第２の再構成された画像を形成する。

好ましくは、第１の再構成された画像Ｌ’の第１のパリティを持つサンプルは、第２のデコードされた結合画像ＬｅＲｅ−ｎｆ’の第１の空間半分により形成され、第１の再構成された画像Ｌ’の第２のパリティを持つサンプルは、第３のデコードされた結合画像ＬｏＲｏ−ｎｆ’の第１の空間半分により形成される。

好ましくは、第２の再構成された画像Ｒ’の第１のパリティを持つサンプルは、第２のデコードされた結合画像ＬｅＲｅ−ｎｆ’の第２の空間半分により形成され、第２の再構成された画像Ｒ’の第２のパリティを持つサンプルは、第３のデコードされた結合画像ＬｏＲｏ−ｎｆ’の第２の空間半分により形成される。

好ましくは、第１、第２及び第３のデコードされた結合画像ＬｅＲｅ’、ＬｅＲｅ−ｎｆ’、ＬｏＲｏ−ｎｆは、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像である。

第３のバリエーションの他の実施例
第３のバリエーションの他の実施例は、以下の節を参照して説明できる。

本発明の第３のバリエーションによると、３０１３１５、３２０、３３０３３８、３５０３５１、３６０及び３６１の節で、エンコーダ、デコーダ、マルチ視野信号の２つの視野と対応する画像対をエンコードする方法及びデコードする方法が提供され、マルチ視野信号の２つの視野を表わすビットストリーム、本発明による方法を実行するためのコンピュータプログラム及びソフトウェアツールも同様に提供される。

第３０１節
マルチ視野信号の２つの視野と対応する画像対をエンコードするための方法であって、前記方法は、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成するステップであって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成するステップと、
第２の結合画像（ＬｏＲｅ）を生成するステップであって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成するステップと、
第３の結合画像（ＬｏＲｏ−ｎｆ）を生成するステップであって、第３の結合画像（ＬｏＲｏ−ｎｆ）は、第１の画像の第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルと、第２の画像からの第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルとを有する、第３の結合画像を生成するステップと、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成するステップと、
第１の中間の予測（Ｌｐｒｅｄ）及び第２の中間の予測（Ｒｐｒｅｄ）を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤ（ＬＲ−ｂａｓ）に含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、
第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を使用して第２の結合画像（ＬｏＲｅ）をエンコードすることにより、第１の増強レイヤ（ＬＲ−ｅｎｈ）を生成し第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第１の増強レイヤ（ＬＲ−ｅｎｈ）を生成する際の使用のため第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を生成するステップと、
第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を使用して第３の結合画像（ＬｏＲｏ−ｎｆ）をエンコードすることにより、第２の増強レイヤ（ＬＲ−ｅｎｈ）を生成し第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第２の増強レイヤ（ＬＲ−ｅｎｈ）を生成する際の使用のため第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を生成するステップとを有する、方法。

第３０２節
第１のフルの解像度予測が、
第１の中間の予測（Ｌｐｒｅｄ）の第１のパリティを持つサンプルであって、第１のフルの解像度予測（ＬｅＲｅｐｒｅｄ）において空間的に共に配置されているサンプルと、第２の中間の予測（Ｒｐｒｅｄ）の第１のパリティを持つサンプルであって、第１のフルの解像度予測（ＬｅＲｅｐｒｅｄ）に空間的に共に配置されているサンプルとを有し、第２のフルの解像度予測（ＬｏＲｏｐｒｅｄ）が、
第１の中間の予測（Ｌｐｒｅｄ）の第２のパリティを持つサンプルであって、第２のフルの解像度予測（ＬｏＲｏｐｒｅｄ）において空間的に共に配置されているサンプルと、第２の中間の予測（Ｒｐｒｅｄ）の第２のパリティを持つサンプルであって、第２のフルの解像度予測（ＬｏＲｏｐｒｅｄ）において空間的に共に配置されているサンプルとを有する第３０１節の方法。

第３０３節
前記ベースレイヤがＭＰＥＧ２エンコード、ＡＶＣエンコード、及びＨＶＣエンコードの一つを使用してエンコードされる、第３０１節又は第３０２節の方法。

第３０４節
それぞれの増強レイヤがＡＶＣエンコード及びＨＶＣエンコードの一つを使用してそれぞれエンコードされる、第３０１節乃至第３０３節の何れか一節に記載の方法。

第３０５節
前記マルチ視野信号がステレオ信号である、第３０１節乃至第３０４節の何れか一節に記載の方法。

第３０６節
前記結合画像が、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像の一つとしてエンコードされる、第３０５節の方法。

第３０７節
第１のパリティを持つ空間的に共に配置されるサンプルが結合画像の第１の半分と一致し、第２のパリティを持つ空間的に共に配置されるサンプルが結合画像の第２の半分と一致する、第３０１節乃至第３０６節の何れか一節に記載の方法。

第３０８節
マルチ視野信号がビデオシーケンスである、第３０１節乃至第３０７節の何れか一節に記載の方法。

第３０９節
第１の画像の第１のローパスフィルタ処理バージョン及び第１の画像の第２のローパスフィルタ処理バージョンは、全く同一の画像である、第３０１節乃至第３０８節の何れか一節に記載の方法。

第３１０節
第２の画像の第１のローパスフィルタ処理バージョン及び第２の画像の第２のローパスフィルタ処理バージョンは、全く同一の画像である、第３０１節乃至第３０９節の何れか一節に記載の方法。

第３１１節
第１及び／又は第２の画像のローパスフィルタ処理は、第１の画像及び／又は第２の画像が結合された一つ以上のフィルタを使用してフィルタ処理するステップを有し、一つ以上のフィルタが１／２ｆｓ以上のカットオフ周波数を持つ、第３０１節乃至第３１０節の何れか一節の方法。

第３１２節
ベースレイヤ、第１の増強レイヤ及び第２の増強レイヤをビットストリーム（ＢＳ）へ多重するステップを更に有する、第３０１節乃至第３１１節の何れか一節の方法。

第３１３節
ビットストリーム（ＢＳ）を報知するステップを更に有する、第３０１節乃至第３１２節の何れか一節の方法。

第３１４節
アップスケーリングは、ローパスフィルタにより後続される、アップサンプリングを有する、第３０１節乃至第３１３節の何れか一節の方法。

第３１５節
アップスケーリングのためのローパスフィルタはｆｓより上のカットオフ周波数を持つ、第３１４節の方法。

第３２０節
マルチ視野信号の２つの視野と一致するエンコードされた画像対を有するビットストリームであって、第１のエンコーダを使用してエンコードされるエンコードされた第１の結合画像を有するベースレイヤ（ＬＲ−ｂａｓ）と、
第２のエンコーダを使用して、第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）に基づいて予測入力を使用して、エンコードされた第２の結合画像（ＬｅＲｅ−ｎｆ’）を有する第１の増強レイヤ（ＬＲ−ｅｎｈ１）であって、第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）は、ベースレイヤ（ＬｅＲｅ’）に含まれる画像情報のそれぞれの空間半分をそれぞれフル解像度にアップスケールすることによりそれぞれ形成される第１及び第２の中間の予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づく第１の増強レイヤと、第３のエンコーダを使用して、第１のフル解像度の予測（ＬｏＲｏｐｒｅｄ）に基づいて予測入力を使用して、エンコードされた第３の結合画像（ＬｏＲｏ−ｎｆ’）を有する第２の増強レイヤ（ＬＲ−ｅｎｈ２）であって、第１のフル解像度の予測（ＬｏＲｏｐｒｅｄ）は、ベースレイヤ（ＬｏＲｏ’）に含まれる画像情報のそれぞれの空間半分をそれぞれフル解像度にアップスケールすることによりそれぞれ形成される第１及び第２の中間の予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づく第２の増強レイヤとを有する、ビットストリーム。

第３３０節
マルチ視野信号の２つの視野と対応する画像対をデコードするための方法であって、前記方法は、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成するステップと、
第１の中間の予測（Ｌｐｒｅｄ）及び第２の中間の予測（Ｒｐｒｅｄ）を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤ（ＬＲ−ｂａｓ）に含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第１の増強レイヤ（ＬＲ−ｅｎｈ）をデコードし、結果的にデコードされた第２の結合画像となる、第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を使用して第１の増強レイヤ（ＬＲ−ｅｎｈ）をデコードする際の使用のため第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を生成するステップと、第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第２の増強レイヤ（ＬＲ−ｅｎｈ）をデコードし、結果的にデコードされた第３の結合画像となる、第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を使用して第２の増強レイヤ（ＬＲ−ｅｎｈ）をデコードする際の使用のため第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を生成するステップと、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の空間的に共に配置されたサンプルを使用して、これにより第１の再構成された画像（Ｌ’）を形成して、第１の再構成された画像を再構成するステップと、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像を再構成するステップとを有する、方法。

第３３１節
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第１の空間半分により形成され、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルは、第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の第１の空間半分により形成される、第３３０節の方法。

第３３２節
第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルは、第２のデコードされた結合画像（ＬｏＲｅ’）の第２の空間半分により形成され、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルは、第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の第２の空間半分により形成される、第３３１節の方法。

第３３３節
マルチ視野信号がステレオ信号である、第３３０節乃至第３３２節の何れか一節の方法。

第３３４節
第１、第２及び第３のデコードされた結合画像（ＬｅＲｅ’、ＬｅＲｅ−ｎｆ’、ＬｏＲｏ−ｎｆ）が横に並べられたエンコードされた画像であるか、又は第１、第２及び第３のデコードされた結合画像（ＬｅＲｅ’、ＬｅＲｅ−ｎｆ’、ＬｏＲｏ−ｎｆ）が上下に並べられたエンコードされた画像である、第３３３節の方法。

第３３５節
報知されたビットストリーム（ＢＳ）を受信するステップを更に有する、第３３０節乃至第３３４節の何れか一節の方法。

第３３６節
ベースレイヤ、第１の増強レイヤ及び第２の増強レイヤを得るために受信されたビットストリームをデマルチプレクスするステップを更に有する、第３３０節乃至第３３５節の何れか一節の方法。

第３３７節
アップスケーリングが、低域フィルタにより後続されるアップサンプリングするステップを有する、第３３０節乃至第３３６節の何れか一節の方法。

第３３８節
アップスケーリングのための低域フィルタがｆｓより上のカットオフ周波数を持つ、第２３７節の方法。

第３５０節
マルチ視野信号の２つの視野と対応する画像対をエンコードするためのエンコーダであって、前記エンコーダは、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像（ＬｅＲｏ）を生成する第１の生成器であって、第１の結合画像（ＬｅＲｏ）は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成する第１の生成器と、
第２の結合画像（ＬｏＲｅ）を生成する第２の生成器であって、第２の結合画像（ＬｏＲｅ）は、第１の画像の第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、第２の結合画像を生成する第２の生成器と、
第３の結合画像（ＬｏＲｏ−ｎｆ）を生成する第３の生成器であって、第３の結合画像（ＬｏＲｏ−ｎｆ）は、第１の画像の第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルと、第２の画像からの第２のパリティを持つサンプルであって、第３の結合画像において空間的に共に配置されているサンプルとを有する、第３の結合画像を生成する第３の生成器と、
第１の結合画像（ＬｅＲｏ）をエンコードすることによりベースレイヤ（ＬＲ−ｂａｓ）を生成する第１のエンコーダと、
第１の中間の予測（Ｌｐｒｅｄ）及び第２の中間の予測（Ｒｐｒｅｄ）を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤ（ＬＲ−ｂａｓ）に含まれる画像情報のそれぞれの空間半分をアップスケールする第１のアップスケーラと、
第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を使用して第２の結合画像（ＬｏＲｅ）をエンコードすることにより、第１の増強レイヤ（ＬＲ−ｅｎｈ）を生成し第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第１の増強レイヤ（ＬＲ−ｅｎｈ）を生成する際の使用のため第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を生成する第４の生成器と、
第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を使用して第３の結合画像（ＬｏＲｏ−ｎｆ）をエンコードすることにより、第２の増強レイヤ（ＬＲ−ｅｎｈ）を生成し第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第２の増強レイヤ（ＬＲ−ｅｎｈ）を生成する際の使用のため第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を生成する第５の生成器とを有する、エンコーダ。

第３５１節
マルチ視野信号の２つの視野と対応する画像対をデコードするためのデコーダであって、前記デコーダは、ベースレイヤをデコードすることにより第１のデコードされた結合画像（ＬｅＲｏ’）を生成する第１のデコーダと、
第１の中間の予測（Ｌｐｒｅｄ）及び第２の中間の予測（Ｒｐｒｅｄ）を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤ（ＬＲ−ｂａｓ）に含まれる画像情報のそれぞれの空間半分をアップスケールするアップスケーラと、第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第１の増強レイヤ（ＬＲ−ｅｎｈ）をデコードし、結果的にデコードされた第２の結合画像となる、第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を使用して第１の増強レイヤ（ＬＲ−ｅｎｈ）をデコードする際の使用のため第１のフル解像度の予測（ＬｅＲｅｐｒｅｄ）を生成する第１の生成器と、第１及び第２の中間予測（Ｌｐｒｅｄ、Ｒｐｒｅｄ）に基づいて第２の増強レイヤ（ＬＲ−ｅｎｈ）をデコードし、結果的にデコードされた第３の結合画像となる、第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を使用して第２の増強レイヤ（ＬＲ−ｅｎｈ）をデコードする際の使用のため第２のフル解像度の予測（ＬｏＲｏｐｒｅｄ）を生成する第２の生成器と、
第１の再構成された画像（Ｌ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用し、第１の再構成された画像（Ｌ’）の第２のパリティを持つサンプルとして第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の空間的に共に配置されたサンプルを使用して、これにより第１の再構成された画像（Ｌ’）を形成して、第１の再構成された画像を再構成する第１の再構成器と、第２の再構成された画像（Ｒ’）の第１のパリティを持つサンプルとして第２のデコードされた結合画像（ＬｏＲｅ’）の空間的に共に配置されたサンプルを使用し、第２の再構成された画像（Ｒ’）の第２のパリティを持つサンプルとして第３のデコードされた結合画像（ＬｏＲｏ−ｎｆ’）の空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像を再構成する第２の再構成器とを有する、デコーダ。

第３６０節
第３０１節乃至第３１５節又は第３３０節乃至第３３８節の方法の少なくとも一つ以上の方法を実行するための命令を有する、コンピュータ可読媒体上のコンピュータプログラム。

第３６１節
第３０１節乃至第３１５節又は第３３０節乃至第３３８節の方法の少なくとも一つ以上の方法を実行するためのソフトウェアツールであって、少なくとも一つ以上の前記方法を実行するための命令を有する、ソフトウェアツール。

概説
本発明の様々なバリエーション及び態様に関して、エンコードされる必要がある付加的な特徴及び付加的情報が、伝統的な装置の視点から好ましくは隠されていることに留意されたい。伝統的な装置から情報を隠すことを可能にする単純なアプローチは、同じ出願人による、METHOD AND SYSTEM FOR ENCODING A VIDEO DATA SIGNAL, ENCODED VIDEO DATA SIGNAL, METHOD AND SYSTEM FOR DECODING A VIDEO DATA SIGNALというタイトルの国際特許出願公開公報ＷＯ２００９／０４０７０１号に開示されていて、参照によりここに組み込まれている。

明確さのための上記説明が単一のデコード／エンコードプロセッサを参照して本発明の実施例を説明してきたことは理解されるだろう。しかしながら、異なる機能ユニット又はプロセッサ間の機能の任意の適切な分散が、本発明を損なわずに用いられることは明らかであろう。よって、デコード／エンコードプロセッサに対する基準は、厳密な論理的若しくは物理的構造体又は組織を示すというよりはむしろ、説明されている機能を提供するための適当手段に対する基準と単にみなされるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組合せを含む任意の適当な形式で実行できる。本発明は、一つ以上のデタプロセッサ及び／又はデジタル信号プロセッサを実行するコンピュータソフトウェアとして少なくとも部分的にオプションで実行されてもよい。本発明の実施例の要素及びコンポーネントは、任意の適切なやり方で、物理的に、機能的に及び論理的に実行されてもよい。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として実行されてもよい。このように、本発明は、単一のユニットで実行されてもよいし、又は異なるユニット及びプロセッサの間で物理的且つ機能的に分散されてもよい。

本発明は、幾つかの実施例に関連して説明されたが、本願で説明された特定の形式に限定されることを意図していない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。加えて、特徴が具体例に関連して説明されたように見えるが、当業者は、説明された実施例の様々な特徴が本発明に従って組み合わせてもよいと認識するだろう。請求項において、用語「を有する」は、他の要素又はステップの存在を除外しない。

更にまた、個別にリストされてはいるが、複数の手段、要素又は方法のステップは、例えば単一のユニット又はプロセッサにより実行されてもよい。加えて、個々の特徴が異なる請求項に含まれているが、これらは好適に組み合わせ可能であり、異なる請求項内の包含は、特徴の組合せが可能ではないことや、及び／又は有利でないことを意味しない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリへの制限を意味するわけではなく、むしろ、適当な態様で、特徴が他の請求項のカテゴリに等しく適用できることを示す。更にまた、請求項の特徴の順番は、当該特徴が働かなければならない特定の順番を意味せず、特に、方法クレムの個々のステップの順番は、当該ステップがこの順番で実施されなければならないことを意味しない。むしろ、ステップは、任意の適切な順番で実施されてもよい。加えて、単一の名称は、複数を除外しない。よって、「ａ」、「ａｎ」、「第１の」、「第２の」などの言葉は、複数を排除しない。請求項内の参照符号は、明確な例としての単なる提示であり、いかなる形式であれ請求項の範囲を制限するものとして解釈されることはない。

Claims (22)

1. マルチ視野信号の２つの視野と対応する画像対をエンコードするための方法であって、前記方法は、更に、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像を生成するステップであって、第１の結合画像は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の結合画像を生成するステップと、第１の結合画像をエンコードすることによりベースレイヤを生成するステップと、第１及び第２の視差ベースの予測と、前記ベースレイヤにエンコードされた画像情報と関連したそれぞれ関連する第１及び第２のブロックベースの変位ベクトルとを生成するステップであって、第１及び第２のブロックベースの変位ベクトルが第１及び第２の画像に存在する視差情報、前記ベースレイヤにエンコードされた画像情報、及びそれぞれの第１及び第２の画像を使用して生成される第１及び第２のブロックベースの変位ベクトルとを生成するステップと、第１及び第２の視差ベースの予測を使用して、第１及び第２の画像をエンコードすることにより、増強レイヤを生成するステップとを有する、方法。
2. 第１及び第２の視差ベースの予測を生成するステップは、前記ベースレイヤにエンコードされた画像情報と、第１の画像と、第１及び第２の画像から導出される視差情報とに基づいた第１の視差予測及び第１のブロックベースの変位ベクトルと、前記ベースレイヤにエンコードされた画像情報と、第２の画像と、第１及び第２の画像から導出される視差情報とに基づいた第２の視差予測及び第２のブロックベースの変位ベクトルとを生成するステップを有する、請求項１に記載の方法。
3. 第１及び第２の画像が第２の結合画像の形式で前記増強レイヤにエンコードされ、前記方法は、更に、画像対の第１の画像の第２のローパスフィルタ処理バージョン及び画像対の第２の画像の第２のローパスフィルタ処理バージョンに基づいて第２の結合画像を生成するステップを有し、第２の結合画像は、第１の画像の第２のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第２の結合画像において空間的に同じ場所に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、請求項１又は２に記載の方法。
4. 前記ブロックベースの変位ベクトルを生成するステップは、第１及び第２の画像を使用して、最初の視差推定値を生成するステップと、最初の視差推定値を使用して、それぞれの視差予測と関連するブロックベースの変位ベクトルを生成するステップとを有する、請求項３に記載の方法。
5. 第１の視差ベースの予測及び第２の視差ベースの予測を視差ベースの予測に結合するステップを有し、前記視差ベースの予測は、第１の画像の第１の視差予測から第２のパリティを持つサンプルであって前記視差ベースの予測において空間的に共に配置されているサンプルと、第２の画像の第２の視差予測から第１のパリティを持つサンプルであって前記視差ベースの予測において空間的に共に配置されているサンプルとを有し、第１及び第２の画像をエンコードするステップは、前記視差ベースの予測の形式で第１及び第２の視差ベースの予測を使用するステップを有する、請求項３又は４に記載の方法。
6. 前記増強レイヤが第１の増強レイヤ及び第２の増強レイヤにより形成され、前記方法は、更に、第１の視差ベースの予測を用いて第１の画像をエンコードすることにより第１の増強レイヤを生成するステップと、第２の視差ベースの予測を用いて第２の画像をエンコードすることにより第２の増強レイヤを生成するステップとを有する、請求項１に記載の方法。
7. 第１の中間の予測及び第２の中間の予測を両方ともフル解像度でそれぞれ形成するために、前記ベースレイヤに含まれる画像情報のそれぞれの空間半分をアップスケールするステップと、第１の中間の予測を更に使用して、第１の画像をエンコードするステップと、第１の中間の予測を更に使用して、第２の画像をエンコードするステップとを更に有する、請求項６に記載の方法。
8. 前記ベースレイヤがＭＰＥＧ２エンコード、ＡＶＣエンコード、及びＨＶＣエンコードの一つを使用してエンコードされるか、又は、前記増強レイヤがＡＶＣエンコード及びＨＶＣエンコードの一つを使用してエンコードされる、請求項１乃至７の何れか一項に記載の方法。
9. 前記結合画像が、横に並んでエンコードされた画像又は上下に並んでエンコードされた画像である、請求項１乃至８の何れか一項に記載の方法。
10. 前記ベースレイヤ、前記増強レイヤ、第１のブロックベースの変位ベクトル、及び第２のブロックベースの変位ベクトルをビットストリームへ多重するステップを更に有する、請求項１乃至９の何れか一項に記載の方法。
11. 前記ビットストリームを報知するステップを更に有する、請求項１乃至１０の何れか一項に記載の方法。
12. マルチ視野信号の２つの視野と対応する画像対をデコードするための方法であって、前記方法は、ベースレイヤをデコードすることにより第１のデコードされた結合画像を生成するステップと、第１のデコードされた結合画像と組み合わせてそれぞれ関連する第１及び第２のブロックベースの変位ベクトルを使用して、第１及び第２の視差ベースの予測を生成するステップであって、第１及び第２のブロックベースの変位ベクトルが、第１のデコードされた結合画像と関連し、第１及び第２の画像、第１のデコードされた結合画像、及びそれぞれの第１及び第２の画像に存在する視差情報を使用して生成されている、当該ステップと、第１の再構成された画像及び第２の再構成された画像を形成する第１及び第２の視差ベースの予測を使用して、増強レイヤをデコードするステップとを有する、方法。
13. 第１及び第２の画像が第２の結合画像の形式で増強レイヤにエンコードされ、当該方法は、更に、第１及び第２の視差ベースの予測を使用して増強レイヤをデコードすることにより第２のデコードされた結合画像を生成するステップと、
    第１の再構成された画像の第１のパリティを持つサンプルとして第１のデコードされた結合画像の空間的に共に配置されたサンプルを使用し、第１の再構成された画像の第２のパリティを持つサンプルとして第２のデコードされた結合画像の空間的に共に配置されたサンプルを使用して、これにより第１の再構成された画像を形成して、第１の再構成された画像を再構成するステップと、第２の再構成された画像の第２のパリティを持つサンプルとして第１のデコードされた結合画像の更に空間的に共に配置されたサンプルを使用し、第２の再構成された画像の第１のパリティを持つサンプルとして第２のデコードされた結合画像の更に空間的に共に配置されたサンプルを使用して、これにより第２の再構成された画像を形成して、第２の再構成された画像を再構成するステップとを有する、請求項１２に記載の方法。
14. 前記増強レイヤが第１の増強レイヤ及び第２の増強レイヤにより形成され、当該方法は、更に、第１の再構成画像を形成する第１の視差ベースの予測を使用して第１の増強レイヤをデコードするステップと、第２の再構成画像を形成する第２の視差ベースの予測を使用して第２の増強レイヤをデコードするステップとを有する、請求項１２に記載の方法。
15. マルチ視野信号の２つの視野と対応する画像対をエンコードするためのエンコーダであって、前記エンコーダは、画像対の第１の画像の第１のローパスフィルタ処理バージョンと、画像対の第２の画像の第１のローパスフィルタ処理バージョンとに基づいて第１の結合画像を生成するための第１の生成器であって、第１の結合画像は、第１の画像の第１のローパスフィルタ処理バージョンからの第１のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルと、第２の画像の第１のローパスフィルタ処理バージョンから第２のパリティを持つサンプルであって、第１の結合画像において空間的に共に配置されているサンプルとを有する、第１の生成器と、第１の結合画像をエンコードすることによりベースレイヤを生成するための第１のエンコーダと、第１及び第２の視差ベースの予測と、前記ベースレイヤにエンコードされた画像情報と関連したそれぞれ関連する第１及び第２のブロックベースの変位ベクトルとを生成するための第２の生成器であって、第１及び第２のブロックベースの変位ベクトルが第１及び第２の画像に存在する視差情報、前記ベースレイヤにエンコードされた画像情報、及びそれぞれの第１及び第２の画像を使用して生成される第２の生成器と、第１及び第２の視差ベースの予測を使用して、第１及び第２の画像をエンコードすることにより、増強レイヤを生成するための増強エンコーダとを有する、エンコーダ。
16. 第１及び第２の画像が第２の結合画像の形式で前記増強レイヤにエンコードされ、前記エンコーダは、更に、画像対の第１の画像の第２のローパスフィルタ処理バージョンと、画像対の第２の画像の第２のローパスフィルタ処理バージョンとに基づいて第２の結合画像を生成するための第３の生成器を有し、第２の結合画像は、第１の画像の第２のローパスフィルタ処理バージョンからの第２のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルと、第２の画像の第２のローパスフィルタ処理バージョンから第１のパリティを持つサンプルであって、第２の結合画像において空間的に共に配置されているサンプルとを有する、請求項１５に記載のエンコーダ。
17. 前記増強レイヤが第１の増強レイヤ及び第２の増強レイヤにより形成され、前記増強エンコーダは、第１の視差ベースの予測を用いて、第１の画像をエンコードすることにより第１の増強レイヤを生成するための第２のエンコーダと、第１の視差ベースの予測を用いて、第２の画像をエンコードすることにより第２の増強レイヤを生成するための第３のエンコーダとを有する、請求項１５に記載のエンコーダ。
18. マルチ視野信号の２つの視野と対応する画像対をデコードするためのデコーダであって、前記デコーダは、ベースレイヤをデコードすることにより第１のデコードされた結合画像を生成するための第１のデコーダと、第１のデコードされた結合画像と組み合わせてそれぞれ関連する第１及び第２のブロックベースの変位ベクトルを使用して、第１及び第２の視差ベースの予測を生成するための第１の生成器であって、第１及び第２のブロックベースの変位ベクトルが、第１のデコードされた結合画像と関連し、第１及び第２の画像、第１のデコードされた結合画像、及びそれぞれの第１及び第２の画像に存在する視差情報を使用して生成されている、第１の生成器と、第１の再構成された画像及び第２の再構成された画像を形成する第１及び第２の視差ベースの予測を使用して、増強レイヤをデコードするための増強デコーダとを有する、デコーダ。
19. 第１及び第２の画像が第２の結合画像の形式で増強レイヤにエンコードされ、前記デコーダは、更に、第１及び第２の視差ベースの予測を使用して、増強レイヤをデコードすることにより、第２のデコードされた結合画像を生成するための第２のデコーダを有する増強デコーダと、第１の再構成された画像の第１のパリティを持つサンプルとして第１のデコードされた結合画像の空間的に共に配置されたサンプルを使用し、第１の再構成された画像の第２のパリティを持つサンプルとして第２のデコードされた結合画像の空間的に共に配置されたサンプルを使用し、これにより第１の再構成された画像を形成する、第１の再構成された画像を再構成するための第１の再構成器と、第２の再構成された画像の第２のパリティを持つサンプルとして第１のデコードされた結合画像の更に空間的に共に配置されたサンプルを使用し、第２の再構成された画像の第１のパリティを持つサンプルとして第２のデコードされた結合画像の更に空間的に共に配置されたサンプルを使用し、これにより第２の再構成された画像を形成する、第２の再構成された画像を再構成するための第２の再構成器とを有する、請求項１８に記載のデコーダ。
20. 前記増強レイヤが第１の増強レイヤ及び第２の増強レイヤにより形成され、増強デコーダは、第１の再構成された画像を形成する第１の視差ベースの予測を使用して、第１の増強レイヤをデコードするための第２のデコーダと、第２の再構成された画像を形成する第２の視差ベースの予測を使用して、第２の増強レイヤをデコードするための第３のデコーダとを有する、請求項１８に記載のデコーダ。
21. コンピュータに実行されて当該コンピュータに請求項１乃至１１又は請求項１２乃至１４の方法の何れか一項に記載の方法を実行させるための命令を有する、コンピュータプログラム。
22. 請求項１乃至１１又は請求項１２乃至１４の方法の少なくとも一つ以上の方法を実行するためのソフトウェアツールであって、少なくとも一つ以上の前記方法を実行するための命令を有する、ソフトウェアツール。

Images