JP5235035B2 - チェッカーボード多重化したイメージデータのエンコーディング構造及びデコーディング構造 - Google Patents

Description

（関連出願の相互参照）
本出願は、２００８年９月２３日出願の米国暫定特許出願番号６１／０９９，５４２、及び２００９年１月２９日出願の米国暫定特許出願番号６１／１８４，０５１に基づく優先権を主張する。この暫定特許出願はそのすべてを参照として本明細書に組み込むものとする。

本発明は、イメージデータデコーディングに関する。

（背景）
近年、コンテンツプロバイダは、立体的（３Ｄ）コンテンツを家庭に配信することに関心を抱くようになってきた。このような関心は、３Ｄ素材の数と生産が増えてきたことのみならず、すでに消費者に利用可能となっているいくつかの立体表示装置の出現により強まってきている。いくつかのシステムでは、具体的なビデオ視聴「構成」フォーマットをＩＳＯ ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４、及びＶＣ−１のような、主として既存の圧縮技術で合成する立体的に見える素材を家庭に配信することを提案している。ユーザーが見るために表示する前にコンテンツのデコーディングも必要となる。

本願発明者は、消費者の間に３Ｄ技術の急速な導入を実現させた。その方法は、既存のセットトップボックス、ＤＶＤ、ブルーレイディスクプレーヤーのみならず、既存の３Ｄ表示可能ディスプレーに、最小限の変更を加え、又は全く変更を加えずに実施することができるものである。再生装置を改造することなく３Ｄコンテンツを配信するための可能なひとつの方法では、チェッカーボード構成（図１参照）を用いて２つの視点を多重化することにより、ビデオコンテンツ情報を作り出し、コーディングし、そして配信する。このようなシステムは、ＭＰＥＧ−４ ＡＶＣ/Ｈ．２６４ビデオコーディング標準又は他の標準（例えば、マイクロソフトのＶＣ１）を用いて実施することができる。しかしながら、標準化されたコーディックは３Ｄエンコードされたビデオ信号の特性を考慮していないため、最適状態とはいえないコーディング性能しか得られない。

本発明は、ＭＰＥＧ−４ ＡＶＣに基づく、現在のドルビー民生レベル３Ｄビデオコーディングシステムの拡張として構成することができる。同様の拡張、付加、調整、修正、等を他のシステムに適用することができる。このような実施形態等において、本発明は、ＭＰＥＧ−４ ＡＶＣ標準を拡張し、エンコードされた信号の特性をより適切に考慮するようにして、コーディング効率と性能とを改善する。本発明は、例えば、エンコーダのみならずデコーダにおいて導入することができる。同様の拡張をエンコーディング／デコーディング標準、方法、装置、及び／又はシステムについて行うことができる。適用範囲には、例えば、ブルーレイビデオディスクが含まれ、また、（数ある中で）より帯域が制限されたブロードキャスト及びダウンロード手法を含むことができる。本発明は、現在のドルビー民生レベル３Ｄビデオコーディングシステム（又は他の３Ｄ及び／又は他のマルチビューシステム）をフル解像度に改善又は強化する拡大縮小可能な手法において用いることができる。

種々の実施形態において本発明は、主として、ドルビーの（又はその他の）立体的（３Ｄ）フォーマットビデオエンコーダ及びデコーダにもといることを意図しているが、他の、ドルビーの及び／又はドルビーでない具体的な危機に用いることもできる。適用範囲には、例えば、ブルーレイビデオディスク、ブロードキャスト、衛星、及びＩＰＴＶシステム、その他が含まれる。

１つの実施形態において、本発明は、インターリーブ（交互に配置）したコンテンツのビデオコーディング効率を改善するために逆多重化したデータに適用する変換及び量子化処理を修正するステップを具備する。代替的に、又は上記実施形態と共に、逆多重化したデータは、例えば、チェッカーボードフォーマット化した逆多重化したデータを具備することができる。変換及び量子化処理における修正は、例えば、標準化された方法においてビデオコーディングの効率にのみ影響を与える修正とすることができる。モーションの推定及び補償は、例えば、ブロックを重複させることを必要としないブロックに基づく方法を用いて行うことができる。

モーションの推定及び補償は、例えば、イントラ予測を具備することができる。ビデオのコーディング及びデコーディングは、フィールドコンテンツに基づくデータを具備し、この方法では、ジクザグスキャンニング順序を具備し、モーションの推定及び補償を、コンテンツの特性を明確にするような方法で、変換とは別に修正することができる。種々の実施形態において、参照データ及びソースデータの両方は複数のセットに再構成され、各セットは視点とパリティーに従いデータを分割し、ソースデータは、予測（例えばインター予測及びイントラ予測が含まれる）のための参照データと一致させることができる。

他の実施形態において、本発明は、インターリーブ（交互に配置）したイメージデータをデコーディングする方法であって、モーション推定及び／又はモーション補償のためにダイヤモンド形のブロックを用いるステップと、残余のデータに直角変換又は直交変換を用いるステップとを具備する方法を提供する。代替的に、又は上記実施形態と共に、非ブロック化は、ダイヤモンド形のブロックの端部で行い、及び／又はデータパディングは、イメージデータの境界で行うことができる。

さらに他の実施形態において、本発明は、モーション推定及び／又はモーション補償のためにダイヤモンド形のブロックを用い、残余のデータの直角変換又は直交変換を用いる、インターリーブ（交互に配置）したイメージデータのために構成したコーディックを具備する。

種々の実施形態において、デコーダは、とりわけ、ダイヤモンド形のブロックの端部で行い、及び／又はデータパディングは、イメージデータの境界で行うように構成することができる。

装置及び方法の両方の場合において、汎用コンピュータ又はネットワークコンピュータ上のプログラムとして都合よく実行することができ、その結果は任意の汎用ネットワークコンピュータに接続された出力装置に表示することができ、又は、遠隔にある出力又は表示のための装置に伝送することができる。加えて、コンピュータプログラム、データシーケンス、及び／又は制御信号として表現された本発明の任意の構成要素は、無線ブロードキャスト、及び銅線、光ファイバーケーブル、及び同軸ケーブルを介する伝送、その他を含む任意の媒体における任意の周波数で、ブロードキャストした（又は伝送した）電子信号として実施することができるが、これらに限定されるものではない。

本発明及びそれに伴う利点が容易に十分把握できると共に、添付図に関連させて以下の詳細な説明を参照することにより、本発明がよく理解できる。
立体的に見える素材の配信のためにインターリーブ（交互に配置）した例示的なチェッカーボードである。 フレームモードにおけるチェッカーボードデータの逆多重化に基づく例示的な変換である。 フィールドモードにおけるチェッカーボードデータの逆多重化に基づく例示的な変換である。 本発明の実施形態におけるブロックを重複させることを考慮しないブロックモーション補償の例である。 本発明の実施形態におけるフレームモードにおけるチェッカーボードデータの逆多重化に基づく例示的な変換である。 本発明の実施形態における例示的なビデオエンコーダである。 本発明の実施形態における例示的なビデオデコーダである。 直角前処理を用いる代わりに、コンテンツの特性を十分考慮して用いられたダイヤモンドブロックの例である。

本願発明者は、消費者の間に３Ｄ技術の急速な導入を実現した。その方法は、既存のセットトップボックス、ＤＶＤ、ブルーレイディスクプレーヤーのみならず、既存の３Ｄ表示可能ディスプレーに、最小限の変更を加え、又は全く変更を加えずに実施することができるものである。図面の参照において、類似の参照番号は類似する要素を示し、もっと具体的には、図１において、再生装置を改造することなく３Ｄコンテンツの配信を行うことのできる１つの手段（システム１００）が記載されており、これには、例えば、チェッカーボード構成を用いて２つの視点を多重化することにより、ビデオコンテンツ情報を作り出し、コーディングし、そして配信することが含まれる。

このようなシステムは、ＭＰＥＧ−４ ＡＶＣ/Ｈ．２６４ビデオコーディング標準又は他の標準（例えば、マイクロソフトのＶＣ１）を用いて実施することができる。しかしながら、標準化されたコーディックは３Ｄエンコードされたビデオ信号の特性を考慮していないため、最適状態とはいえないコーディング性能しか得られない。特に、このようなコーディックは、漸進的な、又は、行でインターリーブ（交互に配置）した（インターレースした）ビデオコンテンツを考慮するだけのツールを設計し、このようなツールを含むものである。これらには、モーションの推定、補償、変換、及び量子化のようなツールが含まれる。しかし、チェッカーボードインターリーブしたデータは、前進的な、又はインターレースしたコンテンツとは非常に異なる特性を持つことがある。この発明において、このようなツールを拡張し、この特性を適切に考慮して、チェッカーボードコンテンツのコーディング効率を向上させる。

第１の実施形態において、チェッカーボードインターリーブしたコンテンツのビデオコーディングの効率の良さは、チェッカーボード逆多重化したデータに適用する変換処理及び量子化処理を修正するだけで達成することができる。特に、フレームモードにおけるチェッカーボードデータの逆多重化に基づく例示的な変換を示す図２にも見ることができる。図２に示すとおり、参照チェッカーボード（ＣＢ）ブロック２１０及びソースＣＢブロック２２０とから、残余のＣＢブロック２３０が生じ、変換デミュクサ２４０により信号分離され変換ブロック２５０に入る。このシナリオにおいて、モーションの推定及び補償は、重複ブロックを考慮しない方法に基づく一般的なブロックを用いて行われる（例えば、重複ブロックを考慮しないブロックモーション補償の一例を示す、図４参照）。図４において、異なるブロックサイズを用いた重複なしの推定を４１０で示している。この処理は、一般にチェッカーボード多重化したデータが類似のモーションで特徴付けられるとして正当化することができる。

図３は、フィールドモードにおけるチェッカーボードデータの逆多重化に基づく例示的な変換を示す。図３に示すように、参照ブロック３１０及びソースブロック３２０とから、変換デミュクサ３４０により信号分離され変換ブロック３５０に入る。

しかし、モーション補償又はイントラ予測が行われた後、残余のデータは、変換及び量子化の前にチェッカーボード逆多重化される。既存のコーディックに採用される一般的な変換方法が直角又は直交処理を採用するという事実を考慮して、このシナリオにおける逆多重化は異なる視点からのみならず行の観点からも行われる。このことは、例えば、４×４又は８×８整数ＤＣＴ又は他の変換により変換し、量子化し、ジグザグスキャンし、そして、エンコードしなければならない４個のブロックを生じる結果となる。他の実施形態において、インターレース（すなわち、フィールド）描画に対しては、データがそのような動作を行うために適切に処置されているので垂直逆多重化のみを行う必要がある。この処理は、シーケンス、描画、スライス、マクロブロック、又はブロックレベルで信号化される。量子化係数のスキャニング順序は、水平軸及び垂直軸における周波数の違いを考慮して適切に設計することができる。特に、フィールドコンテンツについて、変換係数のスキャニング順序は、水平周波数及び垂直周波数間の所定の差異に基づき一般に垂直方向にバイアスをかける。しかし、我々が導入する新たなコーディングを考慮すると、このような修正は必要ではなく、通常の（すなわちジグザグな）スキャニング順序を用いることができる。

代替的実施形態において、モーションの推定及び補償の処理は、この変換とは別に、コンテンツ特性を考慮するための同様の方法で修正がなされる。より具体的には、参照データとソースデータの両方が複数のセットに再構成され、各セットは視点及びパリティーに
従いデータを分離する。これにより、結果的に、基本的に４つの異なる構成（例えば、偶数／トップ又は奇数／ボトム左視点及び右視点）となる。これは、図５に示されており、フレームモードにおけるチェッカーボードデータの逆多重化に基づく例示的変換であり、参照イメージ５１０／ソースイメージ５２０及び、参照バッファ５２５、視差予測装置５３０と視差補償５４０を含む成分のデインターリービング５２２Ａ／５２２Ｂを示している。図５に示すように、参照イメージのデインタリーブの結果、時計方向に、左上方ボックスから始まり、左視点の映像（つまりＣＢＬＴ（左上方））の偶数行からの「×」のセット、左視点（つまりＣＢＬＢ（左下方））の奇数行からの「×」のセット、右視点の映像（つまりＣＢＲＴ（右上方））の偶数行からの「○」のセット、そして、右視点の映像（つまりＣＢＲＢ（右下方））の奇数行からの「○」のセットを具備することとなる。マッチングフォーマットにおけるデインタリーブは、ソースイメージとしても描かれている。

ソースからの各構成は、イントラ予測とインター予測の両方を含む、予測のための参照データのどのような配置ともマッチさせることができる。ソースデータを予測した後、残余のデータも同一の配置で変換され、量子化され、そしてコード化される。この処理は、データを偶数と奇数のフィールド／ラインデータに構成するようなエンコーディングを行う方法と同様であることが分かるであろう。しかし、本発明では、データはさらに奇数とコーディック偶数の列にも配置される。我々の変換方法（これは単独でも、他の技術と組み合わせてでも用いることができる）と同様に、この方法は、シーケンス、映像、スライス、マクロブロック、又はブロックのレベルで用いるために信号化することができる。

映像レベルでの方法は、例えば、４つの異なる映像、ＣＢＬＴ、ＣＢＬＢ、ＣＢＲＴ、及びＣＢＲＢのエンコーディングを行うときに見られる。これらの４つの映像は、バッファ内で利用可能な先にエンコードされたどの映像にも参照させることができる。初期設定の参照リストの順序づけでは、明白な理由により、これらの映像のトポロジーに従いバイアスされる。すなわち、ＣＢＬＴ映像は、それより前のＣＢＬＴ映像より高い優先順位が与えられ、ＣＢＬＢ映像は、それより前のＣＢＬＢ映像等より高い優先順位が与えられる。このような各映像は、既存のコーディングツール、すなわちＡＶＣによりエンコードすることができる。すべての映像がデコードされたとき、映像は、チェッカーボードイメージとしてさらなる処理のためにフレームバッファに再結合される。不可能な場合は、既存の、例えば、ＭＰＥＧ−４ ＡＶＣ又はＶＣｌですでに利用可能な、漸進的又はインターレースのコーディング方法が用いられる。信号化の種々の方法により、古くからの方法を、インターレースコーディングのためのＭＰＥＧ−４ ＡＶＣですでに存在するものと同様な、映像、スライス、マクロブロック、及び／又はブロックレベルにおける我々の方法と結合することを可能にすることに留意すべきである。

さらなる実施形態において、ピクセルデータの非ブロック化を、このような方法を用いて、同じセットのピクセルのみに対して適用する。このような方法に採用するエンコーダ６００とデコーダ７００とは、それぞれ図６と図７とに示されている。

さらなる実施形態において、推定、変換、及び量子化のために直角又は直交ブロックを用いる代わりに、コンテンツの所定の特性にダイヤモンドブロックを考慮することもできる。図８は、処理に直角ブロックを用いる代わりに、コンテンツの特性を十分考慮するダイヤモンドブロックを用いるシステム８００の例である。図８において、例示的な右視点映像の縦縞模様の暗くなった「○」ピクセル成分（ダイヤモンド形）と、例示的な左視点映像の縦縞模様の暗くなった各「○」ピクセル成分のすぐ下の横縞模様の暗くなった「×」ピクセル成分（ダイヤモンド形）が示されている。すなわち、モーションの推定及び補償は、Ｎ×Ｍの大きさのダイヤモンド形のブロックで用いられ、残余のデータの変換は、適切な角度（例えば４５度）残余のデータに第１の回転を行うことにより、直角又は直交変換を用いて、行うことができる。非ブロック化はダイヤモンドブロックデータの端部におけるシナリオで実行される。さらに、イメージ周辺は適切にデータをパディングすることにより処理される。この方法は、シーケンス、映像、スライス、マクロブロック、又はブロックレベルで再度行うことが可能であり、先に説明したどんな方法とも組み合わせることができる。しかし、主として複雑さ及び効率性からの理由により、この方法は、シーケンス又は映像レベルで考慮することが望ましい。

さらに他の実施形態において、上述のどの方法も、チェッカーボードインターリーブしたイメージのみならずチェッカーボードインターリーブしたイメージからの残余のデータ、又は、周期的な方形タイリング方法を用いたインターリーブした４つの映像の組み合わせをエンコーディングするために用いることができる。

上記説明に照らして、明らかに本発明に対する多くの修正と変形が可能である。本発明は、今後出願される通常の特許出願に特許請求の範囲内に含まれ、ここに具体的に記載したものとは別の形態で実施することが可能であることは当然である。

図面に記載した本発明の好ましい実施形態、及びその具体的技術は明確にするために用いたものである。しかし、本発明はそのように選択した具体的なものに限定されるものではなく、各具体的な要素は同様に動作する技術的に均等なすべてのものを含むことは当然のことである。例えば、本発明の一部又は処理を記載するとき、他の均等な装置、又は均等な機能又は均等な能力を持つ他の装置は、ここに列挙の有無にかかわらず、それに置き換えが可能である。さらに、本願発明者は、現在知られていない新たに開発された技術であっても、上述の一部と置き換えが可能であり、本願発明の範囲からはずれない。参照バッファ、デマルチプレクサ、推定器、補償装置／機構、コーディック、フォーマット、パターン、等、を含む、これらに限定されない他のすべてのアイテムは、すべての均等物に照らして考慮に入れるべきである。

コンピュータ技術についての通常の知識を有する者にとって明らかであるように、本発明の一部分は従来の汎用コンピュータ又は専用ディジタルコンピュータ又は本明細書の教示に従いプログラムされたマイクロプロセッサを用いて好都合に実行することが可能である。

ソフトウェア技術についての通常の知識を有する者にとって明らかであるように、適切なソフトウェアコーディングを、本明細書の教示に基づいて、通常の知識を有するプログラマーは容易に作成することができる。本明細書に基づいて当業者にはすぐわかるので、具体的な集積回路を利用することにより、又は、通常の部品回路の適切なネットワークを相互接続することにより、本発明を実施することもできる。

本発明は、制御に用いることができ、又は、コンピュータに本発明の処理を実行させるために用いることのできる、記憶した命令を有する記憶媒体としたコンピュータプログラム製品を含む。この記憶媒体には、フロッピーディスク、ミニディスク、光ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ、ＣＤ、又はＤＶＤ ＲＷ＋／−、マイクロドライブ、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置（フラッシュカード、メモリースティックを含む）、磁気カード、光カード、ＳＩＭカード、ＭＥＭＳ、ナノシステム（分子記憶ＩＣを含む）、ＲＡＩＤ装置、遠隔データ記憶／保管／倉庫保管又は命令及び／又はデータを記憶するのに適したあらゆるタイプの媒体又は装置が含まれるが、これに限定されるものではない。

コンピュータ読み取り可能媒体に記憶された本発明は、汎用コンピュータ／専用コンピュータ又はマイクロプロセッサを制御するため、及び、コンピュータ又はマイクロプロセッサに利用者又は本発明の結果生じたものを用いる他の機構と相互に作用させるための制御の両方を行うソフトウェアを含む。そのようなソフトウェアは、装置のドライバ、オペレーティングシステム、及びユーザーアプリケーションを含むが、これらに限定されるものではない。最終的に、このようなコンピュータ読み取り可能媒体は、上述したような、本発明を実施するためのソフトウェアをさらに具備する。

本発明の教示内容を実行するためのソフトウェアモジュールが汎用／専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれ、このソフトウェアモジュールは、モーションの推定、モーションの補償、色補正、予測、変換、インターリービング／デインターリービング、ブロックの特定を含むがこれらに限定されることはなく、さらに、制限されることなくシーケンスレベル、映像レベル、スライスレベル、ブロックレベルを含むあらゆるレベルで動作し、そして、本発明の処理によるディスプレー、記憶、又は通信を行う。

本発明は、ここに記載のとおり、構成要素（本発明の種々の部品又は特徴）及びその均等物を適切に具備する。さらに、ここに具体的に開示した本発明は、具体的な開示の有無にかかわらず、構成要素が欠けていても実施可能である。明らかに、上記技術に照らして、本発明に対する多くの修正と変形が可能である。従って、添付特許請求の範囲内において、ここに具体的に記載したものとは別形態の本発明を実施することができるのは当然のことである。

Claims (5)

1. ３Ｄビデオデータをエンコーディングする方法であって、該３Ｄビデオデータは、チェッカーボード構成に多重化した、左視点の映像データと右視点の映像データからなる、チェッカーボード多重化したイメージデータ（２２０）を具備し、該方法は、
   前記チェッカーボード多重化したイメージデータ（２２０）からと、チェッカーボード多重化した参照データ（２１０）とから、ビデオコーディング標準に従うチェッカーボード多重化した残余のデータ（２３０）を生成するステップであって、該チェッカーボード多重化した参照データ（２１０）は、モーションの推定及び補償ループに由来し、該チェッカーボード多重化した残余のデータ（２３０）は、左視点の残余のデータと右視点の残余のデータとからなることを特徴とするステップと、
   偶数行の左視点の残余のデータのセット、奇数行の左視点の残余のデータのセット、偶数行の右視点の残余のデータのセット、及び、奇数行の右視点の残余のデータのセットからなる複数の逆多重化した残余のデータのセット（２５０）を生成するために、前記チェッカーボード多重化した残余のデータ（２３０）を逆多重化するステップと、
   前記複数の逆多重化した残余のデータのセットの各々に、変換処理及び量子化処理を個別に加えるステップと、
   を具備することを特徴とする方法。
2. 前記モーションの推定及び補償は、ブロックを重複させることを必要としないブロックに基づく方法を用いて行うことを特徴とする請求項１に記載の方法。
3. イントラ予測をさらに具備することを特徴とする請求項１に記載の方法。
4. 前記変換処理及び量子化処理の結果生じた係数はジグザグなスキャニング順序で行うことを特徴とする請求項１に記載の方法。
5. ３Ｄビデオデータをエンコーディングする方法であって、該３Ｄビデオデータは、チェッカーボード構成に多重化した、左視点の映像データと右視点の映像データからなる、チェッカーボード多重化したイメージデータ（５２０）を具備し、該方法は、
   前記チェッカーボード多重化したデータ（５２０）をデインターリービング（５２２Ｂ）し、複数のデインターリービングしたイメージデータのセットにするステップであって、該デインターリービングしたイメージデータのセットは、偶数行の左視点のイメージデータのセット、奇数行の左視点のメージデータのセット、偶数行の右視点のメージデータのセット、及び、奇数行の右視点のメージデータのセットを具備することを特徴とするステップと、
   前記デインターリービングしたイメージデータのセットと、参照バッファ（５２５）からデインターリービングした参照データのセットとに基づき、モーションの推定（５３０）及び補償（５４０）を行うステップであって、該デインターリービングした参照データのセットは、偶数行の左視点の参照データのセット、奇数行の左視点の参照データのセット、偶数行の右視点の参照データのセット、及び、奇数行の右視点の参照データのセットを具備することを特徴とするステップと、
   を具備することを特徴とする方法。

Images