JP6902537B2

JP6902537B2 - ライトフィールドベースの画像の符号化方法および復号方法並びに対応する装置

Info

Publication number: JP6902537B2
Application number: JP2018520550A
Authority: JP
Inventors: ボワソン，ギヨーム; ロペス，パトリック; トロ，ドミニク
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2015-10-21
Filing date: 2016-10-20
Publication date: 2021-07-14
Anticipated expiration: 2036-10-20
Also published as: JP2018533305A; CN108293135A; KR20180072702A; WO2017068022A1; WO2017068022A9; EP3160142A1; EP3366040B1; EP3366040A1; CN108293135B; US20180316935A1; US10638158B2; KR102825367B1

Description

本開示は、ライトフィールドイメージング、およびライトフィールドデータを取得および処理する技術に関する。より正確には、ライトフィールドベースの画像、すなわちプレノプティック画像の符号化方法および装置、ならびに復号方法および装置が開示される。

プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラは、従来のカメラと比べて付加的な情報を得ることができるため、計算フォトグラフィの分野で大きな人気を集めている。実際、プレノプティックカメラは、主レンズとセンサとの間に配置されたマイクロレンズアレイにより、センサと交差する各光線束に沿って進む光の量を測定することができる。結果として、かかるカメラは、新規な撮影後処理機能を有する。例えば、撮影後、視点、焦点または被写界深度を変更することができる。

プレノプティックカメラの概略図を図１に示す。プレノプティックカメラ１は、イメージングセンサとも呼ばれるフォトセンサアレイ１３に関連するレンズ構成で形成されている。レンズ構成は、主レンズ１１と、複数のマイクロレンズ（例えば、ＬｘＬマイクロレンズのアレイ）を含むマイクロレンズアレイ１２とを含む。マイクロイメージは、マイクロレンズの後ろのフォトセンサアレイ１３に形成されたｎ×ｎイメージである。マイクロ画像の集合は、より簡単に、生画像または生プルノプティック画像と呼ばれる４次元生ライトフィールド画像を形成する。生の画像から、デモザイクおよび逆多重化によってビューのマトリクス（サブアパーチャ画像セットとも呼ばれる）を得ることができる。デモザイク処理によりフルカラーの生画像を回復することができ、すなわち生画像のピクセルのフルカラー情報（例えば、ＲＧＢ情報、ここでＲＧＢは「赤」、「緑」および「青」を表す）を回復することができる。デモザイク処理後に行う逆多重化により、異なるビューを回復することができる。逆多重化は、デモザイク処理後のすべてのマイクロ画像から同一位置の画素をグループ化することを含む。ビューは、サブアパーチャ画像とも呼ばれる。ＰｅｌｉｃａｎＩｍａｇｉｎｇ（登録商標）カメラなどの一部のカメラは、ビューのマトリクスを直接提供する（すなわち、デモザイク処理を必要としない）。さらに、４次元ライトフィールド画像（プレノプティック画像とも呼ばれる）との用語は、４次元の生ライトフィールド画像またはビューのマトリクスのいずれかに対応する（例えば、２００６年７月発行のＲｅｎＮｇ著「ＤｉｇｉｔａｌＬｉｇｈｔＦｉｅｌｄＰｈｏｔｏｇｒａｐｈｙ」と題された博士論文の第３．３章を参照されたい）。

図２に示すように、マイクロレンズアレイがＬ×Ｌ個のマイクロレンズのアレイであり、各マイクロ画像のサイズがｎ×ｎである場合、デモザイク処理および逆多重化の後に得られるビューのマトリクスのサイズは、ｎ×ｎであり、各サブアパーチャ画像／ビューのサイズはＬ×Ｌである。

既知のビデオコーデック（例えば、Ｈ．２６４、ＨＥＶＣなど）を用いたコンテンツ（すなわち生画像またはビューマトリクス）を符号化することは、最適ではない。これらのコーデックはプレノプティックイメージングの特異性を考慮しないからである。

複数のブロックに分割されたプレノプティック画像を符号化する方法が開示される。前記方法は、空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを符号化することと、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、前記中央ブロックを直ぐに囲む周囲ブロックを予測符号化することとを含む。

変形例では、複数のブロックに分割された４次元ライトフィールド画像を符号化する方法が開示される。該方法は、前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールドの他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを符号化することと、前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測符号化することとを含む。

本実施形態はまた、複数のブロックに分割されたプレノプティック画像を符号化するための装置を提供する。該符号化する装置は、空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを符号化する手段と、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、前記中央ブロックを直ぐに囲む周囲ブロックを予測符号化する手段とを有する。

本実施形態はまた、複数のブロックに分割されたプレノプティック画像にアクセスするように構成された通信インターフェースと、少なくとも１つのプロセッサとを有する符号化装置も提供する。該少なくとも１つのプロセッサは、空間予測なしに、中央ブロックと呼ばれるアクセスされた前記プレノプティック画像の中央領域内のブロックを符号化し、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、前記中央ブロックを直ぐに囲む周囲ブロックを予測符号化する。

本実施形態はまた、コンピュータ上で実行されたときに、以下のステップを実行するプログラムコード命令を含むコンピュータプログラム製品も提供する。

空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを符号化することと、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、前記中央ブロックを直ぐに囲む周囲ブロックを予測符号化すること。

本発明の実施形態はまた、実行時に、少なくとも１つのプロセッサに命令して以下のことを指示する命令を記憶した非一時的なコンピュータ可読媒体を提供する。空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを符号化することと、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、前記中央ブロックを直ぐに囲む周囲ブロックを予測符号化すること。

奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測符号化することは、空間的単一方向予測により、前記中央ブロックを垂直に又は水平に隣接する周囲ブロックを符号化することと、空間的双方向予測により、その他の周囲ブロックを符号化することとを含んでもよい。

偶数個のブロックの場合、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって直ちに周囲のブロックを予測的に符号化することは、前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により符号化することと、双方向予測によって前に符号化された２つの周囲ブロックに隣接する周囲ブロックを符号化することと、単一方向予測により、前に符号化されたブロックの垂直または水平に隣接する周囲ブロックを符号化することと、双方向予測により残りの周囲ブロックを符号化することとを含む。

別の実施形態では、残りのブロックは、空間単一方向予測および空間双方向予測を空間的にインターリーブすることによって、プレノプティック画像の中心からプレノプティック画像の境界まで予測的に符号化される。

具体的な特徴によれば、ブロックは、マイクロ画像またはビューの１つである。

都合のよいことに、中心は空間予測なしでイントラ符号化される。変形例では、前記中央ブロックは、再構成されたプレノプティック画像の空間的に同一位置のブロックから時間的に予測される。

具体的な実施形態では、前記ブロックはビュー画像であり、参照ブロックによるブロックの予測中、前記参照ブロックはケラレ情報により求められる加重により加重される。

複数のブロックに分割されたプレノプティック画像を復号する方法が開示される。該復号方法は、
空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを復号することと、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、周囲ブロック（ｉｍｍｅｄｉａｔｅｌｙｓｕｒｒｏｕｎｄｉｎｇｂｌｏｃｋｓ）を予測復号することとを含む。

また、変形例では、複数のブロックに分割された４次元ライトフィールド画像を復号する方法が開示される。該方法は、前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールドの他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを復号することと、前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測復号することとを含む。

本実施形態はまた、複数のブロックに分割されたプレノプティック画像を復号する装置を提供する。該復号する装置は、空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを復号する手段と、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、周囲ブロック（ｉｍｍｅｄｉａｔｅｌｙｓｕｒｒｏｕｎｄｉｎｇｂｌｏｃｋｓ）を予測復号する手段とを有する。

本実施形態はまた、ビットストリームにアクセスするように構成された通信インターフェースと、少なくとも１つのプロセッサとを有する復号装置も提供する。該少なくとも１つのプロセッサは、アクセスされたビットストリームから、空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを復号することと、アクセスされたビットストリームから、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、周囲ブロック（ｉｍｍｅｄｉａｔｅｌｙｓｕｒｒｏｕｎｄｉｎｇｂｌｏｃｋｓ）を予測復号することとを含む。

本実施形態はまた、コンピュータ上で実行されたときに、以下のステップを実行するプログラムコード命令を含むコンピュータプログラム製品も提供する。空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを復号することと、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、周囲ブロック（ｉｍｍｅｄｉａｔｅｌｙｓｕｒｒｏｕｎｄｉｎｇｂｌｏｃｋｓ）を予測復号することとを含む。

本発明の実施形態はまた、実行時に、少なくとも１つのプロセッサに命令して以下のことを指示する命令を記憶した非一時的なコンピュータ可読媒体を提供する。アクセスされたビットストリームから、空間予測なしに、中央ブロックと呼ばれる前記プレノプティック画像の中央領域内のブロックを復号することと、アクセスされたビットストリームから、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、周囲ブロック（ｉｍｍｅｄｉａｔｅｌｙｓｕｒｒｏｕｎｄｉｎｇｂｌｏｃｋｓ）を予測復号することとを含む。

奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、空間的単一方向予測により、前記中央ブロックを垂直に又は水平に隣接する周囲ブロックを復号することと、空間的双方向予測により、その他の周囲ブロックを復号することとを含んでもよい。

偶数個のブロックの場合、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって直ちに周囲のブロックを予測復号することは、前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により復号することと、双方向予測によって前に復号された２つの周囲ブロックに隣接する周囲ブロックを復号することと、単一方向予測により、前に復号されたブロックの垂直または水平に隣接する周囲ブロックを復号することと、双方向予測により残りの周囲ブロックを復号することとを含む。

例示的実施形態では、残りのブロックは、空間単一方向予測および空間双方向予測をインターリーブすることによって、プレノプティック画像の中心からプレノプティック画像の境界まで予測的に復号される。

都合のよいことに、中央ブロックは空間予測なしでイントラ符号化される。変形例では、前記中央ブロックは、再構成されたプレノプティック画像の空間的に同一位置のブロックから時間的に予測される。

プレノプティックカメラを示す概略図を示す。マイクロレンズアレイおよびビューマトリクスを示す図である。例示的かつ非限定的な実施形態による、ストリーム内のプレノプティック画像を符号化するように構成された送信機の例示的なアーキテクチャを表す図である。具体的かつ非限定的な実施形態による、ストリーム内のプレノプティック画像を符号化する方法を示すフローチャートである。偶数ｎ個のブロック（左側）の場合の中央ブロックと、奇数ｎ個のブロック（右側）の場合の中央ブロックを示す図である。ｎが偶数の場合（左側）と、ｎが奇数の場合（右側）における単一方向予測および双方向予測の空間インターリーブを示す図である。ｎが偶数の場合（左側）と、ｎが奇数の場合（右側）における単一方向予測および双方向予測の空間インターリーブを示す図である。ｎが偶数の場合（左側）と、ｎが奇数の場合（右側）における単一方向予測および双方向予測の空間インターリーブを示す図である。図４の詳細を示す図である。左側にビューマトリクスを示し、右側にケラレ効果（ｖｉｇｎｅｔｔｉｎｇｅｆｆｅｃｔ）を示す。例示的かつ非限定的な実施形態による、ストリームからプレノプティック画像を復号するように構成された受信機の例示的なアーキテクチャを表す図である。例示的かつ非限定的な実施形態による、ストリームＦからプレノプティック画像を復号する方法を示すフローチャートである。図１０の詳細を示す図である。

発明の詳細な説明

言うまでもなく、原理をよく理解するために必要な要素を説明するため、図面と説明を単純化し、明確性のため、一般的な符号化／復号装置にあるその他の多くの要素は省略した。

図３は、例示的かつ非限定的な実施形態による、ストリーム内のプレノプティック画像を符号化するように構成された送信機１００の例示的なアーキテクチャを表す図である。

送信機１００は、一以上のプロセッサ１０００を有し、これは、例えば、内部メモリ１０３０（例えば、ＲＡＭ、ＲＯＭ、および／またはＥＰＲＯＭなど）を伴うＣＰＵ、ＧＰＵ、および／またはＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒの英語頭字語）を含むことができる。送信機１００は、出力情報を表示し、および／またはユーザがコマンドおよび／またはデータ（例えば、キーボード、マウス、タッチパッド、ウェブカメラ）を入力できるようにそれぞれ適合された一以上の通信インターフェース１０１０と、送信機１００の外部にあり得る電源１０２０とを有する。送信機１００はまた、一以上のネットワークインターフェース（図示せず）を有しても良い。エンコーダモジュール１０４０は、装置に含まれてもよい、符号化機能を実行するモジュールを表す。さらに、エンコーダモジュール１０４０は、送信機１００とは別の要素として実装されてもよく、または当業者に知られているハードウェアとソフトウェアの組み合わせとしてプロセッサ１０００に組み込まれてもよい。

プレノプティック画像は、ソースから取得することができる。別の実施形態によれば、ソースは、これに限定されないが、次のものであってもよい：
− ローカルメモリ、例えば、ビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスクなど；
− ストレージインターフェース、例えば、大容量記憶装置、ＲＯＭ、光ディスク、または磁気支持（ｍａｇｎｅｔｉｃｓｕｐｐｏｒｔ）など；
− 通信インターフェース、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）；及び
− 画像キャプチャ回路（例えば、ＣＣＤ（すなわちＣｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（すなわちＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのセンサ）。

別の実施形態によれば、ストリームは宛先に送信されてもよい。一例として、ストリームは、ビデオメモリまたはＲＡＭ、ハードディスクなどのリモートまたはローカルのメモリに格納される。変形例では、ストリームは、例えば、大規模記憶、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気サポートとのインターフェースなどのストレージインターフェースに送信され、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたはブロードキャストネットワークなどの通信インターフェースを介して送信される。

例示的かつ非限定的な実施形態によれば、送信機１００は、メモリ１０３０に格納されたコンピュータプログラムをさらに有する。コンピュータプログラムは、送信機１００、特にプロセッサ１０００によって実行されると、送信機１００が図４を参照して説明する方法を実行することを可能にする命令を含む。変形例によれば、コンピュータプログラムは、送信機の外部に、例えばＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、読み出し専用および／またはＤＶＤドライブ、および／またはＤＶＤ読み出し／書き込みドライブなどの外部記憶媒体などの、非一時的なデジタルデータのサポートに格納することができる。このように、送信機１００は、コンピュータプログラムを読み取る機構を有する。さらに、送信機１００は、対応するＵＳＢポート（図示せず）を介して一以上のＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）タイプの記憶装置（例えば、「メモリスティック」）にアクセスすることができる。

例示的かつ非限定的な実施形態によれば、送信機１００は、限定するものではないが、次のものを含み得る：
− モバイルデバイス；
− 通信装置；
− ゲームデバイス；
− タブレット（またはタブレットコンピュータ）；
− ノートパソコン；
− 静止画像カメラ；
− ビデオカメラ；
− 符号化チップ；
− 静止画像サーバ；及び
− ビデオサーバ（例えば、ブロードキャストサーバ、ビデオオンデマンドサーバまたはウェブサーバ）。

図４は、具体的かつ非限定的な実施形態による、ストリーム内のプレノプティック画像を符号化する方法を示すフローチャートである。

本方法はステップ１００から始まる。ステップＳ１１０において、送信機はブロックに分割された現在のプレノプティック画像にアクセスする。第１の実施形態では、ブロックはビューである。変形例では、ブロックはマイクロ画像である。ブロックサイズは、メタデータから読み取るか、コンテンツから決定することができる。デコーダ側で利用可能な別の情報（例えば、カメラデバイスモデル）から推測できない場合、ブロックサイズをストリームで送信することもできる。ステップＳ１２０において、送信機は、空間予測なしに、すなわち同じ画像内の別のブロックを参照することなしに、現在のプレノプティック画像の中央ブロックを符号化する。中央ブロックは、現在のプレノプティック画像の中央領域に位置するブロックである。一例として、中央ブロックは、符号化される現在のプレノプティック画像の中心に位置する。一例として、中央ブロックは、空間予測なしにイントラモードで符号化されてもよい。したがって、中央ブロックは、このブロックのみに含まれる情報を用いて符号化される。一例として、中央ブロックはＩＰＣＭモードで符号化され（ＩＰＣＭはＩｎｔｒａＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎを表す）、ブロックの画素値は、バイパスされ、予測、変換、または量子化なしで直接符号化される。このように中央ブロックは、忠実度を失うことなく符号化される。変形例では、中央ブロックは、定数ブロックからの予測を用いて、例えば画素がすべて１２８に等しいブロックから符号化される。このようにして、中央ブロックから定数ブロックを減算することによって、残差が得られる。残渣は変換され、量子化され、エントロピー符号化される。別の変形例では、中央ブロックは、再構成されたプレノプティック画像、すなわち符号化され予測のために既に再構成され、ＤＰＢ（ＤＰＢはＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒを表す）に格納されたプレノプティック画像中の、空間的に同じ位置にあるブロックから時間的に予測される。したがって、空間的に同じ位置にあるブロックは、再構成されたプレノプティック画像内の空間位置が、現在のプレノプティック画像内の中央ブロックの空間位置と同じであるブロックである。このようにして、中央ブロックから同じ位置のブロックを減算することによって、残差が得られる。ｎ×ｎ個のブロックに分割された正方形のプレノプティック画像を考えると、中央ブロックは、座標

（外１）

のブロックであり得る。ここで、

（外２）

は整数部分を示す。図５は、左側のｎが偶数（ｎ＝６）であり、右側のｎが奇数（ｎ＝７）の場合の中央ブロックを示している。

ステップＳ１３０において、送信機は、空間単一方向予測及び空間双方向予測を空間的にインターリーブすることによって、現在のプレノプティック画像の中心から現在のプレノプティック画像の境界まで、残りのブロックを予測符号化する。別の実施形態では、送信機は、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、中央ブロックを直接取り囲むブロックを予測符号化する。単一方向予測（特に水平および垂直予測）および双方向予測のサブステップは、情報を中心からアレイ／マトリクスの境界に伝搬させるために、インターリーブされる。図６Ａから図６Ｃは、ｎが偶数の場合（左側）と、ｎが奇数の場合（右側）における単一方向予測および双方向予測の空間インターリーブを示す図である。本方法はＳ１４０で終わる。

図７にステップＳ１３０の詳細を示す。ステップＳ１３００において、方法は、残りのブロック、すなわちステップＳ１２０で既に符号化された中央ブロックとは異なるブロックにおけるループを開始する。残りのブロックは、例えば、送信機のメモリに記憶される。ステップＳ１３１０では、符号化対象のブロックに対して、予測モードが一方向か双方向か決定される。予測モードは、空間単一方向予測および空間双方向予測がインターリーブされるように決定される。予測モードおよび符号化順序は、デコーダ側で、例えば標準で定義されて、デフォルトパラメータとして知られているか、または例えばストリーム内にエンコードされて、ストリームにおいて明示的に送信される。

ＰｋとＢｋを、ステップｋの第１および第２のサブステップ中に符号化されるブロックのセットとし、

（外３）

を、ステップｋまでエンコードされたすべてのブロックのセットとする。Ｐ０とＢ０は空集合である。

ステップｋ、ｋ≧１中に符号化されるブロックは、以下の通りである。
・ステップ（ｋ−１）中に水平または垂直近傍がちょうど符号化／再構成された下記のブロックＰｋは、一方向予測（すなわち、水平および垂直予測）を用いて第１のサブステップ（図６Ａないし６Ｃのサブセット１ａ、２ａまたは３ａ）にエンコードされる：

・前のサブステップで開始された矩形の角に位置する以下のブロックは、双方向予測を使用して第２のサブステップ（図６Ａないし図６Ｃのサブセット１ｂ、２ｂまたは３ｂ）中にエンコードされる：

Ｐ_１の定義はｎのパリティに応じて異なることに留意されたい。ｎが奇数であればＰ_１の定義は一般的なものである：

ｎが偶数であれば、Ｐ１の定義はプラス符号のみを含む：

符号化するブロックに対して予測モードが決定されると、ステップＳ１３２０において残差が決定される。

ブロックＣ［ｉ，ｊ］∈Ｐ_ｋ、ｋ≧１は

を確認するブロックＣ［ｙ，ｘ］∈Ｓ_ｋ−１から予測される。

ブロックＣ［ｉ，ｊ］∈Ｂ_ｋ、ｋ≧１は

を確認するブロックＣ［ｙ，ｘ］∈Ｐ_ｋから予測される。

残差εは、符号化するブロックＣから基準ブロックＲを（画素毎に）減算することによって決定され、残差ブロックε［ｉ，ｊ］を形成する。ε［ｉ，ｊ］＝Ｃ［ｉ，ｊ］−Ｒ［ｉ，ｊ］。双方向予測の場合には、Ｒ［ｉ，ｊ］は２ブロックの平均であってもよい。ステップＳ１３３０では、残差のブロックとも呼ばれる残差ブロックが符号化される。残差ブロックを符号化することは、通常、残差ブロックを（例えばＤＣＴを使用して）係数に変換し、係数を量子化し、量子化した係数をエントロピー符号化することを含む。しかし、言うまでもなく、本原理はこの特定の符号化方法に限定されない。ステップＳ１３４０において、送信機は、まだブロックが残っているか否かをチェックする。イエスであれば、制御はステップＳ１３１０に戻る。そうでなければ、本方法はＳ１４０で終わる。

ステップＳ１３２０の変形では、残差を決定する際に、隣接するブロック間の（すなわち、隣接するマイクロイメージまたは隣接するビューの間の）視差が考慮される。視差には１つの要素しかない：水平近傍間のシフトは水平のみであり、垂直近傍間のシフトは垂直のみである。深さと視差の間には直接的な関係がある。具体的には、ｄｉｓｐ＝（ｂ＊ｆ）／ｄｅｐｔｈであり、ここでｂは２つの視点間の距離であり、ｆは焦点距離である。したがって、差異は、プレノプティック材料（マイクロ画像の場合、焦点距離およびマイクロ中心位置、またはビューマトリクスの場合、仮想軸間距離）とともに提供される他のメタデータを使用して、深度推定から導き出すことができる。奥行き推定は、プレノプティックマテリアル（奥行き解像度に応じて、ピクセルまたはブロックごとに１つの値）と共に配信される奥行きマップから決定することができる。変形例では、深度を推定することができる（例えば、焦点距離を符号化するメタデータを読み取ることによって、画像全体に対して１つの値）。

別の実施形態では、内容から直接的に視差を決定することができる（ピクセル当たり１つの値または好ましくはブロックあたり１つの値）。この場合、値はストリームと共に送信されなければならない。

隣接ブロック間の不一致を補償するために、残差ブロックは

のように決定される。

ここで、Ｗ_．→Ｃ（．）は、現在ブロックの視差補償に対応するワーピング演算子を示し、Ｗ_Ｒ→Ｃ（Ｒ）は、視差が補償される参照ブロックである。例えば、視差がブロックにわたり一定である場合、

（外４）

であり、そうでなければ、Ｗ_Ｒ→Ｃ（Ｒ）は

（外５）

により決定される。

ステップＳ１３２０の別の変形例では、残差を決定する際に、ケラレ効果（ｖｉｇｎｅｔｔｉｎｇｅｆｆｅｃｔ）をさらに考慮に入れている。図８は、左側にビューマトリクスを示し、周囲の外側の視野を中央の視野より暗くするケラレ効果を示す。ケラレ効果を補償するために、予測が適応される。

ビューが十分に小さい場合、各ビューカップルに対して１つの値のみを考慮する（輝度に対するゲイン）ことは合理的である。これらのゲインは、ストリームと共に配信されるケラレメタデータ（ｖｉｇｎｅｔｔｉｎｇｍｅｔａｄａｔａ）

から求められる。
ここで、εは残差を示し、Ｃは符号化する現在ブロックを示し、Ｗ_Ｒ→Ｃ（Ｒ）は視差が補償された参照ブロックであり、α_Ｃとα_ＲはそれぞれブロックＣとＲのケラレゲインを示す。変形例では、視差が無いとき、

（外６）

である。

双方向の場合、式（１）は

となる。

より大きいビューの場合、ピクセルごとのアプローチを考えるべきである。式（１）と（２）は、

となる。

一実施形態では、輝度ゲインαはビデオシーケンスと共に提供される較正された白色画像においてフェッチされる。他の実施形態では、

の輝度半減に関するｃｏｓ^４則に従って較正メタデータから求める。
ここで、（ｕ，ｖ）はビューマトリクス全体のピクセル座標を示し、（ｃ_ｕ，ｃ_ｖ）は主要点（ｐｒｉｎｃｉｐａｌｐｏｉｎｔ）の座標を示し、ｆはピクセル単位の焦点距離を示す。

図４と図７において、モジュールは機能ユニットであり、区別可能な物理的ユニットに関しても、関しなくてもよい。例えば、これらのモジュールは全体を、またはその一部を、１つの部品や回路にまとめてもよいし、またはソフトウェアの機能に貢献してもよい。逆に、幾つかのモジュールは、別の物理的実体により構成されていてもよい。本開示とコンパチブルな装置は、純粋なハードウェア、例えばＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはＶＬＳＩ（ＶｅｒｙＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などの専用ハードウェアを用いて、または装置に組み込まれた幾つかの集積電子コンポーネントを用いて、またはハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせを用いて、実装される。

図９は、例示的かつ非限定的な実施形態による、ストリームからプレノプティック画像を復号するように構成された受信機２００の例示的なアーキテクチャを表す図である。

受信機２００は、一以上のプロセッサ２０００を有し、これは、例えば、内部メモリ２０３０（例えば、ＲＡＭ、ＲＯＭ、および／またはＥＰＲＯＭなど）を伴うＣＰＵ、ＧＰＵ、および／またはＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒの英語頭字語）を含むことができる。受信機２００は、出力情報を表示し、および／またはユーザがコマンドおよび／またはデータ（例えば、キーボード、マウス、タッチパッド、ウェブカメラ）を入力できるようにそれぞれ適合された一以上の通信インターフェース２０１０と、受信機２００の外部にあり得る電源２０２０とを有する。受信機２００はまた、一以上のネットワークインターフェース（図示せず）を有しても良い。デコーダモジュール２０４０は、装置に含まれてもよい、復号機能を実行するモジュールを表す。さらに、デコーダモジュール２０４０は、受信機２００とは別の要素として実装されてもよく、または当業者に知られているハードウェアとソフトウェアの組み合わせとしてプロセッサ２０００に組み込まれてもよい。ストリームは、ソースから取得することができる。別の実施形態によれば、ソースは、これに限定されないが、次のものであってもよい：
− ローカルメモリ、例えば、ビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスクなど；
− ストレージインターフェース、例えば、大容量記憶装置、ＲＯＭ、光ディスク、または磁気支持（ｍａｇｎｅｔｉｃｓｕｐｐｏｒｔ）など；
− 通信インターフェース、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）；及び
− 画像キャプチャ回路（例えば、ＣＣＤ（すなわちＣｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（すなわちＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのセンサ）。

別の実施形態によれば、復号されたプレノプティック画像は、例えば、ディスプレイ装置などの宛先に送信され得る。一例として、復号されたプレノプティック画像は、ビデオメモリまたはＲＡＭ、ハードディスクなどのリモートまたはローカルのメモリに格納される。変形例では、復号されたプレノプティック画像は、例えば、大規模記憶、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気サポートとのインターフェースなどのストレージインターフェースに送信され、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたはブロードキャストネットワークなどの通信インターフェースを介して送信される。

例示的かつ非限定的な実施形態によれば、受信機２００は、メモリ２０３０に格納されたコンピュータプログラムをさらに有する。コンピュータプログラムは、受信機２００、特にプロセッサ２０００によって実行されると、受信機２００が図１０を参照して説明する方法を実行することを可能にする命令を含む。変形例によれば、コンピュータプログラムは、受信機２００の外部に、例えばＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、読み出し専用および／またはＤＶＤドライブ、および／またはＤＶＤ読み出し／書き込みドライブなどの外部記憶媒体などの、非一時的なデジタルデータのサポートに格納することができる。このように、受信機２００は、コンピュータプログラムを読み取る機構を有する。さらに、受信機２００は、対応するＵＳＢポート（図示せず）を介して一以上のＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）タイプの記憶装置（例えば、「メモリスティック」）にアクセスすることができる。

例示的かつ非限定的な実施形態によれば、受信機２００は、限定するものではないが、次のものを含み得る：
− モバイルデバイス；
− 通信装置；
− ゲームデバイス；
− セットトップボックス；
− テレビセット；
− タブレット（またはタブレットコンピュータ）；
− ノートパソコン；
− ディスプレイと、
− 復号チップ。

図１０は、例示的かつ非限定的な実施形態による、ストリームＦからプレノプティック画像を復号する方法を示すフローチャートである。

本プロセスはステップＳ２００から始まる。ステップＳ２１０において、受信機はストリームにアクセスする。ステップＳ２２０において、受信機は、空間予測なしに、すなわち別のブロックを参照することなく、中央ブロックを復号する。第１の実施形態では、ブロックはビューである。変形例では、ブロックはマイクロ画像である。中央ブロックは、現在のプレノプティック画像の中央領域に位置するブロックである。一例として、中央ブロックは、復号される現在のプレノプティック画像の中心に位置する。ブロックサイズは、メタデータから読み取るか、コンテンツから決定することができる。デコーダ側で利用可能な別の情報（例えば、カメラデバイスモデル）から推測できない場合、ブロックサイズをストリームで受信することもできる。中央ブロックは、空間予測なしにイントラモードで復号されてもよい。一例として、中央ブロックはＩＰＣＭモードで復号され（ＩＰＣＭはＩｎｔｒａＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎを表す）、ブロックの画素値は、バイパスされ、予測、変換、または逆量子化なしで直接復号される。変形例では、中央ブロックは、定数ブロックからの予測を用いて、例えば画素がすべて１２８に等しいブロックから復号される。このようにして、中央ブロックは、ストリームからデコードされた残差ブロックに定数ブロックを加えることによって得られる。残差ブロックを復号することは、通常、エントロピー復号、逆量子化及び変換を含む。他の変形例では、中央ブロックは、復号されたプレノプティック画像、すなわち予測のために既に復号されＤＰＢに格納されたプレノプティック画像の同一位置のブロックから時間的に予測される。このようにして、中央ブロックは、同一位置のブロックを復号された残差ブロックに加えることによって得られる。ステップＳ２３０において、受信機は、インターリーブされた一方向性および双方向性の予測を用いて、現在のプレノプティック画像の中心から現在のプレノプティック画像の境界まで、残りのブロックを予測的に復号する。一変形例では、受信機は、空間的単一方向予測および空間的双方向予測を空間的にインターリーブすることによって、中央ブロックを直接取り囲むブロックを予測復号する。本方法はステップ２４０で終了する。

図１１にステップＳ２３０のさらに詳細を示す。

ステップＳ２３００において、方法は、残りのブロック、すなわちステップＳ２２０で既に復号された中央ブロックとは異なるブロックにおけるループを開始する。ステップＳ２３１０では、復号対象のブロックに対して、予測モードが一方向か双方向か決定される。予測モードは、空間単一方向予測および空間双方向予測がインターリーブされるように決定される。予測モードおよび符号化順序は、デコーダ側で、例えば標準で定義されて、デフォルトパラメータとして知られているか、または例えばストリーム内に復号されて、ストリームにおいて明示的に受信される。

Ｐ_ｋとＢ_ｋを、ステップｋの第１および第２のサブステップ中に復号されるブロックのセットとし、

（外７）

を、ステップｋまで復号されたすべてのブロックのセットとする。Ｐ_０とＢ_０は空集合である。

ステップｋ、ｋ≧１中に復号されるブロックは、以下の通りである：
・ステップ（ｋ−１）中に水平または垂直近傍がちょうど復号された下記のブロックＰｋ

は、一方向予測（すなわち、水平及び垂直予測）を用いて、第１のサブステップ（図６Ａないし図６Ｃのサブステップ１ａ、２ａまたは３ａ）で復号される。
・前のサブステップで開始された矩形の角に位置する以下のブロックは、双方向予測を使用して第２のサブステップ（図６Ａないし図６Ｃのサブセット１ｂ、２ｂまたは３ｂ）中に復号される：

ｎが偶数であれば、Ｐ_１の定義はプラス符号のみを含む：

ブロックＣ［ｉ，ｊ］∈Ｐ_ｋ、ｋ≧１は

を確認するブロックＣ［ｙ，ｘ］∈Ｓ_ｋ−１から予測される。
ブロックＣ［ｉ，ｊ］∈Ｂ_ｋ、ｋ≧１は

を確認するブロックＣ［ｙ，ｘ］∈Ｐ_ｋから予測される。

ステップＳ２３２０において、残差ε、すなわち残差ブロックが、ストリームから復号される。残差ブロックを復号することは、通常、エントロピー復号、逆量子化及び（例えば、逆ＤＣＴを用いる）変換を含む。しかし、言うまでもなく、本原理はこの特定の復号方法に限定されない。ステップＳ２３３０では、残差ブロックを参照Ｒに（画素ごと）加算して、復号するブロックＣを作成する。Ｃ［ｉ，ｊ］＝ε［ｉ，ｊ］＋Ｒ［ｉ，ｊ］。双方向予測の場合には、Ｒは２ブロックの平均であってもよい。ステップＳ２３４０において、送信機は、まだ復号するブロックが残っているか否かをチェックする。イエスであれば、制御はステップＳ２３１０に戻る。そうでなければ、本方法はＳ２４０で終わる。

視差および／またはケラレ効果を考慮するステップＳ１３２０の変形例は、残差ブロックに参照ブロックを加えるとき（ステップＳ２３３０）、デコーダにも適用され、残差ブロックを決定する。

ここで説明した実施形態は、方法またはプロセス、装置、またはソフトウェアプログラム、データストリーム、又は信号として実施できる。１つの形式の実施形態の場合で説明した（例えば、方法または装置としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、プログラム）でも実施できる。装置は例えば適切なハードウェア、ソフトウェア、及びファームウェアで実施可能である。上記の方法は、例えばプロセッサ等の装置で実施可能である。プロセッサとは、処理装置一般を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理装置などを指す。プロセッサは、エンドユーザ間での情報通信を行う、コンピュータ、ブロック電話、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）などのデバイス、及びその他の通信デバイスも含む。

ここに説明した様々なプロセスや機能の実施形態は、様々な機器やアプリケーションに化体できる機器やアプリケーションに化体できる。かかる装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、ブロック電話、ＰＤＡ、その他の通信デバイスが含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。

また、上記の方法は、プロセッサによって実行される命令で実施することができる。かかる命令（及び／又は、一実施形態で生成されるデータ値）は、例えば集積回路、ソフトウェア担体その他の記憶デバイス、例えば、ハードディスク、コンパクトディスク（ＣＤ）、光ディスク（例えば、デジタルバーサタイルディスクやデジタルビデオディスクと呼ばれることが多いＤＶＤなど）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）に記憶できる。上記の命令は、プロセッサ読み取り可能媒体上に化体されたアプリケーションプログラムであってもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、アプリケーション、又はこれらの組み合わせに見いだすことができる。それゆえ、プロセッサは、プロセスを実行するように構成されたデバイス、及びプロセスを実行する命令を記憶したプロセッサ読み取り可能媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に加えて、又は命令の替わりに、実施形態により生成されたデータ値を記憶することができる。

当業者には言うまでもないが、実施形態は、例えば記憶または送信され得る情報を担うようフォーマットされた種々の信号を生成することもできる。情報には、例えば、方法を実行する命令や、説明した実施形態により生成されるデータが含まれ得る。例えば、信号は、データとして、説明した実施形態のシンタックスを書き込み又は読み出しする規則を担うようにフォーマットされてもよいし、又はデータとして、説明した実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされてもよい。かかる信号は、（例えば、無線周波数のスペクトルを用いた）電磁波やベースバンド信号などとしてフォーマットし得る。フォーマット化には、例えば、データストリームの符号化、符号化したデータストリームによるキャリアの変調が含まれる。信号が担う情報は例えばアナログ情報やデジタル情報であってもよい。知られているように、信号は様々な異なる有線リンクまたは無線リンクで送信できる。信号はプロセッサ読み取り可能媒体に記憶してもよい。

実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、本願ではこれらの実施形態及びその他の実施形態を想定している。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
複数のブロックに分割された４次元ライトフィールド画像を符号化する方法であって、
４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、４次元ライトフィールド画像の他のブロックと比較して４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを符号化することと、
中央ブロック自体、または中央ブロックを参照ブロックとして符号化された４次元ライトフィールド画像のブロックのいずれかである、４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、中央ブロックを囲む周囲ブロックを予測符号化することとを含む、方法。
（付記２）
４次元ライトフィールド画像に奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測符号化することは、空間的単一方向予測により、中央ブロックを垂直に又は水平に隣接する周囲ブロックを符号化することと、空間的双方向予測により、その他の周囲ブロックを符号化することとを含む、付記１に記載の方法。
（付記３）
４次元ライトフィールド画像に偶数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測符号化することは、
中央ブロックと垂直に隣接する周囲ブロックと、中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により符号化することと、
双方向予測によって前に符号化された２つの周囲ブロックに隣接する周囲ブロックを符号化することと、
単一方向予測により、前に符号化されたブロックの垂直または水平に隣接する周囲ブロックを符号化することと、
双方向予測により残りの周囲ブロックを符号化することとを含む、付記１に記載の方法。
（付記４）
さらに、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより、４次元ライトフィールド画像の境界まで、４次元ライトフィールド画像の幾何学的中心の周りのブロックを処理することにより、残りのブロックを予測符号化することを含む、付記１ないし３いずれか一項に記載の方法。
（付記５）
すべてのブロックはマイクロ画像タイプまたはビュータイプのいずれかである、付記１ないし４いずれか一項に記載の方法。
（付記６）
中央ブロックはイントラ符号化される、付記１ないし５いずれか一項に記載の方法。
（付記７）
中央ブロックは、再構成された４次元ライトフィールド画像の空間的に同一位置のブロックから時間的に予測される、付記１ないし５いずれか一項に記載の方法。
（付記８）
ブロックはビュー画像であり、参照ブロックによるブロックの予測中、参照ブロックはケラレ情報により求められる加重により加重される、付記１ないし７いずれか一項に記載の方法。
（付記９）
複数のブロックに分割された４次元ライトフィールド画像を復号する方法であって、
４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、４次元ライトフィールド画像の他のブロックと比較して４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを復号することと、
中央ブロック自体、または中央ブロックを参照ブロックとして符号化された４次元ライトフィールド画像のブロックのいずれかである、４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、中央ブロックを囲む周囲ブロックを予測復号することとを含む、方法。
（付記１０）
４次元ライトフィールド画像に奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、空間的単一方向予測により、中央ブロックを垂直に又は水平に隣接する周囲ブロックを復号することと、空間的双方向予測により、その他の周囲ブロックを復号することとを含む、付記９に記載の方法。
（付記１１）
４次元ライトフィールド画像に偶数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、
中央ブロックと垂直に隣接する周囲ブロックと、中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により復号することと、
双方向予測によって前に復号された２つの周囲ブロックに隣接する周囲ブロックを復号することと、
単一方向予測により、前に復号されたブロックの垂直または水平に隣接する周囲ブロックを復号することと、
双方向予測により残りの周囲ブロックを復号することとを含む、付記９に記載の方法。
（付記１２）
さらに、空間的単一方向予測と空間的双方向予測とをインターリーブすることにより、４次元ライトフィールド画像の境界まで、４次元ライトフィールド画像の幾何学的中心の周りのブロックを処理することにより、残りのブロックを予測復号することを含む、付記９ないし１１いずれか一項に記載の方法。
（付記１３）
すべてのブロックはマイクロ画像タイプまたはビュータイプのいずれかである、付記９ないし１２いずれか一項に記載の方法。
（付記１４）
中央ブロックはイントラ符号化される、付記９ないし１３いずれか一項に記載の方法。
（付記１５）
中央ブロックは、再構成された４次元ライトフィールド画像の空間的に同一位置のブロックから時間的に予測される、付記９ないし１３いずれか一項に記載の方法。
（付記１６）
ブロックはビュー画像であり、参照ブロックによるブロックの予測中、参照ブロックはケラレ情報により求められる加重により加重される、付記９ないし１５いずれか一項に記載の方法。
（付記１７）
複数のブロックに分割された４次元ライトフィールド画像を符号化する装置であって、
４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、４次元ライトフィールド画像の他のブロックと比較して４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを符号化する手段と、
中央ブロック自体、または中央ブロックを参照ブロックとして符号化された４次元ライトフィールド画像のブロックのいずれかである、４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、中央ブロックを囲む周囲ブロックを予測符号化する手段とを含む、装置。
（付記１８）
複数のブロックに分割された４次元ライトフィールド画像を復号する装置であって、
４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、４次元ライトフィールド画像の他のブロックと比較して４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを復号する手段と、
中央ブロック自体、または中央ブロックを参照ブロックとして符号化された４次元ライトフィールド画像のブロックのいずれかである、４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、中央ブロックを囲む周囲ブロックを予測復号する手段とを含む、装置。

Claims

複数のブロックに分割された４次元ライトフィールド画像を符号化する方法であって、
前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールド画像の他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを符号化することと、
前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測符号化することとを含み、
前記４次元ライトフィールド画像に偶数個のブロックが含まれており、
空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測符号化することは、
前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により符号化することと、
双方向予測によって前に符号化された２つの周囲ブロックに隣接する周囲ブロックを符号化することと、
単一方向予測により、前に符号化されたブロックの垂直または水平に隣接する周囲ブロックを符号化することと、
双方向予測により残りの周囲ブロックを符号化することと、
を含む、方法。
前記４次元ライトフィールド画像に奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測符号化することは、空間的単一方向予測により、前記中央ブロックを垂直に又は水平に隣接する周囲ブロックを符号化することと、空間的双方向予測により、その他の周囲ブロックを符号化することとを含む、
請求項１に記載の方法。
さらに、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより、前記４次元ライトフィールド画像の境界まで、前記４次元ライトフィールド画像の幾何学的中心の周りのブロックを処理することにより、残りのブロックを予測符号化することを含む、
請求項１又は２に記載の方法。
すべてのブロックはマイクロ画像タイプまたはビュータイプのいずれかである、
請求項１ないし３いずれか一項に記載の方法。
前記中央ブロックはイントラ符号化される、
請求項１ないし４いずれか一項に記載の方法。
前記中央ブロックは、再構成された４次元ライトフィールド画像の空間的に同一位置のブロックから時間的に予測される、
請求項１ないし４いずれか一項に記載の方法。
前記ブロックはビュー画像であり、参照ブロックによるブロックの予測中、前記参照ブロックはケラレ情報により求められる加重により加重される、
請求項１ないし６いずれか一項に記載の方法。
複数のブロックに分割された４次元ライトフィールド画像を復号する方法であって、
前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールド画像の他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを復号することと、
前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測復号することとを含み、
前記４次元ライトフィールド画像に偶数個のブロックが含まれており、
空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、
前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により復号することと、
双方向予測によって前に復号された２つの周囲ブロックに隣接する周囲ブロックを復号することと、
単一方向予測により、前に復号されたブロックの垂直または水平に隣接する周囲ブロックを復号することと、
双方向予測により残りの周囲ブロックを復号することと、
を含む、方法。
前記４次元ライトフィールド画像に奇数個のブロックが含まれる場合、空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、空間的単一方向予測により、前記中央ブロックを垂直に又は水平に隣接する周囲ブロックを復号することと、空間的双方向予測により、その他の周囲ブロックを復号することとを含む、
請求項８に記載の方法。
さらに、空間的単一方向予測と空間的双方向予測とをインターリーブすることにより、前記４次元ライトフィールド画像の境界まで、前記４次元ライトフィールド画像の幾何学的中心の周りのブロックを処理することにより、残りのブロックを予測復号することを含む、
請求項８又は９に記載の方法。
すべてのブロックはマイクロ画像タイプまたはビュータイプのいずれかである、
請求項８ないし１０のいずれか一項に記載の方法。
前記中央ブロックはイントラ符号化される、
請求項８ないし１１のいずれか一項に記載の方法。
前記中央ブロックは、再構成された４次元ライトフィールド画像の空間的に同一位置のブロックから時間的に予測される、
請求項８ないし１１のいずれか一項に記載の方法。
前記ブロックはビュー画像であり、参照ブロックによるブロックの予測中、前記参照ブロックはケラレ情報により求められる加重により加重される、
請求項８ないし１３のいずれか一項に記載の方法。
複数のブロックに分割された４次元ライトフィールド画像を符号化する装置であって、
前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールド画像の他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを符号化する手段と、
前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測符号化する手段とを含み、
前記４次元ライトフィールド画像に偶数個のブロックが含まれており、
空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、
前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により復号することと、
双方向予測によって前に復号された２つの周囲ブロックに隣接する周囲ブロックを復号することと、
単一方向予測により、前に復号されたブロックの垂直または水平に隣接する周囲ブロックを復号することと、
双方向予測により残りの周囲ブロックを復号することと、
を含む、装置。
複数のブロックに分割された４次元ライトフィールド画像を復号する装置であって、
前記４次元ライトフィールド画像中の参照ブロック用いる空間予測をせずに、前記４次元ライトフィールド画像の他のブロックと比較して前記４次元ライトフィールド画像の幾何学的に中心領域の、中央ブロックと呼ばれるブロックを復号する手段と、
前記中央ブロック自体、または前記中央ブロックを参照ブロックとして符号化された前記４次元ライトフィールド画像のブロックのいずれかである、前記４次元ライトフィールド画像の１つまたは複数の参照ブロックを用いて、空間的単一方向予測と空間的双方向予測を空間的インターリーブすることにより、前記中央ブロックを囲む周囲ブロックを予測復号する手段とを含み、
前記４次元ライトフィールド画像に偶数個のブロックが含まれており、
空間的単一方向予測と空間的双方向予測とを空間的にインターリーブすることにより周囲ブロックを予測復号することは、
前記中央ブロックと垂直に隣接する周囲ブロックと、前記中央ブロックと水平に隣接する周囲ブロックとを、単一方向予測により復号することと、
双方向予測によって前に復号された２つの周囲ブロックに隣接する周囲ブロックを復号することと、
単一方向予測により、前に復号されたブロックの垂直または水平に隣接する周囲ブロックを復号することと、
双方向予測により残りの周囲ブロックを復号することと、
を含む、装置。