JP6450288B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

Description

本発明は、画像を符号化及び復号する画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関する。

デジタル画像や動画像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な動画像を取り扱うことのできる高精細動画像／画像システムの研究開発が継続的に行われている。高解像度な動画像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった際には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない動画像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い動画像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像又は動画像を構成する１フレーム分の画像のことをいう。

しかしながら、画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度の動画像／画像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

これに対して、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置が開発されている。非特許文献１はライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた動画像／画像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を光線の進行方向ごとに表現した画像である。

R. Ng, "Digital light field photography", Ph.D dissertation, Stanford University, July 2006.

非特許文献１に記載の方法を用いることで、撮影後に処理を行うことでフォーカスの調整を行うことが可能となる。しかしながら、非特許文献１によって撮影された画像は、通常の画像と異なり、マイクロレンズによって角度ごとに分離された光線を記録するため、通常の画像符号化手法を用いた場合では、効率的な符号化を実現することができないという問題がある。さらに、非特許文献１によって撮影された画像は、画像処理を行わなければ、一般な画像のように内容を確認することができないという問題もある。

本発明は、このような事情に鑑みてなされたもので、ライトフィールドカメラによって撮像されたライトフィールド画像に対して、撮像内容を容易に確認でき、高効率な圧縮符号化を実現することができる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を提供することを目的とする。

本発明の一態様は、ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置であって、前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定手段と、前記第１のライトフィールド画像を使用して、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、当該第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を生成するベース画像生成手段と、前記ベース画像を符号化するベース画像符号化手段と、前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化手段とを備える画像符号化装置である。

本発明の一態様は、前記画像符号化装置であって、前記ベース画像生成手段は、前記第１のライトフィールド画像から画像全面において合焦している全焦点画像を前記ベース画像として生成する。

本発明の一態様は、前記画像符号化装置であって、前記ベース画像生成手段は、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として生成する。

本発明の一態様は、ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置であって、前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定手段と、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、前記第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を復号するベース画像復号手段と、前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号手段とを備える画像復号装置である。

本発明の一態様は、前記画像復号装置であって、前記ベース画像復号手段では、前記第１のライトフィールド画像と同じシーンに対する画像全面において合焦している全焦点画像を前記ベース画像として復号する。

本発明の一態様は、前記画像復号装置であって、前記ベース画像復号手段では、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として復号する。

本発明の一態様は、ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置が行う画像符号化方法であって、前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定ステップと、前記第１のライトフィールド画像を使用して、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、当該第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を生成するベース画像生成ステップと、前記ベース画像を符号化するベース画像符号化ステップと、前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化ステップとを有する画像符号化方法である。

本発明の一態様は、ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置が行う画像復号方法であって、前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定ステップと、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、前記第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を復号するベース画像復号ステップと、前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号ステップとを有する画像復号方法である。

本発明によれば、撮像内容の容易な確認ができるようになるとともに、ライトフィールド画像の高効率な圧縮符号化を同時に実現することができるという効果が得られる。

本発明の実施形態における画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置１００の動作を示すフローチャートである。 本発明の実施形態における画像復号装置の構成を示すブロック図である。 図３に示す画像復号装置２００の動作を示すフローチャートである。 図１に示す画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 図３に示す画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して処理を繰り返すことで動画像（映像）を符号化及び復号することができる。なお、動画像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、ライトフィールド画像入力部１０１、ライトフィールド画像パラメータ設定部１０２、ライトフィールド画像パラメータ符号化部１０３、ベース画像生成部１０４、ベース画像符号化部１０５、ベース画像復号部１０６、ライトフィールド画像合成部１０７、ライトフィールド画像符号化部１０８及び多重化部１０９を備えている。

ライトフィールド画像入力部１０１は、符号化対象となるライトフィールド画像を入力する。以下では、このライトフィールド画像を符号化対象ライトフィールド画像と称する。なお、どのような形式のライトフィールド画像が入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１のライトフィールド画像が入力されるものとする。

ライトフィールド画像パラメータ設定部１０２は、ライトフィールド画像を特徴付けるパラメータを設定する。どのようなパラメータを設定しても構わないが、後述するライトフィールド画像合成部１０７において、符号化対象ライトフィールド画像を生成する際に必要となるパラメータが設定されるものとする。例えば、マイクロレンズアレイにおけるマイクロレンズの配置、マイクロレンズアレイと画像センサの回転・平行移動のズレ、各マイクロレンズの焦点パラメータ、マイクロレンズに対応する画像素子の数、画像センサのＲＧＢ配列、符号化対象ライトフィールド画像に対するデプスマップなどがある。以下では、これらのパラメータを総じて、符号化対象ライトフィールド画像パラメータと称する。ライトフィールド画像パラメータ符号化部１０３は、符号化対象ライトフィールド画像パラメータを符号化する。

ベース画像生成部１０４は、符号化対象画像ライトフィールドから一般的なカメラで撮影された場合の画像を生成する。以下では、この画像をベース画像と称する。ベース画像符号化部１０５はベース画像を符号化する。ベース画像復号部１０６はベース画像に対するビットストリームを復号してベース画像を生成する。ライトフィールド画像合成部１０７は、ライトフィールド画像パラメータに従って、復号されたベース画像から、符号化対象ライトフィールド画像の合成ライトフィールド画像（第２のライトフィールド画像）を生成する。ここで、ライトフィールド画像パラメータに従って、復号されたベース画像から画像（合成ライトフィールド画像）を生成することを合成という。ライトフィールド画像符号化部１０８は、合成ライトフィールド画像を予測画像として用いながら、符号化対象ライトフィールド画像を符号化する。多重化部１０９は、ベース画像のビットストリーム、ライトフィールド画像パラメータのビットストリーム及び符号化対象ライトフィールド画像のビットストリームを多重化して出力する。

次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、ライトフィールド画像入力部１０１は、符号化対象ライトフィールド画像を入力する（ステップＳ１０１）。

符号化対象ライトフィールド画像の入力が終了したら、ライトフィールド画像パラメータ設定部１０２は、符号化対象ライトフィールド画像に対して、符号化対象ライトフィールド画像パラメータを設定する（ステップＳ１０２）。なお、符号化対象ライトフィールド画像パラメータは、画像符号化装置１００に入力されても構わないし、符号化対象ライトフィールド画像を解析することで推定しても構わない。例えば、マイクロレンズアレイにおけるマイクロレンズの配置、マイクロレンズアレイと画像センサの回転・平行移動のズレ、各マイクロレンズの焦点パラメータ、マイクロレンズに対応する画像素子の数、画像センサのＲＧＢ配列などは、画像によらない情報であるため、外部から入力しても構わない。

一方、符号化対象ライトフィールド画像に対するデプスマップは、画像に依存する情報であるため、符号化対象ライトフィールド画像を解析することで生成しても構わない。ライトフィールド画像からデプスマップを推定する方法としては、どのような方法を用いても構わないが、例えば、参考文献１「S. Wanner, and B. Goldluecke, “Globally consistent depth labeling of 4D light fields,” 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.41-48, June 201.2」に記載の方法を用いても構わない。

次に、ライトフィールド画像パラメータ符号化部１０３は、設定した符号化対象ライトフィールド画像パラメータを符号化する（ステップＳ１０３）。符号化にはどのような方法を用いても構わない。符号化対象ライトフィールド画像に対するデプスマップの符号化については、任意の画像符号化方法または動画像符号化方法を用いても構わない。

ライトフィールド画像パラメータの符号化が終了したら、ベース画像生成部１０４は、符号化対象ライトフィールド画像パラメータに従って、符号化対象ライトフィールド画像からベース画像を生成する（ステップＳ１０４）。ここで生成されるベース画像は、符号化対象ライトフィールド画像と同じ位置・向き・画角などで撮影した通常の画像であればどのようなものでも構わない。例えば、全焦点画像であっても、特定の被写界深度を持った画像であっても構わない。なお、どのような方法でベース画像を生成しても構わないが、例えば、特定の被写界深度を持った画像であれば、フーリエスライス法（参考文献２「R. Ng, “Fourier slice photography,” ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」に記載）を用いてフーリエ変換領域での処理によって生成しても構わない。

また、シフト加算法（参考文献３「R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, “Light Field Photography with a Hand-held Plenoptic Camera,” Stanford Tech Rep. CTSR, pp. 1-11, 2005.」に記載）を用いて、ライトフィールド画像から得られるサブアパチャ画像を、角度成分にしたがってシフトし、それらの平均画像を求めることで生成しても構わない。また、全焦点画像は、上述の方法によって異なる被写界深度を持った画像を複製し、合焦している部分を組み合わせることで生成しても構わない。更に、符号化対象ライトフィールド画像から生成できる中央のサブアパチャ画像をベース画像として設定しても構わない。

ライトフィールド画像からサブアパチャ画像を生成する方法にはどのような方法を用いても構わないが、例えば、参考文献４「D. G. Dansereau, O. Pizarro, and S. B. Williams: Decoding, calibration and rectification for lenselet-based plenoptic cameras. In: Computer Vision and Pattern Recognition (CVPR), IEEE Conference on. IEEE, Jun 2013.」に記載の方法を用いても構わない。

次に、ベース画像符号化部１０５は、生成したベース画像を符号化する（ステップＳ１０５）。符号化にはどのような方法を用いても構わない。例えば、ＪＰＥＧやＪＰＥＧ２００などの画像符号化方法や、ＡＶＣやＨＥＶＣなどの動画像符号化方法を用いても構わない。ベース画像復号部１０６は、符号化した方法に応じた手法によって、符号化の結果得られるビットストリームを復号して復号ベース画像を生成する（ステップＳ１０６）。なお、ステップＳ１０５においてベース画像がロスレス符号化された場合は、ステップＳ１０６を省略し、生成したベース画像を復号ベース画像としても構わない。

復号ベース画像を得られたら、ライトフィールド画像合成部１０７は、復号ベース画像と符号化対象ライトフィールド画像パラメータを用いて、符号化対象ライトフィールド画像に対する合成ライトフィールド画像を生成する（ステップＳ１０７）。符号化対象ライトフィールド画像パラメータを歪みあり符号化する場合は、ステップＳ１０３の結果を復号して得られるパラメータを用いる。なお、どのような方法を用いて合成を行っても構わない。

例えば、全ての被写体が完全拡散反射をすると仮定して生成しても構わないし、全ての被写体がマイクロレンズアレイ平面上で合焦すると仮定して生成しても構わない。具体的な方法の例としては、各マイクロレンズ下の画素群に対して、対応する復号ベース画像の画素値を割り当てて作成しても構わないし、復号ベース画像と符号化対象ライトフィールド画像パラメータに従ってサブアパチャ画像群と呼ばれる多視点画像を生成し、その多視点画像を変換することでライトフィールド画像を合成しても構わないし、各マイクロレンズに対応する復号ベース画像上の画素を同定し、その画素を中心とする画素群を当該マイクロレンズ下の画素群とすることで合成しても構わない。なお、復号ベース画像の画素をそのまま用いるのではなく、マイクロレンズごとの焦点パラメータにしたがって、復号ベース画像をフィルタリングしたものを用いるようにしても構わない。

合成ライトフィールド画像を生成したら、ライトフィールド画像符号化部１０８は、合成ライトフィールド画像を予測画像としながら、符号化対象ライトフィールド画像を符号化する（ステップＳ１０８）。どのような方法を用いても構わないが、例えば、符号化対象ライトフィールド画像と合成ライトフィールド画像の差分を符号化しても構わないし、符号化対象ライトフィールド画像と合成ライトフィールド画像の差分を空間的または時間的に予測して符号化しても構わない。なお、符号化処理は、画像全体を分割したブロックごとに行っても構わないし、画像全体を対象に行っても構わない。更に、予測残差をそのまま符号化しても構わないし、ＤＣＴなどの変換や量子化などを用いて符号化しても構わない。更に別の方法として、合成ライトフィールド画像を通信路等によって誤りが生じた符号化対象ライトフィールド画像とみなして、その誤りを訂正する誤り訂正符号を生成することで符号化を行っても構わない。

最後に、多重化部１０９は、ベース画像符号化部１０５の出力するベース画像のビットストリーム、ライトフィールド画像パラメータ符号化部１０３の出力する符号化対象ライトフィールド画像パラメータのビットストリーム、ライトフィールド画像符号化部１０８の出力する符号化対象ライトフィールド画像のビットストリームを多重化して、画像符号化装置１００の出力とする（ステップＳ１０９）。

次に、本実施形態における画像復号装置について説明する。図３は本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００は、図３に示すように、ビットストリーム入力部２０１、分離部２０２、ライトフィールド画像パラメータ復号部２０３、ベース画像復号部２０４、ライトフィールド画像合成部２０５及びライトフィールド画像復号部２０６を備えている。

ビットストリーム入力部２０１は、復号対象となるライトフィールド画像のビットストリームを入力する。以下では、この復号対象となるライトフィールド画像を復号対象ライトフィールド画像と呼ぶ。分離部２０２は、入力されたビットストリームを、後述するベース画像のビットストリーム、後述するライトフィールド画像パラメータのビットストリーム、復号対象ライトフィールド画像のビットストリームに分離する。

ライトフィールド画像パラメータ復号部２０３は、分離されたビットストリームの１つから、ライトフィールド画像を特徴付けるパラメータを設定する。どのようなパラメータを設定しても構わないが、後述するライトフィールド画像合成部２０５において、復号対象ライトフィールド画像を合成する際に必要となるパラメータが設定されるものとする。例えば、マイクロレンズアレイにおけるマイクロレンズの配置、マイクロレンズアレイと画像センサの回転・平行移動のズレ、各マイクロレンズの焦点パラメータ、マイクロレンズに対応する画像素子の数、画像センサのＲＧＢ配列、復号対象ライトフィールド画像に対するデプスマップなどがある。以下では、これらのパラメータを総じて、復号対象ライトフィールド画像パラメータと称する。

ベース画像復号２０４は、分離されたビットストリームの１つから、復号対象ライトフィールド画像と同じ位置・向き・画角などで撮影した通常の画像を復号する。以下では、この画像をベース画像と称する。ライトフィールド画像合成部２０５は、ライトフィールド画像パラメータに従って、復号されたベース画像から、符号化対象ライトフィールド画像の合成ライトフィールド画像を生成する。ライトフィールド画像復号部２０６は、合成ライトフィールド画像を予測画像として用いながら、分離されたビットストリームの１つから、復号対象ライトフィールド画像を復号する。

次に、図４を参照して、図３に示す画像復号装置２００の動作を説明する。図４は、図３に示す画像復号装置２００の動作を示すフローチャートである。まず、ビットストリーム入力部２０１は、復号対象ライトフィールド画像を符号化したビットストリームを入力する（ステップＳ２０１）。

ビットストリームの入力が終了したら、分離部２０２は、入力されたビットストリームを、後述するベース画像のビットストリーム、後述するライトフィールド画像パラメータのビットストリーム、復号対象ライトフィールド画像のビットストリームに分離する（ステップＳ２０２）。

ビットストリーム分離が終了したら、ベース画像復号部２０４は、分離されたビットストリームの１つから、復号対象ライトフィールド画像に対するベース画像を復号する（ステップＳ２０３）。ここでの処理は前述のステップＳ１０６と同じであり、符号化時に用いた方法に対応して、ビットストリームを正しく復号できるならばどのような方法を用いても構わない。なお、ここで得られるベース画像を画像復号装置２００の出力の１つとして出力しても構わない。

次に、ライトフィールド画像パラメータ復号部２０３は、分離されたビットストリームの１つから、復号対象ライトフィールド画像パラメータを復号する（ステップＳ２０４）。復号対象ライトフィールド画像パラメータの１部または全ては、別途画像復号装置２００に入力されても構わないし、ベース画像を用いて推定しても構わない。なお、ここでの復号手法は符号化時に用いられた手法に応じて、正しく復号できるものであれば、どのような方法を用いても構わない。

復号対象ライトフィールド画像パラメータとベース画像の復号が終わったら、ライトフィールド画像合成部２０５は、復号対象ライトフィールド画像に対する合成ライトフィールド画像を生成する（ステップＳ２０５）。ここでの処理は前述のステップＳ１０７と同じであり、符号化時と同じであれば、どのような方法を用いても構わない。なお、ドリフト等の符号化歪みが発生しても構わない場合や復号対象ライトフィールド画像が誤り訂正符号で符号化されているのであれば、符号化時と異なる方法を用いても構わない。

合成ライトフィールド画像を生成したら、ライトフィールド画像復号部２０６は、合成ライトフィールド画像を予測画像としながら、復号対象ライトフィールド画像を復号し、画像復号装置２００から出力する（ステップＳ２０６）。符号化時に用いた方法に対応して、ビットストリームを正しく復号できるならばどのような方法を用いても構わない。

上述した実施形態では、画像全体を符号化／復号する処理として書かれているが、画像の一部分のみに適用することも可能である。この場合、処理を適用するか否かを判断して、それを示すフラグを符号化／復号しても構わないし、なんらか別の手段でそれを指定しても構わない。例えば、領域ごとの予測画像を生成する手法を示すモードの１つとして表現する方法を用いても構わない。

また、上述した実施形態では、１つの処理対象のライトフィールド画像に対して、１つのベース画像を使用しているが、複数のベース画像を使用しても構わない。例えば、ライトフィールド画像に対応するサブアパチャ画像群のうち、予め定められた位置に対応する複数のサブアパチャ画像を全てベース画像として設定しても構わない。その時、ベース画像として設定された複数のサブアパチャ画像から推定できる処理対象ライトフィールド画像に対するデプスマップなどは符号化せずに、符号化側と復号側の双方で推定して使用するようにしても構わない。なお、複数のベース画像を効率的に符号化するために、ＭＶ−ＨＥＶＣなどの多視点映像符号化方法を用いても構わない。

図５は、前述した画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図５に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、ライトフィールドカメラ等からの処理対象の画像信号を入力する符号化対象ライトフィールド画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５３１が格納されたプログラム記憶装置５３と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５３１を実行することにより生成されたビットストリームを出力するビットストリーム出力部５５（ディスク装置等によるビットストリームを記憶する記憶部でもよい）とが、バスで接続された構成になっている。なお、符号化対象ライトフィールド画像パラメータが外部から与えられる場合は、その入力部が更にバスに接続される。

図６は、前述した画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図６に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、画像符号化装置が本手法により符号化したビットストリームを入力するビットストリーム入力部６２（ディスク装置等によるビットストリームを記憶する記憶部でもよい）と、画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６３１が格納されたプログラム記憶装置６３と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、ビットストリームを復号して得られた復号対象ライトフィールド画像を、再生装置などに出力する復号対象ライトフィールド画像出力部６４（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。なお、復号対象ライトフィールド画像パラメータが外部から与えられる場合には、その入力部が更にバスに接続される。また、ベース画像の出力が必要になる場合は、その出力部が更にバスに接続される。

以上説明したように、本実施形態による画像符号化装置及び画像復号装置は、ライトフィールドカメラによって撮影された(角度ごとに分離された光線が記録された)画像の符号化／復号化をする際に、通常の画像符号方法／復号方法では効率的に符号化／復号化をすることができないライトフィールドカメラによって撮影された画像の効率的な符号化と、容易な復号化を可能とするものである。すなわち、ライトフィールド画像から生成される代表的な画像を基本レイヤとして、そこからライトフィールド画像を予測符号化するスケーラブル符号化を行うことで、撮像内容の容易な確認ができるようになるとともに、ライトフィールド画像の高効率な圧縮符号化を同時に実現するものである。この構成によれば、メインレンズと投影面の間にマイクロレンズアレイを挿入した構成をもつようなライトフィールドカメラによって撮像されたライトフィールド画像に対して、撮像内容を容易に確認でき、高効率な圧縮符号化を実現することができる。

前述した実施形態における画像符号化装置１００及び画像復号装置２００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

ライトフィールド画像を符号化及び復号する際に、当該ライトフィールド画像に含まれるシーンの内容の容易な確認と、効率的な圧縮符号化を同時に実現することが不可欠な用途に適用できる。

１００・・・画像符号化装置、１０１・・・ライトフィールド画像入力部、１０３・・・ライトフィールド画像パラメータ符号化部、１０４・・・ベース画像生成部、１０５・・・ベース画像符号化部、１０６・・・ベース画像復号部、１０７・・・ライトフィールド画像合成部、１０８・・・ライトフィールド画像符号化部、１０９・・・多重化部、２００・・・画像復号装置、２０１・・・ビットストリーム入力部、２０２・・・分離部、２０３・・・ライトフィールド画像パラメータ復号部、２０４・・・ベース画像復号部、２０５・・・ライトフィールド画像合成部、２０６・・・ライトフィールド画像復号部、５０、６０・・・ＣＰＵ、５１、６１・・・メモリ、５２・・・符号化対象ライトフィールド画像入力部（記憶部）、５３、６３・・・プログラム記憶装置、５３１・・・画像符号化プログラム、５４・・・ビットストリーム出力部（記憶部）、６２・・・ビットストリーム入力部（記憶部）、６３１・・・画像復号プログラム、６４・・・復号対象ライトフィールド画像出力部（記憶部）

Claims (11)

1. ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置であって、
   前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定手段と、
   前記第１のライトフィールド画像を使用して、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、当該第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を生成するベース画像生成手段と、
   前記ベース画像を符号化するベース画像符号化手段と、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、
   前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化手段と
   を備え、
   前記ベース画像生成手段は、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として生成する画像符号化装置。
2. ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置であって、
   前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定手段と、
   前記第１のライトフィールド画像を使用して、当該第１のライトフィールド画像と同じシーンの通常の画像であるベース画像を生成するベース画像生成手段と、
   前記ベース画像を符号化するベース画像符号化手段と、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、
   前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化手段と
   を備え、
   前記ベース画像生成手段は、前記第１のライトフィールド画像から画像全面において合焦している全焦点画像を前記ベース画像として生成する画像符号化装置。
3. 前記ライトフィールド画像パラメータは、デプスマップである、請求項２に記載の画像符号化装置。
4. 前記ライトフィールド画像パラメータは、デプスマップとマイクロレンズの焦点パラメータである、請求項２に記載の画像符号化装置。
5. ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置であって、
   前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定手段と、
   メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、前記第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を復号するベース画像復号手段と、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、
   前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号手段と
   を備え、
   前記ベース画像復号手段では、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として復号する画像復号装置。
6. ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置であって、
   前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定手段と、
   前記第１のライトフィールド画像と同じシーンの通常の画像であるベース画像を復号するベース画像復号手段と、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成手段と、
   前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号手段と
   を備え、
   前記ベース画像復号手段では、前記第１のライトフィールド画像と同じシーンに対する画像全面において合焦している全焦点画像を前記ベース画像として復号する画像復号装置。
7. 前記ライトフィールド画像パラメータは、デプスマップである、請求項５に記載の画像復号装置。
8. ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置が行う画像符号化方法であって、
   前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定ステップと、
   前記第１のライトフィールド画像を使用して、メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、当該第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を生成するベース画像生成ステップと、
   前記ベース画像を符号化するベース画像符号化ステップと、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、
   前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化ステップと
   を有し、
   前記ベース画像生成ステップにおいて、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として生成する画像符号化方法。
9. ライトフィールドカメラによって得られる第１のライトフィールド画像の符号化を行う画像符号化装置が行う画像符号化方法であって、
   前記第１のライトフィールド画像に基づいて当該第１のライトフィールド画像を特徴付けるライトフィールド画像パラメータを設定するライトフィールド画像パラメータ設定ステップと、
   前記第１のライトフィールド画像を使用して、当該第１のライトフィールド画像と同じシーンの通常の画像であるベース画像を生成するベース画像生成ステップと、
   前記ベース画像を符号化するベース画像符号化ステップと、
   前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、
   前記第２のライトフィールド画像を予測画像としながら、符号化対象の前記第１のライトフィールド画像を符号化してビットストリームを出力するライトフィールド画像符号化ステップと
   を有し、
   前記ベース画像生成ステップにおいて、前記第１のライトフィールド画像から画像全面において合焦している全焦点画像を前記ベース画像として生成する画像符号化方法。
10. ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置が行う画像復号方法であって、
    前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定ステップと、
    メインレンズと投影面の間にマイクロレンズアレイが挿入されていない構成のカメラで撮影された通常の画像であって、前記第１のライトフィールド画像と同じシーンの前記通常の画像であるベース画像を復号するベース画像復号ステップと、
    前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、
    前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号ステップと
    を有し、
    前記ベース画像復号ステップにおいて、前記第１のライトフィールド画像における前記ライトフィールドカメラのメインレンズの中央に位置するマイクロレンズの画像であるサブアパチャ画像を前記ベース画像として復号する画像復号方法。
11. ライトフィールドカメラによって得られる第１のライトフィールド画像のビットストリームから、前記第１のライトフィールド画像の復号を行う画像復号装置が行う画像復号方法であって、
    前記第１のライトフィールド画像を特徴付けるパラメータを復号し、復号したパラメータをライトフィールド画像パラメータとして設定するライトフィールド画像パラメータ設定ステップと、
    前記第１のライトフィールド画像と同じシーンの通常の画像であるベース画像を復号するベース画像復号ステップと、
    前記ライトフィールド画像パラメータに従って、前記ベース画像を使用して、符号化対象ライトフィールド画像に対する第２のライトフィールド画像を生成するライトフィールド画像生成ステップと、
    前記第２のライトフィールド画像を予測画像としながら、前記第１のライトフィールド画像を復号するライトフィールド画像復号ステップと
    を有し、
    前記ベース画像復号ステップにおいて、前記第１のライトフィールド画像と同じシーンに対する画像全面において合焦している全焦点画像を前記ベース画像として復号する画像復号方法。

Images