JP5895587B2 - 画像記録装置、画像記録方法、画像再生装置および画像再生方法 - Google Patents

Description

本発明は、画像記録装置、画像記録方法、画像再生装置および画像再生方法に関する。

近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。

マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素群に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。

そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。

特表２００８−５１５１１０号公報

図１３（ａ）のような被写体を特許文献１に記載のプレノプティックカメラにより撮像して得られるライトフィールド画像は図１３（ｂ）のようなものである。図１３（ｂ）中の四角で囲んだ部分を拡大したのが図１３（ｃ）である。図１３（ｃ）でわかるように各サブイメージに同じ被写体が重複して写っている。このため再構成画像の一辺はライトフィールド画像の数分の１となる。ライトフィールド画像をそのまま保存しておけば、再構成により、任意の距離で合焦して撮像したような画像を得ることはできるが、再構成画像の大きさを鑑みれば効率の良い保存方法であるとは言いがたい。このため、任意の距離で合焦して撮像したような画像を得ることを可能としながら、より効率良く画像を保存する手法が求められている。

本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置においてより効率良く画像を保存することを目的とする。

上記目的を達成するため、本発明の一態様の画像記録装置は、全焦点画像を生成する全焦点画像生成手段と、単焦点画像を生成する単焦点画像生成手段と、前記全焦点画像と前記単焦点画像との差分画像を生成する差分画像生成手段と、前記差分画像を圧縮して圧縮差分画像を生成する圧縮差分画像生成手段と、前記全焦点画像と、前記圧縮差分画像とを記録する記録手段とを備えることを特徴とする。

本発明によれば、プレノプティックカメラにおいて、より効率良く画像を保存することができる。

本発明の第１の実施形態に係るデジタルカメラ１の外観を示す図であり、図１（ａ）は正面から、図１（ｂ）は背面の外観を示す。 第１の実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。 実施形態１に係るデジタルカメラ１のうち、光学系の構成例を示す模式図である。 実施形態１に係るデジタルカメラの機能構成を示す模式図である。 実施形態１に係る圧縮ＲＦ画像生成処理を示すフローチャートである。 実施形態１に係る奥行きマップ生成処理を示すフローチャートである。 実施形態１に係る奥行き値のヒストグラムである。 実施形態１に係る単焦点画像生成処理を示すフローチャートである。 実施形態１に係る全焦点画像生成処理を示すフローチャートである。 実施形態１に差分画像生成係る処理を示すフローチャートである。 実施形態１に係る圧縮記憶処理を示すフローチャートである。 実施形態１に係る画像再生処理を示すフローチャートである。 ライトフィールド画像とそのサブイメージとを説明する図である。

以下、本発明を実施するための形態に係る撮像装置（デジタルカメラ）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

本発明に係る撮像装置の一実施例としてのデジタルカメラ１の外観を、図１を参照して説明する。図１（ａ）は正面から、図１（ｂ）は背面の外観を示す。デジタルカメラ１は、図１（ａ）に示すように正面側に撮像レンズ（レンズ群）１２を有している。また、デジタルカメラ１の背面には図１（ｂ）に示すように、表示装置としての液晶モニタ画面１３と、モードダイアル、カーソルキー、ＳＥＴキー、ズームボタン（Ｗボタン、Ｔボタン）、メニューキー等からなる操作部１４と、が設けられている。また、上面にはシャッタボタン１０、電源ボタン１１が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ（以下、パソコン）やモデム等の外部装置とＵＳＢケーブルに接続する場合に用いるＵＳＢ端子接続部が設けられている。

次に、デジタルカメラ１のハードウェアの構成を、ブロック図（図２）を参照して説明する。

デジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、ＣＰＵ２１とＲＯＭ２２とＲＡＭ２３とを接続する内部バス２０と、を含む。また、入出力インターフェース３０と、撮像部３１と、入力部３２と出力部３３と、記憶部３４と、表示部３５と、通信部３６と、ドライブ３７と、を備えている。

ＣＰＵ２１は、ＲＡＭ２３を作業領域として用いて、ＲＯＭ２２又は記憶部３４に格納されているプログラムにより画像を出力のための後述する処理を実行する。

ＲＯＭ２２及び／又は記憶部３４には、ＣＰＵ２１が後述する各種の処理を実行する上において必要なデータが記憶され、適宜ＲＡＭ２３にロードされる。また、ＲＡＭ２３には後述する処理の中間データが適時記憶される。

ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３は、内部バス２０を介して相互に接続されている。この内部バス２０にはまた、入出力インターフェース３０が接続されている。入出力インターフェース３０には、撮像部３１、入力部３２、出力部３３、記憶部３４、表示部３５、通信部３６及びドライブ３７が接続されている。

撮像部３１は、メインレンズ３１１と、マイクロレンズアレイ３１２と、撮像素子３１３と、を備えている。なお、撮像部３１のさらなる詳細については、図３を参照して後述する。

入力部３２は、シャッタボタン１０、操作部１４の各種ボタンと、ユーザーがこれらのボタンを用いて実行した操作の情報をＣＰＵ２１に伝達する伝達部と、表示部３５の表面に備えられたタッチパネルと、から構成される。ユーザーは、入力部３２を用いてデジタルカメラ１にコマンドを入力し、また各種情報を入力することができる。

出力部３３は、モニタやスピーカ等により構成され、ＣＰＵ２１の処理により生成された各種画像や各種音声を出力する。
記憶部３４は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、ＣＰＵ２１から伝達された、あるいは他機器から入力された、後述するライトフィールド画像や再構成画像等、各種画像のデータ、各種設定情報を記憶する。
通信部３６は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ３７には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３８が適宜装着される。ドライブ３７によってリムーバブルメディア３８から読み出されたプログラムは、必要に応じて記憶部３４にインストールされる。また、リムーバブルメディア３８は、記憶部３４に記憶されている画像のデータ等の各種データを、記憶部３４と同様に記憶することができる。表示部３５は液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等より構成される。

このような構成を有するデジタルカメラ１のうち、光学系の構成例を図３を参照して説明する。

デジタルカメラ１の光学系においては、被写体たる物体面ＯＢからみて、メインレンズ３１１と、マイクロレンズアレイ３１２と、撮像素子３１３と、がその順番で配置されている。
マイクロレンズアレイ３１２においては、Ｎ×Ｍ個（Ｎ、Ｍは２以上の任意の整数値）のマイクロレンズ３１２−１乃至３１２−Ｎ×Ｍの各々が規則的に連続して繰り返して配置されている。図３には横一列（Ｎ個）のマイクロレンズが図示されている。以下、各マイクロレンズ３１２−ｉ（ｉは、１乃至Ｎ×Ｍの範囲内の整数値）が同じ大きさの径をもち、マイクロレンズアレイ３１２に同じ間隔で格子状に配列されているとして説明する。

メインレンズ３１１は、被写体ＯＢ上の点から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３１２に入射させる。なお、以下、メインレンズ３１１により結像される面を、「メインレンズ結像面Ｍａ」と呼ぶ。本実施形態では、メインレンズ結像面Ｍａはメインレンズ３１１と撮像素子３１３との間にあるとする。

マイクロレンズ３１２−ｉは、物体面ＯＢからメインレンズ３１１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３１３の上にサブイメージとして結像させる。
即ち、撮像素子３１３においては、複数のマイクロレンズ３１２−１乃至３１２−Ｎ×Ｍの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブイメージに記録される。言い換えると被写体を同時に複数の視点から見た複数のサブイメージが整列した画像が得られる。

こうして得られたサブイメージは、同一の被写体に対して異なる角度から見た像を含む。そのため、複数のサブイメージから適切な画素を選択して合成することで、撮像時に任意の距離だけ前方に離れていた面に焦点を合わせた画像や、被写体深度を任意に変更した画像を再構成することができる。
なお、このようにしてデジタルカメラ１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼び、再構成対象の面を、「再構成面」と呼ぶ。

デジタルカメラ１は、ライトフィールド画像（ＬＦＩ）から再フォーカス可能な画像（ＲＦ画像）を生成して記憶する。

デジタルカメラ１は上記物理構成により図４に示すように画像撮影部４０、入力部５０、ＬＦＩ生成部６１０と奥行きマップ生成部６２０と単焦点画像生成部６３０と全焦点画像生成部６４０と差分画像生成部６５０と圧縮記憶処理部６６０と画像再生部６７０を含む画像処理部６０、表示部７０、記憶部８０、として機能する。

画像撮影部４０は、被写体をメインレンズ３１１とマイクロレンズアレイ３１２とで撮影し、その情報をＬＦＩ生成部６１０に伝達する。入力部５０はＲＯＭ２２及びＲＡＭ２３に記憶された撮影設定、入力部３２が受け付けたユーザー操作、ＲＯＭ２２又はＲＡＭ２３に記憶された再構成設定を取得して、画像生成処理部６０の各部に伝達する。

ＬＦＩ生成部６１０は画像撮影部４０から伝達された情報からＬＦＩを生成する。ＬＦＩ生成部６１０は、奥行きマップ生成部６２０と、単焦点画像生成部６３０と、に生成したＬＦＩを伝達する。

奥行きマップ生成部６２０はＬＦＩから各マイクロレンズの位置に基づいてサブ画像から奥行きマップを生成する。単焦点画像生成部６３０はＬＦＩから各マイクロレンズの位置に基づいてサブ画像から単焦点画像を生成する。全焦点画像生成部６４０は奥行きマップと単焦点画像から全焦点画像を生成する。差分画像生成部６５０は単焦点画像と全焦点画像から差分画像を生成する。圧縮記憶処理部６６０は全焦点画像と差分画像と奥行きマップを圧縮しこれらを関連付けて記憶部８０に記憶する。画像再生部６７０は記憶部８０から、圧縮された全焦点画像と差分画像と奥行きマップを読み出し、これらから表示用画像を再生する。表示部７０は再生された画像を表示する。

デジタルカメラ１が実行する、圧縮ＲＦ画像生成処理を、図５を参照して説明する。
デジタルカメラ１は、電源を投入され、入力部５０が撮影を準備する操作を受け取ると、図５に示す圧縮ＲＦ画像生成処理を開始する。

図５は、図１のデジタルカメラ１が実行する圧縮ＲＦ画像生成処理の流れを説明するフローチャートである。

デジタルカメラ１の画像撮影部４０は、被写体をメインレンズ３１１とマイクロレンズアレイ３１２とで撮影し、その情報をＬＦＩ生成部６１０に伝達する。ＬＦＩ生成部６１０は画像撮影部４０から伝達された情報からＬＦＩを生成する（ステップＳ１１）。

次に、デジタルカメラ１の奥行きマップ生成部６２０は、奥行きマップを生成する（ステップＳ１２）。奥行きマップ生成処理の詳細は図６を用いて以下に説明される。

奥行きマップ生成部６２０は、ライトフィールド画像のあるサブイメージの画素を隣接サブイメージの画素と比較し、差分絶対値が最小となるときの位置関係からその画素の奥行き値を推定する（ステップＳ２１）。
奥行きマップ生成部６２０は、あるサブイメージを第１のサブイメージとして選択し、他のサブイメージ、例えば、隣接するサブイメージを第２のサブイメージとして選択する。奥行きマップ生成部６２０は、第１のサブイメージの中の画素から、例えば、サブイメージの中央の画素を注目画素として選択し、注目画素の対応点、この場合第２のサブイメージの中央から、起こりうる視差の範囲について、注目画素と第２のサブイメージの画素との差分を調べる。差分が最小値である画素の対応点からの位置ずれ（位置関係）から被写体の奥行き値が推定される。この奥行き値推定はライトフィールド画像上の各サブイメージの中央付近の所定領域について行われる。

注目画素が非常に遠くにある被写体を撮影した点である場合には位置ずれは小さく、近くにある被写体を撮影した点である場合には位置ずれは大きい。この位置ずれと、実世界における被写体とカメラの距離の関係は、メインレンズ３１１、マイクロレンズアレイ３１２内のマイクロレンズ３１２−ｉの焦点距離と、撮像素子３１３の置かれた位置および大きさによって決まる。これらの対応関係は予めＲＯＭ２２に格納されている。

奥行きマップ生成部６２０は、奥行き値が推定された所定領域を各サブイメージから切り出し、これらをつなぎ合わせて仮の奥行きマップを作成する（ステップＳ２２）。次に奥行きマップ生成部６２０は、奥行きマップの距離毎の画素数を集計し分布を調べる（ステップＳ２３）。図７には、この分布がヒストグラムを用いて図解されている。極端に少ない領域しか占めない奥行き値が再フォーカスの対象としてユーザーに選ばれる可能性が低い。計算の効率化のために、奥行きマップ生成部６２０は、画素数が所定値、例えば全体の１％、より少ない奥行き値は切り捨てる（ステップＳ２４）、そして、奥行きマップの切り捨てられた部分に付いては近傍の値を代入する（ステップＳ２５）。奥行きマップ生成部６２０は、こうして修正された奥行きマップと、単焦点画像を作成するべき奥行き値（図７の例であれば２〜５、７〜９）を記憶する（ステップＳ２６）。

次に、デジタルカメラ１の単焦点画像生成部６３０は、単焦点画像を生成する（ステップＳ１３）。単焦点画像生成処理の詳細は図８を用いて以下に説明される。

まず、単焦点画像生成部６３０は、奥行きマップ生成部６２０によって生成された、単焦点画像を作成するべき奥行き値を一つ読み出し（ステップＳ３１）、この奥行き値に対応する再構成面を設定する（ステップＳ３２）。

設定された再構成面の再構成処理（ステップＳ３３）において、単焦点画像生成部６３０は、以下の処理を順次行うことで、再構成したい画素の補正画素値を得る。
（１）再構成したい画素からの光線がメインレンズの主点を通過してマイクロレンズアレイに到達した位置の特定。
（２）特定された位置を中心に再構成面に対応する再焦点距離に基づいた半径のメインレンズブラー領域（再構成したい画素からの光線が到達するマイクロレンズアレイ上の領域）の計算。
（３）マイクロレンズアレイに含まれるマイクロレンズの内、一部又は全てがメインレンズブラー領域に含まれるマイクロレンズの特定。
（４）特定されたマイクロレンズの内の選択。
（５）選択されたマイクロレンズとメインレンズブラー領域とが重なっている面積をマイクロレンズの面積で割ることによる重み付け係数の計算。
（６）再構成したい画素からの光線が、選択されたマイクロレンズによって結像される位置にある、サブ画像上の画素の、画素値の取得。
（７）この取得された画素値に先の重み付け係数をかけることによる補正画素値の計算。
（８）一部又は全てがメインレンズブラー領域に含まれるマイクロレンズ、の全てにわたって補正画素値を計算し、これらの総和を取る。
（９）補正画素値の総和を、重なり面積の総和で除算して再構成したい画像の画素値とする。

単焦点画像生成部６３０は、再構成面の全ての画素に対して上記の処理を行う事で、再構成画像を生成する（ステップＳ３３）。
単焦点画像生成部６３０は、再構成画像をその奥行きの単焦点画像として記憶する（ステップＳ３４）。
単焦点画像生成部６３０は、全ての再構成するべき奥行き値について処理したか判別する（ステップＳ３５）。未処理の奥行き値が残っている場合は（ステップＳ３５；Ｎｏ）、単焦点画像生成部６３０は、その中から一つの奥行き値を選択し、ステップＳ３２に戻り、処理を繰り返す。全ての奥行き値について処理済みであった場合は（ステップＳ３５；Ｙｅｓ）、単焦点画像生成処理は終了される。

次に、デジタルカメラ１の全焦点画像生成部６４０は、全焦点画像を生成する（ステップＳ１４）。全焦点画像生成処理の詳細は図９を用いて以下に説明される。

まず、全焦点画像生成部６４０は、奥行きマップ生成部６２０によって生成された奥行きマップを読み出す（ステップＳ４１）。全焦点画像生成部６４０は、構成しようとする全焦点画像の有る画素について、奥行きマップから対応する画素位置の奥行き値を取得する（ステップＳ４２）。全焦点画像生成部６４０は、取得された奥行き値に対応する単焦点画像から、対応位置の画素値を取得して全焦点画像の画素値として適用する（ステップＳ４３）。

全焦点画像生成部６４０は、全ての再構成するべき画素について処理したか判別する（ステップＳ４４）。未処理の画素が残っている場合は（ステップＳ４４；Ｎｏ）、全焦点画像生成部６４０は、その中から一つの画素を選択し、ステップＳ４２に戻り、処理を繰り返す。全ての画素について処理済みであった場合は（ステップＳ４４；Ｙｅｓ）、全焦点画像生成部６４０は、生成した全焦点画像を保存し、全焦点画像生成処理を終了する。

次に、デジタルカメラ１の差分画像生成部６５０は、差分画像を生成する（ステップＳ１５）。差分画像生成処理の詳細は図１０を用いて以下に説明される。

まず、差分画像生成部６５０は、全焦点画像生成部６４０によって生成された全焦点画像を読み出す（ステップＳ５１）。次に差分画像生成部６５０は、単焦点画像生成部６３０によって生成された単焦点画像を一つ読み出し（ステップＳ５２）、各画素について全焦点画像との差分を取り（ステップＳ５３）、これらの差分値を画素値とする差分画像を生成して保存する（ステップＳ５４）。

差分画像生成部６５０は、全ての単焦点画像について処理したか判別する（ステップＳ５５）。未処理の単焦点画像が残っている場合は（ステップＳ５５；Ｎｏ）、差分画像生成部６５０は、その中から一つの単焦点画像を選択し、ステップＳ５２に戻り、処理を繰り返す。全ての単焦点画像について処理済みであった場合は（ステップＳ５５；Ｙｅｓ）、差分画像生成処理は終了される。

次に、デジタルカメラ１の圧縮記憶部６６０は、圧縮記憶処理を行う（ステップＳ１６）。圧縮記憶処理の詳細は図１１を用いて以下に説明される。

まず、圧縮記憶部６６０は、圧縮回路の圧縮パラメタ−を「低」に設定する（ステップＳ６１）。ＪＰＥＧであれば量子化パラメタ−が大きいほど圧縮率が高くなるので例えばこれを「１０」とする。そして圧縮記憶部６６０は、全焦点画像を圧縮する（ステップＳ６２）。次に、圧縮記憶部６６０は、圧縮回路の圧縮パラメタ−を「高」に設定する（ステップＳ６３）。ＪＰＥＧであれば量子化パラメタ−を例えば「１００」とする。そして圧縮記憶部６６０は、差分画像を圧縮する（ステップＳ６４）。

この圧縮率の組み合わせは、高圧縮の差分画像数枚分（例えば本実施形態では生成される差分画像は７枚全て）のデータ量と低圧縮の全焦点画像のデータ量とを同等にする程度でよい。

圧縮記憶部６６０は、全ての差分画像について処理したか判別する（ステップＳ６５）。未処理の差分画像が残っている場合は（ステップＳ６５；Ｎｏ）、圧縮記憶部６６０は、その中から一つの差分画像を選択し、ステップＳ６２に戻り、処理を繰り返す。全ての差分画像について処理済みであった場合は（ステップＳ６５；Ｙｅｓ）、圧縮記憶部６６０は、奥行きマップの圧縮を行う（ステップＳ６６）。奥行きマップは数値の幅が狭くまた領域毎に同じ数字が続く傾向があるので、可逆圧縮方式（例えばＬＺＨ）を用いて圧縮される。圧縮記憶部６６０は、これらの圧縮された圧縮された全焦点画像、差分画像、奥行きマップ、を関連付けて記憶部８０、物理的構成としては例えばリムーバブルメディア３８、に保存する。この際、再生時のデフォルトの奥行き値、例えば被写体の顔の位置の奥行き値も関連付けて保存しておく（ステップＳ６７）。

以上説明したとおり、本実施形態のデジタルカメラ１は、ライトフィールド画像そのものを記憶するよりも遥かに少ないデータ量で再フォーカス可能な画像を記憶できる。これによりユーザーは気軽に多くの撮影を行うことができる。また、書き込み速度の遅いリムーバブルメディアを装着した場合であっても軽快に撮影することができる。

次に、デジタルカメラ１の画像再生処理について図１２を用いて以下に説明する。

画像再生部６７０は、圧縮された圧縮された全焦点画像、差分画像、奥行きマップ、及び、再生時のデフォルトの奥行き値、を記憶部８０から読み出し、これらを解凍する（ステップＳ７１）。次に画像再生部６７０は、デフォルトの奥行き値を再生用奥行き値として指定し（ステップＳ７２）、全焦点画像に指定された奥行きの差分画像を加算して（ステップＳ７３）、この加算画像を表示する（ステップＳ７４）。

そして、画像再生部６７０は、奥行き値の変更指示が有ったか判別する（ステップＳ７５）。奥行き値の変更指示は、例えば、ユーザーが再フォーカスしたい位置をタッチパネルなどによって表示画像に対して指定することにより行われる。奥行き値の変更指示が有った場合は（ステップＳ７５；Ｙｅｓ）、画像再生部６７０は、タッチされた位置の奥行き値をマップから読み出し、指定奥行き値とし（ステップＳ７６）、ステップＳ７３に戻って処理を繰り返す。奥行き値の変更指示が無かった場合は（ステップＳ７５；Ｎｏ）、画像再生部６７０は、表示終了指示の判定（ステップＳ７６）に進む。

画像再生部６７０は、表示終了指示が有ったか判別する（ステップＳ７６）。表示終了指示が無かった場合は（ステップＳ７６；Ｎｏ）、画像再生部６７０は、ステップＳ７５に戻って処理を繰り返し、表示終了指示が有った場合は（ステップＳ７６；Ｙｅｓ）、画像再生処理を終了する。

以上説明したとおり、本実施形態のデジタルカメラ１は、圧縮画像の解凍とそれらの加算という簡単な演算で画像を再フォーカスすることができる。これにより例えばユーザーのフリック操作に対応して、表示画面上を再生画像が次々に流れていくような場合であっても、再フォーカス動作を容易に実現することができる。

本実施形態に於いては、奥行きマップをそのまま非可逆圧縮したが、フォーカスを合わせ直す際の精度は必ずしも１ビット精度が必要なわけでは無いので、奥行きマップを間引きすることでデータ量を減らして圧縮せずに記憶しても良い。また、間引き後に更に圧縮しても良い。

本実施形態に於いては、圧縮度の高低をＪＰＥＧの量子化パラメターの調整により区別したが、全ピント画像を可逆圧縮、差分画像を非可逆圧縮としてもよいし、全ピント画像を無圧縮、差分画像を非可逆圧縮してもよい。

本実施形態に於いては、静止画について詳細に説明したが、動画に対して本発明を適用することも可能で有る。
例えば、フレーム毎に全焦点画像、差分画像、奥行きマップを生成する。連続して生成される全焦点画像に対して通常の動画圧縮を行い、連続して生成される差分画像をそれぞれ画像内符号化の圧縮率を高めた動画圧縮を行う。そして、これらを関連付けて記憶すれば良い。

本実施形態に於いては、デジタルカメラ１としてライトフィールドカメラを用いたが、被写体とカメラがともに静止している状況であれば、通常カメラのフォーカスブラケット撮影された画像データに対し、本発明を適用することも可能である。
例えば、この場合、絞りを小さくした被写界深度の深い画像を全焦点画像とする。絞りを大きくした被写界深度の浅い画像を、フォーカス距離を変えながら撮影して複数の単焦点画像を得る。単焦点画像間で同一領域の高周波成分を比較し、もっとも高い値が得られた画像がその領域の合焦画像であるのでそのフォーカス値を奥行きマップに記憶していく。その後、実施形態のステップＳ１５，ステップＳ１６を適用すれば良い。

また、本実施形態に於いては、画像再生処理をデジタルカメラ１内で行ったが、他の画像処理装置で圧縮リフォーカス画像を読み込み、この画像処理装置で画像再生処理を行ってもよい。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
全焦点画像を生成する全焦点画像生成手段と、
単焦点画像を生成する単焦点画像生成手段と、
前記全焦点画像と前記単焦点画像との差分画像を生成する差分画像生成手段と、
前記差分画像を圧縮して圧縮差分画像を生成する圧縮差分画像生成手段と、
前記全焦点画像と、前記圧縮差分画像とを記録する記録手段と
を備えた画像記録装置。
［付記２］
前記全焦点画像を圧縮する全焦点画像圧縮手段を更に備え、
前記記録手段によって記録される全焦点画像は前記全焦点画像圧縮手段によって圧縮されたものであることを特徴とする付記１に記載の画像記録装置。
［付記３］
前記圧縮差分画像は前記全焦点画像よりも高い圧縮率で圧縮されていることを特徴とする付記１及び２に記載の画像記録装置。
［付記４］
画像中の被写体について奥行き分布を判定する奥行き分布判定手段を更に備え、
前記単焦点画像生成手段は、前記奥行き分布のうち所定値以上の比率を有する奥行きについて単焦点画像を生成することを特徴とする付記１乃至３に記載の画像記録装置。
［付記５］
前記全焦点画像は全ての被写体に合焦するようにライトフィールド画像から再構成した画像であり、
前記単焦点画像は特定の奥行きに合焦するようにライトフィールド画像から再構成した画像であることを特徴とする付記１乃至４に記載の画像記録装置。
［付記６］
全焦点画像を生成する工程と、
単焦点画像を生成する工程と、
前記全焦点画像と前記単焦点画像との差分画像を生成する工程と、
前記差分画像を圧縮して圧縮差分画像を生成する工程と、
前記全焦点画像と、前記圧縮差分画像とを記録する工程と
を備えた画像記録方法。
［付記７］
記録される前記全焦点画像は圧縮されたものであることを特徴とする付記６に記載の画像記録方法。
［付記８］
前記圧縮差分画像は前記全焦点画像よりも高い圧縮率で圧縮されていることを特徴とする付記６及び７に記載の画像記録方法。
［付記９］
画像中の被写体について奥行き分布を判定する工程を更に備え、
前記単焦点画像を生成する工程は、前記奥行き分布のうち所定値以上の比率を有する奥行きについて単焦点画像を生成することを特徴とする付記６乃至８に記載の画像記録方法。
［付記１０］
前記全焦点画像は全ての被写体に合焦するようにライトフィールド画像から再構成した画像であり、
前記単焦点画像は特定の奥行きに合焦するようにライトフィールド画像から再構成した画像であることを特徴とする付記６乃至９に記載の画像記録方法。
［付記１１］
記録媒体から全焦点画像と差分画像を読み出す画像読み出し手段と、
所定の奥行きを指定する奥行き指定手段と、
指定された奥行きに対応する前記差分画像を前記全焦点画像に加算して単焦点画像を生成する単焦点画像生成手段と
を備えた画像再生装置。
［付記１２］
記録媒体から全焦点画像と差分画像を読み出す工程と、
所定の奥行きを指定する工程と、
指定された奥行きに対応する前記差分画像を前記全焦点画像に加算して単焦点画像を生成する工程と
を備えた画像再生方法。

Claims (12)

1. 全焦点画像を生成する全焦点画像生成手段と、
   単焦点画像を生成する単焦点画像生成手段と、
   前記全焦点画像と前記単焦点画像との差分画像を生成する差分画像生成手段と、
   前記差分画像を圧縮して圧縮差分画像を生成する圧縮差分画像生成手段と、
   前記全焦点画像と、前記圧縮差分画像とを記録する記録手段と
   を備えた画像記録装置。
2. 前記全焦点画像を圧縮する全焦点画像圧縮手段を更に備え、
   前記記録手段によって記録される全焦点画像は前記全焦点画像圧縮手段によって圧縮されたものであることを特徴とする請求項１に記載の画像記録装置。
3. 前記圧縮差分画像は前記全焦点画像よりも高い圧縮率で圧縮されていることを特徴とする請求項１及び２に記載の画像記録装置。
4. 画像中の被写体について奥行き分布を判定する奥行き分布判定手段を更に備え、
   前記単焦点画像生成手段は、前記奥行き分布のうち所定値以上の比率を有する奥行きについて単焦点画像を生成することを特徴とする請求項１乃至３に記載の画像記録装置。
5. 前記全焦点画像は全ての被写体に合焦するようにライトフィールド画像から再構成した画像であり、
   前記単焦点画像は特定の奥行きに合焦するようにライトフィールド画像から再構成した画像であることを特徴とする請求項１乃至４に記載の画像記録装置。
6. 全焦点画像を生成する工程と、
   単焦点画像を生成する工程と、
   前記全焦点画像と前記単焦点画像との差分画像を生成する工程と、
   前記差分画像を圧縮して圧縮差分画像を生成する工程と、
   前記全焦点画像と、前記圧縮差分画像とを記録する工程と
   を備えた画像記録方法。
7. 記録される前記全焦点画像は圧縮されたものであることを特徴とする請求項６に記載の画像記録方法。
8. 前記圧縮差分画像は前記全焦点画像よりも高い圧縮率で圧縮されていることを特徴とする請求項６及び７に記載の画像記録方法。
9. 画像中の被写体について奥行き分布を判定する工程を更に備え、
   前記単焦点画像を生成する工程は、前記奥行き分布のうち所定値以上の比率を有する奥行きについて単焦点画像を生成することを特徴とする請求項６乃至８に記載の画像記録方法。
10. 前記全焦点画像は全ての被写体に合焦するようにライトフィールド画像から再構成した画像であり、
    前記単焦点画像は特定の奥行きに合焦するようにライトフィールド画像から再構成した画像であることを特徴とする請求項６乃至９に記載の画像記録方法。
11. 記録媒体から全焦点画像と差分画像を読み出す画像読み出し手段と、
    所定の奥行きを指定する奥行き指定手段と、
    指定された奥行きに対応する前記差分画像を前記全焦点画像に加算して単焦点画像を生成する単焦点画像生成手段と
    を備えた画像再生装置。
12. 記録媒体から全焦点画像と差分画像を読み出す工程と、
    所定の奥行きを指定する工程と、
    指定された奥行きに対応する前記差分画像を前記全焦点画像に加算して単焦点画像を生成する工程と
    を備えた画像再生方法。