JP4706882B2

JP4706882B2 - 撮像装置

Info

Publication number: JP4706882B2
Application number: JP2009024469A
Authority: JP
Inventors: 重篤吉岡
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-02-05
Filing date: 2009-02-05
Publication date: 2011-06-22
Anticipated expiration: 2029-02-05
Also published as: US8325241B2; CN101800854A; JP2010183316A; US20100194921A1; CN101800854B

Description

本発明は、撮像レンズおよび撮像素子を用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。このような撮像装置では、メインレンズとしての撮像レンズと、マイクロレンズアレイと、複数の画素が２次元配列した撮像素子とを備えている。また、一つのマイクロレンズに対して複数の画素が割り当てられており、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向（以下、単に視野という）、任意のフォーカス（焦点）からの観察画像を再構築できるようになっている。

国際公開第０６／０３９４８６号パンフレット

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、このような手法により得られた撮像データでは、最終的に１画素として表示される情報が、光の進行方向に応じて複数画素に分割して記録されるようになっている。そのため、一般に高精細な画像を得ようとすると、撮像データのデータ量が膨大になってしまうという一面がある。

したがって、任意の焦点からの画像（リフォーカス画像）を再構築しようとする場合、そのような処理の際に、撮像データが格納されている記憶装置からの大量のデータ転送が生じることになる。しかも、上記のように、最終的に１画素に対応する情報が複数の画素に分割して記憶されているため、フォーカス位置によって計算される記憶装置上の離散的なアドレスから、画素データを集めてくる必要がある。この場合、各画素データに局所性がないため、キャッシュメモリ等を用いてデータ転送回数を減らすことは困難である。また、例えばＤＭＡ（Direct Memory Access）を用いてデータ転送を行うとしても、非連続アドレスのデータ転送の場合、連続アドレスのデータ転送に比べ、圧倒的に多いサイクル数を要することになる。

このようにして従来の撮像装置では、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて任意の焦点に設定された画像（リフォーカス画像）を生成する場合、そのような画像を生成するのに時間がかかってしまうという問題があった。したがって、画像の生成速度の高速化が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像を従来よりも高速に生成することが可能な撮像装置を提供することにある。

本発明の撮像装置は、撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズと撮像素子との間において撮像レンズの焦点面上に配置されると共に、撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、この画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部とを備えたものである。また、上記画像処理部は、撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、撮像データから、各マイクロレンズに対応する撮像素子の撮像領域における同一位置にある画素の画素データをそれぞれ抽出し、それらの抽出した画素データを各マイクロレンズに対応する各撮像領域の位置に対応付けて配列させることにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像をデータ記憶部へ格納し、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成するようになっている。

本発明の撮像装置では、上記撮像レンズ、マイクロレンズアレイ部および撮像素子によって、光線の進行方向を含む撮像データが得られると共に、この撮像データに基づいて所定の画像処理が行われることにより、再構築画像が生成される。このとき、画像処理の際の撮像データは、データ記憶部に格納される。ここで、撮像データに基づいて上記リフォーカス画像を生成する際には、撮像データに基づいて上記複数の任意視点画像が生成されると共に、それらの各任意視点画像がデータ記憶部へ格納される。そして、このデータ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが読み出し単位として一括して読み出されると共に、読み出されたそれらの画素データに基づいて所定の並び替え処理および積分処理が行われることにより、上記リフォーカス画像が生成される。このようにして、撮像データに基づいて複数の任意視点画像が生成されてデータ記憶部へ格納されたのち、これらの各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データが一括して読み出されることにより、リフォーカス画像を生成する際に必要となるデータ記憶部からのデータ転送回数（データ転送のサイクル数）が、従来と比べて少なくなる。

本発明の撮像装置によれば、撮像素子から得られた撮像データに基づいてリフォーカス画像を生成する際に、撮像データに基づいて複数の任意視点画像を生成してデータ記憶部へ格納したのち、各任意視点画像から互いに隣接する画素位置に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて、任意の焦点に設定された画像（リフォーカス画像）を従来よりも高速に生成することが可能となる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。撮像レンズとマイクロレンズアレイのＦナンバーの設定について説明するための図である。図１に示した画像処理部の詳細構成を表す機能ブロック図である。図１に示した撮像素子上の受光領域を表す平面図である。撮像素子に入射する光線の情報を説明するための図である。図３に示した再構築画像合成部によるリフォーカス演算処理について説明するための図である。比較例に係る従来の撮像装置におけるリフォーカス演算処理の一例を表す流れ図である。図７に示した比較例に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。図７に示した比較例に係るリフォーカス演算処理に用いる撮像データの一例を表す写真図である。実施の形態に係るリフォーカス演算処理の一例を表す流れ図である。図１０に示した実施の形態に係るリフォーカス演算処理の際の画素データの配置例を表す模式図である。図１０に示した実施の形態に係るリフォーカス演算処理に用いる撮像データ（任意視点画像からなる撮像データ）の一例を表す写真図である。本発明の撮像装置の適用例１に係るデジタルカメラの外観構成を表す図である。本発明の変形例に係るリフォーカス演算処理の際の任意視点画像における画素データの一括転送単位について説明するための模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（任意視点画像を用いた高速なリフォーカス演算処理の例）
２．撮像装置の適用例（適用例１：デジタルカメラ、適用例２：３次元表示装置）
３．変形例

＜１．実施の形態＞
［撮像装置の全体構成例］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、撮像対象物（被写体）２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、開口絞り１０と、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３とを備えている。また、撮像装置１はこの他に、画像処理部１４と、撮像素子駆動部１５と、制御部１６と、データ記憶部１７とを備えている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口部１０Ａの形状は、図１中に示したように例えば円形状であり、この形状の相似形となる撮像対象物２の像（後述のユニット像）が、撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面；図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

ここで、撮像レンズ１１のＦナンバーＦ_MLと、マイクロレンズアレイ１２のＦナンバーＦ_MLAとは、概ね等しくなっていることが好ましい。これは、図２（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも小さい場合（Ｆ_ML＜Ｆ_MLAの場合）、隣接するマイクロレンズによる撮像光線間で重なりが生じるためである。そのような重なりが生じた場合、クロストークが発生し、再構築画像の画質が劣化してしまうことになる。また一方で、図２（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも大きい場合（Ｆ_ML＞Ｆ_MLAの場合）、マイクロレンズによる撮像光線が受光されない撮像画素が生じるためである。そのような撮像画素が生じた場合、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうことになる。なお、本発明においては、これらのＦナンバーが完全に同一である場合には限定されず、誤差等を含んでいてもよいものとする。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、複数の画素（後述する画素Ｐ）をマトリクス状に２次元配列したものであり、各画素は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の画素がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面上の画素の個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに割り当てられる画素数（ｍ×ｎ）は、後述する再構築画像の任意の視野での分解能となる。このため、これらｍ，ｎの値が大きくなるにしたがって、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）となる。このため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が増加する。したがって、再構築画像の任意の視野での分解能と画素数とは、トレードオフの関係となっている。

画像処理部１４は、後述する制御部１６から供給される制御信号Ｓoutに従って、撮像素子１３で得られた撮像データＤ０に対して所定の画像処理を施すことにより、撮像データＤoutを生成・出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理（所定の並び替え処理等）を行うことにより、任意の視野や任意の焦点面に設定した観察画像（再構築画像）を生成するようになっている。なお、この画像処理部１４の詳細構成については、後述する（図３）。

データ記憶部１７は、画像処理部１４における上記画像処理の際の撮像データを格納しておくための記憶部である。このデータ記憶部１７は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の種々のメモリにより構成されている。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

［画像処理部の詳細構成例］
次に、図３を参照して、画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を、データ記憶部１７と共に表したものである。この画像処理部１４は、欠陥補正部１４０と、クランプ処理部１４１と、並べ替え処理部１４２と、ノイズ低減処理部１４３と、ホワイトバランス処理部１４４と、再構築画像合成部１４５と、ガンマ補正処理部１４６とから構成されている。

欠陥補正部１４０は、撮像素子１３から得られる撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。

クランプ処理部１４１は、欠陥補正部１４０による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

並べ替え処理部１４２は、クランプ処理部１４２から供給される撮像データ（画像データ）Ｄ１に対して所定の並べ替え処理を施すことにより、互いに異なる複数の視点からの画像に対応する複数の任意視点画像からなる撮像データＤ２を生成するものである。このような任意視点画像は、撮像素子１３上で受光したユニット像（後述する再構築画素領域１３Ｄにおける像）同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより、生成することができる。このため、生成される任意視点画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。

ここで、本実施の形態では、このようにして生成された各任意視点画像において、複数の画素Ｐにおける画素データ（複数の画素データ）が互いに隣接する画素位置に記憶されることとなるように、各任意視点画像をデータ記憶部１７へ格納するようになっている。これにより、後述する再構築画像合成部１４５におけるリフォーカス演算処理の際に、データ転送のサイクル数が従来と比べて削減されるようになっている。なお、この並び替え処理部１４２が、本発明における「任意視点画像生成部」の一具体例に対応する。また、このような任意視点画像の詳細については、後述する（図１０〜図１２）。

ノイズ低減処理部１４３は、並べ替え処理部１４２から供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。

ホワイトバランス処理部１４４は、ノイズ低減処理部１４３から供給される撮像データに対してホワイトバランス調整処理を施すことにより、撮像データＤ３を生成するものである。このようなホワイトバランス調整処理としては、例えば、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や、照明条件などの影響に起因した色バランスの調整処理などが挙げられる。なお、ホワイトバランス処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。

再構築画像合成部１４５は、ホワイトバランス処理部１４４から供給される撮像データＤ３に対し、所定の合成処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すものである。そして、このような合成処理により、リフォーカス画像としての再構築画像（撮像データＤ４）が生成されるようになっている。

このようなリフォーカス演算処理の際、本実施の形態では、データ記憶部１７に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すようになっている。そして、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、上記リフォーカス画像を生成する。具体的には、合成処理の際に、各任意視点画像から、複数の画素データを連続して任意視点画像の回数分転送しておき、各々の画素データに対して積分処理を施すようになっている。なお、この再構築画像合成部１４５が、本発明における「リフォーカス画像生成部」の一具体例に対応する。また、このようなリフォーカス演算処理の詳細については、後述する（図６，図１０〜図１２）。

ガンマ補正処理部１４６は、再構築画像合成部１４５から供給される撮像データＤ４に対して所定のガンマ補正（明暗やコントラストの補正）を施すことにより、撮像データＤoutを生成するものである。

［撮像装置の作用・効果］
次に、本実施の形態の撮像装置１の作用および効果について説明する。

（撮像装置の基本的な作用）
最初に、図１〜図６を参照して、撮像装置１の基本的な作用について説明する。

この撮像装置１では、図４に示したように、撮像レンズ１１による被写体２の像は、開口絞り１０によってその光束が絞られ、マイクロレンズアレイ１２上に結像する。そしてマイクロレンズアレイ１２への入射光線が、このマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて、撮像素子１３上の異なる位置（異なる画素Ｐ）で受光される。具体的には、例えば図４に示したように、開口絞り１０の開口形状（ここでは、円形状）の相似形となる撮像対象物２の像（ユニット像）１３−１が、マイクロレンズごとに結像する。なお、このユニット像１３−１、すなわち一つのマイクロレンズに割り当てられた画素Ｐによって構成される領域（再構築画素領域１３Ｄ）が、再構築される画像の一画素分に相当する。

ここで、図５を参照して、撮像素子１３で受光される光線について説明する。まず、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとする。すると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Ｐの配置によって、光線の入射方向が決まることとなり、これにより光線の進行方向を含む撮像データＤ０が得られる。

このようにして撮像素子１３において受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像素子１３から撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。画像処理部１４では、制御部１６の制御に従って、撮像データＤ０に対し、所定の画像処理（並び替え処理）を施す。例えば、任意の視野の画像（任意視点画像）を再構築する際には、マイクロレンズごとに同一の列にある画素データを抽出し、これらを合成する処理を行う。また、任意の焦点（フォーカス）での画像（リフォーカス画像）を再構築する際には、画素データの並び替え処理および積分処理を行う。このとき、画像処理の際の撮像データは、データ記憶部１７へ一時的に格納される。このような画像処理により、撮像データＤoutとして、任意の視野や任意の焦点での再構築画像が出力される。

具体的には、本実施の形態の画像処理部１４では、撮像データＤ０が入力されると、最初に欠陥補正部１４０において欠陥補正を行ったのち、クランプ処理部１４２においてクランプ処理を行う。次いで、並べ替え処理部１４２において並べ替え処理を行ったのち、ノイズ低減処理部１４３においてノイズ低減処理を行うと共に、ホワイトバランス処理部１４４においてホワイトバランス処理を行う。これにより、撮像データＤ３が再構築画像合成部１４５へ入力される。

次に、再構築画像合成部１４５では、撮像データＤ３に対し、前述したように、例えば「Light Field Photography」と呼ばれる手法を用いた画素データの並び替え処理および積分処理（リフォーカス演算処理）を施し、再構築画像（撮像データＤ４）を生成する。

具体的には、図６に示したように、リフォーカス係数αによって規定されるリフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_F'は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_F'（ｓ，ｔ）は、上記検出強度Ｌ_F'をレンズ口径に関して積分したものとなるため、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面１２０）に設定された画像（リフォーカス画像）が再構築される。なお、図中の撮像レンズ面１１０は、撮像レンズ１１の撮像レンズ面を表している。

そして、このようにして生成された再構築画像のデータ（撮像データＤ４）に対し、ガンマ補正処理部１４９において、ガンマ補正を行う。これにより、撮像データＤoutが生成され、画像処理部１４から出力される。

（撮像装置における特徴的な作用）
次に、図７〜図１２を参照して、本実施の形態の撮像装置１における特徴的な作用（主にリフォーカス演算処理）について、比較例と比較しつつ詳細に説明する。ここで、図７〜図９は、比較例に係る従来の撮像装置（図示せず）におけるリフォーカス演算処理を表すものである。また、図１０〜図１２は、本実施の形態の撮像装置１におけるリフォーカス演算処理の一例を表すものである。これらのうち、図７は、比較例に係るリフォーカス演算処理の一例を流れ図で表したものであり、図１０は、本実施の形態に係るリフォーカス演算処理の一例を流れ図で表したものである。また、図９は、比較例に係るリフォーカス演算処理に用いる撮像データの一例を写真図で表したものであり、図１２は、本実施の形態に係るリフォーカス演算処理に用いる撮像データ（任意視点画像からなる撮像データ）の一例を写真図で表したものである。

なお、以下の説明（図７，図８，図１０，図１１）では、一例として、Ｍ×Ｎ＝１５×１５＝２２５個の画素Ｐからなる撮像素子１３（撮像データＤ０〜Ｄ３）を用いるものとする。また、マイクロレンズアレイ１２内の各マイクロレンズに対し、ｍ×ｎ＝３×３＝９個の画素Ｐが割り当てられているものとする。したがって、マイクロレンズアレイ１２内のマイクロレンズの数は、（１５／３）×（１５／３）＝５×５＝２５個であるものとする。また、後述する任意視点画像では、９個の任意視点画像Ｖ１〜Ｖ９が存在すると共に、各任意視点画像では、５×５＝２５個の画素Ｐから構成されることになる。さらに、各撮像データにおける画素データには、図５において説明したように、（ｘ，ｙ，ｕ，ｖ）の各座標系（座標軸）によって規定される４次元座標が設定されるようになっている。

（比較例のリフォーカス演算処理）
最初に、比較例のリフォーカス演算処理では、図８中の「Ａ」，「Ｂ」，「Ｃ」で示した各画素データを基に、リフォーカス画像における画素データを生成する場合について説明する。具体的には、「Ａ」，「Ｂ」，「Ｃ」で示した各画素データに対して並び替え処理および積分処理を施すことにより、図中の符号Ｐａ，Ｐｂ，Ｐｃでそれぞれ示した画素位置に、リフォーカス画像における画素データを生成するというものである。

ここではまず、図８に示したように、「Ａ」で示した９個の画素データがそれぞれ、互いに離散された画素位置に配置されているため、それら９個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら９個の画素データを積分して「９」で割る（除算する）ことにより、図中の符号Ｐａで示した画素位置に、リフォーカス画像における画素データを生成する（図７のステップＳ９１）。

次いで、図８に示したように、「Ｂ」，「Ｃ」で示した９個の画素データも同様に、互いに離散された画素位置に配置されているため、それぞれの９個の画素データを離散アドレスにより、データ記憶部から再構築画像合成部へと転送する。そして、それら９個の画素データを積分して「９」で割る（除算する）ことにより、図中の符号Ｐｂ，Ｐｃで示した画素位置に、リフォーカス画像における画素データを生成する（ステップＳ９１，Ｓ９２）。これにより、図７に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、リフォーカス画像全体が生成される。

ここで、比較例のリフォーカス演算処理では、リフォーカス画像において最終的に１画素となる「Ａ」〜「Ｃ」等の画素データがそれぞれ、撮像データＤ０，Ｄ１における複数の画素Ｐに分割してデータ記憶部に記憶されている。したがって、リフォーカス画像を生成する際に、そのようなデータ記憶部における離散的な画素位置（アドレス）から画素データを集めてくる必要がある。よって、データ転送のサイクル数が非常に多くなってしまい（この場合、９回×３＝２７回）、転送効率が非常に悪いため、リフォーカス画像を生成するのに時間がかかってしまうことになる。

（本実施の形態のリフォーカス演算処理）
これに対し、本実施の形態のリフォーカス演算処理の際には、まず、並び替え処理部１４２において、撮像データＤ１に対して所定の並べ替え処理を施すことにより、複数の任意視点画像からなる撮像データＤ２を生成する。具体的には、例えば図８に示した再構築画素領域１３Ｄ同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより、任意視点画像を生成する。これにより、例えば図１１および図１２に示したような、複数の任意視点画像が生成される。ここで、図８中に示した「Ａ」〜「Ｃ」で示した各画素データは、以下のような４次元座標（ｘ，ｙ，ｕ，ｖ）を有している。したがって、撮像データＤ０，Ｄ１（図８）と、任意視点画像からなる撮像データＤ２，Ｄ３（図１１）との間で、（ｘ，ｙ）座標系と（ｕ，ｖ）座標系とが変換（交換）されることにより、図１１に示したような任意視点画像Ｖ１〜Ｖ９が生成される。
・「Ａ」の画素データ：（ｘ，ｙ，ｕ，ｖ）＝（0,1,0,0）、（1,1,1,0）、（2,1,2,0）、（0,2,0,1）、（1,2,1,1）、（2,2,2,1）、（0,3,0,2）、（1,3,1,2）、（2,3,2,2）
・「Ｂ」の画素データ：（ｘ，ｙ，ｕ，ｖ）＝（1,1,0,0）、（2,1,1,0）、（3,1,2,0）、（1,2,0,1）、（2,2,1,1）、（3,2,2,1）、（1,3,0,2）、（2,3,1,2）、（3,3,2,2）
・「Ｃ」の画素データ：（ｘ，ｙ，ｕ，ｖ）＝（2,1,0,0）、（3,1,1,0）、（4,1,2,0）、（2,2,0,1）、（3,2,1,1）、（4,2,2,1）、（2,3,0,2）、（3,3,1,2）、（4,3,2,2）

そして、本実施の形態では、このようにして生成された各任意視点画像Ｖ１〜Ｖ９において、複数の画素Ｐにおける画素データ（複数の画素データ）が互いに隣接する画素位置（アドレス）に記憶されるように、撮像データＤ２がデータ記憶部１７へ格納される。具体的には、撮像データＤ２における各任意視点画像Ｖ１〜Ｖ９では、図１１中の符号Ｐ１〜Ｐ９に示したように、図８中に示した「Ａ」〜「Ｃ」で示した各画素データが、同一の配列によって互いに隣接して連続した画素位置（アドレス）に格納されることになる。また、符号Ｐ１〜Ｐ９に示した「ＡＢＣ」の配列からなる画素データ列は、ここでは、任意視点画像Ｖ１〜Ｖ９内のｘ軸方向に沿って配置されると共に、任意視点画像ごとに、その画素データ列の位置がｘ軸，ｙ軸方向に順次ずれていくようになっている。

したがって、本実施の形態では、次に再構築画像合成部１４５において、このような任意視点画像Ｖ１〜Ｖ９からなる撮像データＤ２，Ｄ３を利用して、以下説明するリフォーカス演算処理を行う。具体的には、再構築画像合成部１４５は最初に、データ記憶部１７に格納されている各任意視点画像Ｖ１〜Ｖ９から、互いに隣接する画素位置（アドレス）に記憶されている複数の画素データを読み出し単位として、一括して画素データを読み出す。より具体的には、図１１中の符号Ｐ１〜Ｐ９で示した「ＡＢＣ」の画素データの組み合わせ（画素データ列）を一括転送単位として、各任意視点画像間での離散アドレスにより９個（９単位）転送する（図１０のステップＳ１１）。

そして、９個ずつの「Ａ」〜「Ｃ」の各画素データをそれぞれ積分して「９」で割る（除算する）ことにより、リフォーカス画像における画素データを生成する（ステップＳ１２〜Ｓ１４）。すなわち、再構築画像合成部１４５は、各任意視点画像Ｖ１〜Ｖ９から読み出した複数の画素データにおいて、「Ａ」〜「Ｃ」の各画素データ単位で並び替え処理および積分処理を行うことにより、リフォーカス画像を生成する。これにより、図１０に示したリフォーカス演算処理が完了となる。そして、このような処理を繰り返すことにより、撮像データＤ４を構成するリフォーカス画像全体が生成される。

このようにして本実施の形態のリフォーカス演算処理では、撮像素子１３から得られる撮像データＤ０に基づいて、複数の任意視点画像Ｖ１〜Ｖ９からなる撮像データＤ２が生成され、データ記憶部１７へ格納される。そののち、各任意視点画像Ｖ１〜Ｖ９から、互いに隣接する画素位置（アドレス）に記憶されている複数の画素データが一括して読み出され、撮像データＤ４を構成するリフォーカス画像が生成される。これにより、リフォーカス画像を生成する際に必要となるデータ記憶部１７から画像処理部１４へのデータ転送回数（データ転送のサイクル数）が、従来と比べて少なくなる。具体的には、比較例では９回×３＝２７回のデータ転送回数を要するのに対し、本実施の形態では、９回×１＝９回のデータ転送回数で済む（この場合、１／３のデータ転送回数で済む）ことになる。

以上のように本実施の形態では、撮像素子１３から得られた撮像データＤ０に基づいてリフォーカス画像を生成する際に、撮像データＤ０に基づいて複数の任意視点画像Ｖ１〜Ｖ９を生成してデータ記憶部１７へ格納したのち、各任意視点画像Ｖ１〜Ｖ９から、互いに隣接する画素位置（アドレス）に記憶されている複数の画素データを一括して読み出すようにしたので、そのような複数の画素データに基づいてリフォーカス画像を生成する際に、必要となるデータ記憶部１７からのデータ転送回数が、従来と比べて少なくなる。よって、光線の進行方向の情報をも含むようにして取得した撮像データＤ０に基づいて、任意の焦点に設定された画像（リフォーカス画像）を従来よりも高速に生成することが可能となる。

＜２．撮像装置の適用例＞
本発明の撮像装置は、例えば、以下説明するようなデジタルカメラ３（適用例１）や３次元表示装置（適用例２）の他、カムコーダや位置センサ、生体センサ、光学顕微鏡、ＦＴＶ（Free viewpoint TV）などの用途の撮像装置に適用することができる。

（適用例１）
図１３（Ａ）および図１３（Ｂ）は、撮像装置１を搭載したデジタルカメラ３の概略構成を表すものであり、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルカメラ３は、筐体３００の内部に上記実施の形態の撮像装置１を備えており、筐体３００の上部には、シャッタ１８１、フラッシュ１８２およびファインダ光学系１８３などが設けられている。

（適用例２）
また、本発明の撮像装置は、例えば、ステレオ方式の３次元画像表示装置に適用することができる。ここで、一般的なステレオ方式の３次元画像表示は、例えば次のようにして実現される。例えば、人間の眼に相当する２台のカメラで撮影した左眼用および右眼用の２枚の画像（２枚の視差画像）を、２台の投射型表示装置を用いてスクリーン上に同時に投影し、このスクリーン上の映像を視聴者が偏光眼鏡をかけて観ることにより実現される。このとき、２台プロジェクタでは、左眼用および右眼用の各投射光に互いに直交する偏光が用いられ、偏光眼鏡として、左眼と右眼とにおいて互いに直交する偏光のみをそれぞれ透過するものが用いられる。これにより、左眼用の画像を左眼、右眼用の画像を右眼でそれぞれ観察することにより、観察者には、奥行き感のある立体画像として認識される。

上記実施の形態で得られた画像をこのようなステレオ方式の３次元表示に用いる場合には、左右２枚の任意視点画像（視差画像）を生成し、生成した視差画像を上記のようなプロジェクタを用いてスクリーン上に投影し、これを偏光眼鏡で観察することで実現できる。このように、左眼用および右眼用の視差画像を、２台のカメラを用いることなく取得することができる。よって、簡易な構成で十分な表示品質を有する３次元表示システムを実現することができる。ただし、左眼用および右眼用の視差画像を、２台のカメラを用いることにより取得するようにしてもよい。

＜３．変形例＞
以上、実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等では、図１１中の符号Ｐ１〜Ｐ９に示した「ＡＢＣ」の配列からなる画素データ列が、任意視点画像Ｖ１〜Ｖ９内のｘ軸方向に沿って配置されている場合について説明したが、この場合には限られない。具体的には、例えば図１４（Ａ）に示した任意視点画像Ｖ１１のように、Ｐ１１に示した「ＡＢＣ」の配列からなる画素データ列が、任意視点画像Ｖ１１内のｙ軸方向に沿って配置されているようにしてもよい。また、例えば図１４（Ｂ）に示した任意視点画像Ｖ１２のように、Ｐ１２に示した「ＡＢＣＤ」の配列からなる画素データ列が、任意視点画像Ｖ１２内のｘ軸方向およびｙ軸方向の双方に沿って配置されているようにしてもよい。

さらに、上記実施の形態等では、画像処理部１４を撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer；パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにしてもよい。

加えて、上記実施の形態等では、開口絞り１０の位置を、撮像レンズ１１の撮像対象物２側（入射側）に配置した構成としているが、これに限定されず、撮像レンズ１１の像側（出射側）あるいは、撮像レンズ１１内部に設けられた構成であってもよい。

加えてまた、撮像素子１３の受光面上には、例えば図示しないカラーフィルタを画素Ｐごとに色分けして、２次元配置するようにしてもよい。このようなカラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データＤ０を、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができ、再構築画像をカラー画像とすることが可能となる。また、各マイクロレンズに対応する画素領域ごとに色分けしたカラーフィルタを用いるようにした場合には、マイクロレンズごとに同一の位置に配置された画素を抽出した場合、抽出後も同一のカラー配列とすることができる。よって、例えば色補間などの処理を施し易くなり、偽色の発生も抑えることが可能となる。

１…撮像装置、１０…開口絞り、１０Ａ…開口部、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２０…リフォーカス面、１３…撮像素子、１３０…撮像面、１３−１…撮像対象物の像（ユニット像）、１３Ｄ…再構築画素領域、１４…画像処理部、１４０…欠陥補正部、１４１…クランプ処理部、１４２…並び替え処理部、１４３…ノイズ低減処理部、１４４…ホワイトバランス処理部、１４５…再構築画像合成部、１４６…ガンマ補正処理部、１５…撮像素子駆動部、１６…制御部、１７…データ記憶部、１８１…シャッタ、１８２…フラッシュ、１８３…ファインダ光学系、２…撮像対象物（被写体）、３…デジタルカメラ、３００…筐体、ｆ１，ｆ２…焦点距離、Ｓout…制御信号、Ｄ０，Ｄ１〜Ｄ４，Ｄout…撮像データ（画像データ）、Ｆ_ML，Ｆ_MLA…Ｆナンバー（Ｆ値）、Ｐ…画素、ｘ，ｙ，ｕ，ｖ…座標軸、Ｖ１〜Ｖ９，Ｖ１１，Ｖ１２…任意視点画像、Ｌ１…光線。

Claims

撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズと前記撮像素子との間において前記撮像レンズの焦点面上に配置されると共に、前記撮像素子の複数の画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
前記撮像素子から得られた撮像データに基づいて所定の画像処理を行うことにより、再構築画像を生成する画像処理部と、
前記画像処理部における画像処理の際の撮像データを格納しておくためのデータ記憶部と
を備え、
前記画像処理部は、前記撮像データに基づいて、任意の焦点に設定された再構築画像であるリフォーカス画像を生成する際に、
前記撮像データから、各マイクロレンズに対応する前記撮像素子の撮像領域における同一位置にある画素の画素データをそれぞれ抽出し、それらの抽出した画素データを各マイクロレンズに対応する各撮像領域の位置に対応付けて配列させることにより、複数の任意視点画像を生成すると共に、それらの各任意視点画像を前記データ記憶部へ格納し、
前記データ記憶部に格納されている各任意視点画像から、互いに隣接する画素位置に記憶されている複数の画素データを読み出し単位として一括して読み出すと共に、読み出したそれらの画素データに基づいて所定の並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
撮像装置。
前記画像処理部は、
前記撮像データに基づいて前記複数の任意視点画像を生成する任意視点画像生成部と、
前記データ記憶部に格納されている各任意視点画像から読み出した前記複数の画素データに基づいて、前記リフォーカス画像を生成するリフォーカス画像生成部とを含む
請求項１に記載の撮像装置。
前記リフォーカス画像生成部は、各任意視点画像から読み出した前記複数の画素データにおいて、各画素データ単位で前記並び替え処理および積分処理を行うことにより、前記リフォーカス画像を生成する
請求項２に記載の撮像装置。
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、少なくとも１つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項１ないし請求項３のいずれか１項に記載の撮像装置。
前記画像処理部は、前記データ記憶部に格納されている各任意視点画像から、互いに異なる２つの画素方向に沿って隣接する前記複数の画素データを一括して読み出す
請求項４に記載の撮像装置。