Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5477464B2 - 撮像装置 - Google Patents
[go: Go Back, main page]

JP5477464B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5477464B2
JP5477464B2 JP2012511454A JP2012511454A JP5477464B2 JP 5477464 B2 JP5477464 B2 JP 5477464B2 JP 2012511454 A JP2012511454 A JP 2012511454A JP 2012511454 A JP2012511454 A JP 2012511454A JP 5477464 B2 JP5477464 B2 JP 5477464B2
Authority
JP
Japan
Prior art keywords
image
subject
imaging
light
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012511454A
Other languages
English (en)
Other versions
JPWO2011132280A1 (ja
Inventor
由樹雄 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2011132280A1 publication Critical patent/JPWO2011132280A1/ja
Application granted granted Critical
Publication of JP5477464B2 publication Critical patent/JP5477464B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/125Wavefront coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置及び撮像方法に関する。
デジタルカメラや携帯電話機に搭載されているカメラ等の撮像装置は、一般に、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の二次元撮像素子上に被写体を結像することにより撮像処理を行う。近年、このような撮像装置には、WFC(Wavefront Coding)と呼ばれる技術が採用される場合がある。
ここで、図10を用いて、WFC技術が採用される撮像装置について説明する。図10は、WFC技術が採用される従来の撮像装置の光学系を模式的に示す図である。図10に示すように、従来の撮像装置は、光学系90と、撮像素子95とを有する。光学系90には、レンズ91〜93と、光波面変調素子である位相板94とが配置される。
図10に示した例において、仮に、位相板94が存在しない場合には、レンズ91〜93は、撮影対象の被写体から発せられる光を収束させる。一方、図10に示した例のように、位相板94が配置されることにより、位相板94は、撮影対象の被写体から発せられる光束を規則的に分散し、撮像素子95の受光面への結像を変形させる。これにより、撮像素子95は、ピントがずれた状態の画像(以下、「中間画像」と表記する場合がある)を得ることになる。そして、撮像装置は、撮像素子95により撮像された中間画像に対して、逆フィルタ等のデジタル処理を施すことにより、被写体の画像を生成する。
WFC技術が採用される撮像装置によって得られる中間画像は、撮像装置と被写体との相対位置が変動した場合であっても、ボケ度合いの変動量が小さい。例えば、撮像装置と被写体との距離がH1である場合における中間画像と、撮像装置と被写体との距離がH2(>H1)である場合における中間画像とは、ボケ度合いの変動量が小さい。WFC技術が採用される撮像装置は、このようなボケ度合いの変動量が小さい中間画像に対してデジタル処理を施して被写体画像を生成することにより、被写界深度を拡大することができる。
特開2008−109542号公報 特開2003−235794号公報
Edward R.Dowski, Jr., and W.Thomas Cathey, "Extended depth of field through wave-front coding", Applied Optics, vol.34, no 11,pp. 1859-1866, April, 1995.
しかしながら、上記の従来技術には、被写体画像を高精度に生成できないおそれがあるという問題がある。かかる問題について、図11〜図15を用いて具体的に説明する。図11及び図12は、図10に示した従来の位相板94の形状例を示す図である。なお、図12は、図11のZ軸方向から見た位相板94の形状を示す。一般に、WFC技術が採用される従来の撮像装置には、図11及び図12に例示した形状の位相板94が用いられる。このような従来の位相板94の形状は、例えば、以下の式(1)により表される。
Figure 0005477464
上記式(1)に示した「A」は、任意の係数である。上記式(1)で表される形状の位相板94は、X軸方向とY軸方向とに直交した位相分布を有する。具体的には、位相板94を通過した光は、撮像素子95の受光面のうち、主にX軸方向とY軸方向とに直交した領域に結像される。このような位相板94の位相分布は、例えば、以下の式(2)により表される。
Figure 0005477464
すなわち、このような位相板94を含む光学系90のPSF(Point Spread Function:点像分布関数)は、図13に示した例のように、X軸方向とY軸方向との2方向に分散されており、非対称となる。従来の撮像装置は、このようなPSFを有する光学系90を用いて中間画像を取得し、かかる中間画像に対してデジタル処理を施すことにより被写体画像を生成する。このとき、光学系90のPSFがX軸方向とY軸方向とに分散されていることが原因で、従来の撮像装置によって生成された被写体画像にはゴーストが含まれる場合がある。
この点について、具体的に説明する。まず、中間画像を「h」とし、PSFを「g」とし、被写体画像を「f」とした場合に、「h」、「g」及び「f」には以下の関係式(3)が成り立つ。
Figure 0005477464
上記式(3)に示した「*」は、畳み込み演算(convolution)を示す。そして、上記式(3)をフーリエ変換すると、以下の式(4)によって表される。
Figure 0005477464
上記式(4)のうち、PSF「g」をフーリエ変換した結果である「G」は、OTF(Optical Transfer Function:光学伝達関数)であり、結像光学系の空間周波数伝達特性を表す。なお、OTFの絶対値は、MTF(Modulation Transfer Function)と呼ばれる。
従来の撮像装置は、中間画像「h」に対してデジタル処理を施して被写体画像「f」を求める場合に、例えば、中間画像「h」をフーリエ変換した結果である「H」に対して、OTF「G」の逆フィルタ「Hinv」を乗算し、乗算結果を逆フーリエ変換する。具体的には、従来の撮像装置は、以下の式(5)によって表される乗算を行うことにより、フーリエ変換後の被写体画像「F」を算出する。そして、従来の撮像装置は、被写体画像「F」を逆フーリエ変換することにより、被写体画像「f」を生成する。なお、以下の式(5)に示した逆フィルタ「Hinv」は、以下の式(6)により表される。
Figure 0005477464
Figure 0005477464
なお、従来の撮像装置は、逆フィルタ「Hinv」を逆フーリエ変換して、逆カーネル「hinv」を求めて、被写体画像「f」を生成してもよい。具体的には、従来の撮像装置は、以下の式(7)に示すように、中間画像「h」と逆カーネル「hinv」との畳み込み演算を行うことにより被写体画像「f」を生成してもよい。
Figure 0005477464
ここで、図11及び図12に例示した形状の位相板94が用いられるWFCでは、空間周波数が高域になるまでMTFが「0」にならず、焦点位置が変動した場合であってもMTFの変動量が小さいという特性がある。しかし、図13に示した例のように、従来の光学系90のPSFは、直交するX軸方向とY軸方向とに分散している。したがって、PSF「g」をフーリエ変換することにより算出されるOTF「G」の絶対値MTFは、X軸方向とY軸方向との間の領域において「0」に近い値となる場合がある。図13に示した例では、X軸方向とY軸方向との間の領域A11等において、MTFは「0」に近い値になる場合がある。
このため、上記式(6)で表される逆フィルタ「Hinv」は、図14に示した例のように、X軸方向とY軸方向の間の領域において大きい値になる場合がある。その結果、X軸方向とY軸方向の間の領域はノイズの影響を受けやすくなるので、被写体画像「f」のX軸方向とY軸方向との間の領域にゴーストが生じる場合がある。図15に、図14に例示した逆フィルタを用いて生成された被写体画像の一例を示す。図15に示した例では、被写体画像の領域A21〜A26等にゴーストが生じている。
以上のように、WFC技術が採用される従来の撮像装置には、光学系のPSFがX軸方向とY軸方向との2方向に分散されるので、生成した被写体画像にゴーストが含まれる場合がある。すなわち、WFC技術が採用される従来の撮像装置には、被写体画像を高精度に生成できない場合がある。
開示の技術は、上記に鑑みてなされたものであって、被写体画像を高精度に生成することができる撮像装置及び撮像方法を提供することを目的とする。
本願の開示する撮像装置は、一つの態様において、被写体から発せられる光束を3方向以上に分散させる光波面変調素子と、前記光波面変調素子により分散された光束を受光して結像する撮像素子と、前記撮像素子により結像されて得られる被写体像に対して前記分散に対応する処理を施すことにより前記被写体の画像を生成する生成部とを備える。
本願の開示する撮像装置の一つの態様によれば、被写体画像を高精度に生成することができるという効果を奏する。
図1は、実施例1に係る撮像装置の構成例を示すブロック図である。 図2は、実施例2に係る撮像装置の構成例を示すブロック図である。 図3は、実施例2における位相板の形状例を示す図である。 図4は、実施例2における位相板の形状例を示す図である。 図5は、実施例2における光学系が有するPSFの一例を示す図である。 図6は、実施例2における逆フィルタの一例を示す図である。 図7は、実施例2に係る撮像装置により生成される被写体画像の一例を示す図である。 図8は、実施例2に係る撮像装置における被写界深度特性を示す図である。 図9は、実施例2に係る撮像装置による撮像処理手順を示すフローチャートである。 図10は、WFC技術が採用される従来の撮像装置の光学系を模式的に示す図である。 図11は、図10に示した従来の位相板の形状例を示す図である。 図12は、図10に示した従来の位相板の形状例を示す図である。 図13は、従来の光学系が有するPSFの一例を示す図である。 図14は、従来の逆フィルタの一例を示す図である。 図15は、従来の被写体画像の一例を示す図である。
以下に、本願の開示する撮像装置及び撮像方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本願の開示する撮像装置及び撮像方法が限定されるものではない。
まず、図1を用いて、実施例1に係る撮像装置について説明する。図1は、実施例1に係る撮像装置の構成例を示すブロック図である。図1に示すように、実施例1に係る撮像装置1は、光学系10と、撮像素子20と、生成部30とを有する。光学系10は、撮影対象の被写体から発せられる光を撮像素子20に入射する。具体的には、光学系10は、レンズ11及び12と、光波面変調素子13とを有する。
レンズ11は、被写体から発せられる光を屈折させる。光波面変調素子13は、レンズ11を介して照射される被写体の光束を3方向以上に分散させ、分散させた光束をレンズ12を介して撮像素子20に入射する。例えば、光波面変調素子13は、撮像素子20の受光面のうち、任意の位置から3方向以上に分散した領域に対して、被写体の光束を結像させる。
撮像素子20は、光波面変調素子13により分散された光束を受光して結像する。生成部30は、撮像素子20により結像されて得られる被写体像に対してデジタル処理を施すことにより被写体画像を生成する。言い換えれば、生成部30は、中間画像である被写体像から被写体画像を復元する。
このように、実施例1に係る撮像装置1は、被写体から発せられる光束を3方向以上に分散させ、分散させた光束を結像する。これにより、実施例1に係る撮像装置1は、図13に示したPSFが2方向に分散する撮像装置と比較して、デジタル処理時にMTFが「0」に近い値となる領域が少ない。すなわち、実施例1に係る撮像装置1は、逆フィルタ「Hinv」が大きい値になる領域が少ないので、ノイズの影響を受ける領域を少なくすることができ、その結果、被写体画像にゴーストが生じることを防止することができる。このようなことから、実施例1に係る撮像装置1は、被写体画像を高精度に生成することができる。
次に、実施例2では、3方向に分散したPSFを有する撮像装置の例について説明する。以下では、実施例2に係る撮像装置の構成例、実施例2に係る撮像装置の被写界深度特性、実施例2に係る撮像装置による撮像処理手順について順に説明する。
[実施例2に係る撮像装置の構成]
まず、図2を用いて、実施例2に係る撮像装置について説明する。図2は、実施例2に係る撮像装置の構成例を示すブロック図である。図2に示した撮像装置100は、例えば、デジタルカメラ、携帯電話機等の携帯情報端末に搭載されるカメラ、画像検査装置に搭載されるカメラ、自動制御用産業カメラ等である。
図2に示すように、実施例2に係る撮像装置100は、光学系110と、撮像素子120と、ADC(Analog To Digital Converter)130と、タイミング制御部140と、画像処理部150と、信号処理部160と、制御部170とを有する。
光学系110は、撮影対象の被写体から発せられる光を撮像素子120に入射する。具体的には、光学系110は、レンズ111〜113と、位相板114とを有する。レンズ111及び112は、撮影対象の被写体から発せられる光を屈折させる。
位相板114は、例えば光波面変調素子であり、レンズ111及び112を介して照射される被写体の光束を3方向に分散させる。そして、位相板114によって分散された光束は、レンズ113を介して、撮像素子120に結像される。具体的には、位相板114は、撮像素子120の受光面のうち、任意の位置から3方向に分散した領域に対して、被写体の光束を結像させる。
ここで、図3及び図4を用いて、位相板114の形状について説明する。図3及び図4は、実施例2における位相板114の形状例を示す図である。図3に示した位相板114は、位相板114のXY面とレンズ112やレンズ113とが対向するように配置される。言い換えれば、位相板114は、Z軸方向にレンズ112やレンズ113が配置されるように光学系110に挿入される。なお、図3に示した例では、図中の上方にレンズ111及び112が位置し、図中の下方にレンズ113や撮像素子120が位置するものとする。
図3及び図4に示すように、位相板114の表面形状は、突起している凸部と窪んでいる凹部との組合せが3個形成される形状である。図3及び図4に示した例では、位相板114の表面形状は、XY面の周縁に、レンズ112が位置する方向に突起している凸部と、レンズ112が位置する方向に対して窪んでいる凹部との組合せが3個形成される形状である。言い換えれば、位相板114は、XY面の周縁に、レンズ112に近づく方向に突起している凸部と、レンズ112から離れる方向に突起している凸部とが交互に繰り返して3組形成される形状である。このような位相板114の形状は、例えば、以下の式(8)により表される。
Figure 0005477464
上記式(8)に示した「A」は、任意の係数である。上記式(8)で表される形状の位相板114は、XY平面上における任意の位置から3方向に分散した位相分布を有する。具体的には、位相板114の位相分布は、例えば、以下の式(9)により表される。
Figure 0005477464
上記式(9)に示したα、α、α、αは、任意の係数である。例えば、αは「0.0196」であり、αは「−0.1363」であり、αは「−0.0288」であり、αは「0.0373」である。
実施例2における位相板114は、図3及び図4に例示したような形状であり、上記式(8)に例示する位相分布を有するので、被写体から発せられる光束を3方向に分散させることができる。
図2の説明に戻って、撮像素子120は、光学系110から入射される光束を結像する。具体的には、撮像素子120は、位相板114によって分散された光束をレンズ113を介して受光して結像する。かかる撮像素子120は、例えば、CCDやCMOS等である。なお、撮像素子120によって結像されて得られる被写体像は、位相板114によって光束が分散されているので、ピントがずれた状態のボケた画像であり、中間画像となる。
ADC130は、撮像素子120から入力されるアナログ信号の中間画像をデジタル信号に変換し、デジタル信号に変換後の中間画像を画像処理部150に出力する。タイミング制御部140は、信号処理部160による指示に従って、撮像素子120やADC130の駆動タイミングを制御する。
画像処理部150は、ADC130から入力されるデジタル信号の中間画像に対して、デジタル処理を施すことにより、被写体画像を生成する。具体的には、画像処理部150は、図2に示すように、バッファ151と、記憶部152と、畳み込み演算制御部153と、畳み込み演算部154とを有する。
バッファ151は、ADC130から入力されるデジタル信号の中間画像を記憶する。記憶部152は、光学系110のPSFにより決定される畳み込み演算用のカーネルデータを記憶する。具体的には、記憶部152は、PSF「g」をフーリエ変換した結果であるOTF「G」の逆フィルタ「Hinv」を逆フーリエ変換して得られるカーネルデータ「hinv」を記憶する。例えば、記憶部152は、光学倍率に対応付けてカーネルデータ「hinv」を記憶する。また、例えば、記憶部152は、撮像装置100と被写体との距離情報に対応付けてカーネルデータ「hinv」を記憶する。
畳み込み演算制御部153は、制御部170による制御に従って、畳み込み演算に用いられるカーネルデータの入れ替え制御等を行う。具体的には、畳み込み演算制御部153は、後述する制御部170によって露出設定時に決定される露出情報等に基づいて、記憶部152に記憶されているカーネルデータのうち、畳み込み演算に用いるカーネルデータを選択する。
畳み込み演算部154は、畳み込み演算制御部153によって選択されたカーネルデータに基づいて、バッファ151に記憶されているデジタル信号の中間画像に対して畳み込み演算を行うことにより、被写体画像「f」を生成する。例えば、中間画像を「h」とし、畳み込み演算制御部153によって選択されたカーネルデータを「hinv」とした場合に、畳み込み演算部154は、上記式(7)に示した畳み込み演算を行うことにより、被写体画像「f」を生成する。
なお、図2では、畳み込み演算部154が、記憶部152に記憶されているカーネルデータに基づいて、中間画像のデジタル信号に対して畳み込み演算を行うことにより被写体画像を生成する例を示した。しかし、実施例2における画像処理部150は、上記例以外の処理を行うことにより、被写体画像を生成してもよい。
例えば、記憶部152は、光学倍率等に対応付けて、上記式(6)に示した逆フィルタ「Hinv」を記憶してもよい。そして、畳み込み演算制御部153は、制御部170によって決定される露出情報等に基づいて、記憶部152に記憶されている逆フィルタから演算用の逆フィルタを選択する。そして、畳み込み演算部154は、畳み込み演算制御部153によって選択された逆フィルタと、バッファ151に記憶されているデジタル信号の中間画像とを用いて、上記式(5)に示した乗算を行う。そして、畳み込み演算部154は、かかる乗算結果を逆フーリエ変換することにより、被写体画像「f」を生成してもよい。
信号処理部160は、画像処理部150によって生成された被写体画像に対して、カラー補間処理、ホワイトバランス、YCbCr変換処理等を行う。また、信号処理部160は、カラー補間処理等を行った被写体画像を、図示しないメモリ等に格納したり、図示しない表示部に表示制御したりする。なお、信号処理部160は、例えば、DSP(Digital Signal Processor)である。
制御部170は、撮像装置100を全体制御する。具体的には、制御部170は、撮像素子120に光を与える露出を制御したり、図示しない操作部等に入力された操作内容に応じて、ADC130、画像処理部150、信号処理部160の動作を制御したりする。
ここで、図5〜図7を用いて、図2に示した画像処理部150によって生成される被写体画像について説明する。図5は、実施例2における光学系110が有するPSFの一例を示す図である。図6は、実施例2における逆フィルタの一例を示す図である。図7は、実施例2に係る撮像装置100により生成される被写体画像の一例を示す図である。
図5に示した例のように、光学系110のPSFは、3方向に分散している。このようなPSFをフーリエ変換した結果であるMTFは、直交する2方向に分散するPSFをフーリエ変換したMTFと比較して、対称性を有し、「0」に近い値になる領域が少ない。その結果、実施例2に係る撮像装置100によって用いられる逆フィルタ「Hinv」は、図6に示した例のように、対称性を有する。このため、実施例2に係る撮像装置100によって用いられる逆フィルタ「Hinv」は、図14に示した例と比較して、ノイズの影響を受けやすい領域が少ない。
このようなことから、畳み込み演算部154により生成される被写体画像にゴーストが含まれる可能性は低い。図7に、畳み込み演算部154により生成される被写体画像の一例を示す。図7に示すように、畳み込み演算部154により生成される被写体画像は、図15に示した被写体画像と比較して、ゴーストが生じていない。以上のことから、実施例2に係る撮像装置100は、被写体画像を高精度に生成することができる。
[被写界深度特性]
次に、図8を用いて、実施例2に係る撮像装置100における被写界深度特性について説明する。図8は、実施例2に係る撮像装置100における被写界深度特性を示す図である。ここでは、実施例2に係る撮像装置100と、PSFが2方向に分散する撮像装置とを比較して、被写界深度特性について説明する。
図8に示した例では、撮像装置と被写体との距離を「z1」と「z2」に変動させて、OTFの差分の二乗和を評価関数としている。具体的には、かかる評価関数EF(Error Function)は、以下の式(10)により求められる。
Figure 0005477464
図8に示した例のように、実施例2における光学系110のように3方向に分散するPSFの方が、直交する2方向に分散するPSFよりも被写体距離に応じたMTFの差が小さい。すなわち、実施例2に係る撮像装置100は、PSFが2方向に分散する撮像装置よりも、被写界深度特性を向上させることができる。
次に、図9を用いて、実施例2に係る撮像装置100による撮像処理の手順について説明する。図9は、実施例2に係る撮像装置100による撮像処理手順を示すフローチャートである。
図9に示すように、撮像装置100は、利用者等によって撮影操作が行われた場合に(ステップS101肯定)、制御部170が撮像素子120に対して露出制御を行うとともに、ADC130、画像処理部150及び信号処理部160の動作を制御する。
そして、位相板114は、レンズ111及び112を介して照射される被写体の光束を3方向に分散させる(ステップS102)。そして、位相板114によって分散された光束は、レンズ113を介して、撮像素子120に結像される(ステップS103)。これにより、撮像装置100は、撮影対象の被写体画像に対応する中間画像を得ることができる。続いて、画像処理部150は、カーネルデータに基づいて、デジタル信号の中間画像に対して畳み込み演算を行うことにより、被写体画像を生成する(ステップS104)。
[実施例2の効果]
上述してきたように、実施例2に係る撮像装置100は、PSFが3方向に分散する光学系110を有するので、デジタル処理時にMTFが「0」に近い値となる領域が少ない。すなわち、実施例2に係る撮像装置100は、逆フィルタが大きい値になる領域が少ないので、ノイズの影響を受ける領域を少なくすることができ、その結果、被写体画像にゴーストが生じることを防止することができる。このようなことから、実施例2に係る撮像装置100は、被写体画像を高精度に生成することができる。
また、実施例2に係る撮像装置100の位相板114は、図3及び図4に例示した形状であるので、被写体から発せられる光束を3方向に分散させることができる。
また、実施例2に係る撮像装置100の位相板114は、上記式(9)によって表される位相分布を有するので、被写体から発せられる光束を3方向に分散させることができる。
なお、上記実施例2では、被写体から発せられる光束を3方向に分散させる位相板114の例を示した。しかし、位相板114は、被写体から発せられる光束を4方向以上に分散させてもよい。このことは、例えば、位相板114の表面形状が、XY面の周縁に、レンズ112が位置する方向に突起している凸部と、レンズ112が位置する方向に対して窪んでいる凹部との組合せが4個以上形成されることで実現できる。
また、上記実施例2では、位相板114を図3及び図4に例示した形状にすることで、被写体から発せられる光束を3方向に分散させる例を示した。しかし、位相板114は、波面を変形させるものであればいかなるものでもよい。例えば、位相板114は、屈折率が変化する屈折率分布型波面変調レンズのような光学素子であってもよい。
また、上記実施例2では、光学系110が位相板114を有する例を示した。しかし、光学系110のレンズ111やレンズ112等が、位相板114と一体となることで、被写体から発せられる光束を3方向に分散させることを実現してもよい。例えば、レンズ表面が加工されたことで屈折率が変化する波面変調ハイブリッドレンズ等をレンズ112の代わりに用いることで、被写体から発せられる光束を3方向に分散させることを実現してもよい。
1 撮像装置
10 光学系
11、12 レンズ
13 光波面変調素子
20 撮像素子
30 生成部
90 光学系
91 レンズ
94 位相板
95 撮像素子
100 撮像装置
110 光学系
111、112、113 レンズ
114 位相板
120 撮像素子
130 ADC
140 タイミング制御部
150 画像処理部
151 バッファ
152 記憶部
153 畳み込み演算制御部
154 畳み込み演算部
160 信号処理部
170 制御部

Claims (4)

  1. 被写体から発せられる光束を3方向以上に分散させる光波面変調素子と、
    前記光波面変調素子により分散された光束を受光して結像する撮像素子と、
    前記撮像素子により結像されて得られる被写体像に対して前記分散に対応する処理を施すことにより前記被写体の画像を生成する生成部と
    を備え、
    前記光波面変調素子により分散された光束を受光する前記撮像素子の受光面上において直交する2方向をx方向及びy方向とすると、
    前記光波面変調素子は、
    位相分布P(x,y)が、
    P(x,y)=exp(i(α +α y+α xy +α ))
    ただし、α 、α 、α 、α は任意の値
    であることを特徴とする撮像装置。
  2. 前記光波面変調素子の表面形状は、
    前記被写体から発せられる光束を受光する受光面の周縁に、突起している凸部と窪んでいる凹部との組合せが3個以上形成される形状であることを特徴とする請求項1に記載の撮像装置。
  3. 前記生成部は、
    前記光波面変調素子を含む光学系の点像分布関数をフーリエ変換した光学伝達関数の逆フィルタに基づいて、前記撮像素子により結像されて得られる被写体像に対してデジタル処理を施すことにより前記被写体の画像を生成する
    ことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記生成部は、
    前記光波面変調素子を含む光学系の点像分布関数をフーリエ変換した光学伝達関数の逆フィルタを逆フーリエ変換した結果である逆カーネルに基づいて、前記撮像素子により結像されて得られる被写体像に対して畳み込み演算を行うことにより前記被写体の画像を生成する
    ことを特徴とする請求項1又は2に記載の撮像装置。
JP2012511454A 2010-04-21 2010-04-21 撮像装置 Expired - Fee Related JP5477464B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/057103 WO2011132280A1 (ja) 2010-04-21 2010-04-21 撮像装置及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013245491A Division JP5741671B2 (ja) 2013-11-27 2013-11-27 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JPWO2011132280A1 JPWO2011132280A1 (ja) 2013-07-18
JP5477464B2 true JP5477464B2 (ja) 2014-04-23

Family

ID=44833837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511454A Expired - Fee Related JP5477464B2 (ja) 2010-04-21 2010-04-21 撮像装置

Country Status (4)

Country Link
US (1) US8860845B2 (ja)
JP (1) JP5477464B2 (ja)
CN (1) CN102845052B (ja)
WO (1) WO2011132280A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6033673B2 (ja) * 2012-12-28 2016-11-30 株式会社日立製作所 撮像装置
CN107623816A (zh) * 2013-10-09 2018-01-23 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
US20170296666A1 (en) * 2016-04-18 2017-10-19 Amneal Pharmaceuticals Company Gmbh Stable Pharmaceutical Composition Of Amorphous Ticagrelor
WO2018112433A1 (en) * 2016-12-15 2018-06-21 Ntt Docomo, Inc. Ghost image elimination of doe using fourier optics method
CN111641762B (zh) * 2020-05-28 2021-11-02 维沃移动通信有限公司 摄像模组及电子设备
CN114615427B (zh) * 2022-02-19 2023-11-28 复旦大学 一种基于小样本的波前编码场景数据集增强方法
JP2023163081A (ja) * 2022-04-27 2023-11-09 キヤノン株式会社 光学素子及びそれを有する撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2010085487A (ja) * 2008-09-29 2010-04-15 Kyocera Corp レンズユニット、撮像装置、および電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118457A1 (en) * 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
JP3958603B2 (ja) 2002-02-21 2007-08-15 オリンパス株式会社 電子内視鏡システム及び電子内視鏡システム用の信号処理装置
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP2005519361A (ja) * 2002-02-27 2005-06-30 シー・デイ・エム・オプテイクス・インコーポレイテツド 波面符号化イメージングシステムの最適化された画像処理
WO2004090581A2 (en) * 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
US20070268376A1 (en) * 2004-08-26 2007-11-22 Kyocera Corporation Imaging Apparatus and Imaging Method
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
JP4712631B2 (ja) * 2005-07-28 2011-06-29 京セラ株式会社 撮像装置
US7580620B2 (en) * 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
JP4948967B2 (ja) 2006-10-27 2012-06-06 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
JP5317891B2 (ja) * 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
US8436912B2 (en) * 2010-04-30 2013-05-07 Intellectual Ventures Fund 83 Llc Range measurement using multiple coded apertures
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2010085487A (ja) * 2008-09-29 2010-04-15 Kyocera Corp レンズユニット、撮像装置、および電子機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200900068005; 小松 進一: '多機能化するイメージング技術の最新動向とその応用' 映像情報メディア学会誌 第63巻,第3号, 20090301, p.279-283, (社)映像情報メディア学会 *
JPN6010028391; 小松 進一: '多機能化するイメージング技術の最新動向とその応用' 映像情報メディア学会誌 第63巻,第3号, 20090301, p.279-283, (社)映像情報メディア学会 *

Also Published As

Publication number Publication date
WO2011132280A1 (ja) 2011-10-27
US20130002893A1 (en) 2013-01-03
CN102845052B (zh) 2015-06-24
JPWO2011132280A1 (ja) 2013-07-18
US8860845B2 (en) 2014-10-14
CN102845052A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5477464B2 (ja) 撮像装置
US8059955B2 (en) Image pickup apparatus and method and apparatus for manufacturing the same
JP4818957B2 (ja) 撮像装置およびその方法
JP5274623B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP4743553B2 (ja) レンズユニット、撮像装置、および電子機器
JP2008245157A (ja) 撮像装置およびその方法
JP2013243522A (ja) 撮像装置
JP2012256118A (ja) 画像復元装置およびその方法
JP6381422B2 (ja) 距離検出装置、撮像装置、および距離検出方法
JP4818956B2 (ja) 撮像装置およびその方法
JP2015004883A (ja) 結像光学系および撮像システムおよび撮像方法
US10062150B2 (en) Image processing apparatus, image capturing apparatus, and storage medium
JP5712031B2 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP2007300208A (ja) 撮像装置
CN106464808B (zh) 图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质
JP2009086017A (ja) 撮像装置および撮像方法
JP2013162369A (ja) 撮像装置
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
JP2009033607A (ja) 撮像装置および画像処理方法
JP2008033060A (ja) 撮像装置および撮像方法、並びに画像処理装置
JP4364847B2 (ja) 撮像装置および画像変換方法
JP5741671B2 (ja) 撮像装置及び撮像方法
JP2014115303A (ja) 焦点深度拡張光学系及び撮像システム
WO2013172030A1 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140127

R150 Certificate of patent or registration of utility model

Ref document number: 5477464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees