(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の一例であるカメラ1の構成例を示す図である。カメラ1は、カメラボディ2と、カメラボディ2に取り付け可能なアクセサリである交換レンズ3とを有する。交換レンズ3は、不図示のマウント部により、カメラボディ2に着脱可能に装着される。カメラボディ2に交換レンズ3が装着されると、ボディ側接続部202に設けられた複数の端子とレンズ側接続部302に設けられた複数の端子とが、それぞれ電気的に接続される。これにより、カメラボディ2から交換レンズ3への電力供給や、カメラボディ2及び交換レンズ3間の通信が可能となる。
被写体からの光は、図1のZ軸プラス方向に向かって入射する。また、図1の座標軸に示すように、Z軸に直交する紙面手前方向をX軸プラス方向、Z軸及びX軸に直交する紙面下方向をY軸プラス方向とする。以降の図においては、図1の座標軸を基準として、それぞれの図の向きが分かるように座標軸を表示する場合もある。
交換レンズ3は、撮影光学系(結像光学系)31と、レンズ制御部32と、レンズメモリ33とを備える。撮影光学系31は、フォーカスレンズ(焦点調節レンズ)を含む複数のレンズと絞り(開口絞り)とを含み、カメラボディ2の撮像素子22の撮像面22aに被写体像を形成する。なお、撮像素子22の撮像面22aは、例えば、後述する光電変換部が配置される面、又はマイクロレンズが配置される面である。
レンズ制御部32は、CPU、FPGA、ASIC等のプロセッサ、及びROM、RAM等のメモリによって構成され、制御プログラムに基づいて交換レンズ3の各部を制御する。レンズ制御部32は、ボディ制御部21からフォーカスレンズの移動方向及び移動量に関する信号が入力されると、その信号に基づいてフォーカスレンズを光軸Lの方向に進退移動させて撮影光学系31の焦点位置を調節する。また、レンズ制御部32は、ボディ制御部21から出力される信号に基づき、絞りの開口径を制御する。
レンズメモリ33は、不揮発性の記憶媒体等により構成される。レンズメモリ33には、交換レンズ3に関連する情報が記憶(記録)される。レンズメモリ33には、フォーカスレンズの無限遠位置と至近位置に関するデータ、交換レンズ3の最短焦点距離と最長焦点距離に関するデータ、F値(絞りの絞り値)に関するデータ等が記憶される。レンズメモリ33へのデータの書き込み、及びレンズメモリ33からのデータの読み出しは、レンズ制御部32によって制御される。
次に、カメラボディ2の構成例について説明する。カメラボディ2は、ボディ制御部21と、撮像素子22と、メモリ23と、表示部24と、操作部25とを備える。撮像素子22は、CMOSイメージセンサである。撮像素子22は、撮影光学系31を通過した光束を受光して、被写体像を撮像する。撮像素子22には、光電変換部を有する複数の画素が二次元状(行方向及び列方向)に配置される。光電変換部は、フォトダイオード(PD)によって構成される。撮像素子22は、受光した光を光電変換して信号を生成し、生成した信号をボディ制御部21に出力する。なお、撮像素子22は、CCDイメージセンサであってもよい。
撮像素子22は、後述するが、画像生成に用いる信号を出力する画素(撮像画素)と、焦点検出に用いる信号を出力する画素(焦点検出画素)と、補正用に設けられる画素(補正用画素)とを有する。撮像画素、焦点検出画素(AF画素)、及び補正用画素には、それぞれマイクロレンズが配置される。撮像画素は、ベイヤー配列に従って配置されている。AF画素及び補正用画素は、撮像画素の一部に置換して配置され、撮像素子22の撮像面22aのほぼ全面に分散して配置される。
メモリ23は、不揮発性の記憶媒体等により構成される。メモリ23には、画像データ及び制御プログラム等が記憶される。メモリ23へのデータの書き込み、及びメモリ23からのデータの読み出しは、ボディ制御部21によって制御される。
表示部24は、画像データに基づく画像、AF枠などの焦点検出領域(AFエリア)を示す画像、シャッター速度、絞り値(F値)等の撮影に関する情報、及びメニュー画面等を表示する。操作部25は、レリーズボタン、電源スイッチ、各種モードを切り替えるためのスイッチなどの各種設定スイッチ等を含み、それぞれの操作に基づく信号をボディ制御部21へ出力する。
ボディ制御部21は、CPU、FPGA、ASIC等のプロセッサ、及びROM、RAM等のメモリによって構成され、制御プログラムに基づきカメラ1の各部を制御する。ボディ制御部21は、画像処理部21aと焦点検出部21bとを有する。画像処理部(信号処理部)21aは、撮像素子22の撮像画素から出力される信号に各種の画像処理を行って画像データを生成する。画像処理には、階調変換処理、色補間処理等の画像処理が含まれる。なお、画像処理部21aは、撮像素子22のAF画素から出力される信号も用いて、画像データを生成するようにしてもよい。また、画像処理部21aは、撮像素子22の補正用画素から出力される信号も用いて、画像データを生成するようにしてもよい。画像処理部21aは、画像データを生成する画像データ生成部である。
焦点検出部21bは、撮影光学系31の自動焦点調節(AF)に必要な焦点検出処理を行う。焦点検出部21bは、撮影光学系31による像が撮像素子22の撮像面22a上に合焦(結像)するためのフォーカスレンズの合焦位置(合焦位置までのフォーカスレンズの移動量)を検出する。焦点検出部21bは、撮像素子22の一対のAF画素(AF画素対)から出力される第1及び第2の信号を用いて、位相差検出方式によりデフォーカス量を算出する。
焦点検出部21bは、撮影光学系31の射出瞳の第1の領域を通過した第1の光束による像を撮像して生成した第1の信号と第2の領域を通過した第2の光束による像を撮像して生成した第2の信号とを相関演算して、像ズレ量を算出する。焦点検出部21bは、この像ズレ量を所定の換算式に基づきデフォーカス量に換算する。焦点検出部21bは、算出したデフォーカス量に基づいて、合焦位置までのフォーカスレンズの移動量を算出する。焦点検出部21bは、交換レンズ3のレンズ制御部32へフォーカスレンズの移動量とレンズ移動を指示する信号を送信する。レンズ制御部32が、移動量に応じてフォーカスレンズを移動することにより、焦点調節が自動で行われる。このように、ボディ制御部21は、撮影光学系31による被写体の像が撮像素子22に合焦するようフォーカスレンズの位置を制御する。
図2は、第1の実施の形態に係る撮像素子22の画素の配置例を示す図である。撮像素子22では、画素が二次元状(行方向(±X方向)及び列方向(±Y方向))に配置される。図2においては、左上隅の画素を第1行第1列の撮像画素10(1,1)とし、右下隅の画素を第8行第8列のAF画素13b(8,8)として、8行8列の計64個の画素を図示している。なお、撮像素子22に配置される画素の数及び配置は、図示した例に限られない。
撮像素子22は、複数の撮像画素10、AF画素13(13a、13b)、補正用画素15を有する。撮像画素10には、赤(R)、緑(G)、青(B)の異なる分光特性を有する3つのカラーフィルタ(色フィルタ)51のいずれかが設けられる。撮像画素10には、入射した光のうち第1の波長域の光(赤(R)の光)を分光する分光特性を有するカラーフィルタ51を有する画素(以下、R画素と称する)と、入射した光のうち第2の波長域の光(緑(G)の光)を分光する分光特性を有するカラーフィルタ51を有する画素(以下、G画素と称する)と、入射した光のうち第3の波長域の光(青(B)の光)を分光する分光特性を有するカラーフィルタ51を有する画素(以下、B画素と称する)とが含まれる。R画素10と、G画素10と、B画素10とは、ベイヤー配列に従って配置されている。
AF画素13a、AF画素13b、及び補正用画素15は、上述のようにベイヤー配列されたR、G、Bの撮像画素10の一部に置換して配置される。図2に示す例では、AF画素13a、13b、及び補正用画素15には、入射した光のうち第2の波長域の光(緑(G)の光)を分光する分光特性を有するカラーフィルタ51が配置される。なお、AF画素13a、13bと補正用画素15の各々が有するカラーフィルタは、第1の波長域の光(赤(R)の光)又は第3の波長域の光(青(B)の光)を分光する分光特性を有するカラーフィルタであってもよい。また、AF画素13a、13bと補正用画素15は、入射した光のうち第1及び第2及び第3の波長域の光を分光する分光特性を有するフィルタを有していてもよい。あるいは、AF画素13a、13bと補正用画素15には、カラーフィルタを配置しなくてもよい。
AF画素13a及びAF画素13bは、それぞれ、光電変換部に入射する光の一部を遮光する遮光部43を有する。AF画素13aとAF画素13bとは、その遮光部43の位置が異なる。AF画素13a及びAF画素13bの各々の遮光部43は、撮影光学系31の射出瞳の互いに異なる領域を通過した光が光電変換部に入射するように配置される。これにより、AF画素13aの光電変換部は、撮影光学系31の射出瞳の第1及び第2の領域のうちの第1の領域を通過した光束を受光する。第2のAF画素13bの光電変換部は、撮影光学系31の射出瞳の第1及び第2の領域のうちの第2の領域を通過した光束を受光する。
撮像素子22は、図2に示すように、R画素10rとG画素10gとが±X方向、即ち行方向に交互に配置された画素群(第1の画素行)401と、G画素10gとB画素10bとが行方向に交互に配置された画素群(第2の画素行)402とを有する。また、撮像素子22は、AF画素13a、AF画素13b、及び補正用画素15が行方向に配置された画素群(AF画素行)403を有する。
補正用画素15は、AF画素行403において、複数の画素に対して1つの割合で設けられる。図2に示す例では、補正用画素15は、4画素に1個の割合となるように、行方向に3つおきに配置されている。補正用画素15は、AF画素13a及びAF画素13bの一部に置換して設けられるともいえる。図2に示す例では、補正用画素15は、AF画素行403において行方向に交互に配置されるAF画素13a及びAF画素13bのうちの一部のAF画素13aに置換して配置される。補正用画素15には、AF画素13aと同様に遮光部43が設けられる。なお、補正用画素15を、AF画素行403のAF画素13a及びAF画素13bのうちの一部のAF画素13bに置換して配置してもよい。
なお、AF画素行403は、AF画素13a、13bの両方を有していなくてもよい。AF画素行403がAF画素13aを有し、他の画素行がAF画素13bを有していてもよい。この場合、AF画素行403の一部のAF画素13aに置換して補正用画素15を配置し、他の画素行の一部のAF画素13bに置換して補正用画素15を配置してもよい。
図3は、第1の実施の形態に係る撮像素子22の画素の構成例を示す概念図である。図3は、撮像素子22に設けられた画素のうち、1つの撮像画素10と、1つのAF画素13aと、1つのAF画素13bと、1つの補正用画素15とを示している。図3において白抜き矢印で示すように、撮影光学系31を通過した光は、主にZ軸プラス方向へ向かって撮像素子22に入射する。
撮像画素10は、マイクロレンズ44と、カラーフィルタ51と、光電変換部(PD)42とを有する。AF画素13aとAF画素13bは、それぞれ、マイクロレンズ44と、カラーフィルタ51と、遮光部43と、光電変換部42とを有する。補正用画素15も、マイクロレンズ44と、カラーフィルタ51と、遮光部43と、光電変換部42とを有する。なお、補正用画素15には、遮光部43を設けなくてもよい。また、補正用画素15には、光電変換部42を設けなくてもよい。
AF画素13aの遮光部43は、光電変換部42のほぼ左半分(光電変換部42の-X方向側)の領域に対応して配置される。AF画素13aの遮光部43は、光が入射する方向(Z軸方向)と交差する面(XY平面)において、AF画素13aの光電変換部42の中心よりも-X方向側の領域に少なくとも一部が配置される。AF画素13aの領域46は、光電変換部42のほぼ右半分(光電変換部42の+X方向側)の領域に対応した領域である。AF画素13aの領域46は、光が入射する方向と交差する面において、AF画素13aの光電変換部42の中心よりも+X方向側の領域に少なくとも一部が配置される領域である。
他方、AF画素13bの遮光部43は、光電変換部42のほぼ右半分(光電変換部42の+X方向側)の領域に対応して配置される。AF画素13bの遮光部43は、光が入射する方向(Z軸方向)と交差する面(XY平面)において、AF画素13bの光電変換部42の中心よりも+X方向側の領域に少なくとも一部が配置される。AF画素13bの領域46は、光電変換部42のほぼ左半分(光電変換部42の-X方向側)の領域に対応した領域である。AF画素13bの領域46は、光が入射する方向と交差する面において、AF画素13bの光電変換部42の中心よりも-X方向側の領域に少なくとも一部が配置される領域である。なお、補正用画素15の遮光部43及び領域46は、AF画素13aの遮光部43及び領域46と同様の構成である。
各画素のマイクロレンズ44は、図3において上方から撮影光学系31を介して入射された光を集光する。撮像画素10のマイクロレンズ44は、主に+Z方向に進んで入射した光を光電変換部42に集光するように形成される。AF画素13(13a、13b)のマイクロレンズ44は、主に+Z方向に進んで入射した光を、光電変換部42よりも遮光部43に近いZ方向の位置に集光するように形成される。本実施の形態では、撮像画素10及びAF画素13には、それぞれ異なる高さ(厚さ)のマイクロレンズ44が設けられる。
図3のZ軸方向の撮像画素10のマイクロレンズ44の高さ(Z軸方向のマイクロレンズ44の厚さ)は、撮影光学系31を介して入射する光が光電変換部42に集光されるように設定される。図3に示す例では、撮像画素10のマイクロレンズ44は、点線矢印で示すように光電変換部42に光を集光する。このため、撮像画素10の光電変換部42は、撮影光学系31を通過した光を効率良く受光することができる。撮像画素10の光電変換部42の受光量を多くすることができる。
AF画素13(13a、13b)のマイクロレンズ44の高さは、撮影光学系31を介して入射する光がZ軸方向において光電変換部42よりも遮光部43に近い位置に集光されるように設定される。本実施の形態では、AF画素13のマイクロレンズ44の高さは、撮像画素10のマイクロレンズ44の高さよりも大きい。図3に示す例では、AF画素13のマイクロレンズ44は、点線矢印で示すように遮光部43に光を集光する。このため、AF画素13a、13bの各々の光電変換部42は、撮影光学系31の瞳の互いに異なる領域を通過した光を精度良く受光し、瞳分割を適切に行うことができる。これにより、焦点検出部21bは、AF画素13a、13bから出力される第1及び第2の信号を用いて、精度良くデフォーカス量を検出することが可能となる。
一般的に、撮像素子では、或る画素からその画素の隣の画素の光電変換部に光が漏れる場合が生じ得る。この場合、光電変換部の電荷に基づいて生成される画素の信号にノイズ成分が混入するおそれがある。或る画素から隣の画素へ漏れる光の量は、これら隣り合う2つの画素に設けられるマイクロレンズによって変わることが考えられる。このため、撮像画素のマイクロレンズとは異なるマイクロレンズを有するAF画素が撮像素子に配置される場合、このことが画素の信号を用いて得られる画像の品質に及ぼす影響が懸念される。
そこで、本実施の形態に係る撮像素子22では、図2及び図3に示すように、AF画素行403のAF画素13a、13bの一部に置換して、補正用画素15が配置される。補正用画素15のマイクロレンズ44は、AF画素13のマイクロレンズ44の形状よりも撮像画素10のマイクロレンズ44の形状に近い形状を有する。本実施の形態では、補正用画素15のマイクロレンズ44の高さが、撮影光学系31を介して入射する光が遮光部43よりも光電変換部42に近い位置に集光されるように設定される。図3に示す例では、補正用画素15のマイクロレンズ44の高さは、撮像画素10のマイクロレンズ44の高さと略同一の高さとなる。補正用画素15のマイクロレンズ44は、点線矢印で示すように、光電変換部42に向けて光を集光する。
図2に示すように、AF画素行403に隣り合う上下の第1の画素行401のうち一部の撮像画素10は、補正用画素15の隣に位置する。AF画素行403の隣の第1の画素行401のうちの一部の撮像画素10は、上下左右にAF画素13が配置されない画素となる。補正用画素15の隣の撮像画素10(図2ではR画素10r)は、同一又は略同一の形状のマイクロレンズ44をそれぞれ有する4つの画素(図2では3つのG画素10gと補正用画素15)によって上下左右を囲まれる。このため、第1の画素行401のうち一部の撮像画素10において、撮像画素10のマイクロレンズ44とは異なるマイクロレンズ44を有するAF画素13が配置されることに起因する影響が生じることを抑制することができる。撮像画素10の信号の品質が低下して、画像の画質が低下する懸念を低減することができる。
また、本実施の形態では、カメラ1のボディ制御部21は、補正用画素15の隣の撮像画素10の信号を用いて他の画素の信号を補正する処理を行って、画像データを生成する。例えば、ボディ制御部21は、AF画素13に隣り合う撮像画素10の信号を、周辺に位置する補正用画素15に隣り合う撮像画素10の信号を用いて補正する。また、例えば、ボディ制御部21は、AF画素13の位置に対応する画素の信号を、そのAF画素13の周辺に位置する補正用画素15に隣り合う撮像画素10の信号を用いて補間する。このような処理を行うことにより、画素の信号を用いて生成される画像の品質を向上させることができる。
本実施の形態に係る撮像素子22では、AF画素行403において補正用画素15が部分的に配置される。図2に示す例では、補正用画素15が、4画素に1個の割合となるように、行方向(X軸方向)に3つおきに配置される。このため、撮像素子22に配置されるAF画素13(13a、13b)の数が僅かとなって、AF画素13の信号を用いた焦点検出の精度が低下することを抑制することができる。
図4は、第1の実施の形態に係る撮像素子22の画素の構成例を示す図である。図4(a)は、図2の破線X1-X2間における断面構造を模式的に示し、図4(b)は、図2の破線Y1-Y2間における断面構造を模式的に示している。なお、図4(a)では、撮影光学系31の射出瞳を略2等分した一方の第1の瞳領域を通過した光束を第1の光束61として実線矢印で示し、略2等分した他方の第2の瞳領域を通過した光束を第2の光束62として破線矢印で示す。
撮像素子22は、基板110と、基板110に積層して設けられる配線層111とを備える。基板110は、シリコン等の半導体基板により構成される。配線層111は、導体膜(金属膜)及び絶縁膜を含む配線層であり、複数の配線やビアなどが配置される。導体膜には、銅、アルミニウム、タングステン等が用いられる。絶縁膜は、酸化膜、窒化膜などで構成される。
撮像画素10、AF画素13a、AF画素13b、及び補正用画素15には、それぞれ、マイクロレンズ44と、カラーフィルタ51と、導波路48と、光電変換部42とが設けられる。AF画素13a、AF画素13b、及び補正用画素15には、更に、上述したように遮光部43が設けられる。導波路48は、金属酸化物などの絶縁材料により構成され、マイクロレンズ44と光電変換部42との間に設けられる。導波路48は、マイクロレンズ44及びカラーフィルタ51を透過して導波路48に入射した光を光電変換部42の方へ導く。なお、各画素は導波路48を有していなくてもよい。
各画素のマイクロレンズ44は、例えばアクリル系樹脂を用いて形成される。AF画素13a、13bのマイクロレンズ44は、上述したように、撮像画素10のマイクロレンズ44とは異なる形状を有する。補正用画素15のマイクロレンズ44は、撮像画素10のマイクロレンズ44と略同一の形状を有する。図4(a)、(b)に示すように、AF画素13のマイクロレンズ44の高さ(厚さ)h2は、撮像画素10のマイクロレンズ44の高さh1よりも大きい。AF画素13のマイクロレンズ44の曲率が、撮像画素10のマイクロレンズ44の曲率よりも大きくなっている。また、補正用画素15のマイクロレンズ44の高さh3は、撮像画素10のマイクロレンズ44の高さh1と略同一となる。
なお、補正用画素15のマイクロレンズ44は、補正用画素15のマイクロレンズ44の高さh3と撮像画素10のマイクロレンズ44の高さh1との差が所定値以内となるように形成されてもよい。補正用画素15のマイクロレンズ44の高さh3は、撮像画素10のマイクロレンズ44の高さh1の90%~110%の範囲内であってよい。また、補正用画素15のマイクロレンズ44の高さh3は、撮像画素10のマイクロレンズ44の高さh1の95%~105%の範囲内であってもよい。
AF画素13aでは、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第2の光束62は、遮光部43で遮光される。また、AF画素13aでは、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第1の光束61は、領域46を透過して光電変換部42に入射する。AF画素13aの領域46は、マイクロレンズ44及びカラーフィルタ51を通過した第1の光束61が光電変換部42に入射することを許容する開口として作用する。AF画素13aの光電変換部42は、第1の光束61を受光し、第1の光束61を光電変換して電荷を生成する。
AF画素13bでは、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第1の光束61は、遮光部43で遮光される。また、AF画素13bでは、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第2の光束62は、領域46を透過して光電変換部42に入射する。AF画素13bの領域46は、マイクロレンズ44及びカラーフィルタ51を通過した第2の光束62が光電変換部42に入射することを許容する開口として作用する。AF画素13bの光電変換部42は、第2の光束62を受光し、第2の光束62を光電変換して電荷を生成する。
なお、撮像画素10では、撮影光学系31の射出瞳の第1及び第2の瞳領域をそれぞれ通過した第1及び第2の光束61、62が、マイクロレンズ44及びカラーフィルタ51を介して光電変換部42に入射する。撮像画素10の光電変換部42は、第1及び第2の光束61、62を受光し、第1及び第2の光束61、62を光電変換して電荷を生成する。
AF画素13aは、第1の瞳領域を通過した第1の光束61を光電変換して蓄積された電荷に基づく第1の信号Sig1を出力する。AF画素13bは、第2の瞳領域を通過した第2の光束62を光電変換して蓄積された電荷に基づく第2の信号Sig2を出力する。撮像画素10は、第1の光束61及び第2の光束62を光電変換して蓄積された電荷に基づく信号を出力する。
補正用画素15では、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第2の光束62は、遮光部43で遮光される。また、補正用画素15では、マイクロレンズ44及びカラーフィルタ51を透過した光のうちの第1の光束61は、領域46を透過して光電変換部42に入射する。補正用画素15の領域46は、マイクロレンズ44及びカラーフィルタ51を通過した第1の光束61が光電変換部42に入射することを許容する開口として作用する。補正用画素15の光電変換部42は、第1の光束61を受光し、第1の光束61を光電変換して電荷を生成する。補正用画素15は、第1の光束61を光電変換して蓄積された電荷に基づく信号を出力する。
各画素から出力される信号は、基板110に配置された不図示の信号処理部に入力される。信号処理部には、画素から出力された信号をデジタル信号に変換するアナログ/デジタル変換部(AD変換部)が含まれる。信号処理部は、入力された画素の信号に対して信号処理を行った後に、処理後の信号をカメラ1のボディ制御部21に出力する。
なお、図2~図4においては、AF画素13a、13b、及び補正用画素15は、行方向(±X方向)に配置されたが、列方向(±Y方向)に配置されてもよい。AF画素13a、13b、及び補正用画素15が列方向に配置された場合には、AF画素13aの遮光部43が光電変換部42のほぼ上半分と下半分の一方の領域に対応して配置され、AF画素13bの遮光部43が光電変換部42のほぼ上半分と下半分の他方の領域に対応して配置される。例えば、AF画素13aの遮光部43は、AF画素13aの光電変換部42の中心よりも+Y方向側の領域に少なくとも一部が配置される。AF画素13bの遮光部43は、AF画素13bの光電変換部42の中心よりも-Y方向側の領域に少なくとも一部が配置される。
仮に、隣り合うマイクロレンズ間に比較的大きな隙間(ギャップ)があると、この隙間に光が入射する場合が生じ得る。この場合、光電変換部の電荷に基づいて生成される画素の信号にノイズ成分が混入するおそれがある。この画素の信号を用いて画像データが生成されると、画像データによる画像の品質が悪くなるおそれがある。
図4(b)に示す例では、補正用画素15のマイクロレンズ44は、補正用画素15及び撮像画素10の各々のマイクロレンズ44間の隙間が小さくなるように形成されている。隣り合うマイクロレンズ44間の隙間から撮像画素10の光電変換部42に光が漏れることを抑制し、撮像画素10の信号にノイズ成分が混入することを防ぐことができる。
次に、本実施の形態に係るカメラ1の動作例について説明する。カメラ1の操作部25の電源スイッチが操作された後、撮像素子22から各画素の信号が順次出力される。ボディ制御部21の焦点検出部21bは、AF画素13aの第1の信号Sig1とAF画素13bの第2の信号Sig2を用いて、位相差検出方式によりデフォーカス量を算出する。レンズ制御部32は、焦点検出部21bにより算出されたデフォーカス量に基づき、撮影光学系31のフォーカスレンズを合焦位置に移動して焦点調節する。なお、フォーカスレンズを移動する代わりに、撮像素子22を撮影光学系31の光軸L方向に移動するようにしてもよい。
ボディ制御部21の画像処理部21aは、撮像素子22の各画素の信号に対して補正処理を施して画像データを生成する。この場合、画像処理部21aは、補正用画素15の隣の撮像画素10の信号を用いて補間処理を行い、画素毎に3つの色成分の信号を有する画像データを生成する。画像処理部21aは、被写体のスルー画像(ライブビュー画像)用の画像データや、記録用の画像データを生成する。表示部24は、スルー画像用の画像データに基づいて画像を表示する。記録用の画像データは、メモリ23に記録される。以下では、画像処理部21aによる補正処理の一例について、さらに説明する。
図2において、AF画素行403と列方向で隣り合う2つの第2の画素行401のうち、R画素10(3,1)、R画素10(3,5)、R画素10(5,1)、及びR画素10(5,5)は、それぞれ、上下左右を撮像画素10又は補正用画素15によって囲まれる画素である。画像処理部21aは、AF画素行403と列方向で隣り合う他の画素の信号を、これらR画素10(3,1)、R画素10(3,5)、R画素10(5,1)、及びR画素10(5,5)の各画素の信号を用いて補正することにより、画像データの生成を行う。
この場合、画像処理部21aは、補正対象となる画素の信号を、その画素の周囲の画素の信号を用いて補正する。例えば、画像処理部21aは、R画素10(3,3)の信号を、R画素10(3,1)の信号を用いて補間する。なお、画像処理部21aは、R画素10(3,3)の信号を、R画素10(3,3)の左右にそれぞれ位置するR画素10(3,1)又はR画素10(3,5)の信号に置き換えてもよい。画像処理部21aは、R画素10(3,3)の信号を、R画素10(3,1)及びR画素10(3,5)の2つの画素の信号の平均値に置き換えてもよい。また、画像処理部21aは、G画素10(3,2)及びG画素10(3,4)の各々の信号量(信号レベル)を補正する。例えば、画像処理部21aは、G画素10(3,2)の信号を、R画素10(3,1)の信号と補間により算出されたR画素10(3,3)の信号とを用いて補正する。画像処理部21aは、G画素10(3,4)の信号を、R画素10(3,5)の信号と補間により算出したR画素10(3,3)の信号とを用いて補正する。
画像処理部21aは、R画素10(5,3)の信号を、R画素10(5,1)の信号を用いて補間する。なお、画像処理部21aは、R画素10(5,3)の信号を、R画素10(5,3)の左右にそれぞれ位置するR画素10(5,1)又はR画素10(5,5)の信号に置き換えてもよい。画像処理部21aは、R画素10(5,3)の信号を、R画素10(5,1)及びR画素10(5,5)の2つの画素の信号の平均値に置き換えてもよい。また、画像処理部21aは、G画素10(5,2)の信号を、R画素10(5,1)の信号と補間により算出したR画素10(5,3)の信号とを用いて補正する。画像処理部21aは、G画素10(5,4)の信号を、R画素10(5,5)の信号と補間により算出したR画素10(5,3)の信号とを用いて補正する。
画像処理部21aは、AF画素行403のAF画素13a、13bの信号と補正用画素15の信号を、これらの画素の周辺画素の信号を用いて補間する。例えば、画像処理部21aは、AF画素13b(4,2)の信号を、AF画素13b(4,2)の上下にそれぞれ位置するG画素10(1,2)、G画素10(3,2)、G画素10(5,2)、G画素10(7,2)の各々の信号を用いて補間する。同様に、画像処理部21aは、他のAF画素13の信号と補正用画素15の信号を、それらの画素の周辺画素の信号を用いて補間する。この場合、画像処理部21aは、補間対象となる画素の信号を、複数の画素の信号の平均値に置き換えてもよいし、複数の画素の信号に対して重み付けを行って平均することで算出してもよい。
このように、ボディ制御部21の画像処理部21aは、補正用画素15の隣の撮像画素10の信号を用いて、AF画素行403の隣に位置する他の画素の信号と、AF画素行403の各画素の信号とを補間することができる。これにより、画像処理部21aは、画素の信号を用いて生成される画像の品質低下を防ぐことが可能となる。
なお、上述した実施の形態では、AF画素13のマイクロレンズ44の高さ(厚さ)が撮像画素10のマイクロレンズ44の高さよりも大きい場合について説明した。AF画素13のマイクロレンズ44の高さが撮像画素10のマイクロレンズ44の高さよりも小さい場合も、補正用画素15のマイクロレンズ44は、AF画素13のマイクロレンズ44の形状よりも撮像画素10のマイクロレンズ44の形状に近い形状となるように形成されてもよい。
なお、上記では、マイクロレンズ44の高さ(厚さ)を変えることで、画素において集光される位置が変わることについて説明した。AF画素13と撮像画素10とでマイクロレンズ44の光学特性を変えて、AF画素13及び撮像画素10の各々において光が集光される位置を変えるようにしてもよい。補正用画素15のマイクロレンズ44は、入射する光に対する光学特性がAF画素13のマイクロレンズ44の光学特性よりも撮像画素10のマイクロレンズ44の光学特性に近くなるように形成されてもよい。
例えば、AF画素13及び撮像画素10の各々のマイクロレンズ44の曲率(又は曲率半径)が異なる場合には、補正用画素15のマイクロレンズ44の曲率は、撮像画素10のマイクロレンズ44と略同一の曲率にされてもよい。AF画素13及び撮像画素10の各々のマイクロレンズ44の屈折率が異なる場合には、補正用画素15のマイクロレンズ44の屈折率は、撮像画素10のマイクロレンズ44と略同一の屈折率にされてもよい。
上述した実施の形態によれば、次の作用効果が得られる。
(1)撮像素子22は、第1のマイクロレンズと、第1のマイクロレンズを透過した光を光電変換して電荷を生成する第1の光電変換部とを有し、画像生成に用いる信号を出力する第1画素(撮像画素10)と、第1のマイクロレンズとは異なる第2のマイクロレンズと、第2のマイクロレンズを透過した光を光電変換して電荷を生成する第2の光電変換部とを有し、焦点検出に用いる信号を出力する第2画素(AF画素13)と、第2のマイクロレンズの形状よりも第1のマイクロレンズの形状に近い形状である、又は入射する光に対する光学特性が第2のマイクロレンズの光学特性よりも第1のマイクロレンズの光学特性に近い第3のマイクロレンズと、第3のマイクロレンズを透過した光を光電変換して電荷を生成する第3の光電変換部とを有し、第3の光電変換部で生成された電荷に基づく信号を出力する第3画素(補正用画素15)と、を備える。本実施の形態では、撮像素子22には、撮像画素10のマイクロレンズ44とは異なるマイクロレンズ44を有するAF画素13に加えて、撮像画素10のマイクロレンズ44の形状に近い形状のマイクロレンズ44を有する補正用画素15が配置される。このため、撮像画素10のマイクロレンズ44とは異なるマイクロレンズ44を有するAF画素13が配置されることに起因する影響が生じることを抑制することができる。
(2)本実施の形態では、ボディ制御部21は、補正用画素15の周囲の撮像画素10の信号を用いて、他の画素の信号を補正する処理を行う。このため、各画素の信号の品質が低下して、画質が低下する懸念を低減することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
図5は、変形例1に係る撮像素子の画素の配置例を示す図である。上述した実施の形態では、補正用画素15が、4画素に1個の割合となるように、行方向(X軸方向)に3つおきに配置される例について説明した。しかし、図5に示すように、補正用画素15を、3画素に1個の割合となるように、行方向に2つおきに配置してもよい。
(変形例2)
図6は、変形例2に係る撮像素子の画素の配置例を示す図である。本変形例では、補正用画素15は、8画素に1個の割合となるように、行方向(X軸方向)に7つおきに配置される。図6に示すように、AF画素13aとAF画素13bとは、両者の間に1つの撮像画素10(図6ではG画素10)又は1つの補正用画素15を挟んで、交互に配置されている。
(変形例3)
上述した実施の形態では、撮像素子22を、光が入射する入射面側に配線層111を設ける表面照射型の構成とする例について説明した。しかし、撮像素子22を、裏面照射型の構成としてもよい。
(変形例4)
上述した実施の形態では、光電変換部として光電変換膜を用いる例について説明した。しかし、光電変換部42を、無機材料からなる光電変換膜により構成するようにしてもよい。光電変換部としてフォトダイオードを用いるようにしてもよい。
(変形例5)
上述した実施の形態では、撮像素子22に、原色系(RGB)のカラーフィルタを用いる場合について説明したが、補色系(CMY)のカラーフィルタを用いるようにしてもよい。
(変形例6)
上述の実施の形態及び変形例で説明した撮像素子及び撮像装置は、カメラ、スマートフォン、タブレット、PCに内蔵のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。