JP6528974B2 - 撮像素子、撮像方法、並びにプログラム - Google Patents

Description

本技術は、撮像素子、撮像方法、並びにプログラムに関する。詳しくは、複数の画素について複数の露光タイミングで読み出しを行うことで、ダイナミックレンジを拡大するのに好適な撮像素子、撮像方法、並びにプログラムに関する。

近年、人物等の被写体を撮像して画像（画像データ）を生成し、この生成された画像（画像データ）を画像コンテンツ（画像ファイル）として記録する電子機器、例えば、デジタルスチルカメラ等の撮像装置が普及している。これらの電子機器に用いられる撮像素子として、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等が普及している。

イメージセンサの性能軸の１つとしてダイナミックレンジがある。ダイナミックレンジとは有効な画像信号として変換できる入射光の明るさの幅であり、ダイナミックレンジが大きいほど、暗い光から明るい光まで画像信号に変換でき、性能が良いということになる。

イメージセンサのダイナミックレンジを拡大するための提案として、例えば特許文献１では、SVE(Spatially Varying Exposure)と称される方式が提案されている。

通常のイメージセンサの画素は、フォトダイオード(PD：Photo Diode)を有し、そのフォトダイオードで、入射された光が光電変換によって電荷に変換される。画素は、蓄積できる電荷量が決まっているので、強すぎる入射光に対しては電荷あふれが生じ、それ以上の信号を取り出すことができない。また、画素および読み出しのための回路で発生するノイズのため、弱すぎる入射光に対しては、生じた電荷がノイズに埋もれて信号を取り出すことができない。

そこで、SVE方式では、異なる感度の画素を所定の配置パターンで配置するようにして、シーン中の暗いところは高感度の画素で、明るいところは低感度の画素で信号が取得できるようにする方式である。画素毎に感度を変える方法としては、画素開口率を変えたり、光透過率の異なるオンチップフィルタを用いたりする方法の他、イメージセンサの電子シャッター制御機構を利用する方法がある。特許文献１では、CCDイメージセンサにおける電子シャッター制御機構を利用した方法が提案されている。

輝度信号を得るための分光感度を持つ画素と、色信号を得るための３種類の分光感度を持つ画素と合わせて４種類の画素を配置するイメージセンサが、特許文献２で提案されている。そのような色配列の例として、特許文献２では、輝度信号を得るための画素が市松状に配置されて、色信号を得るためのR,G,Bの分光感度を持つ画素が残りの市松状の配置位置となっているものが記載されている。

特許文献３には、特許文献２に記載の画素配列で、SVE方式の撮像を行う場合の露光パターンの例が開示されている。

特開2007-135200号公報 特開2007-243334号公報 特開2012-257193号公報

特許文献１では、ＲＧＢ（赤、緑、青）の３色からなる色配置を持つイメージセンサにおいて、SVE方式での撮影を行うための画素制御方法についての記載はある。特許文献２では、輝度信号を得るための１画素と色信号を得るための３画素を組み合わせて用いることについての記載はある。特許文献３では、特許文献２に記載の画素配列で、SVE方式の撮像を行う場合の露光パターンについての記載はある。

しかしながら、輝度信号を得るための１画素と色信号を得るための３画素を組み合わせて用いるイメージセンサにおいて、SVE方式の撮像を実現する画素制御方法や構成についての記載はない。４画素を用いたときでも、SVE方式での撮像を実現する画素制御が望まれている。４画素を用いたSVE方式での撮像が行えるようになることで、ダイナミックレンジを拡大し、より性能を向上させることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、ダイナミックレンジを拡大することができ、より性能を向上させることができるようにするものである。

本技術の一側面の撮像素子は、全整色性である分光感度の第１の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成され、画素位置毎に、前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出する第１の処理部と、前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出する第２の処理部と、前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出する第３の処理部と、前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出する第４の処理部と、第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第７の処理部と、前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部と、第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第９の処理部と、前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第１０の処理部とを備える。

特定方向において、前記第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置されているようにすることができる。

前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送るようにすることができる。

前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、前記画素転送制御信号線のうちの少なくとも２本の画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらすようにすることができる。

複数の画素により構成される画素群で１つのフローティングディフュージョンを共有するようにすることができる。

前記４×４画素の周期的な配置は、前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される第１のラインと、前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される第２のラインとが、前記特定方向に直交する方向において交互に配置されるようにすることができる。

前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御されるようにすることができる。

前記第１乃至１０の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第１１の処理部をさらに備えるようにすることができる。

前記第１１の処理部から出力される前記補間値を、ベイヤー配列に変換する変換部をさらに備えるようにすることができる。

前記第１１の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含むようにすることができる。

前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含むようにすることができる。

前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含むようにすることができる。

前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、前記第１１の処理部から出力される前記補間値を対数逆変換する対数逆変換処理部とをさらに備え、前記第１乃至１０の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行うようにすることができる。

前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部とをさらに備え、前記第１乃至１０の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行うようにすることができる。

本技術の一側面の撮像方法は、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成している撮像素子の撮像方法であり、前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送り、画素位置毎に、前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出し、前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出し、前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出し、前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出し、第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出するステップを含む。

本技術の一側面のプログラムは、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送り、画素位置毎に、前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出し、前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出し、前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出し、前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出し、第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出するステップを含む処理を含む。

本技術の一側面の撮像素子、撮像方法、並びにプログラムにおいては、全整色性である分光感度の第１の画素を含む４種類の分光感度の画素が撮像面上に配置され、４種類の分光感度のそれぞれに、第１の露光を実現する画素と、第１の露光より短い第２の露光を実現する画素とが撮像面上に配置され、２次元的に、第１の画素が市松配列となる、４×４画素の周期的な配置が構成され、４×４画素の所定の１ラインの連続する４画素は、第２の露光を実現する画素で構成され、第１の露光と第２の露光を実現するための構成と制御がされる。また、画素位置毎に、全整色性である第１の分光感度の第１の露光の信号の画素位置における高周波の補間値が算出され、第１の分光感度の第２の露光の信号の画素位置における高周波の補間値が算出され、第１の分光感度の第１の露光の信号の画素位置における低周波の補間値が算出され、第１の分光感度の第２の露光の信号の画素位置における低周波の補間値が算出され、第２の分光感度の第１の露光の信号の画素位置における補間値が算出され、第２の分光感度の第２の露光の信号の画素位置における補間値が算出され、第３の分光感度の第１の露光の信号の画素位置における補間値が算出され、第３の分光感度の第２の露光の信号の画素位置における補間値が算出され、第４の分光感度の第１の露光の信号の画素位置における補間値が算出され、第４の分光感度の第２の露光の信号の画素位置における補間値が算出される。

本技術の一側面によれば、ダイナミックレンジを拡大することができ、より性能を向上させることができるようになる。

撮像素子の受光部に装着されるカラーフィルタの配列の一例を示す図である。 本技術を適用した一実施の形態における撮像素子の受光部に装着されるカラーフィルタと露光時間の画素配列を示す図である。 撮像素子の露光時間制御を実現する制御信号線の配線を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 第１の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第１の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第２の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第２の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第３の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第３の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第３の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第４の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第４の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第４の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第５の実施の形態における撮像装置の機能構成例を示すブロック図である。 第５の実施の形態における画像処理部の機能構成例を示すブロック図である。 第５の実施の形態におけるＷＬ高周波補間部、ＷＳ高周波補間部で利用する補間フィルタ係数の一例を示す図である。 第５の実施の形態におけるＷＬ低周波補間部、ＷＳ低周波補間部、ＧＬ低周波補間部、ＧＳ低周波補間部、ＲＬ低周波補間部、ＲＳ低周波補間部、ＢＬ低周波補間部、ＢＳ低周波補間部で利用する補間フィルタ係数の一例を示す図である。 第５の実施の形態におけるHDR合成部の機能構成例を示すブロック図である。 第５の実施の形態におけるHDR合成部の動作を模式的に説明する図である。 第５の実施の形態におけるHDR合成部の重み値特性の一例を示す図である。 他の適用例における撮影素子内でRGBのBayerデータに変換する処理の機能構成例を示すブロック図である。 第５の実施の形態における画像処理部において対数変換の処理位置を変えた機能構成例を示すブロック図である。 他の適用例における撮影素子内でRGBのBayerデータに変換する処理において対数変換の処理位置を変えた機能構成例を示すブロック図である。 対応可能な撮影素子の受光部に装着されるカラーフィルタの配列の他の例を示す図である。 対応可能な撮影素子の受光部に装着されるカラーフィルタの配列の他の例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．第１の実施の形態（水平方向の１ライン上に画素転送制御信号線を３本設ける例）
２．第２の実施の形態（水平方向の２画素が１つのＡ／Ｄ変換器を共有する撮像素子の例）
３．第３の実施の形態（垂直方向の４画素が１つのＦＤを共有する撮像素子の例）
４．第４の実施の形態（８画素がＦＤを共有する撮像素子の例）
５．第５の実施の形態（撮像装置の例）
６．他の適用例

本技術は、撮像素子に適用できる。撮像素子として、ＣＣＤ（Charge Coupled Deviceセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどがある。また本技術は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素が配列されているイメージセンサに適用できる。

Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素は、例えば、図１に示すように、表示領域にマトリクス状に配置される。図１において、各矩形は画素を模式的に表す。また、各矩形の内部には、カラーフィルタの種類（各画素が出力する色光）を示す記号を示す。例えば、Ｇ画素には「Ｇ」を付し、Ｒ画素には「Ｒ」を付し、Ｂ画素には「Ｂ」を付し、Ｗ画素には「Ｗ」を付す。以下の説明においても、同様に記載する。

Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。本技術は、このように、全整色性である分光感度を含む４種類の分光感度の画素が、撮像面上に配置されている撮像素子（イメージセンサ）に適用できる。

図１に示したイメージセンサは、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素の配置を示す。図１に示したのは、イメージセンサの一部分であり、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素以外の他の行、他の列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素についての構成も同様である。

以下の説明において、例えば、画素１０（ｍ，ｎ）との記載を行うが、ｍは行を表し、ｎは列を表すとする。また行とは、水平信号線（不図示）が配置される水平方向とし、列とは、垂直信号線（不図示）が配置される垂直方向とする。例えば、画素１０（２，１）とは、２行目の１列目に位置する画素であることを表す。また、ここで、左上の画素を、画素１０（１，１）とし、この画素１０（１，１）を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。

イメージセンサの水平方向（図１の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素１０（１，１）、Ｇ画素１０（１，２）、Ｗ画素１０（１，３）、Ｇ画素１０（１，４）、Ｗ画素１０（１，５）、Ｇ画素１０（１，６）、Ｗ画素１０（１，７）、Ｇ画素１０（１，８）が配置されている。この場合、１行目には、Ｗ画素とＧ画素が、配置されている。

２行目には、Ｒ画素１０（２，１）、Ｗ画素１０（２，２）、Ｂ画素１０（２，３）、Ｗ画素１０（２，４）、Ｒ画素１０（２，５）、Ｗ画素１０（２，６）、Ｂ画素１０（２，７）、Ｗ画素１０（２，８）が配置されている。この場合、２行目には、Ｒ画素、Ｗ画素、Ｂ画素が、配置されている。

３行目には、１行目と同じく、Ｗ画素とＧ画素が交互に配置されている。

４行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が配置されているが、開始の画素がＲ画素ではなく、Ｂ画素である点が異なる。すなわち、４行目は、Ｂ画素１０（４，１）、Ｗ画素１０（４，２）、Ｒ画素１０（４，３）、Ｗ画素１０（４，４）、Ｂ画素１０（４，５）、Ｗ画素１０（４，６）、Ｒ画素１０（４，７）、Ｗ画素１０（４，８）が配置されている。

５行目、７行目は、それぞれ１行目と同じく、Ｗ画素とＧ画素が交互に配置されている。６行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が、配置されている。また８行目は、４行目と同じく、Ｂ画素、Ｗ画素、Ｒ画素が、配置されている。

図１に示した色配置は、行方向を特定方向とした場合、その特定方向において、全整色性である分光感度のＷ画素に注目すると、Ｗ画素が２画素周期で配置される第１のラインと、Ｗ画素が、第１のラインとは特定方向に１画素ずれて配置される第２のラインとがある。そして、第１のラインと第２のラインは、特定方向に直交する方向（列方向）において交互に配置されている。

また、Ｗ画素とは異なる分光感度を有するＲ画素、Ｇ画素、およびＢ画素は、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置される。例えば、Ｇ画素は、第１のラインにおいて、２画素周期で配置され、Ｒ画素とＢ画素は、第２のラインにおいて、それぞれ４画素周期で配置されている。

このように、２次元的に、Ｗ画素が市松配列となる、４×４画素の周期的な配置を構成するように、色配置が行われている。

このように、ＲＧＢＷの４色のカラーフィルタ（ＣＦ：Color Filter）が配置され、各カラーフィルタを透過した光を受光し、各色光を出力する画素が配列されているイメージセンサにおいて、ＳＶＥ（Spatially Varying Exposure）方式を適用した場合、感度が異なる画素が配置されるため、図２に示すような画素配置となる。

＜第１の実施の形態＞
＜カラーフィルタと露光時間の画素配列例＞
図２は、本技術の第１の実施の形態における撮像素子の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。図２に示した画素配列は、図１に示した画素配置と基本的に同様であるが、感度が異なる画素が配列されている点が異なる。

図２において、矩形内部に斜線が付されていない矩形は長時間露光画素を示し、矩形内部に斜線を付された矩形は短時間露光画素を示す。また、各矩形の内部には、カラーフィルタの種類を示す記号を、長時間露光または短時間露光を表す記号とともに示す。

例えば、Ｇ画素のうちの長時間露光画素には「ＧＬ」を付し、ＧＬ画素と記述し、短時間露光画素には「ＧＳ」を付し、ＧＳ画素と記述する。同様に、Ｒ画素のうちの長時間露光画素には「ＲＬ」を付し、ＲＬ画素と記述し、短時間露光画素には「ＲＳ」を付し、ＲＳ画素と記述する。

またＢ画素のうちの長時間露光画素には「ＢＬ」を付し、ＢＬ画素と記述し、短時間露光画素には「ＢＳ」を付し、ＢＳ画素と記述する。さらに、Ｗ画素のうちの長時間露光画素には「ＷＬ」を付し、ＷＬ画素と記述し、短時間露光画素には「ＷＳ」を付し、ＷＳ画素と記述する。

長時間露光画素は、一定の露光期間内に連続して露光（長時間露光）して読み出す画素である。また、短時間露光画素は、一定の露光期間内の所定の露光時間より短い期間の露光で得られる信号のみの読み出しを行う画素である。

なお、本実施の形態としては、長時間露光と短時間露光の２種類の露光をそれぞれ実現する画素が、撮像面上に配置されている場合を例にあげて説明を続けるが、２種類の露光を実現する場合にのみ、本技術が適用できることを意味する記載ではない。２種類以上の露光を実現する場合にも、本技術を適用できる。

また、長時間露光と短時間露光の２種類の露光ではなく、第１の露光と第２の露光といった異なる露光、例えば、第１の露光と第２の露光のどちらも、時間的には長時間露光に分類される露光であっても、露光の時間が異なる２種類の露光であれば、本技術を適用できる。

図２に示すように、本技術の第１の実施の形態におけるカラーフィルタの色配列は、図１に示した４色配列と同じである。この色配列に対して、本技術では、長時間と短時間の２種類の露光時間で制御される画素を色毎に形成する。

イメージセンサの水平方向（図２の左右方向であり、行方向）の構成を説明する。１行目には、ＷＬ画素２０（１，１）、ＧＬ画素２０（１，２）、ＷＬ画素２０（１，３）、ＧＳ画素２０（１，４）、ＷＬ画素２０（１，５）、ＧＬ画素２０（１，６）、ＷＬ画素２０（１，７）、ＧＳ画素２０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。

２行目には、ＲＬ画素２０（２，１）、ＷＳ画素２０（２，２）、ＢＬ画素２０（２，３）、ＷＳ画素２０（２，４）、ＲＬ画素２０（２，５）、ＷＳ画素２０（２，６）、ＢＬ画素２０（２，７）、ＷＳ画素２０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および長時間露光画素のＢＬ画素が配置されている。

３行目は、１行目と同じく、Ｗ画素とＧ画素が交互に配置されているが、１行目で長時間露光画素のＧＬ画素とされていた画素が、短時間露光画素のＧＳ画素とされ、短時間露光画素のＧＳ画素とされていた画素が、長時間露光画素のＧＬ画素とされている点が異なる。すなわち、３行目には、ＷＬ画素２０（３，１）、ＧＳ画素２０（３，２）、ＷＬ画素２０（３，３）、ＧＬ画素２０（３，４）、ＷＬ画素２０（３，５）、ＧＳ画素２０（３，６）、ＷＬ画素２０（３，７）、ＧＬ画素２０（３，８）が配置されている。

このように、同列に位置するＧ画素、例えば、1列目に配列されているＧＬ画素２０（１，２）とＧＳ画素２０（３，２）は、互いに異なる露光時間とされている。このように、長時間露光画素と短時間露光の画素は、比較的均等に分散して配置されるように構成されている。

４行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が配置されているが、開始の画素がＲ画素ではなく、Ｂ画素であり、全ての画素が短時間露光画素に設定されている点が異なる。すなわち、４行目は、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）が配置されている。

Ｒ画素とＢ画素も、Ｇ画素と同じく、同列に位置し、近傍に位置するＲ画素とＧ画素は、互いに異なる露光時間とされている。このように、長時間露光画素と短時間露光の画素は、比較的均等に分散して配置されるように構成されている。

５乃至８行目は、１行目乃至４行目の画素配置と同様の画素配置とされている。このように、４行毎に繰り返される配置とされる。

このような画素配置についてさらに説明する。図２に示した画素配置において、上から数えて奇数番目の行（１、３、５行目）においては、Ｗ画素とＧ画素が交互に配置され、そのうちのＷ画素は、全て長時間露光となるＷＬ画素とされ、Ｇ画素は、長時間露光となるＧＬ画素と短時間露光となるＧＳ画素が交互に配置される。

偶数番目の行においては、Ｗ画素が１画素おきに配置され、残りの画素位置にＲ画素とＢ画素が交互に配置される。さらに偶数番目の行のＷ画素は、全て短時間露光となるＷＳ画素である。Ｒ画素とＢ画素は、同一行においてどちらも長時間露光のＲＬ画素、ＢＬ画素か、どちらも短時間露光のＲＳ画素、ＢＳ画素とされ、２行おきに交互に配置される。

図２に示したような画素の配置は、一見すると露光の空間パターンが複雑であるように見えるが、各色かつ各露光で画素の配置を見たときには、どれも等方的な配置となっており、後述するように補間フィルタ等の信号処理がやりやすいという効果を期待できる配置である。

＜露光制御の配線例＞
図３に、図２の露光時間制御を実現する制御信号線の配線を模式的に示す。図３において水平方向（図中左右方向）にのびる実線は、それぞれが画素の露光を制御するための画素転送制御信号線を示す。また画素転送制御信号線上の黒はその位置の画素との接続を示す。

図３には記載していないが、画素の配置は図２に示した画素の配置であり、斜線を付した部分は、短時間露光画素であることを表している。画素の配置については、適宜図２を参照しながら説明を続ける。

図３に示すように、１行あたり３本の画素転送制御信号線が配置される。１行目には、画素転送制御信号線２１−１乃至２１−３が配置され、２行目には、画素転送制御信号線２２−１乃至２２−３が配置され、３行目には、画素転送制御信号線２３−１乃至２３−３が配置され、４行目には、画素転送制御信号線２４−１乃至２４−３が配置され、５行目には、画素転送制御信号線２５−１乃至２５−３が配置され、６行目には、画素転送制御信号線２６−１乃至２６−３が配置され、７行目には、画素転送制御信号線２７−１乃至２７−３が配置され、８行目には、画素転送制御信号線２８−１乃至２８−３が配置されている。

１行目に配置されている画素２０と画素転送制御信号線２１に注目する。画素転送制御信号線２１−１は、ＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）に接続されている。すなわち、画素転送制御信号線２１−１は、長時間露光画素のＷＬ画素に接続され、それらの露光を制御する。

画素転送制御信号線２１−２は、ＧＬ画素２０（１，２）とＧＬ画素２０（１，６）に接続されている。すなわち画素転送制御信号線２１−２は、長時間露光画素のＧＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２１−３は、ＧＳ画素２０（１，４）とＧＳ画素２０（１，８）に接続されている。すなわち、画素転送制御信号線２１−３は、短時間露光画素のＧＳ画素に接続され、それらの露光を制御する。

次に、２行目に配置されている画素２０と画素転送制御信号線２２に注目する。画素転送制御信号線２２−１は、ＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）に接続されている。すなわち、画素転送制御信号線２２−１は、短時間露光画素のＷＳ画素に接続され、それらの露光を制御する。

画素転送制御信号線２２−２は、ＲＬ画素２０（２，１）とＲＬ画素２０（２，５）に接続されている。すなわち画素転送制御信号線２２−２は、長時間露光画素のＲＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２２−３は、ＢＬ画素２０（２，３）とＢＬ画素２０（２，７）に接続されている。すなわち、画素転送制御信号線２２−３は、長時間露光画素のＢＬ画素に接続され、それらの露光を制御する。

次に、３行目に配置されている画素２０と画素転送制御信号線２３に注目する。画素転送制御信号線２３−１は、ＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）に接続されている。すなわち、画素転送制御信号線２３−１は、長時間露光画素のＷＬ画素に接続され、それらの露光を制御する。

画素転送制御信号線２３−２は、ＧＬ画素２０（３，４）とＧＬ画素２０（３，８）に接続されている。すなわち画素転送制御信号線２３−２は、長時間露光画素のＧＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２３−３は、ＧＳ画素２０（３，２）とＧＳ画素２０（３，６）に接続されている。すなわち、画素転送制御信号線２３−３は、短時間露光画素のＧＳ画素に接続され、それらの露光を制御する。

次に、４行目に配置されている画素２０と画素転送制御信号線２４に注目する。画素転送制御信号線２４−１は、ＷＳ画素２０（４，２）、ＷＳ画素２０（４，４）、ＷＳ画素２０（４，６）、ＷＳ画素２０（４，８）に接続されている。すなわち、画素転送制御信号線２４−１は、短時間露光画素のＷＳ画素に接続され、それらの露光を制御する。

画素転送制御信号線２４−２は、ＲＳ画素２０（４，３）とＲＳ画素２０（４，７）に接続されている。すなわち画素転送制御信号線２４−２は、短時間露光画素のＲＳ画素に接続され、それらの露光を制御する。画素転送制御信号線２４−３は、ＢＳ画素２０（４，１）とＢＳ画素２０（４，５）に接続されている。すなわち、画素転送制御信号線２４−３は、短時間露光画素のＢＳ画素に接続され、それらの露光を制御する。

５行目乃至８行目は、１行目乃至４行目と画素の配置や画素転送制御信号線の接続の仕方は同じであるため、その説明は省略する。

このように１行あたり複数（この場合、３本）の画素転送制御信号線を配置することによって、同一行中に長時間露光の画素と短時間露光の画素が混在しても、制御し分けることが可能となる。また、１行あたり３本の画素転送制御信号線を配置すると、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。

Ｗ画素は可視光の全波長帯にわたって感度を持つためにＲ，Ｇ，Ｂ画素と比べて２倍近い感度を持つ場合がある。そのためＷ画素だけ飽和しやすい。本技術によれば、色毎の露光制御ができるようになる。このことにより、例えば、Ｗ画素だけ、Ｒ，Ｇ，Ｂ画素よりも露光時間を短くするといったような制御を行うことが可能となり、Ｗ画素が飽和しないように制御することが可能となる。

図１に示した画素の配列（色の配置）に対して、図３に示した画素転送制御信号線の配線を適用した場合の長時間露光画素と短時間露光画素との配置（露光パターン）は、図２に示した露光パターンに限定されるものではない。図４乃至６に、他の露光パターンの例を示す。なお、図２、図４乃至６以外にも、図示はしないが、位相違い、長時間露光と短時間露光の判定などのパターンなどにも、図３に示した画素転送制御信号線の配線を適用することができる。

図４乃至図６の各図に示した色の配列は、図１（図２）と同じ配列である。また図１に示した場合と同じく、１行目乃至４行目の繰り返しで構成されるため、以下の説明では、１行目乃至４行目の画素の配列について説明を加える。

図４を参照するに、１行目には、ＷＬ画素４０（１，１）、ＧＬ画素４０（１，２）、ＷＬ画素４０（１，３）、ＧＳ画素４０（１，４）、ＷＬ画素４０（１，５）、ＧＬ画素４０（１，６）、ＷＬ画素４０（１，７）、ＧＳ画素４０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。

２行目には、ＲＬ画素４０（２，１）、ＷＳ画素４０（２，２）、ＢＳ画素４０（２，３）、ＷＳ画素４０（２，４）、ＲＬ画素４０（２，５）、ＷＳ画素４０（２，６）、ＢＳ画素４０（２，７）、ＷＳ画素４０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および短時間露光画素のＢＳ画素が配置されている。

３行目には、ＷＬ画素４０（３，１）、ＧＳ画素４０（３，２）、ＷＬ画素４０（３，３）、ＧＬ画素４０（３，４）、ＷＬ画素４０（３，５）、ＧＳ画素４０（３，６）、ＷＬ画素４０（３，７）、ＧＬ画素４０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。

４行目は、ＢＬ画素４０（４，１）、ＷＳ画素４０（４，２）、ＲＳ画素４０（４，３）、ＷＳ画素４０（４，４）、ＢＬ画素４０（４，５）、ＷＳ画素４０（４，６）、ＲＳ画素４０（４，７）、ＷＳ画素４０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、長時間露光画素のＢＬ画素、および短時間露光画素のＲＳ画素が配置されている。

図４に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している。図４に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。

図５を参照するに、１行目には、ＷＬ画素５０（１，１）、ＧＬ画素５０（１，２）、ＷＬ画素５０（１，３）、ＧＬ画素５０（１，４）、ＷＬ画素５０（１，５）、ＧＬ画素５０（１，６）、ＷＬ画素５０（１，７）、ＧＬ画素５０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素とＧＬ画素が配置されている。

２行目には、ＲＬ画素５０（２，１）、ＷＳ画素５０（２，２）、ＢＬ画素５０（２，３）、ＷＳ画素５０（２，４）、ＲＬ画素５０（２，５）、ＷＳ画素５０（２，６）、ＢＬ画素５０（２，７）、ＷＳ画素５０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および長時間露光画素のＢＬ画素が配置されている。

３行目には、ＷＬ画素５０（３，１）、ＧＳ画素５０（３，２）、ＷＬ画素５０（３，３）、ＧＳ画素５０（３，４）、ＷＬ画素５０（３，５）、ＧＳ画素５０（３，６）、ＷＬ画素５０（３，７）、ＧＳ画素５０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素と、短時間露光画素のＧＳ画素が配置されている。

４行目は、ＢＳ画素５０（４，１）、ＷＳ画素５０（４，２）、ＲＳ画素５０（４，３）、ＷＳ画素５０（４，４）、ＢＳ画素５０（４，５）、ＷＳ画素５０（４，６）、ＲＳ画素５０（４，７）、ＷＳ画素５０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、ＢＳ画素、およびＲＳ画素が配置されている。

図５に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している行がある。図５に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。

図６を参照するに、１行目には、ＷＬ画素６０（１，１）、ＧＬ画素６０（１，２）、ＷＬ画素６０（１，３）、ＧＬ画素６０（１，４）、ＷＬ画素６０（１，５）、ＧＬ画素６０（１，６）、ＷＬ画素６０（１，７）、ＧＬ画素６０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素とＧＬ画素が配置されている。

２行目には、ＲＬ画素６０（２，１）、ＷＳ画素６０（２，２）、ＢＳ画素６０（２，３）、ＷＳ画素６０（２，４）、ＲＬ画素６０（２，５）、ＷＳ画素６０（２，６）、ＢＳ画素６０（２，７）、ＷＳ画素６０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および短時間露光画素のＢＳ画素が配置されている。

３行目には、ＷＬ画素６０（３，１）、ＧＳ画素６０（３，２）、ＷＬ画素６０（３，３）、ＧＳ画素６０（３，４）、ＷＬ画素６０（３，５）、ＧＳ画素６０（３，６）、ＷＬ画素６０（３，７）、ＧＳ画素６０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素と、短時間露光画素のＧＳ画素が配置されている。

４行目は、ＢＬ画素６０（４，１）、ＷＳ画素６０（４，２）、ＲＳ画素６０（４，３）、ＷＳ画素６０（４，４）、ＢＬ画素６０（４，５）、ＷＳ画素６０（４，６）、ＲＳ画素６０（４，７）、ＷＳ画素６０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、長時間露光画素のＢＬ画素、および短時間露光画素のＲＳ画素が配置されている。

図６に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している。図６に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。

＜画素の基本回路の構成例＞
図７は、本技術の第１の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図7では、画素共有を行っていない４Ｔｒ（トランジスタ）構成のＣＩＳ（CMOSイメージセンサ）の画素回路の構成例を示す。

図７中、破線の矩形で囲った等価回路が１つの画素の構成要素を表す。画素は、受光部であるフォトダイオードＰＤ７１、フローティングディフュージョンＦＤ７２、および４つのＭＯＳ−ＦＥＴ７３−１乃至７３−４により構成されている。また、画素は、画素転送制御信号線（画素転送ゲート制御信号線）ＴＲＧ７４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６、および画素リセット制御信号線ＲＳＴ７７に接続されている。

画素に照射された光は、ＰＤ７１において電子に変換され、光量に応じた電荷がＰＤ７１に蓄積される。ＭＯＳ−ＦＥＴ７３−１は、ＰＤ７１とＦＤ７２との間の電荷転送を制御する。ＭＯＳ−ＦＥＴ７３−１のゲート電極に画素転送制御信号線ＴＲＧ７４の信号が印加されることにより、ＰＤ７１に蓄積された電荷が、ＦＤ７２に転送される。

ＦＤ７２は、ＭＯＳ−ＦＥＴ７３−３のゲート電極と繋がっている。ＭＯＳ−ＦＥＴ７３−４のゲート電極に画素読み出し選択制御信号線ＳＥＬ７５の制御信号が印加されると、垂直信号線ＶＳＬ７６からＦＤ７２に蓄積された電荷に応じた電圧を信号として読み出すことができる。ＭＯＳ−ＦＥＴ７３−２のゲート電極に画素リセット制御信号線ＲＳＴ７７のリセット信号が印加されると、ＦＤ７２に蓄積された電荷は、ＭＯＳ−ＦＥＴ７３−２を通じて流れるため、電荷蓄積状態がリセットされる。

１画素は、このような基本構成を有し、受光された光量に応じた信号が取り出される。

＜画素制御回路および画素配線の構成例＞
図８は、本技術の第１の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。

図８に示した撮像素子は、図２に示した撮像素子の１行目乃至４行目を例に挙げて図示してある。よって、その配列は、図２を参照して説明したので、ここではその説明を省略する。例えば、左上に位置するＷＬ画素は、ＷＬ画素２０（１，１）である。他の画素も、図２に示した画素と同様の符号が付してあるとして説明を続ける。図７に示すように、複数の画素は、２次元正方格子状に配置されている。

また、各画素は、図７に示したような回路構成を有している。図７において、画素転送制御信号線ＴＲＧ７４は、図３における画素転送制御信号線に対応している。図３を参照して説明したように、１行に３本の画素転送制御信号線が配線されているため、図３と同じ符号を付してある。

撮像素子は、さらに、垂直走査制御回路（V SCAN CIRCUIT）８１、水平転送回路（H TRANSFER CIRCUIT）８２、列毎のＡ／Ｄ（Analog/Digital）変換器（ＡＤＣ）８３、およびメモリ（ＭＥＭ）８４を備える。

垂直操作制御回路８１は、行方向に配線されている各信号線（ＲＳＴ７７、ＴＲＧ２１乃至２４、ＳＥＬ７５）を制御することにより、各画素２０と、垂直信号線ＶＳＬ７６との間のスイッチをオン／オフするものである。なお、各信号線の制御については後述する。

水平転送回路８２は、列毎のメモリ８４に保持されているデジタルデータを水平転送するための回路である。列毎のＡ／Ｄ変換器８３は、アナログ値である各画素からの画像データをデジタルデータ（デジタル値）に変換する。列毎のメモリ８４は、列毎のＡ／Ｄ変換器８３により変換されたデジタルデータを順次保存するメモリである。

垂直方向には垂直信号線ＶＳＬ７６が配線されており、同じ列上にある画素が１つの垂直信号線ＶＳＬ７６を共有する。また、垂直信号線ＶＳＬ７６は、水平転送回路８２により排他的に出力端（ＯＵＴ）と接続される。

このように、垂直走査制御回路８１の選択制御により、ある１つの画素を出力端（ＯＵＴ）と接続させることができる。このため、各画素２０を順次選択しながら時分割で全画素の信号を読み出すことができる。また、撮像素子には、水平方向の各行において、３本の画素転送制御信号線ＴＲＧ２１乃至２４と、画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７とが配線されている。３本の画素転送制御信号線ＴＲＧ２１乃至２４は、それぞれ図３に示したパターンで各画素に接続されている。

＜制御信号のタイミングチャート例＞
図９は、本技術の第１の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図９では、図８に示した４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。

図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。

画素電子シャッターは、画素リセット制御信号線ＲＳＴ７７をＯＮ（リセットトランジスタ７３−２はＮＭＯＳであるため、Ｈレベル）するとともに、画素転送制御信号線ＴＲＧ７７を活性化することを同時に行うことを意味する。この画素電子シャッターにより、対象となるＰＤ（フォトダイオード）７１の蓄積電荷がリセットされる。このため、画素リセット制御信号線ＲＳＴ７７がＯＮであっても、画素転送制御信号線ＴＲＧ２１乃至２４がＯＦＦであれば、対象のＰＤ７１はリセットされない。

例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−１，２１−２がＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）と、ＧＬ画素２０（１，２）、ＧＬ画素２０（１，６）の画素電子シャッターが切られる。

さらに、これらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−１，２１−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。

また、時刻ｔ５において、画素リセット制御信号線ＲＳＴ７５−１と、画素転送制御信号線ＴＲＧ２１−３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ５から時刻ｔ９までの間（ＥｘｐＳ１）が露光期間となる。

このように、水平方向の１ラインにおける複数の画素について、異なる露光期間で露光されるように各画素を制御することができる。

第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−２，２２−３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，３）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−２，２２−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。

また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。

第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳ７７−３と、画素転送制御信号線ＴＲＧ２３−１，２３−２とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）と、ＧＬ画素２０（３，４）、ＧＬ画素２０（３，８）の画素電子シャッターが切られる。

さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−１，２３−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。

また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）、ＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。

第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７−４がＯＮとなるが、同時にＯＮとなる画素転送制御信号線２４がないため、時刻ｔ４で画素電子シャッターが切られる画素はない。

時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−１，２４−２，２４−３がＯＮとなるため、第４行目にある全ての画素の画素電子シャッターが切られる。すなわち、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。

さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。

なお、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４の間隔、時刻ｔ５、時刻ｔ６、時刻ｔ７、時刻ｔ８の間隔、時刻ｔ９、時刻ｔ１０、時刻ｔ１１、時刻ｔ１２の間隔は、全て１Ｈ（１行分の画素データ読み出しにかかる時間）に設定されるため、各行の長時間露光時間ＥｘｐＬ１乃至４および各行の短時間露光時間ＥｘｐＳ１乃至４は同じとなる。

このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

また、時刻ｔ１乃至ｔ８における画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることができる。この例として、図４、図５、図６のそれぞれに示した露光制御パターンを実現するためのタイミングチャートを、図１０、図１１、図１２にそれぞれ示す。

図４に示した露光制御パターンを実現するためのタイミングチャートを図１０に示す。図４に示した露光制御パターンのうち、１行目と３行目は、図２に示した露光制御パターンと同様であり、図１０に示したタイミングチャートにおける１行目と３行目に対するタイミングも同様であるため、その説明は省略する。

なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。

第２行目に対する制御について説明する。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−２とがＯＮとなるため、第２行目にあるＲＬ画素４０（２，１）、ＲＬ画素４０（２，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。

また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−１，２２−３がＯＮとなるため、第２行目にあるＷＳ画素４０（２，２）、ＷＳ画素４０（２，４）、ＷＳ画素４０（２，６）、ＷＳ画素４０（２，８）と、ＢＳ画素４０（２，３）、ＢＳ画素４０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−１，２２−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。

第４行目に対する制御について説明する。時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−３とがＯＮとなるため、第４行目にあるＢＬ画素４０（４，１）、ＢＬ画素４０（４，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ４から時刻ｔ１２までの間（ＥｘｐＬ４）が露光期間となる。

また、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−１，２４−３がＯＮとなるため、第２行目にあるＷＳ画素４０（４，２）、ＷＳ画素４０（４，４）、ＷＳ画素４０（４，６）、ＷＳ画素４０（４，８）と、ＲＳ画素４０（４，３）、ＲＳ画素４０（４，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−１，２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。

このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

図５に示した露光制御パターンを実現するためのタイミングチャートを図１１に示す。図５に示した露光制御パターンのうち、２行目と４行目は、図２に示した露光制御パターンと同様であり、図１１に示したタイミングチャートにおける２行目と４行目に対するタイミングと同様であるため、その説明は省略する。

なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。

第１行目に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−１，２１−２，２１−３とがＯＮとなるため、第１行目にある全ての画素の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−１，２１−２，２１−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。

第３行目に対する制御について説明する。時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−１とがＯＮとなるため、第３行目にあるＷＬ画素５０（３，１）、ＷＬ画素５０（３，３）、ＷＬ画素５０（３，５）、ＷＬ画素５０（３，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。

また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−２，２３−３がＯＮとなるため、第３行目にあるＧＳ画素５０（３，２）、ＧＳ画素５０（３，４）、ＧＳ画素５０（３，６）、ＧＳ画素５０（４，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−２，２３−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。

このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

図６に示した露光制御パターンを実現するためのタイミングチャートを図１２に示す。なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。

第１行目に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−１，２１−２，２１−３とがＯＮとなるため、第１行目にある全ての画素の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−１，２１−２，２１−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。

第２行目に対する制御について説明する。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−２とがＯＮとなるため、第２行目にあるＲＬ画素６０（２，１）、ＲＬ画素６０（２，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。

また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−１，２２−３がＯＮとなるため、第２行目にあるＷＳ画素６０（２，２）、ＷＳ画素６０（２，４）、ＷＳ画素６０（２，６）、ＷＳ画素６０（２，８）と、ＢＳ画素６０（２，３）、ＢＳ画素６０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−１，２２−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。

第３行目に対する制御について説明する。時刻ｔ３において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−１とがＯＮとなるため、第３行目にあるＷＬ画素６０（３，１）、ＷＬ画素６０（３，３）、ＷＬ画素６０（３，５）、ＷＬ画素６０（３，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。

また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−２，２３−３がＯＮとなるため、第３行目にあるＧＳ画素６０（３，２）、ＧＳ画素６０（３，４）、ＧＳ画素６０（３，６）、ＧＳ画素６０（３，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−２，２３−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。

第４行目に対する制御について説明する。時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−３とがＯＮとなるため、第４行目にあるＢＬ画素６０（４，１）、ＢＬ画素６０（４，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ４から時刻ｔ１２までの間（ＥｘｐＬ４）が露光期間となる。

また、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−１，２４−３がＯＮとなるため、第２行目にあるＷＳ画素６０（４，２）、ＷＳ画素６０（４，４）、ＷＳ画素６０（４，６）、ＷＳ画素６０（４，８）と、ＲＳ画素６０（４，３）、ＲＳ画素６０（４，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−１，２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。

このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

以上のように、本技術の第１の実施の形態では、Ｗ画素を含むカラーフィルタ配列を持つＣＩＳに対して、水平方向の１行上に画素転送制御信号線ＴＲＧを３本設け、これらの各画素転送制御信号線ＴＲＧを制御することにより、同一行に異なる露光時間の画素を混在させて高ダイナミックレンジの撮像を実現することができる。また、カラーフィルタ感度差を補償するための色別シャッターとも両立することができる。

＜第２の実施の形態＞
本技術の第２の実施の形態では、水平方向の２画素について１つのＡ／Ｄ変換器を実装する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。

＜画素制御回路および画素配線の構成例＞
図１３は、本技術の第２の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。撮像素子は、垂直走査制御回路（V SCAN CIRCUIT）８１、水平転送回路（H TRANSFER CIRCUIT）８２、２行毎のカラムスイッチ（ＳＷ）１０１、２行毎のＡ／Ｄ変換器（ＡＤＣ）８３、２行毎のメモリ（ＭＥＭ）８４、複数の画素２０を備える。

なお、図８に示した撮像素子の画素制御回路および画素配線の構成例と同一の箇所には同一の符号を付し説明をする。すなわち、図１３に示した撮像素子の画素制御回路および画素配線の構成例は、図８に示した撮像素子の画素制御回路および画素配線の構成例に対して、２行毎の処理を行うためのカラムスイッチ１０１が追加され、２行毎に処理を行う構成のために、Ａ／Ｄ変換器８３とメモリ８４の数が、半分の数に削減されている点が異なる。また各画素は、図８と同じく、図２に示した画素と同じ色、配置とされているため、図２と同じ符号で説明を続ける。

カラムスイッチ１０１は、制御部（図示せず）からの信号に基づいて、２つの画素からの信号のうちの一方を選択して、Ａ／Ｄ変換器８３に出力するものである。Ａ／Ｄ変換器８３は、カラムスイッチ１０１からの画像データ（アナログ値）をデジタルデータ（デジタル値）に変換する。メモリ８４は、Ａ／Ｄ変換器８３により変換されたデジタルデータを順次保存するメモリである。

図８に示したように、画素のピッチに合わせてＡ／Ｄ変換器８３を実装することも可能であるが、画素の微細化による影響などにより、Ａ／Ｄ変換器８３の縮小が設計制約上、画素のピッチで収まらなくなりつつある。このため、図１３に示すように、２画素のピッチで１つのＡ／Ｄ変換器８３を実装する撮像素子とすることで画素の微細化に対応することができる。

ただし、１つのＡ／Ｄ変換器８３は、１度に１画素しか読み出せないため、同一行にある２画素を１つのＡ／Ｄ変換器８３で読み出すときには、２画素の読み出し時刻をずらして２回に分けて行う必要がある。この場合には、１行分の画素のＡ／Ｄ変換にかかる時間が２倍となる。

＜制御信号のタイミングチャート例＞
図１４は、本技術の第２の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図１４では、図１３に示す４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部の両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。

図９で示した第１の実施の形態との違いは、Ａ／Ｄ変換器８３を共有する同一行の隣接画素の制御タイミングを所定時間ずらすという点である。図１４では、その所定時間ずらしたタイミングに’をつけて図示している。例えば、時刻ｔ１に対して所定時間ずらした時刻はｔ１’である。制御タイミングのずらし方は、例えば、Ａ／Ｄ変換器８３に対して左側に隣接する列の画素を時刻ｔ１で制御し、同じＡ／Ｄ変換器８３に対して右側に隣接する列の画素を時刻ｔ１’で制御するようにする。

例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−１とがＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）の画素電子シャッターが切られる。

続いて、時刻ｔ１’において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−２とがＯＮとなるため、第１行目にあるＧＬ画素２０（１，２）とＧＬ画素２０（１，６）の画素電子シャッターが切られる。

さらにこれらの画素は、時刻ｔ９において画素転送制御信号線ＴＲＧ２１−１が、時刻ｔ９’において画素転送制御信号線ＴＲＧ２１−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ１だけ露光される。

また、時刻ｔ５’において、画素リセット制御信号線ＲＳＴ７７−１と、画素転送制御信号線ＴＲＧ２１−３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９’において、画素転送制御信号線ＴＲＧ２１−３がＯＮとなり、ＰＤに蓄積された電荷が転送されるため、露光期間ＥｘｐＳ１だけ露光される。

このように、水平方向の１ラインにおける複数の画素について、Ａ／Ｄ変換器８３を時分割で共有し、かつ、異なる露光期間で露光されるように各画素を制御することができる。

第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−２、２２−３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＢＬ画素２０（２，３）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において画素転送制御信号線ＴＲＧ２２−２，２２−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ２だけ露光される。

また、時刻ｔ６’において、画素リセット制御信号線ＲＳＴ７７−２と、画素転送制御信号線ＴＲＧ２２−１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０’において、画素転送制御信号線ＴＲＧ２２−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ２だけ露光される。

第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−１とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）の画素電子シャッターが切られる。

続いて、時刻ｔ３’において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−２とがＯＮとなるため、第３行目にあるＧＬ画素２０（３，４）とＧＬ画素２０（３，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において画素転送制御信号線ＴＲＧ２３−１が、時刻ｔ１１’において画素転送制御信号線ＴＲＧ２３−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ３だけ露光される。

また、時刻ｔ７’において、画素リセット制御信号線ＲＳＴ７７−３と、画素転送制御信号線ＴＲＧ２３−３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）とＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１’において、画素転送制御信号線ＴＲＧ２３−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ３だけ露光される。

第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４および時刻ｔ４’において、画素リセット制御信号線ＲＳＴ７７−４がＯＮとなるが、同時にＯＮとなる画素転送制御信号線ＴＲＧがないため、時刻ｔ４および時刻ｔ４’で画素電子シャッターが切られる画素はない。

一方、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−２，２４−３がＯＮとなるため、第４行目にあるＢＳ画素２０（４，１）、ＲＳ画素２０（４，３）、ＢＳ画素２０（４，５）、ＲＳ画素２０（４，７）の画素電子シャッターが切られる。

続いて、時刻ｔ８’において、画素リセット制御信号線ＲＳＴ７７−４と、画素転送制御信号線ＴＲＧ２４−１とがＯＮとなるため、第４行目にあるＷＳ画素２０（４，２）、ＷＳ画素２０（４，４）、ＷＳ画素２０（４，６）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において画素転送制御信号線ＴＲＧ２４−２，２４−３が、時刻ｔ１２’において画素転送制御信号線ＴＲＧ２４−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ４だけ露光される。

以上のように、本技術の第２の実施の形態では、Ｗ画素を含むカラーフィルタ配列を持ち、隣接する２列でＡ／Ｄ変換器を共有する構成のＣＩＳに対して、水平方向の１行上に画素転送制御信号線ＴＲＧを３本設け、これらの各画素転送制御信号線ＴＲＧを制御することにより、同一行に異なる露光時間の画素を混在させて高ダイナミックレンジの撮像を実現することができる。また、カラーフィルタ感度差を補償するための色別シャッターとも両立することができる。

なお、以上は図２の露光制御パターンを例で説明したが、第１の実施の形態と同様に、第２の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は、第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。

＜第３の実施の形態＞
本技術の第３の実施の形態では、垂直方向の４画素で１つのＦＤ（フローティングディフュージョン）を共有する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。

＜垂直方向４画素共有画素回路の構成例＞
図１５は、本技術の第３の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図１５では、垂直方向に連続して配置されている４画素が、１つのＦＤ７２に、画素転送トランジスタ７３−１１乃至１４を介して接続され、ＦＤ７２以降の回路構成ＣＭＮ１３１を共有する垂直方向４画素共有画素回路を示す。

各画素は、画素転送制御信号線ＴＲＧ２１乃至２４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６と、画素リセット制御信号線ＲＳＴ７７とに接続されている。なお、垂直方向において４画素共有を行う点以外の構成および動作については、図７に示した画素回路と略同様であるため、ここでの詳細な説明を省略する。

＜画素制御回路および画素配線の構成例＞
図１６は、本技術の第３の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。図１６に示した撮像素子の画素制御回路および画素配線の基本的な構成は、図８に示した第１の実施の形態における撮像素子の画素制御回路および画素配線の構成と同様であるため、同一の部分には同一の符号を付し、説明を省略する。

図８で説明した第１の実施の形態では、垂直方向に並ぶ４画素は、それぞれ独立した回路構成であったが、図１６では、ＦＤ７２以降の構成ＣＭＮ１３１を共有する構成のため、画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７は、４行毎に１本配置される。また、垂直信号線（読み出し線）ＶＳＬ７６への接続も垂直４画素で、ＣＭＮ１３１介した１つの接続とされる。

＜制御信号のタイミングチャート例＞
図１７は、本技術の第３の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図１７では、図１６に示す４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は、長時間露光画素の露光期間、ＥｘｐＳ１乃至４は、短時間露光画素の露光期間であり、数字は行番号と対応する。

図９で説明した第１の実施の形態におけるタイミングチャートとの違いは、行毎の画素リセット制御信号線ＲＳＴ７７―１乃至４および行毎の画素読み出し選択制御信号線ＳＥＬ７５−１乃至４を介して与えられていた画素リセット制御信号と画素読み出し選択制御信号が、それぞれ１つの画素リセット制御信号線ＲＳＴ７７および画素読み出し選択制御信号線ＳＥＬ７５から与えられるようになったことである。

これらを共有したことによって、信号を重畳するようなタイミングで与えることができないという制約が発生するが、その制約の範囲においては、第１の実施の形態と同様に第３の実施の形態においても、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

図１７に示したタイミングチャートを参照して、第３の実施の形態における撮像素子を構成する各画素への制御信号と各画素の読み出しのタイミングについて説明する。

図１６に示した１行目の画素に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２１−１，２１−２がＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）と、ＧＬ画素２０（１，２）、ＧＬ画素２０（１，６）の画素電子シャッターが切られる。

これらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−１，２１−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。

また、時刻ｔ５において、画素リセット制御信号線ＲＳＴ７５と、画素転送制御信号線ＴＲＧ２１−３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ５から時刻ｔ９までの間（ＥｘｐＳ１）が露光期間となる。

第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２２−２，２２−３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，３）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−２，２２−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。

また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２２−１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２−１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。

第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳ７７と、画素転送制御信号線ＴＲＧ２３−１，２３−２とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）と、ＧＬ画素２０（３，４）、ＧＬ画素２０（３，８）の画素電子シャッターが切られる。

さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−１，２３−２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。

また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２３−３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）、ＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。

第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７がＯＮとなるが、同時にＯＮとなる画素転送制御信号線２４がないため、時刻ｔ４で画素電子シャッターが切られる画素はない。

時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２４−１，２４−２，２４−３がＯＮとなるため、第４行目にある全ての画素の画素電子シャッターが切られる。すなわち、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。

さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４−１，２４−２，２４−３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。

このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。

なお、以上は図２の露光制御パターンの例で説明したが、第１の実施の形態と同様に、第３の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。

＜第４の実施の形態＞
本技術の第４の実施の形態では、垂直方向×水平方向の４×２＝８画素で、１つのＦＤ７２を共有する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。

＜８画素共有画素回路の構成例＞
図１８は、本技術の第４の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図１８では、垂直方向×水平方向の連続して配置されている４×２＝８画素が、１つのＦＤ７２に、画素転送トランジスタ７３−１１乃至７３−１８を介して接続され、ＦＤ７２以降の回路構成ＣＭＮ１３１を共有する８画素共有画素回路を示す。

各画素は、画素転送制御信号線ＴＲＧ２１乃至２４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６、画素リセット制御信号線ＲＳＴ７７に接続されている。なお、８画素共有を行う点以外の構成および動作については、図７に示した画素回路と略同様であるため、ここでの詳細な説明を省略する。

＜画素制御回路および画素配線の構成例＞
図１９は、本技術の第４の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。図８で説明した第１の実施の形態では、垂直方向×水平方向の連続して配置されている４×２＝８画素は、それぞれ独立した回路構成であったが、図１９では、ＦＤ７２以降の構成ＣＭＮ１３１を共有するため、画素読み出し選択制御信号線ＳＥＬ７５、画素リセット制御信号線ＲＳＴ７７が４行毎に１本配置される。また、垂直信号線（読み出し線）ＶＳＬ７６は、２列毎に１本となり、垂直信号線（読み出し線）ＶＳＬ７６への接続も４×２画素で１つとなる。

＜制御信号のタイミングチャート例＞
図２０は、本技術の第４の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図２０では、図１９に示した４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。

第４の実施の形態においては、垂直信号線（読み出し線）ＶＳＬ７６を隣接する２列で共有するため、Ａ／Ｄ変換器８３も隣接２列で共有する構成となる。したがってその動作は、隣接２列でＡ／Ｄ変換器８３を共有する第２の実施の形態と同様に、水平方向に隣接する２画素を、タイミングを変えて時分割で読み出すような制御が必要となる。その時分割読み出しを実現するために、第２の実施の形態においては、図１４に示した場合と同じく、隣接する列への画素転送制御信号を所定時間ずらすようにする。

第４の実施の形態は、第２の実施の形態と同様に、隣接する列への画素転送制御信号を所定時間ずらして供給する。

例えば、時刻ｔ１において、画素転送制御信号線ＴＲＧ２１−１から第１行目のＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）へ画素転送制御信号を供給し、時刻ｔ１’において、画素転送制御信号線ＴＲＧ２１−２から第１行目のＧＬ画素２０（１，２）とＧＬ画素２０（１，６）へ画素転送制御信号を供給する。

さらに、時刻ｔ９において、画素読み出し選択制御信号線ＳＥＬ７５に画素読み出し選択制御信号が供給されていると同時に、画素転送制御信号線ＴＲＧ２１−１から第１行目のＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）へ画素転送制御信号を供給することによって、ＷＬ画素２０の信号が読み出される。また時刻ｔ９’において、画素転送制御信号線ＴＲＧ２１−２から第１行目のＧＬ画素へ画素転送制御信号を供給することによってＧＬ画素２０（１，２）とＧＬ画素２０（１，６）の信号が読み出される。

時刻ｔ１と時刻ｔ１’および時刻ｔ９と時刻ｔ９’は同じ所定時間だけずれているので、第１行目のＷＬ画素２０とＧＬ画素２０は等しい露光期間ＥｘｐＬ１だけ露光される。さらに、第４の実施の形態においては、４行にわたる画素が画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７を共有するので、図１７で示した第３の実施の形態の制御と同様に、４行分の画素リセット制御信号と画素読み出し選択制御信号を、それぞれ１本の画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７から供給する。

なお、以上は図２の露光制御パターンの例で説明したが、第１の実施の形態と同様に、第４の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。

＜第５の実施の形態＞
本技術の第１乃至第４の実施の形態では、１ラインを構成する複数の画素であって露光タイミングが異なる複数の画素に接続される画素転送制御信号線を少なくとも３本とする撮像素子の例を示した。以下では、これらの撮像素子を備える撮像装置の例を示す。

＜撮像装置の機能構成例＞
図２１は、本技術の実施の形態における撮像装置の機能構成例を示すブロック図である。撮像装置３００は、撮像素子３１０、画像処理部３１１、記録制御部３１２、コンテンツ記憶部３１３、表示制御部３１４、表示部３１５、制御部３１６、および操作受付部３１７を備える。

撮像素子３１０は、制御部３１６の指示に基づいて、画像信号を生成するものであり、生成された画像信号を画像処理部３１１に出力する。具体的には、撮像素子３１０は、光学系（図示せず）を介して入射された被写体の光を電気信号に変換する。なお、撮像素子３１０は、本技術の第１乃至第４の実施の形態に示す各撮像素子に対応する。また、光学系は、被写体からの入射光を集光するレンズ群や絞りにより構成され、このレンズ群により集光された光が絞りを介して撮像素子３１０に入射される。

画像処理部３１１は、制御部３１６の指示に基づいて、撮像素子３１０から出力された画像信号（デジタル信号）について各種画像処理を施すものである。そして、画像処理部３１１は、各種画像処理が施された画像信号（画像データ）を記録制御部３１２および表示制御部３１４に出力する。記録制御部３１２は、制御部３１６の指示に基づいて、コンテンツ記憶部３１３に対する記録制御を行うものである。例えば、記録制御部３１２は、画像処理部３１１から出力された画像（画像データ）を画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部３１３に記録させる。

コンテンツ記憶部３１３は、記録制御部３１２の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部３１３は、撮像装置３００に内蔵するようにしてもよく、撮像装置３００から着脱可能とするようにしてもよい。

表示制御部３１４は、制御部３１６の指示に基づいて、画像処理部３１１から出力された画像を表示部３１５に表示させるものである。例えば、表示制御部３１４は、撮像動作に関する各種操作を行うための表示画面や、撮像素子３１０により生成された画像（いわゆる、スルー画像）を表示部３１５に表示させる。

表示部３１５は、表示制御部３１４の制御に基づいて各画像を表示する表示パネルである。制御部３１６は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置３００における各部を制御するものである。例えば、制御部３１６は、画像処理部３１１により画像処理が施された画像信号（画像データ）の出力制御（表示制御）または記録制御を行う。操作受付部３１７は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部３１６に出力する。

＜画像処理部の動作＞
以降に画像処理部３１１の動作を説明する。本技術の撮像素子は、Ｗ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを出力する。画像処理部３１１では、そのＲＡＷデータからＲＧＢ画像データを生成する処理を行う。

図２２は、本技術の第５の実施の形態における画像処理部３１１の機能構成例を示すブロック図である。画像処理部３１１は、Ｗ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを入力し、ＲＧＢ画像データ、すなわち全画素にＲ，Ｇ，Ｂをそろえた画像を出力する。

なお、Ｗ画素を含む４行とはＲＧＢ＋Ｗであり、その色配列と露光制御パターンは図２に示したものとする。画像処理部３１１は、ＷＬ高周波補間部３５１、ＷＳ高周波補間部３５２、ＷＬ低周波補間部３５３、ＷＳ低周波補間部３５４、ＧＬ低周波補間部３５５、ＧＳ低周波補間部３５６、ＲＬ低周波補間部３５７、ＲＳ低周波補間部３５８、ＢＬ低周波補間部３５９、ＢＳ低周波補間部３６０、Ｗ高周波ＨＤＲ合成部３６１、Ｗ低周波ＨＤＲ合成部３６２、Ｇ低周波ＨＤＲ合成部３６３、Ｒ低周波ＨＤＲ合成部３６４、Ｂ低周波ＨＤＲ合成部３６４、Ｗ−ＧＣｈ間相関処理部３６６、Ｗ−ＲＣｈ間相関処理部３６７、Ｗ−ＢＣｈ間相関処理部３６８から構成される。

ＷＬ高周波補間部３５１は、１画素おきの正方格子に配置されているＷＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２３に示すような係数の２次元FIR（Finite Impulse Response）フィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＬ画素が存在する画素位置に対して該当する係数を用いて、ＷＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。なお、図２３に示した係数は、一例であり、限定を示すものではない。

ＷＳ高周波補間部３５２は、２画素ピッチの正方格子に配置されているＷＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２３に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＳ画素が存在する画素位置に対して該当する係数を用いて、ＷＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＷＬ低周波補間部３５３は、２画素ピッチの正方格子に配置されているＷＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＬ画素が存在する画素位置に対して該当する係数を用いて、ＷＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。なお、図２４に示した係数は、一例であり、限定を示すものではない。

ＷＳ低周波補間部３５４は、２画素ピッチの正方格子に配置されているＷＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＳ画素が存在する画素位置に対して該当する係数を用いて、ＷＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＧＬ低周波補間部３５５は、４画素ピッチの市松格子に配置されているＧＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＧＬ画素が存在する画素位置に対して該当する係数を用いて、ＧＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＧＳ低周波補間部３５６は、４画素ピッチの市松格子に配置されているＧＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＧＳ画素が存在する画素位置に対して該当する係数を用いて、ＧＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＲＬ低周波補間部３５７は、４画素ピッチの正方格子に配置されているＲＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＲＬ画素が存在する画素位置に対して該当する係数を用いて、ＲＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＲＳ低周波補間部３５８は、４画素ピッチの正方格子に配置されているＲＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＲＳ画素が存在する画素位置に対して該当する係数を用いて、ＲＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＢＬ低周波補間部３５９は、４画素ピッチの正方格子に配置されているＢＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＢＬ画素が存在する画素位置に対して該当する係数を用いて、ＢＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

ＢＳ低周波補間部３６０は、４画素ピッチの正方格子に配置されているＢＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＢＳ画素が存在する画素位置に対して該当する係数を用いて、ＢＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。

Ｗ高周波ＨＤＲ合成部３６１は、ＷＬ高周波補間部３５１からの出力である全画素に補間されたＷＬ高周波画素値と、ＷＳ高周波補間部３５２からの出力であるＷＳ高周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。

Ｗ低周波ＨＤＲ合成部３６２は、ＷＬ低周波補間部３５３からの出力である全画素に補間されたＷＬ低周波画素値と、ＷＳ低周波補間部３５４からの出力であるＷＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。

Ｇ低周波ＨＤＲ合成部３６３は、ＧＬ低周波補間部３５５からの出力である全画素に補間されたＧＬ低周波画素値と、ＧＳ低周波補間部３５６からの出力であるＧＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。

Ｒ低周波ＨＤＲ合成部３６４は、ＲＬ低周波補間部３５７からの出力である全画素に補間されたＲＬ低周波画素値と、ＲＳ低周波補間部３５８からの出力であるＲＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。

Ｂ低周波ＨＤＲ合成部３６５は、ＢＬ低周波補間部３５９からの出力である全画素に補間されたＢＬ低周波画素値と、ＢＳ低周波補間部３６０からの出力であるＢＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。

これらは入力の信号が異なるだけで処理の動作は同じなので、以下に、Ｇ低周波ＨＤＲ合成部３６３を例にしてまとめて動作を説明する。

図２５は、本技術の第５の実施の形態におけるＧ低周波ＨＤＲ合成部３６３の機能構成例を示すブロック図である。Ｇ低周波ＨＤＲ合成部は全画素位置に補間されたＧＬ画素値の信号と全画素位置に補間されたＧＳ画素値の信号を入力として、それらを合成した高ダイナミックレンジのＧ画素値を全画素位置に出力する。

Ｇ低周波ＨＤＲ合成部３６３は、２つの対数変換処理部３８１と対数変換処理部３８２、重み値決定処理部３８３、露出補正処理部３８４、ブレンド処理部３８５、対数逆変換処理部３８６から構成される。

２つの対数変換処理部３８１と対数変換処理部３８２は、それぞれ画素毎のＧＬ画素値とＧＳ画素値を対数変換した値を出力する。露出補正処理部３８４は、対数変換処理部３８２から出力された対数変換されたＧＳ画素値に対して、長時間露光と短時間露光の露出比率に相当する分の対数値を加算することによって、対数変換されたＧＳ画素値のレベルと対数変換されたＧＬ画素値のレベルを合わせる。

重み値決定処理部３８３は、対数変換処理部３８１から出力された対数変換されたＧＬ画素値に応じて、対数変換されたＧＬ画素値と露出補正後の対数変換されたＧＳ画素値のブレンド係数を決定する。

ブレンド処理部３８５は、重み値決定処理部３８３により決定されたブレンド係数に基づき、対数変換処理部３８１から出力された対数変換されたＧＬ画素値と、露出補正処理部３８４から出力された露出補正後の対数変換されたＧＳ画素値をブレンド合成する。

対数逆変換処理部３８６は、ブレンド処理部３８５でブレンド合成されたＧ画素値を元のリニア特性に戻す。

図２６は、Ｇ低周波ＨＤＲ合成部３６３などのＨＤＲ合成部の一連の動作を模式的に説明する図である。横軸は被写体の輝度、縦軸はＧ画素値階調であり、いずれも対数階調とする。実線Ｌ１は、ＧＬ画素の特性を示し、実線Ｌ２は、ＧＳ画素の特性を示す。ＧＬ画素の方が、露光時間が長いので、同じ被写体輝度に対してＧＬ画素のほうがＧＳ画素よりも大きい値を示す。

この２つの隔たりは、対数階調では、ちょうど露光の比率分となる。高ダイナミックレンジの輝度特性を得るということは、広い範囲の被写体輝度に対してリニアな画素特性を得るということなので、ＨＤＲ合成部の目的は、ＧＬ画素の特性とＧＳ画素の特性を連結して１つの長いリニアな特性を作ることである。そこで、露出補正処理部がＧＳ画素特性に露光比率分のバイアスを加算して、ＧＬ画素特性と一直線上に並ぶ特性を作る。

露光比率分だけバイアスされたＧＳ画素特性を破線Ｌ３で示す。実線Ｌ１で表したＧＬ画素特性と露出補正された実線Ｌ２で表したＧＳ画素特性を合成して高ダイナミックレンジのＧ画素特性を得る処理をブレンド処理部３８５は行う。

ここで、暗い被写体輝度の領域では、ＧＳ画素は、ノイズに埋もれるため、ＧＬ画素の特性だけを用いたい。逆に、明るい被写体輝度の領域では、ＧＬ画素は、飽和するために、露出補正したＧＳ画素の特性だけを用いたい。そこで、２つの輝度特性が重なる領域において寄与が徐々に移り変わるようにブレンドの重みを制御する。

重み値決定処理部３８３は、入力されたＧＬ画素値（対数変換後）から被写体輝度を推測し、上記のような要求に応じて予め設定されている特性に従った重み値を算出する。例えば、図２７に示すような重み値特性を用いることができる。図２７に示した重み値特性は、ｌｏｇＧの値が、第１の値まで１をとり、第１の値より大きくなると、徐々に小さくなり、第２の値よりも大きくなると、０をとる特性である。

上記したＨＤＲ合成部の処理を、式で表すと、次式（１）のようになる。

このように、ＨＤＲ合成部は、各画素より読み出された信号を非線形階調に変換する処理を含み、その非線形階調に変換する処理には、上に凸のべき乗関数特性に基づいて変換する処理が含まれる。

図２２の画像処理部３１１の構成の説明に戻る。Ｗ−ＧＣｈ間相関処理部３６６は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｇ低周波ＨＤＲ合成部３６３からの出力であるＧ低周波輝度値を入力とし、高周波成分が補正されたＧ輝度値を算出して出力する。

Ｗ−ＲＣｈ間相関処理部３６７は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｒ低周波ＨＤＲ合成部３６４からの出力であるＲ低周波輝度値を入力とし、高周波成分が補正されたＲ輝度値を算出して出力する。

Ｗ−ＢＣｈ間相関処理部３６８は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｂ低周波ＨＤＲ合成部３６５からの出力であるＢ低周波輝度値を入力とし、高周波成分が補正されたＢ輝度値を算出して出力する。

ここでＷ−ＧＣｈ間相関処理部３６６の動作を説明する。Ｗ−ＲＣｈ間相関処理部３６７とＷ−ＢＣｈ間相関処理部３６８の動作も、それぞれ、Ｗ−ＧＣｈ間相関処理部３６６の動作と同様であるため、ここでは、Ｗ−ＧＣｈ間相関処理部３６６の動作を例に挙げて説明をする。

本技術が対象とするＲＧＢ＋Ｗのような４行配列では、Ｗ画素は比較的細かいピッチでサンプリングができるので細かい模様なども補間処理で再現できるが、Ｒ画素、Ｇ画素、Ｂ画素は、画素ピッチが粗いために細かい模様を再現することができない。しかしながら、自然画像においては、異なる可視光の分光感度で得られる画像信号は互いに強い相関をもつことが経験的に知られている。

そこで、そのような性質を利用して、Ｗ画素で得られる高周波成分を利用してＲ画素、Ｇ画素、Ｂ画素の高周波成分を推測する。具体的には、高周波まで再現できているＷ高周波ＨＤＲ合成部３６１の出力と、フィルタの平滑化効果により高周波成分を持っていないＷ低周波ＨＤＲ合成部３６２の出力との差分により、Ｗ画素の高周波成分が算出されるようにする。

さらに、Ｃｈ間相関の性質に基づいてＧ画素の高周波成分はＷ画素の高周波成分とほぼ等しいと仮定して、Ｒ、Ｇ、Ｂのそれぞれの低周波ＨＤＲ合成部の出力に、Ｗ画素の高周波成分が加算される。

これを数式で示すと次式（２）のようになる。

式（２）において、左辺が出力値、右辺の３項はそれぞれ入力値である。

以上のように、本技術の第５の実施の形態においては、ＲＧＢにＷを加えた４行の色配列を持ち、色毎に長時間露光、短時間露光の制御を行う撮像素子の出力ＲＡＷデータから、高ダイナミックレンジのＲＧＢ画像データを生成することができる画像処理を備えた撮像装置の構成について説明した。

＜他の適用例＞
本技術の第５の実施の形態においては、撮像素子からはＲＧＢ＋Ｗの４行を含むＲＡＷデータを出力した後に画像処理部でＲＧＢデータに変換する構成を説明したが、撮像素子内でＲＧＢのベイヤー（Bayer）配列に変換したデータを撮像素子から出力するような構成も可能である。その場合の画像処理部の動作は通常のカメラシステムで実施されるＲＧＢBayer配列をＲＧＢデータに変換する信号処理部が備えられる。

図２８は、画像処理部３１１（図２１）の他の構成を示す図である。図２８に示した画像処理部３１１’（図２２に示した画像処理部３１１と区別するために’を付して記述する）は、図２２に示した画像処理部３１１に、ダウンサンプリング部４０１を追加した構成である。このような構成によれば、撮像素子内でＲＧＢのBayer配列に変換する処理を行うことができる。

図２８に示した画像処理部３１１’は、ＷＬ高周波補間部３５１乃至Ｗ−ＢＣｈ間相関処理部３６８による処理によりＨＤＲ合成されたＲＧＢ画素値が各画素で得られた後に、それらをBayer配列になるようにサンプリングし直すダウンサンプリング部４０１を備える。ダウンサンプリング部４０１により、サンプリングし直されることで、撮像素子内でＲＧＢのBayer配列に変換したデータを出力することができる。

また、図２２に示した画像処理部３１１または図２８に示した画像処理部３１１’のいずれについても、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６（いずれも図２５）の位置を変えて、各補間手段の前に対数変換処理を行い、Ｃｈ相関処理部３６６乃至３６８の後（もしくはダウンサンプリング部４０１の後）に対数逆変換処理を行うようにしてもよい。

図２９は、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６の位置を変えて、各補間手段の前に対数変換処理を行い、Ｃｈ相関処理部３６６乃至３６８の後に対数逆変換処理を行うようにした場合の画像処理部３１１の構成を示す図である。

図２２に示した画像処理部３１１と図２９に示した画像処理部３１１”（他の画像処理部３１１と区別するために”を付して記述する）を比較する。画像処理部３１１”には、入力されたＷ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを、対数変換処理する対数変換処理部４２１が、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の前段に設けられている。

よって、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の各補間部は、対数変換処理が施されたデータを用いて、補間処理を行う。対数変換処理部４２１が、各補間部の前段に設けられたことにより、Ｗ高周波ＨＤＲ合成部３６１乃至Ｂ低周波ＨＤＲ合成部３６５は、図示はしないが、対数変換処理部３８１と対数変換処理部３８２を備えない構成とされる。また、対数逆変換処理部３８６も備えない構成とされる。

Ｗ高周波ＨＤＲ合成部３６１乃至Ｂ低周波ＨＤＲ合成部３６５の各合成部に設けられていた対数逆変換処理部３８６は、図２９に示した画像処理部３１１”においては、Ｗ−ＧＣｈ間相関処理部３６６乃至Ｗ−ＢＣｈ間相関処理部３６８の各相関処理部の後段に設けられている。

すなわち、Ｗ−ＧＣｈ間相関処理部３６６の後段に、対数逆変換処理部４２２が設けられ、Ｗ−ＲＣｈ間相関処理部３６７の後段に、対数逆変換処理部４２３が設けられ、Ｗ−ＢＣｈ間相関処理部３６８の後段に、対数逆変換処理部４２４が設けられた構成とされる。

このような構成として、Ｒ、Ｇ、Ｂのそれぞれのデータが生成され、出力される構成とすることも可能である。

図３０は、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６の位置を変えて、各補間手段の前に対数変換処理を行い、ダウンサンプリング部４０１の後に対数逆変換処理を行うようにした場合の画像処理部３１１の構成を示す図である。

図２２に示した画像処理部３１１と図３０に示した画像処理部３１１”’（他の画像処理部３１１と区別するために”’を付して記述する）を比較する。画像処理部３１１”’には、入力されたＷ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを、対数変換処理する対数変換処理部４５１が、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の前段に設けられている。この点は、図２９に示した画像処理部３１１”と同様である。

画像処理部３１１”’には、Ｗ−ＧＣｈ間相関処理部３６６乃至Ｗ−ＢＣｈ間相関処理部３６８の後段に、ダウンサンプリング部５２１が設けられている。このダウンサンプリング部４５２は、図２８に示した画像処理部３１１’のダウンサンプリング部４０１と同じく、Ｗ−ＧＣｈ間相関処理部３６６乃至Ｗ−ＢＣｈ間相関処理部３６８からの出力をダウンサンプリングすることで、撮像素子内でＲＧＢのBayer配列に変換したデータを生成し、出力する。

ダウンサンプリング部４５２からの出力は、対数逆変換処理部４５３に供給され、対数逆変換処理が施される。

このような構成として、撮像素子内でＲＧＢのBayer配列に変換したデータが生成され、出力される構成とすることも可能である。

なお、図３０に示した画像処理部３１１”’の構成において、撮像素子内では対数逆変換を行わず、撮像素子からBayerデータを出力した後に画像処理部において対数逆変換を行うような構成も可能である（図示せず）。

また、本技術の第５の実施の形態においては、撮像装置を例にして説明したが、撮像素子を備える撮像部を有する電子機器（例えば、撮像部を内蔵する携帯電話装置）に本技術の実施の形態を適用することができる。

また、本技術の実施の形態では、図１に示したＲＧＢ＋Ｗの色配列を前提に、１ラインあたり３本の制御配線とその動作を説明したが、図１に示した色配列に限らなくても同じ仕組みで同様の効果を出す色配列は他にもあり、本技術は図１の色配列に限定されるものではない。以下に、図１の色配置以外でも本技術を適用できる色配置の例を示す。

図３１は、本技術が適用される色配置の他の例を示す図である。イメージセンサの水平方向（図３１の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素６００（１，１）、Ｇ画素６００（１，２）、Ｗ画素６００（１，３）、Ｒ画素６００（１，４）、Ｗ画素６００（１，５）、Ｇ画素６００（１，６）、Ｗ画素６００（１，７）、Ｒ画素６００（１，８）が配置されている。この場合、１行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。

２行目には、Ｇ画素６００（２，１）、Ｗ画素６００（２，２）、Ｒ画素６００（２，３）、Ｗ画素６００（２，４）、Ｇ画素６００（２，５）、Ｗ画素６００（２，６）、Ｒ画素６００（２，７）、Ｗ画素６００（２，８）が配置されている。この場合、２行目にも、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。

３行目には、Ｗ画素６００（３，１）、Ｂ画素６００（３，２）、Ｗ画素６００（３，３）、Ｇ画素６００（３，４）、Ｗ画素６００（３，５）、Ｂ画素６００（３，６）、Ｗ画素６００（３，７）、Ｇ画素６００（３，８）が配置されている。この場合、３行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。

４行目には、Ｂ画素６００（４，１）、Ｗ画素６００（４，２）、Ｇ画素６００（４，３）、Ｗ画素６００（４，４）、Ｂ画素６００（４，５）、Ｗ画素６００（４，６）、Ｇ画素６００（４，７）、Ｗ画素６００（４，８）が配置されている。この場合、４行目にも、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような色配列に対しても、上記した本技術を適用することができる。

図３２は、本技術が適用される色配置の他の例を示す図である。イメージセンサの水平方向（図３２の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素６１０（１，１）、Ｒ画素６１０（１，２）、Ｗ画素６１０（１，３）、Ｇ画素６１０（１，４）、Ｗ画素６１０（１，５）、Ｒ画素６１０（１，６）、Ｗ画素６１０（１，７）、Ｇ画素６１０（１，８）が配置されている。この場合、１行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。

２行目には、Ｂ画素６１０（２，１）、Ｗ画素６１０（２，２）、Ｇ画素６１０（２，３）、Ｗ画素６１０（２，４）、Ｂ画素６１０（２，５）、Ｗ画素６１０（２，６）、Ｇ画素６１０（２，７）、Ｗ画素６１０（２，８）が配置されている。この場合、２行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。

３行目には、Ｗ画素６１０（３，１）、Ｇ画素６１０（３，２）、Ｗ画素６１０（３，３）、Ｒ画素６１０（３，４）、Ｗ画素６１０（３，５）、Ｇ画素６１０（３，６）、Ｗ画素６１０（３，７）、Ｒ画素６１０（３，８）が配置されている。この場合、３行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。

４行目には、Ｇ画素６１０（４，１）、Ｗ画素６１０（４，２）、Ｂ画素６１０（４，３）、Ｗ画素６１０（４，４）、Ｇ画素６１０（４，５）、Ｗ画素６１０（４，６）、Ｂ画素６１０（４，７）、Ｗ画素６１０（４，８）が配置されている。この場合、４行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような色配列に対しても、上記した本技術を適用することができる。

図３１や図３２に示した色配置に対しても、上記した実施の形態で説明した１ラインあたり３本の制御配線とその動作を適用することが可能である。

さらに、本技術は、図２、図４、図５、図６にそれぞれ示した露光パターン以外の露光パターンにも適用できる。以下に、本技術の実施の形態で説明した１ラインあたり３本の制御配線によって実現できる露光制御のパターンの例を図３３乃至図４０に示す。

図３３乃至図４０に示す露光パターンと、図１、図３１、図３２で示した色配置との組み合わせで実現できる露光パターンと色配置の組み合わせは、全て本技術の適用範囲である。また、ここでは示していない露光パターンと色配置の組み合わせであっても、本技術を適用できる露光パターンと色配置の組み合わせはあり、そのような組み合わせも、本技術の適用範囲内である。

図３３は、露光パターンの他の例を示す図である。図３３乃至図４０においては、露光パターンのみを図示し、色配置に関しては図示していない。そのため、図３３乃至図４０においては、長時間露光画素は、“Ｌ”で示し、Ｌ画素と記述し、短時間露光画素は、“Ｓ”で示し、Ｓ画素と記述する。

図３３に示した露光パターンは、行毎に長時間露光画素または短時間露光画素が配置されている例である。換言すれば、行単位で長時間露光画素と短時間露光画素が交互に配置されている例である。すなわち、１行目、３行目、５行目、７行目は、長時間露光画素であり、２行目、４行目、６行目、８行目は、短時間露光画素であるような露光パターンである。このような露光パターンに対しても、上記した本技術を適用することができる。

図３４は、露光パターンの他の例を示す図である。図３４に示した露光パターンは、列毎に長時間露光画素または短時間露光画素が配置されている例である。換言すれば、列単位で長時間露光画素と短時間露光画素が交互に配置されている例である。すなわち、１列目、３列目、５列目、７列目は、長時間露光画素であり、２列目、４列目、６列目、８列目は、短時間露光画素であるような露光パターンである。このような露光パターンに対しても、上記した本技術を適用することができる。

図３５は、露光パターンの他の例を示す図である。図３５に示した露光パターンは、１行目には、Ｌ画素６４０（１，１）、Ｌ画素６４０（１，２）、Ｌ画素６４０（１，３）、Ｓ画素６４０（１，４）、Ｌ画素６４０（１，５）、Ｌ画素６４０（１，６）、Ｌ画素６４０（１，７）、Ｓ画素６４０（１，８）が配置されている。

２行目には、Ｓ画素６４０（２，１）、Ｓ画素６４０（２，２）、Ｌ画素６４０（２，３）、Ｓ画素６４０（２，４）、Ｓ画素６４０（２，５）、Ｓ画素６４０（２，６）、Ｌ画素６４０（２，７）、Ｓ画素６４０（２，８）が配置されている。

３行目には、Ｌ画素６４０（３，１）、Ｓ画素６４０（３，２）、Ｌ画素６４０（３，３）、Ｌ画素６４０（３，４）、Ｌ画素６４０（３，５）、Ｓ画素６４０（３，６）、Ｌ画素６４０（３，７）、Ｌ画素６４０（３，８）が配置されている。

４行目には、Ｌ画素６４０（４，１）、Ｓ画素６４０（４，２）、Ｓ画素６４０（４，３）、Ｓ画素６４０（４，４）、Ｌ画素６４０（４，５）、Ｓ画素６４０（４，６）、Ｓ画素６４０（４，７）、Ｓ画素６４０（４，８）が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

図３６は、露光パターンの他の例を示す図である。図３６に示した露光パターンは、１行目に、Ｌ画素６５０（１，１）、Ｓ画素６５０（１，２）、Ｌ画素６５０（１，３）、Ｌ画素６５０（１，４）、Ｌ画素６５０（１，５）、Ｓ画素６５０（１，６）、Ｌ画素６５０（１，７）、Ｌ画素６５０（１，８）が配置されている。

２行目には、Ｌ画素６５０（２，１）、Ｓ画素６５０（２，２）、Ｓ画素６５０（２，３）、Ｓ画素６５０（２，４）、Ｌ画素６５０（２，５）、Ｓ画素６５０（２，６）、Ｓ画素６５０（２，７）、Ｓ画素６５０（２，８）が配置されている。

３行目は、全てＬ画素とされている。４行目は、全てＳ画素とされている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

図３７は、露光パターンの他の例を示す図である。図３７に示した露光パターンは、１行目に、Ｌ画素６６０（１，１）、Ｌ画素６６０（１，２）、Ｌ画素６６０（１，３）、Ｓ画素６６０（１，４）、Ｌ画素６６０（１，５）、Ｌ画素６６０（１，６）、Ｌ画素６６０（１，７）、Ｓ画素６６０（１，８）が配置されている。

２行目には、Ｓ画素６６０（２，１）、Ｓ画素６６０（２，２）、Ｌ画素６６０（２，３）、Ｓ画素６６０（２，４）、Ｓ画素６６０（２，５）、Ｓ画素６６０（２，６）、Ｌ画素６６０（２，７）、Ｓ画素６６０（２，８）が配置されている。

３行目には、Ｌ画素６６０（３，１）、Ｓ画素６６０（３，２）、Ｌ画素６６０（３，３）、Ｌ画素６６０（３，４）、Ｌ画素６６０（３，５）、Ｓ画素６６０（３，６）、Ｌ画素６６０（３，７）、Ｌ画素６６０（３，８）が配置されている。

４行目には、Ｓ画素６６０（４，１）、Ｓ画素６６０（４，２）、Ｌ画素６６０（４，３）、Ｓ画素６６０（４，４）、Ｓ画素６６０（４，５）、Ｓ画素６６０（４，６）、Ｌ画素６６０（４，７）、Ｓ画素６６０（４，８）が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

図３８は、露光パターンの他の例を示す図である。図３８に示した露光パターンは、１行目に、Ｌ画素６７０（１，１）、Ｌ画素６７０（１，２）、Ｌ画素６７０（１，３）、Ｓ画素６７０（１，４）、Ｌ画素６７０（１，５）、Ｌ画素６７０（１，６）、Ｌ画素６７０（１，７）、Ｓ画素６７０（１，８）が配置されている。

２行目には、Ｌ画素６７０（２，１）、Ｓ画素６７０（２，２）、Ｌ画素６７０（２，３）、Ｓ画素６７０（２，４）、Ｌ画素６７０（２，５）、Ｓ画素６７０（２，６）、Ｌ画素６７０（２，７）、Ｓ画素６７０（２，８）が配置されている。

３行目には、Ｌ画素６７０（３，１）、Ｓ画素６７０（３，２）、Ｌ画素６７０（３，３）、Ｌ画素６７０（３，４）、Ｌ画素６７０（３，５）、Ｓ画素６７０（３，６）、Ｌ画素６７０（３，７）、Ｌ画素６７０（３，８）が配置されている。

４行目は、全てＳ画素が配置されている。５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

図３９は、露光パターンの他の例を示す図である。図３９に示した露光パターンは、１行目には、全てＬ画素が配置されている。

２行目には、Ｌ画素６８０（２，１）、Ｓ画素６８０（２，２）、Ｓ画素６８０（２，３）、Ｓ画素６８０（２，４）、Ｌ画素６８０（２，５）、Ｓ画素６８０（２，６）、Ｓ画素６８０（２，７）、Ｓ画素６８０（２，８）が配置されている。

３行目には、Ｌ画素６８０（３，１）、Ｓ画素６８０（３，２）、Ｌ画素６８０（３，３）、Ｓ画素６８０（３，４）、Ｌ画素６８０（３，５）、Ｓ画素６８０（３，６）、Ｌ画素６８０（３，７）、Ｓ画素６８０（３，８）が配置されている。

４行目には、Ｌ画素６８０（４，１）、Ｓ画素６８０（４，２）、Ｓ画素６８０（４，３）、Ｓ画素６８０（４，４）、Ｌ画素６８０（４，５）、Ｓ画素６８０（４，６）、Ｓ画素６８０（４，７）、Ｓ画素６８０（４，８）が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

図４０は、露光パターンの他の例を示す図である。図４０に示した露光パターンは、１行目には、Ｌ画素６９０（１，１）、Ｓ画素６９０（１，２）、Ｌ画素６９０（１，３）、Ｓ画素６９０（１，４）、Ｌ画素６９０（１，５）、Ｓ画素６９０（１，６）、Ｌ画素６９０（１，７）、Ｓ画素６９０（１，８）が配置されている。

２行目には、全てＳ画素が配置されている。３行目には、全てＬ画素が配置されている。４行目は、１行目と同じく、Ｌ画素６９０（４，１）、Ｓ画素６９０（４，２）、Ｌ画素６９０（４，３）、Ｓ画素６９０（４，４）、Ｌ画素６９０（４，５）、Ｓ画素６９０（４，６）、Ｌ画素６９０（４，７）、Ｓ画素６９０（４，８）が配置されている。

５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。

なお、上記した実施の形態においては、撮像素子の画素の分光感度をＲＧＢ＋Ｗとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえで制約とならない。すなわち、ＲＧＢ＋Ｗ以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系にＧを加えた４行の組み合わせでもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置されている
撮像素子。
（２）
特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成する
前記（１）に記載の撮像素子。
（３）
前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、
前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
前記（２）に記載の撮像素子。
（４）
前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、
前記画素転送制御信号線のうちの少なくとも２本の画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらす
前記（３）に記載の撮像素子。
（５）
複数の画素により構成される画素群で１つのフローティングディフュージョンを共有する
前記（１）乃至（４）のいずれかに記載の撮像素子。
（６）
前記４×４画素の周期的な配置は、
前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される第１のラインと、
前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される第２のラインとが、前記特定方向に直交する方向において交互に配置される
前記（３）に記載の撮像素子。
（７）
前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、
前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御される
前記（６）に記載の撮像素子。
（８）
画素位置毎に、
前記第１の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第１の処理部と、
前記第１の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第２の処理部と、
第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第３の処理部と、
前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第４の処理部と、
第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、
前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、
第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第7の処理部と、
前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部と
をさらに備える前記（１）乃至（７）のいずれかに記載の撮像素子。
（９）
前記第１乃至８の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第９の処理部と
をさらに備える前記（８）に記載の撮像素子。
（１０）
前記第９の処理部からの出力される前記補間値を、ベイヤー配列に変換する変換部を
さらに備える前記（９）に記載の撮像素子。
（１１）
前記第９の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含む
前記（９）に記載の撮像素子。
（１２）
前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含む
前記（１１）に記載の撮像素子。
（１３）
前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含む
前記（１１）に記載の撮像素子。
（１４）
前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
前記第９の処理部からの出力される前記補間値を対数逆変換する対数逆変換処理部と
をさらに備え、
前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
前記（９）に記載の撮像素子。
（１５）
前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部と
をさらに備え、
前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
前記（１０）に記載の撮像素子。
（１６）
全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子の撮像方法であり、
前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
ステップを含む撮像方法。
（１７）
全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、
前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
ステップを含む処理を含むプログラム。

２０ 画素， ２１乃至２４ 画素転送制御信号線， ３００ 撮像装置， ３１０ 撮像素子， ３１１ 画像処理部， ３１２ 記録制御部， ３１３ コンテンツ記憶部， ３１４ 表示制御部， ３１５ 表示部， ３１６ 制御部， ３１７ 操作受付部， ３５１ ＷＬ高周波補間部， ３５２ ＷＳ高周波補間部， ３５３ ＷＬ低周波補間部， ３５４ ＷＳ低周波補間部， ３５５ ＧＬ低周波補間部， ３５６ ＧＳ低周波補間部， ３５７ ＲＬ低周波補間部， ３５８ ＲＳ低周波補間部， ３５９ ＢＬ低周波補間部， ３６０ ＢＳ低周波補間部， ３６１ Ｗ高周波ＨＤＲ合成部，３６２ Ｗ低周波ＨＤＲ合成部， ３６３ Ｇ低周波ＨＤＲ合成部， ３６４ Ｒ低周波ＨＤＲ合成部， ３６４ Ｂ低周波ＨＤＲ合成部， ３６６ Ｗ−ＧＣｈ間相関処理部， ３６７ Ｗ−ＲＣｈ間相関処理部， ３６８ Ｗ−ＢＣｈ間相関処理部

Claims (16)

1. 全整色性である分光感度の第１の画素を含む４種類の分光感度の画素が撮像面上に配置され、
   前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、
   ２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、
   前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成され、
   画素位置毎に、
   前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出する第１の処理部と、
   前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出する第２の処理部と、
   前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出する第３の処理部と、
   前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出する第４の処理部と、
   第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、
   前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、
   第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第７の処理部と、
   前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部と、
   第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第９の処理部と、
   前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第１０の処理部と
   を備える撮像素子。
2. 特定方向において、前記第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
   前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置されている
   請求項１に記載の撮像素子。
3. 前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、
   前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
   前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
   請求項２に記載の撮像素子。
4. 前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、
   前記画素転送制御信号線のうちの少なくとも２本の前記画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらす
   請求項３に記載の撮像素子。
5. 複数の画素により構成される画素群で１つのフローティングディフュージョンを共有する
   請求項１に記載の撮像素子。
6. 前記４×４画素の周期的な配置は、
   前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される前記第１のラインと、
   前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される前記第２のラインとが、前記特定方向に直交する方向において交互に配置される
   請求項３に記載の撮像素子。
7. 前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
   前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
   前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、
   前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御される
   請求項６に記載の撮像素子。
8. 前記第１乃至１０の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第１１の処理部を
   さらに備える請求項１に記載の撮像素子。
9. 前記第１１の処理部から出力される前記補間値を、ベイヤー配列に変換する変換部を
   さらに備える請求項８に記載の撮像素子。
10. 前記第１１の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含む
    請求項８に記載の撮像素子。
11. 前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含む
    請求項１０に記載の撮像素子。
12. 前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含む
    請求項１０に記載の撮像素子。
13. 前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
    前記第１１の処理部から出力される前記補間値を対数逆変換する対数逆変換処理部と
    をさらに備え、
    前記第１乃至１０の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
    請求項８に記載の撮像素子。
14. 前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
    前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部と
    をさらに備え、
    前記第１乃至１０の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
    請求項９に記載の撮像素子。
15. 全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
    前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、
    特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
    前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成している撮像素子の撮像方法であり、
    前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送り、
    画素位置毎に、
    前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出し、
    前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出し、
    前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出し、
    前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出し、
    第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、
    第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、
    第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する
    ステップを含む撮像方法。
16. 全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
    前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光より短い第２の露光を実現する画素とが前記撮像面上に配置され、
    特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第１の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
    前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、前記特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の画素が市松配列となる、４×４画素の周期的な配置を構成し、前記４×４画素の所定の１ラインの連続する４画素は、前記第２の露光を実現する画素で構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、
    前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送り、
    画素位置毎に、
    前記全整色性である第１の分光感度の前記第１の露光の信号の前記画素位置における高周波の補間値を算出し、
    前記第１の分光感度の前記第２の露光の信号の前記画素位置における高周波の補間値を算出し、
    前記第１の分光感度の前記第１の露光の信号の前記画素位置における低周波の補間値を算出し、
    前記第１の分光感度の前記第２の露光の信号の前記画素位置における低周波の補間値を算出し、
    第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、
    第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出し、
    第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出し、
    前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する
    ステップを含む処理を含むプログラム。

Images