[第1実施形態]
本発明の第1実施形態による撮像装置について、図1乃至図7を用いて説明する。図1は、本実施形態による撮像装置の概略構成を示すブロック図である。図2は、本実施形態による撮像装置における画素部及びAD変換部の構成例を示す概略図である。図3は、本実施形態による撮像装置における画素の構成例を示す等価回路図である。図4は、本実施形態による撮像装置における画素の上面模式図である。図5は、本実施形態による撮像装置における水平転送部の構成例を示す概略図である。図6は、本実施形態による撮像装置における制御部の構成例を示す概略図である。図7は、本実施形態による撮像装置におけるデータ処理部の構成例を示す概略図である。
本実施形態による撮像装置1は、図1に示すように、制御部102と、垂直走査部103と、画素部104と、AD変換部105と、水平転送部106と、データ処理部107と、信号出力部108と、により構成されうる。画素部104には、垂直走査部103と、AD変換部105と、が接続されている。AD変換部105には、水平転送部106が接続されている。水平転送部106には、データ処理部107が接続されている。データ処理部107には、信号出力部108が接続されている。垂直走査部103、AD変換部105、水平転送部106及びデータ処理部107には、制御部102が接続されている。制御部102には、撮像装置1とは別の装置のCPU101が接続されている。
画素部104には、各々が光電変換部を含む複数の画素Pが複数の行及び複数の列をなすように2次元状に配列されている。複数の画素Pの各々は、光電変換部に入射した光の量に応じた画素信号を出力するように構成されている。図1には、m列×n行の行列状に配列された画素Pで構成される画素部104を示すとともに、各画素の符号Pに(列番号,行番号)で表される座標を付記している。なお、本明細書では、各行の延在する方向(行方向)を水平方向、各列の延在する方向(列方向)を垂直方向と定義するものとする。
垂直走査部103は、画素Pから信号を読み出す際に画素P内の読み出し回路を駆動するための制御信号を、画素アレイの各行に設けられた不図示の制御線を介して行単位で画素Pに供給する制御回路部である。垂直走査部103は、シフトレジスタやアドレスデコーダを用いて構成されうる。
AD変換部105は、画素部104の画素Pから不図示の出力線を介して出力される画素信号に対して、列並列でアナログデジタル(AD)変換処理を行う処理回路部である。
水平転送部106は、AD変換部105においてデジタルデータに変換された画素信号を、列毎に順次データ処理部107へと転送する制御回路部である。水平転送部106は、シフトレジスタやアドレスデコーダを用いて構成されうる。
データ処理部107は、水平転送部106から転送されるデジタルデータに対して所定の処理、例えばデジタル相関二重サンプリング(CDS)処理や増幅処理を行う処理回路部である。
信号出力部108は、データ処理部107から転送されるデジタルデータを、所望のプロトコルに準拠した信号として撮像装置1の外部へと出力する出力回路である。信号出力部108は、例えばLVDS(Low Voltage Differential Signaling)等の外部インターフェースを含みうる。
制御部102は、CPU101からの同期信号や通信を受け、垂直走査部103、AD変換部105、水平転送部106及びデータ処理部107に、これらの動作やそのタイミングを制御する制御信号を供給する制御回路部である。
画素部104の各列には、例えば図2に示すように、列方向に延在するように配された垂直出力線202が設けられている。各列の垂直出力線202は、所定の本数の信号線を含む。図2には、各列の垂直出力線202が6本の信号線を含む場合の例を示しているが、各列の垂直出力線202が含む信号線の本数は特に限定されるものではない。また、図2では、垂直出力線202を構成する信号線を、cM_vl#で表される符号により区別している。ここで、Mは列番号を表し、#は各列の6本の信号線に対応する1~6の番号を表している。例えば、1列目の画素Pに接続される信号線は、信号線c1_vl1~c1_vl6である。また、m列目の画素Pに接続される信号線は、cm_vl1~cm_vl6である。
各列に配された画素Pは、当該列に配された信号線cM_vl#のうちの何れかに接続されている。図2では、各列に配された信号線cM_vl#の本数に対応して、6行毎に周期的に、画素Pが接続される信号線cM_vl#が定められている。例えば、第1列第1行に配された画素Pは、信号線c1_vl1に接続されている。また、第2列第5行に配された画素Pは、信号線c2_vl5に接続されている。また、第m列第9行に配された画素Pは、信号線cm_vl3に接続されている。なお、信号線cM_vl#の各々は、AD変換部105に接続されるとともに、不図示の定電流源に接続されている。
AD変換部105は、例えば図2に示すように、垂直出力線202を構成する信号線cM_vl#の本数に対応する数の列ADコンバータ203及び保持部204を各列に有する。図2の例では、各列の垂直出力線202を構成する6本の信号線cM_vl#に対応して、各列にそれぞれ6個の列ADコンバータ203及び保持部204が配されている。信号線cM_vl#の各々には、列ADコンバータ203が接続されている。また、列ADコンバータ203の各々には、保持部204が接続されている。
列ADコンバータ203は、信号線cM_vl#を介して画素Pから出力されるアナログ信号である画素信号をAD変換し、画素信号のデジタルデータを保持部204に出力する列AD変換回路である。AD変換部105を構成する複数の列ADコンバータ203は、垂直出力線202を構成する信号線の各々から出力されるアナログ信号を並行してデジタル信号に変換する。保持部204は、列ADコンバータ203で生成されたデジタルデータをビット毎に保持する記憶部である。保持部204は、水平転送部106からの制御信号に応じて、保持するデジタルデータをデータ処理部107に転送する。図2には、信号線cM_vl#から出力される画素信号をAD変換したデジタルデータをadout_cM_vl#のように表している。デジタルデータadout_cM_vl#は、複数ビットの出力信号である。
各々の画素Pは、例えば図3に示すように、光電変換部PDA,PDBと、転送トランジスタM1A,M1Bと、リセットトランジスタM2と、増幅トランジスタM3と、選択トランジスタM4と、により構成されうる。
光電変換部PDA,PDBは、例えばフォトダイオードやフォトゲートなどの光電変換素子により構成されうる。ここでは光電変換部PDA,PDBがフォトダイオードにより構成されている場合を想定する。光電変換部PDAを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタM1Aのソースに接続されている。光電変換部PDBを構成するフォトダイオードは、アノードが接地ノードに接続され、カソードが転送トランジスタM1Bのソースに接続されている。転送トランジスタM1Aのドレイン及び転送トランジスタM1Bのドレインは、リセットトランジスタM2のソース及び増幅トランジスタM3のゲートに接続されている。転送トランジスタM1Aのドレインと、転送トランジスタM1Bのドレインと、リセットトランジスタM2のソースと、増幅トランジスタM3のゲートとの接続ノードは、浮遊拡散部FDである。リセットトランジスタM2のドレイン及び増幅トランジスタM3のドレインは、電源電圧ノード(電圧VDD)に接続されている。増幅トランジスタM3のソースは、選択トランジスタM4のドレインに接続されている。選択トランジスタM4のソースは、信号線cM_vl#に接続されている。
図3に示す画素構成の場合、垂直走査部103から画素部104に配された各行の制御線は、転送トランジスタM1Aのゲートに接続された転送ゲート信号線と、転送トランジスタM1Bのゲートに接続された転送ゲート信号線と、を含む。また、各行の制御線は、リセットトランジスタM2のゲートに接続されたリセット信号線と、選択トランジスタM4のゲートに接続された選択信号線と、を更に含む。
第N行に配された画素Pには、垂直走査部103から、制御信号PTXA(N),PTXB(N),PRES(N),PSEL(N)が供給される。制御信号PTXA(N)は、第N行の画素Pの転送トランジスタM1Aのゲートに供給される制御信号である。制御信号PTXB(N)は、第N行の画素Pの転送トランジスタM1Bのゲートに供給される制御信号である。制御信号PRES(N)は、第N行の画素PのリセットトランジスタM2のゲートに供給される制御信号である。制御信号PSEL(N)は、第N行の画素Pの選択トランジスタM4のゲートに供給される制御信号である。同一行の画素Pに対しては、共通の制御信号が垂直走査部103から供給される。各トランジスタがN型トランジスタで構成される場合、垂直走査部103からハイレベルの制御信号が供給されると対応するトランジスタがオンとなり、垂直走査部103からローレベルの制御信号が供給されると対応するトランジスタがオフとなる。
光電変換部PDA,PDBは、入射光をその光量に応じた量の電荷に変換(光電変換)するとともに、生じた電荷を蓄積する。転送トランジスタM1Aは、オンになることにより光電変換部PDAが保持する電荷を浮遊拡散部FDに転送する。転送トランジスタM1Bは、オンになることにより光電変換部PDBが保持する電荷を浮遊拡散部FDに転送する。浮遊拡散部FDは容量成分を有しており、光電変換部PDA,PDBから転送された電荷を保持するとともに、その容量による電荷電圧変換によって浮遊拡散部FDの電位を電荷の量に応じた電位に設定する。増幅トランジスタM3は、ドレインに電源電圧が供給され、ソースに信号線cM_vl#及び選択トランジスタM4を介して不図示の電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとするソースフォロワ回路(増幅部)を構成する。これにより増幅トランジスタM3は、浮遊拡散部FDの電位に基づく信号を、選択トランジスタM4を介して信号線cM_vl#に出力する。リセットトランジスタM2は、オンになることにより浮遊拡散部FDを電源電圧に応じた電位にリセットする。選択トランジスタM4は、増幅トランジスタM3と信号線cM_vl#との接続の切り替えを行う。
また、1つの画素Pを構成する光電変換部PDAと光電変換部PDBとは、例えば図4に示すように、1つのマイクロレンズ318を共有している。別の言い方をすると、光電変換部PDAと光電変換部PDBとは、撮像光学系に入射した光のうち互いに異なる瞳領域を通過した光を受光するように構成されている。このように構成することで、光電変換部PDAで生成された電荷に基づく信号と、光電変換部PDBで生成された電荷に基づく信号とを、位相差検出用の信号として利用することができる。
水平転送部106は、例えば図5に示すように、複数のスリーステートバッファ401と、水平転送線402と、水平走査部403と、により構成されうる。
複数のスリーステートバッファ401は、AD変換部105の複数の保持部204に対応して設けられている。複数のスリーステートバッファ401の各々は、入力ノードと、出力ノードと、ゲートノードと、を有する。スリーステートバッファ401の入力ノードは、対応する保持部204に接続されている。
複数のスリーステートバッファ401は、列毎にグループを構成している。1つのグループに含まれるスリーステートバッファ401のゲートノードには、水平走査部403から共通の制御信号が供給されるようになっている。図5の例では、1つの列に対応する信号線cM_vl#、列ADコンバータ203或いは保持部204の数に対応する6個のスリーステートバッファ401が、1つのグループを構成している。
水平転送線402は、1つの列に対応する信号線cM_vl#、列ADコンバータ203、保持部204或いはスリーステートバッファ401の数に応じた複数の信号線により構成されている。1つのグループを構成するスリーステートバッファ401の出力ノードは、互いに異なる信号線に接続されている。図5の例では、水平転送線402は、1つの列に対応する信号線cM_vl#、列ADコンバータ203、保持部204或いはスリーステートバッファ401の数に対応する6本の信号線により構成されている。
スリーステートバッファ401は、ゲートノードに供給される制御信号に応じて、「入力信号をそのまま出力する」或いは「信号を出力しない(ハイインピーダンス状態)」を選択することができる。
このように、本実施形態においては、1つの列に対応する信号線cM_vl#、列ADコンバータ203或いは保持部204の数に対応して、水平転送線402は6chの信号線で構成されている。これにより、デジタルデータadout_cM_vl1は、スリーステートバッファ401を介して水平転送線402の信号線からデータch_vl1として出力される。また、デジタルデータadout_cM_vl2は、スリーステートバッファ401を介して水平転送線402の信号線からデータch_vl2として出力される。デジタルデータadout_cM_vl3,adout_cM_vl4,adout_cM_vl5,adout_cM_vl6についても同様である。
制御部102は、例えば図6に示すように、レジスタ制御部501と、タイミング制御カウンタ502,504と、制御信号生成部503,505と、により構成されうる。レジスタ制御部501は、CPU101及び制御信号生成部503,505に接続されている。タイミング制御カウンタ502は、CPU101及び制御信号生成部503に接続されている。制御信号生成部503は、タイミング制御カウンタ504に接続されている。タイミング制御カウンタ504は、制御信号生成部505に接続されている。
レジスタ制御部501は、CPU101との間の通信によって設定される各種設定値を保持する。レジスタ制御部501は、制御信号生成部503に、AD変換部タイミング設定値及び水平転送部タイミング設定値を出力する。また、レジスタ制御部501は、制御信号生成部505に、データ処理部タイミング設定値を出力する。
タイミング制御カウンタ502は、CPU101やCPU101による制御のもとでタイミング信号を生成するタイミング信号生成部から供給される水平同期信号HDをトリガとしてカウント動作を行い、制御信号生成部503にカウント値を出力する。
制御信号生成部503は、AD変換部タイミング設定値及びタイミング制御カウンタ502から供給されるカウント値を基準としてAD変換部制御信号を生成し、AD変換部105に供給する。また、制御信号生成部503は、水平転送部タイミング設定値及びタイミング制御カウンタ502から供給されるカウント値を基準として水平転送部制御信号を生成し、水平転送部106に供給する。
タイミング制御カウンタ504は、タイミング制御カウンタ502から供給されるカウント値をもとに生成されるタイミングをトリガとしてカウント動作を行い、制御信号生成部505にカウント値を出力する。
制御信号生成部505は、データ処理部タイミング設定値及びタイミング制御カウンタ504から供給されるカウント値を基準としてデータ処理部制御信号を生成し、データ処理部107に供給する。データ処理部制御信号には、読み出しデータ選択信号が含まれる。読み出しデータ選択信号は、タイミング制御カウンタ504から供給されるカウント値が設定値cnt_op(pは1以上6以下の整数)となるタイミングで切り替わり、読み出すデータを選択するために用いられる。読み出しデータ選択信号の値は、データ処理部107の設定値cnt_o1,cnt_o2,cnt_o3,cnt_o4,cnt_o5,cnt_o6に対して、それぞれ異なる値となるように割り当てる。本実施形態では、設定値cnt_o1に対して1、設定値cnt_o2に対して2、設定値cnt_o3に対して3、設定値cnt_o4に対して4、設定値cnt_o5に対して5、設定値cnt_o6に対して6を割り当てるものとする。
データ処理部107は、例えば図7に示すように、画像生成データ用記憶部601と、焦点検出データ用記憶部602と、読み出し行選択部603,604と、演算部605と、により構成されうる。
画像生成データ用記憶部601は、同時にAD変換を行う行数に対応する数の保持部S2_vl1~S2_vl6を有する。焦点検出データ用記憶部602は、同時にAD変換を行う行数に対応する数の保持部S1_vl1~S1_vl6を有する。画像生成データ用記憶部601の保持部S2_vl1,S2_vl3,S2_vl5及び焦点検出データ用記憶部602の保持部S1_vl1,S1_vl3,S1_vl5は、読み出し行選択部603に接続されている。画像生成データ用記憶部601の保持部S2_vl2,S2_vl4,S2_vl6及び焦点検出データ用記憶部602の保持部S1_vl2,S1_vl4,S1_vl6は、読み出し行選択部604に接続されている。読み出し行選択部603及び読み出し行選択部604は、演算部605に接続されている。演算部605は、信号出力部108に接続されている。読み出し行選択部603及び読み出し行選択部604には、制御部102から読み出しデータ選択信号が供給される。
画像生成データ用記憶部601及び焦点検出データ用記憶部602の各々には、水平転送部106から水平転送線402を介して出力されるデータch_vl1~ch_vl6が供給される。画像生成データ用記憶部601に供給されたデータch_vl1~ch_vl6は、画像生成データ用記憶部601の保持部S2_vl1~S2_vl6にそれぞれ格納される。保持部S2_vl1~S2_vl6に格納されたデータが画像生成用のデータ(画像生成データ)となる。また、焦点検出データ用記憶部602に供給されたデータch_vl1~ch_vl6は、焦点検出データ用記憶部602の保持部S1_vl1~S1_vl6にそれぞれ格納される。保持部S1_vl1~S1_vl6に格納されたデータが焦点検出用のデータ(焦点検出データ)となる。
読み出し行選択部603には、保持部S2_vl1,S2_vl3,S2_vl5から読み出された画像生成データと、保持部S1_vl1,S1_vl3,S1_vl5から読み出された焦点検出データと、が入力される。読み出し行選択部603は、読み出しデータ選択信号に応じて、入力されたこれらデータの中から何れか1つを選択し、演算部605へと出力する。
読み出し行選択部604には、保持部S2_vl2,S2_vl4,S2_vl6から読み出された画像生成データと、保持部S1_vl2,S1_vl4,S1_vl6から読み出された焦点検出データと、が入力される。読み出し行選択部604は、読み出しデータ選択信号に応じて、入力されたこれらデータの中から何れか1つを選択し、演算部605へと出力する。
読み出し行選択部603に供給される読み出しデータ選択信号と読み出し行選択部604に供給される読み出しデータ選択信号は共通である。したがって、読み出しデータ選択信号が1のときには、保持部S1_vl1及び保持部S1_vl2に保持されているデータが選択される。読み出しデータ選択信号が2のときには、保持部S2_vl1及び保持部S2_vl2に保持されているデータが選択される。読み出しデータ選択信号が3のときには、保持部S1_vl3及び保持部S1_vl4に保持されているデータが選択される。読み出しデータ選択信号が4のときには、保持部S2_vl3及び保持部S2_vl4に保持されているデータが選択される。読み出しデータ選択信号が5のときには、保持部S1_vl5及び保持部S1_vl6に保持されているデータが選択される。読み出しデータ選択信号が6のときには、保持部S2_vl5及び保持部S2_vl6に保持されているデータが選択される。
演算部605には、読み出し行選択部603,604により選択されたデータが供給される。演算部605は、入力された各データに対して黒レベル補正などの演算処理を行い、信号出力部108へと出力する。
このように、本実施形態におけるデータ処理部107は、同時にAD変換され水平転送された6行分の画像生成データと、同時にAD変換され水平転送された6行分の焦点検出データとを、2行ずつ順次選択して読み出し、演算処理した後に出力する。読み出し行選択部603,604の2つの読み出し行選択部を有することにより、2行のデータを同時に読み出し、データ処理をすることができる。
次に、本実施形態による撮像装置の駆動方法について、図8乃至図10を用いて説明する。図8乃至図10は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。
図8には、AD変換部105、水平転送部106、データ処理部107及び信号出力部108の駆動例を示している。本駆動例は、6行分の画素信号に対して同時にAD変換を行い、2行単位で1画素ずつ順次出力するものである。なお、各列に配された出力線の数を第1の数、信号出力部108が並行して出力するデータの行数を第2の数とすると、第1の数は第2の数の整数倍である。
まず、1行目から6行目の画素Pの画素信号をAD変換し、そのデータをデータ処理部107内の記憶部に書き込む動作について述べる。
時刻T1において、撮像装置1は、外部のCPU101から水平同期信号HDを受信する。制御部102は、水平同期信号HDに応じて、タイミング制御カウンタ502のカウント値を初期値(例えば0)にリセットする。タイミング制御カウンタ502のカウント値は、画素信号のAD変換からデータ処理部107の画像生成データ用記憶部601及び焦点検出データ用記憶部602にデータを格納するまでのタイミングを管理するために用いられる。時刻T1は、水平期間H1の開始のタイミングとなる。
次いで、タイミング制御カウンタ502のカウント値が設定値cnt_a1となる時刻T1a1において、列ADコンバータ203は、1行目から6行目の全列の画素Pの焦点検出データS1に対するAD変換を同時に開始する。ここで、これらデータのAD変換に要する時間はTa1であるものとする。
次いで、焦点検出データS1のAD変換が完了した時刻(時刻T1a1から時間Ta1が経過した時刻)以降の時刻T1s1において、焦点検出データS1をAD変換したデジタルデータは、保持部204へと一括転送される。ここでは、生成される1行目のデータ群をS1_vl1(H1)、2行目のデータ群をS1_vl2(H1)、3行目のデータ群をS1_vl3(H1)、と呼ぶものとする。また、4行目のデータ群をS1_vl4(H1)、5行目のデータ群をS1_vl5(H1)、6行目のデータ群をS1_vl6(H1)、と呼ぶものとする。
時刻T1s1以降、保持部204が保持するデータ群S1_vl#(H1)(ここで、#は1~6の整数)は、水平転送部106を介して6行単位で1画素ずつデータ処理部107へと転送される。データ処理部107に転送されたデータは、焦点検出データ用記憶部602に書き込まれる。ここで、これらデータの転送に要する時間はTs1であるものとする。
次いで、タイミング制御カウンタ502のカウント値が設定値cnt_a2となる時刻T1a2において、列ADコンバータ203は、1行目から6行目の全列の画素Pの画像生成データS2に対するAD変換を同時に開始する。ここで、これらデータのAD変換に要する時間はTa2であるものとする。
次いで、画像生成データS2のAD変換が完了した時刻(時刻T1a2から時間Ta2が経過した時刻)以降の時刻T1s2において、画像生成データS2をAD変換したデジタルデータは、保持部204へと一括転送される。ここでは、生成される1行目のデータ群をS2_vl1(H1)、2行目のデータ群をS2_vl2(H1)、3行目のデータ群をS2_vl3(H1)、と呼ぶものとする。また、4行目のデータ群をS2_vl4(H1)、5行目のデータ群をS2_vl5(H1)、6行目のデータ群をS2_vl6(H1)、と呼ぶものとする。
時刻T1s2以降、保持部204が保持するデータ群S2_vl#(H1)(ここで、#は1~6の整数)は、水平転送部106を介して6行単位で1画素ずつデータ処理部107へと転送される。データ処理部107に転送されたデータは、画像生成データ用記憶部601に書き込まれる。ここで、これらデータの転送に要する時間はTs2であるものとする。
続く時刻T1oにおいて、タイミング制御カウンタ502のカウント値が設定値cnt_oに達したものとする。制御部102は、タイミング制御カウンタ502のカウント値が設定値cnt_oに達したことに応じて、タイミング制御カウンタ504のカウント値を初期値にリセットする。その後、タイミング制御カウンタ504はカウントアップを開始する。タイミング制御カウンタ504は、データ処理部107の画像生成データ用記憶部601及び焦点検出データ用記憶部602に格納されたデータの読み出しから信号出力部108にデータを出力するまでのタイミングを管理するために用いられる。
続く時刻T1o1において、タイミング制御カウンタ504のカウント値が設定値cnt_o1に達したものとする。制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o1に達したことに応じて、読み出しデータ選択信号を設定値cnt_o1に割り当てられている値である1に設定する。同様に、制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o2に達すると、読み出しデータ選択信号を設定値cnt_o2に割り当てられている値である2に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o3に達すると、読み出しデータ選択信号を設定値cnt_o3に割り当てられている値である3に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o4に達すると、読み出しデータ選択信号を設定値cnt_o4に割り当てられている値である4に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o5に達すると、読み出しデータ選択信号を設定値cnt_o5に割り当てられている値である5に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o6に達すると、読み出しデータ選択信号を設定値cnt_o6に割り当てられている値である6に設定する。
データ処理部107は、制御部102から供給される読み出しデータ選択信号に応じて、画像生成データ用記憶部601又は焦点検出データ用記憶部602から対応する2行のデータを選択し、読み出しを開始する。データ処理部107は、設定値cnt_o1,cnt_o2,cnt_o3,cnt_o4,cnt_o5,cnt_o6の大小関係に制約はなく、任意の順序及びタイミングで、画像生成データ及び焦点検出データを読み出す。読み出された各データは、演算部605においてデータ処理され、信号出力部108から出力される。ここで、焦点検出データの読み出しに要する時間はTo1であり、画像生成データの読み出しに要する時間はTo2であるものとする。
続く時刻T2oにおいて、タイミング制御カウンタ502のカウント値が設定値cnt_oに達したものとする。制御部102は、タイミング制御カウンタ502のカウント値が設定値cnt_oに達したことに応じて、タイミング制御カウンタ504のカウント値を再び初期値にリセットする。
時刻T1oから時刻T2oまでの期間において、設定値cnt_op(pは1以上6以下の整数)が、タイミング制御カウンタ504が取り得ない値である場合、設定値cnt_opによって選択される画像生成データ及び焦点検出データは読み出されない。これにより、同時にAD変換された6行の画像生成データ及び焦点検出データのうちの一部は出力されない。
データを出力するのに必要な期間は、以下のように表される。ここで、nは焦点検出データの読み出し行数であり、mは画像生成データの読み出し行数である。この期間は、1水平期間の長さtHD以下である必要がある。
To1×n/2+To2×m/2
図8のタイミングチャートは、6行分の焦点検出データ及び画像生成データの総てを出力する場合であり、以下のように表される。
To1×3+To2×3 ≦ tHD
以上のようにして、1行目から6行目の画素Pのデータは、6行分が同時にAD変換され、2行分のデータが1画素ずつ撮像装置1から出力される。
7行目から12行目の画素Pのデータは、時刻T2に入力される水平同期信号HDに基づいて、1行目から6行目の画素Pのデータと同様に処理される。以後同様に、6行毎に同じ処理を繰り返し行い、総ての行の画素Pのデータを出力する。つまり、時刻Tn(nは0より大きい整数)に入力される水平同期信号HDに基づいて処理されるデータは、((n-1)×6+1)行目から(n×6)行目の画素Pのデータとなる。
図9には、AD変換部105、水平転送部106、データ処理部107及び信号出力部108の他の駆動例を示している。本駆動例は、画像生成データを6行分出力し、焦点検出データを4行分のみ出力するものである。以下では、図8の駆動例との差分を中心に説明をする。
時刻T1から時刻T1oまで、すなわち((n-1)×6+1)行目から(n×6)行目の画素PのデータをAD変換し、変換後のデータをデータ処理部107に書き込むまでの動作については、図8の駆動例と同様であるため、ここでは説明を省略する。
時刻T1oにおいて、データ処理部107の画像生成データ用記憶部601には、1行目から6行目の画素Pに対応する6行分の画像生成データが格納されている。また、データ処理部107の焦点検出データ用記憶部602には、1行目から6行目の画素Pに対応する6行分の焦点検出データが格納されている。
本駆動例において、設定値cnt_o1,cnt_o2,cnt_o4,cnt_o5,cnt_o6は、タイミング制御カウンタ504が取り得る値の最大値よりも小さい値に設定されている。一方、設定値cnt_o3は、タイミング制御カウンタ504が取り得る値の最大値よりも大きな値に設定されている。
続く時刻T1o1において、タイミング制御カウンタ504のカウント値が設定値cnt_o1に達したものとする。制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o1に達したことに応じて、読み出しデータ選択信号を設定値cnt_o1に割り当てられている値である1に設定する。同様に、制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o2に達すると、読み出しデータ選択信号を設定値cnt_o2に割り当てられている値である2に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o4に達すると、読み出しデータ選択信号を設定値cnt_o4に割り当てられている値である4に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o5に達すると、読み出しデータ選択信号を設定値cnt_o5に割り当てられている値である5に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o6に達すると、読み出しデータ選択信号を設定値cnt_o6に割り当てられている値である6に設定する。
データ処理部107は、制御部102から供給される読み出しデータ選択信号に応じて、画像生成データ用記憶部601又は焦点検出データ用記憶部602から対応する2行のデータを選択し、図8の駆動例と同様に読み出しを開始する。読み出された各データは、演算部605においてデータ処理され、信号出力部108から出力される。信号出力部108から出力される信号のうち、焦点検出データに対応する信号の数は、画素部104から並行して出力される画素信号の数よりも少ない。
図9の駆動例においては、タイミング制御カウンタ504のカウント値は設定値cnt_o3の値とならないため、読み出しデータ選択信号は設定値cnt_o3に割り当てられている値である3になることはない。つまり、読み出しデータ選択信号が3に対応する焦点検出データ用記憶部602の保持部S1_vl3,S1_vl4に保持されているデータは出力されない。したがって、1水平期間中に同時にAD変換される6行分の焦点検出データのうち、4行分の焦点検出データのみが出力され、2行分の焦点検出データは出力されない。
図9の駆動例において、データを出力するのに必要な期間は、(To1×2+To2×3)となる。図9の駆動例において、水平同期信号HDの周期をtHD’とすると、データを出力するのに必要な期間は、以下のように表される。
To1×2+To2×3 ≦ tHD’
図9の駆動例における水平同期信号HDの周期tHD’は、図8の駆動例における水平同期信号HDの周期tHDよりも短く、図8の駆動例よりも1水平期間を短縮することができる。
図10には、AD変換部105、水平転送部106、データ処理部107及び信号出力部108の他の駆動例を示している。本駆動例は、画像生成データを6行分出力し、焦点検出データを2行分のみ出力するものである。以下では、図8の駆動例との差分を中心に説明をする。
時刻T1から時刻T1oまで、すなわち((n-1)×6+1)行目から(n×6)行目の画素PのデータをAD変換し、変換後のデータをデータ処理部107に書き込むまでの動作については、図8の駆動例と同様であるため、ここでは説明を省略する。
時刻T1oにおいて、データ処理部107の画像生成データ用記憶部601には、1行目から6行目の画素Pに対応する6行分の画像生成データが格納されている。また、データ処理部107の焦点検出データ用記憶部602には、1行目から6行目の画素Pに対応する6行分の焦点検出データが格納されている。
本駆動例において、設定値cnt_o2,cnt_o3,cnt_o4,cnt_o6は、タイミング制御カウンタ504が取り得る値の最大値よりも小さい値に設定されている。一方、設定値cnt_o1,cnt_o5は、タイミング制御カウンタ504が取り得る値の最大値よりも大きな値に設定されている。
続く時刻T1o2において、タイミング制御カウンタ504のカウント値が設定値cnt_o2に達したものとする。制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o2に達したことに応じて、読み出しデータ選択信号を設定値cnt_o2に割り当てられている値である2に設定する。同様に、制御信号生成部505は、タイミング制御カウンタ504のカウント値が設定値cnt_o3に達すると、読み出しデータ選択信号を設定値cnt_o3に割り当てられている値である3に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o4に達すると、読み出しデータ選択信号を設定値cnt_o4に割り当てられている値である4に設定する。また、タイミング制御カウンタ504のカウント値が設定値cnt_o6に達すると、読み出しデータ選択信号を設定値cnt_o6に割り当てられている値である6に設定する。
データ処理部107は、制御部102から供給される読み出しデータ選択信号に応じて、画像生成データ用記憶部601又は焦点検出データ用記憶部602から対応する2行のデータを選択し、図8の駆動例と同様に読み出しを開始する。読み出された各データは、演算部605においてデータ処理され、信号出力部108から出力される。信号出力部108から出力される信号のうち、焦点検出データに対応する信号の数は、画素部104から並行して出力される画素信号の数よりも少ない。
図10の駆動例においては、タイミング制御カウンタ504のカウント値は設定値cnt_o1,cnt_o5の値とならないため、読み出しデータ選択信号は設定値cnt_o1,cnt_o5に割り当てられている値である1及び5になることはない。つまり、読み出しデータ選択信号が1に対応する焦点検出データ用記憶部602の保持部S1_vl1,S1_vl2に保持されているデータは出力されない。また、読み出しデータ選択信号が5に対応する焦点検出データ用記憶部602の保持部S1_vl5,S1_vl6に保持されているデータは出力されない。したがって、1水平期間中に同時にAD変換される6行分の焦点検出データのうち、2行分の焦点検出データのみが出力され、4行分の焦点検出データは出力されない。
図10の駆動例において、データを出力するのに必要な期間は、(To1×1+To2×3)となる。図10の駆動例において、水平同期信号HDの周期をtHD”とすると、データを出力するのに必要な期間は、以下のように表される。
To1×1+To2×3 ≦ tHD”
図10の駆動例における水平同期信号HDの周期tHD”は、図9の駆動例における水平同期信号HDの周期tHD’よりも短く、図8の駆動例よりも1水平期間を更に短縮することができる。
このように、本実施形態の駆動方法によれば、同時にAD変換する行数に依存せず、焦点検出データを出力する行数を適宜選択できるため、焦点検出データの密度をより細かく調整することができる。これにより、読み出し動作の高速化とAF性能とを両立させることができる。
なお、上記駆動例では、6行分の画像生成データを総て出力しているが、焦点検出データと同様に間引いてもよい。
[第2実施形態]
本発明の第2実施形態による撮像装置について、図11を用いて説明する。第1実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図11は、本実施形態による撮像装置におけるデータ処理部の構成例を示す概略図である。
本実施形態による撮像装置の全体構成は、図1に示す第1実施形態による撮像装置と同様である。以下に、第1実施形態による撮像装置とは異なる点を中心に、本実施形態による撮像装置の構成を説明する。
本実施形態の撮像装置における制御部102は、構成上は図6に示す第1実施形態の撮像装置における制御部102と同じであるが、制御信号生成部505がデータ処理部制御信号の1つとして生成する読み出しデータ選択信号が異なっている。すなわち、本実施形態の制御部102が出力する読み出しデータ選択信号は、同時に読み出すデータを2行以上指定できるように構成されている。
本実施形態における読み出しデータ選択信号は、タイミング制御カウンタ504のカウント値が設定値cnt_o1p又は設定値cnt_o2p(pは1以上6以下の整数)となるタイミングで切り替わり、読み出すデータを選択するために用いられる。
制御部102は、タイミング制御カウンタ504のカウント値と設定値cnt_o1pとが等しいとき、焦点検出データ用記憶部602に保持されている6行分の焦点検出データの中から対応する1行を選択するように読み出しデータ選択信号を設定する。また、制御部102は、タイミング制御カウンタ504のカウント値と設定値cnt_o2pとが等しいとき、画像生成データ用記憶部601に保持されている6行分の画像生成データの中から対応する1行を選択するように読み出しデータ選択信号を設定する。
ここでは、読み出しデータ選択信号が7ビットの信号であるものとする。そして、読み出しデータ選択信号のビット[0]を、設定値cnt_o1pであるか設定値cnt_o2pであるかの判別用に割り当てるものとする。また、読み出しデータ選択信号のビット[p](pは1以上6以下の整数)を、設定値cnt_o1p,cnt_o2pに割り当てるものとする。つまり、読み出しデータ選択信号のビット[0]は、画像生成データ及び焦点検出データのうちの一方を選択する信号となる。また、読み出しデータ選択信号のビット[n](nは1以上6以下の整数)は、保持部S1_vln及び保持部S2_vlnを選択する信号となる。
本実施形態の撮像装置におけるデータ処理部107は、図11に示すように、データ処理部107の読み出し行選択部603,604の構成が、第1実施形態の撮像装置におけるデータ処理部107(図7)とは異なっている。
すなわち、本実施形態の撮像装置におけるデータ処理部107の読み出し行選択部603及び読み出し行選択部604の各々は、図11に示すように、読み出しデータ選択部6000,6001と、加算部6002と、を有する。読み出し行選択部603,604への入力データは、第1実施形態と同じである。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl1のデータ及び保持部S1_vl1のデータのうちの一方を選択するセレクタを有する。また、読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl3のデータ及び保持部S1_vl3のデータのうちの一方を選択するセレクタを有する。また、読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl5のデータ及び保持部S1_vl5のデータのうちの一方を選択するセレクタを有する。
読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1]の値に応じて、保持部S2_vl1のデータ及び保持部S1_vl1のデータのうちの一方か0かを選択するセレクタを有する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[3]の値に応じて、保持部S2_vl3のデータ及び保持部S1_vl3のデータのうちの一方か0かを選択するセレクタを有する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[5]の値に応じて、保持部S2_vl5のデータ及び保持部S1_vl5のデータのうちの一方か0かを選択するセレクタを有する。
読み出し行選択部603の加算部6002は、読み出し行選択部603の読み出しデータ選択部6001から出力される値を加算して出力する。
同様に、読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl2のデータ及び保持部S1_vl2のデータのうちの一方を選択するセレクタを有する。また、読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl4のデータ及び保持部S1_vl4のデータのうちの一方を選択するセレクタを有する。また、読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]の値に応じて、保持部S2_vl6のデータ及び保持部S1_vl6のデータのうちの一方を選択するセレクタを有する。
読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2]の値に応じて、保持部S2_vl2のデータ及び保持部S1_vl2のデータのうちの一方か0かを選択するセレクタを有する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4]の値に応じて、保持部S2_vl4のデータ及び保持部S1_vl4のデータのうちの一方か0かを選択するセレクタを有する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[6]の値に応じて、保持部S2_vl6のデータ及び保持部S1_vl6のデータのうちの一方か0かを選択するセレクタを有する。
読み出し行選択部604の加算部6002は、読み出し行選択部604の読み出しデータ選択部6001から出力されるデータの値を加算して出力する。
このように、読み出し行選択部603,604は、制御部102から供給される読み出しデータ選択信号に従って、画像生成データ用記憶部601及び焦点検出データ用記憶部602に格納されているデータを選択し、選択されたデータの値を加算して出力する。
以下、具体的な例を挙げ、読み出し行選択部603,604の構成及び動作をより詳細に説明する。なお、読み出し行選択部603と読み出し行選択部604とは、入力されるデータは異なるが構成は同じであるため、ここでは読み出し行選択部603を用いて構成及び動作を説明する。
読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]によって、保持部S1_vl1~S1_vl6に保持されている焦点検出データ及び保持部S2_vl1~S2_vl6に保持されている画像生成データのいずれか一方を選択する。ここでは、読み出しデータ選択信号のビット[0]がHighレベルのときに焦点検出データを選択し、読み出しデータ選択信号のビット[0]がLowレベルのときに画像生成データを選択するものとする。
読み出しデータ選択部6001は、読み出しデータ選択部6000で選択されたデータのうち、加算部6002に入力するデータを選択する。例えば、読み出しデータ選択部6000で焦点検出データが選択されている場合において、読み出しデータ選択信号のビット[n](nは1以上6以下の整数)がHighレベルであるときには、保持部S1_vlnの焦点検出データを選択する。また、読み出しデータ選択部6000で画像生成データが選択されている場合において、読み出しデータ選択信号のビット[n](nは1以上6以下の整数)がHighレベルであるときには、保持部S2_vlnの画像生成データを選択する。読み出しデータ選択信号のビット[n](nは1以上6以下の整数)がLowレベルであるときには、読み出しデータ選択部6000の出力にかかわらず、加算部6002に0を入力する。
第1実施形態においては、画像生成データ用記憶部601及び焦点検出データ用記憶部602から同時に読み出す行の数は常に2行で固定であった。これに対し、本実施形態においては、画像生成データ用記憶部601及び焦点検出データ用記憶部602から同時に読み出す行の数に対する制約はない。つまり、読み出しデータ選択信号のビット[1]からビット[6]のうち、Highレベルとなるビットは、いくつでもよい。
例えば、読み出しデータ選択部6000において焦点検出データが選択されている場合に、読み出しデータ選択信号のビット[1]からビット[6]の総てが同時にHighレベルであったものとする。この場合、読み出し行選択部603の加算部6002には、保持部S1_vl1,S1_vl3,S1_vl5のデータが同時に入力され、加算部6002は第1の読み出しデータとしてS1_vl1+S1_vl3+S1_vl5を演算部605に出力する。また、読み出し行選択部604の加算部6002には、保持部S1_vl2,S1_vl4,S1_vl6のデータが同時に入力され、加算部6002は第2の読み出しデータとしてS1_vl2+S1_vl4+S1_vl6を演算部605に出力する。
次に、本実施形態による撮像装置の駆動方法について、図12及び図13を用いて説明する。図12及び図13は、本実施形態による撮像装置の駆動方法を示すタイミングチャートである。
第1実施形態では、1水平期間中に同時にAD変換された焦点検出データのうち一部のデータを出力しないようにすることで、1水平期間を短くした。これに対し、本実施形態では、1水平期間中に同時にAD変換された焦点検出データを行方向に加算することによってデータ量を削減し、1水平期間を短くする。
図12には、AD変換部105、水平転送部106、データ処理部107及び信号出力部108の駆動例を示している。本駆動例は、6行分の画像生成データを2行ずつ非加算で出力し、6行分の焦点検出データを3行ずつ加算して2行分のデータとして出力するものである。具体的には、保持部S2_vl1,S2_vl2に保持されているデータを同時に出力し、保持部S2_vl3,S2_vl4に保持されているデータを同時に出力し、保持部S2_vl5,S2_vl6に保持されているデータを同時に出力する。また、保持部S1_vl1,S1_vl3,S1_vl5に保持されているデータを加算して1行分のデータとして出力すると同時に、保持部S1_vl2,S1_vl4,S1_vl6に保持されているデータを加算して1行分のデータとして出力する。以下では、図8の駆動例との差分を中心に説明をする。
時刻T1から時刻T1oまで、すなわち((n-1)×6+1)行目から(n×6)行目の画素PのデータをAD変換し、変換後のデータをデータ処理部107に書き込むまでの動作については、図8の駆動例と同様であるため、ここでは説明を省略する。
時刻T1oにおいて、データ処理部107の画像生成データ用記憶部601には、1行目から6行目の画素Pに対応する6行分の画像生成データが格納されている。また、データ処理部107の焦点検出データ用記憶部602には、1行目から6行目の画素Pに対応する6行分の焦点検出データが格納されている。
本駆動例において、画像生成データの読み出しタイミングを制御する設定値cnt_o21と設定値cnt_o22とは等しく、設定値cnt_o23と設定値cnt_o24とは等しく、設定値cnt_o25と設定値cnt_o26とは等しい。また、焦点検出データの読み出しタイミングを制御する設定値cnt_o11,cnt_o12,cnt_o13,cnt_o14,cnt_o15,cnt_o16は総て等しい。これら総ての設定値は、タイミング制御カウンタ504が取り得る値の最大値よりも小さい値に設定されている。
続く時刻T1o1において、タイミング制御カウンタ504のカウント値が設定値cnt_o21,cnt_o22に達したものとする。これにより、設定値cnt_o21,cnt_o22に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[1],[2]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1]がHighレベルであることに応じて、保持部S2_vl1を選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[3],[5]がLowレベルであることに応じて、保持部S2_vl3,S2_vl5は選択せず、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl1に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2]がHighレベルであることに応じて、保持部S2_vl2に保持されているデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4],[6]がLowレベルであることに応じて、保持部S2_vl4,S2_vl6に保持されているデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl2に保持されているデータとなる。
続く時刻T1o2において、タイミング制御カウンタ504のカウント値が設定値cnt_o11,cnt_o12,cnt_o13,cnt_o14,cnt_o15,cnt_o16に達したものとする。これにより、設定値cnt_o11,cnt_o12,cnt_o13,cnt_o14,cnt_o15,cnt_o16に対応する読み出しデータ選択信号のビット[0]がHighレベルとなる。また、読み出しデータ選択信号のビット[1]からビット[6]の総てがHighレベルとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がHighレベルであることに応じて、焦点検出データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[3],[5]がHighレベルであることに応じて、保持部S1_vl1,S1_vl3,S1_vl5のデータを選択する。読み出し行選択部603の読み出しデータ選択部6001は、選択した保持部S1_vl1,S1_vl3,S1_vl5のデータを読み出し行選択部603の加算部6002に入力する。以上により、保持部S1_vl1,S1_vl3,S1_vl5に保持されているデータの加算値が読み出し行選択部603の出力となる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がHighレベルであることに応じて、焦点検出データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2],[4],[6]がHighレベルであることに応じて、保持部S1_vl2,S1_vl4,S1_vl6のデータを選択する。読み出し行選択部604の読み出しデータ選択部6001は、選択した保持部S1_vl2,S1_vl4,S1_vl6のデータを読み出し行選択部604の加算部6002に入力する。以上により、保持部S1_vl2,S1_vl4,S1_vl6に保持されているデータの加算値が読み出し行選択部604の出力となる。
続く時刻T1o3において、タイミング制御カウンタ504のカウント値が設定値cnt_o23,cnt_o24に達したものとする。これにより、設定値cnt_o23,cnt_o24に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[3],[4]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[3]がHighレベルであることに応じて、保持部S2_vl3のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[5]がLowレベルであることに応じて、保持部S2_vl1,S2_vl5のデータは選択しない。読み出し行選択部603の読み出しデータ選択部6001は、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl3に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4]がHighレベルであることに応じて、保持部S2_vl4のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2],[6]がLowレベルであることに応じて、保持部S2_vl2,S2_vl6のデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl4に保持されているデータとなる。
続く時刻T1o4において、タイミング制御カウンタ504のカウント値が設定値cnt_o25,cnt_o26に達したものとする。これにより、設定値cnt_o25,cnt_o26に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[5],[6]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[5]がHighレベルであることに応じて、保持部S2_vl5のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[3]がLowレベルであることに応じて、保持部S2_vl1,S2_vl3のデータは選択しない。読み出し行選択部603の読み出しデータ選択部6001は、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl5に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[6]がHighレベルであることに応じて、保持部S2_vl6のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2],[4]がLowレベルであることに応じて、保持部S2_vl2,S2_vl4のデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl6に保持されているデータとなる。
読み出し行選択部603,604から出力された各データは、演算部605においてデータ処理され、信号出力部108から出力される。信号出力部108から出力される信号のうち、焦点検出データに対応する信号の数は、画素部104から並行して出力される画素信号の数よりも少ない。
図12の駆動例において、データを出力するのに必要な期間は、(To1×1+To2×3)となり、図8及び図9の駆動例の場合よりも短く、図10の駆動例の場合と同じである。1水平期間の周期も図10に示す駆動例と同等であり、図8及び図9の駆動例よりも1水平期間を短縮することができる。
図13には、AD変換部105、水平転送部106、データ処理部107及び信号出力部108の他の駆動例を示している。本駆動例は、6行分の画像生成データを2行ずつ非加算で出力し、6行分の焦点検出データのうちの4行分の焦点検出データを2行ずつ加算して2行分のデータとして出力するものである。本駆動例では、加算に用いなかった焦点検出データは出力しない。以下では、図12の駆動例との差分を中心に説明をする。
時刻T1から時刻T1oまで、すなわち((n-1)×6+1)行目から(n×6)行目の画素PのデータをAD変換し、変換後のデータをデータ処理部107に書き込むまでの動作については、図12の駆動例と同様であるため、ここでは説明を省略する。
時刻T1oにおいて、データ処理部107の画像生成データ用記憶部601には、1行目から6行目の画素Pに対応する6行分の画像生成データが格納されている。また、データ処理部107の焦点検出データ用記憶部602には、1行目から6行目の画素Pに対応する6行分の焦点検出データが格納されている。
本駆動例において、画像生成データの読み出しタイミングを制御する設定値cnt_o21,cnt_o22,cnt_o23,cnt_o24,cnt_o25,cnt_o26の関係は、図12の駆動例の場合と同じである。また、焦点検出データの読み出しタイミングを制御する設定値cnt_o11,cnt_o13,cnt_o14,cnt_o16は、タイミング制御カウンタ504が取り得る値の最大値よりも小さい等しい値に設定されている。設定値cnt_o12,cnt_o15は、タイミング制御カウンタ504が取り得る値の最大値よりも大きな値に設定されている。
続く時刻T1o1において、タイミング制御カウンタ504のカウント値が設定値cnt_o21,cnt_o22に達したものとする。これにより、設定値cnt_o21,cnt_o22に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[1],[2]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1]がHighレベルであることに応じて、保持部S2_vl1のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[3],[5]がLowレベルであることに応じて、保持部S2_vl3,S2_vl5のデータは選択しない。読み出し行選択部603の読み出しデータ選択部6001は、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl1に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2]がHighレベルであることに応じて、保持部S2_vl2のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4],[6]がLowレベルであることに応じて、保持部S2_vl4,S2_vl6のデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl2に保持されているデータとなる。
続く時刻T1o2において、タイミング制御カウンタ504のカウント値が設定値cnt_o11,cnt_o13,cnt_o14,cnt_o16に達したものとする。これにより、設定値cnt_o11,cnt_o13,cnt_o14,cnt_o16に対応する読み出しデータ選択信号のビット[0],[1],[3],[4],[6]がHighレベルとなる。読み出しデータ選択信号のその他のビット[2],[5]はLowレベルとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がHighレベルであることに応じて、焦点検出データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[3]がHighレベルであることに応じて、保持部S1_vl1,S1_vl3のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[5]がLowレベルであることに応じて、保持部S2_vl5のデータは選択せず、読み出し行選択部603の加算部6002に0を入力する。以上により、保持部S1_vl1,S1_vl3に保持されているデータの加算値が読み出し行選択部603の出力となる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がHighレベルであることに応じて、焦点検出データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4],[6]がHighレベルであることに応じて、保持部S1_vl4,S1_vl6のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2]がLowレベルであることに応じて、保持部S2_vl2のデータは選択せず、読み出し行選択部603の加算部6002に0を入力する。以上により、保持部S1_vl4,S1_vl6に保持されているデータの加算値が読み出し行選択部604の出力となる。
なお、保持部S1_vl2,S1_vl5に保持されているデータは、読み出しデータ選択信号の対応するビットがHighレベルになることはないため、読み出されない。
続く時刻T1o3において、タイミング制御カウンタ504のカウント値が設定値cnt_o23,cnt_o24に達したものとする。これにより、設定値cnt_o23,cnt_o24に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[3],[4]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[3]がHighレベルであることに応じて、保持部S2_vl3のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[5]がLowレベルであることに応じて、保持部S2_vl1,S2_vl5のデータは選択しない。読み出し行選択部603の読み出しデータ選択部6001は、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl3に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[4]がHighレベルであることに応じて、保持部S2_vl4のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2],[6]がLowレベルであることに応じて、保持部S2_vl2,S2_vl6のデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl4に保持されているデータとなる。
続く時刻T1o4において、タイミング制御カウンタ504のカウント値が設定値cnt_o25,cnt_o26に達したものとする。これにより、設定値cnt_o25,cnt_o26に対応する読み出しデータ選択信号のビット[0]がLowレベル、ビット[5],[6]がHighレベルとなり、その他のビットはLowとなる。
読み出し行選択部603の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[5]がHighレベルであることに応じて、保持部S2_vl5のデータを選択し、読み出し行選択部603の加算部6002に入力する。また、読み出し行選択部603の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[1],[3]がLowレベルであることに応じて、保持部S2_vl1,S2_vl3のデータは選択しない。読み出し行選択部603の読み出しデータ選択部6001は、読み出し行選択部603の加算部6002に0を入力する。以上により、読み出し行選択部603の出力は保持部S2_vl5に保持されているデータとなる。
読み出し行選択部604の読み出しデータ選択部6000は、読み出しデータ選択信号のビット[0]がLowレベルであることに応じて、画像生成データを選択する。読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[6]がHighレベルであることに応じて、保持部S2_vl6のデータを選択し、読み出し行選択部604の加算部6002に入力する。また、読み出し行選択部604の読み出しデータ選択部6001は、読み出しデータ選択信号のビット[2],[4]がLowレベルであることに応じて、保持部S2_vl2,S2_vl4のデータは選択しない。読み出し行選択部604の読み出しデータ選択部6001は、読み出し行選択部604の加算部6002に0を入力する。以上により、読み出し行選択部604の出力は保持部S2_vl6に保持されているデータとなる。
読み出し行選択部603,604から出力された各データは、演算部605においてデータ処理され、信号出力部108から出力される。信号出力部108から出力される信号のうち、焦点検出データに対応する信号の数は、画素部104から並行して出力される画素信号の数よりも少ない。
図13の駆動例において、データを出力するのに必要な期間は、(To1×1+To2×3)となり、図12の駆動例の場合と同じである。
このように、本実施形態によれば、6行分の焦点検出データを、選択的に加算又は間引くことによりデータ量を削減するので、1水平期間の周期を短縮し、読み出し動作を高速化することができる。
なお、本実施形態では6行分の画像生成データを加算することなく出力しているが、焦点検出データと同様に加算するようにしてもよい。
[第3実施形態]
本発明の第3実施形態による撮像装置の駆動方法について、図9を参照して説明する。第1及び第2実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
第1実施形態においては、データ処理部107に格納された焦点検出データのうちの一部を出力しないように構成することで、1水平期間を短くし、読み出し速度の高速化を図っている。このとき、データ処理部107から出力されることのない焦点検出データは、データ処理部107から出力される他のデータと同様、AD変換や水平転送を経て、データ処理部107の焦点検出データ用記憶部602に書き込まれている。
しかしながら、データ処理部107から出力されることのないデータについては、そもそもデータ処理部107に格納する必要はなく、AD変換や水平転送等の処理を行う必要もない。これらデータについてAD変換や水平転送等の処理を行わなければ、消費電力を削減することも可能である。
本実施形態では、データ処理部107から出力しないデータに対するAD変換や水平転送を停止し、消費電力を削減しうる撮像装置の駆動例を説明する。なお、ここでは図9の駆動例において消費電力を削減する例を示すが、第1及び第2実施形態に示した他の駆動例においても、本実施形態の手法を同様に適用することが可能である。
図9の駆動例において、データ処理部107の焦点検出データ用記憶部602に記憶される焦点検出データのうち、保持部S1_vl1,S1_vl2,S1_vl5,S1_vl6に保持されているデータは、データ処理部107から出力される。一方、データ処理部107内の焦点検出データ用記憶部602に記憶される焦点検出データのうち、保持部S1_vl3,S1_vl4に保持されているデータは、データ処理部107から出力されない。
そこで、本実施形態では、以下に示す手段により、焦点検出データ用記憶部602の保持部S1_vl1,S1_vl2,S1_vl5,S1_vl6にはデータを格納するが、保持部S1_vl3,S1_vl4にはデータを格納しないようにする。
まず、図9の駆動例におけるAD変換期間Ta1において、信号線cM_vl3及び信号線cM_vl4(Mは1からmの整数)に接続される列AD変換部、すなわち、列ADコンバータ203及び保持部204の動作を停止する。例えば、信号線cM_vl3とcM_vl4に接続される列AD変換部の電源を遮断し、当該列AD変換部を停止する。これにより、当該列AD変換部を駆動しない分、消費電力を低減することができる。
また、図9の駆動例における水平転送期間Ts1において、信号線cM_vl3,cM_vl4に対応するデジタルデータadout_cM_vl3,adout_cM_vl4が出力される水平転送線402の水平転送動作を停止する。例えば、データch_vl3,ch_vl4に対応する水平転送線402の水平転送クロックをゲーティングすることにより、水平転送動作を停止する。これにより、当該水平転送線の水平転送動作を停止する分、消費電力を低減することができる。
このように、本実施形態によれば、列AD変換部及び水平転送部で消費される電力を低減することができる。
なお、本実施形態では、データ処理部107から出力しない焦点検出データに対応する画素信号に対するAD変換及び水平転送を停止することにより消費電力を削減したが、AD変換及び水平転送のうちの一方のみを停止するようにしてもよい。例えば、AD変換については総ての焦点検出データに対して実施し、水平転送については一部の焦点検出データに対してのみ実施する。この場合、AD変換及び水平転送の双方を実施しない場合と比較して消費電力の削減効果は下がるが、AD変換及び水平転送の双方を実施する場合と比較して消費電力を削減することができる。
また、本実施形態では、6行分の画像生成データを総てデータ処理部107から出力する場合を想定しているが、焦点検出データと同様、必ずしも総ての画像生成データをデータ処理部107から出力する必要はない。この場合、データ処理部107から出力しない画像生成データに対するAD変換や水平転送を停止し、消費電力を削減してもよい。
[第4実施形態]
本発明の第4実施形態による撮像システムについて、図14を用いて説明する。図14は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第3実施形態で述べた撮像装置1は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図14には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
図14に例示した撮像システム700は、撮像装置701、被写体の光学像を撮像装置701に結像させるレンズ702、レンズ702を通過する光量を可変にするための絞り704、レンズ702の保護のためのバリア706を有する。レンズ702及び絞り704は、撮像装置701に光を集光する光学系である。撮像装置701は、第1乃至第3実施形態のいずれかで説明した撮像装置1であって、レンズ702により結像された光学像を画像データに変換する。
撮像システム700は、また、撮像装置701より出力される出力信号の処理を行う信号処理部708を有する。信号処理部708は、撮像装置701が出力するデジタル信号から画像データの生成を行う。また、信号処理部708は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置701は、信号処理部708で処理されるデジタル信号を生成するAD変換部を備えうる。AD変換部は、撮像装置701の光電変換部が形成された半導体層(半導体基板)に形成されていてもよいし、撮像装置701の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部708が撮像装置701と同一の半導体基板に形成されていてもよい。
撮像システム700は、更に、画像データを一時的に記憶するためのメモリ部710、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)712を有する。更に撮像システム700は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体714、記録媒体714に記録又は読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)716を有する。なお、記録媒体714は、撮像システム700に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム700は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部718、撮像装置701と信号処理部708に各種タイミング信号を出力するタイミング発生部720を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム700は少なくとも撮像装置701と、撮像装置701から出力された出力信号を処理する信号処理部708とを有すればよい。
撮像装置701は、撮像信号を信号処理部708に出力する。信号処理部708は、撮像装置701から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部708は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第1乃至第3実施形態による撮像装置1を適用した撮像システムを実現することができる。
[第5実施形態]
本発明の第5実施形態による撮像システム及び移動体について、図15を用いて説明する。図15は、本実施形態による撮像システム及び移動体の構成を示す図である。
図15(a)は、車載カメラに関する撮像システムの一例を示したものである。撮像システム800は、撮像装置810を有する。撮像装置810は、上記第1乃至第3実施形態のいずれかに記載の撮像装置1である。撮像システム800は、撮像装置810により取得された複数の画像データに対し、画像処理を行う画像処理部812と、撮像システム800により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差取得部814を有する。また、撮像システム800は、算出された視差に基づいて対象物までの距離を算出する距離取得部816と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部818と、を有する。ここで、視差取得部814や距離取得部816は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部818はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム800は車両情報取得装置820と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム800は、衝突判定部818での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU830が接続されている。また、撮像システム800は、衝突判定部818での判定結果に基づいて、ドライバーへ警報を発する警報装置840とも接続されている。例えば、衝突判定部818の判定結果として衝突可能性が高い場合、制御ECU830はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置840は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム800で撮像する。図15(b)に、車両前方(撮像範囲850)を撮像する場合の撮像システムを示した。車両情報取得装置820が、撮像システム800ないしは撮像装置810に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
[変形実施形態]
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
また、上記実施形態に示した画素Pの回路構成は一例であり、これに限定されるものではない。画素Pは、対をなす瞳領域を通過した光を受光する光電変換部の組を少なくとも1対有する瞳分割画素であればよく、少なくとも2つの光電変換部を有していればよい。また、画素内読み出し回路の構成も図3に示す構成に限定されるものではなく、適宜変更が可能である。
また、上記実施形態では、画素部104の各列に6本の出力線を配し、6行分の画素信号を同時に出力する構成としたが、同時に画素信号を出力する行数は6行に限定されるものではない。また、データを間引く行数やデータを加算する行数も上記実施形態に限定されるものではなく、同時に画素信号を出力する行数等に応じて適宜変更が可能である。
また、上記第4及び第5実施形態に示した撮像システムは、本発明の光電変換装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図14及び図15に示した構成に限定されるものではない。
なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。