JP6320154B2 - 撮像装置及び撮像装置の駆動方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の駆動方法に関する。

近年注目されている、撮像素子を使用した距離検出機能の一つに飛行時間（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法がある。飛行時間法とは、対象物に向かってパルス光を投光した時間と、対象物からの反射光を受けた時間からパルス光の遅延時間を計測することで対象物までの距離を計測する方法である。特許文献１には、飛行時間法を使用した技術が開示されている。

特許文献１では、１画素に少なくとも２つの転送スイッチとそれに対応する２つの電荷蓄積部を備え、反射パルス光により発生した電荷を２つの転送スイッチによってそれぞれの電荷蓄積部に振り分ける。２つの電荷蓄積部の電荷量の比を求めることにより、画素毎の距離情報を得ることができる。飛行時間法による距離測定は、測定距離を広げる為には、投光期間を広げ、反射光期間を広げる必要がある。

一方、投光期間を広げると、２つの電荷蓄積部の電荷量の差が生じにくくなるため、測定精度が下がってしまうという課題がある。その課題の対策として、特許文献２においては、タイミングの異なる投光期間の狭い光を投射し、広範囲を精度よく測定する技術が開示されている。

特開２００４−２９４４２０号公報 特開２０１０−０３２４２５号公報

しかしながら、特許文献２では、測定範囲を広げる為にタイミングの異なる投射を多く繰り返す必要がある。

本発明の目的は、少ない投射回数で高精度の距離測定を行うことができる撮像装置及び撮像装置の駆動方法を提供することである。

本発明の撮像装置は、光電変換を行う複数の画素と、被写体にパルス光を投射する投光部と、前記投光部にパルス光を投射させ、前記複数の画素の信号を読み出す制御回路と、前記複数の画素の信号を基に、被写体までの距離を演算する画像処理回路とを有し、前記制御回路は、前記投光部に第１の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出し、その後、前記画像処理回路は、前記第１の投光期間に基づく前記複数の画素の信号を基に被写体までの第１の距離を演算し、その後、前記制御回路は、前記演算された被写体までの第１の距離に応じて、異なるタイミングで前記投光部に第２の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出し、その後、前記画像処理回路は、前記第２の投光期間に基づく前記複数の画素の信号を基に被写体までの第２の距離を演算することを特徴とする。

本発明によれば、投光部の少ない投射回数で高精度の距離測定を行うことができる。

本実施形態による撮像装置の構成例を示す図である。 画素の構成例を示す回路図である。 撮像素子の構成例を示す図である。 第１の駆動方法を示すタイミングチャートである。 距離−画素出力比特性の一例を示す図である。 第２の駆動方法を示すタイミングチャートである。 ＴＯＦ法による動作例を示すフローチャートである。 被写体例及び距離マップを示す図である。 第１及び第２の駆動方法での距離分布を示す図である。

図１は、本発明の実施形態による撮像装置１００の構成例を示す図である。１０１は撮影レンズ、１０２はマイクロレンズ、１０３は撮像素子である。撮影レンズ１０１を通過した光は、撮影レンズ１０１の焦点位置近傍に結像する。撮像素子１０３は、ＣＭＯＳイメージセンサなどの固体撮像素子である。撮影レンズ１０１は、後述する焦点検出（距離測定）結果に応じて、焦点を合わせる為の動作を行う焦点駆動機構を備えている。

アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６は、デジタル信号処理回路１０５から出力された画像信号に対して、後述するＡ像及びＢ像の相関演算、焦点検出、所定の画像処理、及び欠陥補正等を施す。メモリ回路１０７及び記録回路１０８は、画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリ又はメモリカード等の記録媒体である。

制御回路１０９は、撮影レンズ１０１、撮像素子１０３、画像処理回路１０６、操作回路１１０、表示回路１１１及び発光装置１１２等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は、撮像装置１００に備え付けられた操作部からの信号を入力し、制御回路１０９に対してユーザの命令を出力する。表示回路１１１は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。

発光装置１１２は、被写体に向けてパルス光を投射する投光部である。発光装置１１２は、制御回路１０９からの命令に同期し、信号ＰＬＩＧＨＴ（図４及び図６）に応じて発光を行う。

図３は、図１の撮像素子１０３の構成例を示す図である。撮像素子１０３は、行列状に配置された複数の画素２００を有する。なお、図３においては、４行４列の計１６個の画素２００を図示するが、実際は数百万〜数千万の画素２００が設けられる。垂直シフトレジスタ４０１は、各行に接続される信号線４０２を介して、各行の画素２００を選択・駆動する。なお、信号線４０２は、簡略化のため、転送パルス信号ＰＴＸＡ及びＰＴＸＢの信号線のみを図示しているが、実際には各行毎に転送パルス以外の複数の駆動信号線が接続される。画素２００は、垂直出力線３０７Ａ及び３０７Ｂを介して読み出し回路４０３に、光電変換に基づく信号を出力する。複数の電流源負荷４２０は、それぞれ、垂直出力線３０７Ａ及び３０７Ｂに接続される。

図２は、図３の画素２００の構成例を示す回路図である。画素２００は、１つのフォトダイオード３０１を有する。フォトダイオード３０１には、２つの転送スイッチ３０２Ａ及び３０２Ｂが接続される。転送スイッチ３０２Ａ及び３０２Ｂには、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂが接続される。フローティングディフュージョン３０３Ａには、リセットスイッチ３０５Ａ及び増幅部３０４Ａが接続される。フローティングディフュージョン３０３Ｂには、リセットスイッチ３０５Ｂ及び増幅部３０４Ｂが接続される。増幅部３０４Ａ及び３０４Ｂには、それぞれ、選択スイッチ３０６Ａ及び３０６Ｂが接続される。リセットスイッチ３０５Ａ，３０５Ｂ及び増幅部３０４Ａ，３０４Ｂのドレインは、基準電位３０８を共有している。

フォトダイオード３０１は、光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ３０２Ａは、フォトダイオード３０１で発生した電荷をフローティングディフュージョン３０３Ａに転送する。転送スイッチ３０２Ｂは、フォトダイオード３０１で発生した電荷をフローティングディフュージョン３０３Ｂに転送する。転送スイッチ３０２Ａ及び３０２Ｂは、それぞれ、転送パルス信号ＰＴＸＡ及びＰＴＸＢによって制御される。フローティングディフュージョン３０３Ａ及び３０３Ｂは、それぞれ、フォトダイオード３０１から転送された電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。

増幅部３０４Ａ及び３０４Ｂは、ＭＯＳトランジスタを有するソースフォロア回路である。増幅部３０４Ａは、フローティングディフュージョン３０３Ａに保持した電荷に基づく電圧を増幅して、画素信号として出力する。増幅部３０４Ｂは、フローティングディフュージョン３０３Ｂに保持した電荷に基づく電圧を増幅して、画素信号として出力する。リセットスイッチ３０５Ａ及び３０５Ｂは、それぞれ、フローティングディフュージョン３０３Ａ及び３０３Ｂの電位を基準電位（電源電位）３０８にリセットする。リセットスイッチ３０５Ａ及び３０５Ｂは、リセットパルス信号ＰＲＥＳによって制御される。

選択スイッチ３０６Ａは、増幅部３０４Ａで増幅された画素信号を垂直出力線３０７Ａに出力する。選択スイッチ３０６Ｂは、増幅部３０４Ｂで増幅された画素信号を垂直出力線３０７Ｂに出力する。垂直出力線３０７Ａ及び３０７Ｂは、同じ列の複数の画素２００で共有される。選択スイッチ３０６Ａ及び３０６Ｂは、セレクトパルス信号ＰＳＥＬによって制御される。

次に、図３の読み出し回路４０３の構成を説明する。４０８はクランプ容量、４０９はフィードバック容量、４１０はオペアンプである。基準電源４１１は、基準電圧を供給する。スイッチ４１２は、フィードバック容量４０９の両端をショートさせるためのスイッチである。スイッチ４１２は、リセット信号ＰＣ０Ｒで制御される。容量４１３及び４１４は、信号電圧を保持する。４１３及び４１４は容量である。スイッチ４１５及び４１６は、それぞれ、容量４１３及び４１４への書き込みを制御する。

スイッチ４１５は、信号ＰＴＳで制御され、スイッチ４１６は信号ＰＴＮで制御される。各列のスイッチ４１７は、それぞれ、水平シフトレジスタ４０４からの信号Ｈ０〜Ｈ７に応じて、容量４１３の信号を、水平出力線４０５を介して、出力アンプ４０７に出力する。各列のスイッチ４１８は、それぞれ、水平シフトレジスタ４０４からの信号Ｈ０〜Ｈ７に応じて、容量４１４の信号を、水平出力線４０６を介して、出力アンプ４０７に出力する。出力アンプ４０７は、水平出力線４０５及び４０６の信号の差分信号を出力する。

図４は、撮像装置１００の第１の駆動方法を示すタイミングチャートである。第１の駆動方法は、飛行時間法（以下、ＴＯＦ法という）による距離検出を行うための駆動方法であり、広範囲の被写体の位置を検出することができる。

時刻ｔ２１の前では、信号ＰＲＥＳをハイレベルにし、リセットスイッチ３０５Ａ及び３０５Ｂをオンにし、フローティングディフュージョン３０３Ａ及び３０３Ｂをリセットする。時刻ｔ２１では、信号ＰＴＸＡ及びＰＴＸＢをハイレベルにし、転送スイッチ３０２Ａ及び３０２Ｂをオンにし、フォトダイオード３０１もリセットする。時刻ｔ２２では、信号ＰＴＸＡ及びＰＴＸＢをローレベルにし、転送スイッチ３０２Ａ及び３０２Ｂをオフにし、フォトダイオード３０１の電荷蓄積を開始する。

電荷蓄積期間経過後、時刻ｔ２３では、信号ＰＳＥＬをハイレベルにし、選択スイッチ３０６Ａ及び３０６Ｂをオンにし、増幅部３０４Ａ及び３０４Ｂを動作状態にする。時刻ｔ２４では、信号ＰＲＥＳをローレベルにし、リセットスイッチ３０５Ａ及び３０５Ｂをオフにし、フローティングディフュージョン３０３Ａ及び３０３Ｂのリセットを解除する。このときの増幅部３０４Ａ及び３０５Ｂの出力信号は、それぞれ、垂直出力線３０７Ａ及び３０７Ｂにリセット信号レベルとして読み出され、読み出し回路４０３に入力される。時刻ｔ２５では、信号ＰＣ０Ｒをローレベルにし、スイッチ４１２をオフにし、オペアンプ４１０のリセットを解除する。時刻ｔ２６では、信号ＰＴＮをハイレベルにし、スイッチ４１６をオンにし、オペアンプ４１０の出力信号の容量４１４への書き込みを開始する。時刻ｔ２７では、信号ＰＴＮをローレベルにし、スイッチ４１６をオフにし、オペアンプ４１０の出力信号の容量４１４への書き込みを終了する。容量４１４には、リセット信号レベルが書き込まれる。

次に、時刻ｔ２８では、信号ＰＴＸＡをハイレベルにし、転送スイッチ３０２Ａをオンにし、フォトダイオード３０１の電荷をフローティングディフュージョン３０３Ａへ転送開始する。時刻ｔ２９では、信号ＰＬＩＧＨＴをハイレベルにし、発光装置１１２から赤外線のパルス光を投射させる。時刻ｔ３０では、信号ＰＴＸＡをローレベルにし、信号ＰＴＸＢをハイレベルにする。すると、転送スイッチ３０２Ａがオフし、フォトダイオード３０１の電荷のフローティングディフュージョン３０３Ａへの転送が終了するとともに、転送スイッチ３０２Ｂがオンする。これにより、フォトダイオード３０１の電荷のフローティングディフュージョン３０３Ｂへの転送が開始する。その後、時刻ｔ３１では、信号ＰＬＩＧＨＴをローレベルにし、発光装置１１２からのパルス光の投射を終了する。時刻ｔ３２では、信号ＰＴＸＢをローレベルにし、転送スイッチ３０２Ｂをオフにし、フォトダイオード３０１の電荷のフローティングディフュージョン３０３Ｂへの転送を終了する。

ここで、フローティングディフュージョン３０３Ａへの電荷転送開始の時刻ｔ２８から信号ＰＬＩＧＨＴをハイレベルにして光投射を開始する時刻ｔ２９までの間の期間をΔｔｓ１とする。また、信号ＰＬＩＧＨＴをハイレベルにして光投射を開始する時刻ｔ２９から信号ＰＬＩＧＨＴをローレベルにして光投射を停止する時刻ｔ３１までの期間をΔｔｐ１とする。

時刻ｔ３３では、信号ＰＴＳをハイレベルにし、スイッチ４１５をオンにする。奇数列の読み出し回路４０３では、垂直出力線３０７Ａの信号に基づく信号の容量４１３への書き込みが開始する。偶数列の読み出し回路４０３では、垂直出力線３０７Ｂの信号に基づく信号の容量４１３への書き込みが開始する。時刻ｔ３４では、信号ＰＴＳをローレベルにし、スイッチ４１５をオフにする。奇数列の読み出し回路４０３では、垂直出力線３０７Ａの信号に基づく信号の容量４１３への書き込みが終了する。偶数列の読み出し回路４０３では、垂直出力線３０７Ｂの信号に基づく信号の容量４１３への書き込みが終了する。

次に、時刻ｔ３５では、信号ＰＲＥＳをハイレベルにし、リセットスイッチ３０５Ａ及び３０５Ｂをオンにし、フローティングディフュージョン３０３Ａ及び３０３Ｂをリセットする。時刻ｔ３６〜ｔ３７の期間では、水平シフトレジスタ４０４の駆動パルスＨ０〜Ｈ７が順次、ハイレベルパルスになり、各列の読み出し回路４０３のスイッチ４１７及び４１８が順次オンになる。これにより、各列の読み出し回路４０３の容量４１３及び４１４の信号は、順次、共通出力線４０５及び４０６に出力される。出力アンプ４０７は、共通出力線４０５及び４０６の差電圧を、各列の画素信号として順次、出力する。

図５は、被写体距離及び画素出力の特性の一例を示すグラフである。ここで、画素出力は、撮像素子１０３が出力する画素信号のピーク値及びボトム値間を１００％として規格化した出力比率を示す。画素出力ＯＵＴａは、フローティングディフュージョン３０３Ａ及び垂直出力線３０７Ａに対応する画素出力である。画素出力ＯＵＴｂは、フローティングディフュージョン３０３Ｂ及び垂直出力線３０７Ｂに対応する画素出力である。撮像装置１００から被写体までの距離が所定距離（例えば５ｍ）より近い場合には、ＯＵＴａ＞ＯＵＴｂとなる。撮像装置１００から被写体までの距離が所定距離（例えば５ｍ）より遠い場合には、ＯＵＴａ＜ＯＵＴｂとなる。撮像装置１００から被写体までの距離が所定距離（例えば５ｍ）である場合は、ＯＵＴａ≒ＯＵＴｂとなる。例えば、所定距離を５ｍに設定した場合、被写体距離が１ｍの被写体の時は、画素出力ＯＵＴａが画素出力ＯＵＴｂより大きくなる。また、被写体距離が２０ｍの被写体の時は、画素出力ＯＵＴｂが画素出力ＯＵＴｂより大きくなる。また、被写体距離が５ｍの被写体の時は、画素出力ＯＵＴａ及びＯＵＴｂはほぼ等しくなる。画像処理回路１０６は、第１の駆動方法により得られた画素出力ＯＵＴａ及び画素出力ＯＵＴｂを基に、被写体距離を測定することができる。

ここで、距離測定範囲を広くするため、図４における信号ＰＬＩＧＨＴのハイレベル期間Δｔｐ１は、被写体への投射が十分にできる時間を設定してあるが、その分、被写体距離の変化に対して画素出力の変化が小さく、距離の分解能を上げることが難しい。

図６（ａ）〜（ｃ）は、撮像装置１００の第２の駆動方法を示すタイミングチャートである。第１の駆動方法（図４）により被写体距離を測定した後、第２の駆動方法（図６（ａ）〜（ｃ））で駆動する。第２の駆動方法（図６（ａ）〜（ｃ））は、第１の駆動方法（図４）に対して、分解能を上げ、特定範囲の被写体の高精度の位置を検出することができる。以下、図６（ａ）〜（ｃ）が図４と異なる点を説明する。図６は、図４に対して、信号ＰＴＸＡ、ＰＴＸＢ及びＰＬＩＧＨＴの制御が異なる。図６（ａ）は近距離の被写体、図６（ｂ）は中距離の被写体、図６（ｃ）は遠距離の被写体の場合のタイミングチャートである。図６（ａ）〜（ｃ）には、信号ＰＬＩＧＨＴの制御により、発光装置１１２で投光した光が被写体に反射し、撮像素子１０３に入射光として戻るタイミングを示す。

まず、図６（ａ）の信号を説明する。時刻ｔ２８では、信号ＰＴＸＡをハイレベルとし、転送スイッチ３０２Ａをオンにし、フォトダイオード３０１からフローティングディフュージョン３０３Ａへの電荷転送を開始する。時刻ｔ２８から期間Δｔｓ２経過後の時刻ｔ４０では、信号ＰＬＩＧＨＴをハイレベルにする。次に、時刻ｔ４０から期間Δｔｐ２経過後の時刻ｔ４１では、信号ＰＬＩＧＨＴをローレベルにする。時刻ｔ４０〜ｔ４１の期間の間の時刻ｔ３０では、信号ＰＴＸＡをローレベルとし、信号ＰＴＸＢをハイレベルにする。すると、フォトダイオード３０１からフローティングディフュージョン３０３Ａへの電荷転送は終了し、フォトダイオード３０１からフローティングディフュージョン３０３Ｂへの電荷転送が開始する。なお、期間Δｔｐ２は、図４の期間Δｔｐ１より短い期間である。期間Δｔｐ２で投射したパルス光は、近距離にある被写体に反射して、フォトダイオード３０１に入射する入射光のタイミングを入射光ａとして示す。入射光ａは、近距離の被写体に反射しで戻るまでの時間が短い為、入射光ａの入射期間と期間Δｔｐ２との時間差は小さい。

次に、図６（ｂ）の信号を説明する。時刻ｔ２８では、信号ＰＴＸＡをハイレベルにし、転送スイッチ３０２Ａをオンにし、フォトダイオード３０１からフローティングディフュージョン３０３Ａへの電荷転送を開始する。時刻ｔ２８から期間Δｔｓ３経過後の時刻ｔ４２では、信号ＰＬＩＧＨＴをハイレベルにする。時刻ｔ４２から期間Δｔｐ２経過後の時刻ｔ４３では、信号ＰＬＩＧＨＴをローレベルにする。その後、時刻ｔ３０では、信号ＰＴＸＡをローレベルにし、信号ＰＴＸＢをハイレベルにする。

次に、図６（ｃ）の信号を説明する。時刻ｔ２８では、信号ＰＴＸＡをハイレベルにし、転送スイッチ３０２Ａをオンにし、フォトダイオード３０１からフローティングディフュージョン３０３Ａへの電荷転送を開始する。時刻ｔ２８から期間Δｔｓ４経過後の時刻ｔ４４では、信号ＰＬＩＧＨＴをハイレベルにする。時刻ｔ４４から期間Δｔｐ２経過後の時刻ｔ４５では、信号ＰＬＩＧＨＴをローレベルにする。その後、時刻ｔ３０では、信号ＰＴＸＡをローレベルにし、信号ＰＴＸＢをハイレベルにする。

上記の期間Δｔｓ２、Δｔｓ３及びΔｔｓ４の長さは相互に異なり、Δｔｓ２＞Δｔｓ３＞Δｔｓ４の関係を有する。つまり、被写体距離に応じて、信号ＰＬＩＧＨＴによる投射光のタイミングを変更することにより、入射光の入射期間が時刻ｔ３０を含むようになり、被写体検出が可能になる。また、投射期間Δｔｐ２を、図４の広範囲距離測定対応の期間Δｔｐ１より短く設定することにより、距離検出分解能を向上させることができる。

なお、上記の説明では、信号ＰＬＩＧＨＴによる投射光のタイミングのみを記載している。例えば、被写体距離が近い近距離動作（図６（ａ））の時には、入射光が飽和しにくいように発光装置１１２の発光量を抑えることができる。これに対し、被写体が遠い中距離及び遠距離動作（図６（ｂ）及び図６（ｃ））の時には、投射光が被写体まで届きやすいように、発光装置１１２の発光量を増加させ、より高精度化することができる。その方法としては、発光装置１１２の電流を変える方法、又は集光レンズの焦点距離を変える方法がある。

また、第２の駆動方法の投光期間Δｔｐ２は、第１の駆動方法での距離測定結果によらず一定である場合を例に説明したが、第１の駆動方法での距離測定結果によって、投光期間Δｔｐ２の長さを可変にしてもよい。例えば、被写体距離が近距離の場合は、投光期間Δｔｐ２を短くし、被写体距離が遠距離での場合は、投光期間Δｔｐ２を長くする。

なお、Δｔｓ４＋Δｔｐ２＝Δｔｓ３、Δｔｓ３＋Δｔｐ２＝Δｔｓ２にすることができる。また、Δｔｓ４＋Δｔｐ２＞Δｔｓ３、Δｔｓ３＋Δｔｐ２＞Δｔｓ２のようにオーバーラップ期間を設けることにより、距離測定領域の境界での精度低下を防ぐことができる。

図７は、撮像装置１００のＴＯＦ法の動作例を示すフローチャートである。ステップＳ１０１では、撮像装置１００は、図４の第１の駆動方法で駆動し、撮像素子１０３は、画素出力ＯＵＴａ及びＯＵＴｂを出力する。第１の駆動方法では、上記のように、広範囲の距離測定に対応しており、期間Δｔｓ１及びΔｔｐ１の信号ＰＬＩＧＨＴを生成し、画素出力ＯＵＴａ及びＯＵＴｂを得る。

次に、ステップＳ１０２では、画像処理回路１０６は、画素出力ＯＵＴａ及びＯＵＴｂを基に、被写体距離を検出し、距離マップ（図８（ｂ））を生成する。

次に、ステップＳ１０３では、画像処理回路１０６は、距離マップ（図８（ｂ））を基に、詳細に測定したい被写体（主被写体）の概略距離Ｌを検出し、概略距離Ｌと閾値とを比較する。概略距離Ｌが第１の閾値（例えば、３ｍ）より小さい場合は、概略距離Ｌが近距離であるとして、ステップＳ１０４へ進む。概略距離Ｌが第１の閾値（例えば、３ｍ）以上かつ第２の閾値（例えば、１０ｍ）未満である場合は、概略距離Ｌが中距離であるとして、ステップＳ１０６へ進む。概略距離Ｌが第２の閾値（例えば１０ｍ）以上である場合は、概略距離Ｌが遠距離であるとして、ステップＳ１０８へ進む。

ステップＳ１０４では、撮像装置１００は、図６（ａ）の第２の駆動方法で駆動し、撮像素子１０３は、画素出力を出力する。図６（ａ）の第２の駆動方法は、上記のように、期間Δｔｓ２及びΔｔｐ２の信号ＰＬＩＧＨＴを生成し、画素出力を得る。次に、ステップＳ１０５では、画像処理回路１０６は、ステップＳ１０４の画素出力に基づき、期間Δｔｓ２及びΔｔｐ２に応じて被写体距離を検出する。その後、本動作を終了する。

ステップＳ１０６では、撮像装置１００は、図６（ｂ）の第２の駆動方法で駆動し、撮像素子１０３は、画素出力を出力する。図６（ｂ）の第２の駆動方法は、上記のように、期間Δｔｓ３及びΔｔｐ２の信号ＰＬＩＧＨＴを生成し、画素出力を得る。次に、ステップＳ１０７では、画像処理回路１０６は、ステップＳ１０６の画素出力に基づき、期間Δｔｓ３及びΔｔｐ２に応じて被写体距離を検出する。その後、本動作を終了する。

ステップＳ１０８では、撮像装置１００は、図６（ｃ）の第２の駆動方法で駆動し、撮像素子１０３は、画素出力を出力する。図６（ｃ）の第２の駆動方法は、上記のように、期間Δｔｓ４及びΔｔｐ２の信号ＰＬＩＧＨＴを生成し、画素出力を得る。次に、ステップＳ１０９では、画像処理回路１０６は、ステップＳ１０８の画素出力に基づき、期間Δｔｓ４及びΔｔｐ２に応じて被写体距離を検出する。その後、本動作を終了する。

以上説明した図７のフローチャートの処理の具体例を、図８（ａ）〜（ｃ）及び図９（ａ），（ｂ）を参照しながら、説明する。図８（ａ）〜（ｃ）は、撮像素子１０３による撮像する被写体例を示し、各破線による四角が画素２００を示している。画素数は、説明しやすい数として水平２０画素×垂直１５画素の計３００画素を例に示すが、これに限定されない。図８（ａ）は、被写体の画像を示す。図８（ｂ）は、ステップＳ１０２で、画像処理回路１０６が第１の駆動方法により被写体距離を検出して生成する距離マップを示す。図８（ｂ）の距離マップは、広範囲の被写体距離を測定可能であり、近距離（人物やテーブル、グラスなど）の被写体の画素は白で示し、中距離（木など）の被写体の画素は斜線で示し、遠距離（空など）の被写体の画素は黒で示す。

画像処理回路１０６は、図８（ｂ）の距離マップを基に、図９（ａ）の被写体距離に対応する画素数分布を生成する。図９（ａ）の画素数分布は、近距離（例えば５ｍ未満）の被写体の画素数が、中距離（例えば５ｍ以上かつ２０ｍ未満）及び長距離（例えば２０ｍ以上）の被写体の画素数よりも多くなっている。この場合、画像処理回路１０６は、ステップＳ１０３において、被写体距離が近距離であると判定し、ステップＳ１０４に進む。このように、画像処理回路１０６は、図９（ａ）の画素数分布の画素数が多い被写体距離を基に、ステップ１０３で被写体距離を判定する。例えば、図８（ａ）の被写体の場合、近距離の被写体が広い面積を占めている為、主被写体が近距離であると判定して、第２の駆動方法では、近距離にポイントを絞り、図６（ａ）の第２の駆動方法で駆動する。なお、中距離又は遠距離の被写体が広い面積を占める場合は、中距離又は遠距離の被写体を主被写体と判断し、それに応じて図６（ｂ）又は図６（ｃ）の第２の駆動方法で駆動する。

図８（ｃ）は、ステップＳ１０４で、画像処理回路１０６が第２の駆動方法により被写体距離を検出して生成する距離マップを示す。図８（ｃ）の距離マップは、狭範囲で高分解能の被写体距離測定が可能であり、遠距離の被写体は測定範囲外で測定できていないが、所望の距離（例えば近距離）の被写体を高分解能で測定できる。

画像処理回路１０６は、図８（ｃ）の距離マップを基に、図９（ｂ）の被写体距離に対応する画素数分布を生成する。図９（ｂ）の画素数分布は、近距離（例えば５ｍ未満）の範囲の中でより細分化された距離測定ができている。画像処理回路１０６は、図９（ｂ）の画素数分布の画素数が多い被写体距離を基に、ステップ１０５で被写体距離を検出する。その後、制御回路１０９は、被写体距離に応じて、撮影レンズ１０１を駆動する。

以上のように、第１の駆動方法による広範囲の距離測定結果を分析（例えば、面積比による判定など）することで、図６（ａ）〜（ｃ）の第２の駆動方法を選択し、その選択した第２の駆動方法で駆動する。これにより、多数の測定動作を行わなくても、わずか２回の測定で、高精度の距離測定を行うことができる。

ステップ１０１では、制御回路１０９は、発光装置１１２に第１の投光期間Δｔｐ１にパルス光を投射させ、複数の画素２００の信号を読み出す。その後、ステップＳ１０２では、画像処理回路１０６は、第１の投光期間Δｔｐ１に基づく複数の画素２００の信号を基に被写体までの第１の距離を演算する。その後、ステップＳ１０４、Ｓ１０６又はＳ１０８では、制御回路１０９は、演算された被写体までの第１の距離に応じて、異なるタイミング（期間Δｔｓ２〜Δｔｓ４）で発光装置１１２に第２の投光期間Δｔｐ２にパルス光を投射させる。そして、複数の画素２００の信号を読み出す。その後、ステップＳ１０５、Ｓ１０７又はＳ１０９では、画像処理回路１０６は、第２の投光期間Δｔｐ２に基づく複数の画素２００の信号を基に被写体までの第２の距離を演算する。その後、制御回路１０９は、画像処理回路１０６により演算された被写体までの第２の距離に応じて、撮影レンズ１０１を駆動する。第２の投光期間Δｔｐ２は、第１の投光期間Δｔｐ１より短い。

まず、図６（ａ）について説明する。制御回路１０９は、画像処理回路１０６により演算された被写体までの第１の距離が第１の値である場合には、第１のタイミング（期間Δｔｓ２）で発光装置１１２に第２の投光期間Δｔｐ２にパルス光を投射させる。

次に、図６（ｂ）について説明する。制御回路１０９は、画像処理回路１０６により演算された被写体までの第１の距離が第１の値より遠い第２の値である場合には、第２のタイミング（期間Δｔｓ３）で発光装置１１２に第２の投光期間Δｔｐ２にパルス光を投射させる。第２のタイミング（期間Δｔｓ３）は、第１のタイミング（期間Δｔｓ２）より早いタイミングである。

次に、図６（ｃ）について説明する。制御回路１０９は、画像処理回路１０６により演算された被写体までの第１の距離が第２の値より遠い第３の値である場合には、第３のタイミング（期間Δｔｓ４）で発光装置１１２に第２の投光期間Δｔｐ２にパルス光を投射させる。第３のタイミング（期間Δｔｓ４）は、第２のタイミング（期間Δｔｓ３）より早いタイミングである。

なお、図６（ａ）〜（ｃ）の第２の駆動方法の選択を、第１の駆動方法での測定結果の「全画像の占める割合」を基に行う例を説明したが、それに限定されない。例えば、撮像素子１０３の領域に応じた判定係数を備え、画面中央（例えば全領域の中の中央４割）で占める割合が多いものをより選択しやすいように重み付けを行うことができる。また、第１の駆動方法の駆動時に測定対象とする領域を主被写体が存在する近傍の狭い領域に特定し、第２の駆動方法の際には全領域を測定対象にすることもできる。また、測定領域をユーザが任意に設定できる構成として、測定領域における第１の駆動方法の駆動時の測定結果の平均距離などを主被写体と判定するようにしてもよい。

以上のように、第１の駆動方法で被写体の概略の距離を検出し、第１の駆動方法の結果に応じて、図６（ａ）〜（ｃ）の第２の駆動方法を選択する。具体的には、信号ＰＬＩＧＨＴによる発光装置１１２の投光タイミングを変更し、投光期間Δｔｐ２を狭くすることで、分解能を上げ、高精度の距離測定を行うことができる。

なお、第２の駆動方法は、第１の駆動方法の距離測定結果に基づき、図６（ａ）〜（ｃ）の３つのパターンに分けたが、それに限定されず、例えば、５パターン、８パターンなどに分けてもよい。また、画素２００は、１フォトダイオード＋２フローティングディフュージョンの構成であるが、それに限定されない。例えば、１フォトダイオード＋１フローティングディフュージョンの画素を設け、隣接する２画素を使用することでＴＯＦ法を行ってもよい。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０３ 撮像素子、１０６ 画像処理回路、１０９ 制御回路、１１２ 発光装置、２００ 画素

Claims (5)

1. 光電変換を行う複数の画素と、
   被写体にパルス光を投射する投光部と、
   前記投光部にパルス光を投射させ、前記複数の画素の信号を読み出す制御回路と、
   前記複数の画素の信号を基に、被写体までの距離を演算する画像処理回路とを有し、
   前記制御回路は、前記投光部に第１の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出し、
   その後、前記画像処理回路は、前記第１の投光期間に基づく前記複数の画素の信号を基に被写体までの第１の距離を演算し、
   その後、前記制御回路は、前記演算された被写体までの第１の距離に応じて、異なるタイミングで前記投光部に第２の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出し、
   その後、前記画像処理回路は、前記第２の投光期間に基づく前記複数の画素の信号を基に被写体までの第２の距離を演算することを特徴とする撮像装置。
2. 前記第２の投光期間は、前記第１の投光期間より短いことを特徴とする請求項１記載の撮像装置。
3. 前記制御回路は、前記画像処理回路により演算された被写体までの第１の距離が第１の値である場合には、第１のタイミングで前記投光部に第２の投光期間にパルス光を投射させ、
   前記制御回路は、前記画像処理回路により演算された被写体までの第１の距離が前記第１の値より遠い第２の値である場合には、前記第１のタイミングより早い第２のタイミングで前記投光部に第２の投光期間にパルス光を投射させることを特徴とする請求項１又は２記載の撮像装置。
4. さらに、前記複数の画素に光を結像させるための撮影レンズを有し、
   前記制御回路は、前記画像処理回路により演算された被写体までの第２の距離に応じて、前記撮影レンズを駆動することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 光電変換を行う複数の画素と、
   被写体にパルス光を投射する投光部と、
   前記投光部にパルス光を投射させ、前記複数の画素の信号を読み出す制御回路と、
   前記複数の画素の信号を基に、被写体までの距離を演算する画像処理回路とを有する撮像装置の駆動方法であって、
   前記制御回路により、前記投光部に第１の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出すステップと、
   前記画像処理回路により、前記第１の投光期間に基づく前記複数の画素の信号を基に被写体までの第１の距離を演算するステップと、
   前記制御回路により、前記演算された被写体までの第１の距離に応じて、異なるタイミングで前記投光部に第２の投光期間にパルス光を投射させ、前記複数の画素の信号を読み出すステップと、
   前記画像処理回路により、前記第２の投光期間に基づく前記複数の画素の信号を基に被写体までの第２の距離を演算するステップと
   を有することを特徴とする撮像装置の駆動方法。

Images