JP7789012B2 - 信号処理装置、測距装置、測距方法、イメージセンサ - Google Patents

Description

本技術は、測距のための信号処理を行う信号処理装置、測距装置、測距方法、イメージセンサに関する。

測距技術としてＴｏＦ（Time of Flight）が知られている。ＴｏＦでは、測距レンジと測距精度を両立させることが望まれている。
例えば、下記の特許文献１においては、二つの変調周波数をアナログ的に重畳して測距し、Ｄｅ－Ａｌｉａｓ処理を行う技術が提案されている。

特開２０１８－０３６１４５公報

ところで、特許文献１に記載の方法では、二つの変調周波数ｆ１，ｆ２がｎ１・ｆ１＝ｎ２・ｆ２を満たし、ｎ１、ｎ２が自然数且つｎ１／ｎ２が自然数でないという条件を満たす必要がある。

ところが、ＰＬＬ（Phase Locked Loop）の精度やＥＭＩ（Electro Magnetic Interference）対策等によって上記の条件を満たす変調周波数を正確に設定できない場合がある。

本技術は上記事情に鑑み為されたものであり、変調周波数の設定に柔軟性を持たせた上でＤｅ－Ａｌｉａｓ処理を行うことを目的とする。

本技術に係る信号処理装置は、第１周波数により変調された第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、前記第１周波数未満とされた第２周波数により変調された第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を備えるものである。
第２変調光の位相変化が２π未満である場合は、第２深度情報と被写体までの実際の距離が略等しくされる。

上記した信号処理装置における前記距離情報出力部は、前記第２変調光の位相変化が２π以上であると判定された場合に無効値を出力してもよい。
第２変調光の位相変化が２π以上である場合には、第２深度情報が被写体までの実際の距離よりも短くされる。

上記した信号処理装置における前記距離情報算出部は、前記第１変調光の位相変化が２πとされたときの被写体の距離である第１折り返し距離と前記第１深度情報とを加算することにより前記距離情報を算出してもよい。
第１折り返し距離とは、第１変調光が照射されてから受光されるまでの位相の変化が丁度２πとなる被写体までの距離であり、第１変調光によって測距可能な距離でもある。第１変調光の照射によって得られる第１深度情報は第２変調光の照射によって得られる第２深度よりも高精度とされる。

上記した信号処理装置においては、以下の条件式（Ａ）を満足するように構成されていてもよい。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
これにより、被写体までの実際の距離が第２変調光における測距可能距離の１倍以上２倍未満とされた場合に算出される距離情報がゼロ値ではなくなる。

上記した信号処理装置においては、以下の条件式（Ｂ）を満足するように構成されていてもよい。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
これにより、被写体までの実際の距離が第２変調光における測距可能距離と同じ場合に算出される距離情報は、第１変調光における測距可能距離の略半分の数値とされる。

上記した信号処理装置における前記折り返し判定部は、前記第２深度情報と前記距離情報を比較することにより前記第２変調光の位相変化が２π未満であるか否かを判定してもよい。
被写体までの実際の距離が第２変調光における測距可能距離の１倍以上且つ２倍未満とされた場合において算出される距離情報は、算出される第２深度情報と乖離したものとなる。

上記した信号処理装置における前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定してもよい。
これにより、第２深度情報と距離情報の差分がある程度大きい場合に前記第２変調光の位相変化が２π以上であると判定される。

上記した信号処理装置においては、二次元配列された画素ごとに前記距離情報を算出することにより距離画像を生成してもよい。
これにより、距離画像における画素ごとの距離情報において、第２変調光の位相変化が２π未満である場合は、第２深度情報と被写体までの実際の距離が略等しくされる。

本技術に係る測距装置は、第１周波数により変調された第１変調光と前記第１周波数未満とされた第２周波数により変調された第２変調光の照射が可能とされた光照射部と、前記第１変調光及び前記第２変調光が被写体に反射した反射光を受光し前記反射光の光強度に応じた受光信号を出力する受光部と、前記受光部から出力された受光信号に対する信号処理を行う信号処理部と、を備え、前記信号処理部は、前記第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、前記第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を有するものである。

本技術に係る測距装置が実行する測距方法は、第１周波数により変調された第１変調光の照射処理と、前記第１変調光の受光信号に基づいて第１深度情報を算出する処理と、前記第１周波数未満とされた第２周波数により変調された第２変調光の照射処理と、前記第２変調光の受光信号に基づいて第２深度情報を算出する処理と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する処理と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する処理と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する処理と、を備えたものである。

本技術に係るイメージセンサは、第１周波数により変調された第１変調光及び前記第１周波数未満とされた第２周波数により変調された第２変調光の受光が可能とされ、光電変換部における光電変換によって生じた電荷を検出する第１タップ及び第２タップを有する画素アレイ部を備え、前記第２変調光の照射から受光までの位相変化が２π以上であるか否かを判定するための受光信号として、前記画素アレイ部は、前記第１変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号と、前記第２変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号とを、出力するものである。
このような測距装置、測距方法及びイメージセンサによっても、上記した本技術に係る信号処理装置と同様の作用を得ることができる。

本技術に係る測距装置の構成例を示す図である。 本技術に係る受光部が備える各画素の構成例を示す図である。 本技術に係る露光制御と受光制御に関する書く信号のタイミングチャートである。 本技術に係る信号処理部が備える各部の構成例を示す図である。 本技術に係る第１制御信号と第２制御信号のＯＮ／ＯＦＦ制御と第１ＦＤと第２ＦＤに蓄積される電荷量の一例を示す図である。 本技術に係る第１深度情報と第２深度情報と距離情報算出部が算出する距離情報の関係を示す図である。 本技術に係る制御部及び信号処理部が実行する処理のフローチャートである。

以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．距離情報の算出＞
＜３．判定処理＞
＜４．距離情報出力処理＞
＜５．処理フロー＞
＜６．まとめ＞
＜７．本技術＞

＜１．システム構成＞
本技術の測距装置１の構成について図１を参照して説明する。
測距装置１は、光照射部２、受光部３、制御部４、信号処理部５を備えている。

光照射部２は、例えば赤外線（ＩＲ：Infrared）ＬＥＤ（Light Emitting Diode）などの光源を備えて構成され、制御部４から入力される制御信号に基づいて光を照射する。
光照射部２は特定周波数に基づいて光強度を変調させた変調光の照射が可能とされている。また、光照射部２は、特定周波数を異ならせた複数種類の変調光の照射が可能とされている。以下に示す例では、２種類の特定周波数に基づいて変調された２種類の変調光の照射が可能とされている。以下の説明においては、特定周波数を変調周波数と記載する。

以下に示す各例において光照射部２は、２種類の変調周波数に基づく変調光の照射が可能とされている。また、２種類の変調周波数は、相対的に高周波とされた変調周波数を第１周波数ｆＨとし、相対的に低周波とされた変調周波数を第２周波数ｆＬとすると、第１周波数ｆＨは第２周波数ｆＬの整数倍とならないように決定される。具体的には、以下の式（１）を満たすように設定される。

ｆＨ≠ｎ×ｆＬ・・・式（１）

本例では、第１周波数ｆＨと第２周波数ｆＬが以下の式（２）を満たすようにされる。

ｆＨ＝（ｎ＋０．５）ｆＬ・・・式（２）

以下の説明においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされた例について述べる。
また、第１周波数ｆＨに基づいて変調された変調光を第１変調光ＭＬＨと記載し、第２周波数ｆＬに基づいて変調された変調光を第２変調光ＭＬＬと記載する。
なお、光照射部２は３種類以上の変調周波数に基づく変調光の照射が可能とされていてもよい。

受光部３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサであり、ｉＴｏＦ（Indirect ToF）方式を用いた測距が可能なセンサとして構成されている。受光部３は、画素３１が２次元配列されて構成された画素アレイ部を備えている。
受光部３は、制御部４から入力される制御信号に基づく受光制御を行う。

受光部３の画素３１の構成例について図２に示す。
画素３１は、受光素子とされたＰＤ（Photodiode）３２と、ＰＤ３２における光電変換で生成された電荷を検出する第１タップ３３及び第２タップ３４とを備えて構成されている。
本例におけるＰＤ３２は、例えば、赤外領域の光についての感度を有するものとされている。

第１タップ３３は、第１ＦＤ（Floating Diffusion）３５と、ＰＤ３２から第１ＦＤ３５に電荷を転送するための第１転送トランジスタ３６と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。

第２タップ３４は、第２ＦＤ３７と、ＰＤ３２から第２ＦＤ３７に電荷を転送するための第２転送トランジスタ３８と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。

第１転送トランジスタ３６と第２転送トランジスタ３８は一方がＯＮ状態に制御された場合に他方がＯＦＦ状態に制御される。即ち、第１転送トランジスタ３６と第２転送トランジスタ３８の双方が同時にＯＮ状態とならないように制御される。

第１転送トランジスタ３６のＯＮ／ＯＦＦ状態を制御するための信号は、光照射部２が備える光源の発光周期と同期されている。また、第１転送トランジスタ３６と第２転送トランジスタ３８に付与される制御信号は、位相差が１８０度とされる。

第１ＦＤ３５に転送された電荷は、読み出し信号に応じて第１タップ３３から出力される検出信号である第１信号Ｓ１として信号処理部５に出力される。
第２ＦＤ３７に転送された電荷は、読み出し信号に応じて第２タップ３４から出力される検出信号である第２信号Ｓ２として信号処理部５に出力される。

画素３１は、図２に示す各部以外にも図示しない読み出し用のトランジスタやリセット用のトランジスタを備えている。

図１の説明に戻る。
制御部４は、上記したように、変調光を照射するための変調周波数に応じた駆動信号（２０ＭＨｚや５０ＭＨｚ）を光照射部２に供給する。
これにより、光照射部２は、供給された矩形波の駆動信号に基づいて強度変調された光の照射が可能とされる。なお、光照射部２は正弦波の駆動信号に基づいて強度変調された光を照射してもよい。

また、制御部４は、変調周波数に同期させたタイミングで第１転送トランジスタ３６と第２転送トランジスタ３８のＯＮ／ＯＦＦ制御を行う。

１回の露光時間において、制御部４は複数回（例えば数百回から数万回など）のＯＮ／ＯＦＦ制御を行う。具体的に図３を用いて説明する。図３は、露光制御に用いる露光制御信号Ｓｅと、所定の変調周波数で強度変調させた光を照射させるために光照射部２に提供される照射光信号ＳＬと、第１転送トランジスタ３６に供給される第１制御信号Ｓｔ１と、第２転送トランジスタ３８に供給される第２制御信号Ｓｔ２の関係を示した図である。
第１転送トランジスタ３６は第１制御信号Ｓｔ１に基づいてＯＮ／ＯＦＦ制御される。また、第２転送トランジスタ３８は第２制御信号Ｓｔ２に基づいてＯＮ／ＯＦＦ制御される。

図示するように、露光時間Ｔｅの間に、照射期間ＴＬに亘る光の照射が複数回行われる。複数回の光の照射は、光の照射期間ＴＬと非照射期間が交互に繰り返されることで行われる。光の非照射期間は、照射期間ＴＬと同じ時間長とされる。即ち、Ｄｕｔｙ比は５０％とされている。

制御部４は、照射光信号ＳＬに同期した第１期間Ｔ１に亘って第１ＦＤ３５へ電荷が蓄積されるように第１転送トランジスタ３６の切り替え制御を行う。また、制御部４は、照射光信号ＳＬに同期した第２期間Ｔ２に亘って第２ＦＤ３７へ電荷が蓄積されるように第２転送トランジスタ３８の切り替え制御を行う。第１期間Ｔ１と第２期間Ｔ２は照射期間ＴＬと同じ時間長とされている。

これにより、第１ＦＤ３５及び第２ＦＤ３７には数百回や数千回或いは数万回に亘って電荷が断続的に蓄積される。
照射光の一周期分についての光の受光量がごく微量である場合には、有意なデータが取得できない可能性があるため、数百から数万周期分についての光を受光して電荷を蓄積することにより、十分な受光量を得ることができ有意な情報を取得することが可能となる。

なお、１回の露光時間において第１ＦＤ３５と第２ＦＤ３７がそれぞれ１回ずつ電荷を蓄積するようにスイッチの切り換えを１回行うようにしてもよい。即ち、露光時間Ｔｅの前半に第１ＦＤ３５が電荷を蓄積するように第１転送トランジスタ３６をＯＮ状態に制御し、露光時間Ｔｅの後半の開始時に第１転送トランジスタ３６をＯＦＦ状態且つ第２転送トランジスタ３８をＯＮ状態に切り換える切り替え制御を行うことにより露光時間の後半は第２ＦＤ３７に電荷が蓄積されるようにしてもよい。

図１の説明に戻る。
信号処理部５は、受光部３の第１ＦＤ３５から出力される第１信号Ｓ１と第２ＦＤ３７から出力される第２信号Ｓ２に基づいて各種の処理を行い、距離情報を出力する。そのために、信号処理部５は、第１深度情報算出部５１と、第２深度情報算出部５２と、距離情報算出部５３と、折り返し判定部５４と、距離情報出力部５５とを備えている。

信号処理部５の機能ブロックの一例について図４を参照して説明する。
受光部３からは、第１ＦＤ３５の出力である第１信号Ｓ１と第２ＦＤ３７の出力である第２信号Ｓ２が出力される。以降の説明では、受光部３から出力される第１信号Ｓ１と第２信号Ｓ２のうち、第１変調光ＭＬＨの照射に応じた受光に基づいて出力される信号を第１信号Ｓ１Ｈと第２信号Ｓ２Ｈと記載し、第２変調光ＭＬＬの照射に応じた受光に基づいて出力される信号を第１信号Ｓ１Ｌと第２信号Ｓ２Ｌと記載する。

第１信号Ｓ１Ｈと第２信号Ｓ２Ｈは、第１深度情報算出部５１に入力される。
第１信号Ｓ１Ｈと第２信号Ｓ２Ｈの一例を図５に示す。
図示するように、照射光信号ＳＬに基づいて照射された第１変調光ＭＬＨは、被写体で反射した反射光ＲＬとして受光部３で受光される。光電変換によって生成された電荷は、第１制御信号Ｓｔ１及び第２制御信号Ｓｔ２に応じて第１ＦＤ３５と第２ＦＤ３７に蓄積される。

図５に示す第１領域ＡＲ１は、第１制御信号Ｓｔ１がＯＮ状態とされた間に第１ＦＤ３５に蓄積される電荷量を示している。また、第２領域ＡＲ２は、第２制御信号Ｓｔ２がＯＮ状態とされた間に第２ＦＤ３７に蓄積される電荷量を示している。

第１深度情報算出部５１は、第１領域ＡＲ１と第２領域ＡＲ２に基づいて被写体との深度情報を算出する。５０ＭＨｚの第１変調光ＭＬＨが被写体で反射した反射光は、位相θだけ遅れて受光部３で受光される。第１深度情報算出部５１は、位相θを算出し、位相θに応じて深度情報を算出する。

具体的には、第１制御信号Ｓｔ１及び第２制御信号Ｓｔ２のＯＮ／ＯＦＦ制御を数百回から数万回程度繰り返すことにより、微少な電荷を数百回から数万回に亘って第１ＦＤ３５及び第２ＦＤ３７に蓄積する。第１深度情報算出部５１は、このようにして第１ＦＤ３５及び第２ＦＤ３７に蓄積された電荷に基づいて位相θを算出する。

但し、第１深度情報算出部５１が算出する位相θは０～２πの間で算出される。従って、第１変調光ＭＬＨに対して反射光の遅れが２π＋θや４π＋θとされていても、第１深度情報算出部５１が算出する位相の遅れはθとして算出される。

第１深度情報算出部５１が算出する深度情報は、５０ＭＨｚで強度変調された第１変調光ＭＬＨを照射した場合に算出される深度情報であり、これを第１深度情報Ｄｐ１と記載する。

第１深度情報算出部５１が算出する第１深度情報Ｄｐ１は、測距レンジが狭い代わりに測距精度が高い。
第１深度情報算出部５１における測距レンジの狭さを補うために第２深度情報算出部５２が設けられている。

第２深度情報算出部５２は、２０ＭＨｚで強度変調された第２変調光ＭＬＬの反射光を受光することによって第１ＦＤ３５から出力される第１信号Ｓ１Ｌと第２ＦＤ３７から出力される第２信号Ｓ２Ｌに基づいて第２深度情報Ｄｐ２を算出する。具体的には、第１深度情報Ｄｐ１と同様に、第２変調光ＭＬＬに対する反射光の位相の遅れθを算出することにより深度情報が算出される。

第２深度情報Ｄｐ２は、５０ＭＨｚよりも低周波とされた２０ＭＨｚで強度変調された第２変調光ＭＬＬを用いて算出されるため、第１深度情報Ｄｐ１よりも測距レンジが広い。

第１深度情報算出部５１から出力される第１深度情報Ｄｐ１と第２深度情報算出部５２から出力される第２深度情報Ｄｐ２は距離情報算出部５３に出力される。

距離情報算出部５３は第１深度情報Ｄｐ１と第２深度情報Ｄｐ２を用いてＤｅ－Ａｌｉａｓ処理後の距離情報Ｄａを算出する。

ここで、第１変調光ＭＬＨを照射した場合に前述の位相θが２πとなる被写体との距離を第１測距可能距離ＭＤ１とする。また、第２変調光ＭＬＬを照射した場合に前述の位相θが２πとなる被写体との距離を第２測距可能距離ＭＤ２とする。また、第１測距可能距離ＭＤ１は第１折り返し距離とされ、第２測距可能距離ＭＤ２は第２折り返し距離とされる。

距離情報算出部５３が算出する距離情報Ｄａは０以上且つ第２測距可能距離ＭＤ２未満の値とされる。
従って、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上である場合には、適切でない距離情報Ｄａが算出される。

折り返し判定部５４は、距離情報算出部５３が算出した距離情報Ｄａが適切か否かを判定する。具体的には後述するが、距離情報Ｄａは被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の整数倍に達する毎に折り返された値が算出される。折り返し判定部５４は、距離情報Ｄａが折り返される前のものであるか、折り返された後のものであるかを判定する。この判定処理は、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であるか、第２測距可能距離ＭＤ２以上であるかを判定する処理と同義である。

折り返し判定部５４は、第２測距可能距離ＭＤ２以上であるか否かの判定結果と距離情報Ｄａを距離情報出力部５５に出力する。

距離情報出力部５５は、折り返し判定部５４から出力された判定結果に基づいて距離情報Ｄａを出力する。距離情報出力部５５は、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であることを示す判定結果が入力された場合には距離情報算出部５３で算出された距離情報Ｄａを出力し、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であることを示す判定結果が入力された場合には距離情報算出部５３で算出された距離情報Ｄａを出力せずに無効値を出力する。無効値は、距離情報Ｄａが取り得る値よりも大きな値として第２測距可能距離ＭＤ２よりも大きな値とされてもよいし、距離情報Ｄａが取り得ない負の値とされてもよいし、数値以外のフラグ情報などとされてもよい。

なお、各図において不図示としたが、測距装置１は、被写体に反射した反射光を適切に受光部３へ集光するための各種レンズや絞り機構などの光学部材と、それらの光学部材を駆動するためのドライバ等を備えていてもよい。

＜２．距離情報の算出＞
第１深度情報Ｄｐ１と第２深度情報Ｄｐ２と距離情報算出部５３が算出する距離情報Ｄａの関係を図６に示す。

図６に示すように、被写体との実距離Ｄｒが第１測距可能距離ＭＤ１未満であれば、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２の双方ともに被写体との実距離Ｄｒに応じた適切な深度情報が出力される。

被写体との実距離Ｄｒが第１測距可能距離ＭＤ１以上且つ第２測距可能距離ＭＤ２未満であれば、第２深度情報Ｄｐ２は被写体との実距離Ｄｒに応じた適切な深度情報が出力される。
一方、第１深度情報Ｄｐ１については、被写体との実距離Ｄｒとは異なる深度情報として第１測距可能距離ＭＤ１未満の深度情報が出力される。

更に、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であれば、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２の双方ともに被写体との実距離Ｄｒとは異なる深度情報が出力される。具体的には、第１深度情報Ｄｐ１として第１測距可能距離ＭＤ１未満の深度情報が出力され、第２深度情報Ｄｐ２として第２測距可能距離ＭＤ２未満の深度情報が出力される。

距離情報算出部５３は、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２から距離情報Ｄａを算出する。具体的には、先ず、以下に示す式（３）を満たす自然数Ｎを求める。

ＭＤ１×Ｎ≦Ｄｐ２＜ＭＤ１×（Ｎ＋１）・・・式（３）

次に、以下に示す式（４）を用いて距離情報Ｄａを算出する。

Ｄａ＝ＭＤ１×Ｎ＋Ｄｐ１・・・式（４）

このように、最終的に距離情報Ｄａを算出する式（４）において第２深度情報Ｄｐ２ではなく第１深度情報Ｄｐ１を用いることで、測距精度を確保することができる。

ここで、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２である場合の距離情報Ｄａについて説明する。被写体との実距離Ｄｒが第２測距可能距離ＭＤ２である場合において、上記の式（３）を満たす自然数Ｎを算出すると、Ｄｐ２＝０であることから自然数Ｎ＝０となる。
従って、式（４）よりＤａ＝Ｄｐとなる。

このように、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２を超えた場合には、算出される距離情報Ｄａが０にならないようにされている。これは、被写体の実距離ＤｒがＭＤ２とされた場合における第２深度情報Ｄｐ２（＝０）と第１深度情報Ｄｐ１（≠０）が一致していないことに基づいている。

＜３．判定処理＞
折り返し判定部５４が実行する判定処理について説明する。

折り返し判定部５４は、距離情報算出部５３が算出した距離情報Ｄａが折り返される前のものであるか、折り返された後のものであるかを判定する。
この判定処理は、光照射部２から照射された第２変調光ＭＬＬが被写体に反射されて受光部３で受光されるまでの位相変化が２π未満であるか否かを判定する処理と同義である。

具体的には、距離情報Ｄａと第２深度情報Ｄｐ２の差分Ｄｔを算出し、差分Ｄｔが閾値Ｔｈよりも大きいか否かを判定することにより、位相変化が２π未満であるか否かを判定する。

差分Ｄｔは例えば以下の式（５）によって算出可能である。

Ｄｔ＝ａｂｓ（Ｄａ－Ｄｐ２）・・・式（５）

なお、ａｂｓ関数は絶対値を取得する関数とされる。

図６に示すように、位相変化が２π未満であれば、即ち、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であれば、距離情報Ｄａと第２深度情報Ｄｐ２の差分Ｄｔは略ゼロ値となる。
一方、位相変化が２π以上であれば、即ち、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であれば、差分Ｄｔは第１測距可能距離ＭＤ１の略半分とされる。

差分Ｄｔの比較対象である閾値Ｔｈは、実環境において発生するノイズ等を考慮して、例えば、以下の式（６）を用いて設定する。

Ｔｈ＝（ＭＤ１）／３・・・式（６）

なお、閾値Ｔｈは、ゼロ値に近い小さな値とすると２π未満の位相変化を２π以上であると誤判定する虞があり、第１測距可能距離ＭＤ１の半分に近い大きな値とすると２π以上の位相変化を２π未満であると誤判定する虞がある。

閾値Ｔｈは、測定環境におけるノイズの大きさによって適切に決定されることが望ましい。ノイズが小さい場合には、閾値Ｔｈをゼロ値に近い小さな値とすることや、第１測距可能距離ＭＤ１の半分に近い大きな値とすることが許容される。

また、ノイズによって誤判定をしないように、受光信号の強度に応じて閾値Ｔｈが変化するように構成されていてもよい。

位相変化が２π未満であるか否かの判定結果（被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であるか否かの判定結果）は、折り返し判定部５４から距離情報出力部５５に出力される。

なお、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の２倍以上３倍未満とされた場合には、差分Ｄｔが略ゼロ値とされる。しかし、この場合には、測距したい距離である第２測距可能距離ＭＤ２に対して被写体との実距離Ｄｒが２倍以上の距離とされているため、反射光が著しく弱くなっていると考えられる。
従って、受光量が所定値よりも低い場合には、算出された第１深度情報Ｄｐ１や第２深度情報Ｄｐ２を無視することにより、後段の距離情報出力処理において不適切な距離情報が出力されないようにすることができる。

また、換言すれば、測距したい距離の２倍以上の距離にある被写体で反射した光の受光量が所定値よりも低くなるように発光強度を調節することにより、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の２倍以上３倍未満とされた場合において距離情報Ｄａが折り返される前のものである、即ち、第２変調光ＭＬＬの位相変化が２π未満であると誤判定されてしまう可能性を排除することができる。

＜４．距離情報出力処理＞
距離情報出力部５５は、折り返し判定部５４から判定結果と距離情報Ｄａを受け取り、必要に応じて距離情報Ｄａを出力する。具体的には、位相変化が２π未満であることを示す判定結果を受け取った場合には、距離情報Ｄａは被写体との実距離Ｄｒを示す情報とされているため、距離情報Ｄａを出力する。

一方、位相変化が２π以上であることを示す判定結果を受け取った場合には、距離情報Ｄａは被写体との実距離Ｄｒと乖離した情報であるため、折り返し判定部５４から受け取った距離情報Ｄａをそのまま出力することはしない。代わりに、距離情報Ｄａに無効値を示す情報を格納して距離情報Ｄａとして出力してもよい。

無効値を示す情報としては、上述したように、距離情報Ｄａが取り得る値よりも大きな値として第２測距可能距離ＭＤ２よりも大きな値とされてもよいし、距離情報Ｄａが取り得ない負の値とされてもよいし、数値以外のフラグ情報などとされてもよい。

＜５．処理フロー＞
測距装置１の処理部として制御部４や信号処理部５が実行する処理の流れについて、図７を参照して説明する。

先ず、ステップＳ１０１において、測距装置１の制御部４は光照射部２及び受光部３と協働することにより発光処理と露光処理を行う。

これにより、画素３１ごとの第１信号Ｓ１と第２信号Ｓ２が後段の信号処理部５に出力される。なお、ステップＳ１０１の発光処理及び露光処理は、第１変調光ＭＬＨの照射及び露光と、第２変調光ＭＬＬの照射及び露光が行われる。従って、ステップＳ１０１においては、第１変調光ＭＬＨの受光に基づく第１信号Ｓ１及び第２信号Ｓ２と、第２変調光ＭＬＬの受光に基づく第１信号Ｓ１及び第２信号Ｓ２が出力される。

信号処理部５はステップＳ１０２においてカウンタｃｎｔをゼロ値にリセットする処理を行う。カウンタｃｎｔは画素ごとの処理を終えるたびに加算されていくカウンタであり、一枚の距離画像を生成する際に必要となる処理を終えたか否かを判定するために用いられる。

次に信号処理部５の第１深度情報算出部５１及び第２深度情報算出部５２は、ステップＳ１０３において第１深度情報Ｄｐ１及び第２深度情報Ｄｐ２を算出する処理を行う。

信号処理部５の距離情報算出部５３はステップＳ１０４において、第１深度情報Ｄｐ１及び第２深度情報Ｄｐ２を用いて距離情報Ｄａを算出する。ここで算出される距離情報Ｄａは、ゼロ値以上且つ第２測距可能距離ＭＤ２未満の値とされる。

信号処理部５の折り返し判定部５４は、ステップＳ１０５において、折り返し判定を行う。折り返し判定では、前述したように、光照射部２から照射された第２変調光ＭＬＬが被写体に反射されて受光部３で受光されるまでの位相変化が２π未満であるか否かを判定する。

折り返されていないと判定された場合、即ち、位相変化が２π未満であると判定された場合、信号処理部５の距離情報出力部５５はステップＳ１０６において、距離情報算出部５３によって算出された距離情報Ｄａを出力する。

一方、折り返されていると判定された場合、即ち、位相変化が２π以上であると判定された場合、信号処理部５の距離情報出力部５５はステップＳ１０７において無効値を出力する。

ステップＳ１０６またはステップＳ１０７の処理を実行した後、信号処理部５はステップＳ１０８において、カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値未満であるか否かを判定する。
横画素数Ｐｗは、撮像された画像における横方向（水平方向）の画素数を示す。また、縦画素数Ｐｈは、撮像された画像における縦方向（垂直方向）の画素数を示す。

カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値未満である場合には、距離画像に含まれる画素数分の処理を終えていないことになる。この場合には、信号処理部５はステップＳ１０９においてカウンタｃｎｔに1を加算してステップＳ１０３の処理へと戻る。

一方、カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値以上である場合には、一枚の距離画像を生成するために必要な画素数分の処理を終えていることになる。この場合には、信号処理部５はステップＳ１０１の処理へと戻り次フレームの距離画像を得るための発光処理及び露光処理を行う。

測距装置１は、図７に示す一連の処理を実行することにより、複数枚の距離画像を生成することが可能となる。

＜６．まとめ＞
これまで説明してきたように、信号処理装置としての測距装置１は、第１周波数ｆＨ（例えば５０ＭＨｚ）により変調された第１変調光ＭＬＨの受光信号に基づいて第１深度情報Ｄｐ１を算出する第１深度情報算出部５１と、第１周波数ｆＨ未満とされた第２周波数ｆＬ（例えば２０ＭＨｚ）により変調された第２変調光ＭＬＬの受光信号に基づいて第２深度情報Ｄｐ２を算出する第２深度情報算出部５２と、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２に基づいて被写体までの距離情報Ｄａを算出する距離情報算出部５３と、照射から受光までの第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定する折り返し判定部５４と、第２変調光ＭＬＬの位相変化が２π未満であると判定された場合に距離情報Ｄａを出力する距離情報出力部５５と、を備えている。
第２変調光ＭＬＬの位相変化が２π未満である場合は、第２深度情報Ｄｐ２と被写体までの実際の距離（被写体との実距離Ｄｒ）が略等しくされる。
従って、被写体までの実際の距離に応じた適切な距離情報Ｄａを出力することができる。

図７等を用いて説明したように、また、測距装置１における距離情報出力部５５は、第２変調光ＭＬＬの位相変化が２π以上であると判定された場合に距離情報Ｄａとして無効値を出力してもよい。
第２変調光ＭＬＬの位相変化が２π以上である場合には、第２深度情報Ｄｐ２が被写体までの実際の距離（被写体との実距離Ｄｒ）よりも短くされる。
従って、被写体までの実際の距離と乖離している距離情報Ｄａが出力されないようにすることができる。

式（４）等を用いて説明したように、測距装置１における距離情報算出部５３は、第２深度情報Ｄｐ２が第１変調光ＭＬＨの位相変化が２πとされたときの被写体の距離である第１折り返し距離（第１測距可能距離ＭＤ１）以上である場合に、第１折り返し距離と第１深度情報Ｄｐ１とを加算することにより距離情報Ｄａを算出してもよい。
第１折り返し距離とは、第１変調光ＭＬＨが照射されてから受光されるまでの位相の変化が丁度２πとなる被写体までの距離であり、第１変調光ＭＬＨによって測距可能な距離でもある。第１変調光ＭＬＨの照射によって得られる第１深度情報Ｄｐ１は第２変調光ＭＬＬの照射によって得られる第２深度情報Ｄｐ２よりも高精度とされる。
これにより、距離情報算出部５３が算出する距離情報Ｄａを高精度なものとすることができる。

図６等を用いて説明したように、測距装置１においては、以下の条件式（Ａ）を満足するように構成してもよい。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
上述した例においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされているため、条件式（Ａ）においてｎ＝２．５となり、ｎが自然数であるという条件を満たさない。従って、上述した例は、条件式（Ａ）を満たすものである。
これにより、被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２の１倍以上２倍未満とされた場合に算出される距離情報Ｄａがゼロ値ではなくなる。
従って、被写体までの実際の距離と乖離しているか否かの判定を行うことが可能となる。

図６等を用いて説明したように、測距装置１においては、以下の条件式（Ｂ）を満足するように構成してもよい。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
上述した例においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされているため、条件式（Ｂ）においてｎ＝２となり、ｎが自然数であるという条件を満たす。従って、上述した例は、条件式（Ｂ）を満たすものである。
これにより、被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２と同じ場合に算出される距離情報Ｄａは、第１変調光ＭＬＨにおける第１測距可能距離ＭＤ１の略半分の数値とされる。
従って、第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２は、第１変調光ＭＬＨにおける第１測距可能距離ＭＤ１の定数倍となる距離の丁度中心の値となるため、被写体までの実際の距離と乖離しているか否かの判定を行うことが可能となるだけでなく、ノイズやキャリブレーションずれや混色等による誤判定への耐性を高めることができる。

図６等を用いて説明したように、測距装置１における折り返し判定部５４は、第２深度情報Ｄｐ２と距離情報Ｄａを比較することにより第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定してもよい。
被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２の１倍以上且つ２倍未満とされた場合において算出される距離情報Ｄａは、算出される第２深度情報Ｄｐ２と乖離したものとなる。
従って、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔを算出することにより、第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定することができる。これにより、被写体までの実際の距離に応じた適切な距離情報を出力することができる

図６等を用いて説明したように、測距装置１における折り返し判定部５４は、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔが閾値Ｔｈ以上である場合に第２変調光ＭＬＬの位相変化が２π以上であると判定してもよい。
これにより、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔがある程度大きい場合に第２変調光ＭＬＬの位相変化が２π以上であると判定される。
従って、ノイズ等による誤判定を防止することができる。

図７等を用いて説明したように、測距装置１においては、二次元配列された画素３１ごとに距離情報Ｄａを算出することにより距離画像を生成してもよい。
これにより、距離画像における画素３１ごとの距離情報Ｄａにおいて、第２変調光ＭＬＬの位相変化が２π未満である場合は、第２深度情報Ｄｐ２と被写体までの実際の距離（被写体との実距離Ｄｒ）が略等しくされる。
従って、被写体までの実際の距離に応じた適切な距離情報Ｄａに基づく距離画像を出力することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜７．本技術＞
（１）
第１周波数により変調された第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
前記第１周波数未満とされた第２周波数により変調された第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を備える
信号処理装置。
（２）
前記距離情報出力部は、前記第２変調光の位相変化が２π以上であると判定された場合に無効値を出力する
上記（１）に記載の信号処理装置。
（３）
前記距離情報算出部は、前記第２深度情報が前記第１変調光の位相変化が２πとされたときの被写体の距離である第１折り返し距離以上である場合に、前記第１折り返し距離と前記第１深度情報とを加算することにより前記距離情報を算出する
上記（１）から上記（２）の何れかに記載の信号処理装置。
（４）
以下の条件式（Ａ）を満足する
上記（３）に記載の信号処理装置。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
（５）
以下の条件式（Ｂ）を満足する
上記（４）に記載の信号処理装置。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
（６）
前記折り返し判定部は、前記第２深度情報と前記距離情報を比較することにより前記第２変調光の位相変化が２π未満であるか否かを判定する
上記（４）から上記（５）の何れかに記載の信号処理装置。
（７）
前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定する
上記（６）に記載の信号処理装置。
（８）
二次元配列された画素ごとに前記距離情報を算出することにより距離画像を生成する
上記（１）から上記（７）の何れかに記載の信号処理装置。
（９）
第１周波数により変調された第１変調光と前記第１周波数未満とされた第２周波数により変調された第２変調光の照射が可能とされた光照射部と、
前記第１変調光及び前記第２変調光が被写体に反射した反射光を受光し前記反射光の光強度に応じた受光信号を出力する受光部と、
前記受光部から出力された受光信号に対する信号処理を行う信号処理部と、を備え、
前記信号処理部は、
前記第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
前記第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を有する
測距装置。
（１０）
第１周波数により変調された第１変調光の照射処理と、
前記第１変調光の受光信号に基づいて第１深度情報を算出する処理と、
前記第１周波数未満とされた第２周波数により変調された第２変調光の照射処理と、
前記第２変調光の受光信号に基づいて第２深度情報を算出する処理と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する処理と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する処理と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する処理と、を備えた
測距方法
（１１）
第１周波数により変調された第１変調光及び前記第１周波数未満とされた第２周波数により変調された第２変調光の受光が可能とされ、光電変換部における光電変換によって生じた電荷を検出する第１タップ及び第２タップを有する画素アレイ部を備え、
前記第２変調光の照射から受光までの位相変化が２π以上であるか否かを判定するための受光信号として、前記画素アレイ部は、前記第１変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号と、前記第２変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号とを、出力する
イメージセンサ。

Ｄａ 距離情報
Ｄｐ１ 第１深度情報
Ｄｐ２ 第２深度情報
Ｄｔ 差分
ｆＨ 第１周波数
ｆＬ 第２周波数
ＭＤ１ 第１測距可能距離
ＭＤ２ 第２測距可能距離
ＭＬＨ 第１変調光
ＭＬＬ 第２変調光
Ｔｈ 閾値
１ 測距装置
２ 光照射部
３ 受光部
５ 信号処理部
３１ 画素
３３ 第１タップ
３４ 第２タップ
５１ 第１深度情報算出部
５２ 第２深度情報算出部
５３ 距離情報算出部
５４ 折り返し判定部
５５ 距離情報出力部

Claims (9)

1. 第１周波数により変調された第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
   前記第１周波数未満とされた第２周波数により変調された第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
   前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
   照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
   前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を備え、
   前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定し、
   前記閾値は、受光信号の強度に応じて可変とされた
   信号処理装置。
2. 前記距離情報出力部は、前記第２変調光の位相変化が２π以上であると判定された場合に無効値を出力する
   請求項１に記載の信号処理装置。
3. 前記距離情報算出部は、前記第２深度情報が前記第１変調光の位相変化が２πとされたときの被写体の距離である第１折り返し距離以上である場合に、前記第１折り返し距離と前記第１深度情報とを加算することにより前記距離情報を算出する
   請求項１に記載の信号処理装置。
4. 以下の条件式（Ａ）を満足する
   請求項３に記載の信号処理装置。
   （Ａ）ｆＨ≠ｎ×ｆＬ
   但し、
   ｆＨ：第１周波数
   ｆＬ：第２周波数
   ｎ：自然数
   とする。
5. 以下の条件式（Ｂ）を満足する
   請求項４に記載の信号処理装置。
   （Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
   但し、
   ｆＨ：第１周波数
   ｆＬ：第２周波数
   ｎ：自然数
   とする。
6. 二次元配列された画素ごとに前記距離情報を算出することにより距離画像を生成する
   請求項１に記載の信号処理装置。
7. 第１周波数により変調された第１変調光と前記第１周波数未満とされた第２周波数により変調された第２変調光の照射が可能とされた光照射部と、
   前記第１変調光及び前記第２変調光が被写体に反射した反射光を受光し前記反射光の光強度に応じた受光信号を出力する受光部と、
   前記受光部から出力された受光信号に対する信号処理を行う信号処理部と、を備え、
   前記信号処理部は、
   前記第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
   前記第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
   前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
   照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
   前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を有し、
   前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定し、
   前記閾値は、受光信号の強度に応じて可変とされた
   測距装置。
8. 第１周波数により変調された第１変調光の照射処理と、
   前記第１変調光の受光信号に基づいて第１深度情報を算出する処理と、
   前記第１周波数未満とされた第２周波数により変調された第２変調光の照射処理と、
   前記第２変調光の受光信号に基づいて第２深度情報を算出する処理と、
   前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する処理と、
   照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する処理と、
   前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する処理と、を備え、
   ２π未満であるか否かを判定する前記処理では、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定され、
   前記閾値は、受光信号の強度に応じて可変とされた
   測距方法。
9. 第１周波数により変調された第１変調光及び前記第１周波数未満とされた第２周波数により変調された第２変調光の受光が可能とされ、光電変換部における光電変換によって生じた電荷を検出する第１タップ及び第２タップを有する画素アレイ部を備え、
   前記第２変調光の照射から受光までの位相変化が２π以上であるか否かを判定するための受光信号として、前記画素アレイ部は、前記第１変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号と、前記第２変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号とを、出力し、
   前記第１変調光の受光信号は第１深度情報の算出に用いられ、
   前記第２変調光の受光信号は第２深度情報の算出に用いられ、
   前記第１深度情報と前記第２深度情報は、被写体までの距離情報の算出に用いられ、
   ２π以上であるか否かについての前記判定では、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定され、
   前記閾値は、受光信号の強度に応じて可変とされた
   イメージセンサ。