JP7789012B2

JP7789012B2 - Signal processing device, distance measuring device, distance measuring method, image sensor

Info

Publication number: JP7789012B2
Application number: JP2022565154A
Authority: JP
Inventors: 憲明杉本
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-11-26
Filing date: 2021-10-28
Publication date: 2025-12-19
Anticipated expiration: 2041-10-28
Also published as: WO2022113637A1; JPWO2022113637A1

Description

本技術は、測距のための信号処理を行う信号処理装置、測距装置、測距方法、イメージセンサに関する。 This technology relates to a signal processing device that performs signal processing for ranging, a ranging device, a ranging method, and an image sensor.

測距技術としてＴｏＦ（Time of Flight）が知られている。ＴｏＦでは、測距レンジと測距精度を両立させることが望まれている。
例えば、下記の特許文献１においては、二つの変調周波数をアナログ的に重畳して測距し、Ｄｅ－Ａｌｉａｓ処理を行う技術が提案されている。 Time of Flight (ToF) is a known distance measurement technology, and it is desirable to achieve both a long distance measurement range and high distance measurement accuracy.
For example, Patent Document 1 below proposes a technique for measuring distance by analog superimposing two modulation frequencies and performing De-Alias processing.

特開２０１８－０３６１４５公報JP 2018-036145 A

ところで、特許文献１に記載の方法では、二つの変調周波数ｆ１，ｆ２がｎ１・ｆ１＝ｎ２・ｆ２を満たし、ｎ１、ｎ２が自然数且つｎ１／ｎ２が自然数でないという条件を満たす必要がある。 Incidentally, the method described in Patent Document 1 requires that the two modulation frequencies f1 and f2 satisfy the condition n1·f1 = n2·f2, that n1 and n2 are natural numbers, and that n1/n2 is not a natural number.

ところが、ＰＬＬ（Phase Locked Loop）の精度やＥＭＩ（Electro Magnetic Interference）対策等によって上記の条件を満たす変調周波数を正確に設定できない場合がある。However, it may not be possible to accurately set a modulation frequency that meets the above conditions due to factors such as the accuracy of the PLL (Phase Locked Loop) and EMI (Electro Magnetic Interference) countermeasures.

本技術は上記事情に鑑み為されたものであり、変調周波数の設定に柔軟性を持たせた上でＤｅ－Ａｌｉａｓ処理を行うことを目的とする。 This technology was developed in consideration of the above circumstances, and aims to perform De-Alias processing while providing flexibility in setting the modulation frequency.

本技術に係る信号処理装置は、第１周波数により変調された第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、前記第１周波数未満とされた第２周波数により変調された第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を備えるものである。
第２変調光の位相変化が２π未満である場合は、第２深度情報と被写体までの実際の距離が略等しくされる。 The signal processing device according to the present technology includes a first depth information calculation unit that calculates first depth information based on a received light signal of first modulated light modulated by a first frequency, a second depth information calculation unit that calculates second depth information based on a received light signal of second modulated light modulated by a second frequency that is less than the first frequency, a distance information calculation unit that calculates distance information to a subject based on the first depth information and the second depth information, a folding determination unit that determines whether a phase change of the second modulated light from irradiation to reception is less than 2π, and a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π.
When the phase change of the second modulated light is less than 2π, the second depth information and the actual distance to the subject are made substantially equal.

上記した信号処理装置における前記距離情報出力部は、前記第２変調光の位相変化が２π以上であると判定された場合に無効値を出力してもよい。
第２変調光の位相変化が２π以上である場合には、第２深度情報が被写体までの実際の距離よりも短くされる。 The distance information output section in the above-described signal processing device may output an invalid value when it is determined that the phase change of the second modulated light is 2π or more.
When the phase change of the second modulated light is 2π or more, the second depth information is set to be shorter than the actual distance to the subject.

上記した信号処理装置における前記距離情報算出部は、前記第１変調光の位相変化が２πとされたときの被写体の距離である第１折り返し距離と前記第１深度情報とを加算することにより前記距離情報を算出してもよい。
第１折り返し距離とは、第１変調光が照射されてから受光されるまでの位相の変化が丁度２πとなる被写体までの距離であり、第１変調光によって測距可能な距離でもある。第１変調光の照射によって得られる第１深度情報は第２変調光の照射によって得られる第２深度よりも高精度とされる。 The distance information calculation unit in the above-mentioned signal processing device may calculate the distance information by adding a first folding distance, which is the distance to the subject when the phase change of the first modulated light is set to 2π, and the first depth information.
The first return distance is the distance to the subject at which the phase change from when the first modulated light is irradiated to when it is received is exactly 2π, and is also the distance that can be measured using the first modulated light. The first depth information obtained by irradiating the first modulated light is more accurate than the second depth information obtained by irradiating the second modulated light.

上記した信号処理装置においては、以下の条件式（Ａ）を満足するように構成されていてもよい。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
これにより、被写体までの実際の距離が第２変調光における測距可能距離の１倍以上２倍未満とされた場合に算出される距離情報がゼロ値ではなくなる。 The above-described signal processing device may be configured to satisfy the following conditional expression (A).
(A) fH ≠ n × fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
As a result, when the actual distance to the subject is equal to or greater than one time and less than two times the distance that can be measured with the second modulated light, the calculated distance information is no longer a zero value.

上記した信号処理装置においては、以下の条件式（Ｂ）を満足するように構成されていてもよい。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
これにより、被写体までの実際の距離が第２変調光における測距可能距離と同じ場合に算出される距離情報は、第１変調光における測距可能距離の略半分の数値とされる。 The above-described signal processing device may be configured to satisfy the following conditional expression (B).
(B) fH=(n+0.5)fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
As a result, when the actual distance to the subject is the same as the distance that can be measured with the second modulated light, the distance information calculated is a value that is approximately half the distance that can be measured with the first modulated light.

上記した信号処理装置における前記折り返し判定部は、前記第２深度情報と前記距離情報を比較することにより前記第２変調光の位相変化が２π未満であるか否かを判定してもよい。
被写体までの実際の距離が第２変調光における測距可能距離の１倍以上且つ２倍未満とされた場合において算出される距離情報は、算出される第２深度情報と乖離したものとなる。 The aliasing determination unit in the above-described signal processing device may determine whether or not a phase change of the second modulated light is less than 2π by comparing the second depth information with the distance information.
When the actual distance to the subject is equal to or greater than one time and less than two times the distance that can be measured with the second modulated light, the calculated distance information deviates from the calculated second depth information.

上記した信号処理装置における前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定してもよい。
これにより、第２深度情報と距離情報の差分がある程度大きい場合に前記第２変調光の位相変化が２π以上であると判定される。 The aliasing determination unit in the signal processing device may determine that the phase change of the second modulated light is 2π or more when the difference between the second depth information and the distance information is equal to or greater than a threshold value.
As a result, when the difference between the second depth information and the distance information is relatively large, it is determined that the phase change of the second modulated light is 2π or more.

上記した信号処理装置においては、二次元配列された画素ごとに前記距離情報を算出することにより距離画像を生成してもよい。
これにより、距離画像における画素ごとの距離情報において、第２変調光の位相変化が２π未満である場合は、第２深度情報と被写体までの実際の距離が略等しくされる。 In the above-described signal processing device, a distance image may be generated by calculating the distance information for each of two-dimensionally arranged pixels.
As a result, when the phase change of the second modulated light in the distance information for each pixel in the distance image is less than 2π, the second depth information and the actual distance to the subject are made substantially equal.

本技術に係る測距装置は、第１周波数により変調された第１変調光と前記第１周波数未満とされた第２周波数により変調された第２変調光の照射が可能とされた光照射部と、前記第１変調光及び前記第２変調光が被写体に反射した反射光を受光し前記反射光の光強度に応じた受光信号を出力する受光部と、前記受光部から出力された受光信号に対する信号処理を行う信号処理部と、を備え、前記信号処理部は、前記第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、前記第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を有するものである。 The distance measuring device according to the present technology comprises a light irradiation unit capable of irradiating first modulated light modulated by a first frequency and second modulated light modulated by a second frequency less than the first frequency; a light receiving unit that receives light reflected from a subject from the first modulated light and the second modulated light and outputs a light reception signal corresponding to the light intensity of the reflected light; and a signal processing unit that performs signal processing on the light reception signal output from the light receiving unit. The signal processing unit has a first depth information calculation unit that calculates first depth information based on the light reception signal of the first modulated light; a second depth information calculation unit that calculates second depth information based on the light reception signal of the second modulated light; a distance information calculation unit that calculates distance information to the subject based on the first depth information and the second depth information; a folding determination unit that determines whether the phase change of the second modulated light from irradiation to reception is less than 2π; and a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π.

本技術に係る測距装置が実行する測距方法は、第１周波数により変調された第１変調光の照射処理と、前記第１変調光の受光信号に基づいて第１深度情報を算出する処理と、前記第１周波数未満とされた第２周波数により変調された第２変調光の照射処理と、前記第２変調光の受光信号に基づいて第２深度情報を算出する処理と、前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する処理と、照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する処理と、前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する処理と、を備えたものである。 The ranging method performed by the ranging device of the present technology includes a process of irradiating first modulated light modulated by a first frequency, a process of calculating first depth information based on a received light signal of the first modulated light, a process of irradiating second modulated light modulated by a second frequency less than the first frequency, a process of calculating second depth information based on a received light signal of the second modulated light, a process of calculating distance information to a subject based on the first depth information and the second depth information, a process of determining whether the phase change of the second modulated light from irradiation to reception is less than 2π, and a process of outputting the distance information if it is determined that the phase change of the second modulated light is less than 2π.

本技術に係るイメージセンサは、第１周波数により変調された第１変調光及び前記第１周波数未満とされた第２周波数により変調された第２変調光の受光が可能とされ、光電変換部における光電変換によって生じた電荷を検出する第１タップ及び第２タップを有する画素アレイ部を備え、前記第２変調光の照射から受光までの位相変化が２π以上であるか否かを判定するための受光信号として、前記画素アレイ部は、前記第１変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号と、前記第２変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号とを、出力するものである。
このような測距装置、測距方法及びイメージセンサによっても、上記した本技術に係る信号処理装置と同様の作用を得ることができる。 The image sensor according to the present technology is capable of receiving first modulated light modulated by a first frequency and second modulated light modulated by a second frequency that is less than the first frequency, and includes a pixel array unit having a first tap and a second tap that detect electric charges generated by photoelectric conversion in a photoelectric conversion unit, and the pixel array unit outputs detection signals of the first tap and the second tap based on reception of the first modulated light and detection signals of the first tap and the second tap based on reception of the second modulated light as light reception signals for determining whether a phase change from irradiation of the second modulated light to reception of the second modulated light is 2π or more.
Such a distance measuring device, distance measuring method, and image sensor can also provide the same effects as the signal processing device according to the present technology described above.

本技術に係る測距装置の構成例を示す図である。FIG. 1 is a diagram illustrating an example of the configuration of a distance measuring device according to the present technology. 本技術に係る受光部が備える各画素の構成例を示す図である。1 is a diagram illustrating an example of the configuration of each pixel included in a light receiving unit according to the present technology; 本技術に係る露光制御と受光制御に関する書く信号のタイミングチャートである。10 is a timing chart of signals relating to exposure control and light receiving control according to the present technology. 本技術に係る信号処理部が備える各部の構成例を示す図である。1 is a diagram illustrating an example of the configuration of each unit included in a signal processing unit according to the present technology. 本技術に係る第１制御信号と第２制御信号のＯＮ／ＯＦＦ制御と第１ＦＤと第２ＦＤに蓄積される電荷量の一例を示す図である。10A and 10B are diagrams illustrating an example of ON/OFF control of a first control signal and a second control signal according to the present technology and an example of the amount of charge stored in a first FD and a second FD. 本技術に係る第１深度情報と第２深度情報と距離情報算出部が算出する距離情報の関係を示す図である。10 is a diagram showing a relationship between first depth information, second depth information, and distance information calculated by a distance information calculation unit according to the present technology; 本技術に係る制御部及び信号処理部が実行する処理のフローチャートである。10 is a flowchart of a process executed by a control unit and a signal processing unit according to the present technology.

以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．距離情報の算出＞
＜３．判定処理＞
＜４．距離情報出力処理＞
＜５．処理フロー＞
＜６．まとめ＞
＜７．本技術＞
Hereinafter, with reference to the accompanying drawings, embodiments according to the present technology will be described in the following order.
<1. System Configuration>
2. Calculation of distance information
<3. Determination Process>
<4. Distance information output processing>
<5. Processing flow>
<6. Summary>
<7. This Technology>

＜１．システム構成＞
本技術の測距装置１の構成について図１を参照して説明する。
測距装置１は、光照射部２、受光部３、制御部４、信号処理部５を備えている。 <1. System Configuration>
The configuration of a distance measuring device 1 according to the present technology will be described with reference to FIG.
The distance measuring device 1 includes a light emitting unit 2, a light receiving unit 3, a control unit 4, and a signal processing unit 5.

光照射部２は、例えば赤外線（ＩＲ：Infrared）ＬＥＤ（Light Emitting Diode）などの光源を備えて構成され、制御部４から入力される制御信号に基づいて光を照射する。
光照射部２は特定周波数に基づいて光強度を変調させた変調光の照射が可能とされている。また、光照射部２は、特定周波数を異ならせた複数種類の変調光の照射が可能とされている。以下に示す例では、２種類の特定周波数に基づいて変調された２種類の変調光の照射が可能とされている。以下の説明においては、特定周波数を変調周波数と記載する。 The light emitting unit 2 is configured to include a light source such as an infrared (IR) light emitting diode (LED), and emits light based on a control signal input from the control unit 4 .
The light irradiating unit 2 is capable of irradiating modulated light whose light intensity is modulated based on a specific frequency. The light irradiating unit 2 is also capable of irradiating multiple types of modulated light whose specific frequencies are different. In the example shown below, the light irradiating unit 2 is capable of irradiating two types of modulated light modulated based on two specific frequencies. In the following description, the specific frequencies are referred to as modulation frequencies.

以下に示す各例において光照射部２は、２種類の変調周波数に基づく変調光の照射が可能とされている。また、２種類の変調周波数は、相対的に高周波とされた変調周波数を第１周波数ｆＨとし、相対的に低周波とされた変調周波数を第２周波数ｆＬとすると、第１周波数ｆＨは第２周波数ｆＬの整数倍とならないように決定される。具体的には、以下の式（１）を満たすように設定される。 In each of the examples shown below, the light irradiation unit 2 is capable of emitting modulated light based on two types of modulation frequencies. Furthermore, the two types of modulation frequencies are determined so that the first frequency fH is a relatively high modulation frequency and the second frequency fL is a relatively low modulation frequency. Specifically, the first frequency fH is set so as not to be an integer multiple of the second frequency fL. Specifically, they are set so as to satisfy the following equation (1):

ｆＨ≠ｎ×ｆＬ・・・式（１） fH≠n×fL...Formula (1)

本例では、第１周波数ｆＨと第２周波数ｆＬが以下の式（２）を満たすようにされる。 In this example, the first frequency fH and the second frequency fL are set to satisfy the following equation (2).

ｆＨ＝（ｎ＋０．５）ｆＬ・・・式（２） fH=(n+0.5)fL...Formula (2)

以下の説明においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされた例について述べる。
また、第１周波数ｆＨに基づいて変調された変調光を第１変調光ＭＬＨと記載し、第２周波数ｆＬに基づいて変調された変調光を第２変調光ＭＬＬと記載する。
なお、光照射部２は３種類以上の変調周波数に基づく変調光の照射が可能とされていてもよい。 In the following description, an example will be described in which the first frequency fH is set to 50 MHz and the second frequency fL is set to 20 MHz.
Furthermore, modulated light modulated based on the first frequency fH is referred to as first modulated light MLH, and modulated light modulated based on the second frequency fL is referred to as second modulated light MLL.
The light emitting unit 2 may be capable of emitting modulated light based on three or more types of modulation frequencies.

受光部３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサであり、ｉＴｏＦ（Indirect ToF）方式を用いた測距が可能なセンサとして構成されている。受光部３は、画素３１が２次元配列されて構成された画素アレイ部を備えている。
受光部３は、制御部４から入力される制御信号に基づく受光制御を行う。 The light receiving unit 3 is an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type, and is configured as a sensor capable of distance measurement using an iToF (Indirect ToF) method. The light receiving unit 3 includes a pixel array unit in which pixels 31 are arranged two-dimensionally.
The light receiving unit 3 controls light reception based on a control signal input from the control unit 4 .

受光部３の画素３１の構成例について図２に示す。
画素３１は、受光素子とされたＰＤ（Photodiode）３２と、ＰＤ３２における光電変換で生成された電荷を検出する第１タップ３３及び第２タップ３４とを備えて構成されている。
本例におけるＰＤ３２は、例えば、赤外領域の光についての感度を有するものとされている。 An example of the configuration of the pixel 31 of the light receiving section 3 is shown in FIG.
The pixel 31 is configured to include a PD (Photodiode) 32 serving as a light receiving element, and a first tap 33 and a second tap 34 for detecting charges generated by photoelectric conversion in the PD 32 .
The PD 32 in this example is sensitive to light in the infrared region, for example.

第１タップ３３は、第１ＦＤ（Floating Diffusion）３５と、ＰＤ３２から第１ＦＤ３５に電荷を転送するための第１転送トランジスタ３６と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。 The first tap 33 is composed of a first FD (Floating Diffusion) 35, a first transfer transistor 36 for transferring charge from the PD 32 to the first FD 35, and a selection transistor and a reset transistor (not shown).

第２タップ３４は、第２ＦＤ３７と、ＰＤ３２から第２ＦＤ３７に電荷を転送するための第２転送トランジスタ３８と、図示しない選択トランジスタとリセットトランジスタを備えて構成されている。 The second tap 34 is composed of a second FD 37, a second transfer transistor 38 for transferring charge from PD 32 to the second FD 37, and a selection transistor and a reset transistor (not shown).

第１転送トランジスタ３６と第２転送トランジスタ３８は一方がＯＮ状態に制御された場合に他方がＯＦＦ状態に制御される。即ち、第１転送トランジスタ３６と第２転送トランジスタ３８の双方が同時にＯＮ状態とならないように制御される。 When one of the first transfer transistor 36 and the second transfer transistor 38 is controlled to the ON state, the other is controlled to the OFF state. In other words, the first transfer transistor 36 and the second transfer transistor 38 are controlled so that both are not ON at the same time.

第１転送トランジスタ３６のＯＮ／ＯＦＦ状態を制御するための信号は、光照射部２が備える光源の発光周期と同期されている。また、第１転送トランジスタ３６と第２転送トランジスタ３８に付与される制御信号は、位相差が１８０度とされる。 The signal for controlling the ON/OFF state of the first transfer transistor 36 is synchronized with the light emission cycle of the light source provided in the light irradiation unit 2. In addition, the control signals applied to the first transfer transistor 36 and the second transfer transistor 38 have a phase difference of 180 degrees.

第１ＦＤ３５に転送された電荷は、読み出し信号に応じて第１タップ３３から出力される検出信号である第１信号Ｓ１として信号処理部５に出力される。
第２ＦＤ３７に転送された電荷は、読み出し信号に応じて第２タップ３４から出力される検出信号である第２信号Ｓ２として信号処理部５に出力される。 The charges transferred to the first FD 35 are output to the signal processing unit 5 as a first signal S1, which is a detection signal output from the first tap 33 in response to a read signal.
The charges transferred to the second FD 37 are output to the signal processing unit 5 as a second signal S2, which is a detection signal output from the second tap 34 in response to the readout signal.

画素３１は、図２に示す各部以外にも図示しない読み出し用のトランジスタやリセット用のトランジスタを備えている。 In addition to the various parts shown in Figure 2, pixel 31 also has a readout transistor and a reset transistor (not shown).

図１の説明に戻る。
制御部４は、上記したように、変調光を照射するための変調周波数に応じた駆動信号（２０ＭＨｚや５０ＭＨｚ）を光照射部２に供給する。
これにより、光照射部２は、供給された矩形波の駆動信号に基づいて強度変調された光の照射が可能とされる。なお、光照射部２は正弦波の駆動信号に基づいて強度変調された光を照射してもよい。 Returning to the description of FIG.
As described above, the control unit 4 supplies the light emitting unit 2 with a drive signal (20 MHz or 50 MHz) corresponding to the modulation frequency for emitting modulated light.
This enables the light irradiating unit 2 to irradiate light whose intensity is modulated based on the supplied rectangular wave drive signal. Note that the light irradiating unit 2 may also irradiate light whose intensity is modulated based on a sine wave drive signal.

また、制御部４は、変調周波数に同期させたタイミングで第１転送トランジスタ３６と第２転送トランジスタ３８のＯＮ／ＯＦＦ制御を行う。 In addition, the control unit 4 controls the ON/OFF of the first transfer transistor 36 and the second transfer transistor 38 at a timing synchronized with the modulation frequency.

１回の露光時間において、制御部４は複数回（例えば数百回から数万回など）のＯＮ／ＯＦＦ制御を行う。具体的に図３を用いて説明する。図３は、露光制御に用いる露光制御信号Ｓｅと、所定の変調周波数で強度変調させた光を照射させるために光照射部２に提供される照射光信号ＳＬと、第１転送トランジスタ３６に供給される第１制御信号Ｓｔ１と、第２転送トランジスタ３８に供給される第２制御信号Ｓｔ２の関係を示した図である。
第１転送トランジスタ３６は第１制御信号Ｓｔ１に基づいてＯＮ／ＯＦＦ制御される。また、第２転送トランジスタ３８は第２制御信号Ｓｔ２に基づいてＯＮ／ＯＦＦ制御される。 During one exposure time, the control unit 4 performs ON/OFF control multiple times (for example, hundreds to tens of thousands of times). This will be specifically explained using Fig. 3. Fig. 3 is a diagram showing the relationship between an exposure control signal Se used for exposure control, an irradiation light signal SL provided to the light irradiation unit 2 to irradiate light whose intensity has been modulated at a predetermined modulation frequency, a first control signal St1 provided to the first transfer transistor 36, and a second control signal St2 provided to the second transfer transistor 38.
The first transfer transistor 36 is ON/OFF controlled based on a first control signal St1, and the second transfer transistor 38 is ON/OFF controlled based on a second control signal St2.

図示するように、露光時間Ｔｅの間に、照射期間ＴＬに亘る光の照射が複数回行われる。複数回の光の照射は、光の照射期間ＴＬと非照射期間が交互に繰り返されることで行われる。光の非照射期間は、照射期間ＴＬと同じ時間長とされる。即ち、Ｄｕｔｙ比は５０％とされている。As shown in the figure, light is emitted multiple times over an irradiation period TL during the exposure time Te. The multiple light emissions are achieved by alternating between light irradiation periods TL and non-irradiation periods. The non-irradiation periods have the same length as the irradiation period TL. In other words, the duty ratio is 50%.

制御部４は、照射光信号ＳＬに同期した第１期間Ｔ１に亘って第１ＦＤ３５へ電荷が蓄積されるように第１転送トランジスタ３６の切り替え制御を行う。また、制御部４は、照射光信号ＳＬに同期した第２期間Ｔ２に亘って第２ＦＤ３７へ電荷が蓄積されるように第２転送トランジスタ３８の切り替え制御を行う。第１期間Ｔ１と第２期間Ｔ２は照射期間ＴＬと同じ時間長とされている。 The control unit 4 controls the switching of the first transfer transistor 36 so that charge is accumulated in the first FD 35 over a first period T1 synchronized with the irradiation light signal SL. The control unit 4 also controls the switching of the second transfer transistor 38 so that charge is accumulated in the second FD 37 over a second period T2 synchronized with the irradiation light signal SL. The first period T1 and the second period T2 have the same time length as the irradiation period TL.

これにより、第１ＦＤ３５及び第２ＦＤ３７には数百回や数千回或いは数万回に亘って電荷が断続的に蓄積される。
照射光の一周期分についての光の受光量がごく微量である場合には、有意なデータが取得できない可能性があるため、数百から数万周期分についての光を受光して電荷を蓄積することにより、十分な受光量を得ることができ有意な情報を取得することが可能となる。 As a result, electric charges are intermittently accumulated in the first FD 35 and the second FD 37 hundreds, thousands, or tens of thousands of times.
If the amount of light received for one cycle of irradiated light is very small, it may be impossible to obtain meaningful data. Therefore, by receiving light for hundreds to tens of thousands of cycles and accumulating electric charge, a sufficient amount of light can be received, making it possible to obtain meaningful information.

なお、１回の露光時間において第１ＦＤ３５と第２ＦＤ３７がそれぞれ１回ずつ電荷を蓄積するようにスイッチの切り換えを１回行うようにしてもよい。即ち、露光時間Ｔｅの前半に第１ＦＤ３５が電荷を蓄積するように第１転送トランジスタ３６をＯＮ状態に制御し、露光時間Ｔｅの後半の開始時に第１転送トランジスタ３６をＯＦＦ状態且つ第２転送トランジスタ３８をＯＮ状態に切り換える切り替え制御を行うことにより露光時間の後半は第２ＦＤ３７に電荷が蓄積されるようにしてもよい。 In addition, the switches may be switched once during one exposure time so that the first FD 35 and the second FD 37 each accumulate charge once. That is, the first transfer transistor 36 may be controlled to be in the ON state so that the first FD 35 accumulates charge during the first half of the exposure time Te, and at the start of the second half of the exposure time Te, switching control may be performed to switch the first transfer transistor 36 to the OFF state and the second transfer transistor 38 to the ON state so that charge is accumulated in the second FD 37 during the second half of the exposure time Te.

図１の説明に戻る。
信号処理部５は、受光部３の第１ＦＤ３５から出力される第１信号Ｓ１と第２ＦＤ３７から出力される第２信号Ｓ２に基づいて各種の処理を行い、距離情報を出力する。そのために、信号処理部５は、第１深度情報算出部５１と、第２深度情報算出部５２と、距離情報算出部５３と、折り返し判定部５４と、距離情報出力部５５とを備えている。 Returning to the description of FIG.
The signal processing unit 5 performs various processes based on the first signal S1 output from the first FD 35 of the light receiving unit 3 and the second signal S2 output from the second FD 37, and outputs distance information. To this end, the signal processing unit 5 includes a first depth information calculation unit 51, a second depth information calculation unit 52, a distance information calculation unit 53, a folding determination unit 54, and a distance information output unit 55.

信号処理部５の機能ブロックの一例について図４を参照して説明する。
受光部３からは、第１ＦＤ３５の出力である第１信号Ｓ１と第２ＦＤ３７の出力である第２信号Ｓ２が出力される。以降の説明では、受光部３から出力される第１信号Ｓ１と第２信号Ｓ２のうち、第１変調光ＭＬＨの照射に応じた受光に基づいて出力される信号を第１信号Ｓ１Ｈと第２信号Ｓ２Ｈと記載し、第２変調光ＭＬＬの照射に応じた受光に基づいて出力される信号を第１信号Ｓ１Ｌと第２信号Ｓ２Ｌと記載する。 An example of functional blocks of the signal processing unit 5 will be described with reference to FIG.
The light receiving unit 3 outputs a first signal S1 which is the output of the first FD 35 and a second signal S2 which is the output of the second FD 37. In the following description, of the first signal S1 and the second signal S2 output from the light receiving unit 3, the signals output based on the reception of light in response to the irradiation of the first modulated light MLH will be referred to as a first signal S1H and a second signal S2H, and the signals output based on the reception of light in response to the irradiation of the second modulated light MLL will be referred to as a first signal S1L and a second signal S2L.

第１信号Ｓ１Ｈと第２信号Ｓ２Ｈは、第１深度情報算出部５１に入力される。
第１信号Ｓ１Ｈと第２信号Ｓ２Ｈの一例を図５に示す。
図示するように、照射光信号ＳＬに基づいて照射された第１変調光ＭＬＨは、被写体で反射した反射光ＲＬとして受光部３で受光される。光電変換によって生成された電荷は、第１制御信号Ｓｔ１及び第２制御信号Ｓｔ２に応じて第１ＦＤ３５と第２ＦＤ３７に蓄積される。 The first signal S1H and the second signal S2H are input to the first depth information calculation unit 51.
An example of the first signal S1H and the second signal S2H is shown in FIG.
As shown in the figure, first modulated light MLH emitted based on the irradiation light signal SL is received as reflected light RL reflected by the subject by the light receiving unit 3. Charges generated by photoelectric conversion are accumulated in the first FD 35 and the second FD 37 in accordance with the first control signal St1 and the second control signal St2.

図５に示す第１領域ＡＲ１は、第１制御信号Ｓｔ１がＯＮ状態とされた間に第１ＦＤ３５に蓄積される電荷量を示している。また、第２領域ＡＲ２は、第２制御信号Ｓｔ２がＯＮ状態とされた間に第２ＦＤ３７に蓄積される電荷量を示している。 The first region AR1 shown in Figure 5 indicates the amount of charge accumulated in the first FD 35 while the first control signal St1 is in the ON state. The second region AR2 indicates the amount of charge accumulated in the second FD 37 while the second control signal St2 is in the ON state.

第１深度情報算出部５１は、第１領域ＡＲ１と第２領域ＡＲ２に基づいて被写体との深度情報を算出する。５０ＭＨｚの第１変調光ＭＬＨが被写体で反射した反射光は、位相θだけ遅れて受光部３で受光される。第１深度情報算出部５１は、位相θを算出し、位相θに応じて深度情報を算出する。 The first depth information calculation unit 51 calculates depth information of the subject based on the first area AR1 and the second area AR2. The reflected light of the 50 MHz first modulated light MLH reflected by the subject is received by the light receiving unit 3 with a phase delay of θ. The first depth information calculation unit 51 calculates the phase θ and calculates depth information according to the phase θ.

具体的には、第１制御信号Ｓｔ１及び第２制御信号Ｓｔ２のＯＮ／ＯＦＦ制御を数百回から数万回程度繰り返すことにより、微少な電荷を数百回から数万回に亘って第１ＦＤ３５及び第２ＦＤ３７に蓄積する。第１深度情報算出部５１は、このようにして第１ＦＤ３５及び第２ＦＤ３７に蓄積された電荷に基づいて位相θを算出する。Specifically, by repeating ON/OFF control of the first control signal St1 and the second control signal St2 several hundred to tens of thousands of times, minute charges are accumulated several hundred to tens of thousands of times in the first FD 35 and the second FD 37. The first depth information calculation unit 51 calculates the phase θ based on the charges accumulated in the first FD 35 and the second FD 37 in this manner.

但し、第１深度情報算出部５１が算出する位相θは０～２πの間で算出される。従って、第１変調光ＭＬＨに対して反射光の遅れが２π＋θや４π＋θとされていても、第１深度情報算出部５１が算出する位相の遅れはθとして算出される。 However, the phase θ calculated by the first depth information calculation unit 51 is calculated between 0 and 2π. Therefore, even if the delay of the reflected light relative to the first modulated light MLH is 2π+θ or 4π+θ, the phase delay calculated by the first depth information calculation unit 51 is calculated as θ.

第１深度情報算出部５１が算出する深度情報は、５０ＭＨｚで強度変調された第１変調光ＭＬＨを照射した場合に算出される深度情報であり、これを第１深度情報Ｄｐ１と記載する。 The depth information calculated by the first depth information calculation unit 51 is the depth information calculated when the first modulated light MLH intensity-modulated at 50 MHz is irradiated, and this is referred to as the first depth information Dp1.

第１深度情報算出部５１が算出する第１深度情報Ｄｐ１は、測距レンジが狭い代わりに測距精度が高い。
第１深度情報算出部５１における測距レンジの狭さを補うために第２深度情報算出部５２が設けられている。 The first depth information Dp1 calculated by the first depth information calculation unit 51 has a narrow distance measurement range but high distance measurement accuracy.
A second depth information calculation unit 52 is provided to compensate for the narrow distance measurement range of the first depth information calculation unit 51 .

第２深度情報算出部５２は、２０ＭＨｚで強度変調された第２変調光ＭＬＬの反射光を受光することによって第１ＦＤ３５から出力される第１信号Ｓ１Ｌと第２ＦＤ３７から出力される第２信号Ｓ２Ｌに基づいて第２深度情報Ｄｐ２を算出する。具体的には、第１深度情報Ｄｐ１と同様に、第２変調光ＭＬＬに対する反射光の位相の遅れθを算出することにより深度情報が算出される。 The second depth information calculation unit 52 receives reflected light of the second modulated light MLL intensity-modulated at 20 MHz and calculates second depth information Dp2 based on the first signal S1L output from the first FD 35 and the second signal S2L output from the second FD 37. Specifically, similar to the first depth information Dp1, the depth information is calculated by calculating the phase delay θ of the reflected light relative to the second modulated light MLL.

第２深度情報Ｄｐ２は、５０ＭＨｚよりも低周波とされた２０ＭＨｚで強度変調された第２変調光ＭＬＬを用いて算出されるため、第１深度情報Ｄｐ１よりも測距レンジが広い。 The second depth information Dp2 is calculated using the second modulated light MLL intensity-modulated at 20 MHz, which is a lower frequency than 50 MHz, and therefore has a wider ranging range than the first depth information Dp1.

第１深度情報算出部５１から出力される第１深度情報Ｄｐ１と第２深度情報算出部５２から出力される第２深度情報Ｄｐ２は距離情報算出部５３に出力される。 The first depth information Dp1 output from the first depth information calculation unit 51 and the second depth information Dp2 output from the second depth information calculation unit 52 are output to the distance information calculation unit 53.

距離情報算出部５３は第１深度情報Ｄｐ１と第２深度情報Ｄｐ２を用いてＤｅ－Ａｌｉａｓ処理後の距離情報Ｄａを算出する。 The distance information calculation unit 53 calculates the distance information Da after De-Alias processing using the first depth information Dp1 and the second depth information Dp2.

ここで、第１変調光ＭＬＨを照射した場合に前述の位相θが２πとなる被写体との距離を第１測距可能距離ＭＤ１とする。また、第２変調光ＭＬＬを照射した場合に前述の位相θが２πとなる被写体との距離を第２測距可能距離ＭＤ２とする。また、第１測距可能距離ＭＤ１は第１折り返し距離とされ、第２測距可能距離ＭＤ２は第２折り返し距離とされる。 Here, the distance to the subject at which the aforementioned phase θ becomes 2π when the first modulated light MLH is irradiated is defined as the first measurable distance MD1. Furthermore, the distance to the subject at which the aforementioned phase θ becomes 2π when the second modulated light MLL is irradiated is defined as the second measurable distance MD2. Furthermore, the first measurable distance MD1 is defined as the first return distance, and the second measurable distance MD2 is defined as the second return distance.

距離情報算出部５３が算出する距離情報Ｄａは０以上且つ第２測距可能距離ＭＤ２未満の値とされる。
従って、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上である場合には、適切でない距離情報Ｄａが算出される。 The distance information Da calculated by the distance information calculation unit 53 is set to a value equal to or greater than 0 and less than the second measurable distance MD2.
Therefore, if the actual distance Dr to the subject is equal to or greater than the second measurable distance MD2, inappropriate distance information Da is calculated.

折り返し判定部５４は、距離情報算出部５３が算出した距離情報Ｄａが適切か否かを判定する。具体的には後述するが、距離情報Ｄａは被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の整数倍に達する毎に折り返された値が算出される。折り返し判定部５４は、距離情報Ｄａが折り返される前のものであるか、折り返された後のものであるかを判定する。この判定処理は、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であるか、第２測距可能距離ＭＤ２以上であるかを判定する処理と同義である。 The folding-back determination unit 54 determines whether the distance information Da calculated by the distance information calculation unit 53 is appropriate. As will be described in detail later, the distance information Da is folded back each time the actual distance Dr to the subject reaches an integer multiple of the second measurable distance MD2. The folding-back determination unit 54 determines whether the distance information Da is before folding back or after folding back. This determination process is equivalent to the process of determining whether the actual distance Dr to the subject is less than the second measurable distance MD2 or greater than or equal to the second measurable distance MD2.

折り返し判定部５４は、第２測距可能距離ＭＤ２以上であるか否かの判定結果と距離情報Ｄａを距離情報出力部５５に出力する。 The return judgment unit 54 outputs the judgment result of whether the distance is greater than or equal to the second measurable distance MD2 and the distance information Da to the distance information output unit 55.

距離情報出力部５５は、折り返し判定部５４から出力された判定結果に基づいて距離情報Ｄａを出力する。距離情報出力部５５は、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であることを示す判定結果が入力された場合には距離情報算出部５３で算出された距離情報Ｄａを出力し、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であることを示す判定結果が入力された場合には距離情報算出部５３で算出された距離情報Ｄａを出力せずに無効値を出力する。無効値は、距離情報Ｄａが取り得る値よりも大きな値として第２測距可能距離ＭＤ２よりも大きな値とされてもよいし、距離情報Ｄａが取り得ない負の値とされてもよいし、数値以外のフラグ情報などとされてもよい。 The distance information output unit 55 outputs distance information Da based on the determination result output from the return determination unit 54. When a determination result indicating that the actual distance Dr to the subject is less than the second measurable distance MD2 is input, the distance information output unit 55 outputs the distance information Da calculated by the distance information calculation unit 53. When a determination result indicating that the actual distance Dr to the subject is equal to or greater than the second measurable distance MD2 is input, the distance information output unit 55 does not output the distance information Da calculated by the distance information calculation unit 53 but outputs an invalid value. The invalid value may be a value greater than the second measurable distance MD2, a negative value that distance information Da cannot take, or flag information other than a numerical value.

なお、各図において不図示としたが、測距装置１は、被写体に反射した反射光を適切に受光部３へ集光するための各種レンズや絞り機構などの光学部材と、それらの光学部材を駆動するためのドライバ等を備えていてもよい。 Although not shown in each figure, the distance measuring device 1 may also be equipped with optical components such as various lenses and aperture mechanisms for appropriately focusing the light reflected from the subject onto the light receiving unit 3, as well as drivers for driving these optical components.

＜２．距離情報の算出＞
第１深度情報Ｄｐ１と第２深度情報Ｄｐ２と距離情報算出部５３が算出する距離情報Ｄａの関係を図６に示す。 2. Calculation of distance information
FIG. 6 shows the relationship between the first depth information Dp1, the second depth information Dp2, and the distance information Da calculated by the distance information calculation unit 53.

図６に示すように、被写体との実距離Ｄｒが第１測距可能距離ＭＤ１未満であれば、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２の双方ともに被写体との実距離Ｄｒに応じた適切な深度情報が出力される。 As shown in Figure 6, if the actual distance Dr to the subject is less than the first measurable distance MD1, both the first depth information Dp1 and the second depth information Dp2 are output as appropriate depth information according to the actual distance Dr to the subject.

被写体との実距離Ｄｒが第１測距可能距離ＭＤ１以上且つ第２測距可能距離ＭＤ２未満であれば、第２深度情報Ｄｐ２は被写体との実距離Ｄｒに応じた適切な深度情報が出力される。
一方、第１深度情報Ｄｐ１については、被写体との実距離Ｄｒとは異なる深度情報として第１測距可能距離ＭＤ１未満の深度情報が出力される。 If the actual distance Dr to the subject is equal to or greater than the first measurable distance MD1 and less than the second measurable distance MD2, appropriate depth information according to the actual distance Dr to the subject is output as the second depth information Dp2.
On the other hand, the first depth information Dp1 is output as depth information that is different from the actual distance Dr to the subject and is less than the first measurable distance MD1.

更に、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であれば、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２の双方ともに被写体との実距離Ｄｒとは異なる深度情報が出力される。具体的には、第１深度情報Ｄｐ１として第１測距可能距離ＭＤ１未満の深度情報が出力され、第２深度情報Ｄｐ２として第２測距可能距離ＭＤ２未満の深度情報が出力される。 Furthermore, if the actual distance Dr to the subject is equal to or greater than the second measurable distance MD2, both the first depth information Dp1 and the second depth information Dp2 are output as depth information different from the actual distance Dr to the subject. Specifically, depth information less than the first measurable distance MD1 is output as the first depth information Dp1, and depth information less than the second measurable distance MD2 is output as the second depth information Dp2.

距離情報算出部５３は、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２から距離情報Ｄａを算出する。具体的には、先ず、以下に示す式（３）を満たす自然数Ｎを求める。The distance information calculation unit 53 calculates the distance information Da from the first depth information Dp1 and the second depth information Dp2. Specifically, it first finds a natural number N that satisfies the following equation (3).

ＭＤ１×Ｎ≦Ｄｐ２＜ＭＤ１×（Ｎ＋１）・・・式（３） MD1×N≦Dp2<MD1×(N+1)...Equation (3)

次に、以下に示す式（４）を用いて距離情報Ｄａを算出する。 Next, distance information Da is calculated using equation (4) below.

Ｄａ＝ＭＤ１×Ｎ＋Ｄｐ１・・・式（４） Da=MD1×N+Dp1...Formula (4)

このように、最終的に距離情報Ｄａを算出する式（４）において第２深度情報Ｄｐ２ではなく第１深度情報Ｄｐ１を用いることで、測距精度を確保することができる。 In this way, by using the first depth information Dp1 instead of the second depth information Dp2 in equation (4) which ultimately calculates the distance information Da, distance measurement accuracy can be ensured.

ここで、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２である場合の距離情報Ｄａについて説明する。被写体との実距離Ｄｒが第２測距可能距離ＭＤ２である場合において、上記の式（３）を満たす自然数Ｎを算出すると、Ｄｐ２＝０であることから自然数Ｎ＝０となる。
従って、式（４）よりＤａ＝Ｄｐとなる。 Here, the distance information Da when the actual distance Dr to the subject is the second measurable distance MD2 will be described. When the actual distance Dr to the subject is the second measurable distance MD2, if the natural number N that satisfies the above formula (3) is calculated, Dp2 = 0, and therefore the natural number N = 0.
Therefore, from equation (4), Da=Dp.

このように、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２を超えた場合には、算出される距離情報Ｄａが０にならないようにされている。これは、被写体の実距離ＤｒがＭＤ２とされた場合における第２深度情報Ｄｐ２（＝０）と第１深度情報Ｄｐ１（≠０）が一致していないことに基づいている。 In this way, when the actual distance Dr to the subject exceeds the second measurable distance MD2, the calculated distance information Da does not become 0. This is based on the fact that when the actual distance Dr to the subject is MD2, the second depth information Dp2 (= 0) does not match the first depth information Dp1 (≠ 0).

＜３．判定処理＞
折り返し判定部５４が実行する判定処理について説明する。 <3. Determination Process>
The determination process executed by the return determination unit 54 will be described.

折り返し判定部５４は、距離情報算出部５３が算出した距離情報Ｄａが折り返される前のものであるか、折り返された後のものであるかを判定する。
この判定処理は、光照射部２から照射された第２変調光ＭＬＬが被写体に反射されて受光部３で受光されるまでの位相変化が２π未満であるか否かを判定する処理と同義である。 The folding determination unit 54 determines whether the distance information Da calculated by the distance information calculation unit 53 is information before folding or information after folding.
This determination process is synonymous with the process of determining whether the phase change of the second modulated light MLL irradiated from the light irradiating unit 2 until it is reflected by the subject and received by the light receiving unit 3 is less than 2π.

具体的には、距離情報Ｄａと第２深度情報Ｄｐ２の差分Ｄｔを算出し、差分Ｄｔが閾値Ｔｈよりも大きいか否かを判定することにより、位相変化が２π未満であるか否かを判定する。 Specifically, the difference Dt between the distance information Da and the second depth information Dp2 is calculated, and by determining whether the difference Dt is greater than the threshold value Th, it is determined whether the phase change is less than 2π.

差分Ｄｔは例えば以下の式（５）によって算出可能である。 The difference Dt can be calculated, for example, using the following formula (5).

Ｄｔ＝ａｂｓ（Ｄａ－Ｄｐ２）・・・式（５） Dt=abs(Da-Dp2)...Formula (5)

なお、ａｂｓ関数は絶対値を取得する関数とされる。 Note that the abs function is used to obtain absolute values.

図６に示すように、位相変化が２π未満であれば、即ち、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であれば、距離情報Ｄａと第２深度情報Ｄｐ２の差分Ｄｔは略ゼロ値となる。
一方、位相変化が２π以上であれば、即ち、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２以上であれば、差分Ｄｔは第１測距可能距離ＭＤ１の略半分とされる。 As shown in FIG. 6, if the phase change is less than 2π, that is, if the actual distance Dr to the subject is less than the second measurable distance MD2, the difference Dt between the distance information Da and the second depth information Dp2 is approximately zero.
On the other hand, if the phase change is 2π or more, that is, if the actual distance Dr to the subject is equal to or greater than the second measurable distance MD2, the difference Dt is set to approximately half the first measurable distance MD1.

差分Ｄｔの比較対象である閾値Ｔｈは、実環境において発生するノイズ等を考慮して、例えば、以下の式（６）を用いて設定する。 The threshold value Th to which the difference Dt is compared is set, for example, using the following equation (6), taking into account noise that occurs in the real environment.

Ｔｈ＝（ＭＤ１）／３・・・式（６） Th=(MD1)/3...Formula (6)

なお、閾値Ｔｈは、ゼロ値に近い小さな値とすると２π未満の位相変化を２π以上であると誤判定する虞があり、第１測距可能距離ＭＤ１の半分に近い大きな値とすると２π以上の位相変化を２π未満であると誤判定する虞がある。 Note that if the threshold value Th is set to a small value close to zero, there is a risk that a phase change of less than 2π will be erroneously determined to be 2π or more, and if it is set to a large value close to half the first measurable distance MD1, there is a risk that a phase change of 2π or more will be erroneously determined to be less than 2π.

閾値Ｔｈは、測定環境におけるノイズの大きさによって適切に決定されることが望ましい。ノイズが小さい場合には、閾値Ｔｈをゼロ値に近い小さな値とすることや、第１測距可能距離ＭＤ１の半分に近い大きな値とすることが許容される。It is desirable that the threshold value Th be appropriately determined based on the level of noise in the measurement environment. When the noise is small, it is acceptable to set the threshold value Th to a small value close to zero, or to a large value close to half the first measurable distance MD1.

また、ノイズによって誤判定をしないように、受光信号の強度に応じて閾値Ｔｈが変化するように構成されていてもよい。 In addition, the threshold value Th may be configured to change depending on the strength of the received light signal to prevent erroneous judgment due to noise.

位相変化が２π未満であるか否かの判定結果（被写体との実距離Ｄｒが第２測距可能距離ＭＤ２未満であるか否かの判定結果）は、折り返し判定部５４から距離情報出力部５５に出力される。 The determination result of whether the phase change is less than 2π (the determination result of whether the actual distance Dr to the subject is less than the second measurable distance MD2) is output from the return determination unit 54 to the distance information output unit 55.

なお、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の２倍以上３倍未満とされた場合には、差分Ｄｔが略ゼロ値とされる。しかし、この場合には、測距したい距離である第２測距可能距離ＭＤ２に対して被写体との実距離Ｄｒが２倍以上の距離とされているため、反射光が著しく弱くなっていると考えられる。
従って、受光量が所定値よりも低い場合には、算出された第１深度情報Ｄｐ１や第２深度情報Ｄｐ２を無視することにより、後段の距離情報出力処理において不適切な距離情報が出力されないようにすることができる。 If the actual distance Dr to the subject is two or more times but less than three times the second measurable distance MD2, the difference Dt is set to approximately zero. However, in this case, the actual distance Dr to the subject is more than twice the second measurable distance MD2, which is the distance to be measured, so it is considered that the reflected light is significantly weaker.
Therefore, when the amount of received light is lower than a predetermined value, the calculated first depth information Dp1 and second depth information Dp2 can be ignored to prevent inappropriate distance information from being output in the subsequent distance information output process.

また、換言すれば、測距したい距離の２倍以上の距離にある被写体で反射した光の受光量が所定値よりも低くなるように発光強度を調節することにより、被写体との実距離Ｄｒが第２測距可能距離ＭＤ２の２倍以上３倍未満とされた場合において距離情報Ｄａが折り返される前のものである、即ち、第２変調光ＭＬＬの位相変化が２π未満であると誤判定されてしまう可能性を排除することができる。 In other words, by adjusting the light emission intensity so that the amount of light received reflected from a subject at a distance more than twice the distance to be measured is lower than a predetermined value, it is possible to eliminate the possibility of erroneously determining that the distance information Da is before folding, i.e., that the phase change of the second modulated light MLL is less than 2π, when the actual distance Dr to the subject is more than twice but less than three times the second measurable distance MD2.

＜４．距離情報出力処理＞
距離情報出力部５５は、折り返し判定部５４から判定結果と距離情報Ｄａを受け取り、必要に応じて距離情報Ｄａを出力する。具体的には、位相変化が２π未満であることを示す判定結果を受け取った場合には、距離情報Ｄａは被写体との実距離Ｄｒを示す情報とされているため、距離情報Ｄａを出力する。 <4. Distance information output processing>
The distance information output unit 55 receives the determination result and distance information Da from the folding determination unit 54, and outputs the distance information Da as necessary. Specifically, when a determination result indicating that the phase change is less than 2π is received, the distance information output unit 55 outputs the distance information Da because the distance information Da indicates the actual distance Dr to the subject.

一方、位相変化が２π以上であることを示す判定結果を受け取った場合には、距離情報Ｄａは被写体との実距離Ｄｒと乖離した情報であるため、折り返し判定部５４から受け取った距離情報Ｄａをそのまま出力することはしない。代わりに、距離情報Ｄａに無効値を示す情報を格納して距離情報Ｄａとして出力してもよい。 On the other hand, if a judgment result indicating that the phase change is 2π or more is received, the distance information Da received from the folding judgment unit 54 is not output as is, since the distance information Da is information that deviates from the actual distance Dr to the subject. Instead, information indicating an invalid value may be stored in the distance information Da and output as the distance information Da.

無効値を示す情報としては、上述したように、距離情報Ｄａが取り得る値よりも大きな値として第２測距可能距離ＭＤ２よりも大きな値とされてもよいし、距離情報Ｄａが取り得ない負の値とされてもよいし、数値以外のフラグ情報などとされてもよい。 As described above, the information indicating an invalid value may be a value greater than the second measurable distance MD2, which is a value greater than the value that the distance information Da can take, or a negative value that the distance information Da cannot take, or flag information other than a numerical value.

＜５．処理フロー＞
測距装置１の処理部として制御部４や信号処理部５が実行する処理の流れについて、図７を参照して説明する。 <5. Processing flow>
The flow of processing executed by the control unit 4 and the signal processing unit 5 as processing units of the distance measuring device 1 will be described with reference to FIG.

先ず、ステップＳ１０１において、測距装置１の制御部４は光照射部２及び受光部３と協働することにより発光処理と露光処理を行う。 First, in step S101, the control unit 4 of the distance measuring device 1 performs light emission processing and exposure processing by cooperating with the light irradiation unit 2 and the light receiving unit 3.

これにより、画素３１ごとの第１信号Ｓ１と第２信号Ｓ２が後段の信号処理部５に出力される。なお、ステップＳ１０１の発光処理及び露光処理は、第１変調光ＭＬＨの照射及び露光と、第２変調光ＭＬＬの照射及び露光が行われる。従って、ステップＳ１０１においては、第１変調光ＭＬＨの受光に基づく第１信号Ｓ１及び第２信号Ｓ２と、第２変調光ＭＬＬの受光に基づく第１信号Ｓ１及び第２信号Ｓ２が出力される。 As a result, a first signal S1 and a second signal S2 for each pixel 31 are output to the downstream signal processing unit 5. Note that the light emission process and exposure process of step S101 involves irradiation and exposure of the first modulated light MLH, and irradiation and exposure of the second modulated light MLL. Therefore, in step S101, the first signal S1 and the second signal S2 based on the reception of the first modulated light MLH, and the first signal S1 and the second signal S2 based on the reception of the second modulated light MLL are output.

信号処理部５はステップＳ１０２においてカウンタｃｎｔをゼロ値にリセットする処理を行う。カウンタｃｎｔは画素ごとの処理を終えるたびに加算されていくカウンタであり、一枚の距離画像を生成する際に必要となる処理を終えたか否かを判定するために用いられる。 In step S102, the signal processing unit 5 performs a process of resetting the counter cnt to a zero value. The counter cnt is incremented each time processing for a pixel is completed, and is used to determine whether the processing required to generate a distance image has been completed.

次に信号処理部５の第１深度情報算出部５１及び第２深度情報算出部５２は、ステップＳ１０３において第１深度情報Ｄｐ１及び第２深度情報Ｄｐ２を算出する処理を行う。 Next, the first depth information calculation unit 51 and the second depth information calculation unit 52 of the signal processing unit 5 perform a process of calculating the first depth information Dp1 and the second depth information Dp2 in step S103.

信号処理部５の距離情報算出部５３はステップＳ１０４において、第１深度情報Ｄｐ１及び第２深度情報Ｄｐ２を用いて距離情報Ｄａを算出する。ここで算出される距離情報Ｄａは、ゼロ値以上且つ第２測距可能距離ＭＤ２未満の値とされる。In step S104, the distance information calculation unit 53 of the signal processing unit 5 calculates distance information Da using the first depth information Dp1 and the second depth information Dp2. The distance information Da calculated here is a value greater than or equal to zero and less than the second measurable distance MD2.

信号処理部５の折り返し判定部５４は、ステップＳ１０５において、折り返し判定を行う。折り返し判定では、前述したように、光照射部２から照射された第２変調光ＭＬＬが被写体に反射されて受光部３で受光されるまでの位相変化が２π未満であるか否かを判定する。In step S105, the folding determination unit 54 of the signal processing unit 5 performs folding determination. As described above, the folding determination determines whether the phase change of the second modulated light MLL irradiated from the light irradiating unit 2 until it is reflected by the subject and received by the light receiving unit 3 is less than 2π.

折り返されていないと判定された場合、即ち、位相変化が２π未満であると判定された場合、信号処理部５の距離情報出力部５５はステップＳ１０６において、距離情報算出部５３によって算出された距離情報Ｄａを出力する。 If it is determined that there is no folding, i.e., if it is determined that the phase change is less than 2π, the distance information output unit 55 of the signal processing unit 5 outputs the distance information Da calculated by the distance information calculation unit 53 in step S106.

一方、折り返されていると判定された場合、即ち、位相変化が２π以上であると判定された場合、信号処理部５の距離情報出力部５５はステップＳ１０７において無効値を出力する。 On the other hand, if it is determined that the signal has been folded, i.e., if it is determined that the phase change is 2π or more, the distance information output unit 55 of the signal processing unit 5 outputs an invalid value in step S107.

ステップＳ１０６またはステップＳ１０７の処理を実行した後、信号処理部５はステップＳ１０８において、カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値未満であるか否かを判定する。
横画素数Ｐｗは、撮像された画像における横方向（水平方向）の画素数を示す。また、縦画素数Ｐｈは、撮像された画像における縦方向（垂直方向）の画素数を示す。 After executing the process of step S106 or step S107, the signal processing unit 5 determines in step S108 whether the counter cnt is less than the value obtained by multiplying the number of horizontal pixels Pw by the number of vertical pixels Ph.
The number of horizontal pixels Pw indicates the number of pixels in the horizontal direction in the captured image, and the number of vertical pixels Ph indicates the number of pixels in the vertical direction in the captured image.

カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値未満である場合には、距離画像に含まれる画素数分の処理を終えていないことになる。この場合には、信号処理部５はステップＳ１０９においてカウンタｃｎｔに1を加算してステップＳ１０３の処理へと戻る。If counter cnt is less than the product of the number of horizontal pixels Pw and the number of vertical pixels Ph, processing has not been completed for all pixels contained in the distance image. In this case, the signal processing unit 5 adds 1 to counter cnt in step S109 and returns to step S103.

一方、カウンタｃｎｔが横画素数Ｐｗと縦画素数Ｐｈを乗算した値以上である場合には、一枚の距離画像を生成するために必要な画素数分の処理を終えていることになる。この場合には、信号処理部５はステップＳ１０１の処理へと戻り次フレームの距離画像を得るための発光処理及び露光処理を行う。 On the other hand, if the counter cnt is equal to or greater than the value obtained by multiplying the number of horizontal pixels Pw by the number of vertical pixels Ph, then processing has been completed for the number of pixels required to generate one distance image. In this case, the signal processing unit 5 returns to step S101 and performs light emission and exposure processes to obtain the distance image for the next frame.

測距装置１は、図７に示す一連の処理を実行することにより、複数枚の距離画像を生成することが可能となる。 The distance measuring device 1 is able to generate multiple distance images by executing the series of processes shown in Figure 7.

＜６．まとめ＞
これまで説明してきたように、信号処理装置としての測距装置１は、第１周波数ｆＨ（例えば５０ＭＨｚ）により変調された第１変調光ＭＬＨの受光信号に基づいて第１深度情報Ｄｐ１を算出する第１深度情報算出部５１と、第１周波数ｆＨ未満とされた第２周波数ｆＬ（例えば２０ＭＨｚ）により変調された第２変調光ＭＬＬの受光信号に基づいて第２深度情報Ｄｐ２を算出する第２深度情報算出部５２と、第１深度情報Ｄｐ１と第２深度情報Ｄｐ２に基づいて被写体までの距離情報Ｄａを算出する距離情報算出部５３と、照射から受光までの第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定する折り返し判定部５４と、第２変調光ＭＬＬの位相変化が２π未満であると判定された場合に距離情報Ｄａを出力する距離情報出力部５５と、を備えている。
第２変調光ＭＬＬの位相変化が２π未満である場合は、第２深度情報Ｄｐ２と被写体までの実際の距離（被写体との実距離Ｄｒ）が略等しくされる。
従って、被写体までの実際の距離に応じた適切な距離情報Ｄａを出力することができる。 <6. Summary>
As described above, the distance measuring device 1 as a signal processing device includes a first depth information calculation unit 51 that calculates first depth information Dp1 based on a light reception signal of the first modulated light MLH modulated by a first frequency fH (e.g., 50 MHz), a second depth information calculation unit 52 that calculates second depth information Dp2 based on a light reception signal of the second modulated light MLL modulated by a second frequency fL (e.g., 20 MHz) that is less than the first frequency fH, a distance information calculation unit 53 that calculates distance information Da to the subject based on the first depth information Dp1 and the second depth information Dp2, a return judgment unit 54 that judges whether the phase change of the second modulated light MLL from irradiation to reception is less than 2π, and a distance information output unit 55 that outputs distance information Da when it is judged that the phase change of the second modulated light MLL is less than 2π.
When the phase change of the second modulated light MLL is less than 2π, the second depth information Dp2 and the actual distance to the subject (actual distance Dr to the subject) are made substantially equal.
Therefore, appropriate distance information Da according to the actual distance to the subject can be output.

図７等を用いて説明したように、また、測距装置１における距離情報出力部５５は、第２変調光ＭＬＬの位相変化が２π以上であると判定された場合に距離情報Ｄａとして無効値を出力してもよい。
第２変調光ＭＬＬの位相変化が２π以上である場合には、第２深度情報Ｄｐ２が被写体までの実際の距離（被写体との実距離Ｄｒ）よりも短くされる。
従って、被写体までの実際の距離と乖離している距離情報Ｄａが出力されないようにすることができる。 As explained using Figure 7, etc., the distance information output unit 55 in the distance measuring device 1 may also output an invalid value as the distance information Da when it is determined that the phase change of the second modulated light MLL is 2π or more.
When the phase change of the second modulated light MLL is 2π or more, the second depth information Dp2 is set to be shorter than the actual distance to the subject (actual distance Dr to the subject).
Therefore, it is possible to prevent distance information Da that deviates from the actual distance to the subject from being output.

式（４）等を用いて説明したように、測距装置１における距離情報算出部５３は、第２深度情報Ｄｐ２が第１変調光ＭＬＨの位相変化が２πとされたときの被写体の距離である第１折り返し距離（第１測距可能距離ＭＤ１）以上である場合に、第１折り返し距離と第１深度情報Ｄｐ１とを加算することにより距離情報Ｄａを算出してもよい。
第１折り返し距離とは、第１変調光ＭＬＨが照射されてから受光されるまでの位相の変化が丁度２πとなる被写体までの距離であり、第１変調光ＭＬＨによって測距可能な距離でもある。第１変調光ＭＬＨの照射によって得られる第１深度情報Ｄｐ１は第２変調光ＭＬＬの照射によって得られる第２深度情報Ｄｐ２よりも高精度とされる。
これにより、距離情報算出部５３が算出する距離情報Ｄａを高精度なものとすることができる。 As explained using equation (4), etc., the distance information calculation unit 53 in the distance measuring device 1 may calculate the distance information Da by adding the first return distance and the first depth information Dp1 when the second depth information Dp2 is greater than or equal to the first return distance (first measurable distance MD1), which is the distance to the subject when the phase change of the first modulated light MLH is set to 2π.
The first return distance is the distance to the subject at which the phase change from when the first modulated light MLH is irradiated to when it is received is exactly 2π, and is also the distance that can be measured by the first modulated light MLH. The first depth information Dp1 obtained by irradiating the first modulated light MLH is more accurate than the second depth information Dp2 obtained by irradiating the second modulated light MLL.
This allows the distance information Da calculated by the distance information calculation unit 53 to be highly accurate.

図６等を用いて説明したように、測距装置１においては、以下の条件式（Ａ）を満足するように構成してもよい。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
上述した例においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされているため、条件式（Ａ）においてｎ＝２．５となり、ｎが自然数であるという条件を満たさない。従って、上述した例は、条件式（Ａ）を満たすものである。
これにより、被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２の１倍以上２倍未満とされた場合に算出される距離情報Ｄａがゼロ値ではなくなる。
従って、被写体までの実際の距離と乖離しているか否かの判定を行うことが可能となる。 As described with reference to FIG. 6 and the like, the distance measuring device 1 may be configured to satisfy the following conditional expression (A).
(A) fH ≠ n × fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
In the above example, the first frequency fH is set to 50 MHz and the second frequency fL is set to 20 MHz, so that n = 2.5 in conditional formula (A) is obtained, which does not satisfy the condition that n is a natural number. Therefore, the above example satisfies conditional formula (A).
As a result, the distance information Da calculated when the actual distance to the subject (actual distance Dr to the subject) is greater than or equal to one time and less than two times the second measurable distance MD2 in the second modulated light MLL will no longer be a zero value.
Therefore, it is possible to determine whether or not there is a deviation from the actual distance to the subject.

図６等を用いて説明したように、測距装置１においては、以下の条件式（Ｂ）を満足するように構成してもよい。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
上述した例においては、第１周波数ｆＨが５０ＭＨｚとされ、第２周波数ｆＬが２０ＭＨｚとされているため、条件式（Ｂ）においてｎ＝２となり、ｎが自然数であるという条件を満たす。従って、上述した例は、条件式（Ｂ）を満たすものである。
これにより、被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２と同じ場合に算出される距離情報Ｄａは、第１変調光ＭＬＨにおける第１測距可能距離ＭＤ１の略半分の数値とされる。
従って、第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２は、第１変調光ＭＬＨにおける第１測距可能距離ＭＤ１の定数倍となる距離の丁度中心の値となるため、被写体までの実際の距離と乖離しているか否かの判定を行うことが可能となるだけでなく、ノイズやキャリブレーションずれや混色等による誤判定への耐性を高めることができる。 As described with reference to FIG. 6 and other figures, the distance measuring device 1 may be configured to satisfy the following conditional expression (B).
(B) fH=(n+0.5)fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
In the above example, the first frequency fH is set to 50 MHz and the second frequency fL is set to 20 MHz, so that n=2 in conditional formula (B) satisfies the condition that n is a natural number. Therefore, the above example satisfies conditional formula (B).
As a result, the distance information Da calculated when the actual distance to the subject (actual distance Dr to the subject) is the same as the second measurable distance MD2 in the second modulated light MLL is set to a value approximately half the value of the first measurable distance MD1 in the first modulated light MLH.
Therefore, the second measurable distance MD2 in the second modulated light MLL is exactly the center value of the distance that is a constant multiple of the first measurable distance MD1 in the first modulated light MLH, which not only makes it possible to determine whether or not it deviates from the actual distance to the subject, but also increases resistance to erroneous judgments due to noise, calibration deviations, color mixing, etc.

図６等を用いて説明したように、測距装置１における折り返し判定部５４は、第２深度情報Ｄｐ２と距離情報Ｄａを比較することにより第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定してもよい。
被写体までの実際の距離（被写体との実距離Ｄｒ）が第２変調光ＭＬＬにおける第２測距可能距離ＭＤ２の１倍以上且つ２倍未満とされた場合において算出される距離情報Ｄａは、算出される第２深度情報Ｄｐ２と乖離したものとなる。
従って、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔを算出することにより、第２変調光ＭＬＬの位相変化が２π未満であるか否かを判定することができる。これにより、被写体までの実際の距離に応じた適切な距離情報を出力することができる As explained using Figure 6, etc., the aliasing determination unit 54 in the distance measuring device 1 may determine whether the phase change of the second modulated light MLL is less than 2π by comparing the second depth information Dp2 with the distance information Da.
When the actual distance to the subject (actual distance Dr from the subject) is greater than or equal to one and less than two times the second measurable distance MD2 in the second modulated light MLL, the calculated distance information Da will deviate from the calculated second depth information Dp2.
Therefore, by calculating the difference Dt between the second depth information Dp2 and the distance information Da, it is possible to determine whether the phase change of the second modulated light MLL is less than 2π. This makes it possible to output appropriate distance information according to the actual distance to the subject.

図６等を用いて説明したように、測距装置１における折り返し判定部５４は、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔが閾値Ｔｈ以上である場合に第２変調光ＭＬＬの位相変化が２π以上であると判定してもよい。
これにより、第２深度情報Ｄｐ２と距離情報Ｄａの差分Ｄｔがある程度大きい場合に第２変調光ＭＬＬの位相変化が２π以上であると判定される。
従って、ノイズ等による誤判定を防止することができる。 As explained using Figure 6, etc., the folding judgment unit 54 in the distance measuring device 1 may judge that the phase change of the second modulated light MLL is 2π or more when the difference Dt between the second depth information Dp2 and the distance information Da is greater than or equal to the threshold value Th.
As a result, when the difference Dt between the second depth information Dp2 and the distance information Da is relatively large, it is determined that the phase change of the second modulated light MLL is 2π or more.
Therefore, it is possible to prevent erroneous determination due to noise or the like.

図７等を用いて説明したように、測距装置１においては、二次元配列された画素３１ごとに距離情報Ｄａを算出することにより距離画像を生成してもよい。
これにより、距離画像における画素３１ごとの距離情報Ｄａにおいて、第２変調光ＭＬＬの位相変化が２π未満である場合は、第２深度情報Ｄｐ２と被写体までの実際の距離（被写体との実距離Ｄｒ）が略等しくされる。
従って、被写体までの実際の距離に応じた適切な距離情報Ｄａに基づく距離画像を出力することができる。 As described with reference to FIG. 7 and other figures, the distance measuring device 1 may generate a distance image by calculating distance information Da for each of the two-dimensionally arranged pixels 31 .
As a result, when the phase change of the second modulated light MLL in the distance information Da for each pixel 31 in the distance image is less than 2π, the second depth information Dp2 and the actual distance to the subject (actual distance Dr to the subject) are made approximately equal.
Therefore, it is possible to output a distance image based on appropriate distance information Da according to the actual distance to the subject.

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。 Please note that the effects described in this specification are merely examples and are not limiting, and other effects may also be present.

＜７．本技術＞
（１）
第１周波数により変調された第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
前記第１周波数未満とされた第２周波数により変調された第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を備える
信号処理装置。
（２）
前記距離情報出力部は、前記第２変調光の位相変化が２π以上であると判定された場合に無効値を出力する
上記（１）に記載の信号処理装置。
（３）
前記距離情報算出部は、前記第２深度情報が前記第１変調光の位相変化が２πとされたときの被写体の距離である第１折り返し距離以上である場合に、前記第１折り返し距離と前記第１深度情報とを加算することにより前記距離情報を算出する
上記（１）から上記（２）の何れかに記載の信号処理装置。
（４）
以下の条件式（Ａ）を満足する
上記（３）に記載の信号処理装置。
（Ａ）ｆＨ≠ｎ×ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
（５）
以下の条件式（Ｂ）を満足する
上記（４）に記載の信号処理装置。
（Ｂ）ｆＨ＝（ｎ＋０．５）ｆＬ
但し、
ｆＨ：第１周波数
ｆＬ：第２周波数
ｎ：自然数
とする。
（６）
前記折り返し判定部は、前記第２深度情報と前記距離情報を比較することにより前記第２変調光の位相変化が２π未満であるか否かを判定する
上記（４）から上記（５）の何れかに記載の信号処理装置。
（７）
前記折り返し判定部は、前記第２深度情報と前記距離情報の差分が閾値以上である場合に前記第２変調光の位相変化が２π以上であると判定する
上記（６）に記載の信号処理装置。
（８）
二次元配列された画素ごとに前記距離情報を算出することにより距離画像を生成する
上記（１）から上記（７）の何れかに記載の信号処理装置。
（９）
第１周波数により変調された第１変調光と前記第１周波数未満とされた第２周波数により変調された第２変調光の照射が可能とされた光照射部と、
前記第１変調光及び前記第２変調光が被写体に反射した反射光を受光し前記反射光の光強度に応じた受光信号を出力する受光部と、
前記受光部から出力された受光信号に対する信号処理を行う信号処理部と、を備え、
前記信号処理部は、
前記第１変調光の受光信号に基づいて第１深度情報を算出する第１深度情報算出部と、
前記第２変調光の受光信号に基づいて第２深度情報を算出する第２深度情報算出部と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する距離情報算出部と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する折り返し判定部と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する距離情報出力部と、を有する
測距装置。
（１０）
第１周波数により変調された第１変調光の照射処理と、
前記第１変調光の受光信号に基づいて第１深度情報を算出する処理と、
前記第１周波数未満とされた第２周波数により変調された第２変調光の照射処理と、
前記第２変調光の受光信号に基づいて第２深度情報を算出する処理と、
前記第１深度情報と前記第２深度情報に基づいて被写体までの距離情報を算出する処理と、
照射から受光までの前記第２変調光の位相変化が２π未満であるか否かを判定する処理と、
前記第２変調光の位相変化が２π未満であると判定された場合に前記距離情報を出力する処理と、を備えた
測距方法
（１１）
第１周波数により変調された第１変調光及び前記第１周波数未満とされた第２周波数により変調された第２変調光の受光が可能とされ、光電変換部における光電変換によって生じた電荷を検出する第１タップ及び第２タップを有する画素アレイ部を備え、
前記第２変調光の照射から受光までの位相変化が２π以上であるか否かを判定するための受光信号として、前記画素アレイ部は、前記第１変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号と、前記第２変調光の受光に基づく前記第１タップ及び前記第２タップの検出信号とを、出力する
イメージセンサ。 <7. This Technology>
(1)
a first depth information calculation unit that calculates first depth information based on a light reception signal of the first modulated light modulated by the first frequency;
a second depth information calculation unit that calculates second depth information based on a light reception signal of second modulated light modulated by a second frequency that is lower than the first frequency;
a distance information calculation unit that calculates distance information to a subject based on the first depth information and the second depth information;
a folding determination unit that determines whether a phase change of the second modulated light from irradiation to reception is less than 2π;
a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π.
(2)
The signal processing device according to (1), wherein the distance information output unit outputs an invalid value when it is determined that the phase change of the second modulated light is 2π or more.
(3)
The signal processing device described in any one of (1) to (2) above, wherein the distance information calculation unit calculates the distance information by adding the first folding distance and the first depth information when the second depth information is equal to or greater than a first folding distance, which is the distance to the subject when the phase change of the first modulated light is set to 2π.
(4)
The signal processing device according to (3) above, which satisfies the following conditional expression (A):
(A) fH ≠ n × fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
(5)
The signal processing device according to (4) above, which satisfies the following conditional expression (B):
(B) fH=(n+0.5)fL
however,
fH: first frequency, fL: second frequency, and n: natural number.
(6)
The signal processing device according to any one of (4) to (5), wherein the folding determination unit determines whether or not a phase change of the second modulated light is less than 2π by comparing the second depth information with the distance information.
(7)
The signal processing device according to (6), wherein the aliasing determination unit determines that the phase change of the second modulated light is 2π or more when a difference between the second depth information and the distance information is equal to or greater than a threshold value.
(8)
The signal processing device according to any one of (1) to (7) above, wherein a distance image is generated by calculating the distance information for each of two-dimensionally arranged pixels.
(9)
a light irradiation unit capable of irradiating first modulated light modulated by a first frequency and second modulated light modulated by a second frequency lower than the first frequency;
a light receiving unit that receives reflected light of the first modulated light and the second modulated light reflected by an object and outputs a light receiving signal corresponding to the light intensity of the reflected light;
a signal processing unit that performs signal processing on the received light signal output from the light receiving unit,
The signal processing unit
a first depth information calculation unit that calculates first depth information based on a light reception signal of the first modulated light;
a second depth information calculation unit that calculates second depth information based on a light reception signal of the second modulated light;
a distance information calculation unit that calculates distance information to a subject based on the first depth information and the second depth information;
a folding determination unit that determines whether a phase change of the second modulated light from irradiation to reception is less than 2π;
a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π.
(10)
irradiation of first modulated light modulated by a first frequency;
a process of calculating first depth information based on a light reception signal of the first modulated light;
an irradiation process of second modulated light modulated by a second frequency that is lower than the first frequency;
calculating second depth information based on a light reception signal of the second modulated light;
A process of calculating distance information to a subject based on the first depth information and the second depth information;
a process of determining whether a phase change of the second modulated light from irradiation to reception is less than 2π;
and outputting the distance information when it is determined that the phase change of the second modulated light is less than 2π.
a pixel array unit that is capable of receiving first modulated light modulated by a first frequency and second modulated light modulated by a second frequency that is lower than the first frequency, and that has a first tap and a second tap that detect electric charges generated by photoelectric conversion in the photoelectric conversion unit;
As light reception signals for determining whether a phase change from irradiation of the second modulated light to reception of the second modulated light is 2π or more, the pixel array unit outputs detection signals of the first tap and the second tap based on reception of the first modulated light, and detection signals of the first tap and the second tap based on reception of the second modulated light.

Ｄａ距離情報
Ｄｐ１第１深度情報
Ｄｐ２第２深度情報
Ｄｔ差分
ｆＨ第１周波数
ｆＬ第２周波数
ＭＤ１第１測距可能距離
ＭＤ２第２測距可能距離
ＭＬＨ第１変調光
ＭＬＬ第２変調光
Ｔｈ閾値
１測距装置
２光照射部
３受光部
５信号処理部
３１画素
３３第１タップ
３４第２タップ
５１第１深度情報算出部
５２第２深度情報算出部
５３距離情報算出部
５４折り返し判定部
５５距離情報出力部 Da Distance information Dp1 First depth information Dp2 Second depth information Dt Difference fH First frequency fL Second frequency MD1 First measurable distance MD2 Second measurable distance MLH First modulated light MLL Second modulated light Th Threshold 1 Distance measuring device 2 Light emitting unit 3 Light receiving unit 5 Signal processing unit 31 Pixel 33 First tap 34 Second tap 51 First depth information calculation unit 52 Second depth information calculation unit 53 Distance information calculation unit 54 Folding determination unit 55 Distance information output unit

Claims

a first depth information calculation unit that calculates first depth information based on a light reception signal of the first modulated light modulated by the first frequency;
a second depth information calculation unit that calculates second depth information based on a light reception signal of second modulated light modulated by a second frequency that is lower than the first frequency;
a distance information calculation unit that calculates distance information to a subject based on the first depth information and the second depth information;
a folding determination unit that determines whether a phase change of the second modulated light from irradiation to reception is less than 2π;
a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π,
the aliasing determination unit determines that a phase change of the second modulated light is 2π or more when a difference between the second depth information and the distance information is equal to or greater than a threshold;
The signal processing device, wherein the threshold value is variable depending on the intensity of the received light signal.

The signal processing device according to claim 1 , wherein the distance information output unit outputs an invalid value when it is determined that the phase change of the second modulated light is 2π or more.

2. The signal processing device according to claim 1, wherein the distance information calculation unit calculates the distance information by adding the first folding distance and the first depth information when the second depth information is equal to or greater than a first folding distance, which is the distance to the subject when a phase change of the first modulated light is set to 2π.

The signal processing device according to claim 3 , which satisfies the following conditional expression (A):
(A) fH ≠ n × fL
however,
fH: first frequency, fL: second frequency, and n: natural number.

The signal processing device according to claim 4 , which satisfies the following conditional expression (B):
(B) fH=(n+0.5)fL
however,
fH: first frequency, fL: second frequency, and n: natural number.

The signal processing device according to claim 1 , wherein a distance image is generated by calculating the distance information for each of two-dimensionally arranged pixels.

a light irradiation unit capable of irradiating first modulated light modulated by a first frequency and second modulated light modulated by a second frequency lower than the first frequency;
a light receiving unit that receives reflected light of the first modulated light and the second modulated light reflected by an object and outputs a light receiving signal corresponding to the light intensity of the reflected light;
a signal processing unit that performs signal processing on the received light signal output from the light receiving unit,
The signal processing unit
a first depth information calculation unit that calculates first depth information based on a light reception signal of the first modulated light;
a second depth information calculation unit that calculates second depth information based on a light reception signal of the second modulated light;
a distance information calculation unit that calculates distance information to a subject based on the first depth information and the second depth information;
a folding determination unit that determines whether a phase change of the second modulated light from irradiation to reception is less than 2π;
a distance information output unit that outputs the distance information when it is determined that the phase change of the second modulated light is less than 2π,
the aliasing determination unit determines that a phase change of the second modulated light is 2π or more when a difference between the second depth information and the distance information is equal to or greater than a threshold;
The threshold value is variable depending on the intensity of the received light signal.

irradiation of first modulated light modulated by a first frequency;
a process of calculating first depth information based on a light reception signal of the first modulated light;
an irradiation process of second modulated light modulated by a second frequency that is lower than the first frequency;
calculating second depth information based on a light reception signal of the second modulated light;
A process of calculating distance information to a subject based on the first depth information and the second depth information;
a process of determining whether a phase change of the second modulated light from irradiation to reception is less than 2π;
and outputting the distance information when it is determined that the phase change of the second modulated light is less than 2π;
In the process of determining whether the phase change is less than 2π, if the difference between the second depth information and the distance information is equal to or greater than a threshold, it is determined that the phase change of the second modulated light is equal to or greater than 2π;
The threshold value is variable depending on the intensity of the received light signal.

a pixel array unit that is capable of receiving first modulated light modulated by a first frequency and second modulated light modulated by a second frequency that is lower than the first frequency, and that has a first tap and a second tap that detect electric charges generated by photoelectric conversion in the photoelectric conversion unit;
the pixel array unit outputs detection signals of the first tap and the second tap based on reception of the first modulated light and detection signals of the first tap and the second tap based on reception of the second modulated light as light reception signals for determining whether a phase change from irradiation to reception of the second modulated light is 2π or more;
a light receiving signal of the first modulated light is used to calculate first depth information;
a light receiving signal of the second modulated light is used to calculate second depth information;
the first depth information and the second depth information are used to calculate distance information to a subject;
In the determination of whether the phase change is 2π or greater, if a difference between the second depth information and the distance information is equal to or greater than a threshold, it is determined that the phase change of the second modulated light is 2π or greater;
The threshold value is variable depending on the intensity of the received light signal.