Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5161938B2 - Spatial information detector - Google Patents
[go: Go Back, main page]

JP5161938B2 - Spatial information detector - Google Patents

Spatial information detector Download PDF

Info

Publication number
JP5161938B2
JP5161938B2 JP2010186483A JP2010186483A JP5161938B2 JP 5161938 B2 JP5161938 B2 JP 5161938B2 JP 2010186483 A JP2010186483 A JP 2010186483A JP 2010186483 A JP2010186483 A JP 2010186483A JP 5161938 B2 JP5161938 B2 JP 5161938B2
Authority
JP
Japan
Prior art keywords
light
target space
difference
period
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2010186483A
Other languages
Japanese (ja)
Other versions
JP2011007805A (en
Inventor
扶美 常定
裕介 橋本
史和 栗原
裕司 高田
篤 廣中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010186483A priority Critical patent/JP5161938B2/en
Publication of JP2011007805A publication Critical patent/JP2011007805A/en
Application granted granted Critical
Publication of JP5161938B2 publication Critical patent/JP5161938B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、対象空間に光を投光するとともに対象空間からの光を受光し、投光した光に対する受光した光の変化から対象空間に関する空間情報を検出する空間情報検出装置に関するものである。   The present invention relates to a spatial information detection device that projects light into a target space, receives light from the target space, and detects spatial information about the target space from a change in the received light with respect to the projected light.

従来から、強度を変調した光を対象空間に投光し、対象空間からの光を受光するとともに、投光した光と受光した光との変調成分の位相差を求めることによって、対象空間に存在する物体までの距離を空間情報として求める技術が知られており(たとえば、特許文献1参照)、また変調成分の異なる位相において得られた受光光量の差分によって環境光成分を除去した反射光成分を空間情報として求める技術が知られている。ここに、反射光成分は、投受光の変化を表しているから、対象空間内の物体の存否や既知距離に存在する物体の反射率などに対応する。   Conventionally, light that has been modulated in intensity is projected into the target space, received from the target space, and present in the target space by determining the phase difference of the modulated component between the projected light and the received light. A technique for obtaining a distance to an object as spatial information is known (see, for example, Patent Document 1), and a reflected light component obtained by removing an ambient light component by a difference in received light amounts obtained at different phases of a modulation component is obtained. The technology required as spatial information is known. Here, since the reflected light component represents a change in light projection and reception, it corresponds to the presence or absence of an object in the target space, the reflectance of an object existing at a known distance, and the like.

特表平10−508736号公報Japanese National Patent Publication No. 10-508736

ところで、空間情報の検出に用いるこの種の空間情報検出装置(以下、「検出装置」と略称する)は、発光源から対象空間に対して強度を変調した光を投光しているから、複数台の検出装置が共通の対象空間に関する空間情報を検出しようとして各検出装置から対象空間に投光した光が混合されると、どの検出装置から対象空間に投光された光かを区別することができなくなる。つまり、各検出装置では自身が投光した光を分離して検出することができなくなるから、各検出装置において空間情報を検出することができなくなるという問題を生じる。   By the way, this kind of spatial information detection device (hereinafter abbreviated as “detection device”) used for detecting spatial information projects a light whose intensity is modulated from a light source to a target space. When the detection devices of the bases try to detect spatial information about the common target space and the light projected from each detection device to the target space is mixed, it is distinguished from which detection device the light projected into the target space Can not be. In other words, each detection device cannot separate and detect the light projected by itself, which causes a problem that spatial information cannot be detected by each detection device.

本発明は上記事由に鑑みて為されたものであり、その目的は、複数台が対象空間の少なくとも一部を共通にしている場合であっても、それぞれ対象空間の空間情報を独立して検出することができるようにした空間情報検出装置を提供することにある。   The present invention has been made in view of the above reasons, and its purpose is to independently detect the spatial information of each target space even when a plurality of vehicles share at least a part of the target space. It is an object of the present invention to provide a spatial information detection device that can be used.

請求項1の発明は、対象空間に投光する発光源と、発光源から対象空間に投光する光の強度を変調するように発光源に所定の変調周波数の変調信号を与える発光制御部と、対象空間からの光を受光し受光光量に応じた電荷を生成する感光部を有した光検出素子と、感光部で生成される電荷のうち変調信号において規定した位相区間に同期する期間に生成された電荷を用い発光源から投光した光と光検出素子で受光した光との変化から対象空間の空間情報を検出する評価部とを備え、発光制御部は、発光源から対象空間に投光する投光期間と投光しない休止期間とを設けるように発光源を制御し、評価部は、光検出素子が休止期間に受光した光により生成される電荷のうち変調信号において規定した2種類の位相区間の電荷量を比較することにより環境光成分における変動成分の存否を判定する干渉判定部を備え、光検出素子が受光する環境光成分のうち前記位相区間内で変動する成分を相殺するように変調信号において規定した2種類の位相区間の電荷量の差分を求め、干渉判定部において積算値の差分が環境光成分の影響を受けていると判定した場合には当該差分を採用せず、差分が閾値以下の場合に当該差分を用いて空間情報を検出することを特徴とする。   According to a first aspect of the present invention, there is provided a light emission source that projects light into a target space, and a light emission control unit that applies a modulation signal having a predetermined modulation frequency to the light emission source so as to modulate the intensity of light projected from the light emission source to the target space. , A light detection element having a photosensitive part that receives light from the target space and generates a charge according to the amount of light received, and a period that is synchronized with the phase interval defined in the modulation signal among the charges generated by the photosensitive part And an evaluation unit that detects spatial information of the target space from a change between the light projected from the light source using the generated charge and the light received by the light detection element, and the light emission control unit projects the light from the light source to the target space. The light emitting source is controlled to provide a light projecting period during which light is emitted and a rest period during which light is not projected, and the evaluation unit determines two types of charges generated by the light received by the light detection element during the rest period in the modulation signal. To compare the amount of charge in the phase interval of An interference determination unit for determining the presence or absence of a fluctuation component in the ambient light component, and the two types of modulation signals defined in the modulation signal so as to cancel out the fluctuation component in the phase interval among the ambient light components received by the light detection element When the difference in the charge amount in the phase interval is obtained and the interference determination unit determines that the difference between the integrated values is affected by the ambient light component, the difference is not adopted, and the difference is determined when the difference is equal to or less than the threshold value. It is characterized in that spatial information is detected using.

この構成によれば、光検出素子で生成された電荷のうち変調信号において規定した特定の2種類の位相区間の電荷量の差分を、環境光成分のうちの変動成分が相殺されるように取り出しているから、他の空間情報検出装置から投光された光が環境光成分に含まれていたとしても、この光の影響を除去して空間情報を検出することが可能になる。言い換えると、複数台の空間情報検出装置が対象空間の少なくとも一部を共通にしている場合であっても、他の空間情報検出装置の影響を受けることなく対象空間の空間情報を検出することができる。   According to this configuration, the difference between the charge amounts of two specific phase sections defined in the modulation signal among the charges generated by the light detection element is extracted so that the fluctuation component of the ambient light component is canceled out. Therefore, even if the light projected from another spatial information detection device is included in the ambient light component, it is possible to remove the influence of this light and detect the spatial information. In other words, even when a plurality of spatial information detection devices share at least part of the target space, the spatial information of the target space can be detected without being affected by other spatial information detection devices. it can.

さらに、発光源から対象空間に光を投光する投光期間と光を投光しない休止期間とを設けて間欠的に投光しており、光を投光しない休止期間において受光する環境光成分のみを用いて変動成分の存否を判定するから、発光源から対象空間に投光する光の変動成分の影響を除去して環境光成分における変動成分の有無を判断することができる。言い換えると、他の空間情報検出装置が対象空間を共通にしているか否かを容易に判断することができる。   Furthermore, an ambient light component that receives light during a pause period in which light is projected intermittently by providing a light projection period during which light is projected from the light source to the target space and a pause period during which light is not projected is provided. Therefore, it is possible to determine the presence or absence of the fluctuation component in the environmental light component by removing the influence of the fluctuation component of the light projected from the light source to the target space. In other words, it is possible to easily determine whether other spatial information detection devices share the target space.

請求項2の発明は、請求項1の発明において、前記発光制御部から出力される変調信号の変調周波数を複数種類から選択可能であって前記干渉判定部が環境光成分における変動成分の存在を検出しなくなるまで変調周波数を変化させる周波数切換部を備えることを特徴とする。   According to a second aspect of the present invention, in the first aspect of the present invention, the modulation frequency of the modulation signal output from the light emission control unit can be selected from a plurality of types, and the interference determination unit detects the presence of a fluctuation component in the ambient light component. A frequency switching unit that changes the modulation frequency until it is not detected is provided.

この構成によれば、複数台の空間情報検出装置を用いる場合に変調周波数を個々に設定する必要がなく、簡便に使用することができる上に、互いの干渉を回避することができる変調周波数を自動的に設定するから、環境光成分の影響を受けずに空間情報を検出することが可能になる。   According to this configuration, it is not necessary to individually set the modulation frequency when using a plurality of spatial information detection devices, and the modulation frequency can be used easily and avoid interference with each other. Since it is automatically set, it becomes possible to detect spatial information without being affected by the ambient light component.

請求項3の発明は、請求項1又は2の発明において、前記評価部は、前記発光源から対象空間に投光した光と前記光検出素子で受光した光との位相差に相当する中間値を前記差分に対応付けた換算テーブルを有し、換算テーブルから求めた中間値を前記発光源から対象空間に投光した光の変調周波数に応じて決定される補正値で補正することにより対象空間に存在する物体までの距離を求めることを特徴とする。   According to a third aspect of the present invention, in the first or second aspect of the invention, the evaluation unit is an intermediate value corresponding to a phase difference between the light projected from the light emitting source into the target space and the light received by the light detection element. The target space is obtained by correcting the intermediate value obtained from the conversion table with a correction value determined according to the modulation frequency of the light projected from the light source to the target space. It is characterized in that a distance to an object existing in is obtained.

この構成によれば、光検出素子から出力される電荷量の差分と投受光の位相差に相当する中間値とを対応付けた換算テーブルを用い、換算テーブルから得られた中間値を変調周波数に応じた補正値で補正するから、変調周波数が異なっていても同じ換算テーブルを用いることができ、データの共通化により製品の製造が容易になる。また、光検出素子から出力される電荷量の差分から計算によって距離を求めることが可能ではあるが、理論式を用いて計算すると装置特性による誤差が発生するのに対して、換算テーブルを用いることにより装置特性による誤差を折り込んだデータを設定することができ、結果的に物体までの距離を精度よく求めることが可能になる。   According to this configuration, the conversion table in which the difference in the amount of charge output from the light detection element and the intermediate value corresponding to the phase difference between light transmission and reception are associated is used, and the intermediate value obtained from the conversion table is used as the modulation frequency. Since the correction is performed with the corresponding correction value, the same conversion table can be used even if the modulation frequency is different, and the product can be easily manufactured by sharing the data. Although it is possible to obtain the distance by calculation from the difference in the amount of charge output from the light detection element, an error due to device characteristics occurs when calculated using a theoretical formula, but a conversion table should be used. Thus, it is possible to set data in which an error due to the apparatus characteristic is folded, and as a result, it is possible to accurately obtain the distance to the object.

本発明の構成によれば、光検出素子で生成された電荷のうち変調信号において規定した特定の2種類の位相区間の電荷量の差分を、環境光成分のうちの変動成分が相殺されるように取り出しているから、他の空間情報検出装置から投光された光が環境光成分に含まれていたとしても、この光の影響を除去して空間情報を検出することが可能になる。言い換えると、複数台の空間情報検出装置が対象空間の少なくとも一部を共通にしている場合であっても、他の空間情報検出装置の影響を受けることなく対象空間の空間情報を検出することができるという利点を有する。   According to the configuration of the present invention, the fluctuation component of the ambient light component is canceled out with respect to the difference between the charge amounts of the two specific types of phase sections defined in the modulation signal among the charges generated by the light detection element. Therefore, even if the light projected from another spatial information detection device is included in the ambient light component, it is possible to remove the influence of this light and detect the spatial information. In other words, even when a plurality of spatial information detection devices share at least part of the target space, the spatial information of the target space can be detected without being affected by other spatial information detection devices. It has the advantage of being able to.

さらに、発光源から対象空間に光を投光する投光期間と光を投光しない休止期間とを設けて間欠的に投光しており、光を投光しない休止期間において受光する環境光成分のみを用いて変動成分の存否を判定するから、発光源から対象空間に投光する光の変動成分の影響を除去して環境光成分における変動成分の有無を判断することができる。言い換えると、他の空間情報検出装置が対象空間を共通にしているか否かを容易に判断することができる。   Furthermore, an ambient light component that receives light during a pause period in which light is projected intermittently by providing a light projection period during which light is projected from the light source to the target space and a pause period during which light is not projected is provided. Therefore, it is possible to determine the presence or absence of the fluctuation component in the environmental light component by removing the influence of the fluctuation component of the light projected from the light source to the target space. In other words, it is possible to easily determine whether other spatial information detection devices share the target space.

本発明の実施形態を示すブロック図である。It is a block diagram which shows embodiment of this invention. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above. 同上の動作説明図である。It is operation | movement explanatory drawing same as the above.

以下に説明する実施形態では、空間情報検出装置(以下では、「検出装置」と略称する)として対象空間に存在する物体までの距離を計測する測距装置を例示する。また、以下に説明する測距装置は、対象空間の画像を撮像することにより対象空間の場所ごとの距離を各画素に対応付けた距離画像を生成する。なお、空間情報には、対象空間に存在する物体の反射率のように環境光成分を除去することにより得られる情報も含まれる。   In the embodiment described below, a distance measuring device that measures the distance to an object existing in the target space is exemplified as a spatial information detection device (hereinafter, abbreviated as “detection device”). A distance measuring device described below generates a distance image in which a distance for each location in the target space is associated with each pixel by capturing an image of the target space. Note that the spatial information includes information obtained by removing environmental light components such as the reflectance of an object existing in the target space.

(測距装置の基本構成)
検出装置である測距装置の基本構成について説明する。測距装置は、図1に示すように、対象空間に光を投光する発光源2を備えるとともに、対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子1を備える。対象空間に存在する物体Obまでの距離は、発光源2から対象空間に光が投光されてから物体Obでの反射光が光検出素子1に入射するまでの時間(「飛行時間」と呼ぶ)によって求める。ただし、飛行時間は非常に短いから、発光源2に所定の変調周波数の変調信号を発光制御部3から与えることにより発光源2から対象空間に投光する光の強度を変調し、光の強度の変調成分について投受光の位相差を求め、この位相差を飛行時間に換算する技術を用いている。つまり、発光制御部3は対象空間に投光する光の強度が一定周期で周期的に変化するように発光源2を制御する。
(Basic configuration of rangefinder)
A basic configuration of a distance measuring device as a detection device will be described. As shown in FIG. 1, the distance measuring device includes a light emitting source 2 that projects light into a target space, and a light detection element 1 that receives light from the target space and obtains an output that reflects the amount of received light. . The distance to the object Ob existing in the target space is the time from when light is projected from the light emission source 2 to the target space until the reflected light from the object Ob enters the light detection element 1 (referred to as “time of flight”). ) However, since the flight time is very short, the intensity of light projected from the light source 2 to the target space is modulated by giving the light source 2 a modulation signal having a predetermined modulation frequency from the light emission control unit 3. A technique is used in which a phase difference between light transmission and reception is obtained with respect to the modulation component, and this phase difference is converted into time of flight. That is, the light emission control unit 3 controls the light emission source 2 so that the intensity of light projected to the target space periodically changes at a constant period.

いま、図2に示すように、発光源2から空間に放射する光の強度が曲線イのように正弦波形になるように変調されており、光検出素子1で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより物体Obまでの距離を求めることができる。つまり、位相差ψの単位を[rad]、物体Obまでの距離をL[m]、光速をc[m/s]、強度変調光の角周波数をω[rad/s]とすれば、L=ψ・c/2ωになる。   Now, as shown in FIG. 2, the intensity of light radiated from the light source 2 to the space is modulated so as to have a sine waveform as shown in curve A, and the amount of light received by the light detecting element 1 is Since the phase difference ψ corresponds to the flight time, the distance to the object Ob can be obtained by obtaining the phase difference ψ. That is, if the unit of the phase difference ψ is [rad], the distance to the object Ob is L [m], the speed of light is c [m / s], and the angular frequency of the intensity-modulated light is ω [rad / s], L = Ψ · c / 2ω.

位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相区間が0〜90度、90〜180度、180〜270度、270〜360度のタイミングで求めた曲線ロの受光光量をそれぞれA0、A1、A2、A3とする(受光光量A0、A1、A2、A3を斜線部で示している)。つまり、各位相区間における受光光量A0、A1、A2、A3は、それぞれ90度ずつの位相幅Twの積分値になる。ここに、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、物体Obまでの距離が変化せず)、かつ物体Obの反射率にも変化がないものとする。また、発光源2から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子1で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。ただし、Aは振幅、Bは環境光成分と反射光成分との平均値、ωは強度変調光の角周波数(ω=2πf;fは変調周波数)、δは初期位相である。ここでは、4つの位相区間の受光光量A0、A1、A2、A3が得られる期間において平均値Bは一定とみなすことができる場合を想定している。これらの条件から、位相差ψを、たとえば次式で表すことができる。
ψ=tan−1(A2−A0)/(A1−A3)
上式は積分する位相区間の取り方(たとえば、上述の例では1つの位相区間の位相幅が90度であるが、180度などにしてもよい)によって符号が変化したり位相が90度異なったりするが、いずれにしても、位相差ψは4つの位相区間の受光光量A0、A1、A2、A3を用いて求めることができる。
The phase difference ψ can be calculated using the received light amount of the curve B obtained at a plurality of timings of the curve A. For example, the received light amounts of curve B obtained at the timings when the phase interval in curve A is 0 to 90 degrees, 90 to 180 degrees, 180 to 270 degrees, and 270 to 360 degrees are respectively A0, A1, A2, and A3 (light reception). The light amounts A0, A1, A2, and A3 are indicated by hatching). That is, the received light amounts A0, A1, A2, and A3 in each phase section are integrated values of the phase width Tw of 90 degrees. Here, the phase difference ψ does not change (that is, the distance to the object Ob does not change) and the reflectance of the object Ob does not change while the received light amounts A0, A1, A2, A3 are obtained. And Further, it is assumed that the intensity of light emitted from the light emitting source 2 is modulated by a sine wave, and the intensity of light received by the light detection element 1 at time t is represented by A · sin (ωt + δ) + B. Where A is the amplitude, B is the average value of the ambient light component and the reflected light component, ω is the angular frequency of the intensity modulated light (ω = 2πf; f is the modulation frequency), and δ is the initial phase. Here, it is assumed that the average value B can be regarded as constant during the period in which the received light amounts A0, A1, A2, and A3 of the four phase sections are obtained. From these conditions, the phase difference ψ can be expressed by the following equation, for example.
ψ = tan −1 (A2−A0) / (A1−A3)
The above equation changes the sign or the phase differs by 90 degrees depending on how the phase section to be integrated is taken (for example, in the above example, the phase width of one phase section is 90 degrees, but it may be 180 degrees). In any case, the phase difference ψ can be obtained by using the received light amounts A0, A1, A2, and A3 in the four phase sections.

対象空間に投光する光の強度を比較的高い変調周波数の変調信号で変調する必要があるから、発光源2としては、応答速度の速い光源を用いる。たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを発光源2に用いる。発光源2を駆動する変調信号は発光制御部3から出力され、発光源2から放射される光の強度が変調信号により変調される。発光制御部3では、たとえば10MHzの正弦波を変調信号として出力する。なお、変調信号の波形は、正弦波のほかに、三角波、鋸歯状波などでもよい。   Since it is necessary to modulate the intensity of light projected into the target space with a modulation signal having a relatively high modulation frequency, a light source with a fast response speed is used as the light emission source 2. For example, a light emitting source 2 that uses a plurality of light emitting diodes arranged on one plane or a combination of a semiconductor laser and a diverging lens is used. A modulation signal for driving the light emission source 2 is output from the light emission control unit 3, and the intensity of light emitted from the light emission source 2 is modulated by the modulation signal. The light emission control unit 3 outputs, for example, a 10 MHz sine wave as a modulation signal. The waveform of the modulation signal may be a triangular wave, a sawtooth wave, or the like in addition to the sine wave.

光検出素子1は、規則的に配列された複数個の感光部11を備える。また、感光部11への光の入射経路には受光光学系5が配置される。感光部11は光検出素子1において対象空間からの光が受光光学系5を通して入射する部位であって、感光部11において受光光量に応じた量の電荷を生成する。また、感光部11は、平面格子の格子点上に配置され、たとえば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。   The light detection element 1 includes a plurality of photosensitive portions 11 regularly arranged. A light receiving optical system 5 is disposed in the light incident path to the photosensitive portion 11. The photosensitive unit 11 is a part where light from the target space is incident through the light receiving optical system 5 in the light detection element 1, and the photosensitive unit 11 generates an amount of charge corresponding to the amount of received light. Further, the photosensitive portions 11 are arranged on the lattice points of the planar lattice, and are arranged in a matrix in which, for example, a plurality are arranged at equal intervals in the vertical direction (that is, the vertical direction) and the horizontal direction (that is, the horizontal direction). Is done.

受光光学系5は、光検出素子1から対象空間を見るときの視線方向と各感光部11とを対応付ける。すなわち、受光光学系5を通して各感光部11に光が入射する範囲を、受光光学系5の中心を頂点とし各感光部11ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源2から放射され対象空間に存在する物体Obで反射された反射光が感光部11に入射すれば、反射光を受光した感光部11の位置により、受光光学系5の光軸を基準方向として物体Obの存在する方向を知ることができる。   The light receiving optical system 5 associates the line-of-sight direction when viewing the target space from the light detection element 1 with each photosensitive portion 11. That is, the range in which light enters each photosensitive portion 11 through the light receiving optical system 5 can be regarded as a conical field of view with a small apex angle set for each photosensitive portion 11 with the center of the light receiving optical system 5 as the apex. . Therefore, if the reflected light emitted from the light source 2 and reflected by the object Ob existing in the target space is incident on the photosensitive portion 11, the optical axis of the light receiving optical system 5 is changed depending on the position of the photosensitive portion 11 that has received the reflected light. The direction in which the object Ob exists can be known as the reference direction.

受光光学系5は一般に感光部11を配列した平面に光軸を直交させるように配置されるから、受光光学系5の中心を原点とし、感光部11を配列した平面の垂直方向と水平方向と受光光学系5の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間に存在する物体Obの位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部11に対応する。なお、受光光学系5は、感光部11を配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。   Since the light receiving optical system 5 is generally arranged so that the optical axis is orthogonal to the plane on which the photosensitive portions 11 are arranged, the center of the light receiving optical system 5 is the origin, and the vertical and horizontal directions of the plane on which the photosensitive portions 11 are arranged If an orthogonal coordinate system is set in which the optical axis of the light receiving optical system 5 is in the direction of three axes, the angles (so-called azimuth and elevation angles) when the position of the object Ob existing in the target space is expressed in spherical coordinates are set. This corresponds to the photosensitive portion 11. The light receiving optical system 5 can also be arranged so that the optical axis intersects at an angle other than 90 degrees with respect to the plane on which the photosensitive portions 11 are arranged.

本構成では、上述のように、物体Obまでの距離を求めるために、発光源2から対象空間に投光される光の強度変化に同期する4つの位相区間の受光光量A0、A1、A2、A3を求めている。したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。また、発光源2から対象空間に投光される光の強度変化の1周期において感光部11で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図1のように各感光部11で発生した電荷をそれぞれ集積する複数個の電荷集積部13を設けるとともに、感光部11で生成した電荷を電荷集積部13に集積するタイミングを制御する感度制御部12を設けている。このタイミングは発光制御部3が制御する。   In this configuration, as described above, in order to obtain the distance to the object Ob, the received light amounts A0, A1, A2 of the four phase sections synchronized with the intensity change of the light projected from the light source 2 to the target space, We are seeking A3. Therefore, it is necessary to control the timing to obtain the desired received light amount A0, A1, A2, A3. Further, since the amount of charge generated in the photosensitive portion 11 is small in one cycle of the intensity change of light projected from the light source 2 to the target space, it is desirable to accumulate the charge over a plurality of cycles. Therefore, as shown in FIG. 1, a plurality of charge accumulation units 13 for accumulating the charges generated in the respective photosensitive units 11 are provided, and the sensitivity for controlling the timing at which the charges generated by the photosensitive units 11 are accumulated in the charge accumulation unit 13 is provided. A control unit 12 is provided. The light emission control unit 3 controls this timing.

本構成で用いる光検出素子1は、複数個(たとえば、100×100個)の感光部11をマトリクス状に配列したものであって1枚の半導体基板上に形成される。感光部11のうち垂直方向の各列に沿ってそれぞれ垂直方向に電荷を転送するCCDである垂直転送部が形成され、さらに垂直転送部の一端から電荷を受け取って水平方向に電荷を転送するCCDである水平転送部が形成された構成を有する。感光部11と垂直転送部との間には転送ゲートが設けられる。   The light detection element 1 used in this configuration is formed by arranging a plurality of (for example, 100 × 100) photosensitive portions 11 in a matrix and formed on a single semiconductor substrate. A vertical transfer unit, which is a CCD that transfers charges in the vertical direction along each column in the vertical direction of the photosensitive unit 11, is formed, and further, a CCD that receives charges from one end of the vertical transfer unit and transfers charges in the horizontal direction. The horizontal transfer part is formed. A transfer gate is provided between the photosensitive unit 11 and the vertical transfer unit.

この光検出素子1は、インターライン・トランスファ(IT)方式のCCDイメージセンサと同様の構成であり、図1に示した電荷取出部14は、垂直転送部と水平転送部とを含む機能を表している。また、電荷集積部13は垂直転送部において転送を開始するまでの期間において電荷を集積する機能を表している。   The photodetector 1 has the same configuration as an interline transfer (IT) type CCD image sensor, and the charge extraction unit 14 shown in FIG. 1 represents a function including a vertical transfer unit and a horizontal transfer unit. ing. The charge accumulating unit 13 represents a function of accumulating charges in a period until transfer is started in the vertical transfer unit.

ところで、感度制御部12は、上述した受光光量A0、A1、A2、A3にそれぞれ対応する4つの位相区間において感度を高めるように発光制御部3で制御され、受光光量A0、A1、A2、A3に相当する電荷を電荷集積部13に集積する。ここで、IT方式のCCDイメージセンサに類似した構成を採用しているから、転送ゲートを制御することにより感光部11から垂直転送部に集積させる電荷量を調節する構成と、各感光部11ごとに電荷を廃棄することができる廃棄電極を設けて廃棄する電荷量を調節する構成との少なくとも一方を用いることにより感度制御部12の機能を持たせる。すなわち、所望の受光光量A0、A1、A2、A3に対応する位相区間において感光部11から垂直転送部へ電荷が通過するように転送ゲートを制御したり、所望の位相区間以外の電荷を廃棄するように廃棄電極への印加電圧を制御したりすることで、所望の位相区間のみの電荷を垂直転送部に集積し、集積した電荷を転送する。   Meanwhile, the sensitivity control unit 12 is controlled by the light emission control unit 3 so as to increase the sensitivity in the four phase sections respectively corresponding to the above-described received light amounts A0, A1, A2, A3, and the received light amounts A0, A1, A2, A3. Is accumulated in the charge accumulating unit 13. Here, since a configuration similar to that of an IT type CCD image sensor is adopted, a configuration for adjusting the amount of charge accumulated from the photosensitive portion 11 to the vertical transfer portion by controlling the transfer gate, and for each photosensitive portion 11 The function of the sensitivity control unit 12 is provided by using at least one of a configuration in which a waste electrode capable of discarding charges is provided to adjust the amount of charge discarded. That is, the transfer gate is controlled so that the charge passes from the photosensitive portion 11 to the vertical transfer portion in the phase interval corresponding to the desired received light quantity A0, A1, A2, A3, or the charges other than the desired phase interval are discarded. In this way, by controlling the voltage applied to the waste electrode, charges in only a desired phase interval are accumulated in the vertical transfer unit, and the accumulated charges are transferred.

ただし、発光源2から対象空間に投光され物体Obで反射された後に光検出素子1の感光部11に入射する光の強度は小さいから、上述した各区間の受光光量A0、A1、A2、A3に相当する電荷を強度変調光の変調周期の1周期内で電荷集積部13に集積したとしても各受光光量A0、A1、A2、A3に十分な大きさの差が得られず、距離の測定精度が低くなる。したがって、実際には各区間に相当して生成される電荷を強度変調光の複数周期(たとえば、3万周期)にわたって電荷集積部13に集積した後に、電荷取出部14を通して光検出素子1から取り出している。電荷取出部14を通して電荷を取り出すタイミングは発光制御部3が制御する。   However, since the intensity of light incident on the photosensitive portion 11 of the light detection element 1 after being projected from the light source 2 into the target space and reflected by the object Ob is small, the received light amount A0, A1, A2, Even if the charge corresponding to A3 is accumulated in the charge accumulation unit 13 within one modulation period of the intensity-modulated light, a sufficient difference in the received light amounts A0, A1, A2, A3 cannot be obtained, and the distance Measurement accuracy is lowered. Therefore, in practice, charges generated corresponding to each section are accumulated in the charge accumulation unit 13 over a plurality of periods (for example, 30,000 periods) of intensity-modulated light, and then taken out from the light detection element 1 through the charge extraction unit 14. ing. The light emission control unit 3 controls the timing of extracting the charge through the charge extraction unit 14.

以下では、電荷集積部13に電荷を集積している期間(つまり、感光部11において目的の区間の電荷を生成している期間)を受光期間と呼び、電荷集積部13に集積された電荷を電荷取出部14により取り出す期間を読出期間と呼ぶ。   Hereinafter, a period in which charges are accumulated in the charge accumulating unit 13 (that is, a period in which charges in the target section are generated in the photosensitive unit 11) is referred to as a light receiving period, and the charges accumulated in the charge accumulating unit 13 are A period of time taken out by the charge extraction unit 14 is referred to as a reading period.

ところで、上述した構成例において、隣接する感光部11を4個ずつ一組にして用いると、一組に含まれる4個の感光部11で上述した4つの位相区間の区間別の電荷を電荷集積部13に集積することが可能である。つまり、一組にした4個の感光部11に対応する感度制御部12を、それぞれ受光光量A0、A1、A2、A3に対応した各位相区間に対応付けて制御すれば、4個の電荷集積部13にはそれぞれ受光光量A0、A1、A2、A3に対応した電荷が集積されることになる。このような動作とすれば、受光期間と読出期間とを1回ずつ設けるだけで4つの位相区間の受光光量A0、A1、A2、A3を取り出すことができ、比較的短い時間内の情報を用いて物体Obの距離を求めることができる。ただし、4個の感光部11が対象空間の一つの方向に対応するから、1個の感光部11を対象空間の一つの方向に対応付ける場合に比較すると、分解能は4分の1に低下する。また、異なる位置の感光部11を対象空間の一方向に対応付けているから、各感光部11が異なる物体Obからの反射光を受光する可能性が高くなり、距離に関して誤測定を生じやすくなる。   By the way, in the configuration example described above, when four adjacent photosensitive portions 11 are used as a set, the charge for each of the four phase intervals described above is accumulated in the four photosensitive portions 11 included in the set. It is possible to accumulate in the part 13. That is, if the sensitivity control units 12 corresponding to the four photosensitive units 11 in a set are controlled in association with the phase intervals corresponding to the received light amounts A0, A1, A2, and A3, four charge accumulations are performed. Charges corresponding to the received light amounts A0, A1, A2, and A3 are accumulated in the unit 13, respectively. With such an operation, it is possible to extract the received light amounts A0, A1, A2, and A3 of the four phase sections only by providing the light receiving period and the reading period once, and use information within a relatively short time. Thus, the distance of the object Ob can be obtained. However, since the four photosensitive portions 11 correspond to one direction of the target space, the resolution is reduced to a quarter compared to the case where one photosensitive portion 11 is associated with one direction of the target space. In addition, since the photosensitive portions 11 at different positions are associated with one direction of the target space, it is highly likely that each photosensitive portion 11 receives reflected light from different objects Ob, and erroneous measurement with respect to distance is likely to occur. .

一方、1つの感光部11を対象空間の一方向に対応付けるようにすれば、分解能が高くなるから静止している物体Obに対する距離の誤測定を低減できるが、受光期間と読出期間とが4回ずつ必要になるから、相対的に移動する物体Obについては距離の誤測定が生じやすくなる。そこで、本構成では、2個の感光部11を一組に用い、受光期間と読出期間とを2回ずつ用いて4区間の受光光量A0、A1、A2、A3に相当する電荷を取り出す方法を採用している。つまり、2回の受光期間のうちの1回目は受光光量A0、A2に相当する量の電荷を取り出し、2回目は受光光量A1、A3に相当する量の電荷を取り出すようにしている。   On the other hand, if one photosensitive unit 11 is associated with one direction of the target space, the resolution becomes high, so that the erroneous measurement of the distance to the stationary object Ob can be reduced, but the light receiving period and the reading period are four times. Since it is necessary one by one, erroneous measurement of the distance is likely to occur for the relatively moving object Ob. Therefore, in this configuration, there is a method of using two photosensitive portions 11 as a set and taking out the charges corresponding to the received light amounts A0, A1, A2, and A3 of the four sections by using the light receiving period and the reading period twice. Adopted. That is, the first time out of the two light receiving periods takes out the charge corresponding to the received light amounts A0 and A2, and the second time takes out the charge corresponding to the received light amounts A1 and A3.

上述した光検出素子1から出力される受光出力は評価部としての距離演算部4に与えられ、距離演算部4では上述の4つの位相区間の受光光量A0、A1、A2、A3に相当する電荷量に相当する受光出力を受け取り、上述した位相差ψを求める数式に当て嵌めるか、あるいは当該数式に相当する換算テーブルに当て嵌めることによって位相差ψを求め、さらに位相差ψから物体Obまでの距離を求める。距離演算部4は対象空間の複数方向について距離を求めるから、対象空間についての三次元情報を得ることができるのであって、画素値に距離値を対応付けた距離画像を生成することができる。換算テーブルでは位相差ψではなく距離を求めるようにしてもよいのはもちろんのことである。   The light reception output output from the above-described light detection element 1 is given to the distance calculation unit 4 as an evaluation unit, and the distance calculation unit 4 charges corresponding to the received light amounts A0, A1, A2, and A3 in the above four phase sections. The light reception output corresponding to the quantity is received and applied to the above-described mathematical formula for obtaining the phase difference ψ, or by fitting to the conversion table corresponding to the mathematical formula, the phase difference ψ is obtained, and further from the phase difference ψ to the object Ob Find the distance. Since the distance calculation unit 4 obtains distances in a plurality of directions of the target space, it can obtain three-dimensional information about the target space, and can generate a distance image in which distance values are associated with pixel values. Of course, instead of the phase difference ψ, the distance may be obtained in the conversion table.

ところで、4つの位相区間の受光光量A0、A1、A2、A3から位相差ψを求める上式は、4つの位相区間の受光光量A0、A1、A2、A3が得られる期間において平均値Bが一定であるという仮定、つまり4つの位相区間の受光光量A0、A1、A2、A3を求める時間内では環境光成分が変化しないという仮定のもとで成立する。したがって、環境光成分が各位相区間内で変動するような条件下では位相差ψを求めることができないことになる。以下に説明する実施形態は、環境光成分が各位相区間内で変動する変動成分を含むような場合でも位相差ψを求めることを可能としたものである。   By the way, in the above equation for obtaining the phase difference ψ from the received light amounts A0, A1, A2, A3 of the four phase sections, the average value B is constant during the period in which the received light quantities A0, A1, A2, A3 of the four phase sections are obtained. This is based on the assumption that the ambient light component does not change within the time for obtaining the received light amounts A0, A1, A2, and A3 in the four phase sections. Therefore, the phase difference ψ cannot be obtained under conditions where the ambient light component varies within each phase interval. In the embodiment described below, the phase difference ψ can be obtained even when the ambient light component includes a fluctuation component that fluctuates within each phase interval.

(実施形態)
本実施形態では、図1に示すように、上述した構成の測距装置が対象空間の少なくとも一部を共通にして複数台配置されている場合を想定する。各測距装置は、それぞれ発光源2と発光制御部3と光検出素子1と距離演算部4とを備える。また、本実施形態における発光制御部3は変調周波数が複数種類から選択可能となるように構成されており、発光制御部3には変調周波数を選択するための周波数選択部6が付設される。周波数選択部6はDIPスイッチやロータリスイッチを用いて構成される。あるいはまた、周波数選択部6の周波数をメモリスイッチで選択可能とし、コンピュータのような支援装置を用いてメモリスイッチの内容を変更可能にする構成を採用してもよい。
(Embodiment)
In the present embodiment, as shown in FIG. 1, a case is assumed in which a plurality of ranging devices having the above-described configuration are arranged with at least a part of the target space in common. Each distance measuring device includes a light emission source 2, a light emission control unit 3, a light detection element 1, and a distance calculation unit 4. Further, the light emission control unit 3 in the present embodiment is configured such that a modulation frequency can be selected from a plurality of types, and the light emission control unit 3 is provided with a frequency selection unit 6 for selecting the modulation frequency. The frequency selection unit 6 is configured using a DIP switch or a rotary switch. Alternatively, a configuration may be adopted in which the frequency of the frequency selection unit 6 can be selected by a memory switch, and the contents of the memory switch can be changed using a support device such as a computer.

本実施形態では、各測距装置の変調周波数を固定的に設定してあり、かつ各変調周波数が互いに異なる場合を想定する。たとえば、3台の測距装置があるものとし、それぞれ変調周波数が、10MHz、12MHz、15MHzに設定されているものとする。各測距装置では、変調信号に同期する特定の位相区間の受光光量A0、A1、A2、A3に相当する電荷量の受光出力を光検出素子1から取り出して距離演算部4に与えるのであって、光検出素子1における1回の読出期間において受光光量A0、A2に相当する電荷量の受光出力を取り出し、他の1回の読出期間において受光光量A1、A3に相当する電荷量の受光出力を取り出す。   In the present embodiment, it is assumed that the modulation frequencies of the distance measuring devices are fixedly set and the modulation frequencies are different from each other. For example, it is assumed that there are three distance measuring devices, and the modulation frequencies are set to 10 MHz, 12 MHz, and 15 MHz, respectively. In each distance measuring device, the received light amount output corresponding to the received light amount A0, A1, A2, A3 in a specific phase interval synchronized with the modulation signal is taken out from the light detecting element 1 and given to the distance calculation unit 4. The light receiving output of the charge amount corresponding to the received light amount A0, A2 is taken out in one reading period in the light detecting element 1, and the received light output of the charge amount corresponding to the received light amount A1, A3 in the other reading period. Take out.

各測距装置では、受光期間において変調信号の多数周期にわたって集積した電荷を取り出すから、光検出素子1の受光出力には、他の測距装置から対象空間に投光された光による変動成分について全成分が均等に含まれているとみなしてよい。   Since each distance measuring device extracts charges accumulated over a large number of periods of the modulation signal in the light receiving period, the light receiving output of the light detecting element 1 includes fluctuation components due to light projected from other distance measuring devices to the target space. It may be considered that all components are contained equally.

いま、説明を簡単にするために、変調周波数が10MHzと12MHzとの2台の測距装置が対象空間を共有して動作しているものとすると、両測距装置では、図3に示すように12MHzの光(ハ)と、10MHzの光(ニ)とを同時に受光することになる。図3では受光する光の強度をほぼ等しく表しているが、実際にはほとんどの場合に光の強度は異なる。変調周波数が10MHzの測距装置において、2種類の変調周波数の光を同時に受光するとすれば、曲線ニに対応する各位相区間の受光光量A0、A1、A2、A3に、曲線ハに対応する各位相区間の成分が加算されるから、変調信号の周期の数倍程度であれば、各位相区間で得られる受光光量から曲線ニに対応する各位相区間の受光光量A0、A1、A2、A3を抽出することはできない。   For the sake of simplicity, assuming that two distance measuring devices with modulation frequencies of 10 MHz and 12 MHz operate in common with each other, both distance measuring devices are as shown in FIG. In addition, 12 MHz light (c) and 10 MHz light (d) are received simultaneously. In FIG. 3, the intensity of received light is shown to be almost equal, but actually the intensity of light is different in most cases. If a distance measuring device having a modulation frequency of 10 MHz receives light of two types of modulation frequencies at the same time, the received light amounts A0, A1, A2, and A3 in the respective phase sections corresponding to the curve D are represented by the positions corresponding to the curve C. Since the components of the phase section are added, the received light amounts A0, A1, A2, and A3 of each phase section corresponding to the curve D are calculated from the received light quantities obtained in each phase section if they are about several times the period of the modulation signal. It cannot be extracted.

上述のような問題が生じるのは、曲線ニの各位相区間の受光光量A0、A1、A2、A3に、曲線ハの一部の位相区間の成分が加算されることに起因している。言い換えると、各位相区間の受光光量を積算し、かつ曲線ニの各位相区間の受光光量A0、A1、A2、A3に相当する成分に、曲線ハの全位相の成分が加算される程度に長い期間の積算値を求めれば、その積算値では曲線ハの成分は曲線ニのどの位相区間に対してもほぼ一定値になり、結果的に積算値から曲線ニの成分を抽出できることになる。   The problem described above is caused by the addition of the components in a part of the phase section of the curve C to the received light amounts A0, A1, A2, and A3 in each phase section of the curve D. In other words, the amount of light received in each phase interval is integrated, and it is long enough to add the components of all phases of curve C to the components corresponding to the amounts of light received A0, A1, A2, A3 in each phase interval of the curve D. If the integrated value of the period is obtained, the component of the curve C becomes substantially constant for any phase section of the curve D with the integrated value, and as a result, the component of the curve D can be extracted from the integrated value.

距離演算部4は、このような積算を行った後に距離を求めている。ただし、各位相区間ごとの積算値を求めると、反射光成分のほかに環境光成分も積算することになるから、積算値が大きい値になる。たとえば、デジタル信号処理を行うとすれば、積算値に対応するビット数が大きくなり、積算値を記憶するメモリなどに容量の大きいものが必要になる。一方、上述したように距離の演算には受光光量の差分A0−A2、A1−A3の値を用いる。このような差分では、環境光成分のうちで変動しない成分が除去されるから、この差分を積算すれば、積算値を大幅に小さくすることができる。   The distance calculation unit 4 obtains the distance after performing such integration. However, when the integrated value for each phase section is obtained, the ambient light component is also integrated in addition to the reflected light component, so that the integrated value becomes a large value. For example, if digital signal processing is performed, the number of bits corresponding to the integrated value increases, and a memory or the like for storing the integrated value requires a large capacity. On the other hand, as described above, the values of the received light quantity differences A0-A2 and A1-A3 are used for the distance calculation. With such a difference, components that do not vary among the ambient light components are removed. Therefore, if this difference is integrated, the integrated value can be significantly reduced.

本実施形態は、このような特性を利用したものであり、距離演算部4において、各検出装置の変調周波数の周波数差(つまり、環境光成分における変動周期が既知であるときの周期差)により規定される積算時間について、受光光量の差分(A0−A2)、(A1−A3)の積算値を求め、この積算値を用いて距離を求めるのである。積算時間は、各検出装置の変調周波数の周波数差で決まるビート成分の1周期(または、整数倍周期)に設定するのが望ましい。すなわち、曲線ハの成分と曲線ニの成分とは周波数差が比較的小さいから両者の周波数差に相当するビート成分が生じる。このビート成分の周期で積算値を求めれば、ビート成分を除去したことになるのであって、変調周波数の周波数差で決まるビート成分の1周期を積算時間とすれば互いの変調周波数の影響を相殺して環境光成分を除去することができる。   This embodiment utilizes such characteristics, and the distance calculation unit 4 uses the frequency difference of the modulation frequency of each detection device (that is, the period difference when the fluctuation period of the ambient light component is known). For the specified integration time, the integrated value of the difference (A0-A2) and (A1-A3) in the received light quantity is obtained, and the distance is obtained using this integrated value. The integration time is preferably set to one cycle (or an integer multiple cycle) of the beat component determined by the frequency difference between the modulation frequencies of the detection devices. That is, since the frequency difference between the curve C component and the curve D component is relatively small, a beat component corresponding to the frequency difference between the two components occurs. If the integrated value is obtained with the cycle of the beat component, the beat component is removed. If one cycle of the beat component determined by the frequency difference of the modulation frequency is set as the integration time, the influence of the mutual modulation frequency is canceled out. Thus, the ambient light component can be removed.

上述したように3台の検出装置の変調周波数が、それぞれ10MHz、12MHz、15MHzに設定されているものとし、10MHzの検出装置において距離を求めるとすれば、周波数差はそれぞれ2MHzと5MHzとのビート成分が生じることになる。そこで、各ビート成分の整数倍周期が一致する時間を積分時間とすれば、環境光成分を除去することができる。上述した周波数では各ビート成分の1周期がそれぞれ5×10−7sと2×10−7sとになるから、両者の整数倍周期が一致する最小時間は1μsになる。したがって、積算時間を1μsあるいはこの整数倍とすれば、3台の検出装置を用いながらも他の検出装置から投光された光の影響を相殺して距離を求めることができる。 As described above, assuming that the modulation frequencies of the three detection devices are set to 10 MHz, 12 MHz, and 15 MHz, respectively, and the distance is obtained in the detection device of 10 MHz, the frequency difference is a beat of 2 MHz and 5 MHz, respectively. Ingredients will be produced. Therefore, the ambient light component can be removed by setting the integration time as the time at which the integer multiple cycles of the beat components coincide. At the frequency described above, one cycle of each beat component is 5 × 10 −7 s and 2 × 10 −7 s, respectively. Therefore, the minimum time in which the integer multiple cycles coincide is 1 μs. Therefore, if the integration time is set to 1 μs or an integral multiple thereof, the distance can be obtained by canceling the influence of light projected from other detection devices while using three detection devices.

ところで、積分時間が十分に長ければビート成分の周期内での振動変化により表される誤差分が積算値全体に及ぼす影響は小さくなるから、上記条件(積分時間を各ビート成分の整数倍周期に一致させるという条件)を完全に満たしていなくても積算時間が十分に長ければ誤差の発生を無視することができる。たとえば、積算時間が変調信号の3万周期であれば各ビート成分の整数倍周期に一致しなくてもよいことが確認できている。   By the way, if the integration time is sufficiently long, the influence of the error represented by the vibration change in the beat component period on the integrated value is small. Therefore, the above condition (integration time is set to an integral multiple period of each beat component). If the integration time is sufficiently long, the occurrence of an error can be ignored even if the condition of matching is not completely satisfied. For example, it has been confirmed that if the integration time is 30,000 cycles of the modulation signal, it does not have to coincide with an integral multiple cycle of each beat component.

なお、対象空間を共通にしている検出装置の変調周波数は既知であるから、各検出装置の変調周波数に応じた適宜の時間間隔で、各受光光量A0、A1、A2、A3を求める期間を設定すれば、受光光量の差分(A0−A2)、(A1−A3)を求めるだけでも環境光成分のうち位相区間内で変動する成分を相殺することが可能である。   In addition, since the modulation frequency of the detection device sharing the target space is known, a period for obtaining each received light amount A0, A1, A2, A3 is set at an appropriate time interval according to the modulation frequency of each detection device. By doing so, it is possible to cancel out the components that fluctuate within the phase interval among the ambient light components simply by obtaining the difference (A0-A2) and (A1-A3) in the received light amount.

上述のようにして求めた差分(A0−A2)、(A1−A3)の積算値を用いることにより、発光源2から対象空間に投光した光と、光検出素子1の各感光部11で受光した光の反射光成分との位相差ψを求めることができる。また、位相差ψの単位をラジアンとすれば、物体Obまでの距離Lは、L=Lm・ψ/2πと表すことができる。ただし、変調周波数をf、光束をc[m/s]とするとき、Lm=c/2fである。要するに、上述の原理によれば変調信号の1周期の時間で往復する距離が測定可能な最大距離Lmになり、位相差ψが2πであるときに最大距離Lmに相当すると考えられるから、2πに対する位相差ψの比率を求めることにより、光を反射した物体Obまでの距離Lを求めることができるのである。   By using the integrated values of the differences (A0−A2) and (A1−A3) obtained as described above, the light projected from the light source 2 to the target space and the photosensitive portions 11 of the light detection element 1 are used. The phase difference ψ with the reflected light component of the received light can be obtained. If the unit of the phase difference ψ is radians, the distance L to the object Ob can be expressed as L = Lm · ψ / 2π. However, when the modulation frequency is f and the luminous flux is c [m / s], Lm = c / 2f. In short, according to the above-described principle, the distance that reciprocates in one cycle time of the modulation signal is the maximum measurable distance Lm, and when the phase difference ψ is 2π, it is considered to correspond to the maximum distance Lm. By obtaining the ratio of the phase difference ψ, the distance L to the object Ob that reflects the light can be obtained.

上述のようにして理論式によって距離Lを求めることが可能ではあるが、実際には各部材の配置や特性によって理論式の値に対して誤差が生じる。また、その誤差は一般に距離に応じて変化する。したがって、理論式で求めた距離には補正が必要になる。このような補正値を距離に対応付けたデータテーブルを設けることが可能であるが、データテーブルを設けるのであれば、演算そのものをデータテーブルで行うほうが効率がよい。そこで、本実施形態では、データテーブルとして、差分(A0−A2)、(A1−A3)の組から距離に相当する値を求める換算テーブルを用いている。   Although it is possible to obtain the distance L by the theoretical formula as described above, in reality, an error occurs with respect to the value of the theoretical formula depending on the arrangement and characteristics of each member. In addition, the error generally varies with distance. Therefore, the distance obtained by the theoretical formula needs to be corrected. Although it is possible to provide a data table in which such correction values are associated with distances, if a data table is provided, it is more efficient to perform the operation itself with the data table. Therefore, in the present embodiment, a conversion table for obtaining a value corresponding to the distance from the set of differences (A0−A2) and (A1−A3) is used as the data table.

ここで、上述したように距離Lは測定可能な最大距離Lmにより変化するから、周波数選択部6により変調周波数を切り換えると、換算テーブルも異なるものが必要になる。このように選択可能な変調周波数に応じて複数個の換算テーブルを設けておくことは可能であるが、換算テーブルのデータを登録する作業に手間がかかる上に、換算テーブルを構成する半導体メモリに容量の大きなものが必要になる。   Here, as described above, since the distance L changes depending on the maximum measurable distance Lm, when the modulation frequency is switched by the frequency selection unit 6, a different conversion table is required. Although it is possible to provide a plurality of conversion tables according to the modulation frequencies that can be selected in this way, it takes time to register the conversion table data, and the semiconductor memory that constitutes the conversion table is used. A large capacity is required.

そこで、本実施形態では、変調周波数に関係なく1種類の換算テーブルを設け、差分(A0−A2)、(A1−A3)の組から位相差に相当する中間値を求め、この中間値を変調周波数に応じた補正値で補正することにより距離を求める技術を採用している。たとえば、中間値として(c・ψ/4π)に相当する値を求め、補正値として(1/f)に相当する係数を用いれば、中間値に係数を乗じる演算によって物体Obまでの距離Lを求めることができる。ここに、各部材の配置や特性による誤差は中間値に折り込まれる。あるいはまた、中間値として位相差ψに相当する値を求め、補正値として(c/4π・f)を用いることもできる。中間値と補正値とは適宜に選択可能である。   Therefore, in the present embodiment, one type of conversion table is provided regardless of the modulation frequency, an intermediate value corresponding to the phase difference is obtained from the set of differences (A0-A2) and (A1-A3), and this intermediate value is modulated. A technique for obtaining the distance by correcting with a correction value corresponding to the frequency is adopted. For example, if a value corresponding to (c · ψ / 4π) is obtained as an intermediate value and a coefficient corresponding to (1 / f) is used as a correction value, the distance L to the object Ob is calculated by multiplying the intermediate value by the coefficient. Can be sought. Here, errors due to the arrangement and characteristics of each member are folded into an intermediate value. Alternatively, a value corresponding to the phase difference ψ can be obtained as an intermediate value, and (c / 4π · f) can be used as a correction value. The intermediate value and the correction value can be selected as appropriate.

上述したように、差分(A0−A2)、(A1−A3)の組から中間値を求め、中間値に対して変調周波数に応じた補正を施すようにすれば、換算テーブルは変調周波数に依存せずに1種類だけ用意すればよいことになり、データを登録する作業の手間が軽減され、換算テーブルに用いる半導体メモリの容量も低減される。   As described above, if an intermediate value is obtained from a set of differences (A0−A2) and (A1−A3) and the intermediate value is corrected according to the modulation frequency, the conversion table depends on the modulation frequency. Thus, only one type need be prepared, and the labor of registering data is reduced, and the capacity of the semiconductor memory used for the conversion table is also reduced.

ところで、上述の構成では、各検出装置の変調周波数を周波数選択部6において固定的に設定しているが、各検出装置の変調周波数を時間経過に伴って自動的に変化させる構成を採用してもよい。基本的な構成は上述した構成と同様であって、周波数選択部6に代えて時間経過に伴って変調周波数を自動的に変化させる周波数切換部(図示せず)を設ける点で相違する。   By the way, in the above-described configuration, the modulation frequency of each detection device is fixedly set in the frequency selection unit 6, but a configuration is adopted in which the modulation frequency of each detection device is automatically changed over time. Also good. The basic configuration is the same as the configuration described above, except that a frequency switching unit (not shown) that automatically changes the modulation frequency with the passage of time is provided instead of the frequency selection unit 6.

周波数切換部は、周波数選択部6における変調周波数の選択を自動化し、かつ時間経過に伴って自動的に変調周波数を選択させるものであり、選択操作をタイマ機能と連動させている点が異なるだけで他の動作は上述した構成と同様の動作になる。しかも、変調周波数が時間経過に伴って自動的に変化するから、変調周波数を設定する手間がかからない。変調周波数を変化させる時間は上述した構成において説明した積算時間よりも長いことが望ましい。これは、積算時間の途中で変調周波数が変化すると、他の検出装置から投光された光の影響をほぼ相殺するという保証が得られなくなるからである。また、変調周波数を変化させるタイミングは、検出装置ごとにばらつきを持たせることが望ましい。このように変調周波数を変化させるタイミングが異なっていれば、対象空間を共通にしている複数台の検出装置において変調周波数が等しくなる確率を低減することができる。   The frequency switching unit automates the selection of the modulation frequency in the frequency selection unit 6 and automatically selects the modulation frequency as time elapses. The only difference is that the selection operation is linked to the timer function. Other operations are the same as those described above. In addition, since the modulation frequency automatically changes with time, there is no need to set the modulation frequency. It is desirable that the time for changing the modulation frequency is longer than the integration time described in the above configuration. This is because if the modulation frequency changes in the middle of the integration time, it cannot be guaranteed that the influence of the light projected from other detection devices will be almost canceled. Further, it is desirable that the timing for changing the modulation frequency varies among the detection devices. Thus, if the timing which changes a modulation frequency differs, the probability that a modulation frequency becomes equal in the several detection apparatus which makes the object space common can be reduced.

さらに、周波数切換部において変調周波数を不規則に変化させるようにすれば、変調周波数を変化させるタイミングがずれていない場合でも複数台の検出装置において変調周波数が等しくなる確率を低減させることができる。   Further, if the modulation frequency is changed irregularly in the frequency switching section, the probability that the modulation frequencies are equal in a plurality of detection devices can be reduced even when the timing for changing the modulation frequency is not shifted.

基本構成として説明したように、光検出素子1では1回の読出期間において2つの位相区間の受光光量A0、A1、A2、A3に相当する電荷を読み出している。したがって、4つの位相区間の電荷を読み出すには、受光期間と読出期間とが2回ずつ必要である。言い換えると、受光期間と読出期間とを交互に繰り返すとともに、受光期間と読出期間とを2回ずつ設けることによって距離の測定が可能になる。また、読出期間には発光源2からの投光は不要であるから、読出期間は発光源2からの投光を行わない休止期間に一致させ、受光期間は発光源2から対象空間に投光する投光期間と一致させるのが望ましい。要するに、光検出素子1の動作について定義される受光期間と読出期間とを、発光源2の動作について定義される投光期間と休止期間とにそれぞれ一致させるのが望ましい。   As described as the basic configuration, the light detection element 1 reads out charges corresponding to the received light amounts A0, A1, A2, and A3 in two phase sections in one reading period. Therefore, in order to read out charges in the four phase sections, two light receiving periods and two reading periods are required. In other words, the distance can be measured by alternately repeating the light receiving period and the reading period and providing the light receiving period and the reading period twice. In addition, since no light projection from the light source 2 is required during the readout period, the readout period is matched with a pause period during which no light is emitted from the light source 2 and the light reception period is projected from the light source 2 to the target space. It is desirable to match with the floodlighting period. In short, it is desirable that the light receiving period and the reading period defined for the operation of the light detection element 1 are made to coincide with the light projecting period and the rest period defined for the operation of the light emitting source 2, respectively.

たとえば、図4に示すように、受光光量A0、A2に相当する電荷を生成する受光期間T02は発光源2の投光期間に一致し、受光光量A1、A3に相当する電荷を生成する受光期間T13も発光源2の投光期間に一致する。また、各受光期間T02,T13に対応する読出期間Tdは発光源2の休止期間に一致する。   For example, as shown in FIG. 4, the light receiving period T02 for generating charges corresponding to the received light amounts A0 and A2 coincides with the light projecting period of the light source 2, and the light receiving period for generating charges corresponding to the received light amounts A1 and A3. T13 also coincides with the light projection period of the light source 2. Further, the readout period Td corresponding to each of the light receiving periods T02 and T13 coincides with the rest period of the light emitting source 2.

ところで、上述したように、通常は受光期間T02,T13と読出期間Tdとを交互に繰り返しているが、図4に示すように、本実施形態では投光期間と一致しない受光期間Teを適宜のタイミングで設けている。つまり、光検出素子1では受光期間T02,T13と同様に受光期間Teに生成した電荷を読み出す読出期間Tdを設けているが、受光期間Teには発光源2から投光せず発光源2では休止期間になる点が受光期間T02,T13における動作とは異なっている。したがって、発光源2は、読出期間Tdに対応する期間のほか受光期間Teに対応する期間も休止期間になる。受光期間Teには、当該検出装置の発光源2は投光していないから、受光期間Teには光検出素子1は環境光成分のみを受光することになる。基本構成の動作から明らかなように、環境光成分が実質的に変動していなければ、休止期間において異なる2つの位相区間の受光光量の差は理想的には0になる。実質的に変動していないとは、環境光成分が短期間では変動していても、積算時間における積算値では変動分が相殺される場合も含んでいる。したがって、2つの位相区間の受光光量を比較すれば、環境光成分が測距の結果に影響を与えるか否かを判定することが可能になる。   As described above, the light receiving periods T02 and T13 and the reading period Td are normally repeated alternately. However, as shown in FIG. 4, in this embodiment, the light receiving period Te that does not coincide with the light projecting period is appropriately set. It is provided at the timing. In other words, the light detection element 1 is provided with a readout period Td for reading out the charges generated during the light receiving period Te as in the light receiving periods T02 and T13, but the light emitting source 2 does not project light from the light emitting source 2 during the light receiving period Te. The operation is different from the operation in the light receiving periods T02 and T13 in that the rest period is reached. Therefore, in the light emitting source 2, in addition to the period corresponding to the reading period Td, the period corresponding to the light receiving period Te is also a pause period. In the light receiving period Te, the light emitting source 2 of the detection device does not project light, so that the light detecting element 1 receives only the ambient light component in the light receiving period Te. As is apparent from the operation of the basic configuration, if the ambient light component does not substantially vary, the difference between the received light amounts of two different phase sections in the pause period is ideally zero. “Substantially not changing” includes the case where the ambient light component changes in a short period, but the amount of change is canceled out by the integrated value in the integrated time. Therefore, it is possible to determine whether or not the ambient light component affects the distance measurement result by comparing the amount of received light in the two phase sections.

本実施形態は、距離演算部4に上述した判定を行う干渉判定部(図示せず)を設けたものであって、干渉判定部では、受光期間Teにおいて180度異なる2つの位相区間の積算値(積算時間で得られる積算値)の差分(A0−A2)を求め、この差分を閾値と比較することにより、積算値の差分が環境光成分の影響を受けているか否かを判定する。干渉判定部において積算値の差分が環境光成分の影響を受けていると判定した場合には当該差分を採用せず、差分が閾値以下の場合にのみ距離演算部4では当該差分を用いて距離を求める。このような動作により求めた距離の精度が保証されることになる。   In the present embodiment, an interference determination unit (not shown) that performs the above-described determination is provided in the distance calculation unit 4, and the interference determination unit integrates two phase sections that differ by 180 degrees in the light receiving period Te. A difference (A0-A2) of (integrated value obtained by integration time) is obtained, and this difference is compared with a threshold value to determine whether or not the difference of the integrated value is affected by the ambient light component. When the interference determination unit determines that the difference between the integrated values is affected by the ambient light component, the distance calculation unit 4 uses the difference only when the difference is equal to or less than the threshold. Ask for. The accuracy of the distance obtained by such an operation is guaranteed.

さらに、上述のように周波数切換部を設けて周波数選択部6における変調周波数の選択を自動化した構成を採用する場合に、時間経過に伴って変調周波数を選択させるのではなく、干渉判定部の判定結果に応じて変調周波数を選択させるのが望ましい。この構成では、干渉判定部が環境光成分の影響を受けていると判定したときには、変調周波数を変更するように周波数選択部6に指示し、干渉判定部において環境光成分の影響を受けていないと判定できる変調周波数を自動的にサーチする。したがって、環境光成分の影響を受けない変調周波数を自動的に決定するから、変調周波数の設定に手間がかからず、しかも環境光成分の影響を受けないことが保証できるのである。   Further, when adopting a configuration in which the frequency switching unit is provided and the selection of the modulation frequency in the frequency selection unit 6 is automated as described above, the determination of the interference determination unit is performed instead of selecting the modulation frequency over time. It is desirable to select the modulation frequency according to the result. In this configuration, when the interference determination unit determines that it is affected by the ambient light component, the frequency selection unit 6 is instructed to change the modulation frequency, and the interference determination unit is not affected by the ambient light component. A search is automatically made for a modulation frequency that can be determined. Therefore, since the modulation frequency that is not affected by the ambient light component is automatically determined, it can be ensured that setting of the modulation frequency does not take time and is not affected by the ambient light component.

なお、上述した構成では、IT方式のCCDイメージセンサと同様の構成を採用しているが、フレーム・トランスファ(FT)方式、フレーム・インターライン・トランスファ(FIT)方式と同様の構成を採用することも可能である。また、電荷の転送にIT方式の構成を採用する場合には、感度制御部12として電荷を廃棄する構成のほか、感光部11から電荷取出部(垂直転送部)に電荷を引き渡すゲート部を制御する構成なども採用可能である。   In the above configuration, the same configuration as that of the IT type CCD image sensor is adopted, but the same configuration as the frame transfer (FT) method and the frame interline transfer (FIT) method is adopted. Is also possible. In addition, when an IT system configuration is adopted for the charge transfer, the sensitivity control unit 12 discards the charge and controls the gate unit that transfers the charge from the photosensitive unit 11 to the charge extraction unit (vertical transfer unit). It is also possible to adopt a configuration that does this.

1 光検出素子
2 発光源
3 発光制御部
4 距離演算部(評価部)
6 周波数選択部
11 感光部
DESCRIPTION OF SYMBOLS 1 Light detection element 2 Light emission source 3 Light emission control part 4 Distance calculating part (evaluation part)
6 Frequency selection part 11 Photosensitive part

Claims (3)

対象空間に投光する発光源と、発光源から対象空間に投光する光の強度を変調するように発光源に所定の変調周波数の変調信号を与える発光制御部と、対象空間からの光を受光し受光光量に応じた電荷を生成する感光部を有した光検出素子と、感光部で生成される電荷のうち変調信号において規定した位相区間に同期する期間に生成された電荷を用い発光源から投光した光と光検出素子で受光した光との変化から対象空間の空間情報を検出する評価部とを備え、発光制御部は、発光源から対象空間に投光する投光期間と投光しない休止期間とを設けるように発光源を制御し、評価部は、光検出素子が休止期間に受光した光により生成される電荷のうち変調信号において規定した2種類の位相区間の電荷量を比較することにより環境光成分における変動成分の存否を判定する干渉判定部を備え、光検出素子が受光する環境光成分のうち前記位相区間内で変動する成分を相殺するように変調信号において規定した2種類の位相区間の電荷量の差分を求め、干渉判定部において積算値の差分が環境光成分の影響を受けていると判定した場合には当該差分を採用せず、差分が閾値以下の場合に当該差分を用いて空間情報を検出することを特徴とする空間情報検出装置。   A light source that projects light into the target space, a light emission control unit that gives a modulation signal of a predetermined modulation frequency to the light source so as to modulate the intensity of light projected from the light source into the target space, and light from the target space A light-emitting source using a light detection element having a photosensitive part that receives light and generates a charge corresponding to the amount of received light, and a charge generated in the period synchronized with the phase interval defined in the modulation signal among the charges generated in the photosensitive part And an evaluation unit that detects spatial information of the target space from a change between the light projected from the light and the light received by the light detection element, and the light emission control unit includes a light projection period and a light projection from the light source to the target space. The light emitting source is controlled to provide a non-lighting pause period, and the evaluation unit determines the charge amounts of the two types of phase sections defined in the modulation signal among the charges generated by the light received by the light detection element during the pause period. By comparing it to the ambient light component And an interference determination unit that determines whether or not there is a fluctuation component, and charges in two types of phase sections defined in the modulation signal so as to cancel out the fluctuation components in the phase section among the environmental light components received by the photodetector. When the difference of the amount is obtained, and the interference determination unit determines that the difference of the integrated value is affected by the ambient light component, the difference is not adopted, and when the difference is equal to or less than the threshold, the difference is used. A spatial information detection apparatus characterized by detecting information. 前記発光制御部から出力される変調信号の変調周波数を複数種類から選択可能であって前記干渉判定部が環境光成分における変動成分の存在を検出しなくなるまで変調周波数を変化させる周波数切換部を備えることを特徴とする請求項1記載の空間情報検出装置。   A frequency switching unit that can select a modulation frequency of the modulation signal output from the light emission control unit from a plurality of types and changes the modulation frequency until the interference determination unit does not detect the presence of a fluctuation component in the ambient light component; The spatial information detection device according to claim 1. 前記評価部は、前記発光源から対象空間に投光した光と前記光検出素子で受光した光との位相差に相当する中間値を前記差分に対応付けた換算テーブルを有し、換算テーブルから求めた中間値を前記発光源から対象空間に投光した光の変調周波数に応じて決定される補正値で補正することにより対象空間に存在する物体までの距離を求めることを特徴とする請求項1又は2記載の空間情報検出装置。   The evaluation unit has a conversion table in which an intermediate value corresponding to a phase difference between light projected from the light emission source to a target space and light received by the light detection element is associated with the difference, and from the conversion table The distance to an object existing in the target space is obtained by correcting the obtained intermediate value with a correction value determined according to a modulation frequency of light projected from the light source to the target space. The spatial information detection device according to 1 or 2.
JP2010186483A 2010-08-23 2010-08-23 Spatial information detector Expired - Lifetime JP5161938B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010186483A JP5161938B2 (en) 2010-08-23 2010-08-23 Spatial information detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010186483A JP5161938B2 (en) 2010-08-23 2010-08-23 Spatial information detector

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005134393A Division JP4788187B2 (en) 2005-05-02 2005-05-02 Spatial information detector

Publications (2)

Publication Number Publication Date
JP2011007805A JP2011007805A (en) 2011-01-13
JP5161938B2 true JP5161938B2 (en) 2013-03-13

Family

ID=43564599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010186483A Expired - Lifetime JP5161938B2 (en) 2010-08-23 2010-08-23 Spatial information detector

Country Status (1)

Country Link
JP (1) JP5161938B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT513589B1 (en) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Recording method for at least two ToF cameras
US10845470B2 (en) * 2016-11-16 2020-11-24 Waymo Llc Methods and systems for protecting a light detection and ranging (LIDAR) device
WO2019116549A1 (en) * 2017-12-15 2019-06-20 日本電気株式会社 Ranging device and control method
US11693116B2 (en) * 2020-08-31 2023-07-04 Pixart Imaging Inc. Distance measurement device using two light modulation frequencies and operating method thereof
JP6994128B1 (en) 2021-03-29 2022-02-03 株式会社Xtia Optical comb generator
CN113625303A (en) * 2021-08-05 2021-11-09 思特威(上海)电子科技股份有限公司 Pixel array signal acquisition method, time-of-flight sensor, terminal and medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3573550B2 (en) * 1995-11-30 2004-10-06 オリンパス株式会社 Distance measuring device
JP2002333487A (en) * 2001-05-08 2002-11-22 Sunx Ltd Photoelectric sensor
JP3832441B2 (en) * 2002-04-08 2006-10-11 松下電工株式会社 Spatial information detection device using intensity-modulated light

Also Published As

Publication number Publication date
JP2011007805A (en) 2011-01-13

Similar Documents

Publication Publication Date Title
JP4788187B2 (en) Spatial information detector
JP5261571B2 (en) Distance measuring device
EP2729826B1 (en) Improvements in or relating to the processing of time-of-flight signals
US11977156B2 (en) Optical distance measuring device
US11709231B2 (en) Real time gating and signal routing in laser and detector arrays for LIDAR application
JP5161938B2 (en) Spatial information detector
US7936449B1 (en) Method and system for fast calibration of three-dimensional (3D) sensors
US9753128B2 (en) Multi-path compensation using multiple modulation frequencies in time of flight sensor
JP4200328B2 (en) Spatial information detection system
CN102232195B (en) Method for optically scanning and measuring an object
US9335415B2 (en) Modulated laser range finder and method
JP5655133B2 (en) Spatial information detector
WO2018208843A1 (en) Lidar data acquisition and control
JP6261681B2 (en) Improvements in or relating to processing of time-of-flight signals
US20160316193A1 (en) Parametric online calibration and compensation in tof imaging
JP6696349B2 (en) Optical flight type distance measuring device and abnormality detection method of optical flight type distance measuring device
CN112945221A (en) Phase angle correction value calculation device and method of calculating phase angle correction value
JP7149941B2 (en) Apparatus and method
US20230078063A1 (en) Distance measurement device and distance measurement system
Plank et al. High-performance indoor positioning and pose estimation with time-of-flight 3D imaging
US20080259312A1 (en) Range and Velocity Sensing System
WO2026064485A1 (en) Coordinate measurement device that performs time of flight measurements
WO2025085757A1 (en) 3d coordinate measurement device with an indirect time of flight sensor employing triangulation

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121214

R150 Certificate of patent or registration of utility model

Ref document number: 5161938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term