Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JPH0749942B2 - Road surface unevenness measuring device - Google Patents
[go: Go Back, main page]

JPH0749942B2 - Road surface unevenness measuring device - Google Patents

Road surface unevenness measuring device

Info

Publication number
JPH0749942B2
JPH0749942B2 JP2140660A JP14066090A JPH0749942B2 JP H0749942 B2 JPH0749942 B2 JP H0749942B2 JP 2140660 A JP2140660 A JP 2140660A JP 14066090 A JP14066090 A JP 14066090A JP H0749942 B2 JPH0749942 B2 JP H0749942B2
Authority
JP
Japan
Prior art keywords
road surface
locus
adjacent
cameras
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2140660A
Other languages
Japanese (ja)
Other versions
JPH0432705A (en
Inventor
知彦 大野
真二 渡辺
達英 中根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Radio Co Ltd
Airport Facilities Co Ltd
Original Assignee
Japan Radio Co Ltd
Kokusai Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Radio Co Ltd, Kokusai Kogyo Co Ltd filed Critical Japan Radio Co Ltd
Priority to JP2140660A priority Critical patent/JPH0749942B2/en
Publication of JPH0432705A publication Critical patent/JPH0432705A/en
Publication of JPH0749942B2 publication Critical patent/JPH0749942B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、路面横断凹凸測定装置に関し、特にその最大
測定可能幅員の改良に関する。
Description: TECHNICAL FIELD The present invention relates to a road surface unevenness measuring device, and more particularly to improvement of the maximum measurable width thereof.

[従来の技術] 非接触で距離を計測する等、カメラ等により撮影された
映像情報に基づき計測を行う装置が各種知られている。
[Prior Art] Various types of devices are known that perform measurement based on video information captured by a camera or the like, such as non-contact distance measurement.

このような装置の一例として、路面横断凹凸測定装置が
ある。この装置は、路面横断面の凹凸を非接触で測定す
る装置である。
An example of such a device is a road surface unevenness measuring device. This device is a device for measuring unevenness of a road surface cross section in a non-contact manner.

路面横断凹凸測定装置が採用する測定手法として、代表
的なものには光切断法がある。
As a typical measuring method adopted by the road surface unevenness measuring device, there is a light cutting method.

この方法は、路面上方から光線を照射し、この光線が路
面上に描く軌跡をカメラにより捉え、これにより得られ
る情報から路面横断凹凸を求める方法である。光線の照
射は、路面の走査の必要から、路面に対して斜め上方か
ら扇状に行う。この扇状の光線は、一般にファンビーム
と呼ばれる。
This method is a method of irradiating a light ray from above the road surface, capturing the trajectory drawn by the light ray on the road surface with a camera, and obtaining the road surface unevenness from the information obtained thereby. The irradiation of the light beam is performed in a fan shape from diagonally above the road surface because it is necessary to scan the road surface. This fan-shaped light beam is generally called a fan beam.

路面横断凹凸測定装置は、通常車両に積載される。すな
わち、車両を移動させつつ、随時、車両横断面の凹凸を
測定し、路面に係る情報の収集を行い、収集の結果を車
両の運行制御等に利用する。
The road surface unevenness measuring device is usually loaded on a vehicle. That is, while moving the vehicle, the unevenness of the vehicle cross section is measured at any time, information regarding the road surface is collected, and the result of the collection is used for vehicle operation control and the like.

このように、従来、路面の横断凹凸を非接触で測定する
ことが可能であった。
As described above, conventionally, it was possible to measure the unevenness of the road surface without contact.

[発明が解決しようとする課題] しかし、従来の装置においては最大測定可能幅員に限界
があった。
[Problems to be Solved by the Invention] However, the maximum measurable width is limited in the conventional device.

例えば、最も簡単な構造としてファンビーム光源及びカ
メラを1台のみ車両に積載する構造を考える。この場
合、カメラの取り付け高さを高くすることによって最大
測定可能幅員は向上するが、一方でカメラの分解能は劣
化する。従って、分解能の確保のため、3m程度が測定幅
員の限度となる。
For example, as the simplest structure, consider a structure in which only one fan beam light source and one camera are mounted on a vehicle. In this case, the maximum measurable width is improved by increasing the mounting height of the camera, but the resolution of the camera is deteriorated. Therefore, in order to ensure the resolution, the measurement width is limited to about 3 m.

また、複数のファンビーム光源及びカメラを並設すれ
ば、全体としては、カメラ1台当たりの最大測定可能幅
員を越えて最大測定可能幅員を確保することが期待でき
る。しかし、単に並設したのみでは、車両の傾斜、ファ
ンビーム光源及びカメラの取り付け位置の誤差等による
ファンビーム軌跡の変動を補償できない。この結果、路
面横断凹凸の測定を正確に行うことが困難となってい
た。
Further, if a plurality of fan beam light sources and cameras are installed side by side, it is possible to expect to secure the maximum measurable width exceeding the maximum measurable width per camera as a whole. However, simply arranging them in parallel cannot compensate for fluctuations in the fan beam trajectory due to vehicle tilt, errors in the mounting positions of the fan beam light source and the camera, and the like. As a result, it has been difficult to accurately measure the road surface unevenness.

本発明は、このような問題点を解決することを課題とし
てなされたものであり、分解能を劣化させることなく最
大測定可能幅員を確保し、正確な測定結果を得ることが
可能な路面横断凹凸測定装置を提供することを目的とす
る。
The present invention has been made to solve such a problem, and secures the maximum measurable width without deteriorating the resolution, and obtains an accurate measurement result. The purpose is to provide a device.

[課題を解決するための手段] このような目的を達成するために、本発明は、隣接する
ファンビーム光源が一部共通する領域を照射し隣接する
カメラが一部共通する領域を撮影するようファンビーム
光源及びカメラを車体に複数個積載し、隣接するファン
ビーム光源が共通して照射しかつ隣接するカメラが共通
して撮影する領域の少なくとも一部を照射するスポット
ビーム光源を備え、カメラにより撮影された情報を処理
する解析手段が、スポットビーム光源による光線の照射
スポットを基準点として、隣接するカメラにより得られ
る軌跡を合成することを特徴とする。
[Means for Solving the Problem] In order to achieve such an object, according to the present invention, adjacent fan beam light sources illuminate a part of a common area, and adjacent cameras capture a part of a common area. A plurality of fan beam light sources and cameras are mounted on a vehicle body, and a spot beam light source that irradiates adjacent fan beam light sources in common and irradiates at least a part of an area commonly photographed by adjacent cameras is provided. The analyzing means for processing the photographed information synthesizes the loci obtained by the adjacent cameras with the irradiation spot of the light beam from the spot beam light source as a reference point.

本発明は、さらに、解析手段が、上記隣接するカメラそ
れぞれにより得られた照射スポットが一致するよう、上
記隣接するカメラのうち一方により得られた軌跡を他方
により得られた軌跡に対し平行移動させ、さらに基準軌
跡の撮影によって予め与えられている回転量に応じ、当
該隣接するカメラのうち一方により得られた軌跡を他方
により得られた軌跡に対し回転させることにより、当該
隣接するカメラの撮影範囲及び姿勢の誤差を補償しなが
ら、隣接するカメラにより得られる軌跡を合成すること
を特徴とする。
According to the present invention, the analyzing means further translates a locus obtained by one of the adjacent cameras with respect to a locus obtained by the other of the adjacent cameras so that the irradiation spots obtained by the adjacent cameras coincide with each other. Further, by rotating the trajectory obtained by one of the adjacent cameras with respect to the trajectory obtained by the other camera according to the amount of rotation given in advance by photographing the reference trajectory, the photographing range of the adjacent camera Also, the trajectory obtained by the adjacent cameras is synthesized while compensating the error of the posture.

本発明は、また、解析手段が、上記隣接するカメラによ
り得られる軌跡を合成した後、得られた合成軌跡を直線
に近似し、得られた近似直線と路面を示す所定の基準直
線との角度差を求め、求めた差に応じて当該隣接するカ
メラにより得られる軌跡を回転することにより、車体の
傾斜を補正することを特徴とする。
According to the present invention, the analyzing means synthesizes the loci obtained by the adjacent cameras, approximates the obtained synthetic locus to a straight line, and obtains the angle between the obtained approximate straight line and a predetermined reference straight line indicating the road surface. It is characterized in that the inclination of the vehicle body is corrected by obtaining the difference and rotating the locus obtained by the adjacent camera according to the obtained difference.

[作用] 本発明においては、カメラにより撮影された映像がスポ
ットビーム光源の照射スポットを基準として合成され
る。この結果、設置部位の非対称や車体傾斜等により軌
跡変動が生じた場合にも、これを補償し正確な測定が行
われ、分解能の劣化が防止され、最大測定可能幅員を広
くとりうることとなる。
[Operation] In the present invention, the images captured by the camera are combined with the irradiation spot of the spot beam light source as a reference. As a result, even if the trajectory fluctuates due to the asymmetry of the installation site or the inclination of the vehicle body, it is compensated for accurate measurement, the deterioration of the resolution is prevented, and the maximum measurable width can be widened. .

本発明においては、さらに、上記隣接するカメラそれぞ
れにより得られた照射スポットが一致するよう、解析手
段が、上記隣接するカメラのうち一方により得られた軌
跡を、他方により得られた軌跡に対し平行移動させる。
これにより、当該隣接するカメラの撮影範囲及び誤差の
相違のうち、平行移動成分が補償される。次に、解析手
段は基準軌跡の撮影によって予め与えられている回転量
に応じ、当該隣接するカメラのうち一方により得られた
軌跡を他方により得られた軌跡に対し回転させる。これ
により、当該隣接するカメラの撮影範囲及び姿勢の誤差
のうち回転成分が補償される。以上のようにして、上述
した設置部位の非対称等の補償が実現される。
In the present invention, further, the analyzing means parallelizes the locus obtained by one of the adjacent cameras with the locus obtained by the other so that the irradiation spots obtained by the adjacent cameras coincide with each other. To move.
As a result, the parallel movement component of the difference in the shooting range and the error between the adjacent cameras is compensated. Next, the analysis means rotates the locus obtained by one of the adjacent cameras with respect to the locus obtained by the other, in accordance with the rotation amount given in advance by photographing the reference locus. As a result, the rotation component of the error in the shooting range and the posture of the adjacent cameras is compensated. As described above, the compensation of the above-mentioned installation site asymmetry and the like is realized.

本発明においては、また、上記隣接するカメラにより得
られる軌跡を合成した後、解析手段が、得られた合成軌
跡を直線に近似する。得られた近似直線は、路面を示す
所定の基準直線と比較される。解析手段は、求めた両者
の角度差に応じて当該隣接するカメラにより得られる軌
跡を回転させる。これにより、車体の傾斜による誤差が
補正される。
In the present invention, after combining the loci obtained by the adjacent cameras, the analyzing means approximates the obtained combined locus to a straight line. The obtained approximate straight line is compared with a predetermined reference straight line indicating the road surface. The analyzing means rotates the locus obtained by the adjacent cameras according to the obtained angle difference between the two. As a result, the error due to the inclination of the vehicle body is corrected.

[実施例] 以下、本発明の好適な実施例について図面に基づき説明
する。
[Embodiment] A preferred embodiment of the present invention will be described below with reference to the drawings.

第1図及び第2図には、本発明の一実施例に係る路面横
断凹凸測定装置における光源及びCCDカメラの配置が示
されている。
1 and 2 show the arrangement of a light source and a CCD camera in a road surface unevenness measuring apparatus according to an embodiment of the present invention.

これらの図のうち、第1図は車体側面からの図であり、
第2図は車体背面からの図である。
Of these drawings, FIG. 1 is a view from the side of the vehicle body,
FIG. 2 is a view from the rear of the vehicle body.

この実施例においては、それぞれ路面に向けて斜め上方
から照射される扇形の光線であるファンビーム100−1
及び100−2が、ファンビーム光源10−1及び10−2に
より発せられる。このファンビーム光源10−1及び10−
2は、車体12の後部左右両側に設置されている。
In this embodiment, a fan beam 100-1 which is a fan-shaped light beam emitted obliquely from above toward the road surface is used.
And 100-2 are emitted by the fan beam sources 10-1 and 10-2. This fan beam light source 10-1 and 10-
2 are installed on the left and right sides of the rear part of the vehicle body 12.

ファンビーム光源10−1及び10−2はレーザ発振器等の
光源である。設置高さは路面から0.65m程度であり、フ
ァンビーム100−1及び100−2の照射位置は出射位置か
ら1.3m程度車体12後方に設定される。これらの位置関係
は、ファンビーム100の拡がり角、入射角θ、路面基準
面110上への照射幅等によって決定される。
The fan beam light sources 10-1 and 10-2 are light sources such as a laser oscillator. The installation height is about 0.65 m from the road surface, and the irradiation positions of the fan beams 100-1 and 100-2 are set about 1.3 m from the emission position behind the vehicle body 12. These positional relationships are determined by the divergence angle of the fan beam 100, the incident angle θ, the irradiation width on the road surface reference surface 110, and the like.

例えば、第3図に示されるように、ファンビーム100の
入射角θは、θ=tan-1(1/2)に設定される。
For example, as shown in FIG. 3, the incident angle θ of the fan beam 100 is set to θ = tan −1 (1/2).

また、ファンビーム100が照射する実際の路面は、正確
な平面ではなく凹みを有する面である。
Further, the actual road surface irradiated by the fan beam 100 is not an accurate flat surface but a surface having a depression.

ここで、実際の路面を理想平面たる路面基準面110に近
似することにする。実際の路面と路面基準面110とが正
確に一致するならば、ファンビーム100は、路面上にお
いて入射角θ等のパラメタにより決定される位置に、直
線状の軌跡を描くことになる。
Here, the actual road surface is approximated to the road surface reference surface 110 that is an ideal plane. If the actual road surface and the road reference surface 110 are exactly the same, the fan beam 100 will draw a linear locus on the road surface at a position determined by parameters such as the incident angle θ.

しかし、実際の路面は横断凹凸を有している。すなわ
ち、実際の路面のうち一部は路面基準面110から見て窪
んだ位置にある。
However, the actual road surface has crossing irregularities. That is, a part of the actual road surface is in a recessed position when viewed from the road surface reference surface 110.

この凹みをLとし、路面基準面110から見てLだけ低い
位置にある平面を凹み面120で表すこととすると、実際
の路面と路面基準面110とが一致している部分において
描かれる軌跡に比べ、凹みの位置では路面基準面110に
比べ入射角θにより定まる距離だけ車体12後方に軌跡が
描かれる。この場合、前述の入射角θの式から、凹みに
よる軌跡の位置ずれは2Lとなる。
If this dent is L and the plane at a position lower by L from the road reference surface 110 is represented by the dent surface 120, the trajectory drawn in the portion where the actual road surface and the road reference surface 110 coincide In comparison, at the recessed position, a locus is drawn behind the vehicle body 12 by a distance determined by the incident angle θ as compared with the road reference surface 110. In this case, from the above equation of the incident angle θ, the positional deviation of the locus due to the depression is 2L.

また、ファンビーム100−1及び100−2の照射幅は照射
領域が重複するよう、例えば0.8m程度の幅員で重複すよ
う、設定される。
The irradiation widths of the fan beams 100-1 and 100-2 are set so that the irradiation areas overlap, for example, with a width of about 0.8 m.

ファンビーム光源10−1及び10−2により発せられるフ
ァンビーム100−1及び100−2の軌跡は、CCDカメラ14
−1及び14−2によりそれぞれ撮影される。このCCDカ
メラ14−1及び14−2は、ファンビーム光源10−1及び
10−2よりも上方、具体的には車体12背面の1.9m程度の
高さに配置されている。CCDカメラ14−1及び14−2
は、ファンビーム100−1及び100−2の軌跡の弁別が容
易となるよう、軌跡に対し直角に(すなわち車体12背面
と垂直に)走査方向が設定されている。
The loci of the fan beams 100-1 and 100-2 emitted by the fan beam light sources 10-1 and 10-2 are shown by the CCD camera 14
-1 and 14-2 respectively. The CCD cameras 14-1 and 14-2 include a fan beam light source 10-1 and
It is located above 10-2, specifically, at a height of about 1.9 m on the rear surface of the vehicle body 12. CCD cameras 14-1 and 14-2
Has a scanning direction set at right angles to the loci (that is, perpendicular to the rear surface of the vehicle body 12) so that the loci of the fan beams 100-1 and 100-2 can be easily discriminated.

CCDカメラ14−1及び14−2の取り付け高さは、使用す
るレンズの焦点距離、受光素子面のサイズ、1台当りの
計測可能幅員から決定され、取り付け間隔は、車体12の
幅により決定される。
The mounting height of the CCD cameras 14-1 and 14-2 is determined by the focal length of the lens used, the size of the light receiving element surface, and the measurable width per unit, and the mounting interval is determined by the width of the vehicle body 12. It

また、ファンビーム光源10−1及び10−2と対応して、
両CCDカメラ14−1及び14−2の視野は重複するよう設
定される。重複幅は0.4m程度であり、CCDカメラ14−1
及び14−2からの路面110の臨み角は18゜程度である。
Also, in correspondence with the fan beam light sources 10-1 and 10-2,
The fields of view of both CCD cameras 14-1 and 14-2 are set to overlap. The overlapping width is about 0.4m, and CCD camera 14-1
The angle of contact of the road surface 110 from 14 and 14-2 is about 18 °.

CCDカメラ14から、対応するファンビーム光源10による
ファンビーム100の軌跡を撮影すると、第4図のように
なる。この図は、路面鉛直方向(すなわち、路面に対す
るCCDカメラ14の方向)から軌跡130を見た場合の図であ
る。
When the trajectory of the fan beam 100 by the corresponding fan beam light source 10 is photographed from the CCD camera 14, it becomes as shown in FIG. This figure is a view when the locus 130 is viewed from the vertical direction of the road surface (that is, the direction of the CCD camera 14 with respect to the road surface).

例えば路面の一部がLだけ窪んでいる場合、この凹みの
部分では前述の入射角θの式により2Lだけ後方に軌跡13
0が曲がり込む。CCDカメラ14は、このような軌跡130を
撮影し、後述する処理に提供する。
For example, when a part of the road surface is depressed by L, the locus is moved backward by 2L according to the above-mentioned equation of the incident angle θ in this depressed portion.
0 bends in. The CCD camera 14 photographs such a locus 130 and provides it for the processing described later.

さらに、第2図においては、本発明の特徴に係るスポッ
トビーム光源16が示されている。
Further, in FIG. 2, a spot beam light source 16 according to the features of the present invention is shown.

このスポットビーム光源16は、ファンビーム光源10−1
及び10−2と同様レーザ発振器等の光源である。その車
体12に対する取り付け位置は車体12の中心線上の任意の
位置である。スポットビーム光源16は、路面基準面110
上の所定位置にスポットビーム140を照射する。このス
ポットビーム140の照射位置は、ファンビーム100−1及
び100−2との弁別が容易となるよう、ファンビーム100
−1及び100−2の照射位置に対して50mm程度前方に設
定される。CCDカメラ14−1及び14−2は、ファンビー
ム100−1及び100−2の軌跡と共にこのスポットビーム
140の照射スポットをも撮影する。
The spot beam light source 16 is a fan beam light source 10-1.
And 10-2 are light sources such as laser oscillators. The mounting position for the vehicle body 12 is an arbitrary position on the center line of the vehicle body 12. The spot beam light source 16 has a road reference surface 110.
The spot beam 140 is irradiated onto the predetermined position above. The irradiation position of the spot beam 140 is set so that the fan beam 100 can be easily distinguished from the fan beams 100-1 and 100-2.
It is set about 50 mm ahead of the irradiation positions of -1 and 100-2. The CCD cameras 14-1 and 14-2 use this spot beam along with the trajectory of the fan beams 100-1 and 100-2.
It also shoots 140 irradiation spots.

このように配置すると、ファンビーム光源10の1台当り
幅員が2.9m程度ならば、ファンビーム100−1及び100−
2を合計した照射の幅員が4.8m程度、CCDカメラ14−1
及び14−2を合計した撮影の幅員が5m程度となる。
With this arrangement, if the width of each fan beam light source 10 is about 2.9 m, the fan beams 100-1 and 100-
The total width of irradiation of 2 is about 4.8m, CCD camera 14-1
The total width of shooting for 14 and 14-2 is about 5m.

第5図には、この実施例の回路構成が示されている。FIG. 5 shows the circuit configuration of this embodiment.

この図に示される回路は、特にCCDカメラ14−1及び14
−2により撮影された映像の情報処理を行う系統の回路
である。なお、ファンビーム光源10−1、10−2及びス
ポットビーム光源16の駆動系統は、これらに電力を供給
する電源及びそのスイッチ系統のみなので、ここでは説
明を省略する。
The circuit shown in this figure is particularly suitable for CCD cameras 14-1 and 14
2 is a circuit of a system that performs information processing of a video image captured. The fan beam light sources 10-1 and 10-2 and the spot beam light source 16 are driven only by a power supply for supplying electric power to them and a switch system thereof, and therefore description thereof is omitted here.

第5図において、CCDカメラ14−1及び14−2にはそれ
ぞれ8ビットのA/Dコンバータ18−1及び18−2が接続
されている。すなわち、CCDカメラ14−1及び14−2に
より撮影された映像は8ビットに量子化され、8ビット
輝度分解能のデータとしてA/Dコンバータ18−1及び18
−2から出力される。
In FIG. 5, 8-bit A / D converters 18-1 and 18-2 are connected to the CCD cameras 14-1 and 14-2, respectively. That is, the images captured by the CCD cameras 14-1 and 14-2 are quantized into 8 bits, and A / D converters 18-1 and 18-1 are provided as 8-bit luminance resolution data.
-2 is output.

A/Dコンバータ18−1及び18−2の後段には、それぞれ
ラインメモリ20−1及び20−2が接続されている。この
ラインメモリ20−1及び20−2は、A/Dコンバータ18−
1及び18−2の出力を一走査線期間分だけ記憶し、後段
に出力する。
Line memories 20-1 and 20-2 are connected to the subsequent stages of the A / D converters 18-1 and 18-2, respectively. The line memories 20-1 and 20-2 are the A / D converter 18-
The outputs of 1 and 18-2 are stored for one scanning line period and output to the subsequent stage.

ラインメモリ20−1及び20−2は、インターフェース22
を介してデータ処理装置24に接続されている。このデー
タ処理装置24は、路面横断凹凸の演算を行う装置であ
る。
The line memories 20-1 and 20-2 have an interface 22.
Is connected to the data processing device 24 via. The data processing device 24 is a device that calculates road surface unevenness.

次に、この様な構成を有する本実施例の動作について説
明する。
Next, the operation of this embodiment having such a configuration will be described.

まず、各ファンビーム光源10から、所定の照射幅でファ
ンビーム100が発せられる。このファンビーム100は、路
面上に軌跡130を描き、対応するCCDカメラ14によりこの
軌跡130がそれぞれ撮影される。
First, each fan beam light source 10 emits a fan beam 100 with a predetermined irradiation width. The fan beam 100 draws a locus 130 on the road surface, and the corresponding locus 130 is photographed by the corresponding CCD camera 14.

第6図には、CCDカメラ14の走査線方向に対するパワー
分布が示されている。
FIG. 6 shows the power distribution of the CCD camera 14 in the scanning line direction.

CCDカメラ14は、A/Dコンバータにより出力が8ビット輝
度分解能(パワー)とされるカメラである。軌跡130の
撮影の際には、第6図に示されるように、輝度のピーク
を有する信号を出力する。
The CCD camera 14 is a camera whose output has 8-bit luminance resolution (power) by an A / D converter. When photographing the locus 130, as shown in FIG. 6, a signal having a luminance peak is output.

本実施例においては、このような輝度分布に基づき、デ
ータ処理装置24により軌跡130を求めている。
In the present embodiment, the locus 130 is obtained by the data processing device 24 based on such a brightness distribution.

例えば、輝度が最大であるピクセル及びこれに隣接する
合計nピクセルの輝度を平均し、輝度分布の重心位置を
求めればよい。
For example, the brightness of the pixel having the maximum brightness and the brightness of a total of n pixels adjacent thereto may be averaged to obtain the barycentric position of the brightness distribution.

このような演算結果を全走査線に渡って実行すれば、例
えば第4図に示されるような軌跡130が、重心位置を結
ぶ線として求められることになる。
If such a calculation result is executed over all scanning lines, a locus 130 as shown in FIG. 4, for example, can be obtained as a line connecting the barycentric positions.

以上のべた動作は、一対のファンビーム光源12及びCCD
カメラ14について行われる動作である。本発明の特等と
するところは、複数台(実施例では2台)並設されたフ
ァンビーム光源12及びCCDカメラ14によりそれぞれ得ら
れる軌跡を合成する動作である。以下、この動作に付き
説明する。
The above operation is performed by a pair of fan beam light source 12 and CCD.
This is an operation performed for the camera 14. A feature of the present invention is an operation of combining loci obtained by a plurality of (two in the embodiment) fan beam light sources 12 and CCD cameras 14 arranged in parallel. Hereinafter, this operation will be described.

第7図には、本実施例においてデータ処理装置24により
行われる結合ポインタの抽出の原理が示されている。
FIG. 7 shows the principle of extraction of the combined pointer performed by the data processing device 24 in this embodiment.

この図において、150はCCDカメラ14により撮影される映
像を示している。なお、この図においては、説明のため
に片方のCCDカメラ14、具体的には左側のCCDカメラ14−
2の映像150−2が示されている。
In this figure, reference numeral 150 denotes an image taken by the CCD camera 14. In this figure, for the sake of explanation, one CCD camera 14, specifically, the left CCD camera 14-
Two images 150-2 are shown.

本実施例において車体12の中心軸上に設けられているス
ポットビーム光源16は、路面に対し所定の方向にスポッ
トビーム140を発する。このスポットビーム140は、前述
のようにファンビーム100−1及び100−2の重複照射領
域内部の所定位置に照射される。
In this embodiment, the spot beam light source 16 provided on the center axis of the vehicle body 12 emits a spot beam 140 in a predetermined direction with respect to the road surface. The spot beam 140 is applied to a predetermined position inside the overlapping irradiation area of the fan beams 100-1 and 100-2 as described above.

データ処理装置24は、CCDカメラ14−2により撮影され
た映像150−2に基づき、結合ポインタの抽出を行う。
The data processing device 24 extracts the combined pointer based on the image 150-2 captured by the CCD camera 14-2.

ここで、結合ポインタとは、スポットビーム140の照射
位置をいう。
Here, the combined pointer refers to the irradiation position of the spot beam 140.

例えば、スポットビーム140が照射されることが期待さ
れる領域を結合ポインタサーチエリア160−2として予
め設定しておく。この結合ポインタサーチエリア160−
2について、第6図による軌跡130抽出と同様の原理で
輝度の中心抽出を行えば、結合ポインタ170−2が求め
られることになる。
For example, a region expected to be irradiated with the spot beam 140 is preset as the combined pointer search area 160-2. This combined pointer search area 160-
When the center of the luminance is extracted for No. 2 according to the same principle as the extraction of the locus 130 in FIG. 6, the combined pointer 170-2 is obtained.

次に、データ処理装置24は、両CCDカメラ14−1及び14
−2に係る結合ポインタ170−1及び170−2を照合し、
この結果を用いて軌跡130−1及び130−2を合成する。
Next, the data processing device 24 determines that both CCD cameras 14-1 and 14
-2, collate the combined pointers 170-1 and 170-2,
The loci 130-1 and 130-2 are synthesized using this result.

第8図には、この実施例における軌跡合成原理が示され
ている。
FIG. 8 shows the trajectory synthesis principle in this embodiment.

仮に、CCDカメラ14−1及び14−2が車体12の中心面に
対して正確に対称に配置されており、車体12もまったく
傾斜していないとする。このとき、CCDカメラ14−1及
び14−2により撮影される映像150−1及び150−2をCC
Dカメラ14−1及び14−2の位置に応じて合成すれば、
軌跡130−1及び130−2は合成された1本の軌跡とな
る。
It is assumed that the CCD cameras 14-1 and 14-2 are arranged symmetrically with respect to the center plane of the vehicle body 12 and the vehicle body 12 is not inclined at all. At this time, the images 150-1 and 150-2 captured by the CCD cameras 14-1 and 14-2 are CC
If combined according to the positions of D cameras 14-1 and 14-2,
The loci 130-1 and 130-2 are one combined locus.

しかし一般に、CCDカメラ14−1と14−2の取り付け位
置のずれや車体12の傾斜により、軌跡130−1及び130−
2は一致しない。
However, in general, due to the displacement of the mounting positions of the CCD cameras 14-1 and 14-2 and the inclination of the vehicle body 12, the loci 130-1 and 130-
2 does not match.

この実施例においては、この不一致を排除し1本の合成
された軌跡を得るために、結合ポインタ170−1及び170
−2から軌跡130−1及び130−2に下ろした垂線180−
1と180−2を一致させるよう、映像の平行移動及び回
転処理を行う。
In this embodiment, the combined pointers 170-1 and 170 are used to eliminate this inconsistency and obtain one combined trajectory.
-180 perpendicular to the trajectories 130-1 and 130-2
Image parallel translation and rotation processing is performed so that 1 and 180-2 match.

まず、第8図中190及び200で示される矢印方向に、結合
ポインタ170−1に対する結合ポインタ170−2の座標差
だけ、映像150−2を移動させる。これにより、軌跡130
−1と130−2のずれのうち、平行移動成分が補正され
る。
First, the image 150-2 is moved by the coordinate difference of the combined pointer 170-2 with respect to the combined pointer 170-1 in the arrow directions indicated by 190 and 200 in FIG. As a result, the trajectory 130
The parallel movement component of the deviation between −1 and 130-2 is corrected.

次に、回転成分の補正が行われる。この補正は、例えば
予め水平路面上における基準となる軌跡を各CCDカメラ1
4−1及び14−2毎に撮影しておき、これを符合させる
ことにより行う。すなわち、CCDカメラ14−1による基
準軌跡と、CCDカメラ14−2による基準軌跡と、が一直
線上になるよう、映像150−1に対し映像150−2を相対
的に回転させる。これにより、回転成分の補正が達せら
れる。
Next, the rotation component is corrected. For this correction, for example, the reference trajectory on the horizontal road surface is set in advance for each CCD camera 1
This is done by taking pictures of each of 4-1 and 14-2 and matching them. That is, the image 150-2 is rotated relative to the image 150-1 so that the reference locus of the CCD camera 14-1 and the reference locus of the CCD camera 14-2 are aligned with each other. Thereby, the correction of the rotation component is achieved.

このように、結合ポインタ170−1及170−2を用いて合
成された1本の軌跡を得ることができる。この軌跡は、
2対のファンビーム光源12及びCCDカメラ14を用いるこ
とにより、従来の一対の場合に比べ拡大された幅員に係
る軌跡である。また、その形状は路面の横断方向の凹凸
を表しており、XY変換により路面の横断面方向のデータ
に変換することにより路面横断凹凸を得ることが可能で
ある。従って、測定制度の低下等の障害を伴こと無く路
面横断凹凸の測定が可能となり、かつ最大測定可能幅員
が拡大される。
In this way, it is possible to obtain a single trajectory that is combined using the combining pointers 170-1 and 170-2. This trajectory is
By using the two pairs of fan beam light sources 12 and the CCD camera 14, the locus is related to the width which is enlarged as compared with the conventional pair. Further, the shape represents unevenness in the transverse direction of the road surface, and it is possible to obtain the unevenness across the road surface by converting the data into the data in the transverse direction of the road surface by XY conversion. Therefore, it becomes possible to measure the unevenness across the road surface without any obstacle such as deterioration of the measurement system, and the maximum measurable width is expanded.

第9図には、車体12の傾斜が発生した場合における合成
された軌跡による路面横断凹凸の傾きを補正する原理が
示されている。
FIG. 9 shows the principle of correcting the inclination of the road surface unevenness due to the combined trajectory when the inclination of the vehicle body 12 occurs.

すなわち、車体12の傾斜が生じた場合、実際の路面横断
凹凸と撮影・合成された軌跡により求められた路面横断
凹凸との間に路面横断面内での角度的なずれが生じる。
これは、CCDカメラ14−1と14−2の間に路面との距離
の差が生じることによる。
That is, when the vehicle body 12 is tilted, an angular deviation occurs in the road surface cross section between the actual road surface unevenness and the road surface unevenness obtained by the photographed / synthesized trajectory.
This is because the CCD cameras 14-1 and 14-2 have a difference in distance from the road surface.

この実施例においては、これを最小自乗近似を用いて補
正する。
In this embodiment, this is corrected using the least squares approximation.

まず、前述のように撮影・合成された軌跡により求めら
れる路面横断凹凸を、そのまま路面横断面上に表した場
合、第9図に示されるような曲線210で表されるとす
る。
First, when the road surface cross-section unevenness obtained by the trajectory photographed and combined as described above is directly represented on the road surface cross section, it is assumed to be represented by a curve 210 as shown in FIG.

しかし、車体12が傾斜していると、実際にはその傾斜分
が路面横断面上における角度誤差として曲線210に含ま
れることになる。
However, when the vehicle body 12 is inclined, the inclination is actually included in the curve 210 as an angular error on the road surface cross section.

そこで、この曲線210を用いて最小自乗法により近似直
線220を求める。この近似直線220は、曲線210から期待
される路面基準面を示しており、実際の路面基準面110
とある角度を成して交差する。この角度は、車体12の傾
斜角に等しいと見なせるものである。
Therefore, using this curve 210, the approximate straight line 220 is obtained by the method of least squares. The approximate straight line 220 indicates the road reference surface expected from the curve 210, and the actual road reference surface 110
They intersect at an angle. This angle can be regarded as equal to the inclination angle of the vehicle body 12.

このような理由により、本実施例で近似直線220と路面
基準面110のなす角を求め、この角度だけ曲線210を回転
させ、実際の路面横断凹凸230を求めている。
For this reason, in this embodiment, the angle formed by the approximate straight line 220 and the road surface reference surface 110 is obtained, and the curve 210 is rotated by this angle to obtain the actual road surface unevenness 230.

このように、本実施例においては、車体12が傾斜してい
ても、車体の傾斜角を合成された軌跡に基づき近似的に
求め、補正することができる。
As described above, in this embodiment, even if the vehicle body 12 is inclined, the inclination angle of the vehicle body can be approximately obtained and corrected based on the combined trajectory.

なお、以上の説明で用いた配置等の設定は、限定的なも
のではない。例えば車種に応じ、あるいは測定対象たる
路面の環境等に応じ、適当に設定すれば良い。
Note that the settings such as the arrangement used in the above description are not limited. For example, it may be appropriately set according to the vehicle type or the environment of the road surface to be measured.

また、CCDカメラ及びファンビーム光源の対の個数は、
各一対には限られない。これ以上の対数を用いた場合、
隣接するファンビーム光源の中間位置にスポットビーム
光源を配置し、両ファンビームの符合に用いればよい。
Also, the number of pairs of CCD camera and fan beam light source is
It is not limited to each pair. If you use more logarithms,
A spot beam light source may be arranged at an intermediate position between adjacent fan beam light sources and used for matching both fan beams.

さらに、データ処理装置24における各種演算は、他のア
ルゴリズムに立脚するものであっても良い。すなわち、
結合スポットにより隣接する複数のCCDカメラ14による
映像を合成する点で共通するものなら構わない。
Further, various calculations in the data processing device 24 may be based on other algorithms. That is,
It does not matter as long as they are common in that images from a plurality of CCD cameras 14 adjacent to each other are combined by the combined spot.

そして、カメラ、光源等は、CCDカメラ、レーザ発振器
等以外の物でも良い。
The camera, light source, etc. may be something other than a CCD camera, a laser oscillator, etc.

[発明の効果] 以上説明したように、本発明によれば、複数対のカメラ
及び光源により得られる軌跡をスポットビームにより符
合して合成するようにしたため、最大測定可能幅員を拡
大することが可能であり、測定制度を維持できる。
[Effects of the Invention] As described above, according to the present invention, the loci obtained by a plurality of pairs of cameras and light sources are matched by the spot beam and combined, so that the maximum measurable width can be expanded. Therefore, the measurement system can be maintained.

本発明によれば、さらに、上記隣接するカメラそれぞれ
により得られた照射スポットが一致するよう軌跡を平行
移動させ、さらに基準軌跡の撮影によって予め与えられ
ている回転量に応じ軌跡を回転させるようにしたため、
カメラの撮影範囲及び姿勢の誤差をその平行移動成分に
ついても回転成分についても補償できる。
According to the present invention, further, the locus is translated so that the irradiation spots obtained by the respective adjacent cameras coincide with each other, and further the locus is rotated according to the rotation amount given in advance by photographing the reference locus. Because
It is possible to compensate the error of the shooting range and the attitude of the camera for both the parallel movement component and the rotation component.

本発明によれば、また、軌跡の近似直線はと路面を示す
所定の基準直線との比較結果に応じて軌跡を回転させる
ようにしたため、車体の傾斜による誤差を補正できる。
According to the present invention, the locus is rotated according to the result of comparison between the approximate straight line of the locus and a predetermined reference straight line indicating the road surface. Therefore, the error due to the inclination of the vehicle body can be corrected.

【図面の簡単な説明】[Brief description of drawings]

第1図は、本発明の一実施例に係る路面横断凹凸測定装
置における光源及びカメラ配置を示す側面図、 第2図は、この実施例における光源及びカメラ配置を示
す背面図、 第3図は、この実施例におけるファンビーム照射の態様
を示す路面縦断面図、 第4図は、この実施例におけるファンビームの軌跡図、 第5図は、この実施例におけるデータ処理系統の回路
図、 第6図は、この実施例に用いるCCDカメラの走査線方向
におけるパワー分布を示すヒストグラム図、 第7図は、この実施例における結合ポインタを示す映像
図、 第8図は、この実施例における映像合成の原理図、 第9図は、この実施例における車体傾斜補正処理の原理
図である。 10……ファンビーム光源 12……車体 14……CCDカメラ 16……スポットビーム光源 24……データ処理装置 100……ファンビーム 130……軌跡 140……スポットビーム 150……映像 170……結合ポインタ
1 is a side view showing a light source and a camera arrangement in a road surface unevenness measuring apparatus according to an embodiment of the present invention, FIG. 2 is a rear view showing a light source and a camera arrangement in this embodiment, and FIG. FIG. 4 is a longitudinal sectional view of a road surface showing a mode of fan beam irradiation in this embodiment. FIG. 4 is a locus diagram of a fan beam in this embodiment. FIG. 5 is a circuit diagram of a data processing system in this embodiment. FIG. 7 is a histogram diagram showing the power distribution in the scanning line direction of the CCD camera used in this embodiment, FIG. 7 is a video diagram showing the combined pointer in this embodiment, and FIG. Principle Diagram, FIG. 9 is a principle diagram of a vehicle body inclination correction process in this embodiment. 10 …… Fan beam light source 12 …… Car body 14 …… CCD camera 16 …… Spot beam light source 24 …… Data processing device 100 …… Fan beam 130 …… Track 140 …… Spot beam 150 …… Image 170 …… Join pointer

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中根 達英 東京都千代田区六番町2番地 国際航業株 式会社内 (56)参考文献 特開 昭63−108207(JP,A) 特開 昭60−84680(JP,A) 実公 平3−18882(JP,Y2) ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Tatsuhide Nakane 2nd No. 6 Bancho, Chiyoda-ku, Tokyo Within the international shipping company (56) References JP-A-63-108207 (JP, A) JP-A-SHO 60-84680 (JP, A) Actual Kohei 3-18882 (JP, Y2)

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】車体後部から斜め下方向に扇形の光線を照
射するよう車両に搭載されたファンビーム光源と、ファ
ンビーム光源から発せられた光線の軌跡を撮影するよう
光源より上方に設置されたカメラと、撮影された光線の
軌跡を解析して路面の横断凹凸を求める解析手段と、を
有する路面横断凹凸測定装置において、 隣接するファンビーム光源が一部共通する領域を照射し
隣接するカメラが一部共通す領域を撮影するようファン
ビーム光源及びカメラを車体に複数個積載し、 隣接するファンビーム光源が共通して照射しかつ隣接す
るカメラが共通して撮影する領域の少なくとも一部を照
射するスポットビーム光源を備え、 解析手段が、スポットビーム光源による光線の照射スポ
ットを基準点として、隣接するカメラにより得られる軌
跡を合成することを特徴とする路面横断凹凸測定装置。
1. A fan beam light source mounted on a vehicle so as to radiate a fan-shaped light beam obliquely downward from a rear part of a vehicle body, and a light beam emitted from the fan beam light source, which is installed above the light source so as to photograph a trajectory of the light beam. In a road crossing unevenness measuring device having a camera and an analyzing means for analyzing a trajectory of a photographed light ray to obtain crossing unevenness of a road surface, adjacent fan beam light sources irradiate a common area to a part of an adjacent camera. A plurality of fan beam light sources and cameras are mounted on the vehicle body so as to capture a part of the common area, and adjacent fan beam light sources illuminate in common and at least part of the area in which adjacent cameras capture in common Equipped with a spot beam light source that enables the analysis means to trace the locus obtained by an adjacent camera with the irradiation spot of the light beam from the spot beam light source as the reference point. Road crossing irregularities measuring apparatus, characterized by forming.
【請求項2】請求項(1)記載の路面横断凹凸測定装置
において、 解析手段が、 上記隣接するカメラそれぞれにより得られた照射スポッ
トが一致するよう、上記隣接するカメラのうち一方によ
り得られた軌跡を他方により得られた軌跡に対し平行移
動させ、 さらに基準軌跡の撮影によって予め与えられている回転
量に応じ、当該隣接するカメラのうち一方により得られ
た軌跡を他方により得られた軌跡に対し回転させること
により、 当該隣接するカメラの撮影範囲及び姿勢の誤差を補償し
ながら、隣接するカメラにより得られる軌跡を合成する
ことを特徴とする路面横断凹凸測定装置。
2. The road surface unevenness measuring device according to claim 1, wherein the analyzing means obtains by one of the adjacent cameras so that the irradiation spots obtained by the adjacent cameras coincide with each other. The locus is moved in parallel with the locus obtained by the other, and the locus obtained by one of the adjacent cameras is changed to the locus obtained by the other in accordance with the rotation amount given in advance by photographing the reference locus. A road surface unevenness measuring device characterized by synthesizing loci obtained by adjacent cameras while compensating for errors in the photographing range and posture of the adjacent cameras by rotating the cameras relative to each other.
【請求項3】請求項(1)記載の路面横断凹凸測定装置
において、 解析手段が、 上記隣接するカメラにより得られる軌跡を合成した後、
得られた合成軌跡を直線に近似し、 得られた近似直線と路面を示す所定の基準直線との角度
差を求め、 求めた差に応じて当該隣接するカメラにより得られる軌
跡を回転することにより、 車体の傾斜を補正することを特徴とする路面横断凹凸測
定装置。
3. The road surface unevenness measuring apparatus according to claim 1, wherein the analyzing means synthesizes the loci obtained by the adjacent cameras,
By approximating the obtained synthetic trajectory to a straight line, obtaining the angular difference between the obtained approximate straight line and a predetermined reference straight line indicating the road surface, and rotating the locus obtained by the adjacent camera according to the obtained difference. A road crossing unevenness measuring device characterized by correcting the inclination of a vehicle body.
JP2140660A 1990-05-29 1990-05-29 Road surface unevenness measuring device Expired - Lifetime JPH0749942B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2140660A JPH0749942B2 (en) 1990-05-29 1990-05-29 Road surface unevenness measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2140660A JPH0749942B2 (en) 1990-05-29 1990-05-29 Road surface unevenness measuring device

Publications (2)

Publication Number Publication Date
JPH0432705A JPH0432705A (en) 1992-02-04
JPH0749942B2 true JPH0749942B2 (en) 1995-05-31

Family

ID=15273807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2140660A Expired - Lifetime JPH0749942B2 (en) 1990-05-29 1990-05-29 Road surface unevenness measuring device

Country Status (1)

Country Link
JP (1) JPH0749942B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011163852A (en) * 2010-02-08 2011-08-25 Kobe Steel Ltd Visual inspection device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2569279B2 (en) * 1994-08-01 1997-01-08 コナミ株式会社 Non-contact position detection device for moving objects
JP3399656B2 (en) * 1994-09-14 2003-04-21 松下電器産業株式会社 Pavement patrol device
JP5122737B2 (en) * 2005-10-03 2013-01-16 株式会社名南製作所 Wood inspection method, apparatus and program
GB2460892B (en) * 2008-06-17 2012-12-19 Wdm Ltd Apparatus for measuring carriageway surface properties
JP6080722B2 (en) * 2013-08-05 2017-02-15 大成ロテック株式会社 Road surface property measuring apparatus and road surface property measuring method
DE102016208883A1 (en) * 2016-05-23 2017-11-23 Robert Bosch Gmbh A method for providing vehicle trajectory information and method for locating a pothole
CN109537419A (en) * 2018-12-10 2019-03-29 中公高科养护科技股份有限公司 A kind of pavement image acquiring device and collecting vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6084680A (en) * 1983-08-29 1985-05-14 Nippon Telegr & Teleph Corp <Ntt> Image readout system
JPH0318882Y2 (en) * 1984-12-11 1991-04-22
JPH0621766B2 (en) * 1986-10-25 1994-03-23 住友ゴム工業株式会社 Method and apparatus for measuring cross-sectional shape

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011163852A (en) * 2010-02-08 2011-08-25 Kobe Steel Ltd Visual inspection device

Also Published As

Publication number Publication date
JPH0432705A (en) 1992-02-04

Similar Documents

Publication Publication Date Title
JP4787934B2 (en) Alignment method and alignment apparatus for superimposing X-ray images and video images
JP3897191B2 (en) Planar level difference measuring device
US20050270496A1 (en) Projector with a device for measuring angle of inclination
EP2068280B1 (en) Image Distortion Correction
US20030169918A1 (en) Stereoscopic image characteristics examination system
CN113884519B (en) Self-navigation X-ray imaging system and imaging method
US7982186B2 (en) Method and apparatus for obtaining images by raster scanning charged particle beam over patterned substrate on a continuous mode stage
KR20000071453A (en) Rangefinder
JPH0749942B2 (en) Road surface unevenness measuring device
US6556307B1 (en) Method and apparatus for inputting three-dimensional data
US6891921B2 (en) Method and apparatus for cephalometric imaging
US5909027A (en) Method for adjusting a position of a solid-state image detector in a given image-forming optical system
JP2883236B2 (en) Three-dimensional shape measurement device for structures around railway tracks
US5642164A (en) Light spot position measuring apparatus having orthogonal cylindrical lenses
JP2003148936A (en) Three-dimensional measurement method of object by light section method
JP2007046952A (en) Measuring ruler, measuring system, measuring method, method for measuring tunnel cross section, and method for measuring separation between platform and rail
US12254652B2 (en) Method for determining the three-dimensional positions of points in a target region on a patient in a reference coordinate system of a surgical visualization system and surgical visualization system
JPH0969973A (en) Position adjustment method for solid-state imaging device
JP4081700B2 (en) Electron beam analyzer
JP2566395B2 (en) Three-dimensional coordinate measuring device
JPH0723848B2 (en) Object recognition method and apparatus
JPH1047924A (en) 3-dimension position measuring device
JPH0726847B2 (en) Road condition measurement system
JP2002092632A (en) Three-dimensional image generation apparatus and method
KR920010548B1 (en) 3D curved shape measuring method and device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090531

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100531

Year of fee payment: 15

EXPY Cancellation because of completion of term