JP6934811B2 - Three-dimensional measuring device - Google Patents
Three-dimensional measuring device Download PDFInfo
- Publication number
- JP6934811B2 JP6934811B2 JP2017221033A JP2017221033A JP6934811B2 JP 6934811 B2 JP6934811 B2 JP 6934811B2 JP 2017221033 A JP2017221033 A JP 2017221033A JP 2017221033 A JP2017221033 A JP 2017221033A JP 6934811 B2 JP6934811 B2 JP 6934811B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- range
- distance
- image
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
- G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/047—Accessories, e.g. for positioning, for tool-setting, for measuring probes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- A Measuring Device Byusing Mechanical Method (AREA)
Description
本発明は、ワークに照射光を照射し、ワークの表面に生成される照射光の像を撮像する事によってワークの三次元形状を測定する三次元測定装置に関する。 The present invention relates to a three-dimensional measuring device that measures the three-dimensional shape of a work by irradiating the work with irradiation light and imaging an image of the irradiation light generated on the surface of the work.
非接触式の測定プローブを備える三次元測定装置が知られている。この様な非接触式の測定プローブは、例えば、ワークに、平面に沿った照射光を照射する照射装置と、ワークの表面に生成される照射光の像を、上記平面とは異なる位置から撮像する撮像装置と、を備える。 A three-dimensional measuring device including a non-contact measuring probe is known. Such a non-contact measurement probe captures, for example, an irradiation device that irradiates a work with irradiation light along a plane and an image of the irradiation light generated on the surface of the work from a position different from the plane. It is provided with an image pickup device to be used.
この様な非接触式の測定プローブにおいては、上記照射光が照射される方向と、上記撮像装置の撮像方向とが交差する。従って、上記照射光の像を撮像するためには、測定プローブのワークまでの距離を、撮像可能範囲内に設定する必要がある。測定プローブのワークまでの距離が撮像可能範囲内であるか否かは、例えば、三次元測定装置に接続されたPCのディスプレイ上等から確認することが出来る。しかしながら、その場合、測定者はディスプレイ及びワークの両方を視認しなければならず、操作性の低下を招いてしまう。 In such a non-contact type measurement probe, the direction in which the irradiation light is irradiated intersects with the imaging direction of the imaging device. Therefore, in order to capture the image of the irradiation light, it is necessary to set the distance of the measurement probe to the work within the imageable range. Whether or not the distance of the measuring probe to the workpiece is within the imageable range can be confirmed, for example, from the display of a PC connected to the three-dimensional measuring device. However, in that case, the measurer must visually recognize both the display and the work, which causes a decrease in operability.
このような問題を解決すべく、例えば特許文献1には、非接触式の測定プローブに、測定に用いる上記照射光とは異なる波長の指示光を照射する指示光発光部を設け、この指示光発光部からの指示光をワークの表面に照射すると共に、ワークと測定プローブとの距離に応じて指示光の色を変更することにより、ワークと測定プローブとの距離が撮像可能範囲内であるかどうかを確認することが記載されている。
In order to solve such a problem, for example, in
非接触式の測定プローブがワークに接触してしまうと、測定プローブの損傷や、これに伴う測定精度の低下を招くおそれがある。従って、測定プローブがワークに一定以上近接してしまった場合、これを判別して、警告等を行うことが好ましい。しかしながら、例えば上記特許文献1記載の技術においては、測定プローブのワークまでの距離が撮像可能範囲から外れてしまった場合に、この距離が撮像可能範囲よりも遠いか、撮像可能範囲よりも近いかを判別することが出来ない。
If the non-contact type measuring probe comes into contact with the work, the measuring probe may be damaged and the measurement accuracy may be deteriorated. Therefore, when the measurement probe comes close to the work by a certain amount or more, it is preferable to determine this and give a warning or the like. However, for example, in the technique described in
本発明は、このような点に鑑みなされたもので、ワークと測定プローブとの接触を抑制可能な三次元測定装置を提供することを目的としている。 The present invention has been made in view of these points, and an object of the present invention is to provide a three-dimensional measuring device capable of suppressing contact between a work and a measuring probe.
かかる課題を解決すべく、本発明の一の実施形態に係る三次元測定装置は、ワークに、平面に沿った照射光を照射する照射装置と、ワークの表面に生成される照射光の像を、上記平面とは異なる位置から撮像する撮像装置と、を有する非接触式の測定プローブと、この測定プローブのワークまでの距離が、撮像装置によって照射光の像を撮像可能な撮像可能範囲内か、撮像可能範囲よりも遠い遠隔範囲内か、撮像可能範囲よりも近い近接範囲内か、を判別する判別装置と、この判別装置による判別結果を通知する通知装置と、この判別結果を記憶する記憶装置と、を備える。また、判別装置は、照射光の照射が開始されたタイミングで、上記記憶装置に判別結果として、ワークまでの距離が遠隔範囲内であることを示す情報を記憶させる。また、判別装置は、撮像装置による撮像の結果及び記憶装置に記憶された判別結果を参照してワークまでの距離の範囲を判別し、記憶装置に記憶された判別結果を更新する。 In order to solve such a problem, the three-dimensional measuring device according to the embodiment of the present invention displays an irradiation device that irradiates the work with irradiation light along a plane and an image of the irradiation light generated on the surface of the work. Is the distance between the non-contact measurement probe having the image pickup device that images from a position different from the above plane and the work of the measurement probe within the image pickup range in which the image of the irradiation light can be imaged by the image pickup device? , A discriminating device that discriminates whether it is within a remote range farther than the imageable range or within a close range closer than the imageable range, a notification device that notifies the discriminant result by this discriminant device, and a memory that stores the discriminant result. It is equipped with a device. Further, the discrimination device stores information indicating that the distance to the work is within the remote range as the discrimination result in the storage device at the timing when the irradiation of the irradiation light is started. Further, the discrimination device discriminates the range of the distance to the work by referring to the result of imaging by the imaging device and the discrimination result stored in the storage device, and updates the discrimination result stored in the storage device.
また、上記判別装置は、測定プローブのワークまでの距離の範囲の判別に際して、撮像装置によって照射光の像が撮像されたか否かを判定し、撮像されたと判定された場合には、上記ワークまでの距離を撮像可能範囲内と判別することが出来る。また、判別装置は、撮像装置によって照射光の像が撮像されたと判定されなかった場合、記憶装置に記憶された判別結果を参照し、判別結果としてワークまでの距離が遠隔範囲内であることを示す情報が記憶されていた場合にはワークまでの距離を遠隔範囲内と判別し、判別結果としてワークまでの距離が近接範囲内であることを示す情報が記憶されていた場合にはワークまでの距離を近接範囲内と判別することが出来る。 Further, the discriminating device determines whether or not an image of the irradiation light has been imaged by the imaging device when determining the range of the distance to the work of the measurement probe, and if it is determined that the image has been imaged, the work is up to the above. It can be determined that the distance is within the imageable range. Further, when the discrimination device does not determine that the image of the irradiation light has been captured by the imaging device, the discrimination device refers to the discrimination result stored in the storage device, and as a discrimination result, the distance to the work is within a remote range. When the indicated information is stored, the distance to the work is determined to be within the remote range, and as a result of the determination, when the information indicating that the distance to the work is within the close range is stored, the distance to the work is stored. The distance can be determined to be within the proximity range.
また、上記判別装置は、測定プローブのワークまでの距離の範囲の判別に際して、照射光の像が撮像されたと判定された場合、照射光の像に基づいてワークまでの距離を算出して記憶装置に記憶させることが出来る。また、判別装置は、照射光の像が撮像されたと判定されず、上記記憶装置に判別結果としてワークまでの距離が撮像可能範囲内であることを示す情報が記憶されていた場合には、記憶装置に記憶されたワークまでの距離を示す情報に基づいて、ワークまでの距離を、遠隔範囲内又は近接範囲内と判別することが出来る。 Further, the discriminating device calculates the distance to the work based on the image of the irradiation light when it is determined that the image of the irradiation light has been captured when discriminating the range of the distance to the work of the measurement probe. Can be memorized in. Further, when the discrimination device does not determine that the image of the irradiation light has been captured and the storage device stores information indicating that the distance to the work is within the imageable range as the discrimination result, the discriminating device stores the information. Based on the information indicating the distance to the work stored in the device, the distance to the work can be determined to be within the remote range or the close range.
また、上記測定プローブには、照射装置及び撮像装置を収容する筐体を設けることが出来、上記通知装置として、この筐体表面に設けられた発光装置を設けることが出来る。 Further, the measurement probe can be provided with a housing for accommodating the irradiation device and the imaging device, and the light emitting device provided on the surface of the housing can be provided as the notification device.
また、上記通知装置として、判別結果を通知する音を発生する発音装置を設けることが出来る。 Further, as the notification device, a sounding device that generates a sound for notifying the discrimination result can be provided.
また、上記測定プローブには、測定に際して測定者に把持される把持部を設けることが出来、上記通知装置として、判別結果を把持部の振動によって通知する振動発生装置を設けることが出来る。 Further, the measurement probe can be provided with a grip portion to be gripped by the measurer at the time of measurement, and as the notification device, a vibration generator for notifying the discrimination result by vibration of the grip portion can be provided.
また、上記非接触式の測定プローブには、接触式の測定プローブを取り付けることが出来る。また、上記判別装置は、接触式の測定プローブを用いた測定に際して、非接触式の測定プローブのワークまでの距離の範囲を判別することが出来る。 Further, a contact type measurement probe can be attached to the non-contact type measurement probe. Further, the discriminating device can discriminate the range of the distance to the work of the non-contact type measuring probe at the time of measurement using the contact type measuring probe.
本発明によれば、ワークと測定プローブとの接触を抑制可能な三次元測定装置を提供することが可能となる。 According to the present invention, it is possible to provide a three-dimensional measuring device capable of suppressing contact between a work and a measuring probe.
[三次元測定装置]
図1に示す通り、本発明の第1実施形態に係る三次元測定装置は、非接触式の測定プローブ100と、この測定プローブ100を移動可能な態様で支持すると共に、この測定プローブ100の位置及び角度を測定する多関節アーム200と、測定プローブ100及び多関節アーム200からの出力値に演算処理を行い、測定値を算出する演算装置300と、を備える。また、測定プローブ100には、接触式の測定プローブ400が取り付けられている。
[Three-dimensional measuring device]
As shown in FIG. 1, the three-dimensional measuring device according to the first embodiment of the present invention supports the
測定プローブ100は、図2(a)に示す通り、ワークWに、平面Sに沿った照射光を照射する照射装置110と、ワークWの表面に生成される照射光の像Lを、平面Sと異なる位置から撮像する撮像装置120と、を有する。平面Sは、照射装置110の照射面を通り、且つこの照射面とは略垂直な平面である。上記照射光はこの平面Sに沿って照射されるため、ワークWの表面には、ワークWの表面の凹凸を反映した直線状又は曲線状の照射光の像Lが生成される。この照射光の像Lを平面Sと異なる位置から撮像すると、図2(b)に示す通り、撮像装置120の受光面には、X方向に延伸し、Y方向に凹凸を有する像L´が結像する。像L´を構成する各点のX方向における位置は、ワークWの表面に生成された像Lを構成する各点の位置に対応する。また、これら点のY方向における位置は像Lを構成する各点の照射装置110までの距離、即ち、測定プローブ100までの距離に対応する。尚、像L´を構成する点のうち、受光面の近接側に最も近い点を「近接点PL」と呼ぶ。近接点PLは、測定プローブ100のワークWまでの距離を示す情報である。
As shown in FIG. 2A, the
多関節アーム200は、図1に示す通り、基台201と、この基台201及び測定プローブ100の間に交互に接続された複数のアーム部202及び関節部203を有する。アーム部202は、例えば、略円柱状に形成される。関節部203は、2つのアーム部202の接続部分に設けられ、これらアーム部202同士の相対角度を測定するロータリエンコーダ等の角度測定装置を備える。尚、本実施形態に係る三次元測定装置は多関節アーム200を備えているが、多関節アーム200に換えて、ワークWを設置する試料台と、測定プローブ100を三次元的に駆動させるX軸、Y軸及びZ軸と、これらX軸、Y軸及びZ軸と連動し、測定プローブ100の位置等を測定するリニアエンコーダ等の距離測定装置と、を備えるものを用いても良い。更に、撮像手段等によって測定プローブ100の位置及び角度を算出するものを用いても良い。
As shown in FIG. 1, the articulated
演算装置300は、例えば、PC等の演算装置である。演算装置300は、多関節アーム200内の角度測定装置の出力値から、測定プローブ100の基台201に対する相対位置及び相対角度を示す位置データを演算し、この位置データ及び測定プローブ100の出力値からワークWの形状を演算する。
The
[測定プローブ100]
図3に示す通り、測定プローブ100は、照射装置110と、撮像装置120と、これら照射装置110及び撮像装置120を制御する制御装置130と、これら照射装置110、撮像装置120及び制御装置130を収容する筐体140と、測定に際して測定者に把持される把持部150と、制御装置130からの命令に応じて測定者への通知処理を行う通知装置160と、を備える。
[Measurement probe 100]
As shown in FIG. 3, the
照射装置110は、光を発生する光源111と、この光を紙面に直交する方向に拡幅し、上記平面S(図2)に沿った照射光とするビームエキスパンダ112と、を備える。光源111は、例えば、レーザ光源、LED又はその他の光源である。ビームエキスパンダ112は、例えば、ロッドレンズ、シリンドリカルレンズ若しくはその他のレンズ、又は、ガルバノミラー、ポリゴンミラー若しくはその他の走査ミラーである。尚、光源111として直線状に並べられた複数の光源を用いることも出来る。この場合、ビームエキスパンダ112としてフロスト等の光学系を用いることも出来る。
The
撮像装置120は、撮像素子121と、この撮像素子121の撮像面に照射光の像L´(図2)を結像させる結像レンズ122と、照射光の波長の光を選択的に透過させるバンドパスフィルタ123と、を備える。
The
制御装置130は、照射装置110、撮像装置120及び通知装置160に接続され、これらを制御する。制御装置130は、例えばマイクロコンピュータ等である。また、制御装置130は演算装置300と接続され、演算装置300からの命令に応じて演算装置300に出力値を出力する。また、制御装置130は、測定プローブ100のワークWまでの距離がどのような範囲であるかを判別する判別装置としても機能する。
The
筐体140の前面には、図2に示す通り、照射装置110から照射された照射光をワークWに照射するための第1窓部141と、ワークW表面に生成された照射光の像Lを撮像装置120によって撮像するための第2窓部142と、が設けられる。また、図3に示す通り、筐体140には、接触式の測定プローブ400が取り付けられている。接触式の測定プローブ400は、例えば、筐体140の前方向に突出する。
As shown in FIG. 2, the front surface of the
把持部150は、筐体140の背面側に設けられる。
The
通知装置160は、例えば、測定プローブ400の背面に設けられたLED等の発光装置161と、把持部150の内部に設けられた振動発生装置162と、測定プローブ100の外部に設けられた図示しない発音装置と、を備える。尚、通知装置160の構成は、適宜変更可能である。
The
[撮像装置120]
図4に示す通り、撮像装置120の光学系には、シャインプルーフ光学系128を採用することが出来る。シャインプルーフ光学系128においては、撮像素子121の撮像面と平行な面S1、結像レンズ122の光軸と垂直な面S2、及び、照射光が照射される平面Sが、所定の直線P上で交わる。このような配置によって、撮像素子121の撮像面全体が平面Sに対して合焦状態となる。尚、撮像装置120の光学系には、シャインプルーフ光学系128でなく、テレセントリック光学系等、他の光学系を採用することも出来る。
[Imaging device 120]
As shown in FIG. 4, a Scheimpflug
図5に示す通り、撮像素子121は、X方向及びY方向に配設された複数の受光素子124を備える撮像素子であり、例えばCMOSイメージセンサ等である。撮像素子121は、例えば、Y方向に配設された複数の受光素子124の列125から、同時にデータを読み出す。続いて、例えばこの列125に隣接する列を選択し、この列に含まれる複数の受光素子124から、同時にデータを読み出す。以下同様に、順次データを読み出すことにより、画像データを生成する。尚、撮像素子121としては、CMOSイメージセンサでなく、CCDイメージセンサ等、他の撮像素子を採用することも出来る。
As shown in FIG. 5, the
図6に示す通り、撮像素子121の撮像面には、測定領域126、及び、最大画素範囲である観察領域127が設けられる。測定領域126は、例えば、撮像面の中心近傍に設けられる。測定領域126は、例えば、矩形状の領域とすることも出来るし、円状又は楕円状の領域とすることも出来る。測定領域126は、例えば、撮像素子121の撮像面のうち、平面Sに対して特に好適に合焦状態となる領域に設けることが出来る。観察領域127は、測定領域126を含む撮像面の全領域である。例えば、撮像素子121は、制御装置130からの命令に応じて、撮像素子121の読出領域(ROI: Region Of Interest)を測定領域126又は観察領域127に設定する。読出領域が測定領域126に設定されると、撮像に使用する受光素子124の数が減少し、データの読み出し時間が減少するため、撮像素子121のフレームレートが増大する。また、読出領域が観察領域127に設定されると、撮像に使用する受光素子124の数が増大し、データの読み出し時間が増大するため、撮像素子121のフレームレートは減少する。
As shown in FIG. 6, the image pickup surface of the
[制御装置130]
図7に示す通り、制御装置130は、測定処理の開始時/終了時の処理を行う測定開始/終了処理部131と、撮像装置120から受信した画像データに座標処理を行う座標処理部132と、測定プローブ100のワークWまでの距離の範囲を判別する判別部133と、この判別部133による判別結果に基づいて通知装置160を制御する通知装置制御部134と、判別部133による判別結果を記憶する記憶部135と、を備える。
[Control device 130]
As shown in FIG. 7, the
測定開始/終了処理部131は、例えば演算装置300からの命令に応じて非接触測定処理を開始する。この場合、照射装置110を制御して照射光の照射を開始し、撮像装置120を制御して撮像を開始する。また、測定開始/終了処理部131は、例えば演算装置300からの命令に応じて測定処理を終了する。
The measurement start /
座標処理部132は、撮像装置120から、例えば図2(b)に示すような画像データを受信し、受光素子124の列125(図5)毎に像L´を構成する各点のY方向の座標値を算出して、像L´の座標データを算出する。また、この像L´の座標データから、測定プローブ100のワークWまでの距離を算出する。例えば、像L´の座標データ中、最も近接側に近い点を、近接点PLの座標データとして取得する。また、座標処理部132は、近接点PLの座標データを記憶部135に記憶させると共に演算装置300に送信する。また、座標処理部132は、例えば、照射光の像Lが撮像素子121の測定領域126で撮像されたか否かを判定し、撮像されたと判定された場合は撮像素子121の読出領域を測定領域126に、判定されなかった場合には読出領域を観察領域127に設定する。更に、撮像素子121の読出領域が観察領域127に設定されている場合、照射光の像Lが撮像素子121の観察領域127で撮像されたか否かを判定する。
The coordinate
判別部133は、測定プローブ100のワークWまでの距離がどのような範囲であるかを判別する。例えば、図8に示す通り、上記距離が十分大きい場合、像L´は撮像素子121の撮像面上に結像しない。以下、この様な距離の範囲を「遠隔範囲」と呼ぶ。また、例えば図9に示す通り、上記距離が所定の範囲内である場合、像L´が撮像素子121の撮像面上に結像する。以下、この様な距離の範囲を「撮像可能範囲」と呼ぶ。また、例えば図10に示す通り、上記距離が撮像可能範囲よりも近い場合、像L´は撮像素子121の撮像面上に結像しない。以下、この様な距離の範囲を「近接範囲」と呼ぶ。
The
図11に示す通り、判別部133は、まず、判別部133による判別処理が、測定開始から1回目の処理であるか否かを判定する(S101)。
As shown in FIG. 11, the
ステップS101において1回目の処理と判定された場合、判別部133は、記憶部135に、測定プローブ100のワークWまでの距離が遠隔範囲内であることを示す情報を記憶させる(S102)。
When it is determined to be the first process in step S101, the
ステップS101において1回目の処理と判定されなかった場合、又は、ステップS102が終了した場合、判別部133は、撮像装置120によって照射光の像Lが撮像されたか否かを判定する(S103)。この判定は、例えば、座標処理部132による判定の結果に基づいて行われる。
If it is not determined to be the first process in step S101, or if step S102 is completed, the
ステップS103において照射光の像Lが撮像されたと判定された場合、判別部133は、測定プローブ100のワークWまでの距離を撮像可能範囲内と判別する(S104)。また、この判別結果として、ワークWまでの距離が撮像可能範囲内であることを示す情報を、記憶部135に送信して記憶させ、通知装置制御部134に送信し、像L´の座標データと対応付けて演算装置300に送信する。その後、判別処理を終了する。
When it is determined in step S103 that the image L of the irradiation light has been imaged, the
ステップS103において照射光の像Lが撮像されたと判定されなかった場合、判別部133は、記憶部135に記憶された判別結果を参照する(S105)。尚、記憶部135に記憶されている判別結果は、測定開始から1回目の処理においては遠隔範囲であり、2回目以降の処理においては、前回の処理における判別結果である。
When it is not determined in step S103 that the image L of the irradiation light has been imaged, the
ステップS105において記憶部135に判別結果としてワークWまでの距離が撮像可能範囲内であることを示す情報が記憶されていた場合、判別部133は、更に、記憶部135に記憶された近接点PLの座標データを参照して、この座標データが撮像素子121の撮像面の近接側に近いか、遠隔側に近いかを判定する(S106)。
When the
ステップS105において記憶部135に判別結果としてワークWまでの距離が遠隔範囲内であることを示す情報が記憶されていた場合、又は、ステップS106において近接点PLの座標データが撮像素子121の撮像面の遠隔側に近いと判定された場合、判別部133は、測定プローブ100のワークWまでの距離を遠隔範囲(図8)内と判別する(S107)。また、この判別結果として、ワークWまでの距離が遠隔範囲内であることを示す情報を、記憶部135に送信して記憶させ、通知装置制御部134に送信し、像L´の座標データと対応付けて演算装置300に送信する。その後、判別処理を終了する。
If the distance to the workpiece W as a determination result in the
ステップS105において記憶部135に判別結果としてワークWまでの距離が近接範囲内であることを示す情報が記憶されていた場合、又は、ステップS106において近接点PLの座標データが撮像素子121の撮像面の近接側に近いと判定された場合、判別部133は、測定プローブ100のワークWまでの距離を遠隔範囲(図10)内と判別する(S108)。また、この判別結果として、ワークWまでの距離が近接範囲内であることを示す情報を、記憶部135に送信して記憶させ、通知装置制御部134に送信し、像L´の座標データと対応付けて演算装置300に送信する。その後、判別処理を終了する。
If the distance to the workpiece W as a determination result in the
通知装置制御部134は、図7に示す通り、判別部133から判別結果を受信し、これに基づいて通知装置160を制御する。
As shown in FIG. 7, the notification
例えば、判別結果として、ワークWまでの距離が遠隔範囲内であることを示す情報を受信した場合には、低消費電力な処理を行うことが好ましい。例えば、発光装置161(図3)のLEDを一定の周期で点滅させることが出来る。 For example, when the discrimination result receives information indicating that the distance to the work W is within the remote range, it is preferable to perform low power consumption processing. For example, the LED of the light emitting device 161 (FIG. 3) can be blinked at a constant cycle.
また、例えば判別結果として、ワークWまでの距離が撮像可能範囲内であることを示す情報を受信した場合には、種々の処理を行うことが考えられる。例えば、撮像素子121の撮像面の近接側の端部から近接点PLまでの距離に応じて、点滅の周期を調整することも出来るし、この距離に応じて発音装置を制御して、警告音を発生させることも出来る。
Further, for example, when information indicating that the distance to the work W is within the imageable range is received as the discrimination result, it is conceivable to perform various processes. For example, depending on the distance from the end of the near side of the imaging surface of the
また、例えば判別結果として、ワークWまでの距離が近接範囲内であることを示す情報を受信した場合には、測定者の注意を惹くことにより、ワークWと測定プローブ100とが接触する恐れがある点を通知することが好ましい。例えば、発光装置161(図3)のLEDを点滅させ、振動発生装置162によって測定プローブ100の把持部150を振動させ、図示しない発音装置によって警告音を発生させることが出来る。
Further, for example, when information indicating that the distance to the work W is within the proximity range is received as the discrimination result, there is a possibility that the work W and the
記憶部135は、座標処理部132において算出された近接点PLの座標データ、及び、判別部133による判別結果を記憶する。記憶部135に記憶される座標データ及び判別結果は、座標処理及び判別処理に応じて随時更新される。尚、記憶部135は、直前のデータのみを記憶することも出来るし、例えばリングバッファ等の構成によって、それ以前のデータも記憶することも出来る。
[効果]
本実施形態に係る三次元測定装置は、ワークWに、平面Sに沿った照射光を照射する照射装置110と、ワークWの表面に生成される照射光の像Lを、平面Sとは異なる位置から撮像する撮像装置120と、を有する非接触式の測定プローブ100を備える。
[effect]
In the three-dimensional measuring device according to the present embodiment, the
上述の様に、この様な三次元測定装置においては、測定プローブ100のワークWまでの距離が撮像可能範囲から外れてしまった場合に、この距離が撮像可能範囲よりも遠い遠隔範囲内か、撮像可能範囲よりも近い近接範囲内か、を判別することが出来なかった。
As described above, in such a three-dimensional measuring device, when the distance to the work W of the measuring
ここで、発明者による検討の結果、この様な三次元測定装置を使用して測定を行う場合、操作の都合上、殆どの測定者が上記遠隔範囲又は上記観察可能範囲から測定を開始することが分かった。 Here, as a result of the examination by the inventor, when measuring using such a three-dimensional measuring device, most measurers start the measurement from the remote range or the observable range for the convenience of operation. I found out.
そこで、本実施形態においては、照射光の照射が開始されたタイミングで、ワークWと測定プローブ100との距離を上記遠隔範囲(図8)内と規定して記憶部135に記憶させ、判別処理においてはこの記憶部135に記憶された情報を参照して上記距離の範囲の判別を行い、記憶部135に記憶された判別結果を更新している。この様な方法によれば、上記距離の範囲を継続的に監視することにより、測定プローブ100のワークWまでの距離が撮像可能範囲から外れてしまった場合であっても、この距離が撮像可能範囲よりも遠い遠隔範囲内か、撮像可能範囲よりも近い近接範囲内か、を判別することが可能である。
Therefore, in the present embodiment, at the timing when the irradiation of the irradiation light is started, the distance between the work W and the
また、本実施形態に係る三次元測定装置においては、非接触式の測定プローブ100に接触式の測定プローブ400が取り付けられており、この測定プローブ400によってタッチ測定や倣い測定を行うことが可能である。しかしながら、例えばワークWの凹凸が大きい場合等には、タッチ測定や倣い測定に際して非接触式の測定プローブ100がワークWに接触してしまう恐れがある。これを抑制すべく、接触式の測定プローブ400を用いた接触測定に際しても、制御装置130によって、非接触測定中と同様の制御を行うことが出来る。
Further, in the three-dimensional measuring apparatus according to the present embodiment, the contact
100…測定プローブ、110…照射装置、120…撮像装置、130…制御装置、140…筐体、150…把持部、160…通知装置、200…多関節アーム、300…演算装置、W…ワーク、S…平面、L…照射光の像、PL…近接点。 100 ... measurement probe, 110 ... irradiation device, 120 ... imaging device, 130 ... control device, 140 ... housing, 150 ... gripping part, 160 ... notification device, 200 ... articulated arm, 300 ... arithmetic unit, W ... work, S ... plane, L ... image of the irradiated light, P L ... proximity point.
Claims (7)
前記測定プローブの前記ワークまでの距離が、前記撮像装置によって前記照射光の像を撮像可能な撮像可能範囲内か、前記撮像可能範囲よりも遠い遠隔範囲内か、前記撮像可能範囲よりも近い近接範囲内か、を判別する判別装置と、
前記判別装置による判別結果を通知する通知装置と、
前記判別結果を記憶する記憶装置と
を備え、
前記判別装置は、
前記照射光の照射が開始されたタイミングで、前記記憶装置に前記判別結果として、前記ワークまでの距離が前記遠隔範囲内であることを示す情報を記憶させ、
前記撮像装置による撮像の結果及び前記記憶装置に記憶された前記判別結果を参照して前記ワークまでの距離の範囲を判別し、前記記憶装置に記憶された前記判別結果を更新する
ことを特徴とする三次元測定装置。 A non-contact type having an irradiation device that irradiates the work with irradiation light along a plane and an imaging device that images an image of the irradiation light generated on the surface of the work from a position different from the plane. With the measurement probe
The distance of the measurement probe to the work is within an image pickup range in which the image of the irradiation light can be imaged by the image pickup device, a remote range farther than the image capture range, or a proximity closer than the image capture range. A discriminator that determines whether it is within the range and
A notification device that notifies the discrimination result by the discrimination device, and
A storage device for storing the discrimination result is provided.
The discrimination device is
At the timing when the irradiation of the irradiation light is started, the storage device stores information indicating that the distance to the work is within the remote range as the determination result.
The feature is that the range of the distance to the work is discriminated by referring to the result of imaging by the imaging device and the discrimination result stored in the storage device, and the discrimination result stored in the storage device is updated. Three-dimensional measuring device.
前記撮像装置によって前記照射光の像が撮像されたか否かを判定し、
撮像されたと判定された場合、
前記ワークまでの距離を前記撮像可能範囲内と判別し、
撮像されたと判定されなかった場合、
前記記憶装置に記憶された前記判別結果を参照し、
前記判別結果として、前記ワークまでの距離が前記遠隔範囲内であることを示す情報が記憶されていた場合には前記ワークまでの距離を前記遠隔範囲内と判別し、
前記判別結果として、前記ワークまでの距離が前記近接範囲内であることを示す情報が記憶されていた場合には前記ワークまでの距離を前記近接範囲内と判別する
ことを特徴とする請求項1記載の三次元測定装置。 The discriminating device determines the range of the distance of the measuring probe to the work.
It is determined whether or not the image of the irradiation light has been captured by the imaging device, and the image is determined.
If it is determined that the image was taken
The distance to the work is determined to be within the imageable range, and
If it is not determined to have been imaged
With reference to the determination result stored in the storage device,
As a result of the determination, when information indicating that the distance to the work is within the remote range is stored, the distance to the work is determined to be within the remote range.
Claim 1 is characterized in that, as a result of the determination, when information indicating that the distance to the work is within the proximity range is stored, the distance to the work is determined to be within the proximity range. The described three-dimensional measuring device.
前記照射光の像が撮像されたと判定された場合、前記照射光の像に基づいて前記ワークまでの距離を算出して前記記憶装置に記憶させ、
前記照射光の像が撮像されたと判定されず、前記記憶装置に前記判別結果として、前記ワークまでの距離が前記撮像可能範囲内であることを示す情報が記憶されていた場合には、前記記憶装置に記憶された前記ワークまでの距離を示す情報に基づいて、前記ワークまでの距離を、前記遠隔範囲内又は前記近接範囲内と判別する
ことを特徴とする請求項2記載の三次元測定装置。 The discriminating device determines the range of the distance of the measuring probe to the work.
When it is determined that the image of the irradiation light has been captured, the distance to the work is calculated based on the image of the irradiation light and stored in the storage device.
When it is not determined that the image of the irradiation light has been imaged and the storage device stores information indicating that the distance to the work is within the imageable range as the determination result, the storage The three-dimensional measuring device according to claim 2, wherein the distance to the work is determined to be within the remote range or within the close range based on the information indicating the distance to the work stored in the device. ..
前記通知装置は、前記筐体表面に設けられた発光装置を備える
ことを特徴とする請求項1〜3のいずれか一項記載の三次元測定装置。 The measuring probe further includes a housing for accommodating the irradiation device and the imaging device.
The three-dimensional measuring device according to any one of claims 1 to 3, wherein the notification device includes a light emitting device provided on the surface of the housing.
ことを特徴とする請求項1〜4のいずれか一項記載の三次元測定装置。 The three-dimensional measuring device according to any one of claims 1 to 4, wherein the notification device includes a sounding device that generates a sound for notifying the determination result.
前記通知装置は、前記判別結果を前記把持部の振動によって通知する振動発生装置を備える
ことを特徴とする請求項1〜5のいずれか一項記載の三次元測定装置。 The measurement probe further includes a grip portion that is gripped by the measurer during measurement.
The three-dimensional measuring device according to any one of claims 1 to 5, wherein the notification device includes a vibration generator that notifies the determination result by vibration of the grip portion.
前記判別装置は、前記接触式の測定プローブを用いた測定に際して、前記非接触式の測定プローブの前記ワークまでの距離の範囲を判別する
ことを特徴とする請求項1〜6のいずれか一項記載の三次元測定装置。
A contact-type measuring probe attached to the non-contact-type measuring probe is further provided.
Any one of claims 1 to 6, wherein the discriminating device discriminates the range of the distance of the non-contact measuring probe to the work when measuring using the contact measuring probe. The described three-dimensional measuring device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017221033A JP6934811B2 (en) | 2017-11-16 | 2017-11-16 | Three-dimensional measuring device |
| US16/181,658 US10636273B2 (en) | 2017-11-16 | 2018-11-06 | Coordinate measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017221033A JP6934811B2 (en) | 2017-11-16 | 2017-11-16 | Three-dimensional measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019090753A JP2019090753A (en) | 2019-06-13 |
| JP6934811B2 true JP6934811B2 (en) | 2021-09-15 |
Family
ID=66432328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017221033A Active JP6934811B2 (en) | 2017-11-16 | 2017-11-16 | Three-dimensional measuring device |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10636273B2 (en) |
| JP (1) | JP6934811B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7162989B2 (en) | 2019-02-04 | 2022-10-31 | 株式会社ミツトヨ | One-dimensional measuring machine and program |
| JP7760860B2 (en) * | 2021-08-23 | 2025-10-28 | 富士フイルムビジネスイノベーション株式会社 | Image reading device |
| CN114910014B (en) * | 2022-04-24 | 2023-07-07 | 浙江大学 | Measuring system and method for surface shape measurement of high aspect ratio curved surface components |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5410410A (en) * | 1992-12-29 | 1995-04-25 | Mitutoyo Corporation | Non-contact type measuring device for measuring three-dimensional shape using optical probe |
| DE19516742A1 (en) * | 1995-05-06 | 1996-11-07 | Philips Patentverwaltung | Process for data reduction using fractal image coding |
| US6044170A (en) * | 1996-03-21 | 2000-03-28 | Real-Time Geometry Corporation | System and method for rapid shape digitizing and adaptive mesh generation |
| US5793492A (en) * | 1997-01-24 | 1998-08-11 | Loram Maintenance Of Way, Inc. | Wheel profile sensor |
| CA2511345C (en) * | 2002-12-23 | 2008-08-05 | Kenneth Wargon | Apparatus and method for displaying numeric values corresponding to the volume of segments of an irregularly shaped item |
| FR2870598B1 (en) * | 2004-05-18 | 2006-07-14 | Total France Sa | LIQUID LIGHT MEASURING PROBE, COLLOIDAL FLOCCULATION THRESHOLD DETECTION PROBE, DETECTION METHOD THEREOF, AND ASPHALTENING FLOCCULATION DETERMINATION DETERMINATION |
| JP5141277B2 (en) * | 2008-02-08 | 2013-02-13 | ソニー株式会社 | Lighting period setting method, display panel driving method, backlight driving method, lighting period setting device, semiconductor device, display panel, and electronic apparatus |
| DE102008022372A1 (en) * | 2008-05-06 | 2009-11-12 | Endress + Hauser Conducta Gesellschaft für Mess- und Regeltechnik mbH + Co. KG | Device for measuring turbidity in measuring medium, has probe with probe head, which is surrounded by measuring medium during measurement, and light emitter and light receiver are mounted in probe head |
| US7995216B2 (en) * | 2008-07-02 | 2011-08-09 | Ut-Battelle, Llc | Control of the positional relationship between a sample collection instrument and a surface to be analyzed during a sampling procedure with image analysis |
| US8319976B2 (en) * | 2009-06-23 | 2012-11-27 | Honda Motor Co., Ltd. | Three-dimensional shape measuring system and three-dimensional shape measuring method |
| JP5116172B2 (en) * | 2009-07-09 | 2013-01-09 | 宏維 花井 | Single lead musical instrument lead inspection device and lead inspection method |
| US9645240B1 (en) * | 2010-05-10 | 2017-05-09 | Faro Technologies, Inc. | Method for optically scanning and measuring an environment |
| JP2012127805A (en) * | 2010-12-15 | 2012-07-05 | Nikon Corp | Shape measuring device |
| US9879993B2 (en) * | 2010-12-23 | 2018-01-30 | Trimble Inc. | Enhanced bundle adjustment techniques |
| CN105549016B (en) * | 2011-09-26 | 2018-11-02 | 安大略发电有限公司 | Ultrasonic matrix check |
| US9696897B2 (en) * | 2011-10-19 | 2017-07-04 | The Regents Of The University Of California | Image-based measurement tools |
| EP2634747A1 (en) * | 2012-02-29 | 2013-09-04 | Flir Systems AB | A method and system for projecting a visible representation of infrared radiation |
| US20140037135A1 (en) * | 2012-07-31 | 2014-02-06 | Omek Interactive, Ltd. | Context-driven adjustment of camera parameters |
| EP2698596A1 (en) * | 2012-08-16 | 2014-02-19 | Hexagon Technology Center GmbH | Method and system for determining spatial coordinates with a mobile coordinate measuring machine |
| EP2706376A1 (en) * | 2012-09-07 | 2014-03-12 | Leica Geosystems AG | Laser tracker with hybrid imaging method for expanding measurement range |
| JP2014130091A (en) * | 2012-12-28 | 2014-07-10 | Canon Inc | Measurement device and measurement method |
| JP6188339B2 (en) * | 2013-01-31 | 2017-08-30 | キヤノン株式会社 | Optical tomographic imaging apparatus and control method thereof |
| WO2015001770A1 (en) * | 2013-07-01 | 2015-01-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Motion sensor device having plurality of light sources |
| JP2015059825A (en) * | 2013-09-18 | 2015-03-30 | 株式会社ミツトヨ | Three-dimensional measuring apparatus |
| JP6271278B2 (en) * | 2014-02-13 | 2018-01-31 | 株式会社ミツトヨ | Position measuring apparatus and position measuring method |
| US10027884B2 (en) * | 2014-03-05 | 2018-07-17 | Disney Enterprises, Inc. | Method for capturing photographs and videos on a handheld client device without continually observing the device's screen |
| JP6321441B2 (en) * | 2014-05-07 | 2018-05-09 | 株式会社ミツトヨ | Three-dimensional measurement system, three-dimensional measurement method, and object to be measured |
| US9746308B2 (en) * | 2014-05-14 | 2017-08-29 | Faro Technologies, Inc. | Metrology device and method of performing an inspection |
| CN107076684B (en) * | 2014-09-02 | 2021-04-02 | 株式会社尼康 | Measurement processing device, measurement processing method, and measurement processing program |
| JP6763301B2 (en) * | 2014-09-02 | 2020-09-30 | 株式会社ニコン | Inspection equipment, inspection methods, inspection processing programs and structure manufacturing methods |
| CN107428080A (en) * | 2015-03-12 | 2017-12-01 | 株式会社尼康 | Three-dimensional modeling object manufacturing device and structure manufacturing method |
| WO2016149817A1 (en) * | 2015-03-23 | 2016-09-29 | Techinsights Inc. | Methods, systems and devices relating to distortion correction in imaging devices |
| US9795015B2 (en) * | 2015-06-11 | 2017-10-17 | Harman International Industries, Incorporated | Automatic identification and localization of wireless light emitting elements |
| EP3115742B1 (en) * | 2015-07-10 | 2020-04-15 | Hexagon Technology Center GmbH | 3d measuring machine |
| WO2017091704A1 (en) * | 2015-11-25 | 2017-06-01 | Camplex, Inc. | Surgical visualization systems and displays |
| EP3395292B1 (en) * | 2015-12-24 | 2021-10-13 | J. Morita MFG. Corp. | Three-dimensional-measurement method, and three-dimensional-measurement device |
| EP3488182B1 (en) * | 2016-07-20 | 2025-01-01 | Mura Inc. | Systems and methods for 3d surface measurements |
| WO2018080471A1 (en) * | 2016-10-26 | 2018-05-03 | Sony Mobile Communications Inc. | Robotic system and method of movement control using synthetic array radar and passive beacons |
-
2017
- 2017-11-16 JP JP2017221033A patent/JP6934811B2/en active Active
-
2018
- 2018-11-06 US US16/181,658 patent/US10636273B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019090753A (en) | 2019-06-13 |
| US10636273B2 (en) | 2020-04-28 |
| US20190147728A1 (en) | 2019-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170160077A1 (en) | Method of inspecting an object with a vision probe | |
| CN107077729B (en) | Method and device for recognizing structural elements of a projected structural pattern in a camera image | |
| CN107735646A (en) | Shape measuring device and shape measuring method | |
| JP5776282B2 (en) | Shape measuring apparatus, shape measuring method, and program thereof | |
| KR20140114300A (en) | Shape measuring apparatus | |
| JP7353757B2 (en) | Methods for measuring artifacts | |
| JP6934811B2 (en) | Three-dimensional measuring device | |
| JP2008241643A (en) | Three-dimensional shape measuring device | |
| JP2018091696A (en) | Laser sensor and measurement method | |
| JP6797638B2 (en) | Image measuring device | |
| KR20170142265A (en) | 3D image measuring apparatus and method thereof | |
| CN114543697A (en) | Measuring apparatus, control apparatus, and control method | |
| JP3991040B2 (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
| JP2015072197A (en) | Shape measuring apparatus, structure manufacturing system, shape measuring method, structure manufacturing method, and shape measuring program | |
| JP2021152525A (en) | Measurement device, measurement method, mobile body, robot, electronic device, and modeling device | |
| JP2016038204A (en) | Sensor unit for inner surface shape inspection and inner surface shape inspection device | |
| US11933597B2 (en) | System and method for optical object coordinate determination | |
| JP6778087B2 (en) | Hole wall shape measuring device | |
| JP2021189143A (en) | Three-dimensional measuring machine and data processing device | |
| JP6774929B2 (en) | Three-dimensional measuring device | |
| JP2015052490A (en) | Shape measuring apparatus, structure manufacturing system, shape measuring method, structure manufacturing method, and shape measuring program | |
| JP2000326082A (en) | Laser beam machine | |
| JP2020131276A (en) | Laser marking device | |
| JP7337637B2 (en) | Laser probe and optical adjustment method | |
| JP7123788B2 (en) | Laser processing equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201006 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210824 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6934811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |