JP7345867B2 - Abrasive surface determination device, learning device, determination program, and abrasive surface determination method - Google Patents
Abrasive surface determination device, learning device, determination program, and abrasive surface determination method Download PDFInfo
- Publication number
- JP7345867B2 JP7345867B2 JP2021065955A JP2021065955A JP7345867B2 JP 7345867 B2 JP7345867 B2 JP 7345867B2 JP 2021065955 A JP2021065955 A JP 2021065955A JP 2021065955 A JP2021065955 A JP 2021065955A JP 7345867 B2 JP7345867 B2 JP 7345867B2
- Authority
- JP
- Japan
- Prior art keywords
- abrasive surface
- image
- determination
- grinding
- abrasive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Machine Tool Sensing Apparatuses (AREA)
- Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
- Grinding-Machine Dressing And Accessory Apparatuses (AREA)
Description
特許法第30条第2項適用 令和2年12月9日にWEB上で開催された公益社団法人精密工学会九州支部 2020年度 学生Web講演会で発表(ウェブサイト掲載日:令和2年12月6~11日)Application of Article 30, Paragraph 2 of the Patent Act Presented at the 2020 Student Web Lecture of the Kyushu Branch of the Society for Precision Engineering, held online on December 9, 2020 (website publication date: 2020) December 6th to 11th)
本発明は、砥石の砥面を判定する砥面判定装置、同装置で使用される学習器、同装置で使用される判定プログラム、および砥石の砥面を判定する砥面判定方法に関するものである。 The present invention relates to an abrasive surface determination device for determining the abrasive surface of a whetstone, a learning device used in the device, a determination program used in the device, and an abrasive surface determination method for determining the abrasive surface of a whetstone. .
研削装置による研削加工では、研削工具としての砥石の加工面(いわゆる砥面)の状態によってワークの加工面の仕上げ品質が左右される。砥面の状態は、主として切れ刃として機能する砥粒の表面部分の形状や大きさ、砥粒の突出量によって決まる。そのため、砥石の砥面で露出している個々の砥粒の座標や、形状、表面積等を計測して評価する技術が種々研究されている。 In grinding using a grinding device, the finish quality of the processed surface of a workpiece is influenced by the condition of the processed surface (so-called grinding surface) of a grindstone serving as a grinding tool. The condition of the abrasive surface is mainly determined by the shape and size of the surface portion of the abrasive grains that function as cutting edges, and the amount of protrusion of the abrasive grains. Therefore, various techniques are being researched to measure and evaluate the coordinates, shape, surface area, etc. of individual abrasive grains exposed on the abrasive surface of a whetstone.
ここで、砥石の砥面に分散した状態で配置されている砥粒によってワークを微少量ずつ削り取る研削加工では、砥粒の分布状態がワークの加工面に転写されるかたちで同ワークが所望の形状に仕上げられる。そのため、研削加工を高精度で行うためには、個々の砥粒の状態や、砥面における砥粒の分布状態(以下、表面性状という)を適切に管理することが重要である。 In grinding, in which a workpiece is ground down minute by minute using abrasive grains that are dispersed on the abrasive surface of a grindstone, the distribution state of the abrasive grains is transferred to the machined surface of the workpiece, so that the workpiece becomes the desired shape. Finished in shape. Therefore, in order to perform grinding with high precision, it is important to appropriately manage the state of individual abrasive grains and the distribution state of abrasive grains on the abrasive surface (hereinafter referred to as surface texture).
従来、電子顕微鏡やレーザを用いて砥石の砥面の表面性状を評価する手法が提案されている(例えば非特許文献1~3参照)。 Conventionally, methods have been proposed for evaluating the surface quality of the grinding surface of a grindstone using an electron microscope or a laser (see, for example, Non-Patent Documents 1 to 3).
電子顕微鏡を使用する装置では、同電子顕微鏡によって砥面の表面性状を緻密に観察することができる。とはいえ、電子顕微鏡は観察範囲がごく狭いため、電子顕微鏡によって砥面の全面にわたって表面性状を観察するのには長い時間を要してしまう。 In an apparatus that uses an electron microscope, the surface properties of the abrasive surface can be precisely observed using the electron microscope. However, since the observation range of an electron microscope is extremely narrow, it takes a long time to observe the surface texture over the entire surface of the abrasive surface using an electron microscope.
一方、レーザを用いて砥面の表面性状を評価する装置では、砥面の形状を高精度で比較的容易に計測することができる。しかしながら、レーザを用いた計測によって取得できる情報は砥面の凹凸プロファイルであるため、取得情報が砥粒にあたる部位の情報であるのか、あるいは当該砥粒を固着する結合剤にあたる部位の情報であるのかを区別することが難しい。これは砥面の表面性状を評価するうえでは、その評価精度の向上を阻む一因になる。また、レーザーによる計測の精度を高めるためには同レーザのスポット径を小さくする必要がある。スポット径を小さくすると、その分だけ計測範囲が狭くなってしまう。そのため、この場合には砥面の表面性状の計測、ひいては同表面正常の評価に長い時間がかかってしまう。 On the other hand, with a device that uses a laser to evaluate the surface quality of an abrasive surface, the shape of an abrasive surface can be measured with high precision and relatively easily. However, since the information that can be obtained by measurement using a laser is the unevenness profile of the abrasive surface, it is difficult to determine whether the acquired information is information about the part that is in contact with the abrasive grains, or information about the part that is in contact with the binder that fixes the abrasive grains. difficult to distinguish. This is a factor that hinders improvement in evaluation accuracy when evaluating the surface properties of the abrasive surface. Furthermore, in order to improve the accuracy of measurement using a laser, it is necessary to reduce the spot diameter of the laser. If the spot diameter is made smaller, the measurement range becomes narrower accordingly. Therefore, in this case, it takes a long time to measure the surface quality of the abrasive surface and to evaluate whether the surface is normal.
上記課題を解決するための砥面判定装置は、複数の砥粒が結合剤によって固着された構造の砥石における砥面の状態を判定する砥面判定装置において、判定対象の砥石の砥面を撮像した画像であって、且つ、前記判定対象の砥石の砥面における前記砥石の研削方向に延びる部分に関する情報を含む画像を、判定画像として記憶する入力部と、特定の使用状態の砥面を撮像した画像であって、且つ、前記特定の使用状態の砥面における前記研削方向に延びる部分に関する情報を含む画像からなる教師データによって学習された学習器を記憶する記憶部と、前記判定画像を入力データとして、前記記憶部に記憶された学習済みの学習器から、前記判定画像に対応する前記砥面の使用状態と前記特定の使用状態との差分の指標値を出力する差分出力部と、を備える。 An abrasive surface determination device for solving the above problems is an abrasive surface determination device that determines the state of the abrasive surface of a whetstone having a structure in which a plurality of abrasive grains are fixed by a binder. an input unit that stores, as a determination image, an image containing information regarding a portion of the grinding surface of the grindstone to be determined that extends in the grinding direction of the grindstone; a storage unit that stores a learning device trained by training data consisting of an image that is an image that has been used and that includes information regarding a portion of the abrasive surface that extends in the grinding direction in the specific usage state; and inputs the judgment image. a difference output unit that outputs, as data, an index value of the difference between the usage state of the abrasive surface corresponding to the judgment image and the specific usage state from the trained learning device stored in the storage unit; Be prepared.
上記課題を解決するための学習器は、上記砥面判定装置が備える前記学習済みの学習器である。
上記課題を解決するための判定プログラムは、上記砥面判定装置が具備する前記各部の処理を、前記砥面判定装置が備える電子制御装置に実行させる判定プログラムである。
A learning device for solving the above problem is the learned learning device included in the abrasive surface determination device.
A determination program for solving the above problem is a determination program that causes an electronic control device included in the abrasive surface determination device to execute the processing of each unit included in the abrasive surface determination device.
上記課題を解決するための砥面判定方法は、複数の砥粒が結合剤によって固着された構造の砥石における砥面の状態を判定する砥面判定方法であって、判定対象の砥石の砥面を撮像した画像であって、且つ、前記判定対象の砥石の砥面における前記砥石の研削方向に延びる部分に関する情報を含む画像を取得するとともに、同画像を判定画像として砥面判定装置の入力部に記憶させる入力工程と、特定の使用状態の砥面を撮像した画像であって、且つ、前記特定の使用状態の砥面における前記研削方向に延びる部分に関する情報を含む画像を取得し、該取得した画像からなる教師データによって学習器を学習させた後に、同学習器を前記砥面判定装置の記憶部に記憶させる記憶工程と、前記判定画像を入力データとして、前記記憶部に記憶された学習済みの学習器から、前記判定画像に対応する前記砥面の使用状態と前記特定の使用状態との差分の指標値を出力する差分出力工程とを備える。 The abrasive surface determination method for solving the above problems is a method for determining the condition of the abrasive surface of a whetstone having a structure in which a plurality of abrasive grains are fixed by a binder, and the abrasive surface of the abrasive surface of the whetstone to be determined is an image that is captured and includes information about a portion of the grinding surface of the grindstone to be judged that extends in the grinding direction of the grindstone, and uses the image as a judgment image to be used as an input section of the grinding surface judgment device. and acquiring an image that is a captured image of the abrasive surface in a specific usage state and that includes information regarding a portion of the abrasive surface in the specific usage state that extends in the grinding direction; a storage step of storing the learning device in a storage unit of the abrasive surface determination device after the learning device is trained using teacher data consisting of images obtained by the training; and a learning step in which the learning device is stored in the storage unit using the determination image as input data. and a difference output step of outputting an index value of a difference between the use state of the abrasive surface corresponding to the determination image and the specific use state from the learned learning device.
上記砥面判定装置、学習器、判定プログラム、および砥面判定方法では、特定の使用状態になった砥面を撮像した画像が用意されるとともに、同画像を教師データとして予め学習させた学習済みの学習器が用意される。そのため、学習済みの学習器を利用して、判定対象の砥石の砥面が特定の使用状態になっていることを短い時間、且つ高い精度で判定することができる。 In the abrasive surface determination device, learning device, determination program, and abrasive surface determination method described above, an image of the abrasive surface in a specific state of use is prepared, and a trained image that has been trained in advance using the same image as training data is prepared. A learning device will be prepared. Therefore, by using a trained learning device, it is possible to determine in a short time and with high accuracy whether the grinding surface of the target grindstone is in a specific usage state.
本発明によれば、砥面の状態を短い時間、且つ高い精度で判定することができる。 According to the present invention, the condition of the abrasive surface can be determined in a short time and with high accuracy.
以下、砥面判定装置、学習器、判定プログラム、砥面判定方法の一実施形態について説明する。
図1に示すように、本実施形態の砥面判定装置30は、数値制御(NC)式の自動研削装置20に適用される。
An embodiment of an abrasive surface determination device, a learning device, a determination program, and an abrasive surface determination method will be described below.
As shown in FIG. 1, the abrasive surface determination device 30 of this embodiment is applied to a numerical control (NC) type automatic grinding device 20.
自動研削装置20は、研削工具として、略円板状の砥石21を有している。砥石21は、基材の外周面に多数の砥粒が分散した状態で結合剤によって固着された構造をなすものである。砥石21は、回転可能な状態で支持されている。砥石21には、例えばサーボモータを有する回転駆動部22が接続されている。自動研削装置20は、砥石21とワークとを相対移動させることが可能になっている。自動研削装置20では、砥石21を回転駆動しつつ同砥石21とワークとを相対移動させて、砥石21をワークに接触させることにより、砥石21の砥面23によって同ワークの上面が研削加工される。 The automatic grinding device 20 has a substantially disc-shaped grindstone 21 as a grinding tool. The whetstone 21 has a structure in which a large number of abrasive grains are dispersed and fixed to the outer peripheral surface of a base material using a binder. The grindstone 21 is rotatably supported. A rotation drive unit 22 having, for example, a servo motor is connected to the grindstone 21 . The automatic grinding device 20 is capable of relatively moving the grindstone 21 and the workpiece. In the automatic grinding device 20, the upper surface of the workpiece is ground by the grinding surface 23 of the grindstone 21 by moving the grindstone 21 and the workpiece relative to each other while rotating the grindstone 21 and bringing the grindstone 21 into contact with the workpiece. Ru.
自動研削装置20は、砥石21のドレッシングを行うためのドレッサ24を有している。自動研削装置20では、任意のタイミングでドレッサ24による砥石21のドレッシングが実行される。このドレッシングにより、砥石21の砥面23が良好な状態に保たれている。 The automatic grinding device 20 has a dresser 24 for dressing the grindstone 21. In the automatic grinding device 20, the dressing of the grindstone 21 is performed by the dresser 24 at an arbitrary timing. This dressing keeps the grinding surface 23 of the grindstone 21 in good condition.
図1および図2に示すように、自動研削装置20は砥石カバー25を有している。砥石カバー25は、下方が開口する四角箱状をなしている。砥石21は、同砥石21の下部のみが外部に露出する状態で砥石カバー25の内部に収容されている。 As shown in FIGS. 1 and 2, the automatic grinding device 20 has a grindstone cover 25. As shown in FIGS. The grindstone cover 25 has a square box shape with an open bottom. The whetstone 21 is housed inside the whetstone cover 25 with only the lower part of the whetstone 21 exposed to the outside.
砥石カバー25における上方の壁部をなす上壁部26には、同砥石カバー25の内外を連通する開口部27が設けられている。砥石カバー25には、開口部27を開閉する板状のシャッター部28と、同シャッター部28を往復移動させるためのアクチュエータ(以下、シャッター操作部29)とが設けられている。シャッター操作部29の作動制御を通じて、シャッター部28を一方向に移動させることにより、砥石カバー25の開口部27がシャッター部28によって塞がれた閉状態(図1に示す状態)になる。一方、シャッター操作部29の作動制御を通じて、シャッター部28を他方向に移動させることにより、シャッター部28が砥石カバー25の開口部27から退避した開状態(図2に示す状態)になる。本実施形態では、シャッター操作部29の作動制御を通じて、砥石カバー25の開口部27が閉じられた閉状態と開かれた開状態とを切り替え可能になっている。 An opening 27 that communicates between the inside and outside of the whetstone cover 25 is provided in an upper wall portion 26 that forms the upper wall of the whetstone cover 25 . The grindstone cover 25 is provided with a plate-shaped shutter section 28 that opens and closes the opening 27, and an actuator (hereinafter referred to as a shutter operation section 29) that moves the shutter section 28 back and forth. By moving the shutter section 28 in one direction through the operation control of the shutter operating section 29, the opening 27 of the grindstone cover 25 is closed by the shutter section 28 (the state shown in FIG. 1). On the other hand, by moving the shutter section 28 in the other direction through the operation control of the shutter operation section 29, the shutter section 28 is brought into the open state (the state shown in FIG. 2) where it is retracted from the opening 27 of the grindstone cover 25. In this embodiment, the opening 27 of the grindstone cover 25 can be switched between a closed state and an open state by controlling the operation of the shutter operating section 29.
砥石カバー25には、撮像部としてのカメラ31が取り付けられている。カメラ31は、砥石カバー25の開口部27を介して、同砥石カバー25の内部に収容された砥石21の砥面23を撮像可能な態様で取り付けられている。カメラ31としては、エリアスキャンカメラが採用されている。本実施形態では、カメラ31によって砥石21の砥面23が所定の倍率で撮像されるとともに、撮像された画像(詳しくは、画像データ)が後述する電子制御装置40に出力されるようになっている。なお本実施形態では、カメラ31による撮像に際して砥石21の砥面23を照らすための照明器(図示略)が同カメラ31に一体に設けられている。 A camera 31 serving as an imaging section is attached to the grindstone cover 25. The camera 31 is attached in such a manner that it can image the grinding surface 23 of the grindstone 21 housed inside the grindstone cover 25 through the opening 27 of the grindstone cover 25 . As the camera 31, an area scan camera is adopted. In this embodiment, the camera 31 captures an image of the grinding surface 23 of the grindstone 21 at a predetermined magnification, and the captured image (more specifically, image data) is output to the electronic control device 40, which will be described later. There is. In this embodiment, the camera 31 is integrally provided with an illuminator (not shown) for illuminating the grinding surface 23 of the grindstone 21 when the camera 31 takes an image.
カメラ31は、X軸駆動部32、Y軸駆動部33、Z軸駆動部34を介して砥石カバー25に取り付けられている。これらX軸駆動部32、Y軸駆動部33およびZ軸駆動部34は、スライド機構と同スライド機構を作動させるアクチュエータ(本実施形態ではサーボモータ)とを有している。本実施形態では、X軸駆動部32の作動制御を通じて、カメラ31を砥石カバー25に対してX方向(図1の左右方向)に相対移動させることが可能になっている。またY軸駆動部33の作動制御を通じて、カメラ31を砥石カバー25に対してY方向(図1の上下方向)に相対移動させることが可能になっている。さらにはZ軸駆動部34の作動制御を通じて、カメラ31を砥石カバー25に対してZ方向(図1における紙面の奥行き方向)に相対移動させることが可能になっている。 The camera 31 is attached to the grindstone cover 25 via an X-axis drive section 32, a Y-axis drive section 33, and a Z-axis drive section 34. These X-axis drive section 32, Y-axis drive section 33, and Z-axis drive section 34 have a slide mechanism and an actuator (a servo motor in this embodiment) that operates the slide mechanism. In this embodiment, the camera 31 can be moved relative to the grindstone cover 25 in the X direction (the left-right direction in FIG. 1) through the operation control of the X-axis drive unit 32. Furthermore, by controlling the operation of the Y-axis drive unit 33, it is possible to move the camera 31 relative to the grindstone cover 25 in the Y direction (vertical direction in FIG. 1). Furthermore, by controlling the operation of the Z-axis drive unit 34, it is possible to move the camera 31 relative to the grindstone cover 25 in the Z direction (the depth direction of the paper in FIG. 1).
自動研削装置20は電子制御装置40を有している。図3に示すように、電子制御装置40はCPU41と、ROM42と、RAM43と、各種のプログラムやデータを記憶する記憶部44とを有している。記憶部44は、ハードディスクドライブやソリッドステートドライブ等の随時書き込み読み出しが可能な不揮発性メモリによって構成されている。電子制御装置40は、各種のプログラムやデータに基づいて各種の演算処理を実行するように構成されている。電子制御装置40は、その演算結果をもとに、研削加工についての数値制御や、砥石21のドレッシングにかかる各種制御、砥石21の砥面23の使用状態の判定にかかる各駆動部22,32,33,34の作動制御およびカメラ31の作動制御を実行する。本実施形態では、CPU41とROM42とRAM43とを有する制御部が差分出力部および画像出力部に相当する。 The automatic grinding device 20 has an electronic control device 40. As shown in FIG. 3, the electronic control device 40 includes a CPU 41, a ROM 42, a RAM 43, and a storage section 44 that stores various programs and data. The storage unit 44 is constituted by a nonvolatile memory such as a hard disk drive or solid state drive that can be written to and read from at any time. The electronic control device 40 is configured to perform various calculation processes based on various programs and data. Based on the calculation results, the electronic control unit 40 performs numerical control for the grinding process, various controls for dressing the grindstone 21, and drives each drive unit 22, 32 for determining the usage state of the grinding surface 23 of the grindstone 21. , 33, 34 and the camera 31. In this embodiment, a control section including a CPU 41, a ROM 42, and a RAM 43 corresponds to a difference output section and an image output section.
自動研削装置20は表示装置35を有している。この表示装置35は電子制御装置40に接続されている。表示装置35には、砥石21の砥面23の使用状態を判定した判定結果が表示されるようになっている。 The automatic grinding device 20 has a display device 35. This display device 35 is connected to an electronic control device 40. The display device 35 is adapted to display the determination result of the usage state of the grinding surface 23 of the grindstone 21.
ここで、本実施形態の砥面判定装置30は、砥石21の砥面23を撮像した画像(判定画像50)を入力データとして、学習済みの2つの学習器51A,51Bから、砥面23の使用状態を判定する装置である。具体的には、一方の学習器51Aを利用して以下の[判定条件A]を満たすか否かが判定されるとともに、他方の学習器51Bを利用して以下の[判定条件B]を満たすか否かが判定される。 Here, the abrasive surface determination device 30 of the present embodiment uses an image of the abrasive surface 23 of the whetstone 21 (judgment image 50) as input data, and uses the two trained learning devices 51A and 51B to determine the abrasive surface 23. This is a device that determines usage status. Specifically, one learning device 51A is used to determine whether or not the following [determination condition A] is satisfied, and the other learning device 51B is used to determine whether the following [determination condition B] is satisfied. It is determined whether or not.
[判定条件A]判定対象の砥面23の使用状態が、ドレッシングが適正に実行された直後における砥面23の使用状態(特定の使用状態A)と同等になっていること。
[判定条件B]判定対象の砥面23の使用状態が、ドレッシングの実行開始に適したタイミングにおける砥面23の使用状態(特定の使用状態B)と同等になっていること。
[Judgment Condition A] The usage state of the abrasive surface 23 to be determined is equivalent to the usage state of the abrasive surface 23 immediately after dressing has been properly performed (specific usage state A).
[Judgment Condition B] The usage state of the abrasive surface 23 to be determined is equivalent to the usage state of the abrasive surface 23 at a timing suitable for starting execution of dressing (specific usage state B).
電子制御装置40の記憶部44は、各種の実行プログラム52を記憶する記憶領域や、学習器51A,51Bの機械学習に利用される教師データ53A,53Bを記憶する記憶領域を有している。記憶部44は、学習済みの学習器51A,51B(詳しくは、機械学習の実行を通じて作成された学習データ)を記憶する記憶領域を有している。また記憶部44は、判定対象の砥面23を撮像した画像(判定画像50)を記憶する入力部としての記憶領域や、砥面23の状態を判定した結果を示す判定結果データ54を記憶する記憶領域を有している。 The storage unit 44 of the electronic control device 40 has a storage area for storing various execution programs 52 and a storage area for storing teacher data 53A and 53B used for machine learning of the learning devices 51A and 51B. The storage unit 44 has a storage area that stores learned learning devices 51A and 51B (more specifically, learning data created through execution of machine learning). The storage unit 44 also stores a storage area serving as an input unit for storing an image (judgment image 50) taken of the abrasive surface 23 to be determined, and determination result data 54 indicating the result of determining the state of the abrasive surface 23. It has a storage area.
実行プログラム52は、学習器51A,51Bの機械学習を実行させるとともに同機械学習の実行結果を示すデータである学習データを生成させるためのプログラムを含んでいる。また実行プログラム52は、砥石21の砥面23の使用状態の判定にかかる処理(判定処理)を実行させるとともに同判定処理の実行結果を示す判定結果データ54を生成させるための判定プログラムを含んでいる。 The execution program 52 includes a program for causing the learning devices 51A and 51B to execute machine learning and to generate learning data that is data indicating the execution results of the machine learning. The execution program 52 also includes a determination program for executing a process (determination process) related to determining the usage state of the grinding surface 23 of the grindstone 21 and generating determination result data 54 indicating the execution result of the determination process. There is.
教師データ53A,53Bは、砥面23の使用状態を判定する能力を獲得するように、学習器51A,51Bの機械学習を行うためのデータである。
本実施形態では、教師データ53A,53Bや判定画像50の取得のために、カメラ31によって砥石21の砥面23を撮像する撮像処理が実行される。
The teacher data 53A and 53B are data for performing machine learning on the learning devices 51A and 51B so as to acquire the ability to determine the usage state of the abrasive surface 23.
In this embodiment, in order to obtain the teacher data 53A, 53B and the determination image 50, an imaging process is performed in which the camera 31 images the grinding surface 23 of the grindstone 21.
以下、撮像処理の実行手順について図4を参照しつつ説明する。なお図4は、撮像処理の実行手順を概念的に示している。同図4のフローチャートに示される一連の処理は電子制御装置40により実行される。 Hereinafter, the execution procedure of the imaging process will be described with reference to FIG. 4. Note that FIG. 4 conceptually shows the execution procedure of the imaging process. A series of processes shown in the flowchart of FIG. 4 are executed by the electronic control device 40.
図4に示すように、この処理では先ず、シャッター操作部29の作動制御を通じてシャッター部28が開状態にされる(ステップS11)。
その後、砥面23の撮像に適した態様で砥石21を回転駆動しつつ、カメラ31による砥面23の撮像が実行される(ステップS12)。なお本実施形態では、砥石21の回転駆動パターン、カメラ31の位置制御パターン、同カメラ31の撮像パターンとして、カメラ31によって砥面23の全面を効率良く撮像することが可能になる各パターンが予め求められて電子制御装置40に記憶されている。上記各パターンを記憶部44に記憶させる手法としては、以下の(手法A)や(手法B)などが想定される。(手法A)自動研削装置20のユーザーが実際に利用する砥石21を取り付けた後に、自動研削装置20を作動させることで同砥石21に適した上記各パターンを求めて電子制御装置40に記憶させる。(手法B)自動研削装置20のメーカーは、各種の実験やシミュレーションの結果をもとに、砥石21の砥面23の全面を効率良く撮像することが可能になる上記各パターンを予め求めている。そして、それらパターンにかかるデータを、出荷前の自動研削装置20、あるいはユーザーの工場に設置された自動研削装置20に記憶させる。
As shown in FIG. 4, in this process, first, the shutter section 28 is opened by controlling the operation of the shutter operation section 29 (step S11).
Thereafter, the camera 31 captures an image of the abrasive surface 23 while rotating the grindstone 21 in a manner suitable for capturing an image of the abrasive surface 23 (step S12). In this embodiment, each pattern that enables the camera 31 to efficiently image the entire surface of the grinding surface 23 is set in advance as the rotational drive pattern of the grindstone 21, the position control pattern of the camera 31, and the imaging pattern of the camera 31. It is determined and stored in the electronic control unit 40. As a method for storing each of the above-mentioned patterns in the storage unit 44, the following (method A) and (method B) are assumed. (Method A) After the user of the automatic grinding device 20 attaches the grindstone 21 that will actually be used, the automatic grinding device 20 is operated to find each of the above-mentioned patterns suitable for the same grindstone 21 and stored in the electronic control device 40. . (Method B) Based on the results of various experiments and simulations, the manufacturer of the automatic grinding device 20 has determined in advance each of the above patterns that make it possible to efficiently image the entire surface of the grinding surface 23 of the grinding wheel 21. . The data related to these patterns are then stored in the automatic grinding device 20 before shipment or in the automatic grinding device 20 installed in the user's factory.
ステップS12の処理では、そうした砥石21の回転駆動パターンに基づいて回転駆動部22の作動制御が実行されるとともに、カメラ31の位置制御パターンに基づいてX軸駆動部32、Y軸駆動部33、Z軸駆動部34の作動制御が実行される。また、カメラ31の撮像パターンに基づいて同カメラ31による砥面23の撮像が実行される。そして、電子制御装置40は、カメラ31によって撮像された砥面23の画像データを取り込んで記憶部44に記憶する。詳しくは、カメラ31によって砥面23が複数回に分けて撮像される。そして、撮像した複数枚の画像を予め定めた順に縦横に並べた状態で結合することで、図5に示すように砥面23の全体を示す一枚の画像(判定画像50または教師データ53A,53B)が生成される。電子制御装置40は、このようにして生成した画像を記憶部44に記憶する。なお、この画像には、図視しないが、砥粒および結合剤による特有の模様が現れる。 In the process of step S12, the operation control of the rotation drive unit 22 is executed based on the rotation drive pattern of the grindstone 21, and the X-axis drive unit 32, the Y-axis drive unit 33, Operation control of the Z-axis drive section 34 is executed. Further, based on the imaging pattern of the camera 31, the camera 31 performs imaging of the abrasive surface 23. Then, the electronic control device 40 captures image data of the abrasive surface 23 captured by the camera 31 and stores it in the storage unit 44 . Specifically, the camera 31 images the abrasive surface 23 in multiple times. Then, by combining the plurality of captured images arranged vertically and horizontally in a predetermined order, a single image showing the entire abrasive surface 23 (judgment image 50 or teacher data 53A, 53B) is generated. The electronic control device 40 stores the image generated in this manner in the storage unit 44. Although not shown, a unique pattern created by the abrasive grains and the binder appears in this image.
カメラ31による砥面23の撮像が完了すると、シャッター操作部29の作動制御を通じて、シャッター部28が閉状態にされる(ステップS13)。
図4に示す撮像処理は、砥石21によるワークの研削加工や砥石21のドレッシングが実行されていないことを条件に実行される。なお撮像処理を実行する際には、その実行に先立ち、撮像対象の砥面23にエアーを吹き付けることで同砥面23表面の切削オイルを除去する作業が必要に応じて実行される。撮像処理は、具体的には、以下のように実行される。
When the imaging of the abrasive surface 23 by the camera 31 is completed, the shutter section 28 is closed by controlling the operation of the shutter operation section 29 (step S13).
The imaging process shown in FIG. 4 is executed on the condition that the grinding process of the workpiece by the grindstone 21 and the dressing of the grindstone 21 are not executed. Note that when performing the imaging process, prior to the execution, an operation of removing cutting oil from the surface of the abrasive surface 23 by blowing air onto the abrasive surface 23 to be imaged is performed as necessary. Specifically, the imaging process is executed as follows.
学習器51Aの機械学習に利用される教師データ53Aを取得する場合には、最適なドレッシングが実行された状態(特定の使用状態A)の砥石21[A]が用意されるとともに、同砥石21[A]が自動研削装置20に取り付けられる。そして、その状態で電子制御装置40による撮像処理が実行される。この撮像処理によって取得された画像データは、学習器51Aの機械学習に用いる教師データ53Aとして記憶部44に記憶される。本実施形態では、複数の砥石21[A]についての画像データが取得されて、それら画像データによって教師データ53Aが構成される。本実施形態では、砥石21[A]としては、最適なドレッシングが実行された状態になっていることが熟練工などの作業者によって判断されたものが採用される。なお砥石21[A]としては、解析装置によって砥面23を解析した結果、最適なドレッシングが実行された状態になっていると判断されたものを採用すること等も可能である。 When acquiring the teacher data 53A used for machine learning of the learning device 51A, the grindstone 21 [A] in a state where optimal dressing has been performed (specific usage state A) is prepared, and the same grindstone 21 [A] is prepared. [A] is attached to the automatic grinding device 20. Then, in this state, the electronic control device 40 executes the imaging process. The image data acquired through this imaging process is stored in the storage unit 44 as teacher data 53A used for machine learning by the learning device 51A. In the present embodiment, image data regarding a plurality of grindstones 21[A] are acquired, and the teacher data 53A is composed of the image data. In this embodiment, the grindstone 21 [A] is one that has been determined by an operator such as a skilled worker to be in a state where optimal dressing has been performed. As the grindstone 21 [A], it is also possible to use a grindstone whose grinding surface 23 has been analyzed by an analysis device and which has been determined to be in a state where optimal dressing has been performed.
学習器51Bの機械学習に利用される教師データ53Bを取得する場合には、ドレッシングの実行開始に最も適した状態(特定の使用状態B)の砥石21[B]が用意されるとともに、同砥石21[B]が自動研削装置20に取り付けられる。そして、その状態で電子制御装置40による撮像処理が実行される。この撮像処理によって取得された画像データは、学習器51Bの機械学習に用いる教師データ53Bとして記憶部44に記憶される。本実施形態では、複数の砥石21[B]についての画像データが取得されて、それら画像データによって教師データ53Bが構成される。本実施形態では、砥石21[B]としては、ドレッシングの実行開始に最も適した状態になっていると熟練工などの作業者が判断したものが採用される。なお砥石21[B]としては、解析装置によって砥面23を解析した結果、ドレッシングの実行開始に最も適した状態になっていると判断されたものを採用すること等も可能である。 When acquiring the teacher data 53B used for machine learning of the learning device 51B, the grindstone 21[B] in the state most suitable for starting the dressing execution (specific usage state B) is prepared, and the grindstone 21[B] is 21 [B] is attached to the automatic grinding device 20. Then, in this state, the electronic control device 40 executes the imaging process. The image data acquired through this imaging process is stored in the storage unit 44 as teacher data 53B used for machine learning by the learning device 51B. In the present embodiment, image data regarding a plurality of grindstones 21[B] are acquired, and the teacher data 53B is composed of the image data. In this embodiment, the grindstone 21 [B] that is determined by an operator such as a skilled worker to be in the most suitable state for starting execution of dressing is employed. As the grindstone 21 [B], it is also possible to use a grindstone whose grinding surface 23 is analyzed by an analysis device and which is determined to be in the most suitable state for starting the dressing.
自動研削装置20によってドレッシングが実行される期間においては、ドレッシングの延べ実行期間が所定期間(所定時間や、所定数だけ砥石21が回転する期間など)に達する度に、ドレッシングの実行が停止されていることを条件に、撮像処理が実行される。この撮像処理によって取得された画像データは、判定画像50として記憶部44に記憶される。 During the period in which dressing is performed by the automatic grinding device 20, the dressing is stopped each time the total dressing period reaches a predetermined period (a predetermined time, a period in which the grindstone 21 rotates a predetermined number of times, etc.). Imaging processing is performed on the condition that The image data acquired through this imaging process is stored in the storage unit 44 as a determination image 50.
自動研削装置20によってワークの研削加工が実行される期間においては、研削加工の延べ実行期間が所定期間(所定時間や、所定数のワークの加工が完了する期間など)に達する度に、研削加工の実行が停止されていることを条件に、撮像処理が実行される。この撮像処理によって取得された画像データは、判定画像50として記憶部44に記憶される。 During the period in which the automatic grinding device 20 executes the grinding process of the workpiece, the grinding process is performed every time the total execution period of the grinding process reaches a predetermined period (a predetermined time, a period in which machining of a predetermined number of workpieces is completed, etc.). Imaging processing is executed on the condition that execution of is stopped. The image data acquired through this imaging process is stored in the storage unit 44 as a determination image 50.
本実施形態では、2つの学習器51A,51Bとして、敵対的生成ネットワークが採用されている。本実施形態では、記憶部44に記憶された教師データ53A,53Bをもとに学習器51A,51Bの機械学習が実行される。詳しくは、教師データ53Aを構成する複数の画像データの一つを抽出するとともに同画像データを入力データとして学習器51Aを機械学習させるといった学習処理が、教師データ53Aを構成する画像データ毎に繰り返し実行される。また、教師データ53Bを構成する複数の画像データの一つを抽出するとともに同画像データを入力データとして学習器51Bを機械学習させるといった学習処理が、教師データ53Bを構成する画像データ毎に繰り返し実行される。そして、機械学習の実行を通じて作成された学習データが記憶部44に記憶される。本実施形態では、こうした学習器51A,51Bの機械学習にかかる一連の処理が自動的に実行されるように、実行プログラム52が構築されて記憶部44に記憶されている。本実施形態では、このようにして学習器51A,51Bの機械学習を実行する工程が記憶工程に相当する。 In this embodiment, a generative adversarial network is employed as the two learning devices 51A and 51B. In this embodiment, machine learning of the learning devices 51A and 51B is performed based on the teacher data 53A and 53B stored in the storage unit 44. Specifically, a learning process in which one of the plurality of image data forming the teacher data 53A is extracted and the same image data is used as input data to perform machine learning on the learning device 51A is repeated for each image data forming the teacher data 53A. executed. Further, a learning process of extracting one of the plurality of image data constituting the teacher data 53B and causing the learning device 51B to perform machine learning using the same image data as input data is repeatedly executed for each image data constituting the teacher data 53B. be done. Learning data created through the execution of machine learning is then stored in the storage unit 44. In this embodiment, an execution program 52 is constructed and stored in the storage unit 44 so that a series of processes related to machine learning by the learning devices 51A and 51B are automatically executed. In this embodiment, the process of executing machine learning of the learning devices 51A and 51B in this manner corresponds to a storage process.
図6に概念的に示すように、各学習器51A,51Bの機械学習は、詳しくは、入力データと、同入力データをもとに学習器51A,51Bによって生成される生成画像データとを同一の画像を示すデータ(画像データA)にする態様で実行される。そして、学習済みの学習器51A,51Bからは、入力データと生成画像データとの差分に相当する値が生成誤差ΔP1,ΔP2として出力される。 As conceptually shown in FIG. 6, the machine learning of each learning device 51A, 51B is performed using the same input data and generated image data generated by the learning devices 51A, 51B based on the same input data. The process is executed in such a manner that data representing the image (image data A) is generated. Then, the learned learning devices 51A and 51B output values corresponding to the difference between the input data and the generated image data as generation errors ΔP1 and ΔP2.
これにより、学習器51A,51Bが適正に学習されている場合には、判定対象の砥石21(詳しくは、その砥面23)の使用状態を判定する判定処理が実行されると、学習器51A,51Bから以下の値(生成誤差ΔP1,ΔP2)が出力される。 As a result, when the learning devices 51A and 51B are properly trained, when the determination process for determining the usage state of the target grindstone 21 (specifically, its grinding surface 23) is executed, the learning device 51A , 51B output the following values (generation errors ΔP1, ΔP2).
学習器51Aを利用した判定処理では、判定対象の砥石21が最適なドレッシングが実行された直後の状態(特定の使用状態A)になっている場合には、入力データ(判定画像50)と学習器51Aによって生成される生成画像データとが略同一になる。そのため、この場合には学習器51Aから出力される生成誤差ΔP1はごく小さい値(例えば「0」)になる。 In the determination process using the learning device 51A, if the grindstone 21 to be determined is in the state immediately after optimal dressing (specific usage state A), the input data (determination image 50) and the learning The generated image data generated by the device 51A is substantially the same. Therefore, in this case, the generation error ΔP1 output from the learning device 51A becomes a very small value (for example, "0").
一方、例えばドレッシングの実行時間が不足したり、ドレッシング完了後において砥石21による研削加工が実行されたりすると、判定対象の砥石21の実際の使用状態は特定の使用状態Aにならない。この場合には、図7に示すように、入力データ(判定画像50)と生成画像データとが一致しなくなるため、学習器51Aから出力される生成誤差ΔP1は、入力データと生成画像データとの差分に応じた「正の値」になる。しかも、この場合には、砥石21の実際の使用状態と特定の使用状態Aとの差が大きいときほど、入力データと生成画像データとの差分が大きくなるため、学習器51Aから出力される生成誤差ΔP1も大きい値になる。 On the other hand, for example, if the dressing execution time is insufficient or if the grinding process by the grindstone 21 is executed after the dressing is completed, the actual usage state of the grindstone 21 to be determined will not be the specific usage state A. In this case, as shown in FIG. 7, the input data (judgment image 50) and the generated image data do not match, so the generation error ΔP1 output from the learning device 51A is the difference between the input data and the generated image data. It becomes a "positive value" according to the difference. Moreover, in this case, the larger the difference between the actual usage state of the grindstone 21 and the specific usage state A, the larger the difference between the input data and the generated image data. The error ΔP1 also becomes a large value.
したがって、学習器51Aを利用した判定処理では、生成誤差ΔP1が所定レベル(判定値J1)よりも小さい値であることをもって、判定対象の砥石21の砥面23の実際の使用状態が「特定の使用状態A」になっていると判定することができる。 Therefore, in the determination process using the learning device 51A, if the generation error ΔP1 is a value smaller than the predetermined level (determination value J1), the actual usage state of the grinding surface 23 of the whetstone 21 to be determined is "specific. It can be determined that the usage state is "A".
学習器51Bを利用した判定処理では、判定対象の砥石21がドレッシングの実行開始に最も適した状態(特定の使用状態B)になっている場合には、入力データと学習器51Bによって生成される生成画像データとが略同一になる(図6参照)。そのため、この場合には学習器51Bから出力される生成誤差ΔP2はごく小さい値(例えば「0」)になる。 In the determination process using the learning device 51B, if the grindstone 21 to be determined is in the state most suitable for starting dressing (specific usage state B), the input data and the learning device 51B generate the The generated image data becomes substantially the same (see FIG. 6). Therefore, in this case, the generation error ΔP2 output from the learning device 51B becomes a very small value (for example, "0").
一方、例えばドレッシング後における砥石21の使用時間が短かったり、同使用時間が長すぎたりすると、判定対象の砥石21の実際の使用状態は特定の使用状態Bにはならない。この場合には、図7に示すように、入力データ(判定画像50)と生成画像データとが一致しなくなるため、学習器51Bから出力される生成誤差ΔP2は、入力データと生成画像データとの差分に応じた「正の値」になる。しかも、この場合には、砥石21の実際の使用状態と特定の使用状態Bとの差が大きいときほど、入力データと生成画像データとの差分が大きくなるため、学習器51Bから出力される生成誤差ΔP2も大きい値になる。 On the other hand, for example, if the usage time of the grindstone 21 after dressing is too short or the same usage time is too long, the actual usage state of the grindstone 21 to be determined will not be the specific usage state B. In this case, as shown in FIG. 7, the input data (judgment image 50) and the generated image data do not match, so the generation error ΔP2 output from the learning device 51B is the difference between the input data and the generated image data. It becomes a "positive value" according to the difference. Moreover, in this case, the larger the difference between the actual usage state of the grindstone 21 and the specific usage state B, the larger the difference between the input data and the generated image data. The error ΔP2 also becomes a large value.
したがって、学習器51Bを利用した判定処理では、生成誤差ΔP2が所定レベル(判定値J2)よりも小さい値であることをもって、判定対象の砥石21の砥面23の実際の使用状態が「特定の使用状態B」になっていると判定することができる。 Therefore, in the determination process using the learning device 51B, if the generation error ΔP2 is a value smaller than the predetermined level (determination value J2), the actual usage state of the grinding surface 23 of the whetstone 21 to be determined is "specific. It can be determined that the usage state is "B".
以下、判定対象の砥石21の砥面23の使用状態を判定する判定処理について具体的に説明する。図8は判定処理の実行手順を示している。同図8のフローチャートに示される一連の処理は、所定周期毎の処理として、電子制御装置40により実行される。 Hereinafter, the determination process for determining the usage state of the grinding surface 23 of the grindstone 21 to be determined will be specifically described. FIG. 8 shows the execution procedure of the determination process. A series of processes shown in the flowchart of FIG. 8 are executed by the electronic control device 40 as processes at predetermined intervals.
図8に示すように、この処理では先ず、自動研削装置20に取り付けられている砥石21の砥面23を撮像した画像(判定画像50)が取得される(ステップS21)。具体的には、前記撮像処理(図4)が実行され、同撮像処理によって取得された画像データが判定画像50として記憶部44に記憶される。本実施形態では、ステップS21の処理が入力工程に相当する。 As shown in FIG. 8, in this process, first, an image (judgment image 50) of the grinding surface 23 of the grindstone 21 attached to the automatic grinding device 20 is acquired (step S21). Specifically, the imaging process (FIG. 4) is executed, and the image data acquired by the imaging process is stored in the storage unit 44 as the determination image 50. In this embodiment, the process in step S21 corresponds to an input process.
その後、記憶部44に記憶された判定画像50を入力データとして、同記憶部44に記憶されている学習済みの学習器51Aから、生成誤差ΔP1が出力される(ステップS22)。この生成誤差ΔP1は判定結果データ54として記憶部44に記憶される。また、記憶部44に記憶された判定画像50を入力データとして、同記憶部44に記憶されている学習済みの学習器51Bから、生成誤差ΔP2が出力される(ステップS23)。この生成誤差ΔP2は判定結果データ54として記憶部44に記憶される。本実施形態では、ステップS22の処理およびステップS23の処理が差分出力工程に相当する。 Thereafter, using the determination image 50 stored in the storage unit 44 as input data, the generation error ΔP1 is output from the trained learning device 51A stored in the storage unit 44 (step S22). This generation error ΔP1 is stored in the storage unit 44 as determination result data 54. Further, using the determination image 50 stored in the storage unit 44 as input data, the generation error ΔP2 is output from the trained learning device 51B stored in the storage unit 44 (step S23). This generation error ΔP2 is stored in the storage unit 44 as determination result data 54. In this embodiment, the process of step S22 and the process of step S23 correspond to the difference output process.
その後、生成誤差ΔP1,ΔP2に基づいて、判定対象の砥石21の砥面23の使用状態が特定の使用状態A,Bになっているか否かが判定される(ステップS24)。
具体的には、生成誤差ΔP1と予め定められた判定値J1とが比較される。生成誤差ΔP1が判定値J1以下である場合には砥面23が特定の使用状態Aになっていると判定される。一方、生成誤差ΔP1が判定値J1未満である場合には砥面23が特定の使用状態Aになっていないと判定される。また、生成誤差ΔP2と予め定められた判定値J2とが比較される。生成誤差ΔP2が判定値J2以下である場合には砥面23が特定の使用状態Bになっていると判定される。一方、生成誤差ΔP2が判定値J2未満である場合には砥面23が特定の使用状態Bになっていないと判定される。これら判定の結果は判定結果データ54として記憶部44に記憶される。
Then, based on the generation errors ΔP1 and ΔP2, it is determined whether the usage state of the grinding surface 23 of the grindstone 21 to be determined is in a specific usage state A or B (step S24).
Specifically, the generation error ΔP1 is compared with a predetermined determination value J1. If the generation error ΔP1 is less than or equal to the determination value J1, it is determined that the abrasive surface 23 is in a specific usage state A. On the other hand, if the generation error ΔP1 is less than the determination value J1, it is determined that the abrasive surface 23 is not in the specific usage state A. Furthermore, the generation error ΔP2 is compared with a predetermined determination value J2. If the generation error ΔP2 is less than or equal to the determination value J2, it is determined that the abrasive surface 23 is in a specific usage state B. On the other hand, if the generation error ΔP2 is less than the determination value J2, it is determined that the abrasive surface 23 is not in the specific usage state B. The results of these determinations are stored in the storage unit 44 as determination result data 54.
その後、判定結果データ54が表示装置35に出力されて、上記判定の結果が表示装置35に表示される(ステップS25)。
図9に示すように、表示装置35には以下の内容が表示される。表示装置35には、生成誤差ΔP1の推移、および生成誤差ΔP2の推移が表示される。また表示装置35の領域AR1には、生成誤差ΔP1が判定値J1以下になっていると判定された場合に、最適なドレッシングが実行された状態(特定の使用状態A)であることを示す文字情報(詳しくは、ドレッシングOK)が表示される。さらに表示装置35の領域AR2には、生成誤差ΔP2が判定値J2以下になっていると判定された場合に、ドレッシングの実行開始に最も適した状態(特定の使用状態B)であることを示す文字情報(詳しくは、ドレスタイミング)が表示される。
Thereafter, the determination result data 54 is output to the display device 35, and the result of the determination is displayed on the display device 35 (step S25).
As shown in FIG. 9, the following content is displayed on the display device 35. The display device 35 displays changes in the production error ΔP1 and changes in the production error ΔP2. Further, in the area AR1 of the display device 35, a character indicating that the optimal dressing is being executed (specific usage state A) when it is determined that the generation error ΔP1 is less than or equal to the determination value J1. Information (in detail, dressing OK) is displayed. Furthermore, in the area AR2 of the display device 35, when it is determined that the generation error ΔP2 is less than or equal to the determination value J2, it is shown that the state is the most suitable for starting the dressing execution (specific usage state B). Text information (more specifically, dress timing) is displayed.
以下、本実施形態の砥面判定装置30による作用効果について説明する。
図10は、砥石21による研削加工を実行した場合における砥面23の使用状態の変化の様子の一例を示している。なお図10には、砥面23の表面の一部を拡大して示している。
Hereinafter, the effects of the abrasive surface determination device 30 of this embodiment will be explained.
FIG. 10 shows an example of how the usage state of the grinding surface 23 changes when the grinding process is performed using the grindstone 21. As shown in FIG. Note that FIG. 10 shows a part of the surface of the abrasive surface 23 in an enlarged manner.
図10(a)に示すように、適正にドレッシングがなされた直後においては、砥面23の最外周面は砥粒70の突端面のみによって構成されている。図10(b)に示すように、砥石21による研削加工がある程度実行されると、砥面23の使用状態が変化して、砥石21の最外周面に、砥粒70以外の部分71(主に、結合剤によって構成されるいわゆるボンドテール)が現れるようになる。こうした砥粒70以外の部分71は、砥粒70の研削方向後ろ側の部分から研削方向に延びる傾向がある。図10(c)に示すように、砥石21による研削加工の総実行時間が長くなると、砥面23の使用状態の変化が進むことにより、砥石21の最外周面における砥粒70以外の部分71が、研削方向において並ぶ砥粒70を繋ぐ態様で延びた状態になってしまう。このように、砥面23の使用状態の変化の度合いは、砥面23の最外周面において研削方向において延びる部分に現れる。 As shown in FIG. 10(a), immediately after proper dressing, the outermost peripheral surface of the abrasive surface 23 is composed only of the tip surfaces of the abrasive grains 70. As shown in FIG. 10(b), after the grinding process by the grinding wheel 21 has been executed to some extent, the usage condition of the grinding surface 23 changes and a portion 71 other than the abrasive grains 70 (mainly , a so-called bond tail formed by the binder appears. These portions 71 other than the abrasive grains 70 tend to extend in the grinding direction from the rear portion of the abrasive grains 70 in the grinding direction. As shown in FIG. 10(c), as the total execution time of the grinding process by the grinding wheel 21 becomes longer, as the usage state of the grinding surface 23 progresses, the portion 71 other than the abrasive grains 70 on the outermost peripheral surface of the grinding wheel 21 increases. However, the abrasive grains 70 arranged in the grinding direction are extended in a manner that connects them. In this way, the degree of change in the usage state of the abrasive surface 23 appears in the portion of the outermost peripheral surface of the abrasive surface 23 that extends in the grinding direction.
本実施形態では、判定画像50や教師データ53A,53Bを構成する画像データとして、砥面23の全体を撮像した画像が用いられる。そのため、判定画像50や、教師データ53A,53Bを構成する画像データには、砥面23の最外周面において研削方向に延びる部分に関する情報が、同砥面23の使用状態を表す情報として含まれていると云える。したがって本実施形態では、学習器51A,51Bの機械学習に際して「砥面23の最外周面において研削方向に延びる部分」を特徴量として抽出させることができ、この特徴量に基づいて学習器51A,51Bの機械学習を進めることができる。 In this embodiment, an image of the entire abrasive surface 23 is used as the image data that constitutes the determination image 50 and the teacher data 53A, 53B. Therefore, the image data constituting the judgment image 50 and the teacher data 53A, 53B includes information regarding the portion of the outermost peripheral surface of the abrasive surface 23 that extends in the grinding direction as information representing the usage state of the abrasive surface 23. I can say that it is. Therefore, in this embodiment, when the learning devices 51A and 51B perform machine learning, "the portion extending in the grinding direction on the outermost surface of the abrasive surface 23" can be extracted as a feature amount, and based on this feature amount, the learning devices 51A and 51B 51B machine learning can be advanced.
そして、学習済みの学習器51Aから出力される生成誤差ΔP1は、以下のような値になる。
図11に「状態A1」で示すように、砥面23が最適なドレッシングが実行された直後の状態(特定の使用状態A)になっている場合には、入力データと学習器51Aによって生成される生成画像データとがほぼ同一になる。そのため、この場合には生成誤差ΔP1がごく小さい値になる。この場合には、生成誤差ΔP1は最も小さい値になる。
Then, the generation error ΔP1 output from the trained learning device 51A has the following value.
As shown in "state A1" in FIG. 11, when the abrasive surface 23 is in the state immediately after optimal dressing has been performed (specific usage state A), the state generated by the input data and the learning device 51A is The generated image data will be almost the same as the generated image data. Therefore, in this case, the generation error ΔP1 becomes a very small value. In this case, the generation error ΔP1 becomes the smallest value.
図11に「状態B1」で示すように、砥石21による切削加工が実行されて、砥面23の使用状態が変化している場合には、入力データと生成画像データとに差が生じた状態になっているため、生成誤差ΔP1は「正の値」になる。 As shown in "state B1" in FIG. 11, when the cutting process by the grinding wheel 21 has been performed and the usage state of the grinding surface 23 has changed, a state in which a difference has occurred between the input data and the generated image data Therefore, the generation error ΔP1 becomes a "positive value".
図11に「状態C1」で示すように、砥石21による研削加工の総実行時間が長くなって砥面23の使用状態の変化が進んでいる場合には、入力データと生成画像データとの差が大きくなっているため、生成誤差ΔP1は大きい「正の値」になる。 As shown in "state C1" in FIG. 11, when the total execution time of the grinding process by the grinding wheel 21 becomes longer and the usage state of the grinding surface 23 is changing, the difference between the input data and the generated image data is large, the generation error ΔP1 becomes a large "positive value."
このことから、学習済みの学習器51Aから出力される生成誤差ΔP1は、基本的には、ドレッシングの実行に応じて次のように推移するようになる。
図12に示すように、学習器51Aから出力される生成誤差ΔP1は、ドレッシングの実行が開始されると(時刻t11)、その後において徐々に小さくなる。そして、砥面23が最適なドレッシングが実行された状態(特定の使用状態A)になったタイミング(時刻t12)で、生成誤差ΔP1は最も小さくなる。このとき生成誤差ΔP1は前記判定値J1を下回るようになる。なお、ドレッシングの完了後において砥石21による切削加工が実行されると、その実行に伴って生成誤差ΔP1は徐々に大きい値になる。
From this, the generation error ΔP1 output from the trained learning device 51A basically changes as follows according to the execution of dressing.
As shown in FIG. 12, the generation error ΔP1 output from the learning device 51A gradually becomes smaller after the execution of dressing is started (time t11). The generation error ΔP1 becomes the smallest at the timing (time t12) when the abrasive surface 23 is in a state where optimal dressing has been performed (specific usage state A). At this time, the generation error ΔP1 becomes less than the determination value J1. Note that when cutting is performed using the grindstone 21 after the dressing is completed, the production error ΔP1 gradually increases in value as the cutting process is performed.
本実施形態では、図9に示すように、そうした生成誤差ΔP1の推移が表示装置35に表示されるようになっている。そのため、表示装置35に表示される生成誤差ΔP1を目視することで、砥面23の実際の使用状態が特定の使用状態Aにどれだけ近づいているのかを把握することができる。しかも本実施形態では、生成誤差ΔP1が判定値J1以下になっていると判定された場合には、表示装置35の領域AR1に、最適なドレッシングが実行された状態であることを示す文字情報が表示される。この表示を目視することにより、最適なドレッシングが実行された状態になったことを容易に把握することができる。 In this embodiment, as shown in FIG. 9, the transition of such generation error ΔP1 is displayed on the display device 35. Therefore, by visually observing the generation error ΔP1 displayed on the display device 35, it is possible to grasp how close the actual usage state of the abrasive surface 23 is to the specific usage state A. Moreover, in this embodiment, when it is determined that the generation error ΔP1 is equal to or less than the determination value J1, text information indicating that the optimal dressing has been executed is displayed in the area AR1 of the display device 35. Is displayed. By visually observing this display, it is possible to easily understand that the optimal dressing has been performed.
一方、学習済みの学習器51Bから出力される生成誤差ΔP2は、以下のような値になる。
図13に「状態A2」で示すように、砥石21による研削加工の総実行時間が比較的短く、砥面23の使用状態がさほど変化していない場合には、入力データと学習器51Bによって生成される生成画像データとに差が生じた状態になる。この場合には、生成誤差ΔP2は「正の値」になる。
On the other hand, the generation error ΔP2 output from the trained learning device 51B has the following value.
As shown in "state A2" in FIG. 13, when the total execution time of the grinding process by the grinding wheel 21 is relatively short and the usage state of the grinding surface 23 has not changed much, the state is generated using the input data and the learning device 51B. There is a difference between the generated image data and the generated image data. In this case, the generation error ΔP2 becomes a "positive value."
図13に「状態B2」で示すように、砥面23がドレッシングの実行開始に最も適した状態(特定の使用状態B)になっている場合には、入力データと生成画像データとが略同一になるため、生成誤差ΔP2はごく小さい値になる。この場合、生成誤差ΔP1は最も小さい値になる。 As shown in "state B2" in FIG. 13, when the abrasive surface 23 is in the most suitable state for starting the dressing (specific usage state B), the input data and the generated image data are approximately the same. Therefore, the generation error ΔP2 becomes a very small value. In this case, the generation error ΔP1 becomes the smallest value.
図13に「状態C2」で示すように、砥石21による研削加工の総実行時間が比較的長く、砥面23の使用状態の変化が進んでいる場合には、入力データと生成画像データとの差が大きくなっているため、生成誤差ΔP2は大きい「正の値」になる。 As shown in "state C2" in FIG. 13, when the total execution time of the grinding process by the grinding wheel 21 is relatively long and the usage state of the grinding surface 23 is changing, the input data and the generated image data are Since the difference is large, the generation error ΔP2 becomes a large "positive value."
このことから、学習済みの学習器51Bから出力される生成誤差ΔP2は、基本的には、砥石21による研削加工の実行に応じて次のように推移するようになる。
図14に示すように、学習器51Bから出力される生成誤差ΔP2は、ドレッシングの完了後において砥石21による切削加工の実行が開始されると、その後において徐々に小さくなる(時刻t21以前)。そして、砥面23がドレッシングの実行開始に最も適した状態(特定の使用状態B)になったタイミングで最も小さくなる(時刻t21)。なお、ドレッシングの実行が開始されると、その実行に伴って生成誤差ΔP2は徐々に大きくなる(時刻t21以降)。
From this, the generation error ΔP2 output from the trained learning device 51B basically changes as follows according to the execution of the grinding process by the grindstone 21.
As shown in FIG. 14, the generation error ΔP2 output from the learning device 51B gradually becomes smaller after the completion of dressing and the execution of cutting by the grindstone 21 is started (before time t21). Then, the abrasive surface 23 becomes the smallest at the timing when it becomes the most suitable state for starting the dressing (specific usage state B) (time t21). Note that when the execution of dressing is started, the generation error ΔP2 gradually increases as the dressing is executed (after time t21).
本実施形態では、図9に示すように、そうした生成誤差ΔP2の推移が表示装置35に表示されるようになっている。そのため、表示装置35に表示される生成誤差ΔP2を目視することで、砥面23の実際の使用状態が特定の使用状態Bにどれだけ近づいているのかを把握することができる。しかも本実施形態では、生成誤差ΔP2が判定値J2以下になっていると判定された場合には、表示装置35の領域AR2に、ドレッシングの実行開始に最も適した状態であることを示す文字情報が表示される。この表示を目視することにより、ドレッシングの実行開始に最も適した状態になったことを容易に把握することができる。 In this embodiment, as shown in FIG. 9, the transition of such generation error ΔP2 is displayed on the display device 35. Therefore, by visually observing the generation error ΔP2 displayed on the display device 35, it is possible to grasp how close the actual usage state of the abrasive surface 23 is to the specific usage state B. Moreover, in this embodiment, when it is determined that the generation error ΔP2 is equal to or less than the determination value J2, text information indicating that the state is most suitable for starting the dressing is displayed in the area AR2 of the display device 35. is displayed. By visually observing this display, it can be easily understood that the most suitable state for starting the dressing has been reached.
本実施形態では、このようにして表示装置35に判定結果が表示されるため、表示装置35の表示内容を作業者が目視することで、そのときどきの砥面23の使用状態を容易に把握することができる。 In this embodiment, since the determination result is displayed on the display device 35 in this manner, the operator can easily grasp the usage status of the abrasive surface 23 at any given time by visually observing the displayed content on the display device 35. be able to.
本実施形態によれば、以下に記載する効果が得られるようになる。
(1)特定の使用状態A,Bになった砥面23を撮像した画像を用意するとともに、同画像を教師データ53A,53Bとして学習させた学習済みの学習器51A,51Bを予め用意するようにした。そのため、学習済みの学習器51A,51Bを利用して、判定対象の砥石21の砥面23が特定の使用状態A,Bになっていることを高い精度で判定することができる。しかも、砥面23を緻密に観察したり計測したりすることによって同砥面23の使用状態を評価する装置と比較して、判定対象の砥石21の砥面23が特定の使用状態A,Bになっていることを短い時間で判定することができる。
According to this embodiment, the effects described below can be obtained.
(1) Prepare images taken of the abrasive surface 23 in specific usage states A and B, and prepare in advance trained learning devices 51A and 51B that have learned the same images as teacher data 53A and 53B. I made it. Therefore, by using the trained learning devices 51A and 51B, it is possible to determine with high accuracy whether the grinding surface 23 of the grindstone 21 to be determined is in the specific usage state A or B. Moreover, compared to a device that evaluates the usage state of the abrasive surface 23 by closely observing or measuring the abrasive surface 23, the abrasive surface 23 of the whetstone 21 to be determined is in a specific usage state A or B. It is possible to determine in a short time what is happening.
(2)最適なドレッシングが実行された状態(特定の使用状態A)の砥石21[A]の砥面23を撮像した画像を取得するとともに、同画像を教師データ53Aとして学習器51Aの機械学習に利用するようにした。そのため、学習済みの学習器51Aを利用して、判定対象の砥石21の砥面23についてのドレッシングが適正になされたことを、短い時間、且つ高い精度で判定することができる。 (2) Obtain an image of the grinding surface 23 of the grinding wheel 21 [A] in a state where optimal dressing has been performed (specific usage state A), and use the image as training data 53A for machine learning of the learning device 51A. I decided to use it for. Therefore, by using the trained learning device 51A, it is possible to determine in a short time and with high accuracy that the dressing of the grinding surface 23 of the grindstone 21 to be determined has been appropriately performed.
(3)ドレッシングの実行開始に最も適した状態(特定の使用状態B)の砥石21[B]の砥面23を撮像した画像を取得するとともに、同画像を教師データ53Bとして学習器51Bの機械学習に利用するようにした。そのため、学習済みの学習器51Bを利用して、判定対象の砥石21の砥面23がドレッシングの実行開始に適した状態になっていることを、短い時間、且つ高い精度で判定することができる。 (3) Obtain an image of the grinding surface 23 of the grinding wheel 21 [B] in the state most suitable for starting execution of dressing (specific usage state B), and use the image as training data 53B to machine the learning device 51B. I decided to use it for learning. Therefore, by using the trained learning device 51B, it is possible to determine in a short time and with high accuracy whether the grinding surface 23 of the target grindstone 21 is in a state suitable for starting the dressing operation. .
(4)砥面23の全体を撮像した一枚の画像を用いるといった簡素な構成で、同砥面23が特定の使用状態になったことを判定することができる。
ここで、砥石21(詳しくは、砥面23)の劣化は、砥面23の全域に現れる訳ではなく、特徴的な構造をなす領域(特定領域)において生じる。この点をふまえて、そうした特定領域における砥面23の劣化態様を学習器に学習させたうえで、同学習器を利用して砥面23の使用状態の判定を行うことが考えられる。これにより、砥面23の各部の使用状態を細かく判定することができる。ただし、この場合には、砥石21の使用過程において、砥面23の同一領域(特定領域)を逐次観察してその状態変化の様子を把握する作業が必要になる。また、学習器を学習させるための教師データとして、砥面23を撮像した画像から特定の領域の画像を切り出すといった煩雑な作業も必要になる。
(4) With a simple configuration that uses a single image of the entire abrasive surface 23, it is possible to determine that the abrasive surface 23 is in a specific state of use.
Here, deterioration of the grinding wheel 21 (specifically, the grinding surface 23) does not appear over the entire area of the grinding surface 23, but occurs in a region (specific region) that has a characteristic structure. Based on this point, it is conceivable to have a learning device learn the deterioration mode of the abrasive surface 23 in such a specific area, and then use the learning device to determine the usage state of the abrasive surface 23. Thereby, the usage status of each part of the abrasive surface 23 can be determined in detail. However, in this case, during the process of using the grindstone 21, it is necessary to sequentially observe the same area (specific area) of the grinding surface 23 and grasp the state of change. Further, a complicated task of cutting out an image of a specific region from an image of the abrasive surface 23 as teacher data for learning the learning device is also required.
本実施形態では、砥面23の使用状態を判定する際に砥面23の全体を示す一枚の画像を用意するだけでよいため、そうした煩雑な作業が不要になり、ごく簡素な作業で砥面23の使用状態の判定を行うことができる。 In this embodiment, since it is only necessary to prepare a single image showing the entire abrasive surface 23 when determining the usage state of the abrasive surface 23, such complicated work is unnecessary, and the abrasive surface 23 can be sharpened with very simple work. The state of use of the surface 23 can be determined.
(5)学習器51A,51Bの機械学習は、入力データと同入力データをもとに学習器51A,51Bによって生成される生成画像データとを同一の画像を示すデータにする態様で実行される。そして、入力データと生成画像データとの差分に相当する値が生成誤差ΔP1,ΔP2として学習器51A,51Bから出力される。そのため、学習器51A,51Bから出力される生成誤差ΔP1,ΔP2に基づいて、判定対象の砥石21の砥面23の実際の使用状態が特定の使用状態A,Bにどれだけ近づいているのかを把握することができる。 (5) Machine learning of the learning devices 51A and 51B is performed in such a manner that input data and generated image data generated by the learning devices 51A and 51B based on the same input data are data representing the same image. . Then, values corresponding to the difference between the input data and the generated image data are outputted from the learning devices 51A and 51B as generation errors ΔP1 and ΔP2. Therefore, based on the generation errors ΔP1 and ΔP2 output from the learning devices 51A and 51B, it is possible to determine how close the actual usage state of the grinding surface 23 of the grindstone 21 to be determined is to the specific usage states A and B. can be grasped.
(6)自動研削装置20には、砥石21の砥面23を撮像するカメラ31が取り付けられている。このカメラ31によって撮像された画像は、判定画像50として、電子制御装置40の記憶部44に記憶される。そのため、砥面23を撮像する作業や砥面23を撮像した画像を電子制御装置40に記憶させる作業を、それら作業に合わせて自動研削装置20にカメラ31を着脱することなく、自動研削装置20に砥石21を取り付けた状態のままで容易に行うことができる。また、砥面判定装置30による砥面23の使用状態の判定にかかる制御や、自動研削装置20によるワークの研削加工にかかる制御、同自動研削装置20による砥石21のドレッシングにかかる制御を、組み合わせられた一連の自動制御として実行することができる。これにより、砥面23の実際の使用状態を適宜のタイミングで確認しながら、自動研削装置20によるワークの研削加工や砥石21のドレッシングを実行することができるようになる。 (6) A camera 31 is attached to the automatic grinding device 20 to take an image of the grinding surface 23 of the grindstone 21. The image captured by this camera 31 is stored in the storage unit 44 of the electronic control device 40 as the determination image 50. Therefore, the work of taking an image of the abrasive surface 23 and the work of storing the taken image of the abrasive surface 23 in the electronic control device 40 can be performed without having to attach or detach the camera 31 to the automatic grinding device 20 in accordance with the work. This can be easily done with the grindstone 21 still attached to the wheel. In addition, the control related to the judgment of the usage state of the grinding surface 23 by the abrasive surface determination device 30, the control related to the grinding process of the workpiece by the automatic grinding device 20, and the control related to the dressing of the grindstone 21 by the automatic grinding device 20 are combined. can be implemented as a series of automated controls. Thereby, it becomes possible to perform grinding of a workpiece by the automatic grinding device 20 and dressing of the grindstone 21 while checking the actual usage state of the grinding surface 23 at an appropriate timing.
(7)シャッター操作部29の作動制御を通じて、砥石カバー25の開口部27が閉じられた閉状態と開かれた開状態とを切り替え可能になっている。そのため、カメラ31による砥面23の撮像が実行されないときには、シャッター部28を閉じて、カメラ31と砥石21との間が仕切られた閉状態にすることができる。これにより、カメラ31への異物(切り粉やオイル等)の付着を抑えることができる。そして、カメラ31による砥面23の撮像を実行するときには、シャッター部28を開いてカメラ31と砥石21との間が仕切られない開状態にすることで、カメラ31による砥面23の撮像が可能な状態にすることができる。 (7) By controlling the operation of the shutter operation unit 29, the opening 27 of the grindstone cover 25 can be switched between a closed state and an open state. Therefore, when the camera 31 does not capture an image of the grinding surface 23, the shutter section 28 can be closed to create a closed state in which the camera 31 and the grindstone 21 are partitioned off. Thereby, it is possible to suppress adhesion of foreign substances (chips, oil, etc.) to the camera 31. When the camera 31 takes an image of the abrasive surface 23, the camera 31 can take an image of the abrasive surface 23 by opening the shutter section 28 to create an open state in which there is no partition between the camera 31 and the grindstone 21. can be put into a state.
なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。 Note that the above embodiment can be modified and implemented as follows. The above embodiment and the following modification examples can be implemented in combination with each other within a technically consistent range.
・教師データ53A,53Bや判定画像50として、撮像処理(図4)によって取得された画像データをそのまま用いることに代えて、同画像データをフーリエ変換(例えば、高速フーリエ変換[FFT])したうえで用いるようにしてもよい。 - Instead of using the image data obtained by the imaging process (FIG. 4) as is as the teacher data 53A, 53B and the judgment image 50, the same image data may be Fourier transformed (for example, fast Fourier transform [FFT]) and then It may also be used in
この構成では、図15に概念的に示すように、各学習器51A,51Bの機械学習における入力データとして、撮像処理によって取得された画像データC1をフーリエ変換した画像データC2が用いられる。そして、この入力データをもとに学習器51A,51Bによって生成される生成画像データと同入力データとを同一の画像を示すデータ(画像データC2)にする態様で、各学習器51A,51Bの機械学習は実行される。また、判定対象の砥石21の使用状態を判定する判定処理においては、図16に示すように、各学習器51A,51Bの入力データとして、撮像処理によって取得された画像データD1をフーリエ変換した画像データD2が用いられる。そして、判定処理においては、学習器51A,51Bから、入力データ(画像データD2)と生成画像データD3との差分に相当する値が生成誤差として出力される。 In this configuration, as conceptually shown in FIG. 15, image data C2 obtained by Fourier-transforming image data C1 acquired by imaging processing is used as input data in machine learning of each learning device 51A, 51B. Then, each learning device 51A, 51B uses the generated image data generated by the learning devices 51A, 51B based on this input data and the same input data as data indicating the same image (image data C2). Machine learning is performed. In addition, in the determination process for determining the usage state of the target grindstone 21, as shown in FIG. Data D2 is used. In the determination process, the learning devices 51A and 51B output a value corresponding to the difference between the input data (image data D2) and the generated image data D3 as a generation error.
撮像処理を通じて取得された画像データをフーリエ変換することで、前記特徴量(砥面23の最外周面において研削方向に延びる部分)を含む砥面23表面の特徴が周波数の概念で表されるようになる。このことから、フーリエ変換後の画像データには、砥面23の特徴(特徴量を含む)が現れるようになると云える。 By Fourier transforming the image data acquired through the imaging process, the features of the surface of the abrasive surface 23 including the feature amount (the portion extending in the grinding direction on the outermost circumferential surface of the abrasive surface 23) can be expressed in the concept of frequency. become. From this, it can be said that the features (including feature amounts) of the abrasive surface 23 appear in the image data after Fourier transformation.
上記構成によれば、そうしたフーリエ変換した画像データを用いることで、砥面23における特徴量の大きさや分布を考慮しつつ、砥面23の使用状態を判定することができるようになる。そのため、判定対象の砥石21の砥面23が特定の使用状態A,Bになっていることを高い精度で判定することができる。 According to the above configuration, by using such Fourier-transformed image data, the usage state of the abrasive surface 23 can be determined while taking into account the size and distribution of the feature amount on the abrasive surface 23. Therefore, it is possible to determine with high accuracy whether the grinding surface 23 of the grindstone 21 to be determined is in the specific usage state A or B.
また上記構成によっても、砥石21の使用過程において砥面23の同一領域を逐次観察してその状態変化の様子を把握する作業や、学習器を学習させるための教師データとして砥面23を撮像した画像から特定の領域の画像を切り出す作業は不要になる。そのため、簡素な作業で砥面23の使用状態の判定を行うことができる。 Also, with the above configuration, it is possible to successively observe the same area of the grinding surface 23 in the process of using the grinding wheel 21 to understand the changes in its state, and to take an image of the grinding surface 23 as teacher data for learning the learning device. This eliminates the need to cut out a specific area from an image. Therefore, the usage state of the abrasive surface 23 can be determined with a simple operation.
なお、フーリエ変換後の画像データには、砥石の種類、詳しくは砥粒の大きさの違いや砥面における砥粒の分布態様の違いについても周波数の概念で現れるようになる。上記構成によれば、この違いを捉えることで、判定対象の砥石の種類を推定すること等も可能になる。 In addition, in the image data after Fourier transformation, the type of grinding wheel, more specifically, the difference in the size of the abrasive grains and the difference in the distribution mode of the abrasive grains on the abrasive surface also appear in the concept of frequency. According to the above configuration, by understanding this difference, it is also possible to estimate the type of grindstone to be determined.
・入力データをもとに学習器51A,51Bによって生成される生成データとして、画像データを採用することに代えて、砥面の使用状態に対応する特徴ベクトルを採用することができる。 - Instead of using image data as the generated data generated by the learning devices 51A and 51B based on input data, a feature vector corresponding to the state of use of the abrasive surface can be used.
この構成では、各学習器51A,51Bの機械学習は、次のように実行される。図17に概念的に示すように、特定の使用状態の砥面23を撮像した画像データE(入力データ)をもとに学習器51A,51Bによって特定の使用状態に対応する特徴ベクトルFを生成する態様で、各学習器51A,51Bの機械学習は実行される。なお、特徴ベクトルFとしては、画像の輝度(または明度)分布を表す量などが生成される。そして上記構成では、判定処理においては、学習器51A,51Bから、入力データ(詳しくは、判定対象の砥石21の使用状態)に対応する特徴ベクトルと特定の使用状態に対応する特徴ベクトルとの差分に相当する値が生成誤差として出力される。 In this configuration, machine learning of each learning device 51A, 51B is executed as follows. As conceptually shown in FIG. 17, a feature vector F corresponding to a specific usage state is generated by learning devices 51A and 51B based on image data E (input data) obtained by capturing an image of the abrasive surface 23 in a specific usage state. The machine learning of each learning device 51A, 51B is performed in this manner. Note that as the feature vector F, a quantity representing the brightness (or brightness) distribution of the image is generated. In the above configuration, in the determination process, the difference between the feature vector corresponding to the input data (specifically, the usage state of the grindstone 21 to be determined) and the feature vector corresponding to the specific usage state is transmitted from the learning devices 51A and 51B. The value corresponding to is output as the generation error.
ここで、砥石21によるワークの加工回数(例えば1回)が少ない場合には、見た目には、加工前の砥面23と加工後の砥面23との間での使用状態の変化はごく小さい。これに対して、上記構成のように学習器51A,51Bによって特徴ベクトルを生成することで、そのときどきの砥面23の使用状態を数値で表すことができる。そのため、見た目では違いが分かりづらい加工前の砥面23の使用状態と加工後の砥面23の使用状態との差を、数値で表すことができるようになる。 Here, if the number of times (for example, once) that the workpiece is processed by the grinding wheel 21 is small, the change in the usage state between the grinding surface 23 before processing and the grinding surface 23 after processing appears to be very small. . On the other hand, by generating feature vectors using the learning devices 51A and 51B as in the above configuration, the usage state of the abrasive surface 23 at any given time can be expressed numerically. Therefore, the difference between the usage state of the abrasive surface 23 before machining and the usage state of the abrasive surface 23 after machining, which is difficult to visually tell, can be expressed numerically.
上記構成によれば、判定対象の砥石21の使用状態を判定する判定処理において、そうした入力データをもとに特徴ベクトルを生成するタイプの学習器が用いられる。そのため、特定の使用状態の砥面23に対応する特徴ベクトルと判定対象の砥石21の使用状態に対応する特徴ベクトルとの差分を示す数値である生成誤差をもとに、判定対象の砥石21が特定の使用状態になったことを精度良く判定することができる。また、上記差分を示す数値である生成誤差をもとに、判定対象の砥石21の使用状態と特定の使用状態とがどの程度異なるのかを高い精度で把握することなども可能になる。 According to the above configuration, a learning device of a type that generates a feature vector based on such input data is used in the determination process for determining the usage state of the grindstone 21 to be determined. Therefore, based on the generation error, which is a numerical value indicating the difference between the feature vector corresponding to the abrasive surface 23 in a specific usage state and the feature vector corresponding to the usage state of the determination target whetstone 21, the determination target whetstone 21 is It is possible to accurately determine whether a specific usage state has been reached. Furthermore, based on the generation error, which is a numerical value indicating the difference, it is also possible to grasp with high precision how much the usage state of the grindstone 21 to be determined differs from a specific usage state.
・表示装置35に表示する内容は、任意に変更することができる。例えば特定の使用状態A,Bであることを示す文字情報を表示する構成を省略してもよい。その他、特定の使用状態A,Bであることを示す文字情報のみを表示することなども可能である。 - The content displayed on the display device 35 can be changed arbitrarily. For example, the configuration for displaying character information indicating specific usage states A and B may be omitted. In addition, it is also possible to display only text information indicating that the device is in a specific usage state A or B.
・砥面23の状態を判定した判定結果を表示装置35に表示することに限らず、判定結果に応じて警告ブザーを吹聴したりスピーカーから音声情報を発したりするようにしてもよい。 - The judgment result of the state of the abrasive surface 23 is not limited to being displayed on the display device 35, but a warning buzzer may be sounded or audio information may be emitted from a speaker in accordance with the judgment result.
・砥面23の状態を判定した判定結果を表示装置35に表示する構成を省略してもよい。
・判定対象の砥石21が設けられた自動研削装置20以外の装置(専用の撮像装置や他の自動研削装置など)に搭載されたカメラによって撮像した画像を、電子制御装置40に記憶させて、教師データ53A,53Bとして用いるようにしてもよい。
- The configuration for displaying the determination result of the state of the abrasive surface 23 on the display device 35 may be omitted.
- Storing in the electronic control device 40 an image captured by a camera installed in a device (such as a dedicated imaging device or other automatic grinding device) other than the automatic grinding device 20 in which the grindstone 21 to be determined is installed; It may also be used as teacher data 53A, 53B.
・学習器51A,51Bとしては、敵対的生成ネットワークを採用することに限らず、オートエンコーダなどを採用することができる。 - The learning devices 51A and 51B are not limited to employing a generative adversarial network , but may also employ an autoencoder or the like.
・学習器51A,51Bを機械学習させる学習態様は、入力データと生成画像データとを同一の画像を示すデータにする学習態様に限らず、任意に変更することができる。要は、学習済みの学習器51A,51Bから、判定画像50に対応する砥面23の使用状態と特定の使用状態A,Bとの差分の指標値が出力される学習態様であれば、任意の学習態様を採用することができる。 - The learning mode in which the learning devices 51A and 51B perform machine learning is not limited to the learning mode in which input data and generated image data are data indicating the same image, but can be arbitrarily changed. In short, any learning mode can be used as long as the index value of the difference between the usage state of the abrasive surface 23 corresponding to the judgment image 50 and the specific usage states A and B is output from the trained learning devices 51A and 51B. This learning mode can be adopted.
・2つの学習器51A,51Bの一方を省略することができる。学習器51Aを有する砥面判定装置によれば、判定対象の砥石21が最適なドレッシングが実行された状態(特定の使用状態A)になっていることを判定することができる。また、学習器51Bを有する砥面判定装置によれば、判定対象の砥石21がドレッシングの実行開始に最も適した状態(特定の使用状態B)になっていることを判定することができる。 - One of the two learning devices 51A and 51B can be omitted. According to the abrasive surface determination device having the learning device 51A, it is possible to determine that the abrasive wheel 21 to be determined is in a state where optimal dressing has been performed (specific usage state A). Moreover, according to the abrasive surface determination device having the learning device 51B, it is possible to determine that the abrasive stone 21 to be determined is in a state most suitable for starting execution of dressing (specific usage state B).
・特定の使用状態A,Bとは異なる特定の使用状態Cの砥面を撮像した画像からなる教師データによって学習された学習器を用いることも可能である。特定の使用状態Cとしては、例えば最適なドレッシングが実行された状態になる少し前の状態を採用することができる。こうした構成によれば、砥面判定装置により、判定対象の砥石が、もう少しでドレッシングが完了する状態になっていることを把握したりアナウンスしたりすることができる。その他、特定の使用状態Cとして、ドレッシングの実行開始に最も適した状態になる少し前の状態を採用すること等も可能である。同構成によれば、砥面判定装置により、判定対象の砥石についてのドレッシングの実行タイミングが近くなっていることを把握したりアナウンスしたりすることができる。 - It is also possible to use a learning device that is trained using teacher data consisting of images of the abrasive surface in a specific usage state C, which is different from the specific usage states A and B. As the specific usage state C, for example, a state just before optimal dressing is performed can be adopted. According to this configuration, the abrasive surface determination device can recognize or announce that the dressing of the target whetstone is almost ready for completion. In addition, it is also possible to adopt, as the specific usage state C, a state slightly before the most suitable state for starting the dressing. According to the same configuration, the abrasive surface determination device can recognize and announce that the dressing execution timing for the abrasive wheel to be determined is approaching.
・学習済みの学習器51A,51Bを電子制御装置40に記憶させるための作業は、以下の(作業A)~(作業C)のように、任意の態様で実行することができる。
(作業A)判定対象の砥石21が設けられる自動研削装置20を利用して、教師データ53A,53Bを取得するとともに、同教師データ53A,53Bによって学習器51A,51Bを機械学習させる。
- The work for storing the learned learning devices 51A and 51B in the electronic control device 40 can be performed in any manner such as (work A) to (work C) below.
(Work A) Using the automatic grinding device 20 provided with the grindstone 21 to be determined, the teacher data 53A, 53B are acquired, and the learning devices 51A, 51B are subjected to machine learning using the teacher data 53A, 53B.
(作業B)実際に使用する砥石21に対応する教師データ53A,53Bを、自動研削装置20の製造メーカー、あるいは砥石21の製造メーカーに提供してもらう。そして、教師データ53A,53Bをユーザーが使用する砥面判定装置30の電子制御装置40に記憶させることで、学習器51A,51Bを機械学習させる。 (Work B) The manufacturer of the automatic grinding device 20 or the manufacturer of the whetstone 21 is asked to provide the teacher data 53A, 53B corresponding to the whetstone 21 actually used. Then, by storing the teacher data 53A, 53B in the electronic control device 40 of the abrasive surface determination device 30 used by the user, the learning devices 51A, 51B are caused to perform machine learning.
(作業C)自動研削装置20の製造時において、学習済みの学習器51A,51Bを電子制御装置40に記憶させる。
・カメラ31を、自動研削装置20における砥石カバー25以外の部分に取り付けるようにしてもよい。
(Work C) When manufacturing the automatic grinding device 20, the learned learning devices 51A and 51B are stored in the electronic control device 40.
- The camera 31 may be attached to a part of the automatic grinding device 20 other than the grindstone cover 25.
・図18に一例を示すように、カメラ81を有する撮像ユニット80を、自動研削装置20と別体に構成してもよい。同構成では、砥面23の使用状態を判定する際に撮像ユニット80を自動研削装置20に一時的に取り付けるとともに同撮像ユニット80によって砥面23を撮像することで、判定対象の砥石21の砥面23を撮像した画像(判定画像50)を取得することができる。上記構成によれば、撮像ユニット80によって砥面23を撮像する際に、自動研削装置20を構成する各種の駆動部を利用して、砥石21(詳しくは、その砥面23)と撮像ユニット80との相対位置を制御することができる。なお各種の駆動部としては、砥石21を移動させる移動装置や、ワークが固定されるテーブルを移動させる移動装置などを挙げることができる。 - As an example shown in FIG. 18, the imaging unit 80 having the camera 81 may be configured separately from the automatic grinding device 20. In the same configuration, when determining the usage state of the abrasive surface 23, the imaging unit 80 is temporarily attached to the automatic grinding device 20, and the imaging unit 80 images the abrasive surface 23, so that the whetstone 21 to be determined is sharpened. An image (judgment image 50) of the surface 23 can be obtained. According to the above configuration, when the abrasive surface 23 is imaged by the imaging unit 80, the various driving parts that constitute the automatic grinding device 20 are used to capture the image of the grinding wheel 21 (more specifically, the abrasive surface 23) and the imaging unit 80. It is possible to control the relative position. Note that various drive units include a moving device that moves the grindstone 21, a moving device that moves a table to which a workpiece is fixed, and the like.
・判定画像50として、砥面23の全体を示す一枚の画像を用いることに限らず、砥面23の一部(例えば半分)を示す一枚の画像を用いたり、砥面23の全体を示す画像を複数に分割した複数枚の画像を用いたりすることができる。 - As the judgment image 50, it is not limited to using a single image showing the entire abrasive surface 23, but it is also possible to use a single image showing a part (for example, half) of the abrasive surface 23, or to use a single image showing the entire abrasive surface 23. It is possible to use a plurality of images obtained by dividing the displayed image into a plurality of parts.
・上記実施形態にかかる砥面判定装置は、円柱状の基材の底面に多数の砥粒が結合剤によって固着された構造をなす砥石にも適用することができる。
・上記実施形態にかかる砥面判定装置は、自動研削装置と別体の装置として構成することができる。同構成では、砥面の使用状態を判定する際には、判定対象の砥石が自動研削装置から取り外されるとともに砥面判定装置に取り付けられる。その後、砥面判定装置によって砥面の使用状態が判定される。
- The abrasive surface determination device according to the above embodiment can also be applied to a whetstone having a structure in which a large number of abrasive grains are fixed to the bottom surface of a cylindrical base material with a binder.
- The abrasive surface determination device according to the above embodiment can be configured as a separate device from the automatic grinding device. With the same configuration, when determining the usage state of the abrasive surface, the whetstone to be determined is removed from the automatic grinding device and attached to the abrasive surface determination device. Thereafter, the usage state of the abrasive surface is determined by the abrasive surface determination device.
20…自動研削装置
21…砥石
23…砥面
28…シャッター部
29…シャッター操作部
30…砥面判定装置
31…カメラ
32…X軸駆動部
33…Y軸駆動部
34…Z軸駆動部
40…電子制御装置
44…記憶部
50…判定画像
51A,51B…学習器
52…実行プログラム
53A,53B…教師データ
54…判定結果データ
70…砥粒
71…部分
80…撮像ユニット
81…カメラ
20... Automatic grinding device 21... Grinding wheel 23... Grinding surface 28... Shutter section 29... Shutter operation section 30... Grinding surface determination device 31... Camera 32... X-axis drive section 33... Y-axis drive section 34... Z-axis drive section 40... Electronic control device 44...Storage unit 50...Judgment image 51A, 51B...Learning device 52...Execution program 53A, 53B...Teacher data 54...Judgment result data 70...Abrasive grain 71...Part 80...Imaging unit 81...Camera
Claims (11)
判定対象の砥石の砥面を撮像した画像であって、且つ、前記判定対象の砥石の砥面における前記砥石の研削方向に延びる部分に関する情報を含む画像を、判定画像として記憶する入力部と、
特定の使用状態の砥面を撮像した画像であって、且つ、前記特定の使用状態の砥面における前記研削方向に延びる部分に関する情報を含む画像からなる教師データによって学習された学習器を記憶する記憶部と、
前記判定画像を入力データとして、前記記憶部に記憶された学習済みの学習器から、前記判定画像に対応する前記砥面の使用状態と前記特定の使用状態との差分の指標値を出力する差分出力部と、を備え、
前記判定画像および前記教師データを構成する画像は、前記砥面の全体を示す一枚の画像である砥面判定装置。 In an abrasive surface determination device that determines the condition of an abrasive surface in a whetstone having a structure in which a plurality of abrasive grains are fixed by a binder,
an input unit that stores, as a determination image, an image that is a captured image of a grinding surface of a grindstone that is a determination target and that includes information regarding a portion of the grinding surface of the determination target that extends in the grinding direction of the whetstone;
A learning device is stored that is trained using teacher data that is an image of an abrasive surface in a specific state of use and that includes information regarding a portion of the abrasive surface in the specific state of use that extends in the grinding direction. storage section and
Using the determination image as input data, a learned learning device stored in the storage unit outputs an index value of the difference between the usage state of the abrasive surface corresponding to the determination image and the specific usage state. An output section ;
An abrasive surface determination device, wherein the image constituting the determination image and the teacher data is a single image showing the entire abrasive surface .
前記差分出力部は、前記差分の指標値として、前記入力される画像と前記生成される画像との差分の指標値を出力するものである請求項1~3のいずれか一項に記載の砥面判定装置。 The learning device is trained in such a manner that an image input to the learning device and an image generated by the learning device based on the image are the same,
The abrasive according to any one of claims 1 to 3 , wherein the difference output unit outputs an index value of a difference between the input image and the generated image as the index value of the difference. Surface determination device.
前記教師データは、前記特定の使用状態の砥面を撮像した画像をフーリエ変換した画像によって構成されている請求項1~4のいずれか一項に記載の砥面判定装置。 The judgment image is an image obtained by Fourier transforming an image of the grinding surface of the grindstone to be judged,
The abrasive surface determination device according to any one of claims 1 to 4, wherein the teacher data is constituted by an image obtained by Fourier transforming an image taken of the abrasive surface in the specific state of use.
前記差分出力部は、前記差分の指標値として、前記判定画像を入力データとして前記学習済みの学習器により生成される特徴ベクトルと前記特定の使用状態に対応する特徴ベクトルとの差分を出力する請求項1~3のいずれか一項に記載の砥面判定装置。 The learning device is trained in a manner to generate a feature vector corresponding to the specific usage state based on images input to the learning device,
The difference output unit outputs, as the difference index value, a difference between a feature vector generated by the trained learning device using the determination image as input data and a feature vector corresponding to the specific usage state. The abrasive surface determination device according to any one of Items 1 to 3 .
前記砥石を研削工具として用いる研削装置に設けられ、当該研削装置の砥石の砥面を撮像する撮像部と、
前記撮像部によって撮像された前記砥面の画像を、前記判定画像として、前記入力部に出力する画像出力部と、を備える請求項1~6のいずれか一項に記載の砥面判定装置。 The abrasive surface determination device includes:
an imaging unit that is provided in a grinding device that uses the grindstone as a grinding tool and captures an image of the grinding surface of the grindstone of the grinding device;
The abrasive surface determination device according to any one of claims 1 to 6 , further comprising an image output section that outputs an image of the abrasive surface captured by the imaging section to the input section as the determination image.
前記砥石の砥面を覆う態様で同砥面に沿って延びるシャッター部と、
前記シャッター部を開閉操作するものであって、前記砥面の撮像時には同砥面と前記撮像部との間が前記シャッター部によって仕切られない開状態にする一方、前記砥面の非撮像時には前記砥面と前記撮像部との間が前記シャッター部によって仕切られた閉状態にするシャッター操作部と、を備える請求項7に記載の砥面判定装置。 The grinding device includes:
a shutter portion extending along the grinding surface of the whetstone in a manner that covers the grinding surface;
The shutter section is operated to open and close, and when the abrasive surface is imaged, the abrasive surface and the imaging section are in an open state where the distance between the abrasive surface and the imaging section is not partitioned by the shutter section, and when the abrasive surface is not imaged, the shutter section is opened and closed. The abrasive surface determination device according to claim 7 , further comprising: a shutter operating section that sets the abrasive surface and the imaging section to a closed state, where the shutter section partitions the space between the abrasive surface and the imaging section.
判定対象の砥石の砥面を撮像した画像であって、且つ、前記判定対象の砥石の砥面における前記砥石の研削方向に延びる部分に関する情報を含む画像を取得するとともに、同画像を判定画像として砥面判定装置の入力部に記憶させる入力工程と、
特定の使用状態の砥面を撮像した画像であって、且つ、前記特定の使用状態の砥面における前記研削方向に延びる部分に関する情報を含む画像を取得し、該取得した画像からなる教師データによって学習器を学習させた後に、同学習器を前記砥面判定装置の記憶部に記憶させる記憶工程と、
前記判定画像を入力データとして、前記記憶部に記憶された学習済みの学習器から、前記判定画像に対応する前記砥面の使用状態と前記特定の使用状態との差分の指標値を出力する差分出力工程とを備え、
前記判定画像および前記教師データを構成する画像は、前記砥面の全体を示す一枚の画像である砥面判定方法。 An abrasive surface determination method for determining the condition of an abrasive surface in a whetstone having a structure in which a plurality of abrasive grains are fixed by a binder, the method comprising:
Obtaining an image of the grinding surface of the grinding wheel to be determined, which includes information regarding a portion of the grinding surface of the grinding wheel to be determined that extends in the grinding direction of the grinding wheel, and using the same image as a determination image. an input step for storing in the input section of the abrasive surface determination device;
Obtaining an image of an abrasive surface in a specific state of use and including information regarding a portion of the abrasive surface in the specific state of use extending in the grinding direction, and using training data consisting of the obtained image. a storage step of storing the learning device in a storage unit of the abrasive surface determination device after learning the learning device;
Using the determination image as input data, a learned learning device stored in the storage unit outputs an index value of the difference between the usage state of the abrasive surface corresponding to the determination image and the specific usage state. Equipped with an output process ,
An abrasive surface determination method , wherein the image constituting the determination image and the teacher data is a single image showing the entire abrasive surface .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021065955A JP7345867B2 (en) | 2021-04-08 | 2021-04-08 | Abrasive surface determination device, learning device, determination program, and abrasive surface determination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021065955A JP7345867B2 (en) | 2021-04-08 | 2021-04-08 | Abrasive surface determination device, learning device, determination program, and abrasive surface determination method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022161277A JP2022161277A (en) | 2022-10-21 |
| JP7345867B2 true JP7345867B2 (en) | 2023-09-19 |
Family
ID=83658764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021065955A Active JP7345867B2 (en) | 2021-04-08 | 2021-04-08 | Abrasive surface determination device, learning device, determination program, and abrasive surface determination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7345867B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117067042B (en) * | 2023-10-17 | 2024-01-30 | 杭州泓芯微半导体有限公司 | A grinding machine and its control method |
| CN118024130A (en) * | 2023-12-19 | 2024-05-14 | 松山湖材料实验室 | Grinding fluid adding device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017068442A (en) | 2015-09-29 | 2017-04-06 | アイホン株式会社 | Specific operation detection device and specific operation detection method |
| JP2019193970A (en) | 2018-04-26 | 2019-11-07 | 株式会社荏原製作所 | Polishing apparatus comprising surface texture measurement device for abrasive pad, and polishing system |
| WO2020195958A1 (en) | 2019-03-27 | 2020-10-01 | パナソニックIpマネジメント株式会社 | Learning method, determination method, program, learning system, learning data set generation method, and learning data set |
-
2021
- 2021-04-08 JP JP2021065955A patent/JP7345867B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017068442A (en) | 2015-09-29 | 2017-04-06 | アイホン株式会社 | Specific operation detection device and specific operation detection method |
| JP2019193970A (en) | 2018-04-26 | 2019-11-07 | 株式会社荏原製作所 | Polishing apparatus comprising surface texture measurement device for abrasive pad, and polishing system |
| WO2020195958A1 (en) | 2019-03-27 | 2020-10-01 | パナソニックIpマネジメント株式会社 | Learning method, determination method, program, learning system, learning data set generation method, and learning data set |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022161277A (en) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6660636B2 (en) | Grinding tool grinding surface evaluation device and learning device thereof, evaluation program and evaluation method | |
| JP7822307B2 (en) | Automatic process control in gear machining equipment | |
| Arbizu et al. | Surface roughness prediction by factorial design of experiments in turning processes | |
| JP7345867B2 (en) | Abrasive surface determination device, learning device, determination program, and abrasive surface determination method | |
| KR102491716B1 (en) | Machining environment estimation device | |
| CN109799784A (en) | Cutter Abrasion detecting device, its detection method and cutter wear compensation method | |
| CN109725601B (en) | Integrated processing system, integrated processing method, and computer-readable medium | |
| JP7101131B2 (en) | Numerical control system | |
| JP4038334B2 (en) | Apparatus and method for analyzing part program and creating part program in coordinate and surface texture measurement | |
| DE112009001797T5 (en) | Methods and systems for making a component | |
| CN108021099A (en) | Rote learning device and process time prediction meanss | |
| Chaves-Jacob et al. | Towards an understanding of surface finishing with compliant tools using a fast and accurate simulation method | |
| DE102018205913A1 (en) | Control system for a machine tool | |
| CN111045391B (en) | Processing information recording device, processing information recording method, and computer-readable medium | |
| TW202339880A (en) | Method of monitoring the condition of a gear cutting machine | |
| Maslo et al. | Improving dynamic process stability in milling of thin-walled workpieces by optimization of spindle speed based on a linear parameter-varying model | |
| EP2093019A2 (en) | Method for grinding curved contours close to the final contour | |
| JP2004030421A (en) | Nc machine tool | |
| Jenkins et al. | Adaptive pole-zero cancellation in grinding force control | |
| JP2004265321A (en) | Machining system by machining information generation and machining information generation program | |
| US20220308551A1 (en) | Method and system for determining the dynamic response of a machine | |
| JPH1128647A (en) | Wool exchange timing deciding method and device | |
| JP2024033597A (en) | Abrasive surface determination device, learning device, determination program, and abrasive surface determination method | |
| de Payrebrune et al. | Effects of the Grinding Wheel Eccentricity and Waviness on the Dynamics of Tool Grinding | |
| KR20240068373A (en) | A digital twin system and its method based on a physical model of the drilling process of a robotic production system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210423 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230830 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7345867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |