JP7544000B2 - Quality defect cause extraction method and quality defect cause extraction device - Google Patents
Quality defect cause extraction method and quality defect cause extraction device Download PDFInfo
- Publication number
- JP7544000B2 JP7544000B2 JP2021133825A JP2021133825A JP7544000B2 JP 7544000 B2 JP7544000 B2 JP 7544000B2 JP 2021133825 A JP2021133825 A JP 2021133825A JP 2021133825 A JP2021133825 A JP 2021133825A JP 7544000 B2 JP7544000 B2 JP 7544000B2
- Authority
- JP
- Japan
- Prior art keywords
- quality
- product
- data
- manufactured
- operating conditions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- General Factory Administration (AREA)
Description
本発明は、品質不良要因抽出方法および品質不良要因抽出装置に関する。 The present invention relates to a quality defect cause extraction method and a quality defect cause extraction device.
特許文献1には、鉄鋼製品の品質を予測し、品質に影響を及ぼす要因を抽出する方法として、以下のような方法が開示されている。まず、過去の実績操業条件データを互いに無相関な主成分得点に変換し、過去の実績品質データと主成分得点との関係を回帰分析することにより、品質データと主成分得点との関係を示す回帰式を求める。そして、回帰式中の主成分得点を元の操業条件データへと戻すことにより、各操業条件が品質に及ぼす影響の度合いを求める。
また、特許文献2には、鉄鋼製品に限定することなく工業製品の品質に影響を及ぼす要因を抽出する方法として、以下のような方法が開示されている。まず、過去の操業条件データと品質データとを収集および照合し、両者の相関強度を計算する。続いて、製造工程に潜在する変動原因の候補を列挙し、各操業条件データ間における相互相関強度を全ての組み合わせで計算する。そして、製造順序情報を利用することにより、相互の因果の関連構造モデルを自動生成し、その因果モデルを自動分析することにより、品質変動原因の候補の中から根本変動原因を自動導出する。
しかしながら、特許文献1の方法では、品質に対する操業条件の非線形的な影響を表現することができないため、回帰式の信頼性が低く、品質不良要因の抽出と特定に対して十分な効果を得られない可能性がある。
However, the method of
同様に、特許文献2の方法においても、品質に対する操業条件の非線形的な影響を表現できないため、相関係数の信頼性が低く、品質不良要因の抽出と特定に対して十分な効果を得られない可能性がある。
Similarly, the method of
従って、従来は、多工程にわたる製品の製造における品質不良要因の検証と特定に対して多大な時間と労力を要する場合があり、当該検証の間にも、新たに製造される製品の品質不良が継続的に発生し、結果として製品の歩留りが低下するという問題があった。 As a result, in the past, verifying and identifying the causes of quality defects in product manufacturing across multiple processes could require a great deal of time and effort, and even during this verification process, quality defects would continue to occur in newly manufactured products, resulting in a problem of reduced product yields.
本発明は、上記に鑑みてなされたものであって、製品の品質不良要因を高精度に抽出可能な、品質不良要因抽出方法および品質不良要因抽出装置を提供することを目的とする。 The present invention has been made in consideration of the above, and aims to provide a quality defect factor extraction method and quality defect factor extraction device that can extract the causes of product quality defects with high accuracy.
上述した課題を解決し、目的を達成するために、本発明に係る品質不良要因抽出方法は、製品を製造する際の複数の工程における操業条件を入力データとし、製造された前記製品の品質カテゴリごとの欠陥発生確率スコアを出力データとして学習された畳み込みニューラルネットワークにおいて、畳み込み層の各要素に対する最終出力である前記欠陥発生確率スコアに対する前記操業条件の相対的影響度を、前記品質カテゴリごとに算出する影響度算出ステップと、前記相対的影響度に基づいて、前記品質カテゴリごとの前記製品の品質不良の要因となる前記操業条件の候補を提示する要因提示ステップと、を含む。 In order to solve the above-mentioned problems and achieve the objective, the quality defect factor extraction method of the present invention includes an influence calculation step of calculating, for each quality category, the relative influence of the operating conditions on the defect occurrence probability score, which is the final output for each element of a convolutional layer, in a convolutional neural network trained with input data being operating conditions in multiple processes when manufacturing a product and output data being defect occurrence probability scores for each quality category of the manufactured product, and a factor presentation step of presenting candidates for the operating conditions that are factors of quality defects of the product for each quality category based on the relative influence.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記畳み込みニューラルネットワークが、各工程において、最終工程で製造される製品内の複数の部位に対応する部位の操業条件を入力データとし、前記最終工程で製造される製品内の複数の部位の欠陥発生確率スコアを出力データとして学習されたものである。 The quality defect factor extraction method according to the present invention is the above invention, in which the convolutional neural network is trained in each process using the operating conditions of parts corresponding to multiple parts in the product manufactured in the final process as input data, and the defect occurrence probability scores of multiple parts in the product manufactured in the final process as output data.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記入力データが、複数の工程における操業条件が一次元ベクトルとして配置されたデータである。 In the quality defect factor extraction method according to the present invention, the input data is data in which the operating conditions in multiple processes are arranged as a one-dimensional vector.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記畳み込み層が、一以上の最終畳み込み層である。 In addition, in the quality defect factor extraction method according to the present invention, the convolutional layer is one or more final convolutional layers.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記製品が、複数の工程を経て製造される鉄鋼製品であり、最終工程で製造される鉄鋼製品を一単位として、各工程における操業条件と最終工程後に検査された前記鉄鋼製品の品質とを紐づけて前記入力データとする。 In addition, in the method for extracting quality defects according to the present invention, the product is a steel product manufactured through a plurality of processes, and the steel product manufactured in the final process is treated as a unit, and the operating conditions in each process are linked to the quality of the steel product inspected after the final process to form the input data.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記製品が、複数の工程を経て製造される鉄鋼製品であり、前記複数の工程には、製銑、製鋼、熱延、冷延、焼鈍および表面処理のいずれか一つ以上の工程が含まれる。 The quality defect factor extraction method according to the present invention is the above-mentioned invention, in which the product is a steel product manufactured through a plurality of processes, and the plurality of processes includes one or more of ironmaking, steelmaking, hot rolling, cold rolling, annealing, and surface treatment.
また、本発明に係る品質不良要因抽出方法は、上記発明において、前記影響度算出ステップが、前記畳み込み層の要素ごとに、各要素内のピクセルの微小変化に対する最終出力への微分係数を評価して前記要素の重み係数を定め、各重み係数と前記各要素に基づいて、前記操業条件の相対的影響度を算出する。 In addition, in the quality defect factor extraction method according to the present invention, in the above invention, the influence calculation step evaluates, for each element of the convolution layer, a differential coefficient to the final output for a small change in the pixel in each element to determine a weighting coefficient for the element, and calculates the relative influence of the operating conditions based on each weighting coefficient and each element.
上述した課題を解決し、目的を達成するために、本発明に係る品質不良要因抽出装置は、製品を製造する際の複数の工程における操業条件を入力データとし、製造された前記製品の品質カテゴリごとの欠陥発生確率スコアを出力データとして学習された畳み込みニューラルネットワークにおいて、畳み込み層の各要素に対する最終出力である前記欠陥発生確率スコアに対する前記操業条件の相対的影響度を、前記品質カテゴリごとに算出する影響度算出手段と、前記相対的影響度に基づいて、前記品質カテゴリごとの前記製品の品質不良の要因となる前記操業条件の候補を提示する要因提示手段と、を備える。 In order to solve the above-mentioned problems and achieve the objective, the quality defect factor extraction device according to the present invention is equipped with an influence calculation means for calculating, for each quality category, the relative influence of the operating conditions on the defect occurrence probability score, which is the final output for each element of the convolutional layer, in a convolutional neural network trained with input data being the operating conditions in multiple processes when manufacturing a product and output data being the defect occurrence probability score for each quality category of the manufactured product, and a factor presentation means for presenting candidates for the operating conditions that are factors of quality defects of the product for each quality category based on the relative influence.
本発明に係る品質不良要因抽出方法および品質不良要因抽出装置によれば、欠陥発生確率スコアに対する各操業条件の相対的影響度を算出することにより、品質カテゴリごとの製品の品質不良要因を高精度に抽出することができる。そのため、品質不良要因を従来よりも早期に究明し、操業条件の改善に早期に着手することができ、製造する製品の長期間にわたる歩留まりの低下を抑制することができる。 The quality defect factor extraction method and quality defect factor extraction device according to the present invention can extract the quality defect factors of products for each quality category with high accuracy by calculating the relative influence of each operating condition on the defect occurrence probability score. This allows the quality defect factors to be identified earlier than before, and improvements to the operating conditions to be started earlier, thereby suppressing the decline in the long-term yield of manufactured products.
本発明の実施形態に係る品質不良要因抽出方法および品質不良要因抽出装置について、図面を参照しながら説明する。 The quality defect cause extraction method and quality defect cause extraction device according to the embodiment of the present invention will be described with reference to the drawings.
〔品質不良要因抽出装置〕
まず、本発明の実施形態に係る品質不良要因抽出装置の構成について、図1および図2を参照しながら説明する。品質不良要因抽出装置では、実績操業条件に関するデータ(以下、「操業条件データ」という)と、その操業条件で得られる最終製品の品質に関するデータ(以下、「品質データ」という)とを用いて、任意の操業条件に対する製品の品質を予測する品質予測モデル(数理モデル)を構築する。そして、この品質予測モデルの入出力結果に基づいて、品質不良の発生に対して影響の大きい要因(以下、「品質不良要因」という)を抽出し、抽出した品質不良要因をオペレータ等に提示する。
[Quality defect cause extraction device]
First, the configuration of a quality defect factor extraction device according to an embodiment of the present invention will be described with reference to Figures 1 and 2. The quality defect factor extraction device uses data on actual operating conditions (hereinafter referred to as "operation condition data") and data on the quality of the final product obtained under those operating conditions (hereinafter referred to as "quality data") to build a quality prediction model (mathematical model) that predicts the quality of the product for any operating conditions. Then, based on the input/output results of this quality prediction model, factors that have a large influence on the occurrence of quality defects (hereinafter referred to as "quality defect factors") are extracted, and the extracted quality defect factors are presented to an operator, etc.
品質不良要因抽出装置1は、図1に示すように、入力部10と、記憶部20と、演算部30と、表示部40と、を備えている。
As shown in FIG. 1, the quality defect
入力部10は、演算部30に対する入力手段であり、例えばキーボード、マウスポインタ、テンキー等の入力装置によって実現される。 The input unit 10 is an input means for the calculation unit 30, and is realized by an input device such as a keyboard, a mouse pointer, or a numeric keypad.
記憶部20は、EPROM(Erasable Programmable ROM)、ハードディスクドライブ(Hard Disk Drive:HDD)およびリムーバブルメディア等の記録媒体から構成される。リムーバブルメディアとしては、例えばUSB(Universal Serial Bus)メモリ、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)のようなディスク記録媒体が挙げられる。記憶部20には、オペレーティングシステム(Operating System:OS)、各種プログラム、各種テーブル、各種データベース等が格納可能である。記憶部20には、操業DB(データベース)21が保存されている。 The storage unit 20 is composed of recording media such as an EPROM (Erasable Programmable ROM), a hard disk drive (HDD), and removable media. Examples of removable media include a universal serial bus (USB) memory, a compact disc (CD), a digital versatile disc (DVD), and a Blu-ray (registered trademark) disc (BD). The storage unit 20 can store an operating system (OS), various programs, various tables, various databases, and the like. The storage unit 20 also stores an operation database (DB) 21.
操業DB21には、過去に製造された製品の操業データが索出可能に格納されている。ここで、本実施形態における「製品」としては、複数の工程を経て製造される鉄鋼製品等が挙げられる。例えば鉄鋼製品の場合、前記した「複数の工程」としては、例えば製銑工程、製鋼工程、熱延工程、冷延工程、焼鈍工程および表面処理工程の、いずれか一つ以上の工程が含まれる。 Operation DB21 stores searchable operational data for products that have been manufactured in the past. In this embodiment, the "product" may be a steel product manufactured through multiple processes. For example, in the case of a steel product, the "multiple processes" may include one or more of the following processes: iron-making process, steel-making process, hot rolling process, cold rolling process, annealing process, and surface treatment process.
また、「操業データ」としては、例えば過去に製品を製造した際の複数の工程における操業条件データ(製造条件データ、センサデータ等)と、最終工程後に検査された製品の品質データとが挙げられる。 In addition, examples of "operation data" include operational condition data (manufacturing condition data, sensor data, etc.) from multiple processes when a product was manufactured in the past, and quality data of the product inspected after the final process.
例えば鉄鋼製品の場合、前記した操業条件データとしては、製鋼工程における製品厚、製品幅、製品長、鋼中成分、鋳造速度等のデータ、熱延工程における製品厚、製品幅、製品長、製品温度、圧延速度等のデータ、冷延工程における製品厚、製品幅、製品長、圧延速度等のデータ、表面処理工程における製品厚、製品幅、製品長、表面処理炉中温度、表面処理速度等のデータ、が挙げられる。また、品質データとしては、表面処理工程終了時における表面欠陥検査結果のデータ等が挙げられる。 For example, in the case of steel products, the above-mentioned operational condition data includes data on product thickness, product width, product length, steel components, casting speed, etc. in the steelmaking process, data on product thickness, product width, product length, product temperature, rolling speed, etc. in the hot rolling process, data on product thickness, product width, product length, rolling speed, etc. in the cold rolling process, data on product thickness, product width, product length, temperature in the surface treatment furnace, surface treatment speed, etc. in the surface treatment process. In addition, quality data includes data on the results of surface defect inspection at the end of the surface treatment process.
演算部30は、例えばCPU(Central Processing Unit)等からなるプロセッサと、RAM(Random Access Memory)やROM(Read Only Memory)等からなるメモリ(主記憶部)と、によって実現される。 The calculation unit 30 is realized by a processor such as a CPU (Central Processing Unit) and a memory (main storage unit) such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
演算部30は、プログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御することにより、所定の目的に合致した機能を実現する。演算部30は、前記したプログラムの実行を通じて、データ紐付部31、モデル作成部32、影響度算出部33および要因提示部34として機能する。なお、図1では、例えば一つのコンピュータによって各部の機能を実現する例を示しているが、各部の機能の実現手段は特に限定されず、例えば複数のコンピュータによって各部の機能をそれぞれ実現してもよい。
The calculation unit 30 loads a program into the working area of the main memory and executes it, and controls each component part through the execution of the program to realize functions that meet a predetermined purpose. Through the execution of the program, the calculation unit 30 functions as a
データ紐付部31は、操業条件データと品質データとの紐付けを行う。まずデータ紐付部31は、多工程における製造の過程で、複数の計測装置によって計測された操業条件データと、最終工程後に実際に検査された製品の品質データとを、操業DB21から収集する。
The
ある製品の製造時の操業条件データXは、例えば以下のような要素を有している。
X=[x1,x2,…,xm,…,xM](1≦m≦M)
The operation condition data X during the manufacture of a certain product has, for example, the following elements:
X=[x 1 , x 2 ,..., x m ,..., x M ] (1≦m≦M)
但し、上記の「xm」は、製品を製造する際に、一番目の工程からK番目の工程までのK個の工程を経る場合に、K個の工程のうちの工程k(1≦k≦K)における、一つの製造設備や製造装置の一つの実績値を示しており、全工程で総数M種類の実績値のうち、m種類目(1≦m≦M)にあたる実績値を示している。 However, the above "x m " indicates one actual value of one manufacturing facility or manufacturing device at process k (1≦k≦K) of the K processes when manufacturing a product through K processes from the first process to the Kth process, and indicates the mth actual value (1≦m≦M) out of a total of M types of actual values in all processes.
また、ある製品の品質データYは、例えば以下のような要素を有している。
Y=[y]
Moreover, quality data Y of a certain product has, for example, the following elements:
Y = [y]
但し、上記の「y」は、製品を製造する際に、一番目の工程からK番目の工程までのK個の工程を経る場合に、K個の工程のうちの工程K、すなわち最終工程後における製品の品質検査判定結果を示している。ここで、品質は、複数の異なる品質評価であってもよい。すなわち、品質カテゴリごとにyiとして複数の出力を考慮することもできる。 Here, "y" above indicates the quality inspection result of the product after process K, i.e., the final process, when K processes from the first process to the Kth process are passed in manufacturing the product. Here, the quality may be a plurality of different quality evaluations. In other words, a plurality of outputs may be considered as yi for each quality category.
データ紐付部31は、最終工程で製造される製品(最終製品)を一単位として、各工程における操業条件データと最終工程後に検査された製品の品質データとを紐づけて、例えば図2に示すような表形式の実績データを作成する。同図の実績データでは、N個の製品ごとのデータが行方向に並び、品質データYと、操業条件データXm(1≦m≦M)が列方向に並んでいる。同図に示した実績データは、後記する品質予測モデルを作成する際の入力データとなる。なお、データ紐付部31は、紐付けを行った実績データを記憶部20に保存してもよい。
The
データ紐付部31は、製品の特定の部位ごとに操業条件データと品質データとを紐付けてもよい。例えば鋼板等の鉄鋼製品では、工程を経るにつれて、圧延等によって長さが変化する。そこで、最終製品(鋼板)の製品内の特定の部位を基準として、それらの部位が途中工程の製品のどの部位に対応するのかを追跡(トラッキング)する。そして、最終製品の特定の部位を基準として、各工程の特定の部位の操業条件データと、最終製品の対応する部位の品質データとを紐付ける。これにより、最終製品の特定の部位ごとに、品質予測モデルの入力データを作成することができる。
The
モデル作成部32は、データ紐付部31が作成した実績データを用いて、任意の操業条件に対する製品の品質を予測する品質予測モデルを構築する。本実施形態では、深層学習アルゴリズムの一種である畳み込みニューラルネットワーク(Convolutional Neural Network(以下、「CNN」という))を利用して品質予測モデルを構築する。CNNは、人間の脳の神経回路網と呼ばれる神経細胞(ニューロン)からなるネットワーク構造とその学習機構を模した機械学習アルゴリズムである。CNNは、入力層、畳み込み層、プーリング層、全結合層および出力層から構成される。
The
入力層では入力データが入力される。本実施形態における入力データは、各工程における操業条件と製品の品質とが紐付けられた実績データである。また、入力データは、図2に示すように、複数の工程における操業条件が一次元ベクトルとして配置されたデータである。 Input data is input to the input layer. In this embodiment, the input data is performance data that links the operating conditions in each process with the product quality. In addition, the input data is data in which the operating conditions in multiple processes are arranged as a one-dimensional vector, as shown in Figure 2.
畳み込み層では、入力データの一部の領域ごとにカーネルと呼ばれるフィルタを掛けることにより、データの畳み込みを行い、特徴抽出を行って特徴マップ(「要素」ともいう)を構成する。フィルタの数は複数であってもよく、その場合は構成される特徴マップの数も複数になる。また、CNNの学習では、フィルタのパラメータが自動的に学習される。 In the convolutional layer, a filter called a kernel is applied to each partial region of the input data to convolve the data and extract features to construct a feature map (also called an "element"). There may be multiple filters, in which case multiple feature maps will be constructed. In addition, when training a CNN, the filter parameters are learned automatically.
プーリング層では、畳み込みによって得られた各々の特徴マップのサイズを縮約する。畳み込み層およびプーリング層は、交互にそれぞれ同数の複数層で構成してもよい。全結合層では、特徴マップの組み合わせから、特定の予測結果に分類するための識別を行う。例えば鉄鋼製品の場合、前記した「特定の予測結果」としては、表面欠陥等の品質不良の有無が挙げられる。 In the pooling layer, the size of each feature map obtained by convolution is reduced. The convolutional layers and pooling layers may be configured with the same number of layers, alternating. In the fully connected layer, classification is performed to classify the combination of feature maps into specific prediction results. For example, in the case of steel products, the aforementioned "specific prediction results" include the presence or absence of quality defects such as surface defects.
CNNを適用することにより、入力データに対する特徴的なパターンを抽出し、そのパターンによって高精度に識別される分類を出力データとして得ることができる。本実施形態では、品質に影響を及ぼす複数の操業条件の複雑なパターンを、各操業条件の一次元入力に対して品質不良発生の有無の分類確率を出力とするCNN(一次元CNN)によって識別を行う。この場合、品質不良発生の分類確率が、任意の値p(0≦p≦1)未満の場合は「品質不良なし」と分類し、当該分類確率が任意の値p以上の場合は「品質不良あり」と分類するように、分類確率の閾値を設定する。 By applying CNN, it is possible to extract characteristic patterns from input data and obtain classifications that are identified with high accuracy based on those patterns as output data. In this embodiment, complex patterns of multiple operating conditions that affect quality are identified by a CNN (one-dimensional CNN) that outputs the classification probability of the occurrence or absence of quality defects for each one-dimensional input of each operating condition. In this case, a threshold for the classification probability is set so that if the classification probability of the occurrence of quality defects is less than an arbitrary value p (0≦p≦1), it is classified as "no quality defect," and if the classification probability is equal to or greater than an arbitrary value p, it is classified as "quality defect."
なお、一次元CNNの代わりに、例えば製品の特定方向(例えば製品の長さ方向)の位置座標を行方向、各操業条件を列方向とする2次元入力に対して品質不良発生の有無の分類確率を出力とするCNN(二次元CNN)を用いてもよい。 In addition, instead of a one-dimensional CNN, a two-dimensional CNN may be used that outputs the classification probability of the occurrence of a quality defect for a two-dimensional input, for example, with the row direction being the position coordinates of the product in a specific direction (e.g., the length direction of the product) and the column direction being each operating condition.
モデル作成部32は、製品を製造する際の複数の工程における操業条件を入力データとし、製造された製品の品質カテゴリごとの欠陥発生確率スコアを出力データとして、CNNの学習を行う。なお、「品質カテゴリごとの欠陥発生確率スコア」とは、例えば「欠陥Aの発生確率が70%」、「欠陥Bの発生確率が30%」等のように、複数種類の欠陥の有無に関する分類確率のことを示している。
The
なお、モデル作成部32は、各工程において、最終工程で製造される製品内の複数の部位に対応する部位の操業条件を入力データとし、最終工程で製造される製品内の複数の部位の欠陥発生確率スコアを出力データとして、CNNの学習を行ってもよい。これにより、最終製品の特定の部位について、それに対応する操業条件を、各工程を遡って追跡し、品質予測モデルを構築することができる。
The
影響度算出部33は、欠陥発生確率スコアに対する各操業条件の相対的影響度(相対的影響度評価値)を算出する。影響度算出部33は、具体的には、CNNの畳み込み層の各要素(特徴マップ)に対する最終出力である欠陥発生確率スコアに対する操業条件の相対的影響度を、品質カテゴリごとに算出する。なお、前記した「畳み込み層」は、CNNにおける一以上の最終畳み込み層である。
The
影響度算出部33は、製品の品質を予測するCNNに対して、製品の品質に影響を及ぼす要因に相当する予測結果の根拠を表現する数理手法を適用する。本実施形態では、この数理手法として、以下の参考文献1に記載されたGrad-CAM(Gradient-weighted Class Activation Mapping)を用いる。
The
参考文献1:Ramprasaath R. Selvaraju, et al.「Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization」,2017,IEEE International Conference on Computer Vision(ICCV) Reference 1: Ramprasaath R. Selvaraju, et al. “Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization”, 2017, IEEE International Conference on Computer Vision (ICCV)
影響度算出部33は、畳み込みニューラルネットワークの畳み込み層の要素(特徴マップ)ごとに、各要素内のピクセルの微小変化に対する最終出力への微分係数を評価して要素の重み係数を定め、各重み係数と各要素に基づいて、操業条件の相対的影響度を算出する。
The
影響度算出部33は、具体的には以下の手順により、欠陥発生確率スコアに対する各操業条件の相対的影響度を算出する。
(1)学習済みのCNNにおいて、特定分類クラス判定の出力(特定の品質カテゴリの欠陥発生確率スコア)を、最終畳み込み層の一つの特徴マップの一箇所(一ピクセル)の値について微分し、当該ピクセル値を微小変化させた場合の欠陥発生確率スコアの変化率を表す微分係数を求める。
(2)全ピクセルの微分係数の平均を取ることにより、特定分類クラス判定に応じた一つの特徴マップに対する重み係数を求める。
(3)最終畳み込み層の全ての特徴マップにそれぞれ重み係数をかけて平均を計算する。これにより、特定クラスに分類するために重要な特徴マップが重視された、重ね合わせとなる。
(4)活性化関数ReLU(ランプ関数)を通して、0から1までの範囲の実数値を取る相対的影響度を算出する。
Specifically, the
(1) In a trained CNN, the output of a specific classification class judgment (a defect occurrence probability score for a specific quality category) is differentiated with respect to the value of one point (one pixel) of one feature map in the final convolutional layer, and a differential coefficient that represents the rate of change in the defect occurrence probability score when the pixel value is slightly changed is calculated.
(2) A weighting factor for one feature map corresponding to a particular classification class is calculated by averaging the derivatives of all pixels.
(3) All feature maps in the final convolutional layer are multiplied by a weighting factor and averaged, resulting in a superposition that emphasizes feature maps that are important for classifying a particular class.
(4) Calculate the relative influence, which takes real values ranging from 0 to 1, through an activation function ReLU (ramp function).
ここで、上記演算では、最終畳み込み層との関係で特定分類クラスの出力への影響を評価しているが、最終畳み込み層は、入力層から複数の畳み込み層とプーリング層とを経て得られる。そのため、最終畳み込み層のサイズは、入力層をサイズ的に縮約したものとなっている。従って、縮約されたサイズの大きさだけ拡張することにより、入力との対応を明確に付けることが可能である。 Here, in the above calculation, the effect on the output of a specific classification class is evaluated in relation to the final convolutional layer, which is obtained from the input layer via multiple convolutional layers and pooling layers. Therefore, the size of the final convolutional layer is a reduced size of the input layer. Therefore, by expanding it by the amount of the reduced size, it is possible to clearly establish a correspondence with the input.
要因提示部34は、影響度算出部33によって算出された各操業条件の相対的影響度に基づいて、品質カテゴリごとの製品の品質不良の要因となる操業条件の候補を提示する。
The factor presentation unit 34 presents candidates for operating conditions that are factors that cause product quality defects for each quality category based on the relative influence of each operating condition calculated by the
例えば一次元CNNを用いた場合、要因提示部34は、入力データの各項目を横軸、相対的影響度を縦軸とする棒グラフを、表示部40に表示する。更に、要因提示部34は、入力データの各項目の相対的影響度に対して、その値の大きさに応じた色を予め設定し、棒グラフの横軸の項目別に、予め設定した色を付けて一次元カラーマップとして表示部40に表示してもよい。あるいは、要因提示部34は、入力データの各項目を、相対的影響度が大きい順に並べ替え、予め設けた閾値よりも相対的影響度の大きい項目のみを抽出し、品質不良要因リストとして表示部40に表示してもよい。 For example, when a one-dimensional CNN is used, the factor presentation unit 34 displays a bar graph on the display unit 40 with each item of the input data on the horizontal axis and the relative influence on the vertical axis. Furthermore, the factor presentation unit 34 may preset a color according to the magnitude of the value of the relative influence of each item of the input data, and display the bar graph on the display unit 40 as a one-dimensional color map with the preset color assigned to each item on the horizontal axis. Alternatively, the factor presentation unit 34 may rearrange each item of the input data in descending order of relative influence, extract only items with a relative influence greater than a preset threshold, and display them on the display unit 40 as a list of quality defect factors.
また、二次元CNNを用いた場合、入力データの各項目の相対的影響度に対して、その値の大きさに応じた色を予め設定し、製品の特定方向(例えば製品の長さ方向)の位置座標を縦軸、各操業条件を横軸として、対応する位置ごとに予め設定した色を付けて、2次元カラーマップとして表示部40に表示する。 When a two-dimensional CNN is used, a color is preset according to the magnitude of the value for the relative influence of each item of input data, and the position coordinate in a specific direction of the product (e.g., the length direction of the product) is set on the vertical axis, and each operating condition is set on the horizontal axis. A preset color is assigned to each corresponding position, and the map is displayed on the display unit 40 as a two-dimensional color map.
このように、CNNが持つ特徴マップをもとに、入力された操業条件から品質不良パターンを捉え、分類した出力を予測した根拠となる要因(操業条件)を提示する。これにより、出力(欠陥発生確率スコア)への影響の大きい操業条件を提示することができ、品質異常の原因を特定することができる。 In this way, based on the feature map of the CNN, it captures quality defect patterns from the input operating conditions and presents the factors (operating conditions) that are the basis for predicting the classified output. This makes it possible to present the operating conditions that have the greatest impact on the output (defect occurrence probability score), and to identify the cause of quality abnormalities.
表示部40は、例えばLCDディスプレイ、CRTディスプレイ等の表示装置によって実現される。表示部40は、演算部30から入力される表示信号をもとに、例えば影響度算出部33による相対的影響度の算出結果、要因提示部34による品質不良の要因となる操業条件の候補等を、文字や図形等形式で表示する。
The display unit 40 is realized by a display device such as an LCD display or a CRT display. Based on the display signal input from the calculation unit 30, the display unit 40 displays, for example, the results of the calculation of the relative influence degree by the influence
〔品質不良要因抽出方法〕
本発明の実施形態に係る品質不良要因抽出装置1による品質不良要因抽出方法について、図3を参照しながら説明する。品質不良要因抽出方法には、データ収集ステップ(ステップS1)と、データ紐付けステップ(ステップS2)と、モデル作成ステップ(ステップS3)と、影響度算出ステップ(ステップS4)と、要因提示ステップ(ステップS5)とが含まれる。品質不良要因抽出方法における各ステップのうち、データ収集ステップ、データ紐付けステップおよびモデル作成ステップは、それ以外のステップとは別のタイミングで予め実施してもよい。
[Method for extracting quality defect causes]
A quality defect factor extraction method using the quality defect
まず、データ紐付部31は、複数の工程における操業条件データおよび品質データを、操業DB21から収集する(ステップS1)。続いて、データ紐付部31は、操業条件データおよび品質データの紐付けを行う(ステップS2)。続いて、モデル作成部32は、製品を製造する際の複数の工程における操業条件を入力データとし、製造された製品の品質カテゴリごとの欠陥発生確率スコアを出力データとして、CNNの学習を行う(ステップS3)。
First, the
続いて、影響度算出部33は、欠陥発生確率スコアに対する各操業条件の相対的影響度を算出する(ステップS4)。最後に、要因提示部34は、影響度算出部33によって算出された各操業条件の相対的影響度に基づいて、品質カテゴリごとの製品の品質不良の要因を提示する(ステップS5)。
Next, the
〔実施例〕
本発明の実施例について、図4を参照しながら説明する。本実施例では、実施形態に係る品質不良要因抽出方法を、鉄鋼製品に関する実績データに対して適用した。具体的には、鋼板の製造において、製鋼工程、熱延工程、冷延工程および表面処理工程を通過した製品の実績データに対して、表面処理工程を通過後の鋼板の表面に発生した表面欠陥の要因を抽出した。
[Example]
An example of the present invention will be described with reference to Fig. 4. In this example, the quality defect factor extraction method according to the embodiment was applied to performance data on steel products. Specifically, in the manufacture of steel sheets, the factors of surface defects occurring on the surface of the steel sheet after passing through the surface treatment process were extracted from performance data on products that had passed through the steelmaking process, hot rolling process, cold rolling process, and surface treatment process.
データ収集ステップでは、製鋼工程における操業条件データ(製品厚、製品幅、製品長、鋼中成分、鋳造速度、…)と、熱延工程における操業条件データ(製品厚、製品幅、製品長、製品温度、圧延速度、…)と、冷延工程における操業条件データ(製品厚、製品幅、製品長、圧延速度、…)と、表面処理工程における操業条件データ(製品厚、製品幅、製品長、表面処理炉中温度、表面処理速度、…)と、表面処理工程の終了時に検査した鋼板の表面欠陥検査結果データ(品質データ)と、を収集した。 In the data collection step, the following operational condition data were collected: data on operational conditions in the steelmaking process (product thickness, product width, product length, steel components, casting speed, etc.), data on operational conditions in the hot rolling process (product thickness, product width, product length, product temperature, rolling speed, etc.), data on operational conditions in the cold rolling process (product thickness, product width, product length, rolling speed, etc.), data on operational conditions in the surface treatment process (product thickness, product width, product length, surface treatment furnace temperature, surface treatment speed, etc.), and surface defect inspection result data (quality data) of the steel plate inspected at the end of the surface treatment process.
データ紐付けステップでは、前記した製鋼工程、熱延工程、冷延工程および表面処理工程における操業条件データおよび表面処理工程終了時における表面欠陥検査結果データを紐付け、記憶部20に保存した。 In the data linking step, the operating condition data for the steelmaking process, hot rolling process, cold rolling process, and surface treatment process, and the surface defect inspection result data at the end of the surface treatment process were linked and stored in the memory unit 20.
モデル作成ステップでは、各工程の操業条件を一次元入力とし、表面欠陥発生の有無の分類確率(欠陥発生確率スコア)を出力する一次元CNNを適用した品質予測モデルを作成した。この品質予測モデルでは、表面欠陥発生の分類確率が0.5未満である場合は「表面欠陥なし」と分類予測し、分類確率が0.5以上である場合は「表面欠陥あり」と分類予測するように、分類確率の閾値を設定した。 In the model creation step, a quality prediction model was created using a one-dimensional CNN that takes the operating conditions of each process as one-dimensional input and outputs the classification probability (defect occurrence probability score) of the presence or absence of surface defects. In this quality prediction model, a classification probability threshold was set so that if the classification probability of surface defect occurrence is less than 0.5, it is classified and predicted as "no surface defect," and if the classification probability is 0.5 or more, it is classified and predicted as "surface defect present."
影響度算出ステップでは、CNNに対してGrad-CAMを適用し、表面欠陥発生の分類確率に対する各操業条件の相対的影響度を算出した。 In the impact calculation step, Grad-CAM was applied to the CNN to calculate the relative impact of each operating condition on the classification probability of surface defect occurrence.
要因提示ステップでは、各操業条件の相対的影響度に基づいて、表面欠陥発生の要因となる操業条件の候補を提示した。本実施例では、図4に示すように、入力データである操業条件各項目を横軸、相対的影響度を縦軸とする棒グラフを、操業条件各項目別に予め設定した色を付けて表示部40に表示した。また、本実施例では、相対的影響度が0以上0.5未満の操業条件を青色(図4では右下がりの斜線ハッチングで図示)、0.5以上0.8未満の操業条件を黄色(同図では左下がりの斜線ハッチングで図示)、0.8以上1以下の操業条件を赤色(同図ではドットハッチングで図示)、のように相対的影響度に応じて色分けして示した。 In the factor presentation step, candidates for operating conditions that are factors in the occurrence of surface defects were presented based on the relative influence of each operating condition. In this embodiment, as shown in FIG. 4, a bar graph with the horizontal axis representing each operating condition item, which is the input data, and the vertical axis representing the relative influence was displayed on the display unit 40 with a color preset for each operating condition item. In this embodiment, the operating conditions with a relative influence of 0 or more and less than 0.5 were displayed in blue (shown in FIG. 4 by diagonal hatching slanting downward to the right), 0.5 or more and less than 0.8 in yellow (shown in FIG. 4 by diagonal hatching slanting downward to the left), and 0.8 or more and less than 1 in red (shown in FIG. 4 by dot hatching), and were displayed in different colors according to their relative influence.
なお、本実施例では、図4に示すように、全ての操業条件の相対的影響度を提示したが、例えば相対的影響度が閾値Th1(0.5)以上である操業条件のみ、あるいは相対的影響度が閾値Th2(0.8)以上である操業条件のみを抽出して提示してもよい。 In this embodiment, as shown in FIG. 4, the relative influence of all operating conditions is presented, but it is also possible to extract and present, for example, only operating conditions whose relative influence is equal to or greater than a threshold value Th1 (0.5), or only operating conditions whose relative influence is equal to or greater than a threshold value Th2 (0.8).
このように、本実施例では、品質不良の一種である表面欠陥の発生要因を抽出したい対象の操業条件の実績値を入力することにより、表面欠陥発生への各操業条件の相対的影響度を算出し、相対的影響度の高い操業条件を発生要因として提示するようにした。その結果、実績データから早期かつ高い精度で表面欠陥の発生要因を抽出することができた。 In this way, in this embodiment, by inputting the actual values of the operating conditions for which it is desired to extract the causes of surface defects, which are a type of quality defect, the relative influence of each operating condition on the occurrence of surface defects is calculated, and the operating conditions with the highest relative influence are presented as the causes. As a result, it was possible to extract the causes of surface defects from the actual data early and with high accuracy.
以上説明した実施形態に係る品質不良要因抽出方法および品質不良要因抽出装置1では、過去に製造した製品の多工程にわたる操業条件と、それらの操業条件で製造して得られた製品の品質とを紐付けた実績データに基づいて、各工程の操業条件を入力とし、製品の欠陥発生確率スコアを出力とする高精度な品質予測モデル(CNN)を作成する。そして、製品の品質不良の発生に対する各操業条件の相対的影響度を算出し、当該相対的影響度の高い操業条件を品質不良の要因として提示する。
In the quality defect factor extraction method and quality defect
このように、実施形態に係る品質不良要因抽出方法および品質不良要因抽出装置1によれば、欠陥発生確率スコアに対する各操業条件の相対的影響度を算出することにより、品質カテゴリごとの製品の品質不良要因を高精度に抽出することができる。そのため、品質不良要因を従来よりも早期に究明し、操業条件の改善に早期に着手することができ、製造する製品の長期間にわたる歩留まりの低下を抑制することができる。
In this way, according to the quality defect factor extraction method and quality defect
以上、本発明に係る品質不良要因抽出方法および品質不良要因抽出装置1について、発明を実施するための形態および実施例により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
The quality defect factor extraction method and quality defect
1 品質不良要因抽出装置
10 入力部
20 記憶部
21 操業DB
30 演算部
31 データ紐付部
32 モデル作成部
33 影響度算出部
34 要因提示部
40 表示部
30
Claims (8)
前記相対的影響度に基づいて、前記品質カテゴリごとの前記製品の品質不良の要因となる前記操業条件の候補を提示する要因提示ステップと、
を含み、
前記製品は、複数の工程を経て製造される鉄鋼製品であり、
最終工程で製造される鉄鋼製品を一単位として、各工程における操業条件と最終工程後に検査された前記鉄鋼製品の品質とを紐づけて前記入力データとする、
品質不良要因抽出方法。 In a convolutional neural network trained with input data representing operation conditions in a plurality of processes in manufacturing a product and output data representing the quality of each quality category of the manufactured product, an influence degree calculation step of calculating, for each quality category, a relative influence degree of the operation conditions on the quality , which is a final output for each element of a convolutional layer;
a factor presentation step of presenting candidates of the operation conditions that are factors of quality defects of the products for each of the quality categories based on the relative influence degree;
Including,
The product is a steel product manufactured through a plurality of processes,
The steel product manufactured in the final process is regarded as one unit, and the operating conditions in each process are linked to the quality of the steel product inspected after the final process to obtain the input data.
Method for extracting causes of quality defects.
前記相対的影響度に基づいて、前記品質カテゴリごとの前記製品の品質不良の要因となる前記操業条件の候補を提示する要因提示手段と、
を備え、
前記製品は、複数の工程を経て製造される鉄鋼製品であり、
最終工程で製造される鉄鋼製品を一単位として、各工程における操業条件と最終工程後に検査された前記鉄鋼製品の品質とを紐づけて前記入力データとする、
品質不良要因抽出装置。 In a convolutional neural network trained with input data being operational conditions in a plurality of processes when manufacturing a product and output data being the quality of each quality category of the manufactured product, an influence degree calculation means calculates, for each quality category, a relative influence degree of the operational conditions on the quality , which is a final output for each element of a convolutional layer;
a factor presenting means for presenting candidates of the operation conditions that are factors of quality defects of the products for each of the quality categories based on the relative influence degree;
Equipped with
The product is a steel product manufactured through a plurality of processes,
The steel product manufactured in the final process is regarded as one unit, and the operating conditions in each process are linked to the quality of the steel product inspected after the final process to obtain the input data.
Quality defect cause extraction device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021133825A JP7544000B2 (en) | 2021-08-19 | 2021-08-19 | Quality defect cause extraction method and quality defect cause extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021133825A JP7544000B2 (en) | 2021-08-19 | 2021-08-19 | Quality defect cause extraction method and quality defect cause extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023028244A JP2023028244A (en) | 2023-03-03 |
| JP7544000B2 true JP7544000B2 (en) | 2024-09-03 |
Family
ID=85331629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021133825A Active JP7544000B2 (en) | 2021-08-19 | 2021-08-19 | Quality defect cause extraction method and quality defect cause extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7544000B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024135029A (en) * | 2023-03-22 | 2024-10-04 | Jfeスチール株式会社 | Quality defect diagnosis device and quality defect diagnosis method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200166909A1 (en) | 2018-11-20 | 2020-05-28 | Relativity Space, Inc. | Real-time adaptive control of manufacturing processes using machine learning |
| JP2020126601A (en) | 2019-02-05 | 2020-08-20 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | Failure detection method and failure detection device |
| WO2021014804A1 (en) | 2019-07-22 | 2021-01-28 | Jfeスチール株式会社 | Method for generating quality prediction model, quality prediction model, quality prediction method, method for manufacturing metal material, device for generating quality prediction model, and quality prediction device |
-
2021
- 2021-08-19 JP JP2021133825A patent/JP7544000B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200166909A1 (en) | 2018-11-20 | 2020-05-28 | Relativity Space, Inc. | Real-time adaptive control of manufacturing processes using machine learning |
| JP2020126601A (en) | 2019-02-05 | 2020-08-20 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | Failure detection method and failure detection device |
| WO2021014804A1 (en) | 2019-07-22 | 2021-01-28 | Jfeスチール株式会社 | Method for generating quality prediction model, quality prediction model, quality prediction method, method for manufacturing metal material, device for generating quality prediction model, and quality prediction device |
Non-Patent Citations (1)
| Title |
|---|
| Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization,2017 IEEE International Conference on Computer Vision(ICCV),2017年10月,pp. 618-626 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023028244A (en) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7484845B2 (en) | Quality prediction model creation method, quality prediction method, operation condition presentation method, quality prediction model creation device, quality prediction device, and operation condition presentation device | |
| CN116664551B (en) | Display screen detection method, device, equipment and storage medium based on machine vision | |
| JP4739447B2 (en) | Failure factor analysis display method and failure factor analysis display device | |
| CN113822889A (en) | Method for detecting surface defects of hot-rolled steel plate | |
| JP4681426B2 (en) | Apparatus and method for analyzing relation between operation and quality in manufacturing process, computer program, and computer-readable recording medium | |
| JP7493128B2 (en) | Operation condition presentation method and operation condition presentation device | |
| JP7544000B2 (en) | Quality defect cause extraction method and quality defect cause extraction device | |
| JP7031713B1 (en) | Abnormality diagnosis model construction method, abnormality diagnosis method, abnormality diagnosis model construction device and abnormality diagnosis device | |
| Feyzioğlu et al. | Detection of defects in rolled stainless steel plates by machine learning models | |
| Hassan et al. | Highly efficient machine learning approach for automatic disease and color classification of olive fruits | |
| JP5501908B2 (en) | Factor analysis method, factor analysis device, and recording medium | |
| JP7635739B2 (en) | Quality prediction model generating device, quality prediction device, quality prediction model generating method, and quality prediction method | |
| CN119006397A (en) | Metal part defect detection method based on scale self-adaptive attention network | |
| JP7601031B2 (en) | Quality prediction model generating device, quality prediction device, quality prediction model generating method, and quality prediction method | |
| CN117910858A (en) | A quality evaluation method for online courses in motor vehicle driving training | |
| CN118786397A (en) | Cause inference device, cause inference method, cause inference system and terminal device | |
| EP4715722A1 (en) | Quality factor estimation method, operation condition change method, model generation method, quality factor estimation device, and operation condition change device | |
| TWI911922B (en) | Defective quality diagnosis device and method | |
| CN117831659B (en) | Method and device for online detection of quality of wide and thick plates, electronic equipment and storage medium | |
| TWI920767B (en) | Methods for creating material quality estimation models, material quality estimation methods, apparatus for creating material quality estimation models, material quality estimation apparatus, and system for creating material quality estimation models. | |
| CN120883237A (en) | Defective quality diagnostic device and method | |
| Singh et al. | Exploring the effectiveness of CNN and SVM algorithms for assessing fruit freshness | |
| Doutoum et al. | A Multi-Scale Feature Fusion Network for Detecting and Classifying Apple Leaf Diseases | |
| CN116955975B (en) | Deformation resistance self-learning coefficient diagnosis method, device, equipment and medium | |
| JP7406094B2 (en) | Class classification device, trained model generation unit, class inference unit, and class classification method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240805 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7544000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |