JP3869905B2

JP3869905B2 - Method and apparatus for inspecting non-metallic inclusions in metallic materials

Info

Publication number: JP3869905B2
Application number: JP07841897A
Authority: JP
Inventors: 睦季遠藤; 正己和島; 武博西村
Original assignee: Nittetsu Hokkaido Control Systems Co Ltd
Current assignee: Nittetsu Hokkaido Control Systems Co Ltd
Priority date: 1997-03-28
Filing date: 1997-03-28
Publication date: 2007-01-17
Anticipated expiration: 2017-03-28
Also published as: JPH10274650A

Description

【０００１】
【発明の属する技術分野】
本発明は、鋼材など金属材料中の非金属介在物を自動検査するための方法およびその装置に関するものである。
【０００２】
【従来の技術】
鋼材中の非金属介在物は、疲労強度など各種材料特性に多大の影響を及ぼすため、鏡面研磨した試料を金属顕微鏡でオペレーターが観察して、非金属介在物の種類を判別し、必要な検査データを算出していた。検査データとしては、JIS G 0555に規定される清浄度等が一般に採用されている。清浄度は、接眼鏡に縦横各２０本の格子線をもつガラス板を挿入して、被検査面をランダムに繰り返し検鏡し、介在物によって占められた格子点中心の数を数えて算出するものである。
【０００３】
金属顕微鏡による非金属介在物の観察には、介在物種類の判別に高度な判断力を要するうえ、ＪＩＳ規格では原則６０視野測定すると規定されているように、観察視野数が多いため根気も必要である。したがって、オペレーターに精神的および肉体的な負荷がかかっている。そこで、近年、顕微鏡像の画像処理を利用した検査の自動化が試みられている。
【０００４】
【発明が解決しようとする課題】
従来の非金属介在物自動検査においては、金属顕微鏡の観察視野毎に焦点合せを行うため処理速度が遅く、長時間を必要としていた。そのうえ画像処理では、非金属介在物とゴミなどの付着物との判別や、非金属介在物の種類の判別に際して誤認識の確率が高く、検査データの信頼性が不十分であった。
【０００５】
本発明は、鋼材など金属材料中の非金属介在物を自動検査するための方法およびその装置であって、従来よりも処理時間を大幅に短縮するとともに、非金属介在物とゴミなどの付着物との判別、および非金属介在物の種類の判別に際しては、誤認識の確率を低減することで信頼性を高め、人手による検査に置換え可能とすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するための本発明法は、金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する方法であって、焦点合せ、粗検査および精密検査を行い、焦点合せにおいては、試料面内のＸ方向およびＹ方向と高さ方向のＺ方向にそれぞれ位置調整可能な試料ステージに被検査試料を固定し、試料面のＸ方向傾斜およびＹ方向傾斜を求め、該各傾斜から被検査範囲各視野の焦点位置を演算し、粗検査においては、被検査範囲の全視野について、前記演算結果の焦点位置に合せつつ、試料ステージの全視野スキャニングを行い、ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定し、精密検査においては、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力することを特徴とする金属材料中の非金属介在物検査方法である。
【０００７】
また上記目的を達成するための本発明装置は、金属材料の鏡面研磨した試料面を金属顕微鏡により観察して非金属介在物を自動検査する装置であって、金属顕微鏡、該顕微鏡の試料ステージを試料面内のＸ方向およびＹ方向に位置調整するための試料ステージコントローラ、該試料ステージを高さ方向のＺ方向に位置調整するためのＺ軸コントローラ、試料面の顕微鏡像を撮像するためのＣＣＤカメラ、および演算制御処理装置からなり、演算制御処理装置は、焦点合せ機構、粗検査機構および精密検査機構を有し、焦点合せ機構は、試料面のＸ方向傾斜およびＹ方向傾斜から被検査範囲各視野の焦点位置を演算し、前記試料ステージコントローラおよびＺ軸コントローラを作動させる機構であり、粗検査機構は、被検査範囲の全視野について、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、試料ステージの全視野スキャニングを行うとともに、前記ＣＣＤカメラによる顕微鏡像の撮像結果を画像処理して異物の有無を判定する機構であり、精密検査機構は、前記試料ステージコントローラおよびＺ軸コントローラを作動させ、前記粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、および赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、前記異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力する機構であることを特徴とする金属材料中の非金属介在物検査装置である。
【０００８】
【発明の実施の形態】
本発明法を図１のブロック図に示す具体例により説明する。
金属顕微鏡１には試料ステージ２、Ｚ軸コントローラ４およびＣＣＤカメラ６が接続されている。そして、試料ステージ２には試料ステージコントローラ３が、ＣＣＤカメラ６にはカメラ用電源７が、それぞれ付設されている。
【０００９】
試料ステージコントローラ３およびＺ軸コントローラ４は、通信インターフェース５を経てホストパソコン１０に接続され、ＣＣＤカメラ６およびカメラ用電源７は、画像処理ボード８を経てホストパソコン１０に接続されている。画像処理ボード８には画像モニター９が付設されている。またホストパソコン１０には、キーボード１１、マウス１２、ＰＣ用モニター１３およびプリンター１４が、それぞれ接続されている。
【００１０】
試料ステージ２は、試料ステージコントローラ３によりＸ方向およびＹ方向に位置調整され、Ｚ軸コントローラ４によりＺ方向に位置調整される。Ｘ方向およびＹ方向は試料面内のたがいに直交する方向であり、Ｚ方向は試料面の高さ方向である。なおＺ軸コントローラ４は、レンズ切替えなど金属顕微鏡１本体のコントローラに試料ステージ２のＺ方向位置調整機能を付加したものであり、金属顕微鏡１を経て試料ステージ２をコントロールする。
【００１１】
本発明法を行うには、まず検査すべき金属材料の鏡面研磨したものを、金属顕微鏡１の試料ステージ２に固定する。ついで初期入力として、試料面の被検査範囲と出力すべき検査データをキーボード１１によりホストパソコン１０に入力し、試料ステージコントローラ３に対し試料面の初期被検査位置を指定する。その後、本発明法によりつぎの手順で自動検査が遂行される。
【００１２】
１．焦点合せ
1-1）試料ステージコントローラ３およびＺ軸コントローラ４が作動して試料ステージ２がＸＹＺ方向に位置調整され、被検査範囲の正方形または長方形のコーナー部４視野中の３視野に焦点を合せ、該３視野各中心点のＸＹＺ各座標点が読み取られ、ホストパソコン１０にて被検査範囲のＸ方向傾斜およびＹ方向傾斜を演算する。ただし、Ｘ，Ｙは試料面内の直交２方向、Ｚは高さ方向である。
1-2）上記３点のＸＹＺ各座標点とＸ方向傾斜およびＹ方向傾斜から、被検査範囲各視野毎に焦点のＺ座標点を演算する。
【００１３】
２．粗検査
2-1）被検査範囲の全視野について試料ステージ２が位置調整されつつ移動し、上記各視野毎のＺ座標点を焦点高さとして全視野スキャニングを行う。
2-2）ＣＣＤカメラ６による全視野の撮像結果を、ホストパソコン１０の指示に従って画像処理ボード８にて画像処理を行い、その結果からホストパソコン１０にて異物の有無を判別し、異物有りの視野位置を記憶する。
【００１４】
３．精密検査
3-1）上記異物有りの視野のみについて試料ステージ２が位置調整され、選択スキャニングを行う。
3-2）ＣＣＤカメラ６による上記異物有り視野の撮像結果を、ホストパソコン１０の指示に従って画像処理ボード８にて画像処理を行い、その結果からホストパソコン１０にて、異物が非金属介在物であるか否かを判別し、非金属介在物である場合はその種類を判別して、種類別の個数、大きさ、面積率等を計測する。JIS G 0555に規定される清浄度を出力する場合は、金属顕微鏡１の接眼鏡に挿入したガラス板の縦横各２０本の格子線で形成される格子点のうち、非金属介在物によって占められた格子点の数を計測する。
3-3）検査データを演算して表示および記録する。
【００１５】
上記手順において、検査データとしては、ＪＩＳに規定される非金属介在物清浄度のほか、非金属介在物の種類別および大きさ別個数等を出力することができる。
【００１６】
ここで、焦点合せにおける試料面のＸ方向傾斜およびＹ方向傾斜の求め方、および各視野毎の焦点のＺ座標点の求め方について図２〜図４により説明する。被検査範囲の正方形または長方形内に、図２のように顕微鏡視野が区切られているとする。Ｘ方向の全視野数をＸmax 、Ｙ方向の全視野数をＹmax 、試料ステージ２の移動により観察視野がＸ方向に移動した視野数をｉ、Ｙ方向に移動した視野数をｊとする。
【００１７】
被検査範囲のコーナー部４視野すなわちＡ，Ｂ，Ｃ，Ｄ中の３視野、例えばＡ，Ｂ，Ｃに焦点を合せ、Ａ視野のＺ座標を０とすると、Ｘ方向傾斜は図３のようにΔＡＢ／Ｘmax 、Ｙ方向傾斜は図４のようにΔＡＣ／Ｙmax となる。被検査範囲は平面であると仮定できるので、ＸＹ座標（ｉ，ｊ）の任意の観察視野における焦点位置のＺ座標点は、
Ｚ＝（ΔＡＢ／Ｘmax ）・ｉ＋（ΔＡＣ／Ｙmax ）・ｊ（１）
と表すことができる。
なお、Ａ，Ｂ，Ｃ各視野の焦点合せは、従来の顕微鏡で一般に採用されているオートフォーカスロジックににより行うことができる。
【００１８】
粗検査における異物有無の判別に際しては、ＣＣＤカメラ６の撮像結果を画像処理により２値化し、視野面積に対する異物らしきものの面積率が所定のしきい値を超えた場合、異物有りと判断することができ、１視野あたりの所要時間は数１００ｍｓｅｃである。
【００１９】
精密検査において、異物が非金属介在物であるか否かの判別、および非金属介在物である場合の介在物種類の判別は、ＣＣＤカメラ６の撮像結果を画像処理し、ニューロ・ファジー推論により行う。ニューロ・ファジーのパラメータとしては、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度を採用する。
【００２０】
非金属介在物の種類は、鋼材の場合、JIS G 0555に規定されるＡ系、Ｂ系およびＣ系、必要ある場合はさらにＡ1 系、Ａ2 系、Ｂ1 系、Ｂ2 系、Ｃ1 系、Ｃ2 系に判別することができる。非金属介在物以外の異物としては、付着したゴミなどの凸部およびホールや疵などの凹部を判別することができる。
ちなみに、Ａ系介在物は加工によって粘性変形したもの（硫化物、けい酸塩など）で、必要ある場合には、さらにＡ1 系（硫化物）とＡ2 系（けい酸塩）に分けると規定されている。Ｂ系介在物は加工方向に集団をなして不連続的に粒状の介在物が並んだもの（アルミナなど）で、Ｎｂ，Ｔｉ，Ｚｒの１種または２種以上を含む鋼においては、必要ある場合には、さらにＢ1 系（アルミナなどの酸化物系）とＢ2 系（Ｎｂ，Ｔｉ，Ｚｒの炭窒化物系）に分けると規定されている。また、Ｃ系介在物は粘性変形をしないで不規則に分散するもの（粒状酸化物など）で、Ｎｂ，Ｔｉ，Ｚｒの１種または２種以上を含む鋼においては、必要ある場合には、さらにＣ1 系（酸化物系）とＣ2 系（Ｎｂ，Ｔｉ，Ｚｒの炭窒化物系）に分けると規定されている。
【００２１】
形状パラメータの円形度ａ、複雑度ｂおよびアスペクト比ｃは、
ａ＝４π×（面積）／（周囲長）²
ｂ＝（周囲長）²／（面積）
ｃ＝（長径）／（短径）
で定義される。
【００２２】
ヒストグラムの分散度は、図５のように、ヒストパターン全面積に対する斜線で示す設定範囲中の面積の比率で定義される。また、ヒストグラムのパターン合致度は、あらかじめ既知の各種非金属介在物についてヒストグラムの標準パターンを作成しておき、未知異物について得られたヒストグラムを重ねたときの面積差と標準パターンの面積との比で定義される。
【００２３】
パターン合致度の例を示すと、図６（ｂ）のように、実線の標準パターンと破線で示す未知異物のヒストグラムパターンとの面積差、すなわち斜線部分の面積と標準パターンの面積との比がパターン合致度である。なお、未知異物のヒストグラムパターンのピーク位置が、図６（ａ）の破線のように標準パターンのピーク位置と一致しないときは、あらかじめ設定した範囲内のものについて、ピーク位置を図６（ｂ）のように一致させて面積差を求める。
【００２４】
本発明法におけるニューロ・ファジー推論は、上記各パラメータを採用して、従来から一般に行われている手法により行うことができる。すなわち上記各パラメータについて、既知異物の計測値をあらかじめ記憶させておき、未知異物の計測値を順次比較して判別する。判別結果については、熟練オペレーターが正認識か誤認識かを判定し、繰り返し学習させることで、正認識率を高めかつ判別速度を向上させていく。
【００２５】
つぎに本発明装置は、図１の例に示すように、金属顕微鏡１、試料ステージ２、試料ステージコントローラ３、Ｚ軸コントローラ４、ＣＣＤカメラ６、および演算制御処理装置からなる。演算制御処理装置は、焦点合せ機構、粗検査機構および精密検査機構を有する。
【００２６】
焦点合せ機構は、試料面のＸ方向傾斜およびＹ方向傾斜から被検査範囲各視野の焦点位置を演算し、試料ステージコントローラ３およびＺ軸コントローラ４を作動させる機構であり、図１の例ではホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、およびＣＣＤカメラ６で構成される。
【００２７】
粗検査機構は、被検査範囲の全視野について、試料ステージコントローラ３およびＺ軸コントローラ４を作動させ、試料ステージ２の全視野スキャニングを行うとともに、ＣＣＤカメラ６による顕微鏡像の撮像結果を画像処理して異物の有無を判定する機構であり、図１の例ではホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、およびＣＣＤカメラ６で構成される。
【００２８】
精密検査機構は、試料ステージコントローラ３およびＺ軸コントローラ４を作動させ、粗検査で異物有りと判定した各視野について選択スキャニングを行い、画像処理により、異物の円形度、複雑度およびアスペクト比からなる形状パラメータ、および赤緑青３原色のヒストグラムからなる色パラメータ、該ヒストグラムの分散度およびパターン合致度をパラメータとするニューロ・ファジー推論を行い、異物が非金属介在物であるか否か、非金属介在物である場合はその種類を判別し、必要データを出力する機構である
図１の例では、精密検査機構は、ホストパソコン１０、通信インターフェース５、試料ステージコントローラ３、Ｚ軸コントローラ４、画像処理ボード８、カメラ電源７、ＣＣＤカメラ６、ＰＣ用モニター１３およびプリンター１４で構成される。
そして、各機構の作用については、上記本発明法において説明したとおりである。
【００２９】
【実施例】
軸受鋼圧延材について４０個のサンプルを切り出し、圧延方向に平行な面を鏡面研磨して、図１に示す構成の本発明法および装置により非金属介在物の検査を行った。被検査範囲は各サンプルとも５mm×５mmの正方形とし、顕微鏡倍率は４００倍でそれぞれ２２０視野検査した。検査所要時間は、１サンプルあたり４分であった。
各サンプル内に存在した最大の異物について、本発明法および装置による自動判別結果と熟練オペレーターの判別結果とを対比し、熟練オペレーターの判別を正しいとすると、表１に示すように、正認識数は合計４０個中３６個であり、正解率９０％であった。
【００３０】
判別例を図７、図８および図９に示す。各図において、左側はＣＣＤカメラで撮像後、画像処理により２値化した像、右側は３原色のヒストグラムである。図７はサルファイド（硫化物）、図８はオキサイド（酸化物）、図９は付着したゴミと判別したものである。
【００３１】
【表１】

【００３２】
【発明の効果】
本発明法および装置の採用により、従来、オペレーターに多大な精神的および肉体的な負荷がかかっていた非金属介在物検査の自動化が、実用レベルで可能となる。すなわち従来の自動化処理では長時間を要し、かつ介在物種類の判別結果においては誤認識の確率が高く、信頼性が不十分であったが、実用レベルの時間で正認識率９０％以上が可能である。
【図面の簡単な説明】
【図１】本発明法および装置の構成例を示すブロック図である。
【図２】本発明法および装置における焦点合せ機構の説明図である。
【図３】本発明法および装置における試料面のＸ方向傾斜の説明図である。
【図４】本発明法および装置における試料面のＹ方向傾斜の説明図である。
【図５】本発明法および装置におけるヒストグラム分散度の説明図である。
【図６】本発明法および装置におけるヒストグラムのパターン合致度の説明図である。
【図７】本発明法および装置の実施例における判別結果の例を示す画像およびヒストグラムである。
【図８】本発明法および装置の実施例における判別結果の別の例を示す画像およびヒストグラムである。
【図９】本発明法および装置の実施例における判別結果の別の例を示す画像およびヒストグラムである。
【符号の説明】
１…金属顕微鏡
２…試料ステージ
３…試料ステージコントローラ
４…Ｚ軸コントローラ
５…通信インターフェース
６…ＣＣＤカメラ
７…カメラ用電源
８…画像処理ボード
９…画像モニター
１０…ホストパソコン
１１…キーボード
１２…マウス
１３…ＰＣ用モニター
１４…プリンター[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for automatically inspecting non-metallic inclusions in a metal material such as steel.
[0002]
[Prior art]
Non-metallic inclusions in steel have a great influence on various material properties such as fatigue strength, so an operator observes a mirror-polished sample with a metal microscope to determine the type of non-metallic inclusions and necessary inspections. Data was calculated. As the inspection data, the cleanliness specified in JIS G 0555 is generally adopted. The cleanliness is calculated by inserting a glass plate having 20 grid lines in the vertical and horizontal directions into the eyepiece, repetitively examining the surface to be inspected, and counting the number of grid point centers occupied by inclusions. Is.
[0003]
Observing non-metallic inclusions with a metallurgical microscope requires a high level of judgment to discriminate the type of inclusions. In addition, as JIS standards stipulate that 60 fields of view should be measured in principle, patience is required because of the large number of fields of observation. It is. Therefore, there is a mental and physical burden on the operator. In recent years, therefore, attempts have been made to automate inspection using image processing of microscopic images.
[0004]
[Problems to be solved by the invention]
In the conventional automatic inspection of non-metallic inclusions, since the focusing is performed for each observation field of the metal microscope, the processing speed is slow and a long time is required. In addition, in image processing, there is a high probability of misrecognition when discriminating between non-metallic inclusions and deposits such as dust and the type of non-metallic inclusions, and the reliability of inspection data is insufficient.
[0005]
The present invention is a method and apparatus for automatically inspecting non-metallic inclusions in a metal material such as steel, and the processing time is significantly shortened compared to the prior art, and non-metallic inclusions and deposits such as dust And the type of non-metallic inclusions are intended to increase the reliability by reducing the probability of misrecognition and to be replaced by manual inspection.
[0006]
[Means for Solving the Problems]
The method of the present invention for achieving the above object is a method of automatically inspecting a non-metallic inclusion by observing a mirror-polished sample surface of a metal material with a metal microscope, and performing focusing, rough inspection and fine inspection. In focusing, the sample to be inspected is fixed to a sample stage whose position can be adjusted in the X direction, the Y direction, and the height Z direction in the sample surface, and the X direction inclination and Y direction inclination of the sample surface are obtained. The focal position of each field of the inspection range is calculated from the respective inclinations, and in the rough inspection, the entire visual field of the inspection range is scanned with the entire visual field of the sample stage while matching the focal position of the calculation result. The microscopic image captured by the camera is image-processed to determine the presence or absence of foreign matter, and in the fine inspection, selective scanning is performed for each field of view determined to have foreign matter in the rough inspection, and image processing is performed. The fuzzy inference is performed using the shape parameter including the circularity, complexity and aspect ratio of the foreign material, the color parameter including the histogram of the three primary colors of red, green, and blue, and the variance and pattern matching degree of the histogram as parameters. Whether or not is a non-metallic inclusion, if it is a non-metallic inclusion, the type of the non-metallic inclusion is determined, and necessary data is output.
[0007]
The apparatus of the present invention for achieving the above object is an apparatus for automatically inspecting a non-metallic inclusion by observing a mirror-polished sample surface of a metal material with a metal microscope, and comprising a sample stage of the metal microscope and the microscope. Sample stage controller for adjusting the position in the X and Y directions in the sample surface, Z axis controller for adjusting the position of the sample stage in the Z direction in the height direction, CCD for taking a microscope image of the sample surface The arithmetic control processing apparatus includes a focusing mechanism, a rough inspection mechanism, and a fine inspection mechanism, and the focusing mechanism is inspected from the X direction inclination and the Y direction inclination of the sample surface. This is a mechanism that calculates the focal position of each field of view and operates the sample stage controller and the Z-axis controller. The coarse inspection mechanism covers the entire field of view to be inspected. A mechanism for operating the sample stage controller and the Z-axis controller to perform full-field scanning of the sample stage, and for determining the presence or absence of foreign matter by performing image processing on a microscopic image picked up by the CCD camera. Operates the sample stage controller and the Z-axis controller, performs selective scanning for each field of view determined to have foreign matter in the rough inspection, and by image processing, shape parameters including the circularity, complexity, and aspect ratio of the foreign matter, And a fuzzy inference using a color parameter composed of a histogram of three primary colors of red, green, and blue, and a degree of dispersion and pattern matching of the histogram, and whether or not the foreign matter is a nonmetallic inclusion. If there is, determine the type and output the necessary data Non-metallic inclusions testing device for a metallic material which is a structure.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
The method of the present invention will be described with reference to a specific example shown in the block diagram of FIG.
A sample stage 2, a Z-axis controller 4 and a CCD camera 6 are connected to the metal microscope 1. A sample stage controller 3 is attached to the sample stage 2, and a camera power source 7 is attached to the CCD camera 6.
[0009]
The sample stage controller 3 and the Z-axis controller 4 are connected to the host personal computer 10 via the communication interface 5, and the CCD camera 6 and the camera power supply 7 are connected to the host personal computer 10 via the image processing board 8. An image monitor 9 is attached to the image processing board 8. Further, a keyboard 11, a mouse 12, a PC monitor 13 and a printer 14 are connected to the host personal computer 10.
[0010]
The position of the sample stage 2 is adjusted in the X direction and the Y direction by the sample stage controller 3, and the position is adjusted in the Z direction by the Z axis controller 4. The X direction and the Y direction are directions orthogonal to each other within the sample surface, and the Z direction is the height direction of the sample surface. The Z-axis controller 4 is obtained by adding a function of adjusting the Z-direction position of the sample stage 2 to the controller of the metal microscope 1 main body such as lens switching, and controls the sample stage 2 via the metal microscope 1.
[0011]
In order to carry out the method of the present invention, a mirror-polished metal material to be inspected is first fixed to the sample stage 2 of the metal microscope 1. Next, as the initial input, the inspection range on the sample surface and the inspection data to be output are input to the host personal computer 10 by the keyboard 11, and the initial inspection position on the sample surface is designated to the sample stage controller 3. Thereafter, automatic inspection is carried out by the method of the present invention according to the following procedure.
[0012]
1. Focus
1-1) The sample stage controller 3 and the Z-axis controller 4 are operated to adjust the position of the sample stage 2 in the X, Y, and Z directions, and focus on the three visual fields in the square or rectangular corner 4 fields of the inspection range. The XYZ coordinate points of the three visual field center points are read, and the host personal computer 10 calculates the X direction inclination and the Y direction inclination of the inspection range. However, X and Y are two orthogonal directions in a sample surface, and Z is a height direction.
1-2) The Z coordinate point of the focal point is calculated for each field of the inspection range from each of the three XYZ coordinate points, the X direction inclination, and the Y direction inclination.
[0013]
2. Coarse inspection
2-1) The sample stage 2 moves while adjusting the position of the entire visual field in the inspection range, and full-field scanning is performed with the Z coordinate point for each visual field as the focal height.
2-2) The image processing result of the entire field of view by the CCD camera 6 is processed by the image processing board 8 according to the instruction of the host personal computer 10, and the presence or absence of foreign matter is determined by the host personal computer 10 from the result. The visual field position is memorized.
[0014]
3. Detailed examination
3-1) The position of the sample stage 2 is adjusted only for the visual field with the foreign matter, and selective scanning is performed.
3-2) The imaging result of the visual field with the foreign matter by the CCD camera 6 is processed by the image processing board 8 according to the instruction of the host personal computer 10, and the foreign matter is non-metallic inclusion in the host personal computer 10 from the result. It is determined whether or not it is a non-metallic inclusion, the type is determined, and the number, size, area ratio, etc. of each type are measured. When outputting the cleanliness specified in JIS G 0555, it is occupied by non-metallic inclusions among the lattice points formed by 20 lattice lines in the vertical and horizontal directions of the glass plate inserted in the eyepiece of the metal microscope 1. Measure the number of grid points.
3-3) Calculate and display and record the inspection data.
[0015]
In the above procedure, as inspection data, in addition to the cleanliness of nonmetallic inclusions stipulated by JIS, the type and number of sizes of nonmetallic inclusions can be output.
[0016]
Here, a method for obtaining the X-direction inclination and the Y-direction inclination of the sample surface in focusing and a method for obtaining the Z coordinate point of the focus for each field of view will be described with reference to FIGS. It is assumed that the microscope field of view is divided as shown in FIG. Let Xmax be the total number of visual fields in the X direction, Ymax be the total number of visual fields in the Y direction, i be the number of visual fields in which the observation visual field has moved in the X direction due to the movement of the sample stage 2, and j be the number of visual fields moved in the Y direction.
[0017]
Focusing on four visual fields in the corner of the inspection range, that is, three visual fields in A, B, C, and D, for example, A, B, and C, and setting the Z coordinate of the A visual field to 0, the inclination in the X direction is as shown in FIG. ΔAB / Xmax and the inclination in the Y direction is ΔAC / Ymax as shown in FIG. Since it can be assumed that the inspection range is a plane, the Z coordinate point of the focal position in any observation field of the XY coordinates (i, j) is
Z = (ΔAB / Xmax) · i + (ΔAC / Ymax) · j (1)
It can be expressed as.
In addition, focusing of each visual field of A, B, and C can be performed by an autofocus logic generally employed in a conventional microscope.
[0018]
When determining the presence or absence of foreign matter in the rough inspection, the imaging result of the CCD camera 6 is binarized by image processing, and it is determined that there is a foreign matter when the area ratio of what appears to be foreign matter to the visual field area exceeds a predetermined threshold. The required time per field of view is several hundred msec.
[0019]
In the fine inspection, the determination of whether or not the foreign matter is a non-metallic inclusion, and the determination of the type of inclusion in the case of a non-metallic inclusion are performed by image processing of the imaging result of the CCD camera 6 and by neuro-fuzzy inference Do. As the parameters of the neuro fuzzy, a shape parameter composed of the circularity, complexity and aspect ratio of the foreign material, a color parameter composed of a histogram of three primary colors of red, green and blue, a degree of dispersion of the histogram and a degree of pattern matching are adopted.
[0020]
The types of non-metallic inclusions are A, B and C as specified in JIS G 0555 in the case of steel, and if necessary, A1, A2, B1, B2, C1, C2 Can be determined. As foreign matters other than non-metallic inclusions, it is possible to discriminate convex portions such as attached dust and concave portions such as holes and ridges.
By the way, A-type inclusions are those that are viscously deformed by processing (sulfides, silicates, etc.). If necessary, they are further divided into A1 (sulfides) and A2 (silicates). ing. B-based inclusions are a group of discontinuous granular inclusions formed in the processing direction (alumina, etc.), and are necessary for steels containing one or more of Nb, Ti, and Zr. In some cases, it is specified that the material is further divided into a B1 system (oxide system such as alumina) and a B2 system (carbonitride system of Nb, Ti, Zr). In addition, C-based inclusions are irregularly dispersed without causing viscous deformation (such as granular oxide), and in steels containing one or more of Nb, Ti, and Zr, if necessary, Further, it is specified that the materials are classified into C1 type (oxide type) and C2 type (Nb, Ti, Zr carbonitride type).
[0021]
The shape parameters circularity a, complexity b and aspect ratio c are:
a = 4π × (area) / (perimeter) ²
b = (perimeter) ² / (area)
c = (major axis) / (minor axis)
Defined by
[0022]
As shown in FIG. 5, the degree of dispersion of the histogram is defined by the ratio of the area in the setting range indicated by diagonal lines to the total area of the histogram pattern. In addition, the degree of pattern matching of the histogram is the ratio of the difference between the area of the standard pattern and the area of the standard pattern created by overlaying the histograms obtained for unknown foreign objects by creating a standard pattern of histograms for various known nonmetallic inclusions in advance. Defined by
[0023]
As an example of the pattern matching degree, as shown in FIG. 6B, the area difference between the standard pattern of the solid line and the histogram pattern of the unknown foreign substance shown by the broken line, that is, the ratio between the area of the hatched portion and the area of the standard pattern is The degree of pattern matching. Note that when the peak position of the histogram pattern of the unknown foreign matter does not coincide with the peak position of the standard pattern as shown by the broken line in FIG. 6A, the peak positions of those within the preset range are shown in FIG. The area difference is obtained by matching as follows.
[0024]
The neuro-fuzzy inference in the method of the present invention can be performed by a method generally used in the past, employing the above parameters. That is, for each of the above parameters, the measured value of the known foreign matter is stored in advance, and the measured value of the unknown foreign matter is sequentially compared and determined. As for the determination result, the skilled operator determines whether the recognition is correct recognition or incorrect recognition and repeatedly learns, thereby increasing the correct recognition rate and improving the determination speed.
[0025]
Next, as shown in the example of FIG. 1, the device of the present invention includes a metal microscope 1, a sample stage 2, a sample stage controller 3, a Z-axis controller 4, a CCD camera 6, and an arithmetic control processing device. The arithmetic control processor has a focusing mechanism, a rough inspection mechanism, and a fine inspection mechanism.
[0026]
The focusing mechanism is a mechanism that calculates the focal position of each field to be inspected from the X-direction tilt and Y-direction tilt of the sample surface, and operates the sample stage controller 3 and the Z-axis controller 4. In the example of FIG. A personal computer 10, a communication interface 5, a sample stage controller 3, a Z-axis controller 4, an image processing board 8, a camera power supply 7, and a CCD camera 6 are included.
[0027]
The coarse inspection mechanism operates the sample stage controller 3 and the Z-axis controller 4 for the entire field of view to be inspected, performs the entire field scanning of the sample stage 2, and performs image processing on the imaging result of the microscope image by the CCD camera 6. In the example of FIG. 1, the mechanism includes a host personal computer 10, a communication interface 5, a sample stage controller 3, a Z-axis controller 4, an image processing board 8, a camera power supply 7, and a CCD camera 6. The
[0028]
The precision inspection mechanism operates the sample stage controller 3 and the Z-axis controller 4, performs selective scanning for each field of view determined as having foreign matters in the rough inspection, and includes the circularity, complexity, and aspect ratio of the foreign matters by image processing. Performs neuro fuzzy inference using shape parameters, color parameters consisting of histograms of the three primary colors of red, green and blue, and the degree of dispersion and pattern matching of the histograms to determine whether or not the foreign matter is nonmetallic inclusions. In the example of FIG. 1, which is a mechanism for discriminating the type of the object and outputting necessary data, the precision inspection mechanism is the host personal computer 10, the communication interface 5, the sample stage controller 3, the Z-axis controller 4, and the image processing. Board 8, camera power supply 7, CCD camera 6, PC monitor 13 and pre Composed of a coater 14.
The operation of each mechanism is as described in the method of the present invention.
[0029]
【Example】
Forty rolling samples of the rolled bearing steel were cut out, and the surfaces parallel to the rolling direction were mirror-polished, and non-metallic inclusions were inspected by the method and apparatus of the present invention having the configuration shown in FIG. The inspection range was a square of 5 mm × 5 mm for each sample, and a 220 magnification inspection was performed at a microscope magnification of 400 times. The time required for the inspection was 4 minutes per sample.
For the largest foreign substance present in each sample, the automatic discrimination result by the method and apparatus of the present invention is compared with the discrimination result of the skilled operator. The total number was 36 out of 40, and the accuracy rate was 90%.
[0030]
Examples of discrimination are shown in FIG. 7, FIG. 8, and FIG. In each figure, the left side is an image binarized by image processing after being imaged by a CCD camera, and the right side is a histogram of three primary colors. FIG. 7 shows sulfide (sulfide), FIG. 8 shows oxide (oxide), and FIG. 9 shows attached dust.
[0031]
[Table 1]

[0032]
【The invention's effect】
By adopting the method and apparatus of the present invention, it is possible to automate the inspection of non-metallic inclusions, which has hitherto been a great mental and physical burden on the operator, at a practical level. In other words, the conventional automation processing takes a long time, and the inclusion type discrimination result has a high probability of erroneous recognition, and the reliability is insufficient. However, the correct recognition rate is 90% or more in practical time. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of the method and apparatus of the present invention.
FIG. 2 is an explanatory diagram of a focusing mechanism in the method and apparatus of the present invention.
FIG. 3 is an explanatory diagram of the X-direction tilt of the sample surface in the method and apparatus of the present invention.
FIG. 4 is an explanatory diagram of the inclination of the sample surface in the Y direction in the method and apparatus of the present invention.
FIG. 5 is an explanatory diagram of histogram dispersion in the method and apparatus of the present invention.
FIG. 6 is an explanatory diagram of a pattern matching degree of a histogram in the method and apparatus of the present invention.
FIG. 7 is an image and a histogram showing examples of discrimination results in the embodiment of the method and apparatus of the present invention.
FIG. 8 is an image and a histogram showing another example of the discrimination result in the embodiment of the method and apparatus of the present invention.
FIG. 9 is an image and a histogram showing another example of the discrimination result in the embodiment of the method and apparatus of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Metal microscope 2 ... Sample stage 3 ... Sample stage controller 4 ... Z-axis controller 5 ... Communication interface 6 ... CCD camera 7 ... Camera power supply 8 ... Image processing board 9 ... Image monitor 10 ... Host personal computer 11 ... Keyboard 12 ... Mouse 13 ... PC monitor 14 ... Printer

Claims

A method of automatically inspecting non-metallic inclusions by observing a mirror-polished sample surface of a metal material with a metal microscope, and performing focusing, rough inspection, and precise inspection. The specimen to be inspected is fixed to a specimen stage whose position can be adjusted in the Y direction and the Z direction in the height direction, and the X direction inclination and the Y direction inclination of the specimen surface are obtained, and the focus of each field to be inspected from the inclination. The position is calculated, and in the rough inspection, the entire visual field of the inspection range is adjusted to the focal position of the calculation result while performing the entire visual field scanning of the sample stage, and the imaging result of the microscope image by the CCD camera is processed. In the close inspection, selective scanning is performed for each field of view determined as having foreign objects in the rough inspection, and the circularity, complexity, and A shape parameter composed of a spectral ratio, a color parameter composed of a histogram of three primary colors of red, green, and blue, and a neuro-fuzzy inference using the dispersion degree and pattern matching degree of the histogram as parameters, and whether or not the foreign matter is a nonmetallic inclusion. A method for inspecting a non-metallic inclusion in a metal material, characterized in that if it is a non-metallic inclusion, its type is determined and necessary data is output.

An apparatus for automatically inspecting a non-metallic inclusion by observing a mirror-polished sample surface of a metal material with a metal microscope, and adjusting the position of the metal microscope and the sample stage of the microscope in the X and Y directions in the sample surface A sample stage controller, a Z-axis controller for adjusting the position of the sample stage in the Z direction in the height direction, a CCD camera for taking a microscopic image of the sample surface, and an arithmetic control processing device. The apparatus has a focusing mechanism, a rough inspection mechanism, and a fine inspection mechanism. The focusing mechanism calculates the focal position of each field of the inspection range from the X direction inclination and Y direction inclination of the sample surface, and the sample stage controller. And the Z axis controller, and the coarse inspection mechanism is configured so that the sample stage controller and the Z axis And a full-field scanning of the sample stage, and the image processing result of the microscopic image obtained by the CCD camera is subjected to image processing to determine the presence or absence of foreign matter. The precision inspection mechanism includes the sample stage controller and Z Operate the axis controller, perform selective scanning for each field of view determined to have foreign matter in the rough inspection, and from image processing, shape parameters consisting of the circularity, complexity and aspect ratio of the foreign matter, and a histogram of the three primary colors of red, green and blue Neuro fuzzy inference using the following color parameters, the degree of dispersion of the histogram and the degree of pattern matching as parameters, and whether or not the foreign substance is a non-metallic inclusion is determined. , Non-gold in metal materials, characterized by a mechanism for outputting necessary data Inclusions inspection apparatus.