JP4658779B2 - 疵検出方法、装置、及びコンピュータプログラム - Google Patents

Description

本発明は、特にストライプパターンのような模様や溝が形成された帯状体の表面の疵を検出する疵検出方法、装置、及びコンピュータプログラムに関する。

従来から、鋼板や樹脂フィルム等の帯状体の製造工程において、通板する帯状体の表面をＣＣＤカメラのような撮像装置により撮影して得られる撮像画像に基づいて、帯状体表面の疵を検出することが行われている。しかしながら、帯状体によっては表面にストライプパターンで適度な溝や模様を形成することで、磁気特性向上（たとえば電磁鋼板）や装飾性向上を図っているものがある。これらのストライプパターンは、地合レベルと比較して、輝度変化が激しいことから、疵と同様に検出されてしまうため、これらの中から、有害な疵部のみを検出しかつ判定する必要があった。

このような問題を解決するには、撮像画像から抽出される疵候補から疵を識別して疵の種類および程度を判別する手段として、ロジックテーブル方式を用いる技術が知られている。これは、疵部の複数の特徴量それぞれにおいて、上下限値を設定することで表現される複数の判別規則を用いて、疵の種類および程度を判別する方法である。特許文献１では、疵画像のサンプルデータを収集し、このデータを用いて疵の種類および程度を判別する判別手段を自動生成する機能を備える疵検査装置が開示されている。

一方、疵のない検査対象の画像を基準として、これと撮影画像を比較し、同じ画像位置で、その特徴量の差異を調べて疵を検出する手法（二次元画像で比較）が、プリント基板の検査などで取り入れてきた。例えば特許文献２には、模様のある工業製品の欠陥を検出するために、マスター画像（基準）とターゲット画像（検査対象）との全ての対応画像において、小領域単位で正規化マッチングを行って、マッチング率の低い小領域を抽出し、その中よりターゲット画像中の欠陥を検出する手法が開示されている。

特開２００１−３１４９８２号公報 特開２００１−３０７０６７号公報

しかしながら、上記従来技術では、以下のような問題がある。特許文献１に開示されている技術は、ストライプパターンのような背景パターンも疵候補として抽出するので、最終的にこの疵候補を無害と判定させる必要がある。しかしながら、疵候補の複数の特徴量を算出する必要があるため、撮影画像に占める背景パターンが疵候補として数が増えると、データ処理に時間や不可が膨大になり、リアルタイム検査できなくなるという問題がある。

特許文献２に開示されている技術では、比較するマスター画像とターゲット画像を比較するため、ターゲット画像の背景パターンの位置を、マスター画像の背景パターンの位置に正確に一致させる必要があるが、鋼板製造工程での疵検査のように、製造ライン中の移動している鋼板の疵検査を行っている場合には、時々刻々とターゲット画像が変化するため、背景パターンの位置決めをリアルタイムで実現するのが困難であるという問題がある。また、被検査体の種類、大きさに合わせた、マスター画像を数多く予め準備しなければいけないため、現場での調整に時間を要し、また、メンテナンス費用や設備費が高くなるといった問題もある。

上記の問題に鑑みて、本発明の目的は、表面にストライプパターンを有する検査対象について、その画像データに基づいて疵を検出するに際して、従来と比べて簡略な構成により、撮影画像から、背景パターンであるストライプパターンの影響を除去し、有害な疵を正確に検出可能にすることである。

本発明の疵検出方法は、側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて帯状体の表面の撮像画像を得て、前記撮像画像に基づいて前記帯状体の疵を検出する疵検出方法であって、前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換ステップと、前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出ステップと、前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去ステップと、前記背景パターン除去画像において疵候補を抽出するステップと、前記疵候補に基づいて疵判定するステップとによって、疵検出することを特徴とする。

また、本発明の疵検出方法は、前記座標変換が、前記傾斜角度θに基づく所定の線形座標変換であることを特徴とする。

また、本発明の疵検出方法は、前記背景パターン画像抽出ステップは、所定の空間フィルター処理によってストライプパターンを強調処理して背景パターンを抽出することを特徴とする。

また、本発明の疵検出装置は、側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて帯状体の表面の撮像画像を得て、前記撮像画像に基づいて前記帯状体の疵を検出する疵検出装置であって、前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換手段と、前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出手段と、前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去手段と、前記背景パターン除去画像において疵候補を抽出する手段と、前記疵候補に基づいて疵判定する手段とからなることを特徴とする。

また、本発明のコンピュータプログラムは、側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて得た帯状体の表面の撮像画像に基づいて、前記帯状体の疵を検出する疵検出処理をコンピュータに実行させるコンピュータプログラムであって、前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換処理と、前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出処理と、前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去処理と、前記背景パターン除去画像において疵候補を抽出する処理と、前記疵候補に基づいて疵判定する処理とによって疵検出する一連の処理をコンピュータに実行させることを特徴とする。

本発明によると、画像から、疵候補抽出や疵判定を行う前に検査対象の背景パターンである傾斜したストライプパターンを除去することができ、背景パターンを誤検出することがなくなり、有害疵のみを正確に検出できる。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。図１は、本発明の実施の形態に係る疵検出装置の概略を示す図である。本実施の形態では、検査対象は鉄鋼プラントの製造工程を流れる鋼板１である。

ロール２により連続的に移送される鋼板１は、照明装置３（通常蛍光灯あるいはファイバー照明を使用）により照明され、ラインセンサであるＣＣＤカメラ４で撮像される。ラインごとに撮像された画像が蓄積され、一枚の画像として構成される。鋼板１は各種あり、その幅が１ｍ〜４ｍ程度であり、幅に合わせてＣＣＤカメラ４は通常３，４台並列に並べられる。ＣＣＤカメラ４により撮像され構成された鋼板表面の画像（例えば２０４８×５１２画素）が得られる。

本実施の形態では、撮像された撮像画像を対象に、座標変換部５で座標変換処理を行った後、背景パターン抽出部６で、背景パターンのみを抽出し、背景パターン除去部７で背景パターンのみを除去し、その後、疵候補抽出部８で、有害な疵候補を抽出する。そして、疵判定部９で疵種と有害度を判定する。その後、有害疵表示部１０に疵、特に有害疵を表示する。

図２に、撮像される鋼板画像の一例の概略図を示す。図２に示す画像では、ほぼ中央部に鋼板１があり、鋼板１のエッジ１１の外側にはロール２の地肌が写っている。ストライプパターン１２は、鋼板の幅方向に対して傾斜角度θで、ピッチＰで撮像されている。加えて、点状形態の疵１３と縦線状形態の疵１４が撮像されている。

次に、図３を参照して図１に関連付けながら、本発明の疵検出方法の一実施形態である疵検査フローを説明する。本実施の形態では、鋼板の幅方向に対して傾斜角度θのストライプパターンを背景パターンとする鋼材の撮像画像から、まず簡易な方法で背景パターンを抽出し、その後背景パターンのみを除去して疵候補を抽出する。そして、その疵候補について疵種と有害度の判定を行う。

ステップＳ１では、鋼板表面を撮像した画像（原画像）について、背景パターンであるストライプパターンが水平方向になるように画像変換して座標変換画像を得る。仮に鋼板の幅方向にＸ軸、移動方向にＹ軸をとることにする。原画像内のある点Ｐの変換前の座標をＸ、Ｙ、座標変換後の点Ｐ’の座標をＸ’、Ｙ’とすると、以下の演算式（１）により図２に示す各撮像画像内の各点（ストライプパターン１２、点状形態の疵１３、縦線状形態の疵１４）は、図５に示す座標変換画像内の点（ストライプパターン２２、点状形態の疵２３、縦線状形態の疵２４）にそれぞれ座標変換することができる。（図１の座標変換部５の機能）

撮像画像は、通常、鋼板のライン通板速度検出手段（ＰＬＧ）によって、製造ラインごとに撮像するタイミングがライン通板速度と同期しているため、常に、同一分解能での撮像画像が得られること、さらに、鋼材のストライプパターンは、通常圧延ロールで転写させ生成させるため、常に一定であることから、ストライプパターンの傾斜角θは、パターンの種類に応じて予め設定値を準備しておくことが可能である。

また、図７のように、ストライプパターンのストライプが切断される場合には、ストライプが切断されているＸ軸上の位置Ｘ１１で、図７（ａ）、図７（ｂ）のように画像を分割してから座標変換することができる。図８のようにストライプパターンの傾斜角が異なっている場合には、ストライプの傾斜角が変化しているＸ軸上の位置Ｘ１２で、図８（ａ）、図８（ｂ）のように画像を分割してから座標変換するとよい。

鋼材のストライプパターンは鋼材製造途中で変化することはないから、予め設定値を準備しておくことで容易に座標分割処理を行うＸ座標を設定することが可能である。

ステップＳ２では、座標変換画像から、ストライプパターンのみを抽出するためにＸ軸成分のみを強調する空間フィルター処理を行う。１行Ｎ列のフィルター行列Ｗを元画像の全ての画素ｆ（ｉ，ｊ）に対して、以下の演算式（２）で、空間フィルター処理したときの処理画像をｇ（ｉ，ｊ）を算出できる。

ここで、例えば、フィルター行列Ｗとしては１行６４列の行列、式（３）を用いれば良い。

通常鋼板に発生する疵は、点状形態、縦線状形態（ライン進行方向に平行な線状疵）、横線状形態（ライン進行方向に垂直な線状疵）であり、傾斜角度θの線状疵が生じることはほとんど無いから、座標変換後の疵形態は空間フィルターによって強調されずに、ストライプパターンのみが強調された図５に示す背景パターン抽出画像が得られる。ここで、空間フィルター行列のサイズは、有害疵を強調しないように、十分に大きく確保することが望ましく、実用化に当たっては、空間フィルター行列の列数は６４列以上であると、有害疵はほとんど強調されず好ましい結果が得られた。なお、Ｘ軸成分のみを強調する空間フィルターは、上記の処理に限定したものではなくＸ方向の微分を行ってＸ方向微分画像を得ても良い。（図１の背景パターン抽出部６の機能）

ステップＳ３では、ステップＳ１で得られた座標変換画像（図４）と背景パターン抽出画像（図５）の全ての対応画素の間で、減算処理を行うことで、背景パターンの除去処理をすることができ、背景パターン除去画像（図６）を得る。（図１の背景パターン除去部７の機能）

またステップＳ３では、背景パターン除去画像をステップＳ１の座標変換の逆変換の演算式（４）を行うことで変換前の座標に戻すことができ、疵の大きさやその発生位置を把握しやすくすることが可能である。

ステップＳ４では、背景パターン除去された図６の画像に対して、疵候補を抽出する。疵候補は、例えば１２８×１２８画素程度の大きさで抽出する。疵候補を抽出する手段としては特許文献１や特許文献２等に開示されている公知の手段を使用しても良い。（図１の疵候補抽出部８の機能）

ステップＳ５では、抽出された疵候補から疵判定を行い、疵種および有害度が判定され（図１の疵判定部９の機能）、最後にステップＳ６で、疵判定の結果、有害疵があればそれを表示装置に表示する。

このようにして、撮像画像から、背景パターンとなるストライプパターンを除去し、有害な疵を正確に検出可能にすることができるので、背景パターンの誤検出の問題に煩わされることがない。

前述した本発明の実施の形態における疵検出装置、並びに疵検出方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたコンピュータプログラムが動作することによって実現できる。具体的に、前記コンピュータプログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記コンピュータプログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記コンピュータプログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。

また、コンピュータが供給されたプログラムを実行することにより前述した実施の形態における各機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して前述した実施の形態の各機能が実現される場合や、供給されたプログラムの処理の全て或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて前述した実施の形態における各機能が実現される場合も、かかるプログラムは本発明に含まれる。

本実施形態に係る疵検出装置の概略を示す図である。 背景パターンにストライプパターンを有する鋼板の撮像画像を示す図である。 本実施形態に係る疵検出を説明するためのフローチャートである。 撮像画像の座標変換後画像を示す図である。 背景パターン抽出画像を示す図である。 背景パターンを除去した画像を示す図である。 他の背景パターンを有する鋼板の撮像画像（元図）を示す図であり、（ａ）及び（ｂ）は元図を画像分割した例を示す図である。 他の背景パターンを有する鋼板の撮像画像（元図）を示す図であり、（ａ）及び（ｂ）は元図を画像分割した例を示す図である。

符号の説明

１ 鋼板
２ ロール
３ 照明装置
４ ＣＣＤカメラ
５ 座標変換部
６ 背景パターン抽出部
７ 背景パターン除去部
８ 疵候補抽出部
９ 疵判定部
１０ 有害疵表示部
１１ エッジ
１２ ストライプパターン
１３ 点状形態の疵
１４ 縦線状形態の疵
２２ ストライプパターン（座標変換後画像）
２３ 点状形態の疵（座標変換後画像）
２４ 縦線状形態の疵（画像変換後画像）
Ｘ１１ 位置（ストライプパターンの切断位置）
Ｘ１２ 位置（ストライプパターンの傾斜角度変化位置）

Claims (6)

1. 側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて帯状体の表面の撮像画像を得て、前記撮像画像に基づいて前記帯状体の疵を検出する疵検出方法であって、
   前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換ステップと、
   前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出ステップと、
   前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去ステップと、
   前記背景パターン除去画像において疵候補を抽出するステップと、
   前記疵候補に基づいて疵判定するステップとによって、疵検出することを特徴とする疵検出方法。
2. 前記座標変換は、前記傾斜角度θに基づく所定の線形座標変換であることを特徴とする請求項１に記載の疵検出方法。
3. 前記背景パターン画像抽出ステップは、所定の空間フィルター処理によってストライプパターンを強調処理して背景パターンを抽出することを特徴とする請求項１又は２に記載の疵検出方法。
4. 前記背景パターン除去ステップは、前記座標変換画像から背景パターン抽出画像を減算処理することを特徴とする請求項１〜３のいずれか１項に記載の疵検出方法。
5. 側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて帯状体の表面の撮像画像を得て、前記撮像画像に基づいて前記帯状体の疵を検出する疵検出装置であって、
   前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換手段と、
   前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出手段と、
   前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去手段と、
   前記背景パターン除去画像において疵候補を抽出する手段と、
   前記疵候補に基づいて疵判定する手段とからなることを特徴とする疵検出装置。
6. 側端の垂線に対して既知の傾斜角度θで傾斜したストライプパターンの表面形状又は表面模様を有する帯状体について、撮像装置を用いて得た帯状体の表面の撮像画像に基づいて、前記帯状体の疵を検出する疵検出処理をコンピュータに実行させるコンピュータプログラムであって、
   前記撮像画像から、前記傾斜角度θに基づいて所定の座標変換によって前記傾斜角度θが０度である座標変換画像を生成する座標変換処理と、
   前記座標変換画像に対して、前記帯状体の幅方向成分だけを強調する空間フィルター処理を施して前記ストライプパターンに対応する背景パターン抽出画像を抽出する背景パターン画像抽出処理と、
   前記座標変換画像から前記背景パターン抽出画像を除去して背景パターン除去画像を出力する背景パターン除去処理と、
   前記背景パターン除去画像において疵候補を抽出する処理と、
   前記疵候補に基づいて疵判定する処理とによって疵検出する一連の処理をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images