JP6568664B2 - 特異部検知システム及び特異部検知方法 - Google Patents

Description

本発明は、特異部検知システム及び特異部検知方法に関する。

被対象物の撮像画像に基づいて、被対象物に発生する何らかの異常状態、あるいは他とは異なる特徴を持っている部位を検知する欠陥検査システム、異常検査システム、又は特異部検知システムとして、例えば、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム、ガスの分離膜に用いられる塗工フィルム等の異常特徴を検知する特異部検知システムが知られている。この種の特異部検知システムは、搬送方向にフィルムを搬送し、フィルムの２次元画像を離散時間ごとに撮像し、撮像した２次元画像に基づいて特異部検知を行う。例えば、特許文献１のシステムは、２次元画像を搬送方向に並列する複数のラインに分割し、離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像を生成する。ライン分割画像は、輝度変化を強調した特徴強調処理画像に処理される。特徴強調処理画像により、フィルムの異常特徴の有無や位置が容易に特定される。

特許第４７２６９８３号明細書

ところで、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位（以後、特異部）の検知精度を向上させるために、特異部検知システムに機械学習による識別を導入することが考えられる。しかし、機械学習は、その識別の根拠が人間から視て判り難い欠点がある。また、機械学習による識別には多大な演算量を要するため、要求される精度のためには特異部の検知の速度が低下し易い欠点もある。

そこで本発明は、機械学習による識別の根拠をより判り易くし、機械学習による識別をより高速に行うことができる特異部検知システム及び特異部検知方法を提供することを目的とする。

本発明の一側面は、被対象物を撮像する撮像部と、撮像部で撮像された被対象物の撮像画像から、任意の特徴を持った特異部を抽出する特異部抽出部と、特異部抽出部で抽出された特異部と特異部画像の中心とが重なるように、撮像画像から任意の大きさの特異部画像を切り出す特異部画像切出部と、特異部画像切出部で切り出された特異部画像を入力とした機械学習により特異部の種別を識別する識別部とを備えた特異部検知システムである。

この構成によれば、特異部抽出部により撮像部で撮像された被対象物の撮像画像から任意の特徴を持った特異部が抽出され、特異部画像切出部により特異部抽出部で抽出された特異部と特異部画像の中心とが重なるように撮像画像から任意の大きさの特異部画像が切り出され、識別部により特異部画像切出部で切り出された特異部画像を入力とした機械学習により特異部の種別が識別されるが、前段の特異部抽出部により撮像部で撮像された被対象物の撮像画像から任意の特徴を持った特異部が抽出されることにより、人間の判断に基づく初期分類が可能であり、後段の識別部での機械学習による識別の根拠がより判り易くなる。また、前段の特異部画像切出部により、特異部が特異部画像の中心と重なるように撮像画像から切り出されることで特異部画像の大きさが小さくなり、後段の識別部での機械学習による識別をより高速に行うことができる。さらに、特異部が特異部画像の中心と重なるように撮像画像から切り出されることで、特異部画像内の該特異部の位置ずれが少なくなり、後段の識別部での機械学習による識別精度を向上させることができる。

この場合、特異部抽出部は、撮像画像から、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部を抽出してもよい。

この構成によれば、特異部抽出部により撮像画像から輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部が抽出されるため、後段の識別部での機械学習による識別の根拠がさらに判り易くなる。

また、識別部は、畳み込みニューラルネットワークにより特異部の種別を識別してもよい。

この構成によれば、識別部は畳み込みニューラルネットワークにより特異部の種別を識別するため、特異部の種別をより高精度で識別することができる。

一方、本発明の他の側面は、被対象物を撮像する撮像工程と、撮像工程で撮像された被対象物の撮像画像から、任意の特徴を持った特異部を抽出する特異部抽出工程と、特異部抽出工程で抽出された特異部と特異部画像の中心とが重なるように、撮像画像から任意の大きさの特異部画像を切り出す特異部画像切出工程と、特異部画像切出工程で切り出された特異部画像を入力とした機械学習により特異部の種別を識別する識別工程とを備えた特異部検知方法である。

この場合、特異部抽出工程では、撮像画像から、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部を抽出してもよい。

また、識別工程では、畳み込みニューラルネットワークにより特異部の種別を識別してもよい。

本発明の一側面及び他の側面の特異部検知システム及び特異部検知方法によれば、機械学習による識別の根拠をより判り易くし、機械学習による識別をより高速に行うことができる。

第１実施形態に係る特異部検知システムを示すブロック図である。 第１実施形態に係る特異部検知方法を示すフローチャートである。 撮像画像の例を示す図である。 （Ａ）及び（Ｂ）は、切り出された特異部画像を示す図である。 畳み込みニューラルネットワークを示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）及び（Ｇ）は、第２実施形態に係る特異部検知システムによる油水分離槽における分液界面の識別を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、第３実施形態に係る特異部検知システムによる煙突における発煙の識別を示す図である。

以下、図面を参照して本発明の特異部検知システム及び特異部検知方法の実施形態について詳細に説明する。

図１に示すように、第１実施形態の特異部検知システム１は、撮像部２、特異部抽出部３、特異部画像切出部４及び識別部５を備えている。本実施形態の特異部検知システム１は、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム等のフィルムの異常を検知する。撮像部２は、単眼カメラ又はステレオカメラ等のカメラにより、被対象物を撮像する。撮像部２は、被対象物を一時的又は所定のフレーム時間ごとに連続して撮像することができる。

特異部抽出部３は、撮像部２で撮像された被対象物の撮像画像から、任意の特徴を持った特異部を抽出する。上述したように、特異部とは、被対象物において、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位を意味する。後述するように、特異部抽出部３は、撮像画像から、例えば、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部を抽出する。輝度としては、明るさ、ヒストグラム、輝度勾配、鮮鋭度等が含まれ、色としては、波長やスペクトル、色度、色差等が含まれ、大きさとしては、幅、高さ、サイズ、面積、体積等が含まれ、形状としては、フェレ径、アスペクト比、エッジの形や方向、モーメント、真円度、複雑度等が含まれる。輝度、色、大きさ及び形状以外にも、特異部抽出部３は、予め人為的に定められた任意の特徴を持った特異部を抽出することができる。つまり、特異部抽出部３は、機械学習がまだなされていない未学習の段階において、人為的に定められたルールベースの手法により特異部を抽出する。

特異部画像切出部４は、特異部抽出部３で抽出された特異部と特異部画像の中心とが重なるように、撮像画像から任意の大きさの特異部画像を切り出す。特異部と特異部画像の中心とが重なるとは、例えば、特異部の中心と特異部画像の中心とが一致する場合の他に、特異部のいずれかの部位と特異部画像の中心とが重なっている場合を含む。また、上記任意の大きさは、特異部を含んでおり、高速に識別可能な大きさであればよく、特異部の全体を含んでいる大きさの他に、特異部の一部を含む大きさを含む。特異部画像の形状は、正方形又は長方形に限定されず、円形、多角形等の任意の形状にすることができる。識別部５は、特異部画像切出部４で切り出された特異部画像を入力とした機械学習により特異部の種別を識別する。後述するように、識別部５は、畳み込みニューラルネットワークにより特異部の種別を識別する。なお、機械学習により特異部の種別を識別可能であれば、畳み込みニューラルネットワーク以外のニューラルネットワークやその他の手法を用いることも可能である。

以下、本実施形態の特異部検知システムによる特異部検知方法について説明する。図２に示すように、特異部検知システム１の撮像部２により、被対象物を撮像する撮像工程が行われる（Ｓ１）。撮像工程では、例えば、図３に示すように、光学フィルム、積層フィルム等のフィルムである被対象物１１の撮像画像１２が撮像される。

図２に示すように、特異部検知システム１の特異部抽出部３により、撮像工程で撮像された被対象物１１の撮像画像１２から、任意の特徴を持った特異部を抽出する特異部抽出工程が行われる（Ｓ２）。図３の例では、フィルムである被対象物１１の撮像画像１２において、小さな黒い点として写っている特異部１３と、大きな黒い点として写っている特異部１４とが抽出される。特異部検知システム１の特異部抽出部３により、特異部抽出工程では、撮像画像１２から、輝度、色、大きさ及び形状のいずれかの特徴を持った特異部１３，１４が抽出される。特異部抽出部は、例えば、撮像画像１２の中で輝度及び大きさが所定の閾値を超える画素の集合を特異部１３，１４として抽出することができる。

図２に示すように、特異部検知システム１の特異部画像切出部４により、特異部抽出工程で抽出された特異部１３，１４と特異部画像の中心とが重なるように、撮像画像１２から任意の大きさの特異部画像を切り出す特異部画像切出工程が行われる（Ｓ３）。図３、図４（Ａ）及び図４（Ｂ）の例では、水平方向及び垂直方向に任意の大きさ（画素数）の正方形の切出枠１５，１６のそれぞれにより、特異部１３，１４のそれぞれの特異部画像１７，１８が切出される。なお、図４（Ａ）及び図４（Ｂ）の例では、特異部１３，１４の中心と特異部画像１７，１８の中心Ｃとが一致しているが、上述したように、特異部１３，１４のいずれかの部位と特異部画像１７，１８の中心Ｃとが重なっていればよい。

図２に示すように、特異部検知システム１の識別部５により、特異部画像切出工程で切り出された特異部画像１７，１８を入力とした機械学習により特異部１３，１４の種別を識別する識別工程が行われる（Ｓ４）。特異部検知システム１の識別部５により、識別工程では、畳み込みニューラルネットワークにより特異部１３，１４の種別が識別される。

図５に示すように、畳み込みニューラルネットワーク１００は、入力層１１０、隠れ層１２０及び出力層１３０を備えている。入力層１１０には、特異部検知システム１の識別部５により、特異部画像切出工程で切り出された特異部画像１７，１８が入力される。隠れ層１２０は、重みフィルタによる画像処理が行われる畳み込み層１２１，１２３と、畳み込み層１２１，１２３から出力された二次元配列を縦横に小さくして有効な値を残す処理を行うプーリング層１２２と、各層の重み係数Ｎが更新される全結合層１２４とを有する。

出力層１３０では、機械学習による特異部１３，１４の種別の識別結果が出力される。畳み込みニューラルネットワーク１００では、出力結果と正解値との誤差を逆方向Ｄに逆伝播することによって各層の重みが学習される。図３、図４（Ａ）及び図４（Ｂ）の例では、特異部検知システム１の識別部５による識別工程により、特異部１３の種別は「気泡」であり、真の不良品として識別される。一方、特異部１４の種別は「インク」であり、真の良品として識別される。

本実施形態では、特異部検知システム１において、特異部抽出部３により撮像部２で撮像された被対象物１１の撮像画像１２から任意の特徴を持った特異部１３，１４が抽出され、特異部画像切出部４により特異部抽出部３で抽出された特異部１３，１４と特異部画像１７，１８の中心Ｃとが重なるように撮像画像１２から任意の大きさの特異部画像１７，１８が切り出され、識別部５により特異部画像切出部４で切り出された特異部画像１７，１８を入力とした機械学習により特異部１３，１４の種別が識別されるが、前段の特異部抽出部３により撮像部２で撮像された被対象物１１の撮像画像１２から任意の特徴を持った特異部１３，１４が抽出されることにより、人間の判断に基づく初期分類が可能であり、後段の識別部５での機械学習による識別の根拠がより判り易くなる。また、前段の特異部画像切出部４により、特異部１３，１４が特異部画像１７，１８の中心に重なるように撮像画像１２から切り出されることで特異部画像１７，１８の大きさが小さくなり、後段の識別部５での機械学習による識別をより高速に行うことができる。さらに、特異部１３，１４が特異部画像１７，１８の中心に重なるように撮像画像１２から切り出されることで、特異部画像１７，１８の中での特異部１３，１４の位置ずれが少なくなり、後段の識別部５での機械学習による識別精度を向上させることができる。

また、本実施形態によれば、特異部抽出部３により撮像画像１２から輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部１３、１４が抽出されるため、後段の識別部５での機械学習による識別の根拠がさらに判り易くなる。

また、本実施形態によれば、識別部５は畳み込みニューラルネットワークにより特異部１３，１４の種別を識別するため、特異部１３，１４の種別をより高精度で識別することができる。

以下、本発明の第２実施形態について説明する。本実施形態では、特異部検知システム１は、油水分離槽の分液界面を検知し、分液界面の異常を欠陥として認識する。図６（Ａ）に示すように、撮像部２により、複数のフレーム間において、油水分離槽である被対象物２０の１フレーム前の撮像画像２１ａと、撮像画像２１ａの１フレーム後の撮像画像２１ｂとが撮像される。図６（Ｂ）に示すように、特異部抽出部３により、複数のフレーム間における撮像画像２１ａ，２１ｂの差分を抽出したフレーム間差分抽出画像２２が抽出される。

図６（Ｃ）及び図６（Ｄ）に示すように、特異部抽出部３により、フレーム間差分抽出画像２２のヒストグラム２３によって、例えば、標準偏差σに対して閾値±ｋσ以上の値の輝度値を有する画素が特異部位置抽出画像２４に特異部位置２５として抽出される（ｋは任意の係数）。図６（Ｅ）に示すように、特異部抽出部３により、特異部位置抽出画像２４に基づいて界面推定位置２６が推定される。図６（Ｆ）に示すように、特異部画像切出部４により、切出枠２７により、撮像画像２１ｂにおける特異部２８の特異部画像が切り出される。図６（Ｇ）に示すように、上記第１実施形態と同様に、識別部５により、特異部画像切出部４で切り出された特異部画像を入力とした機械学習により特異部２８の種別である分液界面２９が識別される。このように、本実施形態では、輝度を特徴として油水分離槽の分液界面を検知し、分液界面の異常状態を特異部として認識することができる。

以下、本発明の第３実施形態について説明する。本実施形態では、特異部検知システム１は、煙突の発煙を検知し、発煙の異常を特異部として認識する。図７（Ａ）に示すように、撮像部２により、複数のフレーム間において、煙突３１及び発煙３２である被対象物３０の撮像画像３３が撮像される。図７（Ｂ）に示すように、特異部抽出部３により、複数のフレーム間における撮像画像３３の差分を抽出したフレーム間差分抽出画像３４が抽出される。図７（Ｃ）に示すように、特異部抽出部３により、ＭＴ（Mahalanobis Taguchi）法により、その形状が煙らしい部位が特異部として抽出され、特異部画像切出部４により、切出枠３５により、撮像画像３３における特異部である発煙３２の特異部画像が切り出される。その後の処理は、上記第１実施形態と同様に行うことができる。このように、本実施形態では、形状を特徴として煙突の発煙を検知し、発煙の異常状態を特異部として認識することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。例えば、本実施形態の特異部検知システム１及び特異部検知方法は、生産ラインにおいて、容器に充填された液体の充填量検査に適用することができる。本実施形態の特異部検知システム１及び特異部検知方法により、画像内の各画素の輝度値を特徴空間へ射影したベクトルを特徴として、容器内のどの位置まで液体が到達しているかを検知することができる。

また、本実施形態の特異部検知システム１及び特異部検知方法は、生産ラインにおいて、ガラス製品等の割れやキズ等の外観検査に適用することができる。ガラス製品に照明を当てて撮影すると、撮影画像内の一部に異常が有る場合には輝度が他の部位よりも高くなることを利用して特異部を抽出することができる。すなわち、本実施形態では、背景差分により得られる輝度値の差を特徴として、ガラス製品の異常を特異部として認識することができる。

また、本実施形態の特異部検知システム１及び特異部検知方法は、工場における異常者の立ち入り及び異常な行動の管理にも適用することができる。さらに、本実施形態の特異部検知システム１及び特異部検知方法は、撮像部２を有人航空機、無人航空機及びドローン等に搭載し、撮像部２と特異部抽出部３とを無線通信により接続して、撮像部２が搭載されたドローン等を農場の上空で飛行させて撮影することにより、画像内の輝度値を特徴として広域における農作物等の欠陥を検知することができる。また、本実施形態の特異部検知システム１及び特異部検知方法は、撮像部２を有人航空機、無人航空機及びドローン等に搭載し、撮像部２と特異部抽出部３とを無線通信により接続して、撮像部２が搭載されたドローン等を工場内で飛行させて、工場内の設備の画像を撮影することにより、画像内の輝度値を特徴として工場設備の異常状態を検知することができ、工場設備の点検等を遠隔で行うことができる。

また、本実施形態の特異部検知システム及び特異部検知方法は、ガスの分離膜の製造工程において、膜表面の変形や気泡の有無等の欠陥検査に適用することができる。分離膜に照明を当てて撮影すると、撮影画像内の一部に異常が有る場合には輝度が他の部位よりも低くまたは高くなることを利用して特異部を抽出することができる。すなわち、本実施形態では、輝度値の差を特徴として、分離膜の異常を特異部として認識することができる。さらに分離膜において検知した特異部を除去して異常部が無い分離膜を製造することができる。当該異常部が無い分離膜を所望の大きさにカットし、カットされた分離膜に粘着層を設けることで異常部が無い分離膜シートを得ることができる。当該異常部が無い分離膜シートと所望の層とを積層することで分離膜エレメントを製造することができる。このように、本実施形態の特異部検知システム又は特異部検知方法を採用することで、欠陥のない高品質な分離膜エレメントの製造を実現することが可能となる。

１…特異部検知システム、２…撮像部、３…特異部抽出部、４…特異部画像切出部、５…識別部、１１…被対象物、１２…撮像画像、１３，１４…特異部、１５，１６…切出枠、１７，１８…特異部画像、２０…被対象物、２１ａ，２１ｂ…撮像画像、２２…フレーム間差分抽出画像、２３…ヒストグラム、２４…特異部位置抽出画像、２５…特異部位置、２６…界面推定位置、２７…切出枠、２８…特異部、２９…分液界面、３０…被対象物、３１…煙突、３２…発煙、３３…撮像画像、３４…フレーム間差分抽出画像、３５…切出枠、１００…畳み込みニューラルネットワーク、１１０…入力層、１２０…隠れ層、１２１，１２３…畳み込み層、１２２…プーリング層、１２４…全結合層、１３０…出力層、Ｃ…中心、Ｎ…重み係数、Ｄ…逆方向。

Claims (6)

1. 被対象物を撮像する撮像部と、
   前記撮像部で撮像された前記被対象物の撮像画像から、任意の特徴を持った特異部を抽出する特異部抽出部と、
   前記特異部抽出部で抽出された前記特異部の中心と特異部画像の中心とが一致するように、前記撮像画像から任意の大きさの前記特異部画像を切り出す特異部画像切出部と、
   前記特異部画像切出部で切り出された前記特異部画像を入力とした機械学習により前記特異部の種別を識別する識別部と、
   を備えた特異部検知システム。
2. 前記特異部抽出部は、前記撮像画像から、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの前記特徴を持った前記特異部を抽出する、請求項１に記載の特異部検知システム。
3. 前記識別部は、畳み込みニューラルネットワークにより前記特異部の種別を識別する、請求項１又は２に記載の特異部検知システム。
4. 被対象物を撮像する撮像工程と、
   前記撮像工程で撮像された前記被対象物の撮像画像から、任意の特徴を持った特異部を抽出する特異部抽出工程と、
   前記特異部抽出工程で抽出された前記特異部の中心と特異部画像の中心とが一致するように、前記撮像画像から任意の大きさの前記特異部画像を切り出す特異部画像切出工程と、
   前記特異部画像切出工程で切り出された前記特異部画像を入力とした機械学習により前記特異部の種別を識別する識別工程と、
   を備えた特異部検知方法。
5. 前記特異部抽出工程では、前記撮像画像から、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの前記特徴を持った前記特異部を抽出する、請求項４に記載の特異部検知方法。
6. 前記識別工程では、畳み込みニューラルネットワークにより前記特異部の種別を識別する、請求項４又は５に記載の特異部検知方法。

Images