JP7774231B2 - 処理方法およびそれを利用した処理装置 - Google Patents

Description

本開示は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。

物体のＯＫまたはＮＧを判定するために、学習用のＮＧの物体の画像と該物体のＮＧの程度とを表す学習用データから学習された学習済みモデルが予め用意される。対象物体の画像が取得されると、当該画像と学習済みモデルとに基づいて、物体のＯＫまたはＮＧが出力される（例えば、特許文献１参照）。

特開２０１９－１７５０１５号公報

様々な状況のＮＧの物体を表す画像をニューラルネットワークにより判定する場合、判定精度を向上させるためには学習が十分なされる必要がある。

本開示はこうした状況に鑑みなされたものであり、その目的は、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制する技術を提供することにある。

上記課題を解決するために、本開示のある態様の処理装置は、検査対象となる検査画像であって、かつ製品設計用のＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データをもとに製造した製品が撮像された検査画像を入力する第１入力部と、製品設計用のＣＡＤデータを入力する第２入力部と、第１入力部に入力した検査画像と、第２入力部に入力した製品設計用のＣＡＤデータとに対して学習済みのニューラルネットワークの処理を実行する処理部と、処理部の処理結果として、検査画像に対する分類結果の情報を出力する出力部と、を備える。

本開示の別の態様は、処理方法である。この方法は、検査対象となる検査画像であって、かつ製品設計用のＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データをもとに製造した製品が撮像された検査画像を入力するステップと、製品設計用のＣＡＤデータを入力するステップと、入力した検査画像と、入力した製品設計用のＣＡＤデータとに対して学習済みのニューラルネットワークの処理を実行するステップと、処理結果として、検査画像に対する分類結果の情報を出力するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制できる。

図１（ａ）－（ｂ）は、実施例１に係る処理装置の構成を示す図である。 図２（ａ）－（ｃ）は、図１（ａ）－（ｂ）の処理部の構成を示す図である。 図１（ａ）－（ｂ）の第２入力部に入力される参照データを示す図である。 図１（ａ）の教師データ入力部に入力される教師データのデータ構造を示す図である。 図１（ａ）－（ｂ）の処理部における処理の概要を示す図である。 図６（ａ）－（ｂ）は、実施例２に係る第２入力部に入力される参照データを示す図である。 実施例２に係る処理部の構成を示す図である。 図８（ａ）－（ｂ）は、実施例３に係る第２入力部に入力される参照データを示す図である。 実施例４に係る処理部の構成を示す図である。

（実施例１）
本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、検査対象となる製品が示された検査画像を判定する処理装置に関する。判定とは、製品がＯＫあるいはＮＧであるか、製品に含まれる不良項目がどれであるかなどである。これまでは、ＯＫの製品の画像、ＮＧの製品の画像、不良項目が含まれた製品の画像、不良項目が含まれていない製品の画像をもとにニューラルネットワークが学習されており、学習されたニューラルネットワークに検査画像が入力される。さまざまな製品を検査の対象とする場合、検査の正確性を向上するためには、さまざまな製品の画像をもとに、ニューラルネットワークを学習する必要がある。このような再学習のために、学習の作業量が増加する。

本実施例に係る処理装置は、製品が示された画像と、問題のない製品が示された参照データを入力し、検査画像に含まれている不良項目の情報等を教師データとして学習を実行する。また、そのような学習がなされた後、処理装置は、検査画像と参照データを入力し、検査画像に含まれている不良項目等を判定する。つまり、参照データ自体を学習するのではなく、画像と参照データとの比較結果に対して学習が実行される。その結果、製品の変更により参照データが変わる場合、新たな参照データと検査画像を処理装置に入力すればよくなり、新たな学習が不要になる。

参照データには、問題を有する製品を撮像した撮像画像が使用される。特に、製品のばらつき（寸法、色など）の中央値を有する製品を撮像した撮像画像が望ましい。しかしながら、そのような撮像画像の用意は困難であるので、撮像データの選定の時間が長くなり、作業量も増加する。学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制するために、本実施例に係る処理装置は、参照データとして、製品の設計に使用された設計データ、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データを使用する。

図１（ａ）－（ｂ）は、処理装置１００の構成を示す。特に、図１（ａ）は、学習処理のための構成を示し、図１（ｂ）は、判定処理のための構成を示す。判定処理は、検査画像と参照データとにニューラルネットワークを使用することによって、検査画像に示された製品に含まれている不良項目を判定する処理である。不良項目の一例は、割れ、欠け、部品なしなどである。また、判定処理において、検査画像に示された製品が、ＯＫであるか、ＮＧであるかが判定されてもよい。さらに、判定処理において、検査画像に示された製品の良品内のグレードが判定されてもよい。良品内のグレードの一例は、グレーゾーン、Ｂ級品などである。図１（ａ）における処理装置１００と図１（ｂ）における処理装置１００とは、同一の装置として構成されてもよいし、別の装置として構成されてもよい。

処理装置１００は、学習処理ための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、教師データ入力部１１６を含み、判定処理のための構成として、第１入力部１１０、第２入力部１１２、処理部１１４、出力部１１８を含む。ここで、学習処理において処理部１１４が学習され、判定処理において処理部１１４が使用される。処理装置１００の構成を説明する前に、処理部１１４の構成を説明する。

図２（ａ）－（ｃ）は、処理部１１４の構成を示す。図２（ａ）は、処理部１１４の構成の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

組合せ層１４６は、図１（ａ）－（ｂ）の第１入力部１１０と第２入力部１１２に接続され、第１入力部１１０から検査画像を入力し、第２入力部１１２から参照データを入力する。組合せ層１４６は、検査画像と参照データとを組み合わせる。組合せの第１例では、２つの入力である検査画像と参照データとが別のチャンネルとして１つに合併される。この場合、検査画像と参照データの組合せが生成される。組合せの第２例では、２つの入力である検査画像と参照データとの対応する画素同士の差分が計算され、画素毎に差分を並べた画像（以下、「差分画像」という）が生成される。組合せの第３例では、検査画像と参照データと差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と参照データと差分画像の組合せが生成される。組合せの第４例では、参照データと差分画像とが別のチャンネルとして１つに合併される。この場合、参照データと差分画像の組合せが生成される。組合せの第５例では、検査画像と差分画像とが別のチャンネルとして１つに合併される。この場合、検査画像と差分画像の組合せが生成される。組合せ層１４６は、組合せの結果（以下、「組合画像」という）を出力する。検査画像、参照データ、差分画像は「画像」と総称される。

畳み込み層１４２は、組合画像の各チャンネルに対して、画像のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。畳み込み層１４２においてパディング等が実行されてもよい。さらに、畳み込み層１４２は、各チャンネルの画像に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、画像が増加する。これは、組合画像におけるチャンネル数が増加することに相当する。

プーリング層１４４は、組合画像における各チャンネルの画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。ここで、複数の画素を１つの画素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の画素値の平均値が１つの画素に対して使用され、最大プーリングでは、領域内の複数の画素値のうちの最大値が１つの画素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。

ここでは、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄの順に処理が実行される。つまり、組合画像に対して、畳み込み処理とプーリング処理とが繰り返し実行される。また、畳み込み処理とプーリング処理とが繰り返されることによって、各チャンネルの画像のサイズが順に小さくされる。その結果、例えば、１×１の空間次元となり、かつ１以上のチャンネル数を有する組合画像が全結合層１４８に出力される。

全結合層１４８は、特徴量が抽出されている画像を受けつける。全結合層１４８は、特徴量に基づいて、複数のクラスへの分類を実行することによって、画像を識別する。全結合層１４８における処理には公知の技術が使用されればよいので、ここでは説明を省略するが、全結合層１４８における分類結果では、「ＯＫ」、「割れ」、「かけ」の３つのクラスのそれぞれに対する確率が示される。ここで、「ＯＫ」は、参照データに対して検査画像に不良項目が含まれない場合に相当し、「割れ」は、参照データに対して検査画像に割れた部分が含まれる場合に相当し、「かけ」は、参照データに対して検査画像にかけた部分が含まれる場合に相当する。特に、「割れ」、「かけ」は不良項目であるといえる。「割れ」、「かけ」の他に、「部品なし」が不良項目として分類されてもよい。

このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。第１入力部１１０は、検査画像の代わりに学習用画像を受けつける。学習用画像では、どのような不良項目が含まれているか未知である検査画像とは異なり、含まれている不良項目が既知である。第２入力部１１２は参照データを受けつける。

図３は、第２入力部１１２に入力される参照データを示す。設計データ１６０は、例えばＣＡＤデータであり、レイヤ情報１６２と総称される第１レイヤ情報１６２ａ、第２レイヤ情報１６２ｂ、・・・、第Ｍレイヤ情報１６２ｍを含む。設計データ１６０をもとに製造した製品が撮像された画像が、検査画像、学習用画像である。レイヤ情報１６２は、例えば、外形データ、部品Ａ配置データ、部品Ｂ配置データ、凹凸データであるが、これらに限定されない。複数のレイヤ情報１６２が１つの画像として合成されることによって合成データ１６４が生成される。設計データ１６０、合成データ１６４が参照データに含まれる。合成データ１６４は、参照データとして第２入力部１１２に入力される。図１（ａ）に戻る。

教師データ入力部１１６は、学習用画像と参照データとの関係に対応した、つまり学習用画像に含まれた不良項目を示す教師データを受けつける。図４は、教師データ入力部１１６に入力される教師データのデータ構造を示す。教師データは、例えば、３チャンネルを有しており、全結合層１４８における分類結果と同様にＯＫ、割れ、かけを含む。ここで、参照データに対して学習用画像に不良項目が含まれない場合に教師データはＯＫを示す。一方、参照データに対して学習用画像に不良項目が含まれる場合に、その原因に応じて、教師データは、割れあるいはかけを示す。図１（ａ）に戻る。

処理部１１４は、図２（ａ）のように構成される。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照データとの関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。

次に、図１（ｂ）を使用しながら、処理装置１００における判定処理を説明する。図１（ａ）と図１（ｂ）における処理装置１００とが別の装置として構成される場合、図１（ａ）における処理部１１４に対する学習によって導出された空間フィルタの係数が、図１（ｂ）における処理部１１４に設定される。

第１入力部１１０は検査画像を受けつけ、第２入力部１１２は参照データを受けつける。参照データは、例えば合成データ１６４である。処理部１１４は、図２（ａ）のように構成され、第１入力部１１０に入力した検査画像と、第２入力部１１２に入力した参照データとに対してニューラルネットワークの処理を実行する。出力部１１８は、処理部１１４の処理結果として、検査画像に対する分類結果の情報、つまり参照データに対して検査画像に含まれる不良項目の情報を出力する。一例として、ＯＫ、割れ、かけのいずれかの情報が出力される。

以下では、処理部１１４の構成の別の例を示す。図２（ｂ）は、処理部１１４の構成の別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第４畳み込み層１４２ｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第４プーリング層１４４ｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃは順に並べられる。これらは、第２入力部１１２に入力された参照データに対して前述の処理を実行する。

組合せ層１４６は、第１－３プーリング層１４４ａｃからの処理結果と、第２－３プーリング層１４４ｂｃからの処理結果とを入力する。第１－３プーリング層１４４ａｃからの処理結果は検査画像に対する処理結果（以下、「第１処理結果」という）であり、第２－３プーリング層１４４ｂｃからの処理結果は参照データに対する処理結果（以下、「第２処理結果」という）である。ここで、第１処理結果と第２処理結果は複数のチャンネルによって構成されていてもよい。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。差分画像の生成は、第１処理結果と第２処理結果との互いに対応したチャンネル同士の間でなされる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。

第４畳み込み層１４２ｄ、第４プーリング層１４４ｄは、組合画像に対して畳み込み処理とプーリング処理とを順次実行する。全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照データに対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされる。また、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされ、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされる。

図２（ｃ）は、処理部１１４の構成のさらに別の一例を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－４畳み込み層１４２ａｄ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－４畳み込み層１４２ｂｄ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第１－３プーリング層１４４ａｃ、第１－４プーリング層１４４ａｄ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第２－３プーリング層１４４ｂｃ、第２－４プーリング層１４４ｂｄ、組合せ層１４６、全結合層１４８を含む。

第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－２プーリング層１４４ａｂ、第１－３畳み込み層１４２ａｃ、第１－３プーリング層１４４ａｃ、第１－４畳み込み層１４２ａｄ、第１－４プーリング層１４４ａｄは順に並べられる。これらは、第１入力部１１０に入力された検査画像に対して前述の処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－２プーリング層１４４ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－３プーリング層１４４ｂｃ、第２－４畳み込み層１４２ｂｄ、第２－４プーリング層１４４ｂｄは順に並べられる。これらは、第２入力部１１２に入力された参照データに対して前述の処理を実行する。

組合せ層１４６は、第１－４プーリング層１４４ａｄからの処理結果と、第２－４プーリング層１４４ｂｄからの処理結果とを入力する。第１－４プーリング層１４４ａｄからの処理結果は検査画像に対する処理結果（以下、これもまた「第１処理結果」という）であり、第２－４プーリング層１４４ｂｄからの処理結果は参照データに対する処理結果（以下、これもまた「第２処理結果」という）である。組合せ層１４６は、第１処理結果と第２処理結果とを組み合わせる。組合せは、前述の第１例から第５例のいずれかのようになされればよい。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。

全結合層１４８は、図２（ａ）と同様に構成される。このような処理部１１４の構成に対する処理装置１００の学習処理と判定処理は、これまでと同様であるので、ここでは説明を省略する。学習の結果、検査画像に対して畳み込み層１４２の処理を実行する際の重み係数と、参照データに対して畳み込み層１４２の処理を実行する際の重み係数とが共通にされてもよい。具体的には、第１－１畳み込み層１４２ａａと第２－１畳み込み層１４２ｂａとの間で重み係数が共通にされ、第１－２畳み込み層１４２ａｂと第２－２畳み込み層１４２ｂｂとの間で重み係数が共通にされる。また、第１－３畳み込み層１４２ａｃと第２－３畳み込み層１４２ｂｃとの間で重み係数が共通にされ、第１－４畳み込み層１４２ａｄと第２－４畳み込み層１４２ｂｄとの間で重み係数が共通にされる。

処理部１１４の構成から全結合層１４８が除外されてもよい。このような構成を図５をもとに説明する。図５は、処理部１１４における処理の概要を示す。ここでは、説明を明瞭にするために、１入力として示し、組合せ層１４６を省略している。しかしながら、図２（ａ）－（ｃ）と同様に、２入力であり、組合せ層１４６が含まれればよい。処理部１１４は、畳み込み層１４２と総称する第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、第５畳み込み層１４２ｅ、第６畳み込み層１４２ｆ、プーリング層１４４と総称する第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、第５プーリング層１４４ｅを含む。このような畳み込み層１４２、プーリング層１４４は、各処理を実行するブロックのイメージを示す。

入力画像１４０は、処理装置１００における判定処理の処理対象となる画像である。処理部１１４におけるニューラルネットワークには、完全畳み込みニューラルネットワークと同様に、全結合層１４８が含まれないので、入力画像１４０のサイズに対する制限が設けられない。入力画像１４０は、第１畳み込み層１４２ａに入力される。処理部１１４では、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄ、第５畳み込み層１４２ｅ、第５プーリング層１４４ｅ、第６畳み込み層１４２ｆが順に配置される。つまり、これまでと同様に、畳み込み処理とプーリング処理とが繰り返し実行される。

このような処理部１１４の構成をもとにして、ここでは、図１（ａ）を使用しながら、処理装置１００における学習処理を説明する。前述のごとく、第１入力部１１０は学習用画像を受けつけ、第２入力部１１２は参照データを受けつけ、教師データ入力部１１６は教師データを受けつける。処理部１１４は、第１入力部１１０において受けつけた学習用画像と、第２入力部１１２において受けつけた参照データとの関係が、教師データ入力部１１６において受けつけた教師データとなるように、各畳み込み層１４２の空間フィルタの係数を学習させる。

ここで、教師データのサイズは１×１の空間次元を有するように設定されてもよい。そのため、教師データは、学習用画像と参照データとの関係に対して、限定された数のクラスのいずれかを示すだけである。つまり、１つのチャンネルに対する教師データは、１つのクラスに該当するか否かだけを示せばよい。そのため、物体に対して色塗りによるセグメンテーションがなされた画像を生成する場合と比較して、１つの教師データを生成するための作業量が低減する。その結果、作業量の増加を抑制しながら、教師データの数を多くすることが可能である。

一方、学習用画像と参照データは、判定処理が正確に実行された場合に教師データが出力されるような元の画像であり、そのサイズは教師データが１×１の空間次元となるように定められる。ここで、入力画像１４０のサイズに対する制限が設けられないので、学習処理に使用される画像と、判定処理に使用される画像とが異なったサイズでもよい。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

本実施例によれば、検査画像と参照データとに対してニューラルネットワークの処理を実行することによって、２つの画像の比較結果として、検査画像に対する分類結果の情報を出力できる。また、２つの画像を比較した結果が出力されるので、参照データが変わっても新たな参照データによる学習の量を低減できる。また、参照データが変わっても新たな参照データによる学習の量が低減されるので、学習の作業量の増加を抑制できる。また、検査画像に含まれる不良項目を教師データとしてニューラルネットワークを学習させるので、処理の正確性の低下を抑制できる。また、参照データとして設計データを使用するので、中央値に近くできる。また、中央値に近い参照データを使用するので、分類の精度を向上できる。また、設計データ１６０に含まれた複数のレイヤ情報１６２を合成した情報を参照データとして使用するので、参照データを容易に生成できる。また、参照データが容易に生成されるので、学習の作業量の増加を抑制できる。

また、検査画像と参照データとを組み合わせてから、組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理量の増加を抑制できる。また、検査画像と参照データのそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらの組合せに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行するので、処理の精度を向上できる。また、検査画像と参照データのそれぞれに対して畳み込み層１４２の処理とプーリング層１４４の処理を実行してから、これらを組み合わせるので、処理の精度を向上できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の処理装置（１００）は、検査対象となる検査画像であって、かつ設計データをもとに製造した製品が撮像された検査画像を入力する第１入力部（１１０）と、設計データが含まれた参照データを入力する第２入力部（１１２）と、第１入力部（１１０）に入力した検査画像と、第２入力部（１１２）に入力した参照データとに対して学習済みのニューラルネットワークの処理を実行する処理部（１１４）と、処理部（１１４）の処理結果として、検査画像に対する分類結果の情報を出力する出力部（１１８）と、を備える。

設計データ（１６０）は、複数のレイヤの情報（１６２）を含んでもよい。第２入力部（１１２）に入力される参照データは、複数のレイヤの情報（１６２）を合成した情報を含んでもよい。

処理部（１１４）は、（１）検査画像と参照データとを組み合わせてから、（２）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。

処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照データに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照データに対する処理結果とを組合せ、（３）組合せに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行してもよい。

処理部（１１４）は、（１）検査画像に対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行するとともに、参照データに対して畳み込み層（１４２）の処理とプーリング層（１４４）の処理の少なくとも１つを実行し、（２）検査画像に対する処理結果と参照データに対する処理結果とを組み合わせる。

本開示の別の態様は、処理方法である。この方法は、検査対象となる検査画像であって、かつ設計データ（１６０）をもとに製造した製品が撮像された検査画像を入力するステップと、設計データ（１６０）が含まれた参照データを入力するステップと、入力した検査画像と、入力した参照データとに対して学習済みのニューラルネットワークの処理を実行するステップと、処理結果として、検査画像に対する分類結果の情報を出力するステップと、を備える。

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、検査画像と参照データとを入力し、検査画像と参照データとの関係をもとに検査画像を判定する処理装置に関する。実施例１においては、参照データとして、設計データ１６０に含まれた複数のレイヤ情報１６２を合成した合成データ１６４を使用している。一方、実施例２においては、参照データとして、設計データ１６０に含まれた複数のレイヤ情報１６２をそのまま使用する。ここでは、実施例１との差異を中心に説明する。

図６（ａ）－（ｂ）は、第２入力部１１２に入力される参照データを示す。図６（ａ）には図３と同様に設計データ１６０が示され、設計データ１６０は複数のレイヤ情報１６２を含む。ここでは、複数のレイヤ情報１６２は、合成されずに、参照データとしてそのまま第２入力部１１２に入力される。第２入力部１１２に続く処理部１１４（図示せず）は、参照データに対するニューラルネットワークの処理として、複数のレイヤ情報１６２のそれぞれに対してニューラルネットワークの処理を実行する。

図７は、処理部１１４の構成を示す。処理部１１４は、畳み込み層１４２と総称される第１－１畳み込み層１４２ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第２－１畳み込み層１４２ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第３－１畳み込み層１４２ｃａ、第３－２畳み込み層１４２ｃｂ、第３－３畳み込み層１４２ｃｃ、第Ｎ－１畳み込み層１４２ｎａ、第Ｎ－２畳み込み層１４２ｎｂ、第Ｎ－３畳み込み層１４２ｎｃ、プーリング層１４４と総称される第１－１プーリング層１４４ａａ、第１－２プーリング層１４４ａｂ、第２－１プーリング層１４４ｂａ、第２－２プーリング層１４４ｂｂ、第３－１プーリング層１４４ｃａ、第３－２プーリング層１４４ｃｂ、第Ｎ－１プーリング層１４４ｎａ、第Ｎ－２プーリング層１４４ｎｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、組合せ層１４６、デンスブロック１５０と総称される第１デンスブロック１５０ａ、第２デンスブロック１５０ｂを含む。

第１－１畳み込み層１４２ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１畳み込み層１４２ｂａは、第２入力部１１２からの第１レイヤ情報１６２ａを受けつけ、第３－１畳み込み層１４２ｃａは、第２入力部１１２からの第２レイヤ情報１６２ｂを受けつけ、第Ｎ－１畳み込み層１４２ｎａは、第２入力部１１２からの第Ｍレイヤ情報１６２ｍを受けつける。第１－１畳み込み層１４２ａａから第Ｎ－１畳み込み層１４２ｎａの数は、検査画像と複数のレイヤ情報１６２の数に応じて決められる。第１－１畳み込み層１４２ａａ、第１－１プーリング層１４４ａａ、第１－２畳み込み層１４２ａｂ、第１－３畳み込み層１４２ａｃ、第１－２プーリング層１４４ａｂは、これまで通りに検査画像に対するニューラルネットワークの処理を実行する。第２－１畳み込み層１４２ｂａ、第２－１プーリング層１４４ｂａ、第２－２畳み込み層１４２ｂｂ、第２－３畳み込み層１４２ｂｃ、第２－２プーリング層１４４ｂｂは、第１レイヤ情報１６２ａに対するニューラルネットワークの処理を実行する。他のレイヤ情報１６２についても同様である。

組合せ層１４６は、第１－２プーリング層１４４ａｂから第Ｎ－２プーリング層１４４ｎｂのそれぞれからの処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第１デンスブロック１５０ａは、畳み込み層１４２、組合せ層１４６等の組合せによって構成される。デンスブロック１５０には公知の技術が使用されればよいので、ここでは説明を省略する。第１デンスブロック１５０ａに続く、第３プーリング層１４４ｃ、第２デンスブロック１５０ｂ、第４プーリング層１４４ｄは、これまでと同様の処理を実行するので、ここでは説明を省略する。図７の畳み込み層１４２、デンスブロック１５０について、図７に合わせた学習がなされる。

図６（ｂ）でも、図６（ａ）と同様に設計データ１６０が示され、設計データ１６０は複数のレイヤ情報１６２を含む。ここでは、複数のレイヤ情報１６２のうちの一部が選択される。例えば、第１レイヤ情報１６２ａ、第３レイヤ情報１６２ｃ、第Ｍレイヤ情報１６２ｍが選択される。選択されるレイヤ情報１６２の数は「３」に限定されない。選択されたレイヤ情報１６２は、合成されずに、参照データとしてそのまま第２入力部１１２に入力される。つまり、参照データは、複数のレイヤ情報１６２のうちの１つ以上のレイヤ情報１６２を含む。これに続く処理はこれまでと同様であるので、ここでは説明を省略する。

本実施例によれば、設計データ１６０に含まれた複数のレイヤ情報１６２のそれぞれを参照データとして使用するので、分類の精度を向上できる。また、設計データ１６０に含まれた複数のレイヤ情報１６２のうちの１つ以上の情報を参照データとして使用するので、必要なレイヤ情報１６２を使用できる。また、必要なレイヤ情報１６２が使用されるので、分類の精度を向上できる。

本開示の一態様の概要は、次の通りである。設計データ（１６０）は、複数のレイヤの情報（１６２）を含んでもよい。第２入力部（１１２）に入力される参照データは、複数のレイヤの情報（１６２）のうちの１つ以上の情報を含んでもよい。

（実施例３）
次に、実施例３を説明する。実施例３は、これまでと同様に、検査画像と参照データとを入力し、検査画像と参照データとの関係をもとに検査画像を判定する処理装置に関する。これまでは、参照データとして設計データ１６０を使用している。一方、実施例３においては、参照データとして、設計データ１６０と、正常な製品が撮像された参照画像とを使用する。ここでは、これまでとの差異を中心に説明する。

図８（ａ）－（ｂ）は、第２入力部１１２に入力される参照データを示す。図８（ａ）には、図３と同様に設計データ１６０が示され、設計データ１６０は複数のレイヤ情報１６２を含む。さらに、参照画像１７０も示される。参照画像１７０は、設計データ１６０をもとに製造した正常な製品が撮像された画像である。第２入力部１１２に入力される参照データには、設計データ１６０と、設計データ１６０をもとに製造した正常な製品が撮像された参照画像１７０とが含まれる。複数のレイヤ情報１６２と参照画像１７０は、合成されずに、参照データとしてそのまま第２入力部１１２に入力される。

処理部１１４は、図７と同様に構成され、第１－１畳み込み層１４２ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１畳み込み層１４２ｂａは、第２入力部１１２からの第１レイヤ情報１６２ａを受けつけ、第３－１畳み込み層１４２ｃａは、第２入力部１１２からの第２レイヤ情報１６２ｂを受けつける。また、第Ｎ－１畳み込み層１４２ｎａは、第２入力部１１２からの参照画像１７０を受けつける。第１－１畳み込み層１４２ａａから第Ｎ－１畳み込み層１４２ｎａの数は、検査画像と複数のレイヤ情報１６２と参照画像１７０の数に応じて決められる。処理部１１４は、第２入力部１１２に入力した参照データに対する学習済みのニューラルネットワークの処理として、設計データ１６０に対する学習済みのニューラルネットワークの処理と、参照画像１７０に対する学習済みのニューラルネットワークの処理とを実行する。

図８（ｂ）でも、図８（ａ）と同様に設計データ１６０が示され、設計データ１６０は複数のレイヤ情報１６２を含む。さらに、参照画像１７０も示される。ここでは、複数のレイヤ情報１６２のうちの一部が選択される。例えば、第１レイヤ情報１６２ａ、第Ｍレイヤ情報１６２ｍが選択される。選択されるレイヤ情報１６２の数は「２」に限定されない。選択されたレイヤ情報１６２と参照画像１７０とは、合成されずに、参照データとしてそのまま第２入力部１１２に入力される。つまり、参照データは、複数のレイヤ情報１６２のうちの１つ以上のレイヤ情報１６２と、参照画像１７０とを含む。これに続く処理はこれまでと同様であるので、ここでは説明を省略する。

本実施例によれば、設計データ１６０と参照画像１７０を参照データとして使用するので、分類の精度を向上できる。

本開示の一態様の概要は、次の通りである。第２入力部（１１２）に入力される参照データには、設計データ（１６０）と、設計データ（１６０）をもとに製造した正常な製品が撮像された参照画像（１７０）とが含まれ、処理部（１１４）は、第２入力部（１１２）に入力した参照データに対する学習済みのニューラルネットワークの処理として、設計データ（１６０）に対する学習済みのニューラルネットワークの処理と、参照画像（１７０）に対する学習済みのニューラルネットワークの処理とを実行してもよい。

（実施例４）
次に、実施例４を説明する。実施例４は、これまでと同様に、検査画像と参照データとを入力し、検査画像と参照データとの関係をもとに検査画像を判定する処理装置に関する。これまでの処理部１１４には、畳み込み層１４２、プーリング層１４４が含まれている。実施例４では、処理部１１４に畳み込み層１４２、プーリング層１４４が含まれない。ここでは、これまでとの差異を中心に説明する。

図９は、処理部１１４の構成を示す。処理部１１４は、組合せ層１４６、全結合層１４８と総称される第１－１全結合層１４８ａａ、第１－２全結合層１４８ａｂ、第１－３全結合層１４８ａｃ、第２－１全結合層１４８ｂａ、第２－２全結合層１４８ｂｂ、第２－３全結合層１４８ｂｃ、第４全結合層１４８ｄを含む。つまり、組合せ層１４６を除いて、全結合層１４８だけが含まれる。第１－１全結合層１４８ａａは、第１入力部１１０からの検査画像を受けつけ、第２－１全結合層１４８ｂａは、第２入力部１１２からの参照データを受けつける。第１－１全結合層１４８ａａから第１－３全結合層１４８ａｃは、検査画像に対して全結合層の処理を実行し、第２－１全結合層１４８ｂａから第２－３全結合層１４８ｂｃは、参照データに対して全結合層の処理を実行する。組合せ層１４６は、第１－３全結合層１４８ａｃと第２－３全結合層１４８ｂｃから処理結果を受けつける。組合せ層１４６は、前述のようにこれらの処理結果を組み合わせる。組合せ層１４６は、組合せの結果（以下、これもまた「組合画像」という）を出力する。第４全結合層１４８ｄは、組合画像に対して全結合層の処理を実行する。

図９における組合せ層１４６は、図２（ｂ）と同様に、検査画像に対する処理結果と、参照データに対する処理結果とを入力し、組合画像に対して処理を実行させるために出力する。しかしながら、図２（ａ）と同様に、検査画像と参照データとを入力し、組合画像に対して処理を実行させるために出力してもよい。また、図２（ｃ）と同様に、検査画像に対する処理結果と、参照データに対する処理結果とを入力し、組合画像を出力してもよい。

本実施例によれば、検査画像と参照データとを組み合わせてから、組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照データに対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照データに対する処理結果との組合せに対して全結合層１４８の処理を実行するので、構成の自由度を向上できる。また、検査画像に対して全結合層１４８の処理を実行するとともに、参照データに対して全結合層１４８の処理を実行し、検査画像に対する処理結果と参照データに対する処理結果とを組み合わせるので、構成の自由度を向上できる。

本開示の一態様の概要は、次の通りである。処理部（１１４）は、（１）検査画像と参照データとを組み合わせてから、（２）組合せに対して全結合層（１４８）の処理を実行してもよい。

処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照データに対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照データに対する処理結果とを組合せ、（３）組合せに対して全結合層（１４８）の処理を実行してもよい。

処理部（１１４）は、（１）検査画像に対して全結合層（１４８）の処理を実行するとともに、参照データに対して全結合層（１４８）の処理を実行し、（２）検査画像に対する処理結果と参照データに対する処理結果とを組み合わせる。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

実施例１から実施例４の任意の組合せも可能である。本変形例によれば、実施例１から実施例４の任意の組合せによる効果を得ることができる。

実施例１から実施例３における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４は、ＧｏｏｇＬｅＮｅｔ系、ＤｅｎｓｅＮｅｔ系等の構成を有していてもよい。本変形例によれば、構成の自由度を向上できる。

実施例１から実施例３における処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並べんでいる。しかしながらこれに限らず例えば、処理部１１４では、畳み込み層１４２のみが含まれて畳み込み処理だけが実行されてもよいし、プーリング層１４４のみが含まれてプーリング処理だけが実行されてもよい。本変形例によれば、構成の自由度を向上できる。

本開示によれば、学習の作業量の増加を抑制しながら、処理の正確性の低下を抑制できる。

１００ 処理装置、 １１０ 第１入力部、 １１２ 第２入力部、 １１４ 処理部、 １１６ 教師データ入力部、 １１８ 出力部、 １４０ 入力画像、 １４２ 畳み込み層、 １４４ プーリング層、 １４６ 組合せ層、 １４８ 全結合層、 １５０ デンスブロック、 １６０ 設計データ、 １６２ レイヤ情報、 １６４ 合成データ、 １７０ 参照画像。

Claims (11)

1. 検査対象となる検査画像であって、かつ製品設計用のＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データをもとに製造した製品が撮像された検査画像を入力する第１入力部と、
   前記製品設計用のＣＡＤデータを入力する第２入力部と、
   前記第１入力部に入力した前記検査画像と、前記第２入力部に入力した前記製品設計用のＣＡＤデータとに対して学習済みのニューラルネットワークの処理を実行する処理部と、
   前記処理部の処理結果として、前記検査画像に対する分類結果の情報を出力する出力部と、
   を備えることを特徴とする処理装置。
2. 前記第２入力部は、前記製品設計用のＣＡＤデータをもとに製造した正常な製品が撮像された参照画像をさらに入力し、
   前記処理部は、前記製品設計用のＣＡＤデータに対する学習済みのニューラルネットワークの処理に加えて、前記参照画像に対する学習済みのニューラルネットワークの処理を実行する請求項１に記載の処理装置。
3. 前記製品設計用のＣＡＤデータは、外形データ、部品Ａ配置データ、部品Ｂ配置データおよび凹凸データを含む複数のレイヤの情報を含み、
   前記第２入力部は、当該複数のレイヤの情報をチャンネル方向に合成して得られる合成データをさらに入力する請求項１または２に記載の処理装置。
4. 前記製品設計用のＣＡＤデータは、外形データ、部品Ａ配置データ、部品Ｂ配置データおよび凹凸データを含む複数のレイヤの情報を含み、
   前記第２入力部は、当該複数のレイヤの情報のうち少なくとも１つのレイヤ情報をさらに入力する請求項１または２に記載の処理装置。
5. 前記処理部は、（１）前記検査画像と前記製品設計用のＣＡＤデータとを組み合わせてから、（２）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１または２に記載の処理装置。
6. 前記処理部は、（１）前記検査画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、前記製品設計用のＣＡＤデータに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）前記検査画像に対する処理結果と前記製品設計用のＣＡＤデータに対する処理結果とを組合せ、（３）組合せに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行することを特徴とする請求項１または２に記載の処理装置。
7. 前記処理部は、（１）前記検査画像に対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行するとともに、前記製品設計用のＣＡＤデータに対して畳み込み層の処理とプーリング層の処理の少なくとも１つを実行し、（２）前記検査画像に対する処理結果と前記製品設計用のＣＡＤデータに対する処理結果とを組み合わせることを特徴とする請求項１または２に記載の処理装置。
8. 前記処理部は、（１）前記検査画像と前記製品設計用のＣＡＤデータとを組み合わせてから、（２）組合せに対して全結合層の処理を実行することを特徴とする請求項１または２に記載の処理装置。
9. 前記処理部は、（１）前記検査画像に対して全結合層の処理を実行するとともに、前記製品設計用のＣＡＤデータに対して全結合層の処理を実行し、（２）前記検査画像に対する処理結果と前記製品設計用のＣＡＤデータに対する処理結果とを組合せ、（３）組合せに対して全結合層の処理を実行することを特徴とする請求項１または２に記載の処理装置。
10. 前記処理部は、（１）前記検査画像に対して全結合層の処理を実行するとともに、前記製品設計用のＣＡＤデータに対して全結合層の処理を実行し、（２）前記検査画像に対する処理結果と前記製品設計用のＣＡＤデータに対する処理結果とを組み合わせることを特徴とする請求項１または２に記載の処理装置。
11. 検査対象となる検査画像であって、かつ製品設計用のＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）データをもとに製造した製品が撮像された検査画像を入力するステップと、
    前記製品設計用のＣＡＤデータを入力するステップと、
    入力した前記検査画像と、入力した前記製品設計用のＣＡＤデータとに対して学習済みのニューラルネットワークの処理を実行するステップと、
    処理結果として、前記検査画像に対する分類結果の情報を出力するステップと、
    を備えることを特徴とする処理方法。