JP7639744B2 - 検査装置および検査方法 - Google Patents

Description

本開示は、検査装置および検査方法に関する。

サンプル画像に対して良否の判断結果を関連付けた結果に基づいて各サンプル画像から特徴量を算出し、算出された特徴量についてニューラルネットワークによる学習を行って良否判定基準を生成する良否判定装置が知られている（例えば、特許文献１）。

特開２００７－１１４８４３号公報

学習モデルを用いた検査装置では、検査精度の向上が望まれている。

本開示は、以下の形態として実現することが可能である。

（１）本開示の一形態によれば、検査装置が提供される。この検査装置は、検査対象の撮像画像を取得する撮像画像取得部と、正常な前記検査対象を示す正常画像を用いて学習済みの学習モデルであって、前記正常画像に近似する比較画像を生成するための学習モデルを格納する記憶装置と、前記撮像画像と前記比較画像とを用いて前記検査対象の異常の有無を判定する検査部と、を備える。前記学習モデルは、第一ノイズおよび第二ノイズの入力により前記比較画像を生成する生成器であって、前記第一ノイズを非線形変換して第三ノイズを生成するマッピングネットワーク層と、前記第二ノイズおよび生成した前記第三ノイズを用いて画像を生成し、生成した画像のアップサンプリングを複数回繰り返すことによって前記比較画像を生成するシンセシスネットワーク層と、を備える生成器、を備える。
この形態の検査装置によれば、高解像度の画像データを用いて異常の有無を判定することができ、検査装置の検査精度を向上させることができる。
（２）上記形態の検査装置において、前記学習モデルは、前記撮像画像と前記比較画像とを識別するための識別器を備えなくてもよい。
この形態の検査装置によれば、撮像画像と比較画像とを簡易な構成で比較することができ、検査装置の生産性を高くすることができる。
（３）上記形態の検査装置において、前記学習モデルは、さらに、前記撮像画像に対する前記比較画像の違いの度合いを示す数値を出力する識別器を備える敵対的生成ネットワークであってよい。
この形態の検査装置によれば、既知の構成を利用して、撮像画像と比較画像とを用いて異常の有無を判定することができる。
（４）上記形態の検査装置において、前記検査部は、前記撮像画像と前記比較画像とが近似しないと判定した場合に、前記第一ノイズおよび前記第二ノイズの少なくともいずれかを変更して生成した新たな前記比較画像を用いて前記検査対象の異常の有無を判定する再判定を、予め定められた回数だけ繰り返してよい。
この形態の検査装置によれば、比較画像の特徴を複数回変更することにより、異常の看過を抑制することができ、検査精度を向上することができる。
（５）上記形態の検査装置において、前記再判定は、前記第二ノイズを固定し、前記第一ノイズを変化させて生成した前記比較画像を用いる前記再判定を予め定められた回数だけ行う第一再判定と、前記第一再判定を行ったあとに、前記第一ノイズを固定し、前記第二ノイズを変化させて生成した前記比較画像を用いる前記再判定を予め定められた回数だけ行う第二再判定と、を含んでよい。
この形態の検査装置によれば、画像中の特徴を大きく変更する第一ノイズを変更する第一再判定を先に行うことにより、第二再判定を先に行う場合と比較して早期に異常判定を終了することができる。
（６）上記形態の検査装置において、前記生成器は、さらに、前記マッピングネットワーク層に入力する前記第一ノイズを、前記撮像画像と前記比較画像との差が小さくなるように変更させる重み調整層を備えてよい。
この形態の検査装置によれば、第一ノイズの変更という簡易な方法により、生成器の学習を検査中に行うことなく撮像画像に近似する比較画像を生成することができる。
（７）上記形態の検査装置において、前記検査部は、前記撮像画像に含まれる第一画素の階調値と、前記比較画像において前記第一画素に対応する位置の第二画素の階調値との差分の積算値が予め定められた閾値よりも大きい場合に前記検査対象に異常ありと判定してよい。
この形態の検査装置によれば、平均二乗誤差を利用して尤度を算出する場合に比べて、人間が認識しやすいＲＧＢ階調値の差分値が過剰に大きくなることを抑制できる。
本開示は、検査装置、検査方法、以外の種々の形態で実現することも可能である。例えば、検査用プログラム、学習済みモデル、学習モデルの学習方法、検査対象としての部品の製造方法、検査装置の製造方法、検査装置の制御方法、機械学習モデルの学習用プログラム、これらのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

検査システムの全体構成を模式的に示す説明図。 検査装置の内部機能構成を示すブロック図。 機械学習モデルの構成を概念的に示す説明図。 機械学習モデルの詳細な構成を示す説明図。 検査装置によって実行される検査方法を示すフローチャート。 検査対象の一例としてのコネクタを示す説明図。 正常なコネクタを示す正常画像としての撮像画像の例を示す説明図。 異常を有するコネクタを示す異常画像としての撮像画像の例を示す説明図。 正常画像としての撮像画像を用いて生成された比較画像を示す説明図。 異常画像としての撮像画像を用いて生成された比較画像を示す説明図。 撮像画像と比較画像とのＲＧＢ階調値の差分を用いて生成された差分画像を示す説明図。 差分の算出方法を模式的に示す説明図。 第２実施形態としての検査装置に備えられる機械学習モデルの概略構成を示す説明図。

Ａ．第１実施形態：
図１は、検査システム１００の全体構成を模式的に示す説明図である。検査システム１００は、本開示の第１実施形態としての検査装置６０と、カメラ７０とを備えている。検査装置６０は、カメラ７０と協働し、製造ラインＬｎで処理された検査対象の撮像画像を用いて、検査対象の異常の有無を検査する。検査装置６０は、学習済みの機械学習モデルを利用する。検査対象は、例えば、前工程ＰＲ１で製造された自動車用の部品ＷＫである。本実施形態では、自動車用の部品ＷＫとして、後述するコネクタを例に説明する。コネクタは、自動車の燃料や冷媒などを流通させる配管同士を連結するために用いられる部材である。検出すべき異常は、例えば、コネクタの接続不良、コネクタの破損、コネクタのロック部の嵌合不良、配管の破損などであり、多数の種類の異常が含まれ得る。本実施形態では、異常を有する検査対象の画像をそれぞれ準備することが困難であるとの理由から、教師なし学習の機械学習モデルが用いられている。

カメラ７０は、検査対象を撮像し、検査対象の撮像画像を検査装置６０へと送信する。カメラ７０は、撮像部７２と、通信部７４とを備えている。撮像部７２は、前工程ＰＲ１から後工程ＰＲ２へと送り出された搬送途中の部品ＷＫを撮像する。本実施形態では、撮像部７２は、自動車に搭載された状態の部品ＷＫを撮像する。撮像部７２により撮像された撮像画像は、通信部７４へと出力される。カメラ７０は、検査装置６０とは別体に限らず、検査装置６０と一体とされてもよい。

本実施形態では、撮像部７２による撮像画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）で表される各画像信号成分によって構成されるＲＧＢ入力画像信号で構成されている。各画像信号には、例えば、各８ビット、計２４ビットの情報量が割り当てられている。本実施形態では、撮像部７２は、部品ＷＫ全体に対して、横４０００画素×縦３０００画素とするいわゆる１２００万画素の撮像画像を取得する。撮像部７２が取得する撮像画像の解像度は、検査装置６０に要求される検査範囲や不良の検出精度、検出すべき不良のサイズ、学習モデルで処理可能な画像サイズ等を考慮して決定されることが好ましい。また、検査装置６０の検査精度の向上や検査範囲の拡大のために、検査対象の撮像画像が高い解像度を有することが好ましい。例えば、自動車に搭載された状態の部品ＷＫを検査するためには、例えば、カメラ７０と自動車との接触を回避するためにカメラ７０を自動車から離間させるために、検査対象を離れた位置から撮像することがある。また、撮像範囲が小さい場合や大きい撮像範囲に対して小さい不良を検出することがある。これらの場合にも、検査対象の撮像画像が高い解像度を有することが好ましい。

通信部７４は、任意の通信プロトコルに従い、無線通信によって検査装置６０に対して撮像画像を送信する。通信部７４は、検査装置６０からの実行命令を受信してもよい。

本実施形態では、検査装置６０およびカメラ７０は、無線通信によって互いにデータの送受信ができるとともに、図１に示す情報処理装置ＰＣ、端末装置ＰＤ１，ＰＤ２ともデータを送受信することが可能である。例えば、検査装置６０は、情報処理装置ＰＣ、端末装置ＰＤ１，ＰＤ２からの要求に応じて、検査結果を情報処理装置ＰＣおよび端末装置ＰＤ１，ＰＤ２に送信することができる。なお、検査装置６０は、ローカルサーバとして製造ラインＬｎ近傍のエリアに配置されていてもよく、リモートサーバとして製造ラインＬｎから離れた場所に配置されていてもよい。検査装置６０がリモートサーバとして設置される場合には、カメラ７０からの撮像画像、ならびに端末装置ＰＤ１，ＰＤ２および情報処理装置ＰＣへの検査結果は、工場内の無線アクセスポイントおよびイントラネットまたはインターネットといったネットワークを介して検査装置６０によって送受信される。

図２は、検査装置６０の内部機能構成を示すブロック図である。検査装置６０は、中央演算処理装置としてのＣＰＵ６２、記憶装置６４、ならびに通信部６６を備えている。ＣＰＵ６２、記憶装置６４、通信部６６は、バス６１を介して互いに接続されており、双方向に通信可能である。検査装置６０は、さらに、例えば、液晶ディスプレイやタッチパネルなど、検査結果を表示するための表示部を備えてもよい。

通信部６６は、ネットワークを介して、カメラ７０との間で、検査に用いるための撮像画像を受信する通信制御を行うインターフェースである。本実施形態では、通信部６６は、カメラ７０を介して検査対象の撮像画像を取得する撮像画像取得部として機能する。本実施形態では、通信部６６は、さらに、端末装置ＰＤ１，ＰＤ２ならびに情報処理装置ＰＣに対して検査結果や検査結果の表示用データを送信する。通信部６６は、さらに、端末装置ＰＤ１，ＰＤ２や情報処理装置ＰＣからの各種処理の実行を要求する指令信号を受信してもよい。なお、検査装置６０がカメラ７０と一体である場合など、検査装置６０が撮像部７２を備える場合には、撮像部７２が撮像画像取得部として機能する。

記憶装置６４は、たとえば、ＲＡＭ、ＲＯＭ、ハードディスクドライブ（ＨＤＤ）である。ＨＤＤまたはＲＯＭには本実施形態において提供される機能を実現するための各種プログラムが格納されている。ＨＤＤまたはＲＯＭから読み出された各種プログラムは、ＲＡＭ上に展開されて、ＣＰＵ６２によって実行される。記憶装置６４には、機械学習モデルを格納するための学習モデル記憶部６４２を備えている。なお、記憶装置６４には、撮像画像取得部によって取得された画像データ、検査部６２２によって生成された各種の画像や演算結果などが一時的に格納される。記憶装置６４には、光ディスク、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられてもよい。

ＣＰＵ６２は、記憶装置６４に格納されているプログラムを実行することによって、検査部６２２として機能する。検査部６２２は、学習モデル記憶部６４２に格納された機械学習モデルを利用して検査対象に異常があるか否かの検査を行う。

図３は、学習モデル記憶部６４２に格納された機械学習モデル８０の構成を概念的に示す説明図である。本実施形態において、学習モデル記憶部６４２には、正常な前記検査対象を示す正常画像を用いて学習済みの機械学習モデル８０が格納されている。機械学習モデル８０は、重み調整層８２と、生成器(Generator)８４とを備えている。

生成器８４は、正常な検査対象の撮像画像（以下、「正常画像」とも呼ぶ）を用いて充分に学習された状態である。生成器８４は、潜在変数としての第一ノイズＺ１および第二ノイズＺ２の入力により、撮像画像に近似する画像データ（以下、「比較画像」とも呼ぶ）を生成する。本実施形態では、生成器８４には、後述するように、ＳｔｙｌｅＧＡＮとも呼ばれる機械学習モデルが適用されている。

第一ノイズＺ１および第二ノイズＺ２は、例えば、１００次元程度の各要素が０～１までの変数で構成される潜在変数である。第一ノイズＺ１および第二ノイズＺ２は、検査部６２２によって、例えば、一様分布や正規分布からランダムサンプリングにより決定されて、生成器８４に入力される。

検査部６２２は、比較画像ＰＲと、撮像部７２によって取得された撮像画像ＰＴとを取得すると、撮像画像ＰＴと比較画像ＰＲとを比較することにより検査対象に異常があるか否かを判定する。検査部６２２は、撮像画像ＰＴと比較画像ＰＲとが近似する場合には、検査対象に異常なしと判定する。検査部６２２は、撮像画像ＰＴと比較画像ＰＲとが近似しないと判定すると、第一ノイズＺ１および第二ノイズＺ２の少なくともいずれかを変更して新たな比較画像ＰＲを生成し、再び検査対象の異常の有無を判定する再判定を実行する。

重み調整層８２は、生成器８４に入力する第一ノイズＺ１の重みを調節する。本実施形態では、重み調整層８２は、活性化関数を利用した全結合層(Fully Connected layer)を適用している。重み調整層８２は、再判定では、撮像画像ＰＴと比較画像ＰＲとの差が小さくなるように第一ノイズＺ１を変更させる。この結果、生成器８４は、検査中に新たに学習することなく、再判定のたびに、より撮像画像ＰＴに近似する比較画像ＰＲを生成することができるようになる。

図４は、機械学習モデル８０の詳細な構成を示す説明図である。図４に示す構成は、図３の範囲ＡＲの構成に相当する。図４に示すように、生成器８４にはＳｔｙｌｅＧＡＮのモデルが用いられている。これにより、例えば６４画素ｘ６４画素程度の解像度の画像データを生成するＤＣＧＡＮと比較して高解像度の比較画像ＰＲを生成することができる。

生成器８４は、マッピングネットワーク（Mapping network）部８４２と、複数のシンセシスネットワーク（Synthesis network）部８４４とを備えている。マッピングネットワーク層８４２は、例えば８層の複数の全結合層（FC layer）を備えている。マッピングネットワーク層８４２は、この８層の全結合層によって潜在変数としての第一ノイズＺ１を非線形変換することによって、潜在空間としての第三ノイズＷ１を生成する。生成した第三ノイズＷ１は、シンセシスネットワーク層８４４に入力される。

シンセシスネットワーク層８４４は、４ｘ４ｘ５１２のテンソルとしての固定値ＣＶから比較画像ＰＲを生成する。シンセシスネットワーク層８４４は、画像に対して複数回のアップサンプリングを行い、解像度を段階的に上げることにより、高解像度の比較画像ＰＲを生成する。シンセシスネットワーク層８４４には、アップサンプリングされる解像度ごとに畳み込み処理層と、正規化層（AdaIN：Adaptive Instance Normalization）ＡＬとが備えられている。シンセシスネットワーク層８４４は、アップサンプリングを行うたびに、スタイル情報とノイズ情報とを取り込む。具体的には、畳み込み処理層のあとに第二ノイズＺ２を入力することで確率的な変動を付与するノイズ情報として取り入れるとともに、マッピングネットワーク層８４２により生成された潜在空間としての第三ノイズＷ１を、正規化層ＡＬを介して多次元のスタイル情報として取り入れている。潜在空間としての第三ノイズＷ１および第三ノイズＷ１を生成するための第一ノイズＺ１は、画像中の大きな特徴に影響を与え得る因子であり、ノイズ情報としての第二ノイズＺ２は、細部の特徴に影響を与え得る因子である。

図５は、検査装置６０によって実行される検査方法を示すフローチャートである。本フローは、前工程ＰＲ１から払い出された部品ＷＫが検査工程に到達したことにより開始する。部品ＷＫが検査工程に到達したか否かは、例えば、カメラ７０等により検査工程に到達した部品ＷＫを画像認識することにより判定することができる。

ステップＳ１０では、検査装置６０は撮像画像ＰＴを取得する。本実施形態では、カメラ７０の撮像部７２が、検査対象としての部品ＷＫを撮像することにより撮像画像ＰＴを取得する。撮像部７２により取得された撮像画像ＰＴは、通信部７４を介して検査装置６０へと送信される。検査装置６０は、通信部６６を介して撮像画像ＰＴを取得する。

図６は、検査対象の一例としてのコネクタ３０を示す説明図である。図６に示すように、コネクタ３０は、本体３６を備えている。本体３６には、嵌合部３８が備えられている。本体３６に第一管路３２と第二管路３４とを挿通した状態で嵌合部３８を第一管路３２と第二管路３４との接続部分に向かって押し込むことにより、第一管路３２と第二管路３４とが接続された状態で固定される。

図７は、正常なコネクタ３０を示す正常画像としての撮像画像ＰＴｇの例を示す説明図である。図８は、異常を有するコネクタ３０を示す異常画像としての撮像画像ＰＴｎの例を示す説明図である。図７に示すように、撮像画像ＰＴｇでは、嵌合部３８が第一管路３２と第二管路３４との接続部分に向かって完全に押し込まれた状態であり、第一管路３２と第二管路３４とが固定された正常な状態のコネクタ３０が示されている。図８に示すように、撮像画像ＰＴｎでは、嵌合部３８が完全に押し込まれず本体３６から突出された状態のコネクタ３０が示されている。撮像画像ＰＴｎでは、本体３６から突出した嵌合部３８の突出部分Ｐ１と、正常な状態のコネクタ３０とは異なる位置の切り欠き部分Ｐ２が撮像されている。以下の説明では、検査装置６０がコネクタ３０の嵌合部３８の押し込み不足を異常として判定する例を用いて説明する。

ステップＳ２０では、検査部６２２は、機械学習モデル８０の生成器８４に、ランダムサンプリングされた第一ノイズＺ１および第二ノイズＺ２を入力して比較画像ＰＲを生成する。第一ノイズＺ１は、重み調整層８２を介して生成器８４に入力され、図４に示すマッピングネットワーク層８４２を介して潜在空間としての第三ノイズＷ１に非線形変換される。シンセシスネットワーク層８４４は、固定値ＣＶから画像を生成し、第三ノイズＷ１をスタイル情報として取り込むとともに、第二ノイズＺ２をノイズ情報として取り込みながら、画像のアップサンプリングを繰り返して、１０２４画素×１０２４画素の比較画像ＰＲを生成する。

図９は、正常画像としての撮像画像ＰＴｇを用いて生成された比較画像ＰＲｇを示す説明図である。図１０は、異常画像としての撮像画像ＰＴｎを用いて生成された比較画像ＰＲｎを示す説明図である。図９に示すように、比較画像ＰＲｇは、正常画像と近似する状態で生成されていることが理解できる。なお、図１０に示す比較画像ＰＲｎは、上限回数に達するまで再判定を実行した場合に生成された比較画像の一例である。図１０に示すように、比較画像ＰＲｎには、図８で示した撮像画像ＰＴｎにおける突出部分Ｐ１が正常画像に近似するように生成された生成部位Ｐ３と、切り欠き部分Ｐ２が正常画像に近似するように生成された生成部位Ｐ４が生成されていることが理解できる。

ステップＳ３０では、検査部６２２は、撮像画像ＰＴと、生成した比較画像ＰＲとを比較する。本実施形態では、検査部６２２は、撮像画像ＰＴの画素のＲＧＢ階調値の合計値と、撮像画像ＰＴの画素に対応する位置の比較画像ＰＲの画素のＲＧＢ階調値の合計値との差分の積算値を用いて比較する。撮像画像ＰＴの画素を「第一画素」とも呼び、比較画像ＰＲの画素を「第二画素」とも呼ぶ。

図１１は、撮像画像ＰＴｎと比較画像ＰＲｎとのＲＧＢ階調値の差分を用いて生成された差分画像ＣＰを示す説明図である。図１１によれば、差分画像ＣＰには、ＲＧＢ階調値の差分が大きい箇所として、例えば、突出部分Ｐ１と生成部位Ｐ３との差分となる差分部位Ｐ５と、切り欠き部分Ｐ２と生成部位Ｐ４との差分となる差分部位Ｐ６とを有していることを理解できる。

図１２は、撮像画像ＰＴｎと比較画像ＰＲｎとの差分の算出方法を模式的に示す説明図である。図１２では、技術の理解を容易にするために、画素の数は、実際の画像の画素数よりも少ない状態で示されている。図１２に示す表ＴＢ１は、撮像画像ＰＴｎに含まれる各画素のＲＧＢ階調値を概念的に示している。表ＴＢ２は、比較画像ＰＲｎに含まれる各画素のＲＧＢ階調値を概念的に示し、表ＴＢ３は、差分画像ＣＰに含まれる各画素のＲＧＢ階調値を概念的に示している。表ＴＢ１に示す各数値は、撮像画像ＰＴｎの各画素のＲＧＢ階調値の合計値を示している。同様に、表ＴＢ２に示す各数値は、比較画像ＰＲｎの各画素のＲＧＢ階調値の合計値を示している。表ＴＢ３に示す各数値は、表ＴＢ１と表ＴＢ２との画素ごとでのＲＧＢ階調値の合計値の差分値を示している。

検査部６２２は、表ＴＢ３に示すように、撮像画像ＰＴｎのＲＧＢ階調値の合計値と、生成した比較画像ＰＲｎのＲＧＢ階調値の合計値との差分を画素ごとに計算する。撮像画像ＰＴが異常画像である場合には、比較画像は、生成器８４によって生成されたあと、再判定が繰り返されることにより、異常画像としての撮像画像ＰＴｎに近似するように再生成される。そのため、表ＴＢ３に示すように、例えば、撮像画像と、比較画像との差異は、ＲＧＢ階調値の差分として残存する。検査部６２２は、算出した画素ごとのＲＧＢ階調値を全画素において積算する。図１２における表ＴＢ３の例では、ＲＧＢ階調値の積算値は、１１である。

図５に戻り、ステップＳ４０では、検査部６２２は、算出した全画素のＲＧＢ階調値の積算値を用いて検査対象の異常の有無を判定する。本実施形態では、検査部６２２は、算出した全画素のＲＧＢ階調値の積算値と、記憶装置６４に格納された予め定められた閾値とを比較することにより、検査対象の異常を判定する。積算値が閾値よりも低ければ（Ｓ４０：ＹＥＳ）、ステップＳ４２に移行し、検査部６２２は、検査対象に異常なしと判定して処理を終了する。積算値が閾値以上である場合には（Ｓ４０：ＮＯ）、ステップＳ５０に移行する。

ステップＳ５０では、検査部６２２は、検査回数Ｎが予め定められた上限回数に達したか否かを判定する。検査回数は、再判定を行った回数に１を加えた数に相当する。検査回数Ｎの上限回数は、検査装置６０に要求されるタクトタイムなどに基づいて任意に設定可能であり、本実施形態では、１００回で設定されている。検査回数Ｎが１００回に達した場合には（Ｓ５０：ＹＥＳ）、ステップＳ５２に移行して、検査部６２２は、検査対象に異常ありと判定して処理を終了する。検査回数Ｎが１００回に達する場合とは、第一ノイズＺ１および第二ノイズＺ２を変更して生成された１００枚の比較画像ＰＲのいずれもが撮像画像ＰＴに近似しないと判定された場合に相当する。検査回数Ｎが１００回未満である場合には（Ｓ５０：ＮＯ）、ステップＳ６０に移行する。

ステップＳ６０では、検査部６２２は、検査回数Ｎが予め定められた切替回数に達したか否かを判定する。切替回数は、第一ノイズＺ１と、第二ノイズＺ２との組み合わせ方法を切り替えるか否かを判定するために用いられる閾値である。切替回数は、任意に設定可能であり、本実施形態では、切替回数は、上限回数の半分である５０回で設定されている。検査回数Ｎが５０回未満である場合には（Ｓ６０：ＹＥＳ）、ステップＳ６２に移行し、検査部６２２は、第二ノイズＺ２をステップＳ２０で入力された値で固定し、第一ノイズＺ１をランダムサンプリングにより新たに決定する。検査回数Ｎが５０回以上である場合には（Ｓ６０：ＮＯ）、ステップＳ６４に移行し、検査部６２２は、第一ノイズＺ１を検査回数Ｎが５０回の時点の値で固定し、第二ノイズＺ２をランダムサンプリングにより新たに決定する。再判定のうち、第二ノイズＺ２を固定し、第一ノイズＺ１を変化させて新たに生成した比較画像ＰＲを用いた再判定を、「第一再判定」とも呼び、第一ノイズＺ１を固定し、第二ノイズＺ２を変化させて新たに生成した比較画像ＰＲを用いた再判定を、「第二再判定」とも呼ぶ。ステップＳ６２あるいはステップＳ６４で第一ノイズＺ１と第二ノイズＺ２とを新たに決定すると、検査部６２２は、検査回数Ｎを１だけインクリメントしてステップＳ２０に戻る。

以上、説明したように、本実施形態の検査装置６０は、検査対象の撮像画像ＰＴを取得する撮像画像取得部と、正常な検査対象を示す正常画像を用いて学習済みの機械学習モデル８０であって、正常画像に近似する比較画像ＰＲを生成するための機械学習モデル８０を格納する記憶装置６４と、撮像画像ＰＴと比較画像ＰＲとを用いて検査対象の異常の有無を判定する検査部６２２と、を備えている。機械学習モデル８０は、第一ノイズＺ１および第二ノイズＺ２の入力により比較画像ＰＲを生成する生成器８４を備える。生成器８４は、第一ノイズＺ１を非線形変換して第三ノイズＷ１を生成するマッピングネットワーク層８４２と、第二ノイズＺ２および生成した第三ノイズＷ１を用いて画像を生成し、生成した画像のアップサンプリングを複数回繰り返すことによって比較画像ＰＲを生成するシンセシスネットワーク層８４４と、を備える。機械学習モデル８０の生成器８４は、ＳｔｙｌｅＧＡＮを利用し、入力された第一ノイズＺ１を非線形変換して第三ノイズＷ１を生成するマッピングネットワーク層８４２と、第二ノイズＺ２と第三ノイズＷ１とを用いて画像を生成し、生成した画像の解像度を大きくするアップサンプリングを複数回繰り返すことによって比較画像ＰＲを生成するシンセシスネットワーク層８４４と、を備える。したがって、機械学習モデル８０を利用した検査装置６０において、生成器８４にＳｔｙｌｅＧＡＮのネットワーク構造を採用することにより、高解像度の画像データを用いて異常の有無を判定することができる。

本実施形態の検査装置６０によれば、機械学習モデル８０は、撮像画像ＰＴと比較画像ＰＲとを識別するための識別器８６を備えていない。したがって、撮像画像ＰＴと比較画像ＰＲとを簡易な構成で比較することができ、検査装置６０の生産性を高くすることができる。

本実施形態の検査装置６０によれば、検査部６２２は、検査対象に異常なしと判定した場合に、第一ノイズＺ１および第二ノイズＺ２の少なくともいずれかを変更して生成した新たな比較画像ＰＲを用いて検査対象の異常の有無を判定する再判定を、予め定められた回数だけ繰り返す。比較画像ＰＲの特徴を複数回変更することにより、異常の看過を抑制することができ、検査精度を向上することができる。

本実施形態の検査装置６０によれば、検査部６２２が行う再判定は、第一ノイズＺ１を固定し、第二ノイズＺ２を変化させて生成した比較画像ＰＲを用いる再判定を予め定められた切替回数だけ行う第一再判定と、第一再判定を行ったあとに、第二ノイズＺ２を固定し、第一ノイズＺ１を変化させて生成した比較画像ＰＲを用いる再判定を予め定められた上限回数まで行う第二再判定と、を含んでいる。第一ノイズＺ１と第二ノイズＺ２との一方のみを変更して新たな比較画像ＰＲを生成して再判定を行うことにより、再判定時に撮像画像ＰＴの特徴と比較画像ＰＲの特徴とが大きく乖離することを抑制することができる。また、画像中の大きな特徴を変更する第一ノイズＺ１を先に変更した第一再判定を行った後で、細部の特徴を変更する第二ノイズＺ２を変更した第二再判定を行うことにより、切替回数内に異常なしと判定できる可能性が高くなり、早期に異常判定を終了することができ、検査工程の生産性を高くすることができる。

本実施形態の検査装置６０によれば、生成器８４は、さらに、マッピングネットワーク層８４２に入力する第一ノイズＺ１を、撮像画像ＰＴと比較画像ＰＲとの差が小さくなるように変更させる重み調整層８２を備える。したがって、検査装置６０による検査の過程において、第一ノイズＺ１の変更という簡易な方法により、生成器８４の学習を検査中に行うことなく撮像画像ＰＴに近似する比較画像ＰＲを生成することができる。

本実施形態の検査装置６０によれば、検査部６２２は、撮像画像ＰＴに含まれる第一画素のＲＧＢ階調値と、比較画像ＰＲにおいて第一画素に対応する位置の第二画素のＲＧＢ階調値との差分を算出し、算出されたＲＧＢ階調値の差分の積算値が予め定められた閾値よりも大きい場合に検査対象に異常ありと判定する。したがって、例えば、撮像画像ＰＴと比較画像ＰＲとの各画素におけるＲＧＢ階調値の平均二乗誤差（MSE：Mean Squared Error）を利用して差分値を算出する場合に比べて、人間が認識しやすいＲＧＢ階調値の差分値が過剰に大きくなることを抑制し、ＲＧＢ階調値の色味の変化が適正に考慮された状態で異常を判定することができ、人為的な検査と略同等の検査結果を得ることができる。

Ｂ．第２実施形態：
図１３は、第２実施形態としての検査装置６０に備えられる機械学習モデル８０ｂの概略構成を示す説明図である。図１３に示すように、機械学習モデル８０ｂは、敵対的生成ネットワーク（GAN：Generative Adversarial Networks）を利用した異常検知手法として利用可能なモデルである。機械学習モデル８０ｂは、ＡｎｏＧＡＮ（Anomaly Detection with Generative Adversarial Networks）とも呼ばれ得る。機械学習モデル８０ｂは、第１実施形態で示した機械学習モデル８０とは、さらに、識別器（Discriminator）８６と、判定器８８とを備えている点において相違する。なお、本実施形態では、検査部６２２は、判定器８８からの出力結果を用いて異常の有無を判定する。

識別器８６は、正常な検査対象を示す正常画像と、生成した比較画像ＰＲとを識別できる程度に充分に学習された状態である。識別器８６は、撮像画像ＰＴに対する比較画像ＰＲの違いの度合いを示す尤度を出力する。識別器８６は、比較画像ＰＲと、撮像部７２によって取得された撮像画像ＰＴとを取得すると、撮像画像ＰＴと比較画像ＰＲとを比較して、撮像画像ＰＴに対する比較画像ＰＲの違いの度合いを数値化した尤度を判定器８８に出力する。本実施形態において、尤度は撮像画像ＰＴが異常を有している確率を示す値であり、例えば尤度が高い値である場合に検査対象に異常ありと判定することができる。本実施形態では、識別器８６は、例えば、撮像画像ＰＴと比較画像ＰＲとの差分である第一差分値と、比較画像ＰＲを識別器８６に入力したときの中間層の出力値と、撮像画像ＰＴを識別器８６に入力したときの中間層の出力値との差分である第二差分値との総和を算出して尤度として出力する。ただし、尤度が正常品である確率値を示す場合には、値が低い場合に異常として検知されてもよい。

判定器８８は、識別器８６から出力された尤度を用いて検査対象の異常の有無を判定する。ステップＳ４０では、判定器８８は、尤度が予め定められた閾値よりも低ければ、撮像画像ＰＴと比較画像ＰＲとが近似するとしてステップＳ４２に移行し、尤度が閾値以上であれば、撮像画像ＰＴと比較画像ＰＲとが近似しないとしてステップＳ５０に移行してよい。機械学習モデル８０ｂの判定器８８による異常有無の判定結果は、検査部６２２に出力され、検査部６２２は、判定器８８の結果に基づいて検査対象の異常の有無を判定する。なお、機械学習モデル８０ｂにおいて、生成器８４および識別器８６は、検査が行われている間には学習を行わなくてもよい。

本実施形態の検査装置６０によれば、機械学習モデル８０ｂは、さらに、撮像画像ＰＴに対する比較画像ＰＲの違いの度合いを示す数値を出力する識別器８６を備える敵対的生成ネットワークである。したがって、既知の構成を利用して、撮像画像ＰＴと比較画像ＰＲとを用いて異常の有無を判定することができる。

Ｃ．他の実施形態：
（Ｃ１）上記第１実施形態では、検査対象が自動車用の部品ＷＫとしてのコネクタを例に説明した。これに対して、検査対象は、自動車に用いられるコネクタには限定されず自動車の車体や部品などの自動車に含まれる種々の部品であってよい。検査対象は、自動車用部品のみには限らず、鉄道車両、航空機、船舶などの種々の移動体に用いられる部品であってよく、移動体以外の種々の製造物であってもよい。

（Ｃ２）上記第１実施形態では、検査部６２２は、撮像画像ＰＴｎのＲＧＢ階調値の合計値と、生成した比較画像ＰＲｎのＲＧＢ階調値の合計値との差分を画素ごとに計算する例を示した。これに対して、検査部６２２は、撮像画像ＰＴｎのＲＧＢ階調値の合計値と生成した比較画像ＰＲｎのＲＧＢ階調値の合計値との差分と、予め定められた閾値とを比較し、当該差分が閾値以上離れている画素の数を積算して、当該画素の数が所定値以上である場合に異常ありと判定し、所定値未満であれば異常なしと判定してもよい。また、検査部６２２は、撮像画像ＰＴと比較画像ＰＲとの各画素において、ＲＧＢ階調値のＲ，Ｇ，Ｂの各階調値それぞれの差分を算出してから、算出したＲ，Ｇ，Ｂの各階調値それぞれの差分が積算された値を用いてもよい。検査部６２２は、撮像画像ＰＴと比較画像ＰＲとの各画素におけるＲＧＢ階調値の平均二乗誤差（MSE：Mean Squared Error）を利用して尤度を算出してもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

３０…コネクタ、３２…第一管路、３４…第二管路、３６…本体、３８…嵌合部、６０…検査装置、６１…バス、６２…ＣＰＵ、６４…記憶装置、６６…通信部、７０…カメラ、７２…撮像部、７４…通信部、８０，８０ｂ…機械学習モデル、８２…重み調整層、８４…生成器、８６…識別器、８８…判定器、１００…検査システム、６２２…検査部、６４２…学習モデル記憶部、８４２…マッピングネットワーク層、８４４…シンセシスネットワーク層、ＡＬ…正規化層、ＡＲ…範囲、ＣＰ…差分画像、ＣＶ…固定値、Ｌｎ…製造ライン、Ｐ１…突出部分、Ｐ２…切り欠き部分、Ｐ３，Ｐ４…生成部位、Ｐ５，Ｐ６…差分部位、ＰＣ…情報処理装置、ＰＤ１，ＰＤ２…端末装置、ＰＲ，ＰＲｇ、ＰＲｎ…比較画像、ＰＲ１…前工程、ＰＲ２…後工程、ＰＴ，ＰＴｇ、ＰＴｎ…撮像画像、ＴＢ１～ＴＢ３…表、Ｗ１…第三ノイズ、ＷＫ…部品、Ｚ１…第一ノイズ、Ｚ２…第二ノイズ

Claims (7)

1. 検査装置であって、
   検査対象の撮像画像を取得する撮像画像取得部と、
   正常な前記検査対象を示す正常画像を用いて学習済みの学習モデルであって、前記正常画像に近似する比較画像を生成するための学習モデルを格納する記憶装置と、
   前記撮像画像と前記比較画像とを用いて前記検査対象の異常の有無を判定する検査部と、を備え、
   前記学習モデルは、
   第一ノイズおよび第二ノイズの入力により前記比較画像を生成する生成器であって、
   前記第一ノイズを非線形変換して第三ノイズを生成するマッピングネットワーク層と、
   前記第二ノイズおよび生成した前記第三ノイズを用いて画像を生成し、生成した画像のアップサンプリングを複数回繰り返すことによって前記比較画像を生成するシンセシスネットワーク層と、を備える生成器、を備え、
   前記検査部は、前記撮像画像と前記比較画像とが近似しないと判定した場合に、前記第一ノイズおよび前記第二ノイズの少なくともいずれかを変更して生成した新たな前記比較画像を用いて前記検査対象の異常の有無を判定する再判定を、予め定められた回数だけ繰り返す、
   検査装置。
2. 請求項１に記載の検査装置であって、
   前記学習モデルは、前記撮像画像と前記比較画像とを識別するための識別器を備えない、
   検査装置。
3. 請求項１に記載の検査装置であって、
   前記再判定は、
   前記第二ノイズを固定し、前記第一ノイズを変更して生成した前記比較画像を用いる前記再判定を予め定められた回数だけ行う第一再判定と、
   前記第一再判定を行ったあとに、前記第一ノイズを固定し、前記第二ノイズを変化させて生成した前記比較画像を用いる前記再判定を予め定められた回数だけ行う第二再判定と、を含む、
   検査装置。
4. 請求項１に記載の検査装置であって、
   前記検査部は、前記撮像画像に含まれる第一画素の階調値と、前記比較画像において前記第一画素に対応する位置の第二画素の階調値との差分の積算値が予め定められた閾値よりも大きい場合に前記検査対象に異常ありと判定する、
   検査装置。
5. 請求項１に記載の検査装置であって、
   前記学習モデルは、
   前記生成器と、
   前記撮像画像に対する前記比較画像の違いの度合いを示す尤度を出力する識別器と、
   前記識別器から出力された前記尤度を用いて前記検査対象の異常の有無を判定する判定器と、を備える敵対的生成ネットワークであり、
   前記検査部は、前記判定器の結果に基づいて前記検査対象の異常の有無を判定する、
   検査装置。
6. 請求項１に記載の検査装置であって、
   前記生成器は、さらに、前記マッピングネットワーク層に入力する前記第一ノイズを、前記撮像画像と前記比較画像との差が小さくなるように変更させる重み調整層を備える、
   検査装置。
7. 検査方法であって、
   検査対象の撮像画像を取得し、
   正常な前記検査対象を示す正常画像を用いて学習済みの学習モデルを用いて、前記正常画像に近似する比較画像を生成し、
   前記撮像画像と前記比較画像とを用いて前記検査対象の異常の有無を判定し、
   前記学習モデルは、
   第一ノイズおよび第二ノイズの入力により前記比較画像を生成する生成器であって、
   前記第一ノイズを非線形変換して第三ノイズを生成するマッピングネットワーク層と、
   前記第二ノイズおよび生成した前記第三ノイズを用いて画像を生成し、生成した画像のアップサンプリングを複数回繰り返すことによって前記比較画像を生成するシンセシスネットワーク層と、を備える生成器、を備え、
   前記撮像画像と前記比較画像とが近似しないと判定した場合に、前記第一ノイズおよび前記第二ノイズの少なくともいずれかを変更して生成した新たな前記比較画像を用いて前記検査対象の異常の有無を判定する再判定を、予め定められた回数だけ繰り返す、
   検査方法。

Images