JP7654733B2 - 検査システムおよび検査方法 - Google Patents

Description

この開示は、検査システムおよび検査方法に関する。

従来、表面検査装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、対象物の塗装面の検査を行う表面検査装置が開示されている。この表面検査装置では、カメラにより対象物が撮影される。そして、撮影された対象物の画像から、対象物の傷が検出される。そして、検出された対象物の傷の位置が表示装置に表示された対象物の図形上の位置に変換されて、表示装置に表示される。

特開２００８－０４６１０３号公報

しかしながら、上記特許文献１に記載された表面検査装置では、対象物の傷の位置が対象物の図形上に表示されるだけであるため、ワークとしての対象物の画像に関するユーザの利便性が不十分であるという問題点がある。

この開示は、上記のような課題を解決するためになされたものであり、ワークの画像に関するユーザの利便性を向上させることが可能な検査システムおよび検査方法を提供することである。

この開示の第１の局面による検査システムは、ロボットと、ワークを検査する検査部と、ロボットによりワークに対して検査部を相対的に移動させて、検査部によりワークを検査することにより、ワークの検査画像を取得する処理と、取得した検査画像内のワークの欠陥を検出する処理と、検出した欠陥の位置をワークの３次元画像に表示する処理と、表示した欠陥に対する入力がされた場合、入力がされた欠陥に関して実物のワークに関する処理を行う処理と、を行う、処理部と、を備え、処理部は、欠陥に対応する操作画像を表示するとともに、表示した操作画像が操作された場合、操作された操作画像に対応する欠陥の位置が見やすくなるようにワークの３次元画像を自動的に移動させるとともに、操作された操作画像に対応する欠陥に関して実物のワークに関する処理を行う。

この開示の第１の局面による検査システムでは、上記のように、検出した対象の位置をワークの３次元画像に表示する処理と、表示した対象に対する入力がされた場合、入力がされた対象に関して実物のワークに関する処理を行う処理と、を行う。これにより、ユーザは、３次元画像によりワークにおける対象の位置を確認することができるだけでなく、対象に対する入力を行うことにより、入力がされた対象に関して実物のワークに関する処理を行うことができる。その結果、単にワークの画像に対象の位置を表示するだけの場合に比べて、ワークの画像に関するユーザの利便性を向上させることができる。

この開示の第２の局面による検査方法は、ロボットによりワークに対して検査部を相対的に移動させて、検査部によりワークを検査することにより、ワークの検査画像を取得することと、取得した検査画像内のワークの欠陥を検出することと、検出した欠陥の位置をワークの３次元画像に表示することと、表示した欠陥に対する入力がされた場合、入力がされた欠陥に関して実物のワークに関する処理を行うことと、を備え、表示した欠陥に対する入力がされた場合に実物のワークに関する処理を行うことは、欠陥に対応する操作画像を表示するとともに、表示した操作画像が操作された場合、操作された操作画像に対応する欠陥の位置が見やすくなるようにワークの３次元画像を自動的に移動させるとともに、操作された操作画像に対応する欠陥に関して実物のワークに関する処理を行うことを含む。

この開示の第２の局面による検査方法では、上記のように、検出した対象の位置をワークの３次元画像に表示することと、表示した対象に対する入力がされた場合、入力がされた対象に関して実物のワークに関する処理を行うことと、を行う。これにより、ユーザは、３次元画像によりワークにおける対象の位置を確認することができるだけでなく、対象に対する入力を行うことにより、入力がされた対象に関して実物のワークに関する処理を行うことができる。その結果、単にワークの画像に対象の位置を表示するだけの場合に比べて、ワークの画像に関するユーザの利便性を向上させることが可能な検査方法を提供することができる。

本開示によれば、上記のように、ワークの画像に関するユーザの利便性を向上させることができる。

一実施形態による検査システムを示した図である。 一実施形態による検査システムを示したブロック図である。 一実施形態による検査システムの制御処理を説明するためのフローチャートである。 一実施形態によるワークの検査を説明するための図である。 一実施形態による検査画像を説明するための図である。 一実施形態による検査結果の表示を説明するための図である。 一実施形態によるロボットを動作させるための操作画像を操作した場合を説明するための図である。 一実施形態によるロボットにより対象の位置を実物のワークに示すことを説明するための図である。 一実施形態による検査画像を表示させるための操作画像を操作した場合を説明するための図である。 一実施形態による検査画像を表示することを説明するための図である。 一実施形態による処置が完了したか否かの表示を説明するための図である。

以下、本開示を具体化した実施形態を図面に基づいて説明する。

（検査システムの構成）
図１および図２を参照して、一実施形態による検査システム１００の全体構成について説明する。

図１に示すように、検査システム１００は、ワーク２００の外観を検査する外観検査システムである。ワーク２００は、たとえば、自動車、農業機械、陶器、または、家庭用電気機器に関する製品または部品である。ワーク２００は、特に限定されない。

検査システム１００は、ロボット１０と、検査部２０と、指示部３０と、ロボットコントローラ４０と、画像処理装置５０と、結果表示装置６０とを備えている。

ロボット１０は、ワーク２００に対して検査部２０を相対的に移動させる。ロボット１０は、垂直多関節ロボットである。ロボット１０は、ベース部１１と、ベース部１１に接続されたアーム部１２とを含んでいる。ベース部１１は、床、壁、天井などの設置面に固定される。なお、ベース部１１は、移動可能な台車に取り付けられてもよい。アーム部１２は、複数の関節を有している。複数の関節の各々は、駆動源としてサーボモータを有している。また、アーム部１２の先端は、検査部２０および指示部３０を保持している。ロボット１０は、アーム部１２の複数の関節を駆動することにより、固定されたワーク２００に対して、アーム部１２の先端に保持された検査部２０および指示部３０を移動させる。

検査部２０は、ロボット１０に配置され、ワーク２００を検査する。検査部２０は、撮像部であり、ワーク２００を撮像する。具体的には、検査部２０は、ライン型のカメラであり、ロボット１０によりワーク２００の表面に沿って移動されて、ワーク２００の表面をスキャン撮像する。

指示部３０は、ロボット１０に配置され、検査により取得される後述する対象２０１の位置をワーク２００に示す。指示部３０は、レーザ照射部であり、レーザ光を照射して、対象２０１の位置をワーク２００に示す。

図１および図２に示すように、ロボットコントローラ４０は、ロボット１０の動作を制御する。ロボットコントローラ４０は、処理部４１と、記憶部４２とを含んでいる。処理部４１は、プロセッサを含み、ロボット１０の動作に関する各種の処理を行う。記憶部４２は、不揮発性メモリを含み、ロボット１０を動作させるためのプログラムなどの各種の情報を記憶する。

画像処理装置５０は、検査部２０により撮像された画像に対して画像処理を行う。また、画像処理装置５０は、検査部２０による撮像タイミングを制御する。画像処理装置５０は、処理部５１と、記憶部５２とを含んでいる。処理部５１は、プロセッサを含み、検査部２０により撮像された画像、および、検査部２０による撮像タイミングに関する各種の処理を行う。記憶部５２は、不揮発性メモリを含み、画像処理を行うためのプログラムなどの各種の情報を記憶する。

結果表示装置６０は、ワーク２００の検査結果を表示する。結果表示装置６０は、処理部６１と、記憶部６２と、表示部６３と、操作部６４とを含んでいる。処理部６１は、プロセッサを含み、ワーク２００の検査結果の表示に関する各種の処理を行う。記憶部６２は、不揮発性メモリを含み、ワーク２００の検査結果を表示するためのプログラム、ワーク２００の３次元画像などの各種の情報を記憶する。表示部６３は、液晶モニタなどのモニタを含み、ワーク２００の検査結果の画面などを表示する。操作部６４は、マウスおよびキーボードなどの入力装置を含み、ユーザの入力操作を受け付ける。なお、表示部６３および操作部６４は、一体型であってもよい。すなわち、表示部６３および操作部６４は、タッチパネルなどの操作部兼表示部によって構成されてもよい。

（検査システムの制御処理）
図３から図１１を参照して、検査システム１００の制御処理について説明する。

図３および図４に示すように、ステップＳ１において、ロボットコントローラ４０の処理部４１は、移動経路１３に基づいて、ロボット１０を動作させて、検査部２０によりワーク２００を検査する処理を行う。移動経路１３は、ロボット１０のアーム部１２を動作させるための経路であり、ワーク２００を検査するために複数生成される。また、移動経路１３は、ワーク２００を検査する前に、予め生成される。

たとえば、処理部４１は、ユーザによるアーム部１２の動作の教示を受け付けて、受け付けた教示に基づいて、ロボット１０の移動経路１３を生成する処理を行う。また、たとえば、処理部４１は、ユーザによるアーム部１２の動作の教示によらず、ロボット１０の移動経路１３を自動的に生成する処理を行う。また、処理部４１は、曲面などのワーク２００の表面に沿った移動経路１３を生成する処理を行う。

図３～図５に示すように、画像処理装置５０の処理部５１は、検査部２０の出力結果に基づいて、検査画像２１を取得する処理を行う。検査画像２１は、検査部２０により撮像したワーク２００の表面の撮像画像である。

処理部５１は、移動経路１３に沿って一定の距離間隔ごとに検査部２０をワーク２００を検査するように動作させて、検査画像２１を取得する処理を行う。具体的には、処理部５１は、一定の距離間隔ごとに、検査部２０をワーク２００を撮像するように動作させて、ワーク２００をスキャン撮像する処理を行う。より具体的には、処理部４１は、一定の距離間隔ごとに、パルス信号を処理部５１に出力する処理を行う。処理部５１は、処理部４１からのパルス信号に基づいて、一定の距離間隔ごとに、トリガ信号を検査部２０に出力する処理を行う。検査部２０は、トリガ信号に基づいて、一定の距離間隔ごとに、ワーク２００を撮像する。なお、一定の距離間隔は、ロボット１０の制御点の距離間隔である。ロボットの１０の制御点は、検査部２０が撮像部である場合、検査部２０の撮像の焦点位置に設定される。また、検査部２０の撮像の焦点位置は、ワーク２００の表面の近傍に設定される。ロボット１０の制御点は、検査部２０によりワーク２００を撮像する処理を行うために設けられている。

処理部４１は、全ての移動経路１３について、検査部２０によりワーク２００を検査する処理を行う。また、処理部５１は、全ての移動経路１３について、検査画像２１を取得する処理を行う。

図３および図５に示すように、ステップＳ２において、画像処理装置５０の処理部５１は、検査画像２１内のワーク２００の対象２０１を検出する処理を行う。処理部５１は、検査画像２１に対して所定の画像処理を行うことにより、検査画像２１内の対象２０１を検出する処理を行う。対象２０１は、たとえば、傷、異物、凹みなどの欠陥である。処理部５１は、全ての検査画像２１について、検査画像２１内の対象２０１を検出する処理を行う。また、処理部５１は、ワーク２００の検査結果を、ロボットコントローラ４０の処理部４１および結果表示装置６０の処理部６１に出力する処理を行う。

図３および図６に示すように、ステップＳ３において、結果表示装置６０の処理部６１は、対象２０１の位置をワーク２００の３次元画像に表示する処理を行う。具体的には、処理部６１は、検査画像２１における対象２０１の座標値をワーク２００の３次元画像における対象２０１の座標値に変換する所定の座標変換処理を行って、ワーク２００の３次元画像に対象２０１の位置を表示する処理を行う。この際、処理部６１は、ワーク２００の３次元画像に対象２０１の位置を示す画像を重畳する処理を行う。そして、処理部６１は、対象２０１の位置を示す画像を重畳したワーク２００の３次元画像を表示部６３に表示する処理を行う。なお、対象２０１の位置を示す画像を重畳したワーク２００の３次元画像は、操作部６４を用いたユーザの操作に基づいて、拡大、縮小または回転させることが可能である。また、対象２０１の位置を示す画像は、傷、異物、凹みなどの対象２０１の種類に応じて、異なる色または異なる形状で表示されてもよい。

また、処理部６１は、ワーク２００の検査結果をリスト形式で表示する処理を行う。ワーク２００の検査結果とは、全ての検査画像２１について、検査画像２１内の対象２０１を検出する処理を行った結果を表している。ワーク２００の検査結果は、検出した対象２０１の番号と、検出した対象２０１の種類とを含んでいる。

また、本実施形態では、処理部６１は、ワーク２００の検査結果と共に操作画像７１、７２をリスト形式で表示する処理を行う。操作画像７１は、後述する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行うための画像である。操作画像７２は、後述する対象２０１の検査画像２１を表示する処理を行うための画像である。操作画像７１、７２は、検出した対象２０１の番号および種類との対応関係を識別可能なように、ワーク２００の検査結果と共にリスト形式で表示されている。処理部６１は、リスト形式のワーク２００の検査結果および操作画像７１、７２を表示部６３に表示する処理を行う。また、処理部６１は、ワーク２００の３次元画像、リスト形式のワーク２００の検査結果および操作画像７１、７２を同じ枠内に表示する処理を行う。操作画像７１は、第１操作画像の一例である。操作画像７２は、第２操作画像の一例である。

ここで、本実施形態では、図３、図７～図１０に示すように、ステップＳ４およびＳ５において、処理部６１は、対象２０１に対する入力がされた場合、入力がされた対象２０１に関して実物のワーク２００に関する処理を行う。具体的には、処理部６１は、対象２０１に対応する操作画像７１、７２が操作された場合、操作された操作画像７１、７２に対応する対象２０１に関して実物のワーク２００に関する処理を行う。ユーザは、操作部６４を用いて、所望の操作画像７１、７２を操作する。

操作画像７１が操作された場合、処理部６１は、ステップＳ４の処理を行う。図７および図８に示すように、ステップＳ４において、処理部６１は、操作された操作画像７１に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行う。具体的には、処理部６１は、操作された操作画像７１に対応する対象２０１を特定するための特定情報を、ロボットコントローラ４０の処理部４１に出力する処理を行う。特定情報は、たとえば、対象２０１の番号である。処理部４１は、処理部６１からの特定情報に基づいて、対象２０１を特定し、特定した対象２０１の位置を、操作された操作画像７１に対応する対象２０１の位置として実物のワーク２００に示すようにロボット１０を動作させる処理を行う。

より具体的には、処理部４１は、ロボット１０を動作させて、指示部３０により実物のワーク２００に対象２０１の位置を示す処理を行う。すなわち、処理部４１は、ロボット１０を動作させて、対象２０１の位置を示すことが可能な所定の位置に指示部３０を移動させる処理を行う。そして、処理部４１は、指示部３０を所定の位置に配置した状態で、指示部３０からレーザ光を照射して、実物のワーク２００に対象２０１の位置を示す処理を行う。

なお、操作画像７１に対応する対象２０１の位置を実物のワーク２００に示すことは、１つの操作画像７１についてのみ行われてもよいし、複数の操作画像７１についてまとめて行われてもよい。たとえば、処理部６１は、操作画像７１が操作されるごとに、操作された操作画像７１に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行ってもよい。また、たとえば、処理部６１は、複数の操作画像７１がまとめて操作された場合、操作された複数の操作画像７１に対応する複数の対象２０１の位置を連続して実物のワーク２００に示すようにロボット１０を動作させる処理を行ってもよい。この場合、実物のワーク２００における複数の対象２０１の位置を容易に確認することが可能である。また、同じ種類の複数の操作画像７１がまとめて操作されれば、実物のワーク２００における同じ種類の複数の対象２０１の位置を容易に確認することが可能である。

また、本実施形態では、処理部６１は、操作画像７１が操作された場合、操作された操作画像７１に対応する対象２０１の位置をワーク２００の３次元画像において強調表示させるとともに、操作された操作画像７１に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行う。たとえば、処理部６１は、点滅、拡大、または、色の変更などの強調表示方法により、対象２０１の位置をワーク２００の３次元画像において強調表示させる処理を行う。

操作画像７２が操作された場合、処理部６１は、ステップＳ５の処理を行う。図９および図１０に示すように、ステップＳ５において、処理部６１は、操作された操作画像７２に対応する対象２０１の検査画像２１を表示する処理を行う。具体的には、処理部６１は、ワーク２００の３次元画像、リスト形式のワーク２００の検査結果および操作画像７１、７２が表示された枠とは異なる枠に、検査画像２１を表示する処理を行う。なお、処理部６１は、ワーク２００の３次元画像、リスト形式のワーク２００の検査結果および操作画像７１、７２が表示された枠と同じ枠内に、検査画像２１を表示する処理を行ってもよい。

また、本実施形態では、処理部６１は、操作画像７２が操作された場合、操作された操作画像７２に対応する対象２０１の位置をワーク２００の３次元画像において強調表示させるとともに、操作された操作画像７２に対応する対象２０１の検査画像２１を表示する処理を行う。たとえば、処理部６１は、点滅、拡大、または、色の変更などの強調表示方法により、対象２０１の位置をワーク２００の３次元画像において強調表示させる処理を行う。

また、処理部６１は、操作画像７２が操作された場合、操作された操作画像７２に対応する対象２０１の位置が見やすくなるようにワーク２００の３次元画像を移動させるとともに、操作された操作画像７２に対応する対象２０１の検査画像２１を表示する処理を行う。たとえば、処理部６１は、操作された操作画像７２に対応する対象２０１の位置が正面を向くようにワーク２００の３次元画像を回転させることにより、対象２０１の位置を見やすくする処理を行う。この際、ワーク２００の３次元画像の位置が正面を向いた位置に固定されるわけではなく、ユーザは、操作部６４を用いて、ワーク２００の３次元画像を自由に回転させることが可能である。

また、本実施形態では、図１１に示すように、処理部６１は、対象２０１への処置が完了したか否かを表す識別表示７３を表示する処理を行う。対象２０１への処置とは、たとえば、欠陥としての対象２０１に対して修復作業を行うことである。また、識別表示７３は、チェックボックス７３ａに入るチェックマークである。ユーザは、対象２０１への処置が完了した場合、操作部６４を用いて、チェックボックス７３ａにチェックを入れる操作を行い、識別表示７３を表示させる。

また、処理部６１は、ワーク２００の検査結果および操作画像７１、７２と共に、識別表示７３およびチェックボックス７３ａをリスト形式で表示する処理を行う。識別表示７３およびチェックボックス７３ａは、検出した対象２０１の番号および種類との対応関係を識別可能なように、ワーク２００の検査結果と共にリスト形式で表示されている。処理部６１は、リスト形式のワーク２００の検査結果、操作画像７１、７２、識別表示７３およびチェックボックス７３ａを表示部６３に表示する処理を行う。また、処理部６１は、ワーク２００の３次元画像、リスト形式のワーク２００の検査結果、操作画像７１、７２、識別表示７３およびチェックボックス７３ａを同じ枠内に表示する処理を行う。

また、本実施形態では、処理部６１は、識別表示７３を表示する処理に加えて、処置が完了した対象２０１の位置を、３次元画像において、処置が完了していない対象２０１の位置とは異なる色で表示する処理を行う。たとえば、処置が完了していない対象２０１の色が赤色である場合、処置が完了した対象２０１の位置が緑色で表示される。すなわち、処理部６１は、チェックボックス７３ａに識別表示７３が表示された場合、識別表示７３が表示されたチェックボックス７３ａに対応する対象２０１の位置を、識別表示７３が表示される前とは異なる色で表示する処理を行う。

（本実施形態の効果）
本実施形態では、上記のように、検出した対象２０１の位置をワーク２００の３次元画像に表示する処理と、表示した対象２０１に対する入力がされた場合、入力がされた対象２０１に関して実物のワーク２００に関する処理を行う処理と、を行う。これにより、ユーザは、ワーク２００の３次元画像によりワーク２００における対象２０１の位置を確認することができるだけでなく、対象２０１に対する入力を行うことにより、入力がされた対象２０１に関して実物のワーク２００に関する処理を行うことができる。その結果、単にワーク２００の画像に対象２０１の位置を表示するだけの場合に比べて、ワーク２００の画像に関するユーザの利便性を向上させることができる。

また、ワーク２００の３次元画像に対象２０１の位置を表示することにより、ワーク２００の２次元画像に対象２０１の位置を表示する場合に比べて、画像が立体的である分、対象２０１の位置をより見やすく表示することができる。

また、本実施形態では、上記のように、処理部６１は、対象２０１に対応する操作画像７１、７２を表示するとともに、表示した操作画像７１、７２が操作された場合、操作された操作画像７１、７２に対応する対象２０１に関して実物のワーク２００に関する処理を行う。これにより、ユーザは、操作画像７１、７２を用いて、対象２０１に対する入力を容易に行うができるので、ワーク２００の画像に関するユーザの利便性を容易に向上させることができる。

また、本実施形態では、上記のように、処理部６１は、操作画像７１、７２が操作された場合、操作された操作画像７１、７２に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理、および、操作された操作画像７１、７２に対応する対象２０１の検査画像２１を表示する処理のいずれかを行う。これにより、操作された操作画像７１、７２に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる場合、ユーザは、ワーク２００の３次元画像の確認中に、操作画像７１、７２を操作するだけで、ロボット１０を動作させて、対象２０１の位置を実物のワーク２００に示すことができる。その結果、実物のワーク２００において対象２０１の確認を所望するユーザの利便性を効果的に向上させることができる。また、操作された操作画像７１、７２に対応する対象２０１の検査画像２１を表示する場合、ユーザは、ワーク２００の３次元画像の確認中に、操作画像７１、７２を操作するだけで、実物のワーク２００から取得された検査画像２１を表示させることができる。その結果、検査画像２１の確認を所望するユーザの利便性を効果的に向上させることができる。

また、本実施形態では、上記のように、処理部６１は、操作画像７１、７２が操作された場合、操作された操作画像７１、７２に対応する対象２０１の位置をワーク２００の３次元画像において強調表示させるとともに、操作された操作画像７１、７２に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行う。これにより、対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる場合、ユーザは、操作した操作画像７１、７２に対応する対象２０１の位置をワーク２００の３次元画像において容易に確認することができる。その結果、ユーザは、確認を所望しない対象２０１に対応する操作画像７１、７２を誤って操作した場合、誤って操作したことを容易に認識することができる。

また、本実施形態では、上記のように、処理部６１は、操作画像７１、７２が操作された場合、操作された操作画像７１、７２に対応する対象２０１の位置をワーク２００の３次元画像において強調表示させるとともに、操作された操作画像７１、７２に対応する対象２０１の検査画像２１を表示する処理を行う。これにより、操作された操作画像７１、７２に対応する対象２０１の検査画像２１を表示する場合、ユーザは、操作した操作画像７１、７２に対応する対象２０１の位置をワーク２００の３次元画像において容易に確認することができる。その結果、ユーザは、確認を所望しない対象２０１に対応する操作画像７１、７２を誤って操作した場合、誤って操作したことを容易に認識することができる。

また、本実施形態では、上記のように、操作画像７１、７２は、対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行うための操作画像７１、と、対象２０１の検査画像２１を表示する処理を行うための操作画像７２と、を含み、処理部６１は、操作画像７１が操作された場合、操作された操作画像７１に対応する対象２０１の位置を実物のワーク２００に示すようにロボット１０を動作させる処理を行い、操作画像７２が操作された場合、操作された操作画像７２に対応する対象２０１の検査画像２１を表示する処理を行う。これにより、操作画像７１と操作画像７２とが別々に設けられているため、ユーザは、操作画像７１の操作によるロボット１０を動作させる処理と、操作画像７２の操作による検査画像２１を表示する処理との各々を確実に行うことができる。

また、本実施形態では、上記のように、処理部６１は、ワーク２００の検査結果と共に操作画像７１、７２をリスト形式で表示する処理を行う。これにより、ワーク２００の検査結果と共に操作画像７１、７２をリスト形式で表示することができるので、ユーザは、確認を所望する対象２０１の操作画像７１、７２を容易に判別して操作することができる。

また、本実施形態では、上記のように、処理部６１は、対象２０１への処置が完了したか否かを表す識別表示７３を表示する処理を行う。これにより、ユーザは、識別表示７３により、対象２０１への処置が完了したか否かを確実に確認することができる。また、対象２０１への処置が完了したか否かを表示することにより、トレーサビリティを確保することができる。

また、本実施形態では、上記のように、処理部６１は、識別表示７３を表示する処理に加えて、処置が完了した対象２０１の位置をワーク２００の３次元画像において、処置が完了していない対象２０１の位置とは異なる色で表示する処理を行う。これにより、ユーザは、識別表示７３と対象２０１の色との両方により、対象２０１への処置が完了したか否かをより確実に確認することができる。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、検査システムが、ワークの外観を検査する外観検査システムである例を示したが、本開示はこれに限られない。本開示では、検査システムが、ワークの内部を検査する検査システムであってもよい。この場合、検査部は、ワークの内部に超音波を送信し、ワークの内部において反射した超音波を受信することにより、ワークを検査する超音波探傷部であってもよい。超音波探傷部を用いれば、ワークの内部の欠陥などの対象を検出することが可能である。

また、上記実施形態では、ロボットが垂直多関節ロボットである例を示したが、本開示はこれに限られない。本開示では、ロボットが垂直多関節ロボット以外の産業用ロボットであってもよい。

また、上記実施形態では、ロボットが撮像部を移動させることにより、ワークに対して検査部を相対的に移動させる例を示したが、本開示はこれに限られない。本開示では、ロボットがワークを移動させることにより、ワークに対して検査部を相対的に移動させてもよい。

また、上記実施形態では、ロボットコントローラの処理部、画像処理装置の処理部、および、結果表示装置の処理部が、分担して、各種の処理を行う例を示したが、本開示はこれに限られない。本開示では、処理部の数および構成は、特に限定されない。１つの処理部が、上記実施形態の各種の処理を行ってもよいし、複数の処理部が上記実施形態の各種の処理を行ってもよい。また、記憶部の構成も限定されない。また、ロボットコントローラ、画像処理装置および結果表示装置の構成も限定されない。ロボットコントローラ、画像処理装置および結果表示装置は、一体的な構成であってもよいし、上記実施形態のように別々の構成であってもよい。また、ロボットコントローラ、画像処理装置および結果表示装置が、さらに別れた構成であってもよい。たとえば、結果表示装置を操作するための操作装置が、結果表示装置とは別個に設けられていてもよい。

また、上記実施形態では、操作画像に対応する対象の位置を実物のワークに示すようにロボットを動作させる処理と、操作画像に対応する検査画像を表示する処理との両方を行う例を示したが、本開示はこれに限られない。本開示では、操作画像に対応する対象の位置を実物のワークに示すようにロボットを動作させる処理と、操作画像に対応する検査画像を表示する処理のいずれか一方のみを行ってもよい。

また、上記実施形態では、ワークの検査結果と共に操作画像がリスト形式で表示される例を示したが、本開示はこれに限られない。本開示では、ワークの検査結果とは別個に操作画像が表示されてもよい。

また、上記実施形態では、指示部が、レーザ照射部である例を示したが、本開示はこれに限られない。本開示では、対象の位置をワークに示すことが可能であれば、指示部は特に限定されない。たとえば、指示部が、インクを塗布して、対象の位置をワークに示すインク塗布部であってもよい。また、たとえば、指示部が、スタンプを押印して、対象の位置をワークに示すスタンプ押印部であってもよい。また、たとえば、指示部が、塗装を噴射して、対象の位置をワークに示す塗装ガンであってもよい。また、たとえば、指示部が、付箋などの貼付物を貼付して、対象の位置をワークに示す貼付部であってもよい。また、上記実施形態とは異なり、拡張現実を表示する拡張現実表示装置により、対象の位置を実物のワークに示してもよい。拡張現実表示装置は、対象の位置を示す拡張現実画像を表示して、対象の位置をワークに示す。

また、上記実施形態では、指示部が、検査用のロボットに配置される例を示したが、本開示はこれに限られない。本開示では、検査用のロボットとは別個に、指示部を配置した指示用のロボットを設けてもよい。指示用のロボットは、対象の位置を実物のワークに示すように動作する。また、検査用のロボットによりワークの検査が行われる場所と、指示用のロボットによりワークの指示が行われる場所とは、別々の離れた場所であってもよい。

また、上記実施形態では、操作画像が操作された場合、操作された操作画像に対応する対象の位置をワークの３次元画像において強調表示させる例を示したが、本開示はこれに限られない。本開示では、操作画像が操作された場合に、操作された操作画像に対応する対象の位置をワークの３次元画像において強調表示させなくてもよい。

また、上記実施形態では、対象への処置が完了したか否かを表す識別表示を表示する例を示したが、本開示はこれに限られない。本開示では、対象への処置が完了したか否かを表す識別表示を表示しなくてもよい。

また、上記実施形態では、処置が完了した対象の位置を、３次元画像において、処置が完了していない対象の位置とは異なる色で表示する例を示したが、本開示はこれに限られない。本開示では、処置が完了した対象の位置を、３次元画像において、処置が完了していない対象の位置とは異なる色で表示しなくてもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび／またはプロセッサの構成に用いられる。

［態様］
上記した実施形態は、以下の態様の具体例である。

（態様１）
ロボットと、
ワークを検査する検査部と、
前記ロボットにより前記ワークに対して前記検査部を相対的に移動させて、前記検査部により前記ワークを検査することにより、前記ワークの検査画像を取得する処理と、
取得した前記検査画像内の前記ワークの対象を検出する処理と、
検出した前記対象の位置を前記ワークの３次元画像に表示する処理と、
表示した前記対象に対する入力がされた場合、入力がされた前記対象に関して実物の前記ワークに関する処理を行う処理と、
を行う、処理部と、を備える、検査システム。

（態様２）
前記処理部は、前記対象に対応する操作画像を表示するとともに、表示した前記操作画像が操作された場合、操作された前記操作画像に対応する前記対象に関して実物の前記ワークに関する処理を行う、態様１に記載の検査システム。

（態様３）
前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記対象の位置を実物の前記ワークに示すように前記ロボットを動作させる処理、および、操作された前記操作画像に対応する前記対象の前記検査画像を表示する処理のいずれかを行う、態様２に記載の検査システム。

（態様４）
前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記対象の位置を前記３次元画像において強調表示させるとともに、操作された前記操作画像に対応する前記対象の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行う、態様３に記載の検査システム。

（態様５）
前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記対象の位置を前記３次元画像において強調表示させるとともに、操作された前記操作画像に対応する前記対象の前記検査画像を表示する処理を行う、態様３または４に記載の検査システム。

（態様６）
前記操作画像は、
前記対象の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行うための第１操作画像と、
前記対象の前記検査画像を表示する処理を行うための第２操作画像と、
を含み、
前記処理部は、
前記第１操作画像が操作された場合、操作された前記第１操作画像に対応する前記対象の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行い、
前記第２操作画像が操作された場合、操作された前記第２操作画像に対応する前記対象の前記検査画像を表示する処理を行う、態様３～５のいずれか１の態様に記載の検査システム。

（態様７）
前記処理部は、前記ワークの検査結果と共に前記操作画像をリスト形式で表示する処理を行う、態様２～６のいずれか１の態様に記載の検査システム。

（態様８）
前記処理部は、前記対象への処置が完了したか否かを表す識別表示を表示する処理を行う、態様１～７のいずれか１の態様に記載の検査システム。

（態様９）
前記処理部は、前記識別表示を表示する処理に加えて、処置が完了した前記対象の位置を、前記３次元画像において、処置が完了していない前記対象の位置とは異なる色で表示する処理を行う、態様８に記載の検査システム。

（態様１０）
ロボットによりワークに対して検査部を相対的に移動させて、前記検査部により前記ワークを検査することにより、前記ワークの検査画像を取得することと、
取得した前記検査画像内の前記ワークの対象を検出することと、
検出した前記対象の位置を前記ワークの３次元画像に表示することと、
表示した前記対象に対する入力がされた場合、入力がされた前記対象に関して実物の前記ワークに関する処理を行うことと、を備える、検査方法。

１０ ロボット
２０ 検査部
２１ 検査画像
４１ 処理部
５１ 処理部
６１ 処理部
７１ 操作画像（第１操作画像）
７２ 操作画像（第２操作画像）
７３ 識別表示
１００ 検査システム
２００ ワーク
２０１ 対象

Claims (9)

1. ロボットと、
   ワークを検査する検査部と、
   前記ロボットにより前記ワークに対して前記検査部を相対的に移動させて、前記検査部により前記ワークを検査することにより、前記ワークの検査画像を取得する処理と、
   取得した前記検査画像内の前記ワークの欠陥を検出する処理と、
   検出した前記欠陥の位置を前記ワークの３次元画像に表示する処理と、
   表示した前記欠陥に対する入力がされた場合、入力がされた前記欠陥に関して実物の前記ワークに関する処理を行う処理と、
   を行う、処理部と、を備え、
   前記処理部は、前記欠陥に対応する操作画像を表示するとともに、表示した前記操作画像が操作された場合、操作された前記操作画像に対応する前記欠陥の位置が見やすくなるように前記ワークの３次元画像を自動的に移動させるとともに、操作された前記操作画像に対応する前記欠陥に関して実物の前記ワークに関する処理を行う、検査システム。
2. 前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記欠陥の位置を実物の前記ワークに示すように前記ロボットを動作させる処理、および、操作された前記操作画像に対応する前記欠陥の前記検査画像を表示する処理のいずれかを行う、請求項１に記載の検査システム。
3. 前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記欠陥の位置を前記３次元画像において強調表示させるとともに、操作された前記操作画像に対応する前記欠陥の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行う、請求項２に記載の検査システム。
4. 前記処理部は、前記操作画像が操作された場合、操作された前記操作画像に対応する前記欠陥の位置を前記３次元画像において強調表示させるとともに、操作された前記操作画像に対応する前記欠陥の前記検査画像を表示する処理を行う、請求項２に記載の検査システム。
5. 前記操作画像は、
   前記欠陥の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行うための第１操作画像と、
   前記欠陥の前記検査画像を表示する処理を行うための第２操作画像と、
   を含み、
   前記処理部は、
   前記第１操作画像が操作された場合、操作された前記第１操作画像に対応する前記欠陥の位置を実物の前記ワークに示すように前記ロボットを動作させる処理を行い、
   前記第２操作画像が操作された場合、操作された前記第２操作画像に対応する前記欠陥の前記検査画像を表示する処理を行う、請求項２に記載の検査システム。
6. 前記処理部は、前記ワークの検査結果と共に前記操作画像をリスト形式で表示する処理を行う、請求項１に記載の検査システム。
7. 前記処理部は、前記欠陥への処置が完了したか否かを表す識別表示を表示する処理を行う、請求項１に記載の検査システム。
8. 前記処理部は、前記識別表示を表示する処理に加えて、処置が完了した前記欠陥の位置を、前記３次元画像において、処置が完了していない前記欠陥の位置とは異なる色で表示する処理を行う、請求項７に記載の検査システム。
9. ロボットによりワークに対して検査部を相対的に移動させて、前記検査部により前記ワークを検査することにより、前記ワークの検査画像を取得することと、
   取得した前記検査画像内の前記ワークの欠陥を検出することと、
   検出した前記欠陥の位置を前記ワークの３次元画像に表示することと、
   表示した前記欠陥に対する入力がされた場合、入力がされた前記欠陥に関して実物の前記ワークに関する処理を行うことと、を備え、
   表示した前記欠陥に対する入力がされた場合に実物の前記ワークに関する処理を行うことは、前記欠陥に対応する操作画像を表示するとともに、表示した前記操作画像が操作された場合、操作された前記操作画像に対応する前記欠陥の位置が見やすくなるように前記ワークの３次元画像を自動的に移動させるとともに、操作された前記操作画像に対応する前記欠陥に関して実物の前記ワークに関する処理を行うことを含む、検査方法。

Images