JP4827744B2 - 検査路設定及び検査領域決定方法 - Google Patents

Description

本発明は、三次元物体を検査するために、少なくとも１つの光学撮像装置、特にカメラの検査路を設定する方法に関し、前記方法においては、撮像装置と対象物は、変位装置によって、お互いに相対運動する。本発明は、また、三次元対象物に関する電子的に記憶された設計データ、特にＣＡＤデータに基づいて三次元対象物の表面検査領域を決定する方法に関する。

カメラを用いた表面検査方法としては、カメラを検査対象物に対して相対運動させ、対象物表面を光学走査する方法がある。大きな対象物に対しては、光学撮像装置又はカメラが対象物に沿って動く検査路を指定することが必要となる。このため、検査対象物及び／又は光学撮像装置が変位装置、例えば、コンベヤベルト、ロボット、マニピュレータ、ハンドリング装置等に取り付けられ、対象物と撮像装置が、可能な限り全ての自由度において、お互いに相対運動できるようにする。

この変位装置の一連の動き、すなわち光学撮像装置の検査路を、変位装置の制御に対して設定しなければならない。この場合、三次元対象物の表面領域を全て走査するには多くの調整が必要となるため、複雑な形状である三次元対象物、例えば車体では、複雑な処理となる。一般には、変位装置の一連の動きはマニュアルで設定されなければならないか、又は、少なくともマニュアルで検査され、必要であれば補正されなければならない。この場合、対象物の検査表面領域も選択される必要がある。また、これらの設定も大部分はマニュアルで行われる。

本発明の目的は、取り扱いが容易であり、全ての検査領域を確実にカバーできる検査路設定方法、及び検査領域決定方法を提供することにある。

この目的は、基本的には、最初に述べたタイプの検査路設定方法を用いて、以下のように達成される。すなわち、対象物及び／又は対象物の検査領域に関する設計データ、特にＣＡＤデータ及び／又はセンサによって決定されたデータに基づいて、及び電子形態で記憶された撮像装置の光学撮像特性に基づいて、さらに論理演算ユニットを用いて、光学撮像装置の検査路を、撮像装置と検査表面との間にある特定の幾何学的関係を設定することによって、自動的に決定する。これにより、設計データ及び光学撮像装置の画像特性に基づいて、労力のかかるマニュアルによる計算や決定を行わずに、撮像装置に必要な経路を自動で算出することが可能となる。特に、撮像装置と検査表面との間の特定の幾何学的関係によって定義されるある特定の撮像条件を設定することによって、光学検査中に、対象物を全体にわたってカバーするために、又は対象物の検査領域を完全にカバーするために、撮像装置の全ての位置を決定することができる。

検査する対象物の正確な形状は、その対象物に関する電子的に記憶された設計データに基づいて、どの検査精度のレベルにおいても正確に把握されている。そのため、この情報に基づいて、一連の動きをマニュアルで設定することなく、検査路を自動で決定することが可能となる。また、センサデータ、例えば、スキャニング等を行って、撮像し、その画像を評価することによって得たデータ、に基づいて関連した設計データを作成してもよい。この場合、対象物に関連した必要な設計データは自動で学習されるので、それらデータを個別に設定する必要がない。また、それらデータは自動で記憶される。センサデータから設計データを決定することにより、既存の設計データの精度が改善されるか、又は、分解能が改善される。

検査路は、光学撮像装置が、固定された又は移動する対象物のまわりを動くように、設定される。この際、変位装置の移動可能範囲を考慮することが好ましい。変位装置は、マニピュレータやハンドリング装置や、多自由度で動かせる、例えば、複数の回転軸のまわりに動かせる多軸移動ユニットとして設計することが特に好適である。

検査路を設定する場合、撮像装置の複数の撮像位置は、撮像された複数の画像で、三次元対象物を完全に覆うか、又は対象物の検査領域全てを覆うように、決定されることが好ましい。これを達成するため、設計データに基づいて決定された検査対象物の表面が、検査中に撮像された複数の画像によって完全にカバーされるかどうか判断するためのチェックが行われる。これは、光学撮像装置の既知である光学撮像特性及び検査路で決定される光学撮像装置の位置に基づいて、決定することができる。

本発明に係る方法の特に好適な実施形態においては、画像撮影時点が、変位装置の変位情報及び撮像装置の決められた撮像位置に基づいて決定される。検査路を移動する間の、変位装置の実際の変位情報及び撮像位置を考慮することによって、この情報を光学走査工程に直接用いて、特に分解能、位置及び／又は時間の関数として、撮像を制御し、作動させる。

本発明によれば、１つの照明装置が撮像装置に割り付けられ、検査路は、撮像装置と照明装置と検査表面との間にある特定の幾何学的関係を設定することによって、決定される。その結果、検査路は、また、照明状況を考慮することでも決定される。照明装置と撮像装置を単一の検査ユニットに組み合わせている場合は、検査路がその検査ユニットに対して決定される。しかしながら、画像装置と照明装置を互いに独立に移動可能なように、画像装置及び照明装置にそれぞれ変位装置を設けてもよい。この場合、独立した検査路が撮像装置及び照明装置に対して設定され、これによって２つの検査路は、一時的に、互いに協働するように、検査路が決定される。複数の撮像装置、複数の照明装置、及び／又は、複数の検査ユニットが設けられた場合も同様である。

検査路の設定には、全ての変位装置の一連の動きの設定、及び場合によっては、対象物が移動可能であればその対象物自身の一連の動きの設定を含んでもよい。これを実現するために、本発明の特に好ましい変更形態では、対象物及び撮像装置及び／又は照明装置との間の相対運動の一連の動きが、検査路から決定される。

この一連の動きの決定においては、検査中の一連の動きを最適化するために、検査時間及び／又は検査路は、できるだけ短くするように考慮することが好ましい。

光学撮像特性、例えばカメラ焦点距離に応じて、光学撮像装置の画像は、表面検査領域よりも大きなサイズとなることもあるので、本発明によれば、検査領域を光学撮像装置の各画像内に対して割り付けてもよい。その検査領域は検査の間に画像処理ソフトウェアを用いて評価される。

この目的を実現するため、検査領域及び検査路に基づいて、設計データで定義される対象物又は対象物の検査領域が完全にカバーされるかどうかを判定するチェックを特に行うようにしてもよい。これは、例えば、算出された検査路上でコンピュータシミュレーションによる検査を行うことで実行することができる。そして、全ての検査領域が実際にカバーされたかどうかの判定チェックを行うため、画像内に定義された検査領域が、設計データに基づいて定義された対象物上にマーキングされる。

さらに、付加的にマニュアル制御を可能とするために、検査路及び／又は上述の定義された対象物の検査領域をディスプレイ手段、特に画面に視覚化するようにしてもよい。

本発明の目的は、また、三次元対象物に関する電子的に記憶された設計データ、特にＣＡＤデータに基づいて、その対象物の表面検査領域を決定する方法によっても実現される。好適には、上述の方法と組み合わせてもよい。しかしながら、検査路設定とは別個に、対象物の検査領域決定を適用してもよい。本発明によれば、対象物上の指定の領域に対して、これらの領域を検査すべきかどうか、また、どんな方法で検査すべきかが設定される。そして、撮像装置を用いて検査する間に、検査すべき領域が実際に撮影された画像に対して割り付けられる。それによって、検査すべき領域が、全て撮像されたかどうかの判定チェックが、検査中に行われる。検査中に行われるこのチェックは、自動又はマニュアル経路設定のどちらに対しても使用することができ、対象物全体が実際に撮影されたことを確実にする。

本発明の方法に係る特に好適な実施形態においては、対象物に関する設計データ、特に幾何学形状又は幾何学的関係から決定されるパラメータに基づいて、検査されない領域及び／又はある特定の方法で検査すべき領域が、自動的に判断される。この方法においては、対象物の検査領域全てが、設計データから、自動的に決定される。一方、例えば、その幾何学形状により有効な方法では検査することができない領域が、自動的に除外され、このため、これらの領域をマニュアルで選択したり、ラベリングしたりする必要がない。検査領域をマニュアルで選択する際に必要な労力が、これによって、大幅に軽減される。

検査領域は、対象物の設計データに基づいて作成可能である演算された画像又は人工の画像として記憶されることが好ましい。これら人工の画像が、検査中に実際に撮像された画像と比較されてもよい。さらに、光学検査を可能とするために、これらの演算された画像を視覚化してもよい。

本発明の方法に係るある実施形態においては、自動生成された検査領域をマニュアルで再度処理を施し、自動生成された検査領域に対して補正を行ってもよい。

また、制御の目的のために、検査領域を有する人工画像及び／又は検査領域を視覚化したものを、実際に撮像した画像内に重なるように表示してもよい。

本発明によれば、検査中に、検査すべき領域を実際の画像に対して、より正確に割り付けるために、設計データから決定される検査領域における特徴と、撮像された画像における認識可能な特徴とを比較してもよい。それら特徴の位置にずれがある場合は、この比較において、検査領域の特徴と実際の画像内の特徴とがお互いに重なるように移動することによって位置補正を行うことができる。この調整によって、別の検査プロセスに対しても、検査領域の実際の画像に対する割付けが容易になる。この特徴の探索は、現在の画像に対して行うのと同様に、既に撮影された画像に対しても行うことができる。

上述の２つの方法の特に好ましい実施形態によれば、光学撮像装置は、また、三次元的に調整される。これによって、画像内における撮影された対象物の位置を正確に決めることが可能となる。また、画像内において認識可能な特徴と設計データの特徴との比較に基づいて、位置の微調整が可能となる。そのため、この方法においては、三次元調整されたデータと設計データとを比較することによって対象物の位置を微調整することが可能となる。検査すべき領域を実際の画像に正確に投影できるため、このタイプの位置微調整は特に好適である。例えば、変位装置に対する対象物の位置ズレのように他の誤差要因が確実に検知されることがないため、対象物の位置のみが、センサによって正確に検知されるだけでは、上述のような確実性は得られない。

撮像装置と変位装置が、お互いに対して調整されることは特に好適である。ある座標系において、それらの相対座標は既知であり、そのため、いかなる場合でも容易に、且つ正確にそれらの相対位置を決定することができる。

以下では、本発明に係る方法の別の特徴、効果及び可能な用途が、例示される実施形態及び図面を参照して詳細に説明される。ここで記載される、及び／又は、図示される全ての構成要件は、それら構成要件のうちの１つのみであっても、若しくは、それらの組合せであっても、本発明の一部であり、請求項又は参照文献の文言とは独立したものである。

図１は、本発明に係る方法によって、光学撮像装置４に対して、車体として示されている三次元物体３のまわりに検査路２が決定される、表面検査システム１の概略図である。このシステムは、例えば、塗装検査用に適している。しかしながら、車体の塗装検査や表面検査に限定されるものではない。このシステムの利点は、多種多様な用途に対して幅広く適応できることにあり、また、容易に組み替えることができる点にある。

示された例において、光学撮像装置４は、検査ユニットに統合される。この検査ユニットには、撮像装置４である少なくとも１つのカメラと少なくとも１つの照明装置が配置される。光学撮像装置４は、ロボット又はマニピュレータとして設計された変位装置５を用いて、三次元対象物３に対して相対運動することができ、三次元対象物３は、コンベヤベルトとして設計された変位装置６上で移動することが可能である。その結果、光学撮像装置４と三次元対象物３との間で相対運動が実現できる。変位装置５及び６は、共通の制御装置７によって制御される。

対象物３、及び／又は対象物３の検査領域に関しては、電子的に記憶された設計データ８が利用可能であり、これら設計データ８は、特に、対応する三次元設計プログラムのＣＡＤデータである。対象物３の三次元設計データはこれらの設計データから得ることが可能である。さらに、撮像装置４の光学撮像特性は、カメラパラメータ９として既知である。これらカメラパラメータ９は、自動カメラ調整によって作成されることが好ましい。この自動カメラ調整には、画像特性や光学撮像装置４又はカメラの空間的位置等の調整が含まれる。

このタイプの調整は、固定の既知位置に配置された例えば複数の点のようなパターンを有するプレート（ｐｌａｔｅ）に基づいて、自動的に実行することができる。調整用プレート（ｃａｌｉｂｌａｔｉｏｎ ｐｌａｔｅ）の既知位置、及び既知のパターンに基づいて、カメラ４の画像特性及び空間的位置が正確に決定される。固定して取り付けられたカメラを用い、対象物３に対応付けられた変位装置６によって、三次元対象物３とその固定して取り付けられたカメラとの相対運動が行われる場合、調整用プレートは、独立した変位装置に配置してもよい。調整を行うため、光学撮像装置４及び／又は調整用プレートが取り付けられた変位装置を調整位置に移動し、画像を撮影し、適切な調整ソフトウェアで評価してもよい。

設計データ８及びカメラパラメータ９は、論理演算ユニット１０によって読み込まれる。これらのデータを用いて、論理演算ユニット１０は、撮像装置と検査表面の間にある特定の幾何学的関係を設定することによって、光学撮像装置４の検査路２を、本発明に係る方法に従って自動で決定する。この幾何学的関係、例えば、検査表面と光学撮像装置４との間の距離、及び／又は表面法線と撮像装置４の光軸との間の角度、を設定することによって、論理演算ユニット１０のプログラムが、電子的な設計データ８及びカメラパラメータ９に関して、対象物３に対する光学撮像装置４の光学検査路２を算出する。また、検査路２を通じて互いに結びつけられる支持点も設計データ８に設定される。

撮像装置が固定されているシステムの場合、その撮像装置の方向に応じて、可能な検査路２が、予め定義されている。この場合、検査路２の設定は、車体３のまわりを光学撮像装置がたどる画像トラック（ｔｈｅ ｉｍａｇｅ ｔｒａｃｋ）を算出することに限定される。一方、移動可能な撮像装置４の場合は、撮像装置の位置は、検査する対象物３の表面形状に対して柔軟に適合させることができる。特に小型の光学撮像装置４の場合は、対象物３の表面上の検査路を自由に定義し、設定することができる。これは、固定された、又は移動する対象物３のまわりで、光学撮像装置４を多自由度で誘導することが可能だからである。

検査路２を設定する際、三次元対象物３の全体、又は対象物３の予め指定された検査領域全てがそれら撮影画像でカバーされるように、それぞれの撮像位置が、既知の光学撮像特性によって決められる。検査路２の全体は、媒介路によって接続される複数の非接続の検査路部分で構成される。これら媒介路上では撮影が行われないため、媒介路上では高速で走査される。

光学撮像装置４の検査路２に基づいて、また、変位装置５、６の可能な変位範囲を含む変位情報１１を用いて、対象物３と撮像装置４との相対運動の一連の動きを決定することができる。この一連の動きは、論理演算ユニット１０によって、制御装置７に出力され、変位装置５、６を制御する。最後に、変位装置５、６の変位情報１１と、撮像装置４の予め設定された撮像位置を考慮して、変位装置５、６が一連の運動を行う間、撮影する適切な時点を決めることができる。

本発明に係る検査路２の設定方法によれば、独立した複数の撮像装置４又はカメラが、必ず、対象物３、例えば車体を追従するように、全ての検査路が決定される。これにより、対象物の検査すべき全ての領域の画像が撮影される。これら検査路２に基づいて、種々の異なる変位装置５、６の一連の動きが、例えばマニピュレータが移動する移動路の形態で、決定される。検査路上の所定の撮像位置に基づいて、例えばカメラ位置を各撮像時点に関連付けして設定することによって、それぞれの光学撮像装置４の撮像時点が、上述のマニピュレータの移動路に沿って決定される。この一連の動きは、制御プログラムとしての論理演算ユニット１０によって、制御装置７へ送られ、変位装置５、６が適切な位置に自動で移動する。

検査路自動設定に加えて、本発明は、また、表面の検査領域１２を決定する方法を提供する。三次元対象物３、例えば、車体では、検査しない領域も多々ある。それらとしては、後に飾り用又は保護用ガーニッシュストリップで覆われる塗装面や、窓ガラス用溝、湾曲溝や、ナンバープレートや板金端部等がおかれる凹形くぼみの側面などが挙げられる。

このタイプの検査しない領域１３を、図３に示す。これらとしては、車体３の保護用ガーニッシュストリップ用の垂直柱部及び水平取付け部表面がある。検査しない領域１３は、それらの幾何学形状及び外観に基づいて、設計データ８から自動で決定される。これら検査しない領域１３が、対象物３上に設定される。検査領域１２も同様であり、撮像装置４で検査が行われている間に、これら検査領域１２が、撮影された画像に割り付けられる。この画像への割り付けは、設計データ８及び既知のカメラパラメータ９に基づいて行われ、これによって光学撮像装置４からの画像１４には、検査領域１２と検査しない領域１３が含まれるようになる。

これら領域１２、１３は、論理演算ユニット１５を用いて、設計データ８と、光学撮像特性及びカメラ位置を含んだ光学撮像装置４のカメラパラメータ９とに基づいて、決定される。論理演算ユニット１５は、検査路自動設定に用いられる論理演算ユニット１０と同じであってもよい。また、論理演算ユニット１５は、検査中にカメラで撮像された全ての画像を演算して、検査領域１２をそれら撮影された画像内に描画する。検査しない領域１３は、演算された画像１４での検査領域１２以外の部分である。

計算された画像１４の自動作成された検査領域１２を、例えば、グラフィックファインエディタ（ｇｒａｐｈｉｃ ｆｉｎｅ ｅｄｉｔｏｒ）１７によって、後処理してもよい。種々の検査ゾーンを、ファインエディタ１７を用いて、決定してもよい。

論理演算ユニット１５で作成し、必要であればファインエディタ１７で後処理した、検査領域１２及び検査しない領域１３を含む画像１４は、各撮像装置４毎にメモリ１６に記憶される。そして、論理演算ユニット１５に含まれるグラフィックエディタ１７を用いて、後処理される。

各カメラに対するメモリ装置１６に記憶された検査領域１２が、必要となる表面全体をカバー可能かどうかをチェックするため、検査領域１２による対象物３のカバー状況をチェックするチェックモジュール１８が、論理演算ユニット１５に設けられる。

検査領域１２、検査しない領域１３が定義された、演算されたカメラ画像１４に従って、カメラで撮像された実際の画像における対象物３の正確な位置あわせを行うため、三次元調整された画像と設計データ８とを比較することによって、対象物１３の位置微調整が行われる。これによって、計算された画像１４とカメラで撮像された画像とが、正確に重なることが保証される。これは、設計データ８に基づいて演算された画像１４と撮像された画像とにおける際立った幾何学形状を検査することで、達成される。これによって、特に、検査領域１２が撮影画像において正確に定義され、後の画像評価にて正確に処理されることが保証される。

特に、設計データに基づいて自動で行われ、検査中にチェックされる検査路自動設定、及び検査領域決定によって、検査システムのマニュアルによる構成及び検査路のマニュアルによる基準設定を行わずにすむため、光学撮像システムを用いた表面検査が簡略化される。

図１は、検査路を設定するシーケンスを示す概略図である。 図２は、検査される表面領域を決定するシーケンスを示す概略図である。 図３は、対象物上の検査する領域を含む画像の概略図である。

符号の説明

１…表面検査システム ２…検査路
３…三次元対象物、車体 ４…光学撮像装置
５…変位装置、マニピュレータ ６…変位装置、コンベヤベルト
７…制御ユニット ８…設計データ
９…カメラパラメータ、光学撮像特性 １０、１５…論理演算ユニット
１１…変位情報 １２…検査領域
１３…検査しない領域 １４…画像
１６…メモリ
１７…ファインエディタ（Ｆｉｎｅ ｅｄｉｔｏｒ）
１８…チェックモジュール

Claims (16)

1. 三次元対象物（３）を検査するための少なくとも１つの光学撮像装置（４）、特にカメラの検査路（２）を設定する検査路設定方法であって、前記少なくとも１つの光学撮像装置（４）と前記三次元対象物（３）が、変位装置（５、６）によって互いに相対運動可能であり、
   前記対象物（３）及び前記対象物の検査する領域（１２）の設計データ（８）に基づいて、且つ、電子形態で記憶された前記撮像装置（４）の光学撮像特性に基づいて、論理演算ユニット（１０）を用いて、前記光学撮像装置（４）と前記検査する領域との間に所定の幾何学的関係を設定することによって、前記光学撮像装置（４）の前記検査路（２）を自動的に決定し、
   前記対象物（３）の前記設計データ（８）から前記検査する領域（１２）を決定し、
   前記光学撮像装置（４）は、固定された前記対象物（３）、又は動いている前記対象物（３）のまわりを案内され、
   前記設計データ（８）から決定された前記検査する領域（１２）における特徴が、撮影された画像内の認識可能な特徴と比較され、必要であれば、前記比較の結果に基づいて位置補正を行う
   ことを特徴とする検査路設定方法。
2. 請求項１記載の検査路設定方法において、前記三次元対象物（３）の全てが、又は前記対象物の検査する領域の全てが、撮影された画像によってカバーされるように、前記撮像装置（４）の撮像位置が決定されることを特徴とする検査路設定方法。
3. 請求項２記載の検査路設定方法において、撮像時点は、前記変位装置（５、６）の変位情報（１１）と前記撮像装置（４）の前記撮像位置とを考慮して、決定されることを特徴とする検査路設定方法。
4. 請求項１〜３のいずれか１項に記載の検査路設定方法において、照明装置が前記撮像装置（４）に割り当てられ、前記検査路（２）は、前記撮像装置（４）と前記照明装置と前記検査する領域との間に所定の幾何学的関係を設定することによって、決定されることを特徴とする検査路設定方法。
5. 請求項１〜４のいずれか１項に記載の検査路設定方法において、前記対象物（３）と前記撮像装置（４）及び／又は前記照明装置との間の相対運動の一連の動きは、前記検査路（２）から決定されることを特徴とする検査路設定方法。
6. 請求項５記載の検査路設定方法において、一連の動きを決定する際、検査時間及び／又は前記検査路は、できる限り短くすることを特徴とする検査路設定方法。
7. 請求項１〜６のいずれか１項に記載の検査路設定方法において、前記画像内における検査する領域（１２）は、前記光学撮像装置（４）の各画像に割り付けられることを特徴とする検査路設定方法。
8. 請求項７記載の検査路設定方法において、前記検査する領域（１２）と前記検査路（２）とに基づいて、前記設計データ（８）によって定義された前記対象物（３）、又は、前記設計データ（８）によって定義される前記対象物（３）の前記検査する領域（１２）の全体、が完全にカバーされているかどうかを判断するチェックを行うことを特徴とする検査路設定方法。
9. 請求項１〜８のいずれか１項に記載の検査路設定方法において、前記検査路（２）及び／又は対象物(３)上に定義された前記検査する領域（１２）は、ディスプレイ手段、特に画面上に視覚化されることを特徴とする検査路設定方法。
10. 請求項１〜９のいずれか１項に記載の検査路設定方法において、
    さらに、前記三次元対象物（３）に関する、電子形態で存在する設計データ（８）、特にＣＡＤデータに基づいて、前記対象物（３）の表面上の検査する領域（１２）を決定する検査領域決定方法を含み、
    前記検査領域決定方法では、前記対象物上の指定の領域（１２、１３）に対して、前記指定の領域（１２、１３）は、検査すべきかどうか、及び、どのような方法で検査すべきかを定めて、さらに、前記撮像装置（４）による検査中に、前記定められた検査する領域（１２）が、実際に撮影した画像に割り付けられることを特徴とする検査路設定方法。
11. 請求項１０記載の検査路設定方法において、検査する領域（１２）と検査しない領域（１３）と、及び／又はある特定の方法で検査する領域（１２）は、前記設計データ（８）に基づいて、特に幾何学形状又はその他のパラメータを決定することによって、自動的に決定されることを特徴とする検査路設定方法。
12. 請求項１０又は１１記載の検査路設定方法において、前記検査する領域（１２）は、計算された画像（１４）として記憶及び／又は視覚化されることを特徴とする検査路設定方法。
13. 請求項１１又は１２記載の検査路設定方法において、前記自動生成された検査する領域（１２）は、マニュアルで処理可能であることを特徴とする検査路設定方法。
14. 請求項１０〜１３のいずれか１項に記載の検査路設定方法において、前記検査領域（１２）を有する前記計算された画像（１４）及び／又は前記検査領域（１２）の視覚化されたものは、実際に撮影された前記画像内に表示されることを特徴とする検査路設定方法。
15. 請求項１〜１４のいずれか１項に記載の検査路設定方法において、前記光学撮像装置（４）は、三次元的に調整されることを特徴とする検査路設定方法。
16. 請求項１５記載の検査路設定方法において、前記画像内の前記対象物（３）の位置を微調整することを特徴とする検査路設定方法。

Images