JP6469368B2 - マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法 - Google Patents

Description

本発明は、一般にはマシンビジョン検査システムに関し、より詳細には合焦動作からの高さ測定に関する。

精密マシンビジョン検査システム（又は略して「ビジョンシステム」）は、検査対象物の正確な寸法測定値を得るため、及び種々のその他の物体特性を検査するために利用することができる。かかるシステムは、コンピュータ、カメラ及び光学系、並びにワークピースを検査できるように複数の方向に移動可能な精密ステージを含むことができる。汎用「オフライン」精密ビジョンシステムとして特徴付けることができる従来技術の一例示的システムは、イリノイ州Auroraに所在のMitutoyo America Corporation（MAC）から入手可能なQUICK VISION（登録商標）シリーズのＰＣベースのビジョンシステム及びQVPAK（登録商標）ソフトウェアである。QUICK VISION（登録商標）シリーズのビジョンシステム及びQVPAK（登録商標）ソフトウェアの機能及び動作は、例えば、２００３年１月に公開されたQVPAK 3D CNC Vision Measuring Machine User's Guide及び１９９６年９月に公開されたQVPAK 3D CNC Vision Measuring Machine Operation Guideの中で全体的に説明されている。この種のシステムは、顕微鏡型の光学系を使用し、小さいワークピース又は比較的大きいワークピースの検査画像を様々な倍率で提供するようにステージを動かすことができる。

QUICK VISION（登録商標）のような汎用精密マシンビジョン検査システムは、通常、自動ビデオ検査を提供するためにプログラミングもできる。そのようなシステムは通常、「非熟練」オペレータによって動作及びプログラミングを実行することができるように、ＧＵＩ機能及び予め定義される画像解析「ビデオツール」を含む。例えば、米国特許第６，５４２，１８０号は、様々なビデオツールの使用を含む自動ビデオ検査を用いたビジョンシステムを教示している。１つの既知の種類のビデオツールは「マルチポイントツール」又は「マルチポイントオートフォーカスツール」ビデオツールである。そのようなツールは、オートフォーカス法により決定されるような、ツールの関心領域内で定義されたＸ−Ｙ座標における複数の小領域の「最良の合焦（ベストフォーカス）」位置から導出されるＺ高さ測定又は座標（カメラシステムの光軸及び合焦軸に沿った）を提供する。１組のそのようなＸ、Ｙ、Ｚ座標は、ポイントクラウドデータ又は略してポイントクラウドと呼ぶことができる。一般に、従来技術によるオートフォーカス法及び／又はツールによれば、カメラはＺ軸（合焦軸）に沿ったある範囲の位置を通って移動し、各位置で画像を捕捉する（画像スタックと呼ばれる）。捕捉した画像毎に、各小領域の合焦尺度（Focus metric）が、当該画像に基づいて計算され、画像捕捉時におけるＺ軸に沿ったカメラの対応する位置に関連付けられる。これにより、各小領域の合焦曲線データが生成され、これは単に「合焦曲線」又は「オートフォーカス曲線」と呼ぶことができる。Ｚ軸に沿った最良の合焦位置に対応する合焦曲線のピークは、曲線を合焦曲線データに当てはめ、当てはめられた曲線のピークを推定することにより見つけることができる。そのようなオートフォーカス法の変形は当分野で周知である。例えば、上述した方法と同様のある既知のオートフォーカス法は、Jan-Mark Geusebroek及びArnold Smeuldersにより「Robust Autofocusing in Microscopy」ISIS Technical Report Series, Vol. 17, November 2000において考察されている。別の既知のオートフォーカス法及び装置が米国特許第５，７９０，７１０号に記載されている。

特定の検査イベントシーケンス（即ち、各画像を取得する方法及び各取得画像を解析／検査する方法）を含むマシン制御命令は一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶される。例えば、パートプログラムは、ワークピースに対してカメラを位置決めする方法、照明レベル、倍率レベル等の各画像を取得する方法を定める。更にパートプログラムは、例えばオートフォーカスビデオツールなどの１以上のビデオツールを使用して、取得画像を解析／検査する方法を定める。

手動での検査及び／又はマシン制御動作を実現するために、ビデオツール（又は略して「ツール」）及び他のグラフィカルユーザインタフェースの機能を、手動で（「手動モード」で）使用することができる。自動検査プログラム又は「パートプログラム」を作成するために、それらの機能のセットアップパラメータ及び動作も学習モード中に記録することができる。ビデオツールは、例えばエッジ／境界検出ツール、オートフォーカスツール、形状又はパターン照合ツール、寸法測定ツール等を含むことができる。

様々な用途において、高速オートフォーカス動作を実行して、静止又はノンストップ移動検査システムでの高速３Ｄ測定を促進することが望ましい。レーザー三角測量技術は、２０００：１の範囲対分解能比を提供できるが、そのような技術を利用する典型的なシステムは、Ｚ高さ測定には４μｍ分解能という下限を有し、典型的なマシンビジョン検査システムと同等な横方向分解能を提供しない。従来のマシンビジョン検査システムにおけるオートフォーカス動作の速度は、ある範囲のＺ高さ位置を通るカメラの動作によって制限される。Ｚ高さ位置を高速で測定するために、画像スタックを収集する代替の方法を利用する改良されたオートフォーカス動作が必要とされる。

図面の説明
本発明の上記の態様及び付随する利点の多くは、以下の詳細な説明を、添付図面と併せて参照することによってより良く理解される。

汎用精密マシンビジョン検査システムの様々な典型的構成要素を示す図である。 図１のシステムと同様であり、本明細書に開示される特徴を含むマシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。 マシンビジョン検査システム用に構成することができ、本明細書に開示される原理に従って動作することができる撮像システムの概略図を示す。 第１のカメラシステム及び第２のカメラシステムを含む撮像システムの一部の概略図である。 照明部の光パルスを示すタイミング図である。 各合焦ＲＯＩのサイズに対応する１組のピクセルにわたる電子ロールシャッターの走査継続時間を示すタイミング図である。 図４及び図５の実施形態において開示される原理用に構成された例示的なマシンビジョン検査システムによって収集された１４６枚の画像の画像スタック内の、画像スタック番号で並べられた画像に対応する光パルスの時間に関連するプロットを示すチャートである。 図４、図５、及び図６の実施形態により構成されたマシンビジョン検査システムの撮像システム内の可変焦点距離レンズの屈折力を、１４６枚の画像の画像スタック内の画像スタック番号に関連付けるプロットを示すチャートである。 図４、図５、図６、及び図７において開示される原理用に構成された例示的なマシンビジョン検査システムによって収集された１４６枚の画像の画像スタック内の画像スタック番号に対応するＺ高さに関連するプロットを示すチャートである。 カメラシステムを含む撮像システムの一部の概略図である。 マシンビジョン検査システムにおいて高速オートフォーカス動作を実行する方法を示す流れ図である。

図１は、本明細書に開示される方法に従って使用可能である、例示的な１つのマシンビジョン検査システム１０のブロック図である。マシンビジョン検査システム１０はビジョン測定マシン１２を含み、ビジョン測定マシン１２は、データ及び制御信号をやり取りするために制御コンピュータシステム１４に動作可能に接続される。制御コンピュータシステム１４は、データ及び制御信号をやり取りするために、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６と更に動作可能に接続される。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラミングに適したユーザインタフェースを表示してもよい。様々な実施形態において、タッチスクリーンタブレットなどが、コンピュータシステム１４、ディスプレイ１６、ジョイスティック２２、キーボード２４、及びマウス２６の何れか若しくは全てと置換されてもよく、及び／又はそれらの何れか若しくは全ての機能を重複して提供してもよいことが理解される。

当業者は、制御コンピュータシステム１４が一般に如何なるコンピューティングシステム又は装置から成ってもよいことを理解するであろう。適切なコンピューティングシステム又は装置には、パーソナルコンピュータ、サーバコンピュータ、ミニコンピュータ、メインフレームコンピュータ、上記の何れかを含む分散コンピューティング環境などが含まれ得る。かかるコンピューティングシステム又は装置は、本明細書に記載の機能を実行するためのソフトウェアを実行する１個又は複数のプロセッサを含み得る。プロセッサには、プログラム可能な汎用又は専用マイクロプロセッサ、プログラム可能コントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理デバイス等、又はかかるデバイスの組合せが含まれる。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ等、又はかかる構成要素の組合せの中に記憶され得る。ソフトウェアは、磁気又は光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他の任意の種類の不揮発性記憶媒体など、１個又は複数の記憶装置の中に記憶されてもよい。ソフトウェアは、特定のタスクを実行し、又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１以上のプログラムモジュールを含むことができる。分散コンピューティング環境では、プログラムモジュールの機能を組み合わせても、又は複数のコンピューティングシステム若しくは装置間に分散させてもよく、そして、有線又は無線構成でサービスコールによってアクセスしてもよい。

ビジョン測定マシン１２は、可動式ワークピースステージ３２と光学撮像系３４とを含み、光学撮像系３４はズームレンズ又は交換式レンズを含み得る。ズームレンズ又は交換式レンズは一般に、光学撮像系３４によって与えられる画像に様々な倍率を提供する。マシンビジョン検査システム１０は概して、上記で論じたQUICK VISION（登録商標）シリーズのビジョンシステム及びQVPAK（登録商標）ソフトウェア並びに同様の市販されている最新の精密マシンビジョン検査システムにと同等のものである。マシンビジョン検査システム１０は、本願と同じ譲受人に譲渡された米国特許第７，４５４，０５３号、同第７，３２４，６８２号、同第８，１１１，９０５号、及び同第８，１１１，９３８号にも記載されている。

図２は、図１のマシンビジョン検査システムと同様であり、本明細書に開示される特徴を含むマシンビジョン検査システム１００の制御システム部１２０及びビジョン構成要素部２００のブロック図である。より詳細に後述するように、制御システム部１２０は、ビジョン構成要素部２００の制御に利用される。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０及び２４０と、中央透明部２１２を有するワークピースステージ２１０とを含む。ワークピースステージ２１０は、ワークピース２０が配置されるステージの面に略平行な平面にあるＸ軸及びＹ軸に沿って移動制御可能である。光学アセンブリ部２０５は、カメラシステム２６０と、交換式対物レンズ２５０とを含み、レンズ２８６及び２８８を有するターレットレンズアセンブリ２８０を含んでもよい。ターレットレンズアセンブリの代わりに、固定式の若しくは手動で交換可能な倍率変更レンズ、又はズームレンズ構成等が含まれてもよい。

アクチュエータを駆動して光学アセンブリ部２０５をＺ軸に沿って移動させ、ワークピース２０の画像のフォーカスを変える制御可能モータ２９４を使用することにより、Ｘ軸及びＹ軸に略直交するＺ軸に沿って、光学アセンブリ部２０５を制御可能に移動させることができる。制御可能モータ２９４は、信号線２９６を介して入出力インタフェース１３０に接続される。

マシンビジョン検査システム１００を使用して撮像するワークピース２０又は複数のワークピース２０を保持するトレイ若しくは固定具は、ワークピースステージ２１０上に配置される。ワークピースステージ２１０は、光学アセンブリ部２０５に対して相対移動するように制御することができ、それにより、交換式対物レンズ２５０がワークピース２０上の位置間及び／又は複数のワークピース２０の間を移動できる。透過照明光２２０、落斜照明光２３０、及び斜め照明光２４０（例えば、リング光）のうちの１つ以上は、それぞれ、光源光２２２、２３２、及び／又は２４２を発して、１以上のワークピース２０を照らすことができる。光源２３０は、ミラー２９０を含む経路に沿って光２３２を発することができる。光源光は、ワークピース光２５５として反射又は透過し、撮像に使用されるワークピース光は、交換式対物レンズ２５０及びターレットレンズアセンブリ２８０を経て、カメラシステム２６０に集光される。カメラシステム２６０により捕捉されたワークピース２０の画像は、信号線２６２を介して制御システム部１２０に出力される。光源２２０、２３０、及び２４０は、それぞれ、信号線又はバス２２１、２３１、及び２４１を介して制御システム部１２０に接続され得る。画像倍率を変更するために、制御システム部１２０は、信号線又はバス２８１を介して、ターレットレンズアセンブリ２８０を軸２８４に沿って回転させて、ターレットレンズを選択することができる。

図２に示すように、様々な例示的実施形態において、制御システム部１２０は、コントローラ１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラムジェネレータ及び実行器１７０、及び電源部１９０を含む。これらの構成要素のそれぞれ並びに後述する追加の構成要素は、１以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースにより、又は様々な要素間の直接接続により相互接続され得る。

入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御インタフェース１３４を含む。移動制御インタフェース１３２は、位置制御要素１３２ａ及び速度／加速度制御要素１３２ｂを含み得るが、かかる要素は統合されてもよく、及び／又は区別不能であってもよい。照明制御インタフェース１３３は、例えばマシンビジョン検査システム１００の対応する様々な光源の選択、電力、オン／オフ切替え、及び該当する場合はストローブパルスタイミングを制御する照明制御要素１３３ａ、１３３ｎ、及び１３３ｆｌを含む。

メモリ１４０は、画像ファイルメモリ部１４１と、エッジ検出メモリ部１４０ｅｄと、１以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２と、ビデオツール部１４３とを含み得る。ビデオツール部１４３は、ビデオツール部１４３ａと、対応する各ビデオツールのＧＵＩ、画像処理動作等を決定する他のビデオツール部（例えば、１４３ｎ）と、ビデオツール部１４３に含まれる様々なビデオツールで動作可能な様々なＲＯＩを定義する自動、半自動、及び／又は手動の動作をサポートする関心領域（ＲＯＩ）生成器１４３ｒｏｉとを含む。また、ビデオツール部１４３はオートフォーカスビデオツール１４３ａｆを含み、このツールは、合焦高さ測定動作のＧＵＩ、画像処理動作等を決定する。オートフォーカスビデオツール１４３ａｆは更に高速合焦高さツール１４３ｈｓを含み、このツールを利用して、図３において説明されるハードウェアを使用して、図３〜図９に関して説明される動作に従って高速で合焦高さを測定し得る。いくつかの実施形態では、高速合焦高さツール１４３ｈｓは、その他の点では、オートフォーカスビデオツールの従来の方法により動作するオートフォーカスビデオツール１４３ａｆの特別なモードであってもよい。いくつかの実施形態では、オートフォーカスビデオツール１４３ａｆの動作は、高速合焦高さツール１４３ｈｓの動作のみを含んでもよい。本開示の文脈では、及び当業者によって知られているように、ビデオツールという用語は、ビデオツールに含まれるステップバイステップ動作シーケンスを作成することも、一般化されたテキストベースのプログラミング言語に頼ること等もなく、マシンビジョンユーザが比較的単純なユーザインタフェース（例えばグラフィカルユーザインタフェース、編集可能なパラメータウィンドウ、メニュー等）によって実行できる比較的複雑な自動又はプログラムされた動作セットを一般に指す。例えばビデオツールは、動作及び計算を決定する少数の変数又はパラメータを調節することによって特定のインスタンスにおいて適用され、カスタマイズされる画像処理動作及び計算のプリプログラムされた複雑なセットを含み得る。基本的な動作及び計算に加え、ビデオツールは、ビデオツールの特定のインスタンスのパラメータを利用者が調節できるようにするユーザインタフェースを含む。例えば、多くのマシンビジョンビデオツールは、ビデオツールの特定のインスタンスの画像処理動作によって解析される画像サブセットの位置パラメータを定めるために、マウスを用いた単純な「ハンドルドラッグ」操作によりグラフィカルな関心領域（ＲＯＩ）インジケータを利用者が設定することを可能にする。基本的な動作が暗に含まれた状態で、可視ユーザインタフェース機能が時にはビデオツールと呼ばれることに留意されたい。

透過照明光２２０、落射照明光２３０及び２３０’、並びに斜め照明光２４０にそれぞれ対応する信号線又はバス２２１、２３１、及び２４１はすべて、入出力インタフェース１３０に接続される。カメラシステム２６０からの信号線２６２及び制御可能モータ２９４からの信号線２９６は、入出力インタフェース１３０に接続される。画像データの伝達に加え、信号線２６２は、画像の取得を開始するコントローラ１２５から信号を伝達することができる。

１以上の表示装置１３６（例えば図１のディスプレイ１６）及び１以上の入力装置１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）も、入出力インタフェース１３０に接続することができる。表示装置１３６及び入力装置１３８は、検査動作を行い並びに／又はパートプログラムを作成及び／若しくは修正するために使用可能な様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示するために使用してもよい。また、表示装置１３６及び入力装置１３８は、カメラシステム２６０によって捕捉される画像を見るために、及び／又はビジョンシステム構成要素部２００を直接制御するために使用してもよい。表示装置１３６は、オートフォーカスビデオツール１４３ａｆに関連するユーザインタフェース機能を表示することができる。

様々な例示的な実施形態では、ユーザは、マシンビジョン検査システム１００を利用して、ワークピース２０のパートプログラムを作成する場合、学習モードでマシンビジョン検査システム１００を動作させて、所望の画像取得トレーニングシーケンスを提供することで、パートプログラム命令を生成する。例えば、トレーニングシーケンスは、代表的なワークピースの特定のワークピース要素を視野（ＦＯＶ）内に位置決めすることと、光レベルを設定することと、フォーカス又はオートフォーカスすることと、画像を取得することと、画像に適用される検査トレーニングシーケンスを提供すること（例えば、ワークピース要素に対してビデオツールの１つのインスタンスを使用して）とを含み得る。学習モードは、シーケンスを捕捉するか、又は記録し、対応するパートプログラム命令に変換するように動作する。これらの命令は、パートプログラムが実行される場合、マシンビジョン検査システムに、トレーニングされた画像の取得を再現させ、また、検査動作に、パートプログラム作成時に使用された代表的なワークピースに一致する、１以上の実行モードワークピース上の特定のワークピース要素（対応する位置での対応する要素）を自動的に検査させる。

図３は、マシンビジョン検査システム用に構成されるとともに、本明細書に開示される原理に従って動作するように構成することができる撮像システム３００の概略図を示す。撮像システム３００は、画像スタックを収集して、画像スタック内の最良の合焦画像に基づいてＺ高さを測定するように構成される。撮像システム３００は、撮像システム３００の視野においてストロボ照明でワークピースを照明するように構成可能な光源３３０と、対物レンズ３５０と、リレーレンズ３５１と、リレーレンズ３５２と、可変焦点距離レンズ３７０と、チューブレンズ３８６と、カメラシステム３６０とを含む。

動作時に、光源３３０は、ミラー３９０を含む経路に沿って、ワークピース３２０の表面まで光源光３３２を発するように構成される。対物レンズ３５０は、ワークピース３２０の近傍の焦点面Ｆで合焦するワークピース光３３２を受け取り、ワークピース光３５５をリレーレンズ３５１に出力するように構成される。リレーレンズ３５１は、ワークピース光３５５を受け取り、リレーレンズ３５２に出力するように構成される。リレーレンズ３５２は、ワークピース光３５５を受け取り、可変焦点距離レンズ３７０に出力するように構成される。リレーレンズ３５１とリレーレンズ３５２とで、対物レンズ３５０と可変焦点距離レンズ３７０との間に４ｆリレー光学系を構成して、各Ｚ高さに一定の倍率を提供する。可変焦点距離レンズ３７０は、ワークピース光３５５を受け取り、チューブレンズ３８６に出力するように構成される。可変焦点距離レンズ３７０は、撮像システムの合焦位置を変更し、各Ｚ高さで合焦した各画像を含む画像スタックを収集するように電子的に制御可能である。画像スタックの各画像は、画像スタック内のＺ高さに対応する、周期的に変調される合焦位置の位相に対応するタイミングのストロボ照明のインスタンスに対応する。

様々な実施形態では、本明細書に開示される原理用に構成されたマシンビジョン検査システムは、合焦高さ測定動作の、視野内の関心領域を特定し、画像スタックを解析して、関心領域の少なくとも一部分の最良の合焦位置に対応するＺ高さを特定することに基づいて、関心領域の少なくとも一部分のＺ高さ測定を特定するように構成可能である。焦点面Ｆの位置は、焦点面Ｆ１及び焦点面Ｆ２を境界とする範囲Ｒ内で移動することができる。様々な実施形態では、マシンビジョン検査システムは制御システム（例えば、制御システム２００）を含み、この制御システムは、撮像システム３００の合焦位置を周期的に変調するように可変焦点距離レンズ３７０を制御するように構成される。いくつかの実施形態では、可変焦点距離レンズ３７０は、少なくとも２０ｋＨｚのレートで焦点位置を変調できる。いくつかの実施形態では、範囲Ｒは３００μｍ程度の大きさすることができる。可変焦点距離レンズ３７０は、対物レンズ３５０とワークピース３２０との間の距離の調整が一切必要ないという点で有利である。これにより、最良の合焦高さに基づいてワークピース３２０の一部のＺ高さを測定するための画像スタックの収集を、高速化することができる。その速度は主に、カメラシステム３６０のフレームレートによって制限される。

いくつかの実施形態では、可変焦点距離レンズ３７０は、可変音響式屈折率分布型レンズ（tunable acoustic gradient index of refraction lens）である。可変音響式屈折率分布型レンズは、音波を流体媒質内で使用して、焦点位置を変調し、数百ｋＨｚの周波数である範囲の焦点距離を周期的に掃引できる高速可変焦点距離レンズである。そのようなレンズは、記事「High-speed varifocal imaging with a tunable acoustic gradient index of refraction lens」（Optics Letters, Vol. 33, No. 18, September 15, 2008）の教示により理解することができる。

いくつかの実施形態では、カメラシステム３６０はグローバルシャッターを有するセンサ、すなわち、各ピクセルを同時に露光するセンサを含むことができる。そのような実施形態は、ワークピースを動かすことなく、又は撮像システム３００のいかなる部分も動かすことなく画像スタックを測定する能力を提供するという点で有利である。

いくつかの実施形態では、カメラシステム３６０は、電子ロールシャッター（ＥＲＳ）システムを有するセンサを含むことができる。例えば、カメラシステムは、電子ロールシャッター（ＥＲＳ）システムに結合される、ＳＸＧＡ分解能を使用する白黒ＣＭＯＳセンサ（例えば、カリフォルニア州San Joseに所在するAptina Imagingから入手可能な型番ＭＴ９Ｍ００１）を含むことができる。スタック内の画像の最大数は、ＣＭＯＳセンサの垂直分解能と、コントラストの尺度の特定に使用されるピクセルアレイの幅との比によって制限される。例えば、ＳＸＧＡ分解能を有するＣＭＯＳセンサは分解能１２８０×１０２４ピクセルを有する。したがって、７×７ピクセル小領域を使用する合焦動作の場合、スタックあたりの画像数を１４６枚の画像に制限する。２５９２×１９４４ピクセルのＨＤ＋センサ等の分解能の高いセンサほど、小領域の幅を広くすることが可能であり、例えば、１４６枚の画像の画像スタックでは１３×１３の小領域になる。あるいは、２５９２×１９４４分解能のより高い分解能のセンサは、２７８枚の画像の画像スタックに７×７ピクセル小領域を利用し得る。そのような実施形態について、図４に関して更に詳細に説明する。

いくつかの実施形態では、可変焦点距離レンズ３７０は、可変焦点距離レンズ３７０の屈折力が正弦波変調されるように正弦波的に駆動してもよい。例示的な実施形態では、可変音響式屈折率分布型レンズは、４００ｋＨｚ程度の焦点走査レートを実現するために構成し得る。スタック内の画像の最大数は可変焦点距離レンズ３７０の変調周期と、各画像露光における光パルス継続時間長とによって制限される。焦点変調周期１３．９μｓ及び光パルス継続時間５０ｎｓの場合、これは、スタックあたりの画像数を２７５に制限する。Aptinaの画像検出器等の画像検出器の垂直走査周波数はｋＨｚのオーダである。例えば、Aptinaの型番ＭＴ９Ｍ００１は、走査周波数３７．５ｋＨｚ用に構成し得る（１２８０ピクセルにわたる４８ＭＨｚのデータ走査速度に基づいて）。そのような検出器は、周波数が可変焦点距離レンズ３７０の変調周波数未満であるように構成されなければならない。

いくつかの実施形態では、撮像システム３００は、任意に選択できるビームスプリッタ３６１と、任意に選択できるチューブレンズ３８６’と、任意に選択できる第２のカメラシステム３６０’とを含んでもよい。動作に際して、ビームスプリッタ３６１は、ワークピース光３５５を分割し、ワークピース光３５５’をチューブレンズ３８６’に出力するように構成される。チューブレンズ３８６’は、ワークピース光３５５’をカメラ３６０’に出力して、マシンビジョン検査システムの視野の追加の画像を提供するように構成される。そのようなシステムの詳細な構成を図４に示す。

図４は、図３のカメラシステム３６０及び任意に選択できるカメラシステム３６０’と同様であり得る第１のカメラシステム４６０及び第２のカメラシステム４６０’を含む撮像システム４００の一部の概略図である。図４に示される実施形態は、ワークピースに対して視野を相対移動させる合焦高さ測定に適する。第１のカメラシステム４６０及び第２のカメラシステム４６０’は、速度Ｓ_Yで各カメラシステムのピクセルの向きに平行する方向において視野を移動させ、ワークピースが移動する際に画像スタックの画像を収集するように構成される。第１のカメラシステム４６０は撮像アレイ４１０Ａを含み、第２のカメラシステム４６０’は撮像アレイ４１０Ｂを含み、それぞれに電子ロールシャッターシステムが構成され、それぞれ、Ｘ方向において１２８０ピクセルの分解能及びＹ方向において１０２４ピクセルの分解能を有する。各電子ロールシャッターシステムは、Ｙ方向に撮像アレイ４１０Ａ及び撮像アレイ４１０Ｂを掃引して、画像スタックを収集するように構成される。

図４では、撮像アレイ４１０Ａ及び撮像アレイ４１０Ｂが並置されるが、これは、撮像システム３００の視野の画像に対してＹ方向においてＹオフセット、すなわちΔＹを概略的に示すことを理解されたい。撮像アレイ４１０Ａ及び撮像アレイ４１０Ｂは実際には、第１のカメラシステム３６０及び第２のカメラシステム３６０’に関して図３に示されるのと同様に、別個のビーム経路内にある。図４に示される実施形態は２つのカメラシステムを含む。しかし、同様の原理により構成される実施形態は、３つ以上のカメラシステムを含んでもよい。そのような実施形態では、オフセットΔＹは、最良の合焦高さの特定に使用される小領域の幅に等しい。カメラシステムの数は、スタック位置間のＹピッチを低減することができる。例示的な実施形態では、撮像システムは７つの撮像アレイを含み、各撮像アレイは、最良の合焦高さの特定に使用される小領域の幅に少なくとも等しいオフセットΔＹだけ互い違いになるように互いに相対してオフセットされた光を撮像するように構成される。したがって、７×７ピクセル小領域を利用する合焦動作の場合、ΔＹはピクセル７つ分の幅に等しい。

移動するワークピースに対して電子ロールシャッターシステムを使用する合焦測定動作では、撮像アレイ４１０Ａ及び４１０Ｂによって収集される画像スタックは、ピクセルアレイ全体を使用する画像ではなく、ＰＳＡ_N及びＰＳＢ_Nと付番されるピクセルストライプに対応する小画像を含む。ピクセルストライプＰＳＡ_N及びＰＳＢ_Nはそれぞれ、合焦尺度の特定に使用される小領域と同数のピクセルである幅を有する。例えば、図４に示される例示的な実施形態では、ピクセルストライプＰＳＡ_N及びＰＳＢ_Nはピクセル７つ分の幅であり、合焦尺度の特定に使用される小領域は７×７ピクセルである。したがって、撮像アレイ４１０Ａ及び４１０Ｂによって収集される画像スタックは、７×１２８０ピクセルの１４６枚の画像を含む。各画像は、Ｚ高さＺ_Nに対応し、すなわち、可変焦点レンズは、回数ｔ_Nに対応する変調の位相でその各Ｚ高さで合焦される。

図４に示される例示的な実施形態では、撮像システム４００は２つの撮像アレイを含む。しかし、様々な実施形態では、同様の原理により構成される撮像システムは、１つのみの撮像アレイを有してもよく、又は３つ以上の撮像アレイを有してもよい。複数の撮像アレイは、Ｙ方向での測定量を向上させる。例えば、図４に関して説明したものと同じパラメータを使用して、単一の撮像アレイを含むカメラシステムは、測定量１．３３１×０．００７×０．２９２ｍｍ³を有してよく、２つの撮像アレイ（Ｙ方向においてピクセル７つ分離間される）を含む撮像システムは、測定量１．３３１×０．０１４×０．２９２ｍｍ³を有してよい。Ｎ個の撮像アレイ（Ｙ方向においてピクセル７つ分互い違いになる）を含む撮像システムは、測定量１．３３１×（０．００７＊Ｎ）×０．２９２ｍｍ³を有し得る。複数の撮像アレイも、Ｙ方向での測定ピッチを向上させる。例示的な一実施形態では、ワークピースは、Ｙ方向における速度Ｓ_Yで撮像システム３００の視野に対して相対移動し得、速度Ｓ_Yは低くとも５ｍｍ／ｓ、高くとも３９ｍｍ／ｓである。したがって、図４に関して説明したものと同じパラメータを使用して、単一の撮像アレイを含むカメラシステムは、測定ピッチ０．１３２ｍｍ〜１．０５７ｍｍを有してもよく、２つの撮像アレイ（Ｙ方向においてピクセル７つ分離間される）を含む撮像システムは、測定ピッチ０．０６７ｍｍ〜０．０５３ｍｍを有してもよい。Ｎ個の撮像アレイ（Ｙ方向においてピクセル７つ分互い違いになる）を含む撮像システムは、測定ピッチ０．１３２／Ｎｍｍ〜１．０５７／Ｎｍｍを有してもよい。図４に関して説明したものと同じパラメータを使用して構成されるマシンビジョン検査システムは、Ｘ方向、Ｙ方向、及びＺ方向での測定分解能０．００１ｍｍ、０．００２ｍｍ、及び０．００２ｍｍのそれぞれを提供してもよい。比較として、Micro-Epsilon Scancontrol ２８００−１０等の例示的なレーザー三角測量システムは、Ｘ方向及びＺ方向でそれぞれ分解能０．０４０ｍｍ及び０．００４ｍｍを提供し得る。例示的な実施形態のＹ分解能はより粗い。しかし、５ｍｍ／ｓ〜３９ｍｍ／ｓのＳ_Yでは、２８００−１０システムは、少なくとも０．０１５ｍｍでのＹ方向での測定ピッチを提供する。

図５Ａは、照明部３３０の光パルスを示すタイミング図である。図５Ｂは、各合焦ＲＯＩのサイズに対応する１組のピクセルにわたる電子ロールシャッターの走査継続時間を示すタイミング図である。照明部３３０は、画像スタックの各画像露光にストロボ照明を提供する。ストロボ照明は、撮像システムの周期的に変調される合焦位置に一致する周波数で駆動される。図５Ａ及び図５Ｂによって特徴付けられる例示的な実施形態では、可変焦点距離レンズ３７０は正弦波変調される。光パルスは、各Ｎ番目のパルスの間（例えば、時間ｔ₀〜時間ｔ₁）で継続時間ΔＬＰ_Nでタイミングがとられる。カメラシステム３６０が電子ロールシャッターを含む実施形態では、電子ロールシャッターは、継続時間ΔＥＲＳにわたり合焦ＲＯＩサイズの小領域に等しいピクセルアレイの一部を走査する。光パルスは、画像スタック内の完全な各画像が適切な合焦高さに一致するように、可変焦点距離レンズ３７０の変調位相φ_NSにタイミングがとられる。したがって、継続時間ΔＬＰは、各光パルスの継続時間ΔＥＲＳと位相φ_NSとの和である。周波数７２ｋＨｚで変調する可変焦点距離レンズ及び毎秒３０フレームで動作する撮像アレイの場合、１４６枚の画像の画像スタックは、可変焦点距離レンズの２，４００サイクルに対応する。

図６は、１４６枚の画像の画像スタック内において画像スタック番号で並べられた画像に対応する光パルスの時間に関連するプロット６１０を示すチャート６００である。当該１４６枚の画像は、図４及び図５の実施形態において開示される原理用に構成された例示的なマシンビジョン検査システムによって収集された画像である。図６に示される例示的な実施形態では、継続時間ΔＥＲＳは１８６．６６７μｓである。各位相φ_NSは、可変焦点距離レンズ３７０のサイクル全体を通して０．０９１μｓのステップで増分される。各パルスは、ＥＲＳサイクルの中間に各位相φ_NSを加えたものにタイミングが合わせられる。すなわち、各パルスは、ＥＲＳが各ピクセルストリップの掃引を開始してから、９３．３３３μｓに各位相φ_NSを加えた分、遅延してタイミングがとられる。

図７は、図４、図５、及び図６の実施形態により構成されたマシンビジョン検査システムの撮像システム内の可変焦点距離レンズの屈折力を、１４６枚の画像の画像スタック内の画像スタック番号に関連付けるプロット７１０を示すチャート７００である。図７によって特徴付けられる実施形態では、可変焦点距離レンズは正弦波変調される。プロット７１０で示されるように、撮像システムの屈折力は、横軸のスタック番号で表される画像スタック内の画像の順序に関して正弦波的に変化する。屈折力は＋／−０．１７ｍ^-1の間で変化する。

図８は、図４、図５、図６、及び図７において開示される原理用に構成された例示的なマシンビジョン検査システムによって収集された１４６枚の画像の画像スタック内の画像スタック番号に対応するＺ高さに関連するプロット８１０を示すチャート８００である。プロット８１０によって特徴付けられる各画像は、可変焦点距離レンズ３７０の変調によって与えられる適切なＺ高さに対応する、可変焦点距離レンズの変調の位相にタイミングが合わせられる。。図８によって特徴付けられる実施形態では、画像スタックはＺ高さ範囲２９０μｍに対応する。

図９は、カメラシステム９６０を含む撮像システム９００の一部の概略図である。カメラシステム９６０は撮像アレイ９１０を含み、撮像アレイ９１０は、二次元撮像アレイではなく一次元ラインセンサである。撮像アレイ９１０を除き、撮像システム９００は、図３に示される撮像システム３００と同様であり得る。図４に示される撮像システム４００のように、撮像システム９００は、速度Ｓ_Yでワークピースに相対して移動する視野に適する。二次元撮像アレイは、図３に示される範囲Ｒに下限を課す。二次元アレイの場合、範囲Ｒは、ストロボ光の最小継続時間と、撮像アレイ内の行数とによって制限される。しかし、一次元アレイは、ストロボ光の継続時間によってのみ制限される。

撮像アレイ９１０に適し得る例示的なセンサは、カナダのオンタリオ州Waterlooに所在するTeledyne Dalsaから入手可能な型番Ｐ４−ＣＭ−０２Ｋ１０Ｄ−００−Ｒであり、このセンサは、幅２０４８ピクセル及びライン速度１４０ｋＨｚを有するアレイを含む。このセンサは、合算し得るか、又は互いに独立して使用し得る２本の線のピクセルを含む。単一の線のピクセルを有する同様のセンサも利用可能であり、図９に示される実施形態に適する。

いくつかの例示的な実施形態では、安価な光源が光パルス継続時間５０ｎｓ及び焦点変調レート７２ｋＨｚを有してよく、画像スタックの収集に２７８のタイミング増分が可能である。そのような実施形態は、撮像システム９００の焦点深度約１００の範囲Ｒを有してよい。いくつかの例示的な実施形態では、高度な光源は、光パルス継続時間２ｎｓ及び焦点変調レート７２ｋＨｚを有してよく、画像スタックの収集に６，９５０のタイミング増分が可能である。そのような実施形態は、撮像システム９００の焦点深度約２，５００の範囲Ｒを有してよい。

ライン速度１４０ｋＨｚ又はより高いライン速度２８０ｋＨｚを有する一次元撮像アレイが、７２ｋＨｚで動作する典型的な調整可能勾配屈折率レンズの単一のサイクルを通して画像スタックを収集可能なことを理解されたい。視野が撮像システム４００と比較して同等の速度Ｓ_Y＝３３ｍｍ／ｓで移動する、図９に関して説明したものと同じパラメータを使用して構成されるマシンビジョン検査システムは、Ｘ方向、Ｙ方向、及びＺ方向のそれぞれにおいて測定分解能０．００１ｍｍ、０．０１０ｍｍ、及び０．００２ｍｍを提供し得る。

図１０は、マシンビジョン検査システムにおいて高速合焦動作を実行する方法を示す流れ図１０００である。マシンビジョン検査システムは、照明源と、可変焦点距離レンズ及びカメラシステムを含む撮像システムとを含む。

ブロック１０１０において、ワークピースが、マシンビジョン検査システムの視野に配置される。

ブロック１０２０において、合焦高さ測定動作の関心領域を特定する。

ブロック１０３０において、照明源を動作させて、ワークピースをストロボ照明で照明する。

ブロック１０４０において、ワークピース近傍のＺ高さ方向に沿った複数の位置にわたり撮像システムの合焦位置を周期的に変調する。

ブロック１０５０において、各Ｚ高さで合焦する各画像を含む画像スタックを収集し、画像スタックの各画像は、画像スタック内のＺ高さに対応する、周期的に変調される合焦位置の位相に対応するタイミングでストロボ照明のインスタンスを使用して露光される。

ブロック１０６０において、画像スタックを解析して、関心領域の少なくとも一部分の最良の合焦位置に対応するＺ高さを特定することに基づいて、関心領域の少なくとも一部分のＺ高さ測定を特定する。いくつかの実施形態では、関心領域の少なくとも一部分は、関心領域の小領域であってよい。いくつかの実施形態では、関心領域の少なくとも一部分は、関心領域全体であってよい。いくつかの実施形態では、関心領域の少なくとも一部分のＺ高さ測定の特定は、関心領域の複数の小領域のＺ高さ測定を特定することを含んでよい。

本明細書に開示される原理により構成されるマシンビジョン検査システムの実施形態が、レーザー三角測量に基づくシステムよりも優れた特定の利点を提供することを理解されたい。例えば、そのようなシステムは、レーザースペックルを生成せず、したがって、目の安全上の問題がない。レンズを通して、測定が可能であり（例えば、図３に示される実施形態では）、これは、潜在的な遮蔽又は影がないことを意味する。さらに、照明源、ＣＭＯＳ撮像アレイ、及び必要とされるサポート電子回路等の構成要素は安価である。

本発明の好ましい実施形態について図示し説明したが、本開示に基づいて、図示され説明された動作の特徴及びシーケンスの構成に多くの変形が当業者には明らかになるだろう。したがって、本発明の趣旨及び範囲から逸脱せずに様々な変更を行い得ることが理解される。

１０ マシンビジョン検査システム
１２ ビジョン測定マシン
１４ 制御コンピュータシステム
１６ ディスプレイ
１８ プリンタ
２０ ワークピース
２２ ジョイスティック
２４ キーボード
２６ マウス
３２ 可動式ワークピースステージ
３４ 光学撮像系

１００ マシンビジョン検査システム
１２０ 制御システム部
１２５ コントローラ
１３０ 入出力インタフェース
１３１ 撮像制御インタフェース
１３２ 移動制御インタフェース
１３２ａ 位置制御要素
１３２ｂ 加速度制御要素
１３３ 照明制御インタフェース
１３３ａ 照明制御要素
１３３ｎ 照明制御要素
１３４ レンズ制御インタフェース
１３６ 表示装置
１３８ 入力装置
１４０ メモリ
１４０ｅｄ エッジ検出メモリ部
１４１ 画像ファイルメモリ部
１４２ ワークピースプログラムメモリ部
１４３ ビデオツール部
１４３ａ ビデオツール部
１４３ａｆ オートフォーカスビデオツール
１４３ｈｓ 高速合焦高さツール
１４３ｒｏｉ 関心領域生成器
１７０ 実行器
１９０ 電源部
２００ ビジョンシステム構成要素部
２０５ 光学アセンブリ部
２１０ ワークピースステージ
２１２ 中央透明部
２２０ 光源
２２１ バス
２２２ 光源光
２３０ 光源
２３１ バス
２３２ 光源光
２４０ 照明光
２５０ 交換式対物レンズ
２５５ ワークピース光
２６０ カメラシステム
２６２ 信号線
２８０ ターレットレンズアセンブリ
２８１ バス
２８４ 軸
２８６ レンズ
２９０ ミラー
２９４ 制御可能モータ
２９６ 信号線
３００ 撮像システム
３２０ ワークピース
３３０ 光源
３３２ 光源光
３５０ 対物レンズ
３５１ 中継レンズ
３５２ 中継レンズ
３５５ ワークピース光
３６０ カメラシステム
３６１ ビームスプリッタ
３７０ 可変焦点距離レンズ
３８６ チューブレンズ
３９０ ミラー
４００ 撮像システム
４１０Ａ 撮像アレイ
４１０Ｂ 撮像アレイ
４６０ カメラシステム
９００ 撮像システム
９１０ 撮像アレイ
９６０ カメラシステム

Claims (13)

1. 照明源と、電子ロールシャッターを有するカメラシステムを含む撮像システムとを備える高速合焦高さ測定動作をマシンビジョン検査システムで実行する方法であって、
   ワークピースを前記マシンビジョン検査システムの視野に配置することと、
   前記合焦高さ測定動作の関心領域を特定することと、
   前記照明源を動作させて、前記ワークピースをストロボ照明で照明することと、
   前記ワークピースの近傍のＺ高さ方向に沿った複数の位置にわたり、前記撮像システムの合焦位置を周期的に変調することと、
   画像スタック内の各画像を、前記画像スタック内のＺ高さに対応する、前記周期的に変調される合焦位置の位相タイミングと同期されたストロボ照明のインスタンスを使用して露光して、前記画像スタックを収集することと、
   前記カメラシステムのピクセルの向きに平行する移動方向に沿って前記ワークピースに相対して視野を移動させることと、
   前記視野が移動する際、前記画像スタックの画像を収集することと、
   前記画像スタックを解析して、前記関心領域の少なくとも一部分の最良の合焦位置に対応するＺ高さを特定することに基づいて、前記関心領域の前記少なくとも一部分のＺ高さ測定を特定することと、
   を含み、
   前記画像スタックの各画像は、前記関心領域の前記少なくとも一部分に等しい幅を前記移動方向に沿って有するピクセルアレイのストライプである、
   方法。
2. 前記撮像システムは可変焦点距離レンズを含み、前記撮像システムの合焦位置を周期的に変調することは、前記可変焦点距離レンズの焦点位置を変調することを含む、請求項１に記載の方法。
3. 前記可変焦点距離レンズは、可変音響式屈折率分布型レンズである、請求項２に記載の方法。
4. 前記可変焦点距離レンズの焦点位置を変調することは、前記焦点位置を正弦波変調することを含む、請求項２に記載の方法。
5. 前記ワークピースをストロボ照明で照明することは、前記撮像システムの前記周期的に変調される合焦位置に一致する周波数で前記ストロボ照明を駆動し、Ｚ高さに対応するタイミングの位相シフトを追加することを含む、請求項１に記載の方法。
6. 前記撮像システムは、撮像アレイを含む複数のカメラシステムを含み、前記撮像アレイは、最良の合焦高さの特定に使用される前記関心領域の前記少なくとも一部分の幅に少なくとも等しい距離だけ、互い違いに互いに相対してオフセットされた画像光を受け取る、請求項１に記載の方法。
7. 前記関心領域の前記少なくとも一部分は、前記関心領域の小領域である、請求項１に記載の方法。
8. 前記関心領域の前記少なくとも一部分のＺ高さ測定を特定することは、前記関心領域の複数の小領域のＺ高さ測定を特定することを含む、請求項１に記載の方法。
9. 複数のＺ高さでワークピースの画像スタックを収集して、関心領域の複数の小領域の最良の合焦高さに基づいてＺ高さを測定するように構成可能なマシンビジョン検査システムであって、
   電子ロールシャッターを有するカメラシステムと可変焦点距離レンズとを含む撮像システムであって、前記可変焦点距離レンズは、前記撮像システムの合焦位置を変更するように電子的に制御可能である、撮像システムと、
   前記撮像システムの視野において、ワークピースをストロボ照明で照明するように構成可能な照明源と、
   を含み、
   前記マシンビジョン検査システムは制御部を含み、前記制御部は、
   前記ワークピースの近傍のＺ高さ方向に沿った複数の位置にわたり、前記可変焦点距離レンズの合焦位置を周期的に変調することと、
   前記画像スタック内の各画像を、前記画像スタック内のＺ高さに対応する、前記周期的に変調される合焦位置の位相タイミングと同期されたストロボ照明のインスタンスを使用して露光して、前記画像スタックを収集することと、
   前記カメラシステムのピクセルの向きに平行する移動方向に沿って前記ワークピースに相対して視野を移動させることと、
   前記視野が移動する際、前記画像スタックの画像を収集することと、
   を行うように制御可能であり、
   前記マシンビジョン検査システムは、
   合焦高さ測定動作の視野内の関心領域を特定することと、
   前記画像スタックを解析して、前記関心領域の少なくとも一部分の最良の合焦位置に対応するＺ高さを特定することに基づいて、前記関心領域の前記少なくとも一部分のＺ高さ測定を特定することと、
   を行うように構成可能であり、
   前記画像スタックの各画像は、前記関心領域の前記少なくとも一部分に等しい幅を前記移動方向に沿って有するピクセルアレイのストライプである、
   マシンビジョン検査システム。
10. 前記撮像システムは、前記撮像システムの前記合焦位置を変調するように構成可能な可変音響式屈折率分布型レンズを含む、請求項９に記載のマシンビジョン検査システム。
11. 合焦高さビデオツールを更に含み、前記ワークピースの近傍の複数の位置にわたる前記撮像システムの合焦位置を周期的に変調する動作及び前記画像スタックを収集する動作は、前記合焦高さビデオツールの任意に選択できる高速モードとして選択可能である、請求項９に記載のマシンビジョン検査システム。
12. 前記撮像システムは複数のカメラシステムを含み、前記複数のカメラシステムのそれぞれは、電子ロールシャッターシステムを有する撮像アレイを含み、
    前記撮像アレイのそれぞれは、最良の合焦位置の特定に使用される前記関心領域の前記少なくとも一部分の幅に等しい距離だけ互いに相対してオフセットする画像光を受け取るように、互い違いに構成される、請求項９に記載のマシンビジョン検査システム。
13. 前記カメラシステムは、一次元ラインセンサである撮像アレイを含む、請求項９に記載のマシンビジョン検査システム。

Images