JP7448633B2 - 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置 - Google Patents

Description

本発明は、複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置に関する。

従来の技術においては、視覚センサにて画像を撮像し、得られた画像に基づいて物体の表面の位置情報を検出する三次元測定装置が知られている。３次元の位置を検出する視覚センサとしては、２台の２次元カメラを含むステレオカメラが知られている。ステレオカメラにて撮像された画像の処理においては、一方のカメラにて撮像された画像と他方のカメラにて撮像された画像とにおける物体の位置の視差に基づいて、ステレオカメラから物体までの距離が算出される。また、物体までの距離および２台のカメラの位置に基づいて、物体の表面に設定される測定点の３次元的な位置を算出することができる。

ステレオカメラの画像の処理では、一方のカメラにて撮像された画像に含まれる物体の位置に対応するように、他方のカメラにて撮像された画像に含まれる物体の位置を検出する必要が有る。このために、一方の画像において所定の大きさのブロックを設定し、このブロックに対応する他方の画像における位置を探索する制御が知られている（例えば、特開２００１－８２９２７号公報）。このような方法は、ブロックごとに探索するために、ブロックマッチングと称される。

特開２００１－８２９２７号公報

ステレオカメラの画像の処理において、ブロックマッチングを行う場合には、一方のカメラにて第１の画像を撮像し、他方のカメラにて第２の画像を撮像する。第１の画像において選定されたブロックが第２の画像において選定されたブロックに対応するか否かを判定する。このブロックは、複数の画素を含む。第２の画像において第１の画像のブロックに対応するブロックが存在する場合には、ブロックに含まれる画素について視差を算出する。

ブロックマッチングを用いて距離画像などの表面の位置情報を算出する制御では、物体の小さな段差、物体同士の間の僅かな隙間、または物体の細かい形状などの輪郭を正確に測定することが難しい場合が有る。例えば、ステレオカメラにて距離画像を生成した場合には、物体の小さな段差または物体同士の間の隙間等が消失してしまう場合がある。または、物体の小さな段差または物体同士の間の隙間等においては正確な距離情報が取得できない場合が有る。このように、ステレオカメラでは、画像における形状の変化が細かい部分では、物体の表面の位置情報を正確に取得することが難しいという問題があった。

本開示の第１の態様の三次元測定装置は、第１の画像を撮像する第１のカメラおよび第２の画像を撮像する第２のカメラを含む視覚センサと、物体の輪郭を検出するための輪郭検出センサとを備える。三次元測定装置は、第１の画像および第２の画像に基づいて、物体の表面の位置情報を検出する処理部を備える。処理部は、輪郭検出センサの出力に基づいて物体の輪郭を検出する輪郭検出部を含む。処理部は、第１の画像において選定された１つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第２の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部を含む。処理部は、選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を算出する算出部を含む。処理部は、複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部を含む。処理部は、互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部を含む。ブロック探索部は、選定ブロックに含まれる画素の値と特定ブロックに含まれる画素の値との差の大きさまたは差の２乗の値を積算した積算値を算出する。ブロック探索部は、積算値が予め定められた判定値未満である場合に、特定ブロックに含まれる画素が選定ブロックに含まれる画素に対応すると判定する。ブロック探索部は、積算値が予め定められた判定値を超える場合または選定ブロックに対応する特定ブロックが検出されない場合に、選定画素の距離情報として無効画素である情報を設定する。積算値に関する第１の判定値と第１の判定値よりも大きな積算値に関する第２の判定値とが予め定められている。ブロック探索部、算出部、および生成部は、第１の画像、第２の画像、および第１の判定値を用いて第１の表面の位置情報を生成し、第１の画像、第２の画像、および第２の判定値を用いて第２の表面の位置情報を生成する。合成部は、輪郭検出部にて検出された輪郭に基づいて輪郭に対応する領域を設定し、輪郭に対応する領域に含まれる画素に対して、第１の表面の位置情報に含まれる画素の距離情報を採用し、輪郭に対応する領域以外の領域に含まれる画素に対して、第２の表面の位置情報に含まれる画素の距離情報を採用することにより、第１の表面の位置情報と第２の表面の位置情報とを合成した表面の位置情報を生成する。

本開示の第２の態様の三次元測定装置は、第１の画像を撮像する第１のカメラおよび第２の画像を撮像する第２のカメラを含む視覚センサと、物体の輪郭を検出するための輪郭検出センサとを備える。三次元測定装置は、第１の画像および第２の画像に基づいて、物体の表面の位置情報を検出する処理部を備える。処理部は、輪郭検出センサの出力に基づいて物体の輪郭を検出する輪郭検出部を含む。処理部は、第１の画像において選定された１つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第２の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部を含む。処理部は、選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を生成する算出部を含む。処理部は、複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部を含む。処理部は、互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部を含む。第１の選定ブロックと、第１の選定ブロックよりも多くの画素を含む第２の選定ブロックとが予め定められている。ブロック探索部、算出部、および生成部は、第１の画像、第２の画像、および第１の選定ブロックを用いて第１の表面の位置情報を生成し、第１の画像、第２の画像、および第２の選定ブロックを用いて第２の表面の位置情報を生成する。合成部は、輪郭検出部にて検出された輪郭に基づいて輪郭に対応する領域を設定し、輪郭の画素を含む輪郭に対応する領域に含まれる画素に対して、第１の表面の位置情報に含まれる画素の距離情報を設定し、輪郭に対応する領域以外の領域に含まれる画素に対して、第２の表面の位置情報に含まれる画素の距離情報を設定することにより、第１の表面の位置情報と第２の表面の位置情報とを合成した表面の位置情報を生成する。

本開示の態様によれば、物体の表面の位置情報の精度が向上する三次元測定装置を提供することができる。

実施の形態におけるロボット装置の斜視図である。 ロボット装置のブロック図である。 実施の形態における視覚センサの概略図である。 第１の画像における選定ブロックと第２の画像における探索領域および探索ブロックの図である。 選定ブロックに対応する特定ブロックを探索する制御の第１の工程を説明する選定ブロックおよび探索領域の図である。 選定ブロックに対応する特定ブロックを探索する制御の第２の工程を説明する選定ブロックおよび探索領域の図である。 視覚センサにてワークを撮像する例を説明する視覚センサおよびワークの斜視図である。 ワークを撮像して得られる距離画像の例である。 ロボット装置の第１のカメラにて撮像した２次元の画像である。 ２次元の画像から輪郭を検出するためのコントラストの閾値を設定する方法のフローチャートである。 実施の形態における第１の制御のフローチャートである。 輪郭に対応する領域を説明する画像の拡大図である。 合成距離画像を生成する制御のフローチャートである。 第１の制御にて生成された距離画像である。 比較例の制御にて生成された距離画像である。 第１のスコアの判定値を設定する方法のフローチャートである。 実施の形態における第２の制御のフローチャートである。 第１の選定ブロックのブロックサイズを設定する方法のフローチャートである。 第２の制御にて生成された距離画像である。

図１から図１９を参照して、実施の形態における三次元測定装置について説明する。本実施の形態の三次元測定装置は、第１の画像を撮像する第１のカメラおよび第２の画像を撮像する第２のカメラを含む視覚センサを備える。三次元測定装置は、第１の画像および第２の画像に基づいて、物体の表面の位置情報を生成する。特に、物体の表面に設定される３次元の測定点の情報を含む位置情報を生成する。

図１は、本実施の形態におけるロボット装置の斜視図である。図２は、本実施の形態におけるロボット装置のブロック図である。図１および図２を参照して、ロボット装置３は、ワーク６１，６２を把持するハンド５と、ハンド５を移動するロボット１とを備える。ロボット装置３は、ロボット装置３を制御する制御装置２を備える。ロボット装置３は、物体としてのワーク６１，６２の表面に対応する３次元の測定点の位置情報を生成するための視覚センサ３０を備える。

本実施の形態のワーク６１，６２は、直方体状の段ボール箱である。ハンド５は、ワーク６１，６２を把持したり解放したりするエンドエフェクタである。本実施の形態のハンド５は、ワーク６１，６２の表面を吸着により把持する吸着ハンドである。ロボット１に取り付けられるエンドエフェクタとしては、この形態に限られず、ロボット装置３が行う作業に応じた任意の作業ツールを採用することができる。例えば、エンドエフェクタとして、溶接を実施する作業ツールまたはシール材をワークの表面に塗布する作業ツール等を採用することができる。すなわち、本実施の形態の三次元測定装置は、任意の作業を行うロボット装置に適用することができる。

本実施の形態のロボット１は、複数の関節部１８を含む多関節ロボットである。ロボット１は、上部アーム１１と下部アーム１２とを含む。下部アーム１２は、旋回ベース１３に支持されている。旋回ベース１３は、ベース１４に支持されている。ロボット１は、上部アーム１１の端部に連結されているリスト１５を含む。リスト１５は、ハンド５を固定するフランジ１６を含む。ロボット１の構成部材は、予め定められた駆動軸の周りに回転するように形成される。ロボットとしては、この形態に限られず、作業ツールを移動可能な任意のロボットを採用することができる。

図３に、本実施の形態におけるカメラの概略図を示す。本実施の形態の視覚センサ３０は、第１のカメラ３１および第２のカメラ３２を含むステレオカメラである。カメラ３１，３２は、２次元の画像を撮像することができる２次元カメラである。カメラ３１，３２としては、ＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を備えた任意のカメラを採用することができる。２台のカメラ３１，３２は互いに離れて配置されている。２台のカメラ３１，３２の相対的な位置は予め定められている。本実施の形態の２台のカメラ３１，３２は、それぞれのカメラ３１，３２の光軸が互いに平行になる様に配置されている。本実施の形態の視覚センサ３０は、ワーク６１，６２に向かって縞模様などのパターン光を投影するプロジェクタ３３を含む。カメラ３１，３２およびプロジェクタ３３は、筐体３４の内部に配置されている。

図１および図２を参照して、視覚センサ３０は、支持部材６６にて支持されている。本実施の形態の視覚センサ３０の位置は固定されている。視覚センサ３０は、ワーク６１，６２を撮像できる位置に配置されている。

三次元測定装置は、視覚センサ３０により取得された画像を処理することにより、物体の表面の位置情報を、距離画像または三次元マップの形式にて生成することができる。距離画像とは、画像により物体の表面の位置情報を表現したものである。距離画像では、それぞれの画素の濃さ又は色により、物体の表面の位置または視覚センサ３０からの距離を表している。一方で、三次元マップとは、画素に対応する物体の表面の測定点の座標値（ｘ，ｙ，ｚ）の集合にて物体の表面の位置情報を表現したものである。本実施の形態の形態では、物体の表面の位置情報として距離画像を例に取り上げて説明する。

本実施の形態のロボット１は、上部アーム１１等の構成部材を駆動するロボット駆動装置２１を含む。ロボット駆動装置２１は、上部アーム１１、下部アーム１２、旋回ベース１３、およびリスト１５を駆動するための複数の駆動モータを含む。ハンド５は、ハンド５を駆動するハンド駆動装置２２を含む。本実施の形態のハンド駆動装置２２は、空気圧によりハンド５を駆動する。ハンド駆動装置２２は、吸着パッドの内部の空間を減圧するためのポンプおよび電磁弁等を含む。

制御装置２は、ロボット１およびハンド５を制御する。制御装置２は、プロセッサとしてのＣＰＵ（Central Processing Unit）を含む演算処理装置（コンピュータ）を備える。演算処理装置は、ＣＰＵにバスを介して互いに接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。本実施の形態のロボット装置３は、動作プログラム４１に基づいてワーク６１，６２を自動的に搬送する。ロボット駆動装置２１およびハンド駆動装置２２は、制御装置２により制御されている。

制御装置２は、ロボット装置３の制御に関する情報を記憶する記憶部４２を含む。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。制御装置２には、ロボット１の動作を行うために予め作成された動作プログラム４１が入力される。動作プログラム４１は、記憶部４２に記憶される。

制御装置２は、動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４４に送出する。ロボット駆動部４４は、駆動モータを駆動する電気回路を含む。ロボット駆動部４４は、動作指令に基づいてロボット駆動装置２１に電気を供給する。また、動作制御部４３は、ハンド駆動装置２２を駆動する動作指令をハンド駆動部４５に送出する。ハンド駆動部４５は、ポンプ等を駆動する電気回路を含む。ハンド駆動部４５は、動作指令に基づいてポンプ等に電気を供給する。

動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット駆動装置２１の各駆動軸の駆動モータに取り付けられた位置検出器２３を含む。位置検出器２３の出力により、ロボット１の位置および姿勢が検出される。状態検出器としては、駆動モータに取り付けられた位置検出器に限られず、ロボット１の位置および姿勢の検出が可能な任意の検出器を採用することができる。

制御装置２は、作業者がロボット装置３を手動にて操作する操作盤としての教示操作盤４９を含む。教示操作盤４９は、ロボット１、ハンド５、および視覚センサ３０に関する情報を入力する入力部４９ａを含む。入力部４９ａは、キーボードおよびダイヤルなどの部材により構成されている。教示操作盤４９は、ロボット装置３の制御に関する情報を表示する表示部４９ｂを含む。表示部４９ｂは、液晶表示パネル等の表示パネルにて構成されている。

本実施の形態のロボット装置３には、ロボット１の位置および姿勢が変化した時に不動のワールド座標系７１が設定されている。図１に示す例では、ロボット１のベース１４に、ワールド座標系７１の原点が配置されている。ワールド座標系７１は基準座標系とも称される。ワールド座標系７１では、原点の位置が固定され、更に、座標軸の向きが固定されている。ロボット１の位置および姿勢が変化してもワールド座標系７１の位置および姿勢は変化しない。

また、ロボット装置３には、作業ツールの任意の位置に設定された原点を有するツール座標系７２が設定されている。ツール座標系７２は、ハンド５と共に位置および姿勢が変化する。本実施の形態では、ツール座標系７２の原点は、ツール先端点に設定されている。更に、ロボット装置３では、視覚センサ３０に対してカメラ座標系７３が設定されている。カメラ座標系７３は、原点が視覚センサ３０に固定された座標系である。

ロボット１の位置および姿勢が変化すると、ツール座標系７２の原点の位置および姿勢が変化する。例えば、ロボット１の位置は、ツール先端点の位置（ツール座標系７２の原点の位置）に対応する。また、ロボット１の姿勢は、ワールド座標系７１に対するツール座標系７２の姿勢に対応する。

本実施の形態のロボット装置３は、ワーク６１，６２を検出する三次元測定装置を含む。本実施の形態では、制御装置２が三次元測定装置として機能する。三次元測定装置は、視覚センサ３０と、ワーク６１，６２の輪郭を検出するための輪郭検出センサと、第１のカメラ３１にて撮像された第１の画像および第２のカメラ３２にて撮像された第２の画像に基づいて、ワーク６１，６２の表面の位置情報を検出する処理部５１とを含む。

輪郭検出センサは、２次元の画像において、物体の段差部、凹部、凸部、および外縁等の輪郭を検出可能な任意のセンサを採用することができる。本実施の形態では、視覚センサ３０の第１のカメラ３１が、輪郭検出センサとして機能する。第１のカメラ３１にて撮像した２次元の第１の画像に基づいて、ワーク６１，６２の表面における輪郭を検出する。この構成より、視覚センサ３０の他に輪郭検出センサを配置する必要が無く、三次元測定装置の構成を簡易にすることができる。なお、第２のカメラ３２を輪郭検出センサとして使用しても構わない。または、輪郭検出センサとして、視覚センサ３０以外の２次元カメラ等がロボット装置に配置されていても構わない。

処理部５１は、輪郭検出センサの出力に基づいて、物体の輪郭を検出する輪郭検出部５２を含む。処理部５１は、第１の画像において複数の画素にて構成された選定ブロックを設定し、第２の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部５３を含む。処理部５１は、選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を算出する算出部５４を含む。処理部５１は、複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部５５を含む。処理部５１は、互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部５６を含む。

また、処理部５１は、視覚センサ３０に画像を撮像する指令を送出する撮像制御部５７を含む。処理部５１は、合成後の物体の表面の位置情報に基づいて、ロボット１を駆動する動作指令を生成する動作指令部５８を含む。

上記の処理部５１は、動作プログラム４１に従って駆動するプロセッサに相当する。特に、輪郭検出部５２、ブロック探索部５３、算出部５４、生成部５５、および合成部５６のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。また、撮像制御部５７および動作指令部５８は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

本実施の形態のロボット装置３は、ハンド５がワーク６１，６２を把持する前に、視覚センサ３０の出力に基づいてワーク６１，６２の距離画像を生成する。撮像制御部５７は、視覚センサ３０に画像を撮像する指令を送出する。処理部５１は、視覚センサ３０の第１のカメラ３１および第２のカメラ３２にて撮像された画像に基づいて、ワーク６１，６２の表面の位置情報を生成する。表面の位置情報は、例えば、カメラ座標系７３にて生成される。処理部５１は、ワールド座標系７１に対するカメラ座標系７３の位置および姿勢に基づいて、カメラ座標系７３にて表現される表面の位置情報をワールド座標系７１にて表現される表面の位置情報に変換することができる。

処理部５１の動作指令部５８は、ワーク６１の表面の位置情報に基づいて、ワーク６１の表面の形状および位置を検出する。動作指令部５８は、ハンド５にてワーク６１の表面を把持できるように、ロボット１の動作指令を動作制御部４３に送出する。動作制御部４３は、動作指令に基づいてロボット１の位置および姿勢を変更した後に、ハンド５にてワーク６１を把持する。そして、ロボット１は、動作プログラム４１に基づいて、ワーク６１を目標位置まで搬送する。次に、ロボット装置３は、ワーク６２の表面の位置情報に基づいてワーク６２を把持した後に、ワーク６２を搬送する。このように、ロボット装置３は、ワーク６１，６２の位置を検出して、ワーク６１，６２を搬送することができる。

次に、本実施の形態の三次元測定装置にて距離画像を生成する制御について説明する。本実施の形態の三次元測定装置は、互いに異なる複数の条件にて距離画像を生成し、複数の距離画像を合成した合成距離画像を生成する。

図４に、第１のカメラにて撮像された第１の画像および第２のカメラにて撮像された第２の画像を示す。視覚センサ３０は、第１のカメラ３１にて第１の画像７７を撮像する。視覚センサ３０は、第２のカメラ３２にて第２の画像７８を撮像する。第１の画像７７および第２の画像７８は、２次元画像である。それぞれの画像７７，７８は、複数の画素にて構成されている。それぞれの画像７７，７８には、画像における予め定められた点を原点とするスクリーン座標系７４が設定されている。スクリーン座標系７４にて表現される画像における位置は、それぞれのカメラ３１，３２の内部に配置されている撮像素子における位置に対応する。

図５に、ブロックマッチングを行っているときの第１の工程を説明する選定ブロックおよび探索ブロックの図を示す。図５には、第１の画像７７に設定される選定ブロック８１および第２の画像７８に設定される探索領域８４の拡大図が示されている。図２、図４、および図５を参照して、処理部５１のブロック探索部５３は、第１の画像７７に含まれる画素８５のうち、１つの画素を選定画素８５ａとして選定する。ブロック探索部５３は、選定画素８５ａおよび選定画素８５ａの周りの画素８５を含む選定ブロック８１を設定する。

本実施の形態における選定ブロック８１では、複数の画素８５が選定画素８５ａを取り囲むように設定されている。図５に示される選定ブロック８１では、第１の画像７７の横方向（スクリーン座標系７４のＹ軸方向）に３個の画素８５が選択され、縦方向に３個の画素８５が選択されている。選定ブロック８１の大きさとしてのブロックサイズは、この形態に限られず、任意の個数の画素を含むことができる。また、本実施の形態においては、選定ブロック８１の中央に選定画素８５ａが配置されているが、この形態に限られず、選定画素８５ａは、選定ブロック８１の任意の位置に配置することができる。

ブロック探索部５３は、第２の画像７８において、選定ブロック８１に対応する特定ブロック８２を探索するブロックマッチングの制御を行う。それぞれの画素８５には、濃度、輝度、または、色の情報などが数値化された画素の値が設定されている。ブロック探索部５３は、これらの画素の値が良く対応するブロックを第２の画像７８から探索する。そして、ブロック探索部５３は、このブロックを特定ブロック８２として設定する。

ブロック探索部５３は、選定ブロック８１に対応する特定ブロック８２を検出するために第２の画像７８に探索領域８４を設定する。探索領域８４は、例えば、選定ブロック８１と同一の位置を通り、エピポーラ線に平行な領域を設定することができる。探索領域８４の高さは、選定ブロック８１の高さと同一にすることができる。本実施の形態においては、第２の画像７８において、スクリーン座標系７４のＹ軸の方向に延びるように探索領域８４が設定されている。ブロック探索部５３は、探索領域８４において探索ブロック８３を選定する。探索ブロック８３の形状および大きさは、選定ブロック８１の大きさおよび形状と同一になるように設定することができる。

図５に示す例においては、探索領域８４において探索ブロック８３ａが設定されている。本実施の形態におけるブロック探索部５３は、ＳＡＤ（Sum of Absolute Difference）法によりブロックマッチングを実施する。ブロック探索部５３は、探索ブロック８３ａに含まれる画素８６の値と、選定ブロック８１に含まれる画素８５の値とに基づいて、スコアＳＣ１を算出する。スコアは、それぞれのブロック８１，８３ａにおいて、互いに対応する画素同士の画素の値の差の大きさを積算した積算値である。このスコアは、マッチングスコアとも称される。図５に示す例においては、スコアＳＣ１は、以下の式（１）にて算出される。

ＳＣ１＝｜５－４｜＋｜３－３｜＋｜４－４｜＋｜５－５｜＋｜６－７｜＋｜５－３｜＋｜６－６｜＋｜８－８|＋｜８－７|＝５ …（１）

次に、ブロック探索部５３は、矢印１０１に示すように、探索領域８４に沿って探索ブロック８３の位置を移動する。本実施の形態では、一個の画素８６の幅の距離にて探索ブロック８３をずらしている。探索ブロック８３を移動する距離としては、この形態に限られず、２個以上の画素の幅の距離であっても構わない。

図６に、ブロックマッチングを行っているときの第２の工程を説明する選定ブロックおよび探索ブロックの図を示す。図５および図６を参照して、ブロック探索部５３が探索ブロック８３をずらすことにより、探索ブロック８３ｂが設定されている。ブロック探索部５３は、選定ブロック８１に含まれる画素８５の値および探索ブロック８３ｂに含まれる画素８６の値に基づいて、スコアＳＣ２を算出する。図６に示す例においては、スコアＳＣ２は、以下の式（２）になる。

ＳＣ２＝｜５－３｜＋｜３－４｜＋｜４－８｜＋｜５－７｜＋｜６－３｜＋｜５－９｜＋｜６－８｜＋｜８－７｜＋｜８－１０｜＝２１ …（２）

このように、ブロック探索部５３は、探索領域８４に沿って、探索ブロック８３の位置をずらしながら、スコアを算出する。ブロック探索部５３は、探索領域８４の一方の端から他方の端まで探索ブロック８３を移動する。ブロック探索部５３は、探索ブロック８３の位置を少しずつずらしながら、それぞれの探索ブロック８３の位置におけるスコアを算出する。本実施の形態においては、スコアが小さいほど、探索ブロック８３が選定ブロック８１により良く対応していると判定する。上記の例では、図５に示す探索ブロック８３ａは、図６に示す探索ブロック８３ｂよりも、選定ブロック８１に良く対応していると判断される。

ブロック探索部５３は、それぞれの探索ブロック８３の位置のうち、最もスコアの低い位置の探索ブロック８３を、選定ブロック８１に対応する特定ブロック８２として設定する。このように、ブロック探索部５３は、選定ブロック８１に含まれる画素８５の値が近い探索ブロック８３を、特定ブロック８２として設定することができる。

なお、ブロック探索部は、選定ブロックに含まれる画素の値と探索ブロックに含まれる画素の値との差の２乗の値を積算した積算値をスコアとして計算しても構わない。この方法は、ＳＳＤ（Sum of Squared Difference）法と称される。この方法においても、スコアの値が小さいほど、２つのブロックが良く対応していると判断することができる。

このように、ブロック探索部５３は、ブロックマッチングを行うことにより、選定ブロック８１に最も良く対応する特定ブロック８２を探索することができる。次に、ブロック探索部５３は、選定ブロック８１および特定ブロック８２にて算出されるスコアを、予め定められた判定値と比較する。本実施の形態では、スコアに対する判定値が予め定められている。ブロック探索部５３は、スコアが判定値未満である場合には、特定ブロック８２に含まれる画素８６が選定ブロック８１に含まれる画素８５に対応すると判定する。ブロック探索部５３は、特定ブロック８２において、選定画素８５ａに対応する特定画素を選定する。図５に示す探索ブロック８３ａが特定ブロック８２に設定された場合には、探索ブロック８３ａの中央に配置されている画素が特定画素になる。

一方で、ブロック探索部５３は、スコアが判定値以上の場合には、特定ブロック８２が選定ブロック８１に十分に対応していないと判断する。ブロック探索部５３は、選定画素８５ａの距離情報として無効画素である情報を設定する。無効画素とは、具体的な距離および具体的な測定点の位置等の情報を含まない画素である。また、ブロック探索部５３は、選定ブロックに対応する特定ブロックが検出されない場合に、選定画素の距離情報として無効画素である情報を設定する。

ブロック探索部５３は、第１の画像７７に含まれる全ての画素を選定画素に選定して、上記と同様の制御を実施することができる。第１の画像７７に含まれる画素８５に対して特定ブロック８２および特定画素が設定される。または、画素８５が無効画素に設定される。なお、ブロック探索部５３は、第１の画像７７の予め定められた領域内に配置されている画素に対して、上記と同様の制御を実施しても構わない。

次に、算出部５４は、選定ブロック８１における選定画素８５ａの位置と、特定ブロック８２における特定画素の位置の視差を算出する。算出部５４は、この視差に基づいて、視覚センサ３０から物体の表面までの距離を算出する。特に、算出部５４は、選定画素８５ａおよび特定画素に対応する物体の表面の測定点までの距離を算出する。また、算出部５４は、算出した距離に基づいて、物体の表面の測定点の位置を算出しても構わない。この測定点の位置は、カメラ座標系７３にて算出することができる。

算出部５４は、第１の画像７７のそれぞれの画素８５に対して、画素の距離情報を設定する。画素の距離情報は、例えば、視覚センサ３０から測定点までの距離または測定点の位置の情報等である。また、前述の通りに、画素の距離情報には、無効画素であるという情報が含まれる。なお、画素の距離情報は、測定点の位置に関する情報であるために測定点の距離情報に相当する。

生成部５５は、それぞれの画素の距離情報を用いて、複数の画素の距離情報を含む物体の表面の位置情報を生成する。ここでの例では、生成部５５は、視覚センサ３０から物体までの距離に応じて画素の色の濃度を設定する。それぞれの画素に対して、距離に応じた濃度の画像を設定することにより、距離画像を生成することができる。

図７に、距離画像の例を説明するための視覚センサおよびワークの斜視図を示す。この例においては、架台６７の表面にワーク６３が配置されている。ワーク６３は、架台６７の表面に対して傾くように配置されている。架台６７の表面は、視覚センサ３０のカメラ３１，３２の光軸に対して垂直に延びている。視覚センサ３０のカメラ３１，３２にて撮像された画像を処理することにより、矢印１０２，１０３に示すように、ワーク６３の表面に設定された測定点の距離情報を検出することができる。

図８に、図７の視覚センサによって得られた距離画像を示す。図７および図８を参照して、ここでの例では、視覚センサ３０からの距離が遠くなるほど色が濃くなるように距離画像９１が生成されている。ワーク６３の表面では、視覚センサ３０に近くなるほど色が薄くなっている。架台６７の表面は、遠い位置にあるため、最も濃い色が画素に設定されている。

ワーク６３の外縁に対応する領域では、画素の距離情報として無効画素である情報が設定されている。無効画素により無効画素領域９７が形成されている。ここでの例では、無効画素に対しては色を付けないように距離画像９１が生成されている。また、架台６７の外側の領域にも、無効画素領域９７が形成されている。

ところで、ブロック探索部５３が行うブロックマッチングにおいて、スコアの判定値を大きく設定すると、無効画素に設定されない特定ブロックが多く残存する。この結果、具体的な距離等の情報が含まれる画素の個数は多くなる。しかしながら、ワークの段差部または外縁などのブロックマッチングの信頼性の低い部分においても具体的な距離等の情報を含む画素が設定される。この結果、距離画像の信頼性は低下する。例えば、ワークの外縁、凸部、凹部、または段差部などでは、輪郭が消失した距離画像が生成される場合がある。

一方で、スコアの判定値を小さく設定すると、選定ブロックにおける複数の画素の値と、特定ブロックにおける複数の画素の値とが近い値でなければ、選定画素は無効画素に設定される。すなわち、ブロックマッチングの信頼性が低い部分は、無効画素に設定される。ワークの段差部または外縁等の部分は、信頼性の低い箇所であり、無効画素が設定される。この無効画素により無効画素領域が生成され、ワークの外縁または段差部等の細かい輪郭を検出することができる。ところが、画像の全体に亘ってスコアの判定値を小さくしてブロックマッチングを行うと、具体的な距離等の情報を含む画素の個数が少なくなる。例えば、物体の表面の位置を検出するための測定点の個数が少なくなってしまうという問題がある。

本実施の形態における第１の制御では、スコアに関する第１の判定値と、第１の判定値よりも大きな第２の判定値とを予め定めておく。そして、第１の判定値を用いて第１の距離画像を生成し、第２の判定値を用いて第２の距離画像を生成する。第１の距離画像は、第１の表面の位置情報に相当し、第２の距離画像は第２の表面の位置情報に相当する。輪郭検出センサとしての第１のカメラの画像に基づいて物体の輪郭を予め検出する。そして、物体の輪郭に対応する領域に含まれる画素に対して、第１の距離画像に含まれる画素の距離情報を採用する。輪郭に対応する領域以外の領域に含まれる画素に対して、第２の距離画像に含まれる画素の距離情報を採用する。このように、第１の距離画像と第２の距離画像とを合成した合成距離画像を生成する。

ここで、輪郭検出部５２がワーク６１，６２の輪郭を検出する制御について説明する。図９に、本実施の形態のロボット装置３において、第１のカメラ３１にて撮像した２次元の画像を示す。ワーク６１，６２の輪郭を検出する制御においては、プロジェクタ３３は使用せずに２次元の画像９６を撮像する。すなわち、プロジェクタ３３にて生成されるワーク６１，６２の表面に縞模様などのパターンは生じない。画像９６には、ワーク６１の画像およびワーク６２の画像が含まれている。ワーク６１とワーク６２との間には、僅かな隙間が存在する。この隙間の部分は暗くなっている。処理部５１の輪郭検出部５２は、画像９６を用いてワーク６１，６２における輪郭を検出する。より詳細には、輪郭検出部５２は、画像９６における輪郭の画素の位置を検出する。

本実施の形態における輪郭検出部５２は、始めに、画像９６のそれぞれの画素に対してソーベルフィルタを用いて処理を行う。ソーベルフィルタにて処理を行った画像に対して、互いに隣り合う２つの画素を選択する。そして、２つ画素同士の間における輝度勾配を算出する。すなわち、２つの画素に対するコントラストを算出する。そして、コントラストが予め定められたコントラストの閾値を超える場合には、その画素が物体の輪郭であると判別する。

図１０に、物体の輪郭を検出するためのコントラストの閾値を設定する方法のフローチャートを示す。作業者は、コントラストの閾値を変更して実際に生成される輪郭の画像を見ることによりコントラストの閾値を設定することができる。

ステップ１１１において、作業者は、コントラストの閾値を任意の値に設定する。例えば経験則に基づいてコントラストの閾値を設定する。次に、ステップ１１２において、作業者は、教示操作盤４９を操作することにより、第１のカメラ３１にて２次元の画像を撮像する。

ステップ１１３において、輪郭検出部５２は、画像に対してソーベルフィルタの処理を行う。輪郭検出部５２は、コントラストの閾値に基づいて輪郭となる画素を検出する。輪郭検出部５２は、例えば輪郭となる画素に対して黒以外の色を付した画像を生成する。ステップ１１４において、教示操作盤４９の表示部４９ｂは、輪郭の画像を画像９６に重ねて表示する。ステップ１１５において、作業者は、輪郭の画像を見て、所望の輪郭が含まれているか否かを判定する。ステップ１１５において、所望の輪郭が得られていない場合に、工程はステップ１１１に戻る。

ステップ１１１において、作業者は新たなコントラストの閾値を設定する。例えば、コントラストの閾値が大きい場合には、互いに隣り合う画素における輝度勾配が大きくないと輪郭として検出されない。輪郭の画像に明確な輪郭が表示されない場合に、作業者は、コントラストの閾値を小さくすることができる。例えば、ワーク６１，６２同士の間の隙間が明確になるように輪郭が表示されていない場合に、作業者はコントラストの閾値を小さくすることができる。これとは反対に、輪郭が多く出すぎている場合には、作業者は、コントラストの閾値を大きくすることができる。そして、ステップ１１２からステップ１１５の工程を繰り返す。

ステップ１１５において、所望の輪郭が得られている場合に、作業者は、その時のコントラストの閾値を採用することができる。このように、作業者は、コントラストの閾値を設定することができる。

なお、２次元画像における輪郭の検出は、この形態に限られず、任意の方法にて行うことができる。例えば、２次元カメラにて得られた画像を２値化することにより、輪郭を検出しても構わない。

図１１に、本実施の形態における第１の制御のフローチャートを示す。図２および図１１を参照して、処理部５１の撮像制御部５７は、ステップ１３１において、第１のカメラ３１にて第１の画像を撮像する。また、撮像制御部５７は、第２のカメラ３２にて第２の画像を撮像する。

次に、ステップ１３２において、輪郭検出部５２は、第１のカメラ３１にて撮像した第１の画像を用いて物体の輪郭を検出する。本実施の形態においては、物体の輪郭を検出する際に第１の画像を用いているが、この形態に限られず、第２の画像を用いて輪郭を検出しても構わない。

また、作業者は、第１のスコアの判定値および第２のスコアの判定値を設定して記憶部４２に記憶させておく。第２のスコアの判定値は、第１のスコアの判定値よりも大きく設定されている。

ステップ１３３において、処理部５１は、予め定められた第１のスコアの判定値、第１の画像、および第２の画像を用いて、第１の距離画像を生成する。より具体的には、ブロック探索部５３は、第１の画像において選定ブロックを設定する。ブロック探索部５３は、第２の画像において、選定ブロックに最も対応する特定ブロックを検出する。ここで、ブロック探索部５３は、スコアが第１のスコアの判定値以上である場合には、選定ブロックの選定画素の距離情報として無効画素である情報を設定する。算出部５４は、無効画素以外の画素について、ワークの表面における測定点に対応する画素の距離情報を算出する。生成部５５は、複数の画素の距離情報を統合することにより第１の距離画像を生成する。ステップ１３４においては、ステップ１３３と同様に、処理部５１は、第２のスコアの判定値、第１の画像、および第２の画像を用いて第２の距離画像を生成する。

ステップ１３５において、合成部５６は、輪郭検出部５２にて検出されたワーク６１，６２の輪郭に基づいて輪郭に対応する領域を設定する。より具体的には、合成部５６は、輪郭となる画素を取得し、輪郭となる画素の周りに輪郭に対応する領域を設定する。そして、合成部５６は、ワーク６１，６２の輪郭に対応する領域に含まれる画素と、輪郭に対応する領域以外の領域に含まれる画素とを特定する。

図１２に、輪郭に対応する画素が示された画像の拡大図である。図１２に示す画像は、例えば、第１のカメラ３１にて撮像した画像の拡大図である。この画像は、複数の画素８７により構成されている。輪郭検出部５２は、輪郭となる画素８７ａの位置を検出している。ここでの例では、画素８７ａは直線状に並んでいる。画素８７ａの形状の重心である中央点８７ａａを通る線８９は、物体の輪郭線に相当する。合成部５６は、線８９に対して幅ｄの領域を輪郭に対応する領域として設定する。幅ｄは、作業者が予め設定することができる。例えば、幅ｄは、数個の画素の長さを設定することができる。

合成部５６は、輪郭に対応する領域に含まれる画素８７ｂと、輪郭に対応する領域以外の領域に含まれる画素８７ｃとを特定する。この時に、一部が輪郭に対応する領域に配置されている画素８７ｄは、輪郭に対応する領域内に配置されていると判定することができる。または、一部が輪郭に対応する領域に配置されている画素８７ｄは、輪郭に対応する領域以外の領域に配置されていると判定しても構わない。

図１２に示す例では、輪郭となる画素８７ａは、複数の画素８７が並ぶ方向に沿って直線状に並んでいるが、この形態に限られない。輪郭となる画素は複数の画素が並ぶ方向に対して傾斜する方向に並ぶ場合が有る。または、輪郭となる画素は曲線状に並ぶ場合がある。このような場合にも、輪郭に対応する領域は、輪郭となる画素に基づいて任意の方法にて設定することができる。例えば、互いに隣り合う輪郭となる画素の中央点同士を結ぶ直線を算出する。そして、中央点同士を結ぶ直線に対して垂直な方向に幅ｄの領域を設定する。この制御を、それぞれの輪郭となる画素に対して実施することにより、輪郭に対応する領域を設定することができる。または、輪郭となるそれぞれの画素の中央点から予め定められた方向に幅ｄの領域を設定する。更に、中央点から予め定められた方向に垂直な方向に幅ｄの領域を設定する。この制御を、それぞれの輪郭となる画素に対して実施することにより、輪郭に対応する領域を設定することができる。

図１１を参照して、ステップ１３６においては、合成部５６は、第１の距離画像、第２の距離画像、および輪郭に対応する領域に基づいて合成距離画像を生成する。

図１３に、合成部が合成距離画像を生成する制御のフローチャートを示す。ステップ１４１において、合成部５６は、例えば、第１のカメラ３１にて撮像された第１の画像に含まれる１個の画素を選択する。ステップ１４２において、合成部５６は、１つの画素が輪郭に対応する領域の内部に配置されているか否かを判定する。ステップ１４２において、１つの画素が輪郭に対応する領域の内部に配置されている場合には、制御は、ステップ１４３に移行する。

ステップ１４３において、合成部５６は、輪郭に対応する領域に含まれる画素に対して、第１の距離画像に含まれる画素の距離情報を採用する。すなわち、合成部５６は、第１の距離画像において１つの画素に対応する画素を検出する。合成部５６は、１つの画素の距離情報を第１の距離画像の画素の距離情報に設定する。第１の距離画像の画素の距離情報が無効画素である情報の場合には、１つの画素を無効画素に設定する。

ステップ１４２において、１つの画素が輪郭に対応する領域の外側に配置されている場合に、制御は、ステップ１４４に移行する。ステップ１４４において、合成部５６は、輪郭に対応する領域以外の領域に配置されている画素に対しては、第２の距離画像における画素の距離情報を採用する。第２の距離画像の画素の距離情報が無効画素である情報の場合には、１つの画素を無効画素に設定する。

次に、ステップ１４５において、合成部５６は、全ての画素に距離情報を設定したか否かを判定する。ステップ１４５において少なくとも一つの画素に対して距離情報を設定していない場合に、制御はステップ１４１に移行する。そして、ステップ１４１において他の画素を選択して、ステップ１４２からステップ１４５の制御を繰り返す。このように、全ての画素に対して距離情報を設定する。

ステップ１４５において、全ての画素において距離情報が設定されている場合に、制御は、ステップ１４６に移行する。ステップ１４６において、合成部５６は、それぞれの画素の距離情報を統合した合成距離画像を生成する。

図１４に、第１の制御にて生成された合成距離画像の例を示す。距離画像９２では、画素の距離情報は、色の濃さにて表現されている。また、無効画素に対しては、色が付けられていない。ワーク６１とワーク６２との間に存在する隙間には、無効画素にて構成された無効画素領域９７が生成されている。また、それぞれのワーク６１，６２の上面の縁部以外の領域では、無効画素が少なく、それぞれの画素の距離情報に具体的な距離または位置の情報が含まれている。すなわち、ワーク６１，６２の上面の縁部以外の領域では、多くの測定点が検出されている。

図１５に、比較例の距離画像の例を示す。比較例の距離画像９３においては、全ての画素に対して、ブロックマッチングを行うときのスコアの判定値を大きく設定している。例えば、距離画像９３は、第２のスコアの判定値を用いて生成した第２の距離画像である。この例では、多くの画素に対して具体的な距離または位置の情報を含む距離情報が設定されている。すなわち、多くの測定点が検出されている。ところが、ワーク６１とワーク６２との間に存在する隙間においても、具体的な距離または位置の情報を含む距離情報が設定されている。このために、距離画像９３では、ワーク６１とワーク６２との間に存在する隙間が消失している。このように、ワーク６１，６２の外縁などの部分においては、画素の距離情報の信頼性は低くなる。

図１４を参照して、これに対して、本実施の形態の第１の制御では、輪郭に対応する領域ではスコアの判定値が小さく設定されるために、ワーク６１，６２の外縁に対応する領域に無効画素にて構成される無効画素領域９７が発現している。第１のワーク６１と第２のワーク６２との間の隙間が明確に表現されている。このように、第１のワーク６１と第２のワーク６２とを明確に分離することができる。

処理部５１の動作指令部５８は、２個のワーク６１，６２が存在することを検出することができる。また、それぞれのワーク６１，６２の上面の外縁から離れた領域では、多くの測定点が検出されている。このために、動作指令部５８は、多くの測定点の距離情報に基づいてロボット１を駆動することができる。例えば、動作指令部５８は、ワーク６１の上面の重心位置にハンド５が配置されるように、ロボット１を駆動することができる。

このように、第１の制御においては、それぞれの画素が輪郭に対応する領域に含まれるか否かを判断して、それぞれの画素ごとに、第１の距離画像における画素の距離情報または第２の距離画像における画素の距離情報を設定する。このために、輪郭が存在する領域では、無効画素により細かい形状が明確な距離画像を得ることができる。一方で、輪郭が存在する領域以外の領域では、大きなスコアの判定値を用いた距離画像における距離情報が採用されるために、多くの測定点を得ることができる。物体の表面の位置情報の精度が向上した三次元測定装置を提供することができる。

図１６に、本実施の形態における第１のスコアの判定値の設定方法について説明する。第１のスコアの判定値および第２のスコアの判定値は、作業者が実際に生成される距離画像を見ながら設定することができる。例えば、作業者は、実際の作業を行うワークの距離画像を生成することによりスコアの判定値を設定することができる。

ステップ１２１において、作業者は、第１のスコアの判定値を設定する。例えば、作業者は、経験則に基づいて任意の第１のスコアの判定値を設定する。ステップ１２２において、作業者は、教示操作盤４９を操作することにより、第１のカメラ３１および第２のカメラ３２にて画像を撮像する。

ステップ１２３において、処理部５１は、第１のスコアの判定値、第１の画像、および第２の画像に基づいて距離画像を生成する。ステップ１２４において、教示操作盤４９の表示部４９ｂは、距離画像を表示する。例えば、図１５に示されるような距離画像が表示される。

ステップ１２５において、作業者は、所望の距離画像が得られているか否かを判定する。ここでは、第１のスコアの判定値を設定するために、ワーク６１，６２同士の間に、無効画素領域９７が形成されているか否かを判定する。スコアの判定値を大きくしすぎると、無効画素領域９７が少なくなったり消失したりする。一方で、スコアの判定値を小さくしすぎると、ワーク６１，６２の外縁の領域以外の領域においても多くの無効画素領域９７が生成されてしまう。この結果、ワーク６１，６２の表面に対応する具体的な距離等の情報を含む画素の個数が少なくなる。すなわち、ワーク６１，６２の上面に設定される測定点の個数が少なくなる。

ステップ１２５において、所望の距離画像が得られてない場合に、工程はステップ１２１に戻る。そして、作業者は、他の第１のスコアの判定値を設定する。作業者は距離画像を見て、ワークの外縁および段差部等の輪郭に無効画素領域９７が生成されるように、第１のスコアの判定値を変更する。例えば、作業者は、ワーク６１，６２同士の間に、無効画素領域９７が生成されていない場合に、第１のスコアの判定値を小さく設定する。また、作業者は、無効画素領域９７が多く形成されている場合には、第１のスコアの判定値を大きく設定する。そして、作業者は、ステップ１２２からステップ１２５の工程を繰り返す。ステップ１２５において、所望の距離画像が生成された場合には、その時の第１のスコアの判定値を採用することができる。

第２のスコアの判定値についても、図１６と同様の方法にて設定することができる。作業者は、ステップ１２５において、距離画像においてワーク６１，６２の上面に対応する領域において、具体的な距離等の情報が設定された画素が多く存在するか否かを判定する。第２のスコアの判定値にて生成された距離画像においては、ワーク６１，６２同士の間に無効画素領域が発現しなくても構わない。第２のスコアの判定値は、第１のスコアの判定値よりも大きく設定される。処理部５１は、このように設定した第１のスコアおよび第２のスコアを用いて、合成距離画像を生成することができる。

次に、本実施の形態における第２の制御について説明する。第２の制御においては、スコアの判定値を変更して複数の距離画像を撮像する代わりに、ブロックサイズを変更して複数の距離画像を撮像する。そして、ブロックサイズが互いに異なるように形成された複数の距離画像を合成して合成距離画像を生成する。

図４および図５を参照して、ブロックマッチングを行うときの選定ブロック８１および探索ブロック８３が多くの画素を含むようにブロックサイズを大きくすると、多くの画素同士の差を積算するために、視差を算出する精度が低下する。また、ブロックサイズを小さくした場合には、緩やかに画素の値が変化する領域においては、ブロックマッチングを行うことが困難になる場合がある。例えば、スコアが同一の多くの探索ブロックが検出される場合が有る。

第２の制御においては、作業者は、第１の選定ブロックと、第１の選定ブロックよりも多くの画素を含む第２の選定ブロックとを予め定める。すなわち、作業者は、ブロックサイズが互いに異なる選定ブロックを定める。第１の選定ブロックは、第２の選定ブロックよりもブロックサイズが小さい。例えば、第１の選定ブロックとしては、３行および３列のブロックを採用することができる。また、第２の選定ブロックとしては、９行および９列のブロックを採用することができる。

図１７に、第２の制御のフローチャートを示す。図２および図１７を参照して、ステップ１３１およびステップ１３２は、第１の制御における制御と同様である（図１１を参照）。ステップ１５３において、ブロック探索部５３、算出部５４、および生成部５５は、第１の画像、第２の画像、および第１の選定ブロックを用いて、第１の距離画像を生成する。ブロック探索部５３は、第１の選定ブロックおよび第１の選定ブロックと同一のブロックサイズの探索ブロックを用いてブロックマッチングの制御を実施する。

ステップ１５４において、ブロック探索部５３、算出部５４、および生成部５５は、第１の画像、第２の画像、および第２の選定ブロックを用いて、第２の距離画像を生成する。ブロック探索部５３は、第２の選定ブロックおよび第２の選定ブロックと同一のブロックサイズの探索ブロックを用いてブロックマッチングの制御を実施する。

次に、ステップ１３５において、合成部５６は、第１の制御と同様に、輪郭検出部５２にて検出されたワーク６１，６２の輪郭となる画素を取得する。合成部５６は、輪郭となる画素に基づいて輪郭に対応する領域を設定する。合成部５６は、輪郭に対応する領域に含まれる画素および輪郭に対応する領域以外の領域に含まれる画素を特定する（図１１および図１２を参照）。

ステップ１５６において、合成部５６は、合成距離画像を生成する。合成部５６は、輪郭に対応する領域に含まれる画素に対しては、第１の選定ブロックにて生成された第１の距離画像に含まれる画素の距離情報を設定する。一方で、輪郭に対応する領域以外の領域に含まれる画素においては、第２の選定ブロックにて生成された第２の距離画像に含まれる画素の距離情報を設定する。このように、それぞれの画素に対して、第１の距離画像に含まれる画素の距離情報または第２の距離画像に含まれる画素の距離情報を設定することにより、合成距離画像を生成することができる。

図１８に、第１の選定ブロックのブロックサイズを設定する方法のフローチャートを示す。作業者は、実際に生成される距離画像を見ながら第１の選定ブロックのブロックサイズを設定することができる。ステップ１６１において、作業者は、第１の選定ブロックを設定する。作業者は、経験等に基づいて任意のブロックサイズにて第１の選定ブロックを設定する。ステップ１６２において、作業者は、教示操作盤４９を操作することにより、第１のカメラ３１にておよび第２のカメラ３２にて画像を撮像する。ステップ１６３において、処理部５１は、第１の選定ブロックを用いて距離画像を生成する。そして、教示操作盤４９の表示部４９ｂは、距離画像を表示する。

ステップ１６５において、作業者は、所望の距離画像が得られているか否かを判定する。第１の選定ブロックにて生成される第１の距離画像では、ワークの外縁または段差部などの輪郭が明確に表示されていることが好ましい。例えば、ブロックサイズを大きくすると、ワーク６１，６２の輪郭が不鮮明になる。また、ワーク６１，６２同士の間の隙間が消失する場合がある。一方で、ブロックサイズを小さくしすぎると、所望の輪郭以外の輪郭が検出される場合が有る。

ステップ１６５において、所望の距離画像が得られていない場合に、工程は、ステップ１６１に移行する。ステップ１６１において、作業者は、ブロックサイズを変更した第１の選定ブロックを設定する。例えば、ワーク６１，６２同士の間の隙間が不鮮明である場合に、グロックサイズを小さくした第１の選定ブロックを設定することができる。そして、作業者は、ステップ１６２からステップ１６５を繰り返す。ステップ１６５において、所望の距離画像が得られている場合には、その時のブロックサイズの第１の選定ブロックを採用することができる。

第２の選定ブロックのブロックサイズについても、図１８と同様の方法により設定することができる。例えば、作業者は、ステップ１６１，１６５において、ワーク６１，６２同士の間の隙間の輪郭が不鮮明になるように、第２の選定ブロックのブロックサイズを設定することができる。

図１９に、第２の制御にて撮像された距離画像を示す。ワーク６１，６２の外縁が存在する領域では、ブロックサイズの小さな第１の選定ブロックにて生成された第１の距離画像に含まれる画素の距離情報が採用されている。例えば、ワーク６１とワーク６２との間の隙間が存在する領域では、第１の距離画像の画素の距離情報が採用されている。このために、距離画像９４においては、ワーク６１の外縁およびワーク６２の外縁が明確に示されている。特に、ワーク６１とワーク６２との間の隙間が画素の濃さの差により明確に示されている。

一方で、ワーク６１，６２の輪郭以外の領域では、ブロックサイズの大きな第２のブロックサイズにて生成された第２の距離画像の画素の距離情報が採用されている。ワーク６１，６２の上面の中央部では、第２の距離画像の画素の距離情報が採用されている。このために、距離情報が正確な多くの測定点が設定されている。また、２次元画像における輝度または濃度等の画素の値の勾配の小さな領域であっても、正確なワーク６１，６２の表面の位置情報を検出することができる。

その他の制御については、第１の制御と同様であるので、ここでは説明を繰り返さない。

本実施の形態の視覚センサ３０は、支持部材６６に固定されているが、この形態に限られない。視覚センサは、ワークを撮像可能なように配置することができる。例えば、視覚センサは、ロボットのリストと一体的に移動するように、リストに固定されていても構わない。この場合に、ロボットにおけるカメラ座標系の位置は予め算出することができる。そして、カメラ座標系にて生成された物体の表面の位置情報は、ロボットの位置および姿勢に基づいて、ワールド座標系に変換することができる。

本実施の形態の視覚センサ３０は、２台の２次元カメラを含むが、この形態に限られない。視覚センサは、３台以上の２次元カメラを含んでいても構わない。３次元センサが３台以上のカメラを含むことにより、一部の画像がハレーション等により不鮮明であっても、他のカメラにて撮像した画像に基づいて物体の表面の位置情報を生成することができる。また、本実施の形態の視覚センサはプロジェクタを備えるが、この形態に限られない。視覚センサは、プロジェクタを備えなくても構わない。

本実施の形態においては、ロボットを制御する制御装置が視覚センサの画像を処理する処理部として機能するが、この形態に限られない。処理部は、ロボットを制御する制御装置とは異なる演算処理装置（コンピュータ）にて構成されていても構わない。例えば、処理部として機能するタブレット端末が、ロボットを制御する制御装置に接続されていても構わない。

本実施の形態の三次元測定装置は、ロボット装置に配置されているが、この形態に限られない。三次元測定装置は、任意の装置に配置することができる。

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。

２ 制御装置
２３ 位置検出器
３０ 視覚センサ
３１ 第１のカメラ
３２ 第２のカメラ
５１ 処理部
５２ 輪郭検出部
５３ ブロック探索部
５４ 算出部
５５ 生成部
５６ 合成部
６１，６２，６３ ワーク
７７ 第１の画像
７８ 第２の画像
８１ 選定ブロック
８２ 特定ブロック
８５，８６，８７ 画素
８５ａ 選定画素
８７ａ，８７ｂ，８７ｃ 画素
９１，９２，９３，９４ 距離画像
９６ 画像
９７ 無効画素領域

Claims (3)

1. 第１の画像を撮像する第１のカメラおよび第２の画像を撮像する第２のカメラを含む視覚センサと、
   物体の輪郭を検出するための輪郭検出センサと、
   第１の画像および第２の画像に基づいて、物体の表面の位置情報を検出する処理部とを備え、
   前記処理部は、前記輪郭検出センサの出力に基づいて物体の前記輪郭を検出する輪郭検出部と、
   第１の画像において選定された１つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第２の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部と、
   選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を算出する算出部と、
   複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部と、
   互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部と、を含み、
   前記ブロック探索部は、選定ブロックに含まれる画素の値と特定ブロックに含まれる画素の値との差の大きさまたは前記差の２乗の値を積算した積算値を算出し、前記積算値が予め定められた判定値未満である場合に、特定ブロックに含まれる画素が選定ブロックに含まれる画素に対応すると判定し、前記積算値が予め定められた判定値を超える場合または選定ブロックに対応する特定ブロックが検出されない場合に、選定画素の距離情報として無効画素である情報を設定し、
   前記積算値に関する第１の判定値と第１の判定値よりも大きな前記積算値に関する第２の判定値とが予め定められており、
   前記ブロック探索部、前記算出部、および前記生成部は、第１の画像、第２の画像、および第１の判定値を用いて第１の表面の位置情報を生成し、第１の画像、第２の画像、および第２の判定値を用いて第２の表面の位置情報を生成し、
   前記合成部は、前記輪郭検出部にて検出された前記輪郭に基づいて前記輪郭に対応する領域を設定し、前記輪郭に対応する領域に含まれる画素に対して、第１の表面の位置情報に含まれる画素の距離情報を採用し、前記輪郭に対応する領域以外の領域に含まれる画素に対して、第２の表面の位置情報に含まれる画素の距離情報を採用することにより、第１の表面の位置情報と第２の表面の位置情報とを合成した表面の位置情報を生成する、三次元測定装置。
2. 第１の画像を撮像する第１のカメラおよび第２の画像を撮像する第２のカメラを含む視覚センサと、
   物体の輪郭を検出するための輪郭検出センサと、
   第１の画像および第２の画像に基づいて、物体の表面の位置情報を検出する処理部とを備え、
   前記処理部は、前記輪郭検出センサの出力に基づいて物体の前記輪郭を検出する輪郭検出部と、
   第１の画像において選定された１つの選定画素を含む複数の画素にて構成された選定ブロックを設定し、第２の画像において選定ブロックに対応する特定ブロックを探索するブロック探索部と、
   選定ブロックにおける選定画素の位置と特定ブロックにおける選定画素に対応する特定画素の位置との視差に基づいて、画素の距離情報を生成する算出部と、
   複数の画素の距離情報を含む物体の表面の位置情報を生成する生成部と、
   互いに異なる条件にて生成された物体の表面の位置情報を合成する合成部と、を含み、
   第１の選定ブロックと、第１の選定ブロックよりも多くの画素を含む第２の選定ブロックとが予め定められており、
   前記ブロック探索部、前記算出部、および前記生成部は、第１の画像、第２の画像、および第１の選定ブロックを用いて第１の表面の位置情報を生成し、第１の画像、第２の画像、および第２の選定ブロックを用いて第２の表面の位置情報を生成し、
   前記合成部は、前記輪郭検出部にて検出された前記輪郭に基づいて前記輪郭に対応する領域を設定し、前記輪郭の画素を含む前記輪郭に対応する領域に含まれる画素に対して、第１の表面の位置情報に含まれる画素の距離情報を設定し、前記輪郭に対応する領域以外の領域に含まれる画素に対して、第２の表面の位置情報に含まれる画素の距離情報を設定することにより、第１の表面の位置情報と第２の表面の位置情報とを合成した表面の位置情報を生成する、三次元測定装置。
3. 前記輪郭検出センサは、第１のカメラまたは第２のカメラである、請求項１または２に記載の三次元測定装置。

Images