JPH0474155B2 - - Google Patents
Info
- Publication number
- JPH0474155B2 JPH0474155B2 JP19747382A JP19747382A JPH0474155B2 JP H0474155 B2 JPH0474155 B2 JP H0474155B2 JP 19747382 A JP19747382 A JP 19747382A JP 19747382 A JP19747382 A JP 19747382A JP H0474155 B2 JPH0474155 B2 JP H0474155B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- orientation
- light
- image
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
- 230000003287 optical effect Effects 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、対象物体の光学像を検知し、それを
解析処理することによつて対象物体の位置および
姿勢を検出し、ロボツト視覚装置等に用いられる
対象物体の位置及び姿勢検出装置並びにその方法
に関する。
解析処理することによつて対象物体の位置および
姿勢を検出し、ロボツト視覚装置等に用いられる
対象物体の位置及び姿勢検出装置並びにその方法
に関する。
従来、物体の位置を検出する方法としては、物
体全体を一様に照明し、この光学像をTVカメラ
で撮像し、このようにして得られた画像を2値化
し、この2置画像を処理する方法が広く行なわれ
てきた。しかし、この方法では、対象物の色が背
景と大きく異なり、2値化によつて対象物のみが
画像で分離抽出できる必要があつた。また、この
方法では奥行き方向の位置が検出できないため、
ロボツトによる組立作業のように、対象物を掴ん
だり、対象物に部品を取り付けなければならない
場合、この対象物は検出器から既知の距離になけ
ればならず、したがつて作業対象が制限されてい
た。
体全体を一様に照明し、この光学像をTVカメラ
で撮像し、このようにして得られた画像を2値化
し、この2置画像を処理する方法が広く行なわれ
てきた。しかし、この方法では、対象物の色が背
景と大きく異なり、2値化によつて対象物のみが
画像で分離抽出できる必要があつた。また、この
方法では奥行き方向の位置が検出できないため、
ロボツトによる組立作業のように、対象物を掴ん
だり、対象物に部品を取り付けなければならない
場合、この対象物は検出器から既知の距離になけ
ればならず、したがつて作業対象が制限されてい
た。
また、ロボツトによる自動熔接用として、昭和
56年に開催された第11回工業用ロボツトに関する
国際シンポジウム(11 th Int.Symp.on
Industrial Robots (1981))第151頁から第158
頁までに掲載されたテイー・バンバ(T.Bamba)
ほか著、“A Visual Sensor for Arc−
Welding Robots”と題する論文に示された、ロ
ボツトの手先に光切断検出ヘツドを取り付けて、
検出された光切断波形を演算処理して熔接位置を
自動的に検出する方法があつた。しかし、この方
法は、作業対象を溝状のものに限定しているた
め、組立作業には使用できない。
56年に開催された第11回工業用ロボツトに関する
国際シンポジウム(11 th Int.Symp.on
Industrial Robots (1981))第151頁から第158
頁までに掲載されたテイー・バンバ(T.Bamba)
ほか著、“A Visual Sensor for Arc−
Welding Robots”と題する論文に示された、ロ
ボツトの手先に光切断検出ヘツドを取り付けて、
検出された光切断波形を演算処理して熔接位置を
自動的に検出する方法があつた。しかし、この方
法は、作業対象を溝状のものに限定しているた
め、組立作業には使用できない。
さらに、この方法を組立作業に適用しようとし
た試みに、昭和54年に開催された第9回工業用ロ
ボツトに関する国際シンポジウム(G th Int.
Symp.on Industrial Robots(1979))第123頁か
ら第230頁までに掲載されたジー・ジエイ・フア
ン・デル・ブルグ(G.J.Van der Brug)その他
著、“A Vision System for Real Time
Control of Robots“と題する論文の中で提案さ
れたNBSの方法がある。この方法で対象物の位
置、姿勢を3次元的に完全に検出するためには、
検出器を乗せたロボツト・アームを移動させ、異
なつたいくつかの角度から対象物を見る必要があ
るため、検出に時間がかかる欠点があつた。
た試みに、昭和54年に開催された第9回工業用ロ
ボツトに関する国際シンポジウム(G th Int.
Symp.on Industrial Robots(1979))第123頁か
ら第230頁までに掲載されたジー・ジエイ・フア
ン・デル・ブルグ(G.J.Van der Brug)その他
著、“A Vision System for Real Time
Control of Robots“と題する論文の中で提案さ
れたNBSの方法がある。この方法で対象物の位
置、姿勢を3次元的に完全に検出するためには、
検出器を乗せたロボツト・アームを移動させ、異
なつたいくつかの角度から対象物を見る必要があ
るため、検出に時間がかかる欠点があつた。
本発明の目的は、上記した従来技術の欠点をな
くし、対象物体の色等に影響されずに、しかも小
型・軽量な視覚装置により対象物体の位置及び姿
勢を高速に検出できるようにした対象物体の位置
及び姿勢検出装置並びにその方法を提供すること
にある。
くし、対象物体の色等に影響されずに、しかも小
型・軽量な視覚装置により対象物体の位置及び姿
勢を高速に検出できるようにした対象物体の位置
及び姿勢検出装置並びにその方法を提供すること
にある。
上記目的を達成するために、本発明による対象
物体の位置及び姿勢検出装置並びに方法は、平行
でない少なくとも二つの平板状の光線を照射する
光照射手段と、該光照射手段により照射された二
つの光線と上記対象物体の表面との交線の光学像
を撮像して電子信号に変換する撮像手段と、上記
光照射手段から照射される二つの光線を切換えて
照射する光線切換え手段と、上記撮像手段から得
られる電気信号から画像上の明るい切断線信号を
分離抽出する分離抽出手段と、上記撮像手段が撮
像する画像上の位置情報と実際の位置情報との対
応関係を格納する格納手段と、上記分離抽出手段
によつて分離抽出された切断線信号と上記格納手
段に格納された対応関係から対象物体の位置及び
姿勢を解析する計算手段とを備えたことを要旨と
する。また、本発明は、平行でない少なくとも二
つの平板状の光線を照射する光照射手段及び該光
照射手段により照射された二つの光線と上記対象
物体の表面との交線の光学像を撮像して電気信号
に変換する際像手段をロボツトの動作部材上に備
え、更に上記光照射手段から照射される二つの光
線を切換えて照射する光線切換手段と、上記撮像
手段から得られる電気信号から画像上の明るい切
断線信号を分離抽出する分離抽出手段と、上記撮
像手段が撮像する画像上の位置情報と実際の位置
情報との対応関係を格納する格納手段と、上記分
離抽出手段によつて分離抽出された切断線信号と
上記格納手段に格納された対応関係から対象物体
の位置及び姿勢を解析する計算手段と、該計算手
段によつて解析された対象物体の位置及び姿勢に
基いて上記ロボツトを制御するロボツト制御手段
とを備え付けたことを特徴とする対象物体の位置
及び姿勢検出装置である。また、本発明は、上記
撮像手段の光軸を、上記二つの平板状の光線が作
る二つの平面のなす角を2等分する平面上に配置
したことにある。本発明の有利な実施の態様にお
いては、上記二つの平板状光線が作る平面の交線
とロボツトの手先の回転中心軸もしくは幾何学的
対称軸は一致し、撮像装置の光軸もまた上記交線
を通つている。
物体の位置及び姿勢検出装置並びに方法は、平行
でない少なくとも二つの平板状の光線を照射する
光照射手段と、該光照射手段により照射された二
つの光線と上記対象物体の表面との交線の光学像
を撮像して電子信号に変換する撮像手段と、上記
光照射手段から照射される二つの光線を切換えて
照射する光線切換え手段と、上記撮像手段から得
られる電気信号から画像上の明るい切断線信号を
分離抽出する分離抽出手段と、上記撮像手段が撮
像する画像上の位置情報と実際の位置情報との対
応関係を格納する格納手段と、上記分離抽出手段
によつて分離抽出された切断線信号と上記格納手
段に格納された対応関係から対象物体の位置及び
姿勢を解析する計算手段とを備えたことを要旨と
する。また、本発明は、平行でない少なくとも二
つの平板状の光線を照射する光照射手段及び該光
照射手段により照射された二つの光線と上記対象
物体の表面との交線の光学像を撮像して電気信号
に変換する際像手段をロボツトの動作部材上に備
え、更に上記光照射手段から照射される二つの光
線を切換えて照射する光線切換手段と、上記撮像
手段から得られる電気信号から画像上の明るい切
断線信号を分離抽出する分離抽出手段と、上記撮
像手段が撮像する画像上の位置情報と実際の位置
情報との対応関係を格納する格納手段と、上記分
離抽出手段によつて分離抽出された切断線信号と
上記格納手段に格納された対応関係から対象物体
の位置及び姿勢を解析する計算手段と、該計算手
段によつて解析された対象物体の位置及び姿勢に
基いて上記ロボツトを制御するロボツト制御手段
とを備え付けたことを特徴とする対象物体の位置
及び姿勢検出装置である。また、本発明は、上記
撮像手段の光軸を、上記二つの平板状の光線が作
る二つの平面のなす角を2等分する平面上に配置
したことにある。本発明の有利な実施の態様にお
いては、上記二つの平板状光線が作る平面の交線
とロボツトの手先の回転中心軸もしくは幾何学的
対称軸は一致し、撮像装置の光軸もまた上記交線
を通つている。
本発明は下記のような本発明者等の知見に基ず
いている。
いている。
物体の位置、姿勢をその色に影響されずに検出
する方法として、光切断法を応用した方法があ
る。
する方法として、光切断法を応用した方法があ
る。
これは、第1図に示すように、スリツト光源1
と撮像装置2により構成された検出器を用いる。
スリツト光源1より投光された平板状の光線3
(これを以降スリツト光と呼ぶ)と対象物表面の
交線つまり光切断線4をこの光線の光軸とある角
度を持つ斜の方向から撮像装置2によつて撮像す
ると、例えば第2図に示すように、対象物の断面
形状が得られる。検出器より遠方にある点ほど、
画像上では上方に位置するので、この光切断波形
を抽出し、第2図上の点a,a′の画像上の位置を
検出、処理することによつて、対象物までの距離
と、左右方向の位置が検出できる。また、角度θ
を検出することによつて、スリツト光が作る平面
の垂直な軸まわりの対象物の回転角が検出でき
る。
と撮像装置2により構成された検出器を用いる。
スリツト光源1より投光された平板状の光線3
(これを以降スリツト光と呼ぶ)と対象物表面の
交線つまり光切断線4をこの光線の光軸とある角
度を持つ斜の方向から撮像装置2によつて撮像す
ると、例えば第2図に示すように、対象物の断面
形状が得られる。検出器より遠方にある点ほど、
画像上では上方に位置するので、この光切断波形
を抽出し、第2図上の点a,a′の画像上の位置を
検出、処理することによつて、対象物までの距離
と、左右方向の位置が検出できる。また、角度θ
を検出することによつて、スリツト光が作る平面
の垂直な軸まわりの対象物の回転角が検出でき
る。
第3図に示すように、スリツト光源1a,1b
を2個組合せて、互いに交わる十字状のスリツト
光3a,3bを作り、それぞれのスリツト光に対
して、第1図に示したのと同様な配置により、2
台の撮像装置2a,2bで光切断線を撮像する。
このような構成をとると、二つの平行できない平
面上での対象物の回転角が検出できるので、検出
器を移動させることなく、対象物の姿勢を3次元
的に検出できる。 対象物のまでの距離に加え
て、2方向の対象物の大きさ、位置も検出でき
る。
を2個組合せて、互いに交わる十字状のスリツト
光3a,3bを作り、それぞれのスリツト光に対
して、第1図に示したのと同様な配置により、2
台の撮像装置2a,2bで光切断線を撮像する。
このような構成をとると、二つの平行できない平
面上での対象物の回転角が検出できるので、検出
器を移動させることなく、対象物の姿勢を3次元
的に検出できる。 対象物のまでの距離に加え
て、2方向の対象物の大きさ、位置も検出でき
る。
しかし、このような構成では、2個のスリツト光
源と2個の撮像装置が必要となるため、検出器が
大型になり、ロボツト手先への取付けは困難であ
る。したがつて、作業対象物とロボツトの手先と
の相対位置関係を手先の検出器で検出し、ロボツ
トにフイードバツクをかけて、ロボツト手先を作
業対象物に精密に位置決めする用途には使用でき
ない。
源と2個の撮像装置が必要となるため、検出器が
大型になり、ロボツト手先への取付けは困難であ
る。したがつて、作業対象物とロボツトの手先と
の相対位置関係を手先の検出器で検出し、ロボツ
トにフイードバツクをかけて、ロボツト手先を作
業対象物に精密に位置決めする用途には使用でき
ない。
そこで、本発明では、第4図に示すように、二
つのスリツト光をそれらの交線のまわりに同方向
に回転させ、1台の撮像装置で二つのスリツト光
の光切断線を検出できるような構成をとり検出器
の小型化を図つている。2台のスリツト光源を設
置できるときは、二つの光切断線を独立に抽出す
るため、2台のスリツト光源を切り替えて一つず
つ発光させて以降の処理を簡単にし、検出時間の
高速化を図る。
つのスリツト光をそれらの交線のまわりに同方向
に回転させ、1台の撮像装置で二つのスリツト光
の光切断線を検出できるような構成をとり検出器
の小型化を図つている。2台のスリツト光源を設
置できるときは、二つの光切断線を独立に抽出す
るため、2台のスリツト光源を切り替えて一つず
つ発光させて以降の処理を簡単にし、検出時間の
高速化を図る。
本発明では、さらに、第4図に示した十字状の
スリツト光を2個のスリツト光源を第5図に示す
ように逆ハの字状に配置することにより得る。す
なわち、第4図においてスリツト光源は、平面3
a,3b上にあり、かつそれらの平面3a、と3
bの交線と撮像装置の光軸8のなす角が90゜より
小さければ、どこに移動させて配置することも可
能である。
スリツト光を2個のスリツト光源を第5図に示す
ように逆ハの字状に配置することにより得る。す
なわち、第4図においてスリツト光源は、平面3
a,3b上にあり、かつそれらの平面3a、と3
bの交線と撮像装置の光軸8のなす角が90゜より
小さければ、どこに移動させて配置することも可
能である。
以下に、図面を参照しながら、実施例を用いて
本発明を一層詳細に説明するが、それらは例示に
過ぎず、本発明の枠を越えることなしにいろいろ
な変形や改良があり得ることは勿論である。
本発明を一層詳細に説明するが、それらは例示に
過ぎず、本発明の枠を越えることなしにいろいろ
な変形や改良があり得ることは勿論である。
ここでは、説明をわかりやすくするために、第
4図に示した撮像装置と二つの平面の交線を通る
面に関してx軸とy軸が対称な装置構成を例に説
明する。本発明装置の構成である第5図の場合も
全く同様である。
4図に示した撮像装置と二つの平面の交線を通る
面に関してx軸とy軸が対称な装置構成を例に説
明する。本発明装置の構成である第5図の場合も
全く同様である。
第4図に示した検出器の原理図において、2個
のスリツト光源をそれぞれ一つずつ発光させた場
合、撮像装置によつて検出される光切断線と、物
体の実際の位置との対応関係は第6図a,bに示
すように斜格子状になる。第6図aはxz平面、
bはyz平面上の対応関係を表わし、実線は等幅
線、破線は等距離線を示す。この対応関係を予め
寸法が既知の物体を用いて検出器からの位置を変
えながら求め、記憶装置に記憶させておく。そし
て、物体の位置、姿勢の検出の際には、この予め
記憶されている対応関係と、撮像装置より検出さ
れた光切断線の画像上の位置を照らしあわせるこ
とによつて、物体の実際の位置と傾きを求めるこ
とができる。本発明では、二つのスリツト光を切
り替えて投光し、二つの平行でない平面における
物体までの距離、位置および傾きが求められるか
ら、これらにより物体の3次元的な位置と姿勢を
一意的に求めることができる。
のスリツト光源をそれぞれ一つずつ発光させた場
合、撮像装置によつて検出される光切断線と、物
体の実際の位置との対応関係は第6図a,bに示
すように斜格子状になる。第6図aはxz平面、
bはyz平面上の対応関係を表わし、実線は等幅
線、破線は等距離線を示す。この対応関係を予め
寸法が既知の物体を用いて検出器からの位置を変
えながら求め、記憶装置に記憶させておく。そし
て、物体の位置、姿勢の検出の際には、この予め
記憶されている対応関係と、撮像装置より検出さ
れた光切断線の画像上の位置を照らしあわせるこ
とによつて、物体の実際の位置と傾きを求めるこ
とができる。本発明では、二つのスリツト光を切
り替えて投光し、二つの平行でない平面における
物体までの距離、位置および傾きが求められるか
ら、これらにより物体の3次元的な位置と姿勢を
一意的に求めることができる。
なお、本発明では、二つのスリツト光の交線5
が、対象物表面と交わるように検出器または対象
物が予め大まかに位置合せされているものとし、
本発明の装置を用いて、検出器と対象物の相対的
な位置と姿勢を精密に検出するものとする。
が、対象物表面と交わるように検出器または対象
物が予め大まかに位置合せされているものとし、
本発明の装置を用いて、検出器と対象物の相対的
な位置と姿勢を精密に検出するものとする。
つぎに、検出される光切断線の画像上での位置
と物体の実際の位置の対応関係を求める方法につ
いて第7図を用いて説明する。ここでは、第4図
1aに示した片方のスリツト光源の場合について
のみ説明する。第4図1bの場合および第5図の
場合も同様である。第7図に示すように、二つの
スリツト光の交線がz軸に一致し、1aのスリツ
ト光源によるとスリツト光がxz平面に一致する
ような座標系xyzを仮定する。まず第7図に示す
ようにz軸に垂直で撮像装置の視野より広い平面
6を、z軸方向に平行移動できるように、目盛付
のレール7上に立てる。平面6を例えば1cm刻み
で検出器より遠ざけながら検出画像上での光切断
線の位置を求めて行くと、第8図に示すような等
距離線図が得られる。つぎに、平面6を幅一定の
長方形とし、このようなものをいくつかの幅につ
いて用意し、やはりレール7の上にz軸に垂直に
なるように立ててz軸方向に移動させる。平面6
のx方向に測つた幅を例えば2cm刻みとし、それ
ぞれの平面をz軸方向に移動させたとき、検出さ
れる光切断線の端点の軌跡を求めると、第9図に
示すような等幅線図(x座標に関する)が得られ
る。第8図に示した等距離線図と第9図に示した
等幅線図において、線図上のある水平の線h,
h′に沿つた距離およびx方向の位置の変化を見る
と、それぞれ第10図、第11図のようになる。
これらを、線図上の縦方向の座標jにおける距離
の関数zおよびx方向の位置の関数xとして、線
図上の横方向の座標iを変数として表わすと、 zj=f(i)=aj0+aj1i+ai2j2 +aj3i3+ ……(1) xj=g(i)=bj0+bj1i+bi2i2 +bj3i3+ ……(2) と近似することができる。何次まで近似するかは
必要とされる検出精度より決定する。線図上のす
べてのj(例えばj=1〜256)について、ajo,
bjo(n=0、1、2、……)を以上の方法で予め
求めておけば、検出された光切断線より式(1)、(2)
を用いて逆に、そのz方向およびx方向の位置を
求めることができる。また、検出対象物を構成す
る一平面を傾きを求める場合、以上のようにして
求めた光切断線の端点の実際の座標(x、z)
(x′、z′)より θx=tan-1z′−z/x′−x (3) を用いてその平面とx軸とのなす角を求めること
ができる。
と物体の実際の位置の対応関係を求める方法につ
いて第7図を用いて説明する。ここでは、第4図
1aに示した片方のスリツト光源の場合について
のみ説明する。第4図1bの場合および第5図の
場合も同様である。第7図に示すように、二つの
スリツト光の交線がz軸に一致し、1aのスリツ
ト光源によるとスリツト光がxz平面に一致する
ような座標系xyzを仮定する。まず第7図に示す
ようにz軸に垂直で撮像装置の視野より広い平面
6を、z軸方向に平行移動できるように、目盛付
のレール7上に立てる。平面6を例えば1cm刻み
で検出器より遠ざけながら検出画像上での光切断
線の位置を求めて行くと、第8図に示すような等
距離線図が得られる。つぎに、平面6を幅一定の
長方形とし、このようなものをいくつかの幅につ
いて用意し、やはりレール7の上にz軸に垂直に
なるように立ててz軸方向に移動させる。平面6
のx方向に測つた幅を例えば2cm刻みとし、それ
ぞれの平面をz軸方向に移動させたとき、検出さ
れる光切断線の端点の軌跡を求めると、第9図に
示すような等幅線図(x座標に関する)が得られ
る。第8図に示した等距離線図と第9図に示した
等幅線図において、線図上のある水平の線h,
h′に沿つた距離およびx方向の位置の変化を見る
と、それぞれ第10図、第11図のようになる。
これらを、線図上の縦方向の座標jにおける距離
の関数zおよびx方向の位置の関数xとして、線
図上の横方向の座標iを変数として表わすと、 zj=f(i)=aj0+aj1i+ai2j2 +aj3i3+ ……(1) xj=g(i)=bj0+bj1i+bi2i2 +bj3i3+ ……(2) と近似することができる。何次まで近似するかは
必要とされる検出精度より決定する。線図上のす
べてのj(例えばj=1〜256)について、ajo,
bjo(n=0、1、2、……)を以上の方法で予め
求めておけば、検出された光切断線より式(1)、(2)
を用いて逆に、そのz方向およびx方向の位置を
求めることができる。また、検出対象物を構成す
る一平面を傾きを求める場合、以上のようにして
求めた光切断線の端点の実際の座標(x、z)
(x′、z′)より θx=tan-1z′−z/x′−x (3) を用いてその平面とx軸とのなす角を求めること
ができる。
つぎに、検出画像より光切断線を抽出する方法
について具体的に説明する。この場合もやはり第
4図に示した片側のスリツト光3aの場合につい
て説明する。撮像装置2によつて撮像した光切断
線は、スリツト光の幅、光学系のボケなどによ
り、一般的にはある幅を持つている。そこで、撮
像装置の水平走査方向を第8図、第9図に示した
線図のh,h′の方向(横方向)に一致させて配置
し、各水平走査信号のピーク位置(すなわち最明
点)の座標iを各jにおける光切断線の位置iと
する。(第12図)このようにして、式(1)(2)を計
算するための光切断線の位置の座標を抽出する。
について具体的に説明する。この場合もやはり第
4図に示した片側のスリツト光3aの場合につい
て説明する。撮像装置2によつて撮像した光切断
線は、スリツト光の幅、光学系のボケなどによ
り、一般的にはある幅を持つている。そこで、撮
像装置の水平走査方向を第8図、第9図に示した
線図のh,h′の方向(横方向)に一致させて配置
し、各水平走査信号のピーク位置(すなわち最明
点)の座標iを各jにおける光切断線の位置iと
する。(第12図)このようにして、式(1)(2)を計
算するための光切断線の位置の座標を抽出する。
つぎに、本発明装置による対象物の3次元的な
位置、姿勢の検出過程を第13図に示す円柱状の
物体9および第14図に示す表面上にあいた円形
の穴10の検出を例に説明する。
位置、姿勢の検出過程を第13図に示す円柱状の
物体9および第14図に示す表面上にあいた円形
の穴10の検出を例に説明する。
まず、円柱状の対象物9の位置、姿勢の検出法
について説明する。第5図3aのスリツト光を投
光した場合例えば第15図実線に示すような光切
断像が撮像装置2より検出されたとする。同図に
おいて先に説明してしたように横方向の最明点の
位置を検出し、光切断線の形を抽出すると第16
図のようになる。この波形を折線近似し、各線分
の端点の座標(i、j)を予め求めておいた式(1)
(2)を用いて実際の座標(x,z)に変換すると、
第17図のようになる。この図において、最もz
座標の小さい線分A、すなわち最も検出器に近い
線分の中点より、円柱状の対象物の上面のx方向
の近似的な中心位置Mが求められる。また、式(3)
を用いてxz平面における対象物の傾きθxが求めら
れる。つぎにスリツト光源を切り替え、第5図3
bのもう一方のスリツト光について得られる光切
断像(第15図破線)についても、全く同様の検
出を行なうことにより、円柱状物体の上面のy方
向の近似中心位置と、yz平面における対象物の
傾きを求める。さらに以上の検出結果をもとに、
検出器から対象物上面の中心位置までの距離z
は、円柱上面がz軸にほぼ垂直である場合、 z=z1+z2/2+z4−z3/y2−y1・y1+y2/2 (4) または、 z=z3+z4/2+z2−z1/x2−x1・x1+x2/2 (5) で求められる。ここで、x1、x2は円柱上面におけ
るxz平面の光切断像(第15図A)の端点のx
座標、y1、y2は、yz平面の光切断像(第15図
B)の端点のy座標、z1、z2、z3、z4はそれぞれ
4つの端点のz座標を表わす。以上の検出結果よ
り、もし円柱上面のxz平面およびzy平面におけ
る傾きが90゜と著しく異なり、光切断線の中点よ
り中心位置を求める方法および式(4)または(5)によ
る距離の計算の誤差が無視できないと判断される
場合は、傾きの検出結果にしたがつてロボツト・
アームを移動させ、z軸すなわちスリツト光の交
線が面にほぼ垂直になるようにし、再度中心位置
および距離の検出を行なう。
について説明する。第5図3aのスリツト光を投
光した場合例えば第15図実線に示すような光切
断像が撮像装置2より検出されたとする。同図に
おいて先に説明してしたように横方向の最明点の
位置を検出し、光切断線の形を抽出すると第16
図のようになる。この波形を折線近似し、各線分
の端点の座標(i、j)を予め求めておいた式(1)
(2)を用いて実際の座標(x,z)に変換すると、
第17図のようになる。この図において、最もz
座標の小さい線分A、すなわち最も検出器に近い
線分の中点より、円柱状の対象物の上面のx方向
の近似的な中心位置Mが求められる。また、式(3)
を用いてxz平面における対象物の傾きθxが求めら
れる。つぎにスリツト光源を切り替え、第5図3
bのもう一方のスリツト光について得られる光切
断像(第15図破線)についても、全く同様の検
出を行なうことにより、円柱状物体の上面のy方
向の近似中心位置と、yz平面における対象物の
傾きを求める。さらに以上の検出結果をもとに、
検出器から対象物上面の中心位置までの距離z
は、円柱上面がz軸にほぼ垂直である場合、 z=z1+z2/2+z4−z3/y2−y1・y1+y2/2 (4) または、 z=z3+z4/2+z2−z1/x2−x1・x1+x2/2 (5) で求められる。ここで、x1、x2は円柱上面におけ
るxz平面の光切断像(第15図A)の端点のx
座標、y1、y2は、yz平面の光切断像(第15図
B)の端点のy座標、z1、z2、z3、z4はそれぞれ
4つの端点のz座標を表わす。以上の検出結果よ
り、もし円柱上面のxz平面およびzy平面におけ
る傾きが90゜と著しく異なり、光切断線の中点よ
り中心位置を求める方法および式(4)または(5)によ
る距離の計算の誤差が無視できないと判断される
場合は、傾きの検出結果にしたがつてロボツト・
アームを移動させ、z軸すなわちスリツト光の交
線が面にほぼ垂直になるようにし、再度中心位置
および距離の検出を行なう。
つぎに、平面上に垂直にあいた円形の穴の中心
位置および穴のあいている方向の検出法について
説明する。第18図に撮像装置よりも検出される
光切断像の1例を示す。この場合も、前例と同様
にxz平面およびyz平面における2組の光切断像
をスリツト光源を切り替えることによつて、独立
に検出する。第18図における実線と破線はこの
ようにして得られる2組の光切断像をそれぞれ示
している。同図において、点a1、a2を結んだ線分
と点b1、b2を結んだ線分をそれぞれ前例の第15
図における線分A,Bに対応させた処理を行なう
ことによつて、全く同様の穴の中心位置および穴
のあいている方向の検出を行なう。
位置および穴のあいている方向の検出法について
説明する。第18図に撮像装置よりも検出される
光切断像の1例を示す。この場合も、前例と同様
にxz平面およびyz平面における2組の光切断像
をスリツト光源を切り替えることによつて、独立
に検出する。第18図における実線と破線はこの
ようにして得られる2組の光切断像をそれぞれ示
している。同図において、点a1、a2を結んだ線分
と点b1、b2を結んだ線分をそれぞれ前例の第15
図における線分A,Bに対応させた処理を行なう
ことによつて、全く同様の穴の中心位置および穴
のあいている方向の検出を行なう。
以下、本発明による検出装置の一実施例を第1
9図により説明する。
9図により説明する。
検出器は、TVカメラ18、スリツト光源1
a,1bより成つており、つぎのような配置でロ
ボツトの腕11上に搭載する。
a,1bより成つており、つぎのような配置でロ
ボツトの腕11上に搭載する。
すなわち、
(1) 二つのスリツト光3a,3bが作る平面の交
線5を、ロボツトの手先の回転軸12に一致さ
せるようにする。
線5を、ロボツトの手先の回転軸12に一致さ
せるようにする。
(2) スリツト光源1a,1bの光軸8a,8bお
よびTVカメラ18の光軸8cはスリツト光の
交線5上のほぼ一点で交わる。
よびTVカメラ18の光軸8cはスリツト光の
交線5上のほぼ一点で交わる。
(3) スリツト光源1a,1bおよびTVカメラ1
8は横一列になるようにする。
8は横一列になるようにする。
(4) スリツト光3a,3bのなす角は90゜とする。
装置全体はマイクロコンピユータ(またはミニ
コンピユータ)15によつて制御される。すなわ
ち、スリツト光切替え装置13を制御し、スリツ
ト光源1a,1bが一つずつ発光するようにし、
その時の光切断像をTVカメラ18により検出す
る。検出されたTV画像信号は光切断線抽出回路
14に入力され、光切断波形が抽出され、マイク
ロコンピユータ15に出力される。この光切断線
抽出回路14は、先に説明した通り、2次元画像
データを1次元波形データに圧縮するもので、例
えば特願昭57−146427に示された装置である。こ
のようにして得られた二つの光切断波形データ
は、マイクロコンピユータ15内で処理され、先
に説明した通り、波形データの折線近似式(1)〜(5)
の計算を行なつて、対象物体の3次元的位置、姿
勢を検出し、そのデータ17をロボツト腕機構の
制御装置に出力する。式(1)(2)を計算する際の係数
ajo,bjo(j=1、2、3、…、n=0.1、2、…)
は先に説明した方法で予め求められ、記憶装置1
6内に格納されており、必要な時、適宜取り出さ
れて使用される。
コンピユータ)15によつて制御される。すなわ
ち、スリツト光切替え装置13を制御し、スリツ
ト光源1a,1bが一つずつ発光するようにし、
その時の光切断像をTVカメラ18により検出す
る。検出されたTV画像信号は光切断線抽出回路
14に入力され、光切断波形が抽出され、マイク
ロコンピユータ15に出力される。この光切断線
抽出回路14は、先に説明した通り、2次元画像
データを1次元波形データに圧縮するもので、例
えば特願昭57−146427に示された装置である。こ
のようにして得られた二つの光切断波形データ
は、マイクロコンピユータ15内で処理され、先
に説明した通り、波形データの折線近似式(1)〜(5)
の計算を行なつて、対象物体の3次元的位置、姿
勢を検出し、そのデータ17をロボツト腕機構の
制御装置に出力する。式(1)(2)を計算する際の係数
ajo,bjo(j=1、2、3、…、n=0.1、2、…)
は先に説明した方法で予め求められ、記憶装置1
6内に格納されており、必要な時、適宜取り出さ
れて使用される。
つぎに、本実施例によるロボツト視覚装置の動
作について説明する。
作について説明する。
対象物の検出を行なう前に、すでに説明したよ
うに、式(1)(2)に示した係数(および同様にして得
られるyjの係数)を記憶装置に格納する作業が必
要である。第7図に示した装置を用い、スリツト
光の交線がレール7に平行になるようにロボツト
を動作、固定し、すでに説明したように等距離線
図(第8図)および等幅線図(第9図)を求め
る。この作業はスリツト光切替え装置13で切り
替え、二つのスリツト光3a,3bに関してそれ
ぞれ行なう。つぎに、これらのデータをもとに、
コンピユータ15によつて、多項式近似を行な
い、各jにおける式(1)(2)の係数を求め、記憶装置
16に格納する。
うに、式(1)(2)に示した係数(および同様にして得
られるyjの係数)を記憶装置に格納する作業が必
要である。第7図に示した装置を用い、スリツト
光の交線がレール7に平行になるようにロボツト
を動作、固定し、すでに説明したように等距離線
図(第8図)および等幅線図(第9図)を求め
る。この作業はスリツト光切替え装置13で切り
替え、二つのスリツト光3a,3bに関してそれ
ぞれ行なう。つぎに、これらのデータをもとに、
コンピユータ15によつて、多項式近似を行な
い、各jにおける式(1)(2)の係数を求め、記憶装置
16に格納する。
対象物体の検出過程では、すでに第13図、第
14図を例に説明したように、コンピユータ15
がスリツト光切替え装置13を制御し、2組のス
リツト光源をそれぞれ発光させた場合の光切断線
の抽出波形を光切断線抽出回路14より得、この
波形をコンピユータ15によつて折線近似した
後、それぞれの線分の実際の位置座標を、記憶装
置16に格納されたデータをもとに式(1)(2)(およ
び同様なyjを求める式)を用いて求める。コンピ
ユータ15上で2組のスリツト光源をそれぞれ発
光させた場合の線分のうち、対象物体上のもの
を、距離zを判定基準にそれぞれ1本ずつ選び出
し(通常、最も検出器に近く、視野の中央付近に
ある線分)、それぞれの4つの端点より、式(3)〜
(5)および線分の中点の計算を行なつて、対象物体
の位置および姿勢を検出し、ロボツト腕機構の制
御装置に出力する。
14図を例に説明したように、コンピユータ15
がスリツト光切替え装置13を制御し、2組のス
リツト光源をそれぞれ発光させた場合の光切断線
の抽出波形を光切断線抽出回路14より得、この
波形をコンピユータ15によつて折線近似した
後、それぞれの線分の実際の位置座標を、記憶装
置16に格納されたデータをもとに式(1)(2)(およ
び同様なyjを求める式)を用いて求める。コンピ
ユータ15上で2組のスリツト光源をそれぞれ発
光させた場合の線分のうち、対象物体上のもの
を、距離zを判定基準にそれぞれ1本ずつ選び出
し(通常、最も検出器に近く、視野の中央付近に
ある線分)、それぞれの4つの端点より、式(3)〜
(5)および線分の中点の計算を行なつて、対象物体
の位置および姿勢を検出し、ロボツト腕機構の制
御装置に出力する。
本実施例では、(2)〜(3)に示したTVカメラおよ
びスリツト光源の配置をしたので、検出器を小型
コンパクトにすることができる。また(1)〜(4)に示
したスリツト光の配置をしたので、z軸がロボツ
ト手先の回転に対して常に一定方向を向き、かつ
座標系xyzが直角座標系となり、ロボツト腕機構
への制御装置へ出力した検出結果のロボツト腕機
構系の座標への座標変換が容易である。また、式
(1)(2)に示したように等距離線図、等幅線図を関数
近似しているので、それぞれの線図をそのまま記
憶するより、データ量が少なくても済む。
びスリツト光源の配置をしたので、検出器を小型
コンパクトにすることができる。また(1)〜(4)に示
したスリツト光の配置をしたので、z軸がロボツ
ト手先の回転に対して常に一定方向を向き、かつ
座標系xyzが直角座標系となり、ロボツト腕機構
への制御装置へ出力した検出結果のロボツト腕機
構系の座標への座標変換が容易である。また、式
(1)(2)に示したように等距離線図、等幅線図を関数
近似しているので、それぞれの線図をそのまま記
憶するより、データ量が少なくても済む。
(例えばi=1〜256、4次近似を行なうとし
て、約1/50) 〔発明の効果〕 以上説明した通り、本発明によれば、二つのス
リツト光を互いに交わるように光源を配置し、そ
れぞれの光切断線を解析することにより二つの平
行でない平面における対象物の位置、姿勢を検出
器または対象物体を移動させることなく検出でき
るので、物体の3次元的な位置、姿勢を高速に検
出できる効果がある。また、十字状のスリツト光
を逆ハの字状に配置した2組のスリツト光源より
得ているので、撮像装置とスリツト光源を一体化
できる小型、軽量化が図れるとともに、ロボツト
のグリツパないしグリツパに掴まれた物体に撮影
されずに検出が可能であるという効果がある。ま
た、二つの平行でない平面内の光切断線を1個の
撮像装置で検出しているので、検出器の小型・軽
量化の効果がある。さらに、本発明の前提になつ
ている光切断法の効果によつて、対象物の色、表
面の状態に影響されない位置、姿勢の検出が可能
である。
て、約1/50) 〔発明の効果〕 以上説明した通り、本発明によれば、二つのス
リツト光を互いに交わるように光源を配置し、そ
れぞれの光切断線を解析することにより二つの平
行でない平面における対象物の位置、姿勢を検出
器または対象物体を移動させることなく検出でき
るので、物体の3次元的な位置、姿勢を高速に検
出できる効果がある。また、十字状のスリツト光
を逆ハの字状に配置した2組のスリツト光源より
得ているので、撮像装置とスリツト光源を一体化
できる小型、軽量化が図れるとともに、ロボツト
のグリツパないしグリツパに掴まれた物体に撮影
されずに検出が可能であるという効果がある。ま
た、二つの平行でない平面内の光切断線を1個の
撮像装置で検出しているので、検出器の小型・軽
量化の効果がある。さらに、本発明の前提になつ
ている光切断法の効果によつて、対象物の色、表
面の状態に影響されない位置、姿勢の検出が可能
である。
第1図は光切断法を説明するための検出器の斜
視図、第2図は第1図に示す検出器で得られる検
出画像の一例を示す図、第3図は2組の第1図に
示す光切断法による検出器から成る検出器の斜視
図、第4図は本発明の原理となる検出器の斜視
図、第5図は本発明による検出器の基本構成の斜
視図、第6図は第4図に示す検出器による等距離
線と等幅線を示す図、第7図は等距離線と等幅線
を得るための装置の斜視図、第8図および第9図
は第7図に示す装置を使つて得られるそれぞれ等
距離線図および等幅線図の一例を示す図、第10
図および第11図はそれぞれ第8図および第9図
の値の変化を表わすグラフ、第12図は光切断線
の抽出方法を説明するための図、第13図および
第14図は二つの検出対象例の斜視図、第15
図、第16図、および第17図は第13図に示す
検出対象の検出処理過程を説明するための図、第
18図は第14図に示す検出対象の検出画像を示
す図、第19図は、画像情報処理装置の構成を示
すブロツク図を含む、ロボツトの手先に取り付け
られた本発明による検出器の斜視図である。 1,1a,1b……スリツト光源、2,2a,
2b……撮像装置、3,3a,3b……スリツト
光、4……光切断線、5……スリツト光の交線、
6……平板、7……目盛付レール、8a,8b,
8c……光軸、9……円柱状物体、10……円形
穴、11……ロボツト腕、12……ロボツト手先
の回転軸、13……スリツト光切替装置、14…
…光切断線抽出回路、15……コンピユータ、1
6……記録装置、17……検出出力。
視図、第2図は第1図に示す検出器で得られる検
出画像の一例を示す図、第3図は2組の第1図に
示す光切断法による検出器から成る検出器の斜視
図、第4図は本発明の原理となる検出器の斜視
図、第5図は本発明による検出器の基本構成の斜
視図、第6図は第4図に示す検出器による等距離
線と等幅線を示す図、第7図は等距離線と等幅線
を得るための装置の斜視図、第8図および第9図
は第7図に示す装置を使つて得られるそれぞれ等
距離線図および等幅線図の一例を示す図、第10
図および第11図はそれぞれ第8図および第9図
の値の変化を表わすグラフ、第12図は光切断線
の抽出方法を説明するための図、第13図および
第14図は二つの検出対象例の斜視図、第15
図、第16図、および第17図は第13図に示す
検出対象の検出処理過程を説明するための図、第
18図は第14図に示す検出対象の検出画像を示
す図、第19図は、画像情報処理装置の構成を示
すブロツク図を含む、ロボツトの手先に取り付け
られた本発明による検出器の斜視図である。 1,1a,1b……スリツト光源、2,2a,
2b……撮像装置、3,3a,3b……スリツト
光、4……光切断線、5……スリツト光の交線、
6……平板、7……目盛付レール、8a,8b,
8c……光軸、9……円柱状物体、10……円形
穴、11……ロボツト腕、12……ロボツト手先
の回転軸、13……スリツト光切替装置、14…
…光切断線抽出回路、15……コンピユータ、1
6……記録装置、17……検出出力。
Claims (1)
- 【特許請求の範囲】 1 平行でない少なくとも二つの平板状の光線を
照射する光照射手段と、該光照射手段により照射
された二つの光線と上記対象物体の表面との交線
の光学像を撮像して電気信号に変換する撮像手段
と、上記光照射手段から照射される二つの光線を
切換えて照射する光線切換手段と、上記撮像手段
から得られる電気信号から画像上の明るい切断線
信号を分離抽出する分離抽出手段と、上記撮像手
段が撮像する画像上の位置情報と実際の位置情報
との対応関係を格納する格納手段と、上記分離抽
出手段によつて分離抽出された切断線信号と上記
格納手段に格納された対応関係から対象物体の位
置及び姿勢を解析する計算手段とを備えたことを
特徴とする対象物体の位置及び姿勢検出装置。 2 上記撮像手段の光軸を、上記二つの平板状の
光線が作る二つの平面のなす角を2等分する平面
上に配置したことを特徴とする特許請求の範囲第
1項記載の対象物体の位置及び姿勢検出装置。 3 上記撮像手段の光軸が、上記二つの平板状の
光線が交わる交線上を通るように配置したことを
特徴とする特許請求の範囲第1項記載の対象物体
の位置及び姿勢検出装置。 4 平行でない少なくとも二つの平板状の光線を
照射する光照射手段及び該光照射手段により照射
された二つの光線と上記対象物体の表面との交線
の光学像を撮像して電気信号に変換する撮像手段
をロボツトの動作部材上に備え、更に上記光照射
手段から照射される二つの光線を切換えて照射す
る光線切換手段と、上記撮像手段から得られる電
気信号から画像上の明るい切断線信号を分離抽出
する分離抽出手段と、上記撮像手段が撮像する画
像上の位置情報と実際の位置情報との対応関係を
格納する格納手段と、上記分離抽出手段によつて
分離抽出された切断線信号と上記格納手段に格納
された対応関係から対象物体の位置及び姿勢を解
析する計算手段と、該計算手段によつて解析され
た対象物体の位置及び姿勢に基いて上記ロボツト
を制御するロボツト制御手段とを備え付けたこと
を特徴とする対象物体の位置及び姿勢検出装置。 5 上記撮像手段の光軸を、上記二つの平板状の
光線が作る二つの平面のなす角を2等分する平面
上に配置したことを特徴とする特許請求の範囲第
4項記載の対象物体の位置及び姿勢検出装置。 6 上記撮像手段の光軸が、上記の二つの平板状
の光線が交わる交線上を通るように配置したこと
を特徴とする特許請求の範囲第4項記載の対象物
体の位置及び姿勢検出装置。 7 上記二つの平板状の光線が交わる交線とロボ
ツトの手先の回転中心軸もしくは幾何学的対象軸
とが一致するように上記光照射手段をロボツトの
動作部材上に配置したことを特徴とする特許請求
の範囲第4項記載の対象物体の位置及び姿勢検出
装置。 8 平行でない少なくとも二つの平板状の光線を
光照射手段により照射し、照射された二つの光線
と上記対象物体の表面との光線の光学像を撮像手
段により撮像して電気信号に変換し、上記照射さ
れる二つの光線を切換えて照射し、上記撮像して
得られる電気信号から画像上の明るい切断線信号
を分離抽出すし、上記撮像する画像上の位置情報
と実際の位置情報との対応関係を格納手段に格納
し、上記分離抽出された切断線信号と上記格納さ
れた対応関係から対象物体の位置及び姿勢を計算
手段により解析して検出することを特徴とする対
象物体の位置及び姿勢検出方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19747382A JPS5988297A (ja) | 1982-11-12 | 1982-11-12 | 対象物体の位置及び姿勢検出装置並びにその方法 |
| US06/537,095 US4611292A (en) | 1982-10-06 | 1983-09-29 | Robot vision system |
| EP83109972A EP0107820B1 (en) | 1982-10-06 | 1983-10-05 | Robot vision system |
| DE8383109972T DE3381117D1 (de) | 1982-10-06 | 1983-10-05 | Visiervorrichtung fuer roboter. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19747382A JPS5988297A (ja) | 1982-11-12 | 1982-11-12 | 対象物体の位置及び姿勢検出装置並びにその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS5988297A JPS5988297A (ja) | 1984-05-22 |
| JPH0474155B2 true JPH0474155B2 (ja) | 1992-11-25 |
Family
ID=16375061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19747382A Granted JPS5988297A (ja) | 1982-10-06 | 1982-11-12 | 対象物体の位置及び姿勢検出装置並びにその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS5988297A (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61203285A (ja) * | 1985-03-04 | 1986-09-09 | 株式会社日立製作所 | ロボツトの動作制御方法 |
| JPH0199586U (ja) * | 1987-12-21 | 1989-07-04 | ||
| JP2894467B2 (ja) * | 1992-08-11 | 1999-05-24 | 株式会社ダイフク | 物品位置検出装置 |
-
1982
- 1982-11-12 JP JP19747382A patent/JPS5988297A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS5988297A (ja) | 1984-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4575304A (en) | Robot system for recognizing three dimensional shapes | |
| EP0107820A2 (en) | Robot vision system | |
| JP3556589B2 (ja) | 位置姿勢認識装置 | |
| JPH0425583B2 (ja) | ||
| JPH02143309A (ja) | 操縦方法及び装置 | |
| CN108290286A (zh) | 用于教导工业机器人拾取零件的方法 | |
| CN105651177A (zh) | 一种适用于测量复杂结构的测量系统 | |
| JP2000317660A (ja) | レーザ光を利用したバリ取り方法及びバリ取り装置 | |
| US4760269A (en) | Method and apparatus for measuring distance to an object | |
| JPWO2020044491A1 (ja) | ロボット | |
| JP6621351B2 (ja) | レーザー加工用の画像処理装置及び画像処理方法 | |
| JP2003136465A (ja) | 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ | |
| JPS6365884B2 (ja) | ||
| JPH0474155B2 (ja) | ||
| JPH0820207B2 (ja) | 光学式3次元位置計測方法 | |
| JPH0413115B2 (ja) | ||
| CN105651179A (zh) | 一种补光可调且自动装夹的视觉成像测量系统 | |
| JPH06109437A (ja) | 三次元形状計測装置 | |
| JP2603643B2 (ja) | 組立方法 | |
| JP2519442B2 (ja) | 工作線追従方法 | |
| JP2565771B2 (ja) | ワーク面の傾斜検出方法及び装置 | |
| WO2018042501A1 (ja) | 3次元物体認識装置 | |
| JP2003004666A (ja) | X線透視撮影装置 | |
| JPS6129710A (ja) | 測定方法 | |
| JP2932418B2 (ja) | ワークの位置計測方法 |