JP4825964B2 - 非接触計測装置 - Google Patents

Description

本発明は対象に対してロボットアームなどの位置および姿勢を設定するために非接触で相対的な位置・姿勢を計測するための装置に関する。

ロボットを用いた作業を実行する際、ロボットアームの位置決めにおいて、目標とすべき点との相対的な位置・姿勢を非接触で正確に計測することが大きな課題となっていた。本発明は特に人工衛星などの宇宙航行体に搭載され各種の作業に供されるロボットにおいて、そのロボットアームと作業対象物との相対位置および姿勢を計測する装置として開発されたものである。従来の非接触計測方式には、１）対象物自体のもつ固有の特徴を画像情報から抽出して対象物の位置・姿勢を把握するもの、２）対象物にマーカ（標的）を付設して画像情報からそのマーカを抽出して対象物の位置・姿勢を把握するものがあった。前者は対象物自体のもつ固有の特徴を利用するものであるため、汎用性に乏しく特徴に乏しい対象物には適用できないという短所がある。後者は予めマーカを取り付けておくという前処理が必要であるが、高い抽出性を常に確保できる長所がある。

後者の方式で簡易な構成で、且つ、信頼性の高い安定した計測を実現し得るようにした従来の非接触距離・姿勢計測装置としては特許文献１（特許第３１９２７７９号）がある。この装置は、図６に示すように少なくとも一方が移動して相対位置・姿勢が不確定な関係を有した第１及び第２の対象物１０，１１と、この第１及び第２の対象物の一方に設けられるもので、右側の部分拡大図から分かるように中心軸に対して略対称な曲面を持ち、該曲面に中心軸を中心として３分割以上に分割（図示の例では４分割）して形成した３個以上の異なる色を有する色領域が設けられてなる立体形状の標的部材１２と、前記第１及び第２の対象物１０，１１の他方に設けられ、前記標的部材１２を撮像する撮像手段１３と、この撮像手段１３で撮影した画像より前記標的部材の色領域の色画像を抽出する画像処理手段１４と、この画像処理手段１４で抽出した前記標的部材の色領域に対応した色画像の各面積及び該各面積の中心位置を算出し、これら面積及び面積の中心位置に基づいて前記第１及び第２の対象物の相対位置・姿勢を算出する演算手段１５とを備えて位置・姿勢計測装置を構成したものである。

上記構成によれば、周壁に異なる色を有した３個以上の色領域が設けられた立体形状の標的部材１２を、相対位置・姿勢が不確定な関係を有する第１及び第２の対象物１０，１１の一方に設け、この標的部材１２を第１及び第２の対称物１０，１１の他方に搭載した撮像手段１３で撮影して、その撮影した画像から画像処理手段１４で標的部材の色領域に対応する各色画像を抽出し、この抽出した各色画像の面積及び該面積の中心位置を算出して、これら面積及び面積の中心位置に基づいて第１及び第２の対象物１０，１１の相対位置・姿勢を算出するように構成した。従って、標的部材１２の画像情報に色情報が含まれることにより、従来に比して高精度な画像抽出が可能となり、可及的に安定した正確な計測が可能となったのであるが、実施の過程で遠方からの標的部材の抽出がし難いという問題、また対象物の相対位置・姿勢を算出する演算アルゴリズムが複雑であるという問題、更には標的の立体的構造から陰の部分ができやすく検出できない色領域が生じるなどの問題がでてきた。
特開平６−１４７８２８号公報 「位置・姿勢計測装置」 平成６年５月２７日公開

本発明が解決しようとする問題点は、異なる色を有する色領域が設けられてなる立体形状の標的部材をもちいた非接触位置・姿勢計測装置における上記の問題を解決する改良型を提供すること、すなわち、遠方からの標的部材の抽出が容易であり、また対象物の相対位置・姿勢を算出する演算アルゴリズムが簡単で、更には標的の立体的構造から陰の部分ができ難い標的部材を提供して、目標とすべき点との相対的な位置・姿勢を非接触で正確に計測する非接触位置・姿勢計測装置を提供することにある。

本発明の標的部材は、無地の基板上にカラー彩色された直径Ｒの円形パターンと、該円形パターンとは異なる彩色が施され、その中心位置に陰を作らないように前記円形の着色領域の直径に対して十分に小さな直径ｒ_０の支柱を介して前記基板と距離ｈだけ離れて平行方向に取り付けられた直径ｒの円板と、前記基板上であって、前記円形パターンとは異なる領域に彩色が施された直径ｒ’の円形パターンとからなるものとした。ただし、Ｒ≫ｒ，Ｒ≫ｒ’ ，ｒ≫ｒ_０の関係である。また、円形パターンの直径Ｒの値は遠方より撮像した画像データから抽出が容易にできる大きさとした。更に、標識毎の識別機能をもたせるために基板上の直径Ｒの円形パターンの外側に上記直径ｒ’の小円形パターンを複数個配置する。
本発明の非接触位置・姿勢計測装置は、少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した第一および第二の対象物において、これらの一方に設けられる標的部材と、もう一方に設けられ前記標的部材を撮像する撮像手段と、この撮像手段で撮像した画像データより前記標的部材の着色パターンを抽出する画像処理手段と、この画像処理手段で抽出した着色パターンの各面積および該各面積の中心位置を算出し、これらの面積および面積の中心位置に基づいて前記第一および第二の対象物の相対位置・相対姿勢を算出する演算手段とを具備し、前記標的部材の着色パターンは基板上にカラー彩色された直径Ｒの円形パターンと、該円形パターンとは異なる彩色が施され、その中心位置に陰を作らないように前記円形の着色領域の直径に対して十分に小さな直径の支柱を介して前記基板と距離ｈだけ離れて平行方向に取り付けられた直径ｒ（Ｒ≫ｒ）の円板を含む少なくとも３つの平行関係にある円形パターンである。

本発明の標的部材は、無地の基板上にカラー彩色された直径Ｒの円形パターンと、該円形パターンとは異なる彩色が施され、支柱を介して前記基板と距離ｈだけ離れて平行方向に取り付けられた直径ｒの円板と、前記基板上であって、前記円形パターンとは異なる領域に彩色が施された直径ｒ’の円形パターンとからなるものであって、Ｒ≫ｒ，Ｒ≫ｒ’の関係であるから、外乱光や周囲の疑似標的部位に対して識別顕著性に優れていると共に、陰ができにくく３つの円形パターンを撮像画像から確実に抽出することができる。また、円形パターンは彩色が施されていると共に直径Ｒの値が大きくとってあるので、遠方より撮像した画像データからこの円形パターンの抽出が容易にできる。さらに、基板上の直径Ｒの円形パターンの外側に直径ｒ’の小円形パターン複数個を配置することにより、標識毎の識別機能をもたせることができる。

本発明の非接触位置・姿勢計測装置は、少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した第一および第二の対象物において、これらの一方に設けられる標的部材と、もう一方に設けられ前記標的部材を撮像する撮像手段と、この撮像手段で撮像した画像データより前記標的部材の着色パターンを抽出する画像処理手段と、この画像処理手段で抽出した着色パターンの各面積および該各面積の中心位置を算出し、これらの面積および面積の中心位置に基づいて前記第一および第二の対象物の相対位置・相対姿勢を算出する演算手段とを具備し、前記標的部材の着色パターンは三次元的に位置を異にする少なくとも３つの平行関係にある円形パターンを含むものであるから、画像処理における抽出対象を着色円形パターンの領域のみとすることにより、色抽出および円形領域の抽出処理を適用し、抽出性を高めている。また、前記３つの円形パターンは撮像画像データにおいて楕円形状として把握でき、相対位置・相対姿勢を算出する演算アルゴリズムが容易となる。また、支柱先端という高さの異なる部位に着色円形パターンを設けることにより、板状部材の傾斜の計測を容易にしている。
標的部材の構造として支柱先端という高さの異なる部位に着色円形パターンを設けた本発明の非接触位置・姿勢計測装置は、対象部材の傾斜の計測を容易にしている。

本発明は宇宙空間において構築される構造物、例えば大型反射鏡の自立組立を実行する宇宙ロボットの把持部近傍にＣＣＤカメラを設置し、被組立部材に標的物を付設する形態で使用するものとして開発された。ロボットは多数のアームが関節部によって連結された所謂多関節ロボットを用い、ロボットの基部に対し各関節の回転角度情報から先端把持部の位置情報が演算によって割り出せる機能を備えている。該ロボットは把持部近傍に設置されたＣＣＤカメラによって撮像しながら被組立部材の存在を探索する。被組立部材の存在を把握したら、その被組立部材にロボットの把持部を接近させ、該被組立部材に付設された標的物を探す。標的物を把握できたならば、図５のＢに示されるように先端把持部を標的に近接させ、その近傍に設けられている被把持部を掴む。続いて把持部に保持された被組立部材を設計位置に移送して図５のＡに示されるように構造体の基礎部に取り付けるのであるが、その基礎部にも本発明の標的が設置されており、ロボット先端部に設置されているＣＣＤカメラの撮像画像としてこの標的を捉えて構造体の基礎部に対し被組立部材の位置・姿勢を割り出して調整し組立て固定する。組立が進み構造物が大きくなるとロボットアームが届かない位置への組立が必要になるが、その際にはロボットの基部を移動させる。その動作はちょうど尺取り虫の移動のようにロボットの先端把持部を構造物の既知の位置に固定し通常とは逆にロボットの基部を所望の位置に移動させて固定する。その固定位置を新たな原点として作業を進め、大型構造物を構築するのである。この作業において、本発明の標的並びに非接触位置・姿勢計測装置が相対位置を測定する手段として用いられる。

本発明の装置の基本構成は、図１に示すように少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した第一の対象物１０および第二の対象物２０において、第一の対象物１０の所定位置に付設された標的部材３０と、第二の対象物２０側に設置されたロボット２１とそのロボット先端部近傍に設置された撮像手段であるＣＣＤビデオカメラ４０と、撮像した画像データより前記標的部材の着色パターンを抽出する画像処理手段５０と、この画像処理手段５０で抽出した着色パターンの各面積および該各面積の中心位置を算出し、これらの面積および面積の中心位置に基づいて前記第一の対象物１０および第二の対象物２０の相対位置・相対姿勢を算出する演算手段６０とからなる。第一の対象物１０に設けられる標的部材３０は、図２に示すように３１ａで示される地の色が艶の無い黒色の基板３１の表面に径の大きな円形パターンの着色領域３１ｂを設け、その中心位置に陰を作らないように前記円形の着色領域の直径に対して十分に小さな直径の支柱３２を基板３１に垂直に植設し、該支柱３２の先端に前記着色領域３１ｂの直径よりも小さな円形パターンの着色領域３２ａを有する円板を取り付けた構造体とする。この支柱の先端部の着色領域３２ａは前記基板表面の円形パターン３１ｂとは異なる彩色とし、画像情報として両者を容易に識別することができるようにする。この実施例では着色領域３２ａの外周縁に黒く艶消しの縁取りを施したが、それは画素情報として色にじみを防止するためである。さらに前記基板３１の表面に前記円形パターン３１ｂとは重ならないようにその周囲に少なくとも一つの円形パターン３１ｃを設ける。本発明の特徴の一つは上記標的の３つの着色パターンがすべて円形という二次元形状であり、且つ互いに平行する面上に設けられている点であって、この円形の着色パターンは常に楕円画像として撮像されることになる。

前記標的部材をいわゆる三原色ＲＧＢなどの色情報で示されるカラー画像として撮像し、画像データにおいて、各々の着色パターン３１ｂ，３２ａ、３１ｃ（以下では、各々の着色パターンをマークＡ、マークＢ、マークＣと称する）に対応した像の領域を撮像した画像情報において識別処理することにより、各々の着色パターンを個別に識別・抽出する。識別した画像フレーム上の個々の前記着色パターン対して楕円形状の判定を行った後に形状の判定条件に整合した領域（以下では、これを領域Ｂ，領域Ａ，領域Ｃと称する。）につき、画像フレーム上での面積および面積中心（図形重心）を各々算出する。すなわち、領域Ｂ，領域Ａ，領域Ｃはすべて楕円形状として抽出されるのでその長軸短軸の寸法とその比率を測定することにより算出できる。または、各色領域の抽出による各色領域を構成する画素数や１次モーメントからも算出することができる。この計算アルゴリズムは従来の多様な形状として捉えられる着色領域の解析に比べ格段に単純となるため、計算負担が軽減される。

図３，図４を参照しながら標的上のマークと撮像面４２上の位置関係を検証する。撮像レンズ系の特性を予め把握しておけば、標的部材３０と撮像手段４０との位置および姿勢の関係が明確になって、図３に示すように標的部材３０上の各マークＡ，Ｂ，Ｃの中心に対応した画像フレーム上の位置が幾何光学的に抽出・算出できる。例えば、前記標的部材３０の座標原点をマークＢ（３１ｂ）の中心Ｂ_０に置くと、ピンホールと同等の特性を有するレンズとＣＣＤなどの撮像素子で構成されたデジタルカメラにおいて、前記標的部材３０の各マークＡ，Ｂ，Ｃの撮像面４２における画像フレーム上での結像位置は、レンズ中心を４１焦点距離をｆとして図３に示すように領域Ａ，Ｂ，Ｃとなる関係にある。撮像素子面４２上での領域Ｂ(３１ｂ)の中心ｂ_０の座標を(ｘ_１，ｙ_１)とすると、前記標的部材３０の撮像装置４０に対する方向(上下方向角(ピッチ角φ)、水平方向角(ヨー角θ))は、レンズの焦点距離ｆを用いて次式で算出される。（図４参照）
φ＝ｔａｎ^−１（ｘ_１ ／ｆ）
θ＝ｔａｎ^−１（ｙ_１ ／ｆ）
画像フレーム上では、マークＢ(３１ｂ)は楕円形状として捉えられる。マークＢ(３１ｂ)の直径をＲとすると、この楕円形状の画像フレーム上での長軸の長さδ_１とレンズ中心から画像フレーム上の領域Ｂの中心ｂ_０までの距離Ｌ_１から、標的部材３０までの概略の距離Ｌが次式により算出される。
Ｌ＝Ｒ×Ｌ_１／δ１
ここで、Ｌ_１＝√（ｘ_１ ^２＋ｙ_１ ^２＋ｆ^２）である。
画像フレーム上での領域Ｂの中心と領域Ａの中心ａ_０(ｘ_２，ｙ_２)と領域Ｃの中心ｃ_０(ｘ_３，ｙ_３)位置関係から、カメラの視線に対する前記標的部材３０の姿勢角が以下のように算出できる。
まず、余弦定理により次式からマークＡの中心点Ａ_０とマークＢの中心点Ｂ_０に対する見込み角αの余弦ｃｏｓαを求める。
ｃｏｓα
＝［(ｘ₁ ²＋ｙ₁ ²＋ｆ²)＋(ｘ₂ ²＋ｙ₂ ²＋ｆ²)−｛(ｘ₁ ²−ｘ₂ ²)＋(ｙ₁ ²−ｙ₂ ²)｝］
／√｛(ｘ₁ ²＋ｙ₁ ²＋ｆ²)・(ｘ₂ ²＋ｙ₂ ²＋ｆ²)｝
これから、領域Ａが見えているときは、マークＡはマークＢの手前にあると判断されることから、やはり余弦定理により、レンズ中心からマークＡの中心Ａ_０までの距離Ｌaが求められる。
・余弦定理により、Ｌa^２−２Ｌa・Ｌ・ｃｏｓα＋Ｌ^２−ｈ^２＝０
・根の公式より、Ｌa＝Ｌ・ｃｏｓα−√｛(Ｌ・ｃｏｓα)^２−(Ｌ^２−ｈ^２)｝
ここで、ｈは、標的部材の支柱３２の高さ（＝ａ_０からｂ_０までの長さ）である。
なお、領域Ｂの中心ｂ_０に対する領域Ｃの中心ｃ_０の方向により、標的部材の支柱回りの姿勢が計測できる。

本発明は前述したように宇宙空間において構造物を宇宙ロボットの作業として構築する際の非接触位置・姿勢計測装置として開発したものであるが、この技術の利用分野はそれに限られることなく、少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した二つの対象物において、これらの一方に標的部材を設置し、もう一方に該標的部材を撮像する撮像手段と、前記標的部材の着色パターンを抽出する画像処理手段と、前記第一および第二の対象物の相対位置・相対姿勢を算出する演算手段とを具備させることによって、地上作業においても一方から見た他方の対象物の非接触状態での位置・姿勢計測装置として広く用いることができる。

本発明の非接触位置・姿勢計測装置の基本構成を示す図である。 対象物に付設する本発明の標的の１実施例を示す図である。 標的のマークと撮像面における結像領域との幾何光学的関係を説明する図である。 標的中心の撮像面における結像位置とピッチ角とヨー角との関係を示す図である。 宇宙ロボットによる構造物の自立組立作業を説明する図である。 従来の非接触位置・姿勢計測装置を説明する図である。

符号の説明

１０ 一方の対象物 ３１ 基板
２０ 他方の対象物 31a,31b,31c 着色円形パターン
３０ 標的部材 ４１ レンズ中心
４０ 撮像手段 ４２ 撮像面
５０ 画像処理手段
６０ 演算手段

Claims (8)

1. 少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した第一および第二の対象物において、これらの一方に設けられ、もう一方に設けられる撮像手段によって撮像される標的部材であって、基板上にカラー彩色された直径Ｒの円形パターンと、該円形パターンとは異なる彩色が施され、その中心位置に陰を作らないように前記円形の着色領域の直径に対して十分に小さな直径ｒ_０の支柱を介して前記基板と距離ｈだけ離れて平行方向に取り付けられた直径ｒの円板と、前記基板上であって、前記円形パターンとは異なる領域に彩色が施された直径ｒ’の円形パターンとからなる標的部材。
   ただし、Ｒ≫ｒ，Ｒ≫ｒ’，ｒ≫ｒ_０の関係である。
2. 標的部材の構造として基板上にカラー彩色された直径Ｒの円形パターンの中心部から垂直方向に立てられた支柱の先端部に着色円形パターンが描かれた円板を設けた請求項１に記載の標的部材。
3. 基板上にカラー彩色された直径Ｒの円形パターンの外側に直径ｒ’の小円形パターンを複数個配置することにより、標的の識別機能を持たせたことを特徴とする請求項１又は２に記載の標的部材。
4. 少なくとも一方が移動し相対位置・相対姿勢が不確定な関係を有した第一および第二の対象物において、これらの一方に設けられる標的部材と、もう一方に設けられ前記標的部材を撮像する撮像手段と、この撮像手段で撮像した画像データより前記標的部材の着色パターンを抽出する画像処理手段と、この画像処理手段で抽出した着色パターンの各面積および該各面積の中心位置を算出し、これらの面積および面積の中心位置に基づいて前記第一および第二の対象物の相対位置・相対姿勢を算出する演算手段とを具備し、前記標的部材の着色パターンは基板上にカラー彩色された直径Ｒの円形パターンと、該円形パターンとは異なる彩色が施され、その中心位置に陰を作らないように前記円形の着色領域の直径に対して十分に小さな直径の支柱を介して前記基板と距離ｈだけ離れて平行方向に取り付けられた直径ｒの円板を含む少なくとも３つの平行関係にある円形パターンである非接触位置・姿勢計測装置。
   ただし、Ｒ≫ｒの関係である。
5. 演算手段は、標的の原点を中心とする着色円形パターンの直径をＲとし、該円形パターンの結像である楕円形状の画像フレーム上での中心位置座標が(ｘ₁，ｙ₁)、長軸の長さがδ₁、レンズ中心から前記中心位置までの距離Ｌ₁から、標的部材までの概略の距離Ｌを次式により算出するものである請求項４に記載の非接触位置・姿勢計測装置。
   Ｌ＝Ｒ×Ｌ₁／δ₁
   ここで、Ｌ₁＝√（ｘ₁ ²＋ｙ₁ ²＋ｆ²）である。
6. 演算手段は、画像フレーム上での標的部材の原点の位置座標(ｘ₁，ｙ₁)と支柱に支承された円板中心の位置座標(ｘ₂，ｙ₂)との位置関係から、カメラの視線に対する前記標的部材の姿勢角αを次式により算出するものである請求項４または５に記載の非接触位置・姿勢計測装置。
   ｃｏｓα
   ＝［(ｘ₁ ²＋ｙ₁ ²＋ｆ²)＋(ｘ₂ ²＋ｙ₂ ²＋ｆ²)−｛(ｘ₁ ²−ｘ₂ ²)＋(ｙ₁ ²−ｙ₂ ²)｝］
   ／√｛(ｘ₁ ²＋ｙ₁ ²＋ｆ²)・(ｘ₂ ²＋ｙ₂ ²＋ｆ²)｝
7. 演算手段は、レンズ中心から標的部材の支柱に支承された円板中心までの距離Ｌaを次式により算出するものである請求項６に記載の非接触位置・姿勢計測装置。
   Ｌa＝Ｌ・ｃｏｓα−√｛(Ｌ・ｃｏｓα) ²−(Ｌ²−ｈ²)｝
   ここで、ｈは、標的部材の支柱の高さ（＝ａ_０からｂ_０までの長さ）である。
8. 画像フレーム上での標的部材の原点の位置座標(ｘ₁，ｙ₁)に対する支柱に支承された円板中心の位置座標(ｘ₂，ｙ₂)の方向から、標的部材の支柱回りの姿勢を割り出す請求項４乃至７のいずれかに記載の非接触位置・姿勢計測装置。

Images