JPH08387B2

JPH08387B2 - ロボット制御装置

Info

Publication number: JPH08387B2
Application number: JP1266264A
Authority: JP
Inventors: 良司古賀; 正浩野口
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 1989-10-16
Filing date: 1989-10-16
Publication date: 1996-01-10
Anticipated expiration: 2011-01-10
Also published as: JPH03129406A

Description

【発明の詳細な説明】［産業上の利用分野］この発明は、動作領域内の線画を画像認識し、この線
画に沿ってツールを自動的に移動させることができるよ
うにしたロボット制御装置に関するものである。

［従来の技術］従来より、単純作業や危険作業を人に代えてロボット
で行うことが盛んに行われている。その構造及び機能
は、要求される目的及び作業内容に応じて異なるが、よ
り高度の操作や複雑な操作を行えるロボット、更には学
習などのAI機能などの行えるロボットの提供が望まれて
いる。

例えば、前者の１つに特開昭61−74399号，後者の１
つに特開昭62−72004号がある。

［発明が解決しようとする課題］しかし、従来のロボットにあっては、ツールの移動軌
跡は、予めロボット制御部内のメモリにパターンを記憶
させておき、これを実行時に読出す方法をとっている。
このため、例えば、動作範囲内に示された線画をデータ
として保持しておらずに、ロボットが移動時に認識して
ツールを移動させたい場合（例えば、デモンストレーシ
ョンなど）、動作範囲内の線画が予め登録していないも
のに対しては、ツールを移動させることができない不具
合があった。

この発明は、予め線画の登録処理を行うことなく、動
作範囲内に図示された線画に沿ってツールを自動的に移
動できるようにしたロボット制御装置の提供を目的とす
る。

［課題を解決するための手段］上記目的を達成するために、この発明は、ツールの動
作範囲内に図示された線画を原画像として撮像する撮像
手段と、該撮像手段による画像情報から２値化画像を作
成する２値化処理手段と、前記原画像中から特異点を除
去する軌跡輪郭追跡演算手段と、該演算部の演算結果に
基づいて軌跡の始点及び終点を算出する軌跡端点演算手
段と、前記軌跡輪郭追跡演算手段の演算結果に基づいて
曲線輪郭の座標を求め曲線認識を行う画像認識手段と、
該手段による認識に基づいて前記ツールを前記線画に沿
って動作範囲内を移動させる制御手段とを設けるように
したものである。

［作用］上記した手段によれば、撮像手段によって撮像された
ツールの動作範囲内の画像に対し２値化を行った後、そ
の２値化画像の特徴が抽出されると共に曲線の始点と終
点が抽出される。更に、始点から終点までについて直
線，円，楕円曲線などに分割され、始点から終点までの
並べ替えが行われ、これが曲線認識結果になる。従っ
て、予め移動軌跡を設定登録するのでは無く、与えられ
た画像を読取り、これに対する画像認識を行って追跡の
トレース作業を行うので、どの様な線画を与えられて
も、ツールを追従移動させることが可能になる。

［実施例］以下、この発明の実施例について図面を参照しながら
説明する。

第１図はこの発明の一実施例を示すブロック図であ
る。ここでは、ロボット本体として、関節型を用いた場
合を例示している。

ここに示す実施例は、ロボット本体３を動作させるた
めのプログラム作成及びデータ入力を行う指令制御部1,
ロボット本体３に内蔵されると共に指令制御部１とデー
タを交換しながら該指令制御部１の指示通りにロボット
本体３を駆動するための制御を行うロボット制御部２及
び腕，手，指に相当する可動部を備え、その各々の駆動
源として複数のモータ（不図示）を内蔵し、これらモー
タがロボット制御部２によって制御されるロボット本体
３から構成される。

指令制御部１は各種のデータ，設定値及びプログラム
などの入力を行う為の操作盤101,ロボット本体３の可動
先端の動作範囲を視野とするテレビ（TV）カメラ102,操
作盤101の出力信号を所定のタイミングで取込む入力イ
ンターフェース103,プログラムを実行してロボットの可
動部を駆動させるための処理を行う中央処理装置（CP
U）104,プログラムを格納したリード・オンリーメモリ
（ROM）105,処理結果やデータを一時的に記憶するラン
ダム・アクセス・メモリ（RAM）106,ロボット制御に必
要な特定の処理アルゴリズム，定数などが格納されるテ
ーブル用メモリ107,ロボットを動かすための後記する画
像処理及びモニタ109に画像を表示させるための画像処
理及び制御を行う画像処理制御部108,CPU104による処理
内容あるいはロボットの動作状態を表示するモニタ109,
後記するプリンタ111を制御する出力インターフェース1
10,該出力インターフェース110の制御のもとに処理結果
などをプリントアウトするプリンタ111,及びロボット制
御部２に対しデータを送出すると共にロボット制御部２
からロボット本体３の動作状態情報を受信する伝送入出
力部112から構成される。

またCPU104に対し、データ信号，コントロール信号及
びアドレス信号などが接続される各部材とCPU104間と
は、バス113によって相互に接続されている。更に、テ
レビカメラ102とバス113との間には、テレビカメラ102
の画像出力を２値化、即ち、ディジタル化する２値化処
理部114が接続されている。

なお、説明の便宜上、テレビカメラ102を指令制御部
１内に含める記載としているが、実際にはロボット本体
３の近傍に設置され、その視野がロボット本体３の可動
部の動作範囲になるようにセッティングされる。

また、ロボット制御部２は伝送入出力部112からの信
号を受信すると共に、ロボット本体３の動作状態に関す
る情報などを送出する伝送入出力部201,該伝送入出力部
201からの信号に基づいてモータ駆動のための制御情報
を出力すると共に指令制御部１側へ送出する情報の管理
を行う制御部202,及び該制御部202からの指令に従って
ロボット本体３の各モータなどの駆動源を駆動するモー
タ駆動部203から構成される。

制御部202はCPU及びその周辺回路を含んで構成され、
マスターである指令制御部１のCPU104に対し、スレーブ
として動作する。

次に、以上の構成による実施例の動作について、第２
図のフローチャートを参照して説明する。なお、以下に
おいては、フローのステップをＳとして表記している。

まず、実行開始の指令を操作盤101でキーインし、装
置を起動させると共に初期化を行い、更にロボットを動
作させるための条件を指定する。入力された設定条件
は、テーブル用メモリ107に格納される。また、動作範
囲をテレビカメラ102で撮影し、その画像出力を取込
む。CPU104は、ロボットに動作させることが可能な内容
をモニタ109に表示して待機する。また、必要な情報を
伝送入出力部112を介してロボット制御部２へ伝達す
る。

ロボット制御部２では、第２図に示すフローに従って
制御部202が処理を実行すると共に指令制御部１との情
報交換を行う。

まず、電源オンと共にロボット本体３の初期化を行い
（S21）、動作範囲内にある物体に関するデータの初期
設定を行う（S22）。ついで、指令制御部１側に対し伝
送入出力部201を介して、どのような動きをすべきかの
ロボット動作選択要求を行う（S23）。

指令制御部１では、ロボット制御部２からのロボット
動作選択要求に対し、モニタ109に表示されているメニ
ュー（S32）の中から操作者に選択を促し、操作盤101に
よって選択された動作選択結果をロボット制御部２へ返
送する。これを受けた制御部202は、指令制御部１に対
し画像処理要求を出し、これを受けた指令制御部１では
テレビカメラ102から取込んだ画像情報を画像処理制御
部108で処理し、その画像処理内容（S33）をロボット制
御部２へ返送する。これを受けた指令制御部１に対し、
画像処理要求を出し、これを受けた指令制御部１では、
カメラ102から取り込んだ画像情報を画像処理制御部108
で処理し、その画像処理が終了した時点で画像処理終了
報告（S33）をロボット制御部２へ送信する。

また、制御部202からは、引続いて画像処理結果要求
が出される（S25）。この画像処理結果要求に対して
は、指令制御部１とロボット制御部２間で複数回のデー
タ伝送が行われ、指令制御部１で画像処理結果情報（S3
4）が全て送出完了するまで繰返えされる。

画像処理の結果が得られると、制御部202は与えられ
た動作選択要求及び画像処理結果から、ロボットがとる
べき動作（即ち、始点と終点の２点間をどのように移動
するか）を計画する（S26）。この計画内容に基づいて
制御部202は、モータ駆動部203に制御指令を送出し、ロ
ボット本体３のアームなどの駆動を開始させる。

１つの動作が終了すると、実行すべき次の処理が存在
するか否かを指令制御部１に問合わせる（S28）。この
問合わせに対して操作者は、モニタ109上のメニュー画
面（S35）を見ながら、前回と同一の動作、あるいは他
の異なる動作を選択する。この選択内容は、伝送入出力
部112及び伝送路を介してロボット制御部２の伝送入出
力部201に伝送され、制御部202に取込まれる。制御部20
2は受信内容を判定（S29）し、それが同じ動作の再実行
である場合には、再度ステップ27以降の動作を繰返し実
行する。

また、異なる動作の実行の要求に対しては、それが同
一種類の動作に該当するものか否かを判定（S30）し、
同一である場合にはステップ24以降の処理を繰返し実行
する。一方、同一種類の動作でない場合、ステップ23で
行った動作要求を再び指令制御部１へ要求するか否かを
判定し（S31）、動作再選択の指示が判定された場合に
は、ステップ23以降の処理を再度実行する。また、動作
再選択の指示が無い場合には、全ての処理を終了する。

ロボット制御部２では、第３図に示すフローに従って
制御部202が処理を実行すると共に指令制御部１との情
報交換を行う。

まず、テレビカメラ102によって、動作範囲を撮像
し、その画像情報を２値化処理した後、これをメモリ
（RAM106）に記憶する。一方、操作盤101から使用ツー
ルを指定し（S41）、更にホームポジション待機に入
り、作業道具の把持を行い、更に手先部姿勢の計算など
が行われる（S42）。

ついで、次に示すような設定及び演算内容に従った曲
線近似計算を行う（S43）。

座標系の定義（ロボットのツール座標系を定義）姿勢制御の指定（アーム姿勢，ツール姿勢など）軌跡制御の指定（移動速度など）把持物体の仕様を設定（例えば高さなど）例えば、始点が（x_i,y_i）で終点が（x_n,Y_n）で示され
るとき、SET＝TRANS（x_n,y_n,Z,θ,90,0）のような形式
で座標を表す。

次に、これからの作業動作が正しいかを確認するた
め、この計算による座標からα（mm）上方の位置で動作
させる。これにより実際にツールの移動開始点となる目
標位置へ移動、即ち曲線の始点へ移動させる（S44）。
ついで、この始点から曲線トレース作業を開始する（S4
5）。この後、確認の動作で使用した曲線の座標位置を
実際の座標位置へ修正し、始点及び曲線を移動させる
（S46）。

次に、以上の処理結果に基づいて、ツールを実際に求
めた曲線に従ってトレース（線引きトレース）を実行す
る（S47）。ツールが曲線の終点に到達すると、ツール
などの可動部をホームポジションに移動させ、作業道具
を取外し、そのまま待機する（S48）。

次に、第４図（Ａ），（Ｂ），（Ｃ）を参照して、画
像処理の詳細を説明する。まず、テレビカメラ102によ
って撮像されたツールの動作範囲内の画像が原画像とし
て入力される。この動作範囲（＝カメラの視野範囲）内
には、ツールの移動対象となる線画が描かれている。こ
の原画像を曲線領域に設置したウィンドウに入力する
（S51）。

ついで、中間輝度レベル変換を行う（S52）と共に、
予め定めたコード及び画像解析定数テーブルの設定値に
基づいて基本の画像処理を行う（S53）。更に、ステッ
プ53の処理結果に従って濃淡画像から２値画像を生成
（２値化処理手段）する（S54）。これによって得られ
た２値化画像に対し、特徴抽出処理を行う（S55）。こ
の軌跡輪郭追跡手段としての特徴抽出処理は、入力２値
化画像に対し、まず、作業対象の点線か否かを物体の交
点数及び物体数で判定し、更に輪郭追跡テーブルからロ
ボットの座標であるワーク用座標を得るものである。

次に、第４図（Ｂ）に示すように、ステップ55で得ら
れた画像に対し、曲線の端点から縮退を行う（S56）。
更に、この縮退画像と入力画像との排他的論理和（Excu
lusive OR）をとって２つの画像を合成する。これによ
り、Ｘ軸,Y軸の投影による端点（始点と終点）が検出さ
れる（軌跡端点演算手段）。

ついで、以下のような画像認識手段によって画像認識
処理が実行される。まず、第１のソーティング処理（曲
線の輪郭部の座標を抽出する処理）が実行される（S5
7）。この処理は、ステップ55によって得られた画像に
おける物体に対し、その曲線の内側と外側の各々をサン
プリングして輪郭座標を求め、更に間引き処理を行って
輪郭座標から曲線座標へ座標変換を行うことによって達
成される。

次に、第４図（Ｃ）のように、第２のソーティング処
理を実行する（S58）。

ここでは、まず始点からの距離Ｄ、（但し、x₀及びy₀は始点）が最小になる点（x_i,y_i）を求める。また、その点から
距離Ｄが最小となる次の点を求める。この作業は、輪郭
点数分について終点まで実行される。

次に、第３のソーティング処理を実行する（S59）。
この処理は、ソーティングチェックテーブルの昇順に曲
線座標群の並べ替えを行う。ついで、画像解析定数で決
められた点数分（例えば、40点分）に間引いてワールド
座標系へ換算後、昇順に再ソーディングを行う。このと
き、始点〜終点にデータソートが行われており、この結
果は、曲線認識結果テーブルに格納される。

このようにして得られた画像認識結果は、伝送入出力
部112を介してロボット制御部２へ伝送され、ロボット
制御部２側に準備されている環境データベースを用い
て、手先姿勢算出，動作経路選定した後、第３図で示し
た処理を経て曲線トレース動作が実行される。

［発明の効果］以上説明した通り、この発明は、ツールの動作範囲内
に図示された線画を原画像として撮像する撮像手段と、
該撮像手段による画像情報から２値化画像を作成する２
値化処理手段と、前期原画像中から特異点を除去する軌
跡輪郭追跡演算手段と、該演算部の演算結果に基づいて
軌跡の始点及び終点を算出する軌跡端点演算手段と、前
記軌跡輪郭追跡演算手段の演算結果に基づいて曲線輪郭
の座標を求め曲線認識を行う画像認識手段と、該手段に
よる認識に基づいて前記ツールを前記線画に沿って動作
範囲内を移動させる制御手段とを設けるようにしたこと
により、与えられた画像を読取り、これに対する認識を
行ってトレース作業を行うので、どの様な線画を与えら
れても、ツールを追従移動させることが可能になり、汎
用性に優れたロボットの提供が可能になる。また、従来
の如く、予め移動軌跡を設定する必要が無く、従ってデ
ータ入力作業を不要にし、操作性を向上させることがで
きる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロック図、第２図
は指令制御部１とロボット制御部２の処理の概略を説明
するフローチャート、第３図はこの発明の曲線トレース
処理を示すフローチャート、第４図（Ａ），（Ｂ），
（Ｃ）はこの発明における画像処理の詳細を示すフロー
チャートである。図中． 1:指令制御部、2:ロボット制御部 3:ロボット本体、4:外部記憶装置 101:操作盤、102:テレビカメラ 104:CPU、107:テーブル用メモリ 108:画像処理制御部 109:モニタ、112:伝送入出力部 114:2値化処理部、201:伝送入出力部 202:制御部、203:モータ駆動部

Claims

【特許請求の範囲】

【請求項１】ツールの動作範囲内に図示された線画を原
画像として撮像する撮像手段と、該撮像手段による画像
情報から２値化画像を作成する２値化処理手段と、前記
原画像中から特異点を除去する軌跡輪郭追跡演算手段
と、該演算部の演算結果に基づいて軌跡の始点及び終点
を算出する軌跡端点演算手段と、前記軌跡輪郭追跡演算
手段の演算結果に基づいて曲線輪郭の座標を求め曲線認
識を行う画像認識手段と、該手段による認識に基づいて
前記ツールを前記線画に沿って動作範囲内を移動させる
制御手段とを具備することを特徴とするロボット制御装
置。