JP7644253B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関する。

従来、物品を搬送する搬送装置と、搬送される物品に対して所定の作業を行うロボットと、ロボット制御装置と、物品等を検出するための撮像装置とを備えたロボットシステムが知られている（例えば、特許文献１参照）。

特許文献２は、生産ラインにおいて所定の作業を行う作業ロボットの制御装置に関し、「ワークに対して所定の作業を行う作業装置の作業状態を監視する監視装置が、作業状態に対しての異常を認識した場合に、作業装置をその異常を認識した位置に一旦戻し、当該位置から作業を再開する機能を持つ作業ロボットの制御装置」を記載する（第２頁右下欄第１４行目～第２０行目）。

特開２０１９－１８８５０８号公報 特開昭６２－２７８６１０号公報

上述したような、搬送装置と、搬送される物品に対して所定の作業を行うロボットと、ロボット制御装置と、撮像装置とを備えたロボットシステムにおける教示、調整の場面を考慮する。一般に、このようなロボットシステムでは、撮像装置によって物品あるいは搬送装置を撮像し位置を検出する処理が高速に繰り返され、ロボットは物品に追従しながら作業を行う。このような過程において、オペレータが、各位置での処理が問題なく行われているかを確認することは難しい。よって、問題が生じた場合の教示、調整に手間がかかりシステムの立ち上げ時間が長くかかる。

本開示の一態様は、ロボットと、センサによる検出対象に対する検出結果に基づいて前記ロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、前記ロボット制御装置は、前記センサによる検出動作に係わる異常が検知されたことに応じて、前記ロボットを前記異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備え、前記異常検出時処理部は、前記ロボットが前記異常が検知された時点の位置に戻り停止している状態で前記センサを作動させ、前記センサの出力結果を表示部に表示させる、ロボットシステムである。

上記構成によれば、ロボットが異常の要因となる検出がなされた時点の位置に戻り停止するので、オペレータは、問題発生箇所での教示、調整を、ロボットを問題発生箇所に動かすという負担の重い作業を要することなく行うことができる。したがって、ロボットシステムに問題が生じた場合の教示、調整の手間を大きく軽減し、ロボットシステム立ち上げ等に要する時間を短縮することができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボットシステムの構成を表す図である。 ロボット制御装置及び上位制御装置のハードウェア構成例を表す図である。 ロボット制御装置及び上位制御装置の機能ブロック図である。 撮像装置による検出を行う場合の基準画像の例である。 撮像装置を用いた位置合わせ制御のフローチャートである。 位置合わせ制御時における撮像画像の例である。 異常発生時処理を表すフローチャートである。 異常の内容に関する情報を表示した例を表す図である。 他の実施形態に係るロボットシステムの構成を表す図である。 図９のロボットシステムにおけるロボット制御装置の機能ブロック図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は一実施形態に係るロボットシステム１００の構成を表す図である。図１に示すように、ロボットシステム１００は、アーム先端部にハンド３０を搭載したロボット１０と、ロボット１０を制御するロボット制御装置５０と、物品を搬送する搬送装置（コンベヤ２５及びコンベヤ制御装置２０）と、３台の撮像装置７１－７３と、上位制御装置６０とを備える。ロボット制御装置５０及びコンベヤ制御装置２０は上位制御装置６０に接続され、上位制御装置６０は、ロボットシステム１００において所定の作業が実行されるようにロボット制御装置５０及びコンベヤ制御装置２０を統括的に制御する。なお、図１に示すように、ロボット制御装置５０には、教示装置４０が接続されていても良い。

上位制御装置６０は、例えばＰＬＣ（プログラマブルロジックコントローラ）であり、動作シーケンスを制御するための制御プログラムに従ってロボット制御装置５０及びコンベヤ制御装置２０の動作タイミング等を統括的に制御する。

撮像装置７１－７３は、ロボット制御装置５０に接続され、ロボット制御装置５０からの制御の下で動作する。本実施形態では、ロボット制御装置５０は、各撮像装置を制御する機能と、各撮像装置で撮像された画像データに対する画像処理を行う機能とを備えている。撮像装置７１－７３は、濃淡画像やカラー画像を撮像するカメラでも、距離画像や３次元点群を取得できるステレオカメラや３次元センサでもよい。本実施形態では、各撮像装置は２次元画像を取得するカメラであるものとする。

コンベヤ制御装置２０は、コンベヤ２５のモータ２６を駆動制御することで、コンベヤ２５によるワークの搬送を制御する。

教示装置４０は、例えば、教示内容やプログラムの調整を行うために用いられる。教示装置４０は、例えば、教示操作盤、タブレット端末、スマートフォンその他の情報処理装置であっても良い。

ロボットシステム１００において、ロボット制御装置５０は、撮像装置７１－７３による検出の異常が検知されたことに応じて、ロボット１０を異常が検知された時点の位置に戻し停止させるように制御する。これにより、オペレータは、問題が発生した位置での調整を、ロボットを動かすことなく行うことができる。

本実施形態の構成は、視覚センサを用いて各種処理（検出、判定など）を実行し得るロボットシステムに適用可能であるが、ここでは、例示として、ロボット１０がスタンド２に立て掛けられているワーク９１を把持して、コンベヤ２５上を搬送されるワーク８１に取り付ける作業を行う構成について記載する。例示として、ワーク９１は、車両のドアであり、ワーク８１は、ドアを取り付ける車体であるものとする。ロボット１０は、コンベヤ２５上を図１中の矢印方向へ次々と搬送されてくるワーク８１に対してワーク９１を取り付ける作業を繰り返し実行し、その間、撮像装置７１－７３による検出対象の撮像・検出動作が繰り返し実行される。

図２は、上位制御装置６０及びロボット制御装置５０のハードウェア構成例を表す図である。上位制御装置６０は、プロセッサ６１に対して、メモリ６２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、表示部６３、キーボード（或いはソフトウェアキー）等の入力装置により構成される操作部６４、入出力インタフェース６５等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。ロボット制御装置５０は、プロセッサ５１に対してメモリ５２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、入出力インタフェース５３、各種操作スイッチを含む操作部５４等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。また、教示装置４０も、プロセッサ、メモリ、表示部、操作部、各種入出力インタフェース等を有する一般的なコンピュータとしての構成を備えていても良い。

図３は、ロボット制御装置５０及び上位制御装置６０の機能ブロック図である。図３に示すように、ロボット制御装置５０は、教示装置４０からの指令に或いは動作プログラム１５５にしたがってロボット１０（及びハンド３０）の動作を制御する動作制御部１５１と、撮像装置７１－７３の制御並びに撮像画像に対する画像処理を実行する画像処理部１５２と、撮像装置７１－７３のいずれかによる検出において異常が検知されたことに応じて、ロボット１０を異常が検出された時点の位置に戻すように制御する異常検出時処理部１５３とを有する。情報記録部１５４は、異常が検出された時点のロボットの１０の位置その他の情報を取得し記録する。異常検出時処理部１５３は、撮像装置７１－７３のいずれかによる検出において異常が検知されたことに応じて、上位制御装置６０に対してその旨を示す信号を送出する機能も備えている。

上位制御装置６０は、制御プログラム１６４に従ってロボット制御装置５０及びコンベヤ制御装置２０の動作シーケンスを制御する制御部１６１と、ロボット制御装置５０から、上述の異常を検知した旨の信号を受信したことに応じて、コンベヤ２５を異常が検出された時点の位置に戻すように制御する異常時処理部１６２とを備える。情報記録部１６３は、異常が検出された時点におけるコンベヤ２５の位置その他の情報を取得し記録する。

ここで、ロボット１０が所定の作業を実行する間に行われる撮像装置７１－７３による対象の検出動作例について説明する。撮像装置７１は、固定カメラであり、ロボット１０がスタンド２に立て掛けられているワーク８１を把持した際に、一度だけ、その状態を撮像し、把持ズレを検出する。

撮像装置７２、７３は、ロボット１０のアーム先端部に固定されている。撮像装置７２、７３はそれぞれ、ロボット１０がワーク９１をワーク８１に対して取り付ける際の取付け位置近辺を撮影するように、撮影方向が設定されている。撮像装置７２、７３は、ロボット１０がワーク９１を移動させながらワーク８１に取り付ける作業を行う間、撮像を繰り返す。

このような取付け作業の一環として実行される、撮像装置７２或いは７３を用いたワーク８１に対するワーク９１の位置合わせ制御について説明する。ここでは、撮像装置７２の撮像画像を用いる場合について記載する。位置合わせ制御では、ロボット１０がワーク９１をワーク８１に取り付け可能な位置に移動させた段階で、撮像装置７２によりその状態を撮像し、ロボット１０の位置を調整する制御を実行する。

ロボット１０がワーク９１をワーク８１に取り付け可能な位置（ここでは、ワーク９１を鉛直下方に移動させてワーク９１のピンをワーク８１の穴に挿入可能な位置とする）にある場合の、正常時における、撮像装置７２による撮像画像を図４に示す。この画像は、ロボット１０が正しい位置にある場合の画像であるため、以下では基準画像２６１とも称することとする。

ロボット制御装置５０の画像処理部１５２は、ワーク８１、ワーク９１において、予め定められた特徴的部分である特徴部位の特徴量を検出する機能を有する。また、画像処理部１５２は、ワーク８１の特徴量と、ワーク９１の特徴量との差を相対量として算出する機能を有する。画像処理部１５２は、算出された相対量に基づいて、ロボット１０を動作させる指令を生成する。

ロボットシステム１００では、撮像装置７２、７３で撮像された画像に基づいて、コンベヤ２５にて搬送されるワーク８１に対するワーク９１の位置合わせが行われる。具体的には、ワーク８１（車体）の突出部８２及び８３の穴部８２ａ及び８３ａ（図６参照）に対してワーク９１（ドア）のピン（不図示）を差し込む際の位置合わせが行われる。

画像処理部１５２は、ロボット１０により実際の作業が行われる前、以下のような手順（Ａ１）から（Ａ３）にて、基準画像２６１における相対位置量を算出する。
（Ａ１）画像処理部１５２は、ワーク８１の位置を検出するための第１の特徴部位として突出部８２の上面を検出し、ワーク９１の位置を検出するための第２の特徴部位としてワーク９１の突出部９２の上面を検出する。なお、特徴部位として、ワークの一部分、ワークの表面に形成された模様、ワークの表面に記載された線または図などを採用することができる。特徴部位の検出方法としては、それぞれのワーク８１、９１の基準となるベース画像を予め準備しておいても良い。ベース画像と撮像装置７２にて撮像した画像とを用いてテンプレートマッチング等の方法により、撮像装置７２にて撮像した画像における特徴部位を検出することができる。

（Ａ２）次に、画像処理部１５２は、第１の特徴部位の位置に関する第１の特徴量と、第２の特徴部位の位置に関する第２の特徴量とを検出する。撮像装置７２により撮像された画像には、スクリーン座標系２５２が設定されている。スクリーン座標系２５２は、画像における任意の点を原点に設定したときの座標系である。スクリーン座標系２５２は、互いに直交するｕ軸及びｖ軸を有する、スクリーン座標系２５２は、撮像装置７２の視覚センサ座標系に対応する。本実施形態における位置に関する特徴量は、画像におけるスクリーン座標系２５２のｕ軸の座標値およびｖ軸の座標値である。画像処理部１５２は、基準画像２６１において検出された特徴部位に基づいて、特徴部位に設定された設定点Ｐ１，Ｐ２の位置を検出することができる。画像処理部１５２は、第１の特徴量として、設定点Ｐ１のスクリーン座標系２５２の座標値（u1b，v1b）を検出する。また、特徴量検出部は、第２の特徴量として、設定点Ｐ２のスクリーン座標系２５２の座標値（u2b，v2b）を検出する。

（Ａ３）次に、画像処理部１５２は、基準画像における第１の特徴量と第２の特徴量との間の相対量を算出する。画像処理部１５２は、ロボット１０の位置の制御を行うため、相対量として相対位置量を算出する。相対位置量は、第１の特徴量と第２の特徴量との差である。例えば、画像処理部１５２は、相対位置量として、第１の特徴量の座標値と第２の特徴量の座標値との差（u1b-u2b，v1b-v2b）を算出する。算出された基準画像２６１における相対位置量は、基準相対位置量として記憶される。

このように画像処理部１５２は、基準画像２６１における相対位置量を算出することができる。なお、本実施形態では、基準画像２６１における相対位置量は、予め算出されて記憶部に記憶されているものとする。

図５に、位置合わせ制御におけるフローチャートを示す。本処理は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。ロボット制御装置５０がワーク９１をワーク８１に取り付け可能な位置まで近づける制御を実施した後に、ステップＳ１０１において、動作制御部１５１は、撮像装置７２にてワーク８１及び９１を撮像する。

図６に、ステップＳ１０１において撮像装置７２により撮像した画像２６２を示す。画像２６２には、第１の特徴部位である突出部８２の上面の画像と、第２の特徴部位である突出部９２の上面の画像とが含まれている。画像２６２では、ワーク８１に対してワーク９１は、矢印２０１に示すようにスクリーン座標系２５２のｕ軸の正側にずれている。

ステップＳ１０２では、画像処理部１５２は、撮像装置７２により撮像した画像２６２の第１の特徴部位および第２の特徴部位を検出する。ここでは、第１の特徴部位としてワーク８１の突出部８２の上面を検出し、第２の特徴部位としてワーク９１の突出部９２の上面を検出する。

次に、ステップＳ１０３では、画像処理部１５２は、撮像装置７２にて撮像した画像における第１の特徴量及び第２の特徴量を検出する。画像処理部１５２は、第１の特徴部位に関する第１の特徴量として、設定点Ｐ１のスクリーン座標系２５２の座標値（u1m，v1m）を検出し、第２の特徴部位に関する第２の特徴量として、設定点Ｐ２のスクリーン座標系の座標値（u2m，v2m）を算出する。

次に、ステップＳ１０４では、画像処理部１５２は、第１の特徴量と第２の特徴量との差を相対位置量として算出する。撮像装置７２にて撮像した画像２６２における相対位置量は、第１の特徴量の座標値と第１の特徴量の座標値との差（u1m-u2m，v1m-v2m）になる。

次に、ステップＳ１０５において、画像処理部１５２は、画像２６２における相対位置量と基準画像２６１における相対位置量との差である相対位置量の差を算出する。相対位置量の差は、それぞれのｕ軸およびｖ軸に関する値として［（u1m-u2m）-（u1b-u2b）,（v1m-v2m）-（v1b-v2b）］にて表すことができる。

次に、ステップＳ１０６において、相対位置量の差が予め定められた範囲内か否かを判定する。相対位置量の差が、予め定めた範囲内である場合に（Ｓ１２０：ＹＥＳ）、ワーク８１に対するワーク９１の位置合わせが完了していると見なし、本処理を終了する。

他方、相対位置量の差が予め定めた範囲外である場合には（Ｓ１２０：ＮＯ）、ワーク８１に対してワーク９１が所望の位置に到達していないと判定することができる。この場合、処理をステップＳ１０７に進める。

ステップＳ１０７において、画像処理部１５２は、相対位置量の差に基づいて、ロボット１０の駆動方法を設定する。画像処理部１５２は、基準座標系におけるロボットの移動方向及び移動量を設定する。本実施形態では、スクリーン座標系２５２とロボット１０の基準座標系との相対位置関係に基づいて、相対位置量の差に対するロボット１０の位置の移動方向が予め定められている。例えば、スクリーン座標系のｕ軸の正の値または負の値に対してロボットの位置の移動方向が、以下の様に基準座標系にて定められる。ｕ軸に関する相対位置量の差が正の値である場合に、基準座標系のＸ軸、Ｙ軸、及びＺ軸の座標値を用いて（１，１，０）の移動方向が定められる。また、ｙ軸に関する相対位置量の差が正である場合に、基準座標系のＸ軸、Ｙ軸、及びＺ軸の座標値を用いて（０，０，１）の移動方向が定められる。

更に、相対位置量の差に対するロボットの位置の移動量の算出方法が例えば、以下の様に定められている。ｕ軸に対応する方向におけるロボットの位置の移動量は、ｕ軸に関する値（（u1m-u2m）-（u1b-u2b））に、予め定められた係数を乗じた値を採用することができる。また、ｖ軸に対応する方向におけるロボットの位置の移動量は、ｖ軸に関する値（（v1m-v2m）-（v1b-v2b））に、予め定められた係数を乗じた値を採用することができる。このように、スクリーン座標系２５２の各軸に対応する方向において、ロボット１０の位置の移動量を算出することができる。

次に、ステップＳ１０８において、上述のように算出されたロボットの位置の移動方向及び移動量に基づいてロボット１０を駆動する。画像処理部１５２は、ロボットの位置の移動方向及び移動量に基づいて、ロボット１０を駆動する移動指令を生成する。画像処理部１５２は、移動指令を動作制御部１５１に送出する。動作制御部１５１は、移動指令に基づいてロボット１０の位置を制御する。そして、ステップＳ１１５からの処理が繰り返される。このような制御により、徐々にワーク９１の位置を所望の位置に近づけることができる。

画像処理部１５２は、撮像装置７１－７３のいずれかによる検出動作における異常を検知する機能を有する。異常検知の例として、以下のような状況が有り得る。
（Ｂ１）画像中で検出対象（例えば特徴部位）が検出されない状態が連続する。
（Ｂ２）動きのある検出対象を連続的に撮像する場合において、検出される検出対象の位置が連続的でない（予期されない位置にある）状況が生じる。

図７は、ロボットシステム１００において撮像装置による検出の異常が検知された場合に実行される異常検出時処理を表すフローチャートである。異常検出時処理においてステップＳ１からＳ６で示されるフローは、ロボット制御装置５０のプロセッサ５１の制御の下で実行され、ステップＳ７からＳ１０で示されるフローは、上位制御装置６０のプロセッサ６１による制御の下で実行される。

上記に例示した状況（Ｂ１）或いは（Ｂ２）の発生により、撮像装置７１－７３のいずれかによる検出の異常が検知されたものとする（ステップＳ１）。

ステップＳ２では、ロボット制御装置５０（異常検出時処理部１５３）は、上位制御装置６０に対して異常が検知されたことを示す信号を送出する。

次に、異常検出時処理部１５３（情報記録部１５４）は、ロボット１０の現在位置（位置Ａ）を取得する（ステップＳ３）。なお、ロボット１０の位置には姿勢も含まれる。そして、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０を安全に停止させるため減速停止させる（ステップＳ４）。

次に、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０が停止したか否かを判定する（ステップＳ５）。ロボット制御装置５０（異常検出時処理部）は、ロボットが停止するのを待つ（Ｓ５：ＮＯ）、

ロボットが停止すると（Ｓ５：ＹＥＳ）、ロボット制御装置５０（異常検出時処理部１５３）は、ロボット１０を、異常が検知された時点の位置Ａに移動させ停止させる。

ロボット制御装置５０から異常の検知を示す信号を受信すると、上位制御装置６０（情報記録部１６３）は現在のコンベヤの位置（位置Ｂ）情報を取得する（ステップＳ７）。次に、上位制御装置６０（異常時処理部１６２）は、安全面に配慮し、コンベヤ２５を減速停止させる（ステップＳ８）。

次に、上位制御装置６０（異常時処理部１６２）は、コンベヤ２５が停止したか否かを判定する（ステップＳ９）。上位制御装置６０（異常時処理部１６２）は、コンベヤ２５が停止するまで待つ（Ｄ９：ＮＯ）。コンベヤ２５が停止すると（Ｓ９：ＹＥＳ）、上位制御装置６０（異常時処理部１６２）は、コンベヤ２５を異常発生時の位置である位置Ｂに移動させ停止させる（ステップＳ１０）。以上の処理により、撮像装置の検出動作における異常が検知された場合に、ロボット１０及びコンベヤ２５を、異常が検知された時点の位置に戻すことができる。

ロボット１０及びコンベヤ２５を異常が検出された時点の位置に戻すことに加えて、ロボットシステム１００において更に次のような動作（Ｃ１）から（Ｃ３）の１以上が行われても良い。
（Ｃ１）ロボットシステムを構成する各機器が異常が検知された時点に戻った状態で、各撮像装置による撮像を行い、撮像画像を提示する。
（Ｃ２）異常の内容に関する情報を提示する。
（Ｃ３）異常が検知された時点におけるロボットシステムの動作条件に関する情報を提示する。

上記動作（Ｃ１）は、ロボット１０及びコンベヤ２５が異常が検知された時点に戻った後、異常検出時処理部１５３が、画像処理部１５２を介して各撮像装置７１－７３を作動させ、撮像画像を教示装置４０の表示部４１に表示させるように動作することで実現され得る。このような撮像画像には、異常の状態が再現され得るため、オペレータは、このような撮像画像を観測しながら、動作プログラム中のロボット１０の位置の調整、ロボット１０の動作タイミングの調整、或いは撮像装置の設置位置の調整等を的確に進めることができる。

上記動作（Ｃ２）は、例えば、ロボット制御装置５０の情報記録部１５４が、画像処理部１５２或いは動作制御部１５１と連携することにより、異常が検知された際の異常の内容に関する情報を取得し、異常検出時処理部１５３が、情報記録部１５４により取得された異常の内容に関する情報を教示装置４０に表示することで実現され得る。図８は、撮像装置の検出の異常が検知された場合の異常の内容を、異常検出時処理部１５３により教示装置４０の表示画面（表示部４１）に表示した場合の例を示している。本例では、異常の要因として、撮像装置（本例では、カメラ＃２）において対象物が未検出であった旨のメッセージを提示するエラー表示画面１４５が表示されている。この場合、オペレータは、ここで提示される異常の内容に関する情報を手掛かりとして、動作プログラム中のロボット１０の位置の調整、ロボット１０の動作タイミングの調整、撮像装置の設置位置の調整等を的確に進めることができる。

すなわち、このように、異常の内容に関する情報をオペレータに提示する構成とすることで、異常の回復のための調整を効率的に進めることが可能になる。

上記動作（Ｃ３）の例として、ロボット制御装置５０の情報記録部１５４は、異常が検知された時点におけるロボット１０の動作条件（例えば、ロボットの位置、姿勢、動作速度など）に関する情報を記録するように構成されていても良い。また、上位制御装置６０の情報記録部１６３は、異常が検知された時点におけるコンベヤ２５の動作条件（位置、速度など）に関する情報を記録するように構成されていても良い。これらのロボット１０、コンベヤ２５の動作条件に関する情報についても、例えば、教示装置４０の表示部４１に表示されても良い。このような動作条件に関する情報も、オペレータによる調整を効率化し得る。

なお、上記動作（Ｃ１）から（Ｃ３）による情報の提示は、上述の例以外にも、ロボットシステム１００内において表示部を有する装置（例えば、上位制御装置６０）上で行っても良い。

以上説明したように、本実施形態によれば、ロボットが異常の要因となる検出がなされた時点の位置に戻り停止するので、オペレータは、問題発生箇所での教示、調整を、ロボットを問題発生箇所に動かすという負担の重い作業を要することなく行うことができる。したがって、ロボットシステムに問題が生じた場合の教示、調整の手間を大きく軽減し、ロボットシステム立ち上げ等に要する時間を短縮することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

図１に示したロボットシステム１００の構成は例示であって、その構成要素の全てが必須の構成要素ではないことが理解されるべきである。例えば、ロボットシステム１００からコンベヤ２５及びコンベヤ制御装置２０を省略したようなシステム構成も有り得る。

上述の実施形態は、視覚センサとしての撮像装置により物体を検出して所定の作業を実行するロボットシステムに関するものであったが、本発明は、物体を検出するための他の種類のセンサ（近接センサ、距離センサ等）を有するロボットシステムに適用されても良い。なお、このような他の種類のセンサがロボットシステムにおいて用いられる場合には、上記動作（Ｃ１）においてはセンサの出力結果を提示するようにする。

ロボット、或いはロボット共に各可動機体を問題発生時の位置に戻して各種調整を行いシステムの立ち上げに要する時間を短縮化し得るという、上述の実施形態に示された構成は、様々な形態のロボットシステムに適用し得る。

ここで、図９及び図１０を参照して他の実施形態について説明する。ここで示す実施形態は、ロボットに搭載した視覚センサにより作業空間に配置したマーカを検出することで、作業空間に対するロボットの位置を補正可能に構成されたロボットシステムに関するものである。図９は、ロボットシステム５００の機器構成を表す図である。ロボットシステム５００は、工作機械５１０と、ロボット５２０と、ロボット５２０を制御するロボット制御装置５３０と、ロボット５２０及びロボット制御装置５３０を搬送するための搬送装置５８１とを含む。ロボット５２０は、搬送装置５８１に搭載された状態で工作機械５１０の前の所定の位置に配置され、工作機械５１０内への作業対象物（以下、ワークと記載する）のロード／アンロード等の所定の作業を実行する。すなわち、ロボットシステム５００は、工作機械５１０へのワークのロード／アンロードをロボット５２０により自動化する自動化システムとして構成されている。搬送装置５８１は、例えば、台車又はＡＧＶ(Automated Guided Vehicle；無人搬送車）である。

教示装置５５０は、ロボット制御装置５３０に無線或いは有線接続され、ロボット５２０を教示するために用いられる。なお、ロボットシステム５００の実運用時には、教示装置５５０を用いて作成された制御プログラムはロボット制御装置５３０内に登録されている状態となるため、教示装置５５０はロボットシステム５００から省かれても良い。

図９のようなロボットシステム５００において、ロボット５２０がワークのロード／アンロード等の作業を実行すると、ロボット５２０を搭載した搬送装置５８１の位置が変わってしまう。したがって、ロボット５２０は、工作機械５１０に対するロボット５２０の位置ずれを計測し、工作機械５１０に対して正しく作業を行うことができるように構成される必要がある。そのため、ロボット５２０のアーム先端部５２１には視覚センサ５７１が搭載され、ロボット５２０（ロボット制御装置５３０）は、視覚センサ５７１を用いて作業空間（工作機械５１０）に対するロボット５２０の位置ずれを検出し、当該位置ずれを補正して作業を実行するように構成される。

教示装置５５０は、ロボット５２０のアーム先端部５２１に搭載した視覚センサ５７１により、作業空間（工作機械５１０）の所定の位置に設置されたマーカ５０４の３次元位置を計測し、ロボット５２０の作業空間に対する所期の位置からの位置ずれを計測するプログラム（以下、このようなプログラムを計測プログラムとも称する）を作成する機能を提供する。教示装置５５０を用いて作成された計測プログラムを含む制御プログラムは、ロボット制御装置５３０に登録され、以後、ロボット５２０（ロボット制御装置５３０）は、ロボット５２０の作業空間に対する所期の位置からの位置ずれを検出して位置補正を行い所定の作業を実行するよう動作することができる。

視覚センサ５７１は、２次元カメラであってもよく、或いは３次元位置検出器であっても良い。本実施形態では、視覚センサ５７１は２次元カメラであるものとする。視覚センサ５７１は、ロボット制御装置５３０に接続されている。ロボット制御装置５３０は、視覚センサ５７１を制御するための機能、視覚センサ５７１が撮像した画像に対する各種画像処理を行う機能等を有しているものとする。また、ロボット５２０を基準とする視覚センサ５７１の位置を示すデータを含むキャリブレーションデータは、ロボット制御装置５３０のメモリに予め記憶されているものとする。

図１０は、ロボット制御装置５３０の機能ブロック図である。図１０に示すように、ロボット制御装置５３０は、制御プログラムその他の各種情報を記憶する記憶部６３１と、制御プログラムにしたがってロボット５２０の動作を制御する動作制御部６３２と、マーカ位置計測部６３３と、相対位置計算部６３４と、計測精度評価部６３５と、異常検出時処理部６３６とを備える。

マーカ位置計測部１３３は、視覚センサ５７１を用いてマーカ５０４の３次元位置を計測する。本実施形態では、一例として、マーカ位置計測部６３３は、２次元カメラとしての視覚センサ５７１を用いてステレオ計測法によりマーカ５０４の位置計測を行う。すなわち、マーカ位置計測部６３３は、２次元カメラからなる視覚センサ５７１の位置を変えて２つの異なる位置から同一のマーカ５０４を撮像し、そのマーカ５０４の３次元位置を算出する。この手法は、比較的安価な２次元カメラを用いることで位置計測システムを低コストで実現できるという利点をもたらす。なお、マーカ（ターゲットマークや視覚マーカとも称される）の位置を計測するための当分野で知られた他の手法が用いられても良い。

記憶部６３１には、ロボット５２０のアーム先端部５２１に設定した座標系（メカニカルインタフェース座標系）を基準とした２次元カメラ（視覚センサ５７１）の位置を示すキャリブレーションデータが記憶されている。一方、ロボット制御装置５３０（マーカ位置計測部６３３）は、ロボット５２０の動作時におけるアーム先端部５２１の位置及び姿勢を把握することができる。したがって、ロボット制御装置５３０（マーカ位置計測部６３３）は、ロボット５２０の動作に応じて、メカニカルインタフェース座標系をロボット座標系に変換することで、２次元カメラ（視覚センサ５７１）の撮像時のセンサ座標系とロボット座標系とを対応付けることができる。これにより、マーカ位置計測部６３３において、対象（マーカ５０４）の位置をロボット座標系における３次元位置として求めることが可能となる。

相対位置計算部６３４は、計測されたマーカ位置に基づいて、作業空間（工作機械５１０）とロボット５２０の相対位置（言い換えると、作業空間に対するロボット５２０の所期の位置からのずれ量）を求める。

動作制御部６３２は、計算された作業空間とロボットとの相対位置関係（作業空間に対するロボット５２０の所期の位置からのずれ量））に基づいて、ロボット５２０が規定の位置及び姿勢から補正された正しい位置及び姿勢で作業を実行するようにロボット５２０を制御する。

計測精度評価部６３５は、マーカ位置計測部６３３が一つのマーカ５０４の位置を計測した計測結果の精度を評価する機能を有する。

マーカ位置計測部６３３は、計測精度評価部６３５による計測精度が低いと評価されている場合に計測するマーカ数を増加させるように構成されていても良い。一例として、３つのマーカを用いて計測を行う場合には、次のように行う。３つのマーカを教示点の周囲の位置に配置する。計測した第１番目のマーカの位置を原点位置、計測した２番目のマーカの位置をＸ軸方向の位置、計測した３番目のマーカの位置をＸＹ平面状にあるとして座標系（作業空間の座標系）の位置・姿勢を把握する。

ロボット制御装置５３０は、上述の手法にてロボット５２０と作業空間（工作機械５１０）との相対位置関係を把握した後、ロボット５２０と作業空間との位置関係が所期の位置関係に維持されるように補正動作を実行しながら、ロボット１に所定の作業（工作機械５１０内へのワークのロード／アンロード等）を実行させる。

異常検出時処理部６３６は、ロボット１が所定の作業を実行する過程で、マーカの検出結果を用いた補正動作に起因する異常が検知された場合、ロボット５２０を制御し視覚センサ５７１を、マーカの撮像位置（すなわち、異常の要因となる検出が行われた位置）まで戻して停止させる。ここで、補正動作に起因する異常とは、例えば、ロボット５２０がワークを配置する際に正しい位置に配置できない場合（着座エラー等）である。このように、補正動作に起因する異常が検出された場合、ロボット５２０（視覚センサ５７１）が自動的に撮像位置（すなわち、補正動作を生成するための撮像が行われた位置）に戻るため、オペレータは、マーカの検出機能に関する調整（パラメータ調整等）を迅速かつ容易に行うことができるようになる。

上述の図１から図８を参照して説明したロボットシステム１００と、図９から図１０を参照して説明したロボットシステム５００は、ロボットと、センサによる検出対象に対する検出結果に基づいてロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、ロボット制御装置は、センサによる検出動作に係わる異常が検知されたことに応じて、ロボットを異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備える、ロボットシステムである、と位置付けることができる。

図３、図１０に示した機能ブロック図における機能配分は例示であり、機能配分に関しても様々な例があり得る。例えば、上述の実施形態における画像処理部１５２としての機能を有する視覚センサ制御装置をロボット制御装置とは別体の装置として配置する構成も有り得る。

図３、図１０に示したロボット制御装置や上位制御装置の機能ブロックは、これらの装置のプロセッサが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。

上述した実施形態における図５の位置合わせ制御、図７の異常検出時処理等の各種処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

１０ ロボット
２０ コンベヤ制御装置
２５ コンベヤ
３０ ハンド
４０ 教示装置
４１ 表示部
５０ ロボット制御装置
５１ プロセッサ
５２ メモリ
５３ 入出力インタフェース
５４ 操作部
６０ 上位制御装置
６１ プロセッサ
６２ メモリ
６３ 表示部
６４ 操作部
６５ 入出力インタフェース
７１、７２、７３ 撮像装置
８１、９１ ワーク
１００ ロボットシステム
１５１ 動作制御部
１５２ 画像処理部
１５３ 異常検出時処理部
１５４ 情報記録部
１５５ 動作プログラム
１６１ 制御部
１６２ 異常時処理部
１６３ 情報記録部
１６４ 制御プログラム
５００ ロボットシステム
５０４ マーカ
５１０ 工作機械
５２０ ロボット
５３０ ロボット制御装置
５５０ 教示装置
５７１ 視覚センサ
６３１ 記憶部
６３２ 動作制御部
６３３ マーカ位置計測部
６３４ 相対位置計算部
６３５ 計測精度評価部
６３６ 異常検出時処理部

Claims (9)

1. ロボットと、
   センサによる検出対象に対する検出結果に基づいて前記ロボットに所定の作業を実行させるように制御するロボット制御装置と、を具備し、
   前記ロボット制御装置は、前記センサによる検出動作に係わる異常が検知されたことに応じて、前記ロボットを前記異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部を備え、
   前記異常検出時処理部は、前記ロボットが前記異常が検知された時点の位置に戻り停止している状態で前記センサを作動させ、前記センサの出力結果を表示部に表示させる、
   ロボットシステム。
2. 前記ロボット制御装置は、前記センサにより前記検出対象を検出しながら前記ロボットに前記所定の作業を実行させ、
   前記異常検出時処理部は、前記センサによる検出動作において前記異常が検知されたことに応じて、前記ロボットを前記異常が検知された時点の位置まで戻し停止させるように制御する、請求項１に記載のロボットシステム。
3. 物品を搬送する搬送装置と、
   前記搬送装置及び前記ロボット制御装置を制御する上位制御装置と、を更に具備し、
   前記異常検出時処理部は、さらに、前記異常が検知されたことに応じて、前記上位制御装置に対して、前記異常が検知されたことを示す信号を出力し、
   前記上位制御装置は、前記信号を受信することに応じて、前記搬送装置を前記異常が検知された時点の位置まで戻し停止させるように制御する異常時処理部を備える、請求項１又は２に記載のロボットシステム。
4. 前記センサは、撮像装置であり、
   前記出力結果は、前記撮像装置による撮像画像である、請求項１から３のいずれか一項に記載のロボットシステム。
5. 前記異常検出時処理部は、前記異常が検知されたことに応じて、前記異常の内容に関する情報を前記表示部に表示させる、請求項１から４のいずれか一項に記載のロボットシステム。
6. 前記異常検出時処理部は、前記異常が検出された時点の前記ロボットの動作条件に関する情報を前記表示部に表示させる、請求項１から５のいずれか一項に記載のロボットシステム。
7. 前記ロボット制御装置に接続され、前記ロボットを教示するための教示装置をさらに具備し、
   前記表示部は、前記教示装置に設けられている、請求項１から６のいずれか一項に記載のロボットシステム。
8. 前記センサは、前記ロボットに搭載された視覚センサであり、
   前記ロボット制御装置は、前記視覚センサにより作業空間に配置された１又は複数のマーカを検出することにより、前記作業空間に対する前記ロボットの位置を補正する補正動作を実行するように構成され、
   前記異常は、前記補正動作に起因するものであり、
   前記異常検出時処理部は、前記異常が検知されたことに応じて、前記視覚センサが前記マーカを検出した位置に戻るように前記ロボットを制御する、請求項１に記載のロボットシステム。
9. センサによる検出対象に対する検出結果に基づいてロボットに所定の作業を実行させるように制御する動作制御部と、
   前記センサによる検出動作に係わる異常が検知されたことに応じて、前記ロボットを前記異常の要因となる検出がなされた時点の位置まで戻し停止させるように制御する異常検出時処理部と、を備え、
   前記異常検出時処理部は、前記ロボットが前記異常が検知された時点の位置に戻り停止している状態で前記センサを作動させ、前記センサの出力結果を表示部に表示させる、
   ロボット制御装置。

Images