JP7701465B2

JP7701465B2 - 作業支援装置及び作業支援方法

Info

Publication number: JP7701465B2
Application number: JP2023556063A
Authority: JP
Inventors: 聡稲垣
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2025-07-01
Anticipated expiration: 2041-10-29
Also published as: WO2023073959A1; JPWO2023073959A1; US20240416524A1; CN118103155A; TW202319851A; DE112021008131T5

Description

本発明は、ロボットに行わせるべき作業を支援する装置及び方法に関する。

ロボットを使用した種々の動作を、シミュレーション装置を用いて予めシミュレートする技術が知られている。例えば、ロボットでワークを把持して曲げ機械に供給する曲げ加工において、ワークの展開図を表示して作業者がワークの曲げ順を決定できるようにしたシミュレーション技術が周知である（例えば特許文献１を参照）。

また、対象物の３次元ＣＡＤデータを用いて２次元の投影データを取得することで、必要とされる部分のＮＣデータのみを選択的に作成できるようにした技術が周知である（例えば特許文献２を参照）。

特開２００４－０８２２１６号公報特開平０５－０８８７３２号公報

ワークの曲げ線等、ロボットによる作業の対象物においてその作業を行うべき部位を、作業者が端末等を利用して指定する場合、対象物をどのような形で表示するかで作業の難易度は大きく異なる。例えば、３次元の物体であるワークは、ある方向に投影した２次元画像で表した方が位置等の指定がしやすいが、最適な投影方向を作業者の熟練度に依らず決定することは困難である。

本開示の一態様は、ロボットが曲げ加工を行う曲げ線を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、前記投影図上において前記曲げ線を指定する作業部位指定機能と、前記投影図上に指定された前記曲げ線の位置を、前記仮想空間内の位置に変換する作業部位変換機能と、を有し、前記曲げ線は前記対象物と前記仮想空間内の仮想平面との交線であり、前記仮想平面の法線方向は前記仮想空間内のロボット座標系のいずれの軸方向とも一致しない、作業支援装置である。

本開示の他の態様は、ロボットが曲げ加工を行う曲げ線を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成することと、前記投影図上において前記曲げ線を指定することと、前記投影図上に指定された前記曲げ線の位置を、前記仮想空間内の位置に変換することと、を含み、前記曲げ線は前記対象物と前記仮想空間内の仮想平面との交線であり、前記仮想平面の法線方向は前記仮想空間内のロボット座標系のいずれの軸方向とも一致しない、作業支援方法である。

本開示によれば、ワーク上の作業部位の指定に適した投影図を、作業者の熟練度等に依らず、自動的に作成することができるので、作業者の負担や作業時間を大幅に低減することができる。

実施形態に係る作業支援装置を含むシステムのブロック図である。仮想空間内に設定された曲げ加工対象物を例示する図である。図２の対象物に曲げ線を指定する方法を説明する図である。対象物の向きが図３とは異なる例を示す図である。曲げ加工対象物の作業対象面の投影方向を説明する図である。作業支援装置の処理の一例を示すフローチャートである。作業対象物を包含する有向バウンディングボックスの一例を示す図である。曲げ加工対象物の作業対象面の投影図を示す図である。作業対象物と投影面の位置関係を例示する図である。取り出し作業対象物の作業対象面の投影方向を説明する図である。図１０の作業対象面の投影図を示す図である。

図１は、好適な実施形態に係る作業支援装置及びロボットを含むシステムの概略ブロック図である。システム１０は、少なくとも１台のロボット１２と、ロボット１２を制御するロボット制御装置１４と、後述する処理によってロボット１２が行うべき作業を支援する作業支援装置１６と、ロボット１２の作業対象物（ワーク）の３次元（３Ｄ）形状のデータ（例えばＣＡＤデータ）等を記憶する形状データ記憶装置１８とを有し、これらの装置は互いに有線又は無線で通信可能に接続されている。

ロボット１２は、例えば産業用の多関節ロボットであり、ロボット制御装置１４から送信される指令に基づいて、後述する曲げ加工や取り出し操作等の種々の動作を実行できるように構成されている。ロボット制御装置１４は、プロセッサ及びメモリ等を備え、用意されたロボットプログラムや作業支援装置１６のシミュレーション結果等に基づいてロボット１２を制御するように構成されている。

作業支援装置１６は例えば、ロボット制御装置１４とは独立した、パーソナルコンピュータ（ＰＣ）等の計算機であり、後述する処理を実行するためのプロセッサ２０、メモリ２２、キーボード又はタッチパネル等の入力部２４、及びディスプレイ２６を備える。但し制御装置１４及び作業支援装置１６は、実質一体の装置とすることもできる。形状データ記憶装置１８は、例えばＣＡＤ装置であり、ワークの３Ｄ形状データ等のデータを保存することができる。また作業支援装置１６及び形状データ記憶装置１８は、実質一体の装置とすることもできる。

作業支援装置１６は、ＣＡＤ装置１８等に保存されたワークの３次元データを用いて、ロボット１２が該ワークに対して作業を行う部位である作業対象面を、該作業対象面に垂直な方向に投影した投影図を仮想空間内に作成する投影図作成機能と、作成された投影図上に、ロボット１２が作業を行う部位を設定する作業部位設定機能とを有する。本実施形態では、作業支援装置１６のプロセッサが、投影図作成機能及び作業部位変換機能を担い、プロセッサ及び入力部が作業部位指定機能を担うものとする。以下、作業支援装置１６における処理の具体例を説明する。

（実施例１）
本実施例では、ロボットを用いた対象物の加工の一例として、曲げ加工のシミュレーションを行う装置及び方法について説明する。図２及び図３は、作業支援装置１６のディスプレイ２６等に表示された仮想空間を示し、ここでは、平板状の板金であるワーク３０をロボット１２で把持し、ワークの作業対象面３２上に指定された加工線（例えば曲げ線）３４に沿ってワーク３０の加工（ここでは曲げ加工）を行うシミュレーションを行うものとする。

曲げ線３４を指定する一つの方法として、図３に示すような仮想平面３６を仮想空間内に設定し、ワーク３０と平面３６との交線を曲げ線３４とする方法がある。通常、板金の曲げは該板金の最も薄い方向に対して行われるので、平面３６の法線方向３８は、板金の最も薄い方向と直交する方向に指定することが好ましい。

ここで、図２及び図３に示すように、仮想３次元空間のロボット座標系４０の各軸の方向がワーク３０の各辺と平行であれば、平面３６の法線方向３８が座標系４０の１つの軸方向（ここではｘ方向）に一致するような指定を行えばよいので、作業者は作業支援装置１６の入力部２４等を介して、比較的容易に曲げ線３４を指定することができる。

しかし図４に示すように、座標系４０の各軸の方向がワーク３０の各辺と平行でない場合は、平面３６の法線方向３８が座標系４０のいずれの軸方向とも一致しないので、作業者は曲げ線３４を指定する前に、法線方向３８の適切な変更（回転移動等）をしなければならない。このような操作は、作業者の熟練度にもよるが、困難かつ時間を要する。

そこで実施例１では、図５に示すように、ワーク３０の作業対象面３２に垂直な方向（本実施例ではワーク３０の最も薄い方向）４２を作業者が指定し又は後述する処理によって求め、この方向４２を法線ベクトルとする平面（すなわち作業対象面３２に平行な面）に作業対象面３２を投影した投影図を作成し、作成された投影図上で曲げ線を指定する。以下、図６のフローチャートを参照して、これらの処理を説明する。

先ずステップＳ１において、ＣＡＤ装置１８に保存されているワーク３０の３Ｄデータを適当な数のメッシュに分割し、メッシュの頂点等の代表点の座標群を取得する。

次にステップＳ２において、図７に示すように、ワーク３０、より具体的には取得した頂点の座標群を包含する有向バウンディングボックス（Oriented Bounding Box、以下、ＯＢＢとも称する）４４を、ロボット座標系４０を基準とする仮想空間内に作成する。ＯＢＢ４４は方向性を持つ直方体であり、ＯＢＢ４４自体及びその作成方法は周知であるので、詳細な説明は省略する。なおＯＢＢ４４の各辺の方向は、ＯＢＢ４４に設定されたＯＢＢ座標系４６によって表されるが、図７では明瞭化のため、ワーク３０の厚さ方向（座標系４６のｚ方向）の寸法を拡大している。

次にステップＳ３において、ＯＢＢ４４の最も短い辺の方向ベクトル（図示例ではＯＢＢ座標系４６のｚ方向）を法線ベクトルとする仮想平面４８（後述する図９を参照）を作成する。ここでＯＢＢのｚ方向は、ワーク３０の最も薄い方向であるとともに、作業対象面３２に垂直な方向である。

次にステップＳ４において、作成した平面４８の上にステップＳ１で取得した座標群を上記法線ベクトル方向（ＯＢＢ座標系４６のｚ方向）に射影して、図８に示すような投影図５０を作成する。

次にステップＳ５において、作業者等が、ディスプレイ２６に表示された投影図５０上に、入力部２４等を介して曲げ線３４の位置を入力・指定し、ディスプレイ２６は指定された曲げ線３４を表示する。最後にステップＳ６において、投影図５０上に指定された曲げ線３４の位置を、ロボット座標系４０を基準とする仮想空間の位置に変換することで、曲げ線の設定が完了する。このようにして、ロボット１２が曲げ加工を行う際に使用できる曲げ線の３次元データが得られる。

なおステップＳ１－Ｓ６のうち、Ｓ５以外は作業支援装置１６が自動的に実行可能であり、Ｓ５は作業者の入力に基づいて行われる。但し、予め曲げ線の条件等を設定しておくことにより、Ｓ５も作業支援装置１６のプロセッサ２０等が自動的に実行することもできる。

実施例１では、ワーク３０の３Ｄモデルをその最も薄い方向に投影した投影図５０を作成することで、作業者は投影図５０上で曲げ線３４の位置を指定することができる。投影図５０は作業対象面３２の形状を正確に反映したものであるので、ワーク３０の各辺の方向とロボット座標系４０の各軸方向とが一致しない場合でも、作業者は３Ｄモデルの回転等の面倒な作業を行うことなく、容易かつ正確に所望の曲げ線を指定することができる。

またＯＢＢ４４を使用すれば、ＯＢＢ４４の最も短い辺の方向ベクトル（ここではｚ方向）が、ワーク３０の最も薄い方向に一致するので、曲げ線３４の指定に適した投影図５０をより容易に計算・作成することができる。

図９は、ワーク３０の作業対象面３２と、投影図５０が作成される平面４８との位置関係を示す概略図である。図９のようにワーク３０の厚さが均一でない場合でも、ＯＢＢ４４最も短い辺の方向（座標系４６のｚ方向）を法線ベクトルとする平面４８上に、点５２、５４及び５６で示すような各メッシュの頂点を射影し、投影図５０上に点５８、６０及び６２を設定することで、曲げ線の指定に適した投影図が得られる。

通常は、曲げ線はワークの最も薄い部位に指定されるので、図９の例では曲げ線は、点６０には指定され得るが、点５８及び６２には指定されない。そこで、厚さが均一でない場合はワークの作業面と投影図との距離が場所によって異なることを利用して、ワーク３０上の各点と平面４８上の対応する各点との距離（例えば点５４と点６０との距離）に基づいて、投影図上の各点を、色彩やマーク形状の変更等によって視覚的に識別できるようにすることができる。このようにすれば、例えばワーク３０の薄い部位にある点６０は、厚い部位にある点５８及び６２とは異なる色彩や形状で表示されるので、作業者は投影図上のどの部位に曲げ線を指定すべきかをより明確に把握できるようになる。

このように実施例１では、作業支援装置１６は、曲げ加工のシミュレーションを実行し、そのシミュレーション結果をロボット制御装置１４に送信可能に構成されたシミュレーション装置として機能する。

（実施例２）
実施例２では、作業支援装置１６は、ロボット１２による物品の取り出し作業を支援する装置として機能する。ここでは図１０に示すように、楕円形状の作業対象面６８を有するワーク６４が複数個バラ積みされており、これらのワークを視覚センサで検出した結果（例えばカメラで撮像した画像）に基づいて、ワーク６４を逐次的にロボット１２で取り出す作業を考える。

この場合も実施例１と同様に、ワーク６４を適当な数のメッシュに分割して、メッシュの頂等の代表点を表す点群６６を取得する。次に点群６６を仮想平面に射影して投影図を作成するのであるが、バラ積みされたワーク６４は傾斜しているので、例えば鉛直方向７０に垂直な仮想平面７２に点群６６を射影すると、得られた投影図上では、各点間の距離や位置関係が正確に反映されないことがある。

そこで実施例２では、作業対象面（ここではロボット１２のハンドで吸着等の保持をされる面）６８の法線ベクトル７４に垂直な（すなわち作業対象面６８に平行な）仮想平面７６上に、点群６６を方向７４に沿って射影して投影図を得ることが好ましい。このようにすれば、図１１に示すように、作業対象面６８上の点群と同じ位置関係の点群を含む投影図７８が得られるので、作業者は、作業対象面６８上のどの部位を吸着等の作業対象部位とすべきかを的確に指定することができる。なお作業者による指定の代わりに、例えば、投影図７８内の点群６６の位置に基づいて作業対象面６８の重心位置を自動的に計算し、該重心位置を作業対象部位とすることもできる。このようにして得られた作業対象部位の位置を利用して、ロボット１２が保持すべき作業対象面６８の部位を適切に決定することができる。

なお実施例２においても、ワーク６４の３Ｄデータが予めＣＡＤ装置１８等に保存されていれば、該３Ｄデータ及びワークのカメラ画像に基づいて、作業支援装置１６が実施例１のようなＯＢＢを作成することもできる。その場合、ＯＢＢのうちワーク６４の作業対象面６８（例えばＸＹ面）に垂直な方向（例えばＺ軸方向）にワーク６４及び点群６６を投影し、該作業対象面６８に平行な投影図を作成すれば、実施例１と同様の効果が得られる。

本開示によれば、作業対象面に平行な投影図を仮想的に生成することで、曲げ線の指定やワーク把持位置の指定等、ロボットによる種々の作業に必要な設定を容易かつ正確に行えるようになる。

１０システム
１２ロボット
１４ロボット制御装置
１６作業支援装置
１８形状データ記憶装置
２０プロセッサ
２２メモリ
２４入力部
２６ディスプレイ
３０、６４ワーク
３２、６８作業対象面
３４曲げ線
３６、４８、７２、７６仮想平面
３８、４２、７４法線ベクトル
４０ロボット座標系
４４有向バウンディングボックス
４６ＯＢＢ座標系
５０、７８投影図

Claims

ロボットが曲げ加工を行う曲げ線を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、
前記投影図上において前記曲げ線を指定する作業部位指定機能と、
前記投影図上に指定された前記曲げ線の位置を、前記仮想空間内の位置に変換する作業部位変換機能と、
を有し、
前記曲げ線は前記対象物と前記仮想空間内の仮想平面との交線であり、前記仮想平面の法線方向は前記仮想空間内のロボット座標系のいずれの軸方向とも一致しない、作業支援装置。
前記対象物を包含する有向バウンディングボックスを作成し、前記投影図は、前記有向バウンディングボックスのうち最も短い辺の方向に前記対象物を投影することで作成される、請求項１に記載の作業支援装置。
ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、
前記投影図上において前記作業対象部位を指定する作業部位指定機能と、
前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換する作業部位変換機能と、を有する作業支援装置であって、
前記投影図上の前記作業対象部位は、前記投影図上の前記作業対象部位と、対応する前記対象物上の前記作業対象部位との距離に基づいて、視覚的に識別できるように表示される、作業支援装置。
前記作業は前記対象物の取り出し動作であり、前記作業対象部位は前記ロボットが前記対象物を保持する部位である、請求項３に記載の作業支援装置。
ロボットが曲げ加工を行う曲げ線を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成することと、
前記投影図上において前記曲げ線を指定することと、
前記投影図上に指定された前記曲げ線の位置を、前記仮想空間内の位置に変換することと、
を含み、
前記曲げ線は前記対象物と前記仮想空間内の仮想平面との交線であり、前記仮想平面の法線方向は前記仮想空間内のロボット座標系のいずれの軸方向とも一致しない、作業支援方法。
ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成することと、
前記投影図上において前記作業対象部位を指定することと、
前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換することと、
前記投影図上の前記作業対象部位を、前記投影図上の前記作業対象部位と、対応する前記対象物上の前記作業対象部位との距離に基づいて、視覚的に識別できるように表示することと、
を含む、作業支援方法。