Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7610200B2 - Robot Control Device - Google Patents
[go: Go Back, main page]

JP7610200B2 - Robot Control Device - Google Patents

Robot Control Device Download PDF

Info

Publication number
JP7610200B2
JP7610200B2 JP2020106347A JP2020106347A JP7610200B2 JP 7610200 B2 JP7610200 B2 JP 7610200B2 JP 2020106347 A JP2020106347 A JP 2020106347A JP 2020106347 A JP2020106347 A JP 2020106347A JP 7610200 B2 JP7610200 B2 JP 7610200B2
Authority
JP
Japan
Prior art keywords
robot
operation information
parts
robot control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020106347A
Other languages
Japanese (ja)
Other versions
JP2022001388A (en
Inventor
佐野元紀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telexistence Inc
Original Assignee
Telexistence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telexistence Inc filed Critical Telexistence Inc
Priority to JP2020106347A priority Critical patent/JP7610200B2/en
Publication of JP2022001388A publication Critical patent/JP2022001388A/en
Application granted granted Critical
Publication of JP7610200B2 publication Critical patent/JP7610200B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、ロボットを制御するためのロボット制御装置、ロボット制御方法及びプログラムに関する。 The present invention relates to a robot control device, a robot control method, and a program for controlling a robot.

従来、ロボットが物体に衝突することを回避するための技術が知られている。特許文献1には、ロボットの部位の動きベクトルの延長線上に物体があるか否かに基づいて、他の物体に衝突するか否かを判定する技術が開示されている。 Conventionally, there are known techniques for preventing a robot from colliding with an object. Patent Document 1 discloses a technique for determining whether or not a robot will collide with another object based on whether or not an object is on an extension line of the motion vector of a robot's part.

特開2019-202354号公報JP 2019-202354 A

ロボットの部位が直線的な動きをしている場合には、ロボットの部位の動きベクトルの延長線上に物体があるか否かに基づいて、他の物体に衝突するか否かを適切に判定できる。しかしながら、ロボットの部位が直線的な動きをしていない場合には、ロボットの部位の動きベクトルを用いるだけでは、他の物体に衝突するか否かの判定精度が不十分であるという問題があった。 When a robot's parts move in a straight line, it is possible to appropriately determine whether or not it will collide with another object, based on whether or not an object is on the extension line of the motion vector of the robot's part. However, when a robot's parts do not move in a straight line, there is a problem in that the accuracy of determining whether or not it will collide with another object is insufficient simply by using the motion vector of the robot's part.

そこで、本発明はこれらの点に鑑みてなされたものであり、ロボットの部位が他の部位又は他の物体に衝突するか否かの判定精度を向上させることを目的とする。 Therefore, the present invention was made in consideration of these points, and aims to improve the accuracy of determining whether a part of a robot will collide with another part or another object.

本発明の第1の態様のロボット制御装置は、ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を生成する操作装置から、前記操作情報を受信する操作情報受信部と、前記操作情報に基づき前記操作者の動きに対応する動作を行うオブジェクトを作成するオブジェクト作成部と、前記操作情報に基づいて前記ロボットを制御するロボット制御部と、を有し、前記ロボット制御部は、前記操作情報受信部が受信した前記操作情報に基づいて前記オブジェクト作成部が作成した前記オブジェクトが所定の状態になると判定した場合に、前記操作情報に基づく前記ロボットの制御を停止させる。 The robot control device of the first aspect of the present invention has an operation information receiving unit that receives operation information from an operation device that generates operation information for operating the robot in response to the action of an operator operating the robot, an object creating unit that creates an object that performs an action corresponding to the movement of the operator based on the operation information, and a robot control unit that controls the robot based on the operation information, and when the robot control unit determines that the object created by the object creating unit based on the operation information received by the operation information receiving unit has reached a predetermined state, it stops controlling the robot based on the operation information.

前記オブジェクト作成部は、前記操作情報に基づいて前記オブジェクトの少なくとも一部の部位を動作させることにより前記オブジェクトの状態を変化させてもよい。 The object creation unit may change the state of the object by operating at least a portion of the object based on the operation information.

前記ロボット制御部は、前記操作情報に基づいて前記オブジェクトが動作できない状態、又は前記オブジェクトが転倒する状態になると判定した場合に、前記操作情報に基づく前記ロボットの制御を停止させてもよい。 The robot control unit may stop control of the robot based on the operation information when it determines, based on the operation information, that the object is in a state where it cannot move or that the object is in a state where it may fall over.

前記ロボット制御部は、前記操作情報に基づいて前記オブジェクトの状態を変化させた場合に前記オブジェクトの一以上の部位が前記オブジェクトの他の部位又は外部物体と接触する状態になると判定した場合に、前記操作情報に基づく前記ロボットの制御を停止させてもよい。 The robot control unit may stop control of the robot based on the operation information when it determines that changing the state of the object based on the operation information would cause one or more parts of the object to come into contact with other parts of the object or an external object.

前記ロボット制御部は、前記一以上の部位と前記他の部位又は前記外部物体との距離に基づいて前記接触する状態になるか否かを判定してもよい。 The robot control unit may determine whether or not the contact state occurs based on the distance between the one or more parts and the other parts or the external object.

前記ロボット制御部は、前記操作情報に対応する前記一以上の部位の移動方向と、前記一以上の部位と前記他の部位又は前記外部物体との位置関係とに基づいて、前記接触する状態になるか否かを判定してもよい。 The robot control unit may determine whether or not the contact state will occur based on the movement direction of the one or more parts corresponding to the operation information and the positional relationship between the one or more parts and the other parts or the external object.

前記ロボット制御部は、前記操作情報に対応する前記一以上の部位の移動速度又は移動加速度の少なくともいずれかに基づいて特定した所定の時間後における前記一以上の部位と前記他の部位若しくは前記外部物体との位置関係に基づいて、前記接触する状態になるか否かを判定してもよい。 The robot control unit may determine whether or not the contact state will occur based on the positional relationship between the one or more parts and the other parts or the external object after a predetermined time period determined based on at least one of the moving speed or moving acceleration of the one or more parts corresponding to the operation information.

前記ロボット制御部は、前記一以上の部位が接触する前記他の部位若しくは前記外部物体の位置、又は前記一以上の部位が前記他の部位若しくは前記外部物体に接触する時点での前記一以上の部位の加速度に基づいて、前記接触する状態になるか否かを判定してもよい。 The robot control unit may determine whether or not the one or more parts will come into contact based on the position of the other part or the external object with which the one or more parts come into contact, or the acceleration of the one or more parts at the time when the one or more parts come into contact with the other part or the external object.

ロボット制御装置は、前記操作者が視認可能な表示部に前記オブジェクトを表示させる表示処理部をさらに有し、前記表示処理部は、前記オブジェクトにおいて前記操作情報に基づいて移動する部位を他の部位と異なる色で示してもよい。 The robot control device may further have a display processing unit that displays the object on a display unit that is visible to the operator, and the display processing unit may display a part of the object that moves based on the operation information in a color different from other parts.

ロボット制御装置は、前記操作者が視認可能な表示部に前記オブジェクトを表示させる表示処理部をさらに有し、前記表示処理部は、前記オブジェクトにおいて前記操作情報に基づいて移動する前記オブジェクトの一以上の部位と他の部位とが所定の距離内になると予測した場合に、前記一以上の部位が前記他の部位から離れる向きを示す情報を前記表示部に表示させてもよい。 The robot control device further has a display processing unit that displays the object on a display unit visible to the operator, and when the display processing unit predicts that one or more parts of the object moving based on the operation information will be within a predetermined distance from other parts of the object, it may display information on the display unit indicating a direction in which the one or more parts will move away from the other parts.

前記ロボット制御部は、前記操作情報が示す操作内容の変化に基づいて、前記操作情報に基づく前記ロボットの制御を停止するか再開するかを切り替えてもよい。 The robot control unit may switch between suspending and resuming control of the robot based on the operation information based on a change in the operation content indicated by the operation information.

本発明の第2の態様のロボット制御方法は、ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を作成する操作装置から、前記操作情報を受信するステップと、前記操作情報に基づき前記操作者の動きに対応する動作を行うオブジェクトを作成するステップと、受信した前記操作情報に基づいて前記オブジェクトの一以上の部位が所定の状態になるか否かを判定するステップと、前記オブジェクトの一以上の部位が所定の状態になると判定した場合に、前記操作情報に基づく前記ロボットの制御を停止させるステップと、を有する。 A robot control method according to a second aspect of the present invention includes the steps of receiving operation information from an operation device that creates operation information for operating the robot in response to the movement of an operator who operates the robot, creating an object that performs an action corresponding to the movement of the operator based on the operation information, determining whether or not one or more parts of the object are in a predetermined state based on the received operation information, and stopping control of the robot based on the operation information when it is determined that one or more parts of the object are in the predetermined state.

本発明の第3の態様のプログラムは、コンピュータに、ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を作成する操作装置から、前記操作情報を受信するステップと、前記操作情報に基づき前記操作者の動きに対応する動作を行うオブジェクトを作成するステップと、受信した前記操作情報に基づいて前記オブジェクトの一以上の部位が所定の状態になるか否かを判定するステップと、前記オブジェクトの一以上の部位が所定の状態になると判定した場合に、前記操作情報に基づく前記ロボットの制御を停止させるステップと、を実行させる。 The program of the third aspect of the present invention causes a computer to execute the steps of receiving operation information from an operation device that creates operation information for operating a robot in response to the actions of an operator operating the robot, creating an object that performs an action corresponding to the movement of the operator based on the operation information, determining whether or not one or more parts of the object are in a predetermined state based on the received operation information, and stopping control of the robot based on the operation information when it is determined that one or more parts of the object are in a predetermined state.

本発明によれば、ロボットの部位が他の部位又は他の物体に衝突するか否かの判定精度を向上させることができるという効果を奏する。 The present invention has the effect of improving the accuracy of determining whether a part of a robot will collide with another part or object.

ロボット制御システムの概要を示す図である。FIG. 1 is a diagram illustrating an overview of a robot control system. ロボット制御装置の機能構成を示す図である。FIG. 2 is a diagram illustrating a functional configuration of a robot control device. ロボット制御システムの動作シーケンスを示す図である。FIG. 4 is a diagram showing an operation sequence of the robot control system. ロボット制御装置の動作のフローチャートを示す図である。FIG. 4 is a flowchart showing the operation of the robot control device.

[ロボット制御システムSの概要]
図1は、ロボット制御システムSの概要を示す図である。ロボット制御システムSは、遠隔地にある物が近くにあるかのようにユーザUに感じさせながら、操作者Uが物に対する操作をリアルタイムに行うことができるテレイグジスタンス環境を提供するシステムである。
[Overview of Robot Control System S]
1 is a diagram showing an overview of a robot control system S. The robot control system S is a system that provides a telexistence environment in which an operator U can operate a remote object in real time while making the user U feel as if the object is nearby.

ロボット制御システムSは、ロボット制御装置1と、操作装置2と、ロボット3とを有する。ロボット制御装置1は、操作者Uの操作に応じてロボット3を制御するための制御データを出力する装置であり、例えばコンピュータである。ロボット制御装置1は、操作装置2及びロボット3との間で、通信チャネルを介してデータを送受信する。 The robot control system S has a robot control device 1, an operation device 2, and a robot 3. The robot control device 1 is a device, such as a computer, that outputs control data for controlling the robot 3 in response to the operation of an operator U. The robot control device 1 transmits and receives data between the operation device 2 and the robot 3 via a communication channel.

ロボット制御装置1は、例えばロボット3に設けられているが、ロボット制御装置1はロボット3と異なる場所に設けられていてもよく、操作装置2の近傍に設けられていてもよい。ロボット制御装置1がロボット3に設けられている場合、ロボット制御装置1は、例えばインターネットを介して操作装置2との間でデータを送受信する。ロボット制御装置1が操作装置2の近傍に設けられている場合、ロボット制御装置1は、例えばインターネットを介してロボット3との間でデータを送受信する。 The robot control device 1 is provided on the robot 3, for example, but the robot control device 1 may be provided in a location different from the robot 3, or may be provided near the operation device 2. When the robot control device 1 is provided on the robot 3, the robot control device 1 transmits and receives data to and from the operation device 2, for example, via the Internet. When the robot control device 1 is provided near the operation device 2, the robot control device 1 transmits and receives data to and from the robot 3, for example, via the Internet.

操作装置2は、操作者Uが装着するデバイスであり、表示デバイス21及び操作デバイス22を含む。表示デバイス21は、操作者Uが視認可能なディスプレイを有する表示装置であり、例えばゴーグル型表示装置である。 The operation device 2 is a device worn by the operator U, and includes a display device 21 and an operation device 22. The display device 21 is a display device having a display that is visible to the operator U, and is, for example, a goggle-type display device.

操作デバイス22は、操作者Uがロボット3を操作するために用いるデバイスである。操作デバイス22は、例えば、操作者Uの身体の部位(例えば手及び腕)の動きを検出するための加速度センサーを有しており、操作者Uの身体の部位の動きを示す操作情報を生成する。 The operation device 22 is a device that the operator U uses to operate the robot 3. The operation device 22 has, for example, an acceleration sensor for detecting the movement of the operator U's body parts (e.g., the hands and arms), and generates operation information that indicates the movement of the operator U's body parts.

操作情報は、例えば、操作者Uの指、手、腕、頭、若しくは足等の各部の基準位置に対する相対位置を示す位置情報、各部の速度を示す速度情報、又は各部の加速度を示す加速度情報等の動作情報の少なくともいずれかを含む。基準位置は、例えば、操作者Uがロボット3の操作を開始する時点に所定の姿勢(例えば、腕を伸ばして胴体の両側につけた姿勢)をした状態における各部の位置である。操作デバイス22は、ロボット3の状態を操作者Uが感知することができるように、ロボット3の状態に対応する熱、圧力又は振動等を発生するための素子も有する。 The operation information includes at least one of the following motion information: position information indicating the relative position of each part of the operator U's fingers, hands, arms, head, or feet, etc., relative to a reference position; speed information indicating the speed of each part; or acceleration information indicating the acceleration of each part. The reference position is, for example, the position of each part when the operator U is in a specified posture (e.g., with arms outstretched and placed on both sides of the torso) at the time when the operator U starts operating the robot 3. The operation device 22 also has elements for generating heat, pressure, vibration, etc. corresponding to the state of the robot 3 so that the operator U can sense the state of the robot 3.

ロボット3は、ロボット制御装置1から受信する制御データに基づいて動作する。また、ロボット3は、周辺を撮影可能なカメラを有しており、カメラにより生成した撮像画像データをロボット制御装置1に送信する。さらに、ロボット3は、ロボット3が検知した触覚を示す触覚データ、ロボット3が収集した音を示す音データ、又はロボット3の関節の状態を示す関節状態データの少なくともいずれかのロボット状態データをロボット制御装置1に送信する。 The robot 3 operates based on control data received from the robot control device 1. The robot 3 also has a camera capable of photographing the surroundings, and transmits captured image data generated by the camera to the robot control device 1. Furthermore, the robot 3 transmits at least any of the following robot status data to the robot control device 1: tactile data indicating tactile sensations detected by the robot 3, sound data indicating sounds collected by the robot 3, or joint status data indicating the status of the joints of the robot 3.

ロボット制御装置1は、ロボット3から受信した撮像画像データに基づく画像を表示デバイス21に表示させる。また、ロボット制御装置1は、ロボット3から受信したロボット状態データに基づいて操作デバイス22を加熱したり振動させたりする。これらの構成により、操作者Uは、ロボット3から離れた場所において、あたかもロボット3に入っているかのような感覚でロボット3の周辺の環境を体感することができる。 The robot control device 1 displays an image based on the captured image data received from the robot 3 on the display device 21. The robot control device 1 also heats and vibrates the operation device 22 based on the robot status data received from the robot 3. With this configuration, the operator U can experience the environment around the robot 3 while in a location away from the robot 3, as if he or she were inside the robot 3.

また、ロボット制御装置1は、操作デバイス22から送信される操作情報に基づいて、ロボット3を動作させるための制御データを作成し、作成した制御データをロボット3に送信することによりロボット3の動作を制御する。ロボット制御装置1は、制御データをロボット3に送信する前に、操作情報が示す操作者Uの動きに対応する動作を行うオブジェクトBを作成し、作成したオブジェクトBの状態に基づいて、操作情報に基づいてロボット3を動作させるか否かを判定することを特徴としている。オブジェクトBは、例えば、ロボット3と同等の形状を表した三次元コンピュータグラフィックス画像データにより構成されるが、オブジェクトBの態様は、ロボットの形状と同一でなくてもよい。 The robot control device 1 also creates control data for operating the robot 3 based on operation information transmitted from the operation device 22, and controls the operation of the robot 3 by transmitting the created control data to the robot 3. The robot control device 1 is characterized in that, before transmitting the control data to the robot 3, it creates an object B that performs an action corresponding to the movement of the operator U indicated by the operation information, and determines whether or not to operate the robot 3 based on the operation information, based on the state of the created object B. The object B is, for example, configured from three-dimensional computer graphics image data that represents a shape equivalent to that of the robot 3, but the form of the object B does not have to be identical to the shape of the robot.

ロボット制御装置1は、オブジェクトBの動作に基づいて、操作情報に基づいてロボット3を動作させた場合に、ロボット3の一部の部位がロボット3の他の部位又は他の物体に衝突したり、ロボット3がバランスを崩して転倒したり、ロボット3が動作できなくなってしまったりするか否かを判定する。ロボット制御装置1は、ロボット3がこれらの状態になり得ると判定した場合に、操作情報に基づいてロボット3を動作させないことで、ロボット3が故障したり、ロボット3が他の物体を破壊したりすることを未然に防ぐことができる。
以下、ロボット制御装置1の構成及び動作を詳細に説明する。
The robot control device 1 determines, based on the movement of object B, whether or not a part of the robot 3 will collide with another part of the robot 3 or another object, whether or not the robot 3 will lose balance and fall, or whether or not the robot 3 will become unable to operate, when the robot 3 is operated based on the operation information. When the robot control device 1 determines that the robot 3 may be in these states, it can prevent the robot 3 from breaking down or destroying other objects by not operating the robot 3 based on the operation information.
The configuration and operation of the robot control device 1 will be described in detail below.

[ロボット制御装置1の構成]
図2は、ロボット制御装置1の機能構成を示す図である。ロボット制御装置1は、第1通信部11と、第2通信部12と、記憶部13と、制御部14とを有する。制御部14は、操作情報受信部141と、オブジェクト作成部142と、ロボット制御部143と、表示処理部144とを有する。
[Configuration of robot control device 1]
2 is a diagram showing the functional configuration of the robot control device 1. The robot control device 1 has a first communication unit 11, a second communication unit 12, a storage unit 13, and a control unit 14. The control unit 14 has an operation information receiving unit 141, an object creating unit 142, a robot control unit 143, and a display processing unit 144.

第1通信部11は、操作装置2との間で各種のデータを送受信するための通信コントローラを有する。第1通信部11は、操作装置2が送信した操作情報を受信し、受信した操作情報を操作情報受信部141に入力する。また、第1通信部11は、表示処理部144から入力された表示用データを操作装置2に送信する。 The first communication unit 11 has a communication controller for transmitting and receiving various data to and from the operation device 2. The first communication unit 11 receives operation information transmitted by the operation device 2, and inputs the received operation information to the operation information receiving unit 141. The first communication unit 11 also transmits display data input from the display processing unit 144 to the operation device 2.

第2通信部12は、ロボット3との間で各種のデータを送受信するための通信コントローラを有する。第2通信部12は、操作情報に基づいてロボット制御部143が生成した制御データをロボット3に送信する。また、第2通信部12は、ロボット3が送信した撮像画像データを受信し、受信した撮像画像データを表示処理部144に入力する。 The second communication unit 12 has a communication controller for transmitting and receiving various data to and from the robot 3. The second communication unit 12 transmits to the robot 3 control data generated by the robot control unit 143 based on the operation information. The second communication unit 12 also receives captured image data transmitted by the robot 3, and inputs the received captured image data to the display processing unit 144.

記憶部13は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を含む。記憶部13は、制御部14が実行するプログラムを記憶している。また、記憶部13は、制御部14がロボット3を動作させるために必要な各種のデータを記憶している。 The storage unit 13 includes storage media such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk. The storage unit 13 stores programs executed by the control unit 14. The storage unit 13 also stores various types of data required for the control unit 14 to operate the robot 3.

制御部14は、例えばCPU(Central Processing Unit)を有する。制御部14は、記憶部13に記憶されたプログラムを実行することにより、操作情報受信部141、オブジェクト作成部142、ロボット制御部143及び表示処理部144として機能する。 The control unit 14 has, for example, a CPU (Central Processing Unit). The control unit 14 executes the programs stored in the storage unit 13, thereby functioning as an operation information receiving unit 141, an object creating unit 142, a robot control unit 143, and a display processing unit 144.

操作情報受信部141は、第1通信部11を介して、ロボット3を操作する操作者Uの動作に応じてロボット3を操作するための操作情報を生成する操作装置2から、操作情報を受信する。操作情報受信部141は、受信した操作情報をオブジェクト作成部142及びロボット制御部143に入力する。 The operation information receiving unit 141 receives operation information from the operation device 2, which generates operation information for operating the robot 3 in response to the action of an operator U who operates the robot 3, via the first communication unit 11. The operation information receiving unit 141 inputs the received operation information to the object creation unit 142 and the robot control unit 143.

オブジェクト作成部142は、操作情報に基づき操作者Uの動きに対応する動作を行うオブジェクトBを作成する。オブジェクト作成部142は、操作情報に基づいてオブジェクトBの少なくとも一部の部位を動作させることによりオブジェクトBの状態を変化させる。 The object creation unit 142 creates an object B that performs an action corresponding to the movement of the operator U based on the operation information. The object creation unit 142 changes the state of the object B by moving at least a part of the object B based on the operation information.

オブジェクト作成部142は、操作情報が示す操作者Uの指、手、腕、頭、又は足等の各部の位置、速度又は加速度に基づいて、オブジェクトBに含まれている指、手、腕、頭、又は足等の各部の位置を変化させる。オブジェクト作成部142は、オブジェクトBの各部を変化させた後の各部の位置を示す情報をロボット制御部143に通知する。具体的には、オブジェクト作成部142は、オブジェクトBの各部の表面の複数の位置の変化後の座標を算出し、算出した座標をロボット制御部143に通知する。オブジェクト作成部142は、ロボット3の周辺に存在する物体の形状及び位置に対応するオブジェクトの位置を示す座標をロボット制御部143に通知してもよい。 The object creation unit 142 changes the position of each part of object B, such as the fingers, hands, arms, head, or feet, based on the position, speed, or acceleration of each part of the operator U, such as the fingers, hands, arms, head, or feet, indicated by the operation information. The object creation unit 142 notifies the robot control unit 143 of information indicating the position of each part of object B after the change. Specifically, the object creation unit 142 calculates the coordinates of multiple positions on the surface of each part of object B after the change, and notifies the robot control unit 143 of the calculated coordinates. The object creation unit 142 may also notify the robot control unit 143 of coordinates indicating the position of the object corresponding to the shape and position of an object present in the vicinity of the robot 3.

オブジェクト作成部142が算出する座標は、仮想的な三次元空間の座標である。当該三次元空間において、初期状態のオブジェクトBの各部の位置関係は、実空間におけるロボット3の初期状態(例えば直立した状態)でのロボット3の各部の位置関係と同等になっている。 The coordinates calculated by the object creation unit 142 are coordinates in a virtual three-dimensional space. In this three-dimensional space, the positional relationship of each part of object B in its initial state is equivalent to the positional relationship of each part of robot 3 in its initial state (e.g., standing upright) in real space.

以下、オブジェクト作成部142が作成するオブジェクトBの詳細を説明する。オブジェクト作成部142は、操作者Uの指示があるまでは、ロボット3と同じ姿勢のオブジェクトBを作成する。オブジェクト作成部142は、例えばロボット制御装置1の電源が投入された時点でロボット3の姿勢情報を受信して、受信した姿勢情報が示す姿勢のオブジェクトBを作成する。オブジェクト作成部142は、操作情報受信部141が操作者Uの操作に基づく操作情報を受信すると、受信した操作情報に基づいて、操作者Uの動きと同じ動作をするオブジェクトBを作成する。 Details of object B created by the object creation unit 142 are described below. The object creation unit 142 creates object B in the same posture as the robot 3 until an instruction from the operator U is received. For example, the object creation unit 142 receives posture information of the robot 3 when the robot control device 1 is powered on, and creates object B in the posture indicated by the received posture information. When the operation information receiving unit 141 receives operation information based on the operation of the operator U, the object creation unit 142 creates object B that moves in the same way as the movement of the operator U based on the received operation information.

なお、オブジェクト作成部142は、ロボット3の動き又は姿勢を示す情報を第2通信部12から取得し、取得した情報に基づいて、ロボット3の動き又は姿勢が反映されたオブジェクトBを作成してもよい。この場合、オブジェクトBにロボット3の動き又は姿勢が反映されるまでに遅延が生じ得る。そこで、オブジェクト作成部142は、ロボット3の動き又は姿勢を示す情報を受信できていない間は、対応する部位を他の部位と異なる色で示したり、ロボット3の動きを薄い色でゴースト表示したりするように表示処理部144に指示してもよい。 The object creation unit 142 may obtain information indicating the movement or posture of the robot 3 from the second communication unit 12, and create an object B reflecting the movement or posture of the robot 3 based on the obtained information. In this case, a delay may occur before the movement or posture of the robot 3 is reflected in the object B. Therefore, while the object creation unit 142 is unable to receive information indicating the movement or posture of the robot 3, the object creation unit 142 may instruct the display processing unit 144 to show the corresponding body part in a different color from the other body parts, or to ghost-display the movement of the robot 3 in a light color.

ロボット制御部143は、操作情報受信部141から入力された操作情報に基づいてロボット3を制御する。具体的には、まず、ロボット制御部143は、操作情報が示す操作者Uの指、手、腕、頭、又は足等の各部の基準位置に対する相対位置に基づいて、ロボット3の各部の基準位置に対する相対位置にロボット3の各部が移動するようにするための制御データを作成する。ロボット制御部143は、第2通信部12を介して、作成した制御データをロボット3に送信することにより、ロボット3を制御する。ロボット制御部143は、操作情報が示す操作者Uの各部の移動速度又は移動加速度に基づいてロボット3の各部を移動させるためのデータを含む制御データを作成してもよい。 The robot control unit 143 controls the robot 3 based on the operation information input from the operation information receiving unit 141. Specifically, first, the robot control unit 143 creates control data for moving each part of the robot 3 to a position relative to the reference position of each part of the robot 3 based on the relative position of each part of the operator U, such as the fingers, hands, arms, head, or feet, indicated by the operation information, relative to the reference position. The robot control unit 143 controls the robot 3 by transmitting the created control data to the robot 3 via the second communication unit 12. The robot control unit 143 may create control data including data for moving each part of the robot 3 based on the movement speed or movement acceleration of each part of the operator U indicated by the operation information.

ロボット制御部143は、ロボット3の各部を移動させることにより、ロボット3の各部がロボット3の他の部位や他の物体に衝突したり、ロボット3がバランスを崩して転倒したりしないように、オブジェクト作成部142から通知されるオブジェクトBの各部の位置を示す情報に基づいて制御データを作成する。 The robot control unit 143 creates control data based on information indicating the positions of each part of object B notified by the object creation unit 142 so that, when each part of the robot 3 is moved, the part does not collide with other parts of the robot 3 or other objects, and the robot 3 does not lose balance and fall over.

例えば、ロボット制御部143は、操作情報受信部141が受信した操作情報に基づいてオブジェクト作成部142が作成したオブジェクトBが所定の状態になると判定した場合に、操作情報に基づくロボット3の制御を停止させる。具体的には、ロボット制御部143は、操作情報に基づいてオブジェクトBが動作できない状態になると判定した場合に、操作情報に基づいて制御データを作成せず、操作情報に基づくロボット3の制御を停止させる。 For example, when the robot control unit 143 determines that object B created by the object creation unit 142 will be in a predetermined state based on the operation information received by the operation information receiving unit 141, the robot control unit 143 stops the control of the robot 3 based on the operation information. Specifically, when the robot control unit 143 determines that object B will be in an inoperable state based on the operation information, the robot control unit 143 does not create control data based on the operation information and stops the control of the robot 3 based on the operation information.

ロボット制御部143は、例えば、操作情報に基づいてオブジェクトBの状態を変化させた場合にオブジェクトBの一以上の部位がオブジェクトBの他の部位と接触する状態になると判定した場合に、操作情報に基づくロボット3の制御を停止させる。ロボット制御部143は、例えば一以上の部位と他の部位との距離に基づいて接触する状態になるか否かを判定する。 For example, when the robot control unit 143 determines that one or more parts of object B will come into contact with other parts of object B when the state of object B is changed based on the operation information, the robot control unit 143 stops the control of the robot 3 based on the operation information. The robot control unit 143 determines whether or not the one or more parts will come into contact with other parts based on the distance between the one or more parts and the other parts, for example.

図1に示す例の場合、操作者Uが左手を顔に近づけたことにより、オブジェクトBの左手の先と顔との距離が閾値以下になる場合に、ロボット3の左手と顔とが接触する状態になると判定する。閾値は、オブジェクトBの形状とロボット3の形状との差に基づいて定められ、オブジェクトBの形状とロボット3の形状との差が小さければ小さいほど閾値を小さくすることで、ロボット制御部143による判定精度が向上する。 In the example shown in FIG. 1, when operator U brings his/her left hand closer to his/her face, causing the distance between the tip of object B's left hand and the face to fall below a threshold, it is determined that the left hand of robot 3 will come into contact with the face. The threshold is determined based on the difference between the shapes of object B and robot 3, and the smaller the difference between the shapes of object B and robot 3, the smaller the threshold is set, thereby improving the accuracy of determination by the robot control unit 143.

ロボット制御部143は、操作情報に対応する一以上の部位の移動方向と、一以上の部位と他の部位との位置関係とに基づいて、一以上の部位と他の部位とが接触する状態になるか否かを判定してもよい。ロボット制御部143は、例えば、オブジェクトBの第1部位(例えば左手の先)が第2部位(例えば顔)から遠くなる向きに移動している場合、第1部位と第2部位とが接触しないと判定する。 The robot control unit 143 may determine whether or not one or more parts will come into contact with other parts based on the direction of movement of one or more parts corresponding to the operation information and the positional relationship between the one or more parts and other parts. For example, when a first part of object B (e.g., the tip of the left hand) is moving in a direction away from a second part (e.g., the face), the robot control unit 143 determines that the first part and the second part will not come into contact.

一方、ロボット制御部143は、オブジェクトBの第1部位と第2部位との距離が所定の範囲内であり、かつ第1部位が第2部位に近づく向きに移動している場合、接触すると判定する。ロボット制御部143がこのように動作することで、操作者Uが操作する前に、一以上の部位が他の部位と接触するか否かを判定できるので、ロボット3の一以上の部位が他の部位と接触してしまう確率をさらに下げることができる。 On the other hand, the robot control unit 143 determines that contact will occur if the distance between the first and second parts of object B is within a predetermined range and the first part is moving in a direction approaching the second part. By operating in this manner, the robot control unit 143 can determine whether or not one or more parts will come into contact with other parts before the operator U operates it, thereby further reducing the probability that one or more parts of the robot 3 will come into contact with other parts.

ロボット制御部143は、操作情報に対応する一以上の部位の移動速度又は移動加速度の少なくともいずれかに基づいて特定した所定の時間後における一以上の部位と他の部位若しくは外部物体との位置関係に基づいて、一以上の部位と他の部位若しくは外部物体とが接触する状態になるか否かを判定してもよい。ロボット制御部143は、例えば、ある時点における第1部位の位置及び第2部位の位置と、それらの部位の移動速度又は移動加速度に基づいて、所定の時間後の将来の時点における第1部位の位置及び第2部位の位置を予測する。所定の時間は、ロボット3の動作を停止させるために要する時間に基づいて定められており、例えば1秒である。ロボット制御部143は、予測した第1部位の位置と第2部位の位置との距離が閾値以下である場合に、ロボット3の一以上の部位が他の部位に接触すると判定する。 The robot control unit 143 may determine whether one or more parts will come into contact with another part or an external object based on the positional relationship between the one or more parts and another part or an external object after a predetermined time period specified based on at least one of the moving speed or moving acceleration of the one or more parts corresponding to the operation information. The robot control unit 143 predicts the position of the first part and the position of the second part at a future time period after the predetermined time period based on, for example, the positions of the first part and the second part at a certain time period and the moving speed or moving acceleration of those parts. The predetermined time period is determined based on the time required to stop the operation of the robot 3, and is, for example, one second. The robot control unit 143 determines that one or more parts of the robot 3 will come into contact with another part when the distance between the predicted positions of the first part and the second part is equal to or less than a threshold value.

同様に、ロボット制御部143は、ある時点におけるオブジェクトBの一以上の部位の位置と、当該部位の移動速度又は移動加速度に基づいて、将来の時点における当該部位の位置を特定する。ロボット制御部143は、特定した位置と、外部物体のオブジェクトとの距離が閾値以下である場合に、ロボット3の一以上の部位が外部物体に接触すると判定する。 Similarly, the robot control unit 143 identifies the position of one or more parts of object B at a future time based on the position of the part at a certain time and the moving speed or moving acceleration of the part. If the distance between the identified position and the external object is equal to or less than a threshold, the robot control unit 143 determines that one or more parts of the robot 3 will come into contact with the external object.

ロボット制御部143は、一以上の部位が接触する他の部位若しくは外部物体の位置、又は一以上の部位が他の部位若しくは外部物体に接触する時点での一以上の部位の加速度に基づいて、一以上の部位と他の部位とが接触する状態になるか否かを判定してもよい。ロボット制御部143は、ロボット3の一以上の部位が接触する他の部位の位置又は外部物体の位置が、ロボット3の一以上の部位、他の部位又は外部物体の故障につながらない位置(例えば柔らかい位置)である場合に、一以上の部位が他の部位又は外部物体に接触し得るとしても、接触する状態にならないと判定する。 The robot control unit 143 may determine whether one or more parts will come into contact with other parts based on the positions of other parts or external objects with which the one or more parts come into contact, or the acceleration of the one or more parts at the time when the one or more parts come into contact with the other parts or external objects. When the positions of other parts or external objects with which the one or more parts of the robot 3 come into contact are positions that will not lead to failure of the one or more parts of the robot 3, other parts, or external objects (e.g., soft positions), the robot control unit 143 determines that the one or more parts will not come into contact with the other parts or external objects even if they may come into contact with the other parts or external objects.

また、ロボット制御部143は、接触する時点での一以上の部位の加速度が所定の値よりも小さく、一以上の部位、他の部位又は外部物体の故障につながらない加速度である場合に、一以上の部位が他の部位又は外部物体に接触し得るとしても、接触する状態にならないと判定する。ロボット制御部143がこのように動作することで、ロボット3が故障するおそれがないにもかかわらず頻繁に動作を停止してしまうことを抑制できる。 Furthermore, if the acceleration of one or more parts at the time of contact is less than a predetermined value and is an acceleration that will not lead to failure of one or more parts, other parts, or an external object, the robot control unit 143 determines that even if one or more parts are capable of contacting other parts or an external object, they will not be in a state of contact. By the robot control unit 143 operating in this manner, it is possible to prevent the robot 3 from frequently stopping its operation even when there is no risk of failure.

ロボット制御部143は、操作情報に基づいてオブジェクトBの各部を移動させたことによりオブジェクトBが転倒する状態になる(すなわち、ロボット3が転倒する状態になる)と判定した場合に、操作情報に基づくロボット3の制御を停止させてもよい。ロボット制御部143は、例えば、操作情報に基づいてオブジェクトBの各部を移動させた場合の重心の位置を計算し、オブジェクトBの足の位置よりも重心の位置が外側にある場合に、オブジェクトBが転倒する状態になると判定する。 When the robot control unit 143 determines that moving each part of object B based on the operation information will cause object B to fall over (i.e., the robot 3 will fall over), the robot control unit 143 may stop controlling the robot 3 based on the operation information. For example, the robot control unit 143 calculates the position of the center of gravity when each part of object B is moved based on the operation information, and determines that object B will fall over if the position of the center of gravity is outside the position of the feet of object B.

ロボット制御部143は、例えば、操作者Uが右足だけで立った状態で頭や手を右側に動かし過ぎたような場合に、オブジェクトBが転倒する状態になると判定する。ロボット制御部143がこのように動作することで、ロボット3が転倒することでロボット3が故障したり、ロボット3の転倒によりロボット3が衝突する外部物体を破損したりすることを予防できる。 For example, if the operator U moves his/her head or hand too far to the right while standing on only his/her right leg, the robot control unit 143 determines that the object B will fall over. By operating in this manner, the robot control unit 143 can prevent the robot 3 from breaking down due to the robot 3 falling over, or from damaging an external object that the robot 3 collides with due to the robot 3 falling over.

ロボット制御部143は、操作情報受信部141が操作情報を受信している間、オブジェクトBを動かして問題ないかどうかを常に判定しており、ロボット3の各部の接触などの問題がない間は、操作情報に基づいてロボット3を制御する。ロボット制御部143は、操作情報に基づいてオブジェクトBを動かすと、オブジェクトBの部位同士が接触すると判定した場合、操作情報に基づくロボット3の動作を停止する。このように操作情報どおりにロボット3が制御されない部位がある場合に、ロボット制御部143は、オブジェクトBにおける当該部位を他の部位と異なる色で示すようにオブジェクト作成部142に指示してもよい。 While the operation information receiving unit 141 is receiving operation information, the robot control unit 143 constantly determines whether it is OK to move object B, and controls the robot 3 based on the operation information while there are no problems such as contact between parts of the robot 3. If the robot control unit 143 determines that moving object B based on the operation information would cause parts of object B to come into contact with each other, it stops the movement of the robot 3 based on the operation information. In this way, when there is a part of the robot 3 that is not controlled according to the operation information, the robot control unit 143 may instruct the object creation unit 142 to show that part of object B in a different color from other parts.

ロボット制御部143は、操作情報が示す操作内容の変化に基づいて、操作情報に基づくロボット3の制御を停止するか再開するかを切り替えてもよい。ロボット制御部143は、上記のとおり、操作情報に基づいてオブジェクトBを動作させた場合に、オブジェクトBの各部が他の部位又は外部物体と接触する場合にロボット3の制御を停止する。ロボット制御部143は、ロボット3の制御を停止した後に、オブジェクトBの各部が他の部位又は外部物体に接触しない状態に変化した場合に、ロボット3の制御を再開する。ロボット制御部143は、ロボット3の制御を停止した後の、オブジェクトBの各部の位置と、オブジェクトBの各部の移動方向、移動速度又は移動加速度の少なくともいずれかに基づいて、オブジェクトBの各部が他の部位又は外部物体に接触しないと判定できる場合に、ロボット3の制御を再開する。 The robot control unit 143 may switch between stopping and resuming control of the robot 3 based on the operation information, based on a change in the operation content indicated by the operation information. As described above, the robot control unit 143 stops control of the robot 3 if each part of the object B comes into contact with another part or an external object when the object B is operated based on the operation information. The robot control unit 143 resumes control of the robot 3 if each part of the object B changes to a state where it is not in contact with another part or an external object after stopping control of the robot 3. The robot control unit 143 resumes control of the robot 3 if it can be determined that each part of the object B will not come into contact with another part or an external object based on at least one of the positions of each part of the object B and the moving direction, moving speed, or moving acceleration of each part of the object B after stopping control of the robot 3.

表示処理部144は、操作者Uが視認できるように各種の情報を表示デバイス21に表示させる。表示処理部144は、例えば、操作者Uが視認可能な表示デバイス21にオブジェクトBを表示させる。この際、表示処理部144は、オブジェクトBにおいて操作情報に基づいて移動する部位を他の部位と異なる色で示してもよい。表示処理部144がこのように動作することで、操作者Uは、自身の動作によって、ロボット3がどのような動きになるかをイメージしながら操作をすることが可能になり、ロボット3の各部が他の部位や外部物体に接触しないように操作をしやすくなる。 The display processing unit 144 displays various information on the display device 21 so that it can be seen by the operator U. For example, the display processing unit 144 displays an object B on the display device 21 so that it can be seen by the operator U. At this time, the display processing unit 144 may display the part of the object B that moves based on the operation information in a color different from that of the other parts. By operating the display processing unit 144 in this manner, the operator U can operate the robot 3 while imagining how the robot 3 will move due to his or her own actions, making it easier to operate the robot 3 so that each part does not come into contact with other parts or external objects.

表示処理部144は、オブジェクトBにおいて操作情報に基づいて移動する一以上の部位と他の部位とが所定の距離内になると予測した場合に、一以上の部位が他の部位から離れる向きを示す情報を表示デバイス21に表示させてもよい。表示処理部144は、例えば図1に示した例において、オブジェクトBの左手が顔に接触すると予測した場合に、オブジェクトBを表示デバイス21に表示させるとともに左手を顔から離す向きに矢印を表示デバイス21に表示させたり、「左手を顔から離してください」といったテキストを表示デバイス21に表示させたりする。表示処理部144は、操作者Uが表示デバイス21において視認するオブジェクトBに基づいて自身の操作をしやすくするために、ロボット3を後ろ側から視認した状態に対応するオブジェクトBを表示デバイス21に表示させてもよい。 When the display processing unit 144 predicts that one or more parts of object B moving based on the operation information will be within a predetermined distance from other parts, the display processing unit 144 may display information indicating a direction in which the one or more parts will move away from the other parts on the display device 21. For example, in the example shown in FIG. 1, when the display processing unit 144 predicts that the left hand of object B will touch the face, the display processing unit 144 displays object B on the display device 21 and also displays an arrow on the display device 21 in a direction in which the left hand moves away from the face, or displays text such as "Please move your left hand away from your face" on the display device 21. The display processing unit 144 may display object B on the display device 21 that corresponds to a state in which the robot 3 is viewed from behind, in order to make it easier for the operator U to operate the robot 3 based on object B viewed on the display device 21.

表示処理部144は、ロボット3が有するカメラで撮影された画像に基づいて、ロボット3を中心とする三次元マップを作成し、三次元マップにおいてロボット3の周囲の障害物の状態を表示デバイス21に表示させてもよい。表示処理部144は、作成した三次元マップに基づいて、オブジェクトBの周囲にも三次元マップを作成し、オブジェクトBの周囲にロボット3の周囲と同じ環境の画像を表示させてもよい。表示処理部144がこのような画像を表示デバイス21に表示させることで、操作者Uは、オブジェクトBの動作によって、周囲の物と接触するかを判断することができる。 The display processing unit 144 may create a three-dimensional map centered on the robot 3 based on an image captured by a camera possessed by the robot 3, and display the state of obstacles around the robot 3 on the three-dimensional map on the display device 21. The display processing unit 144 may also create a three-dimensional map around object B based on the created three-dimensional map, and display an image of the same environment as around the robot 3 around object B. By having the display processing unit 144 display such an image on the display device 21, the operator U can determine whether the movement of object B will cause contact with surrounding objects.

[ロボット制御システムSの動作シーケンス]
図3は、ロボット制御システムSの動作シーケンスを示す図である。操作者Uが身体の各部を動かすと、操作デバイス22が操作情報を作成して(S1)、ロボット制御装置1に送信する。ロボット制御装置1は、受信した操作情報に基づいてオブジェクトBを作成する(S2)。ロボット制御装置1は、作成したオブジェクトBの各部が他の部位又は外部物体に接触するか否かに基づいて、操作情報に基づいてロボット3を動作させても問題ないか否かを判定する(S3)。ロボット制御装置1は、電源が入っている間、常にステップS3の判定を行う。ロボット制御装置1は、問題ないと判定した場合には、操作情報に基づく通常の制御データをロボット3に送信し、ロボット3は制御データに基づいて動作を実行する(S4)。
[Operation sequence of robot control system S]
3 is a diagram showing an operation sequence of the robot control system S. When the operator U moves each part of his/her body, the operation device 22 creates operation information (S1) and transmits it to the robot control device 1. The robot control device 1 creates an object B based on the received operation information (S2). The robot control device 1 judges whether it is OK to operate the robot 3 based on the operation information based on whether each part of the created object B contacts other parts or external objects (S3). The robot control device 1 always performs the judgment of step S3 while the power is on. If the robot control device 1 judges that there is no problem, it transmits normal control data based on the operation information to the robot 3, and the robot 3 executes an operation based on the control data (S4).

一方、ロボット制御装置1は、ステップS3において、オブジェクトBにおける一以上の部位が他の部位又は外部物体に接触するので問題があると判定した場合には、ロボット3の動作を停止させるための制御データをロボット3に送信する。ロボット3は、当該制御データを受信すると、動作を停止する(S5)。 On the other hand, if the robot control device 1 determines in step S3 that there is a problem because one or more parts of object B are in contact with other parts or external objects, it transmits control data to the robot 3 to stop the operation of the robot 3. Upon receiving the control data, the robot 3 stops its operation (S5).

[ロボット制御装置1の動作フローチャート]
図4は、ロボット制御装置1の動作のフローチャートを示す図である。図4に示すフローチャートは、操作者Uがロボット3の操作を開始した時点から開始している。操作者Uが操作を開始すると、操作情報受信部141は、操作デバイス22から操作情報を受信し(S11)、オブジェクト作成部142は操作情報に基づいてオブジェクトBを作成する(S12)。ロボット制御部143は、オブジェクト作成部142が作成したオブジェクトBの各部位の位置を特定し(S13)、オブジェクトBが所定の状態(例えば、部位同士が接触する状態)になるか否かを判定する(S14)。
[Operation flow chart of the robot control device 1]
Fig. 4 is a diagram showing a flowchart of the operation of the robot control device 1. The flowchart shown in Fig. 4 starts from the point when the operator U starts operating the robot 3. When the operator U starts the operation, the operation information receiving unit 141 receives operation information from the operation device 22 (S11), and the object creating unit 142 creates an object B based on the operation information (S12). The robot control unit 143 identifies the position of each part of the object B created by the object creating unit 142 (S13), and judges whether or not the object B is in a predetermined state (for example, a state in which parts are in contact with each other) (S14).

ロボット制御部143は、オブジェクトBが所定の状態にならないと判定した場合(S14においてNO)、操作情報に基づく制御データをロボット3に送信することにより、操作情報に基づいてロボット3を動作させる(S15)。一方、ロボット制御部143は、オブジェクトBが所定の状態になると判定した場合(S14においてYES)、ロボット3を停止させるための制御データをロボット3に送信することにより、ロボット3の動作を停止させる(S16)。 When the robot control unit 143 determines that object B will not reach a predetermined state (NO in S14), it transmits control data based on the operation information to the robot 3, thereby operating the robot 3 based on the operation information (S15). On the other hand, when the robot control unit 143 determines that object B will reach a predetermined state (YES in S14), it transmits control data for stopping the robot 3 to the robot 3, thereby stopping the operation of the robot 3 (S16).

制御部14は、操作者Uが操作を終了するまでの間(例えば一定時間ごとに操作情報を受信している間)(S17においてNO)、S11からS16までの処理を繰り返す。制御部14は、操作情報を操作デバイス22から受信しなくなると(S17においてYES)、処理を終了する。 The control unit 14 repeats the processes from S11 to S16 until the operator U ends the operation (for example, while the operation information is being received at regular time intervals) (NO in S17). When the control unit 14 stops receiving the operation information from the operation device 22 (YES in S17), it ends the process.

[変形例]
以上の説明においては、ロボット制御部143が、例えばオブジェクトBにおける一以上の部位と他の部位又は他の物体との距離が閾値以内になるとと判定した場合に、操作情報に基づくロボット3の制御を停止させる場合を例示した。オブジェクトBは、ロボット3と同等の形状であるとしても、完全に同一の形状ではないため、ロボット制御部143が誤判定する可能性がある。
[Modification]
In the above description, there has been exemplified a case in which the robot control unit 143 stops the control of the robot 3 based on the operation information when it determines that the distance between one or more parts of the object B and another part or another object is within a threshold value. Even if the object B has a similar shape to the robot 3, the shape is not completely the same, and therefore the robot control unit 143 may make an erroneous determination.

そこで、オブジェクト作成部142は、操作情報が入力されるとオブジェクトBの各部の位置を出力する機械学習モデルを用いてオブジェクトBを作成することにより、ロボット制御部143による誤判定の確率を低減させてもよい。当該機械学習モデルは、多数の操作情報に基づいて作成されたオブジェクトBに基づいてロボット制御部143がロボット3を制御した結果を教師データとして機械学習して作成されたモデルである。 Therefore, the object creation unit 142 may create object B using a machine learning model that outputs the positions of each part of object B when operation information is input, thereby reducing the probability of erroneous determination by the robot control unit 143. The machine learning model is a model created by machine learning using as training data the results of the robot control unit 143 controlling the robot 3 based on object B created based on a large amount of operation information.

当該機械学習モデルは、以下の場合における操作情報とオブジェクトBの各部の位置との関係を正の教師データとして使用して学習する。
(1)ロボット制御部143が、オブジェクトBの状態に基づいてロボット3を停止させる必要があると判定したが、停止しないでロボット3を動作させたとした場合にロボット3の一以上の部位が他の部位又は他の物体に接触したと想定される場合。
(2)ロボット制御部143が、オブジェクトBの状態に基づいてロボット3を停止させる必要がないと判定し、実際にロボット3の一以上の部位が他の部位又は他の物体に接触しなかった場合。
The machine learning model learns by using the relationship between operation information and the positions of each part of object B in the following cases as positive teacher data.
(1) The robot control unit 143 determines that it is necessary to stop the robot 3 based on the state of object B, but if the robot 3 were to be operated without being stopped, it is assumed that one or more parts of the robot 3 would come into contact with other parts or other objects.
(2) The robot control unit 143 determines that there is no need to stop the robot 3 based on the state of object B, and one or more parts of the robot 3 do not actually come into contact with other parts or other objects.

また、当該機械学習モデルは、以下の場合における操作情報とオブジェクトBの各部の位置との関係を負の教師データとして使用して学習する。
(1)ロボット制御部143が、オブジェクトBの状態に基づいてロボット3を停止させる必要があると判定したが、停止しないでロボット3を動作させたとした場合にロボット3の一以上の部位が他の部位又は他の物体に接触しなかったと想定される場合。
(2)ロボット制御部143が、オブジェクトBの状態に基づいてロボット3を停止させる必要がないと判定したにもかかわらず、ロボット3の一以上の部位が他の部位又は他の物体に接触してしまった場合。
In addition, the machine learning model learns by using the relationship between the operation information and the positions of each part of object B in the following cases as negative training data.
(1) The robot control unit 143 determines that it is necessary to stop the robot 3 based on the state of object B, but it is assumed that if the robot 3 were operated without being stopped, one or more parts of the robot 3 would not have come into contact with other parts or other objects.
(2) When the robot control unit 143 determines that there is no need to stop the robot 3 based on the state of object B, one or more parts of the robot 3 come into contact with other parts or other objects.

オブジェクト作成部142は、操作情報を取得した場合に、取得した操作情報を上記の機械学習モデルに入力し、機械学習モデルから出力されるオブジェクトBの各部の位置に基づいてオブジェクトBを作成する。機械学習モデルは、ロボット3の種別ごとに作成されており、オブジェクト作成部142は、ロボット制御部143が制御データを送信するロボット3の種別に対応する機械学習モデルを用いてオブジェクトBを作成する。オブジェクト作成部142がこのようにしてオブジェクトBを作成することにより、ロボット制御部143による誤判定の確率を下げることが可能になる。 When the object creation unit 142 acquires operation information, it inputs the acquired operation information into the above-mentioned machine learning model, and creates object B based on the positions of each part of object B output from the machine learning model. A machine learning model is created for each type of robot 3, and the object creation unit 142 creates object B using a machine learning model that corresponds to the type of robot 3 to which the robot control unit 143 sends control data. By the object creation unit 142 creating object B in this manner, it is possible to reduce the probability of erroneous determination by the robot control unit 143.

[ロボット制御装置1による効果]
以上説明したように、オブジェクト作成部142は、操作デバイス22から受信する操作情報に基づき操作者Uの動きに対応する動作を行うオブジェクトBを作成し、ロボット制御部143は、オブジェクトBが所定の状態になると判定した場合に、操作情報に基づくロボット3の制御を停止させる。オブジェクト作成部142及びロボット制御部143がこのように動作することで、操作情報に基づくロボット3の各部の動きを高い精度で予測することができるので、ロボット3の部位が物体に衝突するか否かの判定精度を向上させることができる。
[Effects of the robot control device 1]
As described above, the object creation unit 142 creates object B that performs an action corresponding to the movement of the operator U based on the operation information received from the operation device 22, and the robot control unit 143 stops the control of the robot 3 based on the operation information when it is determined that object B is in a predetermined state. By the object creation unit 142 and the robot control unit 143 operating in this manner, the movement of each part of the robot 3 based on the operation information can be predicted with high accuracy, and therefore the accuracy of determination as to whether or not a part of the robot 3 will collide with an object can be improved.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of the gist of the invention. For example, all or part of the device can be configured by distributing or integrating functionally or physically in any unit. In addition, new embodiments resulting from any combination of multiple embodiments are also included in the embodiments of the present invention. The effect of the new embodiment resulting from the combination also has the effect of the original embodiment.

1 ロボット制御装置
2 操作装置
3 ロボット
11 第1通信部
12 第2通信部
13 記憶部
14 制御部
21 表示デバイス
22 操作デバイス
141 操作情報受信部
142 オブジェクト作成部
143 ロボット制御部
144 表示処理部
REFERENCE SIGNS LIST 1 Robot control device 2 Operation device 3 Robot 11 First communication unit 12 Second communication unit 13 Storage unit 14 Control unit 21 Display device 22 Operation device 141 Operation information receiving unit 142 Object creation unit 143 Robot control unit 144 Display processing unit

Claims (9)

ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を生成する操作装置から、前記操作情報を受信する操作情報受信部と、
前記操作情報に基づき、前記操作者の前記動作に応じて操作される前記ロボットの動作と同じ動作を行うオブジェクトを作成するオブジェクト作成部と、
前記操作情報に基づいて前記ロボットを制御するロボット制御部と、
を有し、
前記ロボット制御部は、前記操作情報受信部が受信した前記操作情報に基づいて前記オブジェクト作成部が作成した前記オブジェクトが動作できない状態又は前記オブジェクトが転倒する状態になると判定した場合に、前記操作情報に基づく前記ロボットの動作を停止させ、
前記操作者が視認可能な表示部に前記オブジェクトを表示させる表示処理部をさらに有し、
前記表示処理部は、前記オブジェクトにおいて前記操作情報に基づいて移動する部位を他の部位と異なる色で示す
ロボット制御装置。
an operation information receiving unit that receives operation information from an operation device that generates operation information for operating the robot in response to a motion of an operator operating the robot;
an object creation unit that creates an object that performs the same movement as the movement of the robot operated in response to the movement of the operator, based on the operation information;
a robot control unit that controls the robot based on the operation information;
having
when it is determined that the object created by the object creation unit will be in a state where it cannot move or will fall over based on the operation information received by the operation information receiving unit, the robot control unit stops the operation of the robot based on the operation information ;
a display processing unit that displays the object on a display unit visible to the operator;
the display processing unit displays a part of the object that moves based on the operation information in a color different from other parts of the object .
Robot control device.
ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を生成する操作装置から、前記操作情報を受信する操作情報受信部と、an operation information receiving unit that receives operation information from an operation device that generates operation information for operating the robot in response to a motion of an operator operating the robot;
前記操作情報に基づき、前記操作者の前記動作に応じて操作される前記ロボットの動作と同じ動作を行うオブジェクトを作成するオブジェクト作成部と、an object creation unit that creates an object that performs the same movement as the movement of the robot operated in response to the movement of the operator, based on the operation information;
前記操作情報に基づいて前記ロボットを制御するロボット制御部と、a robot control unit that controls the robot based on the operation information;
を有し、having
前記ロボット制御部は、前記操作情報受信部が受信した前記操作情報に基づいて前記オブジェクト作成部が作成した前記オブジェクトが動作できない状態又は前記オブジェクトが転倒する状態になると判定した場合に、前記操作情報に基づく前記ロボットの動作を停止させ、when it is determined that the object created by the object creation unit will be in a state where it cannot move or will fall over based on the operation information received by the operation information receiving unit, the robot control unit stops the operation of the robot based on the operation information;
前記操作者が視認可能な表示部に前記オブジェクトを表示させる表示処理部をさらに有し、a display processing unit that displays the object on a display unit visible to the operator;
前記表示処理部は、前記オブジェクトにおいて前記操作情報に基づいて移動する前記オブジェクトの一以上の部位と他の部位とが所定の距離内になると予測した場合に、前記一以上の部位が前記他の部位から離れる向きを示す情報を前記表示部に表示させる、when predicting that one or more parts of the object moving based on the operation information will be within a predetermined distance from another part of the object, the display processing unit causes information indicating a direction in which the one or more parts move away from the other part to be displayed on the display unit.
ロボット制御装置。Robot control device.
ロボットを操作する操作者の動作に応じて前記ロボットを操作するための操作情報を生成する操作装置から、前記操作情報を受信する操作情報受信部と、an operation information receiving unit that receives operation information from an operation device that generates operation information for operating the robot in response to a motion of an operator operating the robot;
前記操作情報に基づき、前記操作者の前記動作に応じて操作される前記ロボットの動作と同じ動作を行うオブジェクトを作成するオブジェクト作成部と、an object creation unit that creates an object that performs the same movement as the movement of the robot operated in response to the movement of the operator, based on the operation information;
前記操作情報に基づいて前記ロボットを制御するロボット制御部と、a robot control unit that controls the robot based on the operation information;
を有し、having
前記ロボット制御部は、前記操作情報受信部が受信した前記操作情報に基づいて前記オブジェクト作成部が作成した前記オブジェクトが動作できない状態又は前記オブジェクトが転倒する状態になると判定した場合に、前記操作情報に基づく前記ロボットの動作を停止させ、when it is determined that the object created by the object creation unit will be in a state where it cannot move or will fall over based on the operation information received by the operation information receiving unit, the robot control unit stops the operation of the robot based on the operation information;
前記ロボット制御部は、前記操作情報が示す操作内容の変化に基づいて、前記操作情報に基づく前記ロボットの動作を停止するか再開するかを切り替える、The robot control unit switches between stopping and restarting the operation of the robot based on the operation information, based on a change in the operation content indicated by the operation information.
ロボット制御装置。Robot control device.
前記オブジェクト作成部は、前記操作情報に基づいて前記オブジェクトの少なくとも一部の部位を動作させることにより前記オブジェクトの状態を変化させる、
請求項1から3のいずれか1項に記載のロボット制御装置。
the object creation unit changes a state of the object by moving at least a part of the object based on the operation information;
The robot control device according to any one of claims 1 to 3 .
前記ロボット制御部は、前記操作情報に基づいて前記オブジェクトの状態を変化させた場合に前記オブジェクトの一以上の部位が前記オブジェクトの他の部位又は外部物体と接触する状態になると判定した場合に、前記操作情報に基づく前記ロボットの動作を停止させる、
請求項1から3のいずれか1項に記載のロボット制御装置。
when it is determined that one or more parts of the object will come into contact with another part of the object or an external object when a state of the object is changed based on the operation information, the robot control unit stops an operation of the robot based on the operation information.
The robot control device according to any one of claims 1 to 3 .
前記ロボット制御部は、前記一以上の部位と前記他の部位又は前記外部物体との距離に基づいて前記接触する状態になるか否かを判定する、
請求項に記載のロボット制御装置。
the robot control unit determines whether or not the contact state is reached based on a distance between the one or more parts and the other parts or the external object;
The robot control device according to claim 5 .
前記ロボット制御部は、前記操作情報に対応する前記一以上の部位の移動方向と、前記一以上の部位と前記他の部位又は前記外部物体との位置関係とに基づいて、前記接触する状態になるか否かを判定する、
請求項に記載のロボット制御装置。
the robot control unit determines whether or not the contact state is to occur based on a moving direction of the one or more parts corresponding to the operation information and a positional relationship between the one or more parts and the other parts or the external object;
The robot control device according to claim 5 .
前記ロボット制御部は、前記操作情報に対応する前記一以上の部位の移動速度又は移動加速度の少なくともいずれかに基づいて特定した所定の時間後における前記一以上の部位と前記他の部位若しくは前記外部物体との位置関係に基づいて、前記接触する状態になるか否かを判定する、
請求項に記載のロボット制御装置。
the robot control unit determines whether or not the contact state will occur based on a positional relationship between the one or more parts and the other parts or the external object after a predetermined time period specified based on at least one of a moving speed or a moving acceleration of the one or more parts corresponding to the operation information;
The robot control device according to claim 5 .
前記ロボット制御部は、前記一以上の部位が接触する前記他の部位若しくは前記外部物体の位置、又は前記一以上の部位が前記他の部位若しくは前記外部物体に接触する時点での前記一以上の部位の加速度に基づいて、前記接触する状態になるか否かを判定する、
請求項に記載のロボット制御装置。
the robot control unit determines whether or not the one or more parts will be in the contact state based on a position of the other part or the external object with which the one or more parts are in contact, or an acceleration of the one or more parts at a time when the one or more parts are in contact with the other part or the external object;
The robot control device according to claim 5 .
JP2020106347A 2020-06-19 2020-06-19 Robot Control Device Active JP7610200B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020106347A JP7610200B2 (en) 2020-06-19 2020-06-19 Robot Control Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020106347A JP7610200B2 (en) 2020-06-19 2020-06-19 Robot Control Device

Publications (2)

Publication Number Publication Date
JP2022001388A JP2022001388A (en) 2022-01-06
JP7610200B2 true JP7610200B2 (en) 2025-01-08

Family

ID=79244177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020106347A Active JP7610200B2 (en) 2020-06-19 2020-06-19 Robot Control Device

Country Status (1)

Country Link
JP (1) JP7610200B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218534A (en) 2015-05-15 2016-12-22 国立大学法人九州大学 Image display system and image display method
JP2019202354A (en) 2018-05-21 2019-11-28 Telexistence株式会社 Robot control device, robot control method, and robot control program
WO2019225548A1 (en) 2018-05-21 2019-11-28 Telexistence株式会社 Remote control system, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218534A (en) 2015-05-15 2016-12-22 国立大学法人九州大学 Image display system and image display method
JP2019202354A (en) 2018-05-21 2019-11-28 Telexistence株式会社 Robot control device, robot control method, and robot control program
WO2019225548A1 (en) 2018-05-21 2019-11-28 Telexistence株式会社 Remote control system, information processing method, and program

Also Published As

Publication number Publication date
JP2022001388A (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN106604804B (en) Collision detection
Yixian et al. Zoomwalls: Dynamic walls that simulate haptic infrastructure for room-scale vr world
US11069079B2 (en) Interaction with physical objects as proxy objects representing virtual objects
JP2024103652A (en) ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND PROGRAM
US20200001461A1 (en) Motion restriction system and method
JPWO2019116521A1 (en) Entertainment systems, robots and servers
JP2024056455A5 (en)
WO2021070411A1 (en) Rehabilitation assistance device, and method and program therefor
JP7079435B2 (en) Robot control device, robot control method and robot control program
JP7610200B2 (en) Robot Control Device
CN107413048B (en) Processing method and device in VR game process
TWI788607B (en) Human computer interaction system and human computer interaction method
WO2021172580A1 (en) Position/force control system, worn unit, control unit, position/force control method, and program
CN108803862B (en) Account relation establishing method and device used in virtual reality scene
KR102351750B1 (en) System for controlling a robot of an education for coding
KR20170116310A (en) System and method for task teaching
JP7504374B2 (en) ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD, AND ROBOT CONTROL SYSTEM
JP2020021365A (en) Display system, display method, and program
WO2021240601A1 (en) Virtual space body sensation system
EP4369152A1 (en) Latency reduction method and device
Kim et al. Towards Encountered-type Haptic Interaction for Immersive Bilateral Telemanipulation
Kilby et al. A study of viewpoint and feedback in wearable systems for controlling a robot arm
WO2026046510A1 (en) Methods and devices for providing feedback to a user of an extended reality device
CN120283212A (en) Information processing apparatus, information processing method, and input device
CN115482362A (en) Method and system for detecting relative positions of multiple digital targets and user in virtual scene

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241211

R150 Certificate of patent or registration of utility model

Ref document number: 7610200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150