JP7624862B2

JP7624862B2 - ROBOT REMOTE OPERATION CONTROL DEVICE, ROBOT REMOTE OPERATION CONTROL SYSTEM, ROBOT REMOTE OPERATION CONTROL METHOD, AND PROGRAM

Info

Publication number: JP7624862B2
Application number: JP2021061137A
Authority: JP
Inventors: 智大茶木; 智樹渡部; 屹立董; 了水谷; 七海塚本; 直希細見; コンダパッレィアニルドレッディ; マンシッツジーモン; ディルクルイケン
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2025-01-31
Anticipated expiration: 2041-03-31
Also published as: JP2022157101A; CN117136120A

Description

本発明は、ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムに関する。 The present invention relates to a robot remote control device, a robot remote control system, a robot remote control method, and a program.

利用者がロボットの操作を補助することができる制御装置が提案されている。このような制御装置として、例えば、ロボットを操作する第１ユーザーの姿勢を示す第１ユーザー姿勢情報を取得する第１情報取得部と、第１ユーザー姿勢情報に基づいてロボットの姿勢を変化させる前のロボットの姿勢である変化前姿勢を示す変化前姿勢情報を取得する第２情報取得部と、変化前姿勢情報と、変化前姿勢情報が示す変化前姿勢をロボットがしている時点で第１情報取得部が取得した第１ユーザー姿勢情報とに基づいて、第１ユーザーの姿勢と異なる標的姿勢をロボットの姿勢に決定する決定部と、を有する制御装置が提案されている（特許文献１参照）。特許文献１に記載のシステムでは、操作者が装着した装置によって検出した姿勢に対応する姿勢にロボットの姿勢を変化させる。 A control device has been proposed that allows a user to assist in the operation of a robot. For example, one such control device has a first information acquisition unit that acquires first user posture information indicating the posture of a first user operating the robot, a second information acquisition unit that acquires pre-change posture information indicating a pre-change posture that is the posture of the robot before the posture of the robot is changed based on the first user posture information, and a determination unit that determines a target posture different from the posture of the first user as the posture of the robot based on the pre-change posture information and the first user posture information acquired by the first information acquisition unit at the time when the robot is in the pre-change posture indicated by the pre-change posture information (see Patent Document 1). In the system described in Patent Document 1, the posture of the robot is changed to a posture corresponding to the posture detected by a device worn by the operator.

なお、遠隔操縦ロボットを用いて多様な作業を行うためには、３次元空間上の６自由度手先目標（位置・姿勢）を正確に指示・制御する必要がある。例えば、ロボットにペットボトルの鉛直方向がテーブルに対して垂直ではない状態でペットボトルの蓋を開けさせる場合、遠隔操作を行う操作者は、把持部をペットボトルの鉛直方向の傾きに合わせつつ蓋を回すように指示する。 To perform a variety of tasks using a remote-controlled robot, it is necessary to accurately specify and control six-degree-of-freedom hand targets (position and orientation) in three-dimensional space. For example, when instructing a robot to open a plastic bottle when the bottle's vertical direction is not perpendicular to the table, the operator remotely controls the robot by instructing it to turn the lid while aligning the gripping part with the vertical inclination of the plastic bottle.

特許第６４７６３５８号公報Patent No. 6476358

しかしながら、従来技術では、遠隔操縦ロボットを用いて多様な作業を実現するには、操作者が遠隔地のロボットと物体の状況を正確に把握すると同時に、高度な操作技術が求められるため、実行可能な作業は限定的かつその効率は低下する。
このため、従来技術では、遠隔操作時に、操作者が空間上の６自由度（位置・姿勢）目標値を決定・正確に制御し、作業を行うことが困難であった。 However, with conventional technology, in order to perform a variety of tasks using a remote-controlled robot, the operator is required to accurately grasp the status of the robot and objects in the remote location, as well as to have advanced operating techniques, which limits the tasks that can be performed and reduces efficiency.
For this reason, with conventional technology, it has been difficult for an operator to determine and accurately control target values for six spatial degrees of freedom (position and orientation) during remote operation to perform a task.

本発明は、上記の問題点に鑑みてなされたものであって、操作者が作業を行うことが容易となるロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラムを提供することを目的とする。 The present invention has been made in consideration of the above problems, and aims to provide a robot remote operation control device, a robot remote operation control system, a robot remote operation control method, and a program that make it easier for an operator to perform tasks.

（１）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御装置は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定する意図推定部と、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する制御指令生成部と、を備える。 (1) In order to achieve the above object, a robot remote operation control device according to one aspect of the present invention, in a robot remote operation that recognizes an operator's movements and transmits the operator's movements to a robot to operate the robot, includes an intention estimation unit that estimates the operator's movements based on a robot environment sensor value obtained by an environment sensor installed on the robot or the robot's surrounding environment and an operator sensor value that is the operator's movements obtained by an operator sensor, and a control command generation unit that generates control commands by reducing the degrees of freedom of the operator's movements by generating appropriate control commands for some of the operator's movements based on the estimated operator's movements.

（２）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記操作者が制御すべき自由度や制御可能な範囲を制限し、前記操作者による前記ロボットへの動作指示のうち制限した前記自由度に対して動作補助を行うようにしてもよい。 (2) In addition, in a robot remote operation control device according to one aspect of the present invention, the control command generation unit may limit the degrees of freedom to be controlled by the operator or the controllable range, and provide operational assistance for the limited degrees of freedom among the operational instructions given by the operator to the robot.

（３）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記制御指令生成部は、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲外の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らさず、前記ロボットが備える把持部と、前記操作者による操作対象の対象物体との距離が所定範囲内の場合、前記操作者の動作のうち、前記操作者の動作の自由度を減らす、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。 (3) In addition, in a robot remote operation control device according to one aspect of the present invention, the control command generation unit does not reduce the degree of freedom of the operator's movements when the distance between a gripping unit of the robot and a target object to be operated by the operator is outside a predetermined range, and reduces the degree of freedom of the operator's movements when the distance between a gripping unit of the robot and a target object to be operated by the operator is within a predetermined range. The robot environment sensor value may include captured image information and depth information.

（４）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記意図推定部は、前記ロボット環境センサ値と、前記操作者センサ値とを学習済みの意図推定モデルに入力して前記操作者の動作を推定するようにしてもよい。 (4) In addition, in a robot remote operation control device according to one aspect of the present invention, the intention estimation unit may input the robot environment sensor value and the operator sensor value into a learned intention estimation model to estimate the operator's movement.

（５）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記操作者センサ値は、前記操作者の視線情報、および前記操作者の腕部の姿勢や位置に関する情報である操作者腕部情報のうちの少なくとも１つであるようにしてもよい。 (5) In addition, in a robot remote control device according to one aspect of the present invention, the operator sensor value may be at least one of the operator's gaze information and operator arm information, which is information regarding the posture and position of the operator's arm.

（６）また、本発明の一態様に係るロボット遠隔操作制御装置において、前記ロボット環境センサ値は、撮影された画像情報、および深度情報を有するようにしてもよい。 (6) In addition, in a robot remote operation control device according to one aspect of the present invention, the robot environment sensor value may include captured image information and depth information.

（７）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御システムは、物体を把持する把持部と、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、上記（１）から（６）のうちのいずれか１つに記載の前記ロボット遠隔操作制御装置と、前記ロボットあるいは前記ロボットの周辺環境に設置され、ロボット環境センサ値を検出する環境センサと、前記操作者の動きを操作者センサ値として検出する操作者センサと、を備える。 (7) In order to achieve the above object, a robot remote operation control system according to one aspect of the present invention includes a gripping unit for gripping an object, a robot remote operation control device for recognizing an operator's movements and transmitting the operator's movements to a robot to operate the robot, the robot remote operation control device being described in any one of (1) to (6) above, an environment sensor installed on the robot or the robot's surrounding environment for detecting a robot environment sensor value, and an operator sensor for detecting the operator's movements as an operator sensor value.

（８）上記目的を達成するため、本発明の一態様に係るロボット遠隔操作制御方法は、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、意図推定部が、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定し、制御指令生成部が、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、前記操作者の動作の自由度を減らして制御指令を生成する。 (8) In order to achieve the above object, a robot remote operation control method according to one aspect of the present invention is a robot remote operation method for recognizing an operator's movements and transmitting the operator's movements to a robot to operate the robot, in which an intention estimation unit estimates the operator's movements based on a robot environment sensor value obtained by an environmental sensor installed on the robot or in the robot's surrounding environment and an operator sensor value, which is the operator's movements obtained by an operator sensor, and a control command generation unit generates appropriate control commands for some of the degrees of freedom of the operator's movements based on the estimated operator's movements, thereby generating control commands by reducing the degrees of freedom of the operator's movements.

（９）上記目的を達成するため、本発明の一態様に係るプログラムは、操作者の動きを認識し、ロボットに前記操作者の動きを伝えて前記ロボットを操作するロボット遠隔操作において、コンピュータに、前記ロボットあるいは前記ロボットの周辺環境に設置された環境センサによって得られたロボット環境センサ値と、操作者センサによって得られた前記操作者の動きである操作者センサ値と、に基づいて前記操作者の動作を推定させ、推定された前記操作者の動作に基づいて、前記操作者の動作のうち一部の自由度に対して適切な制御指令を生成させることで、前記操作者の動作の自由度を減らして制御指令を生成させる。 (9) To achieve the above object, a program according to one aspect of the present invention, in a robot remote operation that recognizes an operator's movements and transmits the operator's movements to a robot to operate the robot, estimates the operator's movements based on a robot environment sensor value obtained by an environmental sensor installed on the robot or in the robot's surrounding environment, and an operator sensor value, which is the operator's movements obtained by an operator sensor, and generates appropriate control commands for some of the operator's movements based on the estimated operator's movements, thereby reducing the degrees of freedom of the operator's movements and generating control commands.

（１）～（９）によれば、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにしたので、操作者が作業を行うことが容易となる。 According to (1) to (9), by substituting the generation of some of the six degrees of freedom control target values depending on the situation, the degrees of freedom that the operator should control are limited, making it easier for the operator to perform the work.

実施形態に係るロボット遠隔操作制御システムの概要と作業の概要を示す図である。1 is a diagram showing an overview of a robot remote operation control system according to an embodiment and an overview of operations thereof; 実施形態に係るロボット遠隔操作制御システムの構成例を示すブロック図である。1 is a block diagram showing an example of the configuration of a robot remote operation control system according to an embodiment; ＨＭＤ、コントローラーを操作者が身につけている状態例を示す図である。FIG. 1 is a diagram showing an example of a state in which an operator wears an HMD and a controller. 実施形態に係る意図推定、制御指令生成処理の概要を示す図である。FIG. 4 is a diagram showing an overview of intention estimation and control command generation processing according to the embodiment. 操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。FIG. 13 is a diagram showing a case where the operator intends to open the cap of a plastic bottle. 操作者の意図が箱を掴もうとしている場合を示す図である。FIG. 13 is a diagram showing a case where the operator intends to grab a box. 実施形態に係る記憶部が記憶する情報例を示す図である。FIG. 4 is a diagram illustrating an example of information stored in a storage unit according to the embodiment. ロボット遠隔操作制御装置の補助による把持位置の手先目標の修正例を示す図である。FIG. 13 is a diagram showing an example of correction of a hand target of a grasping position with the assistance of a robot remote operation control device. 実施形態に係るロボットとロボット遠隔操作制御装置の処理手順例のフローチャートである。10 is a flowchart of an example of a processing procedure of a robot and a robot remote operation control device according to the embodiment.

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 The following describes an embodiment of the present invention with reference to the drawings. Note that in the drawings used in the following description, the scale of each component has been appropriately altered so that each component is of a recognizable size.

［概要］
まず、ロボット遠隔操作制御システムで行う作業と処理の概要を説明する。
図１は、本実施形態に係るロボット遠隔操作制御システム１の概要と作業の概要を示す図である。図１のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）５とコントローラー６を装着している。作業環境には、環境センサ７（７ａ、７ｂ）が設置されている。なお、環境センサ７ｃが、ロボット２に取り付けられていてもよい。環境センサ７（７ａ、７ｂ）は、後述するように例えばＲＧＢカメラと深度センサを備えている。操作者Ｕｓは、ＨＭＤ５に表示された画像を見ながらコントローラー６を装着している手や指を動かすことで、ロボット２を遠隔操作する。図１の例では、操作者Ｕｓは、ロボット２を遠隔操作して、テーブルＴｂ上にあるペットボトルｏｂｊを把持させ、例えばペットボトルのキャップを開けさせる。なお、遠隔操作において、操作者Ｕｓは、ロボット２の動作を直接視認できないが、ロボット２側の映像をＨＭＤ５で間接的に視認できる状態である。本実施形態では、操作者が装着しているコントローラー６が取得した情報と、環境センサ７が取得した情報に基づいて、操作者の意図（対象物体に関する情報、作業内容）を推定し、推定した結果に基づいて、操作者が制御すべき自由度を限定して操作をサポートする。 [overview]
First, an overview of the operations and processes performed by the robot remote operation control system will be given.
FIG. 1 is a diagram showing an overview of a robot remote operation control system 1 according to this embodiment and an overview of the work. As shown in FIG. 1, an operator Us wears, for example, an HMD (head mounted display) 5 and a controller 6. An environmental sensor 7 (7a, 7b) is installed in the work environment. The environmental sensor 7c may be attached to the robot 2. The environmental sensor 7 (7a, 7b) includes, for example, an RGB camera and a depth sensor, as described later. The operator Us remotely controls the robot 2 by moving the hand or finger wearing the controller 6 while looking at the image displayed on the HMD 5. In the example of FIG. 1, the operator Us remotely controls the robot 2 to grip a plastic bottle obj on a table Tb and, for example, open the cap of the plastic bottle. In addition, in the remote operation, the operator Us cannot directly see the operation of the robot 2, but can indirectly see the image on the robot 2 side through the HMD 5. In this embodiment, the operator's intention (information about the target object, work content) is inferred based on information acquired by the controller 6 worn by the operator and information acquired by the environmental sensor 7, and the operation is supported by limiting the degree of freedom that the operator should control based on the inferred result.

［ロボット遠隔操作制御システムの構成例］
次に、ロボット遠隔操作制御システム１の構成例を説明する。
図２は、本実施形態に係るロボット遠隔操作制御システム１の構成例を示すブロック図である。図２のように、ロボット遠隔操作制御システム１は、ロボット２、ロボット遠隔操作制御装置３、ＨＭＤ５、コントローラー６、および環境センサ７を備える。 [Example of the configuration of a robot remote control system]
Next, a configuration example of the robot remote operation control system 1 will be described.
2 is a block diagram showing an example of the configuration of the robot remote operation control system 1 according to this embodiment. As shown in FIG. 2, the robot remote operation control system 1 includes a robot 2, a robot remote operation control device 3, an HMD 5, a controller 6, and an environmental sensor 7.

ロボット２は、例えば、制御部２１、駆動部２２、収音部２３、記憶部２５、電源２６、およびセンサ２７を備える。
ロボット遠隔操作制御装置３は、例えば、情報取得部３１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５、送信部３６、および記憶部３７を備える。 The robot 2 includes, for example, a control unit 21, a drive unit 22, a sound collection unit 23, a memory unit 25, a power source 26, and a sensor 27.
The robot remote operation control device 3 includes, for example, an information acquisition unit 31 , an intention estimation unit 33 , a control command generation unit 34 , a robot state image creation unit 35 , a transmission unit 36 , and a memory unit 37 .

ＨＭＤ５は、例えば、画像表示部５１、視線検出部５２（操作者センサ）、制御部５４、および通信部５５を備える。なお、ＨＭＤ５は、例えば操作者の頭部の傾き等を検出するセンサを備えていてもよい。 The HMD 5 includes, for example, an image display unit 51, a gaze detection unit 52 (operator sensor), a control unit 54, and a communication unit 55. The HMD 5 may also include a sensor that detects, for example, the tilt of the operator's head.

コントローラー６は、例えば、センサ６１（操作者センサ）、制御部６２、通信部６３、およびフィードバック手段６４を備える。 The controller 6 includes, for example, a sensor 61 (operator sensor), a control unit 62, a communication unit 63, and a feedback means 64.

環境センサ７は、例えば、撮影装置７１、センサ７２、および通信部７３を備える。 The environmental sensor 7 includes, for example, an imaging device 71, a sensor 72, and a communication unit 73.

なお、ロボット遠隔操作制御装置３とＨＭＤ５は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とコントローラー６は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３と環境センサ７は、例えば、無線または有線のネットワークを介して接続されている。ロボット遠隔操作制御装置３とロボット２は、例えば、無線または有線のネットワークを介して接続されている。なお、ロボット遠隔操作制御装置３とＨＭＤ５は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とコントローラー６は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３と環境センサ７は、ネットワークを介さずに直接接続されてもよい。ロボット遠隔操作制御装置３とロボット２は、ネットワークを介さずに直接接続されてもよい。 The robot remote operation control device 3 and the HMD 5 are connected, for example, via a wireless or wired network. The robot remote operation control device 3 and the controller 6 are connected, for example, via a wireless or wired network. The robot remote operation control device 3 and the environmental sensor 7 are connected, for example, via a wireless or wired network. The robot remote operation control device 3 and the robot 2 are connected, for example, via a wireless or wired network. The robot remote operation control device 3 and the HMD 5 may be directly connected without a network. The robot remote operation control device 3 and the controller 6 may be directly connected without a network. The robot remote operation control device 3 and the environmental sensor 7 may be directly connected without a network. The robot remote operation control device 3 and the robot 2 may be directly connected without a network.

［ロボット遠隔操作制御システムの機能例］
次に、ロボット遠隔操作制御システムの機能例を、図１を参照しつつ説明する。
ＨＭＤ５は、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。ＨＭＤ５は、操作者の視線の動き等を検出し、検出した視線情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。 [Example of functions of a robot remote control system]
Next, an example of the functions of the robot remote operation control system will be described with reference to FIG.
The HMD 5 displays the robot status image received from the robot remote operation control device 3. The HMD 5 detects the operator's line of sight and the like, and transmits the detected line of sight information (operator sensor value) to the robot remote operation control device 3.

画像表示部５１は、制御部５４の制御に応じて、ロボット遠隔操作制御装置３から受信したロボットの状態画像を表示する。 The image display unit 51 displays the robot status image received from the robot remote control device 3 according to the control of the control unit 54.

視線検出部５２は、操作者の視線を検出し、検出した視線情報を制御部５４に出力する。 The gaze detection unit 52 detects the operator's gaze and outputs the detected gaze information to the control unit 54.

制御部５４は、視線検出部５２が検出した視線情報に基づく視線情報を、通信部５５を介してロボット遠隔操作制御装置３に送信する。制御部５４は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を、画像表示部５１に表示させる。 The control unit 54 transmits gaze information based on the gaze information detected by the gaze detection unit 52 to the robot remote operation control device 3 via the communication unit 55. The control unit 54 causes the image display unit 51 to display the robot status image transmitted by the robot remote operation control device 3.

通信部５５は、ロボット遠隔操作制御装置３が送信したロボットの状態画像を受信し、受信したロボットの状態画像を制御部５４に出力する。通信部５５は、制御部５４の制御に応じて、操作者状態情報をロボット遠隔操作制御装置３に送信する。 The communication unit 55 receives the robot status image transmitted by the robot remote operation control device 3, and outputs the received robot status image to the control unit 54. The communication unit 55 transmits operator status information to the robot remote operation control device 3 in response to the control of the control unit 54.

コントローラー６は、例えば、触覚データグローブであり、操作者の手に装着される。コントローラー６は、センサ６１によって方位や各指の動きや手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報を検出し、検出した操作者腕部情報（操作者センサ値）をロボット遠隔操作制御装置３に送信する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。 The controller 6 is, for example, a tactile data glove, and is worn on the operator's hand. The controller 6 detects operator arm information, which is information about the posture and position of the operator's arm, such as the direction, the movements of each finger, and the movements of the hand, using a sensor 61, and transmits the detected operator arm information (operator sensor value) to the robot remote operation control device 3. The operator arm information (operator sensor value) includes information covering the entire human arm, such as hand position and posture information, finger angle information, elbow position and posture information, and information tracking the movements of each part.

センサ６１は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ６１は、複数のセンサを備えるセンサ６１は、例えば２つのセンサによって各指の動きをトラッキングする。センサ６１は、操作者腕部情報を検出し、検出した操作者腕部情報を制御部６２に出力する。 The sensor 61 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic sensor, etc. Note that the sensor 61 includes multiple sensors, and tracks the movement of each finger using, for example, two sensors. The sensor 61 detects the operator's arm information, and outputs the detected operator's arm information to the control unit 62.

制御部６２は、センサ６１が検出した検出結果も基づく操作者腕部情報を、通信部６３を介してロボット遠隔操作制御装置３に送信する。制御部６２は、フィードバック情報に基づいて、フィードバック手段６４を制御する。 The control unit 62 transmits operator arm information based on the detection results detected by the sensor 61 to the robot remote control device 3 via the communication unit 63. The control unit 62 controls the feedback means 64 based on the feedback information.

通信部６３は、制御部６２の制御に応じて、操作者腕部情報をロボット遠隔操作制御装置３に送信する。通信部６３は、ロボット遠隔操作制御装置３が送信したフィードバック情報を取得し、取得したフィードバック情報を制御部６２に出力する。 The communication unit 63 transmits the operator arm information to the robot remote operation control device 3 in response to the control of the control unit 62. The communication unit 63 acquires the feedback information transmitted by the robot remote operation control device 3, and outputs the acquired feedback information to the control unit 62.

フィードバック手段６４は、制御部６２の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック手段６４は、フィードバック情報に応じて、例えば、ロボット２の把持部２２２に取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。 The feedback means 64 feeds back feedback information to the operator in response to the control of the control unit 62. In response to the feedback information, the feedback means 64 feeds back sensations to the operator, for example, by means of vibration (not shown), air pressure (not shown), hand movement constraint (not shown), temperature sensation (not shown), or hardness or softness sensation (not shown), which are attached to the gripping unit 222 of the robot 2.

環境センサ７は、例えばロボット２の作業を撮影、検出できる位置に設置されている。なお、環境センサ７は、ロボット２が備えていてもよく、ロボット２に取り付けられていてもよい。または、環境センサ７は、複数であってもよく、図１のように作業環境に設置され、かつロボット２にも取り付けられていてもよい。環境センサ７は、撮影された画像、検出された検出結果（環境センサ値）をロボット遠隔操作制御装置３に送信する。 The environmental sensor 7 is installed in a position where it can capture and detect, for example, the work of the robot 2. The environmental sensor 7 may be provided in the robot 2 or may be attached to the robot 2. Alternatively, there may be multiple environmental sensors 7, which may be installed in the work environment as shown in FIG. 1 and also attached to the robot 2. The environmental sensor 7 transmits the captured images and the detected detection results (environmental sensor values) to the robot remote operation control device 3.

撮影装置７１は、例えばＲＧＢカメラである。撮影装置７１は、撮影した画像を、通信部７３を介してロボット遠隔操作制御装置３に送信する。なお、環境センサ７において、撮影装置７１とセンサ７２の位置関係が既知である。 The image capturing device 71 is, for example, an RGB camera. The image capturing device 71 transmits the captured image to the robot remote control device 3 via the communication unit 73. Note that the positional relationship between the image capturing device 71 and the sensor 72 is known in the environmental sensor 7.

センサ７２は、例えば深度センサである。センサ７２は、検出したセンサ値を、通信部７３を介してロボット遠隔操作制御装置３に送信する。なお、撮影装置７１とセンサ７２は、距離センサであってもよい。 The sensor 72 is, for example, a depth sensor. The sensor 72 transmits the detected sensor value to the robot remote control device 3 via the communication unit 73. The image capture device 71 and the sensor 72 may be distance sensors.

通信部７３は、撮影された画像と、センサ７２によって検出されたセンサ値とを環境センサ情報としてロボット遠隔操作制御装置３に送信する。なお、環境センサ７は、撮影された画像とセンサ値を用いて、物体の位置情報を検出して、検出した結果を環境センサ情報としてロボット遠隔操作制御装置３に送信するようにしてもよい。なお、環境センサ７が送信するデータは、例えば位置情報を有する点群であってもよい。 The communication unit 73 transmits the captured image and the sensor value detected by the sensor 72 to the robot remote operation control device 3 as environmental sensor information. The environmental sensor 7 may detect position information of an object using the captured image and the sensor value, and transmit the detection result to the robot remote operation control device 3 as environmental sensor information. The data transmitted by the environmental sensor 7 may be, for example, a point cloud having position information.

ロボット２は、遠隔操作されていない場合、制御部２１の制御に応じて行動が制御される。ロボット２は、遠隔操作されている場合、ロボット遠隔操作制御装置３が生成した把持計画情報に応じて行動が制御される。 When the robot 2 is not remotely operated, the behavior of the robot 2 is controlled according to the control of the control unit 21. When the robot 2 is remotely operated, the behavior of the robot 2 is controlled according to the grasping plan information generated by the robot remote operation control device 3.

制御部２１は、ロボット遠隔操作制御装置３が出力する制御指令に基づいて駆動部２２を制御する。制御部２１は、記憶部２５が記憶する情報に基づいて、環境センサ７が撮影した画像と検出した検出結果を用いて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で取得する。なお、制御部２１は、収音部２３が収音した音響信号に対して音声認識処理（発話区間検出、音源分離、音源定位、雑音抑圧、音源同定等）を行うようにしてもよい。制御部２１は、音声認識した結果にロボットに対する動作指示が含まれている場合、音声による動作指示に基づいてロボット２の動作を制御するようにしてもよい。制御部２１は、フィードバック情報を生成して、生成したフィードバック情報を、ロボット遠隔操作制御装置３を介してコントローラー６に送信する。 The control unit 21 controls the driving unit 22 based on the control command output by the robot remote operation control device 3. Based on the information stored in the memory unit 25, the control unit 21 uses the image captured by the environmental sensor 7 and the detection result to acquire the three-dimensional position, size, shape, etc. of the target object in the captured image by a known method. The control unit 21 may perform voice recognition processing (speech section detection, sound source separation, sound source localization, noise suppression, sound source identification, etc.) on the acoustic signal collected by the sound collection unit 23. If the result of the voice recognition includes an operation instruction for the robot, the control unit 21 may control the operation of the robot 2 based on the operation instruction by voice. The control unit 21 generates feedback information and transmits the generated feedback information to the controller 6 via the robot remote operation control device 3.

駆動部２２は、制御部２１の制御に応じてロボット２の各部（腕、指、足、頭、胴、腰等）を駆動する。駆動部２２は、例えば、アクチュエータ、ギア、人工筋等を備える。 The driving unit 22 drives each part of the robot 2 (arms, fingers, legs, head, torso, waist, etc.) according to the control of the control unit 21. The driving unit 22 includes, for example, actuators, gears, artificial muscles, etc.

収音部２３は、例えば複数のマイクロホンを備えるマイクロホンアレイである。収音部２３は、収音した音響信号を制御部２１に出力する。収音部２３は、音声認識処理機能を備えていてもよい。この場合、収音部２３は、音声認識結果を制御部２１に出力する。 The sound collection unit 23 is, for example, a microphone array having multiple microphones. The sound collection unit 23 outputs the collected acoustic signal to the control unit 21. The sound collection unit 23 may also have a voice recognition processing function. In this case, the sound collection unit 23 outputs the voice recognition result to the control unit 21.

記憶部２５は、例えば、制御部２１が制御に用いるプログラム、閾値等を記憶し、音声認識結果、画像処理結果、制御指令等を一時的に記憶する。なお、記憶部２５は、記憶部３７が兼ねていてもよい。または、記憶部３７が記憶部２５を兼ねていてもよい。 The storage unit 25 stores, for example, programs and thresholds used by the control unit 21 for control, and temporarily stores voice recognition results, image processing results, control commands, etc. Note that the storage unit 37 may also function as the storage unit 25. Alternatively, the storage unit 37 may also function as the storage unit 25.

電源２６は、ロボット２の各部に電力を供給する。電源２６は、例えば充電式のバッテリや充電回路を備えていてもよい。 The power source 26 supplies power to each part of the robot 2. The power source 26 may include, for example, a rechargeable battery or a charging circuit.

センサ２７は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ、各関節エンコーダ等である。なお、センサ２７は、ロボット２の各関節、頭部等に取り付けられている。センサ２７は、検出した検出結果を、制御部２１、意図推定部３３、制御指令生成部３４、ロボット状態画像作成部３５に出力する。 The sensor 27 is, for example, an acceleration sensor, a gyroscope sensor, a magnetic sensor, an encoder for each joint, etc. The sensor 27 is attached to each joint, the head, etc. of the robot 2. The sensor 27 outputs the detection results to the control unit 21, the intention estimation unit 33, the control command generation unit 34, and the robot state image creation unit 35.

ロボット遠隔操作制御装置３は、操作者センサ（ＨＭＤ５の視線検出部５２、コントローラー６のセンサ６１）が検出した操作者検出値と、環境センサ７が検出した環境センサ値とに基づいて操作者の動作意図を推定し、ロボット２の制御指令を生成する。 The robot remote control device 3 estimates the operator's intention based on the operator detection value detected by the operator sensor (gaze detection unit 52 of the HMD 5, sensor 61 of the controller 6) and the environmental sensor value detected by the environmental sensor 7, and generates a control command for the robot 2.

情報取得部３１は、ＨＭＤ５から視線情報を取得し、とコントローラー６から操作者腕部情報を取得し、取得した視線情報と操作者腕部情報を意図推定部３３、ロボット状態画像作成部３５に出力する。情報取得部３１は、環境センサ７から環境センサ情報を取得し、取得した環境センサ情報を意図推定部３３、ロボット状態画像作成部３５に出力する。情報取得部３１は、センサ２７が検出した検出結果を取得し、取得した検出結果を意図推定部３３、ロボット状態画像作成部３５に出力する。 The information acquisition unit 31 acquires gaze information from the HMD 5 and operator arm information from the controller 6, and outputs the acquired gaze information and operator arm information to the intention estimation unit 33 and the robot state image creation unit 35. The information acquisition unit 31 acquires environmental sensor information from the environmental sensor 7, and outputs the acquired environmental sensor information to the intention estimation unit 33 and the robot state image creation unit 35. The information acquisition unit 31 acquires the detection results detected by the sensor 27, and outputs the acquired detection results to the intention estimation unit 33 and the robot state image creation unit 35.

意図推定部３３は、情報取得部３１が取得した環境センサ情報に基づいて、対象物体に関する情報（ロボット環境センサ値）（対象物体の名称、対象物体の位置、対象物体の鉛直方向の傾き等）を推定する。なお、意図推定部３３は、例えば、記憶部３７が記憶する情報に基づいて、環境センサ７の撮影装置７１が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って対象物体の名称を推定する。意図推定部３３は、画像処理された結果と深度センサの検出結果に基づいて、対象物体の位置や鉛直方向の傾き角度等を推定する。なお、意図推定部３３は、例えばＨＭＤ５が検出した操作者の視線情報も用いて、対象物体を推定する。意図推定部３３は、情報取得部３１が取得した視線情報と操作者腕部情報と、対象物体に関する情報に基づいて、操作者の動作意図を推定する。なお、操作者の意図と、推定方法については後述する。 The intention estimation unit 33 estimates information about the target object (robot environment sensor value) (name of the target object, position of the target object, vertical inclination of the target object, etc.) based on the environmental sensor information acquired by the information acquisition unit 31. The intention estimation unit 33 estimates the name of the target object by performing image processing (edge detection, binarization processing, feature extraction, image enhancement processing, image extraction, pattern matching processing, etc.) on the image captured by the imaging device 71 of the environmental sensor 7 based on the information stored in the storage unit 37. The intention estimation unit 33 estimates the position and vertical inclination angle of the target object based on the image processing result and the detection result of the depth sensor. The intention estimation unit 33 estimates the target object by using, for example, the gaze information of the operator detected by the HMD 5. The intention estimation unit 33 estimates the operator's intention to operate based on the gaze information and operator arm information acquired by the information acquisition unit 31 and information about the target object. The operator's intention and the estimation method will be described later.

制御指令生成部３４は、意図推定部３３が推定した結果とセンサ２７が検出した検出結果、環境センサ７が撮影した画像と検出結果に基づいて、物体の把持するための制御指令を生成する。制御指令生成部３４は、後述するように操作者が制御すべき自由度や制御可能な範囲を制限、すなわち操作者の動作の自由度を減らして制御指令を生成する。制御指令生成部３４は、決定した制御指令情報を制御部２１に出力する。 The control command generation unit 34 generates a control command for grasping an object based on the result estimated by the intention estimation unit 33, the detection result detected by the sensor 27, and the image captured by the environmental sensor 7 and the detection result. As described below, the control command generation unit 34 generates a control command by restricting the degree of freedom that the operator should control and the controllable range, that is, by reducing the degree of freedom of the operator's movements. The control command generation unit 34 outputs the determined control command information to the control unit 21.

ロボット状態画像作成部３５は、制御指令生成部３４が生成した制御指令情報に基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。 The robot state image creation unit 35 creates a robot state image to be displayed on the HMD 5 based on the control command information generated by the control command generation unit 34.

送信部３６は、ロボット状態画像作成部３５が作成したロボット状態画像を、ＨＭＤ５に送信する。送信部３６は、ロボット２が出力したフィードバック情報を取得し、取得したフィードバック情報をコントローラー６へ送信する。 The transmission unit 36 transmits the robot state image created by the robot state image creation unit 35 to the HMD 5. The transmission unit 36 acquires feedback information output by the robot 2, and transmits the acquired feedback information to the controller 6.

記憶部３７は、環境センサ７の撮影装置７１とセンサ７２の位置関係を記憶している。記憶部３７は、作業内容毎に補助する対象、すなわち操作者が制御すべき自由度や制御可能な範囲を制限する情報を記憶する。記憶部３７は、画像処理のパターンマッチング処理で比較されるモデル画像を記憶する。記憶部３７は、ロボット遠隔操作制御装置３の制御に用いられるプログラムを記憶する。なお、プログラムはクラウドやネットワーク上にあってもよい。 The memory unit 37 stores the positional relationship between the imaging device 71 and the sensor 72 of the environmental sensor 7. The memory unit 37 stores information that limits the object of assistance for each task, i.e., the degree of freedom that the operator should control and the controllable range. The memory unit 37 stores model images that are compared in the pattern matching process of image processing. The memory unit 37 stores programs used to control the robot remote operation control device 3. The programs may be stored in the cloud or on a network.

［ＨＭＤ５、コントローラー６を操作者が身につけている状態例］
次に、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を説明する。
図３は、ＨＭＤ５、コントローラー６を操作者が身につけている状態例を示す図である。図３の例では、操作者Ｕｓは、左手にコントローラー６ａを装着し、右手にコントローラー６ｂを装着し、頭部にＨＭＤ５を装着している。なお、図３に示したＨＭＤ５、コントローラー６は一例であり、装着方法や形状等は、これに限らない。 [Example of a state in which an operator wears the HMD 5 and the controller 6]
Next, an example of a state in which the operator wears the HMD 5 and the controller 6 will be described.
Fig. 3 is a diagram showing an example of a state in which an operator wears the HMD 5 and the controller 6. In the example of Fig. 3, the operator Us wears the controller 6a on his left hand, the controller 6b on his right hand, and the HMD 5 on his head. Note that the HMD 5 and the controller 6 shown in Fig. 3 are merely examples, and the wearing method, shape, and the like are not limited to these.

［意図推定、制御指令生成例］
次に、意図推定、制御指令生成処理の概要を説明する。
図４は、本実施形態に係る意図推定、制御指令生成処理の概要を示す図である。
図４のように、ロボット遠隔操作制御装置３は、ＨＭＤ５から視線情報と、コントローラー６から操作者腕部情報と、環境センサ７から環境センサ情報と、センサ２７が検出した検出結果を取得する。 [Example of intention estimation and control command generation]
Next, an overview of the intention estimation and control command generation process will be described.
FIG. 4 is a diagram showing an overview of the intention estimation and control command generation process according to this embodiment.
As shown in FIG. 4 , the robot remote operation control device 3 acquires line of sight information from the HMD 5 , operator arm information from the controller 6 , environmental sensor information from the environmental sensor 7 , and the detection results detected by the sensor 27 .

ロボット２から得られる情報は、ロボット２の各関節に設けられているモータエンコーダの検出値等の情報である。
環境センサ７から得られる情報は、ＲＧＢカメラが撮影した画像と、深度センサが検出した検出値等である。 The information obtained from the robot 2 is information such as detection values of motor encoders provided at each joint of the robot 2.
The information obtained from the environmental sensor 7 includes images captured by the RGB camera, detection values detected by the depth sensor, and the like.

意図推定部３３は、取得した情報と、記憶部３７が記憶する情報に基づいて、操作者の動作意図を推定する。操作者の意図は、例えば、操作対象物体、操作内容等である。操作内容は、例えばペットボトルの蓋を開ける等である。 The intention estimation unit 33 estimates the operator's intention to perform a motion based on the acquired information and the information stored in the memory unit 37. The operator's intention is, for example, the object to be operated, the operation content, etc. The operation content is, for example, opening the cap of a plastic bottle.

制御指令生成部３４は、意図推定部３３が推定した結果、取得した情報に基づいて、対象物体や作業内容に応じて，操作者が制御すべき自由度や制御可能な範囲を制限する。そして、制御指令生成部３４は、意図推定部３３が推定した結果に基づいて制御指令を生成する。 The control command generation unit 34 limits the degree of freedom that the operator should control and the controllable range according to the target object and the work content based on the information acquired as a result of the estimation by the intention estimation unit 33. Then, the control command generation unit 34 generates a control command based on the result of the estimation by the intention estimation unit 33.

［操作者が制御すべき自由度や制御可能な範囲の制限例の説明］
次に、操作者が制御すべき自由度や制御可能な範囲の制限例について、図５、図６を用いて説明する。なお、図５、図６におけるｘｙｚ軸は、ロボット世界におけるｘｙｚ軸である。本実施形態のロボット遠隔操作制御装置３は、以下の自由度の制限や、手先目標の補正を、ロボット世界におけるｘｙｚを基準として行う。 [Explanation of examples of limitations on the degree of freedom and controllable range that the operator should control]
Next, examples of limiting the degrees of freedom that the operator should control and the controllable range will be described with reference to Fig. 5 and Fig. 6. Note that the x, y and z axes in Fig. 5 and Fig. 6 are the x, y and z axes in the robot world. The robot remote operation control device 3 of this embodiment limits the degrees of freedom and corrects the hand target as follows, based on the x, y and z axes in the robot world.

（第１の操作内容例）
図５は、操作者の意図がペットボトルの蓋を開けようとしている場合を示す図である。
意図推定部３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ７が撮影した画像と検出結果に基づいて、対象物体Ｏｂｊ１を推定する。この結果、意図推定部３３は、取得した情報に基づいて、操作対象Ｏｂｊ１が“ペットボトル”であると推定する。また、意図推定部３３は、環境センサ７が撮影した画像と検出結果に基づいて、例えば、ペットボトルの鉛直方向の検出と、ペットボトルの鉛直方向の例えばｚ軸方向に対する傾きを検出する。 (First operation example)
FIG. 5 is a diagram showing a case where the operator intends to open the cap of a plastic bottle.
The intention estimation unit 33 estimates the target object Obj1 based on the tracking result of the operator's hand, the operator's line of sight information, and the image and detection result captured by the environmental sensor 7. As a result, the intention estimation unit 33 estimates that the operation target Obj1 is a "plastic bottle" based on the acquired information. Furthermore, the intention estimation unit 33 detects, for example, the vertical direction of the plastic bottle and the inclination of the vertical direction of the plastic bottle with respect to, for example, the z-axis direction, based on the image and detection result captured by the environmental sensor 7.

次に、意図推定部３３は、操作者の手先のトラッキング結果、操作者の視線情報、環境センサ７が撮影した画像と検出結果に基づいて、操作内容を推定する。この結果、意図推定部３３は、取得した情報に基づいて、操作内容が“ペットボトルの蓋を開ける”動作であると推定する。 Next, the intention estimation unit 33 estimates the operation content based on the tracking result of the operator's hand, the operator's gaze information, and the image and detection result captured by the environment sensor 7. As a result, the intention estimation unit 33 estimates that the operation content is the action of "opening the cap of a plastic bottle" based on the acquired information.

図５のような場合、従来の手法では、操作者は、ロボット２の把持部２２１に対して、ペットボトルの鉛直方向になるように遠隔操作しつつ、蓋を明けるように遠隔操作する必要があった。このように、従来の手法では、操作者自身に高度な操作技術が求められるという問題点があった。 In a case like that shown in Figure 5, with the conventional method, the operator had to remotely control the gripper 221 of the robot 2 so that it was vertical to the PET bottle, while also remotely controlling it to open the lid. As such, the conventional method had the problem that the operator himself was required to have advanced operating skills.

これに対して、本実施形態では、ロボット遠隔操作制御装置３が、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定する。図５の例では、ロボット遠隔操作制御装置３が、ロボット２の把持部２２１を鉛直方向上に留まるように、把持部２２１を制御して補助する。こよれにより、操作者は、ペットボトルの傾きを気にせずに、キャップの回転の指示に専念して指示を行うことができる。 In contrast, in this embodiment, the robot remote control control device 3 takes over the generation of control target values for some of the six degrees of freedom depending on the situation, thereby limiting the degrees of freedom that the operator should control. In the example of FIG. 5, the robot remote control control device 3 controls and assists the gripper 221 of the robot 2 so that it remains vertically upward. This allows the operator to concentrate on giving instructions to rotate the cap without worrying about the inclination of the plastic bottle.

（第２の操作内容例）
図６は、操作者の意図が箱を掴もうとしている場合を示す図である。
意図推定部３３は、取得した情報に基づいて、操作対象Ｏｂｊ２が“箱”であると推定する。
次に、意図推定部３３は、取得した情報に基づいて、操作内容が“箱を掴む”動作であると推定する。 (Second operation example)
FIG. 6 is a diagram showing a case where the operator intends to grab a box.
The intention estimation unit 33 estimates that the operation object Obj2 is a "box" based on the acquired information.
Next, the intention estimation unit 33 estimates, based on the acquired information, that the operation content is an action of "grabbing a box."

図６のような場合、ロボット遠隔操作制御装置３は、例えば、操作対象Ｏｂｊ２のｘｙ平面上の位置と、ｘｙｚ軸回りの回転を、把持部２２１を制御して補助する。これにより、操作者は、ｚ軸の位置の並進運動の指示に専念して指示を行うことができる。 In the case shown in FIG. 6, the robot remote operation control device 3 controls the gripper 221 to assist, for example, in the position of the operation target Obj2 on the xy plane and the rotation around the xyz axes. This allows the operator to concentrate on instructing the translational movement of the z-axis position.

なお、図５、図６に示した対象物体や作業内容や補助する内容（自由度）等は一例であり、対象物体や作業内容や補助する内容は、これに限らない。補助する内容は、対象物体や作業内容に応じた物であればよい。 Note that the target object, task content, and assistance content (degree of freedom) shown in Figures 5 and 6 are merely examples, and the target object, task content, and assistance content are not limited to these. The assistance content may be anything that corresponds to the target object and task content.

ここで、作業の補助に用いられる記憶部３７が記憶する情報例を説明する。
図７は、本実施形態に係る記憶部３７が記憶する情報例を示す図である。図７のように、記憶部３７は、対象物体と、作業内容と、操作者に対して制限する自由度（ロボット２が補強する自由度）と、操作者に対して操作可能とする自由度を関連付けて記憶する。なお、図７に示した例は一例であり、他の情報も関連付けて記憶してもよい。 Here, an example of information stored in the storage unit 37 and used for assisting with work will be described.
Fig. 7 is a diagram showing an example of information stored in the storage unit 37 according to the present embodiment. As shown in Fig. 7, the storage unit 37 stores a target object, a task content, a degree of freedom restricted for the operator (a degree of freedom reinforced by the robot 2), and a degree of freedom that the operator can operate in association with each other. Note that the example shown in Fig. 7 is just one example, and other information may also be stored in association with each other.

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット２の起動時に操作者の操作環境とロボット動作環境のキャリブレーションを行うようにしてもよい。 In addition, since the coordinate system is different between the environment in which the operator operates and the robot operating environment, for example, calibration of the operator's operating environment and the robot operating environment may be performed when starting up the robot 2.

また、把持の際、ロボット遠隔操作制御装置３は、ロボット２の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定するようにしてもよい。 In addition, when grasping, the robot remote control device 3 may determine the grasping position based on the grasping force of the robot 2 and the frictional force between the object and the grasping part, etc., taking into account the error in the grasping position at the time of grasping.

［把持位置の手先目標の修正］
次に、ロボット遠隔操作制御装置３の補助による把持位置の手先目標の修正例を説明する。
図８は、ロボット遠隔操作制御装置３の補助による把持位置の手先目標の修正例を示す図である。図８の例では、把持しようとしている対象物体ｇ２１の形状が略直方体である。ロボット遠隔操作制御装置３は、操作者の入力ｇ１１に対して把持しやすいように自由度を制限して補助する際、把持しやすい位置（補正後の位置ｇ１２）に手先目標を変更する。手先目標の変更は、例えば図５のように対象物体の鉛直方向がｚ軸方向に対して傾いている場合、操作者の入力のｚ軸方向の角度をペットボトルの鉛直方向に合わせるように補正して、把持部２２１に対する制御指令を生成する。より具体的には、まず、制御指令生成部３４は、対象物毎に補助するパターンを推定する。推定方法は、例えば、記憶部３７が記憶するデータベースとのマッチングや機械学習によって行う。制御指令生成部３４は、補助パターン推定後、対象物が持つ座標系とロボットの手先座標系の間でベクトル演算（外積・内積）を行うことで、方向の修正を行う。また、制御指令生成部３４は、例えば、ベクトル演算による方向の修正も含めて、センサ情報から修正指令値を直接生成するようなｅｎｄｔｏｅｎｄな機械学習手法によって修正と指令値の生成を行うようにしてもよい。これにより、本実施形態によれば、ロボット遠隔操作制御装置３が対象物体と作業内容を推定し、さらに把持しやすい位置に手先目標を補正するので、操作者が指示しやすくなる。 [Correction of the hand target of the grasping position]
Next, an example of correcting the hand target of the gripping position with the assistance of the robot remote operation control device 3 will be described.
FIG. 8 is a diagram showing an example of correction of the hand target of the gripping position with the assistance of the robot remote operation control device 3. In the example of FIG. 8, the shape of the target object g21 to be gripped is an approximately rectangular parallelepiped. When providing assistance by restricting the degree of freedom so that the object is easily gripped in response to the operator's input g11, the robot remote operation control device 3 changes the hand target to a position (corrected position g12) that is easy to grip. For example, when the vertical direction of the target object is inclined with respect to the z-axis direction as shown in FIG. 5, the hand target is changed by correcting the angle of the z-axis direction of the operator's input to match the vertical direction of the plastic bottle, and generating a control command for the gripping unit 221. More specifically, first, the control command generating unit 34 estimates a pattern to be assisted for each target object. The estimation method is, for example, by matching with a database stored in the storage unit 37 or machine learning. After estimating the auxiliary pattern, the control command generating unit 34 performs vector calculations (cross product and inner product) between the coordinate system of the target object and the hand coordinate system of the robot to correct the direction. In addition, the control command generator 34 may perform correction and generate command values by an end-to-end machine learning method that directly generates corrected command values from sensor information, including correction of direction by vector calculation, for example. As a result, according to this embodiment, the robot remote operation control device 3 estimates the target object and the work content, and corrects the hand target to a position that is easy to grasp, making it easier for the operator to give instructions.

なお、意図推定部３３または記憶部３７は、例えば、視線情報、操作者腕部情報、環境センサ情報、ロボット２のセンサが検出した検出結果を入力し、対象物体と操作内容を教師データとして学習させた意図推定モデルを備えるようにしてもよい。意図推定モデルは、クラウド上に設けられていてもよい。意図推定部３３は、取得した情報を意図推定モデルに入力して、操作者の意図を推定するようにしてもよい。または、意図推定部３３は、取得した情報を意図推定モデルに入力して、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。 The intention estimation unit 33 or the memory unit 37 may be provided with an intention estimation model that inputs, for example, gaze information, operator arm information, environmental sensor information, and detection results detected by the sensors of the robot 2, and learns the target object and operation content as teacher data. The intention estimation model may be provided on a cloud. The intention estimation unit 33 may input the acquired information to the intention estimation model to estimate the operator's intention. Alternatively, the intention estimation unit 33 may input the acquired information to the intention estimation model to estimate at least one of the target object and the operation content.

または、意図推定部３３は、取得した情報を用いて、確率推論によって操作者の意図を推定するようにしてもよい。または、意図推定部３３は、取得した情報を用いて、確率推論によって、対象物体および作業内容のうちの少なくとも１つを推定するようにしてもよい。 Alternatively, the intention estimation unit 33 may use the acquired information to estimate the operator's intention through probabilistic inference. Alternatively, the intention estimation unit 33 may use the acquired information to estimate at least one of the target object and the work content through probabilistic inference.

［ロボット２とロボット遠隔操作制御装置３の処理手順例］
次に、ロボット２とロボット遠隔操作制御装置３の処理手順例を説明する。
図９は、本実施形態に係るロボット２とロボット遠隔操作制御装置３の処理手順例のフローチャートである。 [Example of Processing Procedure of Robot 2 and Robot Remote Operation Control Device 3]
Next, an example of a processing procedure of the robot 2 and the robot remote control device 3 will be described.
FIG. 9 is a flowchart of an example of a processing procedure of the robot 2 and the robot remote operation control device 3 according to this embodiment.

（ステップＳ１）情報取得部３１は、ＨＭＤ５から視線情報を取得し、コントローラー６から操作者腕部情報を取得する。 (Step S1) The information acquisition unit 31 acquires gaze information from the HMD 5 and acquires operator arm information from the controller 6.

（ステップＳ２）情報取得部３１は、環境センサ７から環境センサ情報を取得する。 (Step S2) The information acquisition unit 31 acquires environmental sensor information from the environmental sensor 7.

（ステップＳ３）意図推定部３３は、取得した視線情報と、操作者腕部情報と、環境センサ情報と、に基づいて、把持対象物体、作業内容を含む操作者の意図を推定する。 (Step S3) The intention estimation unit 33 estimates the operator's intention, including the object to be grasped and the work content, based on the acquired gaze information, operator arm information, and environmental sensor information.

（ステップＳ４）制御指令生成部３４は、推定された操作者の意図と、記憶部３７が記憶する情報とに基づいて、ロボット遠隔操作制御装置３が補助する自由度、すなわち操作者の動作指示の自由度に対する制限を決定する。なお、制御指令生成部３４は、操作者の動作のうち一部の自由度に対して適切な制御指令を生成することで、操作者の動作の自由度を減らして制御指令を生成する。 (Step S4) The control command generation unit 34 determines the degree of freedom that the robot remote control device 3 will assist, i.e., the restriction on the degree of freedom of the operator's motion instructions, based on the estimated operator's intention and the information stored in the memory unit 37. Note that the control command generation unit 34 generates control commands appropriate for some of the degrees of freedom of the operator's motion, thereby generating control commands that reduce the degree of freedom of the operator's motion.

（ステップＳ５）制御指令生成部３４は、取得した操作者腕部情報に含まれる腕部の動き情報と、ステップＳ４で決定した制限する自由度に基づいて、把持する目標の手先位置を補正する。 (Step S5) The control command generator 34 corrects the hand position of the target to be grasped based on the arm movement information contained in the acquired operator arm information and the restricted degrees of freedom determined in step S4.

（ステップＳ６）ロボット状態画像作成部３５は、情報取得部３１が取得した操作者腕部情報と、意図推定部３３が推定した結果と、制御指令生成部３４が補正した把持位置とに基づいて、ＨＭＤ５に表示させるロボット状態画像を作成する。 (Step S6) The robot state image creation unit 35 creates a robot state image to be displayed on the HMD 5 based on the operator arm information acquired by the information acquisition unit 31, the result estimated by the intention estimation unit 33, and the grip position corrected by the control command generation unit 34.

（ステップＳ７）制御指令生成部３４は、補正した把持する目標の手先位置に基づいて、制御指令を生成する。 (Step S7) The control command generator 34 generates a control command based on the corrected hand position of the target to be grasped.

（ステップＳ８）制御部２１は、制御指令生成部３４が生成した制御指令に基づいて、駆動部２２を制御してロボット２の把持部等を駆動する。制御部２１は、処理後、ステップＳ１の処理に戻す。 (Step S8) The control unit 21 controls the drive unit 22 to drive the gripper and other parts of the robot 2 based on the control command generated by the control command generation unit 34. After the process, the control unit 21 returns to the process of step S1.

なお、図９に示した処理手順は一例であり、ロボット遠隔操作制御装置３は、上述した処理を並列に処理してもよい。 Note that the processing procedure shown in FIG. 9 is an example, and the robot remote control device 3 may process the above-mentioned processes in parallel.

また、ＨＭＤ５の画像表示部５１に表示される画像は、例えば図８のような画像である。なお、ロボット状態画像には、操作者の入力ｇ１１の画像が含まれていなくてもよい。なお、ロボット状態画像作成部３５は、例えば、ＨＭＤ５上に文字で補助パターンを提示もしくは矩形や矢印等を表示することで、自由度を制限、ロボットで補助した内容を操作者に提示するようにしてもよい。これにより、操作者は、ＨＭＤ５に表示されるロボット状態画像を見ながら作業指示を行う際、例えばペットボトルの蓋を開ける際、ペットボトルの鉛直方向に把持部を合わせることを気にせずに、蓋を開ける作業指示に専念できる。 The image displayed on the image display unit 51 of the HMD 5 is, for example, an image as shown in FIG. 8. The robot state image does not have to include the image of the operator's input g11. The robot state image creation unit 35 may, for example, present an auxiliary pattern in the form of text on the HMD 5 or display a rectangle or arrow, etc., to restrict the degree of freedom and present the content of the robot's assistance to the operator. This allows the operator, when giving work instructions while looking at the robot state image displayed on the HMD 5, to concentrate on giving work instructions to open the lid, for example when opening a PET bottle lid, without worrying about aligning the gripper with the vertical direction of the PET bottle.

以上のように、本実施形態では、ロボット２、環境、操作者に設置されたセンサ情報を通じて、作業内容や対象物体をロボット遠隔操作制御装置３が判断し、状況に応じて６自由度の一部の制御目標値生成を代替することで、操作者が制御すべき自由度を限定するようにした。すなわち、本実施形態では、一部の自由度について適切な制御指令を自動生成することで、操作者が制御すべき自由度を減らす。 As described above, in this embodiment, the robot remote control device 3 determines the work content and target object through sensor information installed on the robot 2, the environment, and the operator, and by taking over the generation of control target values for some of the six degrees of freedom depending on the situation, the degrees of freedom that the operator must control are limited. In other words, in this embodiment, the degrees of freedom that the operator must control are reduced by automatically generating appropriate control commands for some of the degrees of freedom.

これにより、本実施形態によれば、遠隔操縦ロボットにおいて、操作者の負担軽減と作業の多様化、高効率化を同時に実現できる。 As a result, this embodiment makes it possible to simultaneously reduce the burden on the operator, diversify tasks, and increase efficiency in a remote-controlled robot.

なお、上述した自由度の制限例は一例であり、これに限らない。自由度の制限は、操作者がその自由度を完全に制御できないことを意味するわけではなく、操作可能な領域が制限されることも含む。
例えば、ロボット遠隔操作制御装置３は、対象物体からの距離が所定の範囲外の場合に自由度の制限を行わず、対象物体から所定の範囲内の場合に自由度の制限を行うようにしてもよい。所定の範囲内は、一例として並進ｘ軸の±１ｍの範囲である。 The above-mentioned examples of limiting the degree of freedom are merely examples, and are not intended to be limiting. Limiting the degree of freedom does not mean that the operator cannot completely control the degree of freedom, but also includes limiting the operable area.
For example, the robot remote control device 3 may not restrict the degrees of freedom when the distance from the target object is outside a predetermined range, but may restrict the degrees of freedom when the distance from the target object is within a predetermined range. The predetermined range is, for example, a range of ±1 m on the translation x-axis.

なお、上述した例では、遠隔操作によって対象物体を把持させる例等を説明したが、これに限らない。ロボット遠隔操作制御装置３は、他の作業内容であっても、作業内容に応じて自由度の制限を行うようにする。
また、作業内容が複数の場合、ロボット遠隔操作制御装置３は、作業内容が変化する毎に自由度の制限の変更を行うようにしてもよい。例えば、テーブル上に複数の物体が置かれ、その中から１つのペットボトルを把持させた後、そのペットボトルの蓋を開けさせる場合、把持させる段階の第１の自由度の制限、蓋を開けさせる場合の第２の自由度の制限をロボット遠隔操作制御装置３は設定する。 In the above example, the target object is grasped by remote control, but the present invention is not limited to this example. Even if the robot is to perform other tasks, the robot remote control device 3 may limit the degree of freedom depending on the task.
In addition, when there are multiple tasks, the robot remote operation control device 3 may change the restriction on the degree of freedom each time the task changes. For example, when multiple objects are placed on a table and a PET bottle is to be grasped from among the objects and then the lid of the PET bottle is to be opened, the robot remote operation control device 3 sets a restriction on the first degree of freedom for the stage of grasping and a restriction on the second degree of freedom for the stage of opening the lid.

また、両方の把持部を用いて行う作業内容の場合、ロボット遠隔操作制御装置３は、自由度の制限や、手先目標の補正を把持部毎に行う。 In addition, when the work is performed using both grippers, the robot remote control device 3 limits the degrees of freedom and corrects the hand target for each gripper.

また、上述したロボット２は、例えば、二足歩行ロボットであってもよく、固定型の受付ロボットであってもよく、作業ロボットであってもよい。 Furthermore, the above-mentioned robot 2 may be, for example, a bipedal robot, a stationary reception robot, or a work robot.

また、上述した例では、遠隔操作でロボット２に把持させる例を説明したが、これに限らない。 In the above example, the robot 2 is remotely controlled to grasp the object, but this is not limited to the above.

また、上述した例では、操作者がＨＭＤ５を装着する例を説明したが、これに限らない。視線情報の検出や、操作者へのロボット状態画像の提供は、例えば、センサと画像表示装置との組み合わせ等であってもよい。 In the above example, the operator wears the HMD 5, but this is not limited to the example. Detection of gaze information and provision of a robot state image to the operator may be achieved, for example, by a combination of a sensor and an image display device.

なお、本発明におけるロボット２の機能の全てまたは一部、ロボット遠隔操作制御装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット２が行う処理の全てまたは一部、ロボット遠隔操作制御装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ローカルネットワーク上で構築されたシステムやクラウド上で構築されたシステム等も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 In addition, a program for implementing all or part of the functions of the robot 2 and all or part of the functions of the robot remote control device 3 in the present invention may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed to perform all or part of the processing performed by the robot 2 and all or part of the processing performed by the robot remote control device 3. Note that the term "computer system" here includes hardware such as an OS and peripheral devices. The term "computer system" also includes systems built on local networks and systems built on clouds. The term "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems. The term "computer-readable recording medium" also includes those that hold a program for a certain period of time, such as volatile memory (RAM) inside a computer system that becomes a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The above program may also be transmitted from a computer system in which the program is stored in a storage device or the like to another computer system via a transmission medium, or by transmission waves in the transmission medium. Here, the "transmission medium" that transmits the program refers to a medium that has the function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The above program may also be one that realizes part of the above-mentioned functions. Furthermore, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 The above describes the form for carrying out the present invention using an embodiment, but the present invention is not limited to such an embodiment, and various modifications and substitutions can be made without departing from the spirit of the present invention.

１…ロボット遠隔操作制御システム、２…ロボット、３…ロボット遠隔操作制御装置、５…ＨＭＤ、６…コントローラー、７…環境センサ、２１…制御部、２２…駆動部、２３…収音部、２５…記憶部、２６…電源、２７…センサ、２２１…把持部、３１…情報取得部、３３…意図推定部、３４…制御指令生成部、３５…ロボット状態画像作成部、３６…送信部、３７…記憶部、５１…画像表示部、５２…視線検出部、５４…制御部、５５…通信部、６１…センサ、６２…制御部、６３…通信部、６４…フィードバック手段、７１…撮影装置、７２…センサ、７３…通信部 1...Robot remote operation control system, 2...Robot, 3...Robot remote operation control device, 5...HMD, 6...Controller, 7...Environment sensor, 21...Controller, 22...Driver, 23...Sound collection unit, 25...Memory unit, 26...Power source, 27...Sensor, 221...Grip, 31...Information acquisition unit, 33...Intention estimation unit, 34...Control command generation unit, 35...Robot state image creation unit, 36...Transmitter, 37...Memory unit, 51...Image display unit, 52...Gaze detection unit, 54...Control unit, 55...Communication unit, 61...Sensor, 62...Control unit, 63...Communication unit, 64...Feedback means, 71...Photographing device, 72...Sensor, 73...Communication unit

Claims

In a robot remote control system , the robot recognizes a motion of an operator and transmits the motion of the operator to a robot having a hand with a plurality of degrees of freedom for the hand to control the robot,
an intention estimation unit that estimates a motion of the operator based on a robot environment sensor value obtained by an environmental sensor installed in the robot or in the surrounding environment of the robot, and an operator sensor value that is the motion of the operator obtained by an operator sensor;
a control command generating unit that generates a control command for causing the robot to operate an object using the hand based on the estimated motion of the operator;
Equipped with
the control command generation unit replaces the control command for a part of the plurality of degrees of freedom with the control command having a predetermined content corresponding to the estimated motion of the operator , thereby limiting the part of the plurality of degrees of freedom that is operated by the motion of the operator .
Robot remote control device.

The intention estimation unit,
inputting the robot environment sensor value and the operator sensor value into a trained intention estimation model to estimate a motion of the operator;
The robot remote operation control device according to claim 1 .

The operator sensor value is at least one of gaze information of the operator and operator arm information which is information regarding a posture or a position of the arm of the operator.
The robot remote control device according to claim 1 or 2.

The robot environment sensor value includes captured image information and depth information.
The robot remote operation control device according to any one of claims 1 to 3.

In a robot remote control system, the robot recognizes a motion of an operator and transmits the motion of the operator to a robot having a hand with a plurality of degrees of freedom for the hand to control the robot,
The robot remote operation control device according to any one of claims 1 to 4,
A gripping unit that grips an object;
An environmental sensor that is installed on the robot or in the surrounding environment of the robot and detects a robot environmental sensor value;
an operator sensor that detects a movement of the operator as an operator sensor value;
A robot remote operation control system comprising:

In a robot remote control system , the robot recognizes a motion of an operator and transmits the motion of the operator to a robot having a hand with a plurality of degrees of freedom for the hand to control the robot,
an intention estimation unit estimates a motion of the operator based on a robot environment sensor value obtained by an environment sensor installed in the robot or in a surrounding environment of the robot and an operator sensor value which is a motion of the operator obtained by an operator sensor;
a control command generating unit generating a control command for causing the robot to operate an object using the hand , based on the estimated motion of the operator;
the control command generating unit replaces the control command for a part of the plurality of degrees of freedom with the control command having a predetermined content corresponding to the estimated motion of the operator , thereby limiting the part of the plurality of degrees of freedom that is operated by the motion of the operator .
A method for remotely controlling a robot.

In a robot remote control system , the robot recognizes a motion of an operator and transmits the motion of the operator to a robot having a hand with a plurality of degrees of freedom for the hand to control the robot,
On the computer,
A motion of the operator is estimated based on a robot environment sensor value obtained by an environment sensor installed in the robot or in the surrounding environment of the robot, and an operator sensor value which is a motion of the operator obtained by an operator sensor;
generating a control command for causing the robot to operate an object using the hand based on the estimated motion of the operator;
By replacing the control command for a part of the plurality of degrees of freedom with the control command having a predetermined content corresponding to the estimated motion of the operator , the degree of freedom that is a part of the plurality of degrees of freedom and is operated by the motion of the operator is limited.
Program for.