Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7706320B2 - Computer, robot control method, and computer system - Google Patents
[go: Go Back, main page]

JP7706320B2 - Computer, robot control method, and computer system - Google Patents

Computer, robot control method, and computer system Download PDF

Info

Publication number
JP7706320B2
JP7706320B2 JP2021165454A JP2021165454A JP7706320B2 JP 7706320 B2 JP7706320 B2 JP 7706320B2 JP 2021165454 A JP2021165454 A JP 2021165454A JP 2021165454 A JP2021165454 A JP 2021165454A JP 7706320 B2 JP7706320 B2 JP 7706320B2
Authority
JP
Japan
Prior art keywords
status information
robot
information
trajectory
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021165454A
Other languages
Japanese (ja)
Other versions
JP2023056229A (en
Inventor
佳一郎 西
信昭 中須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2021165454A priority Critical patent/JP7706320B2/en
Priority to US17/957,567 priority patent/US12343872B2/en
Publication of JP2023056229A publication Critical patent/JP2023056229A/en
Application granted granted Critical
Publication of JP7706320B2 publication Critical patent/JP7706320B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1674Program controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1612Program controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1628Program controls characterised by the control loop
    • B25J9/163Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • B25J9/1664Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Description

本発明は、物体の把持及び物体の移動を含む作業を行うロボットの制御に関する。 The present invention relates to the control of a robot that performs tasks including grasping and moving an object.

物体の把持及び物品の移動を含む作業を行うロボットを制御する技術として特許文献1に記載の技術が知られている。特許文献1には「ロボット、及び把持物に関する状態情報を生成、更新する状態情報生成部と、前記ロボットが前記把持物を始点から終点まで移動させ得る、予め生成されたベース軌道、及び前記状態情報に基づき、前記ロボットを制御するための制御情報を生成する制御情報生成部と、を備える」制御装置が記載されている。 The technology described in Patent Document 1 is known as a technology for controlling a robot that performs tasks including grasping objects and moving items. Patent Document 1 describes a control device that "includes a state information generation unit that generates and updates state information regarding the robot and the grasped object, and a control information generation unit that generates control information for controlling the robot based on a pre-generated base trajectory along which the robot can move the grasped object from a start point to an end point, and the state information."

特開2021-84159号公報JP 2021-84159 A 特開2019-942号公報JP 2019-942 A

特許文献1に記載の技術では、現在の状態に基づいて制御を行っている。将来の状態も加味することによって、より精度の高いロボット制御の実現が期待できる。本発明は、より高い精度でロボットを制御可能なシステム及び方法を実現することを目的とする。 In the technology described in Patent Document 1, control is performed based on the current state. By taking future states into account, it is expected that more accurate robot control can be achieved. The object of the present invention is to realize a system and method that can control a robot with greater accuracy.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、物体の把持及び物体の移動を含む作業を行うロボットを制御する計算機であって、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有し、前記記憶装置は、前記ロボットの作業において、前記物体を把持して移動させる場合の前記ロボットの軌道に関する軌道情報を保持し、前記演算装置は、作業中の前記ロボットの稼働状態を示す値を含む第1稼働状態情報と、前記ロボットが把持する前記物体の状態を把握するための値を含む作業状態情報とを取得し、前記軌道情報に基づいて生成される、将来の作業中の前記ロボットの稼働状態を示す値を含む第2稼働状態情報と、前記第1稼働状態情報と、前記作業状態情報と、に基づいて、将来の前記ロボットが把持する前記物体の状態を把握するための値を含む推定作業状態情報を生成し、前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報に基づいて、前記ロボットを制御するための制御情報を生成する。 A representative example of the invention disclosed in the present application is as follows: That is, a computer for controlling a robot performing a task including grasping and moving an object includes an arithmetic unit, a storage device connected to the arithmetic unit, and an interface connected to the arithmetic unit, the storage device holds trajectory information related to a trajectory of the robot when grasping and moving the object during the task of the robot, the arithmetic unit acquires first operating status information including a value indicating an operating status of the robot during the task and work status information including a value for grasping the state of the object grasped by the robot, generates second operating status information including a value indicating a future operating status of the robot during the task generated based on the trajectory information, and estimated work status information including a value for grasping the future state of the object grasped by the robot based on the first operating status information and the work status information, and generates control information for controlling the robot based on the trajectory information, the first operating status information, the work status information, and the estimated work status information.

本発明によれば、高い精度でロボットを制御できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。 The present invention allows robots to be controlled with high precision. Problems, configurations, and advantages other than those described above will become clear from the description of the embodiments below.

実施例1のシステムの構成例を示す図である。FIG. 1 illustrates an example of a system configuration according to a first embodiment. 実施例1のロボット構成情報のデータ構造の一例を示す図である。FIG. 2 is a diagram illustrating an example of a data structure of robot configuration information according to the first embodiment. 実施例1の設備構成情報のデータ構造の一例を示す図である。FIG. 4 is a diagram illustrating an example of a data structure of facility configuration information according to the first embodiment. 実施例1の軌道情報のデータ構造の一例を示す図である。FIG. 4 is a diagram illustrating an example of a data structure of trajectory information according to the first embodiment. 実施例1の計算機が実行する処理の一例を説明するフローチャートである。1 is a flowchart illustrating an example of a process executed by a computer according to a first embodiment. 実施例1の作業履歴情報に格納される稼働状態情報及び作業状態情報の一例を示す図である。11 is a diagram illustrating an example of operation status information and work status information stored in work history information according to the first embodiment. FIG. 実施例1の作業履歴情報に格納される稼働状態情報及び作業状態情報の一例を示す図である。11 is a diagram illustrating an example of operation status information and work status information stored in work history information according to the first embodiment. FIG. 実施例1の計算機による推定作業状態情報の生成方法の一例を示す図である。FIG. 11 is a diagram illustrating an example of a method for generating estimated work state information by the computer of the first embodiment. 実施例2のシステムの構成例を示す図である。FIG. 13 is a diagram illustrating an example of the configuration of a system according to a second embodiment. 実施例2の計算機が実行する処理の一例を説明するフローチャートである。13 is a flowchart illustrating an example of a process executed by a computer according to a second embodiment. 実施例2の計算機が生成するノイズ解析情報のデータ構造の一例を示す図である。FIG. 11 is a diagram illustrating an example of a data structure of noise analysis information generated by a computer according to a second embodiment. 実施例2の計算機が表示する画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of a screen displayed by a computer according to a second embodiment. 実施例2の計算機が表示する画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of a screen displayed by a computer according to a second embodiment. 実施例2の計算機によるノイズ除去の一例を示す図である。FIG. 11 is a diagram illustrating an example of noise removal by a computer according to a second embodiment.

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。 The following describes an embodiment of the present invention with reference to the drawings. However, the present invention should not be interpreted as being limited to the description of the embodiment shown below. It will be easily understood by those skilled in the art that the specific configuration can be changed without departing from the concept or spirit of the present invention.

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。 In the configuration of the invention described below, the same or similar configurations or functions are given the same reference symbols, and duplicate explanations are omitted.

本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。 The terms "first," "second," "third," and the like used in this specification are used to identify components and do not necessarily limit the number or order.

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。 The position, size, shape, range, etc. of each component shown in the drawings, etc. may not represent the actual position, size, shape, range, etc., in order to facilitate understanding of the invention. Therefore, the present invention is not limited to the position, size, shape, range, etc. disclosed in the drawings, etc.

図1は、実施例1のシステムの構成例を示す図である。 Figure 1 shows an example of the system configuration of Example 1.

システムは、ロボット100及び計算機101から構成される。ロボット100及び計算機101は、直接又はネットワークを介して接続される。 The system is composed of a robot 100 and a computer 101. The robot 100 and the computer 101 are connected directly or via a network.

ロボット100は、計算機101から出力される制御情報に基づいて、物体(ワーク)を把持し、始点から終点まで移動させる作業を行う。ロボット100は、作業装置群110、コントローラ111、及び計測装置112を備える。 The robot 100 grasps an object (workpiece) and moves it from a starting point to an end point based on control information output from the computer 101. The robot 100 includes a group of working devices 110, a controller 111, and a measuring device 112.

作業装置群110は、物体の把持及び物体の移動を実現する装置群であり、例えば、ハンド、リンク、及び駆動モータ等である。 The working device group 110 is a group of devices that realizes the grasping and movement of objects, such as hands, links, and drive motors.

コントローラ111は、計算機101から受信した制御情報に基づいて作業装置群110を制御する。例えば、コントローラ111は、制御情報にしたがって、関節として機能する、リンク間を接続する駆動モータを駆動することによって、ハンドを移動させる。コントローラ111は、関節の角度、角速度、角加速度、並びに、駆動モータのトルク及び電流値等を含む稼働状態情報を計算機101に出力する。 The controller 111 controls the group of working devices 110 based on control information received from the computer 101. For example, the controller 111 moves the hand by driving drive motors that function as joints and connect links in accordance with the control information. The controller 111 outputs operating status information to the computer 101, including the angles, angular velocities, and angular accelerations of the joints, as well as the torque and current values of the drive motors.

計測装置112は、ロボット100の作業による物体の状態を把握するための値を計測する。計測装置112から出力される値を作業状態情報とも記載する。計測装置112は、例えば、加速度センサ、力覚センサ、カメラ、接触センサ、及び電流センサ等である。なお、ロボット100は、計測対象ごとに、種別が異なる複数の計測装置112を備えてもよい。なお、本発明は、計測装置112の設置位置及び設置数に限定されない。 The measuring device 112 measures values to grasp the state of an object due to work by the robot 100. The values output from the measuring device 112 are also referred to as work state information. The measuring device 112 is, for example, an acceleration sensor, a force sensor, a camera, a contact sensor, a current sensor, etc. The robot 100 may be equipped with multiple measuring devices 112 of different types for each measurement target. The present invention is not limited to the installation positions and number of measuring devices 112.

なお、ロボット100は、稼働状態情報及び作業状態情報を一つの情報にまとめて送信してもよい。 The robot 100 may transmit the operating status information and the work status information together as a single piece of information.

計算機101は、ロボット100の移動経路である軌道の情報(軌道情報)を生成し、また、軌道情報、稼働状態情報、及び作業状態情報に基づいて、制御情報を生成する。制御情報は、例えば、以下のような値を含む。
(1)制御軸の次の目標角度、角速度、及び角加速度
(2)駆動モータのトルク、及び駆動電流
(3)物体の目標座標、移動速度、及び加速度
The computer 101 generates information on a trajectory (trajectory information), which is a moving path of the robot 100, and also generates control information based on the trajectory information, the operating status information, and the work status information. The control information includes, for example, the following values.
(1) Next target angle, angular velocity , and angular acceleration of the control axis; (2) Torque and drive current of the drive motor; (3) Target coordinates, moving velocity, and acceleration of the object.

計算機101は、演算装置120、記憶装置121、通信装置122、入力装置123、及び出力装置124を備える。各ハードウェア要素は内部バスを介して接続される。 The computer 101 includes a calculation device 120, a storage device 121, a communication device 122, an input device 123, and an output device 124. Each hardware element is connected via an internal bus.

記憶装置121は、演算装置120が実行するプログラム及び情報を格納する装置であり、例えば、メモリ等である。記憶装置121は、ロボット構成情報140、設備構成情報141、軌道情報142、モデル情報143、及び作業履歴情報144を格納する。また、記憶装置121は、ワークエリアとしても使用される。 The storage device 121 is a device that stores the programs and information executed by the computing device 120, and is, for example, a memory. The storage device 121 stores robot configuration information 140, equipment configuration information 141, trajectory information 142, model information 143, and work history information 144. The storage device 121 is also used as a work area.

ロボット構成情報140は、ロボット100の構成に関する情報である。ロボット構成情報140のデータ構造については図2を用いて説明する。 The robot configuration information 140 is information about the configuration of the robot 100. The data structure of the robot configuration information 140 is explained using Figure 2.

設備構成情報141は、ロボット100が作業を行う設備に関する情報である。設備構成情報141のデータ構造については図3を用いて説明する。 The equipment configuration information 141 is information about the equipment on which the robot 100 performs work. The data structure of the equipment configuration information 141 will be explained using Figure 3.

軌道情報142は、ロボット100の移動経路である軌道に関する情報である。軌道情報142のデータ構造については図4を用いて説明する。 Trajectory information 142 is information about the trajectory, which is the movement path of robot 100. The data structure of trajectory information 142 will be explained using Figure 4.

モデル情報143は、作業状態を推定するモデル(第1モデル)及び制御情報を生成するモデル(第2モデル)に関する情報である。第1モデル及び第2モデルは、関数、テーブル、又はニューラルネットワーク等である。本実施例では、各モデルはニューラルネットワークとする。各モデルは、シミュレータを用いた機械学習によって生成される。 The model information 143 is information about a model (first model) that estimates an operation state and a model (second model) that generates control information. The first model and the second model are functions, tables, neural networks, or the like. In this embodiment, each model is a neural network. Each model is generated by machine learning using a simulator.

作業履歴情報144は、作業中の稼働状態及び作業状態の履歴を管理する情報である。具体的には、作業履歴情報144には、稼働状態情報及び作業状態情報が蓄積される。 The work history information 144 is information that manages the operating status and work status history during work. Specifically, the work history information 144 accumulates operating status information and work status information.

演算装置120は、計算機101全体を制御する装置であり、例えば、プロセッサ等である。演算装置120は記憶装置121に格納されるプログラムを実行する。演算装置120がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部(モジュール)として動作する。以下の説明では、機能部を主語に処理を説明する場合、演算装置120が当該機能部を実現するプログラムを実行していることを示す。本実施例の演算装置120は、軌道情報生成部130、作業状態推定部131、及び制御情報生成部132として機能する。 The arithmetic device 120 is a device that controls the entire computer 101, and is, for example, a processor. The arithmetic device 120 executes a program stored in the memory device 121. The arithmetic device 120 executes processing according to the program, thereby operating as a functional unit (module) that realizes a specific function. In the following explanation, when a process is explained with the functional unit as the subject, it indicates that the arithmetic device 120 is executing a program that realizes the functional unit. In this embodiment, the arithmetic device 120 functions as a trajectory information generation unit 130, a task state estimation unit 131, and a control information generation unit 132.

軌道情報生成部130は、作業内容及び物体の位置等の入力情報に基づいて、ハンドの軌道を決定する。また、軌道情報生成部130は、ロボット構成情報140、設備構成情報141、及びハンドの軌道に基づいてツールの軌道を決定する。軌道情報生成部130は、決定された軌道を示す軌道情報142を生成する。なお、軌道を決定する方法は公知の技術であるため詳細な説明は省略する。 The trajectory information generation unit 130 determines the trajectory of the hand based on input information such as the work content and the position of the object. The trajectory information generation unit 130 also determines the trajectory of the tool based on the robot configuration information 140, the equipment configuration information 141, and the trajectory of the hand. The trajectory information generation unit 130 generates trajectory information 142 that indicates the determined trajectory. Note that the method of determining the trajectory is a known technology, so a detailed explanation will be omitted.

作業状態推定部131は、軌道情報142、作業履歴情報144に蓄積される稼働状態情報及び作業状態情報、並びに、第1モデルに基づいて、将来の作業状態を推定する。 The work state estimation unit 131 estimates the future work state based on the trajectory information 142, the operating state information and work state information accumulated in the work history information 144, and the first model.

制御情報生成部132は、軌道情報142、作業履歴情報144に蓄積される稼働状態情報及び作業状態情報、作業状態の推定結果、並びに、第2モデルに基づいて、制御情報を生成する。 The control information generation unit 132 generates control information based on the trajectory information 142, the operating status information and work status information accumulated in the work history information 144, the estimated work status, and the second model.

なお、計算機101が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。 Regarding each functional unit of the computer 101, multiple functional units may be combined into one functional unit, or one functional unit may be divided into multiple functional units for each function.

通信装置122は、外部装置と通信するための装置であり、例えば、NIC(Network Interface Card)である。 The communication device 122 is a device for communicating with external devices, such as a NIC (Network Interface Card).

入力装置123は、計算機101にデータ及びコマンド等を入力するための装置であり、例えば、キーボード、マウス、及びタッチパネル等である。 The input device 123 is a device for inputting data, commands, etc. to the computer 101, and is, for example, a keyboard, a mouse, a touch panel, etc.

出力装置124は、計算機101の演算結果等を出力するための装置であり、例えば、ディスプレイ、プロジェクタ、及びプリンタ等である。 The output device 124 is a device for outputting the calculation results of the calculator 101, and is, for example, a display, a projector, a printer, etc.

図2は、実施例1のロボット構成情報140のデータ構造の一例を示す図である。 Figure 2 is a diagram showing an example of the data structure of robot configuration information 140 in Example 1.

ロボット構成情報140は、ID201、分類202、項目203、及び内容204を含むエントリを格納する。 The robot configuration information 140 stores entries including ID 201, classification 202, item 203, and content 204.

ID201は、エントリの識別情報を格納するフィールドである。分類202は、ロボット100を構成する要素の分類を格納するフィールドである。項目203は、要素の管理項目を格納するフィールドである。内容204は、管理項目の内容を格納するフィールドである。内容204には、ファイル、数値、及び文字列等が格納される。 ID 201 is a field that stores the identification information of an entry. Classification 202 is a field that stores the classification of the elements that make up the robot 100. Item 203 is a field that stores the management items of the elements. Content 204 is a field that stores the contents of the management items. Files, numbers, character strings, etc. are stored in content 204.

リンクについては、リンクの形状が管理される。リンク間を結合する関節(Joint)については、結合するリンク、関節のタイプ、及び関節の動きの制約が管理される。なお、関節については、関節のタイプに応じて関節の動きの制約として管理する項目が異なる。 For links, the shape of the links is managed. For joints that connect links, the connecting links, the joint type, and constraints on the movement of the joints are managed. Note that for joints, the items managed as constraints on the movement of the joints differ depending on the type of joint.

図3は、実施例1の設備構成情報141のデータ構造の一例を示す図である。 Figure 3 is a diagram showing an example of the data structure of the equipment configuration information 141 in Example 1.

設備構成情報141は、ID301、設備名302、取付け対象303、相対位置304、及び相対姿勢305を含むエントリを格納する。 The equipment configuration information 141 stores entries including an ID 301, equipment name 302, mounting target 303, relative position 304, and relative orientation 305.

ID301は、エントリの識別情報を格納するフィールドである。設備名302は、設備の名称を格納するフィールドである。取付け対象303は、設備に取り付ける対象の名称を格納するフィールドである。相対位置304は、取付け対象の設備に対する相対的な設置位置を示す情報(例えば、座標)を格納するフィールドである。相対姿勢305は、取付け対象の設備に対する相対的な姿勢を示す情報(例えば、座標)を格納するフィールドである。 ID 301 is a field that stores the identification information of an entry. Equipment name 302 is a field that stores the name of the equipment. Mounting target 303 is a field that stores the name of the object to be mounted on the equipment. Relative position 304 is a field that stores information (e.g., coordinates) that indicates the installation position relative to the equipment of the mounting target. Relative orientation 305 is a field that stores information (e.g., coordinates) that indicates the orientation relative to the equipment of the mounting target.

ID301が「0」のエントリは、組立セルAを基準として、他の設備の位置及び姿勢が決定されることを示す。ID301が「1」のエントリには、組立セルAに対して設置されるRoboAの相対位置及び相対姿勢が格納される。 An entry with ID 301 of "0" indicates that the position and orientation of other equipment are determined based on assembly cell A. An entry with ID 301 of "1" stores the relative position and relative orientation of RoboA to be installed with respect to assembly cell A.

図4は、実施例1の軌道情報142のデータ構造の一例を示す図である。 Figure 4 is a diagram showing an example of the data structure of trajectory information 142 in Example 1.

軌道情報142は、ハンドの軌道を示すテーブル400及びツールの軌道を示すテーブル410を格納する。 Trajectory information 142 stores a table 400 showing the hand trajectory and a table 410 showing the tool trajectory.

テーブル400は、経由点401、位置402、姿勢403、及びTime404を含むエントリを格納する。 The table 400 stores entries including a via point 401, a position 402, an attitude 403, and a time 404.

経由点401は、軌道上の経由点の識別情報を格納するフィールドである。位置402は、経由点におけるハンドの座標を示す値を格納するフィールド群である。位置402の各フィールドにはデカルト座標系の値が格納される。姿勢403は、経由点におけるハンドの姿勢を示す値を格納するフィールド群である。姿勢403の各フィールドには、四元数(quaternion)で定義された値が格納される。Time404は、始点から移動を開始したハンドが経由点に到達する時間を格納するフィールドである。 Waypoint 401 is a field that stores identification information of waypoints on the trajectory. Position 402 is a group of fields that store values indicating the coordinates of the hand at the waypoint. Each field of position 402 stores a value in the Cartesian coordinate system. Orientation 403 is a group of fields that store values indicating the orientation of the hand at the waypoint. Each field of orientation 403 stores a value defined by a quaternion. Time 404 is a field that stores the time at which the hand, having started moving from the starting point, reaches the waypoint.

テーブル410は、経由点411、姿勢412、及びTime413を含むエントリを格納する。 Table 410 stores entries including via points 411, attitudes 412, and time 413.

経由点411は、経由点401と同一のフィールドである。姿勢412は、経由点における各関節の姿勢を示す値を格納するフィールド群である。姿勢412の各フィールドには関節の角度が格納される。Time413は、Time404と同一のフィールドである。 Waypoint 411 is the same field as waypoint 401. Posture 412 is a group of fields that store values indicating the posture of each joint at the waypoint. Each field of posture 412 stores the angle of the joint. Time 413 is the same field as Time 404.

なお、軌道情報142には、作業内容ごとに、テーブル400及びテーブル410の組が含まれる。なお、ロボット100本体が移動する場合には、ロボット100本体の軌道に関するテーブルが軌道情報142に含まれてもよい。 The trajectory information 142 includes a set of table 400 and table 410 for each task. If the robot 100 body moves, the trajectory information 142 may include a table relating to the trajectory of the robot 100 body.

図5は、実施例1の計算機101が実行する処理の一例を説明するフローチャートである。図6A及び図6Bは、実施例1の作業履歴情報144に格納される稼働状態情報及び作業状態情報の一例を示す図である。図7は、実施例1の計算機101による推定作業状態情報の生成方法の一例を示す図である。なお、以下の説明では、軌道情報142はすでに生成されているものとする。 FIG. 5 is a flowchart illustrating an example of processing executed by the computer 101 of the first embodiment. FIGS. 6A and 6B are diagrams illustrating an example of operation status information and work status information stored in the work history information 144 of the first embodiment. FIG. 7 is a diagram illustrating an example of a method for generating estimated work status information by the computer 101 of the first embodiment. In the following description, it is assumed that the trajectory information 142 has already been generated.

制御情報生成部132は、作業のループ処理を開始する(ステップS101)。作業のループ処理は、物体の把持及び軌道経路に沿った物体の移動等、一連の作業が終了するまで繰り返し実行される。 The control information generator 132 starts a task loop process (step S101). The task loop process is repeatedly executed until a series of tasks, such as grasping an object and moving the object along a trajectory path, is completed.

制御情報生成部132は、ロボット100から稼働状態情報及び作業状態情報を取得し(ステップS102)、作業履歴情報144に格納する。 The control information generator 132 acquires operating status information and work status information from the robot 100 (step S102) and stores the information in the work history information 144.

作業履歴情報144には、図6Aに示すような形式で稼働状態情報が蓄積される。一つのエントリが計測周期であるタイムステップごとに取得された稼働状態情報である。また、作業履歴情報144には、図6Bに示すような形式で作業状態情報が蓄積される。一つのエントリがタイムステップごとに取得された作業状態情報である。Fx、Fy、Fzは、X軸、Y軸、及びZ軸方向のForce値である。Tx、Ty、Tzは、X軸、Y軸、及びZ軸方向のトルク値である。Ax、Ay、Azは、X軸、Y軸、及びZ軸方向の加速度である。Vx、Vy、Vzは、X軸、Y軸、及びZ軸方向の速度である。 Operating status information is accumulated in the work history information 144 in a format as shown in FIG. 6A. One entry is operating status information acquired for each time step, which is the measurement period. Furthermore, working status information is accumulated in the work history information 144 in a format as shown in FIG. 6B. One entry is working status information acquired for each time step. Fx, Fy, Fz are force values in the X-axis, Y-axis, and Z-axis directions. Tx, Ty, Tz are torque values in the X-axis, Y-axis, and Z-axis directions. Ax, Ay, Az are accelerations in the X-axis, Y-axis, and Z-axis directions. Vx, Vy, Vz are velocities in the X-axis, Y-axis, and Z-axis directions.

制御情報生成部132は、処理が可能か否かを判定する(ステップS103)。具体的には、制御情報生成部132は、処理に必要な数の稼働状態情報及び作業状態情報が蓄積されたか否かを判定する。本実施例では、5ステップ分の稼働状態情報及び作業状態情報が蓄積されたか否かが判定される。稼働状態情報及び作業状態情報の数は、例えば、計測装置112の計測周波数を分析周波数分解能で除算した値である。 The control information generating unit 132 determines whether processing is possible (step S103). Specifically, the control information generating unit 132 determines whether the number of pieces of operating status information and work status information required for processing have been accumulated. In this embodiment, it is determined whether five steps of operating status information and work status information have been accumulated. The number of pieces of operating status information and work status information is, for example, a value obtained by dividing the measurement frequency of the measuring device 112 by the analysis frequency resolution.

処理が可能でない場合、制御情報生成部132は、ステップS102に戻り、同様の処理を実行する。 If processing is not possible, the control information generator 132 returns to step S102 and executes the same processing.

処理が可能である場合、制御情報生成部132は、作業状態推定部131に作業状態の推定を指示することによって、推定作業状態情報を生成する(ステップS104)。 If processing is possible, the control information generation unit 132 generates estimated work state information by instructing the work state estimation unit 131 to estimate the work state (step S104).

例えば、作業状態推定部131は、図7に示すように、5ステップ分の稼働状態情報及び作業状態情報と、軌道情報142から生成される未来の2ステップ分の稼働状態情報を、第1モデルであるニューラルネットワークに入力し、未来の2ステップ分の推定作業状態情報を生成する。なお、第1モデルに入力する項目、第1モデルに入力する稼働状態情報及び作業状態情報の数(時系列の長さ)、並びに、生成する推定作業状態情報の数は任意に設定できる。また、ニューラルネットワークの構造は任意に設定できる。 For example, as shown in FIG. 7, the work state estimation unit 131 inputs five steps of operating state information and work state information, and two future steps of operating state information generated from trajectory information 142, into a neural network, which is the first model, to generate estimated work state information for the two future steps. Note that the items to be input into the first model, the number of operating state information and work state information to be input into the first model (length of the time series), and the number of estimated work state information to be generated can be set arbitrarily. Also, the structure of the neural network can be set arbitrarily.

本実施例の第1モデルには、ロボット構成情報140に含まれる制約が取り込まれているものとする。 The first model in this embodiment is assumed to incorporate the constraints contained in the robot configuration information 140.

制御情報生成部132は、軌道情報142、作業履歴情報144に蓄積される稼働状態情報及び作業状態情報、並びに、推定作業状態情報を、第2モデルであるニューラルネットワークに入力することによって制御情報を生成し、ロボット100に出力する(ステップS105)。 The control information generation unit 132 generates control information by inputting the trajectory information 142, the operating status information and work status information accumulated in the work history information 144, and the estimated work status information into a neural network, which is the second model, and outputs the control information to the robot 100 (step S105).

作業が完了していない場合、制御情報生成部132は、ステップS102に戻り、同様の処理を実行する。作業が完了した場合、制御情報生成部132はループ処理を終了し(ステップS106)、一連の処理を終了する。 If the work is not complete, the control information generating unit 132 returns to step S102 and executes the same process. If the work is complete, the control information generating unit 132 ends the loop process (step S106) and ends the series of processes.

なお、軌道の始点では、ステップS104の処理を行わずに、ステップS105を行うようにする。この場合、制御情報生成部132は、例えば、軌道情報142、並びに、作業履歴情報144に蓄積される稼働状態情報及び作業状態情報を第2モデルに入力し、制御情報を生成する。なお、別の方法で始点の制御情報を生成してもよい。 At the start point of the trajectory, step S105 is performed without performing step S104. In this case, the control information generating unit 132 inputs, for example, the trajectory information 142 and the operating status information and work status information accumulated in the work history information 144 into the second model, and generates control information. Note that the control information for the start point may be generated by a different method.

実施例1によれば、計算機101は、現在の物体の状態、現在のロボットの状態、及び、未来の物体の状態を加味することによって、ロボットによる安全かつ確実な作業を実現する制御情報を生成することができる。 According to the first embodiment, the computer 101 can generate control information that enables the robot to perform work safely and reliably by taking into account the current state of the object, the current state of the robot, and the future state of the object.

なお、実施例1では、一つの計算機101がロボット100を制御していたが、複数の計算機101を含む計算機システムが同様の制御を行うようにしてもよい。この場合、複数の計算機101に機能部を分散して配置してもよい。 In the first embodiment, one computer 101 controls the robot 100, but a computer system including multiple computers 101 may perform similar control. In this case, the functional units may be distributed among the multiple computers 101.

従来技術では、ロボット及び物体の状態を把握するためにセンサが計測した計測値が用いられる。計測値には、環境、ロボット、又は物体に起因したノイズが含まれるため、精度よくロボットを制御するためにはノイズを除去する必要がある。これに対して特許文献2に記載の技術が知られている。 In conventional technology, measurements taken by sensors are used to understand the state of the robot and object. The measurements contain noise caused by the environment, the robot, or the object, so it is necessary to remove the noise in order to control the robot with precision. In response to this, the technology described in Patent Document 2 is known.

特許文献2に記載の方式では、無負荷状態でロボットを動作させてサンプリングを行う必要があり、システム運用前の工数が増加する。また、特許文献2では、負荷状態のセンサの値から無負荷状態のセンサの値を減算して制御に必要な値を算出しているが、本方式の場合、ノイズとともに運動成分が除去される。 In the method described in Patent Document 2, the robot must be operated in an unloaded state to perform sampling, which increases the amount of work required before the system is put into operation. In addition, in Patent Document 2, the value required for control is calculated by subtracting the sensor value in an unloaded state from the sensor value in a loaded state, but in the case of this method, the motion component is removed along with the noise.

実施例2では、工数を増やすことなく、計測値からノイズを除去し、当該計測値を用いてロボットを制御するシステムを説明する。以下、実施例1との差異を中心に実施例2について説明する。 In Example 2, a system is described that removes noise from measurement values without increasing the number of steps and uses the measurement values to control a robot. Below, Example 2 is described, focusing on the differences from Example 1.

図8は、実施例2のシステムの構成例を示す図である。 Figure 8 shows an example of the system configuration for Example 2.

実施例2のシステムの構成は実施例1と同一である。実施例2のロボット100の構成は実施例1と同一である。実施例2の計算機101のハードウェア構成は実施例1と同一である。また、実施例2の計算機101が保持する情報は実施例1と同一である。実施例2では、計算機101の機能構成が実施例1と一部異なる。実施例2の演算装置120は、さらに、除去周波数決定部133及びノイズ除去部134として機能する。 The system configuration of Example 2 is the same as that of Example 1. The configuration of the robot 100 of Example 2 is the same as that of Example 1. The hardware configuration of the computer 101 of Example 2 is the same as that of Example 1. Furthermore, the information held by the computer 101 of Example 2 is the same as that of Example 1. In Example 2, the functional configuration of the computer 101 is partially different from that of Example 1. The arithmetic device 120 of Example 2 further functions as a removal frequency determination unit 133 and a noise removal unit 134.

除去周波数決定部133は、軌道の形状に基づいてノイズとして除去する周波数を決定する。ノイズ除去部134は、作業状態情報に含まれる計測値からノイズを除去する。 The removal frequency determination unit 133 determines the frequency to be removed as noise based on the shape of the trajectory. The noise removal unit 134 removes noise from the measurement values included in the work status information.

図9は、実施例2の計算機101が実行する処理の一例を説明するフローチャートである。図10は、実施例2の計算機101が生成するノイズ解析情報のデータ構造の一例を示す図である。図11A及び図11Bは、実施例2の計算機101が表示する画面の一例を示す図である。図12は、実施例2の計算機101によるノイズ除去の一例を示す図である。 FIG. 9 is a flowchart illustrating an example of processing executed by the computer 101 of the second embodiment. FIG. 10 is a diagram illustrating an example of the data structure of noise analysis information generated by the computer 101 of the second embodiment. FIGS. 11A and 11B are diagrams illustrating an example of a screen displayed by the computer 101 of the second embodiment. FIG. 12 is a diagram illustrating an example of noise removal by the computer 101 of the second embodiment.

計算機101は、処理の開始前に、出力装置124を介して、図11Aに示すような画面1100を表示する。画面1100は、表示欄1101、1102、選択欄1103、1105、1107、1113、読込ボタン1104、1106、1108、除去パターン表示欄1109、及び実行ボタン1114を含む。なお、処理の開始時点では、画面1100には除去パターン表示欄1109は含まれない。 Before processing begins, the computer 101 displays a screen 1100 as shown in FIG. 11A via the output device 124. The screen 1100 includes display fields 1101, 1102, selection fields 1103, 1105, 1107, 1113, load buttons 1104, 1106, 1108, a removal pattern display field 1109, and an execute button 1114. Note that at the start of processing, the screen 1100 does not include the removal pattern display field 1109.

選択欄1103は、作業に使用する設備を選択する欄である。読込ボタン1104が操作された場合、設備構成情報141から選択欄1103にて指定された設備に関する値が読み出される。 The selection field 1103 is a field for selecting the equipment to be used for the work. When the read button 1104 is operated, values related to the equipment specified in the selection field 1103 are read from the equipment configuration information 141.

選択欄1105は、ロボット100に実行させる作業を選択する欄である。読込ボタン1106が操作された場合、作業に対応するテーブル400、410が読み出され、表示欄1101に軌道が表示される。 The selection field 1105 is a field for selecting the task to be performed by the robot 100. When the load button 1106 is operated, the tables 400 and 410 corresponding to the task are read, and the trajectory is displayed in the display field 1101.

選択欄1107は、制御情報の生成に使用する計測値の種類を選択する欄である。読込ボタン1108が操作された場合、設備構成情報141から計測値を計測するセンサに関する値が読み出される。 The selection field 1107 is a field for selecting the type of measurement value to be used to generate the control information. When the read button 1108 is operated, the value related to the sensor that measures the measurement value is read from the equipment configuration information 141.

選択欄1113は、第1モデルを選択する欄である。なお、画面1100は、第2モデルを選択する欄を含んでもよい。 The selection field 1113 is a field for selecting a first model. Note that the screen 1100 may also include a field for selecting a second model.

実行ボタン1114が操作された場合、計算機101は、以下で説明する処理を開始する。 When the execute button 1114 is operated, the computer 101 starts the processing described below.

制御情報生成部132は、除去周波数決定部133に除去周波数パターンの生成を指示することによって、除去周波数パターンを生成する(ステップS151)。具体的には、以下のような処理が実行される。 The control information generating unit 132 generates an elimination frequency pattern by instructing the elimination frequency determining unit 133 to generate an elimination frequency pattern (step S151). Specifically, the following process is executed.

(S151-1)除去周波数決定部133は、軌道情報142を取得し、軌道を部分軌道に分割し、分割された部分軌道を要素とする集合を生成する。除去周波数決定部133は、分割方法を変えて、複数の集合を生成する。軌道そのものも一つの集合として生成される。さらに、除去周波数決定部133は、当該集合を要素とする族を生成する。除去周波数決定部133は、族の識別情報として識別番号を付与する。 (S151-1) The removal frequency determination unit 133 acquires the trajectory information 142, divides the trajectory into partial trajectories, and generates a set whose elements are the divided partial trajectories. The removal frequency determination unit 133 generates multiple sets by changing the division method. The trajectory itself is also generated as a set. Furthermore, the removal frequency determination unit 133 generates a family whose elements are the set. The removal frequency determination unit 133 assigns an identification number as identification information for the family.

(S151-2)除去周波数決定部133は、族の中から集合を一つ選択する。 (S151-2) The removal frequency determination unit 133 selects one set from the family.

(S151-3)除去周波数決定部133は、選択された集合の中から部分軌道を選択する。 (S151-3) The removal frequency determination unit 133 selects a partial orbit from the selected set.

(S151-4)除去周波数決定部133は、解析する座標軸を選択する。このとき、除去周波数決定部133は、ノイズ解析情報1000にエントリを追加する。 (S151-4) The elimination frequency determination unit 133 selects the coordinate axis to be analyzed. At this time, the elimination frequency determination unit 133 adds an entry to the noise analysis information 1000.

ノイズ解析情報1000は、ID1001、部分経路ID1002、座標軸1003、及び周波数1004から構成されるエントリを格納する。ID1001は、エントリ(族)の識別情報を格納するフィールドである。部分経路ID1002は、部分経路の識別情報を格納するフィールドである。部分経路ID1002には、部分経路の始点となる経由点及び部分経路の終点となる経由点の組が格納される。座標軸1003は、解析する座標軸を格納するフィールドである。周波数1004は、周波数成分のスペクトル値を格納するフィールド群である。周波数成分の数は任意に設定できる。各周波数成分のスペクトル値の合計値が1となる。 The noise analysis information 1000 stores entries each consisting of an ID 1001, a partial route ID 1002, a coordinate axis 1003, and a frequency 1004. The ID 1001 is a field that stores identification information of an entry (family). The partial route ID 1002 is a field that stores identification information of a partial route. The partial route ID 1002 stores a pair of a waypoint that is the start point of the partial route and a waypoint that is the end point of the partial route. The coordinate axis 1003 is a field that stores the coordinate axis to be analyzed. The frequency 1004 is a group of fields that stores the spectral values of frequency components. The number of frequency components can be set arbitrarily. The sum of the spectral values of each frequency component is 1.

除去周波数決定部133は、追加されたエントリのID1001に族の識別情報を設定し、部分経路ID1002に部分経路の識別情報を設定し、座標軸1003に座標軸を設定する。 The removal frequency determination unit 133 sets the family identification information to the ID 1001 of the added entry, sets the partial path identification information to the partial path ID 1002, and sets the coordinate axis to the coordinate axis 1003.

(S151-5)除去周波数決定部133は、FFT(Fast Fourier Transformation)等の公知の技術を用いて、選択した座標軸における部分軌道の形状を周波数成分に変換する。除去周波数決定部133は、ノイズ解析情報1000に追加されたエントリの周波数1004に周波数成分のスペクトル値を設定する。 (S151-5) The elimination frequency determination unit 133 converts the shape of the partial trajectory on the selected coordinate axis into frequency components using a known technique such as FFT (Fast Fourier Transformation). The elimination frequency determination unit 133 sets the spectrum value of the frequency components to the frequency 1004 of the entry added to the noise analysis information 1000.

(S151-6)除去周波数決定部133は、X軸、Y軸、及びZ軸の全ての座標軸について処理が完了したか否かを判定する。X軸、Y軸、及びZ軸の全ての座標軸について処理が完了していない場合、除去周波数決定部133は、S151-4に戻り、同様の処理を実行する。 (S151-6) The removal frequency determination unit 133 determines whether or not processing has been completed for all of the X-axis, Y-axis, and Z-axis coordinate axes. If processing has not been completed for all of the X-axis, Y-axis, and Z-axis coordinate axes, the removal frequency determination unit 133 returns to S151-4 and executes the same processing.

(S151-7)X軸、Y軸、及びZ軸の全ての座標軸について処理が完了した場合、除去周波数決定部133は、選択された集合の全ての部分軌道について処理が完了したか否かを判定する。選択された集合の全ての部分軌道について処理が完了いない場合、除去周波数決定部133はS151-3に戻り、同様の処理を実行する。 (S151-7) When processing has been completed for all coordinate axes, the X-axis, the Y-axis, and the Z-axis, the elimination frequency determination unit 133 determines whether processing has been completed for all partial orbits of the selected set. If processing has not been completed for all partial orbits of the selected set, the elimination frequency determination unit 133 returns to S151-3 and executes the same processing.

(S151-8)選択された集合の全ての部分軌道について処理が完了した場合、除去周波数決定部133は、部分軌道及び座標軸の組合せごとに、除去する周波数を決定する。本実施例では、閾値より大きいスペクトル値に対応する周波数を除去周波数に決定される。除去周波数決定部133は、部分軌道及び座標軸の組合せごとの除去周波数の情報を除去パターンとしてワークエリアに保存する。なお、除去パターンには、族の識別情報が付与される。 (S151-8) When processing has been completed for all partial trajectories of the selected set, the removal frequency determination unit 133 determines the frequency to be removed for each combination of partial trajectories and coordinate axes. In this embodiment, the frequency corresponding to a spectrum value greater than the threshold is determined as the removal frequency. The removal frequency determination unit 133 saves information on the removal frequency for each combination of partial trajectories and coordinate axes as a removal pattern in the work area. Note that the removal pattern is assigned family identification information.

(S151-9)除去周波数決定部133は、全ての集合について処理が完了したか否かを判定する。全ての集合について処理が完了していない場合、除去周波数決定部133は、S151-2に戻り、同様の処理を実行する。全ての集合について処理が完了した場合、除去周波数決定部133は、除去パターン表示欄1109に除去パターンの情報を表示する。除去パターン表示欄1109には、テーブル形式で除去パターンが表示される。テーブルは、ID1110、除去パターン1111、及び選択1112を含むエントリを格納する。ID1110は、除去パターンの識別情報を表示するフィールドである。除去パターン1111は、除去パターンを表示するフィールドである。選択1112は、除去パターンを選択する欄である。ユーザは、選択1112にチェックを入力することによって、使用する除去パターンを選択する。除去周波数決定部133は、表示欄1102に軌道に除去パターンを重畳して表示する。 (S151-9) The removal frequency determination unit 133 judges whether or not processing has been completed for all sets. If processing has not been completed for all sets, the removal frequency determination unit 133 returns to S151-2 and executes the same processing. If processing has been completed for all sets, the removal frequency determination unit 133 displays information on the removal pattern in the removal pattern display field 1109. The removal pattern display field 1109 displays the removal pattern in a table format. The table stores entries including ID 1110, removal pattern 1111, and selection 1112. ID 1110 is a field that displays identification information of the removal pattern. Removal pattern 1111 is a field that displays the removal pattern. Selection 1112 is a field for selecting a removal pattern. The user selects the removal pattern to be used by inputting a check in selection 1112. The removal frequency determination unit 133 displays the removal pattern superimposed on the trajectory in the display field 1102.

制御情報生成部132は、ユーザからの除去パターンの選択を受け付けた場合、ステップS151の処理を終了する。 If the control information generator 132 receives a selection of a removal pattern from the user, it ends the processing of step S151.

ステップS101からステップS103の処理は実施例1と同一である。ステップS103において、処理が可能であると判定された場合、制御情報生成部132は、ノイズ除去部134にノイズの除去を指示することによって、作業状態情報からノイズを除去する(ステップS152)。具体的には、以下のような処理が実行される。 The processing from step S101 to step S103 is the same as in Example 1. If it is determined in step S103 that the processing is possible, the control information generating unit 132 instructs the noise removing unit 134 to remove noise, thereby removing noise from the work status information (step S152). Specifically, the following processing is executed.

(S152-1)ノイズ除去部134は、ユーザによって選択された除去パターンを読み出す。 (S152-1) The noise removal unit 134 reads out the removal pattern selected by the user.

(S152-2)ノイズ除去部134は、軌道情報142及び稼働状態情報に基づいて、各タイムステップの軌道を特定し、除去パターンから特定された軌道に対応する周波数を取得し、作業状態情報から周波数を減算する。その結果、例えば、図12に示すようなノイズの除去が行われる。 (S152-2) The noise removal unit 134 identifies the trajectory of each time step based on the trajectory information 142 and the operation status information, obtains the frequency corresponding to the identified trajectory from the removal pattern, and subtracts the frequency from the operation status information. As a result, for example, noise is removed as shown in FIG. 12.

ステップS104からステップS106の処理は実施例1と同一である。なお、ステップS104及びステップS105では、ノイズが除去された作業状態情報が用いられる点が実施例1と異なる。 The processing from step S104 to step S106 is the same as in Example 1. However, steps S104 and S105 are different from Example 1 in that noise-removed work status information is used.

制御情報生成部132は、作業中に、図11Bに示すように画面1100の左側にノイズ除去結果及び推定作業状態情報を示す表示欄1121、1122、1123、1124を表示してもよい。表示欄1121は、表示欄1102と同一である。表示欄1122は、ノイズが除去される前の計測値を表示する欄である。表示欄1123は、ノイズが除去された後の計測値を表示する欄である。表示欄1124は、推定作業状態情報を表示する欄である。第2モデルは、閾値を超えないような制御情報を出力する。なお、図11Bでは、実行ボタン1114が停止ボタン1115に変わっている。 During work, the control information generator 132 may display display fields 1121, 1122, 1123, and 1124 showing the noise removal results and estimated work state information on the left side of the screen 1100 as shown in FIG. 11B. Display field 1121 is the same as display field 1102. Display field 1122 is a field that displays the measurement value before noise is removed. Display field 1123 is a field that displays the measurement value after noise is removed. Display field 1124 is a field that displays the estimated work state information. The second model outputs control information that does not exceed the threshold. Note that in FIG. 11B, the execute button 1114 has been changed to a stop button 1115.

実施例2によれば、工数を増やすことなく、また、運動成分を残したまま、計測値からノイズを除去できる。 According to the second embodiment, noise can be removed from the measurement values without increasing the number of steps and while leaving the movement components intact.

なお、実施例2では、一つの計算機101がロボット100を制御していたが、複数の計算機101を含む計算機システムが同様の制御を行うようにしてもよい。この場合、複数の計算機101に機能部を分散して配置してもよい。 In the second embodiment, one computer 101 controls the robot 100, but a computer system including multiple computers 101 may perform similar control. In this case, the functional units may be distributed among the multiple computers 101.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。 The present invention is not limited to the above-described embodiments, but includes various modified examples. For example, the above-described embodiments are provided to explain the present invention in detail, and are not necessarily limited to those including all of the described configurations. In addition, it is possible to add, delete, or replace part of the configuration of each embodiment with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。 The above-mentioned configurations, functions, processing units, processing means, etc. may be realized in part or in whole by hardware, for example by designing them as integrated circuits. The present invention can also be realized by software program code that realizes the functions of the embodiments. In this case, a storage medium on which the program code is recorded is provided to a computer, and a processor included in the computer reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-mentioned embodiments, and the program code itself and the storage medium on which it is stored constitute the present invention. Examples of storage media for supplying such program code include flexible disks, CD-ROMs, DVD-ROMs, hard disks, SSDs (Solid State Drives), optical disks, magneto-optical disks, CD-Rs, magnetic tapes, non-volatile memory cards, and ROMs.

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Python、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。 In addition, the program code that realizes the functions described in this embodiment can be implemented in a wide range of program or script languages, such as assembler, C/C++, perl, Shell, PHP, Python, Java (registered trademark), etc.

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。 Furthermore, the program code of the software that realizes the functions of the embodiment may be distributed over a network and stored in a storage means such as a computer's hard disk or memory, or in a storage medium such as a CD-RW or CD-R, and the processor of the computer may read and execute the program code stored in the storage means or storage medium.

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。 In the above examples, the control lines and information lines are those that are considered necessary for the explanation, and not all control lines and information lines in the product are necessarily shown. All components may be interconnected.

100 ロボット
101 計算機
110 作業装置群
111 コントローラ
112 計測装置
120 演算装置
121 記憶装置
122 通信装置
123 入力装置
124 出力装置
130 軌道情報生成部
131 作業状態推定部
132 制御情報生成部
133 除去周波数決定部
134 ノイズ除去部
140 ロボット構成情報
141 設備構成情報
142 軌道情報
143 モデル情報
144 作業履歴情報
1000 ノイズ解析情報
1100 画面
REFERENCE SIGNS LIST 100 Robot 101 Computer 110 Working device group 111 Controller 112 Measuring device 120 Calculating device 121 Storage device 122 Communication device 123 Input device 124 Output device 130 Trajectory information generating unit 131 Working state estimating unit 132 Control information generating unit 133 Removal frequency determining unit 134 Noise removing unit 140 Robot configuration information 141 Equipment configuration information 142 Trajectory information 143 Model information 144 Work history information 1000 Noise analysis information 1100 Screen

Claims (15)

物体の把持及び物体の移動を含む作業を行うロボットを制御する計算機であって、
演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有し、
前記記憶装置は、前記ロボットの作業において、前記物体を把持して移動させる場合の前記ロボットの軌道に関する軌道情報を保持し、
前記演算装置は、
作業中の前記ロボットの稼働状態を示す値を含む第1稼働状態情報と、前記ロボットが把持する前記物体の状態を把握するための値を含む作業状態情報とを取得し、
前記軌道情報に基づいて生成される、将来の作業中の前記ロボットの稼働状態を示す値を含む第2稼働状態情報と、前記第1稼働状態情報と、前記作業状態情報と、に基づいて、将来の前記ロボットが把持する前記物体の状態を把握するための値を含む推定作業状態情報を生成し、
前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報に基づいて、前記ロボットを制御するための制御情報を生成することを特徴とする計算機。
A computer that controls a robot that performs a task including grasping and moving an object,
a computing device, a storage device connected to the computing device, and an interface connected to the computing device;
the storage device holds trajectory information regarding a trajectory of the robot when gripping and moving the object in a task performed by the robot;
The computing device includes:
Acquiring first operating status information including a value indicating an operating status of the robot during work and work status information including a value for grasping a status of the object grasped by the robot;
generating second operating status information including a value indicating a future operating status of the robot during work, the second operating status information being generated based on the trajectory information, and based on the first operating status information and the work status information , generating estimated work status information including a value for grasping a future state of the object to be grasped by the robot;
A computer that generates control information for controlling the robot based on the trajectory information, the first operating status information, the work status information, and the estimated work status information.
請求項1に記載の計算機であって、
前記記憶装置は、前記第1稼働状態情報、前記第2稼働状態情報、及び前記作業状態情報を入力として受け付け、前記推定作業状態情報を出力する第1モデルと、前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報を入力として受け付け、前記制御情報を出力する第2モデルと、を格納することを特徴とする計算機。
2. The computer of claim 1,
The storage device is a computer characterized by storing a first model that accepts the first operating status information , the second operating status information, and the work status information as inputs and outputs the estimated work status information, and a second model that accepts the trajectory information, the first operating status information, the work status information, and the estimated work status information as inputs and outputs the control information.
請求項2に記載の計算機であって、
前記第1モデル及び前記第2モデルは、機械学習によって生成されたニューラルネットワークであることを特徴とする計算機。
3. The computer of claim 2,
The computer, wherein the first model and the second model are neural networks generated by machine learning.
請求項1に記載の計算機であって、
前記作業状態情報は、前記ロボットに設置され、前記ロボットが把持する前記物体の状態を把握するための値を計測する計測装置から取得した計測値を含み、
前記演算装置は、
前記軌道情報に基づいて、前記軌道の形状に応じた除去周波数を算出し、
前記除去周波数に基づいて、前記作業状態情報に含まれる前記計測値からノイズを除去することを特徴とする計算機。
2. The computer of claim 1,
the work status information includes a measurement value acquired from a measurement device that is installed on the robot and measures a value for grasping a status of the object grasped by the robot,
The computing device includes:
Calculating a removal frequency according to a shape of the trajectory based on the trajectory information;
A computer that removes noise from the measurement value included in the work status information based on the removal frequency.
請求項4に記載の計算機であって、
前記演算装置は、前記軌道の座標軸ごとの形状に応じた前記除去周波数を算出することを特徴とする計算機。
5. The computer of claim 4,
The arithmetic unit is a computer that calculates the removal frequency according to a shape of the trajectory for each coordinate axis.
請求項4に記載の計算機であって、
前記演算装置は、
前記軌道を複数の部分経路に分割し、
前記部分経路ごとに前記除去周波数を算出することを特徴とする計算機。
5. The computer of claim 4,
The computing device includes:
Dividing the trajectory into a plurality of partial paths;
A computer that calculates the removal frequency for each of the partial paths.
計算機が実行する、物体の把持及び物体の移動を含む作業を行うロボットの制御方法であって、
前記計算機は、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有し、
前記記憶装置は、前記ロボットの作業において、前記物体を把持して移動させる場合の前記ロボットの軌道に関する軌道情報を保持し、
前記ロボットの制御方法は、
前記演算装置が、作業中の前記ロボットの稼働状態を示す値を含む第1稼働状態情報と、前記ロボットが把持する前記物体の状態を把握するための値を含む作業状態情報とを取得する第1のステップと、
前記演算装置が、前記軌道情報に基づいて生成される、将来の作業中の前記ロボットの稼働状態を示す値を含む第2稼働状態情報と、前記第1稼働状態情報と、前記作業状態情報と、に基づいて、将来の前記ロボットが把持する前記物体の状態を把握するための値を含む推定作業状態情報を生成する第2のステップと、
前記演算装置が、前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報に基づいて、前記ロボットを制御するための制御情報を生成する第3のステップと、を含むことを特徴とするロボットの制御方法。
A method for controlling a robot that performs a task including grasping and moving an object, the method comprising the steps of:
the computer includes a processor, a storage device connected to the processor, and an interface connected to the processor;
the storage device holds trajectory information regarding a trajectory of the robot when gripping and moving the object in a task performed by the robot;
The method for controlling a robot includes the steps of:
A first step in which the arithmetic device acquires first operating status information including a value indicating an operating status of the robot during work, and work status information including a value for grasping a status of the object grasped by the robot;
a second step in which the arithmetic device generates second operating status information including a value indicating a future operating status of the robot during work, the second operating status information being generated based on the trajectory information , and estimated work status information including a value for grasping a future state of the object to be grasped by the robot, based on the first operating status information and the work status information;
and a third step in which the calculation device generates control information for controlling the robot based on the trajectory information, the first operating status information, the work status information, and the estimated work status information.
請求項7に記載のロボットの制御方法であって、
前記記憶装置は、前記第1稼働状態情報、前記第2稼働状態情報、及び前記作業状態情報を入力として受け付け、前記推定作業状態情報を出力する第1モデルと、前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報を入力として受け付け、前記制御情報を出力する第2モデルと、を格納することを特徴とするロボットの制御方法。
A method for controlling a robot according to claim 7, comprising the steps of:
a first model that accepts the first operating status information , the second operating status information, and the work status information as inputs and outputs the estimated work status information, and a second model that accepts the trajectory information, the first operating status information, the work status information, and the estimated work status information as inputs and outputs the control information, wherein the storage device stores therein a first model that accepts the first operating status information, the second operating status information, and the work status information as inputs and outputs the control information.
請求項8に記載のロボットの制御方法であって、
前記第1モデル及び前記第2モデルは、機械学習によって生成されたニューラルネットワークであることを特徴とするロボットの制御方法。
A method for controlling a robot according to claim 8, comprising the steps of:
A method for controlling a robot, wherein the first model and the second model are neural networks generated by machine learning.
請求項7に記載のロボットの制御方法であって、
前記作業状態情報は、前記ロボットに設置され、前記物体の状態を把握するための値を計測する計測装置から取得した計測値を含み、
前記第1のステップは、
前記演算装置が、前記軌道情報に基づいて、前記軌道の形状に応じた除去周波数を算出する第4のステップと、
前記演算装置が、前記除去周波数に基づいて、前記作業状態情報に含まれる前記計測値からノイズを除去する第5のステップと、を含むことを特徴とするロボットの制御方法。
A method for controlling a robot according to claim 7, comprising the steps of:
the work status information includes a measurement value acquired from a measurement device that is installed on the robot and measures a value for grasping a status of the object,
The first step includes:
a fourth step in which the calculation device calculates a removal frequency according to a shape of the trajectory based on the trajectory information;
and a fifth step in which the calculation device removes noise from the measurement value included in the work status information based on the removal frequency.
請求項10に記載のロボットの制御方法であって、
前記第4のステップは、前記演算装置が、前記軌道の座標軸ごとの形状に応じた前記除去周波数を算出するステップを含むことを特徴とするロボットの制御方法。
A method for controlling a robot according to claim 10, comprising the steps of:
The robot control method, wherein the fourth step includes a step in which the arithmetic device calculates the removal frequency according to a shape of the trajectory for each coordinate axis.
請求項10に記載のロボットの制御方法であって、
前記第4のステップは、
前記演算装置が、前記軌道を複数の部分経路に分割するステップと、
前記演算装置が、前記部分経路ごとに前記除去周波数を算出するステップと、を含むことを特徴とするロボットの制御方法。
A method for controlling a robot according to claim 10, comprising the steps of:
The fourth step includes:
The computing device divides the trajectory into a plurality of partial paths;
the calculation device calculating the removal frequency for each of the partial paths.
物体の把持及び物体の移動を含む作業を行うロボットを制御する計算機システムであって、
演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する、複数の計算機を含み、
前記ロボットの作業において、前記物体を把持して移動させる場合の前記ロボットの軌道に関する軌道情報を管理し、
前記計算機は、
作業中の前記ロボットの稼働状態を示す値を含む第1稼働状態情報と、前記ロボットが把持する前記物体の状態を把握するための値を含む作業状態情報とを取得し、
前記軌道情報に基づいて生成される、将来の作業中の前記ロボットの稼働状態を示す値を含む第2稼働状態情報と、前記第1稼働状態情報と、前記作業状態情報と、に基づいて、将来の前記ロボットが把持する前記物体の状態を把握するための値を含む推定作業状態情報を生成し、
前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報に基づいて、前記ロボットを制御するための制御情報を生成することを特徴とする計算機システム。
A computer system for controlling a robot that performs a task including grasping and moving an object, comprising:
A plurality of computers each having a computing device, a storage device connected to the computing device, and an interface connected to the computing device;
managing trajectory information regarding a trajectory of the robot when gripping and moving the object in a task of the robot;
The computer includes:
Acquiring first operating status information including a value indicating an operating status of the robot during work and work status information including a value for grasping a status of the object grasped by the robot;
generating second operating status information including a value indicating a future operating status of the robot during work, the second operating status information being generated based on the trajectory information, and based on the first operating status information and the work status information , generating estimated work status information including a value for grasping a future state of the object to be grasped by the robot;
A computer system comprising: a computer that generates control information for controlling the robot based on the trajectory information, the first operating status information, the work status information, and the estimated work status information.
請求項13に記載の計算機システムであって、
前記第1稼働状態情報、前記第2稼働状態情報、及び前記作業状態情報を入力として受け付け、前記推定作業状態情報を出力する第1モデルと、前記軌道情報、前記第1稼働状態情報、前記作業状態情報、及び前記推定作業状態情報を入力として受け付け、前記制御情報を出力する第2モデルと、を管理することを特徴とする計算機システム。
14. The computer system of claim 13,
A computer system characterized by managing a first model that accepts the first operating status information , the second operating status information, and the work status information as inputs and outputs the estimated work status information, and a second model that accepts the trajectory information, the first operating status information, the work status information, and the estimated work status information as inputs and outputs the control information.
請求項13に記載の計算機システムであって、
前記作業状態情報は、前記ロボットに設置され、前記ロボットが把持する前記物体の状態を把握するための値を計測する計測装置から取得した計測値を含み、
前記計算機は、
前記軌道情報に基づいて、前記軌道の形状に応じた除去周波数を算出し、
前記除去周波数に基づいて、前記作業状態情報に含まれる前記計測値からノイズを除去することを特徴とする計算機システム。
14. The computer system of claim 13,
the work status information includes a measurement value acquired from a measurement device that is installed on the robot and measures a value for grasping a status of the object grasped by the robot,
The computer includes:
Calculating a removal frequency according to a shape of the trajectory based on the trajectory information;
A computer system which removes noise from the measurement value included in the work status information based on the removal frequency.
JP2021165454A 2021-10-07 2021-10-07 Computer, robot control method, and computer system Active JP7706320B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021165454A JP7706320B2 (en) 2021-10-07 2021-10-07 Computer, robot control method, and computer system
US17/957,567 US12343872B2 (en) 2021-10-07 2022-09-30 Computer, method for controlling robot, and computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021165454A JP7706320B2 (en) 2021-10-07 2021-10-07 Computer, robot control method, and computer system

Publications (2)

Publication Number Publication Date
JP2023056229A JP2023056229A (en) 2023-04-19
JP7706320B2 true JP7706320B2 (en) 2025-07-11

Family

ID=85797950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021165454A Active JP7706320B2 (en) 2021-10-07 2021-10-07 Computer, robot control method, and computer system

Country Status (2)

Country Link
US (1) US12343872B2 (en)
JP (1) JP7706320B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7706320B2 (en) * 2021-10-07 2025-07-11 株式会社日立製作所 Computer, robot control method, and computer system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020128003A (en) 2016-05-20 2020-08-27 グーグル エルエルシー Machine learning methods and apparatus related to predicting motions of objects in robot's environment based on images capturing objects and based on parameters for future robot movement in environment

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008279549A (en) * 2007-05-10 2008-11-20 Honda Motor Co Ltd Work transfer system and work transfer method
JP2008065860A (en) * 2007-11-26 2008-03-21 Olympus Corp Operation input device
WO2012153629A1 (en) * 2011-05-12 2012-11-15 株式会社Ihi Device and method for controlling prediction of motion
WO2013164470A1 (en) * 2012-05-04 2013-11-07 Leoni Cia Cable Systems Sas Imitation learning method for a multi-axis manipulator
JP6338421B2 (en) * 2014-03-31 2018-06-06 キヤノン株式会社 Information processing apparatus, information processing apparatus control method, gripping system, and program
JP6577527B2 (en) 2017-06-15 2019-09-18 ファナック株式会社 Learning device, control device and control system
CN107214702B (en) * 2017-06-29 2020-02-07 中国科学院自动化研究所 Planning method and system for determining robot track by using virtual reality handle
JP2019021087A (en) * 2017-07-19 2019-02-07 オムロン株式会社 Control device, control method for control device, information processing program, and recording medium
CN109605385B (en) * 2018-11-28 2020-12-11 东南大学 A Rehabilitation Assistant Robot Driven by Hybrid Brain-Computer Interface
JP7263217B2 (en) * 2019-11-27 2023-04-24 株式会社日立製作所 CONTROL DEVICE, CONTROL METHOD, AND ROBOT SYSTEM
CN111360780A (en) * 2020-03-20 2020-07-03 北京工业大学 A Garbage Picking Robot Based on Visual Semantic SLAM
JP7504398B2 (en) * 2020-10-16 2024-06-24 オムロン株式会社 Trajectory generation device, trajectory generation method, and trajectory generation program
US12162169B2 (en) * 2020-11-30 2024-12-10 Massachusetts Institute Of Technology System and method for location determination and robot control
US20220203547A1 (en) * 2020-12-31 2022-06-30 Plus One Robotics, Inc. System and method for improving automated robotic picking via pick planning and interventional assistance
JP7631965B2 (en) * 2021-03-25 2025-02-19 セイコーエプソン株式会社 ROBOT SYSTEM, CONTROL DEVICE, AND CONTROL METHOD
JP7706320B2 (en) * 2021-10-07 2025-07-11 株式会社日立製作所 Computer, robot control method, and computer system
JP7726730B2 (en) * 2021-10-14 2025-08-20 株式会社日立製作所 Computer system and model learning method
JP7845991B2 (en) * 2022-11-15 2026-04-14 株式会社日立製作所 Computer system and robot control method
US12544931B2 (en) * 2023-03-14 2026-02-10 Samsung Electronics Co., Ltd. Apparatus and method for controlling robotic manipulators

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020128003A (en) 2016-05-20 2020-08-27 グーグル エルエルシー Machine learning methods and apparatus related to predicting motions of objects in robot's environment based on images capturing objects and based on parameters for future robot movement in environment

Also Published As

Publication number Publication date
US20230113622A1 (en) 2023-04-13
JP2023056229A (en) 2023-04-19
US12343872B2 (en) 2025-07-01

Similar Documents

Publication Publication Date Title
Hollerbach et al. Model identification
JP4595727B2 (en) External force estimation system, external force estimation method, and computer program
WO2020017092A1 (en) Parameter identifying device, method, and program
CN107548336B (en) Motor for controlling and/or regulating robot
WO2010136961A1 (en) Control device and method for controlling a robot
Sujan et al. An optimal information method for mobile manipulator dynamic parameter identification
Farsoni et al. Real-time identification of robot payload using a multirate quaternion-based kalman filter and recursive total least-squares
JP7706320B2 (en) Computer, robot control method, and computer system
JP5569953B2 (en) Robot control system, robot control method, robot control apparatus, and program applied to high-speed and high-precision contact work
US12358132B2 (en) Robot system and picking method
JP7726730B2 (en) Computer system and model learning method
Maurice et al. Automatic selection of ergonomie indicators for the design of collaborative robots: A virtual-human in the loop approach
JP7845991B2 (en) Computer system and robot control method
Bianco Evaluation of generalized force derivatives by means of a recursive Newton–Euler approach
JP6540810B2 (en) Hand force sense measurement device, hand force sense measurement method, and hand force sense measurement program
JP2025099474A (en) Control support system, control support method, and control support program
JP7684190B2 (en) Computer system and robot control method
US12269165B2 (en) Robot control apparatus, robot control system, robot control method, and computer-readable storage medium storing a robot control program
CN116963878A (en) Robot posture determination device, method and program
CN119758978B (en) Intelligent mobile terminal, control method, control device and computer program product thereof
US12186910B2 (en) Device for controlling return of robot to origin thereof, and method of searching return path of robot to origin thereof
JP2024118901A (en) GENERATION APPARATUS, GENERATION METHOD, AND GENERATION PROGRAM
JP2025185577A (en) Control device, control method, control program, trained model generation device, trained model generation method, and trained model generation program
Lauer et al. Transputer network controls robot axes
US10712725B2 (en) Non-transitory computer-readable storage medium, robot transfer time estimation method, and robot transfer time estimation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250701

R150 Certificate of patent or registration of utility model

Ref document number: 7706320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150