Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7738779B2 - 機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法 - Google Patents
[go: Go Back, main page]

JP7738779B2 - 機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法 - Google Patents

機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法

Info

Publication number
JP7738779B2
JP7738779B2 JP2024565389A JP2024565389A JP7738779B2 JP 7738779 B2 JP7738779 B2 JP 7738779B2 JP 2024565389 A JP2024565389 A JP 2024565389A JP 2024565389 A JP2024565389 A JP 2024565389A JP 7738779 B2 JP7738779 B2 JP 7738779B2
Authority
JP
Japan
Prior art keywords
state
robot
chance
control
uncertainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024565389A
Other languages
English (en)
Other versions
JP2025503324A (ja
Inventor
ジャー,デベシュ
ラフナサン,アルビンド
有樹 白井
ロメレス,ディエゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2025503324A publication Critical patent/JP2025503324A/ja
Application granted granted Critical
Publication of JP7738779B2 publication Critical patent/JP7738779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1628Program controls characterised by the control loop
    • B25J9/163Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1602Program controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • B25J9/1661Program controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Program-controlled manipulators
    • B25J9/16Program controls
    • B25J9/1656Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Program-control systems
    • G05B19/02Program-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/4155Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by program execution, i.e. part program or machine function execution, e.g. selection of a program
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40429Stochastic, probabilistic generation of intermediate points
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40441Probabilistic backprojection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391Robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Description

本発明は、概してロボット操作に関し、より特定的には、操作モデルおよびパラメータの不確実性を用いる機会制約付き最適化を用いたロボット操作のロバスト制御のための方法に関する。
接点は、全てのロボット操作タスクにおいて中心的な役割を果たす。接点を選択的に用いることにより、ロボットがそれらの環境について推測して操作することが可能になり得る一方で、接点ベースの推測および制御はあらゆる局面において難易度が高くなる傾向がある。接点モデルは、分析的局面、アルゴリズム的局面および計算的局面から見て難易度が高い。結果として、モデルベースの操作のための原則的な技術はほとんど進歩していない。摩擦によるインタラクションの根本をなすハイブリッド力学や摩擦パラメータに関連する不確実性により、操作用のモデルベースのコントローラを効率的に設計することが困難になる。
接点モデル化は、直近の数十年にわたってロボット工学の研究分野において活発な領域であった。接点力学をモデル化するための最も一般的なアプローチのうちの1つは、線形相補性問題(linear complementarity problem:LCP)を用いることである。LCPモデルは、学会では接点力学をモデル化するために、さらにはBullet、ODE、Havok等のいくつかの物理学的シミュレーションエンジンをモデル化するために、広く用いられている。LCPベースの接点モデルは、操作および脚式移動の際の軌道最適化問題を解くために広く用いられてきた。これらの作業は、軌道最適化を実行するための決定論的接点モデルを前提としている。しかしながら、ほとんどの摩擦インタラクションシステムは、確率的力学をもたらすいくつかの原因に苦慮している。このため、軌道最適化中に不確実性を考慮することが重要である。LCPベースの接点モデルにおける不確実性は、最適化中に確率的相補性制約をもたらす。確率的相補性制約は、基礎をなす最適化問題に関して実行不可能性をもたらす傾向がある。
したがって、最適化中に確率的相補性制約を考慮することによって軌道最適化問題を解くシステムおよび方法が必要とされている。
いくつかの実施形態の目的は、ロボットシステムによって操作されているオブジェクトの動きの軌道を、オブジェクトの操作中にオブジェクトに作用する制御力のシーケンスを最適化することによって、最適化するように構成されたロボットシステムを提供することである。
いくつかの実施形態は、摩擦インタラクションシステムが確率的力学をもたらすいくつかの不確実性を被るという認識に基づいている。このため、摩擦インタラクションシステムの接点モデル化を用いて軌道最適化(trajectory optimization:TO)中に不確実性を考慮することが重要である。LCPベースの接点モデルにおける不確実性をモデル化することにより確率的離散時間相補性システム(Stochastic Discrete-time Linear Complementarity System:SDLCS)が得られる。
いくつかの実施形態は、SDLCSの最適化中に、システム軌道のロバスト最適化を実行するために、システム状態の進化に対する不確実性の影響が考慮されるべきであるという認識に基づく。そのような方法がない場合、オブジェクトの状態を操作するロボットシステムのロボットマニピュレータは性能が低くなり、結果として得られるロボット操作システムが故障する可能性がある。現在、線形相補性システムとしてモデル化される接点力学で力学モデルのためにロバスト最適化を実行することができる公知の技術は存在しない。これにより、ロボット操作の最適化および制御が不確実で困難なものとなる。
そのため、本開示は、操作中のロバスト軌道最適化のためのSDLCSの機会制約付き最適化の定式化を提案する。最適化問題を解くために、機会制約付き混合整数二次計画法(Mixed-Integer Quadratic Programming with Chance Constraints:MIQPCC)が定式化される。この定式化は、相補性に関するジョイント機会制約だけでなく、力学の確率的進化を捉えるための状態も考慮に入れる。
いくつかの実施形態では、提案される定式化に基づいた確率的非線形モデル予測コントローラ(Stochastic Non-Linear Model Predictive Controller:SNMPC)は、平面プッシュシステム等のロボットシステムのための相補性の制約付きで設計されている。SNMPCは、操作ロボットシステムのための非線形モデル予測コントローラである。
いくつかの実施形態は、ロバスト軌道最適化を行なうには機会制約をSDLCSにおける厳しい制約として課すことが必要であるという認識に基づく。しかしながら、SDLCSにおける厳しい制約を用いることにより、ロバスト軌道最適化問題を解くことが困難になる。そのため、1つのアプローチとして、厳しい制約を優しい制約に変換することが挙げられる。厳しい制約は、オブジェクトを操作するためのロバスト軌道を得るために最適化されるべきコスト関数に当該厳しい制約を含めることによって優しい制約に変換することができる。さらに、優しい制約付きのSDLCSは、軌道最適化問題を解くことで最適化された軌道を得るために、期待残差最小化(expected residual minimization:ERM)ベースのペナルティを受ける。しかしながら、SDLCSに対するERMベースのペナルティ付きで、かつ優しい制約で得られる最適化された軌道はさほどロバストではない。なぜなら、このアプローチの定式化は、最適化中のシステムの確率的状態進化を考慮していないからである。
したがって、本開示のロボットシステムは、SDLCSに対して厳しい制約として機会制約を課すことによって軌道最適化問題を解く。このために、機会制約は、機会制約の違反が許容範囲内に収まるように機会制約を緩和することによって2つのモードに分割される。このようにして、厳しい機会制約付きのSDLCSは、オブジェクトを操作するためのロバスト軌道を得るように最適化される。
したがって、一実施形態はロボットシステムを開示する。ロボットシステムは、ロボットマニピュレータと、プロセッサと、当該プロセッサによって実行されると当該ロボットマニピュレータに以下の動作を実行させる命令が格納されたメモリとを含み、当該以下の動作は、オブジェクトを初期状態から最終状態へと操作するためのタスクのデジタル表現を収集することを含む。当該プロセッサはさらに、当該オブジェクトの状態を当該初期状態から当該最終状態に変更するために当該ロボットマニピュレータによって加えられる制御力のシーケンスを最適化するように、ロバスト制御問題を解くように構成されており、当該オブジェクトの当該状態の進化は、予め定義された確率で当該オブジェクトを操作する当該タスクをモデル化する確率的相補性システムによって管理される。当該ロバスト制御問題は、操作されている当該オブジェクトの当該状態における第1の機会制約と、当該ロボットマニピュレータによる当該オブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含むジョイント機会制約に従う当該タスクを実行する当該制御力のシーケンスを生成するようにコスト関数を最適化する。当該プロセッサはさらに、当該オブジェクトの当該状態を当該初期状態から当該最終状態に変更する当該制御力のシーケンスを加えることによって当該オブジェクトの操作を制御するように構成される。
したがって、別の実施形態は、ロボットシステムを用いてオブジェクトを操作するための方法を開示する。当該方法は、オブジェクトを初期状態から最終状態へと操作するためのタスクのデジタル表現を収集するステップを含む。当該方法はさらに、当該オブジェクトの状態を当該初期状態から当該最終状態に変更するために当該ロボットマニピュレータによって加えられる制御力のシーケンスを最適化するように、ロバスト制御問題を解くステップを含み、当該オブジェクトの当該状態の進化は、予め定義された確率で当該オブジェクトを操作する当該タスクをモデル化する確率的相補性システムによって管理される。当該ロバスト制御問題は、操作されている当該オブジェクトの当該状態における第1の機会制約と、当該ロボットマニピュレータによる当該オブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含むジョイント機会制約に従う当該タスクを実行する当該制御力のシーケンスを生成するようにコスト関数を最適化する。当該方法はさらに、当該オブジェクトの当該状態を当該初期状態から当該最終状態に変更する計算された当該制御力のシーケンスを加えることによって当該オブジェクトの操作を制御するステップを含む。
以下、添付の図面を参照して本開示の実施形態を詳細に説明する。示される図面は必ずしも縮尺通りではなく、概して、本開示の実施形態の原理を説明することに重点が置かれている。
例示的な実施形態に従った、オブジェクトを操作するための確率的離散時間線形相補性システム(SDLCS)ベースのロボットシステムを示すブロック図である。 例示的な実施形態に従った、SDLCSのためのロバスト軌道(robust trajectory:TO)最適化を示す図である。 例示的な実施形態に従った、ジョイント機会制約を課すための方法を示す図である。 例示的な実施形態に従った、確率的相補性制約の2つのモードへの分解を示す図である。 例示的な実施形態に従った、確率的機会相補性制約における決定論的機会相補性制約の緩和を示す図である。 例示的な実施形態に従った、MIQPCCに関する目的関数および確率的力学進化を示す図である。 例示的な実施形態に従った、オブジェクトを操作するためのロボットシステムを示すブロック図である。 例示的な実施形態に従った、マニピュレータを用いてオブジェクトをプッシュするように構成された操作システムを示す図である。 例示的な実施形態に従った、ロボットシステムを用いてオブジェクトを操作するための方法のステップを示す図である。 例示的な実施形態に従った、オブジェクトを作業面からビンへと移動させるように構成されたロボットシステムを示す図である。
以下の記載では、説明の目的で、本開示を完全に理解できるようにするために、多数の具体的な詳細が述べられる。しかしながら、本開示がこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の例では、本開示を不明瞭にすることを回避するために、装置および方法がブロック図の形式でのみ示されている。
本明細書および請求項で用いられるとおり、「例えば」、「例として」および「等の」という語句ならびに「備える」、「有する」、「含む」およびこれらのその他の動詞形の各々は、1つ以上の構成要素またはその他のアイテムの列挙とともに用いられる場合、オープンエンドと解釈されねばならない。これは、その列挙が付加的な構成要素またはアイテムを除外するとみなされるべきではないことを意味する。「~に基づく」という語は少なくとも部分的に基づいていることを意味する。さらに、本明細書で用いられる用語および専門語は説明を目的としたものであって限定するものとみなされるべきではないことが理解されるはずである。本明細書内で用いられる見出しはいずれも、便宜的なものにすぎず、法的効果または限定的効果を持つものではない。
図1は、例示的な実施形態に従った、オブジェクト105を操作する確率的離散時間線形相補性システム(SDLCS)ベースのロボットシステム101のブロック図を示す。ロボットシステム101はロボットマニピュレータ103を備え、ロボットシステム101は、オブジェクト105を操作するようにロボットマニピュレータ103を制御するように構成される。オブジェクト105の操作は、1つ以上の軌道109に沿ってオブジェクト105を初期状態(または位置)107aから最終状態(または位置)107bにスライドさせることに対応し得る。そのために、ロボットシステム101は、オブジェクト105を1つ以上の軌道109に沿って初期状態107aから最終状態107bへと移動させるようにロボットマニピュレータ103を介してオブジェクト105に加えられる制御力のシーケンス111を決定するように構成される。いくつかの実施形態では、オブジェクト105の操作は、初期状態107aでオブジェクト105を把持して最終状態107bへと移動させることに対応し得る。
オブジェクト105を効率的に操作するために、接触面同士の間、すなわちロボットマニピュレータ103とオブジェクト105との間、のインタラクションを含む効率的な接点モデルを実現することが重要である。接点モデルは、オブジェクト105を操作するための軌道最適化を含む。
いくつかの実施形態は、オブジェクトを操作する、例えばオブジェクト105をスライドさせる、ように構成されたロボットシステム101等の摩擦インタラクションシステムが、確率的力学につながり得るいくつかの不確実性を被るという認識に基づいている。したがって、TO中に不確実性を考慮することが重要である。
そのために、パラメータの不確実性ならびに力学および相補性制約における付加ノイズを伴うSDLCSが、ロボットシステム101を接点モデル化するために実現される。図1に示すように、不確実性は、SDLCSにおけるシステム状態の確率的進化を招く。このため、ロバスト最適化の定式化では、状態進化におけるSDLCSの不確実性を考慮しなければならない。
SDLCSベースのロボットシステム101は、オブジェクト105を初期状態107aから最終状態107bへと操作するためのタスクのデジタル表現を収集するように構成される。SDLCSは、オブジェクト105を初期状態107aから最終状態107bへと予め定義された確率で操作するタスクの進化を管理する。SDLCSは、オブジェクト105に関連するロボットマニピュレータ103のインタラクションの不確実性を含む。SDLCSにおけるインタラクションの不確実性は、オブジェクト105の状態の進化のノイズ、オブジェクト105の状態の測定のノイズ、ロボットマニピュレータ103のモデルの不確実性、ロボットマニピュレータ103の環境の不確実性等のうちの1つまたはこれらの組合せによってもたらされる。ロボットマニピュレータ103が表面上でオブジェクト105をスライドさせる/プッシュするように構成されている例示的な実施形態では、SDLCSにおけるインタラクションの不確実性は表面の摩擦係数の不確実性によってもたらされる。
ロボットシステム101はさらに、オブジェクト105の状態を変更するためにロボットマニピュレータ103によって加えられる制御力のシーケンス111を最適化するためにロバスト制御問題を解くように構成されており、ロバスト制御問題は、機会制約に従うオブジェクト105を操作するタスクを実行する制御力のシーケンス111を生成するためにコスト関数を最適化する。機会制約付き方法は、様々な不確実性のある状態で軌道最適化問題を解くために用いられる。これは、特定の制約を満たす確率が特定のレベルを上回ることを確実にする最適化問題の定式化である。言い換えれば、解の信頼レベルが高くなるように実現可能な領域を制限する。機会制約付き方法は比較的ロバストなアプローチである。
そのために、ロボットシステム101は、ジョイント機会制約を用いてロバスト制御問題を解くように構成されており、ジョイント機会制約は、操作されているオブジェクト105の状態における第1の機会制約と、ロボットマニピュレータ103によるオブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含む。すなわち、確率的相補性制約は、操作されているオブジェクト105に関連するロボットマニピュレータ103のインタラクションの不確実性を含む。さらに、ロボットシステム101は、ジョイント機会制約を用いてロバスト制御問題を解くことによって制御力のシーケンス111を計算するとともに、オブジェクト105の状態を初期状態107aから最終状態107bに変更する計算された制御力のシーケンス111を適用することによってオブジェクト105の操作を制御するように構成される。
いくつかの実施形態では、オブジェクト105の操作の制御は、オブジェクト105の状態を初期状態107aから最終状態107bに変更する制御力のシーケンス111に従ったフィードフォワード制御である。いくつかの実施形態では、制御は、オブジェクト105の現在の状態を示すフィードバック信号の受信に応答して、オブジェクト105の状態を初期状態107aから最終状態107bに変更する制御力のシーケンス111を更新するフィードバック制御である。フィードバック制御は、確率的相補性システムの厳しい制約に従う予測範囲にわたって制御力のシーケンス111を反復的に最適化する予測制御である。
数学的実現例:
SDLCSは、離散時間線形相補性システム(Discrete-Time Linear Complementarity System:DLCS)に基づく。DLCSの詳細を以下に記載する。
I.離散時間線形相補性システム(DLCS)
DLCSは離散時間の動的システムであって、その状態進化は、状態の線形力学およびLCPを解く代数変数によって管理される。相補性制約付きのDLCSは以下によって与えられる。

II.確率的離散時間線形相補性システム(SDLCS)
SDLCS、すなわち不確実性を伴うDLCSは以下によって与えられる。
A.SDLCSのためのロバスト軌道最適化
図2は、例示的な実施形態に従った、SDLCSのためのロバストTOのための方法を示す。SDLCSのロバストTOのための定式化は目的関数201によって与えられる。
いくつかの実施形態は、式(5)~(8)についての以下の仮定に基づく。
B.ジョイント機会制約
いくつかの実施形態は、式(9)の累積分布関数(cumulative distribution function:cdf)を得ることが困難であるという認識に基づく。したがって、ステップ303では、以下のように、(9)の保守的近似を得るためにブールの不等式が採用される。
C.SDLCSのための機会相補性制約(Chance Complementarity Constraint:CCC)
いくつかの実施形態は、ロバスト軌道最適化が、機会制約をSDLCSにおける厳しい機会制約として課すことを必要とするという認識に基づいている。しかしながら、SDLCSにおける厳しい制約を用いることにより、ロバスト軌道最適化問題を解くことが困難になる。そのために、確率的相補性制約は、確率的相補性制約が数学的に容易になるようにまたは扱い易くなるように、2つのモードに分解される。
図4は、例示的な実施形態に従った、確率的相補性制約の2つのモード403および405への分解401を示す。確率的相補性制約は2つの互いに素な不等式のモードに分解される。2つのモードは、確率的相補性制約の分解401後の第1のモード403(モード1とも称する)および(式(16)における)第2のモード405(モード2とも称する)であって、以下の通りである。
D.機会制約付き混合整数二次計画法
いくつかの実施形態は、機会制約(式(5)~(8))が二次目的項を含むので、軌道最適化問題(すなわち、ロバスト制御問題)が機会制約付き混合整数二次計画法(MIQPCC)によって解かれるという認識に基づいている。図6は、例示的な実施形態に従ったMIQPCCに関する目的関数および確率的力学進化を示す。式(5)~(8)を解くためのMIQPCC定式化は以下のように与えられ得る。
いくつかの実施形態では、CCCは、操作システムのための確率的非線形モデル予測制御(Stochastic Non-linear Model Predictive Control:SNMPC)を設計するために用いられる。確率的非線形相補性システム(Stochastic Nonlinear Complementarity System:SNCS)のためのSNMPCを実現するための定式化を以下に説明する。
E.確率的非線形モデル予測制御(SNMPC)
SNMPCのための修正された機会制約付き混合整数二次計画法(MIQPCC)は以下によって与えられる。

例示的な実施形態:
図7は、例示的な実施形態に従った、オブジェクト105を操作するためのロボットシステム101のブロック図700を示す。ロボットシステム101は、ロボットシステム101を他のシステムおよびデバイスと接続するいくつかのインターフェイスを有し得る。例えば、ネットワークインターフェイスコントローラ(network interface controller:NIC)701は、バス703を介して、ロボットシステム101をネットワーク705に接続するように適合される。ロボットシステム101は、ネットワーク705を通じて、無線で、または有線により、1つ以上のタスクのデジタル表現707を受信し得る。1つ以上のタスクのデジタル表現707は、オブジェクト105を初期位置から最終位置へとスライドさせること、またはオブジェクト105を把持して初期位置から最終位置へと移動させること、のうちの少なくとも1つを含む。
ロボットシステム101は、格納された命令を実行するように構成されたプロセッサ711を含む。ロボットシステム101はさらに、プロセッサ711によって実行可能な命令を格納するメモリ713を備える。プロセッサ711は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であり得る。メモリ713は、ランダムアクセスメモリ(random access memory:RAM)、読取り専用メモリ(read only memory:ROM)、フラッシュメモリ、または他の任意の好適なメモリシステムを含み得る。プロセッサ711は、バス703を介して1つ以上の入出力デバイスに接続される。さらに、ロボットシステム101は、プロセッサ711のための実行可能命令を格納する様々なモジュールを格納するように適合されたストレージデバイス715を含む。ストレージデバイス715は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはそれらの任意の組合せを用いて実現することができる。
ストレージデバイス715は、SDLCS715aおよび機会相補性制約715bを格納するように構成される。プロセッサ711は、1つ以上のタスクのデジタル表現707を受信すると、オブジェクトを操作するためにロボットシステム101によって加えられる制御力のシーケンスを最適化するようにロバスト制御問題を解くように構成されており、オブジェクトの状態の進化は、予め定義された確率でオブジェクトを操作するタスクをモデル化するSDLCS715aによって管理される。プロセッサ711はさらに、機会相補性制約715bに従うタスクを実行する制御力のシーケンスを生成するためにコスト関数を最適化するように構成されており、機会相補性制約は、操作されているオブジェクトの状態における第1の機会制約と、オブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含む。プロセッサ711はさらに、計算された制御力のシーケンスに基づいて、オブジェクトの操作を制御するように構成される。
加えて、ロボットシステム101は出力インターフェイス717を含み得る。いくつかの実施形態では、ロボットシステム101はさらに、制御力のシーケンスに基づいてオブジェクトを操作するために、ロボットマニピュレータを制御するように構成されたコントローラ719に対し出力インターフェイス717を介して制御力のシーケンスを送出するように構成される。いくつかの実施形態では、ロボットマニピュレータは、計算された制御力のシーケンスに基づいてプロセッサ711によって直接制御されてもよい。
図8は、例示的な実施形態に従った、マニピュレータ803を用いてオブジェクト805をプッシュするように構成された操作システム801を示す。操作システム801はSDLCSに基づくものであり、操作システム801はプッシャ・スライダシステムである。さらに、マニピュレータ803はプッシャおよびスライダに対応し得る。図8は、操作システム801における2つの起こり得る不確実性の根源、すなわち不確実な摩擦円錐および接点を示す。操作システム801の力学は以下によって与えられる。
図9は、例示的な実施形態に従った、ロボットシステム101を用いてオブジェクトを操作するための方法900のステップを示す。図9を図1に関連付けて以下で説明する。
ステップ901において、初期位置から最終位置へのオブジェクト105の操作等のタスクのデジタル表現が収集され、オブジェクト105は、ロボットシステム101のロボットマニピュレータ103を用いて操作され得る。ロボットマニピュレータ103は、制御力のシーケンス111をオブジェクト105に加えてオブジェクト105を操作する。ロボットマニピュレータ103は、ロボット手首、ガントリロボット、円筒形ロボット、極座標ロボット、および平行顎グリッパ等のエンドエフェクタを備えたジョイント式アームロボットのうちの少なくとも1つである。さらに、ロボットシステム101はSDLCSを用いる。SDLCSは、予め定義された確率でオブジェクト105を初期状態107aから最終状態107bへと操作するタスクの進化を管理する。
ステップ903において、方法900は、オブジェクト105の状態を変更するためにロボットマニピュレータ103によって加えられる制御力のシーケンス111を最適化するためにロバスト制御問題を解くステップを含む。ロバスト制御問題は、機会制約に従うオブジェクト105を操作するタスクを実行する制御力のシーケンス111を生成するためにコスト関数を最適化する。様々な不確実性のある状態で軌道最適化問題を解くために機会制約付き方法が用いられる。
そのために、方法900は、ジョイント機会制約を用いてロバスト制御問題を解くステップを含み、ジョイント機会制約は、操作されているオブジェクト105の状態における第1の機会制約と、ロボットマニピュレータ103によるオブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含む。このため、方法900は、ジョイント機会制約を用いてロバスト制御問題を解くことによって制御力のシーケンス111を計算するステップを含む。
ステップ905において、方法900は、オブジェクト105の状態を初期状態107aから最終状態107bに変更するために、計算された制御力を加えることによって、オブジェクト105の操作を制御するステップを含む。
図10は、例示的な実施形態に従った、オブジェクト1001を作業面1003からビン1005へと移動させるように構成されたロボットシステム1000を示す。この記載では、ロボットシステム1000は、ジョイント1015、1017、1019、1021、1023によって連結された構成要素1007、1009、1011、1013のセットである。記載される実施形態では、ジョイント1015、1017、1019、1021、1023は、回転式ジョイントであるが、別の実施形態では、スライド式ジョイント、または他の種類のジョイントであってもよい。ジョイントの集合体によりロボットアーム1027のための自由度が決定される。ロボットアーム1027は、各々のジョイント1015、1017、1019、1021、1023ごとに5自由度を有する。別の実施形態では、ロボットは6つのジョイントを含んでもよい。ロボットアーム1027にはエンドエフェクタ1025が取付けられている。エンドエフェクタ1025は、そのいくつかの構成要素のうちの1つ、典型的には、そのいくつかの構成要素が鎖状であると判断される場合には最後の構成要素1013、に取付けられる。エンドエフェクタ1025は平行顎グリッパであってもよい。平行顎グリッパは2つの平行な指部を有し、それら指部間の距離は互いに相対的に調節することができる。
代わりに、他の多くのエンドエフェクタ、例えば、溶接先端を含むエンドエフェクタを用いることができる。ジョイント1015、1017、1019、1021、1023は、構成要素のための所望の構成を実現するように調整することができる。所望の構成は、ユークリッド空間における所望の位置、またはジョイント空間における所望の値に関連していてもよい。ジョイントはまた、所望の(角)速度および/または(角)加速度を達成するように、時間領域において制御可能である。ジョイントは、ジョイントの状態を報告することができる埋込みセンサを有する。報告される状態は、角度、電流、速度、トルク、加速度、またはそれらの任意の組合せであり得る。報告されるジョイント状態の集合体はロボット状態1029と称される。ロボット状態1029は、ロボットアーム1027によるオブジェクト1001の確率的相補性制約モデル化操作における機会制約のために用いられてもよい。
ロボットアーム1027に関するコマンドは、接続部1033を介してロボットコントローラ1031から受信され、ロボット状態1029は、接続部1033を介してロボットコントローラ1031によって受信される。好ましい実施形態では、接続部1033は専用のデータケーブルである。別の実施形態では、接続部1033はイーサネット(登録商標)ケーブルである。ロボットコントローラ1031は、様々な異なるタスクを実行するように構成されてもよい。例えば、ロボットコントローラ1031は、作業面1003からオブジェクト1001を取出してビン1005内に配置するようにロボットアーム1027を制御するように構成されてもよく、ビン1005は、複数のオブジェクトを収集するように構成されてもよい。
ロボットコントローラ1031は、ロバスト軌道最適化のための提案されたSDLCSおよび機会相補性制約を用いて、オブジェクト1001を作業面1003からビン1005へと移動させる。そのために、SDLCSベースのロボットコントローラ1031は、最初に、作業面1003からオブジェクト1001を把持するタスクのデジタル表現を収集する。作業面1003およびオブジェクト1001の位置および向きは、タスクのデジタル表現の一部であってもよい。ロボットコントローラ1031はさらに、作業面1003からオブジェクト1001を把持するためにロボットコントローラ1031によってロボットアーム1027に加えられる制御力のシーケンスを最適化するようロバスト制御問題を解くように構成されており、ロバスト制御問題は、機会制約に従うオブジェクト1001を把持するタスクを実行する制御力のシーケンスを生成するようにコスト関数を最適化するものである。
ロボットコントローラ1031はさらに、ジョイント機会制約を用いてロバスト制御問題を解くように構成され、ジョイント機会制約は、操作されているオブジェクト1001の状態における第1の機会制約と、ロボットアーム1027によるオブジェクトの操作をモデル化する確率的相補性制約における第2の機会制約とを含む。すなわち、確率的相補性制約は、操作されているオブジェクト1001に関連するロボットアーム1027のインタラクションの不確実性を含む。第2の機会制約はロボット状態1029に基づいていてもよい。さらに、ロボットコントローラ1031はさらに、ジョイント機会制約を用いてロバスト制御問題を解くことによって制御力のシーケンスを計算するとともに、オブジェクト1001を把持して作業面1003からビン1005へと移動させるために当該計算された制御力のシーケンスを加えることによってオブジェクト1001の操作を制御するように構成される。
本明細書で概説される様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのいずれか1つを採用する1つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化され得る。加えて、このようなソフトウェアは、いくつかの好適なプログラミング言語および/またはプログラミングもしくはスクリプトツールのうちのいずれかを用いて書かれてもよく、フレームワークまたは仮想マシン上で実行される実行可能なマシン言語コードまたは中間コードとしてコンパイルされてもよい。典型的には、プログラムモジュールの機能は、様々な実施形態において所望されるとおりに組合わされてもよく、または分散させてもよい。
また、本発明の実施形態は、その例が提供された方法として具現化されてもよい。当該方法の一部として実行される行為は、任意の好適な方法で順序付けられてもよい。したがって、例示的な実施形態では連続的な動作として示されているが、動作が図示されているのとは異なる順序で実行されるとともに、いくつかの動作を同時に実行することを含み得る実施形態が構築されてもよい。さらに、請求項の要素を修飾するための、請求の範囲における「第1」、「第2」等の順序を表わす用語の使用は、それ自体が、別の請求項の要素に対する1つの請求項の要素の任意の優先順位、優位度もしくは順序を暗示するものではなく、または、方法の動作が実行される時間的順序を暗示するものではなく、請求項の要素を区別するために、ある名称を有する1つの請求項の要素を(順序を表わす用語を用いる場合を除いて)同じ名称を有する別の要素から区別するために単にラベルとして使用されるに過ぎない。
本開示は、いくつかの好ましい実施形態を参照して記載されてきたが、本開示の精神および範囲内で他のさまざまな適応および変更がなされ得ることが理解されるべきである。したがって、添付の特許請求の範囲の局面は、そのようなすべての変形および変更を本開示の真の精神および範囲内に収めるように網羅するものである。

Claims (17)

  1. ロボットシステムであって、
    ロボットマニピュレータと、
    プロセッサと、
    前記プロセッサによって実行されると前記ロボットマニピュレータに以下の動作を実行させる命令が格納されたメモリとを備え、前記以下の動作は、
    オブジェクトを初期状態から最終状態へと操作するためのタスクのデジタル表現を収集することと、
    前記オブジェクトの状態を前記初期状態から前記最終状態に変更するために前記ロボットマニピュレータによって加えられる制御力のシーケンスを最適化するように、ロバスト制御問題を解くこととを含み、前記タスクは、予め定義された確率でモデル化され、前記ロバスト制御問題は、操作されている前記オブジェクトの前記状態における第1の機会制約と、操作されている前記オブジェクトに関連する前記ロボットマニピュレータのインタラクションの不確実性を含む第2の機会制約とを含むジョイント機会制約に従う前記タスクを実行する前記制御力のシーケンスを生成するようにコスト関数を最適化し、前記以下の動作はさらに、
    前記オブジェクトの前記状態を前記初期状態から前記最終状態に変更する前記制御力のシーケンスを加えることによって前記オブジェクトの前記操作を制御することを含む、ロボットシステム。
  2. 記インタラクションの前記不確実性は、前記オブジェクトの前記状態の進化のノイズ、前記オブジェクトの前記状態の測定のノイズ、前記ロボットマニピュレータのモデルの不確実性、および前記ロボットマニピュレータの環境の不確実性のうちの1つまたは組合わせによってもたらされる、請求項に記載のロボットシステム。
  3. 前記ロボットマニピュレータは、表面に配置された前記オブジェクトを操作し、前記インタラクションの前記不確実性は、前記表面の摩擦係数の前記不確実性によってもたらされる、請求項2に記載のロボットシステム。
  4. 前記ロボットマニピュレータは、ロボット手首、ガントリロボット、円筒形ロボット、極座標ロボット、および平行顎グリッパのようなエンドエフェクタを備えたジョイント式アームロボットのうちの少なくとも1つである、請求項2に記載のロボットシステム。
  5. 前記第2の機会制約は、ハイパーパラメータによって定義される確率で前記第2の機会制約の違反を許可するように緩和される、請求項1に記載のロボットシステム。
  6. 前記緩和は、前記第2の機会制約の不等式を満たすために、第1の相補性変数および第2の相補性変数の一方または両方についての個々の確率に課される、請求項5に記載のロボットシステム。
  7. 前記第1の相補性変数は、決定論的であり、前記第2の相補性変数は、確率的であって、前記第1の相補性変数の決定論的値に依存する不等式の緩和充足を伴う、請求項に記載のロボットシステム。
  8. 前記第2の機会制約は、互いに素な不等式のモードに分解され、前記緩和は、個々のモードの発生に対して機会制約を課す、請求項に記載のロボットシステム。
  9. 前記ロバスト制御問題は、機会制約付き混合整数二次計画法によって解かれる、請求項1に記載のロボットシステム。
  10. 前記制御は、前記オブジェクトの前記状態を前記初期状態から前記最終状態に変更する前記制御力のシーケンスに従ったフィードフォワード制御である、請求項1に記載のロボットシステム。
  11. 前記制御は、前記オブジェクトの現在の状態を示すフィードバック信号の受信に応答して前記オブジェクトの前記状態を前記初期状態から前記最終状態に変更する前記制御力のシーケンスを更新するフィードバック制御である、請求項1に記載のロボットシステム。
  12. 前記フィードバック制御は、厳しい制約に従う予測範囲にわたって前記制御力のシーケンスを反復的に最適化する予測制御である、請求項1に記載のロボットシステム。
  13. ロボットシステムを用いてオブジェクトを操作するための方法であって、
    前記オブジェクトを初期状態から最終状態へと操作するためのタスクのデジタル表現を収集するステップと、
    前記オブジェクトの状態を前記初期状態から前記最終状態に変更するためにロボットマニピュレータによって加えられる制御力のシーケンスを最適化するように、ロバスト制御問題を解くステップとを含み、前記タスクは、予め定義された確率でモデル化され、前記ロバスト制御問題は、操作されている前記オブジェクトの前記状態における第1の機会制約と、操作されている前記オブジェクトに関連する前記ロボットマニピュレータのインタラクションの不確実性を含む第2の機会制約とを含むジョイント機会制約に従う前記タスクを実行する前記制御力のシーケンスを生成するようにコスト関数を最適化し、前記方法はさらに、
    前記オブジェクトの前記状態を前記初期状態から前記最終状態に変更する前記制御力のシーケンスを加えることによって前記オブジェクトの前記操作を制御するステップを含む、方法。
  14. 記インタラクションの前記不確実性は、前記オブジェクトの前記状態の進化のノイズ、前記オブジェクトの前記状態の測定のノイズ、前記ロボットマニピュレータのモデルの不確実性、および前記ロボットマニピュレータの環境の不確実性のうちの1つまたは組合わせによってもたらされる、請求項1に記載の方法。
  15. 前記ロボットマニピュレータは、表面に配置された前記オブジェクトを操作し、前記インタラクションの前記不確実性は、前記表面の摩擦係数の前記不確実性によってもたらされる、請求項1に記載の方法。
  16. 前記ロボットマニピュレータは、ロボット手首、ガントリロボット、円筒形ロボット、極座標ロボット、および平行顎グリッパのようなエンドエフェクタを備えたジョイント式アームロボットのうちの少なくとも1つである、請求項1に記載の方法。
  17. 前記第2の機会制約は、ハイパーパラメータによって定義される確率で前記第2の機会制約の違反を許可するように緩和される、請求項1に記載の方法。
JP2024565389A 2022-03-01 2022-11-22 機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法 Active JP7738779B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/653,031 US12049007B2 (en) 2022-03-01 2022-03-01 System and method for robust robotic manipulation using chance constrained optimization
US17/653,031 2022-03-01
PCT/JP2022/043837 WO2023166799A1 (en) 2022-03-01 2022-11-22 System and method for robust robotic manipulation using chance constrained optimization

Publications (2)

Publication Number Publication Date
JP2025503324A JP2025503324A (ja) 2025-01-30
JP7738779B2 true JP7738779B2 (ja) 2025-09-12

Family

ID=84537491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024565389A Active JP7738779B2 (ja) 2022-03-01 2022-11-22 機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法

Country Status (5)

Country Link
US (1) US12049007B2 (ja)
EP (1) EP4486543B1 (ja)
JP (1) JP7738779B2 (ja)
CN (1) CN118715092A (ja)
WO (1) WO2023166799A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117245654B (zh) * 2023-09-18 2026-02-10 山东大学 双四足机器人拼接组合体的分布式控制方法及装置
CN118650636B (zh) * 2024-08-20 2024-11-19 中国交通信息科技集团有限公司 一种基于广义u-k方程的管片防水材料粘贴机器人控制方法
CN119328750B (zh) * 2024-10-18 2025-07-18 广东工业大学 结合6d姿态估计的四足机器狗动态抓取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020535562A (ja) 2017-12-18 2020-12-03 三菱電機株式会社 システムを制御する装置及び方法
JP2021175590A (ja) 2020-04-03 2021-11-04 ファナック株式会社 ロボット最適化動作計画用の初期参照生成

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682791B2 (ja) * 2005-10-12 2011-05-11 ソニー株式会社 操作空間物理量算出装置及び操作空間物理量算出方法、並びにコンピュータ・プログラム
US8731880B2 (en) * 2010-09-14 2014-05-20 University Of Washington Through Its Center For Commercialization Invertible contact model
US20160327936A1 (en) * 2015-05-04 2016-11-10 Bigwood Technology, Inc. Global optimal solution for a practical system modeled as a general constrained nonlinear optimization problem
US11458630B2 (en) * 2019-10-15 2022-10-04 X Development Llc Mitigating reality gap through simulating compliant control and/or compliant contact in robotic simulator
US11327449B2 (en) * 2020-05-29 2022-05-10 Mitsubishi Electric Research Laboratories, Inc. Nonlinear optimization for stochastic predictive vehicle control
US11698625B2 (en) * 2020-12-10 2023-07-11 Mitsubishi Electric Research Laboratories, Inc. Stochastic model-predictive control of uncertain system
US12397425B2 (en) * 2022-03-18 2025-08-26 Mitsubishi Electric Research Laboratories, Inc. System and method for robust pivoting for re-orienting parts during robotic assembly

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020535562A (ja) 2017-12-18 2020-12-03 三菱電機株式会社 システムを制御する装置及び方法
JP2021175590A (ja) 2020-04-03 2021-11-04 ファナック株式会社 ロボット最適化動作計画用の初期参照生成

Also Published As

Publication number Publication date
CN118715092A (zh) 2024-09-27
EP4486543A1 (en) 2025-01-08
EP4486543B1 (en) 2026-03-18
JP2025503324A (ja) 2025-01-30
US12049007B2 (en) 2024-07-30
US20230278197A1 (en) 2023-09-07
WO2023166799A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
JP7738779B2 (ja) 機会制約付き最適化を用いたロバストなロボット操作のためのシステムおよび方法
CN114096968B (zh) 模型生成装置、模型生成方法、控制装置以及控制方法
Barnett et al. A bisection algorithm for time-optimal trajectory planning along fully specified paths
CN109483534B (zh) 一种物体抓取方法、装置和系统
WO2022088593A1 (zh) 机械臂的控制方法、装置及人机协同模型的训练方法
CN113826051A (zh) 生成实体系统零件之间的交互的数字孪生
US20220274255A1 (en) Control apparatus, control method, and computer-readable storage medium storing a control program
JP2022061022A (ja) 力及びトルク誘導ロボット組立のための技術
KR20180099455A (ko) 로봇을 위한 모터 제어 및/또는 조정
TWI781708B (zh) 學習裝置、學習方法、學習程式、控制裝置、控制方法及控制程式
Ruppel et al. Learning object manipulation with dexterous hand-arm systems from human demonstration
EP4175795B1 (en) Transfer between tasks in different domains
JP2021122899A (ja) 軌道生成装置、多リンクシステム、及び軌道生成方法
JP2021035714A (ja) 制御装置、制御方法、及び制御プログラム
JP2025530009A (ja) 新たなタスクへの汎用化のためにロボットタスクにおけるシーケンスを学習するためのシステムおよび方法
CN118891136A (zh) 通过快速在线负载估计来进行灵活机器人操纵的系统和方法
CN117377559A (zh) 用于抓取稳定性的路径约束的自动生成
Yamawaki et al. Iterative learning of variable impedance control for human-robot cooperation
Kasaei et al. Data-efficient non-parametric modelling and control of an extensible soft manipulator
JP7435815B2 (ja) 動作指令生成装置、動作指令生成方法及びプログラム
JP7435814B2 (ja) 時相論理式生成装置、時相論理式生成方法及びプログラム
Bazzi et al. Identification of robot forward dynamics via neural network
JP7749145B2 (ja) 学習中のロバストなフィードバック制御のポリトピックポリシー最適化のためのシステムおよび方法
Mehta et al. On the feasibility of a mixed-method approach for solving long horizon task-oriented dexterous manipulation
Scharfe et al. Hybrid physics simulation of multi-fingered hands for dexterous in-hand manipulation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250902

R150 Certificate of patent or registration of utility model

Ref document number: 7738779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150