JP7720727B2 - 情報処理装置、情報処理装置の制御プログラム - Google Patents
情報処理装置、情報処理装置の制御プログラムInfo
- Publication number
- JP7720727B2 JP7720727B2 JP2021109067A JP2021109067A JP7720727B2 JP 7720727 B2 JP7720727 B2 JP 7720727B2 JP 2021109067 A JP2021109067 A JP 2021109067A JP 2021109067 A JP2021109067 A JP 2021109067A JP 7720727 B2 JP7720727 B2 JP 7720727B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- map
- ogm
- processing device
- map information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
例えば、特許文献1に記載の技術では、対象(車両)の周辺における物体の存在確率を表すマップ占有格子地図(OGM:Occupancy Grid Maps)などの地図情報を作成し、このマップを利用して対象の動作制御を行っている。このOGMは格子によって仕切られており、各格子における物体の存在確率を示すことによって周囲状況がどのようになっているかを判断する。
例えば、対象が作業機械の場合、繊細な作業も検出できるように格子サイズは細かい方が望ましいうえ、前後左右に上方も加えた全方位の情報が求められる。そのため、計算の負荷が重くなって時間を要してしまい、好適に動作制御できないおそれが生じる。特に車載用に利用される小型コンピュータあるいはエッジコンピューティングにおいては、そのおそれが強くなる。
対象の周辺の情報を取得する情報取得手段と、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段と、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段と、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段と、
を備え、
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する構成とした。
コンピュータを、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段、
として機能させ、
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成するようにした。
まず、本実施形態に係るショベル100の構成について説明する。ショベル100は、本発明に係る情報処理装置を具備することにより、地図情報を用いて好適に動作制御できるように構成されている。
この図に示すように、ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメントとしてのブーム4、アーム5及びバケット6と、オペレータが搭乗するキャビン10とを備える。アタッチメントは、作業要素(例えば、バケット、クラッシャー、クレーン装置等)が設けられていれば、これに限られない。
上部旋回体3は、旋回油圧モータ或いは電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
キャビン10は、オペレータが搭乗する操縦室であり、例えば上部旋回体3の前部左側に搭載される。ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、アクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等の被駆動要素を駆動する。
この図に示すように、ショベル100は、上記構成のほか、コントローラ30と、撮像装置40と、距離センサ41と、動作・姿勢状態センサ42と、位置センサ43と、操作装置45と、表示装置50と、音声出力装置60と、通信機器80とを備える。本発明に係る情報処理装置は、少なくともコントローラ30を含む。
後方カメラ40Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方を撮像する。
左方カメラ40Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方を撮像する。
右方カメラ40Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方を撮像する。
これら後方カメラ40B、左方カメラ40L及び右方カメラ40Rの各々は、上部旋回体3において、光軸が斜め下方に向くように取り付けられ、ショベル100近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲(画角)を有する。また、後方カメラ40B、左方カメラ40L及び右方カメラ40Rの水平方向の撮像範囲(画角)は、例えば、合わせてショベル100回りの略全方位を含む範囲となっている。
後方距離センサ41Bは、上部旋回体3の後部に取り付けられ、上部旋回体3の後方の計測を行う。後方距離センサ41Bの計測範囲は、後方カメラ40Bの撮像範囲に対応している。
左方距離センサ41Lは、上部旋回体3の左側部に取り付けられ、上部旋回体3の左側方の計測を行う。左方距離センサ41Lの計測範囲は、左方カメラ40Lの撮像範囲に対応している。
右方距離センサ41Rは、上部旋回体3の右側部に取り付けられ、上部旋回体3の右側方の計測を行う。右方距離センサ41Rの計測範囲は、右方カメラ40Rの撮像範囲に対応している。
本実施形態では、各距離センサ41として、光を利用したLIDAR(Light Detection and Ranging)が用いられる。ただし、距離センサ41の種類は特に限定されず、例えばミリ波レーダーや、ステレオカメラによる測距装置などであってもよい。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
アーム角度センサは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
バケット角度センサは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
IMUは、ブーム4及びアーム5の各々に取り付けられ、所定の三軸に沿ったブーム4及びアーム5の加速度、及び、所定の三軸廻りのブーム4及びアーム5の角加速度を検出する。
旋回角度センサは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体3に設けられたGPSやIMUセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
また、操作装置45は、撮像装置40、距離センサ41、動作・姿勢状態センサ42、位置センサ43、表示装置50、音声出力装置60、通信機器80等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ30に出力する。
なお本実施例では二次元のOGMの例を挙げているが、高さ情報を加えた三次元のOGMでも同様である。
より詳しくは、OGM計算部31は、撮像装置40の出力に基づいて物体を検出しその位置を解析してOGM(後述の第1のOGM71)を作成するカメラ用OGM作成部311と、距離センサ41の出力に基づいて物体を検出してOGM(後述の第2のOGM72)を作成する距離センサ用OGM作成部312と、これらのOGMを合成して局所的なローカルOGM73を作成するローカルOGM作成部313と、ローカルOGM73に基づいて広範なグローバルOGM74を作成するグローバルOGM作成部314とを含む(図3参照)。
また、ショベル100は、通信ネットワークNWを通じて、支援装置300と相互に通信可能に構成されてもよい。
管理装置200は、上述の如く、通信ネットワークNWを通じて、ショベル100及び支援装置300のそれぞれと相互に通信を行うことができる。これにより、管理装置200は、ショベル100からアップロードされる各種情報を受信し、記憶(蓄積)しておくことができる。また、管理装置200は、支援装置300からの要求に応じて、支援装置300に各種情報を送信することができる。
支援装置300は、通信ネットワークNWを通じて、管理装置200と相互に通信を行うことができる。これにより、支援装置300は、管理装置200から送信される情報を受信し、自身に搭載される表示装置を通じて、ユーザに情報を提供することができる。また、支援装置300は、通信ネットワークNWを通じて、ショベル100と相互に通信可能に構成されてもよい。
続いて、周辺の特定の物体を検出する物体検出処理を実行する際のショベル100の動作について説明する。
図3は、この物体検出処理でのデータの流れを示すデータフロー図であり、図4(a)~(c)は、後述の第1のOGM71、第2のOGM72、ローカルOGM73の一例を示す図であり、図5(a)、(b)は、後述のローカルOGM73、グローバルOGM74の一例を示す図である。
本実施形態では、検出対象として人体(人)が検出されるものとする。そのため、処理の実行時には、例えばオペレータの操作により検出対象として人体が選択され、この検出対象に対応した特徴量(例えば人の顔のもの)が記憶部35から読み出されて設定されているものとする。
また、コントローラ30は、上部旋回体3を旋回させながら周辺全周の撮影・計測を行ってもよい。
ここでは、OGM計算部31は、まず、撮像装置40が取得した画像に基づく第1のOGM71と、距離センサ41が取得した距離情報に基づく第2のOGM72とを個別に作成する。
ここでは、例えば図4(a)に示すような第1のOGM71が作成される。第1のOGM71では、撮像装置40による撮影画像から人体(と推定される物体)として検出された物体領域R1の位置が、例えば格子状に区画された二次元マップ上に平面表示される。
ここでは、例えば図4(b)に示すような第2のOGM72が作成される。この第2のOGM72では、距離情報に基づいて人体(と推定される物体)として検出された物体領域R2の位置が、例えば第1のOGM71と同様に格子状に区画された二次元マップ上に平面表示される。
本実施形態のローカルOGM73では、例えば図4(c)に示すように、図4(a)に示す第1のOGM71と、図4(b)に示す第2のOGM72との、いずれにも物体領域R1、R2が存在するグリッドが、人体が検出された物体領域R3となっている。すなわち、第1のOGM71及び第2のOGM72の各々において、物体領域ありのグリッドに「1」、物体領域なしのグリッドに「0」を割り当てておき、合成の際に、対応するグリッド同士で和を取った数値が「1」の場合に当該グリッドを物体領域R3としている。
ただし、この合成手法は本実施形態のものに限定されない。例えば、第1のOGM71及び第2のOGM72の各々の作成時に、「0」と「1」だけではなく、各物体領域の存在の確からしさに応じて重み付けした数値を当該物体領域のグリッドに割り当ててもよい。そして、これらの合成時に、対応するグリッドの物体領域で和(又は積)を取った数値が所定の閾値以上となった場合に、当該グリッドを物体領域R3とすればよい。
なお、ローカルOGM73の範囲や数量は特に限定されない。また、ローカルOGM73のセルサイズは、計算負荷が過大にならない範囲で細かい方が、物体検出の精度を向上させる点で好ましい。
このように、比較的に範囲が狭いローカルOGM73を用いて物体検出を行うことにより、その検出判定計算を高速化できる。なお、ローカルOGM73を直接利用する制御は、物体検出に限定されず、ショベル100の動作制御に広く適用でき、特に即応性が要求される動作制御(例えば衝突判定等)に好適に適用できる。
そして、物体検出判定部32は、その検出結果(判定結果)を表示装置50に出力させる。この表示態様は、検出対象の位置等が識別できるものであれば、特に限定されない。
グローバルOGM74は、本発明に係る第2地図情報の一例であり、図5(b)に示すように、ショベル100の周辺の広範な範囲(領域)であって、ローカルOGM73よりも遠方までの範囲を有するOGMである。グローバルOGM作成部314は、複数のローカルOGM73から周辺情報を取得してグローバルOGM74を作成する。ただし、いずれのローカルOGM73にも含まれない範囲は、別途作成してもよい。グローバルOGM74の作成時間(更新周期)は、ローカルOGM73よりも長い。
なお、グローバルOGM74は、ローカルOGM73よりも広い範囲のものであればよい。また、グローバルOGM74のセルサイズは、ローカルOGM73より粗くてもよい。
なお、グローバルOGM74を利用する態様は、オペレータへの情報伝達(表示)に限定されず、例えば即応性が要求されないもの等に好適に適用できる。
以上のように、本実施形態によれば、撮像装置40や距離センサ41で取得されたショベル100周辺の情報に基づいて、ショベル100周辺の局所的な領域の情報を地図表示したローカルOGM73が作成され、このローカルOGM73に基づいて、当該ローカルOGM73の領域(範囲)よりも広い領域の情報を地図表示したグローバルOGM74が作成される。そして、ローカルOGM73に基づいて、ショベル100が動作制御される。
このように、範囲が狭いローカルOGM73を用いて動作制御を行うことにより、単純に対象の周辺を広く含むマップを作成して動作制御する場合に比べ、その動作制御を高速化できる。したがって、地図情報を用いて好適に対象の動作制御を行うことができる。
これにより、比較的に作成時間(更新周期)の長いグローバルOGM74であっても、オペレータへの情報伝達(表示)用として好適に利用できる。
すなわち、より更新周期の短いローカルOGM73を用いて即応性が要求される動作制御を好適に行いつつ、より更新周期の長いグローバルOGM74を即応性の要求されない表示用途に好適に利用できる。
図6は、本実施形態の物体検出処理の変形例を説明するための図である。
物体検出判定部32は、物体検出を行うときに、ショベル100の動作状態に基づいて、複数のローカルOGM73から、当該動作状態に対応する少なくとも1つのローカルOGM73を選択し、この選択されたローカルOGM73のみを用いて物体検出を行ってもよい。
ここで、ショベル100の「動作状態」とは、ショベル100の移動、旋回、アタッチメントの動作等の各状態を含む。また、利用しないローカルOGM73は、そもそも作成しなくてもよい。
あるいは図6(b)に示すように、ショベル100(上部旋回体3)が旋回するときには、この旋回に伴って上部旋回体3やアタッチメントが含まれる(と予想される)領域のローカルOGM73(73RF、73R、73RB,73L)のみを用いて物体検出(動作制御)を行ってもよい。
図7は、撮像装置40及び距離センサ41のチルト角とローカルOGM73の位置及び範囲(大きさ)との関係を説明するための図である。
撮像装置40及び距離センサ41は、PTZ状態(パン、チルト、ズームの各動作状態)に応じて、その検出位置や検出範囲が変化する。そのため、図7に一例(チルト動作例)を示すように、撮像装置40及び距離センサ41のPTZ状態に応じて、ローカルOGM73の位置及び範囲が変わる。
そこで、所望のローカルOGM73の位置及び範囲に基づいて、撮像装置40及び距離センサ41を適宜PTZ動作させてもよい。この場合、撮像装置40及び距離センサ41の各々はPTZ動作(パン、チルト、ズームの各動作)が可能に構成され、コントローラ30がこれを制御可能であるのは勿論である。
以上、本発明の実施形態について説明したが、本発明は上記実施形態やその変形例に限られない。
例えば、上記実施形態では、撮像装置40や距離センサ41がショベル100に搭載されることとしたが、撮像装置40や距離センサ41はショベル100に搭載されていなくともよく、例えば高所に設置、あるいはドローンなどの無人航空機に搭載されていてもよい。そして、取得したデータをショベル100に送信してもよいし、あるいは、データを管理装置200や支援装置300に送信して検出処理を実行させ、その結果をショベル100に送信してもよい。
また、この場合の「対象」は、ショベルに限定されず、建設機械全般に適用可能であるのは勿論のこと、建設機械を含む作業機械にも好適に適用可能である。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
30 コントローラ
31 OGM計算部
32 物体検出判定部
35 記憶部
40 撮像装置
41 距離センサ
42 動作・姿勢状態センサ
50 表示装置
73 ローカルOGM(第1地図情報)
74 グローバルOGM(第2地図情報)
200 管理装置
300 支援装置
Claims (7)
- 対象の周辺の情報を取得する情報取得手段と、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段と、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段と、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段と、
を備え、
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する、
情報処理装置。 - 前記第2地図情報を表示手段に表示させる表示制御手段を備える、
請求項1に記載の情報処理装置。 - 前記対象の動作状態を検出する検出手段を備え、
前記動作制御手段は、
前記対象の動作状態に基づいて、前記複数の第1地図情報から少なくとも1つの第1地図情報を選択し、
前記少なくとも1つの第1地図情報に基づいて、前記対象を動作制御する、
請求項1又は請求項2に記載の情報処理装置。 - 前記情報取得手段は、
画像情報を取得する撮像手段と、距離情報を取得する測距手段と、を含み、
前記情報として、前記対象の周辺の物体の位置及び存在確率を取得する、
請求項1から請求項3のいずれか一項に記載の情報処理装置。 - 前記撮像手段及び前記測距手段は、PTZ動作が可能に構成され、
前記第1地図作成手段は、作成する前記第1地図情報の位置及び範囲に基づいて、前記撮像手段及び前記測距手段をPTZ動作させる、
請求項4に記載の情報処理装置。 - 前記対象は建設機械である、
請求項1から請求項5のいずれか一項に記載の情報処理装置。 - 対象の周辺の情報を取得する情報取得手段を備える情報処理装置の制御プログラムであって、
コンピュータを、
前記情報取得手段が取得した情報に基づいて、第1の領域における前記情報を地図表示した第1地図情報を作成する第1地図作成手段、
前記第1地図情報に基づいて、前記第1の領域よりも広い第2の領域における前記情報を地図表示した第2地図情報を作成する第2地図作成手段、
前記第1地図情報に基づいて、前記対象を動作制御する動作制御手段、
として機能させ、
前記第1地図作成手段は、情報取得範囲が互いに異なる複数の前記情報取得手段が取得した情報に基づいて、互いに異なる領域を有する複数の前記第1地図情報を作成し、
前記第2地図作成手段は、前記複数の第1地図情報に基づいて前記第2地図情報を作成する、
情報処理装置の制御プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021109067A JP7720727B2 (ja) | 2021-06-30 | 2021-06-30 | 情報処理装置、情報処理装置の制御プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021109067A JP7720727B2 (ja) | 2021-06-30 | 2021-06-30 | 情報処理装置、情報処理装置の制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023006459A JP2023006459A (ja) | 2023-01-18 |
| JP7720727B2 true JP7720727B2 (ja) | 2025-08-08 |
Family
ID=85108299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021109067A Active JP7720727B2 (ja) | 2021-06-30 | 2021-06-30 | 情報処理装置、情報処理装置の制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7720727B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017166966A (ja) | 2016-03-16 | 2017-09-21 | 株式会社デンソーアイティーラボラトリ | 周辺環境推定装置及び周辺環境推定方法 |
| JP2017220264A (ja) | 2017-09-20 | 2017-12-14 | 株式会社小松製作所 | 作業機械の制御システム、作業機械、及び作業機械の管理システム |
-
2021
- 2021-06-30 JP JP2021109067A patent/JP7720727B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017166966A (ja) | 2016-03-16 | 2017-09-21 | 株式会社デンソーアイティーラボラトリ | 周辺環境推定装置及び周辺環境推定方法 |
| JP2017220264A (ja) | 2017-09-20 | 2017-12-14 | 株式会社小松製作所 | 作業機械の制御システム、作業機械、及び作業機械の管理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023006459A (ja) | 2023-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112955610A (zh) | 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序 | |
| CN108885102B (zh) | 形状测量系统、作业机械及形状测量方法 | |
| CN113661296A (zh) | 施工机械、支援系统 | |
| US20220316188A1 (en) | Display system, remote operation system, and display method | |
| JP2021021637A (ja) | 建設機械の位置特定システム | |
| CN115023949B (zh) | 作业辅助服务器及作业辅助系统 | |
| JP7203640B2 (ja) | 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム | |
| WO2023100533A1 (ja) | 画像表示システム、遠隔操作支援システムおよび画像表示方法 | |
| JP7349947B2 (ja) | 情報処理装置、作業機械、情報処理方法、情報処理プログラム | |
| KR102803168B1 (ko) | 작업기계용 정보처리장치, 정보관리시스템, 작업기계용 정보처리프로그램을 저장한 기억장치 | |
| JP7720727B2 (ja) | 情報処理装置、情報処理装置の制御プログラム | |
| JP7490948B2 (ja) | 作業支援サーバおよび作業支援システム | |
| JP7580184B2 (ja) | 作業機械、情報管理システム、プログラム | |
| JP7704597B2 (ja) | 情報処理装置、情報処理装置の制御プログラム | |
| JP7264794B2 (ja) | 転倒リスク提示装置および転倒リスク提示方法 | |
| CN113785091B (zh) | 施工机械、信息管理系统、信息终端、程序 | |
| JP7515311B2 (ja) | 情報処理装置、情報処理装置の制御方法及び制御プログラム | |
| WO2023189216A1 (ja) | 作業支援システム | |
| JP2024116653A (ja) | 周辺監視装置、周辺監視装置の制御方法及び周辺監視装置の制御プログラム | |
| JP2024117204A (ja) | 作業機械、情報処理装置、作業機械の制御方法及び作業機械の制御プログラム | |
| JP7843633B2 (ja) | 情報処理装置、情報処理システム及び情報処理プログラム | |
| JP2022129500A (ja) | 地形情報管理システムおよび作業機械 | |
| EP4400659B1 (en) | Work machine and remote operation support device | |
| JP7739200B2 (ja) | 監視システム | |
| JP2024068678A (ja) | 作業機械及び情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240412 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250701 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7720727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |