JP6850331B2 - マルチノードストレージシステムにおけるファームウェアアップグレード方法 - Google Patents
マルチノードストレージシステムにおけるファームウェアアップグレード方法 Download PDFInfo
- Publication number
- JP6850331B2 JP6850331B2 JP2019185198A JP2019185198A JP6850331B2 JP 6850331 B2 JP6850331 B2 JP 6850331B2 JP 2019185198 A JP2019185198 A JP 2019185198A JP 2019185198 A JP2019185198 A JP 2019185198A JP 6850331 B2 JP6850331 B2 JP 6850331B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- bmc
- flash
- storage
- flash image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operations
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1433—Saving, restoring, recovering or retrying at system level during software upgrading
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operations
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Stored Programmes (AREA)
Description
100,300…第1ノード
200,400…第2ノード
110,210,310,410…ストレージデバイス
111,112,211,212,311,312,411,412…PCIeバス
120,220,320,420…ストレージエキスパンダスイッチコントローラ
130,230,330,430…ローカルエリアネットワークアダプタ
140,340…第1フラッシュROM
141,161,241,261,341,342,361,362,371,381,441,461,471,481…バス
150,250,350,450…BMC
151,251,351,451…ベースボードバス
160,360…第2フラッシュROM
240,440…第3フラッシュROM
260,460…第4フラッシュROM
75…マルチノードストレージシステム
370…第1スイッチデバイス
380…第2スイッチデバイス
470…第3スイッチデバイス
480…第4スイッチデバイス
600…プロセス
601〜605…工程
Claims (10)
- 第1ノード及び第2ノードを有するマルチノードストレージシステムであって、
前記第1ノードは、
第1ベースボード管理コントローラ(BMC)と、
第1フラッシュイメージを記憶するように構成された第1フラッシュROMと、
前記第1BMCを前記第1フラッシュROMに接続するように構成された第1スイッチデバイスと、を含み、
前記第2ノードは、
前記第1スイッチデバイスに接続された第2BMCと、
第2フラッシュイメージを記憶するように構成された第2フラッシュROMと、
前記第2BMCを前記第2フラッシュROMを接続するように構成された第2スイッチデバイスと、を含み、
前記第1BMCは、前記第2スイッチデバイスに接続されており、
前記第2フラッシュイメージは、前記第1フラッシュイメージと同じである、ことを特徴とするマルチノードストレージシステム。 - 前記第1ノードは、第1ストレージコントローラと、第3フラッシュイメージを記憶する第3フラッシュROMと、前記第1BMC又は前記第2BMCを前記第3フラッシュROMに接続する第3スイッチデバイスと、を含み、
前記第2ノードは、第2ストレージコントローラと、第4フラッシュイメージを記憶する第4フラッシュROMと、前記第1BMC又は前記第2BMCを前記第4フラッシュROMに接続する第4スイッチデバイスと、を含み、前記第4フラッシュイメージは、前記第3フラッシュイメージと同じである、ことを特徴とする請求項1に記載のマルチノードストレージシステム。 - 前記第1ノードは、第1ストレージスイッチエキスパンダコントローラ及び第2ストレージスイッチエキスパンダコントローラに接続された第1の複数のストレージデバイスを含み、
前記第2ノードは、前記第1ストレージスイッチエキスパンダコントローラ及び前記第2ストレージスイッチエキスパンダコントローラに接続された第2の複数のストレージデバイスを含み、
前記第1ストレージデバイス及び前記第2ストレージデバイスは、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)及び不揮発性メモリエクスプレス(NVMe)のうち少なくとも1つを含む、ことを特徴とする請求項1に記載のマルチノードストレージシステム。 - 前記NVMeは、ホストコントローラインタフェース及びストレージプロトコルとして機能し、前記第2ストレージスイッチエキスパンダコントローラと前記SSDドライブとの間のデータ送信を促進する、ことを特徴とする請求項3に記載のマルチノードストレージシステム。
- 前記第1フラッシュイメージは、第1BMCファームウェアフラッシュイメージを有し、前記第3フラッシュイメージは、第1ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有し、
前記第2フラッシュイメージは、第2BMCファームウェアフラッシュイメージを有し、前記第4フラッシュイメージは、第2ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有する、ことを特徴とする請求項2に記載のマルチノードストレージシステム。 - 前記第1スイッチデバイス、前記第2スイッチデバイス、前記第3スイッチデバイス及び前記第4スイッチデバイスの各々は、マルチプレクサ(MUX)を備え、前記第1BMC及び前記第2BMCを多重化するように構成されており、
前記第1BMCは、前記第3フラッシュROMに記憶された前記第3フラッシュイメージ、又は、前記第4フラッシュROMに記憶された前記第4フラッシュイメージを取り出すように構成されており、
前記第2BMCは、前記第1フラッシュROMに記憶された前記第1フラッシュイメージ、又は、前記第2フラッシュROMに記憶された前記第2フラッシュイメージを取り出すように構成されている、ことを特徴とする請求項2に記載のマルチノードストレージシステム。 - マルチストレージノードシステムにおけるファームウェアのアップデート方法であって、前記方法は、
第1ノードをパワーサイクルする工程であって、前記第1ノードは、第1ベースボード管理コントローラ(BMC)と、第1フラッシュイメージを記憶するように構成された第1フラッシュROMと、前記第1BMCを前記第1フラッシュROMに接続するように構成された第1スイッチデバイスと、を含む、工程と、
前記第1フラッシュROMの前記第1フラッシュイメージをアクティブにする工程と、
前記第1ノード内の少なくとも1つのハードウェアコンポーネントがオンラインでない若しくはファームウェアアップデートの準備ができていないこと、第2フラッシュイメージが破損していること、及び/又は、前記第1ノードがOSを起動することができないことのうち少なくとも1つを判別する工程と、
前記第1BMCが、第2ノードに記憶された第2フラッシュROMに記憶された第2フラッシュイメージを取り出すことであって、前記第1BMCは、前記第2ノードの第2スイッチデバイスに接続されており、前記第2フラッシュイメージは、前記第1フラッシュイメージと同じである、工程と、
を有することを特徴とするファームウェアのアップデート方法。 - 前記第1ノードは、第1ストレージコントローラと、第3フラッシュイメージを記憶する第3フラッシュROMと、前記第1BMC又は第2BMCを前記第3フラッシュROMに接続する第3スイッチデバイスと、を含み、
前記第2ノードは、第2ストレージコントローラと、第4フラッシュイメージを記憶する第4フラッシュROMと、前記第1BMC又は前記第2BMCを前記第4フラッシュROMに接続する第4スイッチデバイスを含み、前記第4フラッシュイメージは、前記第3フラッシュイメージと同じである、ことを特徴とする請求項7に記載の方法。 - 前記第1フラッシュイメージは、第1BMCファームウェアフラッシュイメージを有し、前記第3フラッシュイメージは、第1ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有し、
前記第2フラッシュイメージは、第2BMCファームウェアフラッシュイメージを有し、前記第4フラッシュイメージは、第2ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有する、ことを特徴とする請求項8に記載の方法。 - 前記第1スイッチデバイス、前記第2スイッチデバイス、前記第3スイッチデバイス及び前記第4スイッチデバイスの各々は、マルチプレクサ(MUX)を備え、前記第1BMC及び前記第2BMCを多重化するように構成されている、ことを特徴とする請求項8に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/294,566 | 2019-03-06 | ||
| US16/294,566 US11461085B2 (en) | 2019-03-06 | 2019-03-06 | Firmware upgrade method in multiple node storage system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020144834A JP2020144834A (ja) | 2020-09-10 |
| JP6850331B2 true JP6850331B2 (ja) | 2021-03-31 |
Family
ID=67262099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019185198A Active JP6850331B2 (ja) | 2019-03-06 | 2019-10-08 | マルチノードストレージシステムにおけるファームウェアアップグレード方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11461085B2 (ja) |
| EP (1) | EP3705999B1 (ja) |
| JP (1) | JP6850331B2 (ja) |
| CN (1) | CN111666111B (ja) |
| TW (1) | TWI724415B (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210216640A1 (en) * | 2020-01-10 | 2021-07-15 | Dell Products L.P. | Systems and methods for hardware root of trust with protected redundant memory for authentication failure scenarios |
| JP7803056B2 (ja) | 2020-08-28 | 2026-01-21 | 東ソー株式会社 | Cha型ゼオライト及びその製造方法 |
| TWI764481B (zh) * | 2020-12-28 | 2022-05-11 | 技嘉科技股份有限公司 | 機箱管理控制裝置以及機箱管理控制系統 |
| CN112783536A (zh) * | 2021-03-15 | 2021-05-11 | 英业达科技有限公司 | 利用基板管理控制器进行固件更新动作的伺服器系统 |
| TWI777664B (zh) | 2021-07-12 | 2022-09-11 | 神雲科技股份有限公司 | 嵌入式系統的開機方法 |
| CN113645067A (zh) * | 2021-08-03 | 2021-11-12 | 加弘科技咨询(上海)有限公司 | 多节点基板管理控制器的网络管理系统及方法 |
| US11809289B2 (en) * | 2021-10-15 | 2023-11-07 | Dell Products L.P. | High-availability (HA) management networks for high performance computing platforms |
| US12045627B2 (en) * | 2022-03-14 | 2024-07-23 | Sony Interactive Entertainment Inc. | Sled level boot management control of compute nodes for context switching using boot controllers |
| US12045623B2 (en) | 2022-03-15 | 2024-07-23 | Quanta Computer Inc. | Systems and methods for memory content sharing between hosts and management controllers |
| US20250173157A1 (en) * | 2022-03-31 | 2025-05-29 | Intel Corporation | Apparatus, Device, Method, and Computer Program for a Computer System |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7809836B2 (en) * | 2004-04-07 | 2010-10-05 | Intel Corporation | System and method for automating bios firmware image recovery using a non-host processor and platform policy to select a donor system |
| US7761734B2 (en) * | 2007-04-13 | 2010-07-20 | International Business Machines Corporation | Automated firmware restoration to a peer programmable hardware device |
| KR101063720B1 (ko) * | 2007-04-13 | 2011-09-07 | 인터내셔널 비지네스 머신즈 코포레이션 | 피어 프로그램 가능 하드웨어 장치에 대한 자동화 펌웨어 복구 |
| CN102662702B (zh) | 2012-03-29 | 2015-08-19 | 华为技术有限公司 | 设备管理系统、装置、基板管理装置及方法 |
| US9280497B2 (en) * | 2012-12-21 | 2016-03-08 | Dell Products Lp | Systems and methods for support of non-volatile memory on a DDR memory channel |
| WO2016068994A1 (en) * | 2014-10-31 | 2016-05-06 | Hewlett Packard Enterprise Development Lp | Combined backup power |
| CN105700970A (zh) * | 2014-11-25 | 2016-06-22 | 英业达科技有限公司 | 服务器系统 |
| CN105718277B (zh) * | 2014-12-05 | 2020-04-10 | 中国长城科技集团股份有限公司 | 一种bios更新的保护方法、装置和系统 |
| TWI547873B (zh) | 2015-02-13 | 2016-09-01 | 營邦企業股份有限公司 | 端點伺服器的控制模組及其韌體更新方法 |
| CN105988844A (zh) | 2015-03-02 | 2016-10-05 | 营邦企业股份有限公司 | 端点服务器的控制模块及其韧体更新方法 |
| US9846617B2 (en) * | 2015-05-07 | 2017-12-19 | Dell Products, Lp | System and method for self-healing basic input/output system boot image and secure recovery |
| CN105302248B (zh) * | 2015-11-13 | 2019-02-26 | 上海兆芯集成电路有限公司 | 芯片组以及服务器系统 |
| CN106201608A (zh) * | 2016-07-01 | 2016-12-07 | 南京百敖软件有限公司 | 计算机uefi固件更新方法 |
| TWI602124B (zh) | 2017-01-20 | 2017-10-11 | 神雲科技股份有限公司 | 用於風扇轉速控制的基板管理控制器韌體更新方法 |
| TWI633487B (zh) * | 2017-05-05 | 2018-08-21 | 神雲科技股份有限公司 | 自動回復基本輸入輸出系統映像檔的方法及電腦系統 |
| TWI655582B (zh) * | 2017-09-12 | 2019-04-01 | 神雲科技股份有限公司 | 具有雙韌體儲存空間之伺服器及其韌體更新方法 |
-
2019
- 2019-03-06 US US16/294,566 patent/US11461085B2/en active Active
- 2019-05-02 TW TW108115186A patent/TWI724415B/zh active
- 2019-05-16 CN CN201910408708.3A patent/CN111666111B/zh active Active
- 2019-07-11 EP EP19185893.5A patent/EP3705999B1/en active Active
- 2019-10-08 JP JP2019185198A patent/JP6850331B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3705999A1 (en) | 2020-09-09 |
| TWI724415B (zh) | 2021-04-11 |
| TW202034165A (zh) | 2020-09-16 |
| US20200285455A1 (en) | 2020-09-10 |
| EP3705999B1 (en) | 2022-04-27 |
| CN111666111B (zh) | 2023-03-24 |
| US11461085B2 (en) | 2022-10-04 |
| JP2020144834A (ja) | 2020-09-10 |
| CN111666111A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6850331B2 (ja) | マルチノードストレージシステムにおけるファームウェアアップグレード方法 | |
| DK3179359T3 (en) | PROCEDURE FOR SENDING DATA, PROCEDURE FOR RECEIVING DATA AND STORAGE UNIT | |
| JP5909264B2 (ja) | セキュア・リカバリ装置及び方法 | |
| JP6064608B2 (ja) | ストレージ装置、バックアッププログラム、およびバックアップ方法 | |
| US8341386B2 (en) | Method for updating basic input/output system and method for repairing thereof | |
| US8204858B2 (en) | Snapshot reset method and apparatus | |
| CN111506454A (zh) | 基本输入/输出系统的恢复及更新的方法及系统 | |
| CN108255410A (zh) | 一种处理磁盘漫游的方法、装置和设备 | |
| JPH1139105A (ja) | 記憶サブシステム内でのドライブ移動及び記憶サブシステムへのボリューム追加のための装置及び方法 | |
| US9846621B1 (en) | Disaster recovery—multiple restore options and automatic management of restored computing devices | |
| CN112732289B (zh) | 一种服务器管理方法和服务器 | |
| WO2014132373A1 (ja) | ストレージシステム及び記憶デバイス障害回復方法 | |
| US7743224B2 (en) | Method and apparatus for virtual load regions in storage system controllers | |
| CN100476731C (zh) | 管理主引导记录的存储介质及用其引导计算机系统的方法 | |
| US20130024726A1 (en) | System and method for removable network attached storage enabling system recovery from backup | |
| US20090037655A1 (en) | System and Method for Data Storage and Backup | |
| US20140229757A1 (en) | Restoring expander operations in a data storage switch | |
| US9471256B2 (en) | Systems and methods for restoring data in a degraded computer system | |
| US8346721B2 (en) | Apparatus and method to replicate remote virtual volumes to local physical volumes | |
| US8856441B2 (en) | Dynamic hard disk mapping method and server using the same | |
| JP2007323657A (ja) | 過渡状態情報を格納するための方法、システムおよびコンピュータ・プログラム | |
| CN100585558C (zh) | 用于提供和恢复数据的方法和装置 | |
| JP2014038551A (ja) | データ記憶装置、データ記憶装置の制御方法、及びデータ記憶装置の制御プログラム | |
| US20200026453A1 (en) | Method and system for dynamically expanding a storage system | |
| CN113625950B (zh) | 一种独立冗余磁盘阵列的初始化方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6850331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |