Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7613022B2 - 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム - Google Patents
[go: Go Back, main page]

JP7613022B2 - 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム - Google Patents

情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7613022B2
JP7613022B2 JP2020130122A JP2020130122A JP7613022B2 JP 7613022 B2 JP7613022 B2 JP 7613022B2 JP 2020130122 A JP2020130122 A JP 2020130122A JP 2020130122 A JP2020130122 A JP 2020130122A JP 7613022 B2 JP7613022 B2 JP 7613022B2
Authority
JP
Japan
Prior art keywords
virtual machine
address
cluster node
information
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020130122A
Other languages
English (en)
Other versions
JP2022026580A (ja
Inventor
洋介 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020130122A priority Critical patent/JP7613022B2/ja
Publication of JP2022026580A publication Critical patent/JP2022026580A/ja
Application granted granted Critical
Publication of JP7613022B2 publication Critical patent/JP7613022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Hardware Redundancy (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラムに関する。
特許文献1には、装置の内部ログが埋め込まれたハートビート信号に基づいて、ログ情報を装置の外部で抽出する技術が開示されている。
国際公開第2016/129275号
特許文献1には、装置の内部ログが埋め込まれたハートビート信号を装置の外部に送信して、ログ情報を装置の外部で抽出させる技術が開示されている。しかし、仮想マシン(Virtual Machine,VM)が動作する装置の内部においてマイグレーションが生じた場合、装置と装置の外部とのルーティングを維持するためには、ログ情報でなく経路情報を外部に送信する必要がある。また、別装置で装置の経路情報を管理すると追加のコストが生じ得る。
本発明の目的は、上述した課題を解決する情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラムを提供することにある。
本発明に係る情報処理装置は、1つ以上の仮想マシンが動作する第1クラスタノードに組み込まれる装置であって、仮想マシンのマイグレーションが生じた場合、仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段を備える。
本発明に係るクラスタノードは、ネットワークと接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシンと、ネットワークアダプタと1つ以上の仮想マシンとの間、またはホストOS機能手段と1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、を備え、パケット転送装置は、仮想マシンのマイグレーションが生じた場合、仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段を有する。
本発明に係るクラスタシステムは、第1クラスタノードと、第2クラスタノードとを含むクラスタシステムであって、第1クラスタノードは、ネットワークと接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシンと、ネットワークアダプタと1つ以上の仮想マシンとの間、またはホストOS機能手段と1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、を備え、パケット転送装置は、仮想マシンのマイグレーションが生じた場合、仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段を有する。
本発明に係る情報処理方法は、1つ以上の仮想マシンが動作する第1クラスタノードにおいて、仮想マシンのマイグレーションが生じた場合、仮想マシンが属するネットワークセグメントの経路情報を外部に送信することを含む。
本発明に係るプログラムは、1つ以上の仮想マシンが動作する第1クラスタノードのコンピュータを、仮想マシンのマイグレーションが生じた場合、仮想マシンが属するネットワークセグメントの経路情報を外部に送信することとして実行させる。
上記態様のうち少なくとも1つの態様によれば、仮想マシンを備える装置にマイグレーションが生じた場合、装置の外部に別装置を設けなくても、マイグレーションに係る経路情報を装置の外部で受信することができる。
一実施形態に係る情報処理システムの構成を示す図である。 一実施形態に係るクラスタノードの構成を示す図である。 一実施形態に係るアドレス情報の一例を示す図である。 一実施形態に係る情報処理システムの動作を示すフローチャートである。 一実施形態に係る情報処理システムの動作を示すフローチャートである。 基本構成に係る情報処理装置の構成を示す図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈第1の実施形態〉
《情報処理システムの構成》
以下、第1の実施形態に係る情報処理システム1の構成について説明する。
図1は、第1の実施形態に係る情報処理システム1の構成を示す図である。情報処理システム1は、クライアントマシン101と、ネットワーク102と、クラスタノード10を備える。
情報処理システム1は、複数のクラスタノード10を連携して1つのシステムとして運用される。情報処理システム1は、クラスタシステムの一例である。第1の実施形態において、情報処理システム1は高可用性(High Availability,HA)クラスタシステムである。HAクラスタシステムの詳細について以下にて説明する。
<HAクラスタシステム>
HAクラスタシステムとは、複数のクラスタノードをお互い接続させて、複数のクラスタノード10を1つのシステムのように振る舞わせるシステムである。HAクラスタシステムは、クラスタノード10を複数台使用してシステムを冗長化する。これにより、HAクラスタシステムはHAクラスタシステムの障害時におけるシステムの停止時間を最小限に抑え、HAクラスタシステムにより稼働する業務の可用性を向上させる。ここで、上記障害の例としては、クラスタノードの障害と、クラスタノードを接続させるネットワークの障害が挙げられる。HAクラスタシステムにおいて、クラスタノードは役割により現用系と待機系と称される。現用系とは、業務アプリケーションが起動しているクラスタノードをいう。待機系とは、現用系に障害が生じた場合に、現用系の業務アプリケーションを切り替えるための予備のクラスタノードをいう。上記業務アプリケーションは、クラスタノードで動作する仮想マシンの上で起動する。
上記マイグレーションの例としては、クイックマイグレーション(または、コールドマイグレーションともいう)と、ライブマイグレーションとが挙げられる。クイックマイグレーションとは、HAクラスタシステムの障害が検出された場合、現用系で動作する仮想マシンを一時停止させて、仮想マシンを待機系に移動させた後、仮想マシンを再動作させることをいう。他方、ライブマイグレーションとは、HAクラスタシステムの障害が検出された場合、現用系で動作する仮想マシンを動作させたまま、仮想マシンを待機系に移動させることをいう。第1の実施形態における情報処理システム1のマイグレーションはクイックマイグレーションをいう。
HAクラスタシステムの運用形態の例としては、片方向スタンバイと、双方向スタンバイとが挙げられる。片方向スタンバイとは、各クラスタノードが現用系と待機系のうち、何れか一方のみとして運用される運用形態である。他方、双方向スタンバイとは、各クラスタノードが、起動する業務アプリケーションにより、現用系及び待機系として運用される運用形態である。
HAクラスタシステムは、予め設定された時間ごとに、各クラスタノードに障害が生じているかいなかを判定するために、信号(以下、ハートビート信号と称する)を送る。例えば、クラスタノードの電源が遮断された場合、ハートビート信号で当該クラスタノードの障害が判定されると、マイグレーションが行われる。
<クライアントマシンとネットワーク>
以下、クライアントマシン101と、ネットワーク102について説明する。
クライアントマシン101は、ネットワーク102を介して複数のクラスタノード10と接続し、クラスタノード10で動作する仮想マシンで起動する業務アプリケーションを利用する。図1において、1つのクライアントマシン101が表されているが、情報処理システム1は、複数のクライアントマシン101を備えても良い。
ネットワーク102は、有線又は無線でクライアントマシン101とクラスタノード10を接続させる。
<クラスタノード>
以下、クラスタノード10の構成について説明する。
図1において、情報処理システム1はクラスタノード10Aと、クラスタノード10Bとを備える。情報処理システム1は、3つ以上のクラスタノード10を備えても良い。クラスタノード10Aは、第1クラスタノードの一例である。クラスタノード10Bは、第2クラスタノードの一例である。
クラスタノード10は、1つ以上の仮想マシン116を動作させる。クラスタノード10の詳細な構成について以下にて説明する。
図2はクラスタノード10の構成を示す図である。
クラスタノード10は、ホストOS(Operating System)111と、仮想ポート112と、物理NIC(Network Interface Card)113と、パケット転送装置114と、仮想スイッチ115と、仮想マシン116を備える。ここで、仮想ポート112と、仮想スイッチ115と、仮想マシン116は、物理装置でなく、クラスタノード10が備える記憶装置(図示しない)に記録される仮想化ソフトウェア(図示しない)により実現される。また、ホストOS111は、物理装置でなく、クラスタノード10の記憶装置に記録されるソフトウェアである。
仮想ポート112は、データを送信し、データを受信するインタフェースである。図2に示すように、仮想ポート112により、クラスタノード10が備えるハードウェア及びソフトウェアの間でデータの送信とデータの受信が可能になる。各仮想ポート112には、IP(Internet Protocol)アドレスが割り当てられている。
仮想ポート112Bは仮想ポート112Aと接続する。仮想ポート112Bは、仮想ポート112Aをデフォルトゲートウェイとする。仮想ポート112Aは、物理NIC113Aと接続する。仮想ポート112Aは、ネットワーク102に接続する何れかの装置をデフォルトゲートウェイとする。仮想ポート112Cは仮想スイッチ115Aと接続する。仮想ポート112Dは仮想スイッチ115Bと接続する。仮想スイッチ115と接続する仮想ポート112の数は一例である。パケット転送装置114は、仮想スイッチ115の数に対応する仮想ポート112の数と接続する。
物理NIC113は、クラスタノード10とネットワーク102とを接続させる装置である。クラスタノード10は、他のクラスタノード10又はクライアントマシン101と、物理NIC113を介してデータを送信し、データを受信できる。物理NIC113は、ネットワークアダプタの一例である。クラスタノード10A及びクラスタノード10Bは、それぞれ1つの物理NIC113を備える。物理NICは仮想ポート112と接続する。
仮想スイッチ115は、データの通信状態及びデータの経路を制御する。例えば、仮想スイッチ115Aは、パケット転送装置114Aからデータを受信して、仮想マシン116A又は仮想マシン116Bへデータを送信する。また、仮想スイッチ115Aは、仮想マシン116A又は仮想マシン116Bから受信したデータをパケット転送装置114Bに送信する。
各クラスタノード10は、2つの仮想スイッチ115を有する。クラスタノード10は、3つ以上の仮想スイッチ115を有しても良い。クラスタノード10は、仮想マシン116が属するネットワークセグメント131の数と同数の仮想スイッチ115を有する。図2に示す仮想スイッチ115の数は一例である。
仮想マシン116は、クラスタノード10の物理マシン上において動作する仮想のコンピュータである。仮想マシン116上で、基本ソフトウェアが動作する。また、仮想マシン116で動作する基本ソフトウェア上で、業務アプリケーションが起動する。
仮想マシン116A及び仮想マシン116Bは、仮想スイッチ115Aと接続する。仮想マシン116A及び仮想マシン116Bは、仮想ポート112Cをデフォルトゲートウェイとする。また、仮想マシン116Cは、仮想スイッチ115Bと接続する。仮想マシン116Cは、仮想ポート112Dをデフォルトゲートウェイとする。なお、図1及び図2に示す仮想マシン116の数は一例である。
<ホストOS>
以下、ホストOS111について詳細に説明する。
ホストOS111は、クラスタノード10の全体を管理し、クラスタノード10の仮想化ソフト及びクロスプラットフォーム141を動作させる基本ソフトウェアである。ホストOS111は、ホストOS機能手段の一例である。
クロスプラットフォーム141は、ホストOS111と仕様の異なる環境で動作するクラスタ情報提供部142及びVM監視部143を動作させるソフトウェアである。クラスタ情報提供部142及びVM監視部143が動作する仕様と、ホストOS111の仕様が同様である場合、クラスタノード10はクロスプラットフォーム141を動作させなくもて良い。
クロスプラットフォーム141上において、クラスタ情報提供部142と、VM監視部143が動作する。
クラスタ情報提供部142は、仮想マシン116のIPアドレスと、仮想マシン116が動作しているクラスタノード10のIPアドレスを取得する。また、クラスタ情報提供部142は、VM監視部143から仮想マシン116の情報を受信した場合、仮想マシン116のIPアドレスと、マイグレーションに係るクラスタノード10のIPアドレスを、パケット転送装置114に送信する。
例えば、仮想マシン116にマイグレーションが生じた場合、クラスタ情報提供部142はVM監視部143から仮想マシン116の情報を受信する。クラスタ情報提供部142はマイグレーションにより新たにクラスタノード10に接続された仮想マシン116のIPアドレスと、クラスタノード10のIPアドレスを取得する。クラスタ情報提供部142は、取得した仮想マシン116のIPアドレス及びクラスタノード10のIPアドレスを、パケット転送装置114に送信する。
VM監視部143は、仮想マシン116に障害が発生しているか否かを判定する。仮想マシン116に障害が発生していると判定された場合、VM監視部143はマイグレーションを実行させる。マイグレーションの詳細な動作については後述する。また、VM監視部143はマイグレーションが生じたか否かを判定する。VM監視部143は判定手段の一例である。また、VM監視部143はマイグレーションが生じた場合、マイグレーションに係る仮想マシン116の情報をクラスタ情報提供部142に送信する。
物理NIC113Aはネットワークセグメント131Aに属する。物理NIC113Bはネットワークセグメント131Bに属する。仮想スイッチ115A、仮想マシン116A、仮想マシン116B、仮想マシン116C、仮想スイッチ115C及び仮想マシン116Dは、ネットワークセグメント131Cに属する。仮想スイッチ115B、仮想マシン116C及び仮想スイッチ115Dは、ネットワークセグメント131Dに属する。
<マイグレーション>
以下、情報処理装置のマイグレーションについて説明する。
仮想マシン116C上の業務アプリケーションが起動しているとする。この場合、仮想マシン116Cが動作するクラスタノード10Aは現用系である。VM監視部143Aは仮想マシン116Cの障害を検出する。その後、VM監視部143Aは、仮想マシン116Cのマイグレーションを実行する。仮想マシン116Cのマイグレーションは以下のように実行される。仮想マシン116Cは、仮想マシン116Cが属するネットワークセグメント131Dの仮想スイッチ115のうち、他のクラスタノード10B(待機系)で動作する仮想スイッチ115Dに接続される。すなわち、マイグレーションの後、仮想マシン116Cは仮想スイッチ115Dに接続される。
<パケット転送装置>
以下、パケット転送装置114について詳細に説明する。
パケット転送装置114は、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信する。パケット転送装置114は、物理NIC113と仮想マシン116と間でパケットを転送する。パケット転送装置114は、ホストOS111と仮想マシン116と間でパケットを転送する。パケット転送装置114は、情報処理装置の一例である。パケット転送装置114は、ルーティング部121と、経路情報送信部122と、VM起動ノード記憶部123と、ヘッダ書換部124を備える。
ルーティング部121は、VM起動ノード記憶部123に記憶されたアドレス情報に基づき、パケットの転送先を決定する。また、ルーティング部121は、決定した転送先にパケットを転送する。ルーティング部121は、転送手段の一例である。アドレス情報とは、仮想マシン116のIPアドレスとパケット転送装置114のIPアドレスとを関連付けた情報である。IPアドレスの詳細については、後述する。
例えば、ルーティング部121Aは、パケット転送装置114Aと接続する仮想ポート112A、仮想ポート112C及び仮想ポート112Dの何れかから受け取ったパケットを適切な仮想ポート112(転送先)に向けて転送する。
経路情報送信部122は、VM起動ノード記憶部123に記憶されたアドレス情報に基づいて、仮想マシン116が属するネットワークセグメント131の経路情報を生成する。また、経路情報送信部122は、VM監視部143によりマイグレーションが生じたと判定された場合、生成された経路情報を外部に送信する。経路情報送信部122は、送信手段の一例である。経路情報送信部122は、経路情報の送信に動的ルーティングアルゴリズムを用いる。
例えば、経路情報送信部122Aは、仮想マシン116A、仮想マシン116B及び仮想マシンCが属するネットワークセグメント131の経路情報を外部に送信する。すなわち、経路情報送信部122Aは、ネットワークセグメント131A及びネットワークセグメント131Bの経路情報を外部に送信する。外部に送信された経路情報はネットワーク102内のルータ(図示しない)やスイッチ(図示しない)に記録される。これにより、ネットワーク102内の機器はネットワークセグメント131に属する仮想マシン116と通信可能になる。
VM起動ノード記憶部123は、クラスタ情報提供部142から仮想マシン116のIPアドレス及びパケット転送装置114のIPアドレスを受信して、アドレス情報を記憶する。VM起動ノード記憶部123は記憶手段の一例である。
図3は、アドレス情報の一例を示す図である。例えば、仮想マシン116A、仮想マシン116B及び仮想マシン116CのIPアドレスと、パケット転送装置114AのIPアドレスは関連付けられてアドレス情報として記憶される。また、仮想マシン116DのIPアドレスとパケット転送装置114BのIPアドレスは関連付けられてアドレス情報として記憶される。図3に示すように、アドレス情報は、クラスタノード10Aとは異なるクラスタノード10Bで動作する仮想マシン116DのIPアドレスも含む。
例えば、クラスタノード10Aにマイグレーションが生じた場合、クラスタ情報提供部142Aはマイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10AのIPアドレスを、パケット転送装置114Aに送信する。上記マイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10AのIPアドレスは、第1情報の一例である。VM起動ノード記憶部123Aはマイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10AのIPアドレスを受信して、アドレス情報を更新する。例えば、クラスタノード10Bにマイグレーションが生じた場合、クラスタ情報提供部142Bはマイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10BのIPアドレスを、パケット転送装置114Bに送信する。上記マイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10BのIPアドレスは、第2情報の一例である。VM起動ノード記憶部123Aはマイグレーションに係る仮想マシン116のIPアドレス及びクラスタノード10BのIPアドレスを受信して、アドレス情報を更新する。
ヘッダ書換部124は、物理NIC113と接続される仮想ポート112のIPアドレスを宛先とするパケットをルーティング部121が受信した場合、VM起動ノード記憶部123に記憶されたアドレス情報に基づき、新たなIPヘッダを作成し受信したパケットをカプセル化する。上記他のクラスタノード10とは、ヘッダ書換部124が動作しているクラスタノード10ではないクラスタノード10をいう。ヘッダ書換部124は、書換手段の一例である。
この場合、宛先IPアドレスは他のクラスタノード10で動作するパケット転送装置114となる。また、送信元IPアドレスはヘッダ書換部124が動作しているパケット転送装置114となる。また、ヘッダ書換部124は、宛先MACアドレスをネットワーク102のゲートウェイのMACアドレスに書き換える。また、ヘッダ書換部124は、送信元MACアドレスを仮想ポート112AのMACアドレスに書き換える。ルーティング部121は、ヘッダ書換部124により書き換えられたアドレスに係るパケットを転送する。ルーティング部121は、ARP(Address Resolution Protocol)の機能を有しており、ARPを用いてMACアドレスを取得する。
また、ヘッダ書換部124は、自クラスタノード10で動作するパケット転送装置114を宛先とするパケットをルーティング部121が受信した場合、パケットを非カプセル化する。ルーティング部121は、非カプセル化されたパケットを対応する仮想ポート112から転送する。上記自クラスタノード10とは、ヘッダ書換部124が動作しているクラスタノード10をいう。
<マイグレーションに係る情報処理システムの動作>
以下、マイグレーションに係る情報処理システム1の動作について説明する。
図4は、マイグレーションに係る情報処理システム1の動作を示すフローチャートである。
VM監視部143は、仮想マシン116の障害を検出する(ステップS1)。
VM監視部143は、仮想マシン116のマイグレーションを実行する(ステップS2)。マイグレーションを失敗した場合、再度ステップS1からの動作又はステップS2の動作が行われる。
VM監視部143は、ステップS2のマイグレーションに係る仮想マシン116の情報をクラスタ情報提供部142に送信する(ステップS3)。
クラスタ情報提供部142は、ステップS2のマイグレーションに係る仮想マシン116のIPアドレスと、クラスタノード10のIPアドレスを、パケット転送装置114に送信する(ステップS4)。
VM起動ノード記憶部123は、ステップS4で送信された仮想マシン116のIPアドレス及びパケット転送装置114のIPアドレスを受信して、アドレス情報を更新する(ステップS5)。
パケット転送装置114は、ステップS2のマイグレーションにより、仮想マシン116が新たなネットワークセグメント131に属することになったか否かを判定する(ステップS6)。
仮想マシン116が新たなネットワークセグメント131に属することになっていない場合(ステップS6:NO)、マイグレーションに係る情報処理システム1の動作は終了する。
他方、仮想マシン116が新たなネットワークセグメント131に属することになった場合(ステップS6:YES)、経路情報送信部122は経路情報を外部に送信する(ステップS7)。ここで、経路情報送信部122は、ステップS2のマイグレーションにより、ネットワークセグメント131に仮想マシン116が1台も属しないことになった場合、当該ネットワークセグメント131にかかる経路情報の送信を行わない。
<パケットの受信に係る情報処理システムの動作>
以下、パケットの受信に係る情報処理システム1の動作について説明する。
図5は、パケットの受信に係る情報処理システム1の動作を示すフローチャートである。
パケット転送装置114はパケットを受信する(ステップS11)。
パケット転送装置114はパケットに係るIPヘッダを読み取って、宛先IPアドレスが自クラスタノード10にかかるパケット転送装置114のIPアドレスであり、且つ送信元IPアドレスが他のクラスタノード10にかかるパケット転送装置114のIPアドレスであるか否かを判定する(ステップS12)。
宛先IPアドレスが自クラスタノード10にかかるパケット転送装置114のIPアドレスであり、且つ送信元IPアドレスが他のクラスタノード10にかかるパケット転送装置114のIPアドレスである場合(ステップS12:YES)、ヘッダ書換部124は、パケットを非カプセル化する(ステップS13)。その後、パケット転送装置114は、VM起動ノード記憶部123が記憶しているアドレス情報を読み取る(ステップS14)。
他方、宛先IPアドレスが自クラスタノード10にかかるパケット転送装置114のIPアドレスでないか、又は送信元IPアドレスが他のクラスタノード10にかかるパケット転送装置114のIPアドレスでない場合(ステップS12:NO)、パケット転送装置114は、VM起動ノード記憶部123が記憶しているアドレス情報を読み取る(ステップS14)。
パケット転送装置114は、ステップS14で読み取ったアドレス情報と、ステップS12で読み取ったIPヘッダを照らし合わせて、宛先IPアドレスが他のクラスタノード10にかかるものであるか否かを判定する(ステップS15)。
宛先IPアドレスが他のクラスタノード10にかかるものでない場合(ステップS15:NO)、ルーティング部121は、パケットを仮想ポート112から転送する(ステップS16)。
他方、宛先IPアドレスが他のクラスタノード10にかかるものである場合(ステップS15:YES)、ヘッダ書換部124は、パケットをカプセル化する(ステップS17)。その後、パケット転送装置114はパケットを外部のネットワーク102に転送する(ステップS18)。
《作用・効果》
本発明に係る情報処理装置は、1つ以上の仮想マシン116が動作する第1クラスタノードに組み込まれる装置であって、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信する送信手段を備える。
情報処理装置は、マイグレーションが生じた場合、経路情報を外部に送信する送信手段を備える。このため、情報処理装置は、クラスタノード10の外部のスイッチがVLAN(Virtual Local Area Network)などの仮想ネットワークに非対応の場合でも、仮想マシンを保護対象とするHAクラスタシステムを構築することができる。また、情報処理装置を備えるクラスタノード10は、外部のネットワークのルーティングを自クラスタノード10のみで動的に変更できる。また、クラスタノード10の外部に仮想ネットワークを構築できない環境でマイグレーションを実行する場合、ネットワークセグメント131に属する全ての仮想マシン116のマイグレーションを実行しなくても良い。そのため、情報処理装置は、マイグレーションに係る時間を短縮することができる。また、仮想ネットワークを構築するためのコストを削減することができ、仮想ネットワークを管理するための管理コストや、管理の際に生じるコミュニケーションコストを削減できる。
また、情報処理装置の第1クラスタノードは、マイグレーションが生じたか否かを判定する判定手段を備え、送信手段は、判定手段によりマイグレーションが生じたと判定された場合、経路情報を外部に送信する。
情報処理装置は、判定手段の判定に基づいて経路情報を外部に送信する。これにより、情報処理装置は、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
また、情報処理装置は、仮想マシン116のIPアドレスと情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶する記憶手段をさらに備え、送信手段は、記憶手段に記憶されたアドレス情報に基づいて経路情報を生成し、生成した経路情報を外部に送信する。
情報処理装置は、アドレス情報に基づいて経路情報を生成して、生成した経路情報を送信する。これにより、情報処理装置は、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
また、情報処理装置の記憶手段は、マイグレーションが生じた場合、第1クラスタノードに含まれる別装置から受信する第1情報に基づき、アドレス情報を更新する。
情報処理装置は、更新されたアドレス情報に基づいて、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
また、情報処理装置のアドレス情報は、第1クラスタノードとは異なる第2クラスタノードで動作する仮想マシン116のIPアドレスを含み、記憶手段は、第2クラスタノードから受信する第2情報に基づき、アドレス情報を更新する。
情報処理装置は、第2クラスタノードに係るアドレス情報に基づいて、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
また、情報処理装置は、記憶手段に記憶されたアドレス情報に基づき、パケットの転送先を決定する転送手段をさらに備える。
情報処理装置は、アドレス情報に基づいてパケットの転送先を決定する。これにより、情報処理装置は、アドレス情報に基づいて決定された転送先を用いて、パケットの転送を行うことができる。
本発明に係るクラスタノード10は、ネットワーク102と接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシン116と、ネットワークアダプタと1つ以上の仮想マシン116との間、またはホストOS機能手段と1つ以上の仮想マシン116との間でパケットを転送するパケット転送装置114と、を備え、パケット転送装置114は、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信する送信手段を有する。
クラスタノード10は、ネットワークセグメント131の経路情報を外部に送信することにより、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
本発明に係るクラスタシステムは、第1クラスタノードと、第2クラスタノードとを含むクラスタシステムであって、第1クラスタノードは、ネットワーク102と接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシン116と、ネットワークアダプタと1つ以上の仮想マシン116との間、またはホストOS機能手段と1つ以上の仮想マシン116との間でパケットを転送するパケット転送装置114と、を備え、パケット転送装置114は、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信する送信手段を有する。
クラスタシステムは、ネットワークセグメント131の経路情報をネットワーク102などに送信することにより、仮想ネットワークを備えなくても、ネットワークのルーティングを動的に変更できる。
本発明に係る情報処理方法は、1つ以上の仮想マシン116が動作する第1クラスタノードにおいて、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信すること、を含む。
情報処理方法のユーザは、情報処理方法を用いると、ネットワークセグメント131の経路情報を外部に送信することにより、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
1つ以上の仮想マシン116が動作する第1クラスタノードのコンピュータを、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信すること、として実行させる。
プログラムのユーザは、プログラムを実行させると、ネットワークセグメント131の経路情報を外部に送信することにより、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
《他の実施形態》
上記、第1の実施形態に係る情報処理装置を説明してきた。情報処理装置は、以下のような態様の形態においても実施できる。
第1の実施形態において、マイグレーションはクラスタノード10の間で行われた。しかし、情報処理装置におけるマイグレーションは、同一の物理マシン上で、同一IPアドレスに係るものであっても良い。この場合、マイグレーションは同一の物理マシン上で、異なるネットワークセグメント131に移行させることにより実行される。
〈基本構成〉
以下、基本構成に係る情報処理装置について説明する。
図6は、基本構成に係る情報処理装置の構成を示す図である。図6に示すように、基本構成に係る情報処理装置は、ルーティング部121を備える。
《作用・効果》
基本構成に係る情報処理装置は、1つ以上の仮想マシン116が動作する第1クラスタノードに組み込まれる装置であって、仮想マシン116のマイグレーションが生じた場合、仮想マシン116が属するネットワークセグメント131の経路情報を外部に送信する送信手段を備える。
これにより、情報処理装置は、外部に仮想ネットワークを構築しなくても、ネットワークのルーティングを動的に変更できる。
〈コンピュータ構成〉
図7は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ1100は、プロセッサ1110、メインメモリ1120、ストレージ1130、インタフェース1140を備える。
上述のクライアントマシン101及びクラスタノード10は、コンピュータ1100に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ1130に記憶されている。プロセッサ1110は、プログラムをストレージ1130から読み出してメインメモリ1120に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ1110は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ1120に確保する。
プログラムは、コンピュータ1100に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ1130に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ1100は、上記構成に加えて、または上記構成に代えてPLD(Programmable Logic Device)などのカスタムLSI(Large Scale Integrated Circuit)を備えてもよい。PLDの例としては、PAL(Programmable Array Logic)、GAL(Generic Array Logic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array)が挙げられる。この場合、プロセッサ1110によって実現される機能の一部または全部が当該集積回路によって実現されてよい。
ストレージ1130の例としては、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ1130は、コンピュータ1100のバスに直接接続された内部メディアであってもよいし、インタフェース1140または通信回線を介してコンピュータに接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ1100に配信される場合、配信を受けたコンピュータ1100が当該プログラムをメインメモリ1120に展開し、上記処理を実行してもよい。少なくとも1つの実施形態において、ストレージ1130は、一時的でない有形の記憶媒体である。
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ1130に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)1つ以上の仮想マシンが動作する第1クラスタノードに組み込まれる装置であって、前記仮想マシンのマイグレーションが生じた場合、前記仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段、を備える情報処理装置。
(付記2)前記第1クラスタノードは、前記マイグレーションが生じたか否かを判定する判定手段を備え、前記送信手段は、前記判定手段により前記マイグレーションが生じたと判定された場合、前記経路情報を外部に送信する、付記1に記載の情報処理装置。
(付記3)前記仮想マシンのIPアドレスと前記情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶する記憶手段をさらに備え、前記送信手段は、前記記憶手段に記憶された前記アドレス情報に基づいて前記経路情報を生成し、生成した前記経路情報を外部に送信する、付記1又は付記2に記載の情報処理装置。
(付記4)前記記憶手段は、前記マイグレーションが生じた場合、前記第1クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新する、付記3に記載の情報処理装置。
(付記5)前記アドレス情報は、前記第1クラスタノードとは異なる第2クラスタノードで動作する仮想マシンのIPアドレスを含み、前記記憶手段は、前記第2クラスタノードから受信する第2情報に基づき、前記アドレス情報を更新する、付記3又は付記4に記載の情報処理装置。
(付記6)前記記憶手段に記憶された前記アドレス情報に基づき、パケットの転送先を決定する転送手段をさらに備える、付記3から付記5のうちいずれかの付記に記載の情報処理装置。
(付記7)前記第1クラスタノードとは異なる第2クラスタノードで動作する仮想マシンを宛先とするパケットを前記転送手段が受信した場合、前記記憶手段に記憶された前記アドレス情報に基づき、前記パケットのヘッダのIPアドレスを書き換える書換手段をさらに備える、付記6に記載の情報処理装置。
(付記8)ネットワークと接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシンと、前記ネットワークアダプタと前記1つ以上の仮想マシンとの間、または前記ホストOS機能手段と前記1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、を備え、前記パケット転送装置は、前記仮想マシンのマイグレーションが生じた場合、前記仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段を有する、クラスタノード。
(付記9)第1クラスタノードと、第2クラスタノードとを含むクラスタシステムであって、前記第1クラスタノードは、ネットワークと接続されるネットワークアダプタと、ホストOS機能手段と、1つ以上の仮想マシンと、前記ネットワークアダプタと前記1つ以上の仮想マシンとの間、または前記ホストOS機能手段と前記1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、を備え、前記パケット転送装置は、前記仮想マシンのマイグレーションが生じた場合、前記仮想マシンが属するネットワークセグメントの経路情報を外部に送信する送信手段を有する、クラスタシステム。
(付記10)1つ以上の仮想マシンが動作する第1クラスタノードにおいて、前記仮想マシンのマイグレーションが生じた場合、前記仮想マシンが属するネットワークセグメントの経路情報を外部に送信すること、を含む情報処理方法。
(付記11)1つ以上の仮想マシンが動作する第1クラスタノードのコンピュータを、前記仮想マシンのマイグレーションが生じた場合、前記仮想マシンが属するネットワークセグメントの経路情報を外部に送信すること、として実行させるプログラム。
1 情報処理システム
10 クラスタノード
101 クライアントマシン
102 ネットワーク
111 ホストOS
112 仮想ポート
113 物理NIC
114 パケット転送装置
115 仮想スイッチ
116 仮想マシン
121 ルーティング部
122 経路情報送信部
123 VM起動ノード記憶部
124 ヘッダ書換部
131 ネットワークセグメント
141 クロスプラットフォーム
142 クラスタ情報提供部
143 VM監視部
1100 コンピュータ
1110 プロセッサ
1120 メインメモリ
1130 ストレージ
1140 インタフェース

Claims (8)

  1. 1つ以上の仮想マシンが動作する第1クラスタノードに組み込まれる情報処理装置であって、
    前記仮想マシンのIPアドレスと前記情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶する記憶手段と、
    前記仮想マシンのマイグレーションが生じたことにより、前記仮想マシンが新たなネットワークセグメントに属することになったか否かを判定する判定手段と、
    前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになった場合、前記仮想マシンが属するネットワークセグメントの経路情報を動的ルーティングアルゴリズムを用いて生成し、外部に送信する送信手段と、を備え、
    前記記憶手段は、前記マイグレーションが生じた場合、前記第1クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新し、
    前記送信手段は、前記判定手段により前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになったと判定された場合、前記経路情報を外部に送信する、
    情報処理装置。
  2. 前記送信手段は、前記記憶手段に記憶された前記アドレス情報に基づいて前記経路情報を生成し、生成した前記経路情報を外部に送信する、
    請求項に記載の情報処理装置。
  3. 前記アドレス情報は、前記第1クラスタノードとは異なる第2クラスタノードで動作する仮想マシンのIPアドレスを含み、
    前記記憶手段は、前記第2クラスタノードから受信する第2情報に基づき、前記アドレス情報を更新する、
    請求項1または2に記載の情報処理装置。
  4. 前記記憶手段に記憶された前記アドレス情報に基づき、パケットの転送先を決定する転送手段をさらに備える、
    請求項2または3に記載の情報処理装置。
  5. ネットワークと接続されるネットワークアダプタと、
    ホストOS機能手段と、
    1つ以上の仮想マシンと、
    前記ネットワークアダプタと前記1つ以上の仮想マシンとの間、または前記ホストOS機能手段と前記1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、
    を備え、
    前記仮想マシンのIPアドレスとクラスタノードに組み込まれる情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶する記憶手段と、
    前記仮想マシンのマイグレーションが生じたことにより、前記仮想マシンが新たなネットワークセグメントに属することになったか否かを判定する判定手段と、
    前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになった場合、前記パケット転送装置は、前記仮想マシンが属するネットワークセグメントの経路情報を動的ルーティングアルゴリズムを用いて生成し、外部に送信する送信手段とを有し、
    前記記憶手段は、前記マイグレーションが生じた場合、前記クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新し、
    前記送信手段は、前記判定手段により前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになったと判定された場合、前記経路情報を外部に送信する、
    クラスタノード。
  6. 第1クラスタノードと、第2クラスタノードとを含むクラスタシステムであって、
    前記第1クラスタノードは、
    ネットワークと接続されるネットワークアダプタと、
    ホストOS機能手段と、
    1つ以上の仮想マシンと、
    前記ネットワークアダプタと前記1つ以上の仮想マシンとの間、または前記ホストOS機能手段と前記1つ以上の仮想マシンとの間でパケットを転送するパケット転送装置と、
    を備え、
    前記仮想マシンのIPアドレスと前記第1クラスタノードに組み込まれる情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶する記憶手段と、
    前記仮想マシンのマイグレーションが生じたことにより、前記仮想マシンが新たなネットワークセグメントに属することになったか否かを判定する判定手段と、
    前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになった場合、前記パケット転送装置は、前記仮想マシンが属するネットワークセグメントの経路情報を動的ルーティングアルゴリズムを用いて生成し、外部に送信する送信手段とを有し、
    前記記憶手段は、前記マイグレーションが生じた場合、前記第1クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新し、
    前記送信手段は、前記判定手段により前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになったと判定された場合、前記経路情報を外部に送信する、
    クラスタシステム。
  7. 1つ以上の仮想マシンが動作する第1クラスタノードにおいて、
    前記仮想マシンのIPアドレスと前記第1クラスタノードに組み込まれる情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶することと、
    前記仮想マシンのマイグレーションが生じたことにより、前記仮想マシンが新たなネットワークセグメントに属することになったか否かを判定することと、
    前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになった場合、前記仮想マシンが属するネットワークセグメントの経路情報を動的ルーティングアルゴリズムを用いて生成し、外部に送信することと、を含み、
    前記記憶することは、前記マイグレーションが生じた場合、前記第1クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新し、
    前記送信することは、前記判定することにより前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになったと判定された場合、前記経路情報を外部に送信する、
    情報処理方法。
  8. 1つ以上の仮想マシンが動作する第1クラスタノードのコンピュータを、
    前記仮想マシンのIPアドレスと前記第1クラスタノードに組み込まれる情報処理装置のIPアドレスとを関連付けたアドレス情報を記憶することと、
    前記仮想マシンのマイグレーションが生じたことにより、前記仮想マシンが新たなネットワークセグメントに属することになったか否かを判定することと、
    前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになった場合、前記仮想マシンが属するネットワークセグメントの経路情報を動的ルーティングアルゴリズムを用いて生成し、外部に送信することと、して実行させ、
    前記記憶することは、前記マイグレーションが生じた場合、前記第1クラスタノードに含まれる別装置から受信する第1情報に基づき、前記アドレス情報を更新し、
    前記送信することは、前記判定することにより前記マイグレーションが生じ、前記仮想マシンが前記新たなネットワークセグメントに属することになったと判定された場合、前記経路情報を外部に送信する、
    プログラム。
JP2020130122A 2020-07-31 2020-07-31 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム Active JP7613022B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020130122A JP7613022B2 (ja) 2020-07-31 2020-07-31 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020130122A JP7613022B2 (ja) 2020-07-31 2020-07-31 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022026580A JP2022026580A (ja) 2022-02-10
JP7613022B2 true JP7613022B2 (ja) 2025-01-15

Family

ID=80264186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020130122A Active JP7613022B2 (ja) 2020-07-31 2020-07-31 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7613022B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025177571A1 (ja) * 2024-02-22 2025-08-28 Ntt株式会社 通信装置、及び通信システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198299A (ja) 2010-03-23 2011-10-06 Fujitsu Ltd プログラム、コンピュータ、通信装置および通信制御システム
JP2015153409A (ja) 2014-02-19 2015-08-24 富士通株式会社 情報処理システム、移動制御方法および移動制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5972838B2 (ja) * 2013-06-24 2016-08-17 日本電信電話株式会社 管理装置、通信システム、管理方法、および、管理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198299A (ja) 2010-03-23 2011-10-06 Fujitsu Ltd プログラム、コンピュータ、通信装置および通信制御システム
JP2015153409A (ja) 2014-02-19 2015-08-24 富士通株式会社 情報処理システム、移動制御方法および移動制御プログラム

Also Published As

Publication number Publication date
JP2022026580A (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
US12126533B2 (en) Packet transmission method, proxy node, and storage medium
US6751191B1 (en) Load sharing and redundancy scheme
CN107846342B (zh) 一种vxlan报文的转发方法、设备及系统
AU2004306913B2 (en) Redundant routing capabilities for a network node cluster
JP6512990B2 (ja) 転送装置及び転送システム
US10038629B2 (en) Virtual machine migration using label based underlay network forwarding
US7864666B2 (en) Communication control apparatus, method and program thereof
JP4231773B2 (ja) Vrの機密性を維持したvrrp技術
US9634887B2 (en) System, method and computer-readable medium for using a plurality of virtual machines
US11750496B2 (en) Method for multi-cloud interconnection and device
US20170359198A1 (en) Non-transitory computer-readable storage medium, communication control method, and communication control device
CN110062057A (zh) 为热备系统处理报文的代理网关及通信方法
US20210014166A1 (en) Data traffic processing method, device, and system
CN108540386B (zh) 一种防止业务流中断方法及装置
CN108833272B (zh) 一种路由管理方法和装置
JP7613022B2 (ja) 情報処理装置、クラスタノード、クラスタシステム、情報処理方法及びプログラム
JP2019530267A (ja) 通信装置、システム、ロールバック方法及びプログラム
US20210226839A1 (en) Mac-sync based mechanism for bridge port failover
JP2014023137A (ja) 通信システム、経路制御装置、ユーザ端末および経路制御方法
US9819594B2 (en) Information processing system and controlling method and controlling device for the same
JP2018019232A (ja) パケット伝送装置、及び、経路切替制御方法
JP6693141B2 (ja) パケット転送装置、パケット転送方法、および、プログラム
JP2017022579A (ja) 通信システム、通信ノード、および通信システムにおける代替処理方法
CN120358136A (zh) 流量传输方法及装置、租户网关
JP4728435B2 (ja) インターネットワーク装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20240408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241209

R150 Certificate of patent or registration of utility model

Ref document number: 7613022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150