JP7112359B2 - Server equipment - Google Patents
Server equipment Download PDFInfo
- Publication number
- JP7112359B2 JP7112359B2 JP2019041769A JP2019041769A JP7112359B2 JP 7112359 B2 JP7112359 B2 JP 7112359B2 JP 2019041769 A JP2019041769 A JP 2019041769A JP 2019041769 A JP2019041769 A JP 2019041769A JP 7112359 B2 JP7112359 B2 JP 7112359B2
- Authority
- JP
- Japan
- Prior art keywords
- processor
- server device
- mac address
- packet
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Small-Scale Networks (AREA)
Description
開示の技術は、サーバ装置に関する。 The disclosed technology relates to a server device.
オペレーティングシステムを実行する第一プロセッサと、自装置を管理するプログラム(以下では「管理プログラム」と呼ぶことがある)を実行する第二プロセッサとの2つのプロセッサを有するサーバ装置が知られている。オペレーティングシステムの一例としてLinux(登録商標)が挙げられ、管理プログラムの一例としてBMC(Base Management Controller)が挙げられる。このような第一プロセッサ及び第二プロセッサの2つのプロセッサを有するサーバ装置では、第一プロセッサ及び第二プロセッサは、自装置が有するネットワークインタフェースカード(NIC:Network Interface Card)を共用して他のサーバ装置と通信する。例えば、自装置のNICと他のサーバ装置とはイーサネット(登録商標)で接続され、自装置においてNICと第二プロセッサとはNCSI(Network Controller Sideband Interface)で接続される。 A server device is known that has two processors, a first processor that executes an operating system and a second processor that executes a program for managing itself (hereinafter sometimes referred to as a “management program”). An example of an operating system is Linux (registered trademark), and an example of a management program is BMC (Base Management Controller). In a server device having two processors such as a first processor and a second processor, the first processor and the second processor share a network interface card (NIC: Network Interface Card) that the device has to Communicate with the device. For example, the NIC of the device itself and another server device are connected by Ethernet (registered trademark), and the NIC and the second processor of the device are connected by NCSI (Network Controller Sideband Interface).
以下では、自装置のNICと他のサーバ装置とを接続する通信路を「第一通信路」と呼び、第一通信路の通信帯域を「第一通信帯域」と呼ぶことがある。また、自装置においてNICと第一プロセッサとを接続する通信路を「第二通信路」と呼び、第二通信路の通信帯域を「第二通信帯域」と呼ぶことがある。また、自装置においてNICと第二プロセッサとを接続する通信路を「第三通信路」と呼び、第三通信路の通信帯域を「第三通信帯域」と呼ぶことがある。 Hereinafter, the communication path connecting the NIC of the device and other server devices may be referred to as "first communication path", and the communication band of the first communication path may be referred to as "first communication band". In addition, the communication path that connects the NIC and the first processor in the device itself may be referred to as a "second communication path", and the communication band of the second communication path may be referred to as a "second communication band". Also, the communication path connecting the NIC and the second processor in the device itself may be called "third communication path", and the communication band of the third communication path may be called "third communication band".
ここで、一般に、第二通信帯域は第一通信帯域より大きいのに対し、第三通信帯域は第一通信帯域より小さい。例えば、第一通信帯域が1Gbpsであるのに対し、第二通信帯域は1Gbpsより大きく、第三通信帯域は100Mbps以下である。このように、第三通信帯域は第一通信帯域より小さい(例えば、第一通信帯域の10分の1以下である)ため、他のサーバ装置から自装置の第二プロセッサへ大量のパケットが連続して送信されると、第一通信路と第三通信路との間に存在するNICが有するバッファにおいて第一通信帯域の大きさと第三通信帯域の大きさとの差を吸収しきれなくなってパケットロスが生じてしまう。 Here, generally, the second communication band is larger than the first communication band, while the third communication band is smaller than the first communication band. For example, the first communication band is 1 Gbps, the second communication band is greater than 1 Gbps, and the third communication band is 100 Mbps or less. In this way, since the third communication band is smaller than the first communication band (for example, it is one tenth or less of the first communication band), a large number of packets are continuously sent from other server devices to the second processor of the own device. When the packet is transmitted as a loss will occur.
なお、自装置の第一プロセッサから他のサーバ装置へのパケットの送信時には、一般に、NICが有するバッファの状態を監視しながら、第二通信路から第一通信路へ流入するパケットに対するフロー制御を行うことによりパケットロスを防止している。 When sending packets from the first processor of its own device to another server device, generally, while monitoring the state of the buffer of the NIC, flow control is performed on the packets flowing from the second communication channel to the first communication channel. By doing so, packet loss is prevented.
開示の技術は、上記に鑑みてなされたものであって、パケットロスを防ぐことを目的とする。 The disclosed technology has been made in view of the above, and aims to prevent packet loss.
開示の態様では、サーバ装置は、ネットワークインタフェースカードと、第一プロセッサと、第二プロセッサとを有する。前記ネットワークインタフェースカードは、第一通信帯域を有する第一通信路で他のサーバ装置と接続されている。前記第一プロセッサは、前記第一通信帯域より大きい第二通信帯域を有する第二通信路で前記ネットワークインタフェースカードと接続されている。前記第二プロセッサは、前記第一通信帯域より小さい第三通信帯域を有する第三通信路で前記ネットワークインタフェースカードと接続されている。そして、前記第一プロセッサは、前記他のサーバ装置から送信されたARPリクエストを前記ネットワークインタフェースカードを介して受信し、受信した前記ARPリクエストに対するARPリプライを前記ネットワークインタフェースカードを介して前記第二プロセッサの代わりに前記他のサーバ装置へ送信する。また、前記第一プロセッサは、前記ARPリプライに応じて前記他のサーバ装置から送信されたパケットを前記ネットワークインタフェースカードを介して受信し、受信した前記パケットを前記ネットワークインタフェースカードを介して前記第二プロセッサへ転送する。 In a disclosed aspect, a server device has a network interface card, a first processor, and a second processor. The network interface card is connected to another server device through a first communication path having a first communication band. The first processor is connected to the network interface card over a second communication path having a second communication band greater than the first communication band. The second processor is connected to the network interface card over a third communication path having a third communication band smaller than the first communication band. The first processor receives an ARP request transmitted from the other server device via the network interface card, and sends an ARP reply to the received ARP request via the network interface card. is transmitted to the other server device instead of . The first processor receives, via the network interface card, a packet transmitted from the other server device in response to the ARP reply, and transmits the received packet via the network interface card to the second Transfer to processor.
開示の態様によれば、パケットロスを防ぐことができる。 According to aspects of the disclosure, packet loss can be prevented.
以下に、本願の開示するサーバ装置の実施例を図面に基づいて説明する。なお、この実施例により本願の開示するサーバ装置が限定されるものではない。また、実施例において同一の機能を有する構成には同一の符号を付す。 An embodiment of the server apparatus disclosed in the present application will be described below with reference to the drawings. Note that the server apparatus disclosed in the present application is not limited to this embodiment. Moreover, the same code|symbol is attached|subjected to the structure which has the same function in an Example.
[実施例1]
<ネットワークシステムの構成>
図1は、実施例1のネットワークシステムの構成例を示す図である。図1において、ネットワークシステム1は、第一サーバ装置10と、第二サーバ装置20とを有する。第一サーバ装置10は、NIC15と、第一プロセッサP1と、第一メモリM1と、第二プロセッサP2と、第二メモリM2とを有する。第一プロセッサP1はオペレーティングシステムを実行し、第二プロセッサP2は管理プログラムを実行する。オペレーティングシステムの一例としてLinux(登録商標)が挙げられ、管理プログラムの一例としてBMCが挙げられる。第一メモリM1は、第一プロセッサP1によって使用されるメモリであり、第二メモリM2は、第二プロセッサP2によって使用されるメモリである。第二サーバ装置20は、自装置である第一サーバ装置10に対する他のサーバ装置の一例である。
[Example 1]
<Configuration of network system>
FIG. 1 is a diagram illustrating a configuration example of a network system according to the first embodiment. In FIG. 1 , the network system 1 has a
NIC15と第二サーバ装置20とは、第一通信帯域B1を有する第一通信路C1によって接続されている。NIC15と第一プロセッサP1とは、第二通信帯域B2を有する第二通信路C2によって接続されている。NIC15と第二プロセッサP2とは、第三通信帯域B3を有する第三通信路C3によって接続されている。例えば、NIC15と第二サーバ装置20とはイーサネット(登録商標)で接続され、NIC15と第二プロセッサP2とはNCSIで接続される。また、第二通信帯域B2は第一通信帯域B1より大きいのに対し、第三通信帯域B3は第一通信帯域B1より小さい。例えば、第一通信帯域B1が1Gbpsであるのに対し、第二通信帯域B2は1Gbpsより大きく、第三通信帯域B3は100Mbps以下である。
The NIC 15 and the
<ネットワークシステムの処理>
図2は、実施例1のネットワークシステムの処理シーケンスの一例を示す図であり、図3~図9は、実施例1のパケットの一例を示す図である。図2において、括弧内の「B」はブロードキャスト通信を示し、括弧内の「U」はユニキャスト通信を示す。
<Network system processing>
FIG. 2 is a diagram showing an example of a processing sequence of the network system according to the first embodiment, and FIGS. 3 to 9 are diagrams showing examples of packets according to the first embodiment. In FIG. 2, "B" in parentheses indicates broadcast communication, and "U" in parentheses indicates unicast communication.
また、以下では、第二サーバ装置20のMACアドレスを「MAC-X」、第二サーバ装置20のIPアドレスを「IP-X」、第一プロセッサP1のMACアドレスを「MAC-main」、第一プロセッサP1のIPアドレスを「IP-main」、第二プロセッサP2のMACアドレスを「MAC-bmc」、第二プロセッサP2のIPアドレスを「IP-bmc」として説明する。
In the following description, the MAC address of the
図2において、ステップS101では、第二プロセッサP2宛てにユーザデータパケットを送信したい第二サーバ装置20は、図3に示すARP(Address Resolution Protocol)リクエスト(B)01をブロードキャストで送信する。ARPリクエスト(B)01は、第一通信路C1、NIC15及び第二通信路C2を介して第一プロセッサP1によって受信されるとともに(ステップS101,S103)、第一通信路C1、NIC15及び第三通信路C3を介して第二プロセッサP2によって受信される(ステップS101,S105)。第二サーバ装置20から送信されるARPリクエスト(B)01は、ブロードキャストで第二プロセッサP2に到達することを意図したものである。このため、ARPリクエスト(B)01は、図3に示すように、送信先MACアドレス「FF:FF:FF:FF:FF:FF」と、送信元MACアドレス「MAC-X」と、送信先IPアドレス「IP-bmc」と、送信元IPアドレス「IP-X」と、パケットタイプ「ARPリクエスト」とを含む。
In FIG. 2, in step S101, the
次いで、ステップS107では、ステップS103でARPリクエスト(B)01を受信した第一プロセッサP1は、第二プロセッサP2の代わりに、ARPリクエスト(B)01に対して、図4に示すARPリプライ(U)01をユニキャストで第二サーバ装置20へ送信する。ARPリプライ(U)01は、第二通信路C2、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS107,S109)。第一プロセッサP1から送信されるARPリプライ(U)01は、ARPリクエスト(B)01に対するリプライであり、また、ユニキャストで第二サーバ装置20に到達することを意図したものである。このため、ARPリプライ(U)01は、図4に示すように、送信先MACアドレス「MAC-X」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「IP-X」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ARPリプライ」とを含む。IP-bmcは予め第一メモリM1に記憶されており、第一プロセッサP1は、第一メモリM1からIP-bmcを取得してARPリプライ(U)01の送信元IPアドレスにセットする。
Next, in step S107, the first processor P1 that received the ARP request (B)01 in step S103 sends an ARP reply (U )01 to the
また、ステップS111では、ステップS107でARPリプライ(U)01を送信した第一プロセッサP1は、ARPリクエスト(B)01に対するARPリプライを第二プロセッサP2の代わりに第一プロセッサP1が第二サーバ装置20へ送信したことを第二プロセッサP2に通知するために、図5に示すARPリプライ(B)01をブロードキャストで送信する。ARPリプライ(B)01は、図5に示すように、送信先MACアドレス「FF:FF:FF:FF:FF:FF」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「FF:FF:FF:FF:FF:FF」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ARPリプライ」とを含む。ARPリプライ(B)01は、第二通信路C2、NIC15及び第三通信路C3を介して第二プロセッサP2によって受信されるとともに(ステップS111,S113)、第二通信路C2、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS111,S115)。第二プロセッサP2は、受信したARPリプライ(B)01の送信元IPアドレスに「IP-bmc」がセットされていることを検出することにより、ARPリクエスト(B)01に対するARPリプライを、第二プロセッサP2の代わりに第一プロセッサP1が第二サーバ装置20へ送信したことを認識する。
Also, in step S111, the first processor P1, which has transmitted the ARP reply (U)01 in step S107, sends an ARP reply to the ARP request (B)01 from the first processor P1 to the second server instead of the second processor P2. 20, the ARP reply (B) 01 shown in FIG. 5 is broadcast. ARP reply (B) 01, as shown in FIG. FF:FF:FF:FF:FF:FF”, source IP address “IP-bmc”, and packet type “ARP reply”. The ARP reply (B)01 is received by the second processor P2 via the second communication channel C2, the NIC15 and the third communication channel C3 (steps S111, S113), and the second communication channel C2, the NIC15 and the first It is received by the
ステップS109でARPリプライ(U)01を受信した第二サーバ装置20は、ステップS117において、第二プロセッサP2宛てのユーザデータパケット(U)01(図6)をユニキャストで送信する。第二サーバ装置20は、ステップS109で受信したARPリプライ(U)01の送信元MACアドレスが「MAC-main」であったため、図6に示すように、ユーザデータパケット(U)01の送信先MACアドレスに「MAC-main」をセットする。よって、ユーザデータパケット(U)01は、図6に示すように、送信先MACアドレス「MAC-main」と、送信元MACアドレス「MAC-X」と、送信先IPアドレス「IP-bmc」と、送信元IPアドレス「IP-X」と、パケットタイプ「ユーザデータ」とを含む。また、ユーザデータパケット(U)01は、ユーザデータを含む(図示省略)。送信先MACアドレスが「MAC-main」であるため、ユーザデータパケット(U)01は、第一通信路C1、NIC15及び第二通信路C2を介して第一プロセッサP1によって受信される(ステップS117,S119)。
The
ステップS119でユーザデータパケット(U)01を受信した第一プロセッサP1は、ユーザデータパケット(U)01を第一メモリM1に一旦記憶することにより、第一メモリM1をユーザデータパケット(U)01のFIFO(First-In First-Out)バッファとして利用する。 The first processor P1, which has received the user data packet (U)01 in step S119, temporarily stores the user data packet (U)01 in the first memory M1, thereby saving the first memory M1 as the user data packet (U)01. used as a FIFO (First-In First-Out) buffer.
次いで、ステップS121では、第一プロセッサP1は、第一メモリM1からユーザデータパケット(U)01を取得し、取得したユーザデータパケット(U)01を第二プロセッサP2宛てに送信するために、ユーザデータパケット(U)01の送信先MACアドレス及び送信元MACアドレスを付け替える。第一プロセッサP1は、送信先MACアドレスを「MAC-main」から「MAC-bmc」に付け替え、送信元MACアドレスを「MAC-X」から「MAC-main」に付け替える。よって、ステップS121でのMACアドレス付け替え後のユーザデータパケット(U)03は、図7に示すように、送信先MACアドレス「MAC-bmc」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「IP-bmc」と、送信元IPアドレス「IP-X」と、パケットタイプ「ユーザデータ」とを含む。また、ユーザデータパケット(U)01とユーザデータパケット(U)03とでは、MACアドレスが付け替えられただけで、ユーザデータの内容は同一である。 Next, in step S121, the first processor P1 acquires the user data packet (U)01 from the first memory M1, and transmits the acquired user data packet (U)01 to the second processor P2. The destination MAC address and the source MAC address of the data packet (U)01 are replaced. The first processor P1 changes the destination MAC address from "MAC-main" to "MAC-bmc" and the source MAC address from "MAC-X" to "MAC-main". Therefore, as shown in FIG. 7, the user data packet (U)03 after the MAC address replacement in step S121 has the destination MAC address "MAC-bmc", the source MAC address "MAC-main", and the transmission It contains the destination IP address "IP-bmc", the source IP address "IP-X", and the packet type "user data". User data packet (U) 01 and user data packet (U) 03 have the same user data content, except that the MAC address is changed.
次いで、ステップS123では、第一プロセッサP1は、ユーザデータパケット(U)03をユニキャストで第二プロセッサP2へ送信する。ユーザデータパケット(U)03は、第二通信路C2、NIC15及び第三通信路C3を介して第二プロセッサP2によって受信され、第二メモリM2に保存される(ステップS123,S125)。
Then, in step S123, the first processor P1 unicasts the user data packet (U)03 to the second processor P2. The user data packet (U)03 is received by the second processor P2 via the second communication channel C2, the
このように、第二サーバ装置20から送信された第二プロセッサP2宛てのユーザデータパケット(U)01を第二プロセッサP2の代わりに第一プロセッサP1が受信する。そして、第一プロセッサP1は、受信したユーザデータパケット(U)01を第一メモリM1に一旦バッファリングしてから第二プロセッサP2へ転送する。これにより、第三通信路C3におけるパケットの流量を調節することができるため、第一通信帯域B1の大きさと第三通信帯域B3の大きさとの差を吸収して、第一通信帯域B1の大きさと第三通信帯域B3大きさとの差に起因して発生するパケットロスを防止することができる。
In this way, the first processor P1 receives the user data packet (U)01 addressed to the second processor P2 sent from the
次いで、ステップS127では、ステップS125でユーザデータパケット(U)03を受信した第二プロセッサP2は、ユーザデータパケット(U)03に対して、図8に示す受信応答であるACKパケット(U)01をユニキャストで、ユーザデータパケット(U)03の送信元である第一プロセッサP1へ送信する。ACKパケット(U)01は、第三通信路C3、NIC15及び第二通信路C2を介して第一プロセッサP1によって受信される(ステップS127,S129)。第二プロセッサP2から送信されるACKパケット(U)01は、図8に示すように、送信先MACアドレス「MAC-main」と、送信元MACアドレス「MAC-bmc」と、送信先IPアドレス「IP-X」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ACK」とを含む。 Next, in step S127, the second processor P2, having received the user data packet (U)03 in step S125, responds to the user data packet (U)03 with an ACK packet (U)01, which is a reception response shown in FIG. is unicast to the first processor P1, which is the source of the user data packet (U)03. The ACK packet (U)01 is received by the first processor P1 via the third communication channel C3, the NIC15 and the second communication channel C2 (steps S127, S129). The ACK packet (U)01 transmitted from the second processor P2 has, as shown in FIG. 8, a destination MAC address "MAC-main", a source MAC address "MAC-bmc", and a destination IP address " IP-X", source IP address "IP-bmc", and packet type "ACK".
次いで、ステップS131では、第一プロセッサP1は、受信したACKパケット(U)01を第二サーバ装置20宛てに送信するために、ACKパケット(U)01の送信先MACアドレス及び送信元MACアドレスを付け替える。第一プロセッサP1は、送信先MACアドレスを「MAC-main」から「MAC-X」に付け替え、送信元MACアドレスを「MAC-bmc」から「MAC-main」に付け替える。よって、ステップS131でのMACアドレス付け替え後のACKパケット(U)03は、図9に示すように、送信先MACアドレス「MAC-X」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「IP-X」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ACK」とを含む。
Next, in step S131, the first processor P1 transmits the received ACK packet (U)01 to the
次いで、ステップS133では、第一プロセッサP1は、ACKパケット(U)03をユニキャストで第二サーバ装置20へ送信する。ACKパケット(U)03は、第二通信路C2、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS133,S135)。
Next, in step S133, the first processor P1 transmits the ACK packet (U)03 to the
以上のように、実施例1では、第一サーバ装置10は、NIC15と、第一プロセッサP1と、第二プロセッサP2とを有する。NIC15は、第一通信帯域B1を有する第一通信路C1で第二サーバ装置20と接続されている。第一プロセッサP1は、第一通信帯域B1より大きい第二通信帯域B2を有する第二通信路C2でNIC15と接続されている。第二プロセッサP2は、第一通信帯域B1より小さい第三通信帯域B3を有する第三通信路C3でNIC15と接続されている。そして、第一プロセッサP1は、第二サーバ装置20から送信されたARPリクエストをNIC15を介して受信し、受信したARPリクエストに対するARPリプライをNIC15を介して第二プロセッサP2の代わりに第二サーバ装置20へ送信する。また、第一プロセッサP1は、ARPリプライに応じて第二サーバ装置20から送信されたユーザデータパケットをNIC15を介して受信し、受信したユーザデータパケットをNIC15を介して第二プロセッサP2へ転送する。
As described above, in the first embodiment, the
こうすることで、第二プロセッサP2は、第三通信路C3におけるパケットの流量を調節することが可能になるため、第一通信帯域B1の大きさと第三通信帯域B3の大きさとの差を吸収することができるので、パケットロスを防止することができる。 By doing so, the second processor P2 can adjust the flow rate of packets in the third communication channel C3, so that the difference between the size of the first communication band B1 and the size of the third communication band B3 can be absorbed. Therefore, packet loss can be prevented.
また、実施例1では、ユーザデータパケットは、送信先MACアドレスとして第一プロセッサP1のMACアドレスである「MAC-main」を含む。そして、第一プロセッサP1は、ユーザデータパケットの送信先MACアドレスを「MAC-main」から、第二プロセッサP2のMACアドレスである「MAC-bmc」に付け替える。 Also, in the first embodiment, the user data packet includes "MAC-main", which is the MAC address of the first processor P1, as the destination MAC address. Then, the first processor P1 changes the destination MAC address of the user data packet from "MAC-main" to "MAC-bmc", which is the MAC address of the second processor P2.
こうすることで、第一プロセッサP1は、第一プロセッサP1宛てに送信されたユーザデータパケットを第二プロセッサP2宛てに転送することができる。 By doing so, the first processor P1 can forward the user data packet sent to the first processor P1 to the second processor P2.
また、実施例1では、ユーザデータパケットは、送信元MACアドレスとして第二サーバ装置20のMACアドレスである「MAC-X」を含む。そして、第一プロセッサP1は、ユーザデータパケットの送信元MACアドレスを「MAC-X」から、第一プロセッサP1のMACアドレスである「MAC-main」に付け替える。
Also, in the first embodiment, the user data packet includes "MAC-X", which is the MAC address of the
こうすることで、第一プロセッサP1は、受信したユーザデータパケットを第二プロセッサP2宛てに転送するにあたって、ユーザデータパケットも転送元が第一プロセッサP1であることを第二プロセッサP2に認識させることができる。 By doing this, when the first processor P1 transfers the received user data packet to the second processor P2, the second processor P2 can recognize that the transfer source of the user data packet is also the first processor P1. can be done.
以上、実施例1について説明した。 The first embodiment has been described above.
[実施例2]
<ネットワークシステムの処理>
図10は、実施例2のネットワークシステムの処理シーケンスの一例を示す図であり、図11は、実施例2のパケットの一例を示す図である。図2と同様に、図10において、括弧内の「B」はブロードキャスト通信を示し、括弧内の「U」はユニキャスト通信を示す。以下、実施例1と異なる点について説明する。
[Example 2]
<Network system processing>
FIG. 10 is a diagram illustrating an example of a processing sequence of a network system according to the second embodiment, and FIG. 11 is a diagram illustrating an example of a packet according to the second embodiment. As in FIG. 2, in FIG. 10, the bracketed "B" indicates broadcast communication and the bracketed "U" indicates unicast communication. Differences from the first embodiment will be described below.
図10において、ステップS201では、ステップS107でARPリプライ(U)01を送信した第一プロセッサP1は、ARPリクエスト(B)01に対するARPリプライを第二プロセッサP2の代わりに第一プロセッサP1が第二サーバ装置20へ送信したことを第二プロセッサP2に通知するために、図11に示すARPリプライ(U)03をユニキャストで第二プロセッサP2へ送信する。ARPリプライ(U)03は、図11に示すように、送信先MACアドレス「MAC-bmc」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「IP-bmc」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ARPリプライ」とを含む。ARPリプライ(U)03は、第二通信路C2、NIC15及び第三通信路C3を介して第二プロセッサP2によって受信される(ステップS201,S203)。第二プロセッサP2は、受信したARPリプライ(U)03の送信元IPアドレスに「IP-bmc」がセットされていることを検出することにより、ARPリクエスト(B)01に対するARPリプライを第二プロセッサP2の代わりに第一プロセッサP1が第二サーバ装置20へ送信したことを認識する。
In FIG. 10, in step S201, the first processor P1, which has transmitted the ARP reply (U)01 in step S107, sends an ARP reply to the ARP request (B)01 to the first processor P1 instead of the second processor P2. In order to notify the second processor P2 of the transmission to the
このように、第一プロセッサP1が、ARPリプライ(B)01の送信(図2のステップS107)に代えてARPリプライ(U)03を送信しても(図10のステップS201)、実施例1と同様の効果を得ることができる。 Thus, even if the first processor P1 transmits the ARP reply (U)03 instead of transmitting the ARP reply (B)01 (step S107 in FIG. 2) (step S201 in FIG. 10), the first embodiment You can get the same effect as
以上、実施例2について説明した。 The second embodiment has been described above.
[実施例3]
<ネットワークシステムの処理>
図12は、実施例3のネットワークシステムの処理シーケンスの一例を示す図であり、図13~図15は、実施例3のパケットの一例を示す図である。図2と同様に、図12において、括弧内の「B」はブロードキャスト通信を示し、括弧内の「U」はユニキャスト通信を示す。以下、実施例1と異なる点について説明する。
[Example 3]
<Network system processing>
FIG. 12 is a diagram showing an example of a processing sequence of the network system of the third embodiment, and FIGS. 13 to 15 are diagrams showing examples of packets of the third embodiment. As in FIG. 2, in FIG. 12, the bracketed "B" indicates broadcast communication and the bracketed "U" indicates unicast communication. Differences from the first embodiment will be described below.
図12において、第二プロセッサP2は、ステップS105でARPリクエスト(B)01を受信したときに、ステップS301において、所定の時間を計時するタイマTMを起動する。 In FIG. 12, when the second processor P2 receives the ARP request (B)01 in step S105, in step S301, it starts a timer TM that counts a predetermined time.
次いで、ステップS303では、第二プロセッサP2は、ステップS105でのARPリクエスト(B)01の受信後にARPリプライを受信したか否かを判定する。第二プロセッサP2がARPリプライを受信しているときは(ステップS303:Yes)、処理はステップS117(図2)へ進む。 Next, in step S303, the second processor P2 determines whether or not it has received an ARP reply after receiving the ARP request (B)01 in step S105. When the second processor P2 has received the ARP reply (step S303: Yes), the process proceeds to step S117 (FIG. 2).
一方で、第二プロセッサP2がARPリプライを受信していないときは(ステップS303:No)、ステップS305において、第二プロセッサP2は、タイマTMが満了したか否かを判定する。タイマTMが満了していないときは(ステップS305:No)、処理はステップS303に戻る。 On the other hand, when the second processor P2 has not received the ARP reply (step S303: No), in step S305, the second processor P2 determines whether the timer TM has expired. When the timer TM has not expired (step S305: No), the process returns to step S303.
一方で、タイマTMが満了しているとき、つまり、第二プロセッサP2がARPリクエスト(B)01を受信してから所定の時間内にARPリプライを受信しないときは(ステップS305:Yes)、第二プロセッサP2は、ARPリクエスト(B)01に対するARPリプライを第二プロセッサP2の代わりに送信することになっている第一プロセッサP1が、例えば故障等により停止しているために、ARPリプライを送信できなくなっていると判定する。そこで、タイマTMが満了しているときは(ステップS305:Yes)、ステップS307において、第二プロセッサP2は、ARPリクエスト(B)01に対して、図13に示すARPリプライ(B)03をブロードキャストで送信する。ARPリプライ(B)03は、第三通信路C3、NIC15及び第二通信路C2を介して第一プロセッサP1に到達するとともに(ステップS307,S309)、第三通信路C3、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS307,S311)。ARPリプライ(B)03は、図13に示すように、送信先MACアドレス「FF:FF:FF:FF:FF:FF」と、送信元MACアドレス「MAC-bmc」と、送信先IPアドレス「FF:FF:FF:FF:FF:FF」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ARPリプライ」とを含む。
On the other hand, when the timer TM has expired, that is, when the second processor P2 does not receive an ARP reply within a predetermined time after receiving the ARP request (B)01 (step S305: Yes), the second processor P2 The second processor P2 transmits an ARP reply to the ARP request (B) 01 because the first processor P1, which is supposed to transmit an ARP reply to the ARP request (B) 01 instead of the second processor P2, has stopped due to, for example, a failure. determine that it is no longer possible. Therefore, when the timer TM has expired (step S305: Yes), in step S307, the second processor P2 broadcasts an ARP reply (B)03 shown in FIG. 13 in response to the ARP request (B)01. Send with The ARP reply (B) 03 reaches the first processor P1 via the third communication channel C3, the NIC15 and the second communication channel C2 (steps S307, S309), and the third communication channel C3, the NIC15 and the first communication It is received by the
ステップS311でARPリプライ(B)03を受信した第二サーバ装置20は、ステップS313において、第二プロセッサP2宛てのユーザデータパケット(U)05(図14)をユニキャストで送信する。第二サーバ装置20は、ステップS311で受信したARPリプライ(B)03の送信元MACアドレスが「MAC-bmc」であったため、図14に示すように、ユーザデータパケット(U)05の送信先MACアドレスに「MAC-bmc」をセットする。よって、ユーザデータパケット(U)05は、図14に示すように、送信先MACアドレス「MAC-bmc」と、送信元MACアドレス「MAC-X」と、送信先IPアドレス「IP-bmc」と、送信元IPアドレス「IP-X」と、パケットタイプ「ユーザデータ」とを含む。また、ユーザデータパケット(U)05は、ユーザデータを含む(図示省略)。送信先MACアドレスが「MAC-bmc」であるため、ユーザデータパケット(U)05は、第一通信路C1、NIC15及び第三通信路C3を介して第二プロセッサP2によって受信される(ステップS313,S315)。
The
次いで、ステップS317は、ステップS315でユーザデータパケット(U)05を受信した第二プロセッサP2は、ユーザデータパケット(U)05に対して、図15に示す受信応答であるACKパケット(U)05をユニキャストで第二サーバ装置20へ送信する。ACKパケット(U)05は、第三通信路C3、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS317,S319)。第二プロセッサP2から送信されるACKパケット(U)05は、図15に示すように、送信先MACアドレス「MAC-X」と、送信元MACアドレス「MAC-bmc」と、送信先IPアドレス「IP-X」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ACK」とを含む。
Next, in step S317, the second processor P2, which has received the user data packet (U)05 in step S315, responds to the user data packet (U)05 with an ACK packet (U)05, which is a reception response shown in FIG. is unicast to the
以上のように、実施例3では、第二プロセッサP2は、第一プロセッサP1が停止しているときに、ARPリプライをNIC15を介して第二サーバ装置20へ送信する。
As described above, in the third embodiment, the second processor P2 transmits an ARP reply to the
こうすることで、第二プロセッサP2は、第一プロセッサP1が停止していて第二プロセッサ宛てのユーザデータパケットを第一プロセッサP1が第二プロセッサP2へ転送できない場合でも、第二プロセッサP2宛てのユーザデータパケットを第二サーバ装置20から直接受信することができる。
By doing so, the second processor P2 can transfer user data packets destined for the second processor P2 even when the first processor P1 is stopped and the first processor P1 cannot transfer user data packets destined for the second processor P2 to the second processor P2. User data packets can be received directly from the
なお、上記説明では、第二プロセッサP2は、所定時間内でのARPリプライの受信の有無により、第一プロセッサP1が停止しているか否かを判定した。しかし、第二プロセッサP2は、第一プロセッサP1の動作を直接監視して第一プロセッサP1が停止しているか否かを判定しても良い。 In the above description, the second processor P2 determines whether or not the first processor P1 has stopped based on whether or not an ARP reply has been received within a predetermined time. However, the second processor P2 may directly monitor the operation of the first processor P1 to determine whether the first processor P1 has stopped.
以上、実施例3について説明した。 The third embodiment has been described above.
[実施例4]
<ネットワークシステムの処理>
図16は、実施例4のネットワークシステムの処理シーケンスの一例を示す図であり、図17及び図18は、実施例4のパケットの一例を示す図である。図2と同様に、図16において、括弧内の「B」はブロードキャスト通信を示し、括弧内の「U」はユニキャスト通信を示す。以下、実施例1と異なる点について説明する。
[Example 4]
<Network system processing>
FIG. 16 is a diagram illustrating an example of a processing sequence of a network system according to the fourth embodiment, and FIGS. 17 and 18 are diagrams illustrating an example of packets according to the fourth embodiment. As in FIG. 2, in FIG. 16, the bracketed "B" indicates broadcast communication and the bracketed "U" indicates unicast communication. Differences from the first embodiment will be described below.
図16において、ステップS129で第一プロセッサP1が受信するACKパケット(U)01には、図17に示すように、図8に示す各項目に加えて、ウィンドサイズ「w1」が含まれている。ここで、第二プロセッサP2から第二サーバ装置20宛てに送信されるACKパケットに含まれるウィンドサイズは、ACKの送信元である第二プロセッサP2からのACKを待たずに第二サーバ装置20が第二プロセッサP2宛てに連続して送信可能なデータ量を示す。よって、ウィンドサイズが大きくなるほど、第二サーバ装置20から第二プロセッサP2宛てに送信されるユーザデータパケットによる第一通信帯域B1及び第二通信帯域B2の単位時間あたりの消費量がより大きくなる。
16, the ACK packet (U)01 received by the first processor P1 in step S129 includes the window size "w1" in addition to the items shown in FIG. 8, as shown in FIG. . Here, the window size included in the ACK packet transmitted from the second processor P2 to the
ステップS131では、第一プロセッサP1は、受信したACKパケット(U)01を第二サーバ装置20宛てに送信するために、実施例1と同様に、ACKパケット(U)01の送信先MACアドレス及び送信元MACアドレスを付け替える。
In step S131, in order to transmit the received ACK packet (U)01 to the
さらに、第一プロセッサP1は、第一通信路C1における通信量が閾値TH以上のときに、ステップS401において、ACKパケット(U)01のウィンドサイズを「w1」から「w2」に変更する(w2<w1)。よって、ステップS401でのウィンドサイズ変更後のACKパケット(U)07は、図18に示すように、送信先MACアドレス「MAC-X」と、送信元MACアドレス「MAC-main」と、送信先IPアドレス「IP-X」と、送信元IPアドレス「IP-bmc」と、パケットタイプ「ACK」と、ウィンドサイズ「w2」とを含む。 Further, the first processor P1 changes the window size of the ACK packet (U)01 from "w1" to "w2" (w2 <w1). Therefore, the ACK packet (U)07 after changing the window size in step S401 has the destination MAC address "MAC-X", the source MAC address "MAC-main", and the destination MAC address "MAC-main" as shown in FIG. It contains the IP address "IP-X", the source IP address "IP-bmc", the packet type "ACK", and the window size "w2".
なお、第一プロセッサP1は、第一通信路C1における通信量が閾値TH未満のときは、ACKパケット(U)01のウィンドサイズを変更しない。 Note that the first processor P1 does not change the window size of the ACK packet (U)01 when the traffic on the first communication channel C1 is less than the threshold TH.
次いで、ステップS403では、第一プロセッサP1は、ACKパケット(U)07をユニキャストで第二サーバ装置20へ送信する。ACKパケット(U)07は、第二通信路C2、NIC15及び第一通信路C1を介して第二サーバ装置20によって受信される(ステップS403,S405)。
Next, in step S403, the first processor P1 transmits an ACK packet (U)07 to the
以上のように、実施例4では、第一プロセッサP1は、第一プロセッサP1から転送されたユーザデータパケットを受信した第二プロセッサP2から送信されたACKパケットをNIC15を介して受信する。ACKパケットには、第一通信路C1におけるウィンドサイズ「w1」が含まれる。そして、第一プロセッサP1は、第一通信路C1における通信量が閾値TH以上のときに、ACKパケットに含まれるウィンドサイズを「w1」から「w2」(w2<w1)に変更する。
As described above, in the fourth embodiment, the first processor P1 receives, via the
こうすることで、第二サーバ装置20から第二プロセッサP2宛てに送信されるユーザデータパケットによる第一通信帯域B1及び第二通信帯域B2の消費量を抑制することができるため、第一通信路C1及び第二通信路C2に第一プロセッサP1用の通信帯域を確保することができる。
By doing this, it is possible to suppress the consumption of the first communication band B1 and the second communication band B2 by the user data packet transmitted from the
なお、上記の閾値THは、第一通信路C1及び第二通信路C2に確保したい第一プロセッサP1用の最低限の通信帯域に基づいて設定されると良い。 The above threshold TH is preferably set based on the minimum communication band for the first processor P1 to be secured in the first communication channel C1 and the second communication channel C2.
以上、実施例4について説明した。 The fourth embodiment has been described above.
[実施例5]
第一サーバ装置10での上記説明における各処理の全部または一部は、各処理に対応するプログラムを第一プロセッサP1または第二プロセッサP2に実行させることによって実現しても良い。例えば、上記説明における各処理に対応するプログラムが第一メモリM1、第二メモリM2、または、第一サーバ装置10が有するディスクドライブに記憶され、プログラムが第一プロセッサP1または第二プロセッサP2によって、第一メモリM1、第二メモリM2、または、ディスクドライブから読み出されて実行されても良い。また、プログラムは、任意のネットワークを介して第一サーバ装置10に接続されたプログラムサーバに記憶され、そのプログラムサーバから第一サーバ装置10にダウンロードされて実行されたり、第一サーバ装置10が読み取り可能な記録媒体に記憶され、その記録媒体から読み出されて実行されても良い。第一サーバ装置10が読み取り可能な記録媒体には、例えば、メモリカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、CD-ROM、DVD、及び、Blu-ray(登録商標)ディスク等の可搬の記憶媒体が含まれる。また、プログラムは、任意の言語や任意の記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。また、プログラムは必ずしも単一的に構成されるものに限られず、複数のモジュールや複数のライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものも含む。
[Example 5]
All or part of each processing in the above description in the
以上、実施例5について説明した。 The fifth embodiment has been described above.
1 ネットワークシステム
10 第一サーバ装置
15 NIC
P1 第一プロセッサ
M1 第一メモリ
P2 第二プロセッサ
M2 第二メモリ
20 第二サーバ装置
1
P1 first processor M1 first memory P2 second processor M2
Claims (5)
前記第一通信帯域より大きい第二通信帯域を有する第二通信路で前記ネットワークインタフェースカードと接続された第一プロセッサと、
前記第一通信帯域より小さい第三通信帯域を有する第三通信路で前記ネットワークインタフェースカードと接続された第二プロセッサと、を有し、
前記第一プロセッサは、
前記他のサーバ装置から送信されたARPリクエストを前記ネットワークインタフェースカードを介して受信し、
受信した前記ARPリクエストに対するARPリプライを前記ネットワークインタフェースカードを介して前記第二プロセッサの代わりに前記他のサーバ装置へ送信し、
前記ARPリプライに応じて前記他のサーバ装置から送信されたパケットを前記ネットワークインタフェースカードを介して受信し、
受信した前記パケットを前記ネットワークインタフェースカードを介して前記第二プロセッサへ転送する、
サーバ装置。 a network interface card connected to another server device via a first communication path having a first communication band;
a first processor connected to the network interface card over a second communication path having a second communication band greater than the first communication band;
a second processor connected to the network interface card over a third communication path having a third communication band smaller than the first communication band;
The first processor is
receiving an ARP request transmitted from the other server device via the network interface card;
sending an ARP reply to the received ARP request to the other server device instead of the second processor via the network interface card;
receiving, via the network interface card, a packet transmitted from the other server device in response to the ARP reply;
forwarding the received packet to the second processor via the network interface card;
Server device.
前記第一プロセッサは、前記パケットの前記送信先MACアドレスを、前記第一MACアドレスから、前記第二プロセッサの第二MACアドレスに付け替える、
請求項1に記載のサーバ装置。 the packet includes a first MAC address of the first processor as a destination MAC address;
the first processor replaces the destination MAC address of the packet from the first MAC address to the second MAC address of the second processor;
The server device according to claim 1.
前記第一プロセッサは、前記パケットの前記送信元MACアドレスを、前記第三MACアドレスから、前記第一プロセッサの第一MACアドレスに付け替える、
請求項1に記載のサーバ装置。 the packet includes a third MAC address of the other server device as a source MAC address;
the first processor replaces the source MAC address of the packet from the third MAC address to the first MAC address of the first processor;
The server device according to claim 1.
請求項1に記載のサーバ装置。 The second processor transmits the ARP reply to the other server device via the network interface card when the first processor is stopped.
The server device according to claim 1.
前記第一プロセッサから転送された前記パケットを受信した前記第二プロセッサから送信された受信応答であって、前記第一通信路におけるウィンドサイズとして第一ウィンドサイズを含む前記受信応答を前記ネットワークインタフェースカードを介して受信し、
前記第一通信路における通信量が閾値以上のときは、受信した前記受信応答に含まれる前記ウィンドサイズを、前記第一ウィンドサイズより小さい第二ウィンドサイズに変更する、
請求項1に記載のサーバ装置。 The first processor is
a reception response transmitted from the second processor that has received the packet transferred from the first processor, the reception response including a first window size as a window size in the first communication channel; received via
changing the window size included in the received response to a second window size smaller than the first window size when the traffic on the first communication channel is equal to or greater than a threshold;
The server device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019041769A JP7112359B2 (en) | 2019-03-07 | 2019-03-07 | Server equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019041769A JP7112359B2 (en) | 2019-03-07 | 2019-03-07 | Server equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020145616A JP2020145616A (en) | 2020-09-10 |
| JP7112359B2 true JP7112359B2 (en) | 2022-08-03 |
Family
ID=72354619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019041769A Expired - Fee Related JP7112359B2 (en) | 2019-03-07 | 2019-03-07 | Server equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7112359B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014241545A (en) | 2013-06-12 | 2014-12-25 | 株式会社日立製作所 | Communication system and communication system redundancy method |
| US20170155573A1 (en) | 2015-11-26 | 2017-06-01 | Dell Products, L.P. | Switching of host network traffic through baseboard management controller (bmc) |
| JP2017163361A (en) | 2016-03-09 | 2017-09-14 | 古河電気工業株式会社 | Network system, communication equipment, and communication method |
| JP2017187814A (en) | 2016-03-31 | 2017-10-12 | 日本電気株式会社 | Work management device, server system, work management method, work state display method, and program |
| CN107592340A (en) | 2017-08-16 | 2018-01-16 | 联想(北京)有限公司 | The method and apparatus of remote operation management server |
| JP2018157513A (en) | 2017-03-21 | 2018-10-04 | 株式会社リコー | Communication control device, communication control system, communication control method, and communication control program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4012179B2 (en) * | 2004-08-03 | 2007-11-21 | 株式会社東芝 | Information communication system, information communication method, packet transfer apparatus, packet transfer program, packet transfer method, defense target terminal, defense target program, and protection target method |
| JP5272367B2 (en) * | 2007-09-28 | 2013-08-28 | サクサ株式会社 | Wireless LAN access point and program |
-
2019
- 2019-03-07 JP JP2019041769A patent/JP7112359B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014241545A (en) | 2013-06-12 | 2014-12-25 | 株式会社日立製作所 | Communication system and communication system redundancy method |
| US20170155573A1 (en) | 2015-11-26 | 2017-06-01 | Dell Products, L.P. | Switching of host network traffic through baseboard management controller (bmc) |
| JP2017163361A (en) | 2016-03-09 | 2017-09-14 | 古河電気工業株式会社 | Network system, communication equipment, and communication method |
| JP2017187814A (en) | 2016-03-31 | 2017-10-12 | 日本電気株式会社 | Work management device, server system, work management method, work state display method, and program |
| JP2018157513A (en) | 2017-03-21 | 2018-10-04 | 株式会社リコー | Communication control device, communication control system, communication control method, and communication control program |
| CN107592340A (en) | 2017-08-16 | 2018-01-16 | 联想(北京)有限公司 | The method and apparatus of remote operation management server |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020145616A (en) | 2020-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12346272B2 (en) | System and method for facilitating on-demand paging in a network interface controller (NIC) | |
| US10986171B2 (en) | Method for unified communication of server, baseboard management controller, and server | |
| CN108206761B (en) | Method for setting the link speed of a dual-port switch | |
| JP5629954B2 (en) | Apparatus, method, and program capable of interrupting at least partial frame transmission | |
| US7720064B1 (en) | Method and system for processing network and storage data | |
| US8867381B2 (en) | Active multi-path network redundancy with performance monitoring | |
| US20150215224A1 (en) | Positive feedback ethernet link flow control for promoting lossless ethernet | |
| US20020107984A1 (en) | Combining network management information with application information on a computer network | |
| US7787375B2 (en) | Performing a recovery action in response to a credit depletion notification | |
| CN108028788A (en) | Active link during LAN interface reset | |
| US20020107955A1 (en) | Protocol data unit prioritization in a data processing network | |
| KR101752823B1 (en) | Storage system, method, and apparatus for processing operation request | |
| US20040081108A1 (en) | Arbitration system | |
| US20040267960A1 (en) | Force master capability during multicast transfers | |
| JP7112359B2 (en) | Server equipment | |
| JP2018005664A (en) | Controller, information process system, control method, and information processing program | |
| EP2311226B1 (en) | Controlling data flow through a data communications link | |
| JP5062530B2 (en) | Communication control system for reducing data communication other than priority terminals | |
| US8225004B1 (en) | Method and system for processing network and storage data | |
| WO2016180959A1 (en) | Packet descriptor management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220722 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7112359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |