JP7233253B2

JP7233253B2 - Communication system and generator

Info

Publication number: JP7233253B2
Application number: JP2019043423A
Authority: JP
Inventors: 俊之池上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2023-03-06
Anticipated expiration: 2039-03-11
Also published as: JP2020149082A

Description

本発明は、通信システム、及び生成装置に関する。 The present invention relates to communication systems and generation devices.

システムが構築される。例えば、システムには、監視カメラ、エンコーダ、及びクライアント装置が含まれる。監視カメラが撮像することで得られた映像は、エンコーダを介してクライアント装置に送信される。クライアント装置は、デコードするためのアプリケーションを用いて、映像を表示する。これにより、ユーザは、クライアント装置に表示された映像を見ることができる。
ここで、カメラ映像を表示する技術が提案されている（特許文献１を参照）。 A system is built. For example, the system includes surveillance cameras, encoders, and client devices. A video image captured by the surveillance camera is transmitted to the client device via the encoder. The client device displays the video using an application for decoding. This allows the user to view the video displayed on the client device.
Here, a technique for displaying camera images has been proposed (see Patent Document 1).

特開２０１４－４９８６５号公報JP 2014-49865 A

クライアント装置は、ブラウザで映像を表示する場合、デコードするためのアプリケーションを用いることがある。しかし、ブラウザの種類によっては、デコードするためのアプリケーションを用いることができない場合がある。 A client device may use an application for decoding when displaying video on a browser. However, depending on the type of browser, it may not be possible to use an application for decoding.

そこで、次のような方法が考えられる。例えば、装置は、送信された映像に基づいて画像を生成する。装置は、生成された画像をクライアント装置のブラウザで表示させる。装置は、ＨＴＴＰ（ＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）を備えたサーバ機である必要がある。しかし、１つの装置が画像を生成することは、装置の処理負荷を高める。例えば、１つの装置が複数のブラウザで表示させるための画像を生成することは、装置の処理負荷を高める。このように、装置の処理負荷が高くなることは、装置が停止することになる。装置が停止した場合、クライアント装置は、画像を受信しなくなる。そのため、クライアント装置では、画像が表示されなくなる。装置を複数設置すれば、負荷を分散することが可能ではあるが、そのためにはサーバ機を複数用意する必要がある。 Therefore, the following method can be considered. For example, the device generates an image based on the transmitted video. The device causes the generated image to be displayed on the browser of the client device. The device must be a server machine equipped with HTTP (Hypertext Transfer Protocol). However, having one device generate the image increases the processing load of the device. For example, generating images for display on multiple browsers by one device increases the processing load on the device. In this way, an increase in the processing load of the device causes the device to stop. If the device stops, the client device will no longer receive images. Therefore, the image is not displayed on the client device. Although it is possible to distribute the load by installing a plurality of devices, it is necessary to prepare a plurality of server machines for that purpose.

本発明の目的は、クライアント装置で画像を表示させることである。 An object of the present invention is to display images on a client device.

本発明の一態様に係る通信システムが提供される。通信システムは、クライアント装置と、エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第１の生成装置を含む複数の生成装置と、情報処理装置と、を含む。前記クライアント装置は、前記第１の生成装置が生成した画像を受信した場合、前記第１の生成装置が生成した画像をブラウザで表示する。前記情報処理装置は、前記第１の生成装置の負荷状態を示す情報である負荷情報を受信し、前記負荷情報に基づいて、前記第１の生成装置が実行する、前記第１の生成装置が生成した画像の送信処理を停止させるか否かを判定し、前記送信処理を停止させると判定した場合、前記第１の生成装置との通信を停止すること、及び前記複数の生成装置に含まれる第２の生成装置との通信を開始して前記第２の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示する。前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第１の生成装置との通信を停止し、前記第２の生成装置との通信を開始し、前記第２の生成装置に前記画像生成送信指示を送信する。前記第２の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する。前記クライアント装置は、前記第２の生成装置が生成した画像を受信した場合、前記第２の生成装置が生成した画像を前記ブラウザで表示する。 A communication system according to one aspect of the present invention is provided. A communication system includes a client device and a first generating device that decodes video encoded by an encoder, generates an image based on the decoded video, and transmits the generated image to the client device. It includes a generation device and an information processing device. When receiving the image generated by the first generating device, the client device displays the image generated by the first generating device on the browser. The information processing device receives load information that is information indicating a load state of the first generation device, and based on the load information, the first generation device executes determining whether to stop transmission processing of the generated image, and if it is determined to stop the transmission processing, stopping communication with the first generation device; The client device is instructed to initiate communication with a second generation device and transmit an image generation and transmission instruction for instructing generation and transmission of an image to the second generation device. When the client device receives an instruction from the information processing device, the client device stops communication with the first generation device, starts communication with the second generation device, and sends the second generation device the Send an image generation transmission instruction. When receiving the image generation transmission instruction, the second generation device decodes the video encoded by the encoder, generates an image based on the decoded video, and transmits the generated image to the client device. Send. When receiving the image generated by the second generation device, the client device displays the image generated by the second generation device on the browser.

本発明によれば、クライアント装置で画像を表示させることができる。 According to the present invention, an image can be displayed on a client device.

実施の形態１の通信システムを示す図である。1 is a diagram showing a communication system according to Embodiment 1; FIG. 実施の形態１の管理サーバが有するハードウェアの構成を示す図である。3 is a diagram illustrating a hardware configuration of a management server according to Embodiment 1; FIG. 実施の形態１の管理サーバの構成を示す機能ブロック図である。2 is a functional block diagram showing the configuration of a management server according to Embodiment 1; FIG. 実施の形態１の生成装置の構成を示す機能ブロック図である。2 is a functional block diagram showing the configuration of the generating device according to Embodiment 1; FIG. 実施の形態１の通信システムで実行される処理を示すシーケンス図（その１）である。4 is a sequence diagram (part 1) showing processing executed in the communication system according to the first embodiment; FIG. 実施の形態１の通信システムで実行される処理を示すシーケンス図（その２）である。2 is a sequence diagram (part 2) showing processing executed in the communication system according to the first embodiment; FIG. 実施の形態２の通信システムを示す図である。FIG. 10 is a diagram showing a communication system according to a second embodiment; FIG. 実施の形態２の管理サーバの構成を示す機能ブロック図である。FIG. 8 is a functional block diagram showing the configuration of a management server according to Embodiment 2; 実施の形態２の生成装置の構成を示す機能ブロック図である。FIG. 10 is a functional block diagram showing the configuration of a generating device according to Embodiment 2; 実施の形態２の現用系の生成装置が実行する処理を示すフローチャートである。FIG. 11 is a flow chart showing processing executed by an active generation device according to a second embodiment; FIG. 実施の形態２の予備系の生成装置が実行する処理を示すフローチャートである。FIG. 11 is a flow chart showing processing executed by a backup generation device according to the second embodiment; FIG. 実施の形態２の管理サーバが実行する処理を示すフローチャートである。10 is a flow chart showing processing executed by a management server according to the second embodiment; 実施の形態３の通信システムを示す図である。FIG. 10 is a diagram showing a communication system according to Embodiment 3; 実施の形態３の生成装置の構成を示す機能ブロック図である。FIG. 11 is a functional block diagram showing the configuration of a generation device according to Embodiment 3; 実施の形態３の生成装置が実行する処理を示すフローチャートである。10 is a flow chart showing processing executed by the generation device of Embodiment 3. FIG.

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。 Embodiments will be described below with reference to the drawings. The following embodiments are merely examples, and various modifications are possible within the scope of the present invention.

実施の形態１．
図１は、実施の形態１の通信システムを示す図である。通信システムは、管理サーバ１００、生成装置２００，２０１，２０２、及びクライアント装置３００を含む。通信システムは、さらに、監視カメラ４００、及びエンコーダ５００を含んでもよい。
このように、通信システムは、複数の生成装置を含む。また、図１は、３つの生成装置を示している。しかし、生成装置の数は、３つに限らない。
例えば、管理サーバ１００は、ネットワーク１０を介してクライアント装置３００に接続する。 Embodiment 1.
FIG. 1 is a diagram showing a communication system according to Embodiment 1. FIG. The communication system includes a management server 100 , generation devices 200 , 201 and 202 and a client device 300 . The communication system may further include surveillance camera 400 and encoder 500 .
Thus, the communication system includes multiple generators. FIG. 1 also shows three generators. However, the number of generators is not limited to three.
For example, the management server 100 connects to the client device 300 via the network 10 .

管理サーバ１００は、情報処理装置とも言う。
生成装置２００，２０１，２０２は、サーバ又はＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）と考えてもよい。生成装置２００，２０１，２０２は、映像に基づいて、画像を生成することができる。なお、映像は、複数の画像である。
ここで、通信システムでは、１つの生成装置が画像を生成するものとする。例えば、当該１つの生成装置は、生成装置２００とする。また、生成装置２００は、第１の生成装置とも言う。
クライアント装置３００は、ブラウザを有する。クライアント装置３００は、画像をブラウザで表示する。なお、クライアント装置３００は、ＰＣと考えてもよい。 The management server 100 is also called an information processing device.
The generation devices 200, 201, and 202 may be considered as servers or PCs (Personal Computers). The generating devices 200, 201, and 202 can generate images based on video. Note that the video is a plurality of images.
Here, in the communication system, one generating device shall generate an image. For example, the one generation device is the generation device 200 . The generation device 200 is also referred to as a first generation device.
The client device 300 has a browser. The client device 300 displays images on the browser. Note that the client device 300 may be considered as a PC.

次に、クライアント装置３００が画像を表示するまでを説明する。
エンコーダ５００は、監視カメラ４００から映像を取得する。エンコーダ５００は、映像をエンコードする。生成装置２００は、エンコードされた映像をデコードする。生成装置２００は、デコードされた映像に基づいて、画像を生成する。生成装置２００は、生成した画像をクライアント装置３００に送信する。クライアント装置３００は、生成装置２００が生成した画像を受信した場合、生成装置２００が生成した画像をブラウザで表示する。これにより、ユーザは、クライアント装置３００を用いた監視を実行できる。 Next, a process until the client device 300 displays an image will be described.
Encoder 500 acquires video from surveillance camera 400 . Encoder 500 encodes video. The generating device 200 decodes the encoded video. The generation device 200 generates an image based on the decoded video. The generation device 200 transmits the generated image to the client device 300 . When the image generated by the generation device 200 is received, the client device 300 displays the image generated by the generation device 200 on the browser. Thereby, the user can perform monitoring using the client device 300 .

エンコーダ５００は、エンコードされた映像を送信する場合、マルチキャスト又はユニキャストを用いてもよい。ここで、後述する画像生成送信指示を受信した生成装置が、画像を生成する。例えば、生成装置２００は、クライアント装置３００が送信した画像生成送信指示を受信する。そのため、生成装置２００が、画像を生成する。また、画像生成送信指示を受信していない生成装置２０１，２０２は、画像を生成しない。例えば、エンコーダ５００がマルチキャストを用いてエンコードした映像を送信した場合、生成装置２０１，２０２は、次のように処理を行う。生成装置２０１，２０２は、画像生成送信指示を受信していないため、エンコードされた映像を受信しても、エンコードされた映像を廃棄する。また、当該処理は、次のように考えてもよい。生成装置２０１，２０２は、クライアント装置３００との間でコネクションを確立していないため、エンコードされた映像を廃棄する。 Encoder 500 may use multicast or unicast when transmitting encoded video. Here, the generation device that has received an image generation transmission instruction, which will be described later, generates an image. For example, the generation device 200 receives an image generation transmission instruction transmitted by the client device 300 . Therefore, the generating device 200 generates an image. Also, the generation devices 201 and 202 that have not received the image generation transmission instruction do not generate an image. For example, when the encoder 500 transmits encoded video using multicast, the generation devices 201 and 202 perform processing as follows. Since the generation devices 201 and 202 have not received the image generation transmission instruction, even if they receive the encoded video, they discard the encoded video. Moreover, you may consider the said process as follows. Since the generation devices 201 and 202 have not established a connection with the client device 300, they discard the encoded video.

次に、管理サーバ１００が有するハードウェアについて説明する。
図２は、実施の形態１の管理サーバが有するハードウェアの構成を示す図である。管理サーバ１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２、及びＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１０３を有する。 Next, hardware included in the management server 100 will be described.
FIG. 2 is a diagram illustrating a hardware configuration of a management server according to the first embodiment; The management server 100 has a CPU (Central Processing Unit) 101 , a RAM (Random Access Memory) 102 and a HDD (Hard Disk Drive) 103 .

ここで、ＣＰＵは、プロセッサとも言う。ＲＡＭは、メモリとも言う。
また、生成装置２００，２０１，２０２、及びクライアント装置３００は、管理サーバ１００と同様に、ＣＰＵ、ＲＡＭ、及びＨＤＤを有する。 Here, the CPU is also called a processor. RAM is also called memory.
Also, the generation devices 200 , 201 , 202 and the client device 300 have CPUs, RAMs, and HDDs, like the management server 100 .

図３は、実施の形態１の管理サーバの構成を示す機能ブロック図である。
管理サーバ１００は、通信部１１０、状態管理部１２０、判定部１３０、及び指示部１４０を有する。 3 is a functional block diagram showing the configuration of a management server according to the first embodiment; FIG.
The management server 100 has a communication section 110 , a state management section 120 , a determination section 130 and an instruction section 140 .

通信部１１０、状態管理部１２０、判定部１３０、及び指示部１４０の一部又は全部は、ＣＰＵ１０１によって実現してもよい。通信部１１０、状態管理部１２０、判定部１３０、及び指示部１４０の一部又は全部は、ＣＰＵ１０１が実行するプログラムのモジュールとして実現してもよい。 A part or all of the communication unit 110 , the state management unit 120 , the determination unit 130 , and the instruction unit 140 may be implemented by the CPU 101 . A part or all of the communication unit 110, the state management unit 120, the determination unit 130, and the instruction unit 140 may be implemented as modules of a program executed by the CPU 101. FIG.

通信部１１０は、生成装置２００，２０１，２０２から定期的に負荷情報を受信する。通信部１１０は、他の装置を介して、負荷情報を受信してもよい。なお、図１は、他の装置の図示を省略している。
負荷情報は、生成装置の負荷状態を示す情報である。具体的には、負荷情報は、ＣＰＵの使用率及びメモリの使用量のうちの少なくとも１つ以上を示す。例えば、生成装置２００が送信する負荷情報は、生成装置２００が有するＣＰＵの使用率及び生成装置２００が有するＲＡＭの使用量のうちの１つ以上を示す。 The communication unit 110 periodically receives load information from the generating devices 200 , 201 and 202 . The communication unit 110 may receive load information via another device. Note that FIG. 1 omits illustration of other devices.
The load information is information indicating the load state of the generating device. Specifically, the load information indicates at least one of the CPU usage rate and the memory usage amount. For example, the load information transmitted by the generation device 200 indicates one or more of the usage rate of the CPU of the generation device 200 and the usage amount of the RAM of the generation device 200 .

状態管理部１２０は、画像を生成する装置を管理する。例えば、状態管理部１２０は、画像を生成する装置である生成装置２００を管理する。
判定部１３０と指示部１４０の機能については、後で説明する。 The state management unit 120 manages devices that generate images. For example, the state management unit 120 manages the generation device 200, which is a device that generates images.
Functions of the determination unit 130 and the instruction unit 140 will be described later.

ここで、生成装置２００，２０１，２０２の機能ブロックは、同じである。そのため、生成装置２００の機能ブロックを説明する。そして、生成装置２０１，２０２の機能ブロックの説明は、省略する。
図４は、実施の形態１の生成装置の構成を示す機能ブロック図である。生成装置２００は、通信部２１０、状態管理部２２０、生成部２３０、及び状態取得部２４０を有する。 Here, the functional blocks of the generators 200, 201 and 202 are the same. Therefore, the functional blocks of the generation device 200 will be described. A description of the functional blocks of the generators 201 and 202 is omitted.
4 is a functional block diagram showing the configuration of the generation device according to Embodiment 1. FIG. The generation device 200 has a communication section 210 , a state management section 220 , a generation section 230 and a state acquisition section 240 .

通信部２１０、状態管理部２２０、生成部２３０、及び状態取得部２４０の一部又は全部は、生成装置２００が有するＣＰＵによって実現してもよい。通信部２１０、状態管理部２２０、生成部２３０、及び状態取得部２４０の一部又は全部は、生成装置２００が有するＣＰＵが実行するプログラムのモジュールとして実現してもよい。 A part or all of the communication unit 210 , the state management unit 220 , the generation unit 230 , and the state acquisition unit 240 may be implemented by the CPU of the generation device 200 . Some or all of the communication unit 210 , the state management unit 220 , the generation unit 230 , and the state acquisition unit 240 may be realized as modules of programs executed by the CPU of the generation device 200 .

通信部２１０は、エンコーダ５００によりエンコードされた映像を受信する。また、通信部２１０は、クライアント装置３００から画像生成送信指示を受信する。通信部２１０は、画像生成送信指示を受信したことを状態管理部２２０に通知する。
状態管理部２２０は、当該通知を受信した場合、画像生成を生成部２３０に指示する。 The communication unit 210 receives video encoded by the encoder 500 . The communication unit 210 also receives an image generation transmission instruction from the client device 300 . Communication unit 210 notifies state management unit 220 that the image generation transmission instruction has been received.
Upon receiving the notification, the state management unit 220 instructs the generation unit 230 to generate an image.

生成部２３０は、エンコードされた映像をデコードする。生成部２３０は、デコードされた映像に基づいて、画像を生成する。そして、通信部２１０は、生成された画像をクライアント装置３００に送信する。
状態取得部２４０は、定期的に負荷情報を取得する。そして、状態取得部２４０は、通信部２１０を介して、負荷情報を管理サーバ１００に送信する。 The generator 230 decodes the encoded video. Generation unit 230 generates an image based on the decoded video. The communication unit 210 then transmits the generated image to the client device 300 .
The state acquisition unit 240 periodically acquires load information. The state acquisition unit 240 then transmits the load information to the management server 100 via the communication unit 210 .

次に、通信システムで実行される処理を説明する。
図５は、実施の形態１の通信システムで実行される処理を示すシーケンス図（その１）である。
（ステップＳ１０１）生成装置２００の通信部２１０は、管理サーバ１００に接続する。
ここで、ステップＳ１０１では、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）が用いられる。 Next, processing executed in the communication system will be described.
FIG. 5 is a sequence diagram (part 1) showing processing executed in the communication system according to the first embodiment;
(Step S101 ) The communication unit 210 of the generation device 200 connects to the management server 100 .
Here, in step S101, TCP (Transmission Control Protocol) is used.

（ステップＳ１０２）クライアント装置３００は、管理サーバ１００に接続する。
（ステップＳ１０３）管理サーバ１００の指示部１４０は、通信部１１０を介して、生成装置２００との通信を開始して生成装置２００に画像生成送信指示を送信することをクライアント装置３００に指示する。
ここで、ステップＳ１０２，１０３では、ＷｅｂＳｏｃｋｅｔプロトコルが用いられる。 (Step S102 ) The client device 300 connects to the management server 100 .
(Step S103 ) The instruction unit 140 of the management server 100 instructs the client device 300 via the communication unit 110 to start communication with the generation device 200 and transmit an image generation transmission instruction to the generation device 200 .
Here, the WebSocket protocol is used in steps S102 and S103.

（ステップＳ１０４）生成装置２００とクライアント装置３００は、シグナリングを行う。これにより、生成装置２００とクライアント装置３００との間では、コネクションが確立する。コネクションは、ＤａｔａＣｈａｎｎｅｌと表現してもよい。
（ステップＳ１０５）クライアント装置３００は、エンコーダ５００のＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレスを生成装置２００に送信する。
これにより、生成装置２００は、エンコードされた映像に含まれている送信元のＩＰアドレスとエンコーダ５００のＩＰアドレスとを比較することで、エンコーダ５００が送信した映像であることを検出できる。 (Step S104) The generation device 200 and the client device 300 perform signaling. Thereby, a connection is established between the generation device 200 and the client device 300 . A connection may be expressed as a DataChannel.
(Step S105 ) The client device 300 transmits the IP (Internet Protocol) address of the encoder 500 to the generation device 200 .
As a result, the generation device 200 can detect that the video is transmitted by the encoder 500 by comparing the source IP address included in the encoded video with the IP address of the encoder 500 .

（ステップＳ１０６）クライアント装置３００は、画像生成送信指示を生成装置２００に送信する。
（ステップＳ１０７）生成装置２００は、映像に基づいて生成された画像をクライアント装置３００に送信する。 (Step S106 ) The client device 300 transmits an image generation transmission instruction to the generation device 200 .
(Step S107 ) The generating device 200 transmits the image generated based on the video to the client device 300 .

生成装置２００は、画像を生成する度に、生成した画像をクライアント装置３００に送信する。
ここで、ステップＳ１０５～１０７では、ＷｅｂＲＴＣ（ＷｅｂＲｅａｌ－ＴｉｍｅＣｏｍｍｕｎｉｃａｔｉｏｎ）プロトコルのＤａｔａＣｈａｎｎｅｌが用いられる。 The generation device 200 transmits the generated image to the client device 300 each time it generates an image.
Here, in steps S105 to S107, DataChannel of WebRTC (WebReal-Time Communication) protocol is used.

図６は、実施の形態１の通信システムで実行される処理を示すシーケンス図（その２）である。
（ステップＳ１１１）生成装置２００の状態取得部２４０は、通信部２１０を介して、負荷情報を管理サーバ１００に送信する。
（ステップＳ１１２）生成装置２０１の状態取得部は、生成装置２０１の通信部を介して、負荷情報を管理サーバ１００に送信する。
（ステップＳ１１３）生成装置２０２の状態取得部は、生成装置２０２の通信部を介して、負荷情報を管理サーバ１００に送信する。
なお、ステップＳ１１１～１１３では、ＴＣＰが用いられる。 FIG. 6 is a sequence diagram (part 2) showing processing executed in the communication system according to the first embodiment.
(Step S111 ) The state acquisition unit 240 of the generation device 200 transmits load information to the management server 100 via the communication unit 210 .
(Step S112 ) The state acquisition unit of the generation device 201 transmits load information to the management server 100 via the communication unit of the generation device 201 .
(Step S113 ) The state acquisition unit of the generation device 202 transmits load information to the management server 100 via the communication unit of the generation device 202 .
Note that TCP is used in steps S111 to S113.

（ステップＳ１１４）管理サーバ１００の判定部１３０は、生成装置２００が送信した負荷情報に基づいて、生成装置２００が実行する、生成装置２００が生成した画像の送信処理を停止させるか否かを判定する。
具体的には、管理サーバ１００の判定部１３０は、生成装置２００が有するＣＰＵの使用率が予め決められた第１の閾値以上の場合、送信処理を停止させると判定する。また、管理サーバ１００の判定部１３０は、生成装置２００が有するＲＡＭの使用量が予め決められた第２の閾値以上の場合、送信処理を停止させると判定してもよい。さらに、管理サーバ１００の判定部１３０は、生成装置２００が有するＣＰＵの使用率が第１の閾値以上であり、かつ生成装置２００が有するＲＡＭの使用量が予め決められた第２の閾値以上の場合、送信処理を停止させると判定してもよい。 (Step S114 ) Based on the load information transmitted by the generation device 200 , the determination unit 130 of the management server 100 determines whether or not to stop the transmission process of the image generated by the generation device 200 , which is executed by the generation device 200 . do.
Specifically, the determination unit 130 of the management server 100 determines to stop the transmission process when the usage rate of the CPU of the generation device 200 is equal to or higher than a predetermined first threshold. Further, the determination unit 130 of the management server 100 may determine that the transmission process should be stopped when the RAM usage of the generation device 200 is equal to or greater than a predetermined second threshold. Furthermore, the determination unit 130 of the management server 100 determines that the CPU usage rate of the generation device 200 is equal to or higher than the first threshold and the RAM usage of the generation device 200 is equal to or higher than a predetermined second threshold value. In this case, it may be determined to stop the transmission process.

ここで、管理サーバ１００の判定部１３０が、画像の送信処理を停止させると判定したものとする。
管理サーバ１００の指示部１４０は、生成装置２０１が送信した負荷情報と生成装置２０２が送信した負荷情報とを比較し、最も負荷が小さい生成装置を特定する。特定された生成装置は、生成装置２０１とする。
管理サーバ１００では、画像を生成する装置を生成装置２００から生成装置２０１に変更することが決定される。ここで、生成装置２０１は、第２の生成装置と考えてもよい。 Here, it is assumed that the determination unit 130 of the management server 100 determines to stop the image transmission process.
The instruction unit 140 of the management server 100 compares the load information transmitted by the generation device 201 and the load information transmitted by the generation device 202, and identifies the generation device with the lightest load. The specified generation device is assumed to be the generation device 201 .
The management server 100 determines to change the image generation device from the generation device 200 to the generation device 201 . Here, the generating device 201 may be considered as a second generating device.

（ステップＳ１１５）管理サーバ１００の指示部１４０は、生成装置２００との通信を停止すること、及び生成装置２０１との通信を開始して生成装置２０１に画像生成送信指示を送信することをクライアント装置３００に指示する。なお、画像生成送信指示は、画像の生成と送信を指示するものである。 (Step S115 ) The instruction unit 140 of the management server 100 instructs the client device to stop communication with the generation device 200 , start communication with the generation device 201 , and transmit an image generation transmission instruction to the generation device 201 . Point to 300. Note that the image generation and transmission instruction is for instructing generation and transmission of an image.

クライアント装置３００は、管理サーバ１００から指示を受けた場合、生成装置２００との通信を停止する。すなわち、クライアント装置３００は、生成装置２００とクライアント装置３００との間のコネクションを解除する。
これにより、生成装置２００は、画像の送信処理を停止する。また、生成装置２００は、画像を送信できないため、画像の生成処理も停止する。 The client device 300 stops communication with the generation device 200 when instructed by the management server 100 . That is, the client device 300 releases the connection between the generation device 200 and the client device 300 .
As a result, the generating device 200 stops the image transmission process. In addition, since the generation device 200 cannot transmit the image, the image generation processing is also stopped.

また、エンコーダ５００がユニキャストを用いてエンコードされた映像を送信している場合、管理サーバ１００の指示部１４０は、エンコードされた映像の送信先を生成装置２０１に変更するようにエンコーダ５００に指示する。 Also, when the encoder 500 is transmitting encoded video using unicast, the instruction unit 140 of the management server 100 instructs the encoder 500 to change the transmission destination of the encoded video to the generation device 201. do.

（ステップＳ１１６）生成装置２０１とクライアント装置３００は、シグナリングを行う。これにより、生成装置２０１とクライアント装置３００との間では、コネクションが確立する。そして、クライアント装置３００は、生成装置２０１との通信を開始する。
（ステップＳ１１７）クライアント装置３００は、エンコーダ５００のＩＰアドレスを生成装置２０１に送信する。
（ステップＳ１１８）クライアント装置３００は、生成装置２０１に画像生成送信指示を送信する。 (Step S116) The generation device 201 and the client device 300 perform signaling. Thereby, a connection is established between the generation device 201 and the client device 300 . The client device 300 then starts communication with the generation device 201 .
(Step S117 ) The client device 300 transmits the IP address of the encoder 500 to the generation device 201 .
(Step S118 ) The client device 300 transmits an image generation transmission instruction to the generation device 201 .

（ステップＳ１１９）生成装置２０１の生成部は、画像生成送信指示を受信した場合、エンコーダ５００によりエンコードされた映像をデコードする。生成装置２０１の生成部は、デコードされた映像に基づいて、画像を生成する。生成装置２０１の通信部は、生成された画像をクライアント装置３００に送信する。
ここで、ステップＳ１１７～１１９では、ＷｅｂＲＴＣプロトコルのＤａｔａＣｈａｎｎｅｌが用いられる。 (Step S119) The generation unit of the generation device 201 decodes the video encoded by the encoder 500 when receiving the image generation transmission instruction. A generation unit of the generation device 201 generates an image based on the decoded video. The communication unit of the generation device 201 transmits the generated image to the client device 300 .
Here, in steps S117 to S119, DataChannel of the WebRTC protocol is used.

生成装置２０１は、画像を生成する度に、生成した画像をクライアント装置３００に送信する。クライアント装置３００は、生成装置２０１が生成した画像を受信した場合、生成装置２０１が生成した画像をブラウザで表示する。
ステップＳ１０５，１１７では、クライアント装置３００がエンコーダ５００のＩＰアドレスを送信する場合を説明した。しかし、生成装置２００，２０１が予めエンコーダ５００のＩＰアドレスを記憶している場合、ステップＳ１０５，１１７は、実行されなくてよい。 The generation device 201 transmits the generated image to the client device 300 every time it generates an image. When the image generated by the generation device 201 is received, the client device 300 displays the image generated by the generation device 201 on the browser.
In steps S105 and S117, the case where the client device 300 transmits the IP address of the encoder 500 has been described. However, if the generating devices 200 and 201 store the IP address of the encoder 500 in advance, steps S105 and 117 need not be executed.

実施の形態１によれば、管理サーバ１００は、生成装置２００の負荷が大きい場合、他の生成装置が生成した画像をクライアント装置３００で表示させる。これにより、管理サーバ１００は、クライアント装置３００で画像が表示されなくなることを防止できる。よって、通信システムは、クライアント装置３００で画像を表示させることができる。また、生成装置２００、２０１、２０２はＨＴＴＰによる配信が必要ないため、サーバ機ではないどのようなＰＣであっても対応可能である。 According to Embodiment 1, the management server 100 causes the client device 300 to display an image generated by another generating device when the load on the generating device 200 is heavy. As a result, the management server 100 can prevent images from not being displayed on the client device 300 . Therefore, the communication system can display images on the client device 300 . In addition, since the generation apparatuses 200, 201, and 202 do not require HTTP distribution, any PC other than a server machine can be used.

実施の形態２．
次に、実施の形態２を説明する。実施の形態２は、実施の形態１と相違する事項を主に説明し、実施の形態１と共通する事項の説明を省略する。実施の形態２は、図２，４，５を参照する。 Embodiment 2.
Next, Embodiment 2 will be described. Embodiment 2 will mainly describe matters that are different from Embodiment 1, and will omit description of matters that are common to Embodiment 1. FIG. Embodiment 2 refers to FIGS.

図７は、実施の形態２の通信システムを示す図である。通信システムは、管理サーバ１００ａ、生成装置２００ａ，２０１ａ、及びクライアント装置３００ａを含む。通信システムは、さらに、監視カメラ４００及びエンコーダ５００を含んでもよい。
生成装置２００ａ，２０１ａのうちの１つの装置は、現用系の装置である。現用系の装置は、メインの装置と表現してもよい。また、残りの装置は、予備系の装置である。予備系の装置は、サブの装置と表現してもよい。 FIG. 7 is a diagram showing a communication system according to the second embodiment. The communication system includes a management server 100a, generation devices 200a and 201a, and a client device 300a. The communication system may further include surveillance camera 400 and encoder 500 .
One of the generators 200a and 201a is an active device. The active device may be expressed as a main device. The remaining devices are standby devices. A standby system device may be expressed as a sub device.

ここで、１つの生成装置は、現用系の装置又は予備系の装置になる。例えば、生成装置２００ａは、現用系の装置になる場合がある。また、生成装置２００ａは、予備系の装置になる場合がある。 Here, one generating device is a working system device or a standby system device. For example, the generation device 200a may be the active device. Also, the generation device 200a may be a standby device.

図８は、実施の形態２の管理サーバの構成を示す機能ブロック図である。管理サーバ１００ａは、通信部１１０ａ、状態管理部１２０ａ、及び指示部１４０ａを有する。
通信部１１０ａ、状態管理部１２０ａ、及び指示部１４０ａの機能については、後で説明する。 FIG. 8 is a functional block diagram showing the configuration of a management server according to the second embodiment; The management server 100a has a communication section 110a, a state management section 120a, and an instruction section 140a.
Functions of the communication unit 110a, the state management unit 120a, and the instruction unit 140a will be described later.

生成装置２００ａ，２０１ａの機能ブロックは、同じである。そのため、生成装置２００ａの機能ブロックを説明する。そして、生成装置２０１ａの機能ブロックの説明は、省略する。
図９は、実施の形態２の生成装置の構成を示す機能ブロック図である。図４に示される構成と同じ図９の構成は、図４に示される符号と同じ符号を付している。
生成装置２００ａは、受信判定部２５０を有する。受信判定部２５０の一部又は全部は、生成装置２００ａが有するＣＰＵによって実現してもよい。受信判定部２５０の一部又は全部は、生成装置２００ａが有するＣＰＵが実行するプログラムのモジュールとして実現してもよい。 The functional blocks of the generators 200a and 201a are the same. Therefore, the functional blocks of the generation device 200a will be described. A description of the functional blocks of the generation device 201a is omitted.
FIG. 9 is a functional block diagram showing the configuration of the generation device according to the second embodiment. 9 that are the same as those shown in FIG. 4 are assigned the same reference numerals as those shown in FIG.
The generation device 200 a has a reception determination section 250 . Part or all of the reception determination unit 250 may be realized by the CPU of the generation device 200a. Part or all of the reception determining unit 250 may be implemented as a module of a program executed by the CPU of the generating device 200a.

ここで、生成装置２００ａが現用系である場合、通信部２１０ａの機能は、通信部２１０と同じである。また、生成装置２００ａが現用系である場合、受信判定部２５０は、エンコードされた映像を受信している否かを判定する。受信判定部２５０は、予め決められた期間、エンコードされた映像を受信していない場合、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）の再起動を行う。この後、生成装置２００ａは、待機系に移行する。 Here, when the generation device 200a is the active system, the function of the communication unit 210a is the same as that of the communication unit 210. FIG. Also, when the generation device 200a is the active system, the reception determination unit 250 determines whether or not the encoded video is being received. The reception determination unit 250 restarts the NIC (Network Interface Card) when the encoded video is not received for a predetermined period. After that, the generation device 200a shifts to the standby system.

次に、生成装置２００ａが予備系である場合、通信部２１０ａは、次の機能を有する。通信部２１０ａは、定期的に、ヘルスチェックコマンドを生成装置２０１ａに送信する。なお、ヘルスチェックコマンドは、生成装置２０１ａが正常に動作しているかを確認するためのコマンドである。なお、正常に動作していない場合とは、生成装置２０１ａが停止している場合、又は、生成装置２０１ａの負荷が予め決められた閾値よりも高くなっている場合である。 Next, when the generation device 200a is a standby system, the communication unit 210a has the following functions. The communication unit 210a periodically transmits a health check command to the generation device 201a. Note that the health check command is a command for checking whether the generation device 201a is operating normally. Note that the case where the generation device 201a is not operating normally is the case where the generation device 201a is stopped, or the case where the load of the generation device 201a is higher than a predetermined threshold.

生成装置２００ａが予備系である場合、受信判定部２５０は、予め決められた時間内に、ヘルスチェックコマンドに対する応答を受信できるか否かを判定する。通信部２１０ａは、ヘルスチェックコマンドに対する応答が受信されなかった場合、生成装置２０１ａが異常であることを管理サーバ１００ａに通知する。
当該通知の後、通信部２１０ａは、画像生成送信指示をクライアント装置３００ａから受信する。これにより、予備系の生成装置２００ａは、現用系として動作する。 When the generation device 200a is a standby system, the reception determination unit 250 determines whether or not a response to the health check command can be received within a predetermined time. When the response to the health check command is not received, the communication unit 210a notifies the management server 100a that the generation device 201a is abnormal.
After the notification, the communication unit 210a receives the image generation transmission instruction from the client device 300a. As a result, the standby generation device 200a operates as an active system.

ここで、生成装置２００ａは、予備系の装置とする。生成装置２０１ａは、現用系の装置とする。また、生成装置２００ａは、第４の生成装置とも言う。生成装置２０１ａは、第３の生成装置とも言う。 Here, the generation device 200a is assumed to be a standby device. The generation device 201a is assumed to be an active device. The generation device 200a is also referred to as a fourth generation device. The generation device 201a is also called a third generation device.

次に、現用系の生成装置２０１ａが実行する処理を説明する。
図１０は、実施の形態２の現用系の生成装置が実行する処理を示すフローチャートである。
（ステップＳ１１）生成装置２０１ａの通信部は、生成装置２０１ａとクライアント装置３００ａとの間でコネクションを確立したか否かを判定する。コネクションが確立された場合、通信部は、処理をステップＳ１２に進める。コネクションが確立されていない場合、通信部は、待機する。 Next, processing executed by the active generation device 201a will be described.
FIG. 10 is a flowchart illustrating processing executed by the active generation device according to the second embodiment.
(Step S11) The communication unit of the generation device 201a determines whether or not a connection has been established between the generation device 201a and the client device 300a. When the connection is established, the communication unit advances the process to step S12. If the connection has not been established, the communication unit waits.

（ステップＳ１２）生成装置２０１ａの通信部は、エンコーダ５００のＩＰアドレスをクライアント装置３００ａから受信する。
（ステップＳ１３）生成装置２０１ａの通信部は、クライアント装置３００ａが送信した画像生成送信指示を受信する。
（ステップＳ１４）生成装置２０１ａの受信判定部は、エンコードされた映像を受信したか否かを判定する。当該映像が受信されている場合、受信判定部は、処理をステップＳ１５に進める。当該映像が受信されていない場合、受信判定部は、処理をステップＳ１８に進める。 (Step S12) The communication unit of the generation device 201a receives the IP address of the encoder 500 from the client device 300a.
(Step S13) The communication unit of the generation device 201a receives the image generation transmission instruction transmitted by the client device 300a.
(Step S14) The reception determination unit of the generation device 201a determines whether or not the encoded video has been received. If the video has been received, the reception determination unit advances the process to step S15. If the video has not been received, the reception determination unit advances the process to step S18.

（ステップＳ１５）生成装置２０１ａの生成部は、エンコーダ５００によりエンコードされた映像をデコードする。生成装置２０１ａの生成部は、デコードされた映像に基づいて画像を生成する。
（ステップＳ１６）生成装置２０１ａの通信部は、画像をクライアント装置３００ａに送信する。
これにより、クライアント装置３００ａは、画像を受信する。クライアント装置３００ａは、生成装置２０１ａが生成した画像を受信した場合、生成装置２０１ａが生成した画像をブラウザで表示する。 (Step S15 ) The generator of the generator 201 a decodes the video encoded by the encoder 500 . The generation unit of the generation device 201a generates an image based on the decoded video.
(Step S16) The communication unit of the generation device 201a transmits the image to the client device 300a.
Accordingly, the client device 300a receives the image. When receiving the image generated by the generation device 201a, the client device 300a displays the image generated by the generation device 201a on the browser.

（ステップＳ１７）生成装置２０１ａの通信部は、クライアント装置３００ａからコネクションの解除指示を受信したか否かを判定する。解除指示が受信された場合、通信部は、処理をステップＳ１９に進める。解除指示が受信されていない場合、通信部は、処理をステップＳ１４に進める。
（ステップＳ１８）生成装置２０１ａの受信判定部は、ＮＩＣを再起動する。そして、受信判定部は、処理をステップＳ１９に進める。
（ステップＳ１９）生成装置２０１ａの生成部は、画像の生成を停止する。 (Step S17) The communication unit of the generation device 201a determines whether or not a connection cancellation instruction has been received from the client device 300a. When the release instruction is received, the communication unit advances the process to step S19. If the release instruction has not been received, the communication unit advances the process to step S14.
(Step S18) The reception determination unit of the generation device 201a restarts the NIC. Then, the reception determination unit advances the process to step S19.
(Step S19) The generation unit of the generation device 201a stops generating the image.

次に、予備系の生成装置２００ａが実行する処理を説明する。
図１１は、実施の形態２の予備系の生成装置が実行する処理を示すフローチャートである。
（ステップＳ２１）通信部２１０ａは、予備系の装置であることを示す通知を管理サーバ１００から受信したか否かを判定する。なお、当該通知は、後述するステップＳ３３の通知である。
通知が受信された場合、通信部２１０ａは、処理をステップＳ２２に進める。通知が受信されていない場合、通信部２１０ａは、待機する。 Next, the processing executed by the backup generation device 200a will be described.
FIG. 11 is a flowchart illustrating processing executed by the backup generation device according to the second embodiment.
(Step S21) The communication unit 210a determines whether or not it has received from the management server 100 a notification indicating that it is a standby device. In addition, the said notification is the notification of step S33 mentioned later.
When the notification is received, the communication unit 210a advances the process to step S22. If the notification has not been received, the communication unit 210a waits.

（ステップＳ２２）通信部２１０ａは、ヘルスチェックコマンドを生成装置２０１ａに送信する。
（ステップＳ２３）受信判定部２５０は、ヘルスチェックコマンドに対する応答を、予め決められた時間内に、生成装置２０１ａから受信したか否かを判定する。
ヘルスチェックコマンドに対する応答が受信された場合、受信判定部２５０は、処理をステップＳ２２に進める。ヘルスチェックコマンドに対する応答が受信されなかった場合、受信判定部２５０は、処理をステップＳ２４に進める。 (Step S22) The communication unit 210a transmits the health check command to the generation device 201a.
(Step S23) The reception determination unit 250 determines whether or not a response to the health check command has been received from the generation device 201a within a predetermined time.
If a response to the health check command has been received, the reception determination unit 250 advances the process to step S22. If no response to the health check command has been received, the reception determination unit 250 advances the process to step S24.

（ステップＳ２４）通信部２１０ａは、生成装置２０１ａが異常であることを管理サーバ１００ａに通知する。また、通信部２１０ａは、生成装置２０１ａが停止状態であることを管理サーバ１００ａに通知してもよい。
なお、当該通知の後、通信部２１０ａは、画像生成送信指示をクライアント装置３００ａから受信する。これにより、予備系の生成装置２００ａは、現用系として動作する。すなわち、現用系の生成装置２００ａは、図１０の処理を行う。そして、現用系の生成装置２００ａは、生成した画像をクライアント装置３００ａに送信する。クライアント装置３００ａは、生成装置２００ａが生成した画像を受信した場合、生成装置２００ａが生成した画像をブラウザで表示する。 (Step S24) The communication unit 210a notifies the management server 100a that the generating device 201a is abnormal. Also, the communication unit 210a may notify the management server 100a that the generation device 201a is in a stopped state.
After the notification, the communication unit 210a receives the image generation transmission instruction from the client device 300a. As a result, the standby generation device 200a operates as an active system. That is, the active system generation device 200a performs the processing in FIG. Then, the active generation device 200a transmits the generated image to the client device 300a. When receiving the image generated by the generation device 200a, the client device 300a displays the image generated by the generation device 200a on the browser.

図１２は、実施の形態２の管理サーバが実行する処理を示すフローチャートである。
（ステップＳ３１）通信部１１０ａは、クライアント装置３００ａが送信した接続コマンドを受信したか否かを判定する。接続コマンドが受信された場合、通信部１１０ａは、処理をステップＳ３２に進める。接続コマンドが受信されていない場合、通信部１１０ａは、待機する。 FIG. 12 is a flowchart illustrating processing executed by a management server according to the second embodiment;
(Step S31) The communication unit 110a determines whether or not the connection command transmitted by the client device 300a has been received. When the connection command is received, the communication unit 110a advances the process to step S32. If the connection command has not been received, the communication unit 110a waits.

（ステップＳ３２）指示部１４０ａは、通信部１１０ａを介して、生成装置２０１ａとの通信を開始して生成装置２０１ａに画像生成送信指示を送信することをクライアント装置３００ａに指示する。
（ステップＳ３３）通信部１１０ａは、生成装置２００ａが予備系の装置であることを生成装置２００ａに通知する。 (Step S32) The instruction unit 140a instructs the client device 300a to start communication with the generation device 201a and transmit an image generation transmission instruction to the generation device 201a via the communication unit 110a.
(Step S33) The communication unit 110a notifies the generation device 200a that the generation device 200a is a standby device.

（ステップＳ３４）状態管理部１２０ａは、生成装置２０１ａが異常であることを示す通知を生成装置２００ａから受信したか否かを判定する。
当該通知が受信された場合、状態管理部１２０ａは、処理をステップＳ３５に進める。当該通知が受信されていない場合、状態管理部１２０ａは、待機する。 (Step S34) The state management unit 120a determines whether or not a notification indicating that the generation device 201a is abnormal has been received from the generation device 200a.
When the notification is received, the state management unit 120a advances the process to step S35. If the notification has not been received, the state management unit 120a waits.

（ステップＳ３５）指示部１４０ａは、生成装置２０１ａとの通信を停止すること、及び生成装置２００ａとの通信を開始して生成装置２００ａに画像生成送信指示を送信することをクライアント装置３００ａに指示する。
これにより、クライアント装置３００ａは、生成装置２０１ａとの通信を停止する。また、クライアント装置３００ａは、生成装置２００ａとの通信を開始し、生成装置２００ａに画像生成送信指示を送信する。 (Step S35) The instruction unit 140a instructs the client device 300a to stop communication with the generation device 201a, start communication with the generation device 200a, and transmit an image generation transmission instruction to the generation device 200a. .
As a result, the client device 300a stops communication with the generating device 201a. Further, the client device 300a starts communication with the generation device 200a and transmits an image generation transmission instruction to the generation device 200a.

また、エンコーダ５００がユニキャストを用いてエンコードされた映像を送信している場合、管理サーバ１００ａの指示部１４０ａは、エンコードされた映像の送信先を生成装置２００ａに変更するようにエンコーダ５００に指示する。 Further, when the encoder 500 is transmitting encoded video using unicast, the instruction unit 140a of the management server 100a instructs the encoder 500 to change the transmission destination of the encoded video to the generation device 200a. do.

実施の形態２によれば、予備系の生成装置２００ａは、ヘルスチェックコマンドを受信しなかった場合、現用系の生成装置２０１ａが異常であることを検出する。現用系の生成装置２０１ａが異常である場合、予備系の生成装置２００ａは、現用系として動作する。これにより、生成装置２００ａは、クライアント装置３００ａで画像が表示されなくなることを防止できる。よって、通信システムは、クライアント装置３００ａで画像を表示させることができ、ＰＣ単体では信頼性が不明であっても信頼性を確保した通信システムを構築することが可能となる。 According to the second embodiment, when the backup generation device 200a does not receive the health check command, it detects that the active generation device 201a is abnormal. When the active system generation device 201a is abnormal, the standby system generation device 200a operates as the active system. As a result, the generation device 200a can prevent images from not being displayed on the client device 300a. Therefore, the communication system can display images on the client device 300a, and even if the reliability of the PC alone is unknown, it is possible to construct a communication system that ensures reliability.

実施の形態３．
次に、実施の形態３を説明する。実施の形態３は、実施の形態１と相違する事項を主に説明し、実施の形態１と共通する事項の説明を省略する。実施の形態３は、図２，４を参照する。 Embodiment 3.
Next, Embodiment 3 will be described. Embodiment 3 will mainly describe matters that are different from Embodiment 1, and will omit description of matters that are common to Embodiment 1. FIG. Embodiment 3 refers to FIGS.

図１３は、実施の形態３の通信システムを示す図である。通信システムは、生成装置２００ｂ、クライアント装置３００ｂ，３０１ｂ、及びエンコーダ５００，５０１を含む。
監視カメラ４００は、エンコーダ５００に接続する。監視カメラ４００は、第１の撮像装置とも言う。エンコーダ５００は、第１のエンコーダとも言う。
監視カメラ４０１は、エンコーダ５０１に接続する。監視カメラ４０１は、第２の撮像装置とも言う。エンコーダ５０１は、第２のエンコーダとも言う。 FIG. 13 is a diagram showing a communication system according to Embodiment 3. FIG. The communication system includes a generating device 200b, client devices 300b, 301b, and encoders 500,501.
Surveillance camera 400 connects to encoder 500 . The monitoring camera 400 is also called a first imaging device. Encoder 500 is also referred to as a first encoder.
Surveillance camera 401 connects to encoder 501 . The monitoring camera 401 is also called a second imaging device. Encoder 501 is also called a second encoder.

クライアント装置３００ｂは、受信することで得られた画像をブラウザで表示する。クライアント装置３００ｂは、第１のクライアント装置とも言う。
クライアント装置３０１ｂは、受信することで得られた画像をブラウザで表示する。クライアント装置３０１ｂは、第２のクライアント装置とも言う。 The client device 300b displays the received image on the browser. Client device 300b is also referred to as a first client device.
The client device 301b displays the received image on the browser. The client device 301b is also called a second client device.

通信システムでは、画像がクライアント装置３００ｂに優先して表示される。クライアント装置３００ｂとクライアント装置３０１ｂの運用目的が、異なるからである。画像がクライアント装置３００ｂに優先して表示されるために、クライアント装置３００ｂとクライアント装置３０１ｂには、優先度が設定される。クライアント装置３００ｂの優先度は、クライアント装置３０１ｂの優先度よりも高い。すなわち、クライアント装置３０１ｂは、クライアント装置３００ｂよりも優先度が低い。 In the communication system, images are preferentially displayed on the client device 300b. This is because the client device 300b and the client device 301b have different operational purposes. A priority is set for the client device 300b and the client device 301b so that the image is preferentially displayed on the client device 300b. The priority of the client device 300b is higher than the priority of the client device 301b. That is, the client device 301b has a lower priority than the client device 300b.

図１４は、実施の形態３の生成装置の構成を示す機能ブロック図である。図４に示される構成と同じ図１４の構成は、図４に示される符号と同じ符号を付している。
生成装置２００ｂは、記憶部２６０、判定部２７０、及び廃棄部２８０を有する。
記憶部２６０は、生成装置２００ｂが有するＲＡＭ又はＨＤＤに確保した記憶領域として実現してもよい。 FIG. 14 is a functional block diagram showing the configuration of the generation device according to the third embodiment. 14 that are the same as those shown in FIG. 4 are assigned the same reference numerals as those shown in FIG.
The generation device 200 b has a storage unit 260 , a determination unit 270 and a discard unit 280 .
The storage unit 260 may be implemented as a storage area secured in the RAM or HDD of the generation device 200b.

判定部２７０及び廃棄部２８０の一部又は全部は、生成装置２００ｂが有するＣＰＵによって実現してもよい。判定部２７０及び廃棄部２８０の一部又は全部は、生成装置２００ｂが有するＣＰＵが実行するプログラムのモジュールとして実現してもよい。
通信部２１０の機能は、受信部２１１と送信部２１２で実現される。受信部２１１は、エンコーダ５００によりエンコードされた映像を受信する。受信部２１１は、エンコーダ５０１によりエンコードされた映像を受信する。 Part or all of the determining unit 270 and the discarding unit 280 may be realized by the CPU of the generating device 200b. Part or all of the determining unit 270 and the discarding unit 280 may be implemented as modules of programs executed by the CPU of the generating device 200b.
The function of the communication unit 210 is implemented by the reception unit 211 and the transmission unit 212 . The receiving unit 211 receives the video encoded by the encoder 500 . The receiving unit 211 receives the video encoded by the encoder 501 .

生成部２３０は、エンコーダ５００によりエンコードされた映像をデコードする。生成部２３０は、デコードされた第１の映像に基づいて画像を生成する。そして、送信部２１２は、第１の映像に基づいて生成された画像をクライアント装置３００ｂに送信する。
また、生成部２３０は、エンコーダ５０１によりエンコードされた映像をデコードする。生成部２３０は、デコードされた第２の映像に基づいて画像を生成する。そして、送信部２１２は、第２の映像に基づいて生成された画像をクライアント装置３０１ｂに送信する。 The generation unit 230 decodes the video encoded by the encoder 500 . Generation unit 230 generates an image based on the decoded first video. Then, the transmission unit 212 transmits the image generated based on the first video to the client device 300b.
The generation unit 230 also decodes the video encoded by the encoder 501 . The generator 230 generates an image based on the decoded second video. Then, the transmission unit 212 transmits the image generated based on the second video to the client device 301b.

状態取得部２４０は、負荷情報を取得する。負荷情報は、生成装置２００ｂの負荷状態を示す。具体的には、負荷情報は、生成装置２００ｂが有するＣＰＵの使用率及び生成装置２００ｂが有するメモリの使用量のうちの少なくとも１つ以上を示す。
記憶部２６０は、エンコーダ５００のＩＰアドレスとクライアント装置３００ｂとの対応関係を示す情報を記憶する。また、記憶部２６０は、エンコーダ５０１のＩＰアドレスとクライアント装置３０１ｂとの対応関係を示す情報を記憶する。 The state acquisition unit 240 acquires load information. The load information indicates the load state of the generating device 200b. Specifically, the load information indicates at least one of the usage rate of the CPU of the generation device 200b and the usage amount of the memory of the generation device 200b.
The storage unit 260 stores information indicating the correspondence relationship between the IP address of the encoder 500 and the client device 300b. The storage unit 260 also stores information indicating the correspondence between the IP address of the encoder 501 and the client device 301b.

判定部２７０は、エンコーダ５００によりエンコードされた映像に含まれている送信元のＩＰアドレスと記憶部２６０が記憶する情報に基づいて、当該映像がデコードされた映像に基づいて生成される画像がクライアント装置３００ｂに送信されることを判定できる。
また、判定部２７０は、エンコーダ５０１によりエンコードされた映像に含まれている送信元のＩＰアドレスと記憶部２６０が記憶する情報に基づいて、当該映像がデコードされた映像に基づいて生成される画像がクライアント装置３０１ｂに送信されることを判定できる。 Based on the IP address of the transmission source included in the video encoded by the encoder 500 and the information stored in the storage unit 260, the determination unit 270 determines whether the image generated based on the video decoded by the encoder 500 is the client. It can be determined to be transmitted to device 300b.
Further, the determination unit 270 determines an image generated based on the video decoded from the video encoded by the encoder 501 based on the IP address of the transmission source included in the video and the information stored in the storage unit 260. is sent to the client device 301b.

判定部２７０は、受信部２１１がエンコーダ５０１によりエンコードされた映像を受信した場合、負荷情報に基づいて、生成処理を生成部２３０に実行させるか否かを判定する。なお、生成処理とは、第２の映像に基づいて画像を生成する処理である。 When the receiving unit 211 receives the video encoded by the encoder 501, the determination unit 270 determines whether or not to cause the generation unit 230 to perform the generation process based on the load information. Note that the generating process is a process of generating an image based on the second video.

ここで、判定部２７０が実行する処理を詳細に説明する。判定部２７０は、生成装置２００ｂが有するＣＰＵの使用率が予め決められた第３の閾値以上の場合、生成処理を生成部２３０に実行させないと判定する。また、判定部２７０は、生成装置２００ｂが有するＲＡＭの使用量が予め決められた第４の閾値以上の場合、生成処理を生成部２３０に実行させないと判定してもよい。さらに、判定部２７０は、生成装置２００ｂが有するＣＰＵの使用率が第３の閾値以上であり、かつ生成装置２００ｂが有するＲＡＭの使用量が第４の閾値以上の場合、生成処理を生成部２３０に実行させないと判定してもよい。 Here, the processing executed by the determination unit 270 will be described in detail. The determination unit 270 determines not to cause the generation unit 230 to execute the generation process when the usage rate of the CPU of the generation device 200b is equal to or higher than a predetermined third threshold. Further, the determining unit 270 may determine not to cause the generating unit 230 to execute the generating process when the RAM usage of the generating device 200b is equal to or greater than a predetermined fourth threshold. Furthermore, when the usage rate of the CPU of the generation device 200b is equal to or greater than the third threshold and the usage of the RAM of the generation device 200b is equal to or greater than the fourth threshold, the determination unit 270 causes the generation unit 230 to perform generation processing. may be determined not to be executed.

廃棄部２８０は、生成処理を生成部２３０に実行させないと判定された場合、受信部２１１により受信されたエンコーダ５０１によりエンコードされた映像を廃棄する。 The discarding unit 280 discards the video encoded by the encoder 501 received by the receiving unit 211 when it is determined not to cause the generating unit 230 to execute the generation process.

次に、生成装置２００ｂが実行する処理を説明する。
図１５は、実施の形態３の生成装置が実行する処理を示すフローチャートである。なお、図１５では、生成装置２００ｂとクライアント装置３００ｂとの間、生成装置２００ｂとクライアント装置３０１ｂとの間では、コネクションが確立されているものとする。また、図１５では、生成装置２００ｂが画像を送信する処理の説明は、省略する。さらに、生成装置２００ｂは、エンコードされた映像を受信したときに図１５の処理を実行する。 Next, processing executed by the generation device 200b will be described.
15 is a flowchart illustrating processing executed by the generation device according to Embodiment 3. FIG. Note that in FIG. 15, connections are established between the generation device 200b and the client device 300b, and between the generation device 200b and the client device 301b. Also, in FIG. 15, the description of the process of transmitting the image by the generation device 200b is omitted. Further, the generation device 200b performs the processing of FIG. 15 when receiving the encoded video.

（ステップＳ４１）状態取得部２４０は、ＣＰＵの使用率を取得する。
（ステップＳ４２）判定部２７０は、デコードされた映像に基づいて生成される画像の送信先がクライアント装置３０１ｂであるか否かを判定する。
送信先がクライアント装置３０１ｂである場合、判定部２７０は、処理をステップＳ４３に進める。送信先がクライアント装置３００ｂである場合、判定部２７０は、処理をステップＳ４４に進める。 (Step S41) The state acquisition unit 240 acquires the usage rate of the CPU.
(Step S42) The determination unit 270 determines whether or not the destination of the image generated based on the decoded video is the client device 301b.
If the destination is the client device 301b, the determination unit 270 advances the process to step S43. If the destination is client device 300b, determination unit 270 advances the process to step S44.

ステップＳ４２の処理は、次のように考えてもよい。判定部２７０は、受信部２１１がエンコーダ５０１によりエンコードされた映像を受信したか否かを判定する。受信部２１１がエンコーダ５０１によりエンコードされた映像を受信した場合、判定部２７０は、処理をステップＳ４３に進める。受信部２１１がエンコーダ５００によりエンコードされた映像を受信した場合、判定部２７０は、処理をステップＳ４４に進める。 The process of step S42 may be considered as follows. The determination unit 270 determines whether or not the reception unit 211 has received the video encoded by the encoder 501 . When the receiving unit 211 receives the video encoded by the encoder 501, the determining unit 270 advances the process to step S43. When the receiving unit 211 receives the video encoded by the encoder 500, the determining unit 270 advances the process to step S44.

（ステップＳ４３）判定部２７０は、ステップＳ４１で取得されたＣＰＵの使用率が閾値以上であるか否かを判定する。なお、当該閾値は、第３の閾値である。ＣＰＵの使用率が閾値よりも小さい場合、判定部２７０は、処理をステップＳ４４に進める。ＣＰＵの使用率が閾値以上である場合、廃棄部２８０は、エンコードされた映像を廃棄する。そして、廃棄部２８０は、処理をステップＳ４１に進める。 (Step S43) The determination unit 270 determines whether or not the CPU usage rate obtained in step S41 is equal to or greater than a threshold. Note that the threshold is the third threshold. If the CPU usage rate is less than the threshold, the determination unit 270 advances the process to step S44. If the CPU usage rate is equal to or higher than the threshold, the discarding unit 280 discards the encoded video. Then, the discarding unit 280 advances the process to step S41.

（ステップＳ４４）生成部２３０は、エンコードされた映像をデコードする。生成部２３０は、デコードされた映像に基づいて画像を生成する。 (Step S44) The generator 230 decodes the encoded video. Generation unit 230 generates an image based on the decoded video.

実施の形態３によれば、生成装置２００ｂは、クライアント装置３００ｂに画像を送信する。これにより、クライアント装置３００ｂは、ブラウザで画像を表示することができる。また、生成装置２００ｂは、ＣＰＵ使用率が閾値以上である場合、エンコーダ５０１によりエンコードされた映像を廃棄するので、画像を生成しない。そのため、生成装置２００ｂは、生成装置２００ｂの処理負荷が大きくなることを防止できる。すなわち、生成装置２００ｂは、生成装置２００ｂが停止することを防止できる。生成装置２００ｂが停止しないため、生成装置２００ｂは、少なくともクライアント装置３００ｂで画像を表示させることができる。 According to Embodiment 3, the generating device 200b transmits the image to the client device 300b. This allows the client device 300b to display images on the browser. Also, when the CPU usage rate is equal to or higher than the threshold, the generation device 200b discards the video encoded by the encoder 501, and therefore does not generate an image. Therefore, the generation device 200b can prevent the processing load of the generation device 200b from increasing. That is, the generation device 200b can prevent the generation device 200b from stopping. Since the generation device 200b does not stop, the generation device 200b can display an image on at least the client device 300b.

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。 The features of the embodiments described above can be combined as appropriate.

１０ネットワーク、１００，１００ａ管理サーバ、１０１ＣＰＵ、１０２ＲＡＭ、１０３ＨＤＤ、１１０，１１０ａ通信部、１２０，１２０ａ状態管理部、１３０判定部、１４０，１４０ａ指示部、２００，２００ａ，２００ｂ，２０１，２０１ａ，２０２生成装置、２１０，２１０ａ通信部、２１１受信部、２１２送信部、２２０状態管理部、２３０生成部、２４０状態取得部、２５０受信判定部、２６０記憶部、２７０判定部、２８０廃棄部、３００，３００ａ，３００ｂ，３０１ｂクライアント装置、４００，４０１監視カメラ、５００，５０１エンコーダ。 10 Network 100, 100a Management Server 101 CPU 102 RAM 103 HDD 110, 110a Communication Unit 120, 120a State Management Unit 130 Judgment Unit 140, 140a Instruction Unit 200, 200a, 200b, 201, 201a , 202 generation device, 210, 210a communication unit, 211 reception unit, 212 transmission unit, 220 state management unit, 230 generation unit, 240 state acquisition unit, 250 reception determination unit, 260 storage unit, 270 determination unit, 280 discard unit, 300,300a,300b,301b client device, 400,401 surveillance camera, 500,501 encoder.

Claims

a client device;
a plurality of generating devices, including a first generating device that decodes video encoded by an encoder, generates an image based on the decoded video, and transmits the generated image to the client device;
an information processing device;
including
When the client device receives the image generated by the first generation device, the client device displays the image generated by the first generation device on a browser;
The information processing device is
A transmission process of an image generated by the first generation device, which is executed by the first generation device based on the load information, which is information indicating the load state of the first generation device. to determine whether to stop the
If it is determined to stop the transmission process, stop communication with the first generation device, and start communication with a second generation device included in the plurality of generation devices to perform the second generation device. instructing the client device to transmit an image generation transmission instruction instructing generation and transmission of an image to the generation device;
When the client device receives an instruction from the information processing device, the client device stops communication with the first generation device, starts communication with the second generation device, and sends the second generation device the Send an image generation transmission instruction,
When receiving the image generation transmission instruction, the second generation device decodes the video encoded by the encoder, generates an image based on the decoded video, and transmits the generated image to the client device. send and
When the client device receives the image generated by the second generation device, the client device displays the image generated by the second generation device on the browser.
Communications system.

the load information indicates the usage rate of the processor of the first generation device;
The information processing device determines to stop the transmission process when the usage rate of the processor is equal to or higher than a predetermined first threshold.
A communication system according to claim 1.

The load information indicates the amount of memory used by the first generation device,
The information processing device determines to stop the transmission process when the usage amount of the memory is equal to or greater than a predetermined second threshold.
A communication system according to claim 1 or 2.

When the information processing device determines to stop the transmission process, the information processing device sets the transmission destination of the encoded video to the encoder that is transmitting the encoded video using unicast to the second generation device. instruct to change
A communication system according to any one of claims 1 to 3.

a client device;
a third generating device that decodes the video encoded by the encoder, generates an image based on the decoded video, and transmits the generated image to the client device;
a fourth generator;
an information processing device;
including
When the client device receives the image generated by the third generation device, the client device displays the image generated by the third generation device on a browser;
The fourth generator,
sending a health check command, which is a command for checking whether it is operating normally, to the third generation device;
notifying the information processing device that the third generation device is abnormal if a response to the health check command is not received from the third generation device within a predetermined time;
When the information processing device receives the notification, the information processing device stops communication with the third generation device, starts communication with the fourth generation device, and transmits an image to the fourth generation device. instructing the client device to transmit an image generation transmission instruction for instructing generation and transmission of
When the client device receives an instruction from the information processing device, the client device stops communication with the third generation device, starts communication with the fourth generation device, and sends the fourth generation device the Send an image generation transmission instruction,
When receiving the image generation transmission instruction, the fourth generation device decodes the video encoded by the encoder, generates an image based on the decoded video, and transmits the generated image to the client device. send and
When the client device receives the image generated by the fourth generation device, the client device displays the image generated by the fourth generation device on the browser.
Communications system.

When the information processing device receives the notification, the information processing device causes the encoder transmitting the encoded video using unicast to change the transmission destination of the encoded video to the fourth generation device. direct,
A communication system according to claim 5.