JP6917038B2

JP6917038B2 - Image transfer relay device and its control method

Info

Publication number: JP6917038B2
Application number: JP2017240495A
Authority: JP
Inventors: 昌仁田中; 悠青山
Original assignee: Silex Technology Inc
Current assignee: Silex Technology Inc
Priority date: 2017-12-15
Filing date: 2017-12-15
Publication date: 2021-08-11
Anticipated expiration: 2037-12-15
Also published as: JP2019110380A

Description

本発明は、端末と表示装置との間を中継する画像転送中継装置、および、その制御方法に関する。 The present invention relates to an image transfer relay device that relays between a terminal and a display device, and a control method thereof.

近年、コンピュータの普及に伴い、電子黒板やタブレット端末などの通信機能を備えた装置を用いて授業を行う、教育支援システムが普及してきている。このようなシステムでは、教師が使用する通信端末（以後、教師用端末とも呼ぶ）から大画面ディスプレイ装置にコンテンツを表示したり、複数の生徒がそれぞれ使用する通信端末（以後、生徒用端末とも呼ぶ）が教師用端末との間で通信できることが求められる。 In recent years, with the spread of computers, an educational support system that conducts lessons using a device having a communication function such as an electronic blackboard or a tablet terminal has become widespread. In such a system, content is displayed on a large screen display device from a communication terminal used by a teacher (hereinafter, also referred to as a teacher terminal), or a communication terminal used by a plurality of students (hereinafter, also referred to as a student terminal). ) Is required to be able to communicate with the teacher terminal.

また、これら通信端末は、無線通信用のインタフェースも備えている。そこで、上記の要望を満たしつつ、複数の通信端末の間で無線通信を可能とする中継装置が知られている（非特許文献１）。 In addition, these communication terminals also have an interface for wireless communication. Therefore, there is known a relay device that enables wireless communication between a plurality of communication terminals while satisfying the above requirements (Non-Patent Document 1).

非特許文献１に開示された中継装置は、有線または無線ネットワーク経由で離れた場所にある端末から当該端末上のコンテンツをディスプレイ機器に表示することもできる。このため、中継装置は、ＵＳＢｏｖｅｒＩＰ技術を利用するための仮想ネットワークドライバ（後述）を備え、ネットワーク接続された端末が、あたかも中継装置に接続されたディスプレイ機器と直接接続されている様にして、画像を表示することができる。 The relay device disclosed in Non-Patent Document 1 can also display the content on the terminal on the display device from the terminal located at a remote location via a wired or wireless network. Therefore, the relay device is provided with a virtual network driver (described later) for using the USB over IP technology, so that the network-connected terminal is directly connected to the display device connected to the relay device. , The image can be displayed.

一般的に端末からディスプレイ機器に送られる表示用デジタルデータは、ディスプレイ機器固有の装置情報に基づいて生成される。この固有の装置情報は、ＥＤＩＤ（ＥｘｔｅｎｄｅｄＤｉｓｐｌａｙＩｄｅｎｔｉｆｉｃａｔｉｏｎＤａｔａ）（以後、表示装置情報とも呼ぶ）であり、メーカ名、解像度、ビデオ信号の特性、色深度などの表示装置に関する情報などから構成されている。例えば、特許文献１には、映像表示装置は、ノートＰＣから入力する映像信号を受け、必要に応じて、入力された信号の解像度をユーザーインターフェース処理部において設定された情報に基づいて、ＥＤＩＤを生成し、映像表示装置のパネル解像度に合わせて解像度変換を行ってから表示する仕組みが記載されている。 Generally, digital display data sent from a terminal to a display device is generated based on device information unique to the display device. This unique device information is EDID (Extended Display Identification Data) (hereinafter, also referred to as display device information), and is composed of information related to the display device such as the manufacturer name, resolution, video signal characteristics, and color depth. .. For example, in Patent Document 1, the video display device receives a video signal input from a notebook PC, and if necessary, determines the resolution of the input signal based on the information set in the user interface processing unit. It describes a mechanism for generating and converting the resolution according to the panel resolution of the video display device before displaying.

特開２０１５−１６５６１７号公報Japanese Unexamined Patent Publication No. 2015-165617

サイレックス・テクノロジー株式会社ホームページ<http://www.silex.jp/products/netdap/sxnd4370wan.html>Silex Technology, Inc. Home Page <http://www.silex.jp/products/netdap/sxnd4370wan.html>

ところで、教師が、教師用端末からネットワークで接続された中継装置を介してディスプレイ装置にコンテンツ（画像および映像など）を表示しているとき、表示される画像のリソースが教師用端末以外の機器からのものに切り替わる場合がある。 By the way, when a teacher is displaying contents (images, videos, etc.) on a display device from a teacher terminal via a relay device connected by a network, the resource of the displayed image is from a device other than the teacher terminal. It may switch to the one.

この場合、中継装置と映像出力中の表示装置との間で物理的に接続が切断したり（例えば、ケーブルを抜き差しして切り替える場合など）、切替器によって、物理的またはソフトウェアによって切り替えることとなるが、その都度、表示装置と画像出力端末との間でＥＤＩＤの情報に基づく新たな接続設定が行われるため、映像が途切れ、視聴者（例えば、生徒など）は不快に感じる。 In this case, the connection between the relay device and the display device during video output is physically disconnected (for example, when switching by connecting / disconnecting the cable), or switching is performed physically or by software by the switch. However, since a new connection setting is made between the display device and the image output terminal each time based on the EDID information, the image is interrupted and the viewer (for example, a student) feels uncomfortable.

本発明は、上記課題の一部を解決するためになされたものであり、クライアント端末と表示装置との間を中継する画像転送中継装置は、表示装置との間で、接続が切断された後、切断前まで接続していた当該表示装置に再接続した場合には、復旧による画像出力を再開するまでの間を短縮することで視聴者の利便性を向上させることを目的とする。 The present invention has been made to solve a part of the above problems, and the image transfer relay device that relays between the client terminal and the display device is after the connection between the client terminal and the display device is disconnected. When the display device is reconnected to the display device that was connected before the disconnection, the purpose is to improve the convenience of the viewer by shortening the time until the image output is restarted by the restoration.

上記課題を解決するために、本発明の一態様に係る画像転送中継装置は、クライアント端末とネットワーク接続し、他の画像ソースとの切り替えのための切替手段を介して表示装置に接続され、クライアント端末から表示装置に向けて送信する画像データを中継する画像転送中継装置であって、クライアント端末から前記表示装置に向けて送信された、画像データを含むネットワークパケットを受信するネットワークＩＦ部と、ネットワークＩＦ部からネットワークパケットを受け取り、画像データを抽出するデータ変換部と、データ変換部で抽出された画像データを表示装置に表示可能となる様データ処理を行う画像処理部と、表示装置の表示装置情報を取得する情報取得部と、情報取得部で取得された表示装置情報を記憶する記憶部と、切替手段により表示装置との接続が切断されたか否かを判断し、表示装置と切断された場合も、クライアント端末に対して切断された旨を通知せずに表示装置との接続を擬制し続ける判断部と、判断部の指示に基づいて、表示装置情報をクライアント端末に向けて送信する情報通知部とを備える。
In order to solve the above problems, the image transfer relay device according to one aspect of the present invention is connected to a client terminal via a network, and is connected to a display device via a switching means for switching to another image source, and the client. An image transfer relay device that relays image data transmitted from a terminal to a display device, and is a network IF unit that receives a network packet containing image data transmitted from a client terminal to the display device, and a network. A data conversion unit that receives network packets from the IF unit and extracts image data, an image processing unit that performs data processing so that the image data extracted by the data conversion unit can be displayed on the display device, and a display device of the display device. It is determined whether or not the connection between the information acquisition unit for acquiring information, the storage unit for storing the display device information acquired by the information acquisition unit, and the display device is disconnected by the switching means, and the connection with the display device is disconnected. Even in this case, the judgment unit that continues to imitate the connection with the display device without notifying the client terminal that the connection has been disconnected, and the information that transmits the display device information to the client terminal based on the instruction of the judgment unit. It has a notification unit.

これによれば、画像転送中継装置は、表示装置との間の通信経路が切断された後も、クライアント端末から表示装置に表示すべき画像データを受信し続け（クライアント端末と接続していると擬制し続ける）、記憶部に記憶する表示装置情報をクライアント端末に向けて通知することで、当該表示装置に再接続した場合に復旧による画像出力を再開するまでの時間を短縮することができる。特に、切断前の表示装置と同じ表示装置と再接続した場合には、再開するまでの時間を大幅に短縮することができる。 According to this, the image transfer relay device continues to receive the image data to be displayed on the display device from the client terminal even after the communication path with the display device is disconnected (when connected to the client terminal). By notifying the client terminal of the display device information stored in the storage unit (continuing to imitate), it is possible to shorten the time until the image output by restoration is resumed when the display device is reconnected. In particular, when reconnecting to the same display device as the display device before disconnection, the time until restarting can be significantly shortened.

また、判断部は、表示装置と切断された後に表示装置と新たな接続があった場合、記憶部に記憶された切断される以前の表示装置の表示装置情報と、新たに接続された表示装置の表示装置情報とを比較し、同一でない場合にのみ、新たに接続された表示装置の表示装置情報を記憶部に記録し、新たに接続された表示装置の表示装置情報を情報通知部に通知してもよい。 In addition, when the judgment unit has a new connection with the display device after being disconnected from the display device, the display device information of the display device before the disconnection stored in the storage unit and the newly connected display device are used. The display device information of the newly connected display device is recorded in the storage unit and the display device information of the newly connected display device is notified to the information notification unit only when they are not the same. You may.

これによれば、画像転送中継装置は、表示装置との間の通信経路が切断された後、切断前の表示装置と異なる新たな表示装置と接続した場合にも適宜、対応することができる。 According to this, the image transfer relay device can appropriately cope with the case where the communication path with the display device is disconnected and then connected to a new display device different from the display device before the disconnection.

また、画像処理部は、判断部が表示装置と切断されたと判断した場合にも、クライアント端末から表示装置に向けて送信されたデータを受信し続けてもよい。 Further, the image processing unit may continue to receive the data transmitted from the client terminal to the display device even when the determination unit determines that the display device is disconnected.

これによれば、画像転送中継装置は、表示装置との間の通信経路が切断された後、表示装置と接続するまでの間にクライアント端末から表示装置にむけて送信した画像データを一定期間、保持することができる。 According to this, the image transfer relay device transmits the image data transmitted from the client terminal to the display device for a certain period of time after the communication path with the display device is disconnected and before the connection with the display device. Can be retained.

また、本発明の一態様に係る画像転送中継装置の制御方法は、クライアント端末とネットワーク接続し、他の画像ソースとの切り替えのための切替手段を介して表示装置に接続され、クライアント端末から表示装置に向けて送信する画像データを中継する画像転送中継装置の制御方法であって、クライアント端末から表示装置に向けて送信された、画像データを含むネットワークパケットを受信する受信ステップと、受信ステップからネットワークパケットを受け取り、画像データを抽出するデータ変換ステップと、データ変換ステップで抽出された画像データを表示装置に表示可能となる様データ処理を行う画像処理ステップと、表示装置の表示装置情報を取得する情報取得ステップと、情報取得ステップで取得された表示装置情報を記憶する記憶ステップと、切替手段により表示装置との接続が切断されたか否かを判断し、表示装置と切断された場合も、クライアント端末に対して切断された旨を通知せず表示装置との接続を擬制し続ける判断ステップと、判断ステップの指示に基づいて、表示装置情報をクライアント端末に向けて送信する情報通知する制御ステップとを含み、さらに、画像処理ステップは、判断ステップが表示装置と切断されたと判断した場合にも、クライアント端末から表示装置に向けて送信された画像データを受信し一時保存または破棄する。
Further, the control method of the image transfer relay device according to one aspect of the present invention is connected to the client terminal via a network, connected to the display device via a switching means for switching to another image source, and displayed from the client terminal. A control method for an image transfer relay device that relays image data transmitted to the device, from a reception step of receiving a network packet containing image data transmitted from a client terminal to a display device, and a reception step. Acquire the data conversion step of receiving the network packet and extracting the image data, the image processing step of performing data processing so that the image data extracted in the data conversion step can be displayed on the display device, and the display device information of the display device. The information acquisition step to be performed, the storage step to store the display device information acquired in the information acquisition step, and the switching means determine whether or not the connection with the display device has been disconnected, and even if the connection with the display device is disconnected. A judgment step that continues to imitate the connection with the display device without notifying the client terminal of the disconnection, and a control step that notifies the information that transmits the display device information to the client terminal based on the instruction of the judgment step. look including the door, further, the image processing step, when it is determined that the determination step is disconnected and the display device also receives the image data transmitted to the display device from the client terminal temporary storage or discard.

これにより、画像転送中継装置と同様の効果を奏する。 As a result, the same effect as that of the image transfer relay device is obtained.

本発明は、クライアント端末と表示装置との間を中継する画像転送中継装置と表示装置との間で、特に接続中であった表示装置との間で切断と再接続が行われた場合に復旧による画像出力を再開するまでの間を短縮することができる。 The present invention recovers when a disconnection and reconnection are performed between the image transfer relay device and the display device that relay between the client terminal and the display device, particularly between the display device that was connected. It is possible to shorten the time until the image output is restarted.

図１は、実施の形態に係る通信システムの一例を示す構成図である。FIG. 1 is a configuration diagram showing an example of a communication system according to an embodiment. 図２は、実施の形態に係る画像転送中継装置のハードウェア構成を示す図である。FIG. 2 is a diagram showing a hardware configuration of the image transfer relay device according to the embodiment. 図３は、実施の形態に係る画像転送中継装置の機能構成を示すブロック図である。FIG. 3 is a block diagram showing a functional configuration of the image transfer relay device according to the embodiment. 図４は、実施の形態に係る画像転送中継装置の処理を示すフロー図である。FIG. 4 is a flow chart showing processing of the image transfer relay device according to the embodiment. 図５は、実施の形態に係る通信システムの通信処理の一例を示す通信シーケンス図である。FIG. 5 is a communication sequence diagram showing an example of communication processing of the communication system according to the embodiment. 図６は、他の実施の形態に係る通信システムの一例を示す構成図である。FIG. 6 is a configuration diagram showing an example of a communication system according to another embodiment.

以下、本発明の実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.

以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。 Each of the embodiments described below shows a preferred specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claims indicating the highest level concept of the present invention will be described as arbitrary components constituting the more preferable form. The same components may be designated by the same reference numerals and description thereof may be omitted.

（実施の形態）
本実施の形態において、クライアント端末と表示装置との間を中継する画像転送中継装置を含む通信システムなどについて説明する。
(Embodiment)
In the present embodiment, a communication system including an image transfer relay device that relays between the client terminal and the display device will be described.

図１は、実施の形態に係る通信システム１００の一例を示す構成図である。 FIG. 1 is a configuration diagram showing an example of a communication system 100 according to an embodiment.

図１に示されるように、通信システム１００は、画像転送中継装置１、クライアント端末２、クライアント端末３、表示装置４（モニタ）、切替器５とを備える。 As shown in FIG. 1, the communication system 100 includes an image transfer relay device 1, a client terminal 2, a client terminal 3, a display device 4 (monitor), and a switch 5.

通信システム１００では、画像転送中継装置１は、クライアント端末２とネットワーク１１で接続され、切替器５とケーブル１０で接続されている。また、切替器５は、表示装置４とケーブル１２で接続されている。さらに、切替器５は他のクライアント端末３とケーブル１３で直接接続されている。 In the communication system 100, the image transfer relay device 1 is connected to the client terminal 2 by the network 11 and is connected to the switch 5 by the cable 10. Further, the switch 5 is connected to the display device 4 by a cable 12. Further, the switch 5 is directly connected to another client terminal 3 by a cable 13.

通信システム１００において、クライアント端末２が再生する画像（動画でもよい）は、ネットワーク越しに画像転送中継装置１へ送信され、切替器５を経由して、これに接続する表示装置４に表示される。 In the communication system 100, the image (which may be a moving image) reproduced by the client terminal 2 is transmitted to the image transfer relay device 1 over the network, and is displayed on the display device 4 connected to the image transfer relay device 1 via the switch 5. ..

また、図示しないが、画像転送中継装置１は無線中継装置としても機能しており、複数のクライアント端末（例えば生徒用端末）と無線接続していてもよい。
Further, although not shown, the image transfer relay device 1 also functions as a wireless relay device, and may be wirelessly connected to a plurality of client terminals (for example, student terminals).

通信システム１００は、より具体的には、学校内の各教室に構築される教育支援システムである。通信システム１００は、クライアント端末２のユーザがネットワークを通じて画像転送中継装置１および切替器５を介して、表示装置４に表示したい画像データを送信する通信システムである。ここで、画像データには、単なる画像データだけでなく、画像データの集合である映像データも含まれる。さらに、画像データには、音声データ等が含まれていてもよい。以下では、映像データ及び音声データ等も含み得る画像データとして説明する。例えば、クライアント端末２は教室において教師等によって用いられ、表示装置４はクライアント端末２で表示された画像データを教室内の複数の生徒に見せるために表示するように用いられる。 More specifically, the communication system 100 is an educational support system constructed in each classroom in the school. The communication system 100 is a communication system in which a user of a client terminal 2 transmits image data to be displayed on a display device 4 via an image transfer relay device 1 and a switch 5 via a network. Here, the image data includes not only mere image data but also video data which is a set of image data. Further, the image data may include audio data and the like. Hereinafter, it will be described as image data that can include video data, audio data, and the like. For example, the client terminal 2 is used by a teacher or the like in the classroom, and the display device 4 is used to display the image data displayed on the client terminal 2 to a plurality of students in the classroom.

画像転送中継装置１は、仮想ネットワークドライバを備えており、クライアント端末２からネットワーク１１を経由して受信するデータを自身に備わる画像インタフェースおよびＵＳＢインタフェースに接続された装置に受け渡す中継装置として機能している。 The image transfer relay device 1 includes a virtual network driver, and functions as a relay device that transfers data received from the client terminal 2 via the network 11 to its own image interface and a device connected to the USB interface. ing.

ここで、仮想ネットワークドライバとは、クライアント端末２から送信され、ネットワークを経由し到来したカプセル化データを受信し、当該カプセル化したデータからデータを抽出する（デカプセル化を行う）ためのドライバである。なお、画像転送中継装置１とクライアント端末２は、仮想ネットワークドライバの上位のアプリケーション（仮想接続ツール（図示しない））を備え、画像転送中継装置１とクライアント端末２との間でセッションを張る（仮想接続ツールを用いて接続処理する）ことで、装置間でネットワークを通じてパケットデータをやり取りすることができる。 Here, the virtual network driver is a driver for receiving the encapsulated data transmitted from the client terminal 2 and arriving via the network, and extracting (decapsulating) the data from the encapsulated data. .. The image transfer relay device 1 and the client terminal 2 are provided with a higher-level application (virtual connection tool (not shown)) of the virtual network driver, and a session is established between the image transfer relay device 1 and the client terminal 2 (virtual). By performing connection processing using a connection tool), packet data can be exchanged between devices via a network.

クライアント端末２は、画像転送中継装置１とネットワーク１１を介して接続し、画像転送中継装置１に接続された切替器５に接続する表示装置４に向けて、画像データを送信する。クライアント端末２は、例えば、タブレットやスマートフォンなどの携帯情報端末である。 The client terminal 2 connects to the image transfer relay device 1 via the network 11 and transmits image data to the display device 4 connected to the switch 5 connected to the image transfer relay device 1. The client terminal 2 is, for example, a mobile information terminal such as a tablet or a smartphone.

表示装置４は、例えば、大型モニタなどであり、切替器５に接続されている。画像転送中継装置１から切替器５を介して送信される画像データは、ケーブル１２を通じて受信し画面上に表示する。
The display device 4 is, for example, a large monitor or the like, and is connected to the switch 5. The image data transmitted from the image transfer relay device 1 via the switch 5 is received through the cable 12 and displayed on the screen.

クライアント端末３は、ケーブル１３を介して切替器５に接続されており、クライアント端末３のユーザにより作成される画像データは、切替器５がクライアント端末３からの入力を選択する場合、ケーブル１２を通じて表示装置４に送られ、画面上に表示される。クライアント端末３は、例えば、タブレットやスマートフォンなどの携帯情報端末あるいはサーバ、デスクトップＰＣなどである。 The client terminal 3 is connected to the switch 5 via the cable 13, and the image data created by the user of the client terminal 3 is transmitted through the cable 12 when the switch 5 selects the input from the client terminal 3. It is sent to the display device 4 and displayed on the screen. The client terminal 3 is, for example, a mobile information terminal such as a tablet or a smartphone, a server, a desktop PC, or the like.

切替器５は、画像転送中継装置１とケーブル１０、他のクライアント端末３とケーブル１３、表示装置４とケーブル１２、それぞれ画像入出力ポートを介して接続する。切替器５は、画像転送中継装置１から、または、他のクライアント端末３から送信された画像データを受信し、このうちいずれかから受信した当該画像データを表示するかを選択して、画像出力ポート、ケーブル１２を介して表示装置に向けて送信する。選択されなかった画像データを転送するための経路は切替器内部で切断される。ここで、画像入出力ポートは、各種画像に関する通信規格に準拠した通信インタフェースである。具体的には、ＤＶＩ、ＨＤＭＩ（登録商標）などに準拠した通信回路およびコネクタを含む。 The switch 5 connects the image transfer relay device 1 to the cable 10, another client terminal 3 to the cable 13, and the display device 4 to the cable 12 via image input / output ports. The switch 5 receives the image data transmitted from the image transfer relay device 1 or from the other client terminal 3, and selects whether to display the image data received from any of them, and outputs the image. It transmits to the display device via the port and the cable 12. The route for transferring the unselected image data is cut inside the switch. Here, the image input / output port is a communication interface that conforms to communication standards related to various images. Specifically, it includes communication circuits and connectors compliant with DVI, HDMI (registered trademark), and the like.

ネットワーク１１は、画像転送中継装置１とクラインアント端末２との間を接続する通信リンクである。ネットワーク１１は、図１では無線ネットワーク（例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃなどの通信規格に基づく無線ネットワーク）を図示しているが、有線ネットワークでもよい。 The network 11 is a communication link connecting the image transfer relay device 1 and the cleanant terminal 2. Although the network 11 shows a wireless network (for example, a wireless network based on a communication standard such as IEEE802.11a, b, g, n, ac) in FIG. 1, it may be a wired network.

ケーブル１０は、画像転送中継装置１と切替器５との間を接続する通信ケーブルである。例えば、ＤＶＩ、ＨＤＭＩ（登録商標）などに準拠したケーブルである。 The cable 10 is a communication cable that connects the image transfer relay device 1 and the switch 5. For example, it is a cable compliant with DVI, HDMI (registered trademark), and the like.

ケーブル１２は、表示装置４と切替器５との間を接続する通信ケーブルである。例えば、ＤＶＩ、ＨＤＭＩ（登録商標）などに準拠したケーブルである。 The cable 12 is a communication cable that connects the display device 4 and the switch 5. For example, it is a cable compliant with DVI, HDMI (registered trademark), and the like.

ケーブル１３は、他のクライアント端末３と切替器５との間を接続する通信ケーブルである。例えば、ＤＶＩ、ＨＤＭＩ（登録商標）などに準拠したケーブルである。 The cable 13 is a communication cable that connects another client terminal 3 and the switch 5. For example, it is a cable compliant with DVI, HDMI (registered trademark), and the like.

図２は、本実施の形態に係る画像転送中継装置１のハードウェア構成図である。 FIG. 2 is a hardware configuration diagram of the image transfer relay device 1 according to the present embodiment.

図２に示すとおり、これらの装置は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２２、記憶装置２３、ＷＮＩＣ（ＷｉｒｅｌｅｓｓＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）２４、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）２５、画像インタフェース２６、ＵＳＢインタフェース２７および各構成部品間を接続している内部バス２８などを備えている。 As shown in FIG. 2, these devices include a CPU (Central Processing Unit) 20, a ROM (Read Only Memory) 21, a RAM (Random Access Memory) 22, a storage device 23, and a WNIC (Williless Network Interface Card). It includes a Network Interface Card) 25, an image interface 26, a USB interface 27, an internal bus 28 connecting each component, and the like.

ＣＰＵ２０は、ＲＯＭ２１に格納された制御プログラムを実行するプロセッサである。 The CPU 20 is a processor that executes a control program stored in the ROM 21.

ＲＯＭ２１は、制御プログラム等を保持する読み出し専用記憶領域である。 The ROM 21 is a read-only storage area for holding a control program or the like.

ＲＡＭ２２は、ＣＰＵ２０が制御プログラムを実行するときに使用するワークエリアとして用いられる記憶領域である。 The RAM 22 is a storage area used as a work area used by the CPU 20 when executing a control program.

記憶装置２３は、制御プログラム、制御情報、表示装置情報、または認証情報などを記憶する記憶領域である。 The storage device 23 is a storage area for storing a control program, control information, display device information, authentication information, and the like.

ＷＮＩＣ２４は、無線通信を行う無線通信インタフェースを備えている。例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ規格等に適合する無線ＬＡＮの通信インタフェースである。なお、本発明の実施の形態では、ＷＮＩＣ２４を備えている例で説明するが、必ずしも備わっていなくてもよい。 The WNIC 24 includes a wireless communication interface for wireless communication. For example, it is a wireless LAN communication interface that conforms to the IEEE802.11a, b, g, n, ac standards, and the like. In the embodiment of the present invention, an example in which the WNIC 24 is provided will be described, but the WNIC 24 may not be provided.

ＮＩＣ２５は、有線通信を行う有線通信インタフェースを備えている。例えば、ＩＥＥＥ８０２．３規格等に適合する有線ＬＡＮの通信インタフェースである。 The NIC 25 is provided with a wired communication interface for performing wired communication. For example, it is a wired LAN communication interface that conforms to the IEEE802.3 standard and the like.

画像インタフェース２６は、画像転送中継装置１と表示装置４あるいは切替器５との間を接続する各種通信規格に準拠した通信インタフェースである。各種通信規格は、例えば、ＤＶＩ、ＨＤＭＩ（登録商標）などに準拠した通信である。 The image interface 26 is a communication interface conforming to various communication standards that connects the image transfer relay device 1 and the display device 4 or the switch 5. Various communication standards are, for example, communication compliant with DVI, HDMI (registered trademark), and the like.

ＵＳＢインタフェース２７は、画像転送中継装置１とＵＳＢ規格に準拠インタフェースを備える装置と接続するＵＳＢ通信規格に準拠した通信インタフェースである。なお、本発明の実施の形態では、ＵＳＢインタフェース２７を備えている例で説明するが、必ずしも備わっていなくてもよい。 The USB interface 27 is a communication interface compliant with the USB communication standard that connects the image transfer relay device 1 and the device having the interface compliant with the USB standard. In the embodiment of the present invention, the example in which the USB interface 27 is provided will be described, but the USB interface 27 may not be provided.

内部バス２８は、ＣＰＵ２０，ＲＯＭ２１、ＲＡＭ２２、記憶装置２３、ＷＮＩＣ２４、ＮＩＣ２５、画像インタフェース２６、およびＵＳＢインタフェース２７を電気的に接続し、信号のやりとりを行うバスである。 The internal bus 28 is a bus that electrically connects the CPU 20, ROM 21, RAM 22, storage device 23, WNIC 24, NIC 25, image interface 26, and USB interface 27 to exchange signals.

図３は、本実施の形態に係る画像転送中継装置１の機能構成を示すブロック図である。 FIG. 3 is a block diagram showing a functional configuration of the image transfer relay device 1 according to the present embodiment.

図３に示されるように、画像転送中継装置１は、ネットワークＩＦ部３１、データ変換部３２、判断部３４、記憶部３５、情報取得部３６、画像処理部３７、画像ＩＦ部３８、および情報通知部３９を備える。 As shown in FIG. 3, the image transfer relay device 1 includes a network IF unit 31, a data conversion unit 32, a determination unit 34, a storage unit 35, an information acquisition unit 36, an image processing unit 37, an image IF unit 38, and information. A notification unit 39 is provided.

画像転送中継装置１は、ＣＰＵ２０、メモリ等を含むコンピュータである。メモリ等は、ＲＯＭ２１、ＲＡＭ２２、記憶装置２３等であり、ＣＰＵ２０により実行される制御プログラム（コンピュータプログラム）を記憶することができる。 The image transfer relay device 1 is a computer including a CPU 20, a memory, and the like. The memory and the like are a ROM 21, a RAM 22, a storage device 23, and the like, and can store a control program (computer program) executed by the CPU 20.

画像転送中継装置１は、例えばＣＰＵ２０が、制御プログラムに従って動作することにより、データ変換部３２、判断部３４、記憶部３５、情報取得部３６、画像処理部３７、および情報通知部３９の機能が実現される。画像転送中継装置１は、さらにＷＮＩＣ２４、ＮＩＣ２５および画像インタフェース２６などにより、ネットワークＩＦ部３１および画像ＩＦ部３８の機能をも実現する。 In the image transfer relay device 1, for example, when the CPU 20 operates according to the control program, the functions of the data conversion unit 32, the determination unit 34, the storage unit 35, the information acquisition unit 36, the image processing unit 37, and the information notification unit 39 can be performed. It will be realized. The image transfer relay device 1 also realizes the functions of the network IF unit 31 and the image IF unit 38 by means of WNIC 24, NIC 25, an image interface 26, and the like.

ネットワークＩＦ部３１は、クライアント端末２が備える仮想接続ツールによって、クライアント端末２との間で通信のためのセッションを張り、ネットワーク１１を介して、データのやり取りを行う。 The network IF unit 31 establishes a session for communication with the client terminal 2 by the virtual connection tool provided in the client terminal 2, and exchanges data via the network 11.

具体的には、例えば、ネットワークＩＦ部３１は、クライアント端末２から、表示装置４に表示すべき画像データがカプセル化されたネットワークパケットデータを受信し、受信した画像データをデータ変換部３２に送信する。 Specifically, for example, the network IF unit 31 receives network packet data in which image data to be displayed on the display device 4 is encapsulated from the client terminal 2, and transmits the received image data to the data conversion unit 32. do.

また、ネットワークＩＦ部３１は、データ変換部３２から受信した表示装置情報をネットワーク１１を介してクライアント端末２に送信する。 Further, the network IF unit 31 transmits the display device information received from the data conversion unit 32 to the client terminal 2 via the network 11.

データ変換部３２は、ネットワークＩＦ部３１から受信した表示装置４に表示すべき画像データをデカプセル化し、画像処理部３７に送信する。 The data conversion unit 32 decapsulates the image data to be displayed on the display device 4 received from the network IF unit 31 and transmits the image data to the image processing unit 37.

判断部３４は、切替器５を介して表示装置４と接続されたか否かを、画像ＩＦ部３８を経由した電気信号の受信により判断し、接続されたと判断した場合はその旨を情報取得部３６に通知する。一方、切断されたと判断した場合は、画像処理部３７にその旨を通知する一方で、クライアント端末２に対しては表示手段と切断された旨を通知せず、接続を擬制し続ける。
The determination unit 34 determines whether or not the display device 4 is connected via the switch 5 by receiving an electric signal via the image IF unit 38, and if it determines that the connection is made, the information acquisition unit 34 determines that the connection is made. Notify 36. On the other hand, when it is determined that the connection has been disconnected, the image processing unit 37 is notified to that effect, while the client terminal 2 is not notified of the disconnection from the display means, and the connection is continuously fictitious.

判断部３４は、ネットワークＩＦ部３１がクライアント端末２から表示装置４に表示すべき画像データを受信したか否かを判断し、受信した場合には、ネットワークＩＦ部３１に受信したデータを、データ変換部３２に送信するように通知する。 The determination unit 34 determines whether or not the network IF unit 31 has received the image data to be displayed on the display device 4 from the client terminal 2, and if so, the data received by the network IF unit 31. Notify the conversion unit 32 to transmit.

また判断部３４は、表示装置４と切断された後に再接続があった場合、記憶部３５に記憶した表示装置情報と、再接続された表示装置の表示装置情報とを比較し、その異同を判断し、同一でなかったときに限り、新たに接続された表示装置の表示装置情報を記憶部に記録し、新たに接続された表示装置の表示装置情報を情報通知部３９に通知する。 Further, when the determination unit 34 is reconnected after being disconnected from the display device 4, the determination unit 34 compares the display device information stored in the storage unit 35 with the display device information of the reconnected display device, and determines the difference. Only when it is determined and they are not the same, the display device information of the newly connected display device is recorded in the storage unit, and the display device information of the newly connected display device is notified to the information notification unit 39.

図１に表したシステムでは、表示装置は表示装置４の１台のみであり、切替器５により、表示装置で表示すべき画像のソースをクライアント端末２のものと、他のクライアント端末３のもののいずれかに選択するシステムである。従って、クライアント端末２から見た場合、切断後に再接続される表示装置は変わらず、表示装置情報は同一である。これに対して、再接続時に表示装置情報が同一でない事態は、図示しないが、切替器に２つの表示装置が接続されており、切替器でいずれの表示装置に表示させるか選択するようなシステムで起こり得る。 In the system shown in FIG. 1, there is only one display device of the display device 4, and the source of the image to be displayed on the display device by the switch 5 is that of the client terminal 2 and that of the other client terminal 3. It is a system to select either. Therefore, when viewed from the client terminal 2, the display device reconnected after disconnection does not change, and the display device information is the same. On the other hand, the situation where the display device information is not the same at the time of reconnection is not shown, but a system in which two display devices are connected to the switch and the switch selects which display device to display. Can happen in.

情報取得部３６は、画像ＩＦ部３８を介し、切替器５の画像出力ポートに接続された表示装置から表示装置情報を取得する。取得した表示装置情報は記憶のため記憶部３５に通知する。 The information acquisition unit 36 acquires display device information from the display device connected to the image output port of the switch 5 via the image IF unit 38. The acquired display device information is notified to the storage unit 35 for storage.

記憶部３５は、情報取得部３６の通知を受けて、切替器５の画像出力ポートを通じて取得した表示装置情報を記憶する。 Upon receiving the notification from the information acquisition unit 36, the storage unit 35 stores the display device information acquired through the image output port of the switch 5.

情報通知部３９は、判断部３４の通知を受けて、記憶部３５に記憶された表示装置の表示装置情報を取得し、当該表示装置情報を、データ変換部３２およびネットワークＩＦ部経由でクライアント端末２に送信する。 Upon receiving the notification from the determination unit 34, the information notification unit 39 acquires the display device information of the display device stored in the storage unit 35, and obtains the display device information from the client terminal via the data conversion unit 32 and the network IF unit. Send to 2.

画像処理部３７は、データ変換部３２から受信した表示装置４に表示すべき画像データを表示装置４に表示可能となる様データ処理を行い、画像ＩＦ部３８に送信する。表示可能となるデータ処理とは、具体的には、画像ＩＦ部３８が備える画像インタフェースの規格に準拠した（例えば、ＨＤＭＩ（登録商標）規格に準拠など）形式に変換処理される。 The image processing unit 37 performs data processing so that the image data to be displayed on the display device 4 received from the data conversion unit 32 can be displayed on the display device 4, and transmits the data to the image IF unit 38. Specifically, the data processing that can be displayed is converted into a format that conforms to the standard of the image interface included in the image IF unit 38 (for example, conforms to the HDMI (registered trademark) standard).

画像処理部３７は、表示装置との接続が切断された場合、クライアント端末２から受信した表示すべき画像データを画像ＩＦ部３８に通知することを停止し、記憶部３５に一時保存するか、順次破棄してもよい。 When the connection with the display device is disconnected, the image processing unit 37 stops notifying the image IF unit 38 of the image data to be displayed received from the client terminal 2, and temporarily stores the image data in the storage unit 35. It may be discarded sequentially.

画像ＩＦ部３８は、画像処理部３７で処理された画像データを切替器５に向けて送信する。 The image IF unit 38 transmits the image data processed by the image processing unit 37 toward the switch 5.

図４は、本実施の形態に係る画像転送中継装置１の処理を示す動作フロー図である。 FIG. 4 is an operation flow diagram showing the processing of the image transfer relay device 1 according to the present embodiment.

図４を用いて、本実施の形態に画像転送中継装置１がクライアント端末２との間で通信を行うために接続し、クライアント端末２が表示装置４に向けて画像データを送信し、その後、クライアント端末２との間の通信が一旦切断したのち、新たな接続（表示装置が変更されたか、変更されないかを問わない）があるまでのフローについて、以下に順をおって説明する。なお、図４の一連の処理は、画像転送中継装置１およびクライアント端末２の電源オフ、ならびに画像転送中継装置１とクライアント端末２との接続が解除（仮想接続ツールにより切断）されるまで続く。 Using FIG. 4, the image transfer relay device 1 is connected to the present embodiment for communication with the client terminal 2, the client terminal 2 transmits image data to the display device 4, and then the image data is transmitted. The flow from the disconnection of the communication with the client terminal 2 to the new connection (regardless of whether the display device is changed or not) will be described in order below. The series of processes shown in FIG. 4 continues until the power of the image transfer relay device 1 and the client terminal 2 is turned off and the connection between the image transfer relay device 1 and the client terminal 2 is disconnected (disconnected by the virtual connection tool).

ステップＳ４０１にて、判断部３４は、切替器５を介した表示装置４と接続されたか否かを、画像ＩＦ部３８を経由した電気信号の受信により判断する（例えば、電気信号の電位がＨｉ状態およびＬＯＷ状態などで判断する）。判断部３４は、接続された場合には、その旨を情報取得部３６に通知し、ステップＳ４０２に遷移する（ステップＳ４０１のＹｅｓ）。一方、接続されていない場合には、ステップＳ４０１を繰り返し、待機する（ステップＳ４０１のＮｏ）。 In step S401, the determination unit 34 determines whether or not it is connected to the display device 4 via the switch 5 by receiving an electric signal via the image IF unit 38 (for example, the potential of the electric signal is Hi). Judgment by state and LOW state, etc.). When the determination unit 34 is connected, the determination unit 34 notifies the information acquisition unit 36 to that effect and proceeds to step S402 (Yes in step S401). On the other hand, if they are not connected, step S401 is repeated and waits (No in step S401).

ステップＳ４０２にて、情報取得部３６は、判断部３４の通知を受けて、画像ＩＦ部３８を介して切替器５の画像出力ポートに接続された表示装置４から表示装置情報を取得する。そして、情報取得部３６は、取得した表示装置情報を記憶部３５に通知し、記憶部３５は当該表示装置情報を記憶する。 In step S402, the information acquisition unit 36 receives the notification from the determination unit 34 and acquires display device information from the display device 4 connected to the image output port of the switch 5 via the image IF unit 38. Then, the information acquisition unit 36 notifies the storage unit 35 of the acquired display device information, and the storage unit 35 stores the display device information.

ステップＳ４０４にて、情報通知部３９は、データ変換部３２およびネットワークＩＦ部３１を介して、記憶部３５に記憶した表示装置４の表示装置情報をクライアント端末２に送信する。 In step S404, the information notification unit 39 transmits the display device information of the display device 4 stored in the storage unit 35 to the client terminal 2 via the data conversion unit 32 and the network IF unit 31.

ステップＳ４０５にて、判断部３４は、ネットワークＩＦ部３１がクライアント端末２から表示装置４に表示すべき画像データを受信したか否かを判断する。判断部３４は、ネットワークＩＦ部３１が表示装置４に表示すべき画像データ（カプセル化されたデータ）を受信した場合には、ネットワークＩＦ部３１に、受信したデータをデータ変換部３２に送信するように通知する。そして、データ変換部３２は受信した当該表示装置４に表示すべき画像データをデカプセル化し、画像処理部３７に送信してステップＳ４０６に遷移する（ステップＳ４０５のＹｅｓ）。一方、受信していない場合には、ステップＳ４０５を繰り返し、待機する（ステップＳ４０５のＮｏ）。 In step S405, the determination unit 34 determines whether or not the network IF unit 31 has received the image data to be displayed on the display device 4 from the client terminal 2. When the network IF unit 31 receives the image data (encapsulated data) to be displayed on the display device 4, the determination unit 34 transmits the received data to the network IF unit 31 and to the data conversion unit 32. Notify. Then, the data conversion unit 32 decapsulates the received image data to be displayed on the display device 4, transmits it to the image processing unit 37, and transitions to step S406 (Yes in step S405). On the other hand, if it has not been received, step S405 is repeated and waits (No in step S405).

ステップＳ４０６にて、画像ＩＦ部３８は画像処理部３７で処理された画像データを切替器５に向けて送信する。そして、当該画像データは、切替器５から表示装置４に送信され表示装置４の画面に表示されることとなる。（現在切替器５内部では、画像転送中継装置１からの画像を表示装置３に表示する様選択されている状態である。） In step S406, the image IF unit 38 transmits the image data processed by the image processing unit 37 toward the switch 5. Then, the image data is transmitted from the switch 5 to the display device 4 and displayed on the screen of the display device 4. (Currently, inside the switch 5, the image from the image transfer relay device 1 is selected to be displayed on the display device 3.)

ステップＳ４０７にて、判断部３４は、切替器５において自身（画像転送中継装置１）と表示装置４との接続が切断されたか否かを、画像ＩＦ部３８を経由した電気信号の受信により判断する。判断部３４は、切断されたと判断した場合には、その旨を画像処理部３７に通知しステップＳ４０８に遷移する（ステップＳ４０７のＹｅｓ）。一方、切断しておらず接続が維持されていると判断した場合には、ステップＳ４０５を繰り返し、待機する（ステップＳ４０７のＮｏ）。 In step S407, the determination unit 34 determines whether or not the connection between itself (image transfer relay device 1) and the display device 4 is disconnected in the switch 5 by receiving an electric signal via the image IF unit 38. do. When the determination unit 34 determines that the image has been disconnected, the determination unit 34 notifies the image processing unit 37 to that effect and proceeds to step S408 (Yes in step S407). On the other hand, when it is determined that the connection is maintained without disconnecting, step S405 is repeated and waits (No in step S407).

ステップＳ４０８にて、画像処理部３７は、判断部３４の通知を受けて、クライアント端末２から受信した表示すべき画像データを画像ＩＦ部３８に通知することを停止する。切替器５において画像転送中継装置１と表示装置４との間が切断されたということは、切替器５が他の画像データ（図１では他のクライアント端末３からの画像データ）を選択したことを意味する。このステップＳ４０８で重要なことは、判断部３４が、画像処理部３７に表示装置４と切断された旨を通知する一方で、クライアント端末に対しては表示手段４と切断された旨を通知せず、接続を擬制し続けることである。これにより情報通知部３９は、クライアント端末２に、表示装置４との接続が切断したことを通知しない。もちろんクライアント端末２のユーザは、表示装置４に表示されている画像を見て、自装置からの画像でないことを知る可能性もあるが、クライアント端末２自体はこのステップＳ４０８ではまだ、表示装置４の表示装置情報をもとに画像を出力する状態にある。 In step S408, the image processing unit 37 receives the notification of the determination unit 34 and stops notifying the image IF unit 38 of the image data to be displayed received from the client terminal 2. The disconnection between the image transfer relay device 1 and the display device 4 in the switch 5 means that the switch 5 has selected other image data (image data from another client terminal 3 in FIG. 1). Means. What is important in step S408 is that the determination unit 34 notifies the image processing unit 37 that the display device 4 has been disconnected, while the client terminal notifies the client terminal that the display means 4 has been disconnected. Instead, keep imitating the connection. As a result, the information notification unit 39 does not notify the client terminal 2 that the connection with the display device 4 has been disconnected. Of course, the user of the client terminal 2 may see the image displayed on the display device 4 and know that the image is not from the own device, but the client terminal 2 itself is still in the display device 4 in this step S408. The image is output based on the display device information of.

ステップＳ４０９にて、ネットワークＩＦ部３１は、クライアント端末２から表示装置４に表示すべき画像データを受信したか否かを判断する。ネットワークＩＦ部３１は、当該（カプセル化されたデータ）を受信した場合には、ステップＳ４０５のＹｅｓの判断時と同じ処理を行い、ステップＳ４１０に遷移する（ステップＳ４０９のＹｅｓ）。一方、ネットワークＩＦ部３１は、当該（カプセル化されたデータ）を受信していない場合には、ステップＳ４１１に遷移する（ステップＳ４０９のＮｏ）。 In step S409, the network IF unit 31 determines whether or not the image data to be displayed on the display device 4 has been received from the client terminal 2. When the network IF unit 31 receives the (encapsulated data), it performs the same processing as when determining Yes in step S405, and transitions to step S410 (Yes in step S409). On the other hand, when the network IF unit 31 has not received the (encapsulated data), the network IF unit 31 transitions to step S411 (No in step S409).

ステップＳ４１０にて、画像処理部３７は、表示装置４に表示すべき画像データ（デカプセル化された）を表示装置４に表示できるようにデータ処理を行い、記憶部３５に一時保存する（バッファに一時保存する）。バッファの容量を超える場合は、逐次古いデータの上に上書き保存していく。なお、記憶部３５に一時保存せず、表示装置に再接続あるいは新たな表示装置に接続するまで、表示装置４に表示すべき画像データを破棄し続けてもよい。このようにすることで、クライアント端末から画像データをリアルタイムに表示装置で表示したい場合に有効である。つまり、前述の記憶部３５に一時記憶された表示すべき画像データは、接続が再開した時には既に過去の画像になっており、リアルタイムに表示したいクライアント端末のユーザにとっては、かえって利便性が低下するためである。 In step S410, the image processing unit 37 performs data processing so that the image data (decapsulated) to be displayed on the display device 4 can be displayed on the display device 4, and temporarily stores the image data (decapsulated) in the storage unit 35 (in the buffer). Temporarily save). If it exceeds the capacity of the buffer, it will be overwritten and saved on the old data one by one. The image data to be displayed on the display device 4 may be continuously discarded until it is reconnected to the display device or connected to a new display device without being temporarily stored in the storage unit 35. By doing so, it is effective when it is desired to display the image data on the display device in real time from the client terminal. That is, the image data to be displayed temporarily stored in the storage unit 35 is already a past image when the connection is resumed, which is rather inconvenient for the user of the client terminal who wants to display in real time. Because.

ステップＳ４１１にて、判断部３４は、切替器５と表示装置との間で新たに物理的な接続がなされたか否かを、画像ＩＦ部３８を経由し電気信号の受信により判断する。判断部３４は、何れかの表示装置と接続した場合（切替器５経由）には、その旨を情報取得部３６に通知しステップＳ４１２に遷移する。一方、何れかの表示装置と接続していない場合（切替器５経由）には、ステップＳ４０９に戻る（ステップＳ４１１のＮｏ）。 In step S411, the determination unit 34 determines whether or not a new physical connection has been made between the switch 5 and the display device by receiving an electric signal via the image IF unit 38. When the determination unit 34 is connected to any of the display devices (via the switch 5), the determination unit 34 notifies the information acquisition unit 36 to that effect and proceeds to step S412. On the other hand, if it is not connected to any of the display devices (via the switch 5), the process returns to step S409 (No in step S411).

ステップＳ４１２にて、情報取得部３６は、判断部３４の通知を受けて、画像ＩＦ部３８を介して接続した表示装置から表示装置情報を取得する。 In step S412, the information acquisition unit 36 receives the notification of the determination unit 34 and acquires the display device information from the display device connected via the image IF unit 38.

ステップＳ４１３にて、判断部３４は、記憶部３５に記憶している切断前に接続していた表示装置の表示装置情報とステップＳ４１２で情報取得部３６が取得した表示装置情報とを比較し、同一か否か（一致するか否か）を判断する。一致する場合にはステップＳ４０５に戻り、以下ステップを繰り返す（ステップＳ４１３のＹｅｓ）。すなわち、一旦切替器５内部で切断され他のクライアント端末の画像データに切り替えられたとしても、再び画像転送中継装置１側の画像データを表示することになった場合、クライアント端末２は、切断されたことを全く認識せずにいる。一方、表示装置情報が一致しない場合には、記憶部３５に記憶している表示装置情報の書き換え（更新する）を行う旨を記憶部３５に通知し、ステップＳ４１４に遷移する（ステップＳ４１３のＮｏ）。 In step S413, the determination unit 34 compares the display device information of the display device stored in the storage unit 35 before disconnection with the display device information acquired by the information acquisition unit 36 in step S412. Judge whether they are the same (whether they match). If they match, the process returns to step S405, and the following steps are repeated (Yes in step S413). That is, even if the image data is once disconnected inside the switch 5 and switched to the image data of another client terminal, if the image data on the image transfer relay device 1 side is displayed again, the client terminal 2 is disconnected. I'm completely unaware of that. On the other hand, if the display device information does not match, the storage unit 35 is notified that the display device information stored in the storage unit 35 is to be rewritten (updated), and the process proceeds to step S414 (No. in step S413). ).

ステップＳ４１４にて、記憶部３５は判断部３４の通知を受けて、記憶している切断前に接続していた表示装置の表示装置情報を新たにテップＳ４１２で情報取得部３６が取得した表示装置情報に書き換え（更新する）を行い、ステップＳ４０４に戻る。ここで、情報通知部３９は、クライアント端末２に新たな表示装置情報を送信し、これをクライアント端末２が受け取ることとなり、初めてクライアント端末２は従前の表示のための通信経路が切断され表示装置の変更があったことを認識する。

In step S414, the storage unit 35 receives the notification of the determination unit 34, and the display device information of the display device that was connected before the disconnection is newly acquired by the information acquisition unit 36 in the step S412. The information is rewritten (updated), and the process returns to step S404. Here, the information notification unit 39 transmits new display device information to the client terminal 2, and the client terminal 2 receives the new display device information. For the first time, the client terminal 2 is disconnected from the communication path for the conventional display and the display device. Recognize that there was a change in.

図５は、本実施の形態に係る通信システム１００のデータ通信処理を示すシーケンス図である。同図を用いて、本発明の実施の形態に画像転送中継装置１がクライアント端末２との間で通信を行うために接続し、クライアント端末２が表示装置４に向けて画像データを送信し、クライアント端末２との間の通信が切断したのち、新たな接続（表示装置が変更されたか、変更されないかを問わない）があった後までのデータ通信処理について、以下に順をおって説明する。 FIG. 5 is a sequence diagram showing data communication processing of the communication system 100 according to the present embodiment. Using the figure, the image transfer relay device 1 is connected to the embodiment of the present invention for communication with the client terminal 2, and the client terminal 2 transmits image data to the display device 4. The data communication process after the communication with the client terminal 2 is disconnected and after a new connection (whether the display device is changed or not) will be described in order below. ..

ステップ５０１にて、画像転送中継装置１が切替器５を経由して表示装置４と接続される。（物理的にケーブルが接続された、または切替器内部での経路が接続された状態である。） In step 501, the image transfer relay device 1 is connected to the display device 4 via the switch 5. (The cable is physically connected, or the route inside the switch is connected.)

ステップＳ５０２にて、画像転送中継装置１の判断部３４は、接続された旨を情報取得部３６に通知し、情報取得部３６は、判断部３４の通知を受けて、画像ＩＦ部３８を介して切替器５の画像出力ポートに接続された表示装置４から表示装置情報（４Ａ）を取得する。さらに、情報取得部３６は、取得した表示装置情報（４Ａ）を記憶部３５に通知し、記憶部３５は当該表示装置情報（４Ａ）を記憶する。 In step S502, the determination unit 34 of the image transfer relay device 1 notifies the information acquisition unit 36 that the connection has been made, and the information acquisition unit 36 receives the notification of the determination unit 34 and via the image IF unit 38. The display device information (4A) is acquired from the display device 4 connected to the image output port of the switch 5. Further, the information acquisition unit 36 notifies the storage unit 35 of the acquired display device information (4A), and the storage unit 35 stores the display device information (4A).

ステップＳ５０３にて、情報通知部３９は、データ変換部３２およびネットワークＩＦ部３１を介して、記憶部３５に記憶した表示装置情報（４Ａ）をクライアント端末２に送信する。 In step S503, the information notification unit 39 transmits the display device information (4A) stored in the storage unit 35 to the client terminal 2 via the data conversion unit 32 and the network IF unit 31.

ステップＳ５０４Ａ〜Ｃにて、クライアント端末２は、当該表示装置情報（４Ａ）をもとに画像データを作成し、表示装置４に表示すべき画像データをネットワーク１１を介して画像転送中継装置１に送信する。画像転送中継装置１のネットワークＩＦ部３１は、その画像データ（カプセル化されたデータ）を受信し、データ変換部３２に送信する。

In steps S504A to C, the client terminal 2 creates image data based on the display device information (4A), and transmits the image data to be displayed on the display device 4 to the image transfer relay device 1 via the network 11. Send. The network IF unit 31 of the image transfer relay device 1 receives the image data (encapsulated data) and transmits the image data (encapsulated data) to the data conversion unit 32.

ステップＳ５０５にて、画像転送中継装置１の画像ＩＦ部３８は画像処理部３７で処理された画像データを切替器５に向けて送信する。そして、当該画像データは、切替器５から表示装置４に送信され表示装置４の画面に表示されることとなる。（言うまでもないが、この時点において切替器５内部では、画像転送中継装置１からの画像を表示装置４に表示する様選択されている。） In step S505, the image IF unit 38 of the image transfer relay device 1 transmits the image data processed by the image processing unit 37 toward the switch 5. Then, the image data is transmitted from the switch 5 to the display device 4 and displayed on the screen of the display device 4. (Needless to say, at this point, the inside of the switch 5 is selected to display the image from the image transfer relay device 1 on the display device 4.)

ステップＳ５０６にて、切替器５は、例えば他のクライアント端末などから入力された画像データを表示する様選択を切り替える。これにより画像転送中継装置１は表示装置４との接続を切断されるが、これは画像ＩＦ部３８を経由した電気信号の受信により画像転送中継装置１の判断部３４が認識する。判断部３４は、切断された旨を画像処理部３７に通知する。 In step S506, the switch 5 switches the selection to display the image data input from, for example, another client terminal or the like. As a result, the image transfer relay device 1 is disconnected from the display device 4, and this is recognized by the determination unit 34 of the image transfer relay device 1 by receiving the electric signal via the image IF unit 38. The determination unit 34 notifies the image processing unit 37 that the image has been disconnected.

ステップＳ５０７にて、画像処理部３７は、判断部３４の通知を受けて、クライアント端末２から受信した表示すべき画像データを画像ＩＦ部３８に通知することを停止し、記憶部３５に一時保存するか、または順次破棄する。このステップＳ５０７において、画像転送中継装置１の情報通知部３９は、クライアント端末２に、表示装置４との接続が切断したことを通知しない。クライアント端末２のユーザは、表示装置４に表示されている画像を見て、自装置からの画像でないことを知る可能性もあるが、クライアント端末２自体はこのステップＳ５０７ではまだ、表示装置４の表示装置情報（４Ａ）をもとに画像を出力する状態にある。 In step S507, the image processing unit 37 receives the notification of the determination unit 34, stops notifying the image IF unit 38 of the image data to be displayed received from the client terminal 2, and temporarily stores the image data in the storage unit 35. Or discard in sequence. In step S507, the information notification unit 39 of the image transfer relay device 1 does not notify the client terminal 2 that the connection with the display device 4 has been disconnected. The user of the client terminal 2 may see the image displayed on the display device 4 and know that the image is not from the own device, but the client terminal 2 itself is still in the display device 4 in this step S507. The image is output based on the display device information (4A).

ステップＳ５０８において、切替器５は、再び画像転送中継装置１を表示装置と接続させる。この場合、新たに接続された表示装置は、元の表示装置４であるか、新たな表示装置であるかいずれかである。画像転送中継の判断部３４は、新たに接続がなされたことを、画像ＩＦ部３８を経由し電気信号の受信により判断する。判断部３４は、新たに接続がなされた旨を情報取得部３６に通知し、情報取得部３６は、画像ＩＦ部３８を介して接続した表示装置から表示装置情報（４Ｂ）を取得し、さらにこれを記憶部３５が一時記憶する（ステップＳ５０９）。 In step S508, the switch 5 connects the image transfer relay device 1 to the display device again. In this case, the newly connected display device is either the original display device 4 or the new display device. The image transfer relay determination unit 34 determines that a new connection has been made by receiving an electric signal via the image IF unit 38. The determination unit 34 notifies the information acquisition unit 36 that a new connection has been made, and the information acquisition unit 36 acquires display device information (4B) from the display device connected via the image IF unit 38, and further. The storage unit 35 temporarily stores this (step S509).

ステップＳ５１０にて、判断部３４は、記憶部３５に記憶している切断前に接続していた表示装置の表示装置情報（４Ａ）と図４のステップＳ４１２で情報取得部３６が取得した表示装置情報（４Ｂ）とを比較し、同一か否か（一致するか否か）を判断する。判断部３４は、一致する場合には画像データ送信を再開する（ステップＳ５１１）。すなわち、一旦切替器５内部で切断され他のクライアント端末の画像データに切り替えられたとしても、再び画像転送中継装置１側の画像データを表示することになった場合、クライアント端末２は、表示装置４との間の通信が切断されたことを全く認識せずにいる（切断前と同様に表示装置４に表示すべき画像データを送信し続けている状態である）。 In step S510, the determination unit 34 stores the display device information (4A) of the display device stored in the storage unit 35 before disconnection and the display device 36 acquired by the information acquisition unit 36 in step S412 of FIG. It is compared with the information (4B) to determine whether or not they are the same (whether or not they match). If they match, the determination unit 34 resumes image data transmission (step S511). That is, even if the image data is once disconnected inside the switch 5 and switched to the image data of another client terminal, if the image data on the image transfer relay device 1 side is to be displayed again, the client terminal 2 will display the display device. It is completely unaware that the communication with 4 has been disconnected (it is in a state of continuing to transmit image data to be displayed on the display device 4 as before the disconnection).

一方、表示装置情報が一致しない場合（新たな表示装置に接続した場合）には、ステップＳ５１２にて、記憶部３５に記憶している表示装置情報の上書き（更新する）を行う旨を記憶部３５に通知し、記憶部３５は判断部３４の通知を受けて、記憶している切断前に接続していた表示装置の表示装置情報を新たな表示装置情報に書き換える。つまり、表示装置情報（４Ａ）と表示装置情報（４Ｂ）が異なる情報であると判断部３４が判断した場合、記憶部３５に新たに切替器５に接続した表示装置の表示装置情報を記憶させるとともに、クライアント端末２に当該表示装置情報を提供する様指示を出す。そして、情報通知部３９がクライアント端末２に新たな表示装置情報を送信し、これをクライアント端末２が受け取ることとなり、初めてクライアント端末２は従前の表示経路が切断され表示装置の変更があったことを認識する。 On the other hand, if the display device information does not match (when connected to a new display device), the storage unit indicates that the display device information stored in the storage unit 35 is overwritten (updated) in step S512. Notifying the 35, the storage unit 35 receives the notification of the determination unit 34, and rewrites the display device information of the display device connected before the disconnection to the new display device information. That is, when the determination unit 34 determines that the display device information (4A) and the display device information (4B) are different information, the storage unit 35 stores the display device information of the display device newly connected to the switch 5. At the same time, an instruction is given to the client terminal 2 to provide the display device information. Then, the information notification unit 39 transmits new display device information to the client terminal 2, and the client terminal 2 receives this information. For the first time, the previous display path of the client terminal 2 is disconnected and the display device is changed. Recognize.

ステップＳ５１３にて、クライアント端末２は、新たな表示装置情報に基づき画像データを作成し、画像転送中継装置１に送信する。このデータは画像転送中継装置１でデカプセル化され、切替器５を経て、新たな表示装置に送信される。 In step S513, the client terminal 2 creates image data based on the new display device information and transmits it to the image transfer relay device 1. This data is decapsulated by the image transfer relay device 1 and transmitted to a new display device via the switch 5.

図６は、本発明の他の実施の形態に係る画像転送中継装置１を含む通信システム１０１を示す図である。 FIG. 6 is a diagram showing a communication system 101 including an image transfer relay device 1 according to another embodiment of the present invention.

図６では、学校において、教室１０２内の、通常時利用される学習支援システムと、教室外から割り込む全校通報システムとの通信システム１０１が表されている。学習支援システムは、図１に示したものと基本的に類似するが、図１における切替器５は、切替機能を有する受信機６（以下、単に受信機６とも呼ぶ）に置き換えられている。 FIG. 6 shows a communication system 101 between a learning support system normally used in the classroom 102 and a school-wide notification system that interrupts from outside the classroom. The learning support system is basically similar to that shown in FIG. 1, but the switch 5 in FIG. 1 is replaced with a receiver 6 having a switching function (hereinafter, also simply referred to as a receiver 6).

このシステムを用いれば、授業中等には、クライアント端末２のディスプレイに表示さるべき画像信号が画像転送装置１を介して受信機６に送信され、受信機６は、当該画像信号を表示装置（モニタ）４に出力する。当該画像信号は、例えば、授業を補助するための画像を含む。これにより、例えば、教師がクライアント端末２で見ている画像やクライアント端末２上で操作している画像等、クライアント端末２のディスプレイに表示されている画像等を、教室１０２内の表示装置４に映し出すことができるため、授業を効果的に行うことができる。 By using this system, an image signal to be displayed on the display of the client terminal 2 is transmitted to the receiver 6 via the image transfer device 1 during class, and the receiver 6 displays the image signal on the display device (monitor). ) Output to 4. The image signal includes, for example, an image for assisting the lesson. As a result, for example, an image displayed on the display of the client terminal 2, such as an image viewed by the teacher on the client terminal 2 or an image operated on the client terminal 2, is displayed on the display device 4 in the classroom 102. Since it can be projected, the lesson can be conducted effectively.

その一方で、管理サーバ８等に記憶された画像信号が送信機７を介して受信機６に送信され、受信機６は、当該画像信号を表示装置４に出力する場合もある。当該画像信号は、例えば、学校から生徒への連絡事項等を含む。従来、職員室等付近に設置された連絡黒板に記載される連絡事項を、本システム１０１により教室１０２内において表示装置４上に映し出しておくことができる。これにより、生徒は学校からの連絡事項を容易に認識することができる。 On the other hand, the image signal stored in the management server 8 or the like may be transmitted to the receiver 6 via the transmitter 7, and the receiver 6 may output the image signal to the display device 4. The image signal includes, for example, matters to be communicated from the school to the students. Conventionally, the communication items written on the communication blackboard installed near the staff room or the like can be displayed on the display device 4 in the classroom 102 by the system 101. This allows the student to easily recognize the communication from the school.

画像転送中継装置１、クライアント端末２および表示装置４、ならびにネットワーク１０、ケーブル１０および１２は図１におけるものと同じであり、説明を省略する。 The image transfer relay device 1, the client terminal 2, the display device 4, the network 10, the cables 10 and 12 are the same as those in FIG. 1, and the description thereof will be omitted.

管理サーバ８は、例えば校内の職員室の近傍のサーバルームに設置され、上記した連絡事項などのコンテンツが保存され、再生されて送信機７に送られる。管理サーバ８と送信機７とは映像信号用ケーブル１５で接続されている。 The management server 8 is installed in, for example, a server room near the staff room in the school, and contents such as the above-mentioned communication matters are stored, reproduced, and sent to the transmitter 7. The management server 8 and the transmitter 7 are connected by a video signal cable 15.

送信機７は、映像信号をネットワーク（Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル）１４で配信するためのものである。図６では送信機と受信機が１対１に示したが、１台の送信機から、複数の教室にそれぞれ設置された複数の受信機にネットワーク経由で同時配信されてもよい。 The transmitter 7 is for distributing a video signal via a network (Ethernet cable) 14. Although the transmitter and the receiver are shown one-to-one in FIG. 6, one transmitter may be simultaneously distributed to a plurality of receivers installed in a plurality of classrooms via a network.

受信機６は、ネットワークで配信された映像信号を表示装置４に適した信号に変換する一方、教室内で画像転送中継装置１から送信される映像信号との切替手段も有する。 The receiver 6 converts the video signal distributed on the network into a signal suitable for the display device 4, and also has a means for switching to the video signal transmitted from the image transfer relay device 1 in the classroom.

どのような条件で２つの画像ソースが切り替えられるかは任意であるが、例えば、授業中は画像転送中継装置１からの信号が優先であり、休憩時間中は管理サーバ８からの信号が優先であるとする。休憩時間が終わり、送信機７からの信号が停止するとき（あるいは、授業再開に際して、教室１０２の教師が手動で受信機６を操作して切替えるとき）が、上記実施の形態で説明した、図４におけるステップＳ４１１、または図５におけるステップＳ５０８に相当する。 The conditions under which the two image sources can be switched are arbitrary. For example, the signal from the image transfer relay device 1 has priority during class, and the signal from the management server 8 has priority during breaks. Suppose there is. When the break time ends and the signal from the transmitter 7 stops (or when the teacher in the classroom 102 manually operates and switches the receiver 6 when resuming the lesson), the figure described in the above embodiment. Corresponds to step S411 in 4 or step S508 in FIG.

以上の説明では、切替器５または切替機能付き受信機６により、画像転送中継装置１と表示装置４とが切断され、再び接続されるケースを説明したが、画像転送中継装置１と表示装置４とが直接ケーブルで接続されており、切換手段の一実現方法として、ケーブルの抜き差しを行って接続切断・再接続が生じるケースでも、現存する課題と、本発明により解決する状況は同一である。 In the above description, the case where the image transfer relay device 1 and the display device 4 are disconnected and reconnected by the switch 5 or the receiver 6 with the switching function has been described, but the image transfer relay device 1 and the display device 4 have been described. Is directly connected by a cable, and as a method of realizing the switching means, even in the case where the connection is disconnected / reconnected by connecting / disconnecting the cable, the existing problem and the situation solved by the present invention are the same.

本発明は、モニタやプロジェクタなどの表示装置に接続された、１つあるいは複数の画像出力ポートを適宜、切替えて使用する切替機能を備える装置を含む通信システムに有用である。 The present invention is useful for a communication system including a device having a switching function for appropriately switching and using one or a plurality of image output ports connected to a display device such as a monitor or a projector.

１画像転送中継装置
２、３クライアント端末
４表示装置
５切替器
６切替機能付き受信機
７送信機
８管理部サーバ
１０、１２、１３ケーブル
１１、１４ネットワーク
１５映像信号用ケーブル
１００、１０１通信システム
１０２教室
２０ＣＰＵ
２１ＲＯＭ
２２ＲＡＭ
２３記憶装置
２４ＷＮＩＣ
２５ＮＩＣ
２６画像インタフェース
２７ＵＳＢインタフェース
２８内部バス
３１ネットワークＩＦ部
３２データ変換部
３４判断部
３５記憶部
３６情報取得部
３７画像処理部
３８画像ＩＦ部
３９情報通知部

1 Image transfer relay device 2, 3 Client terminal 4 Display device 5 Switcher 6 Receiver with switching function 7 Transmitter 8 Management unit Server 10, 12, 13 Cable 11, 14 Network 15 Video signal cable 100, 101 Communication system 102 Classroom 20 CPU
21 ROM
22 RAM
23 Storage device 24 WNIC
25 NIC
26 Image interface 27 USB interface 28 Internal bus 31 Network IF unit 32 Data conversion unit 34 Judgment unit 35 Storage unit 36 Information acquisition unit 37 Image processing unit 38 Image IF unit 39 Information notification unit

Claims

An image transfer relay device that connects to a client terminal via a network, is connected to a display device via a switching means for switching to another image source, and relays image data transmitted from the client terminal to the display device. ,
A network IF unit that receives a network packet containing image data transmitted from the client terminal to the display device, and a network IF unit.
A data conversion unit that receives network packets from the network IF unit and extracts image data,
An image processing unit that performs data processing so that the image data extracted by the data conversion unit can be displayed on the display device, and an image processing unit.
An information acquisition unit that acquires display device information of the display device, and
A storage unit that stores the display device information acquired by the information acquisition unit, and a storage unit that stores the display device information.
It is determined whether or not the connection with the display device is disconnected by the switching means, and even if the connection with the display device is disconnected, the connection with the display device is not notified to the client terminal. Judgment department that continues to imitate
An information notification unit that transmits the display device information to the client terminal based on the instruction of the determination unit, and
With
The image processing unit is an image transfer relay device that receives image data transmitted from the client terminal to the display device and temporarily stores or discards the image data even when the determination unit determines that the display device is disconnected from the display device.

When the determination unit has a new connection with the display device after being disconnected from the display device, the determination unit receives the display device information of the display device before the disconnection stored in the storage unit and the newly connected display device. The display device information of the newly connected display device is recorded in the storage unit, and the display device information of the newly connected display device is recorded only when the display device information is not the same. Notify the information notification unit,
The image transfer relay device according to claim 1.

A control method for an image transfer relay device that connects to a client terminal via a network, is connected to a display device via a switching means for switching to another image source, and relays image data transmitted from the client terminal to the display device. And
A receiving step of receiving a network packet including image data transmitted from the client terminal to the display device, and
A data conversion step for extracting image data from the network packet received in the reception step, and a data conversion step.
An image processing step that performs data processing so that the image data extracted in the data conversion step can be displayed on the display device, and an image processing step.
An information acquisition step for acquiring display device information of the display device, and
A storage step for storing the display device information acquired in the information acquisition step, and a storage step for storing the display device information.
It is determined by the switching means whether or not the connection with the display device is disconnected, and even if the connection with the display device is disconnected, the connection with the display device is disconnected without notifying the client terminal of the disconnection. Judgment steps that continue to imitate and
A control step for notifying information for transmitting the display device information to the client terminal based on the instruction of the determination step, and
Only including,
Further, the image processing step is a control method for receiving image data transmitted from the client terminal to the display device and temporarily storing or discarding the image data even when it is determined that the determination step is disconnected from the display device.