Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5901945B2 - Screen transfer device - Google Patents
[go: Go Back, main page]

JP5901945B2 - Screen transfer device - Google Patents

Screen transfer device Download PDF

Info

Publication number
JP5901945B2
JP5901945B2 JP2011248397A JP2011248397A JP5901945B2 JP 5901945 B2 JP5901945 B2 JP 5901945B2 JP 2011248397 A JP2011248397 A JP 2011248397A JP 2011248397 A JP2011248397 A JP 2011248397A JP 5901945 B2 JP5901945 B2 JP 5901945B2
Authority
JP
Japan
Prior art keywords
screen
screen change
change
priority transmission
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011248397A
Other languages
Japanese (ja)
Other versions
JP2013105298A (en
Inventor
健一郎 高橋
健一郎 高橋
紘司 金子
紘司 金子
光恵 藤貫
光恵 藤貫
川村 卓也
卓也 川村
高橋 誠
誠 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011248397A priority Critical patent/JP5901945B2/en
Publication of JP2013105298A publication Critical patent/JP2013105298A/en
Application granted granted Critical
Publication of JP5901945B2 publication Critical patent/JP5901945B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明の実施形態は、画面転送装置に関する。 Embodiments described herein relate generally to a screen transfer apparatus .

従来の画面転送を用いたシンクライアントシステムには、特許文献1に開示されているように、アプリケーションサーバとクライアント端末との間に中継装置を介在させ、この装置内で算出した時間情報を端末側へ通知し、端末側での表示を滑らかにするものがある(例えば、特許文献1参照)。   In a conventional thin client system using screen transfer, as disclosed in Patent Document 1, a relay device is interposed between an application server and a client terminal, and time information calculated in the device is transferred to the terminal side. To display the information on the terminal side (see, for example, Patent Document 1).

また、シンクライアントシステムで発生するトラヒックを、キーボード・マウスイベントなどの文字情報に関するデータフローと画面情報に関するデータフローの二状態系で管理し、両データフローのTCPコネクションを分離するものがある(例えば、非特許文献1参照)。   In addition, there is a type that manages the traffic generated in the thin client system in a two-state system of data flow related to character information such as keyboard / mouse events and data flow related to screen information and separates the TCP connection of both data flows (for example, Non-Patent Document 1).

特開2004‐349965公報(17頁、図1)JP 2004-349965 A (page 17, FIG. 1) 小川祐紀雄ほか2名:「シンクライアントトラヒックの性能向上のための遅延解析とTCP層最適化」、信学技報, vol. 108, no. 204, IN2008-56、2008年9月、pp. 75-80Yukio Ogawa and two others: “Delay Analysis and TCP Layer Optimization for Performance Improvement of Thin Client Traffic”, IEICE Technical Report, vol. 108, no. 204, IN 2008-56, September 2008, pp. 75-80

しかし、特許文献1のものは、端末側での画面描画時間を考慮し、描画完了時に次に描画する画面の取得が完了するように画面取得要求を送信するタイミングを調整することで、端末側での画面とサーバ側での画面が極端にずれないようにするものであり、端末側において、規則的な画面変化をサーバ側で発生した元の規則に則って再現することはできない。また、非特許文献1のものでは、画面情報に関する特性までは着目していないため、特定の画面情報の遅延だけを最小化し、規則的な画面変化を元の規則に則って再現することには利用できない。   However, the method of Patent Document 1 considers the screen drawing time on the terminal side, and adjusts the timing for transmitting a screen acquisition request so that acquisition of the next drawing screen is completed when drawing is completed. The screen on the server side and the screen on the server side do not extremely shift, and regular screen changes cannot be reproduced on the terminal side in accordance with the original rules generated on the server side. Further, since the non-patent document 1 does not pay attention to the characteristics relating to the screen information, it is necessary to minimize only the delay of specific screen information and reproduce the regular screen change according to the original rule. Not available.

このように、従来のものは、サーバ側で発生した規則的な画面変化を、端末側で元の規則に則って再現することはできないものであった。   As described above, the conventional screen cannot reproduce the regular screen change generated on the server side in accordance with the original rule on the terminal side.

本発明は、送信側で発生した規則性のある画面変化を受信側でも送信側で発生した規則に則って再現できる画面転送装置を提供することである。 An object of the present invention is to provide a screen transfer apparatus capable of reproducing regular screen changes that have occurred on the transmission side in accordance with rules that have occurred on the reception side as well.

本発明の実施形態の画面転送装置の画面変化検出部は、クライアント装置に画面情報を送信するサーバ装置内で起こった画面変化を検出する。優先送信検出部は画面変化検出部で検出した画面変化のうち規則性がある画面変化をクライアント装置へ優先的に送信すべき画面変化として検出する。優先送信制御部は、優先送信検出部で検出した画面変化をクライアント装置へ優先的に送信するよう制御する。画面情報送信部は、優先送信制御部で制御した送信方法に従って画面変化をクライアント装置へ送信する。 The screen change detection unit of the screen transfer device according to the embodiment of the present invention detects a screen change that occurs in the server device that transmits screen information to the client device. Priority transmission detector detects a scene change to be transmitted screen change there is regularity among the screen change detected by the scene change detection unit preferentially to the client device. The priority transmission control unit controls to preferentially transmit the screen change detected by the priority transmission detection unit to the client device. The screen information transmission unit transmits the screen change to the client device according to the transmission method controlled by the priority transmission control unit.

本発明の第1実施形態に係る画面転送装置が適用される画面転送システムを示す簡略図。1 is a simplified diagram showing a screen transfer system to which a screen transfer device according to a first embodiment of the present invention is applied. 第1実施形態に係る画面転送装置の一例のブロック図。1 is a block diagram of an example of a screen transfer device according to a first embodiment. 第1実施形態に係る画面転送装置1の動作を示すフローチャート。6 is a flowchart showing the operation of the screen transfer apparatus 1 according to the first embodiment. 第1実施形態に係る優先送信検出部が過去の画面変化を元に優先的に送信すべき画面変化を自動で検出する際の検出基準の説明図。Explanatory drawing of the detection reference | standard at the time of the priority transmission detection part which concerns on 1st Embodiment detecting automatically the screen change which should be transmitted preferentially based on the past screen change. 第1実施形態に係る優先送信制御部が非優先的に送信する画面変化を間引いて送信する一例の説明図。Explanatory drawing of an example which thins and transmits the screen change which the priority transmission control part which concerns on 1st Embodiment transmits non-priorally. 第1実施形態に係る優先送信制御部が優先的に送信すべき画面変化を優先的に送信できるように送信スケジュールを調整する際の一例の説明図。Explanatory drawing of an example at the time of adjusting a transmission schedule so that the priority transmission control part which concerns on 1st Embodiment can transmit the screen change which should be transmitted preferentially. 第1実施形態に係る画面情報送信部14が1つの画面情報送信手段14aのみ持つ画面転送装置のブロック図。The block diagram of the screen transfer apparatus which the screen information transmission part 14 which concerns on 1st Embodiment has only one screen information transmission means 14a. 第1実施形態に係る画面情報送信部が4つの画面情報送信手段を持つ画面転送装置のブロック図。FIG. 3 is a block diagram of a screen transfer apparatus in which the screen information transmission unit according to the first embodiment has four screen information transmission units. 第2実施形態に係る画面転送装置の一例のブロック図。The block diagram of an example of the screen transfer apparatus which concerns on 2nd Embodiment. 第2実施形態における画面転送装置1の処理内容の一例を示すフローチャート。The flowchart which shows an example of the processing content of the screen transfer apparatus 1 in 2nd Embodiment. 本発明の第2実施形態に係る画面転送装置のタイマーにより処理を開始することを契機とした場合の処理内容のフローチャート。The flowchart of the processing content at the time of starting a process with the timer of the screen transfer apparatus which concerns on 2nd Embodiment of this invention. 第2実施形態に係る優先送信画面変化補正部が優先送信画面変化情報保持部で保持した規則に則して補正する処理内容の一例の説明図。Explanatory drawing of an example of the processing content which the priority transmission screen change correction | amendment part which concerns on 2nd Embodiment correct | amends according to the rule hold | maintained by the priority transmission screen change information holding part. 第2実施形態に係る優先送信画面変化補正部が優先送信画面変化情報保持部で保持した規則に則して補正する処理内容の他の一例の説明図。Explanatory drawing of the other example of the processing content correct | amended according to the rule which the priority transmission screen change correction part which concerns on 2nd Embodiment hold | maintained in the priority transmission screen change information holding part.

以下、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described.

(第1実施形態)
図1は、本発明の第1実施形態に係る画面転送システムを示す簡略図である。この画面転送システムは、画面転送装置1とクライアント装置2とがネットワーク3で接続されている。なお、ここでいうネットワーク3とは、LAN接続あるいはインターネット接続等である。
(First embodiment)
FIG. 1 is a simplified diagram showing a screen transfer system according to the first embodiment of the present invention. In this screen transfer system, a screen transfer device 1 and a client device 2 are connected via a network 3. The network 3 here is a LAN connection or an Internet connection.

画面転送装置1では、アプリケーションが起動している。第1実施形態では、この画面転送装置1に画面送信機能を組み込み、画面転送装置1上のアプリケーションが生成した画面情報に対して、規則性のある画面変化を受信側端末でも正しい規則で再現できる処理を行った後に、クライアント装置2へネットワーク3を介して送信する。   In the screen transfer apparatus 1, an application is activated. In the first embodiment, a screen transmission function is incorporated in the screen transfer device 1, and regular screen changes can be reproduced by the receiving terminal with correct rules for the screen information generated by the application on the screen transfer device 1. After processing, the data is transmitted to the client device 2 via the network 3.

第1実施形態に係る画面転送システムでは、画面転送装置1は、プッシュ型の画面転送プロトコルを利用して、クライアント装置2へ画面データを送信するものとする。プッシュ型とは、画面データ受信側からの画面データ取得要求を必要とせずに、画面データ送信側から画面データ受信側へ画面データを送信する方式である。   In the screen transfer system according to the first embodiment, the screen transfer device 1 transmits screen data to the client device 2 using a push-type screen transfer protocol. The push type is a method of transmitting screen data from the screen data transmission side to the screen data reception side without requiring a screen data acquisition request from the screen data reception side.

つまり、第1実施形態では、クライアント用ソフトウェアが起動しているクライアント装置2からの画面データ取得要求を必要とせずに、サーバ用ソフトウェアが起動している画面転送装置1からクライアント装置2へ画面データを送信する。   In other words, in the first embodiment, screen data is not transferred from the screen transfer device 1 on which the server software is running to the client device 2 without requiring a screen data acquisition request from the client device 2 on which the client software is running. Send.

但し、画面転送方式は、プッシュ型に限定されるものではなくプル型であってもよい。プル型とは、画面データ受信側であるクライアント装置2からの画面データ取得要求に応じて、画面データ送信側である画面転送装置1から画面データ受信側へ画面データを送信する方式である。   However, the screen transfer method is not limited to the push type, and may be a pull type. The pull type is a method in which screen data is transmitted from the screen transfer device 1 on the screen data transmission side to the screen data reception side in response to a screen data acquisition request from the client device 2 on the screen data reception side.

以上のように、第1実施形態の画面転送システムでは、画面転送装置1で生成された画面がクライアント装置2に転送され、クライアント装置2で表示される。クライアント装置2では、画面転送装置1から画面情報を受信し、受信した画面情報からクライアント装置2の図示省略のディスプレイ部に表示するための画面を生成し描画する。   As described above, in the screen transfer system of the first embodiment, the screen generated by the screen transfer device 1 is transferred to the client device 2 and displayed on the client device 2. The client device 2 receives the screen information from the screen transfer device 1 and generates and draws a screen to be displayed on a display unit (not shown) of the client device 2 from the received screen information.

図2は、本発明の第1実施形態に係る画面転送装置1の一例のブロック図である。なお、図2では本発明に係る機能構成を示している。この第1実施形態に係る画面転送装置1は、画面変化検出部11、優先送信検出部12、優先送信制御部13、画面情報送信部14を備え、画面情報送信部14は第1画面情報送信手段14a及び第2画面情報送信手段14bを有している。   FIG. 2 is a block diagram of an example of the screen transfer apparatus 1 according to the first embodiment of the present invention. FIG. 2 shows a functional configuration according to the present invention. The screen transfer apparatus 1 according to the first embodiment includes a screen change detection unit 11, a priority transmission detection unit 12, a priority transmission control unit 13, and a screen information transmission unit 14. The screen information transmission unit 14 transmits the first screen information. Means 14a and second screen information transmission means 14b are provided.

画面変化検出部11は、画面転送装置1内で起こった画面変化を検出する。画面転送装置1内で画面変化が発生すると、画面転送装置1の画面情報を生成する図示省略のフレームバッファに変化の内容が描き込まれる。つまり、変化が発生した領域に画面変化により生成された絵が描き込まれる。   The screen change detection unit 11 detects a screen change that has occurred in the screen transfer apparatus 1. When a screen change occurs in the screen transfer apparatus 1, the contents of the change are drawn in a frame buffer (not shown) that generates screen information of the screen transfer apparatus 1. That is, the picture generated by the screen change is drawn in the area where the change has occurred.

画面変化検出部11では、このフレームバッファに書き込まれた内容そのものを検出してもよいし、以前に起こった画面変化との差分をとり、実際には画素値が変化していない画面変化を排除して処理を効率化しても構わない。なお、以前に起こった画面変化との差分は、今回発生した画面変化をフレームバッファへ描き込む以前に、フレームバッファに保持されていた内容との差分である。   The screen change detection unit 11 may detect the content itself written in the frame buffer or take a difference from a screen change that has occurred before and eliminate the screen change in which the pixel value does not actually change. Thus, the processing may be made more efficient. The difference from the previous screen change is the difference from the content held in the frame buffer before the current screen change is drawn in the frame buffer.

優先送信検出部12は、画面変化検出部11で検出した画面変化の中からクライアント装置2へ優先的に送信すべき画面変化を検出する。例えば、予め特定領域に対して発生した画面変化を優先的にクライアント装置2へ送信することを指定する場合、画面変化検出部11で検出した画面変化の中から当該領域に対する画面変化の発生を検出する。これ以外にも、過去の画面変化を学習し、学習した画面変化から優先的に送信すべき画面変化を検出する方法もある。これについては後述する。   The priority transmission detection unit 12 detects a screen change to be preferentially transmitted to the client device 2 from the screen changes detected by the screen change detection unit 11. For example, when designating that a screen change that has occurred in advance for a specific area is preferentially transmitted to the client device 2, the occurrence of a screen change for the area is detected from the screen changes detected by the screen change detection unit 11. To do. In addition to this, there is a method of learning past screen changes and detecting a screen change to be transmitted with priority from the learned screen changes. This will be described later.

優先送信制御部13は、優先送信検出部12で検出した画面変化をクライアント装置2へ優先的に送信するよう制御する。例えば、第1実施形態では画面情報送信部14は第1画面情報送信手段14aと第2画面情報送信手段14bとの2つの画面情報送信手段を備えている。   The priority transmission control unit 13 controls to preferentially transmit the screen change detected by the priority transmission detection unit 12 to the client device 2. For example, in the first embodiment, the screen information transmission unit 14 includes two screen information transmission units, a first screen information transmission unit 14a and a second screen information transmission unit 14b.

このとき、優先送信する画面変化を第1画面情報送信手段14aで、それ以外の画面変化を第2画面情報送信手段14bで送信するというように、優先送信すべき画面変化か否かに応じて、クライアント装置2への送信方法を制御することにより、優先送信すべき画面変化が他の画面変化によりクライアント装置2への到着が遅延することを抑制する。   At this time, depending on whether or not there is a screen change to be preferentially transmitted such that a screen change to be preferentially transmitted is transmitted by the first screen information transmitting unit 14a and other screen changes are transmitted by the second screen information transmitting unit 14b. By controlling the transmission method to the client device 2, the screen change to be preferentially transmitted is prevented from arriving at the client device 2 due to other screen changes.

これ以外にも、優先的に送信すべき画面変化と検出されなかった画面変化(優先的に送信すべきでない画面変化)を間引くことにより、優先的に送信すべき画面変化を優先的に送信できるよう制御する。また、優先的に送信すべき画面変化を優先的に送信できるように、送信スケジュールを調整する。これらについては後述する。   In addition to this, it is possible to preferentially transmit screen changes that should be sent preferentially by thinning out screen changes that should be sent preferentially and screen changes that were not detected (screen changes that should not be sent preferentially). Control as follows. Further, the transmission schedule is adjusted so that the screen change to be transmitted with priority can be transmitted with priority. These will be described later.

このように、第1画面情報送信手段14a及び第2画面情報送信手段14bは、画面変化検出部11で検出した画面情報をクライアント装置2へ送信する。第1画面情報送信手段14aと第2画面情報送信手段14bとの使い分け方については、前述の通り、いずれかの画面情報送信手段で優先送信すべき画面変化を、他方の画面情報送信手段でその他の画面変化を送信する。   As described above, the first screen information transmission unit 14 a and the second screen information transmission unit 14 b transmit the screen information detected by the screen change detection unit 11 to the client device 2. As to how to use the first screen information transmission unit 14a and the second screen information transmission unit 14b properly, as described above, the screen change that should be preferentially transmitted by one of the screen information transmission units, Send screen changes.

第1実施形態では、第1画面情報送信手段14a及び第2画面情報送信手段14bはプッシュ型の画面転送プロトコルを利用してクライアント装置2へ画面情報を送信する。クライアント装置2側では、2つの画面情報送信手段14から受信した画面情報を元に画面を生成し描画する。   In the first embodiment, the first screen information transmission unit 14a and the second screen information transmission unit 14b transmit screen information to the client device 2 using a push-type screen transfer protocol. On the client device 2 side, a screen is generated and drawn based on the screen information received from the two screen information transmitting means 14.

また、第1画面情報送信手段14a及び第2画面情報送信手段14bは、画面転送装置1とクライアント装置2との間を接続するTCPコネクションを2つ用意し、それぞれのコネクションを使い分ける方法で実現してもよいし、画面転送装置1が2つのNIC(Network Interface Card)を持っており、それぞれのNICを使い分ける方法であっても構わない。さらに、画面転送装置1とクライアント装置2との間を接続する接続方法は1つに限定しない。そのため、例えば、画面転送装置1とクライアント装置2との間を一方は無線LAN、もう一方はBluetooth(登録商標)のように、複数の接続方法により接続し、それぞれの接続方法に従って第1画面情報送信手段14a及び第2画面情報送信手段14bを使い分ける方法であっても構わない。   Further, the first screen information transmission unit 14a and the second screen information transmission unit 14b are realized by a method in which two TCP connections for connecting the screen transfer apparatus 1 and the client apparatus 2 are prepared and each connection is used properly. Alternatively, the screen transfer apparatus 1 may have two NICs (Network Interface Cards), and each NIC may be used properly. Furthermore, the connection method for connecting the screen transfer device 1 and the client device 2 is not limited to one. Therefore, for example, the screen transfer device 1 and the client device 2 are connected by a plurality of connection methods, such as one wireless LAN and the other Bluetooth (registered trademark), and the first screen information according to each connection method. A method of using the transmission unit 14a and the second screen information transmission unit 14b properly may be used.

図3は、本発明の第1実施形態に係る画面転送装置1の処理内を示すフローチャートである。まず、画面転送が開始すると(ステップS100)、画面変化検出部11は画面転送装置1内で発生した画面変化領域を検出する(ステップS101)。次に、優先送信検出部12は発生した画面変化が優先的に送信すべき画面変化か否かを検出し(ステップS102)、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS103)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS104)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS105)。以上の処理を、画面転送を終了するまで繰り返す。   FIG. 3 is a flowchart showing the processing in the screen transfer apparatus 1 according to the first embodiment of the present invention. First, when screen transfer is started (step S100), the screen change detection unit 11 detects a screen change area generated in the screen transfer device 1 (step S101). Next, the priority transmission detection unit 12 detects whether the generated screen change is a screen change to be transmitted with priority (step S102), and the priority transmission control unit 13 determines which connection the screen change should be transmitted to. Select (step S103). The screen information transmission unit 14 transmits the screen change through the selected connection. That is, when the screen change is to be preferentially transmitted, it is transmitted by the first screen information transmitting unit 14a (step S104), and when it is a screen change that does not require priority transmission, it is transmitted by the second screen information transmitting unit 14b (step S104). S105). The above processing is repeated until the screen transfer is completed.

図4は、優先送信検出部12が過去の画面変化を元に優先的に送信すべき画面変化を自動で検出する際の検出基準の説明図である。優先送信検出部12は、画面変化検出部11で検出した画面変化をある有限時間Tの間学習しておき、図4に示す(a)(b)(c)の3通り規則のうち、1つまたは複数の組み合わせにより構成される画面変化と判別した場合に、それらの画面変化を優先的に送信すべき画面変化(規則的な画面変化)として自動的に検出する。   FIG. 4 is an explanatory diagram of detection criteria used when the priority transmission detection unit 12 automatically detects a screen change to be preferentially transmitted based on past screen changes. The priority transmission detection unit 12 learns the screen change detected by the screen change detection unit 11 for a certain finite time T, and among the three rules (a), (b), and (c) shown in FIG. When it is determined that there is a screen change constituted by one or a plurality of combinations, these screen changes are automatically detected as screen changes to be transmitted with priority (regular screen changes).

図4の(a)は、有限時間Tの間に、同一領域に何度も画面変化をする場合の例であり、例えば、ランダム点滅である。このとき、変化する画面の種類や変化する間隔には規則がなくても構わない。   FIG. 4A shows an example in which the screen is changed many times in the same area during the finite time T, for example, random flashing. At this time, there may be no rule for the type of screen to be changed and the interval to be changed.

図4の(b)は、有限時間Tの間に同一時間間隔で何度も画面変化をする場合の例であり、例えば、スクリーンセーバ等になるランダム描画である。このとき、変化する画面の種類や変化する位置(領域)には規則がなくても構わない。   FIG. 4B shows an example in which the screen changes many times at the same time interval during the finite time T, for example, random drawing that becomes a screen saver or the like. At this time, there may be no rule for the type of screen to be changed and the position (region) to be changed.

図4の(c)は、有限時間Tの間に同一種類の画面が何度も画面変化をする場合の例であり、例えば、マウス移動である。このとき、変化する間隔や変化する位置(領域)には規則がなくても構わない。   FIG. 4C shows an example in which the same type of screen changes many times during a finite time T, for example, mouse movement. At this time, there may be no rule for the changing interval and the changing position (region).

図5は優先送信制御部が非優先的に送信する画面変化を間引いて送信する一例の説明図である。優先送信制御部13は、優先的に送信すべき画面変化と検出されなかった画面変化を間引いて、優先的に送信すべき画面変化を優先的に送信できるように制御する。   FIG. 5 is an explanatory diagram of an example in which the priority transmission control unit performs transmission by thinning out screen changes transmitted non-prioritizedly. The priority transmission control unit 13 performs control so as to preferentially transmit a screen change to be preferentially transmitted by thinning out a screen change to be preferentially transmitted and a screen change that has not been detected.

図5の(a)は、画面転送装置1上の画面変化の一例を示している。左上の斜線網掛けの矩形領域に優先的に送信すべき画面変化(A)を示し、右下の白無地の矩形領域に優先的に送信しなくてもよい画面変化(B)を示している。優先的に送信すべき画面変化(A)は、図5中では(I)→(II)→(I)と変化する周期点滅である。なお、ここでは説明の都合上、優先的に送信しなくてもよい画面変化(B)の変化も同一領域上に変化している例を示しているが、例えば優先的に送信しなくてもよい画面変化(B)の領域には、単にバースト的に画面変化が発生しているのみであり、規則的な画面変化ではないものとする。   FIG. 5A shows an example of a screen change on the screen transfer apparatus 1. A screen change (A) that should be preferentially transmitted is shown in the shaded shaded rectangular area in the upper left, and a screen change (B) that does not have to be preferentially sent in the white plain rectangular area in the lower right is shown. . The screen change (A) to be preferentially transmitted is a periodic blinking that changes from (I) → (II) → (I) in FIG. Here, for convenience of explanation, an example is shown in which the change in screen change (B) that may not be preferentially transmitted is also changed in the same area. In the region of good screen change (B), the screen change is merely generated in a burst manner, and is not a regular screen change.

このとき、時系列で見る実際の画面変化の様子は図5の(b)に示すようになる。図5の(b)のように、実際の画面変化では、画面変化(A)と画面変化(B)とが混在している。   At this time, the actual screen change seen in time series is as shown in FIG. As shown in FIG. 5B, the screen change (A) and the screen change (B) are mixed in the actual screen change.

次に、図5の(c)は、画面変化検出部11により検出された画面変化検出の結果を示す。図5の(c)のように、実際には画面変化(A)は規則正しい時間間隔で変化していたものの、画面変化(B)がバースト的に発生しているために、画面変化(A)の検出が遅くなってしまい、結果として規則正しい時間間隔で検出できなかったことを示している。   Next, (c) of FIG. 5 shows the result of the screen change detection detected by the screen change detector 11. As shown in FIG. 5C, although the screen change (A) actually changes at regular time intervals, the screen change (A) occurs because the screen change (B) occurs in a burst manner. As a result, it was found that the detection could not be performed at regular time intervals.

このときに、画面変化(B)の一部を間引いた結果を図5の(d)に示す。 FIG. 5D shows the result of thinning out part of the screen change (B) at this time.

画面変化(B)は、同一領域にバースト的に発生している画面変化であれば、画面変化を検出するタイミングで最新の画面のみを送信しても、クライアント装置2に表示される画面変化には大きな差は生じないものと考える。そのため、優先送信制御部13は、画面変化(B)の一部の画面変化を間引き、画面変化(A)を規則正しいタイミングで送出できるように制御する。   If the screen change (B) is a screen change occurring in a burst in the same area, even if only the latest screen is transmitted at the timing of detecting the screen change, the screen change is displayed on the client device 2. Think that there will be no big difference. For this reason, the priority transmission control unit 13 performs control so that a part of the screen change (B) is thinned out and the screen change (A) can be transmitted at regular timing.

図6は優先送信制御部13が優先的に送信すべき画面変化を優先的に送信できるように送信スケジュールを調整する際の一例の説明図である。図6の(a)〜(c)は、図5の(a)〜(c)と同じ信号である場合を示している。図6の(c)に示す画面変化検出の結果、画面変化(A)の送信すべきタイミングが規則正しいタイミングにならなくなった場合に、画面変化(B)を送信するタイミングをスケジューリング調整し、画面変化(A)を規則正しいタイミングで送出できるように制御する。   FIG. 6 is an explanatory diagram of an example when the transmission schedule is adjusted so that the priority transmission control unit 13 can preferentially transmit a screen change to be transmitted with priority. FIGS. 6A to 6C show the same signals as those in FIGS. 5A to 5C. As a result of the screen change detection shown in (c) of FIG. 6, when the timing at which the screen change (A) should be transmitted does not become a regular timing, the timing for transmitting the screen change (B) is adjusted by scheduling to change the screen change. Control (A) so that it can be sent at regular timing.

図6の(d)にタイミングを調整する方法を示す。バースト的に発生した画面変化(B)により画面変化(A)の送出タイミングが規則正しく送信できないことが明らかになった場合に、まだクライアント装置2へ転送されていない画面変化については、優先送信制御部13は、画面変化(A)を先に、画面変化(B)を後から送るように、画面情報送信部14から送信する順番を入れ替える。   FIG. 6D shows a method for adjusting the timing. When it becomes clear that the transmission timing of the screen change (A) cannot be transmitted regularly due to the screen change (B) generated in a burst manner, the priority transmission control unit 13 changes the order of transmission from the screen information transmission unit 14 so that the screen change (A) is sent first and the screen change (B) is sent later.

なお、図5や図6で示した優先送信制御部13の動作は、図2で示すように、画面情報送信部14を2つの第1画面情報送信手段14a、第2画面情報送信手段14bに分けた実現方法であっても構わないし、図7に示すように、画面情報送信部14が1つの画面情報送信手段14aしか持たない実現方法であっても構わない。図7は、画面情報送信部14が1つの画面情報送信手段14aのみ持つ画面転送装置1のブロック図である。   The operation of the priority transmission control unit 13 shown in FIG. 5 and FIG. 6 is as follows. As shown in FIG. 2, the screen information transmission unit 14 is changed into two first screen information transmission units 14a and second screen information transmission unit 14b. A separate implementation method may be used, or as shown in FIG. 7, the screen information transmission unit 14 may have only one screen information transmission unit 14a. FIG. 7 is a block diagram of the screen transfer apparatus 1 that the screen information transmission unit 14 has only one screen information transmission unit 14a.

逆に、画面情報送信部14は、1つないし2つには限らない。例えば、3つ以上持つ実現方法であっても構わない。図8は、画面情報送信部14が4つの画面情報送信手段14を持つ画面転送装置1のブロック図である。図8に示すように、図2の画面情報送信部14に対して、第3画面情報送信手段14c、第4画面情報送信手段14dを備えている。   Conversely, the screen information transmission unit 14 is not limited to one or two. For example, an implementation method having three or more may be used. FIG. 8 is a block diagram of the screen transfer apparatus 1 in which the screen information transmission unit 14 has four screen information transmission means 14. As shown in FIG. 8, a third screen information transmission unit 14c and a fourth screen information transmission unit 14d are provided for the screen information transmission unit 14 of FIG.

図8のものでは、例えば優先送信検出部12が検出する「優先的に送信すべき画面領域」として複数領域(例えば3つ分の領域)を予め指定しておき、指定した当該領域に対する画面変化を検出した場合は、第1画面情報送信手段14a、第2画面情報送信手段14b、第3画面情報送信手段14cのいずれかを使って、また、優先的に送信する指定領域以外の領域に画面変化を検出した場合は第4画面情報送信手段14dを使って、クライアント装置2への転送を行う。それぞれの画面情報送信部14の画面情報送信手段の使い方については、以上の説明以外に、優先的に送信すべき画面変化にいくつかの優先度を設け、その優先順に使い分ける方法であっても構わない。   In FIG. 8, for example, a plurality of areas (for example, three areas) are designated in advance as “screen areas to be preferentially transmitted” detected by the priority transmission detection unit 12, and the screen change for the designated areas is performed. If any of the first screen information transmission unit 14a, the second screen information transmission unit 14b, and the third screen information transmission unit 14c is detected, the screen is displayed in an area other than the designated area to be transmitted with priority. When a change is detected, the fourth screen information transmission unit 14d is used to transfer to the client device 2. As for how to use the screen information transmission means of each screen information transmission unit 14, in addition to the above description, there may be a method in which several priorities are given to screen changes to be transmitted with priority and used in the order of priority. Absent.

このように、第1実施形態に係る画面転送装置1によれば、優先的に送信すべき画面変化を検出し、優先的に送信するよう制御することで、優先的に送信すべき画面変化の転送を優先的に行うことが可能となる。   As described above, according to the screen transfer device 1 according to the first embodiment, the screen change to be transmitted with priority is detected and controlled to be transmitted with priority. Transfer can be performed preferentially.

(第2実施形態)
図9は本発明の第2実施形態に係る画面転送装置1の一例のブロック図である。この第2実施形態に係る画面転送装置1は、図2に示した第1実施形態に対し、優先送信画面変化監視部21、優先送信画面変化補正部22、優先送信画面変化情報保持部23を追加して設けたものである。
(Second Embodiment)
FIG. 9 is a block diagram of an example of the screen transfer apparatus 1 according to the second embodiment of the present invention. The screen transfer apparatus 1 according to the second embodiment includes a priority transmission screen change monitoring unit 21, a priority transmission screen change correction unit 22, and a priority transmission screen change information holding unit 23, compared to the first embodiment shown in FIG. It is added.

優先送信画面変化監視部21は、画面変化検出部11が検出する画面変化から、優先送信画面情報保持部23で保持する優先的に送信すべき画面変化の発生可否を監視する。また、画面転送装置1内で実際に発生した画面変化を監視する以外に、別途、優先送信画面変化情報保持部23で保持した規則に則って画面変化が発生しているか否かを監視する。第2実施形態では、ある時間間隔で変化する画面変化を規則とする例を示しており、優先送信画面変化情報保持部23で保持した時間間隔で切断するタイマー15を用意し、タイマー15の切断を契機に、優先的に送信すべき画面変化の発生可否を監視する。   The priority transmission screen change monitoring unit 21 monitors whether or not a screen change to be transmitted preferentially held in the priority transmission screen information holding unit 23 is generated from the screen change detected by the screen change detection unit 11. Further, in addition to monitoring the screen change actually generated in the screen transfer apparatus 1, whether or not a screen change has occurred is separately monitored in accordance with the rules held in the priority transmission screen change information holding unit 23. In the second embodiment, an example in which a screen change that changes at a certain time interval is used as a rule is shown. A timer 15 that cuts at a time interval held by the priority transmission screen change information holding unit 23 is prepared. As a result, whether or not a screen change that should be transmitted preferentially occurs is monitored.

優先送信画面変化補正部22は、優先送信画面変化監視部21により優先的に送信すべき画面変化の発生可否を監視した結果、優先的に送信すべき画面変化が発生すべき規則に則って発生しなかった場合に、クライアント装置2へ送信すべき画面情報を、優先送信画面変化情報保持部23により保持した情報に基づいて規則に沿うよう補正する。この補正については後述する。   The priority transmission screen change correction unit 22 is generated in accordance with a rule in which a screen change to be preferentially transmitted occurs as a result of monitoring whether or not a screen change to be preferentially transmitted is monitored by the priority transmission screen change monitoring unit 21. If not, the screen information to be transmitted to the client device 2 is corrected according to the rule based on the information held by the priority transmission screen change information holding unit 23. This correction will be described later.

優先送信画面変化情報保持部23は、優先送信検出部12により優先的に送信すべき画面変化として検出した画面変化情報を規則として保持する。例えば、ある矩形領域に対して、x種類の画面が時間間隔dで変化する画面変化を規則として保持する場合、(i) 変化する画面領域情報、(ii) 画面変化を構成する画面(x種類分)、(iii) 変化する時間間隔の3つの情報をまとめて保持する。なお、規則によっては図4で説明した3種類のうち一つもしくは複数の組み合わせにより実現されているものもあるため、実現されている規則の数分、保持することとする。なお、第2実施形態での規則は3種類すべてを組み合わせた規則の場合について説明する。   The priority transmission screen change information holding unit 23 holds the screen change information detected as a screen change to be transmitted with priority by the priority transmission detection unit 12 as a rule. For example, for a certain rectangular area, when a screen change in which x types of screens change at the time interval d is held as a rule, (i) screen region information that changes, (ii) screens that make up the screen change (x types) Min), (iii) Three information of changing time intervals are held together. Note that some rules are implemented by one or a combination of a plurality of the three types described in FIG. 4, and therefore, the number of rules that are implemented is retained. The rule in the second embodiment will be described for a rule that combines all three types.

第2実施形態における画面転送装置1は、優先送信画面変化監視部21で示す処理を開始する契機が2通りある。一つ目は「画面転送装置1内で発生した画面変化を検出することにより処理を開始する」契機であり、二つ目は「タイマー15により処理を開始する」契機である。それぞれの契機による処理を図10及び図11を用いて説明する。   The screen transfer apparatus 1 according to the second embodiment has two triggers for starting the process indicated by the priority transmission screen change monitoring unit 21. The first is an opportunity to “start processing by detecting a screen change occurring in the screen transfer apparatus 1”, and the second is an opportunity to “start processing by the timer 15”. Processing according to each opportunity will be described with reference to FIGS. 10 and 11.

図10は、本発明の第2実施形態における画面転送装置1の処理内容の一例を示すフローチャートである。この図10に示した処理内容は、画面転送装置1内で発生した画面変化を検出することにより処理を開始することを契機とした場合のものであり、タイマー15により処理を開始する場合の処理内容は記載を省略している。   FIG. 10 is a flowchart illustrating an example of processing contents of the screen transfer apparatus 1 according to the second embodiment of the present invention. The processing contents shown in FIG. 10 are for a case where the processing is started by detecting a screen change occurring in the screen transfer apparatus 1, and the processing when the processing is started by the timer 15. Details are omitted.

まず、画面転送が開始すると(ステップS200)、優先送信検出部11は画面転送装置1内で発生した画面変化領域を検出し(ステップS201)、優先送信検出部11により画面変化が検出されると、優先送信画面変化監視部21は、発生した画面変化が「優先的に送信すべき画面変化」として優先送信画面変化情報保持部23に保持されているか否かを調べる(ステップS202)。画面転送処理の開始時(初期状態)では保持されている画面変化はないため、noの処理に続く。次いで、優先送信検出部12により、処理すべき画面変化が「優先的に送信すべき画面変化」か否かを検出する(ステップS203)。優先的に送信すべき画面変化と検出した場合、優先送信画面変化情報保持部23に検出した画面変化の情報(規則情報)を登録する(ステップS204)。また、ステップS204において登録する規則が時間に関するものである場合、規則に則った画面変化の発生可否を監視するためのタイマー15をセットする(ステップS205)。   First, when screen transfer is started (step S200), the priority transmission detection unit 11 detects a screen change area generated in the screen transfer device 1 (step S201), and when the screen transmission is detected by the priority transmission detection unit 11. The priority transmission screen change monitoring unit 21 checks whether the generated screen change is held in the priority transmission screen change information holding unit 23 as “screen change to be preferentially transmitted” (step S202). At the start of the screen transfer process (initial state), there is no screen change being held, so the process follows no. Next, the priority transmission detection unit 12 detects whether or not the screen change to be processed is “screen change to be preferentially transmitted” (step S203). When a screen change to be transmitted with priority is detected, the detected screen change information (rule information) is registered in the priority transmission screen change information holding unit 23 (step S204). If the rule registered in step S204 is related to time, the timer 15 for monitoring whether or not a screen change occurs according to the rule is set (step S205).

一方、ステップS202で処理すべき画面変化が優先送信画面変化情報保持部23に保持されている場合(ステップS202でyesの処理に進んだ場合)、当該画面変化が、優先送信画面変化情報保持部23で保持した規則に則った画面変化か否かを調べる(ステップS206)。   On the other hand, when the screen change to be processed in step S202 is held in the priority transmission screen change information holding unit 23 (when the process proceeds to yes in step S202), the screen change is changed to the priority transmission screen change information holding unit. It is checked whether or not the screen changes in accordance with the rule held at 23 (step S206).

例えば、図4で示した時間間隔を規則とした画面変化が規則正しい時間間隔で変化しているか否かを判別する。ステップS206において、規則に則った画面変化ではないと判別された場合(noに進んだ場合)、優先送信画面変化補正部22は、処理すべき画面変化を優先送信画面変化情報保持部23で保持した規則に則した画面変化となるように補正する(ステップS207)。例えば、画面変化すべき時間間隔は規則正しいが、変化する画面の種類が異なっている場合などは、正しい種類の画面で変化するように補正する。この補正処理については後述する。   For example, it is determined whether or not the screen change based on the time interval shown in FIG. 4 changes at regular time intervals. If it is determined in step S206 that the screen change is not in accordance with the rules (if no), the priority transmission screen change correction unit 22 holds the screen change to be processed in the priority transmission screen change information holding unit 23. Correction is made so that the screen changes in accordance with the rule (step S207). For example, when the time interval for changing the screen is regular, but the type of the changing screen is different, correction is made so that the screen changes with the correct type. This correction process will be described later.

以上の処理を終えたら、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS208)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS209)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS210)。以上の処理を、画面転送を終了するまで繰り返す。   When the above processing is completed, the priority transmission control unit 13 selects which connection to transmit the screen change (step S208). The screen information transmission unit 14 transmits the screen change through the selected connection. That is, when the screen change is to be preferentially transmitted, it is transmitted by the first screen information transmitting unit 14a (step S209), and when it is a screen change that does not require priority transmission, it is transmitted by the second screen information transmitting unit 14b (step S209). S210). The above processing is repeated until the screen transfer is completed.

図11は、本発明の第2実施形態に係る画面転送装置1のタイマー15により処理を開始することを契機とした場合の処理内容のフローチャートである。このフローチャートは、タイマー15により処理を開始することを契機とした場合のものであり、画面転送処理開始時からの処理フローチャートではなく、図10のステップS205によりタイマー15がセットされた後からの処理ということになる。   FIG. 11 is a flowchart of processing contents when the processing is started by the timer 15 of the screen transfer apparatus 1 according to the second embodiment of the present invention. This flowchart is for the case where the process is started by the timer 15, and is not a process flowchart from the start of the screen transfer process, but a process after the timer 15 is set by step S205 in FIG. It turns out that.

まず、図10ステップS205によりタイマーがセットされると(ステップS300)、タイマー15の切断を待つ(ステップS301)。タイマー15が切断されると、優先送信画面変化監視部21は、優先送信画面変化情報保持部23で保持した規則に則した画面変化が規則通りに発生しているか否かを調べる(ステップS302)。すなわち、規則正しい時間間隔で画面変化が発生しているか否かを調べる。   First, when the timer is set in step S205 in FIG. 10 (step S300), the process waits for the timer 15 to be disconnected (step S301). When the timer 15 is disconnected, the priority transmission screen change monitoring unit 21 checks whether or not a screen change according to the rules held by the priority transmission screen change information holding unit 23 occurs according to the rules (step S302). . That is, it is checked whether a screen change occurs at regular time intervals.

規則に則った画面変化が発生していない場合、つまり、保持している規則情報のうち規則に則った画面変化をしていない画面変化情報が存在する場合は、優先送信画面変化補正部22は、優先送信画面変化情報保持部23で保持した規則に則して画面変化を補正する(ステップS303)。   When there is no screen change according to the rule, that is, when there is screen change information that does not change the screen according to the rule among the held rule information, the priority transmission screen change correction unit 22 Then, the screen change is corrected in accordance with the rules held by the priority transmission screen change information holding unit 23 (step S303).

以降、補正した画面情報に基づいて、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS304)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS305)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS306)。   Thereafter, based on the corrected screen information, the priority transmission control unit 13 selects which connection should transmit the screen change (step S304). The screen information transmission unit 14 transmits the screen change through the selected connection. That is, when the screen change is to be preferentially transmitted, it is transmitted by the first screen information transmitting unit 14a (step S305), and when it is a screen change that does not require priority transmission, it is transmitted by the second screen information transmitting unit 14b (step S305). S306).

一方、ステップS302で、保持しているすべての画面変化が規則情報通りに画面変化している場合はnoに進み、再度タイマー15をセットするのみとする。   On the other hand, in step S302, if all the screen changes that have been held are changing according to the rule information, the process proceeds to no and only the timer 15 is set again.

図12は第2実施形態に係る優先送信画面変化補正部22が優先送信画面変化情報保持部23で保持した規則に則して補正する処理内容の一例の説明図である。図12では、図4の(b)、(c)の2種類の規則の組み合わせを満たす場合を例にとって画面変化補正する場合を示している。   FIG. 12 is an explanatory diagram illustrating an example of the processing content that the priority transmission screen change correction unit 22 according to the second embodiment corrects in accordance with the rules held by the priority transmission screen change information holding unit 23. FIG. 12 shows a case where the screen change is corrected by taking as an example a case where the combination of the two types of rules (b) and (c) in FIG. 4 is satisfied.

図12の(a)は、画面転送装置1内の実際の画面変化の様子を、フレームバッファの変化を時系列に表すことで示している。この画面変化は、(A)という画面が規則検出時間Tより小さい時間間隔t0(t0<T)のタイミングで横方向にx[pixel]ずつ移動する画面変化の様子を示している。   FIG. 12A shows an actual screen change in the screen transfer apparatus 1 by representing frame buffer changes in time series. This screen change shows a screen change in which the screen (A) moves in the horizontal direction by x [pixel] at a time interval t0 (t0 <T) smaller than the rule detection time T.

図12の(b)は、図12の(a)の画面変化が発生しているときの画面変化検出部11で検出した画面変化を示している。ここでは、実際に画素値が変化した領域(規則変化領域)のみを抽出した例(背景を含まない例)を示しており、図12の(b)では、3回目の画面変化までは時間間隔t0のタイミングで変化領域を検出できているが、矢印箇所の4回目の画面変化では、検出できなかった場合を示している。矢印箇所の4回目の画面変化のタイミングで1つ前の画面変化からx[pixel]すれた位置に画像が検出されていない場合を示している。   FIG. 12B shows a screen change detected by the screen change detection unit 11 when the screen change of FIG. 12A occurs. Here, an example in which only an area (regular change area) in which the pixel value has actually changed is extracted (an example that does not include the background) is shown. In FIG. 12B, the time interval until the third screen change is shown. Although the change area can be detected at the timing of t0, the case where the change area cannot be detected in the fourth screen change at the arrow point is shown. This shows a case where an image is not detected at a position x [pixel] away from the previous screen change at the timing of the fourth screen change at the arrow location.

このとき、図11のフローチャート(タイマー15により優先送信画面変化監視部21の処理を開始するフローチャート)を用いて、時間間隔t0の間隔で規則に則っていない画面変化があるかどうかを判定する(ステップS302)。図12の(b)では、4回目の画面変化が発生していないことが検出された場合を示している。   At this time, using the flowchart of FIG. 11 (the flowchart of starting the process of the priority transmission screen change monitoring unit 21 by the timer 15), it is determined whether there is a screen change that does not comply with the rules at the time interval t0 ( Step S302). FIG. 12B shows a case where it is detected that the fourth screen change has not occurred.

図12の(c)は、図12(b)で規則に則った画面変化が規則通りに発生しなかったことを検出した結果を踏まえ、優先送信画面変化情報保持部23で保持した規則に則り、優先送信画面変化補正部22により画面変化を補正する様子を示している。図12の(c)では、矢印箇所の4回目の画面変化が正しいタイミングで正しい画面を用いて補われている。すなわち、矢印箇所の4回目の画面変化のタイミングで1つ前の画面変化からx[pixel]すれた位置に画像を補正している。   (C) in FIG. 12 is based on the rule held in the priority transmission screen change information holding unit 23 based on the result of detecting that the screen change in accordance with the rule does not occur according to the rule in FIG. 12 (b). 3 shows a state in which a screen change is corrected by the priority transmission screen change correction unit 22. In FIG. 12C, the fourth screen change at the arrow is compensated by using the correct screen at the correct timing. That is, the image is corrected to a position that is x [pixel] away from the previous screen change at the timing of the fourth screen change at the arrow location.

図13は、優先送信画面変化補正部22が、優先送信画面変化情報保持部23で保持した規則に則して補正する処理内容の他の一例の説明図であり、図13では、図4の(a)、(b)、(c)の3種類の規則のすべての規則を満たす場合を例にとって画面変化を補正する場合を示している。   FIG. 13 is an explanatory diagram of another example of processing contents that the priority transmission screen change correction unit 22 corrects in accordance with the rules held by the priority transmission screen change information holding unit 23. FIG. The case where the screen change is corrected is shown taking as an example the case where all of the three types of rules (a), (b), and (c) are satisfied.

図13の(a)は、画面転送装置1内の実際の画面変化の様子を、フレームバッファの変化を時系列に表すことで示している。この画面変化は、(A)と(B)という2種類の画面が時間間隔t0のタイミングで、同一矩形領域に交互に表示される画面変化の様子を示している。   FIG. 13A shows an actual screen change in the screen transfer apparatus 1 by representing frame buffer changes in time series. This screen change shows a state of screen change in which two types of screens (A) and (B) are alternately displayed in the same rectangular area at the timing of the time interval t0.

図13の(b)は、図13の(a)の画面変化が発生しているときの画面変化検出部11で検出した画面変化を示している。ここでは、実際に画素値が変化した領域のみを抽出した例を示しており、図13(b)では、3回目の画面変化までは規則に則った画面変化が発生していることを検出できているが、矢印箇所の4回目の画面変化が検出できなかった場合を示している。 FIG. 13B shows a screen change detected by the screen change detection unit 11 when the screen change of FIG. 13A occurs. Here, an example is shown in which only the region where the pixel value has actually changed is extracted, and in FIG. 13B, it can be detected that a screen change according to the rule has occurred until the third screen change. However, it shows a case where the fourth screen change at the arrow location could not be detected.

図13の(c)は、図13の(b)で規則に則った画面変化が規則通りに発生しなかったことを検出した結果を踏まえ、優先送信画面変化情報保持部23で保持した規則に則り、画面変化を補正する様子を示している。ここでは、矢印箇所の4回目の画面変化を正しい領域に、正しいタイミングで正しい画面で補っている。   FIG. 13C shows the rule held by the priority transmission screen change information holding unit 23 based on the result of detecting that the screen change according to the rule did not occur according to the rule in FIG. As a rule, it shows how the screen changes are corrected. Here, the fourth screen change at the arrow location is compensated for in the correct area with the correct screen at the correct timing.

なお、図12及び図13で、優先送信すべき画面変化の監視と補正の方法について例を示したが、図4で説明した優先送信検出部12が規則を検出する方法と同様に、検出した画面変化を補正する方法についても、図12及び図13で示した組み合わせには限らないことは言うまでもない。   12 and 13 show an example of a method for monitoring and correcting a screen change to be preferentially transmitted. However, the preferential transmission detecting unit 12 described with reference to FIG. Needless to say, the method for correcting the screen change is not limited to the combinations shown in FIGS.

このように、第2実施形態に係る画面転送装置1によれば、優先的に送信すべき画面変化の規則性を検出し、規則に則した画面変化に補正することで、優先的に送信すべき画面変化の規則性までも担保することが可能となる。   As described above, according to the screen transfer apparatus 1 according to the second embodiment, the regularity of the screen change to be transmitted with priority is detected, and the transmission is performed with priority by correcting the screen change in accordance with the rule. It is possible to guarantee the regularity of the screen change.

この画面転送装置1は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、上記のコンピュータ装置に搭載されたプロセッサに画面転送プログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータにあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータに内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。   The screen transfer apparatus 1 can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. That is, it can be realized by causing a processor mounted on the computer apparatus to execute a screen transfer program. At this time, it may be realized by installing the above program in a computer in advance, or it may be stored in a storage medium such as a CD-ROM or distributed through the network, and this program may be distributed to the computer. You may implement | achieve by installing in an apparatus suitably. Further, it can be realized by appropriately using a memory, a hard disk, or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, or the like that is built in or externally attached to the computer.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1…画面転送装置、2…クライアント装置、3…ネットワーク、11…画面変化検出部、12…優先送信検出部、13…優先送信制御部、14…画面情報送信部、15…タイマー、21…優先送信画面変化監視部、22…優先送信画面変化補正部、23…優先送信画面変化情報保持部 DESCRIPTION OF SYMBOLS 1 ... Screen transfer apparatus, 2 ... Client apparatus, 3 ... Network, 11 ... Screen change detection part, 12 ... Priority transmission detection part, 13 ... Priority transmission control part, 14 ... Screen information transmission part, 15 ... Timer, 21 ... Priority Transmission screen change monitoring unit, 22 ... Priority transmission screen change correction unit, 23 ... Priority transmission screen change information holding unit

Claims (6)

クライアント装置に画面情報を送信するサーバ装置内で起こった画面変化を検出する画面変化検出部と、前記画面変化検出部で検出した画面変化のうち規則性がある画面変化を前記クライアント装置へ優先的に送信すべき画面変化として検出する優先送信検出部と、前記優先送信検出部で検出した画面変化を前記クライアント装置へ優先的に送信するよう制御する優先送信制御部と、前記優先送信制御部で制御した送信方法に従って画面変化をクライアント装置へ送信する画面情報送信部とを備えることを特徴とする画面転送装置。 A screen change detecting unit for detecting a screen change occurring in the server device that transmits screen information to the client device, and a regular screen change among the screen changes detected by the screen change detecting unit is given priority to the client device. a priority transmission detector for detecting a scene change to be transmitted to the priority transmission control unit for controlling to transmit the screen changes detected by the priority transmission detecting unit preferentially to the client device, at the priority transmission control unit A screen transfer device comprising: a screen information transmission unit that transmits a screen change to a client device according to a controlled transmission method. 前記優先送信検出部が検出する画面変化の情報を保持する優先送信画面変化情報保持部と、前記画面変化検出部が検出する画面変化から前記優先送信画面情報保持部にて保持した優先的に送信すべき画面変化の発生可否を監視する優先送信画面変化監視部と、前記優先送信画面変化監視部により監視した結果、優先的に送信すべき画面変化が過去の画面変化から予想される画面上の位置あるいは発生すべきタイミングに発生しなかった場合に前記優先送信画面変化情報保持部により保持した情報に基づきクライアント装置へ送信すべき画面情報を補正する優先送信画面変化補正部とを備えることを特徴とする請求項1に記載の画面転送装置。   A priority transmission screen change information holding unit that holds information of a screen change detected by the priority transmission detection unit, and a priority transmission held in the priority transmission screen information holding unit from a screen change detected by the screen change detection unit As a result of monitoring by the priority transmission screen change monitoring unit that monitors whether or not a screen change should be generated and the priority transmission screen change monitoring unit, a screen change that should be preferentially transmitted is predicted from past screen changes. A priority transmission screen change correction unit that corrects screen information to be transmitted to the client device based on information held by the priority transmission screen change information holding unit when the position or timing does not occur. The screen transfer apparatus according to claim 1. 前記優先送信検出部は、前記画面変化検出部で検出した画面変化を学習し、その結果、ある有限時間の間に、同一領域への画面変化が何度も発生することを規則として検出することを特徴とする請求項2または請求項3に記載の画面転送装置。   The priority transmission detection unit learns the screen change detected by the screen change detection unit, and as a result, detects that a screen change to the same region occurs many times during a certain finite time. The screen transfer apparatus according to claim 2, wherein: 前記優先送信検出部は、前記画面変化検出部で検出した画面変化を学習し、その結果、ある有限時間の間に、同一時間間隔での画面変化が何度も発生することを規則として検出することを特徴とする請求項2または請求項3に記載の画面転送装置。   The priority transmission detection unit learns the screen change detected by the screen change detection unit, and as a result, detects that the screen change occurs repeatedly at the same time interval during a certain finite time. The screen transfer apparatus according to claim 2, wherein the screen transfer apparatus is a screen transfer apparatus. 前記優先送信検出部は、前記画面変化検出部で検出した画面変化を学習し、その結果、ある有限時間の間に、同一種類での画面変化が何度も発生することを規則として検出することを特徴とする請求項2または請求項3に記載の画面転送装置。   The priority transmission detection unit learns the screen change detected by the screen change detection unit, and as a result, detects that a screen change of the same type occurs many times during a certain finite time. The screen transfer apparatus according to claim 2, wherein: 前記優先送信検出部は、前記画面変化検出部で検出した画面変化を学習し、その結果、ある有限時間の間に、同一領域への画面変化が何度も発生すること、同一時間間隔での画面変化が何度も発生すること、同一種類での画面変化が何度も発生することの少なくとも2つ以上の組合せを規則として検出することを特徴とする請求項2または請求項3に記載の画面転送装置。   The priority transmission detection unit learns the screen change detected by the screen change detection unit, and as a result, the screen change to the same region occurs many times during a certain finite time, at the same time interval. 4. The method according to claim 2, wherein a combination of at least two of the occurrence of screen changes many times and the occurrence of screen changes of the same type is detected as a rule. Screen transfer device.
JP2011248397A 2011-11-14 2011-11-14 Screen transfer device Expired - Fee Related JP5901945B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011248397A JP5901945B2 (en) 2011-11-14 2011-11-14 Screen transfer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011248397A JP5901945B2 (en) 2011-11-14 2011-11-14 Screen transfer device

Publications (2)

Publication Number Publication Date
JP2013105298A JP2013105298A (en) 2013-05-30
JP5901945B2 true JP5901945B2 (en) 2016-04-13

Family

ID=48624796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011248397A Expired - Fee Related JP5901945B2 (en) 2011-11-14 2011-11-14 Screen transfer device

Country Status (1)

Country Link
JP (1) JP5901945B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003229798A (en) * 2002-02-05 2003-08-15 Hitachi Ltd Wireless relay system
JP4844275B2 (en) * 2006-08-01 2011-12-28 カシオ計算機株式会社 Server apparatus, server-based computing system, and program
JP5471668B2 (en) * 2010-03-19 2014-04-16 日本電気株式会社 Image transfer apparatus, method and program

Also Published As

Publication number Publication date
JP2013105298A (en) 2013-05-30

Similar Documents

Publication Publication Date Title
US8503010B2 (en) Display control device, display control method, image-forming device, computer readable medium, and computer data signal
EP2685695B1 (en) Method, system and computer storage medium for displaying microblog wall
CN114257772B (en) Data transmission adjustment method, device, computer equipment and readable storage medium
US20120246275A1 (en) Information sharing system, communication apparatus, control method and computer program
CN104135693A (en) A video playing method, smart TV and server
EP2460350B1 (en) Video reproduction apparatus, control method thereof, and computer-readable storage medium storing program
CN103841562A (en) Time slot resource occupation processing method and time slot resource occupation processing device
CN103491162A (en) Method and system for sharing information based on mobile Internet
JP2009272833A (en) Video delivery apparatus, delivery relay and their control method, and data delivery system
US10925014B2 (en) Method and apparatus for synchronization in a network
CN118540529A (en) Multimedia data synchronization method, device, equipment, readable storage medium and product
JP5901945B2 (en) Screen transfer device
US10834204B2 (en) Transmitting display information based on communication protocols
JP5613710B2 (en) Server terminal, screen transfer system, and screen transfer method
CN114095451B (en) Data processing method, device and computer readable storage medium
US20080016539A1 (en) Display service method, network device capable of performing the method, and storage medium storing the method
JP6979092B2 (en) Content output system and method
JP2008011177A (en) Dynamic quality control method by streaming distribution, and network system
CN103945237A (en) Clock synchronization method and system, digital television equipment and EPG server
US9306824B2 (en) Communication control apparatus, communication control method, and computer-readable non-transitory recording medium
KR20180062621A (en) Method for providing contents by using a plurality of contents support devices, and contents support device for implementing same method
JP2006311520A (en) Communication system, information processing apparatus, and program
JP5695537B2 (en) Server, server control method, server control program
US20150138242A1 (en) Apparatus and method of reproducing multi image
JP2010271934A (en) System, method, and program for setting device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160309

R151 Written notification of patent or utility model registration

Ref document number: 5901945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees