JP5901945B2 - Screen transfer device - Google Patents
Screen transfer device Download PDFInfo
- Publication number
- JP5901945B2 JP5901945B2 JP2011248397A JP2011248397A JP5901945B2 JP 5901945 B2 JP5901945 B2 JP 5901945B2 JP 2011248397 A JP2011248397 A JP 2011248397A JP 2011248397 A JP2011248397 A JP 2011248397A JP 5901945 B2 JP5901945 B2 JP 5901945B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- screen change
- change
- priority transmission
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Description
本発明の実施形態は、画面転送装置に関する。 Embodiments described herein relate generally to a screen transfer apparatus .
従来の画面転送を用いたシンクライアントシステムには、特許文献1に開示されているように、アプリケーションサーバとクライアント端末との間に中継装置を介在させ、この装置内で算出した時間情報を端末側へ通知し、端末側での表示を滑らかにするものがある(例えば、特許文献1参照)。
In a conventional thin client system using screen transfer, as disclosed in
また、シンクライアントシステムで発生するトラヒックを、キーボード・マウスイベントなどの文字情報に関するデータフローと画面情報に関するデータフローの二状態系で管理し、両データフローのTCPコネクションを分離するものがある(例えば、非特許文献1参照)。 In addition, there is a type that manages the traffic generated in the thin client system in a two-state system of data flow related to character information such as keyboard / mouse events and data flow related to screen information and separates the TCP connection of both data flows (for example, Non-Patent Document 1).
しかし、特許文献1のものは、端末側での画面描画時間を考慮し、描画完了時に次に描画する画面の取得が完了するように画面取得要求を送信するタイミングを調整することで、端末側での画面とサーバ側での画面が極端にずれないようにするものであり、端末側において、規則的な画面変化をサーバ側で発生した元の規則に則って再現することはできない。また、非特許文献1のものでは、画面情報に関する特性までは着目していないため、特定の画面情報の遅延だけを最小化し、規則的な画面変化を元の規則に則って再現することには利用できない。
However, the method of
このように、従来のものは、サーバ側で発生した規則的な画面変化を、端末側で元の規則に則って再現することはできないものであった。 As described above, the conventional screen cannot reproduce the regular screen change generated on the server side in accordance with the original rule on the terminal side.
本発明は、送信側で発生した規則性のある画面変化を受信側でも送信側で発生した規則に則って再現できる画面転送装置を提供することである。 An object of the present invention is to provide a screen transfer apparatus capable of reproducing regular screen changes that have occurred on the transmission side in accordance with rules that have occurred on the reception side as well.
本発明の実施形態の画面転送装置の画面変化検出部は、クライアント装置に画面情報を送信するサーバ装置内で起こった画面変化を検出する。優先送信検出部は画面変化検出部で検出した画面変化のうち規則性がある画面変化をクライアント装置へ優先的に送信すべき画面変化として検出する。優先送信制御部は、優先送信検出部で検出した画面変化をクライアント装置へ優先的に送信するよう制御する。画面情報送信部は、優先送信制御部で制御した送信方法に従って画面変化をクライアント装置へ送信する。 The screen change detection unit of the screen transfer device according to the embodiment of the present invention detects a screen change that occurs in the server device that transmits screen information to the client device. Priority transmission detector detects a scene change to be transmitted screen change there is regularity among the screen change detected by the scene change detection unit preferentially to the client device. The priority transmission control unit controls to preferentially transmit the screen change detected by the priority transmission detection unit to the client device. The screen information transmission unit transmits the screen change to the client device according to the transmission method controlled by the priority transmission control unit.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
(第1実施形態)
図1は、本発明の第1実施形態に係る画面転送システムを示す簡略図である。この画面転送システムは、画面転送装置1とクライアント装置2とがネットワーク3で接続されている。なお、ここでいうネットワーク3とは、LAN接続あるいはインターネット接続等である。
(First embodiment)
FIG. 1 is a simplified diagram showing a screen transfer system according to the first embodiment of the present invention. In this screen transfer system, a
画面転送装置1では、アプリケーションが起動している。第1実施形態では、この画面転送装置1に画面送信機能を組み込み、画面転送装置1上のアプリケーションが生成した画面情報に対して、規則性のある画面変化を受信側端末でも正しい規則で再現できる処理を行った後に、クライアント装置2へネットワーク3を介して送信する。
In the
第1実施形態に係る画面転送システムでは、画面転送装置1は、プッシュ型の画面転送プロトコルを利用して、クライアント装置2へ画面データを送信するものとする。プッシュ型とは、画面データ受信側からの画面データ取得要求を必要とせずに、画面データ送信側から画面データ受信側へ画面データを送信する方式である。
In the screen transfer system according to the first embodiment, the
つまり、第1実施形態では、クライアント用ソフトウェアが起動しているクライアント装置2からの画面データ取得要求を必要とせずに、サーバ用ソフトウェアが起動している画面転送装置1からクライアント装置2へ画面データを送信する。
In other words, in the first embodiment, screen data is not transferred from the
但し、画面転送方式は、プッシュ型に限定されるものではなくプル型であってもよい。プル型とは、画面データ受信側であるクライアント装置2からの画面データ取得要求に応じて、画面データ送信側である画面転送装置1から画面データ受信側へ画面データを送信する方式である。
However, the screen transfer method is not limited to the push type, and may be a pull type. The pull type is a method in which screen data is transmitted from the
以上のように、第1実施形態の画面転送システムでは、画面転送装置1で生成された画面がクライアント装置2に転送され、クライアント装置2で表示される。クライアント装置2では、画面転送装置1から画面情報を受信し、受信した画面情報からクライアント装置2の図示省略のディスプレイ部に表示するための画面を生成し描画する。
As described above, in the screen transfer system of the first embodiment, the screen generated by the
図2は、本発明の第1実施形態に係る画面転送装置1の一例のブロック図である。なお、図2では本発明に係る機能構成を示している。この第1実施形態に係る画面転送装置1は、画面変化検出部11、優先送信検出部12、優先送信制御部13、画面情報送信部14を備え、画面情報送信部14は第1画面情報送信手段14a及び第2画面情報送信手段14bを有している。
FIG. 2 is a block diagram of an example of the
画面変化検出部11は、画面転送装置1内で起こった画面変化を検出する。画面転送装置1内で画面変化が発生すると、画面転送装置1の画面情報を生成する図示省略のフレームバッファに変化の内容が描き込まれる。つまり、変化が発生した領域に画面変化により生成された絵が描き込まれる。
The screen
画面変化検出部11では、このフレームバッファに書き込まれた内容そのものを検出してもよいし、以前に起こった画面変化との差分をとり、実際には画素値が変化していない画面変化を排除して処理を効率化しても構わない。なお、以前に起こった画面変化との差分は、今回発生した画面変化をフレームバッファへ描き込む以前に、フレームバッファに保持されていた内容との差分である。
The screen
優先送信検出部12は、画面変化検出部11で検出した画面変化の中からクライアント装置2へ優先的に送信すべき画面変化を検出する。例えば、予め特定領域に対して発生した画面変化を優先的にクライアント装置2へ送信することを指定する場合、画面変化検出部11で検出した画面変化の中から当該領域に対する画面変化の発生を検出する。これ以外にも、過去の画面変化を学習し、学習した画面変化から優先的に送信すべき画面変化を検出する方法もある。これについては後述する。
The priority
優先送信制御部13は、優先送信検出部12で検出した画面変化をクライアント装置2へ優先的に送信するよう制御する。例えば、第1実施形態では画面情報送信部14は第1画面情報送信手段14aと第2画面情報送信手段14bとの2つの画面情報送信手段を備えている。
The priority
このとき、優先送信する画面変化を第1画面情報送信手段14aで、それ以外の画面変化を第2画面情報送信手段14bで送信するというように、優先送信すべき画面変化か否かに応じて、クライアント装置2への送信方法を制御することにより、優先送信すべき画面変化が他の画面変化によりクライアント装置2への到着が遅延することを抑制する。
At this time, depending on whether or not there is a screen change to be preferentially transmitted such that a screen change to be preferentially transmitted is transmitted by the first screen
これ以外にも、優先的に送信すべき画面変化と検出されなかった画面変化(優先的に送信すべきでない画面変化)を間引くことにより、優先的に送信すべき画面変化を優先的に送信できるよう制御する。また、優先的に送信すべき画面変化を優先的に送信できるように、送信スケジュールを調整する。これらについては後述する。 In addition to this, it is possible to preferentially transmit screen changes that should be sent preferentially by thinning out screen changes that should be sent preferentially and screen changes that were not detected (screen changes that should not be sent preferentially). Control as follows. Further, the transmission schedule is adjusted so that the screen change to be transmitted with priority can be transmitted with priority. These will be described later.
このように、第1画面情報送信手段14a及び第2画面情報送信手段14bは、画面変化検出部11で検出した画面情報をクライアント装置2へ送信する。第1画面情報送信手段14aと第2画面情報送信手段14bとの使い分け方については、前述の通り、いずれかの画面情報送信手段で優先送信すべき画面変化を、他方の画面情報送信手段でその他の画面変化を送信する。
As described above, the first screen
第1実施形態では、第1画面情報送信手段14a及び第2画面情報送信手段14bはプッシュ型の画面転送プロトコルを利用してクライアント装置2へ画面情報を送信する。クライアント装置2側では、2つの画面情報送信手段14から受信した画面情報を元に画面を生成し描画する。
In the first embodiment, the first screen
また、第1画面情報送信手段14a及び第2画面情報送信手段14bは、画面転送装置1とクライアント装置2との間を接続するTCPコネクションを2つ用意し、それぞれのコネクションを使い分ける方法で実現してもよいし、画面転送装置1が2つのNIC(Network Interface Card)を持っており、それぞれのNICを使い分ける方法であっても構わない。さらに、画面転送装置1とクライアント装置2との間を接続する接続方法は1つに限定しない。そのため、例えば、画面転送装置1とクライアント装置2との間を一方は無線LAN、もう一方はBluetooth(登録商標)のように、複数の接続方法により接続し、それぞれの接続方法に従って第1画面情報送信手段14a及び第2画面情報送信手段14bを使い分ける方法であっても構わない。
Further, the first screen
図3は、本発明の第1実施形態に係る画面転送装置1の処理内を示すフローチャートである。まず、画面転送が開始すると(ステップS100)、画面変化検出部11は画面転送装置1内で発生した画面変化領域を検出する(ステップS101)。次に、優先送信検出部12は発生した画面変化が優先的に送信すべき画面変化か否かを検出し(ステップS102)、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS103)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS104)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS105)。以上の処理を、画面転送を終了するまで繰り返す。
FIG. 3 is a flowchart showing the processing in the
図4は、優先送信検出部12が過去の画面変化を元に優先的に送信すべき画面変化を自動で検出する際の検出基準の説明図である。優先送信検出部12は、画面変化検出部11で検出した画面変化をある有限時間Tの間学習しておき、図4に示す(a)(b)(c)の3通り規則のうち、1つまたは複数の組み合わせにより構成される画面変化と判別した場合に、それらの画面変化を優先的に送信すべき画面変化(規則的な画面変化)として自動的に検出する。
FIG. 4 is an explanatory diagram of detection criteria used when the priority
図4の(a)は、有限時間Tの間に、同一領域に何度も画面変化をする場合の例であり、例えば、ランダム点滅である。このとき、変化する画面の種類や変化する間隔には規則がなくても構わない。 FIG. 4A shows an example in which the screen is changed many times in the same area during the finite time T, for example, random flashing. At this time, there may be no rule for the type of screen to be changed and the interval to be changed.
図4の(b)は、有限時間Tの間に同一時間間隔で何度も画面変化をする場合の例であり、例えば、スクリーンセーバ等になるランダム描画である。このとき、変化する画面の種類や変化する位置(領域)には規則がなくても構わない。 FIG. 4B shows an example in which the screen changes many times at the same time interval during the finite time T, for example, random drawing that becomes a screen saver or the like. At this time, there may be no rule for the type of screen to be changed and the position (region) to be changed.
図4の(c)は、有限時間Tの間に同一種類の画面が何度も画面変化をする場合の例であり、例えば、マウス移動である。このとき、変化する間隔や変化する位置(領域)には規則がなくても構わない。 FIG. 4C shows an example in which the same type of screen changes many times during a finite time T, for example, mouse movement. At this time, there may be no rule for the changing interval and the changing position (region).
図5は優先送信制御部が非優先的に送信する画面変化を間引いて送信する一例の説明図である。優先送信制御部13は、優先的に送信すべき画面変化と検出されなかった画面変化を間引いて、優先的に送信すべき画面変化を優先的に送信できるように制御する。
FIG. 5 is an explanatory diagram of an example in which the priority transmission control unit performs transmission by thinning out screen changes transmitted non-prioritizedly. The priority
図5の(a)は、画面転送装置1上の画面変化の一例を示している。左上の斜線網掛けの矩形領域に優先的に送信すべき画面変化(A)を示し、右下の白無地の矩形領域に優先的に送信しなくてもよい画面変化(B)を示している。優先的に送信すべき画面変化(A)は、図5中では(I)→(II)→(I)と変化する周期点滅である。なお、ここでは説明の都合上、優先的に送信しなくてもよい画面変化(B)の変化も同一領域上に変化している例を示しているが、例えば優先的に送信しなくてもよい画面変化(B)の領域には、単にバースト的に画面変化が発生しているのみであり、規則的な画面変化ではないものとする。
FIG. 5A shows an example of a screen change on the
このとき、時系列で見る実際の画面変化の様子は図5の(b)に示すようになる。図5の(b)のように、実際の画面変化では、画面変化(A)と画面変化(B)とが混在している。 At this time, the actual screen change seen in time series is as shown in FIG. As shown in FIG. 5B, the screen change (A) and the screen change (B) are mixed in the actual screen change.
次に、図5の(c)は、画面変化検出部11により検出された画面変化検出の結果を示す。図5の(c)のように、実際には画面変化(A)は規則正しい時間間隔で変化していたものの、画面変化(B)がバースト的に発生しているために、画面変化(A)の検出が遅くなってしまい、結果として規則正しい時間間隔で検出できなかったことを示している。
Next, (c) of FIG. 5 shows the result of the screen change detection detected by the
このときに、画面変化(B)の一部を間引いた結果を図5の(d)に示す。 FIG. 5D shows the result of thinning out part of the screen change (B) at this time.
画面変化(B)は、同一領域にバースト的に発生している画面変化であれば、画面変化を検出するタイミングで最新の画面のみを送信しても、クライアント装置2に表示される画面変化には大きな差は生じないものと考える。そのため、優先送信制御部13は、画面変化(B)の一部の画面変化を間引き、画面変化(A)を規則正しいタイミングで送出できるように制御する。
If the screen change (B) is a screen change occurring in a burst in the same area, even if only the latest screen is transmitted at the timing of detecting the screen change, the screen change is displayed on the
図6は優先送信制御部13が優先的に送信すべき画面変化を優先的に送信できるように送信スケジュールを調整する際の一例の説明図である。図6の(a)〜(c)は、図5の(a)〜(c)と同じ信号である場合を示している。図6の(c)に示す画面変化検出の結果、画面変化(A)の送信すべきタイミングが規則正しいタイミングにならなくなった場合に、画面変化(B)を送信するタイミングをスケジューリング調整し、画面変化(A)を規則正しいタイミングで送出できるように制御する。
FIG. 6 is an explanatory diagram of an example when the transmission schedule is adjusted so that the priority
図6の(d)にタイミングを調整する方法を示す。バースト的に発生した画面変化(B)により画面変化(A)の送出タイミングが規則正しく送信できないことが明らかになった場合に、まだクライアント装置2へ転送されていない画面変化については、優先送信制御部13は、画面変化(A)を先に、画面変化(B)を後から送るように、画面情報送信部14から送信する順番を入れ替える。
FIG. 6D shows a method for adjusting the timing. When it becomes clear that the transmission timing of the screen change (A) cannot be transmitted regularly due to the screen change (B) generated in a burst manner, the priority
なお、図5や図6で示した優先送信制御部13の動作は、図2で示すように、画面情報送信部14を2つの第1画面情報送信手段14a、第2画面情報送信手段14bに分けた実現方法であっても構わないし、図7に示すように、画面情報送信部14が1つの画面情報送信手段14aしか持たない実現方法であっても構わない。図7は、画面情報送信部14が1つの画面情報送信手段14aのみ持つ画面転送装置1のブロック図である。
The operation of the priority
逆に、画面情報送信部14は、1つないし2つには限らない。例えば、3つ以上持つ実現方法であっても構わない。図8は、画面情報送信部14が4つの画面情報送信手段14を持つ画面転送装置1のブロック図である。図8に示すように、図2の画面情報送信部14に対して、第3画面情報送信手段14c、第4画面情報送信手段14dを備えている。
Conversely, the screen
図8のものでは、例えば優先送信検出部12が検出する「優先的に送信すべき画面領域」として複数領域(例えば3つ分の領域)を予め指定しておき、指定した当該領域に対する画面変化を検出した場合は、第1画面情報送信手段14a、第2画面情報送信手段14b、第3画面情報送信手段14cのいずれかを使って、また、優先的に送信する指定領域以外の領域に画面変化を検出した場合は第4画面情報送信手段14dを使って、クライアント装置2への転送を行う。それぞれの画面情報送信部14の画面情報送信手段の使い方については、以上の説明以外に、優先的に送信すべき画面変化にいくつかの優先度を設け、その優先順に使い分ける方法であっても構わない。
In FIG. 8, for example, a plurality of areas (for example, three areas) are designated in advance as “screen areas to be preferentially transmitted” detected by the priority
このように、第1実施形態に係る画面転送装置1によれば、優先的に送信すべき画面変化を検出し、優先的に送信するよう制御することで、優先的に送信すべき画面変化の転送を優先的に行うことが可能となる。
As described above, according to the
(第2実施形態)
図9は本発明の第2実施形態に係る画面転送装置1の一例のブロック図である。この第2実施形態に係る画面転送装置1は、図2に示した第1実施形態に対し、優先送信画面変化監視部21、優先送信画面変化補正部22、優先送信画面変化情報保持部23を追加して設けたものである。
(Second Embodiment)
FIG. 9 is a block diagram of an example of the
優先送信画面変化監視部21は、画面変化検出部11が検出する画面変化から、優先送信画面情報保持部23で保持する優先的に送信すべき画面変化の発生可否を監視する。また、画面転送装置1内で実際に発生した画面変化を監視する以外に、別途、優先送信画面変化情報保持部23で保持した規則に則って画面変化が発生しているか否かを監視する。第2実施形態では、ある時間間隔で変化する画面変化を規則とする例を示しており、優先送信画面変化情報保持部23で保持した時間間隔で切断するタイマー15を用意し、タイマー15の切断を契機に、優先的に送信すべき画面変化の発生可否を監視する。
The priority transmission screen
優先送信画面変化補正部22は、優先送信画面変化監視部21により優先的に送信すべき画面変化の発生可否を監視した結果、優先的に送信すべき画面変化が発生すべき規則に則って発生しなかった場合に、クライアント装置2へ送信すべき画面情報を、優先送信画面変化情報保持部23により保持した情報に基づいて規則に沿うよう補正する。この補正については後述する。
The priority transmission screen
優先送信画面変化情報保持部23は、優先送信検出部12により優先的に送信すべき画面変化として検出した画面変化情報を規則として保持する。例えば、ある矩形領域に対して、x種類の画面が時間間隔dで変化する画面変化を規則として保持する場合、(i) 変化する画面領域情報、(ii) 画面変化を構成する画面(x種類分)、(iii) 変化する時間間隔の3つの情報をまとめて保持する。なお、規則によっては図4で説明した3種類のうち一つもしくは複数の組み合わせにより実現されているものもあるため、実現されている規則の数分、保持することとする。なお、第2実施形態での規則は3種類すべてを組み合わせた規則の場合について説明する。
The priority transmission screen change
第2実施形態における画面転送装置1は、優先送信画面変化監視部21で示す処理を開始する契機が2通りある。一つ目は「画面転送装置1内で発生した画面変化を検出することにより処理を開始する」契機であり、二つ目は「タイマー15により処理を開始する」契機である。それぞれの契機による処理を図10及び図11を用いて説明する。
The
図10は、本発明の第2実施形態における画面転送装置1の処理内容の一例を示すフローチャートである。この図10に示した処理内容は、画面転送装置1内で発生した画面変化を検出することにより処理を開始することを契機とした場合のものであり、タイマー15により処理を開始する場合の処理内容は記載を省略している。
FIG. 10 is a flowchart illustrating an example of processing contents of the
まず、画面転送が開始すると(ステップS200)、優先送信検出部11は画面転送装置1内で発生した画面変化領域を検出し(ステップS201)、優先送信検出部11により画面変化が検出されると、優先送信画面変化監視部21は、発生した画面変化が「優先的に送信すべき画面変化」として優先送信画面変化情報保持部23に保持されているか否かを調べる(ステップS202)。画面転送処理の開始時(初期状態)では保持されている画面変化はないため、noの処理に続く。次いで、優先送信検出部12により、処理すべき画面変化が「優先的に送信すべき画面変化」か否かを検出する(ステップS203)。優先的に送信すべき画面変化と検出した場合、優先送信画面変化情報保持部23に検出した画面変化の情報(規則情報)を登録する(ステップS204)。また、ステップS204において登録する規則が時間に関するものである場合、規則に則った画面変化の発生可否を監視するためのタイマー15をセットする(ステップS205)。
First, when screen transfer is started (step S200), the priority
一方、ステップS202で処理すべき画面変化が優先送信画面変化情報保持部23に保持されている場合(ステップS202でyesの処理に進んだ場合)、当該画面変化が、優先送信画面変化情報保持部23で保持した規則に則った画面変化か否かを調べる(ステップS206)。 On the other hand, when the screen change to be processed in step S202 is held in the priority transmission screen change information holding unit 23 (when the process proceeds to yes in step S202), the screen change is changed to the priority transmission screen change information holding unit. It is checked whether or not the screen changes in accordance with the rule held at 23 (step S206).
例えば、図4で示した時間間隔を規則とした画面変化が規則正しい時間間隔で変化しているか否かを判別する。ステップS206において、規則に則った画面変化ではないと判別された場合(noに進んだ場合)、優先送信画面変化補正部22は、処理すべき画面変化を優先送信画面変化情報保持部23で保持した規則に則した画面変化となるように補正する(ステップS207)。例えば、画面変化すべき時間間隔は規則正しいが、変化する画面の種類が異なっている場合などは、正しい種類の画面で変化するように補正する。この補正処理については後述する。
For example, it is determined whether or not the screen change based on the time interval shown in FIG. 4 changes at regular time intervals. If it is determined in step S206 that the screen change is not in accordance with the rules (if no), the priority transmission screen
以上の処理を終えたら、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS208)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS209)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS210)。以上の処理を、画面転送を終了するまで繰り返す。
When the above processing is completed, the priority
図11は、本発明の第2実施形態に係る画面転送装置1のタイマー15により処理を開始することを契機とした場合の処理内容のフローチャートである。このフローチャートは、タイマー15により処理を開始することを契機とした場合のものであり、画面転送処理開始時からの処理フローチャートではなく、図10のステップS205によりタイマー15がセットされた後からの処理ということになる。
FIG. 11 is a flowchart of processing contents when the processing is started by the
まず、図10ステップS205によりタイマーがセットされると(ステップS300)、タイマー15の切断を待つ(ステップS301)。タイマー15が切断されると、優先送信画面変化監視部21は、優先送信画面変化情報保持部23で保持した規則に則した画面変化が規則通りに発生しているか否かを調べる(ステップS302)。すなわち、規則正しい時間間隔で画面変化が発生しているか否かを調べる。
First, when the timer is set in step S205 in FIG. 10 (step S300), the process waits for the
規則に則った画面変化が発生していない場合、つまり、保持している規則情報のうち規則に則った画面変化をしていない画面変化情報が存在する場合は、優先送信画面変化補正部22は、優先送信画面変化情報保持部23で保持した規則に則して画面変化を補正する(ステップS303)。
When there is no screen change according to the rule, that is, when there is screen change information that does not change the screen according to the rule among the held rule information, the priority transmission screen
以降、補正した画面情報に基づいて、優先送信制御部13は当該画面変化をどのコネクションで送信すべきかを選択する(ステップS304)。画面情報送信部14は選択されたコネクションで当該画面変化を送信する。すなわち、優先送信すべき画面変化であるときは、第1画面情報送信手段14aで送信し(ステップS305)、優先送信不要な画面変化であるときは第2画面情報送信手段14bで送信する(ステップS306)。
Thereafter, based on the corrected screen information, the priority
一方、ステップS302で、保持しているすべての画面変化が規則情報通りに画面変化している場合はnoに進み、再度タイマー15をセットするのみとする。
On the other hand, in step S302, if all the screen changes that have been held are changing according to the rule information, the process proceeds to no and only the
図12は第2実施形態に係る優先送信画面変化補正部22が優先送信画面変化情報保持部23で保持した規則に則して補正する処理内容の一例の説明図である。図12では、図4の(b)、(c)の2種類の規則の組み合わせを満たす場合を例にとって画面変化補正する場合を示している。
FIG. 12 is an explanatory diagram illustrating an example of the processing content that the priority transmission screen
図12の(a)は、画面転送装置1内の実際の画面変化の様子を、フレームバッファの変化を時系列に表すことで示している。この画面変化は、(A)という画面が規則検出時間Tより小さい時間間隔t0(t0<T)のタイミングで横方向にx[pixel]ずつ移動する画面変化の様子を示している。
FIG. 12A shows an actual screen change in the
図12の(b)は、図12の(a)の画面変化が発生しているときの画面変化検出部11で検出した画面変化を示している。ここでは、実際に画素値が変化した領域(規則変化領域)のみを抽出した例(背景を含まない例)を示しており、図12の(b)では、3回目の画面変化までは時間間隔t0のタイミングで変化領域を検出できているが、矢印箇所の4回目の画面変化では、検出できなかった場合を示している。矢印箇所の4回目の画面変化のタイミングで1つ前の画面変化からx[pixel]すれた位置に画像が検出されていない場合を示している。
FIG. 12B shows a screen change detected by the screen
このとき、図11のフローチャート(タイマー15により優先送信画面変化監視部21の処理を開始するフローチャート)を用いて、時間間隔t0の間隔で規則に則っていない画面変化があるかどうかを判定する(ステップS302)。図12の(b)では、4回目の画面変化が発生していないことが検出された場合を示している。
At this time, using the flowchart of FIG. 11 (the flowchart of starting the process of the priority transmission screen
図12の(c)は、図12(b)で規則に則った画面変化が規則通りに発生しなかったことを検出した結果を踏まえ、優先送信画面変化情報保持部23で保持した規則に則り、優先送信画面変化補正部22により画面変化を補正する様子を示している。図12の(c)では、矢印箇所の4回目の画面変化が正しいタイミングで正しい画面を用いて補われている。すなわち、矢印箇所の4回目の画面変化のタイミングで1つ前の画面変化からx[pixel]すれた位置に画像を補正している。
(C) in FIG. 12 is based on the rule held in the priority transmission screen change
図13は、優先送信画面変化補正部22が、優先送信画面変化情報保持部23で保持した規則に則して補正する処理内容の他の一例の説明図であり、図13では、図4の(a)、(b)、(c)の3種類の規則のすべての規則を満たす場合を例にとって画面変化を補正する場合を示している。
FIG. 13 is an explanatory diagram of another example of processing contents that the priority transmission screen
図13の(a)は、画面転送装置1内の実際の画面変化の様子を、フレームバッファの変化を時系列に表すことで示している。この画面変化は、(A)と(B)という2種類の画面が時間間隔t0のタイミングで、同一矩形領域に交互に表示される画面変化の様子を示している。
FIG. 13A shows an actual screen change in the
図13の(b)は、図13の(a)の画面変化が発生しているときの画面変化検出部11で検出した画面変化を示している。ここでは、実際に画素値が変化した領域のみを抽出した例を示しており、図13(b)では、3回目の画面変化までは規則に則った画面変化が発生していることを検出できているが、矢印箇所の4回目の画面変化が検出できなかった場合を示している。
FIG. 13B shows a screen change detected by the screen
図13の(c)は、図13の(b)で規則に則った画面変化が規則通りに発生しなかったことを検出した結果を踏まえ、優先送信画面変化情報保持部23で保持した規則に則り、画面変化を補正する様子を示している。ここでは、矢印箇所の4回目の画面変化を正しい領域に、正しいタイミングで正しい画面で補っている。
FIG. 13C shows the rule held by the priority transmission screen change
なお、図12及び図13で、優先送信すべき画面変化の監視と補正の方法について例を示したが、図4で説明した優先送信検出部12が規則を検出する方法と同様に、検出した画面変化を補正する方法についても、図12及び図13で示した組み合わせには限らないことは言うまでもない。
12 and 13 show an example of a method for monitoring and correcting a screen change to be preferentially transmitted. However, the preferential
このように、第2実施形態に係る画面転送装置1によれば、優先的に送信すべき画面変化の規則性を検出し、規則に則した画面変化に補正することで、優先的に送信すべき画面変化の規則性までも担保することが可能となる。
As described above, according to the
この画面転送装置1は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、上記のコンピュータ装置に搭載されたプロセッサに画面転送プログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータにあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、上記のコンピュータに内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。
The
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1…画面転送装置、2…クライアント装置、3…ネットワーク、11…画面変化検出部、12…優先送信検出部、13…優先送信制御部、14…画面情報送信部、15…タイマー、21…優先送信画面変化監視部、22…優先送信画面変化補正部、23…優先送信画面変化情報保持部
DESCRIPTION OF
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011248397A JP5901945B2 (en) | 2011-11-14 | 2011-11-14 | Screen transfer device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011248397A JP5901945B2 (en) | 2011-11-14 | 2011-11-14 | Screen transfer device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013105298A JP2013105298A (en) | 2013-05-30 |
| JP5901945B2 true JP5901945B2 (en) | 2016-04-13 |
Family
ID=48624796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011248397A Expired - Fee Related JP5901945B2 (en) | 2011-11-14 | 2011-11-14 | Screen transfer device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5901945B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003229798A (en) * | 2002-02-05 | 2003-08-15 | Hitachi Ltd | Wireless relay system |
| JP4844275B2 (en) * | 2006-08-01 | 2011-12-28 | カシオ計算機株式会社 | Server apparatus, server-based computing system, and program |
| JP5471668B2 (en) * | 2010-03-19 | 2014-04-16 | 日本電気株式会社 | Image transfer apparatus, method and program |
-
2011
- 2011-11-14 JP JP2011248397A patent/JP5901945B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013105298A (en) | 2013-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8503010B2 (en) | Display control device, display control method, image-forming device, computer readable medium, and computer data signal | |
| EP2685695B1 (en) | Method, system and computer storage medium for displaying microblog wall | |
| CN114257772B (en) | Data transmission adjustment method, device, computer equipment and readable storage medium | |
| US20120246275A1 (en) | Information sharing system, communication apparatus, control method and computer program | |
| CN104135693A (en) | A video playing method, smart TV and server | |
| EP2460350B1 (en) | Video reproduction apparatus, control method thereof, and computer-readable storage medium storing program | |
| CN103841562A (en) | Time slot resource occupation processing method and time slot resource occupation processing device | |
| CN103491162A (en) | Method and system for sharing information based on mobile Internet | |
| JP2009272833A (en) | Video delivery apparatus, delivery relay and their control method, and data delivery system | |
| US10925014B2 (en) | Method and apparatus for synchronization in a network | |
| CN118540529A (en) | Multimedia data synchronization method, device, equipment, readable storage medium and product | |
| JP5901945B2 (en) | Screen transfer device | |
| US10834204B2 (en) | Transmitting display information based on communication protocols | |
| JP5613710B2 (en) | Server terminal, screen transfer system, and screen transfer method | |
| CN114095451B (en) | Data processing method, device and computer readable storage medium | |
| US20080016539A1 (en) | Display service method, network device capable of performing the method, and storage medium storing the method | |
| JP6979092B2 (en) | Content output system and method | |
| JP2008011177A (en) | Dynamic quality control method by streaming distribution, and network system | |
| CN103945237A (en) | Clock synchronization method and system, digital television equipment and EPG server | |
| US9306824B2 (en) | Communication control apparatus, communication control method, and computer-readable non-transitory recording medium | |
| KR20180062621A (en) | Method for providing contents by using a plurality of contents support devices, and contents support device for implementing same method | |
| JP2006311520A (en) | Communication system, information processing apparatus, and program | |
| JP5695537B2 (en) | Server, server control method, server control program | |
| US20150138242A1 (en) | Apparatus and method of reproducing multi image | |
| JP2010271934A (en) | System, method, and program for setting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160309 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5901945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |