Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6205749B2 - Server apparatus, virtual desktop system, input information processing method, and program thereof - Google Patents
[go: Go Back, main page]

JP6205749B2 - Server apparatus, virtual desktop system, input information processing method, and program thereof - Google Patents

Server apparatus, virtual desktop system, input information processing method, and program thereof Download PDF

Info

Publication number
JP6205749B2
JP6205749B2 JP2013035796A JP2013035796A JP6205749B2 JP 6205749 B2 JP6205749 B2 JP 6205749B2 JP 2013035796 A JP2013035796 A JP 2013035796A JP 2013035796 A JP2013035796 A JP 2013035796A JP 6205749 B2 JP6205749 B2 JP 6205749B2
Authority
JP
Japan
Prior art keywords
virtual desktop
output
result
client device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013035796A
Other languages
Japanese (ja)
Other versions
JP2014164571A (en
Inventor
健一 寺田
健一 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013035796A priority Critical patent/JP6205749B2/en
Publication of JP2014164571A publication Critical patent/JP2014164571A/en
Application granted granted Critical
Publication of JP6205749B2 publication Critical patent/JP6205749B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、サーバ装置、仮想デスクトップシステム、入力情報処理方法、およびそのプログラムに係り、特にサーバ装置及びこれを利用した仮想デスクトップ環境における入力操作を高速化する仮想デスクトップシステム等に関する。 The present invention relates to a server device, a virtual desktop system , an input information processing method, and a program thereof, and more particularly to a server device and a virtual desktop system that speeds up an input operation in a virtual desktop environment using the server device .

企業の運用するコンピュータネットワークで、ワークスタイルの多様化、運用コストの低減、データのバックアップやセキュリティ対策、および災害対策などといった観点から、データセンター内のサーバコンピュータ(サーバ装置)内に仮想コンピュータを生成し、各ユーザは企業内ネットワークに接続されたクライアントコンピュータ(クライアント装置)からその仮想コンピュータにログインして操作するといった形が多く利用されるようになっている。   In a computer network operated by a company, a virtual computer is created in a server computer (server device) in the data center from the viewpoint of diversifying work styles, reducing operational costs, data backup, security measures, and disaster countermeasures. In many cases, each user logs in and operates a virtual computer from a client computer (client device) connected to a corporate network.

本明細書では、クライアント装置に表示されるこの仮想コンピュータの操作画面を、仮想デスクトップ(VDI: Virtual Desktop Infrastructure)という。また、このようにクライアント装置から仮想デスクトップを利用可能とするネットワークシステムを、仮想デスクトップシステムという。   In this specification, the operation screen of the virtual computer displayed on the client device is referred to as a virtual desktop (VDI). A network system that makes a virtual desktop available from a client device in this way is called a virtual desktop system.

これに関連して、次の各技術文献が存在する。特許文献1には、2つ以上のディスプレイ装置を1つのコンピュータに接続したマルチディスプレイ環境で、これらのディスプレイの仮想的な位置関係を設定する技術の一例について記載されている。特許文献2には、アクセス元のクライアント装置の端末情報に応じた仮想デスクトップの制御を可能とするという技術が記載されている。特許文献3には、端末装置の属性に応じたアイコンを仮想デスクトップに表示するという技術が記載されている。非特許文献1には、仮想デスクトップについての技術の概要が記載されている。   In relation to this, the following technical documents exist. Patent Document 1 describes an example of a technique for setting a virtual positional relationship between these displays in a multi-display environment in which two or more display devices are connected to one computer. Japanese Patent Application Laid-Open No. 2004-151561 describes a technique that enables control of a virtual desktop according to terminal information of an access source client device. Patent Document 3 describes a technique of displaying an icon corresponding to an attribute of a terminal device on a virtual desktop. Non-Patent Document 1 describes an outline of technology regarding a virtual desktop.

特開2011−210127号公報JP 2011-210127A 特開2011−154622号公報JP 2011-154622 A 特開2011−134040号公報JP 2011-134040 A

「わかるView クライアント環境の当たり前を変える仮想デスクトップ」、[平成25年2月4日検索]、ヴイエムウェア(株)、インターネット<URL:http://vmware-juku.jp/vmwareSE-presents/vmwareview/index.html>“Virtual desktops that change the view client environment,” [February 4, 2013 search], VMware, Internet <URL: http://vmware-juku.jp/vmwareSE-presents/vmwareview/index .html>

図7は、コンピュータの入力操作とそれに対する出力との関係について示す説明図である。図7(a)は単独のコンピュータ装置だけで処理が行われる場合、図7(b)は前述した既存の仮想デスクトップシステムで処理が行われる場合について示す。   FIG. 7 is an explanatory diagram showing the relationship between the input operation of the computer and the output corresponding thereto. FIG. 7A shows a case where processing is performed only by a single computer device, and FIG. 7B shows a case where processing is performed by the above-described existing virtual desktop system.

図7(a)に示した単独のコンピュータ装置だけ(スタンドアローン)で処理が行われる場合では、入出力部とプロセッサ(処理部)の間の伝搬遅延はほとんどないので、入力操作に対してすぐに計算処理が行われ、その結果がすぐに出力される。従って、その入力操作について操作者が特に問題を感じることはない。   In the case where the processing is performed only by a single computer device (stand alone) shown in FIG. 7A, there is almost no propagation delay between the input / output unit and the processor (processing unit), so that the input operation can be performed immediately. The calculation process is performed and the result is output immediately. Therefore, the operator does not feel any particular problem with the input operation.

しかしながら、図7(b)に示した既存の仮想デスクトップシステムで処理が行われる場合では、入出力部としての機能を担うクライアント装置と、実際の計算処理を行うサーバ装置との間に、どうしても伝搬遅延が存在する。特に、伝送距離が長い場合(たとえば通信衛星を介する場合など)やコンピュータネットワークの回線が混雑している場合などで、伝搬遅延が長くなる。   However, in the case where the processing is performed in the existing virtual desktop system shown in FIG. 7B, it is inevitably propagated between the client device that functions as the input / output unit and the server device that performs the actual calculation processing. There is a delay. In particular, when the transmission distance is long (for example, via a communication satellite) or when the computer network line is congested, the propagation delay becomes long.

そのため、入力操作に対してサーバで処理された結果がすぐにクライアントに返送されず、その間、ユーザの入力操作は実質的に止まることとなる。これが、たとえば1個のキー入力や少しのマウスポインタの移動など、全ての入力操作に対してことごとく存在するので、操作者にとっては利便性が大きく損なわれることとなる。   Therefore, the result processed by the server in response to the input operation is not immediately returned to the client, and the input operation of the user is substantially stopped during that time. This exists for every input operation such as one key input or a slight movement of the mouse pointer, for example, which greatly impairs convenience for the operator.

前述の特許文献1〜3、および非特許文献1は、いずれも仮想デスクトップ環境において伝搬遅延に起因する問題について解決しようとする技術ではないし、これを解決できる技術も記載されていない。   None of Patent Documents 1 to 3 and Non-Patent Document 1 described above are techniques for solving the problems caused by the propagation delay in the virtual desktop environment, and no technique capable of solving this is described.

本発明の目的は、サーバとクライアントの間に伝搬遅延のある環境においても、操作者が入力操作を止めずに連続して行うことを可能とするサーバ装置、仮想デスクトップシステム、入力情報処理方法、およびそのプログラムを提供することにある。 An object of the present invention is to provide a server device, a virtual desktop system , an input information processing method, and a server device that can be continuously performed without stopping an input operation even in an environment where there is a propagation delay between the server and the client . And providing the program.

上記目的を達成するため、本発明にかかるサーバ装置は、クライアント装置と接続されて仮想デスクトップシステムの要部を構成するサーバ装置であって、
前記クライアント装置からユーザの操作入力を受信し、これに対する出力結果としての仮想デスクトップ画面を生成して前記クライアント装置に送信する仮想デスクトップ動作部、前記ユーザの操作入力に対する前記出力結果を予測する出力予測部と、前記仮想デスクトップ動作部による実処理結果と前記出力予測部による予測結果とを比較する出力比較部とを備え、
前記実処理結果と前記予測結果との間で差異が検出された場合に稼働し、前記仮想デスクトップ動作部が、そのことを示すユーザ向け通知を前記仮想デスクトップ画面に追加して送信処理する機能を備えている、という構成を採っている。
In order to achieve the above object, a server apparatus according to the present invention is a server apparatus that is connected to a client apparatus and constitutes a main part of a virtual desktop system ,
Receiving a user operation input from the client device, the virtual desktop operation unit to be transmitted to the client device to generate a virtual desktop screen as the output result of this, the output of predicting the output results with respect to the operation input of the user A prediction unit, and an output comparison unit that compares the actual processing result by the virtual desktop operation unit and the prediction result by the output prediction unit,
Running when a difference is detected between the result the actual process result and the predicted, the virtual desktop operating unit, that sends the processing by adding a user-friendly notification indicating that the said virtual desktop screen function Ru Tei equipped with, that have adopted a configuration that.

上記目的を達成するため、本発明にかかる仮想デスクトップシステムは、サーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムであって、 前記サーバ装置として、前記請求項1記載のサーバ装置を装備し、
前記クライアント装置が、前記仮想デスクトップ画面に対するユーザの操作入力を前記サーバ装置に送信すると共に、これに対して前記サーバ装置から送られてくる出力結果としての前記仮想デスクトップ画面を前記ユーザに対して表示する入出力管理部を備え、
このクライアント装置が、更に、前記ユーザの操作入力に対する前記仮想デスクトップ動作部による前記出力結果を予測する出力予測部を備えると共に、
前記クライアント装置の前記入出力管理部が、このクライアント側の出力予測部による予測結果に基づいて操作入力を継続して受け入れる機能を備えている、という構成を採っている。
To achieve the above object, a virtual desktop system according to the present invention is a virtual desktop system configured by connecting a server device and a client device to each other, and the server according to claim 1 as the server device. Equipped with equipment,
The client device transmits a user operation input to the virtual desktop screen to the server device, and displays the virtual desktop screen as an output result sent from the server device to the user. I / O management unit
The client device further includes an output prediction unit that predicts the output result of the virtual desktop operation unit with respect to the user's operation input,
Wherein the output management unit of the client device, Ru Tei a function to receive and continue the operation on the basis of the prediction result input by the output prediction unit of the client, that has adopted the configuration that.

ここで上記クライアント装置は、仮想デスクトップ画面を生成して送信する仮想デスクトップ動作部を備えたサーバ装置と接続されて仮想デスクトップシステムを構成するクライアント装置であって、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信し、これに対してサーバ装置から送られてくる出力結果としての仮想デスクトップ画面をユーザに提示する入出力管理部と、ユーザの操作入力に対する仮想デスクトップ動作部による出力結果を予測する出力予測部とを備え、入出力管理部が、出力予測部による予測結果に基づいて操作入力を継続して受け入れる機能を備えた構成としてもよい Here, the client device is a client device for configuring the virtual desktop system is connected to a server apparatus having a virtual desktop operation unit generating and transmitting a virtual desktop, a user operation input to the virtual desktop In response to this, the input / output management unit presenting the virtual desktop screen as the output result sent from the server device to the user, and the output result by the virtual desktop operation unit in response to the user's operation input is predicted The input / output management unit may have a function of continuously accepting operation input based on a prediction result by the output prediction unit.

上記目的を達成するため、本発明に係る入力情報処理方法は、サーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムにあって、クライアント装置の入出力管理部が、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信し、サーバ装置の仮想デスクトップ動作部が、この操作入力に対する出力結果としての仮想デスクトップ画面を生成してクライアント装置に送信し、クライアント装置の出力予測部が、この操作入力に対する仮想デスクトップ動作部による出力結果を予測する。 前記サーバ装置の出力比較部が、前記仮想デスクトップ動作部による実処理結果と前記出力予測部による予測結果とを比較し、
前記実処理結果と前記予測結果との間で差異が検出された場合に稼働し、前記サーバ装置の前記仮想デスクトップ動作部がそのことを示すユーザ向け通知を、前記仮想デスクトップ画面に追加して前記クライアント装置に送信するという構成を採っている。
In order to achieve the above object, an input information processing method according to the present invention is a virtual desktop system in which a server device and a client device are connected to each other, and the input / output management unit of the client device includes a virtual desktop The user's operation input for the screen is transmitted to the server device, and the virtual desktop operation unit of the server device generates a virtual desktop screen as an output result for the operation input and transmits it to the client device, and the output prediction unit of the client device The output result by the virtual desktop operation unit for this operation input is predicted. The output comparison unit of the server device compares the actual processing result by the virtual desktop operation unit and the prediction result by the output prediction unit,
It operates when a difference is detected between the actual processing result and the prediction result, and the virtual desktop operation unit of the server device adds a notification for the user indicating it to the virtual desktop screen and It is transmitted to the client device, that have adopted a configuration that.

上記目的を達成するため、本発明に係る入力情報処理プログラムは、仮想デスクトップ画面を生成して送信する仮想デスクトップ動作部を備えたサーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムにあって、サーバ装置が備えるプロセッサに、この操作入力に対する出力結果としての仮想デスクトップ画面を生成してクライアント装置に送信する送信処理機能、クライアント装置から受信した操作入力に対する出力結果を予測する予測処理機能、仮想デスクトップ画面を生成する手順による実処理結果と出力結果を予測する手順による予測結果とを比較する比較処理機能、および実処理結果と予測結果との間で差異が検出されれば、そのことを示すユーザ向け通知を仮想デスクトップ画面に追加してクライアント装置に送信する追加送信処理機能、を実行させること、を特徴とする。 To achieve the above object, an input information processing program according to the present invention provides a virtual desktop configured by connecting a server device and a client device each having a virtual desktop operation unit that generates and transmits a virtual desktop screen. in the system, the processor of the server device predicts the output result of the output result as the virtual desktop screen generated by a transmission processing function of transmitting to the client device, an operation input received from the client device for this operation input prediction processing function, comparison processing function for comparing the prediction result by the steps of predicting the actual process result and the output result of the procedure for generating the virtual desktop screen, and if the actual process result and the prediction result and while in difference detected in, Add a user notification to that effect to the virtual desktop screen and click Additional transmission processing function for transmitting the Ianto apparatus, thereby executing, characterized.

ここで、上記入力情報処理プログラムについては、仮想デスクトップ画面を生成して送信する仮想デスクトップ動作部を備えたサーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムにあって、クライアント装置が備えるプロセッサに、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信する手順、この操作入力に対する仮想デスクトップ動作部による出力結果を予測する手順、および出力予測部による予測結果をユーザに提示して操作入力を継続して受け入れる手順を実行させるようにしてもよい Here, the input information processing program is in a virtual desktop system configured by connecting a server device having a virtual desktop operation unit that generates and transmits a virtual desktop screen and a client device to each other. A procedure for transmitting a user operation input on the virtual desktop screen to the server device, a procedure for predicting an output result by the virtual desktop operation unit for the operation input, and a prediction result by the output prediction unit are presented to the user. continue to receive put procedure step the operation input Te may be so that by the execution.

本発明は、上記したようにサーバ装置の出力予測部が、クライアント装置から受信した操作入力に対する仮想デスクトップ動作部による出力結果を予測し、サーバ装置の出力比較部が、仮想デスクトップ動作部による実処理結果と出力予測部による予測結果とを比較し、当該実処理結果と予測結果との間に差異が検出されれば、サーバ装置の仮想デスクトップ動作部がそのことを示すユーザ向け通知を仮想デスクトップ画面に追加してクライアント装置に送信するという構成としたので、ユーザはこの予測結果に基づいて操作入力を継続することができる。これによって、サーバとクライアントの間に伝搬遅延のある環境においても、操作者が入力操作を止めずに連続して行うことが可能であるという、優れた特徴を持つサーバ装置、仮想デスクトップシステム、入力情報処理方法およびそのプログラムを提供することができる。
In the present invention, as described above, the output prediction unit of the server device predicts the output result by the virtual desktop operation unit with respect to the operation input received from the client device, and the output comparison unit of the server device performs the actual processing by the virtual desktop operation unit. If a difference is detected between the actual processing result and the prediction result when the result is compared with the prediction result by the output prediction unit, the virtual desktop operation unit of the server device displays a notification for the user indicating that fact on the virtual desktop screen In addition , the user can continue the operation input based on the prediction result. As a result, even in an environment where there is a propagation delay between the server and the client, the server device, the virtual desktop system, and the input having an excellent feature that the operator can continuously perform the input operation without stopping the input operation. An information processing method and its program can be provided.

本発明の基本形態に係る仮想デスクトップシステムの構成を示す説明図である。It is explanatory drawing which shows the structure of the virtual desktop system which concerns on the basic form of this invention. 本発明の実施形態に係る仮想デスクトップシステムの構成を示す説明図である。It is explanatory drawing which shows the structure of the virtual desktop system which concerns on embodiment of this invention. 図2に示した仮想デスクトップシステムの構成を、ソフトウェアを主体としてより観念的に示す説明図である。FIG. 3 is an explanatory diagram more conceptually showing the configuration of the virtual desktop system shown in FIG. 2 mainly with software. 図2〜3に示した仮想デスクトップシステムで行われる入力操作について示すフローチャートである。It is a flowchart shown about input operation performed with the virtual desktop system shown in FIGS. 図4のステップS116の動作で、仮想デスクトップ動作部による出力画面に付加されるユーザ向け通知の例について示す説明図である。図5(a)はユーザ向け通知を含まない通常の出力画面、図5(b)はユーザ向け通知を含む出力画面の例について示す。FIG. 5 is an explanatory diagram illustrating an example of a notification for a user added to the output screen by the virtual desktop operation unit in the operation of step S116 in FIG. 4. FIG. 5A shows an example of a normal output screen that does not include a notification for a user, and FIG. 5B shows an example of an output screen that includes a notification for a user. 図2〜3に示した仮想デスクトップシステムで、入力操作とそれに対する出力との関係について示す説明図である。FIG. 4 is an explanatory diagram showing a relationship between an input operation and an output corresponding thereto in the virtual desktop system shown in FIGS. コンピュータの入力操作とそれに対する出力との関係について示す説明図である。図7(a)は単独のコンピュータ装置だけで処理が行われる場合、図7(b)は既存の仮想デスクトップシステムで処理が行われる場合について示す。It is explanatory drawing shown about the relationship between the input operation of a computer, and the output with respect to it. FIG. 7A shows a case where processing is performed only by a single computer device, and FIG. 7B shows a case where processing is performed by an existing virtual desktop system.

(基本形態)
以下、本発明の基本形態の構成について添付図1に基づいて説明する。
最初に、基本形態の基本的な内容について説明し、その後でより具体的な内容について説明する。
基本形態に係る仮想デスクトップシステム1は、サーバ装置2とクライアント装置3とが相互に接続されて構成される仮想デスクトップシステムである。
サーバ装置2は、仮想デスクトップ画面を生成してクライアント装置に送信する仮想デスクトップ動作部2aを備え、クライアント装置3が、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信し、これに対してサーバ装置から送られてくる出力結果としての仮想デスクトップ画面をユーザに対して表示する入出力管理部3aを備える。それと共に、クライアント装置3が、ユーザの操作入力に対する仮想デスクトップ動作部による出力結果を予測する出力予測部3bを備え、クライアント装置3の入出力管理部3aが、出力予測部による予測結果に基づいて操作入力を継続して受け入れる機能を備える構成としている。
(Basic form)
Hereinafter, the basic configuration of the present invention will be described with reference to FIG.
First, the basic contents of the basic form will be described, and then more specific contents will be described.
The virtual desktop system 1 according to the basic form is a virtual desktop system configured by connecting a server device 2 and a client device 3 to each other.
The server device 2 includes a virtual desktop operation unit 2a that generates a virtual desktop screen and transmits the virtual desktop screen to the client device, and the client device 3 transmits a user operation input to the virtual desktop screen to the server device. An input / output management unit 3a that displays a virtual desktop screen as an output result sent from the apparatus to the user is provided. At the same time, the client device 3 includes an output prediction unit 3b that predicts an output result by the virtual desktop operation unit in response to the user's operation input. It is configured to have a function of continuously accepting operation input.

これによって、この仮想デスクトップシステム1は、伝搬遅延のある環境においても、予測結果に基づいて入力操作を止めずに連続して行うことが可能なものとなる。
これら各手段のより詳細な構成は、次の第1の実施形態として説明する。
Thus, the virtual desktop system 1 can be continuously performed without stopping the input operation based on the prediction result even in an environment with a propagation delay.
A more detailed configuration of each of these means will be described as the first embodiment.

(実施形態)
続いて、本発明の第1の実施形態の構成について添付図2に基づいて説明する。
最初に、本実施形態の基本的な内容について説明し、その後でより具体的な内容について説明する。
本実施形態に係る仮想デスクトップシステム10は、サーバ装置11とクライアント装置12とが相互に接続されて構成される仮想デスクトップシステムである。サーバ装置11が、仮想デスクトップ画面を生成してクライアント装置に送信する仮想デスクトップ動作部21を備え、クライアント装置12が、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信し、これに対してサーバ装置から送られてくる出力結果としての仮想デスクトップ画面をユーザに対して表示する入出力管理部31を備える。それと共に、クライアント装置12が、ユーザの操作入力に対する仮想デスクトップ動作部による出力結果を予測する出力予測部32を備え、クライアント装置12の入出力管理部31が、出力予測部による予測結果に基づいて操作入力を継続して受け入れる機能を備える。
(Embodiment)
Next, the configuration of the first embodiment of the present invention will be described with reference to FIG.
First, the basic content of the present embodiment will be described, and then more specific content will be described.
A virtual desktop system 10 according to the present embodiment is a virtual desktop system configured by connecting a server device 11 and a client device 12 to each other. The server device 11 includes a virtual desktop operation unit 21 that generates a virtual desktop screen and transmits the virtual desktop screen to the client device, and the client device 12 transmits a user operation input to the virtual desktop screen to the server device. An input / output management unit 31 that displays a virtual desktop screen as an output result sent from the apparatus to the user is provided. In addition, the client device 12 includes an output prediction unit 32 that predicts an output result of the virtual desktop operation unit in response to a user operation input, and the input / output management unit 31 of the client device 12 is based on the prediction result of the output prediction unit. A function for continuously accepting operation inputs is provided.

また、サーバ装置11が、ユーザの操作入力に対する仮想デスクトップ動作部21による出力結果を予測する出力予測部22と、仮想デスクトップ動作部21による実処理結果と出力予測部22による予測結果とを比較する出力比較部23とを備え、実処理結果と予測結果との間で差異が検出されれば、仮想デスクトップ動作部21がそのことを示すユーザ向け通知を仮想デスクトップ画面に追加して送信処理する機能を備える。   Further, the server apparatus 11 compares the output prediction unit 22 that predicts the output result of the virtual desktop operation unit 21 with respect to the user's operation input, and the actual processing result of the virtual desktop operation unit 21 and the prediction result of the output prediction unit 22. A function that includes an output comparison unit 23, and if a difference is detected between the actual processing result and the prediction result, the virtual desktop operation unit 21 adds a notification for the user indicating this to the virtual desktop screen and performs transmission processing Is provided.

さらに、実処理結果と予測結果との間で差異が検出されれば、サーバ装置11の仮想デスクトップ動作部21がその差異の発生以後の操作入力を破棄し、クライアント装置12の入出力管理部31がその破棄された操作入力がなされる直前の仮想デスクトップ画面をユーザに対して表示する機能を備える構成としてもよい。この場合、通知情報を受けたクライアント装置12の出力予測部32が破棄された操作入力がなされる直前の状態から操作入力が無いものとして出力結果を再度予測する。そして、実処理結果と予測結果との間で差異が検出された後で、サーバ装置11の出力比較部22が実処理結果と予測結果との間で再び差異を検出しない状態になったら、サーバ装置11の仮想デスクトップ動作部21が仮想デスクトップ画面からユーザ向け通知を取り除いて送信処理する機能を備える。   Further, if a difference is detected between the actual processing result and the prediction result, the virtual desktop operation unit 21 of the server device 11 discards the operation input after the occurrence of the difference, and the input / output management unit 31 of the client device 12. May be configured to have a function of displaying to the user a virtual desktop screen immediately before the discarded operation input is made. In this case, the output prediction unit 32 of the client device 12 that has received the notification information predicts the output result again from the state immediately before the discarded operation input is made, assuming that there is no operation input. Then, after a difference is detected between the actual processing result and the prediction result, if the output comparison unit 22 of the server device 11 does not detect the difference again between the actual processing result and the prediction result, the server The virtual desktop operation unit 21 of the device 11 has a function of removing the notification for the user from the virtual desktop screen and performing transmission processing.

また、実処理結果と予測結果との間で差異が検出されても、サーバ装置11の仮想デスクトップ動作部21がその差異の発生以後の操作入力を破棄せずに出力結果としての仮想デスクトップ画面を生成処理する機能を備える構成とすることもできる。   Further, even if a difference is detected between the actual processing result and the prediction result, the virtual desktop operation unit 21 of the server device 11 does not discard the operation input after the occurrence of the difference and displays the virtual desktop screen as the output result. It can also be set as the structure provided with the function to produce | generate.

これによって、この仮想デスクトップシステム1は、伝搬遅延のある環境においても、予測結果に基づいて入力操作を止めずに連続して行うことが可能なものとなり、さらに実処理結果と予測結果との間で差異が発生しても対応可能なものとなる。
以下、これをより詳細に説明する。
As a result, this virtual desktop system 1 can be continuously performed without stopping the input operation based on the prediction result even in an environment with a propagation delay, and further between the actual processing result and the prediction result. Even if a difference occurs, it can be handled.
Hereinafter, this will be described in more detail.

図2は、本発明の実施形態に係る仮想デスクトップシステム10の構成を示す説明図である。仮想デスクトップシステム10は、共にコンピュータ装置であるサーバ装置11とクライアント装置12とが、ネットワーク13を介して相互に接続されて構成される。本発明の概念を平易に示すため、図2にはサーバ装置11およびクライアント装置12は各々1台ずつ図示されているが、実際にはクライアント装置12は多数台存在し、またサーバ装置11も複数台のコンピュータ装置によって構成される。   FIG. 2 is an explanatory diagram showing the configuration of the virtual desktop system 10 according to the embodiment of the present invention. The virtual desktop system 10 is configured by connecting a server device 11 and a client device 12, both of which are computer devices, via a network 13. In order to simply show the concept of the present invention, one server device 11 and one client device 12 are shown in FIG. 2, but there are actually a large number of client devices 12 and a plurality of server devices 11 are also provided. It is composed of one computer device.

サーバ装置11は、一般的なコンピュータ装置としての構成を備えている。即ち、コンピュータプログラムを実行する主体であるプロセッサ11aと、プログラムやデータを記憶する記憶手段11bと、ネットワーク13を介して他装置とのデータ通信を行う通信手段11cとを備える。   The server device 11 has a configuration as a general computer device. That is, it includes a processor 11a that is a main body that executes a computer program, a storage unit 11b that stores programs and data, and a communication unit 11c that performs data communication with other devices via a network 13.

クライアント装置12も同様に、一般的なコンピュータ装置としての構成を備えている。即ち、コンピュータプログラムを実行する主体であるプロセッサ12aと、プログラムやデータを記憶する記憶手段12bと、ネットワーク13を介して他装置とのデータ通信を行う通信手段12cと、ユーザに処理結果を提示する出力手段12dと、ユーザの操作入力を受け付ける入力手段12eとを備える。   Similarly, the client device 12 has a configuration as a general computer device. That is, the processor 12a, which is a main body that executes a computer program, a storage unit 12b that stores programs and data, a communication unit 12c that performs data communication with other devices via the network 13, and presents processing results to the user. The output means 12d and the input means 12e which receives a user's operation input are provided.

図3は、図2に示した仮想デスクトップシステム10の構成を、ソフトウェアを主体としてより観念的に示す説明図である。サーバ装置11のプロセッサ11aは、コンピュータプログラムの動作により、ユーザごとの仮想デスクトップ画面を生成して動作させる仮想デスクトップ動作部21と、ユーザの入力操作に対する仮想デスクトップ動作部21による出力内容の予測を行う出力予測部22、および仮想デスクトップ動作部21による実処理の結果と出力予測部22による予測結果とを比較する処理を行う出力比較部23として機能する。記憶手段11bには後述の設定情報24および出力予測情報25が記憶されている。   FIG. 3 is an explanatory diagram more conceptually showing the configuration of the virtual desktop system 10 shown in FIG. 2 mainly with software. The processor 11a of the server device 11 predicts the output contents of the virtual desktop operation unit 21 that generates and operates a virtual desktop screen for each user by the operation of the computer program, and the virtual desktop operation unit 21 for the user's input operation. The output prediction unit 22 and the output comparison unit 23 that performs a process of comparing the result of the actual processing by the virtual desktop operation unit 21 and the prediction result by the output prediction unit 22. The storage unit 11b stores setting information 24 and output prediction information 25 described later.

クライアント装置12のプロセッサ12aも、コンピュータプログラムの動作により、入力手段12eからの操作入力を受け付けてサーバ装置11に送信し、それに応じてサーバ装置11から送られてくる操作結果画面を出力手段12dに提示する入出力管理部31と、ユーザの入力操作に対する出力内容の予測を行う出力予測部32として機能する。また、記憶手段12bにはユーザが行った操作を時刻ごとに記録するタイムライン情報33と後述の設定情報34および出力予測情報35が記憶されている。   The processor 12a of the client device 12 also receives an operation input from the input unit 12e by the operation of the computer program and transmits the operation input to the server device 11, and the operation result screen sent from the server device 11 accordingly is output to the output unit 12d. It functions as an input / output management unit 31 to be presented and an output prediction unit 32 that performs prediction of output contents in response to a user input operation. The storage unit 12b stores timeline information 33 for recording operations performed by the user for each time, setting information 34 and output prediction information 35 described later.

図4は、図2〜3に示した仮想デスクトップシステム10で行われる入力操作について示すフローチャートである。この動作においては、サーバ装置11とクライアント装置12の各側の出力予測部22および32は、出力予測に必要な情報である出力予測情報25および35を相互に交換していて、常にユーザの行いうる操作に対して同一の出力内容の予測結果を出すことが前提となる。   FIG. 4 is a flowchart showing an input operation performed in the virtual desktop system 10 shown in FIGS. In this operation, the output prediction units 22 and 32 on each side of the server device 11 and the client device 12 mutually exchange output prediction information 25 and 35, which are information necessary for output prediction, and are always performed by the user. It is premised that the same output content prediction result is output for each possible operation.

ここでいう出力予測情報25および35とは、たとえばユーザのデスクトップ画面、ユーザが頻繁に操作する個人データフォルダのファイル構成、ユーザが使用しているアプリケーションソフトの画面遷移などについての情報である。出力予測部22および32は、これらの情報を事前に相互に交換していることにより、ユーザの行いうる操作に対して同一の出力内容の予測結果を出すことが可能となる。   Here, the output prediction information 25 and 35 are information on, for example, the user's desktop screen, the file configuration of the personal data folder that the user frequently operates, and the screen transition of the application software used by the user. The output predicting units 22 and 32 exchange these pieces of information in advance, so that it is possible to output the same output content prediction results for the operations that can be performed by the user.

たとえば、ユーザが特定のアプリケーションソフトを起動して使用している場合、そのアプリケーションソフトのメニューバーや操作ボタンなどの全てに対して「どこを操作するとどのように画面が遷移し、どのようなダイアログが表示される」などのような情報が、出力予測においては必須となる。しかしながら、起動されていないアプリケーションソフトについては、そのような情報は全く必要とはされない。   For example, when a user starts up and uses a specific application software, the menu bar, operation buttons, etc. of that application software are all displayed. Is displayed in the output prediction. However, for application software that has not been started, such information is not required at all.

従って、ユーザが特定のアプリケーションソフトを起動した時、双方の出力予測部22および32は、出力予測情報25および35からそのアプリケーションソフトの画面遷移に関連する共通の情報を読み込む。また、ユーザが特定のデータフォルダにアクセスしたら、そのフォルダとその近辺(1段上層、あるいは1段下層など)のディレクトリ情報を読み込む。   Accordingly, when the user activates specific application software, both the output prediction units 22 and 32 read common information related to the screen transition of the application software from the output prediction information 25 and 35. Further, when the user accesses a specific data folder, directory information of the folder and the vicinity thereof (one level upper layer or one level lower layer) is read.

また、タイムライン情報33に、サーバとクライアントの間の往復分の伝搬遅延を充分に超える時間の操作内容を記憶可能であることも前提となる。そして、出力予測と実際の出力が異なっている場合に後述の各動作モードのどちらで動作するかについての設定もサーバ装置11とクライアント装置12の双方で事前に行われ、その内容が設定情報24および34としてあらかじめ記憶されていることも前提となる。   Further, it is also assumed that the timeline information 33 can store the operation content for a time sufficiently exceeding the propagation delay for the round trip between the server and the client. Then, when the output prediction and the actual output are different from each other, the setting as to which of the following operation modes is performed in advance is performed in both the server device 11 and the client device 12, and the contents are set information 24. And 34 are stored in advance.

ここでいう「各動作モード」とは、サーバ装置11側で「実処理の結果と出力予測の結果とが異なる」ことが検出された場合に、その差異が検出された時点以後にクライアント装置12側でなされた操作入力をサーバ装置11が「破棄する」か「全て受け入れる」かである。   The “each operation mode” here refers to the client device 12 after the time point when the difference is detected when the server device 11 detects that the actual processing result and the output prediction result are different. The server apparatus 11 “discards” or “accepts all” the operation input made on the side.

まず、クライアント装置12を操作するユーザが、入力手段12eを介して何かの操作入力を行う(ステップS101)と、その操作入力に対して入出力管理部31は、その入力内容とこの操作が行われた日時についてタイムライン情報33に記憶し(ステップS102)、その入力内容と日時をサーバ装置11に送信する(ステップS103)。そして出力予測部32が、その入力に対してサーバ装置11から帰って来るであろう出力結果を予測して、その予測結果を出力手段12dに提示する(ステップS104)。   First, when a user who operates the client device 12 performs an operation input through the input unit 12e (step S101), the input / output management unit 31 responds to the operation input with the input content and the operation. The performed date and time are stored in the timeline information 33 (step S102), and the input content and date and time are transmitted to the server device 11 (step S103). Then, the output prediction unit 32 predicts an output result that will be returned from the server device 11 in response to the input, and presents the prediction result to the output unit 12d (step S104).

サーバ装置11では、仮想デスクトップ動作部21がクライアント装置12から受信した入力内容に応じた処理(実処理)を行い(ステップS111)、これと並行して出力予測部22がこの入力内容に対して返されるであろう出力結果を予測する(出力予測、ステップS112)。そして実処理の結果と出力予測の結果とを出力比較部23が比較し、両者が一致するか否かを判断する(ステップS113)。一致すればそのまま動作を継続し、一致した処理結果を含む仮想デスクトップの画面内容を送信する(ステップS114)。この段階で後述のユーザ向け通知が出力画面に含まれていたら、これを含まない内容に戻す。   In the server device 11, the virtual desktop operation unit 21 performs processing (actual processing) according to the input content received from the client device 12 (step S 111), and in parallel with this, the output prediction unit 22 performs the processing on the input content. The output result that will be returned is predicted (output prediction, step S112). Then, the output comparison unit 23 compares the result of actual processing and the result of output prediction, and determines whether or not they match (step S113). If they match, the operation is continued as it is, and the screen contents of the virtual desktop including the matched processing result are transmitted (step S114). At this stage, if a notification for the user, which will be described later, is included in the output screen, the content is not included.

実処理の結果と出力予測の結果とが異なる場合、出力比較部23はまず設定情報24を参照して動作モードを確認する(ステップS115)。「全て受け入れる」動作モードの場合、仮想デスクトップ動作部21による出力画面に、たとえば画面の一部の色を変えるなどのようなユーザ向け通知を含む内容を追加して(ステップS116)、ステップS114に進んでクライアント装置12にその旨を示す通知情報を含む仮想デスクトップの画面内容を送信する。個々でいうユーザ向け通知の内容については後述する。   When the result of the actual processing is different from the result of the output prediction, the output comparison unit 23 first confirms the operation mode with reference to the setting information 24 (step S115). In the “accept all” operation mode, contents including a notification for the user such as changing the color of a part of the screen are added to the output screen of the virtual desktop operation unit 21 (step S116), and the process proceeds to step S114. Then, the screen contents of the virtual desktop including the notification information indicating the fact are transmitted to the client device 12. The contents of the notification for users referred to individually will be described later.

ステップS115で「破棄する」動作モードの場合、通知情報のあった対象操作の行われた時点まで、仮想デスクトップ動作部21による出力画面を戻して(ステップS117)、出力予測部22を一度リセットして「操作入力無し」の状態とする(ステップS118)。そしてその上で、ステップS116に進んで出力画面にユーザ向け通知を含む内容を追加し、ステップS114に進んでクライアント装置12にその旨を示す通知情報を含む仮想デスクトップの画面内容を送信する。   In the case of the “discard” operation mode in step S115, the output screen by the virtual desktop operation unit 21 is returned (step S117) until the target operation having the notification information is performed, and the output prediction unit 22 is reset once. To “no operation input” (step S118). Then, the process proceeds to step S116 to add contents including a notification for the user to the output screen, and the process proceeds to step S114 to transmit the screen contents of the virtual desktop including the notification information indicating that to the client apparatus 12.

以上の動作を、実処理と出力予測とが一致するまで継続することになる。一致すれば、仮想デスクトップ動作部21による出力画面は、ステップS116で追加された前述のユーザ向け通知を含まない内容に戻る。   The above operation is continued until the actual processing and the output prediction match. If they match, the output screen by the virtual desktop operation unit 21 returns to the content that does not include the above-described user notification added in step S116.

クライアント装置12では、ステップS114で送信された仮想デスクトップの画面内容を入出力管理部31が表示する(ステップS105)。その上で入出力管理部31は、設定情報34を参照して動作モードを確認する(ステップS106)。「全て受け入れる」動作モードの場合はそこで動作を終了し、次の入力操作を待ち受ける状態となる。   In the client device 12, the input / output management unit 31 displays the screen content of the virtual desktop transmitted in step S114 (step S105). After that, the input / output management unit 31 refers to the setting information 34 and confirms the operation mode (step S106). In the “accept all” operation mode, the operation ends there, and the next input operation is awaited.

ステップS106で「破棄する」動作モードの場合、入出力管理部31は通知情報の対象となった操作の行われた直後の時点まで、表示画面を戻す(ステップS107)。そして出力予測部32をリセットして「操作入力無し」の状態として(ステップS108)動作を終了し、次の入力操作を待ち受ける状態となる。即ち「破棄する」動作モードでは、サーバ装置11およびクライアント装置12の双方で、次の入力操作に対する出力予測は「入力無し」の状態に対して行われることとなる。   In the case of the “discard” operation mode in step S106, the input / output management unit 31 returns the display screen to a time point immediately after the operation targeted for the notification information is performed (step S107). Then, the output predicting unit 32 is reset to a “no operation input” state (step S108), the operation is terminated, and the next input operation is awaited. In other words, in the “discard” operation mode, the output prediction for the next input operation is performed in the “no input” state in both the server apparatus 11 and the client apparatus 12.

サーバ装置11から送られる通知情報には、実処理の結果と出力予測の結果が異なる現象が始まったその操作がどの日時にクライアント装置12で行われた何の操作であるかを表す情報も含まれている。この通知情報を受けたクライアント装置12側では、前述のステップS107の動作で、タイムライン情報33を参照してその操作を特定し、その操作の直後の状態まで表示画面を戻すことができる。   The notification information sent from the server apparatus 11 also includes information indicating what operation was performed on the client apparatus 12 at what date and time when the phenomenon in which the actual processing result and the output prediction result differ started. It is. Upon receiving this notification information, the client device 12 side can identify the operation with reference to the timeline information 33 and return the display screen to the state immediately after the operation in the operation of step S107 described above.

図5は、図4のステップS116の動作で、仮想デスクトップ動作部21による出力画面に付加されるユーザ向け通知の例について示す説明図である。図5(a)はユーザ向け通知を含まない通常の出力画面、図5(b)はユーザ向け通知を含む出力画面の例について示す。   FIG. 5 is an explanatory diagram showing an example of a notification for the user added to the output screen by the virtual desktop operation unit 21 in the operation of step S116 of FIG. FIG. 5A shows an example of a normal output screen that does not include a notification for a user, and FIG. 5B shows an example of an output screen that includes a notification for a user.

図5(a)に示す通り、仮想デスクトップ動作部21によってクライアント装置12に対して出力される通常の出力画面150は、実処理の出力画面状態を示す実出力151に、出力予測の出力画面状態を示す予想出力152を重ねた状態の画面である。これに対して、実処理の結果と出力予測の結果とが異なる状態となった場合の図5(b)に示す出力画面160は、実出力161と予想出力162とを重ねた状態の画面に、さらにたとえば画面の一部の色を変える、画面の一部に赤丸などのようなマークを出すなどでユーザにその差異があったことを通知するユーザ向け通知163を重ねたものとなる。図5では、ユーザ向け通知163は「画面の一部にマークを出す」ことによって表現されている。   As shown in FIG. 5A, the normal output screen 150 output to the client device 12 by the virtual desktop operation unit 21 is changed to the actual output 151 indicating the output screen state of the actual processing, and the output screen state of the output prediction. It is the screen of the state where the expected output 152 which shows this is piled up. On the other hand, the output screen 160 shown in FIG. 5B when the result of the actual processing and the result of the output prediction are different is a screen in which the actual output 161 and the predicted output 162 are overlapped. Further, for example, a user notification 163 for notifying the user of the difference is overlapped by changing a color of a part of the screen, or putting a mark such as a red circle on a part of the screen. In FIG. 5, the user notification 163 is expressed by “marking a part of the screen”.

図6は、図2〜3に示した仮想デスクトップシステム10で、入力操作とそれに対する出力との関係について示す説明図である。この仮想デスクトップシステム10では、クライアント装置12で入力操作を行えば、ユーザに対しては出力予測部32がその入力操作に対する出力予測の結果をすぐに表示するので、ユーザはそれに基づいて続きの入力を行うことが可能である。   FIG. 6 is an explanatory diagram showing a relationship between an input operation and an output corresponding thereto in the virtual desktop system 10 shown in FIGS. In this virtual desktop system 10, if an input operation is performed on the client device 12, the output prediction unit 32 immediately displays the result of the output prediction for the input operation to the user. Can be done.

この入力操作を繰り返せば、実際にサーバ装置11側で行われている実処理よりも何操作分も先行して、クライアント装置12側で入力操作が行われることになる。そのため、出力予測で利用される通常の画面遷移とは異なる内容の実処理が行われた場合(具体的にどのような処理が行われた場合であるかについては後述する)などで、実処理と出力予測との間で異なる結果が出ることがある。   If this input operation is repeated, the input operation is performed on the client device 12 side by many operations before the actual processing actually performed on the server device 11 side. Therefore, when actual processing with content different from the normal screen transition used for output prediction is performed (specifically, what processing is performed will be described later), etc. And output prediction may differ.

サーバ装置11の出力予測部22による処理は、このような状態を検出するものである。その状態が発生し、かつ実処理と異なる予想出力に基づいて実処理よりも先行して行われた入力操作があった場合を考える。   The process by the output predicting unit 22 of the server device 11 detects such a state. Consider a case in which an input operation has occurred and preceded the actual process based on an expected output different from the actual process.

前述の設定情報24および34の「全て受け入れる」動作モードでは、それらの入力操作自体はほとんどの場合、実処理とは異なっていても実行可能な正当な操作であり、それらの操作内容を受け入れても(たとえばディスクドライブの記憶容量が満杯であるなどのように、物理的にその動作が不可能である場合を除いて)動作に差し支えは特にないものと考え、そのような動作設定をあらかじめするものである。   In the “accept all” operation mode of the setting information 24 and 34 described above, those input operations themselves are almost always legitimate operations that can be executed even if they are different from the actual processing. (For example, when the operation is physically impossible, such as when the storage capacity of the disk drive is full, etc.) Is.

逆に「破棄する」動作モードでは、実処理とは異なる動作は一切許可されないので、たとえば経理入力などのように厳密かつ確実な入力操作が求められる用途に適している。   On the other hand, in the “discard” operation mode, no operation different from the actual processing is allowed, so that the operation mode is suitable for applications requiring a strict and reliable input operation such as accounting input.

(実施形態の全体的な動作)
次に、上記の実施形態の全体的な動作について説明する。
本実施形態に係る入力方法は、サーバ装置11とクライアント装置12とが相互に接続されて構成される仮想デスクトップシステム10にあって、クライアント装置の入出力管理部が、仮想デスクトップ画面に対するユーザの操作入力をサーバ装置に送信し(図4・ステップS101〜103)、サーバ装置の仮想デスクトップ動作部が、この操作入力に対する出力結果としての仮想デスクトップ画面を生成してクライアント装置に送信し(図4・ステップS111,114)、クライアント装置の出力予測部が、この操作入力に対する仮想デスクトップ動作部による出力結果を予測し、クライアント装置の入出力管理部が、出力予測部による予測結果をユーザに対して表示して(図4・ステップS104)操作入力を継続して受け入れる。
(Overall operation of the embodiment)
Next, the overall operation of the above embodiment will be described.
The input method according to the present embodiment is in a virtual desktop system 10 configured by connecting a server apparatus 11 and a client apparatus 12 to each other, and an input / output management unit of the client apparatus performs a user operation on a virtual desktop screen. The input is transmitted to the server device (FIG. 4, steps S101 to S103), and the virtual desktop operation unit of the server device generates a virtual desktop screen as an output result for this operation input and transmits it to the client device (FIG. 4, FIG. 4). In steps S111 and 114), the output prediction unit of the client device predicts the output result of the virtual desktop operation unit for this operation input, and the input / output management unit of the client device displays the prediction result of the output prediction unit to the user. (FIG. 4, step S104), the operation input is continuously accepted.

また、サーバ装置の出力予測部が、クライアント装置から受信した操作入力に対する仮想デスクトップ動作部による出力結果を予測し(図4・ステップS112)、サーバ装置の出力比較部が、仮想デスクトップ動作部による実処理結果と出力予測部による予測結果とを比較し(図4・ステップS113)、実処理結果と予測結果との間で差異が検出されれば、サーバ装置の仮想デスクトップ動作部がそのことを示すユーザ向け通知を仮想デスクトップ画面に追加して(図4・ステップS116)クライアント装置に送信する(図4・ステップS114)。   Further, the output prediction unit of the server device predicts the output result by the virtual desktop operation unit with respect to the operation input received from the client device (step S112 in FIG. 4), and the output comparison unit of the server device performs the actual operation by the virtual desktop operation unit. The processing result and the prediction result by the output prediction unit are compared (step S113 in FIG. 4), and if a difference is detected between the actual processing result and the prediction result, the virtual desktop operation unit of the server device indicates that fact. A notification for the user is added to the virtual desktop screen (FIG. 4, step S116) and transmitted to the client device (FIG. 4, step S114).

ここで、上記各動作ステップについては、これをコンピュータで実行可能にプログラム化し、これらを前記各ステップを直接実行するプロセッサであるサーバ装置11のプロセッサ11a、およびクライアント装置12のプロセッサ12aに実行させるようにしてもよい。本プログラムは、非一時的な記録媒体、例えば、DVD、CD、フラッシュメモリ等に記録されてもよい。その場合、本プログラムは、記録媒体からコンピュータによって読み出され、実行される。
この動作により、本実施形態は以下のような効果を奏する。
Here, each of the above operation steps is programmed to be executable by a computer, and these are executed by the processor 11a of the server device 11 and the processor 12a of the client device 12 which are processors that directly execute the respective steps. It may be. The program may be recorded on a non-temporary recording medium, such as a DVD, a CD, or a flash memory. In this case, the program is read from the recording medium by a computer and executed.
By this operation, this embodiment has the following effects.

本実施形態によれば、クライアント装置からの入力操作に対するサーバ装置からの仮想デスクトップ画面が返ってこなくても、クライアント装置側で操作入力を続行することが可能となる。即ち、伝送遅延のある環境に合っても、仮想デスクトップシステムの操作性を向上させることが可能となる。ここで、実処理結果と予測結果との間に差異が生じても、実処理結果に特に問題を発生させることなく、処理を続行することが可能となる。   According to the present embodiment, it is possible to continue the operation input on the client device side even if the virtual desktop screen from the server device does not return for the input operation from the client device. That is, the operability of the virtual desktop system can be improved even in an environment with a transmission delay. Here, even if a difference occurs between the actual processing result and the prediction result, the processing can be continued without causing any particular problem in the actual processing result.

ここでいうクライアント装置12の出力予測部32は、最も理想的にはサーバ装置の仮想デスクトップ動作部21の動作そのもの、即ち図7(a)に示した単独のコンピュータ装置(スタンドアローン)の動作と同一の形態となる。ただそれだと、仮想デスクトップで動作させる意味自体がなくなってしまう。   The output prediction unit 32 of the client device 12 here is most ideally the operation of the virtual desktop operation unit 21 of the server device, that is, the operation of the single computer device (standalone) shown in FIG. It becomes the same form. If that is the case, the meaning of operating on the virtual desktop will disappear.

そこで、クライアント装置12の出力予測部32は、サーバ装置の仮想デスクトップ動作部21で動作している内容に応じて、その入出力に必要な要素のみを出力予測情報35から読み込み、これによって出力の予測を行うものである。仮想デスクトップで特定のアプリケーションソフトを使用している場合は、そのアプリケーションソフトの通常の動作による画面遷移についての情報があればよく、動作していないアプリケーションソフトについての情報は全く必要ない。   Therefore, the output predicting unit 32 of the client device 12 reads only the elements necessary for the input / output from the output predicting information 35 according to the contents operating in the virtual desktop operating unit 21 of the server device, thereby outputting the output. Make a prediction. When specific application software is used in the virtual desktop, it is only necessary to have information about screen transitions due to the normal operation of the application software, and no information about application software that is not operating is necessary.

その場合に実処理結果と予測結果との間で差異が発生しうるケースとしては、たとえばサーバ装置11がデータをディスクドライブなどの記憶媒体に書き込んでいる最中に(その記憶媒体の物理的な要因で)エラーが発生した場合、あるいはコンピュータウイルスやワームなどのような不正プログラムが(常駐しているアンチウイルスプログラムによって)発見された場合など、多くはクライアント装置12からの入力操作以外の要因によって発生するものである。   In this case, as a case where a difference may occur between the actual processing result and the prediction result, for example, while the server device 11 is writing data to a storage medium such as a disk drive (physical storage medium). In many cases, such as when an error occurs (by a factor) or when a malicious program such as a computer virus or worm is found (by a resident anti-virus program), it is caused by factors other than the input operation from the client device 12. It is what happens.

従って、サーバ装置11とクライアント装置12の各側の出力予測部22および32が、同一の出力予測情報25および35に基づいて、常にユーザの行いうる操作に対して同一の出力内容の予測結果を出すことができるものでありさえすればよい。同一の出力予測情報から同一のルーチンによって出力予測が動作するものであれば、たとえばサーバ装置11がUNIX(登録商標)、クライアント装置12がウィンドウズやアンドロイド(いずれも登録商標)などのように、両者でオペレーティングシステム(基本ソフト)が異なっていてもよい。   Therefore, the output prediction units 22 and 32 on each side of the server device 11 and the client device 12 always generate the same output content prediction results for operations that can be performed by the user based on the same output prediction information 25 and 35. It only has to be something that can be put out. If output prediction is performed by the same routine from the same output prediction information, for example, the server device 11 is UNIX (registered trademark) and the client device 12 is Windows or Android (both are registered trademarks). The operating system (basic software) may be different.

これまで本発明について図面に示した特定の実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができる。   The present invention has been described with reference to the specific embodiments shown in the drawings. However, the present invention is not limited to the embodiments shown in the drawings, and any known hitherto provided that the effects of the present invention are achieved. Even if it is a structure, it is employable.

本発明は仮想デスクトップシステム、特にサーバとクライアントの間に伝搬遅延のある環境において仮想デスクトップシステムを構築する場合に利用可能である。   The present invention can be used when a virtual desktop system is constructed, particularly in an environment where there is a propagation delay between a server and a client.

1、10 仮想デスクトップシステム
2、11 サーバ装置
2a、21 仮想デスクトップ動作部
3、12 クライアント装置
3a、31 入出力管理部
3b、22、32 出力予測部
11a、12a プロセッサ
11b、12b 記憶手段
11c、12c 通信手段
12d 出力手段
12e 入力手段
13 ネットワーク
23 出力比較部
24、34 設定情報
25、35 出力予測情報
33 タイムライン情報
150、160 出力画面
151、161 実出力
152、162 予想出力
163 ユーザ向け通知
1, 10 Virtual desktop system 2, 11 Server device 2a, 21 Virtual desktop operation unit 3, 12 Client device 3a, 31 Input / output management unit 3b, 22, 32 Output prediction unit 11a, 12a Processor 11b, 12b Storage means 11c, 12c Communication means 12d Output means 12e Input means 13 Network 23 Output comparison unit 24, 34 Setting information 25, 35 Output prediction information 33 Timeline information 150, 160 Output screen 151, 161 Actual output 152, 162 Expected output 163 Notification for user

Claims (8)

クライアント装置と接続されて仮想デスクトップシステムの要部を構成するサーバ装置であって、
前記クライアント装置からユーザの操作入力を受信し、これに対する出力結果としての仮想デスクトップ画面を生成して前記クライアント装置に送信する仮想デスクトップ動作部と、前記ユーザの操作入力に対する前記出力結果を予測する出力予測部と、前記仮想デスクトップ動作部による実処理結果と前記出力予測部による予測結果とを比較する出力比較部とを備え、
前記実処理結果と前記予測結果との間で差異が検出された場合に稼働し、前記仮想デスクトップ動作部が、そのことを示すユーザ向け通知を前記仮想デスクトップ画面に追加して送信処理する機能を備えていること、を特徴とするサーバ装置。
A server device that is connected to a client device and constitutes a main part of a virtual desktop system,
A virtual desktop operation unit that receives a user operation input from the client device, generates a virtual desktop screen as an output result for the user, and transmits the virtual desktop screen to the client device; and an output for predicting the output result for the user operation input A prediction unit, and an output comparison unit that compares the actual processing result by the virtual desktop operation unit and the prediction result by the output prediction unit,
A function that operates when a difference is detected between the actual processing result and the prediction result, and the virtual desktop operation unit adds a notification for the user indicating that to the virtual desktop screen and performs transmission processing. And a server device.
サーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムであって、
前記サーバ装置として、前記請求項1記載のサーバ装置を装備し、
前記クライアント装置が、前記仮想デスクトップ画面に対するユーザの操作入力を前記サーバ装置に送信すると共に、これに対して前記サーバ装置から送られてくる出力結果としての前記仮想デスクトップ画面を前記ユーザに対して表示する入出力管理部を備え、
このクライアント装置が、更に、前記ユーザの操作入力に対する前記仮想デスクトップ動作部による前記出力結果を予測する出力予測部を備えると共に、
前記クライアント装置の前記入出力管理部が、このクライアント側の出力予測部による予測結果に基づいて操作入力を継続して受け入れる機能を備えること、を特徴とする仮想デスクトップシステム。
A virtual desktop system configured by connecting a server device and a client device to each other,
The server device according to claim 1 is installed as the server device.
The client device transmits a user operation input to the virtual desktop screen to the server device, and displays the virtual desktop screen as an output result sent from the server device to the user. I / O management unit
The client device further includes an output prediction unit that predicts the output result of the virtual desktop operation unit with respect to the user's operation input,
The virtual desktop system, wherein the input / output management unit of the client device has a function of continuously accepting an operation input based on a prediction result by the output prediction unit on the client side.
請求項2に記載の仮想デスクトップシステムにおいて、
前記サーバ装置は、前記実処理結果と前記予測結果との間で差異が検出された場合に稼働し、前記仮想デスクトップ動作部を稼働させて当該差異の発生以後の前記操作入力を破棄する機能と、前記クライアント装置に対して通知情報を発する機能とを備え、
この通知情報を受けた前記クライアント装置の入出力管理部が、その破棄された操作入力がなされる直前の前記仮想デスクトップ画面を前記ユーザに対して表示する機能を備えることを特徴とする仮想デスクトップシステム。
The virtual desktop system according to claim 2,
The server device operates when a difference is detected between the actual processing result and the prediction result, and operates the virtual desktop operation unit to discard the operation input after the occurrence of the difference; And a function of issuing notification information to the client device,
The input / output management unit of the client device that has received the notification information has a function of displaying to the user the virtual desktop screen immediately before the discarded operation input is made. .
請求項3に記載の仮想デスクトップシステムにおいて、
前記クライアント装置の出力予測部は、前記通知情報を受けた場合に稼働し、前記破棄された操作入力がなされる直前の状態から操作入力が無いものとして、前記出力結果を再度予測する機能を備えていることを特徴とする仮想デスクトップシステム。
The virtual desktop system according to claim 3.
The output prediction unit of the client device operates when receiving the notification information, and has a function of predicting the output result again assuming that there is no operation input from a state immediately before the discarded operation input is made. Virtual desktop system characterized by
請求項3に記載の仮想デスクトップシステムにおいて、
前記サーバ装置の前記仮想デスクトップ動作部は、前記実処理結果と前記予測結果との間で差異が検出された後で、前記サーバ装置の出力比較部が前記実処理結果と前記予測結果との間で再び差異を検出しない状態になった場合に稼働し、前記仮想デスクトップ画面から前記ユーザ向け通知を取り除いて送信処理する機能を備えていることを特徴とする仮想デスクトップシステム。
The virtual desktop system according to claim 3.
After the virtual desktop operation unit of the server device detects a difference between the actual processing result and the prediction result, the output comparison unit of the server device performs a process between the actual processing result and the prediction result. The virtual desktop system is provided with a function of performing a transmission process after removing the notification for the user from the virtual desktop screen, when the difference is not detected again.
請求項3に記載の仮想デスクトップシステムにおいて、
前記サーバ装置の前記仮想デスクトップ動作部は、前記実処理結果と前記予測結果との間で差異が検出された場合であっても、その差異の発生以後の前記操作入力を破棄せずに前記出力結果としての前記仮想デスクトップ画面を生成処理する機能を備えていることを特徴とする仮想デスクトップシステム。
The virtual desktop system according to claim 3.
Even if a difference is detected between the actual processing result and the prediction result, the virtual desktop operation unit of the server device outputs the output without discarding the operation input after the occurrence of the difference. A virtual desktop system having a function of generating and processing the resulting virtual desktop screen.
サーバ装置とクライアント装置とが相互に接続されて構成される仮想デスクトップシステムにあって、
前記クライアント装置が備えている入出力管理部が、仮想デスクトップ画面に対するユーザの操作入力を前記サーバ装置に送信し、
前記サーバ装置が備えている仮想デスクトップ動作部が、この操作入力に対する出力結果としての前記仮想デスクトップ画面を生成して前記クライアント装置に送信し、
前記クライアント装置の出力予測部が、この操作入力に対する前記仮想デスクトップ動作部による前記出力結果を予測し、
前記クライアント装置の入出力管理部が、当該クライアント装置の前記出力予測部による予測結果を前記ユーザに対して表示しつつ前記操作入力を継続して許容し、
前記サーバ装置の出力比較部が、前記仮想デスクトップ動作部による実処理結果と前記出力予測部による予測結果とを比較し、
前記実処理結果と前記予測結果との間で差異が検出された場合に稼働し、前記サーバ装置の前記仮想デスクトップ動作部がそのことを示すユーザ向け通知を、前記仮想デスクトップ画面に追加して前記クライアント装置に送信することを特徴とした入力情報処理方法。
In a virtual desktop system configured by connecting a server device and a client device to each other,
The input / output management unit provided in the client device transmits a user operation input to the virtual desktop screen to the server device,
The virtual desktop operation unit which the server device is equipped with, is generated and transmitted to the virtual desktop screen as the output result of the operation input to the client device,
The output prediction unit of the client device predicts the output result by the virtual desktop operation unit for this operation input,
The input / output management unit of the client device continuously allows the operation input while displaying a prediction result by the output prediction unit of the client device to the user ,
The output comparison unit of the server device compares the actual processing result by the virtual desktop operation unit and the prediction result by the output prediction unit,
It operates when a difference is detected between the actual processing result and the prediction result, and the virtual desktop operation unit of the server device adds a notification for the user indicating it to the virtual desktop screen and An input information processing method characterized by transmitting to a client device .
仮想デスクトップ画面を生成して送信する仮想デスクトップ動作部を備えたサーバ装置と、前記仮想デスクトップ画面に対するユーザの操作入力を前記サーバ装置に送信するクライアント装置とが相互に接続されて成る仮想デスクトップシステムにあって、
前記ユーザによる操作入力に対する出力結果としての前記仮想デスクトップ画面を生成して前記クライアント装置に送信する送信処理機能、
前記クライアント装置から受信した前記操作入力に対する出力結果を予測する予測処理機能、
前記仮想デスクトップ画面を生成する手順による実処理結果と前記出力結果を予測する手順による予測結果とを比較する比較処理機能、
および前記実処理結果と前記予測結果との間で差異が検出されれば、そのことを示すユーザ向け通知を前記仮想デスクトップ画面に追加して前記クライアント装置に追加送信処理機能、
を設け、これらをコンピュータに実現させるようにしたことを特徴とする入力情報処理プログラム。
A virtual desktop system in which a server device including a virtual desktop operation unit that generates and transmits a virtual desktop screen and a client device that transmits a user operation input to the virtual desktop screen to the server device are connected to each other. There,
Transmission processing function of transmitting to the client device to generate the virtual desktop screen as the output result of the operation input by the user,
A prediction processing function for predicting an output result for the operation input received from the client device;
A comparison processing function for comparing the actual processing result by the procedure for generating the virtual desktop screen and the prediction result by the procedure for predicting the output result;
If a difference is detected between the actual processing result and the prediction result, an additional transmission processing function is added to the client device by adding a notification for the user indicating the difference to the virtual desktop screen,
An input information processing program characterized in that a computer is realized.
JP2013035796A 2013-02-26 2013-02-26 Server apparatus, virtual desktop system, input information processing method, and program thereof Active JP6205749B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013035796A JP6205749B2 (en) 2013-02-26 2013-02-26 Server apparatus, virtual desktop system, input information processing method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013035796A JP6205749B2 (en) 2013-02-26 2013-02-26 Server apparatus, virtual desktop system, input information processing method, and program thereof

Publications (2)

Publication Number Publication Date
JP2014164571A JP2014164571A (en) 2014-09-08
JP6205749B2 true JP6205749B2 (en) 2017-10-04

Family

ID=51615109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013035796A Active JP6205749B2 (en) 2013-02-26 2013-02-26 Server apparatus, virtual desktop system, input information processing method, and program thereof

Country Status (1)

Country Link
JP (1) JP6205749B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298175B (en) * 2014-09-26 2015-09-23 华中科技大学 A kind of numerical control system and method based on virtualization technology
JP7259738B2 (en) * 2017-03-06 2023-04-18 日本電気株式会社 CONTROL DEVICE, CONTROL SYSTEM, CONTROL METHOD AND PROGRAM OF CONTROL DEVICE
JP7074034B2 (en) * 2018-11-22 2022-05-24 富士通株式会社 Information processing systems, programs and information processing methods used in virtual desktop environments, etc.
WO2026033759A1 (en) * 2024-08-08 2026-02-12 オリンパス株式会社 Medical system and processing method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538667B1 (en) * 1999-07-23 2003-03-25 Citrix Systems, Inc. System and method for providing immediate visual response to user input at a client system connected to a computer system by a high-latency connection
JP2002342084A (en) * 2001-05-21 2002-11-29 Nec Soft Ltd Software demonstration environment providing system and software demonstration environment providing method
JP2003323402A (en) * 2002-05-01 2003-11-14 Ntt Docomo Inc Thin client system, thin client terminal, thin client terminal control method, and control program
JP2005228228A (en) * 2004-02-16 2005-08-25 Nippon Telegr & Teleph Corp <Ntt> Client server system and GUI display method thereof
JP4959512B2 (en) * 2007-11-08 2012-06-27 株式会社日立製作所 Priority control system and priority control method
JP5532544B2 (en) * 2008-03-28 2014-06-25 カシオ計算機株式会社 Information output device and program
JP5012716B2 (en) * 2008-07-29 2012-08-29 富士通株式会社 Remote file operation method
JP5369130B2 (en) * 2011-03-18 2013-12-18 みずほ情報総研株式会社 Connection management system

Also Published As

Publication number Publication date
JP2014164571A (en) 2014-09-08

Similar Documents

Publication Publication Date Title
US11874921B2 (en) Digital protection that travels with data
RU2595761C2 (en) Control information associated with network resources
US9195519B2 (en) Disabling the self-referential appearance of a mobile application in an intent via a background registration
US11055408B2 (en) Endpoint detection and response attack process tree auto-play
US20150012815A1 (en) Optimization schemes for controlling user interfaces through gesture or touch
US20180165258A1 (en) Methods for improved auditing of web sites and devices thereof
JP2005129035A (en) Provision of safe input to system with high assurance execution environment
EP3252647B1 (en) System and method of detecting malicious files on a virtual machine in a distributed network
JP6205749B2 (en) Server apparatus, virtual desktop system, input information processing method, and program thereof
JP2012088770A (en) Computer resource control system
WO2011052673A1 (en) Help information provision device, and help information provision method
CN110659478B (en) Method for detecting malicious files preventing analysis in isolated environment
US11588847B2 (en) Automated seamless recovery
JP4159100B2 (en) Method and program for controlling communication by information processing apparatus
TWI817062B (en) Method and system for detecting web shell using process information
JP2013109553A (en) Program white list distribution device and method
JP5441043B2 (en) Program, information processing apparatus, and information processing method
JP2010170548A (en) Keystroke activated dynamic task
EP3278205B1 (en) View activation via hit testing in an asynchronous windowing system
JP7297249B2 (en) Computer system and information sharing method
WO2017047341A1 (en) Information processing device, information processing method, and program
JP6941980B2 (en) Test scenario execution system and test scenario execution method
JP2017204173A (en) Data protection program, data protection method, and data protection apparatus
CN104468694A (en) System and methods for providing a network application proxy agent
JP6161546B2 (en) A method, apparatus, and program for generating and displaying a specific area.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170821

R150 Certificate of patent or registration of utility model

Ref document number: 6205749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150