Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4397404B2 - Terminal management apparatus and terminal management program - Google Patents
[go: Go Back, main page]

JP4397404B2 - Terminal management apparatus and terminal management program - Google Patents

Terminal management apparatus and terminal management program Download PDF

Info

Publication number
JP4397404B2
JP4397404B2 JP2007176396A JP2007176396A JP4397404B2 JP 4397404 B2 JP4397404 B2 JP 4397404B2 JP 2007176396 A JP2007176396 A JP 2007176396A JP 2007176396 A JP2007176396 A JP 2007176396A JP 4397404 B2 JP4397404 B2 JP 4397404B2
Authority
JP
Japan
Prior art keywords
window
display
image
unit
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007176396A
Other languages
Japanese (ja)
Other versions
JP2009015582A (en
Inventor
守央 谷奥
Original Assignee
Sky株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sky株式会社 filed Critical Sky株式会社
Priority to JP2007176396A priority Critical patent/JP4397404B2/en
Publication of JP2009015582A publication Critical patent/JP2009015582A/en
Application granted granted Critical
Publication of JP4397404B2 publication Critical patent/JP4397404B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得し、当該操作画像をモニタ画面上に表示する端末管理技術に関する。   The present invention relates to a terminal management technique for acquiring an operation log and an operation image associated with the operation log from a client terminal and displaying the operation image on a monitor screen.

操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得し、当該操作画像をモニタ画面上に表示する技術として、例えば特許文献1の遠隔制御システムが知られている。この遠隔制御システムは、遠隔制御サーバとクライアント端末とが通信ネットワークを介して接続されて構成されており、クライアント端末は当該端末に入力された各操作コマンドを特定する操作コマンド特定情報と表示部に表示された画面を所定の間隔で取得したキャプチャ画像とを遠隔制御サーバに送信し、遠隔制御サーバは受信したキャプチャ画像を表示部に所定数まで順次表示するものである。   As a technique for acquiring an operation log and an operation image associated with the operation log from a client terminal and displaying the operation image on a monitor screen, for example, a remote control system disclosed in Patent Document 1 is known. This remote control system is configured by connecting a remote control server and a client terminal via a communication network. The client terminal includes operation command specifying information for specifying each operation command input to the terminal and a display unit. The captured images obtained by acquiring the displayed screens at predetermined intervals are transmitted to the remote control server, and the remote control server sequentially displays the received captured images on the display unit up to a predetermined number.

このように受信したキャプチャ画像を遠隔制御サーバの表示部に所定数まで順次表示することにより、複数のクライアント端末の画面を遠隔制御サーバの操作者が一度に見ることができる。また、クライアント端末において入力された操作コマンドや画面などを記録しておけば、後日記録した画面を再生することができるので、この再生によりクライアント端末の操作者の操作状況を容易に把握することができ、クライアント端末の操作者による不正な操作を監視することができる。   By sequentially displaying up to a predetermined number of captured images thus received on the display unit of the remote control server, the operator of the remote control server can view the screens of a plurality of client terminals at a time. In addition, if the operation commands and screens entered at the client terminal are recorded, the recorded screen can be played back at a later date, so that the operation status of the operator of the client terminal can be easily grasped by this playback. It is possible to monitor unauthorized operations by the operator of the client terminal.

特開2006−108947号公報(段落〔0005〕、〔0020〕、〔0051〕、〔0057〕)JP 2006-108947 A (paragraphs [0005], [0020], [0051], [0057])

上述した遠隔制御システムはネットワークを介して接続されているクライアント端末の画面を遠隔制御サーバの表示部に複数表示することができるので、遠隔制御サーバの操作者がこれらの複数のクライアント端末の操作者の操作状況を監視するのに便利なものとなっている。   Since the above-described remote control system can display a plurality of client terminal screens connected via a network on the display unit of the remote control server, the operator of the remote control server can operate the plurality of client terminal operators. It is convenient to monitor the operation status of

しかしながら、複数のクライアント端末を一度に監視するには便利なものの、ある特定のクライアント端末の画面を記録し、これを再生して操作者の操作状況を監視する場合、再生した画面を全て見終わるまで時間がかかるという問題がある。   However, although it is convenient to monitor a plurality of client terminals at a time, when the screen of a specific client terminal is recorded and played back to monitor the operation status of the operator, all the played back screens are completely viewed. There is a problem that it takes a long time.

さらに、クライアント端末の操作者の操作状況を監視する場合、画面上に表示されたウインドウに着目して監視することが多いが、ウインドウの開閉操作やアクティブ・非アクティブ操作などにより、表示されているウインドウは時々刻々と変化するものである。従って、着目したウインドウが一旦閉じられ、その後開かれて操作が行われる場合などにおいては、単に再生画面の早送りを行ったのでは、当該ウインドウにおける一連の操作がわかり難くなるといった問題も生じ得る。   Furthermore, when monitoring the operation status of the operator of the client terminal, monitoring is often performed by paying attention to the window displayed on the screen, but it is displayed by opening / closing the window or active / inactive operation. The window changes from moment to moment. Accordingly, when the focused window is once closed and then opened to perform an operation, a problem that a series of operations in the window becomes difficult to understand simply by fast-forwarding the playback screen may occur.

本発明は、かかる問題点に着目してなされたものであり、その目的は、クライアント端末のウインドウにおける操作状況を容易かつ短時間で把握可能な端末管理技術を提供することにある。   The present invention has been made paying attention to such problems, and an object of the present invention is to provide a terminal management technique capable of easily and quickly grasping the operation status in the window of the client terminal.

操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得する端末管理装置において、上記課題を解決するため、本発明においては、前記操作画像中のウインドウの表示状態を記述したウインドウ表示情報を前記操作ログに含み、前記クライアント端末毎に、前記ウインドウ表示情報に基づいて、注目するウインドウのカテゴリ別に前記操作画像を分類する操作画像分類部と、モニタ画面上に前記カテゴリ別の表示領域を設け、前記表示領域において当該カテゴリの操作画像を連続再生表示する表示制御部とを備えた。   In a terminal management apparatus that acquires an operation log and an operation image associated with the operation log from a client terminal, in order to solve the above problem, in the present invention, window display information describing a display state of a window in the operation image In the operation log, and for each of the client terminals, an operation image classifying unit that classifies the operation image according to the category of the window of interest based on the window display information, and a display area for each category on the monitor screen. And a display control unit that continuously reproduces and displays the operation images of the category in the display area.

上記構成によれば、一のクライアント端末から取得した操作画像が、操作ログに含まれるウインドウ表示情報に基づいて、注目するウインドウのカテゴリ別に分類され、分類された操作画像はモニタ画面上に設けられたカテゴリ別の表示領域において夫々連続再生表示される。これにより、注目するウインドウの一連の操作を該当する表示領域において見ることができ、その操作状況を容易に把握することができる。すなわち、あるクライアント端末について操作画像を従来のように連続再生表示した場合に、注目するウインドウが一時的に閉じられたり最小化されるなどして、注目するウインドウに対する操作が不連続に再生表示されていたものが、本発明によれば、各カテゴリの表示領域において注目するウインドウに対する操作が繋ぎ合わされて系統立ててこれを再生することができるので、その操作状況が把握し易いものとなる。また、モニタ画面上にはカテゴリ毎に表示領域が設けられ、分類された操作画像は該当する表示領域において連続再生表示されるので、一の表示領域で全ての操作画像を連続再生表示する場合と比べ、短時間でこれを全て見ることができる。   According to the above configuration, the operation images acquired from one client terminal are classified according to the category of the window of interest based on the window display information included in the operation log, and the classified operation images are provided on the monitor screen. Each category is continuously reproduced and displayed in each category display area. Thereby, a series of operations of the window of interest can be viewed in the corresponding display area, and the operation status can be easily grasped. In other words, when an operation image is continuously reproduced and displayed for a certain client terminal as in the conventional case, the operation on the window of interest is reproduced and displayed discontinuously by temporarily closing or minimizing the window of interest. However, according to the present invention, the operations on the windows of interest in the display areas of the categories can be linked together and reproduced systematically, so that the operation status can be easily grasped. In addition, a display area is provided for each category on the monitor screen, and the classified operation images are continuously reproduced and displayed in the corresponding display area, so that all the operation images are continuously reproduced and displayed in one display area. In comparison, you can see all this in a short time.

なお、注目するウインドウとしては、クライアント端末の操作者の操作対象となっているアクティブ・ウインドウや、全領域が表示されているウインドウなど種々の形態を採用することができる。また、モニタ画面上で連続再生表示する際の表示単位ともいうべき注目するウインドウのカテゴリについても、ファイル名やアプリケーションなど種々の形態を採用することができる。   Note that various windows such as an active window that is an operation target of the operator of the client terminal and a window that displays the entire area can be adopted as the window of interest. In addition, various forms such as a file name and an application can be adopted for the category of the window to be noted which should be called a display unit when continuously reproducing and displaying on the monitor screen.

なお、本発明に係る端末管理装置において用いられる操作画像は、クライアント端末のモニタ画面に表示された操作画像全体であっても良いし、操作画像全体からウインドウ領域を抽出することにより生成されたウインドウ画像であっても良い。特に、ウインドウにおける操作状況を監視するためには、ウインドウ画像がモニタ画面上の表示領域に表示されれば十分であり、また、表示領域全体にウインドウ画像が表示されるので操作状況も見易いものとなる。なお、このウインドウ画像は、クライアント端末側で生成して端末管理装置に送信しても良いし、端末管理装置側で生成するようにしても良い。そこで、本発明に係る端末管理装置の好適な実施形態の一つでは、前記操作画像からウインドウ領域を抽出するウインドウ領域抽出部を備えており、抽出されたウインドウ領域が前記表示領域において連続再生表示される。   The operation image used in the terminal management apparatus according to the present invention may be the entire operation image displayed on the monitor screen of the client terminal, or a window generated by extracting a window area from the entire operation image. It may be an image. In particular, in order to monitor the operation status in the window, it is sufficient that the window image is displayed in the display area on the monitor screen, and the operation status is also easy to see because the window image is displayed in the entire display area. Become. The window image may be generated on the client terminal side and transmitted to the terminal management device, or may be generated on the terminal management device side. In view of this, in a preferred embodiment of the terminal management apparatus according to the present invention, the terminal management apparatus includes a window area extraction unit that extracts a window area from the operation image, and the extracted window area is continuously reproduced and displayed in the display area. Is done.

また、本発明の端末管理装置の好適な実施形態の一つでは、前記操作ログに基づき不正操作を判定する不正操作判定部を備え、前記表示制御部は、前記不正操作判定部により不正操作が判定された際に、前記表示領域の表示形態を変更する構成とすることもできる。In one preferred embodiment of the terminal management apparatus of the present invention, the terminal management device includes an unauthorized operation determination unit that determines an unauthorized operation based on the operation log, and the display control unit performs an unauthorized operation by the unauthorized operation determination unit. When determined, the display form of the display area may be changed.

このような構成とすることにより、操作ログに基づき不正操作が判定されると、その操作ログとキャプチャ画像が関連付けられているので不正操作が行われた際のキャプチャ画像を特定することができ、その不正操作に係る操作画像が再生される際に表示領域の表示形態が変更されるため、不正操作が行われた操作状況を的確に監視することができる。With this configuration, when an unauthorized operation is determined based on the operation log, the captured image when the unauthorized operation is performed can be identified because the operation log and the captured image are associated with each other. Since the display form of the display area is changed when the operation image related to the unauthorized operation is reproduced, the operation state in which the unauthorized operation is performed can be accurately monitored.

このような端末管理装置では、不正操作の発生の見逃しを回避するために、その不正操作が行われる以前に管理者に知覚させておくと好適である。そのため、本発明の端末管理装置の好適な実施形態の一つでは、前記表示制御部による前記表示領域の表示形態の変更は、不正操作と判定された前記操作ログに関連する前記操作画像を再生する所定時間前に行われる。In such a terminal management device, in order to avoid overlooking the occurrence of an unauthorized operation, it is preferable to let the administrator perceive the unauthorized operation before the operation is performed. Therefore, in one preferred embodiment of the terminal management apparatus of the present invention, the change in the display form of the display area by the display control unit reproduces the operation image related to the operation log determined to be an unauthorized operation. It is performed a predetermined time before.

さらに、上述した端末監視装置に実装されるプログラムも本発明の権利範囲に含まれるものである。すなわち、操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得する端末管理装置のための端末管理プログラムは、前記操作ログに含まれる前記操作画像中のウインドウの表示状態を記述したウインドウ表示情報に基づいて、前記クライアント端末毎に、注目するウインドウのカテゴリ別に前記操作画像を分類する機能と、モニタ画面上に前記カテゴリ別の表示領域を設け、前記表示領域において当該カテゴリの操作画像を連続再生表示する機能とをコンピュータに実現させるものである。   Furthermore, a program implemented in the above-described terminal monitoring apparatus is also included in the scope of rights of the present invention. That is, a terminal management program for a terminal management apparatus that acquires an operation log and an operation image associated with the operation log from a client terminal is a window that describes a display state of a window in the operation image included in the operation log. Based on display information, for each of the client terminals, a function for classifying the operation image according to the category of the window of interest, and a display area for each category on the monitor screen are provided, and the operation image of the category is displayed in the display area. A function of continuously reproducing and displaying is realized on a computer.

この端末管理プログラムも、もちろん、本発明に係る端末管理装置と同様の作用効果を伴うものであり、上述した種々の付加的な特徴構成を備えることもできる。   Of course, this terminal management program also has the same operational effects as the terminal management apparatus according to the present invention, and can be provided with the various additional features described above.

以下、本発明に係る端末管理装置の実施形態を図面に基づいて説明する。
図1に示すように、複数のクライアント端末1と、このクライアント端末1を監視する端末監視サーバ2(端末管理装置の一例)とがネットワーク3を介して接続され、端末監視システムが構築されている。クライアント端末1aのコンピュータには、ソフトウエア又はハードウエア或いはその両方で、本発明に関係する機能として、モニタ51に対する出力やキーボードやマウスなどの操作入力デバイス61からの入力を制御するGUI部11、ファイルの作成など各種ファイル処理を含むユーザによるデータ処理を行うデータ処理部12、クライアント端末1aにおける各種操作を管理する操作管理部13、ネットワーク3に対するデータ伝送を行う送受信部としてのネットワークインターフェース14などが構築されている。なお、他のクライアント端末1についても同様である。
Embodiments of a terminal management apparatus according to the present invention will be described below with reference to the drawings.
As shown in FIG. 1, a plurality of client terminals 1 and a terminal monitoring server 2 (an example of a terminal management apparatus) that monitors the client terminals 1 are connected via a network 3 to construct a terminal monitoring system. . The computer of the client terminal 1a includes a GUI unit 11 for controlling output to the monitor 51 and input from the operation input device 61 such as a keyboard and a mouse, as functions related to the present invention, in software and / or hardware. A data processing unit 12 that performs data processing by a user including various file processing such as file creation, an operation management unit 13 that manages various operations in the client terminal 1a, a network interface 14 as a transmission / reception unit that performs data transmission to the network 3, and the like. Has been built. The same applies to the other client terminals 1.

このうち操作管理部13は、ログイン・ログオフ処理などの機能を有し、また、クライアント端末1aにおける所定の操作が行われた時にそれに応じて操作内容を記述した操作ログの生成を行う操作ログ生成部13a、クライアント端末1aにおける操作画面をキャプチャして操作画像としてのキャプチャ画像を生成する操作画面キャプチャ部13bを備えている。   Among these, the operation management unit 13 has functions such as login / logoff processing, and also generates an operation log that describes operation contents according to a predetermined operation performed on the client terminal 1a. Unit 13a, and an operation screen capture unit 13b that captures an operation screen in the client terminal 1a and generates a capture image as an operation image.

操作ログ生成部13a或いは操作画面キャプチャ部13bにおいて生成され、端末監視サーバ2へ送信される操作ログ及びキャプチャ画像のデータ構造の一例が図2に模式的に示されている。図2(a)に示すように、この操作ログはクライアント端末1を識別する端末IDを基点として、当該端末のログインユーザを識別するユーザID(又はログイン名)、当該操作ログを生成した日時データ、ユーザによる操作の実行内容などがリンクしている。さらに、操作画面におけるウインドウの表示状態を記述したウインドウ表示情報として、起動しているアプリケーション名、実行中のウインドウのファイル名、当該ウインドウの画面上での配置データ、その利用状態がリンクしている。図2(a)では2種類のアプリケーションが起動しており、その内の一のアプリケーションの2つのウインドウが実行中となっている。なお、ウインドウの配置データには、操作画面上のウインドウの配置位置や表示サイズのほか、配置順位が含まれている。配置順位に関しては、他のウインドウと重なって配置されていない場合(後述する図3(b)参照)には「0」が割り当てられ、他のウインドウと重なって配置されている場合(後述する図3(a)参照)には、最上位の配置位置から順に「1」、「2」、・・が割り当てられる。すなわち、この配置順位の割り当てデータが「0」或いは「1」のウインドウは、その全領域が画面上に表示されていることになる。また、利用状態には、当該ウインドウがアクティブか、或いは非アクティブかといった情報が含まれている。   An example of the data structure of the operation log and the captured image generated in the operation log generation unit 13a or the operation screen capture unit 13b and transmitted to the terminal monitoring server 2 is schematically illustrated in FIG. As shown in FIG. 2A, this operation log is based on a terminal ID that identifies the client terminal 1, and a user ID (or login name) that identifies the login user of the terminal, and date / time data that generated the operation log. The execution contents of the operation by the user are linked. Furthermore, as the window display information describing the display state of the window on the operation screen, the name of the running application, the file name of the window being executed, the arrangement data on the screen of the window, and the use state thereof are linked. . In FIG. 2A, two types of applications are activated, and two windows of one application are being executed. The window arrangement data includes the arrangement order as well as the window arrangement position and display size on the operation screen. With respect to the arrangement order, “0” is assigned when the window is not overlapped with another window (see FIG. 3B described later), and when the window is overlapped with another window (FIG. 3 (a)) is assigned “1”, “2”,... In order from the highest arrangement position. That is, the entire area of the window whose allocation order assignment data is “0” or “1” is displayed on the screen. In addition, the usage state includes information indicating whether the window is active or inactive.

さらに、図2(b)に示すように、キャプチャ画像は端末IDを基点として日時データとリンクしている。そして、生成された操作ログと操作画面のキャプチャ画像とは日時データに基づいて関連付けされている。これにより、キャプチャ画像中のウインドウの表示状態を、操作ログのウインドウ表示情報から把握することができる。なお、操作ログよりキャプチャ画像の生成間隔の方が短い場合、すなわちキャプチャ画像の生成数の方が多い場合には、例えば操作ログs1から後続する操作ログs2までの間に取得されたキャプチャ画像は操作ログs1のウインドウ表示情報に記述されたウインドウの表示状態にあるものと推定して関連付けしても良い。   Further, as shown in FIG. 2B, the captured image is linked to the date / time data with the terminal ID as a base point. The generated operation log and the captured image of the operation screen are associated with each other based on the date / time data. Thereby, the display state of the window in the captured image can be grasped from the window display information of the operation log. When the capture image generation interval is shorter than the operation log, that is, when the number of capture image generations is larger, for example, the captured image acquired between the operation log s1 and the subsequent operation log s2 is You may estimate and associate with the display state of the window described in the window display information of operation log s1.

一方、端末監視サーバ2のコンピュータには、ソフトウエア又はハードウエア或いはその両方で、本発明に関係する機能として、クライアント端末1の管理を行う端末管理部21、ネットワークインターフェース32を介してクライアント端末1から操作ログを取得する操作ログ取得部22、取得した操作ログからウインドウ表示情報を抽出するウインドウ表示情報抽出部23、取得した操作ログを格納する操作ログ格納部24、ネットワークインターフェース32を介してクライアント端末1からキャプチャ画像を取得するキャプチャ画像取得部25、取得したキャプチャ画像の各種管理を行うキャプチャ画像管理部26、取得したキャプチャ画像を格納するキャプチャ画像格納部27、取得したキャプチャ画像の連続再生表示を行うキャプチャ画像再生部28などが構築されている。   On the other hand, the computer of the terminal monitoring server 2 includes a client terminal 1 via a terminal management unit 21 that manages the client terminal 1 and a network interface 32 as a function related to the present invention in software and / or hardware. The operation log acquisition unit 22 that acquires the operation log from the window, the window display information extraction unit 23 that extracts the window display information from the acquired operation log, the operation log storage unit 24 that stores the acquired operation log, and the client via the network interface 32 Captured image acquisition unit 25 that acquires a captured image from the terminal 1, a captured image management unit 26 that performs various management of the acquired captured image, a captured image storage unit 27 that stores the acquired captured image, and a continuous reproduction display of the acquired captured image To do Such as tea image reproduction unit 28 is constructed.

キャプチャ画像管理部26には、キャプチャ画像取得部25により取得されたキャプチャ画像を、クライアント端末毎に、ウインドウ表示情報抽出部23により抽出された当該キャプチャ画像に対応するウインドウ表示情報に基づいて、注目するウインドウのカテゴリ別に分類するキャプチャ画像分類部26aと、取得したキャプチャ画像に対して所定の画像処理を施すキャプチャ画像処理部26bが含まれている。   The captured image management unit 26 receives the captured image acquired by the captured image acquisition unit 25 based on the window display information corresponding to the captured image extracted by the window display information extraction unit 23 for each client terminal. The captured image classification unit 26a for classifying the acquired captured images by category, and the captured image processing unit 26b for performing predetermined image processing on the acquired captured images are included.

このキャプチャ画像分類部26aが行うキャプチャ画像の分類の基準となる「注目するウインドウ」及び「カテゴリ」は、分類基準指定部29により指定される。この分類基準指定部29の指定情報は、GUI部31を介して操作入力デバイス62により入力・変更することができる。なお、本実施形態においては、注目ウインドウとしてアクティブ・ウインドウが、カテゴリとしてファイル名が指定されている。従って、例えばクライアント端末1aから取得したキャプチャ画像は、当該キャプチャ画像のアクティブ・ウインドウのファイル名に応じて、同一のファイル名のカテゴリ毎に分類されることになる。   The “target window” and “category”, which are the criteria for capturing image classification performed by the captured image classification unit 26 a, are designated by the classification criterion designating unit 29. The designation information of the classification standard designation unit 29 can be input / changed by the operation input device 62 via the GUI unit 31. In the present embodiment, an active window is specified as the target window, and a file name is specified as the category. Therefore, for example, the captured images acquired from the client terminal 1a are classified for each category of the same file name according to the file name of the active window of the captured image.

この分類について図3を用いて説明する。なお、この図3においてキャプチャ画像中の太枠のウインドウがアクティブ・ウインドウを表している。特に、複数のウインドウが画面上に表示される場合、その表示形態としては、図3(a)に示すような重複表示パターンと、図3(b)に示すような並列表示パターン、或いはこれらの混合パターンとが考えられる。上述したように本実施形態においては、アクティブ・ウインドウを注目するウインドウとしてそのファイル名別にキャプチャ画像が分類されるので、タイトルAのウインドウがアクティブ・ウインドウであるキャプチャ画像Ga1〜Ga2,Ga4(Gb1〜Gb2,Gb4)はカテゴリ:ファイル名Aに分類され、タイトルBのウインドウがアクティブ・ウインドウであるキャプチャ画像Ga3,Ga5(Gb3,Gb5)はカテゴリ:ファイル名Bに分類される。ここでは説明を分かり易くするため2つのウインドウが表示された場合を例示したが勿論これより多く表示されている場合やウインドウが一つだけ表示されている場合でも同様に分類でき、またこれらのパターンの混合パターンでも同様に分類することができる。なお、ウインドウが表示されていないキャプチャ画像は、カテゴリ:ウインドウなしに分類すれば良い。   This classification will be described with reference to FIG. In FIG. 3, a thick frame window in the captured image represents an active window. In particular, when a plurality of windows are displayed on the screen, the display forms include overlapping display patterns as shown in FIG. 3A and parallel display patterns as shown in FIG. A mixed pattern is conceivable. As described above, in this embodiment, the captured images are classified by the file name as the active window as the window of interest. Therefore, the captured images Ga1 to Ga2, Ga4 (Gb1 Gb2, Gb4) are classified into category: file name A, and captured images Ga3, Ga5 (Gb3, Gb5) whose title B window is an active window are classified into category: file name B. Here, in order to make the explanation easy to understand, the case where two windows are displayed is shown as an example, but of course, even when more windows are displayed or when only one window is displayed, the same classification can be made. The mixed patterns can be similarly classified. A captured image in which no window is displayed may be classified into category: no window.

こうして分類されたキャプチャ画像はカテゴリ別にキャプチャ画像格納部27の所定領域に時系列的に格納される。そして、監視者から表示命令がなされるとキャプチャ画像管理部26により読み出されて、キャプチャ画像再生部28によりGUI部31を介して監視モニタ52に表示される。この際、監視モニタ52の画面上にはカテゴリ別、すなわちファイル名別の表示領域が設けられ、各表示領域において当該カテゴリのキャプチャ画像が時系列的に連続再生表示される。従って、図3(a)のキャプチャ画像を例とすれば、ファイル名Aの表示領域にはキャプチャ画像Ga1,Ga2,Ga4,・・・の順に、ファイル名Bの表示領域にはキャプチャ画像Ga3,Ga5,・・・の順に連続再生表示される。   The captured images classified in this way are stored in time series in a predetermined area of the captured image storage unit 27 by category. Then, when a display command is issued from the monitor, the captured image management unit 26 reads the display command, and the captured image reproduction unit 28 displays the display command on the monitoring monitor 52 via the GUI unit 31. At this time, a display area for each category, that is, for each file name is provided on the screen of the monitoring monitor 52, and captured images of the category are continuously reproduced and displayed in time series in each display area. Therefore, taking the captured image of FIG. 3A as an example, the display area of the file name A is in the order of the captured images Ga1, Ga2, Ga4,. Continuous reproduction display is performed in the order of Ga5,.

図4にはこの端末監視画面の一例が示されている。この端末監視画面100には、上部位置にキャプチャ画像を再生する操作画像再生ボタン101、ログ閲覧ボタン102、PC情報ボタン103、リモート制御ボタン104、アラート設定ボタン105などがアイコンの形で配置され、この端末監視画面100の下部にはキャプチャ画像表示部110、表示設定部111、端末一覧表示部112、再生時間設定部113、再生コントロール部114が形成されている。キャプチャ画像表示部110には、フレーム120で取り囲まれる形態でキャプチャ画像の表示領域が複数マトリックス状に表示されており、このフレーム120の下部に当該表示領域の属性を示す属性表示部121が配置されている。さらにキャプチャ画像表示部110の下部には、再生スライダー114a、複数の再生コントロールボタン114bが配置されており、対象とするフレーム120を選択してこれらのボタンやスライダーを操作することにより、選択されたフレーム120のキャプチャ画像の再生速度などをコントロールすることができる。   FIG. 4 shows an example of this terminal monitoring screen. On the terminal monitoring screen 100, an operation image reproduction button 101 for reproducing a captured image, a log browsing button 102, a PC information button 103, a remote control button 104, an alert setting button 105, and the like are arranged in the form of icons at the upper position. A capture image display unit 110, a display setting unit 111, a terminal list display unit 112, a playback time setting unit 113, and a playback control unit 114 are formed at the lower part of the terminal monitoring screen 100. The capture image display unit 110 displays a plurality of capture image display areas surrounded by a frame 120 in a matrix form, and an attribute display unit 121 indicating the attributes of the display area is arranged below the frame 120. ing. Further, a playback slider 114a and a plurality of playback control buttons 114b are arranged at the lower part of the captured image display unit 110. The playback slider 114a and a plurality of playback control buttons 114b are selected by selecting the target frame 120 and operating these buttons and sliders. The playback speed of the captured image of the frame 120 can be controlled.

上述したように、本実施形態においてはキャプチャ画像表示部110に一の端末から取得したキャプチャ画像がアクティブ・ウインドウのファイル名別に一覧表示される。すなわち、各フレーム120にはファイル名別に分類されたキャプチャ画像が時系列的に連続再生表示され、この際各フレーム120の下部には当該フレームに表示されるアクティブ・ウインドウのファイル名が表示されている。また、このフレーム120をダブルクリックすることで、そのフレーム120だけを拡大表示することができる。さらに、必要に応じて、フレーム120に表示されているキャプチャ画像にリンクしているウインドウ表示情報などの操作ログ情報を別の操作ログ表示ウインドウに表示させることも可能である。   As described above, in the present embodiment, the captured images acquired from one terminal are displayed in a list on the captured image display unit 110 according to the file name of the active window. That is, the captured images classified by the file names are continuously reproduced and displayed in time series in each frame 120. At this time, the file name of the active window displayed in the frame is displayed below each frame 120. Yes. Further, by double-clicking the frame 120, only the frame 120 can be enlarged and displayed. Furthermore, if necessary, operation log information such as window display information linked to the captured image displayed in the frame 120 can be displayed in another operation log display window.

なお、キャプチャ画像表示部110に表示するクライアント端末の特定は、端末一覧表示部112において所望のクライアント端末をクリックして指定することにより行うことができる。また、キャプチャ画像表示部110にどのような形でキャプチャ画像を表示するか、換言すればキャプチャ画像をどのように分類してキャプチャ画像表示部110に表示させるかは、表示設定部111の再生画像設定ボタン111cを操作することにより設定することができる。   The client terminal to be displayed on the captured image display unit 110 can be specified by clicking and specifying a desired client terminal on the terminal list display unit 112. In addition, how the captured image is displayed on the captured image display unit 110, in other words, how the captured images are classified and displayed on the captured image display unit 110, is determined by the reproduced image of the display setting unit 111. It can be set by operating the setting button 111c.

図5に、この再生画像設定ボタン111cを操作することにより表示される再生画像設定画面200を示す。この再生画像設定画面200には注目ウインドウ指定部210、カテゴリ指定部220、ウインドウ画像抽出表示選択部230が設けられている。注目ウインドウ指定部210及びカテゴリ指定部220は、注目するウインドウ及びカテゴリを指定する欄であり、上述したように本実施形態においては、注目ウインドウとしてアクティブ・ウインドウが、カテゴリとしてファイル名が指定されている。また、ウインドウ画像抽出表示選択部230は、キャプチャ画像から抽出されたウインドウ領域を端末監視画面100のフレーム120に表示させることを選択する欄であり、本実施形態においては「No」が選択されているため、フレーム120にはキャプチャ画像の全領域が表示されている。上述した各設定を行うことにより、キャプチャ画像の分類や表示形態の設定を行うことができる。   FIG. 5 shows a reproduction image setting screen 200 displayed by operating the reproduction image setting button 111c. The reproduction image setting screen 200 is provided with an attention window designation unit 210, a category designation unit 220, and a window image extraction / display selection unit 230. The noted window designation unit 210 and the category designation unit 220 are columns for designating a window and a category to be noticed. As described above, in this embodiment, an active window is designated as a noticed window, and a file name is designated as a category. Yes. The window image extraction / display selection unit 230 is a column for selecting to display the window area extracted from the capture image on the frame 120 of the terminal monitoring screen 100. In this embodiment, “No” is selected. Therefore, the entire area of the captured image is displayed in the frame 120. By performing each setting described above, it is possible to set the classification and display mode of the captured image.

なお、表示設定部111には、再生画像設定ボタン111cのほか、全端末表示ボタン111a、端末別表示ボタン111bが設けられているが、全端末表示ボタン111aを操作した場合には、キャプチャ画像表示部110の各フレーム120には各クライアント端末のキャプチャ画像が一覧表示され、端末別表示ボタン111bを操作した場合には、上述したように特定のクライアント端末のカテゴリ別のキャプチャ画像が一覧表示される。   In addition to the playback image setting button 111c, the display setting unit 111 is provided with an all-terminal display button 111a and a terminal-specific display button 111b. When the all-terminal display button 111a is operated, a captured image display is displayed. Each frame 120 of the unit 110 displays a list of captured images of each client terminal. When the terminal-specific display button 111b is operated, a list of captured images for each category of a specific client terminal is displayed as described above. .

また、キャプチャ画像表示部110におけるキャプチャ画像の連続再生表示は、再生時間設定部113により行うことができる。すなわち、再生開始日時入力部113aにおいて操作入力デバイス62から再生開始日時を入力し、必要に応じて再生終了日時入力部113bに再生終了時刻を入力した後にOKボタン113cをクリックする。これにより、端末一覧表示部112において特定されたクライアント端末1のキャプチャ画像がキャプチャ画像管理部26によってキャプチャ画像格納部27から読み出され、各フレーム120に順次時系列で連続再生表示される。なお、ここでいう再生開始・終了日時とは、実質的にはクライアント端末においてキャプチャ画像の生成が行われた日時(図2(b)の日時データの日時)である。   In addition, continuous playback display of captured images in the captured image display unit 110 can be performed by the playback time setting unit 113. That is, the playback start date and time is input from the operation input device 62 in the playback start date and time input unit 113a, and the playback end date and time is input to the playback end date and time input unit 113b as necessary, and then the OK button 113c is clicked. As a result, the captured image of the client terminal 1 specified in the terminal list display unit 112 is read from the captured image storage unit 27 by the captured image management unit 26, and is continuously reproduced and displayed in time series on each frame 120. The reproduction start / end date and time here is substantially the date and time when the capture image was generated in the client terminal (date and time data in FIG. 2B).

図2にも示したように、操作ログには操作内容が含まれており、本実施形態においては、この操作内容に基づいて不正操作が行われているか否かを判定することができる。なお、不正操作としては、ゲーム操作やアクセス禁止ホームページへのアクセス操作などの業務外操作、機密ファイルの閲覧など情報漏洩に繋がる操作などが挙げられる。この不正操作判定は、例えば操作内容と別途設けられた不正操作テーブル(図示せず)とを参照することにより行うことができる。これ以外にも当該ウインドウにおけるのべ操作時間を利用しても良く、また、不正操作テーブルとのべ操作時間とを併せて判定しても良い。例えば、操作内容に応じて許容範囲ののべ操作時間を設定し、この許容範囲を超えて操作が行われた場合に不正操作と判定するのである。そして、この操作ログとキャプチャ画像とは関連付けられているので、不正操作が行われた際のキャプチャ画像を特定することができる。この際、この不正操作が行われた操作状況を的確に監視できるように、不正操作が再生される所定時間前に監視モニタ52の画面上の表示領域(フレーム120)の表示形態を変更するように構成する。この表示形態の変更としては種々のものが考えられるが、その一例として図6に示すように該当するフレーム120を拡大表示することが挙げられる。すなわち、不正操作が再生される所定時間前、例えば10秒前になると、その不正操作が行われた際のキャプチャ画像が再生されるフレーム120(図6ではファイル名Eのフレーム)が拡大表示され、その不正操作が行われた際のキャプチャ画像の再生場面が経過すると元の大きさの表示に戻される。   As shown in FIG. 2, the operation log includes operation contents. In this embodiment, it is possible to determine whether or not an unauthorized operation is performed based on the operation contents. Examples of unauthorized operations include non-business operations such as game operations and access operations to an access-prohibited homepage, operations that lead to information leakage such as browsing confidential files, and the like. This unauthorized operation determination can be performed, for example, by referring to an operation content and an unauthorized operation table (not shown) provided separately. In addition to this, the total operation time in the window may be used, or the total operation time may be determined together with the illegal operation table. For example, the total operation time of the allowable range is set according to the operation content, and when the operation is performed exceeding the allowable range, it is determined as an unauthorized operation. Since the operation log and the captured image are associated with each other, it is possible to specify the captured image when an unauthorized operation is performed. At this time, the display form of the display area (frame 120) on the screen of the monitoring monitor 52 is changed before a predetermined time before the unauthorized operation is reproduced so that the operation state where the unauthorized operation is performed can be accurately monitored. Configure. There are various possible changes in the display form, and an example thereof is to enlarge the corresponding frame 120 as shown in FIG. That is, when a predetermined time before the illegal operation is reproduced, for example, 10 seconds before, the frame 120 (the frame of the file name E in FIG. 6) in which the captured image when the illegal operation is performed is enlarged and displayed. When the reproduction scene of the captured image when the unauthorized operation is performed passes, the display is restored to the original size.

次に、この端末監視サーバによる端末監視処理の流れを図7に基づいて説明する。まず、端末監視サーバ2は、クライアント端末1から操作ログを操作ログ取得部22により、この操作ログに関連付けられるキャプチャ画像をキャプチャ画像取得部25により取得する(#01)。取得された操作ログからは、ウインドウ表示情報抽出部23により、操作画像(キャプチャ画像)中のウインドウの表示状態を記述したウインドウ表示情報を抽出する(#02)。   Next, the flow of terminal monitoring processing by this terminal monitoring server will be described with reference to FIG. First, the terminal monitoring server 2 acquires an operation log from the client terminal 1 using the operation log acquisition unit 22 and a capture image associated with the operation log using the capture image acquisition unit 25 (# 01). From the acquired operation log, the window display information extraction unit 23 extracts the window display information describing the display state of the window in the operation image (capture image) (# 02).

そして、クライアント端末毎に、取得したキャプチャ画像がウインドウ表示情報に基づいて分類される。上述したように本実施形態においては、注目するウインドウとしてアクティブ・ウインドウが、カテゴリとしてファイル名が指定されているので、アクティブ・ウインドウのファイル名によりキャプチャ画像がカテゴリ別に、すなわちファイル名毎に分類される(#03)。なお、キャプチャ画像にウインドウが無い場合には、ウインドウなしに分類される。   Then, the acquired captured images are classified for each client terminal based on the window display information. As described above, in this embodiment, the active window is specified as the window of interest, and the file name is specified as the category. Therefore, the captured images are classified by category, that is, for each file name, according to the file name of the active window. (# 03). If there is no window in the captured image, it is classified as no window.

このようにしてファイル名A,ファイル名B,・・・,ウインドウなしなどのカテゴリに分類されたキャプチャ画像は、キャプチャ画像管理部26によってキャプチャ画像格納部27に格納される(#04)。なお、こうしたキャプチャ画像の分類や格納処理は、キャプチャ画像の取得時に行っても良いし、キャプチャ画像の再生時に行っても良い。   The captured images classified in the categories such as file name A, file name B,..., No window in this way are stored in the captured image storage unit 27 by the captured image management unit 26 (# 04). It should be noted that such capture image classification and storage processing may be performed when the captured image is acquired or may be performed when the captured image is reproduced.

そして、端末監視画面100を介してこのキャプチャ画像の再生表示要求があると(#05Yes分岐)、キャプチャ画像管理部26はキャプチャ画像格納部27から表示対象のキャプチャ画像を読み出し、キャプチャ画像再生部28により監視モニタ52の端末監視画面上に表示する。上述したように、端末監視画面100のフレーム120はファイル名別に設けられており、読み出されたキャプチャ画像は当該キャプチャ画像が属するファイル名のフレーム120において時系列的に連続再生表示される(#06)。   Then, when there is a request for reproducing and displaying the captured image via the terminal monitoring screen 100 (# 05 Yes branch), the captured image managing unit 26 reads the captured image to be displayed from the captured image storing unit 27, and the captured image reproducing unit 28. Is displayed on the terminal monitoring screen of the monitoring monitor 52. As described above, the frame 120 of the terminal monitoring screen 100 is provided for each file name, and the read captured image is continuously reproduced and displayed in time series in the frame 120 of the file name to which the captured image belongs (# 06).

なお、この再生表示の際、不正操作が行われていないか不正操作判定部30により判定されており、不正操作があると判定された場合には(#07Yes分岐)、不正操作が再生される所定時間前に表示形態を変更、例えば不正操作が行われた際のキャプチャ画像が再生表示されるフレーム120を拡大表示する(#08)。そして、この不正操作が行われた際のキャプチャ画像の再生場面が経過した場合(#09Yes分岐)、或いは、どのフレーム120においてもリスク操作が検知されない場合には(#07No分岐)、同一サイズのフレーム120による一覧表示が引き続き行われる(#10)。   In this reproduction display, whether or not an unauthorized operation is performed is determined by the unauthorized operation determination unit 30, and if it is determined that there is an unauthorized operation (Yes branch at # 07), the unauthorized operation is reproduced. The display form is changed a predetermined time before, for example, the frame 120 on which the captured image is reproduced and displayed when an unauthorized operation is performed is enlarged and displayed (# 08). Then, when the playback scene of the captured image when this unauthorized operation is performed (# 09 Yes branch) or when no risk operation is detected in any frame 120 (# 07 No branch), the same size The list display by the frame 120 is continued (# 10).

このように本実施形態においては、監視者が特定のクライアント端末を監視する場合において、注目するウインドウの一連の操作を該当する表示領域において監視することができ、その操作状況を容易に把握することができる。すなわち、あるクライアント端末について操作画像を従来のように連続再生表示した場合に、注目するウインドウが一時的に閉じられたり最小化されるなどして、注目するウインドウに対する操作が不連続に再生表示されていたものが、各カテゴリの表示領域において注目するウインドウに対する操作が繋ぎ合わされて系統立ててこれを再生することができるので、その操作状況が把握し易いものとなる。また、モニタ画面上にはカテゴリ毎に表示領域が設けられ、分類された操作画像は該当する表示領域において連続再生表示されるので、一の表示領域で全ての操作画像を連続再生表示する場合と比べ、短時間でこれを全て見ることができる。特に、クライアント端末の操作者の操作対象となっているアクティブ・ウインドウを注目するウインドウとすることにより、その操作状況を十分監視することができ、またカテゴリをファイル名とすることにより、同一のファイルに対する一連の操作が連続再生表示されるので監視もし易くなる。さらに、不正操作が行われる所定時間前にモニタ画面上の当該不正操作が再生されるカテゴリの表示領域の表示形態が変更されるので、監視者は不正操作が行われることを予め知ることができ、該当する表示領域における不正操作を見逃すといった事態を回避することができる。   As described above, in the present embodiment, when the monitor monitors a specific client terminal, a series of operations of the window of interest can be monitored in the corresponding display area, and the operation status can be easily grasped. Can do. In other words, when an operation image is continuously reproduced and displayed for a certain client terminal as in the conventional case, the operation on the window of interest is reproduced and displayed discontinuously by temporarily closing or minimizing the window of interest. In the display area of each category, the operations on the window of interest can be linked together and reproduced systematically, so that the operation status can be easily grasped. In addition, a display area is provided for each category on the monitor screen, and the classified operation images are continuously reproduced and displayed in the corresponding display area, so that all the operation images are continuously reproduced and displayed in one display area. In comparison, you can see all this in a short time. In particular, by setting the active window that is the operation target of the operator of the client terminal as the window of interest, it is possible to sufficiently monitor the operation status, and by using the category as the file name, the same file can be monitored. Since a series of operations are continuously reproduced and displayed, it is easy to monitor. Furthermore, since the display form of the display area of the category where the unauthorized operation is reproduced on the monitor screen is changed a predetermined time before the unauthorized operation is performed, the monitor can know in advance that the unauthorized operation will be performed. Thus, it is possible to avoid a situation where an illegal operation in the corresponding display area is missed.

〔別実施形態〕
(1)上述した実施形態においては、端末監視画面100の各フレーム120にキャプチャ画像の全領域を表示する形態としたが、キャプチャ画像からウインドウ領域を抽出してこれを各フレーム120に表示するように構成しても良い。この際、ウインドウ領域のうち注目するウインドウの領域のみを抽出するようにすると好適である。これは、上述した再生画像設定画面200のウインドウ画像抽出表示選択部230において、「Yes」を選択することにより設定され、キャプチャ画像管理部26のキャプチャ画像処理部26bにより注目するウインドウ領域の抽出処理が行われる。
[Another embodiment]
(1) In the above-described embodiment, the entire area of the captured image is displayed on each frame 120 of the terminal monitoring screen 100. However, the window area is extracted from the captured image and displayed on each frame 120. You may comprise. At this time, it is preferable to extract only the window area of interest from the window area. This is set by selecting “Yes” in the window image extraction / display selection unit 230 of the reproduction image setting screen 200 described above, and the window region extraction process of interest is performed by the capture image processing unit 26b of the capture image management unit 26. Is done.

これを図3(a)の場合を例とすれば、図8に示すようにキャプチャ画像Ga1〜Ga2,Ga4夫々からウインドウ領域Aが、キャプチャ画像Ga3,Ga5夫々からウインドウ領域Bが切り出され、各ウインドウ画像は夫々のカテゴリに分類されて格納される。なお、図3(b)のGb1〜Gb5の場合も同様である。そして、このように分類されたウインドウ画像は、端末監視画面100の各フレーム120において時系列的に連続再生表示される。   Taking this as an example in the case of FIG. 3A, a window area A is cut out from each of the captured images Ga1 to Ga2 and Ga4, and a window area B is cut out from each of the captured images Ga3 and Ga5 as shown in FIG. The window image is classified and stored in each category. The same applies to Gb1 to Gb5 in FIG. The window images thus classified are continuously reproduced and displayed in time series in each frame 120 of the terminal monitoring screen 100.

なお、ウインドウ領域の抽出処理は端末監視サーバ側だけでなく、クライアント端末側で行うようにしても良い。すなわち、操作画像としてクライアント端末の操作画面全体の画像を送信するのではなく、この中のウインドウ領域の画像を操作画像として送信するように構成するのである。   The window area extraction process may be performed not only on the terminal monitoring server side but also on the client terminal side. That is, an image of the entire operation screen of the client terminal is not transmitted as the operation image, but an image in the window area in the client terminal is transmitted as the operation image.

(2)上述した実施形態においては、注目するウインドウをアクティブ・ウインドウとしたが、もちろんこれ以外のウインドウを指定するようにしても良い。例えば、全領域が表示されているウインドウ画像を注目するウインドウとして指定しても良いし、複数のウインドウが重複して表示されている場合の最前面に位置するウインドウや、面積の大きなウインドウを指定するようにしても良い。このように、クライアント端末の操作者が見ている可能性の高い表示条件のウインドウを指定するようにすると好適である。 (2) In the embodiment described above, the window of interest is the active window, but other windows may be specified. For example, you may specify a window image that displays the entire area as the window to be noted, or specify the window that is located in the foreground when multiple windows are displayed in duplicate or a window with a large area You may make it do. In this way, it is preferable to designate a window with display conditions that are likely to be viewed by the operator of the client terminal.

また、注目するウインドウとして、背面に隠れているウインドウや面積の小さなウインドウを指定するようにしても良い。このようなウインドウは業務外で使用しているウインドウの可能性があり、こうしたウインドウに注目することで不正操作を見つけ易くなる場合もある。   Further, a window hidden behind the window or a window having a small area may be designated as the window of interest. Such a window may be a window that is used outside of work, and it may be easy to find an illegal operation by paying attention to such a window.

なお、注目するウインドウとして、その全領域が表示されているウインドウを指定した場合、図3(a)のような重複表示パターンにおいては、上述したアクティブ・ウインドウを注目するウインドウとして分類したのと同様にして分類することができる。一方、図3(b)のような複数のウインドウが並列して全領域表示されている並列表示パターンの場合は、図9に示すようにキャプチャ画像を必要に応じて複製することで各カテゴリに適切に分類することができる。なお、このようなキャプチャ画像の複製は、キャプチャ画像処理部26bで行うことができる。   Note that when a window in which the entire area is displayed is designated as the window of interest, in the overlapping display pattern as shown in FIG. 3A, the same as the case where the above-described active window is classified as the window of interest. Can be classified. On the other hand, in the case of a parallel display pattern in which a plurality of windows are displayed in parallel as shown in FIG. 3B, a captured image is duplicated as necessary as shown in FIG. Can be properly classified. Note that such capture image replication can be performed by the capture image processing unit 26b.

(3)上述した実施形態においては、カテゴリをファイル名としたが、もちろんこれに限定されるものではなく、これ以外にもアプリケーションなどを採用し、アプリケーションA,アプリケーションB,・・・といったカテゴリを設定しても良い。また、各ファイルが属するフォルダ名をカテゴリとして設定しても良い。 (3) In the embodiment described above, the category is the file name, but of course, the present invention is not limited to this, and other applications such as application A, application B,. May be set. Further, the folder name to which each file belongs may be set as a category.

さらに、カテゴリの一部は特定のアプリケーション、その他はファイル名などとしても良い。例えばブラウザの場合はタイトルが時々刻々と変化するためアプリケーションとし、文書ソフトの場合はファイル名とするようにしても良い。   Further, a part of the category may be a specific application, and the other may be a file name. For example, in the case of a browser, the title may change every moment, so that it may be an application, and in the case of document software, it may be a file name.

(4)上述した実施形態においては、不正操作が再生される所定時間前にフレーム120を拡大表示することにより監視者に対して注意を促す構成としたが、このような強調表示としてフレーム120の色付けや、点滅表示などを行うようにしても良い。また、視覚的な注意喚起だけでなく、音声による注意喚起などを行うようにしても良い。さらに、不正と判断した理由を当該不正操作の再生の際にポップアップなどの形態で表示するようにしても良い。 (4) In the above-described embodiment, the configuration is such that the monitor 120 is alerted by enlarging and displaying the frame 120 a predetermined time before the unauthorized operation is reproduced. Coloring or blinking display may be performed. Moreover, not only visual alerting but also alerting by voice may be performed. Furthermore, the reason for determining that it is illegal may be displayed in a form such as a pop-up when reproducing the illegal operation.

(5)上述した実施形態においては、不正操作が検知されない通常の表示において、全ての表示領域(フレーム120)を同一サイズで表示する形態としたが、例えば各表示領域における再生時間に応じて表示領域の大きさが変わるように構成し、再生時間が長い表示領域ほど大きく表示するようにしても良い。また、再生時間に応じて再生する表示領域の位置を変更しても良く、例えば、モニタ画面に複数の表示領域がマトリックス状に表示され、左上位置の表示領域から右下位置の表示領域にかけて、再生時間の長いものから順番に配置するようにしても良い。さらに、各表示領域においてその再生時間を表示するようにしても良い。 (5) In the above-described embodiment, all display areas (frames 120) are displayed in the same size in normal display in which an unauthorized operation is not detected. For example, display is performed according to the playback time in each display area. The size of the area may be changed, and a display area having a longer reproduction time may be displayed larger. Further, the position of the display area to be reproduced may be changed according to the reproduction time, for example, a plurality of display areas are displayed in a matrix on the monitor screen, and from the display area at the upper left position to the display area at the lower right position, You may make it arrange | position in order from the thing with long reproduction time. Further, the playback time may be displayed in each display area.

上記の各表示領域における再生時間に代えて、注目ウインドウに対するのべ操作時間を用いるようにしても良い。のべ操作時間は操作ログから容易に求めることができ、例えば操作ログs1において時刻t1にファイルAが開かれたことが記述され、操作ログs2において時刻t2にファイルAが閉じられたことが記述されていた場合、その操作時間はt2−t1と算出され、このようなファイルAに対する操作時間を累積することで、のべ操作時間を求めることができる。なお、のべ操作時間として、注目ウインドウのアクティブ状態の継続時間の累積値を用いても良い。そして、求められたのべ操作時間を用いて、上述したような表示領域の大きさの変更や再生表示位置の変更、のべ操作時間の表示などを行うことができる。   Instead of the reproduction time in each display area, the total operation time for the window of interest may be used. The total operation time can be easily obtained from the operation log. For example, the operation log s1 describes that the file A is opened at the time t1, and the operation log s2 describes that the file A is closed at the time t2. If it is, the operation time is calculated as t2-t1, and the total operation time can be obtained by accumulating the operation time for such file A. Note that as the total operation time, a cumulative value of the duration time of the active state of the window of interest may be used. Then, using the obtained total operation time, it is possible to change the size of the display area, change the reproduction display position, display the total operation time, and the like as described above.

モニタ画面上には全てのカテゴリの表示領域を設けても良いが、表示領域選択部を備え、このうちのいくつかを選択して表示する、或いは、表示しないものを選択するような構成としても良い。特に、不正操作判定部において不正操作が再生されると判定された表示領域を表示領域選択部が自動的に選択して当該表示領域を表示する構成とすると、不正操作を効率的に監視することができ好適である。   A display area for all categories may be provided on the monitor screen. However, a display area selection unit may be provided to select and display some of these, or to select one not to be displayed. good. In particular, if the display area selection unit automatically selects the display area that is determined to be reproduced by the unauthorized operation determination unit and displays the display area, the unauthorized operation can be efficiently monitored. This is preferable.

(6)上述した実施形態において、クライアント端末からの操作ログや操作画像の取得はリアルタイム処理の形態で取得しても良いし、バッチ処理の形態で取得しても良い。また、ネットワークを介して取得する場合に限定されず、記録媒体などを介して取得するような形態であっても良い。さらに、端末監視サーバに備えたキャプチャ画像の分類・再生表示機能をクライアント端末に備えても良い。これにより、スタンドアローン型の端末においても本発明を適用することができる。 (6) In the embodiment described above, acquisition of operation logs and operation images from the client terminal may be acquired in the form of real-time processing, or may be acquired in the form of batch processing. Moreover, it is not limited to the case where it acquires via a network, The form which acquires via a recording medium etc. may be sufficient. Further, the client terminal may be provided with a captured image classification / reproduction display function provided in the terminal monitoring server. Thus, the present invention can be applied to a stand-alone type terminal.

(7)上述した実施形態においては、端末管理装置を端末監視サーバの形態で用いたが、本発明に係る端末管理装置は監視目的だけではなく、注目するウインドウの閲覧や確認などその他の目的においても用いることができる。 (7) In the above-described embodiment, the terminal management apparatus is used in the form of a terminal monitoring server. However, the terminal management apparatus according to the present invention is not only for monitoring purposes but also for other purposes such as browsing and confirmation of a window of interest. Can also be used.

本実施形態における端末監視システムの機能ブロック図Functional block diagram of the terminal monitoring system in this embodiment 操作ログ及びキャプチャ画像のデータ構造を示す図The figure which shows the data structure of an operation log and a capture image キャプチャ画像の分類を説明する図Diagram explaining the classification of captured images 端末監視サーバに接続された監視モニタに表示される端末監視画面図Terminal monitoring screen displayed on the monitoring monitor connected to the terminal monitoring server 図4の端末監視画面から展開される再生画像設定画面図Playback image setting screen developed from the terminal monitoring screen of FIG. 図4の端末監視画面から表示変形された端末監視画面図FIG. 4 is a terminal monitoring screen diagram transformed from the terminal monitoring screen of FIG. 端末監視処理の流れを示すフローチャートFlow chart showing the flow of terminal monitoring processing 別実施形態におけるウインドウ領域の抽出を説明する図The figure explaining extraction of the window area in another embodiment 別実施形態におけるキャプチャ画像の分類を説明する図The figure explaining the classification | category of the captured image in another embodiment

符号の説明Explanation of symbols

1 クライアント端末
2 端末監視サーバ(端末管理装置)
3 ネットワーク
21 端末管理部
22 操作ログ取得部
23 ウインドウ表示情報抽出部
24 操作ログ格納部
25 キャプチャ画像取得部
26 キャプチャ画像管理部
26a キャプチャ画像分類部(操作画像分類部)
26b キャプチャ画像処理部(ウインドウ画像抽出部)
27 キャプチャ画像格納部
28 キャプチャ画像再生部(表示制御部)
29 分類基準指定部
30 リスク操作判定部
31 GUI部
1 Client terminal 2 Terminal monitoring server (terminal management device)
3 Network 21 Terminal management unit 22 Operation log acquisition unit 23 Window display information extraction unit 24 Operation log storage unit 25 Capture image acquisition unit 26 Capture image management unit 26a Capture image classification unit (operation image classification unit)
26b Capture image processing unit (window image extraction unit)
27 Captured image storage unit 28 Captured image playback unit (display control unit)
29 Classification standard designating unit 30 Risk operation determining unit 31 GUI unit

Claims (5)

操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得する端末管理装置において、
前記操作画像中のウインドウの表示状態を記述したウインドウ表示情報を前記操作ログに含み、
前記クライアント端末毎に、前記ウインドウ表示情報に基づいて、注目するウインドウのカテゴリ別に前記操作画像を分類する操作画像分類部と、
モニタ画面上に前記カテゴリ別の表示領域を設け、前記表示領域において当該カテゴリの操作画像を連続再生表示する表示制御部とを備えた端末管理装置。
In a terminal management device that acquires an operation log and an operation image associated with the operation log from a client terminal,
The operation log includes window display information describing a display state of the window in the operation image,
An operation image classifying unit that classifies the operation image for each category of a window of interest based on the window display information for each client terminal;
A terminal management apparatus comprising: a display area for each category on a monitor screen; and a display control unit that continuously reproduces and displays operation images of the category in the display area.
前記操作画像からウインドウ領域を抽出するウインドウ領域抽出部を備え、抽出されたウインドウ領域が前記表示領域において連続再生表示される請求項1に記載の端末管理装置。   The terminal management apparatus according to claim 1, further comprising a window area extraction unit that extracts a window area from the operation image, wherein the extracted window area is continuously reproduced and displayed in the display area. 前記操作ログに基づき不正操作を判定する不正操作判定部を備え、An unauthorized operation determination unit that determines an unauthorized operation based on the operation log;
前記表示制御部は、前記不正操作判定部により不正操作が判定された際に、前記表示領域の表示形態を変更する請求項1または2に記載の端末管理装置。The terminal management apparatus according to claim 1, wherein the display control unit changes a display form of the display area when an unauthorized operation is determined by the unauthorized operation determination unit.
前記表示制御部による前記表示領域の表示形態の変更は、不正操作と判定された前記操作ログに関連する前記操作画像を再生する所定時間前に行われる請求項3に記載の端末管理装置。The terminal management apparatus according to claim 3, wherein the display form display area is changed by the display control unit a predetermined time before the operation image related to the operation log determined to be an unauthorized operation is reproduced. 操作ログとこの操作ログと関連付けられる操作画像とをクライアント端末から取得する端末管理装置のための端末管理プログラムにおいて、
前記操作ログに含まれる前記操作画像中のウインドウの表示状態を記述したウインドウ表示情報に基づいて、前記クライアント端末毎に、注目するウインドウのカテゴリ別に前記操作画像を分類する機能と、
モニタ画面上に前記カテゴリ別の表示領域を設け、前記表示領域において当該カテゴリの操作画像を連続再生表示する機能とをコンピュータに実現させる端末管理プログラム。
In a terminal management program for a terminal management device that acquires an operation log and an operation image associated with the operation log from a client terminal,
A function of classifying the operation image by category of the window of interest for each client terminal based on window display information describing a display state of the window in the operation image included in the operation log;
A terminal management program for providing a display area for each category on a monitor screen and causing a computer to realize a function of continuously reproducing and displaying operation images of the category in the display area.
JP2007176396A 2007-07-04 2007-07-04 Terminal management apparatus and terminal management program Expired - Fee Related JP4397404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007176396A JP4397404B2 (en) 2007-07-04 2007-07-04 Terminal management apparatus and terminal management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007176396A JP4397404B2 (en) 2007-07-04 2007-07-04 Terminal management apparatus and terminal management program

Publications (2)

Publication Number Publication Date
JP2009015582A JP2009015582A (en) 2009-01-22
JP4397404B2 true JP4397404B2 (en) 2010-01-13

Family

ID=40356412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007176396A Expired - Fee Related JP4397404B2 (en) 2007-07-04 2007-07-04 Terminal management apparatus and terminal management program

Country Status (1)

Country Link
JP (1) JP4397404B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949183B1 (en) * 2010-01-06 2010-03-23 (주)지란지교소프트 Method and device for monitoring pattern of using by window title
JP5691351B2 (en) 2010-09-29 2015-04-01 富士通株式会社 Access restriction program, access restriction device, and access restriction method
JP6311248B2 (en) * 2013-09-17 2018-04-18 株式会社リコー Information processing system, information processing method, information processing program, and terminal device
JP2023179312A (en) * 2022-06-07 2023-12-19 アズビル株式会社 Information processing device, information processing system, and information processing program

Also Published As

Publication number Publication date
JP2009015582A (en) 2009-01-22

Similar Documents

Publication Publication Date Title
TWI509409B (en) Methods and systems for viewing log data recorded during execution of a program
US8160425B2 (en) Storing video data in a video file
JP3826598B2 (en) Image monitoring apparatus and recording medium
JP5009371B2 (en) Interface system for video data editing
US20100271478A1 (en) Apparatus for playing back recorded video images related to event,and method thereof
JP4397404B2 (en) Terminal management apparatus and terminal management program
CN113918522A (en) File generation method and device and electronic equipment
JP4350137B2 (en) Terminal monitoring method, terminal monitoring apparatus, and terminal monitoring program
JP2008278517A (en) Image storage device, monitoring system, storage medium
JP6265659B2 (en) Information processing apparatus, control method thereof, and program
JPH0793371A (en) Computer-controlled editing system and database display method thereof
US20070118800A1 (en) Systems and methods for dynamically integrated capture, collection, authoring, presentation and production of digital content
JP4453684B2 (en) MONITORING SYSTEM, MONITORING DEVICE, SEARCH METHOD, AND SEARCH PROGRAM
JP4408920B2 (en) Terminal management apparatus and terminal management program
JP4450591B2 (en) Information editing apparatus, display control method, and program
JP2000312310A (en) Moving image editing method
JP4069149B1 (en) Terminal monitoring device and program for terminal monitoring device
JP4216881B2 (en) Terminal monitoring device and program for terminal monitoring device
JP5765255B2 (en) Image processing program and image processing apparatus
JP4162003B2 (en) Image storage device, monitoring system, storage medium
JP4160997B1 (en) Operation image reproduction apparatus and operation image reproduction program
JP4309819B2 (en) Video editing device
JP2017011498A (en) Moving image reproduction device and moving image reproduction method
KR102336906B1 (en) Video search interfacing apparatus for searching a plurality of recording video channel
JP2009064256A (en) File management system, file management program, and file management terminal

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091020

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees