JP6631319B2

JP6631319B2 - Data processing device, screen sharing system, data processing method and program

Info

Publication number: JP6631319B2
Application number: JP2016036876A
Authority: JP
Inventors: 優伊國井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-02-29
Filing date: 2016-02-29
Publication date: 2020-01-15
Anticipated expiration: 2036-02-29
Also published as: JP2017156806A

Description

本開示は、データ処理装置、画面共有システム、データ処理方法及びプログラムに関する。 The present disclosure relates to a data processing device, a screen sharing system, a data processing method, and a program.

ある装置を別の装置から遠隔操作する技術が知られている。装置を遠隔操作する場合には、当該装置（遠隔操作される側）に表示されている画面を別の装置（遠隔操作する側）でも表示可能にすることがある。画面を別の装置で表示する場合には、効率的なデータ通信が求められることがある。一般に、視認性が良い鮮明な画像は、画像データのサイズが大きくなる傾向にある。大容量の画像データを転送する場合、通信環境（速度など）によっては、時間を要する可能性がある。画像データの転送に時間を要すると、遠隔操作における操作性が低下する。 2. Description of the Related Art A technique for remotely controlling a certain device from another device is known. When a device is remotely controlled, a screen displayed on the device (the side that is remotely controlled) may be displayed on another device (the side that is remotely controlled). When the screen is displayed on another device, efficient data communication may be required. Generally, a clear image having good visibility tends to have a large image data size. When transferring a large amount of image data, it may take time depending on the communication environment (speed, etc.). If it takes time to transfer the image data, the operability in remote operation is reduced.

特許文献１は、画面の変化を検出し、画面に一定時間以上変化がなくなった後に画面の解析を実行する技術を開示している。 Patent Literature 1 discloses a technique of detecting a change in a screen and performing analysis of the screen after the screen has not changed for a predetermined time or more.

特開２００２−１１１８９３号公報JP 2002-111893 A

特許文献１に開示された技術は、表示の変更を契機として画像データを送信する。したがって、このような技術は、表示される画面のうち変更がまだ生じていない部分に対しては適用されず、当該部分の視認性や操作性に寄与しない。 The technique disclosed in Patent Document 1 transmits image data in response to a change in display. Therefore, such a technique is not applied to a portion of the displayed screen on which a change has not yet occurred, and does not contribute to the visibility and operability of the portion.

本開示の例示的な目的の一つは、画面を共有する場合において視認性と操作性の両立を図ることである。 One exemplary purpose of the present disclosure is to achieve both visibility and operability when sharing a screen.

本開示の一態様に係るデータ処理装置は、共有される画面を表す画面データを取得する取得手段と、前記取得された画面データが表す画面から文字が表示される第１の領域を特定する第１の特定手段と、前記取得された画面データが表す画面から文字が表示され得る第２の領域を特定する第２の特定手段と、前記取得された画面データが表す画面の一部の領域であって、前記特定された第１の領域及び第２の領域を含む領域の画像を表す画像データを生成する生成手段とを有する。 The data processing device according to an aspect of the present disclosure includes an acquiring unit that acquires screen data representing a screen to be shared, and a first unit that identifies a first area in which characters are displayed from the screen represented by the acquired screen data. A first specifying unit, a second specifying unit that specifies a second area where characters can be displayed from the screen represented by the acquired screen data, and a partial area of the screen represented by the acquired screen data. And generating means for generating image data representing an image of an area including the specified first area and second area.

本開示の別の態様に係る画面共有システムは、第１の装置と第２の装置とを備え、前記第１の装置は、共有される画面を表す画面データを取得する取得手段と、前記取得された画面データが表す画面から文字が表示される第１の領域を特定する第１の特定手段と、前記取得された画面データが表す画面から文字が表示され得る第２の領域を特定する第２の特定手段と、前記取得された画面データが表す画面の一部の領域であって、前記特定された第１の領域及び第２の領域を含む領域の画像を表す画像データを生成する生成手段と、前記生成された画像データを前記第２の装置に送信する第１の通信手段とを備え、前記第２の装置は、前記送信された画像データを受信する第２の通信手段と、前記受信された画像データに応じた画像を表示する表示手段とを有する。 A screen sharing system according to another aspect of the present disclosure includes a first device and a second device, wherein the first device acquires screen data representing a screen to be shared, First specifying means for specifying a first area where characters are displayed from the screen represented by the obtained screen data, and second specifying means for specifying a second area where characters can be displayed from the screen represented by the acquired screen data. Generating means for generating image data representing an image of a partial area of the screen represented by the acquired screen data and including the specified first area and second area. Means, and first communication means for transmitting the generated image data to the second device, wherein the second device receives the transmitted image data, Displaying an image corresponding to the received image data. And a display means.

本開示のさらに別の態様に係るデータ処理方法は、共有される画面を表す画面データを取得し、前記取得された画面データが表す画面から、文字が表示される第１の領域と、文字が表示され得る第２の領域とを特定し、前記取得された画面データが表す画面の一部の領域であって、前記特定された第１の領域及び第２の領域を含む領域の画像を表す画像データを生成する。 A data processing method according to still another aspect of the present disclosure obtains screen data representing a screen to be shared, and, from the screen represented by the acquired screen data, a first area where characters are displayed, A second area that can be displayed is specified, and an image of a partial area of the screen represented by the acquired screen data, which includes the specified first area and the second area, is displayed. Generate image data.

本開示のさらに別の態様に係るプログラムは、コンピュータに、共有される画面を表す画面データを取得する処理と、前記取得された画面データが表す画面から文字が表示される第１の領域を特定する処理と、前記取得された画面データが表す画面から文字が表示され得る第２の領域を特定する処理と、前記取得された画面データが表す画面の一部の領域であって、前記特定された第１の領域及び第２の領域を含む領域の画像を表す画像データを生成する処理とを実行させる。 A program according to yet another aspect of the present disclosure provides a computer with a process of acquiring screen data representing a screen to be shared, and identifying a first area in which characters are displayed from the screen represented by the acquired screen data. And a process of specifying a second area where characters can be displayed from the screen represented by the acquired screen data, and a partial area of the screen represented by the acquired screen data, And generating image data representing an image of an area including the first area and the second area.

本開示によれば、画面を共有する場合において視認性と操作性の両立が図られる。 According to the present disclosure, both visibility and operability are achieved when sharing a screen.

図１は、データ処理装置の構成の一例を示すブロック図である。FIG. 1 is a block diagram illustrating an example of the configuration of the data processing device. 図２は、第１の部分画像データ及び第２の部分画像データを説明するための図である。FIG. 2 is a diagram for explaining the first partial image data and the second partial image data. 図３は、データ処理装置が実行する処理の一例を示すフローチャートである。FIG. 3 is a flowchart illustrating an example of a process executed by the data processing device. 図４は、画面共有システムの構成の一例を示すブロック図である。FIG. 4 is a block diagram illustrating an example of the configuration of the screen sharing system. 図５は、第１の装置及び第２の装置が実行する処理の一例を示すシーケンスチャートである。FIG. 5 is a sequence chart illustrating an example of processing executed by the first device and the second device. 図６は、画面共有システムの構成の別の例を示すブロック図である。FIG. 6 is a block diagram illustrating another example of the configuration of the screen sharing system. 図７は、第１の装置及び第２の装置が実行する処理の別の例を示すシーケンスチャートである。FIG. 7 is a sequence chart illustrating another example of the processing executed by the first device and the second device. 図８は、第１のループ処理の一例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example of the first loop process. 図９は、第２のループ処理の一例を示すフローチャートである。FIG. 9 is a flowchart illustrating an example of the second loop processing. 図１０Ａは、画面データと当該画面データに基づいて生成される画像データを例示する図である。FIG. 10A is a diagram exemplifying screen data and image data generated based on the screen data. 図１０Ｂは、画面データと当該画面データに基づいて生成される画像データを例示する図である。FIG. 10B is a diagram exemplifying screen data and image data generated based on the screen data. 図１０Ｃは、画面データと当該画面データに基づいて生成される画像データを例示する図である。FIG. 10C is a diagram illustrating screen data and image data generated based on the screen data. 図１１は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。FIG. 11 is a block diagram illustrating an example of a hardware configuration of a computer device.

［第１実施形態］
図１は、一実施形態に係るデータ処理装置１００の構成を示すブロック図である。データ処理装置１００は、２以上の装置の間で画面を共有するための装置である。データ処理装置１００は、取得部１１０と、第１の特定部１２０と、第２の特定部１３０と、生成部１４０とを少なくとも有する。 [First Embodiment]
FIG. 1 is a block diagram illustrating a configuration of a data processing device 100 according to an embodiment. The data processing device 100 is a device for sharing a screen between two or more devices. The data processing device 100 includes at least an acquisition unit 110, a first identification unit 120, a second identification unit 130, and a generation unit 140.

ここでいう画面の共有とは、ある装置の表示画面の一部又は全部を１又は複数の他の装置において視認し得るようにすることをいう。一の態様において、共有される画面は、２以上の装置においてほぼ同時に表示される。換言すれば、共有される画面は、２以上の装置において、装置間の距離や通信速度などに起因するある程度の範囲内の時間差（すなわち遅延）で表示される。ただし、共有される画面は、必ずしも２以上の装置においてほぼ同時に表示されなくてもよく、また、一方の装置（遠隔操作する側）のみにおいて表示されてもよい。遠隔操作される装置は、共有される画面を必ずしも表示しなくてもよい。 Here, the sharing of the screen means that a part or the whole of the display screen of a certain device can be visually recognized by one or a plurality of other devices. In one aspect, the shared screen is displayed on two or more devices at about the same time. In other words, the screen to be shared is displayed in two or more devices with a time difference (that is, delay) within a certain range due to the distance between the devices, the communication speed, and the like. However, the shared screen does not necessarily need to be displayed almost simultaneously on two or more devices, and may be displayed only on one device (the side that is remotely controlled). The remotely controlled device need not necessarily display the shared screen.

取得部１１０は、画面データを取得する。画面データは、共有される画面を表すデータである。一の態様において、取得部１１０による画面データの取得は、キャプチャ、スクリーンキャプチャ、スクリーンショット、スクリーンダンプなどとも呼ばれる。画面データは、例えば、各画素を所定のビット数（色深度）で表現したビットマップ画像を表す。ビットマップ画像は、モノクロ画像とカラー画像のいずれであってもよい。 The acquisition unit 110 acquires screen data. The screen data is data representing a screen to be shared. In one embodiment, the acquisition of screen data by the acquisition unit 110 is also referred to as capture, screen capture, screen shot, screen dump, and the like. The screen data represents, for example, a bitmap image in which each pixel is represented by a predetermined number of bits (color depth). The bitmap image may be either a monochrome image or a color image.

取得部１１０が画面データを取得するタイミングは、特定のタイミングに限定されない。一の態様において、取得部１１０は、所定の時間間隔で画面データを繰り返し取得する。第１の特定部１２０、第２の特定部１３０及び生成部１４０は、画面データが取得される毎に後述される処理を実行することができる。 The timing at which the acquisition unit 110 acquires the screen data is not limited to a specific timing. In one aspect, the acquisition unit 110 repeatedly acquires screen data at predetermined time intervals. The first specifying unit 120, the second specifying unit 130, and the generating unit 140 can execute a process described later each time screen data is acquired.

第１の特定部１２０及び第２の特定部１３０は、画像から所定の条件を満たす領域を特定する。第１の特定部１２０及び第２の特定部１３０は、取得部１１０により取得された画面データが表す画面から領域を特定する。以下においては、説明の便宜上、第１の特定部１２０により特定される領域を「第１の領域」といい、第２の特定部１３０により特定される領域を「第２の領域」という。 The first specifying unit 120 and the second specifying unit 130 specify a region satisfying a predetermined condition from the image. The first specifying unit 120 and the second specifying unit 130 specify an area from the screen represented by the screen data acquired by the acquiring unit 110. In the following, for convenience of explanation, the area specified by the first specifying unit 120 is referred to as “first area”, and the area specified by the second specifying unit 130 is referred to as “second area”.

第１の特定部１２０は、画面データが表す画面のうちの文字が表示される領域を特定する。第１の領域は、画像において文字が描画されている領域であるともいえる。一の態様において、第１の特定部１２０は、文字認識処理によって第１の領域を特定する。文字認識処理は、例えば、周知のＯＣＲ（Optical Character Recognition）技術を用いて文字を認識する処理である。ここでいう文字は、数字や記号を含む。 The first specifying unit 120 specifies an area of the screen represented by the screen data where characters are displayed. The first area can be said to be an area where characters are drawn in the image. In one aspect, the first specifying unit 120 specifies the first area by a character recognition process. The character recognition process is a process of recognizing characters using, for example, a known OCR (Optical Character Recognition) technique. The characters here include numbers and symbols.

第２の特定部１３０は、画面データが表す画面のうちの文字が表示され得る領域を特定する。第２の領域は、第１の領域とは異なり、文字が表示されていない領域を含み得る。第２の領域は、文字が事後に表示される可能性がある領域であるともいえる。 The second specifying unit 130 specifies an area on the screen represented by the screen data where characters can be displayed. The second area, unlike the first area, may include an area where no characters are displayed. It can be said that the second area is an area where characters may be displayed later.

第２の特定部１３０は、第１の特定部１２０と異なる方法（アルゴリズム）を用いて第２の領域を特定することができる。一の態様において、第２の特定部１３０は、画像認識処理によって第２の領域を特定する。画像認識処理は、例えば、画像から所定の条件を満たすオブジェクトを認識する処理である。例えば、第２の特定部１３０は、テキストボックスなどの所定の形状を有する領域を第２の領域として特定する。 The second specifying unit 130 can specify the second area using a method (algorithm) different from that of the first specifying unit 120. In one aspect, the second specifying unit 130 specifies the second area by image recognition processing. The image recognition process is, for example, a process of recognizing an object satisfying a predetermined condition from an image. For example, the second specifying unit 130 specifies an area having a predetermined shape such as a text box as the second area.

第２の特定部１３０は、画面データが表す画面から特定される画像特徴に基づいて第２の領域を特定してもよい。ここでいう画像特徴としては、例えば、複数画素の色の異同を用いることができる。例えば、第２の特定部１３０は、画像に含まれるエッジに基づいて第２の領域を特定してもよい。 The second specifying unit 130 may specify the second area based on an image feature specified from the screen represented by the screen data. As the image feature here, for example, a difference in color of a plurality of pixels can be used. For example, the second specifying unit 130 may specify the second region based on an edge included in the image.

生成部１４０は、画像データを生成する。生成部１４０は、取得部１１０により取得された画面データが表す画面の一部の領域（以下「部分領域」という。）を表す画像データを生成する機能を少なくとも有する。部分領域は、第１の特定部１２０により特定された第１の領域と、第２の特定部１３０により特定された第２の領域とを含む。部分領域は、第１の領域と第２の領域のいずれでもない領域を含んでもよい。 The generation unit 140 generates image data. The generation unit 140 has at least a function of generating image data representing a partial area (hereinafter, referred to as a “partial area”) of the screen represented by the screen data acquired by the acquisition unit 110. The partial region includes a first region specified by the first specifying unit 120 and a second region specified by the second specifying unit 130. The partial area may include an area that is neither the first area nor the second area.

生成部１４０は、部分領域の画質が変更された画像データを生成してもよい。ここでいう画質の変更とは、画像データのデータ量が少なくなるような加工処理をいう。例えば、生成部１４０は、部分領域の色深度を画面データの色深度よりも小さく（すなわち階調数を少なく）してもよいし、画像データを圧縮してもよい。 The generation unit 140 may generate image data in which the image quality of the partial area has been changed. Here, the change in image quality means a processing that reduces the amount of image data. For example, the generation unit 140 may make the color depth of the partial area smaller than the color depth of the screen data (that is, reduce the number of gradations), or may compress the image data.

生成部１４０は、部分領域を表す画像データを生成する機能の他に、部分領域でない領域を表す画像データを生成する機能を有してもよい。以下においては、説明の便宜上、部分領域を表す画像データを「第１の部分画像データ」といい、部分領域でない領域を表す画像データを「第２の部分画像データ」という。 The generation unit 140 may have a function of generating image data representing an area that is not a partial area, in addition to the function of generating image data representing a partial area. Hereinafter, for convenience of explanation, image data representing a partial region is referred to as “first partial image data”, and image data representing a region that is not a partial region is referred to as “second partial image data”.

図２は、第１の部分画像データ及び第２の部分画像データを説明するための図である。データＤ１は、第１の部分画像データに相当し、画面データが表す領域Ｒ０のうちの部分領域Ｒ１を表す。データＤ２１は、画面データが表す領域Ｒ０から部分領域Ｒ１を除いた領域Ｒ２を表す。一方、データＤ２２は、領域Ｒ０を表す。第２の部分画像データは、データＤ２１、Ｄ２２のいずれであってもよい。 FIG. 2 is a diagram for explaining the first partial image data and the second partial image data. The data D1 corresponds to the first partial image data, and represents the partial region R1 of the region R0 represented by the screen data. The data D21 represents a region R2 obtained by removing the partial region R1 from the region R0 represented by the screen data. On the other hand, the data D22 represents the region R0. The second partial image data may be any of the data D21 and D22.

図３は、データ処理装置１００が実行する処理を示すフローチャートである。ステップＳ１１において、取得部１１０は、画面データを取得する。ステップＳ１２において、第１の特定部１２０は、ステップＳ１１において取得された画面データに基づいて第１の領域を特定する。ステップＳ１３において、第２の特定部１３０は、ステップＳ１１において取得された画面データに基づいて第２の領域を特定する。 FIG. 3 is a flowchart showing the processing executed by the data processing device 100. In step S11, the obtaining unit 110 obtains screen data. In step S12, the first specifying unit 120 specifies the first area based on the screen data acquired in step S11. In step S13, the second specifying unit 130 specifies the second area based on the screen data acquired in step S11.

第２の特定部１３０は、ステップＳ１２において特定された第１の領域を除いた領域から第２の領域を特定してもよい。あるいは、第２の特定部１３０は、第１の特定部１２０により第１の領域が特定される前に第２の領域を特定してもよいし、第１の特定部１２０と並行に処理を実行してもよい。 The second specifying unit 130 may specify the second area from the area excluding the first area specified in step S12. Alternatively, the second specifying unit 130 may specify the second region before the first region is specified by the first specifying unit 120, or may perform the processing in parallel with the first specifying unit 120. May be performed.

ステップＳ１４において、生成部１４０は、ステップＳ１２、Ｓ１３における特定結果に基づいて、部分領域を表す画像データを生成する。生成部１４０は、生成された画像データを出力する。画像データの出力先は、データ処理装置１００内部の他の構成要素であってもよいし、データ処理装置１００と異なる装置であってもよい。 In step S14, the generation unit 140 generates image data representing a partial area based on the identification results in steps S12 and S13. The generation unit 140 outputs the generated image data. The output destination of the image data may be another component inside the data processing device 100 or a device different from the data processing device 100.

以上に説明されたように、本実施形態のデータ処理装置１００は、第１の領域及び第２の領域を含む画像データを生成する構成を有する。この画像データは、テキストボックスのような、文字が表示され得る領域が視認可能に構成されている一方で、第１の領域及び第２の領域のいずれにも該当しない領域が画面に含まないように構成される。 As described above, the data processing device 100 according to the present embodiment has a configuration for generating image data including the first area and the second area. In this image data, while an area such as a text box where characters can be displayed is configured to be visible, an area that does not correspond to any of the first area and the second area is not included in the screen. Is configured.

したがって、本実施形態によれば、文字の入力などにより第２の領域に変更が生じる前から当該領域を表示することが可能である。このため、本実施形態によれば、画像データが第２の領域を含まない場合に比べ、文字の出現を予見することが可能であり、画像を表示する装置における操作性を向上させることが可能である。また、本実施形態によれば、第１の領域及び第２の領域を除く領域を含まない画像データを生成することが可能である。このため、本実施形態によれば、このような領域を含む場合に比べ、少ないデータ量で高画質の画像データにすることが可能であり、画像を表示する装置における視認性を向上させることが可能である。ゆえに、本実施形態によれば、操作性と視認性をバランス良く両立させることが容易に可能である。 Therefore, according to the present embodiment, it is possible to display the second area before the change occurs in the second area due to input of characters or the like. For this reason, according to the present embodiment, it is possible to foresee the appearance of characters as compared with the case where the image data does not include the second area, and it is possible to improve the operability of the device that displays the image. It is. Further, according to the present embodiment, it is possible to generate image data that does not include an area other than the first area and the second area. For this reason, according to the present embodiment, it is possible to obtain high-quality image data with a smaller amount of data as compared with a case including such an area, and it is possible to improve the visibility in a device that displays an image. It is possible. Therefore, according to the present embodiment, it is possible to easily achieve both operability and visibility in a well-balanced manner.

また、本実施形態は、文字認識処理により第１の領域を特定し、画像認識処理により第２の領域を特定する構成を採用することができる。この構成によれば、文字認識処理のみでは特定することができない、文字が入力され得る領域を特定することが可能である。 Further, the present embodiment can adopt a configuration in which the first area is specified by the character recognition processing, and the second area is specified by the image recognition processing. According to this configuration, it is possible to specify an area where a character can be input, which cannot be specified only by the character recognition processing.

［第２実施形態］
図４は、別の実施形態に係る画面共有システム２００の構成を示すブロック図である。画面共有システム２００は、第１の装置２１０と、第２の装置２２０とを含む。第１の装置２１０及び第２の装置２２０は、例えば、インターネットなどのネットワークを介して通信可能に接続されている。なお、画面共有システム２００における第１の装置２１０及び第２の装置２２０の数は、特に限定されない。 [Second embodiment]
FIG. 4 is a block diagram illustrating a configuration of a screen sharing system 200 according to another embodiment. Screen sharing system 200 includes a first device 210 and a second device 220. The first device 210 and the second device 220 are communicably connected via a network such as the Internet, for example. Note that the number of the first devices 210 and the second devices 220 in the screen sharing system 200 is not particularly limited.

本実施形態以降の実施形態において、既に説明された実施形態に記載された用語と同一の用語は、特に定義又は説明がある場合を除き、当該実施形態と同様の意味で用いられる。また、以降の実施形態において、既に説明された実施形態と同一の符号を付される構成要素は、当該実施形態と同様の構成を少なくとも含む。以降の実施形態において、既に説明された実施形態と重複する説明は、適宜省略される。 In the embodiments after this embodiment, the same terms as those described in the embodiments already described have the same meanings as those of the embodiments, unless otherwise defined or explained. In the following embodiments, components denoted by the same reference numerals as those in the already described embodiments include at least the same configurations as those in the embodiments. In the following embodiments, descriptions overlapping with the already described embodiments will be appropriately omitted.

第１の装置２１０は、画像データを送信する装置である。第１の装置２１０は、第１実施形態に記載されたデータ処理装置１００と同様の構成、すなわち、取得部１１０、第１の特定部１２０、第２の特定部１３０及び生成部１４０を有する。加えて、第１の装置２１０は、通信部２１１を有する。通信部２１１は、生成部１４０により生成された画像データを第２の装置２２０に送信する。 The first device 210 is a device that transmits image data. The first device 210 has the same configuration as the data processing device 100 described in the first embodiment, that is, the first device 210 includes an acquisition unit 110, a first specification unit 120, a second specification unit 130, and a generation unit 140. In addition, the first device 210 has a communication unit 211. The communication unit 211 transmits the image data generated by the generation unit 140 to the second device 220.

第２の装置２２０は、画像データを表示する装置である。第２の装置２２０は、通信部２２１と、表示部２２２とを有する。通信部２２１は、第１の装置２１０により送信された画像データを受信する。表示部２２２は、液晶などの表示素子により構成された表示パネルとその駆動回路とを含み、画像データに応じた画像を表示する。なお、第２の装置２２０は、キーボード、マウスなどの入力装置又は当該入力装置を接続するインターフェース（端子など）を含んでもよい。 The second device 220 is a device that displays image data. The second device 220 has a communication unit 221 and a display unit 222. The communication unit 221 receives the image data transmitted by the first device 210. The display unit 222 includes a display panel including a display element such as a liquid crystal and a driving circuit thereof, and displays an image corresponding to image data. Note that the second device 220 may include an input device such as a keyboard and a mouse, or an interface (a terminal or the like) for connecting the input device.

図５は、第１の装置２１０及び第２の装置２２０が実行する処理を示すシーケンスチャートである。このうち、ステップＳ２１〜Ｓ２４の処理は、第１実施形態のステップＳ１１〜Ｓ１４の処理（図３参照）と同様である。ステップＳ２５において、第１の装置２１０の通信部２１１は、生成された画像データを第２の装置２２０に送信する。ステップＳ２６において、第２の装置２２０の表示部２２２は、ステップＳ２５において通信部２２１により受信された画像データに応じた画像を表示する。 FIG. 5 is a sequence chart showing processing executed by the first device 210 and the second device 220. The processing in steps S21 to S24 is the same as the processing in steps S11 to S14 of the first embodiment (see FIG. 3). In step S25, the communication unit 211 of the first device 210 transmits the generated image data to the second device 220. In step S26, the display unit 222 of the second device 220 displays an image corresponding to the image data received by the communication unit 221 in step S25.

本実施形態によれば、第１実施形態と同様の効果を奏することができる。具体的には、本実施形態によれば、第１の装置２１０が第１の領域及び第２の領域を含む画像データを生成及び送信することにより、第２の装置２２０における操作性と視認性の両立を図ることが可能である。 According to the present embodiment, the same effects as in the first embodiment can be obtained. Specifically, according to the present embodiment, the first device 210 generates and transmits image data including the first region and the second region, so that the operability and the visibility of the second device 220 are improved. It is possible to achieve both.

［第３実施形態］
図６は、さらに別の実施形態に係る画面共有システム３００の構成を示すブロック図である。画面共有システム３００は、第１の装置３１０と、第２の装置３２０とを少なくとも有する。第１の装置３１０及び第２の装置３２０は、例えば、インターネットなどのネットワークを介して通信可能に接続されている。画面共有システム３００は、表示装置３１０ａを含んでもよいが、必須の構成要素ではない。 [Third embodiment]
FIG. 6 is a block diagram illustrating a configuration of a screen sharing system 300 according to another embodiment. The screen sharing system 300 has at least a first device 310 and a second device 320. The first device 310 and the second device 320 are communicably connected via a network such as the Internet, for example. The screen sharing system 300 may include the display device 310a, but is not an essential component.

表示装置３１０ａは、画面データに対応する画面を表示する。表示装置３１０ａは、第１の装置３１０と接続され、又は第１の装置３１０に含まれてもよい。ここでいう接続は、表示装置３１０ａと第１の装置３１０との間に他の装置を含む形態（すなわち間接的な接続）であってもよいし、これらの装置の間に他の装置を含まない形態（すなわち直接的な接続）であってもよい。表示装置３１０ａは、入力装置を兼ねたタッチスクリーンデバイスであってもよい。 The display device 310a displays a screen corresponding to the screen data. The display device 310a may be connected to the first device 310 or may be included in the first device 310. The connection here may be a form including another device between the display device 310a and the first device 310 (that is, an indirect connection), or may include another device between these devices. There may be no form (that is, direct connection). The display device 310a may be a touch screen device that also serves as an input device.

第１の装置３１０は、制御部３１１と、通信部３１２と、入力部３１３と、記憶部３１４と、データ取得部３１５と、文字領域特定部３１６と、入力領域特定部３１７と、画像領域特定部３１８と、データ生成部３１９とを有する。 The first device 310 includes a control unit 311, a communication unit 312, an input unit 313, a storage unit 314, a data acquisition unit 315, a character area specifying unit 316, an input area specifying unit 317, and an image area specifying unit. Unit 318 and a data generation unit 319.

制御部３１１は、第１の装置３１０の各部の動作を制御する。制御部３１１は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置（プロセッサ）とメモリとを含み、プログラムを実行できるように構成されている。データ取得部３１５、文字領域特定部３１６、入力領域特定部３１７、画像領域特定部３１８及びデータ生成部３１９は、制御部３１１が特定のアプリケーションプログラムを実行することによって（すなわちソフトウェアによって）実装されてもよい。 The control unit 311 controls the operation of each unit of the first device 310. The control unit 311 includes a processing device (processor) such as a CPU (Central Processing Unit) and a memory, and is configured to execute a program. The data acquisition unit 315, the character area identification unit 316, the input area identification unit 317, the image area identification unit 318, and the data generation unit 319 are implemented by the control unit 311 executing a specific application program (that is, by software). Is also good.

通信部３１２は、第２の装置３２０とデータをやり取りする。通信部３１２は、例えば、データを符号化及び復号する回路を含む。通信部３１２による通信は、有線と無線のいずれであってもよい。 The communication unit 312 exchanges data with the second device 320. The communication unit 312 includes, for example, a circuit that encodes and decodes data. Communication by the communication unit 312 may be either wired or wireless.

入力部３１３は、ユーザによるデータの入力を受け付ける。入力部３１３は、例えば、キーボード、マウスなどの入力装置又は当該入力装置を接続するインターフェースを含む。 The input unit 313 receives data input by the user. The input unit 313 includes, for example, an input device such as a keyboard and a mouse, or an interface for connecting the input device.

記憶部３１４は、データを記憶する。記憶部３１４は、例えば、ハードディスク、フラッシュメモリなどの書き換え可能な不揮発性の記憶媒体を含む。記憶部３１４は、着脱可能な記憶媒体又はそのリーダライタを含んで構成されてもよい。記憶部３１４は、本実施形態における画面の共有に必要なデータを記憶する。 The storage unit 314 stores data. The storage unit 314 includes, for example, a rewritable nonvolatile storage medium such as a hard disk and a flash memory. The storage unit 314 may be configured to include a removable storage medium or a reader / writer thereof. The storage unit 314 stores data necessary for sharing a screen in the present embodiment.

データ取得部３１５は、画面データを取得する。データ取得部３１５は、文字領域特定部３１６及び記憶部３１４に画面データを供給してもよい。データ取得部３１５は、取得部１１０の一例に相当する。 The data acquisition unit 315 acquires screen data. The data acquisition unit 315 may supply screen data to the character area specifying unit 316 and the storage unit 314. The data acquisition unit 315 corresponds to an example of the acquisition unit 110.

文字領域特定部３１６は、文字領域を特定する。文字領域は、第１の領域の一例に相当する。文字領域は、画面データに対応する画面のうち、１又は複数の文字が表示される領域である。文字領域特定部３１６は、第１の特定部１２０の一例に相当する。 The character area specifying unit 316 specifies a character area. The character area corresponds to an example of the first area. The character area is an area where one or a plurality of characters are displayed on the screen corresponding to the screen data. The character area specifying section 316 corresponds to an example of the first specifying section 120.

入力領域特定部３１７は、入力領域を特定する。入力領域は、第２の領域の一例に相当する。入力領域は、画面データに対応する画面のうち、文字が入力され得る領域である。本実施形態において、入力領域は、他の領域と区別可能な色であったり、所定の線（枠など）で囲われていたりするなど、外観に所定の規則性を有する。入力領域特定部３１７は、この外観上の規則性に基づいて入力領域を特定する。入力領域特定部３１７は、第２の特定部１３０の一例に相当する。 The input area specifying unit 317 specifies an input area. The input area corresponds to an example of a second area. The input area is an area on the screen corresponding to the screen data where characters can be input. In the present embodiment, the input region has a predetermined regularity in appearance, such as a color that can be distinguished from other regions, and is surrounded by a predetermined line (such as a frame). The input area specifying unit 317 specifies an input area based on the appearance regularity. The input area specifying unit 317 corresponds to an example of the second specifying unit 130.

画像領域特定部３１８は、画像領域を特定する。画像領域は、画面データに対応する画面のうち、データ生成部３１９により生成される画像データによって可視化される領域である。画像領域特定部３１８は、文字領域特定部３１６により特定された文字領域と、入力領域特定部３１７により特定された入力領域とに基づいて画像領域を特定する。 The image area specifying unit 318 specifies an image area. The image area is an area of the screen corresponding to the screen data, which is visualized by the image data generated by the data generation unit 319. The image area specifying unit 318 specifies an image area based on the character area specified by the character area specifying unit 316 and the input area specified by the input area specifying unit 317.

画像領域特定部３１８は、文字領域及び入力領域の経時変化を判断し、変化があった領域を画像領域に含めてもよい。すなわち、画像領域特定部３１８は、ある文字領域又は入力領域を画像領域に含んだ後、当該文字領域又は入力領域に変化がない場合には、当該領域を画像領域から除外してもよい。 The image area specifying unit 318 may determine a temporal change of the character area and the input area, and include the changed area in the image area. That is, after including a certain character region or input region in the image region, if there is no change in the character region or the input region, the image region specifying unit 318 may exclude the region from the image region.

データ生成部３１９は、画像データを生成する。データ生成部３１９は、画像領域特定部３１８により特定された画像領域を表す画像データを生成する。データ生成部３１９は、生成された画像データを通信部３１２に供給する。データ生成部３１９は、生成部１４０の一例に相当する。 The data generator 319 generates image data. The data generating unit 319 generates image data representing the image area specified by the image area specifying unit 318. The data generation unit 319 supplies the generated image data to the communication unit 312. The data generation unit 319 corresponds to an example of the generation unit 140.

第２の装置３２０は、制御部３２１と、通信部３２２と、入力部３２３と、表示部３２４とを有する。制御部３２１、通信部３２２及び入力部３２３の構成は、第１の装置３１０の同名の構成要素と同様である。表示部３２４は、データ生成部３１９により生成され、通信部３１２により送信された画像データに応じた画像を表示する。 The second device 320 includes a control unit 321, a communication unit 322, an input unit 323, and a display unit 324. The configurations of the control unit 321, the communication unit 322, and the input unit 323 are the same as the components of the first device 310 having the same names. The display unit 324 displays an image corresponding to the image data generated by the data generation unit 319 and transmitted by the communication unit 312.

図７は、第１の装置３１０及び第２の装置３２０が実行する処理の一例を示すシーケンスチャートである。同図に示される一連の処理は、第１の装置３１０が画面データを取得する毎に繰り返される。第１の装置３１０は、例えば、所定の時間間隔で画面データを反復的に取得する。 FIG. 7 is a sequence chart illustrating an example of processing executed by the first device 310 and the second device 320. A series of processes shown in FIG. 11 is repeated each time the first device 310 acquires screen data. The first device 310 repeatedly acquires screen data at predetermined time intervals, for example.

ステップＳ３１において、データ取得部３１５は、画面データを取得する。ステップＳ３２において、文字領域特定部３１６は、画面データに対してレイアウト解析を実行する。レイアウト解析とは、画面データが表す画面における文字のレイアウトを解析し、当該画面から１又は複数の文字領域を特定する処理をいう。文字領域特定部３１６は、複数の文字が塊をなして配置されていれば、当該複数の文字を一つの文字領域と認識する。文字領域特定部３１６は、ＯＣＲ技術を用いた文字認識処理によって文字領域を特定することができる。 In step S31, the data acquisition unit 315 acquires screen data. In step S32, the character area specifying unit 316 performs a layout analysis on the screen data. Layout analysis refers to a process of analyzing the layout of characters on a screen represented by screen data and specifying one or a plurality of character areas from the screen. If a plurality of characters are arranged in a lump, the character region specifying unit 316 recognizes the plurality of characters as one character region. The character region specifying unit 316 can specify a character region by a character recognition process using the OCR technology.

また、ステップＳ３２において、文字領域特定部３１６は、特定された文字領域に関するデータ（すなわちレコード）を文字領域テーブルに記録する。文字領域テーブルは、個々の文字領域の位置（すなわち座標）を示すデータを含む。ステップＳ３２において特定された文字領域の数を「ｍ」とすると、文字領域特定部３１６は、ｍ個のレコードを文字領域テーブルに記録する。なお、ｍは、１以上の整数である。 Further, in step S32, the character area specifying unit 316 records data (that is, a record) relating to the specified character area in the character area table. The character area table includes data indicating the position (ie, coordinates) of each character area. Assuming that the number of character areas specified in step S32 is “m”, the character area specifying unit 316 records m records in the character area table. Note that m is an integer of 1 or more.

ステップＳ３３において、画像領域特定部３１８は、ステップＳ３２において特定された文字領域から画像領域を特定する第１のループ処理を実行する。より詳細には、画像領域特定部３１８は、ステップＳ３２において特定された文字領域のそれぞれが画像領域に該当するか、すなわち第２の装置３２０への送信対象に該当するかを判断する。第１のループ処理は、ステップＳ３２において特定された文字領域を取捨選択する処理であるともいえる。 In step S33, the image area specifying unit 318 executes a first loop process for specifying an image area from the character area specified in step S32. More specifically, the image area specifying unit 318 determines whether each of the character areas specified in step S32 corresponds to an image area, that is, whether each of the character areas corresponds to a transmission target to the second device 320. It can be said that the first loop process is a process of selecting the character area specified in step S32.

ステップＳ３４において、入力領域特定部３１７は、画面データに対して画像解析を実行する。画像解析とは、画面データが表す画面を解析し、上述された所定の規則性に基づいて入力領域を特定する処理をいう。入力領域特定部３１７は、例えば、画素の色やエッジの有無又は方向に基づいて入力領域を特定する。入力領域特定部３１７は、画面データが表す画面のうち、文字領域を除く領域に対して画像解析を実行してもよい。 In step S34, the input area specifying unit 317 performs an image analysis on the screen data. Image analysis refers to a process of analyzing a screen represented by screen data and specifying an input area based on the above-described predetermined regularity. The input area specifying unit 317 specifies an input area based on, for example, the color or presence or absence or direction of an edge of a pixel. The input area specifying unit 317 may execute image analysis on an area other than the character area in the screen represented by the screen data.

また、ステップＳ３４において、入力領域特定部３１７は、特定された入力領域に関するレコードを入力領域テーブルに記録する。入力領域テーブルは、個々の入力領域の位置を示すデータを含む。ステップＳ３４において特定された入力領域の数を「ｎ」とすると、入力領域特定部３１７は、ｎ個のレコードを入力領域テーブルに記録する。なお、ｎは、１以上の整数である。 In step S34, the input area specifying unit 317 records a record related to the specified input area in the input area table. The input area table includes data indicating the position of each input area. Assuming that the number of input areas specified in step S34 is “n”, the input area specifying unit 317 records n records in the input area table. Note that n is an integer of 1 or more.

ステップＳ３５において、画像領域特定部３１８は、ステップＳ３４において特定された入力領域から画像領域を特定する第２のループ処理を実行する。より詳細には、画像領域特定部３１８は、ステップＳ３４において特定された入力領域のそれぞれが画像領域に該当するか、すなわち第２の装置３２０への送信対象に該当するかを判断する。第２のループ処理は、ステップＳ３４において特定された入力領域を取捨選択する処理であるともいえる。 In step S35, the image area specifying unit 318 executes a second loop process for specifying an image area from the input area specified in step S34. More specifically, the image area specifying unit 318 determines whether each of the input areas specified in step S34 corresponds to an image area, that is, whether the input area corresponds to a transmission target to the second device 320. It can be said that the second loop process is a process of selecting the input area specified in step S34.

ステップＳ３６において、データ生成部３１９は、画像データを生成する。データ生成部３１９は、後述される画像領域テーブルを参照することにより、ステップＳ３３及びＳ３５において特定された画像領域を画像に含む画像データを生成する。ステップＳ３７において、データ生成部３１９は、生成された画像データを通信部３１２に供給することにより、画像データを第２の装置３２０に送信する。第２の装置３２０が画像データを受信すると、表示部３２４は、ステップＳ３８において当該画像データに応じた画像を表示する。 In step S36, the data generator 319 generates image data. The data generating unit 319 generates image data including the image area specified in steps S33 and S35 in the image by referring to an image area table described later. In step S37, the data generation unit 319 transmits the image data to the second device 320 by supplying the generated image data to the communication unit 312. When the second device 320 receives the image data, the display unit 324 displays an image corresponding to the image data in step S38.

ステップＳ３９において、データ取得部３１５は、ステップＳ３１において取得された画面データを記憶部３１４に記録する。この画面データは、データ取得部３１５により新たな画面データが取得され、図７に示される一連の処理が再度実行される場合に、後述される比較対象として用いられる。すなわち、この画面データは、更新前の画面データであるともいえる。 In step S39, the data acquisition unit 315 records the screen data acquired in step S31 in the storage unit 314. This screen data is used as a comparison target, which will be described later, when new screen data is acquired by the data acquisition unit 315 and the series of processes illustrated in FIG. 7 is executed again. That is, it can be said that this screen data is screen data before update.

図８は、ステップＳ３３の第１のループ処理を詳細に示すフローチャートである。ステップＳ３３１において、画像領域特定部３１８は、ステップＳ３２において特定された文字領域の一つを表す画像データＤ_iを取得する。ｉは、画像データを区別するための１以上ｍ以下のインデックスであり、その初期値は「１」である。例えば、画像領域特定部３１８は、文字領域テーブルに記録されたレコードを所定の順序で読み出すことにより、画像データＤ_iを取得することができる。 FIG. 8 is a flowchart showing the details of the first loop process of step S33. In step S331, the image area specifying unit 318 acquires the image data D _i representing one of the identified character region in step S32. i is an index of 1 or more and m or less for distinguishing image data, and its initial value is “1”. For example, the image area specifying unit 318, by reading the records recorded in the character area table in a predetermined order, it is possible to acquire the image data D _i.

ステップＳ３３２において、画像領域特定部３１８は、画像データＤ_iに比較対象が存在するかを判断する。より詳細には、画像領域特定部３１８は、画像データＤ_iに対応する更新前の画像データが記憶部３１４に記憶されているか判断する。例えば、データ取得部３１５が画面データを最初に取得したタイミングでは、比較対象の画像データは、いずれの画像データＤ_iについても記録されていない。画像領域特定部３１８は、画像データＤ_iに比較対象が存在しない場合（ステップＳ３３２：ＮＯ）、ステップＳ３３３、Ｓ３３４の処理をスキップ（すなわち省略）する。 In step S332, the image area specifying unit 318 determines whether the comparison target is present in the image data D _i. More specifically, the image area specifying unit 318, image data before updating corresponding to the image data D _i is determined whether stored in the storage unit 314. For example, in the timing of the data acquisition unit 315 acquires the screen data to the first image data to be compared are not recorded for any of the image data D _i. Image region specifying unit 318, if there is no comparison target in the image data D _i (step S332: NO), step S333, skipping the process of S334 (i.e. optional) to.

画像データＤ_iに比較対象が存在する場合（ステップＳ３３２：ＹＥＳ）、画像領域特定部３１８は、ステップＳ３３３において比較対象の画像データを記憶部３１４から取得する。具体的には、画像領域特定部３１８は、文字領域テーブルを参照することにより、記憶部３１４に記憶された更新前の画面データのうち、画像データＤ_iと同じ座標の文字領域を表す部分を読み出す。 If there is a comparison target in the image data D _i (step S332: YES), the image area specifying unit 318 acquires the image data to be compared from the storage unit 314 in step S333. Specifically, the image area specifying unit 318 refers to the character area table, out of the screen data before stored updated in the storage unit 314, the portion representing the character area of the same coordinates as the image data D _i read out.

ステップＳ３３４において、画像領域特定部３１８は、画像データＤ_iと更新前の画像データとを比較し、両者の画像に差異があるか判断する。これらの画像に差異がある場合（ステップＳ３３４：ＹＥＳ）、画像領域特定部３１８は、ステップＳ３３５において画像データＤ_iを画像領域に追加する。具体的には、画像領域特定部３１８は、画像データＤ_iに関するレコードを画像領域テーブルに記録する。一方、比較された２つの画像に差異がない場合（ステップＳ３３４：ＮＯ）、画像領域特定部３１８は、ステップＳ３３５の処理をスキップする。 In step S334, the image area specifying unit 318 compares the image data _Di with the image data before update, and determines whether there is a difference between the two images. If there are differences in these images (step S334: YES), the image area specifying unit 318 adds the image data D _i in the image area in step S335. Specifically, the image area specifying unit 318 records the record for the image data D _i to the image region table. On the other hand, when there is no difference between the compared two images (step S334: NO), the image area specifying unit 318 skips the processing in step S335.

ステップＳ３３６において、画像領域特定部３１８は、第１のループ処理を続行するか判断する。具体的には、画像領域特定部３１８は、ｉの値がｍ未満であるか判断する。画像領域特定部３１８は、ｉの値がｍ未満であれば（ステップＳ３３６：ＹＥＳ）ステップＳ３３７においてｉの値を「１」増加（すなわちインクリメント）し、ステップＳ３３１以降の処理を繰り返す。一方、ｉの値がｍに達したら（ステップＳ３３６：ＮＯ）、画像領域特定部３１８は、第１のループ処理を終了させる。 In step S336, the image area specifying unit 318 determines whether to continue the first loop processing. Specifically, the image area specifying unit 318 determines whether the value of i is less than m. If the value of i is less than m (step S336: YES), the image area specifying unit 318 increases (i.e., increments) the value of i by "1" in step S337, and repeats the processing from step S331. On the other hand, when the value of i has reached m (step S336: NO), the image area specifying unit 318 terminates the first loop processing.

図９は、ステップＳ３５の第２のループ処理を詳細に示すフローチャートである。ステップＳ３５１において、画像領域特定部３１８は、ステップＳ３４において特定された入力領域の一つを表す画像データＤ_jを取得する。ｊは、画像データを区別するための１以上ｎ以下のインデックスであり、その初期値は「１」である。例えば、画像領域特定部３１８は、入力領域テーブルに記録されたレコードを所定の順序で読み出すことにより、画像データＤ_jを取得することができる。 FIG. 9 is a flowchart showing the details of the second loop process of step S35. In step S351, the image area specifying unit 318 acquires the image data D _j representing one of the identified input region in step S34. j is an index of 1 or more and n or less for distinguishing image data, and its initial value is “1”. For example, the image area specifying unit 318, by reading the records in the input area table in a predetermined order, it is possible to acquire the image data D _j.

ステップＳ３５２において、画像領域特定部３１８は、画像データＤ_jに比較対象が存在するかを判断する。より詳細には、画像領域特定部３１８は、画像データＤ_jに対応する更新前の画像データが記憶部３１４に記憶されているか判断する。画像領域特定部３１８は、画像データＤ_jに比較対象が存在しない場合（ステップＳ３５２：ＮＯ）、ステップＳ３５３、Ｓ３５４の処理をスキップする。 In step S352, the image area specifying unit 318 determines whether the comparison target is present in the image data D _j. More specifically, the image area specifying unit 318, image data before updating corresponding to the image data D _j to determine whether stored in the storage unit 314. Image region specifying unit 318, if there is no comparison target in the image data D _j (step S352: NO), skips the processing of steps S353, S354.

画像データＤ_jに比較対象が存在する場合（ステップＳ３５２：ＹＥＳ）、画像領域特定部３１８は、ステップＳ３５３において比較対象の画像データを記憶部３１４から取得する。具体的には、画像領域特定部３１８は、入力領域テーブルを参照することにより、記憶部３１４に記憶された更新前の画面データのうち、画像データＤ_jと同じ座標の入力領域を表す部分を読み出す。 If there is a comparison target in the image data D _j (step S352: YES), the image area specifying unit 318 acquires the image data to be compared from the storage unit 314 in step S353. Specifically, the image area specifying unit 318 refers to the input area table, out of the screen data before stored updated in the storage unit 314, the part representing the input area of the same coordinates as the image data D _j read out.

ステップＳ３５４において、画像領域特定部３１８は、画像データＤ_jと更新前の画像データとを比較し、両者の画像に差異があるか判断する。これらの画像に差異がある場合（ステップＳ３５４：ＹＥＳ）、画像領域特定部３１８は、ステップＳ３５５において画像データＤ_jを画像領域に追加する。具体的には、画像領域特定部３１８は、画像データＤ_jに関するレコードを画像領域テーブルに記録する。一方、比較された２つの画像に差異がない場合（ステップＳ３５４：ＮＯ）、画像領域特定部３１８は、ステップＳ３５５の処理をスキップする。 In step S354, the image area specifying unit 318 compares the image data D _j to the unchanged image data to determine whether there is a difference in both images. If there are differences in these images (step S354: YES), the image area specifying unit 318 adds the image data D _j to the image area in step S355. Specifically, the image area specifying unit 318 records the record for the image data D _j to the image region table. On the other hand, when there is no difference between the compared two images (step S354: NO), the image area specifying unit 318 skips the processing of step S355.

ステップＳ３５６において、画像領域特定部３１８は、第２のループ処理を続行するか判断する。具体的には、画像領域特定部３１８は、ｊの値がｎ未満であるか判断する。画像領域特定部３１８は、ｊの値がｎ未満であれば（ステップＳ３５６：ＹＥＳ）ステップＳ３５７においてｊの値をインクリメントし、ステップＳ３５１以降の処理を繰り返す。一方、ｊの値がｎに達したら（ステップＳ３５６：ＮＯ）、画像領域特定部３１８は、第２のループ処理を終了させる。 In step S356, the image area specifying unit 318 determines whether to continue the second loop processing. Specifically, the image area specifying unit 318 determines whether the value of j is less than n. If the value of j is smaller than n (step S356: YES), the image area specifying unit 318 increments the value of j in step S357, and repeats the processing from step S351. On the other hand, when the value of j reaches n (step S356: NO), the image area specifying unit 318 terminates the second loop processing.

図１０Ａ〜図１０Ｃは、画面データと当該画面データに基づいて生成される画像データを例示する図である。図１０Ａは、第１の画面データＤ３１と当該画面データに対応する第１の画像データＤ３１ａとを示す図である。第１の画面データＤ３１は、表示開始時の画面データに相当し、上述された比較対象の画面データが存在しない。第１の画面データＤ３１は、文字領域及び入力領域（ここではテキストボックス）を含むウィンドウＷ１と、文字領域を含むウィンドウＷ２とを含む画面を表す。 10A to 10C are diagrams illustrating screen data and image data generated based on the screen data. FIG. 10A is a diagram showing first screen data D31 and first image data D31a corresponding to the screen data. The first screen data D31 corresponds to the screen data at the start of the display, and the above-described screen data to be compared does not exist. The first screen data D31 represents a screen including a window W1 including a character area and an input area (here, a text box) and a window W2 including a character area.

第１の画像データＤ３１ａは、画像領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５及びＲ６を含む画像を表す。第１の画像データＤ３１ａは、画像領域Ｒ１〜Ｒ６を除く領域の画像を含まずに構成される。したがって、第１の画像データＤ３１ａは、このような領域の画像を含む場合に比べ、データ量が少なくなる。 The first image data D31a represents an image including image regions R1, R2, R3, R4, R5, and R6. The first image data D31a does not include an image of an area other than the image areas R1 to R6. Therefore, the data amount of the first image data D31a is smaller than that in the case where the image of such an area is included.

図１０Ｂは、第２の画面データＤ３２と当該画面データに対応する第２の画像データＤ３２ａとを示す図である。ここにおいて、第２の画面データＤ３２は、第１の画面データＤ３１に連続する（すなわち、第１の画面データＤ３１の次に取得される）画面データである。第２の画面データＤ３２は、ウィンドウＷ２に表示される文字が異なる点を除き、第１の画面データＤ３１と同じ画面を表す。 FIG. 10B is a diagram showing the second screen data D32 and the second image data D32a corresponding to the screen data. Here, the second screen data D32 is screen data that is continuous with the first screen data D31 (that is, acquired next to the first screen data D31). The second screen data D32 represents the same screen as the first screen data D31 except that the characters displayed in the window W2 are different.

この場合、第２の画像データＤ３２ａは、第１の画像データＤ３１ａと比較して差異がある部分、すなわち画像領域Ｒ３のみを含む画像を表す。第２の装置３２０は、第２の画像データＤ３２ａを受信すると、画像領域Ｒ３を更新する一方、画像領域Ｒ１、Ｒ２、Ｒ４、Ｒ５及びＲ６を更新せず、更新前と同じ画像を表示し続ける。 In this case, the second image data D32a represents a portion having a difference compared with the first image data D31a, that is, an image including only the image region R3. Upon receiving the second image data D32a, the second device 320 updates the image region R3, but does not update the image regions R1, R2, R4, R5, and R6, and continues to display the same image as before the update. .

図１０Ｃは、第３の画面データＤ３３と当該画面データに対応する第３の画像データＤ３３ａとを示す図である。ここにおいて、第３の画面データＤ３３は、第２の画面データＤ３２に連続する画面データである。第３の画面データＤ３３は、ウィンドウＷ１の入力領域に文字が新たに表示されている点を除き、第２の画面データＤ３２と同じ画面を表す。 FIG. 10C is a diagram showing third screen data D33 and third image data D33a corresponding to the screen data. Here, the third screen data D33 is screen data that is continuous with the second screen data D32. The third screen data D33 represents the same screen as the second screen data D32 except that characters are newly displayed in the input area of the window W1.

この場合、第３の画像データＤ３３ａは、第２の画像データＤ３２ａと比較して差異がある部分、すなわち画像領域Ｒ１のみを含む画像を表す。第２の装置３２０は、第３の画像データＤ３３ａを受信すると、画像領域Ｒ１を更新する一方、画像領域Ｒ２、Ｒ３、Ｒ４、Ｒ５及びＲ６を更新せず、更新前と同じ画像を表示し続ける。 In this case, the third image data D33a represents a portion that is different from the second image data D32a, that is, an image including only the image region R1. Upon receiving the third image data D33a, the second device 320 updates the image region R1, but does not update the image regions R2, R3, R4, R5, and R6, and continues to display the same image as before the update. .

なお、第１の装置３１０は、画像領域Ｒ１〜Ｒ６を除く領域の画像を含む画像データを生成してもよい。この場合、第１の装置３１０は、画像領域Ｒ１〜Ｒ６を除く領域の画質を画像領域Ｒ１〜Ｒ６よりも低下させてもよい。また、第１の装置３１０は、画像領域Ｒ１〜Ｒ６を除く領域を含む画像を、画面の更新回数よりも少ない回数で画像データに含めてもよい。 Note that the first device 310 may generate image data including an image of an area other than the image areas R1 to R6. In this case, the first device 310 may lower the image quality of the regions other than the image regions R1 to R6 than the image regions R1 to R6. In addition, the first device 310 may include an image including an area excluding the image areas R1 to R6 in the image data with a smaller number of times than the number of screen updates.

本実施形態によれば、第２実施形態と同様の効果を奏することができる。具体的には、本実施形態によれば、第１の装置３１０が文字領域及び入力領域を含む画像データを生成及び送信することにより、第２の装置３２０における操作性と視認性の両立を図ることが可能である。 According to the present embodiment, the same effects as in the second embodiment can be obtained. Specifically, according to the present embodiment, the first device 310 generates and transmits image data including a character area and an input area, thereby achieving both operability and visibility in the second apparatus 320. It is possible.

また、本実施形態は、画面データが表す画面のうち、文字領域を除く領域に対して画像解析を実行する構成を採用することができる。この構成によれば、文字領域に対して画像解析を実行する場合に比べ、画像解析を実行する領域を少なくすることが可能である。 Further, the present embodiment can adopt a configuration in which image analysis is performed on an area other than the character area in the screen represented by the screen data. According to this configuration, it is possible to reduce the area in which the image analysis is performed as compared with the case where the image analysis is performed on the character area.

また、本実施形態は、文字領域又は入力領域の更新前との差異を判断し、差異がない場合に画像領域から除外する構成を採用することができる。この構成によれば、文字領域又は入力領域の差異の有無を判断しない場合に比べ、画像データのデータ量を少なくすることが可能である。 Further, the present embodiment can adopt a configuration in which a difference between the character area or the input area before the update is determined, and when there is no difference, the character area or the input area is excluded from the image area. According to this configuration, it is possible to reduce the data amount of the image data as compared with the case where it is not determined whether there is a difference between the character area and the input area.

［変形例］
本開示は、上述された第１実施形態〜第３実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、他の実施形態に対しても適用され得る。 [Modification]
The present disclosure is not limited to the above-described first to third embodiments. The present disclosure may include forms in which modifications or applications that can be understood by those skilled in the art are applied. For example, the present disclosure includes the modifications described below. In addition, the present disclosure may include embodiments in which the matters described in the present specification are appropriately combined as necessary. For example, items described using a specific embodiment can be applied to other embodiments.

（変形例１）
第１の領域及び第２の領域の形状は、特に限定されない。一の態様において、第１の領域及び第２の領域の形状は、正方形又は長方形である。別の態様において、第１の領域及び第２の領域の形状は、正方形又は長方形を複数連結させて組み合わせた形状であってもよい。第１の領域及び第２の領域は、画素単位で特定されてもよい。 (Modification 1)
The shapes of the first region and the second region are not particularly limited. In one aspect, the shapes of the first region and the second region are square or rectangular. In another aspect, the shapes of the first region and the second region may be a shape in which a plurality of squares or rectangles are connected and combined. The first area and the second area may be specified in pixel units.

（変形例２）
画像領域は、文字領域及び入力領域のいずれとも異なる領域を含んでもよい。このような領域は、例えば、ユーザの操作を受け付ける領域（ボタン、アイコンなど）や、所定の情報を表示するピクトグラムを表示する領域である。データ生成部３１９は、あらかじめ記録されたこのような領域の規則性を参照することにより、当該領域を画像領域に含む画像データを生成することが可能である。 (Modification 2)
The image area may include an area different from any of the character area and the input area. Such an area is, for example, an area for receiving a user operation (a button, an icon, or the like) or an area for displaying a pictogram displaying predetermined information. The data generation unit 319 can generate image data including the area in the image area by referring to the regularity of such an area recorded in advance.

（変形例３）
本開示に係る各装置（データ処理装置１００、第１の装置２１０、３１０及び第２の装置２２０、３２０）の具体的なハードウェア構成は、さまざまなバリエーションが考えられ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよい。 (Modification 3)
The specific hardware configuration of each device (the data processing device 100, the first devices 210 and 310, and the second devices 220 and 320) according to the present disclosure may have various variations, and is not limited to a specific configuration. . For example, each device may be realized using software.

図１１は、各装置を実現するコンピュータ装置４００のハードウェア構成の一例を示すブロック図である。コンピュータ装置４００は、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インターフェース４０６と、入出力インターフェース４０７とを備える。本開示に係る各装置は、図１１に示される構成（又はその一部）によって実現され得る。 FIG. 11 is a block diagram illustrating an example of a hardware configuration of a computer device 400 that implements each device. The computer device 400 includes a CPU (Central Processing Unit) 401, a ROM (Read Only Memory) 402, a RAM (Random Access Memory) 403, a storage device 404, a drive device 405, a communication interface 406, and an input / output interface. 407. Each device according to the present disclosure can be realized by the configuration (or a part thereof) illustrated in FIG.

ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、メモリカードなどの記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。通信インターフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インターフェース４０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インターフェース４０６及び入出力インターフェース４０７は、データを取得又は出力する手段として機能することができる。 The CPU 401 executes the program 408 using the RAM 403. The program 408 may be stored in the ROM 402. The program 408 may be recorded on a recording medium 409 such as a memory card and read by the drive device 405, or may be transmitted from an external device via the network 410. The communication interface 406 exchanges data with an external device via the network 410. The input / output interface 407 exchanges data with peripheral devices (such as an input device and a display device). The communication interface 406 and the input / output interface 407 can function as a unit for acquiring or outputting data.

なお、各装置の構成要素は、単一の回路（プロセッサなど）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。 The components of each device may be configured by a single circuit (such as a processor), or may be configured by a combination of a plurality of circuits. The circuit here may be either dedicated or general purpose.

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、データ処理装置１００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。 The configuration described as a single device in the above-described embodiment may be provided separately for a plurality of devices. For example, the data processing device 100 may be realized by a plurality of computer devices using cloud computing technology or the like.

１００データ処理装置
１１０取得部
１２０第１の特定部
１３０第２の特定部
１４０生成部
２００、３００画面共有システム
２１０、３１０第１の装置
２２０、３２０第２の装置
４００コンピュータ装置 Reference Signs List 100 data processing device 110 acquisition unit 120 first specification unit 130 second specification unit 140 generation unit 200, 300 screen sharing system 210, 310 first device 220, 320 second device 400 computer device

Claims

Acquiring means for acquiring screen data representing a screen to be shared;
First specifying means for specifying a first area where characters are displayed from a screen represented by the acquired screen data;
Second specifying means for specifying a second area where characters can be displayed from a screen represented by the acquired screen data;
Generating means for generating image data representing an image of a region of the screen represented by the acquired screen data and including the specified first region and second region. apparatus.

The first specifying means specifies the first area by a character recognition process,
The data processing device according to claim 1, wherein the second specifying unit specifies the second area by an image recognition process different from the character recognition process.

The data processing device according to claim 1, wherein the second specifying unit specifies the second area based on an image feature of the screen.

4. The data processing device according to claim 1, wherein the second specifying unit specifies the second region from a region excluding the first region from the screen. 5.

The generating means includes: first image data representing a first image of a region including the specified first region and second region; and a region excluding a region represented by the first image from the screen. Generating second image data representing a second image including at least:
The data processing device according to any one of claims 1 to 4, wherein at least one of an image quality and a generation frequency of the first image data is higher than that of the second image data.

A first device and a second device,
The first device comprises:
Acquiring means for acquiring screen data representing a screen to be shared;
First specifying means for specifying a first area where characters are displayed from a screen represented by the acquired screen data;
Second specifying means for specifying a second area where characters can be displayed from a screen represented by the acquired screen data;
A generation unit configured to generate image data representing an image of a region of the screen represented by the acquired screen data, the region including the specified first region and the second region;
First communication means for transmitting the generated image data to the second device,
The second device comprises:
Second communication means for receiving the transmitted image data,
A display unit for displaying an image corresponding to the received image data.

Get screen data representing the screen to be shared,
From a screen represented by the acquired screen data, a first area where characters are displayed and a second area where characters can be displayed are specified,
A data processing method for generating image data representing an image of a partial area of a screen represented by the acquired screen data and including the specified first area and second area.

On the computer,
A process of obtaining screen data representing a screen to be shared;
A process of identifying a first area where characters are displayed from a screen represented by the acquired screen data;
A process of specifying a second area where characters can be displayed from a screen represented by the acquired screen data;
Generating image data representing an image of a partial area of the screen represented by the acquired screen data and including the specified first area and second area. program.