JP7459629B2

JP7459629B2 - Display device, display method, and program

Info

Publication number: JP7459629B2
Application number: JP2020068672A
Authority: JP
Inventors: 倫希神田; 佑一河崎
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2020-04-06
Filing date: 2020-04-06
Publication date: 2024-04-02
Anticipated expiration: 2040-04-06
Also published as: JP2021165912A

Description

本発明は、表示装置、表示方法およびプログラムに関する。 The present invention relates to a display device, a display method, and a program.

通信内容を暗号化する技術が開発されている。例えば、相互に暗号通信する必要のない安全域のネットワークに属する端末が、暗号通信を必要とする危険域内の端末と通信する際、危険域内は暗号通信できるようにする技術が開示されている。 Techniques for encrypting communication content have been developed. For example, when a terminal belonging to a network in a safe area that does not require mutual encrypted communication communicates with a terminal in a dangerous area that requires encrypted communication, a technique has been disclosed that allows encrypted communication within the dangerous area.

また、暗号化通信と非暗号化通信のいずれにも対応できる表示装置が開発されている。 Furthermore, display devices that can handle both encrypted and non-encrypted communications have been developed.

暗号化通信に対応できない表示装置と暗号化通信に対応できる表示装置とが混在する状況においては、通信相手によって暗号化通信と非暗号化通信とを切り替える必要がある。しかし、従来技術では、あらかじめ通信相手のＩＰアドレス、通信内容のデータ種別等を装置に登録する必要があり、任意の相手との通信において、非暗号化通信と暗号化通信とを切り替えることが困難であるという問題があった。 In a situation where there is a mixture of display devices that cannot support encrypted communication and display devices that can support encrypted communication, it is necessary to switch between encrypted and unencrypted communication depending on the communication partner. However, with conventional technology, it is necessary to register the IP address of the communication partner, the data type of the communication content, etc. in the device in advance, which creates the problem that it is difficult to switch between unencrypted and encrypted communication when communicating with an arbitrary partner.

開示の技術は、通信相手によって暗号化通信と非暗号化通信とを切り替えることができる表示装置を提供することを目的とする。 The disclosed technology aims to provide a display device that can switch between encrypted and unencrypted communication depending on the communication partner.

開示の技術は、第一の表示装置との非暗号化方式の通信を許可するか否かの選択を受けるための画面を表示する表示部と、前記画面に対する選択結果を受け付ける受付部と、前記選択結果に基づいて、前記第一の表示装置との通信を制御する通信制御部と、を備え、前記表示部は、暗号化方式および非暗号化方式のいずれかの通信方式の選択を受けるための設定画面を表示し、前記受付部は、前記設定画面に対する選択結果を受け付け、前記表示装置は、前記受付部が前記設定画面で受け付けた選択結果の通信方式を記憶する通信方式記憶部と、前記通信方式記憶部に記憶された前記通信方式と異なる通信方式の通信を許可するという選択結果を、前記受付部が受け付けた場合には、前記通信制御部による通信方式を前記通信方式記憶部に記憶された通信方式から変更する通信方式変更部と、をさらに備え、前記表示部は、前記通信方式記憶部に記憶された前記通信方式が前記暗号化方式であって、前記表示装置が前記第一の表示装置から非暗号化方式での接続を要求された場合に、前記第一の表示装置との非暗号化方式の通信を許可するか否かの選択を受けるための前記画面を表示する、表示装置である。
The disclosed technology includes a display unit that displays a screen for receiving a selection of whether or not to allow communication with a first display device in an unencrypted manner, a reception unit that receives a selection result on the screen, and a communication control unit that controls communication with the first display device based on the selection result, wherein the display unit displays a setting screen for receiving a selection of either an encrypted communication method or a non-encrypted communication method, and the reception unit receives the selection result on the setting screen, and the display device further includes a communication method memory unit that stores the communication method of the selection result received by the reception unit on the setting screen, and a communication method change unit that changes the communication method by the communication control unit from the communication method stored in the communication method memory unit when the reception unit receives a selection result of allowing communication in a communication method different from the communication method stored in the communication method memory unit, and the display unit displays the screen for receiving a selection of whether or not to allow communication in an unencrypted manner with the first display device when the communication method stored in the communication method memory unit is the encrypted method and the display device is requested to connect in an unencrypted manner by the first display device .

通信相手によって暗号化通信と非暗号化通信とを切り替えることができる。 Encrypted communication and non-encrypted communication can be switched depending on the communication partner.

表示システムのシステム構成の一例を示す図である。1 is a diagram showing an example of a system configuration of a display system. 電子黒板について説明するための図である。FIG. 1 is a diagram for explaining an electronic whiteboard. 電子黒板のハードウェア構成の一例を示す図である。FIG. 2 is a diagram showing an example of the hardware configuration of an electronic whiteboard. 電子黒板の機能の一例を示す図である。FIG. 13 is a diagram illustrating an example of functions of an electronic whiteboard. 表示システムのシーケンスの一例を示す第一の図である。FIG. 2 is a first diagram illustrating an example of a sequence of a display system. 設定画面の一例を示す図である。FIG. 13 illustrates an example of a setting screen. 通信方式を示すデータの一例を示す図である。FIG. 3 is a diagram illustrating an example of data indicating a communication method. 変更確認画面の一例を示す図である。It is a figure which shows an example of a change confirmation screen. 表示システムのシーケンスの一例を示す第二の図である。FIG. 13 is a second diagram showing an example of a sequence of the display system. 表示システムの変形例を示す第一の図である。FIG. 11 is a first diagram showing a modified example of the display system. 表示システムの変形例を示す第二の図である。FIG. 11 is a second diagram showing a modified example of the display system. 表示システムの変形例を示す第三の図である。FIG. 11 is a third diagram showing a modified example of the display system.

以下に図面を参照して、本発明の実施の形態について説明する。 The following describes an embodiment of the present invention with reference to the drawings.

図１は、表示システムのシステム構成の一例を示す図である。 FIG. 1 is a diagram showing an example of the system configuration of a display system.

表示システム１００は、クライアント２００－１、２００－２、・・・、２００－Ｎと、サーバ３００と、を備える。表示システム１００において、クライアント２００－１、２００－２、・・・、２００－Ｎと、サーバ３００とは、通信ネットワークＮを介して接続される。以下の説明では、クライアント２００－１、２００－２、・・・、２００－Ｎのそれぞれを区別しない場合には、クライアント２００と呼ぶ。 The display system 100 includes clients 200-1, 200-2, ..., 200-N and a server 300. In the display system 100, the clients 200-1, 200-2, ..., 200-N and the server 300 are connected via a communication network N. In the following description, when there is no need to distinguish between the clients 200-1, 200-2, ..., 200-N, they will be referred to as clients 200.

また、クライアント２００とサーバ３００とは、ＷｅｂＡＰＩ（Application Programming Interface）等を用いて通信を行う。ＷｅｂＡＰＩとは、プログラムの提供する機能を外部の別のプログラムから呼び出して利用するためのＡＰＩであり、ＨＴＴＰ等のＷｅｂの技術を用いて構築されている。 Further, the client 200 and the server 300 communicate using a Web API (Application Programming Interface) or the like. Web API is an API for calling and using functions provided by a program from another external program, and is constructed using Web technology such as HTTP.

サーバ３００は、通信ネットワークＮ等を通じてクライアント２００からＨＴＴＰリクエストが送信されると、処理結果を、ＨＴＴＰレスポンスとしてクライアント２００に返信する。なお、ＷｅｂＡＰＩとの代表的な実装方式としては、ＲＥＳＴ（REpresentational State Transfer）とＳＯＡＰ（SimpleObject Access Protocol）が存在する。 When the server 300 receives an HTTP request from the client 200 via the communication network N or the like, the server 300 returns the processing result to the client 200 as an HTTP response. Note that REST (REpresentational State Transfer) and SOAP (Simple Object Access Protocol) are typical implementation methods with WebAPI.

本実施形態では、サーバ３００および一部のクライアント２００は、通信方式として、暗号化通信と非暗号化通信の両方に対応し、ユーザの設定によって選択可能となっている。 In this embodiment, the server 300 and some of the clients 200 support both encrypted and unencrypted communication as a communication method, which can be selected by the user's settings.

暗号化通信は、通信内容が暗号化されたセキュアな通信であって、例えば、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure）通信である。ＨＴＴＰＳ通信は、ＳＳＬ（Secure Sockets Layer）／ＴＬＳ（Transport Layer Security）プロトコルによって提供されるセキュアな接続の上でのＨＴＴＰ通信である。 Encrypted communication is secure communication in which the communication content is encrypted, such as HTTPS (Hypertext Transfer Protocol Secure) communication. HTTPS communication is HTTP communication over a secure connection provided by the SSL (Secure Sockets Layer)/TLS (Transport Layer Security) protocol.

非暗号化通信は、通信内容が暗号化されていない通信であって、暗号化通信以外の通信方式であって、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）通信である。 Unencrypted communication is communication in which the content is not encrypted, and is a communication method other than encrypted communication, such as HTTP (Hypertext Transfer Protocol) communication.

また、残りの一部のクライアント２００は、通信方式として、非暗号化通信にしか対応していない。したがって、残りの一部のクライアント２００は、サーバ３００との間で暗号化通信による接続ができない。 Further, some of the remaining clients 200 support only non-encrypted communication as a communication method. Therefore, some of the remaining clients 200 cannot connect to the server 300 through encrypted communication.

次に、クライアント２００およびサーバ３００のハードウェア構成について説明する。クライアント２００およびサーバ３００は、ともに電子黒板であって、同様のハードウェア構成および機能を有する。なお、サーバ３００は、表示装置の一例であり、クライアント２００は、表示装置であるサーバ３００と通信する第一の表示装置の一例である。 Next, the hardware configuration of the client 200 and the server 300 will be described. Both the client 200 and the server 300 are electronic whiteboards and have similar hardware configurations and functions. The server 300 is an example of a display device, and the client 200 is an example of a first display device that communicates with the server 300, which is a display device.

図２は、電子黒板について説明するための図である。 FIG. 2 is a diagram for explaining the electronic blackboard.

電子黒板２は、近距離通信回路２１９と、電源スイッチ２２２と、ディスプレイ２８０と、カメラ２６０と、を備える。電子黒板２は、電源スイッチ２２２が押下されると、ディスプレイ２８０に、電子ペンやユーザの指によって描画が可能な描画画面を表示させる。したがって、電子黒板２は、表示装置の一例であり、ディスプレイ２８０は、表示装置の表示部の一例である。 The electronic whiteboard 2 includes a short-range communication circuit 219, a power switch 222, a display 280, and a camera 260. When the power switch 222 is pressed, the electronic blackboard 2 causes the display 280 to display a drawing screen on which drawing can be performed using an electronic pen or a user's finger. Therefore, the electronic whiteboard 2 is an example of a display device, and the display 280 is an example of a display section of the display device.

図３は、電子黒板のハードウェア構成の一例を示す図である。 Figure 3 shows an example of the hardware configuration of an electronic whiteboard.

電子黒板２は、コンピュータを備え、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。 The electronic whiteboard 2 includes a computer, including a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, a network I/F 205, and external devices. A connection I/F (Interface) 206 is provided.

これらのうち、ＣＰＵ２０１は、電子黒板２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。 Among these, the CPU 201 controls the entire operation of the electronic whiteboard 2 . The ROM 202 stores programs used to drive the CPU 201, such as the CPU 201 and an IPL (Initial Program Loader). RAM 203 is used as a work area for CPU 201. The SSD 204 stores various data such as electronic whiteboard programs.

ネットワークＩ／Ｆ２０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。 The network I/F 205 controls communication with the communication network. The external device connection I/F 206 is an interface for connecting various external devices. In this case, the external devices are, for example, a USB (Universal Serial Bus) memory 230 and external devices (a microphone 240, a speaker 250, a camera 260).

また、電子黒板２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。 The electronic whiteboard 2 also includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a for the short-range communication circuit 219, a power switch 222, and selection switches 223.

これらのうち、キャプチャデバイス２１１は、外付けのノートＰＣ（Personal Computer）２７０のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ（Graphics Processing Unit）２１２は、グラフィクスを専門に扱う半導体チップである。ＧＰＵ２１２は、ＣＰＵ２０１に内蔵されてよいし、ＣＰＵ２０１と統合されていてもよい。 Among these, the capture device 211 causes the display of an external notebook PC (Personal Computer) 270 to display video information as a still image or a moving image. A GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The GPU 212 may be built into the CPU 201 or may be integrated with the CPU 201.

ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ２８０上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。 The display controller 213 controls and manages screen display in order to output the output image from the GPU 212 to the display 280 or the like. The contact sensor 214 detects when the electronic pen 290, the user's hand H, or the like comes into contact with the display 280. Sensor controller 215 controls processing of contact sensor 214.

接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２８０の上側両端部に設置された２つ受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射し、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。 The contact sensor 214 inputs and detects coordinates using an infrared blocking method. This method of inputting and detecting coordinates involves two light receiving and emitting devices installed at both ends of the upper side of the display 280 emitting multiple infrared rays parallel to the display 280, receiving the light that is reflected by a reflecting member installed around the periphery of the display 280 and returns along the same optical path as the light emitted by the light receiving element. The contact sensor 214 outputs the ID of the infrared rays emitted by the two light receiving and emitting devices that were blocked by an object to the sensor controller 215, and the sensor controller 215 identifies the coordinate position that is the contact position of the object.

電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。 The electronic pen controller 216 communicates with the electronic pen 290 to determine whether the tip or the end of the pen is touching the display 280. The short-range communication circuit 219 is a communication circuit such as NF (Near Field Communication) or Bluetooth (registered trademark). The power switch 222 is a switch for switching the power of the electronic whiteboard 2 ON/OFF. The selection switches 223 are, for example, a group of switches for adjusting the brightness and color of the display 280.

更に、電子黒板２は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Furthermore, the electronic whiteboard 2 is equipped with a bus line 210. The bus line 210 is an address bus, a data bus, etc. for electrically connecting each component such as the CPU 201.

尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The contact sensor 214 is not limited to an infrared blocking type, and may use various detection means such as a capacitive touch panel that identifies the contact position by detecting a change in capacitance, a resistive film touch panel that identifies the contact position by a voltage change between two opposing resistive films, or an electromagnetic induction touch panel that identifies the contact position by detecting electromagnetic induction caused by a contacting object touching the display unit. The electronic pen controller 216 may also determine whether or not the tip and end of the electronic pen 290 have been touched, as well as the part of the electronic pen 290 that the user holds, or other parts of the electronic pen.

また、本実施形態では、カメラ２６０は、ディスプレイ２８０に電子ペン２９０や手Ｈが接近したことを検出する近接センサの一例としたが、電子黒板２は、近接センサとして、投影型静電容量方式タッチパネルや赤外線センサ等を有していても良い。 Further, in the present embodiment, the camera 260 is an example of a proximity sensor that detects when the electronic pen 290 or the hand H approaches the display 280, but the electronic blackboard 2 uses a projected capacitive type proximity sensor. It may have a touch panel, an infrared sensor, etc.

次に、クライアント２００およびサーバ３００の機能について説明する。クライアント２００およびサーバ３００は、同様の機能を有する。そこで、以下、クライアント２００およびサーバ３００の共通する機能について説明する。 Next, the functions of the client 200 and the server 300 will be explained. Client 200 and server 300 have similar functionality. Therefore, the common functions of the client 200 and the server 300 will be explained below.

図４は、電子黒板の機能の一例を示す図である。 Figure 4 shows an example of the functions of an electronic whiteboard.

電子黒板２は、図３に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置（サーバ３００）」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置（クライアント２００）」にもなり得る。また、電子黒板２は、クライアント部２０と、サーバ部９０と、を備える。 The electronic whiteboard 2 has the functional configuration shown in FIG. 4 using the hardware configuration and program shown in FIG. 3. The electronic blackboard 2 can be a "host device (server 300)" that starts a remote sharing process first, and can also be a "participating device (client 200)" that later participates in a remote sharing process that has already started. . Further, the electronic whiteboard 2 includes a client section 20 and a server section 90.

クライアント部２０及びサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置（サーバ３００）となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０とによって遠隔共有処理が実現される。 The client section 20 and the server section 90 are functions realized within one housing of the electronic whiteboard 2. When the electronic blackboard 2 serves as the host device (server 300), the client unit 20 and the server unit 90 implement remote sharing processing in the electronic blackboard 2.

また、電子黒板２が参加装置（クライアント２００）となる場合には、参加装置（クライアント２００）の電子黒板２では、クライアント部２０が稼動して参加装置としての機能を提供するが、サーバ部９０は稼動しない。 In addition, when the electronic whiteboard 2 becomes a participating device (client 200), the client unit 20 of the electronic whiteboard 2 of the participating device (client 200) operates to provide the functions of the participating device, but the server unit 90 does not operate.

即ち、図１において、サーバ３００が主催装置で、クライアント２００が参加装置となる場合、サーバ３００のクライアント部２０は、同じサーバ３００内に実現されたサーバ部９０を介して、クライアント２００のクライアント部２０と通信を行う。一方、クライアント２００のクライアント部２０は、サーバ３００内に実現されたサーバ部９０を介して、サーバ３００のクライアント部２０と通信を行う。 That is, in FIG. 1, when the server 300 is the host device and the client 200 is the participating device, the client section 20 of the server 300 connects to the client section of the client 200 via the server section 90 implemented within the same server 300. Communicate with 20. On the other hand, the client unit 20 of the client 200 communicates with the client unit 20 of the server 300 via the server unit 90 implemented within the server 300.

続いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。 Next, the functional configuration of the client unit 20 will be described. The client unit 20 has a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event allocation unit 25, an operation processing unit 26, a gesture processing unit 27, a video superimposition unit 28, an image processing unit 30, and a communication control unit 60.

このうち、映像取得部２１は、ケーブルで接続された映像出力機器（ノートＰＣ２７０等）の出力画像を取得する。映像取得部２１は、映像出力機器（ノートＰＣ２７０等）から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器（ノートＰＣ２７０等）の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。 Among these, the video acquisition unit 21 acquires an output image from a video output device (such as a notebook PC 270) connected with a cable. When the video acquisition unit 21 receives an image signal from a video output device (notebook PC 270, etc.), it analyzes this image signal and generates an image that is a display image of the video output device (notebook PC 270, etc.) formed by this image signal. Image information such as the resolution of the frame and the update frequency of this image frame is derived and output to the image acquisition unit 31.

座標検知部２２は、ディスプレイ２８０（表示部２９）上でユーザによって生じたイベント（ディスプレイ２８０上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。 The coordinate detection unit 22 detects the coordinate position of an event (such as an action of the user's hand H touching the display 280) caused by the user on the display 280 (display unit 29). The coordinate detection unit 22 also detects the touched area.

自動調整部２３は、電子黒板２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。 The automatic adjustment unit 23 is activated when the electronic whiteboard 2 is started (also referred to as restarting), and detects coordinates using an optical sensor method so that the coordinate detection unit 22 can output appropriate values. The detection unit 22 adjusts parameters when processing images from the sensor camera.

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ２８０上に電子ペン２９０のペン先又は電子ペン２９０のペン尻が押下（タッチ）された動作等）を検出する。 The contact detection unit 24 detects an event caused by the user (such as the action of pressing (touching) the tip or bottom of the electronic pen 290 on the display 280).

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。 The event allocation unit 25 allocates the coordinate positions of events detected by the coordinate detection unit 22 and the detection results detected by the contact detection unit 24 to stroke drawing, UI operation, and gesture operation events.

ここで、「ストローク描画」は、ディスプレイ２８０上にストローク画像が表示されている場合に、ユーザがディスプレイ２８０上で電子ペン２９０を押下し、この押下した状態で電子ペン２９０を移動させ、最終的にディスプレイ２８０上から電子ペン２９０を離すまでのイベントである。 Here, "stroke drawing" refers to an event in which, while a stroke image is being displayed on the display 280, the user presses the electronic pen 290 on the display 280, moves the electronic pen 290 while still pressed down, and finally releases the electronic pen 290 from the display 280.

このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ２８０上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。 By this stroke drawing, for example, the alphabet "S", "T", etc. are drawn on the display 280. Note that this "stroke drawing" includes not only drawing an image, but also events such as deleting an already drawn image and editing a drawn image.

「ＵＩ操作」は、ディスプレイ２８０上にＵＩ画像が表示されている場合に、ユーザが電子ペン２９０又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン２９０により描画される線の色や幅等が設定される。 “UI operation” is an event in which the user presses a predetermined position with the electronic pen 290 or hand H when a UI image is displayed on the display 280. Through this UI operation, for example, the color and width of the line drawn by the electronic pen 290 are set.

「ジェスチャ操作」は、ディスプレイ２８０上にストローク画像が表示されている場合に、ユーザが手Ｈでディスプレイ２８０上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ２８０に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。 A "gesture operation" is an event in which the user touches or moves the display 280 with hand H when a stroke image is displayed on the display 280. With this gesture operation, for example, the user can enlarge (or reduce) the image, change the display area, or switch pages by moving hand H while touching the display 280 with hand H.

操作処理部２６は、イベント振分部２５によってＵＩ操作と判定されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判定されたものに対応した操作を実行する。 The operation processing unit 26 executes various operations based on the UI element determined to be a UI operation by the event distribution unit 25, in accordance with the UI element in which the event occurred. Examples of the elements of this UI include buttons, lists, check boxes, and text boxes. The gesture processing unit 27 executes an operation corresponding to the gesture operation determined by the event distribution unit 25.

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ２８０により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器（ノートＰＣ２７０等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。 The video overlay unit 28 displays the image overlaid by the display overlay unit 36 (described below) as a video on the display unit 29. The display unit 29 indicates a display function realized by the display 280. The video overlay unit 28 also performs picture-in-picture of a video sent from another video output device (such as the video conference terminal 7) on a video from a video output device (such as the notebook PC 270). Furthermore, the video overlay unit 28 performs switching so that the video that has been picture-in-picture and displayed on a part of the display unit 29 is displayed on the entire display unit 29.

画像処理部３０は、各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３２０、及び遠隔ライセンス管理テーブル３１０を有している。 The image processing unit 30 performs processes such as superimposing each image layer. The image processing unit 30 has an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, a page data storage unit 320, and a remote license management table 310.

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、映像出力機器（ノートＰＣ２７０等）からの出力画像に相当する。 Among these, the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21. The image acquisition unit 31 outputs this image data to the page processing unit 37. This image corresponds to an output image from a video output device (notebook PC 270, etc.).

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、操作データとして、データ管理部８０に記憶される。 The stroke processing section 32 draws an image, deletes a drawn image, or edits a drawn image based on an event related to stroke drawing assigned by the event distribution section 25. Further, the results of image drawing, deletion, and editing based on this stroke drawing are stored in the data management unit 80 as operation data.

ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。背景生成部３４は、ページ処理部３７がページデータ記憶部３２０から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、背景画像に相当する。背景画像のパターンは、無地、グリッド表示等である。 The UI image generation unit 33 generates a UI (user interface) image that is preset on the electronic whiteboard 2. The background generation unit 34 receives media data from the page data that the page processing unit 37 has read from the page data storage unit 320 . The background generation unit 34 outputs the received media data to the display superimposition unit 36. Further, the image based on this media data corresponds to a background image. The pattern of the background image is solid color, grid display, etc.

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像及びストローク画像を、ＵＩ画像及び背景画像中のどの位置に表示させるか又は非表示にさせるかを指示することができる。 The layout management unit 35 sends layout information indicating the layout of each image output from the image acquisition unit 31, stroke processing unit 32, and UI image generation unit 33 (or background generation unit 34) to the display superimposition unit 36. Managed. Thereby, the layout management section 35 can instruct the display superimposition section 36 as to where in the UI image and background image the output image and the stroke image should be displayed or hidden.

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。 The display superimposition unit 36 creates the layout of each image output from the image acquisition unit 31, stroke processing unit 32, and UI image generation unit 33 (background generation unit 34) based on the layout information output from the layout management unit 35. conduct.

ページ処理部３７は、ストローク画像のデータと出力画像のデータを、１つのページデータにまとめてページデータ記憶部３２０に記憶する。ストローク画像のデータは、ストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像のデータは、メディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３２０から読み出されると、背景画像のデータとして取り扱われる。 The page processing unit 37 stores the stroke image data and the output image data into one page data in the page data storage unit 320. The stroke image data forms part of the page data as stroke array data (each stroke data) indicated by the stroke array data ID. The data of the output image forms part of the page data as media data indicated by the media data ID. When this media data is read from the page data storage unit 320, it is treated as background image data.

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像をディスプレイ２８０に再度表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再度編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。 The page processing unit 37 can also transmit the media data of the page data that has been temporarily stored to the display superimposition unit 36 via the background generation unit 34, thereby allowing the video superimposition unit 28 to display the background image again on the display 280. The page processing unit 37 can also return the stroke array data (each stroke data) of the page data to the stroke processing unit 32, thereby enabling the strokes to be edited again. Furthermore, the page processing unit 37 can also delete or duplicate page data.

即ち、ページ処理部３７がページデータ記憶部３２０にページデータを記憶する時点でディスプレイ２８０上に表示されている出力画像のデータは、一旦、ページデータ記憶部３２０に記憶され、その後にページデータ記憶部３２０から読み出される際には、背景画像を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３２０から読み出したページデータのうち、ストローク画像を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３２０から読み出したページデータのうち、背景画像を示すメディアデータを、背景生成部３４に出力する。 That is, the data of the output image displayed on the display 280 at the time the page processing unit 37 stores the page data in the page data storage unit 320 is temporarily stored in the page data storage unit 320, and when it is subsequently read from the page data storage unit 320, it is read as media data indicating a background image. The page processing unit 37 then outputs stroke array data indicating a stroke image from the page data read from the page data storage unit 320 to the stroke processing unit 32. The page processing unit 37 also outputs media data indicating a background image from the page data read from the page data storage unit 320 to the background generation unit 34.

表示重畳部３６は、画像取得部３１からの出力画像、ストローク処理部３２からのストローク画像、ＵＩ画像生成部３３からのＵＩ画像、及び、背景生成部３４からの背景画像を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、各画像が重なってもユーザが見える順に、ＵＩ画像、ストローク画像、出力画像、及び背景画像の各レイヤの構成となっている。 The display superimposition unit 36 superimposes the output image from the image acquisition unit 31, the stroke image from the stroke processing unit 32, the UI image from the UI image generation unit 33, and the background image from the background generation unit 34 according to a layout specified by the layout management unit 35. This results in a configuration in which the layers of the UI image, stroke image, output image, and background image are arranged in an order that is visible to the user even when the images are superimposed.

遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、例えば、電子黒板２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。 The remote license management table 310 manages license data necessary to execute remote sharing processing. In this remote license management table 310, for example, the product ID of the electronic whiteboard 2, the license ID used for authentication, and the expiration date of the license are managed in association with each other.

クライアント部２０の通信制御部６０は、自機がサーバ３００の場合、サーバ３００のサーバ部９０との通信を制御する。また、自機がクライアント２００の場合、クライアント部２０の通信制御部６０は、通信ネットワークＮを介して接続されたサーバ３００のサーバ部９０との通信を制御する。これにより、クライアント部２０は、サーバ部９０からページデータを取得できる。 When the client unit 20's own device is the server 300, the communication control unit 60 of the client unit 20 controls communication with the server unit 90 of the server 300. When the client unit 20's own device is the client 200, the communication control unit 60 of the client unit 20 controls communication with the server unit 90 of the server 300 connected via the communication network N. This allows the client unit 20 to obtain page data from the server unit 90.

さらに、クライアント部２０は、受付部６１と、通信方式記憶部６２と、を備える。 Furthermore, the client unit 20 includes a reception unit 61 and a communication method storage unit 62.

クライアント部２０の受付部６１は、暗号化方式および非暗号化方式のいずれかの通信方式の選択を受けるための設定画面を表示部２９に表示させる。そして、受付部６１は、設定画面に対する選択結果を受け付ける。 The reception unit 61 of the client unit 20 causes the display unit 29 to display a setting screen for receiving a selection of either an encryption method or a non-encryption method of communication. The reception unit 61 then receives the selection result on the setting screen.

クライアント部２０の通信方式記憶部６２は、受付部６１が設定画面で受け付けた選択結果の通信方式を記憶する。これによって、通信制御部６０は、自機がクライアント２００の場合、通信方式記憶部６２に記憶された通信方式で、サーバ３００との通信を行うように制御する。 The communication method storage unit 62 of the client unit 20 stores the communication method selected by the reception unit 61 on the setting screen. As a result, when the communication control unit 60 is the client 200, it controls the communication control unit 60 to communicate with the server 300 using the communication method stored in the communication method storage unit 62.

また、サーバ部９０は、データ管理部８０と、通信制御部７０と、受付部９１と、通信方式記憶部９２と、通信方式変更部９３と、を備える。 The server unit 90 also includes a data management unit 80, a communication control unit 70, a reception unit 91, a communication method storage unit 92, and a communication method change unit 93.

データ管理部８０は、操作データや画像データ等を管理するものであり、サーバ３００又はクライアント２００のクライアント部２０に配信されるページデータを管理している。 The data management unit 80 manages operation data, image data, etc., and manages page data that is distributed to the server 300 or the client unit 20 of the client 200.

サーバ部９０の通信制御部７０は、サーバ３００又はクライアント２００のクライアント部２０にページデータを配信するための通信を制御する。具体的には、自機がサーバ３００の場合、サーバ部９０の通信制御部７０は、自機であるサーバ３００のクライアント部２０または、通信ネットワークＮを介して接続されたクライアント２００のクライアント部２０との通信を制御する。 The communication control unit 70 of the server unit 90 controls communication for delivering page data to the server 300 or the client unit 20 of the client 200. Specifically, when the own device is the server 300, the communication control section 70 of the server section 90 controls the client section 20 of the server 300, which is the own device, or the client section 20 of the client 200 connected via the communication network N. control communication with

サーバ部９０の受付部９１は、自機がサーバ３００である場合、クライアント部２０の受付部６１と同様に、暗号化方式および非暗号化方式のいずれかの通信方式の選択を受けるための設定画面を表示部２９に表示させる。そして、受付部９１は、設定画面に対する選択結果を受け付ける。 When the server unit 90 is the server 300, the reception unit 91 of the server unit 90, like the reception unit 61 of the client unit 20, configures settings for receiving the selection of a communication method between an encryption method and a non-encryption method. The screen is displayed on the display unit 29. The reception unit 91 then receives selection results for the setting screen.

サーバ部９０の通信方式記憶部９２は、受付部９１が設定画面で受け付けた選択結果の通信方式を記憶する。これによって、サーバ部９０の通信制御部７０は、自機がサーバ３００の場合、サーバ部９０の通信方式記憶部９２に記憶された通信方式で、クライアント２００との通信を行うように制御する。 The communication method storage section 92 of the server section 90 stores the communication method of the selection result accepted by the reception section 91 on the setting screen. As a result, when the server unit 90 is the server 300, the communication control unit 70 of the server unit 90 controls communication with the client 200 using the communication method stored in the communication method storage unit 92 of the server unit 90.

また、サーバ部９０の受付部９１は、クライアント２００との非暗号化方式の通信を許可するか否かの選択を受けるための変更確認画面を表示部２９に表示させる。そして、受付部９１は、変更確認画面に対する選択結果を受け付ける。 The reception unit 91 of the server unit 90 also causes the display unit 29 to display a change confirmation screen for receiving a selection of whether or not to permit communication with the client 200 in a non-encrypted format. The reception unit 91 then receives the selection result on the change confirmation screen.

通信方式変更部９３は、サーバ部９０の通信制御部７０による通信方式を、サーバ部９０の通信方式記憶部９２に記憶された通信方式から変更する。具体的には、通信方式記憶部９２に記憶された通信方式と異なる通信方式の通信を許可するという選択結果を、サーバ部９０の受付部９１が受け付けた場合には、サーバ部９０の通信制御部７０による通信方式を通信方式記憶部９２に記憶された通信方式から変更する。 The communication method changing unit 93 changes the communication method used by the communication control unit 70 of the server unit 90 from the communication method stored in the communication method storage unit 92 of the server unit 90. Specifically, when the reception unit 91 of the server unit 90 receives a selection result to permit communication using a communication method different from the communication method stored in the communication method storage unit 92, the communication method used by the communication control unit 70 of the server unit 90 is changed from the communication method stored in the communication method storage unit 92.

これによって、サーバ部９０の通信制御部７０は、変更された通信方式で、クライアント２００との通信を制御する。 As a result, the communication control unit 70 of the server unit 90 controls communication with the client 200 using the changed communication method.

次に、表示システム１００の動作について、図面を参照して説明する。 Next, the operation of the display system 100 will be described with reference to the drawings.

図５は、表示システムのシーケンスの一例を示す第一の図である。 FIG. 5 is a first diagram showing an example of the sequence of the display system.

クライアント２００は、クライアント２００のユーザの操作を受けて、通信方式を暗号化通信または非暗号化通信に設定する（ステップＳ１０１）。具体的には、クライアント２００の表示部２９は、設定画面を表示する。 In response to an operation by the user of the client 200, the client 200 sets the communication method to encrypted communication or non-encrypted communication (step S101). Specifically, the display unit 29 of the client 200 displays a setting screen.

図６は、設定画面の一例を示す図である。 Figure 6 shows an example of a settings screen.

設定画面１０１は、通信方式の設定操作を受けるためのスイッチ１０２を含む。スイッチ１０２は、通信方式を暗号化通信とするか非暗号化通信とするかを選択するためのＧＵＩ（Graphical User Interface）である。 The setting screen 101 includes a switch 102 for receiving a setting operation for the communication method. The switch 102 is a GUI (Graphical User Interface) for selecting whether the communication method is encrypted communication or non-encrypted communication.

クライアント部２０の受付部６１は、設定画面１０１の選択結果を受け付ける。そして、クライアント部２０の通信方式記憶部６２は、受付部６１が設定画面１０１で受け付けた選択結果の通信方式を記憶する。 The accepting unit 61 of the client unit 20 accepts the selection results on the setting screen 101. The communication method storage section 62 of the client section 20 stores the communication method of the selection result received by the reception section 61 on the setting screen 101.

図５に戻り、サーバ３００は、サーバ３００のユーザの操作を受けて、通信方式を暗号化通信に設定する（ステップＳ１０２）。なお、非暗号化通信に設定する場合のシーケンスについては、後述する。具体的には、サーバ３００の表示部２９は、設定画面を表示する。 Returning to FIG. 5, the server 300 receives an operation from the user of the server 300 and sets the communication method to encrypted communication (step S102). The sequence for setting to unencrypted communication will be described later. Specifically, the display unit 29 of the server 300 displays a setting screen.

サーバ３００の表示部２９が表示する設定画面は、図６に示した設定画面１０１と同様である。サーバ部９０の受付部９１は、設定画面の選択結果を受け付ける。そして、サーバ部９０の通信方式記憶部９２は、受付部９１が受け付けた選択結果の通信方式を記憶する。 The settings screen displayed by the display unit 29 of the server 300 is similar to the settings screen 101 shown in FIG. The reception unit 91 of the server unit 90 receives selection results on the setting screen. The communication method storage section 92 of the server section 90 stores the communication method of the selection result received by the reception section 91.

クライアント２００のクライアント部２０の通信制御部６０は、クライアント２００のユーザからサーバ３００への接続開始の操作を受けて、通信方式の送信要求を示す信号を、サーバ３００に送信する（ステップＳ１０３）。 When the user of the client 200 initiates a connection to the server 300, the communication control unit 60 of the client unit 20 of the client 200 transmits a signal indicating a request to transmit the communication method to the server 300 (step S103).

サーバ３００のサーバ部９０の通信制御部７０は、サーバ部９０の通信方式記憶部９２に記憶された通信方式（ここでは、暗号化通信）を示すデータを、クライアント２００に送信する（ステップＳ１０４）。 The communication control unit 70 of the server unit 90 of the server 300 transmits data indicating the communication method (here, encrypted communication) stored in the communication method storage unit 92 of the server unit 90 to the client 200 (step S104). .

図７は、通信方式を示すデータの一例を示す図である。 FIG. 7 is a diagram illustrating an example of data indicating a communication method.

データ１０３は、ＸＭＬ（Extensible Markup Language）形式のデータの一例である。データ１０３のｃｏｎｎｅｃｔＶｅｒｓｉｏｎタグの値が通信方式を示す値であり、例えば、４ならば非暗号化通信、５ならば暗号化通信である。 Data 103 is an example of data in XML (Extensible Markup Language) format. The value of the connectVersion tag of the data 103 indicates the communication method; for example, 4 indicates non-encrypted communication, and 5 indicates encrypted communication.

データ１０３のデータ形式は、ＸＭＬ形式に限らず、他の形式であっても良い。例えば、以下のようなＪＳＯＮ（JavaScript（登録商標） Object Notation）形式であっても良い。
｛
"ｔｙｐｅ"："Ｄ１",
"ｄｅｓｃｒｉｐｔｉｏｎ"："ＩｎｔｅｒａｃｔｉｖｅＷｈｉｔｅｂｏａｒｄＬＴ",
"ｖｅｒｓｉｏｎ"："１．６.０．０",
"ｃｏｎｎｅｃｔＶｅｒｓｉｏｎ"："４",
｝ The data format of the data 103 is not limited to the XML format, and may be other formats, such as the JavaScript (registered trademark) Object Notation (JSON) format shown below.
{
"type": "D1",
"description": "Interactive Whiteboard LT",
"version": "1.6.0.0",
"connectVersion": "4",
｝

図５に戻り、クライアント２００のクライアント部２０の通信制御部６０は、データ１０３のｃｏｎｎｅｃｔＶｅｒｓｉｏｎタグに記述された値が５（暗号化通信）であって、通信方式記憶部６２に記憶された通信方式が暗号化通信である場合、暗号化通信で接続を開始する（ステップＳ１０５）。この場合、受信した通信方式とクライアント２００に設定された通信方式が一致するため、ユーザ確認等は不要である。 Returning to FIG. 5, if the value described in the connectVersion tag of data 103 is 5 (encrypted communication) and the communication method stored in communication method storage unit 62 is encrypted communication, communication control unit 60 of client unit 20 of client 200 starts a connection using encrypted communication (step S105). In this case, since the received communication method matches the communication method set in client 200, user confirmation, etc. is not required.

また、ステップＳ１０４の処理に続いて、クライアント２００のクライアント部２０の通信制御部６０は、通信方式記憶部６２に記憶された通信方式が非暗号化通信である場合、非暗号化通信での接続を要求する信号をサーバ３００に送信する（ステップＳ１０６）。この場合、受信した通信方式とクライアント２００に設定された通信方式が一致しないため、クライアント２００は、すぐに接続を開始するのではなく、非暗号化通信での接続をサーバ３００に要求する。 Further, following the process of step S104, if the communication method stored in the communication method storage section 62 is non-encrypted communication, the communication control section 60 of the client section 20 of the client 200 connects using non-encrypted communication. A signal requesting the same is transmitted to the server 300 (step S106). In this case, since the received communication method and the communication method set in the client 200 do not match, the client 200 requests the server 300 to connect using unencrypted communication instead of starting the connection immediately.

サーバ３００の表示部２９は、非暗号化通信への変更を確認するための変更確認画面を表示する（ステップＳ１０７）。 The display unit 29 of the server 300 displays a change confirmation screen for confirming the change to non-encrypted communication (step S107).

図８は、変更確認画面の一例を示す図である。 FIG. 8 is a diagram showing an example of a change confirmation screen.

変更確認画面１０４は、ＯＫボタン１０５と、キャンセルボタン１０６と、を含む。また、変更確認画面１０４は、非暗号化通信への接続を行うか否かを確認する旨と、非暗号化通信のリスクとを示すメッセージを含んでも良い。 The change confirmation screen 104 includes an OK button 105 and a cancel button 106. The change confirmation screen 104 may also include a message prompting the user to confirm whether or not to connect to unencrypted communication and indicating the risks of unencrypted communication.

サーバ３００のサーバ部９０の受付部９１は、ＯＫボタン１０５またはキャンセルボタン１０６の押下による選択操作を受け付ける。 The receiving unit 91 of the server unit 90 of the server 300 receives a selection operation by pressing the OK button 105 or the cancel button 106.

受付部９１が、キャンセルボタン１０６の押下を受け付けた場合、受け付けた選択結果は、非暗号化方式の通信を許可しないという選択であることを示す。その場合、通信制御部７０は、クライアント２００との通信を行わないように制御する。 When the receiving unit 91 receives the press of the cancel button 106, the received selection result indicates that the non-encrypted communication is not permitted. In that case, the communication control unit 70 controls not to communicate with the client 200.

また、受付部９１が、ＯＫボタン１０５の押下を受け付けた場合、受け付けた選択結果は、非暗号化方式の通信を許可するという選択であることを示す。 In addition, when the reception unit 91 receives a press of the OK button 105, it indicates that the received selection result is a selection to permit communication using a non-encrypted method.

図５に戻り、受付部９１が、ＯＫボタン１０５の押下を受け付けた場合、通信方式変更部９３は、クライアント２００との通信方式を非暗号化通信に変更する（ステップＳ１０８）。そして、通信制御部７０は、クライアント２００との通信を非暗号化方式で制御する。これによって、サーバ３００は、クライアント２００との非暗号化通信での接続を開始する（ステップＳ１０９）。 Returning to FIG. 5, when the reception unit 91 receives the press of the OK button 105, the communication method changing unit 93 changes the communication method with the client 200 to non-encrypted communication (step S108). The communication control unit 70 then controls communication with the client 200 in a non-encrypted manner. As a result, the server 300 starts a connection with the client 200 through non-encrypted communication (step S109).

このように、本実施形態に係るサーバ３００は、通信方式として暗号化通信が設定された場合に、クライアント２００の設定によって、暗号化通信でも非暗号化通信でも接続することができる。 In this way, when encrypted communication is set as the communication method, the server 300 according to this embodiment can connect with either encrypted or unencrypted communication depending on the settings of the client 200.

上述したクライアント２００は、設定によって暗号化通信か非暗号化通信かを選択することができる。クライアント２００によっては、暗号化通信に対応していない場合でも、非暗号化通信が選択された場合と同様の処理によって、サーバ３００と接続することができる。具体的には、ステップＳ１０１の処理をスキップし、ステップＳ１０４の処理に続いて、ステップＳ１０６からステップＳ１０９の処理が実行されれば良い。 The client 200 described above can select encrypted communication or non-encrypted communication depending on the settings. Even if the client 200 does not support encrypted communication, it is possible to connect to the server 300 through the same process as when non-encrypted communication is selected. Specifically, the process in step S101 may be skipped, and the processes in steps S106 to S109 may be executed following the process in step S104.

サーバ３００は、クライアント２００に非暗号化通信が設定されているか、上述したようにクライアント２００が暗号化通信に対応していない場合、非暗号化通信での接続を許可するか否かをユーザに確認することができる。これによって、ユーザは、非暗号化通信のリスクを認識しつつ接続をするか、接続を中止するかを、接続前に意思決定をすることができる。 The server 300 asks the user if the client 200 is configured for non-encrypted communication, or if the client 200 does not support encrypted communication as described above, whether or not to allow connection using non-encrypted communication. It can be confirmed. This allows the user to make a decision before connecting whether to connect or cancel the connection while being aware of the risks of unencrypted communication.

次に、サーバ３００に非暗号化通信を設定する場合の動作について説明する。 Next, we will explain the operation when setting up unencrypted communication on the server 300.

図９は、表示システムのシーケンスの一例を示す第二の図である。 Figure 9 is a second diagram showing an example of a sequence of a display system.

ステップＳ２０１は、図５に示したステップＳ１０１と同じである。 Step S201 is the same as step S101 shown in Figure 5.

サーバ３００は、サーバ３００のユーザの操作を受けて、通信方式を非暗号化通信に設定する（ステップＳ２０２）。 In response to the operation of the user of server 300, server 300 sets the communication method to unencrypted communication (step S202).

クライアント２００のクライアント部２０の通信制御部６０は、クライアント２００のユーザからサーバ３００への接続開始の操作を受けて、通信方式の送信要求を示す信号を、サーバ３００に送信する（ステップＳ２０３）。 When the user of the client 200 initiates a connection to the server 300, the communication control unit 60 of the client unit 20 of the client 200 transmits a signal indicating a request to transmit the communication method to the server 300 (step S203).

サーバ３００のサーバ部９０の通信制御部７０は、サーバ部９０の通信方式記憶部９２に記憶された通信方式（ここでは、非暗号化通信）を示すデータを、クライアント２００に送信する（ステップＳ２０４）。 The communication control unit 70 of the server unit 90 of the server 300 transmits data indicating the communication method (here, unencrypted communication) stored in the communication method storage unit 92 of the server unit 90 to the client 200 (step S204).

クライアント２００のクライアント部２０の通信制御部６０は、データ１０３のｃｏｎｎｅｃｔＶｅｒｓｉｏｎタグに記述された値が４（非暗号化通信）であって、通信方式記憶部６２に記憶された通信方式が暗号化通信である場合、暗号化通信での接続を要求する信号をサーバ３００に送信する（ステップＳ２０５）。 If the value described in the connectVersion tag of data 103 is 4 (unencrypted communication) and the communication method stored in the communication method storage unit 62 is encrypted communication, the communication control unit 60 of the client unit 20 of the client 200 sends a signal to the server 300 requesting a connection using encrypted communication (step S205).

この場合、受信した通信方式とクライアント２００に設定された通信方式が一致しないため、クライアント２００は、すぐに接続を開始するのではなく、暗号化通信での接続をサーバ３００に要求する。 In this case, since the received communication method and the communication method set in the client 200 do not match, the client 200 requests the server 300 to connect using encrypted communication instead of starting the connection immediately.

サーバ３００の表示部２９は、暗号化通信への変更を確認するための変更確認画面を表示する（ステップＳ２０６）。ここで表示される変更確認画面は、非暗号化通信への変更を確認するための変更確認画面１０４と同様である。ただし、ここで表示される変更確認画面は、例えば、暗号化通信への接続を行うか否かを確認する旨を示すメッセージを含み、非暗号化通信のリスクを示すメッセージを含まない。 The display unit 29 of the server 300 displays a change confirmation screen for confirming the change to encrypted communication (step S206). The change confirmation screen displayed here is similar to the change confirmation screen 104 for confirming the change to unencrypted communication. However, the change confirmation screen displayed here includes, for example, a message prompting the user to confirm whether or not to connect to encrypted communication, and does not include a message indicating the risks of unencrypted communication.

受付部９１が、キャンセルボタン１０６の押下を受け付けた場合、受け付けた選択結果は、暗号化方式の通信を許可しないという選択であることを示す。その場合、通信制御部７０は、クライアント２００との通信を行わないように制御する。 When the accepting unit 91 accepts the pressing of the cancel button 106, the accepted selection result indicates that the encrypted communication is not permitted. In that case, the communication control unit 70 controls not to communicate with the client 200.

また、受付部９１が、ＯＫボタン１０５の押下を受け付けた場合、受け付けた選択結果は、暗号化方式の通信を許可するという選択であることを示す。 Furthermore, when the receiving unit 91 receives a press of the OK button 105, the received selection result indicates that the selection is to permit encrypted communication.

受付部９１が、ＯＫボタン１０５の押下を受け付けた場合、通信方式変更部９３は、クライアント２００との通信方式を暗号化通信に変更する（ステップＳ２０７）。そして、通信制御部７０は、クライアント２００との通信を暗号化方式で制御する。これによって、サーバ３００は、クライアント２００との暗号化通信での接続を開始する（ステップＳ２０８）。 When the receiving unit 91 receives the press of the OK button 105, the communication method changing unit 93 changes the communication method with the client 200 to encrypted communication (step S207). The communication control unit 70 then controls communication with the client 200 using an encryption method. As a result, the server 300 starts connecting with the client 200 through encrypted communication (step S208).

また、ステップＳ２０４の処理に続いて、クライアント２００のクライアント部２０の通信制御部６０は、データ１０３のｃｏｎｎｅｃｔＶｅｒｓｉｏｎタグに記述された値が４（非暗号化通信）であって、通信方式記憶部６２に記憶された通信方式が非暗号化通信である場合、非暗号化通信で接続を開始する（ステップＳ２０９）。この場合、受信した通信方式とクライアント２００に設定された通信方式が一致するため、ユーザ確認等は不要である。 Following the processing of step S204, if the value described in the connectVersion tag of data 103 is 4 (unencrypted communication) and the communication method stored in the communication method storage unit 62 is unencrypted communication, the communication control unit 60 of the client unit 20 of the client 200 starts a connection using unencrypted communication (step S209). In this case, since the received communication method matches the communication method set in the client 200, user confirmation, etc. is not required.

このように、本実施形態に係るサーバ３００は、通信方式として非暗号化通信が設定された場合にも、クライアント２００の設定によって、暗号化通信でも非暗号化通信でも接続することができる。 In this way, the server 300 according to the present embodiment can connect with either encrypted communication or non-encrypted communication depending on the settings of the client 200 even when non-encrypted communication is set as the communication method.

サーバ３００は、クライアント２００に暗号化通信が設定されている場合、暗号化通信での接続を許可するか否かをユーザに確認することができる。これによって、ユーザは、クライアント２００からの要求に応じるか否かについて、接続前に意思決定をすることができる。 If encrypted communication is set for the client 200, the server 300 can confirm with the user whether or not to permit connection using encrypted communication. This allows the user to decide whether or not to respond to a request from the client 200 before connection.

次に、上述した表示システム１００の変形例について説明する。 Next, we will explain a modified example of the display system 100 described above.

図１０は、表示システムの変形例を示す第一の図である。 Figure 10 is a first diagram showing a modified example of a display system.

図１０の例では、電子黒板２の代わりに、端末装置６００、画像投影装置７００、ペン動作検出装置８１０を有する。 In the example of FIG. 10, instead of the electronic whiteboard 2, a terminal device 600, an image projection device 700, and a pen motion detection device 810 are included.

端末装置６００は、画像投影装置７００及びペン動作検出装置８１０と有線で接続されている。 The terminal device 600 is connected to the image projection device 700 and the pen motion detection device 810 by wire.

画像投影装置７００は、端末装置６００により入力された画像データをスクリーン８００に投影させる。 Image projection device 700 projects image data input through terminal device 600 onto screen 800 .

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。 The pen operation detection device 810 communicates with the electronic pen 820 and detects the operation of the electronic pen 820 in the vicinity of the screen 800. Specifically, the electronic pen 820 detects coordinate information indicating the point that the electronic pen 820 is pointing at on the screen 800 and transmits the coordinate information to the terminal device 600.

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力されるストローク画像を示すストローク画像データを生成し、画像投影装置７００によってストローク画像をスクリーン８００に描画させる。 Based on the coordinate information received from the pen operation detection device 810, the terminal device 600 generates stroke image data indicating a stroke image input by the electronic pen 820, and causes the image projection device 700 to draw the stroke image on the screen 800.

また、端末装置６００は、画像投影装置７００に投影させている画像を示す重畳画像データを含むページデータを生成し、サーバ装置５５０に送信する。 Further, the terminal device 600 generates page data including superimposed image data indicating the image being projected by the image projection device 700, and transmits it to the server device 550.

図１１は、表示システムの変形例を示す第二の図である。 FIG. 11 is a second diagram showing a modification of the display system.

図１１の例では、電子黒板２の代わりに、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。 The example in FIG. 11 includes a terminal device 600, a display 800A, and a pen motion detection device 810 instead of the electronic whiteboard 2.

ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。尚、図２６の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。 Pen motion detection device 810 is placed near display 800A, detects coordinate information indicating the point indicated by electronic pen 820A on display 800A, and transmits it to terminal device 600. In the example of FIG. 26, the electronic pen 820A may be charged by the terminal device 600 via the USB connector.

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力されるストローク画像の画像データを生成し、ディスプレイ８００Ａに表示させる。 Based on the coordinate information received from the pen operation detection device 810, the terminal device 600 generates image data of the stroke image input by the electronic pen 820A and displays it on the display 800A.

また、本実施形態の端末装置６００は、画像投影装置７００に投影させている画像を示す重畳画像データを含むページデータを生成し、サーバ装置５５０に送信する。 Further, the terminal device 600 of this embodiment generates page data including superimposed image data indicating the image projected by the image projection device 700, and transmits it to the server device 550.

図１２は、表示システムの変形例を示す第三の図である。 Figure 12 is a third diagram showing a modified example of the display system.

図１２の例では、電子黒板２の代わりに、端末装置６００と、画像投影装置７００とを有する。 In the example of FIG. 12, instead of the electronic whiteboard 2, a terminal device 600 and an image projection device 700 are provided.

端末装置６００は、電子ペン８２０Ｂと無線通信を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力されるストローク画像の画像データを生成し、画像投影装置７００によって、スクリーン８００上にストローク画像を投影させる。 The terminal device 600 wirelessly communicates with the electronic pen 820B and receives coordinate information of the point indicated by the electronic pen 820B on the screen 800. The terminal device 600 then generates image data of the stroke image input by the electronic pen 820B based on the received coordinate information, and causes the image projection device 700 to project the stroke image onto the screen 800.

また、端末装置６００は、画像投影装置７００に投影させている画像を示す重畳画像データを含むページデータを生成し、サーバ装置５５０に送信する。 In addition, the terminal device 600 generates page data including superimposed image data showing the image being projected by the image projection device 700, and transmits the page data to the server device 550.

以上のように、上述した各実施形態は、様々なシステム構成において適用することができる。 As described above, each of the embodiments described above can be applied in various system configurations.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. It includes devices such as ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), and conventional circuit modules.

尚、本実施形態が適用される装置は、タッチ操作によって、オブジェクトを操作する機能を備えた表示装置であれば良く、電子黒板２に限定されにない。本実施形態が適用される装置は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ等であってもよい。 The device to which this embodiment is applied may be any display device having a function for operating objects by touch operation, and is not limited to the electronic whiteboard 2. The device to which this embodiment is applied may be, for example, a PJ (Projector), an output device such as digital signage, a HUD (Head Up Display) device, a network home appliance, an automobile (Connected Car), a notebook PC (Personal Computer), a mobile phone, a smartphone, a tablet terminal, a game console, a PDA (Personal Digital Assistant), a wearable PC, etc.

また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。 Furthermore, the devices described in the embodiments represent only one of multiple computing environments for implementing the embodiments disclosed herein.

ある実施形態では、サーバ３００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、クライアント２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。 In some embodiments, server 300 includes multiple computing devices, such as a server cluster. The plurality of computing devices are configured to communicate with each other via any type of communication link, including a network, shared memory, etc., to perform the processes disclosed herein. Similarly, client 200 may include multiple computing devices configured to communicate with each other.

さらに、サーバ３００およびクライアント２００は、図５または図９に示す処理のステップを様々な組み合わせで共有するように構成できる。例えば、サーバ３００の表示部２９によって実行されるプロセスは、クライアント２００の表示部２９によって実行され得る。同様に、サーバ３００の通信方式変更部９３の機能は、クライアント２００によって実行することができる。また、サーバ３００とクライアント２００の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。 Furthermore, the server 300 and the client 200 can be configured to share the steps of the process shown in FIG. 5 or 9 in various combinations. For example, a process executed by the display unit 29 of the server 300 may be executed by the display unit 29 of the client 200. Similarly, the functions of the communication method changing unit 93 of the server 300 can be executed by the client 200. Further, each element of the server 300 and the client 200 may be combined into one server device, or may be divided into multiple devices.

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 The present invention has been described above based on each embodiment, but the present invention is not limited to the requirements shown in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.

２電子黒板
２０クライアント部
２９表示部
６０通信制御部
６１受付部
６２通信方式記憶部
７０通信制御部
８０データ管理部
９０サーバ部
９１受付部
９２通信方式記憶部
９３通信方式変更部
１００表示システム
２００クライアント
３００サーバ 2 Electronic whiteboard 20 Client unit 29 Display unit 60 Communication control unit 61 Reception unit 62 Communication method storage unit 70 Communication control unit 80 Data management unit 90 Server unit 91 Reception unit 92 Communication method storage unit 93 Communication method change unit 100 Display system 200 Client 300 Server

特開平０８－２０４６９８号公報Japanese Patent Application Publication No. 08-204698

Claims

a display unit that displays a screen for receiving a selection as to whether or not to permit communication in a non-encrypted manner with the first display device;
a reception unit that receives a selection result on the screen;
a communication control unit that controls communication with the first display device based on the selection result ;
the display unit displays a setting screen for receiving a selection of a communication method, either an encryption method or a non-encryption method;
The reception unit receives a selection result on the setting screen,
The display device includes:
a communication method storage unit that stores the communication method selected by the reception unit on the setting screen;
a communication method changing unit that changes the communication method used by the communication control unit from the communication method stored in the communication method storage unit when the reception unit receives a selection result that communication using a communication method different from the communication method stored in the communication method storage unit is permitted,
the display unit displays the screen for receiving a selection of whether or not to permit communication with the first display device in the non-encrypted method when the communication method stored in the communication method storage unit is the encrypted method and the display device is requested by the first display device to connect in the non-encrypted method.
Display device.

the communication control unit controls communication with the first display device in an unencrypted manner when the selection result is a selection to permit communication in an unencrypted manner, and controls communication not to be performed with the first display device when the selection result is a selection to not permit communication in an unencrypted manner.
The display device according to claim 1 .

the display unit displays a screen for receiving a selection of whether or not to permit communication with the first display device in the encryption method when the communication method stored in the communication method storage unit is the non-encryption method and the display device is requested by the first display device to establish a connection in the encryption method.
The display device according to claim 1 .

The communication control unit receives data in XML format or JSON format from the first display device, in which the value of a specific element indicates a request for connection using either an encryption method or a non-encryption method.
The display device according to any one of claims 1 to 3 .

A display method executed by a display device, comprising:
displaying a screen for receiving a selection as to whether or not to permit communication in a non-encrypted manner with the first display device;
accepting a selection result on the screen;
and controlling communication with the first display device based on the selection result .
The display step displays a setting screen for receiving a selection of a communication method, either an encryption method or a non-encryption method,
The receiving step receives a selection result on the setting screen,
The display device includes:
storing the communication method selected on the setting screen;
a step of changing the communication method in the controlling step from the communication method stored in the storing step when a selection result that allows communication of a communication method different from the communication method stored in the storing step is received,
when the communication method stored in the storing step is the encryption method and the display device is requested by the first display device to establish a connection in an unencrypted manner, displaying the screen for receiving a selection as to whether or not to permit communication in an unencrypted manner with the first display device.
Display method.

In the computer included in the display device,
Displaying a screen for receiving a selection as to whether or not to permit non-encrypted communication with the first display device;
accepting selection results for the screen;
controlling communication with the first display device based on the selection result;
run the
The displaying step displays a setting screen for receiving a selection of a communication method between an encrypted method and a non-encrypted method;
The accepting step includes accepting selection results for the setting screen;
The display device includes:
storing the communication method of the selection result accepted on the setting screen;
If a selection result of permitting communication using a communication method different from the communication method stored in the storing step is received, the communication method in the controlling step is selected from the communication method stored in the storing step. further comprising steps for changing, and
If the communication method stored in the storing step is the encryption method, and the display device is requested to connect by the non-encryption method from the first display device, the first display displaying the screen for receiving a selection as to whether or not to permit non-encrypted communication with the device;
program.