Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5182953B2 - Remote control system - Google Patents
[go: Go Back, main page]

JP5182953B2 - Remote control system - Google Patents

Remote control system Download PDF

Info

Publication number
JP5182953B2
JP5182953B2 JP2009154046A JP2009154046A JP5182953B2 JP 5182953 B2 JP5182953 B2 JP 5182953B2 JP 2009154046 A JP2009154046 A JP 2009154046A JP 2009154046 A JP2009154046 A JP 2009154046A JP 5182953 B2 JP5182953 B2 JP 5182953B2
Authority
JP
Japan
Prior art keywords
remote control
bluetooth
computer
packet
spp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009154046A
Other languages
Japanese (ja)
Other versions
JP2011010223A (en
Inventor
剣明 呉
晴久 加藤
恒夫 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2009154046A priority Critical patent/JP5182953B2/en
Publication of JP2011010223A publication Critical patent/JP2011010223A/en
Application granted granted Critical
Publication of JP5182953B2 publication Critical patent/JP5182953B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Details Of Television Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、複数の無線式リモコン端末から送信される遠隔操作信号を受信して実質的に同時に処理するリモコン制御システムに関する。   The present invention relates to a remote control system that receives remote control signals transmitted from a plurality of wireless remote control terminals and processes them substantially simultaneously.

一台のコンピュータを複数の利用者がリモコン端末を用いて同時に遠隔操作できるようにすれば、コンピュータ上で実行中の1ないし複数のアプリケーションを複数の利用者が同時に利用できるようになる。例えば、自動車レースのゲームプログラムを大画面モニタの接続されたコンピュータで実行する際に、複数台の競技車両のそれぞれに無線式リモコン端末を割り当て、各利用者がそれぞれの無線式リモコン端末で競技車両を自由に操作できるようにすれば、多数の利用者が競い合うことで臨場感の溢れるゲーム展開が可能になる。   If a single computer can be remotely operated by a plurality of users at the same time using a remote control terminal, a plurality of users can simultaneously use one or a plurality of applications running on the computer. For example, when a car racing game program is executed on a computer connected to a large screen monitor, a wireless remote control terminal is assigned to each of a plurality of racing vehicles, and each user uses a wireless remote control terminal to play a racing vehicle. Can be operated freely, it is possible to develop a game full of realism by competing with many users.

このとき、無線式のリモコン端末を用いれば、各利用者はコンピュータから離れた位置で操作を行えるので多数の利用者による同時操作が容易になる。しかしながら、携帯電話や家電用のリモコンに普及している従来の赤外線リモコンでは、各リモコンから送信されたパルス信号が干渉するので複数の同時利用には適さない。これに対して、電波式のリモコンであれば複数の同時利用が可能になるものの、普及率が低いために別途に専用リモコンを用意しなければならない。   At this time, if a wireless remote control terminal is used, each user can perform an operation at a position away from the computer, so that simultaneous operation by a large number of users is facilitated. However, the conventional infrared remote control that is widely used for remote controls for mobile phones and home appliances is not suitable for a plurality of simultaneous use because pulse signals transmitted from each remote control interfere with each other. On the other hand, a radio remote controller can be used simultaneously, but since the penetration rate is low, a dedicated remote controller must be prepared separately.

一方、近距離無線通信システムとしてBluetoothが普及し、多くの携帯電話にBluetoothが実装されるようになってきた。したがって、無線式リモコンをBluetooth方式とすれば、多くの利用者は使い慣れた自身の携帯電話をリモコン端末として利用できるようになる。   On the other hand, Bluetooth has spread as a short-range wireless communication system, and Bluetooth has been implemented in many mobile phones. Therefore, if the wireless remote control is a Bluetooth system, many users can use their own mobile phone as a remote control terminal.

特許文献1には、再生装置がレジューム情報をリモコン装置側へBluetoothのシリアルポートプロファイル(SPP)を用いて送信して保持させ、次回の再生時にはリモコン装置がレジューム情報を再生装置に送信してコンテンツをジャンプ再生させることにより、再生装置におけるユーザごとのレジューム情報の管理を不要にする技術が開示されている。   In Patent Document 1, a playback device transmits resume information to a remote control device side using a Bluetooth serial port profile (SPP), and the remote control device transmits the resume information to the playback device at the next playback. A technique is disclosed that makes it unnecessary to manage resume information for each user in a playback device by jumping and playing back.

特許文献2には、Bluetoothのハンズフリープロファイル(HSF)を用いて、腕時計型端末装置が携帯電話装置にカメラシャッターの押下コマンドを送信すると、携帯電話装置のカメラが撮像を実行し、撮像完了後に腕時計型端末装置が携帯電話装置に撮像画像の取得を要求すると、携帯電話装置がBluetoothの画像プロファイル(BIP)を用いて腕時計型端末に画像データを転送し、腕時計型端末の画面上に表示させる技術が開示されている。   In Patent Document 2, when a wristwatch type terminal device transmits a camera shutter pressing command to a mobile phone device using a Bluetooth hands-free profile (HSF), the camera of the mobile phone device executes imaging, and after imaging is completed. When the wristwatch terminal device requests the mobile phone device to acquire a captured image, the mobile phone device uses the Bluetooth image profile (BIP) to transfer image data to the wristwatch terminal and display it on the screen of the wristwatch terminal. Technology is disclosed.

特許文献3には、情報端末がBluetoothのシリアルポートプロファイル(SPP)を用いて撮像端末の撮像動作を制御すると共に、撮像端末が情報端末にデータ量の多い画像情報を転送する前に、撮像画像の関連情報を情報端末に自動的に転送し、撮像完了後に情報端末が撮像端末に対し撮像画像の取得を要求すると、撮像端末がBluetoothの画像プロファイル(BIP)あるいはBluetoothのオブジェクト交換プロファイル(OPP)を用いて情報端末に撮像画像のデータを転送し、情報端末の画面上に表示させる技術が開示されている。   In Patent Document 3, the information terminal controls the imaging operation of the imaging terminal using a Bluetooth serial port profile (SPP), and before the imaging terminal transfers image information with a large amount of data to the information terminal, the captured image The related information is automatically transferred to the information terminal, and when the information terminal requests the imaging terminal to acquire a captured image after the imaging is completed, the imaging terminal can acquire the Bluetooth image profile (BIP) or the Bluetooth object exchange profile (OPP). A technique is disclosed in which captured image data is transferred to an information terminal using an image and displayed on the screen of the information terminal.

特許文献4には、映像表示装置が予め複数のリモコンのリモコン送信コードと分割画面領域とを関連付けて記憶しておき、各リモコン装置からリモコン送信コードをキーの操作キーコードと共に受信すると、画面を複数に分割して各ユーザに分割画面領域を割り当てて操作対象とする技術が開示されている。   In Patent Document 4, when the video display device stores in advance a remote control transmission code of a plurality of remote controllers and a divided screen area in association with each other and receives the remote control transmission code together with the key operation key code from each remote control device, the screen is displayed. A technique is disclosed in which a user divides a plurality of screens and assigns a divided screen area to each user as an operation target.

特許文献5には、双方向通信と複数IPリモコン対応とが可能なテレビ受像機システムが開示されている。このシステムでは通信に無線LANが使用され、IPリモコンと操作対象機器との間で制御コマンドや画像データがIPネットワーク経由で双方向通信により送受信される。   Patent Document 5 discloses a television receiver system capable of bidirectional communication and a plurality of IP remote controllers. In this system, a wireless LAN is used for communication, and control commands and image data are transmitted and received between the IP remote controller and the operation target device via bidirectional communication via the IP network.

特開2009−43309号公報JP 2009-43309 A 特開2009−118474号公報JP 2009-118474 A 特開2007−19665号公報JP 2007-19665 A 特開2009−27485号公報JP 2009-27485 A 特開2009−55614号公報JP 2009-55614 A

特許文献1では、リモコン装置と再生装置との間に一対一のペアリングを実現できるが、複数のリモコン装置から再生装置を同時に制御することができなかった。また、この方式ではBluetoothのSPPを利用し、リモコン装置と再生装置との間でレジューム情報を双方向で送受信できるが、SPPによる1回の送信データ量は1024バイトに制限されるので大容量のデータ転送には不向きであった。   In Patent Document 1, one-to-one pairing can be realized between the remote control device and the playback device, but the playback device cannot be controlled simultaneously from a plurality of remote control devices. In this method, Bluetooth SPP is used, and resume information can be transmitted and received bidirectionally between the remote control device and the playback device. However, since the amount of data transmitted once by SPP is limited to 1024 bytes, the capacity is large. Not suitable for data transfer.

特許文献2では、腕時計型端末装置とカメラ付き携帯電話装置との間に一対一のペアリングを実現できるが、複数の腕時計型端末装置からカメラ付き携帯電話装置を同時に制御することができなかった。また、携帯電話装置から画像データをBIPにより腕時計型端末装置に転送する前に、制御のHFPセッションを切断する必要があり、転送時に腕時計型端末装置からの制御コマンドを受け付けられなかった。   In Patent Document 2, one-to-one pairing can be realized between a wristwatch-type terminal device and a camera-equipped mobile phone device, but a camera-equipped mobile phone device cannot be controlled simultaneously from a plurality of wristwatch-type terminal devices. . In addition, it is necessary to disconnect the control HFP session before transferring image data from the mobile phone device to the wristwatch type terminal device by BIP, and a control command from the wristwatch type terminal device cannot be accepted at the time of transfer.

特許文献3では、情報端末が撮像端末に制御コマンドを送信すると共に、SPPにより撮像端末から撮像画像の関連情報を同時に受信できる。しかしながら、特許文献2の場合と同様に、複数の情報端末から撮像端末を同時に制御することができなかった。また、SPP、BIPおよびOPPを併用できないため、特許文献2の場合と同様に、撮像画像データの転送時に情報端末からの制御コマンドを受け付けられないという技術課題を依然として有した。   In Patent Literature 3, an information terminal transmits a control command to an imaging terminal and can simultaneously receive related information of a captured image from the imaging terminal by SPP. However, as in the case of Patent Document 2, the imaging terminals cannot be controlled simultaneously from a plurality of information terminals. Further, since SPP, BIP, and OPP cannot be used together, as in the case of Patent Document 2, there still remains a technical problem that a control command from an information terminal cannot be received when captured image data is transferred.

特許文献4では、複数のリモコンのそれぞれに対して映像表示装置の画面領域を分割して複数のユーザ(視聴者)が同時に映像表示装置を共有できるようにしているが、複数フォーマットのリモコン信号を利用しなければならないので、回路や制御機構が複雑となり、その結果、リモコンおよび受信部が大型かつ高価になるという問題点があった。また、この方式では双方向通信ができなかった。   In Patent Document 4, the screen area of the video display device is divided for each of a plurality of remote controllers so that a plurality of users (viewers) can share the video display device at the same time. Since it has to be used, the circuit and the control mechanism are complicated, and as a result, there is a problem that the remote controller and the receiver are large and expensive. In addition, bidirectional communication was not possible with this method.

特許文献5では、通信が無線LANにより行われるので双方向通信を簡単に実現できる。しかしながら、無線LAN用の通信モジュールは消費電力が大きいので、バッテリ駆動を前提とするモバイル端末には不向きである。また、無線LANでは複数の無線端末が帯域を共有するため、複数の無線端末が1つのアクセスポイントに集中すると通信速度が落ちてしまう。   In Patent Document 5, since communication is performed by a wireless LAN, bidirectional communication can be easily realized. However, since the communication module for wireless LAN consumes a large amount of power, it is not suitable for mobile terminals that are premised on battery driving. In addition, in a wireless LAN, since a plurality of wireless terminals share a band, the communication speed decreases when the plurality of wireless terminals concentrate on one access point.

本発明の目的は、上記した従来技術の課題を解決し、複数のリモコン端末から操作対象の制御装置を双方向通信により実質的に同時に制御できるリモコン制御システムを提供することにある。   An object of the present invention is to solve the above-described problems of the prior art and provide a remote control system capable of controlling a control device to be operated from a plurality of remote control terminals substantially simultaneously by bidirectional communication.

上記の目的を達成するために、本発明は、複数のリモコン端末でコンピュータを遠隔操作するリモコン制御システムにおいて、以下のような手段を講じた点に特徴がある。   In order to achieve the above object, the present invention is characterized in that the following measures are taken in a remote control system for remotely operating a computer with a plurality of remote control terminals.

(1)コンピュータを仮想的に複数のゲストコンピュータおよびホストコンピュータとして動作させ、各ゲストコンピュータとホストコンピュータとを仮想IPネットワークで接続する手段と、各ゲストコンピュータにBluetoothドングルを実装する手段とを具備し、各リモコン端末が、ゲストコンピュータにおいて空き状態のBluetoothドングルを探索する手段と、探索により得られたBluetoothドングルの識別IDおよびリモコン端末の端末IDを含む登録要求を生成する手段と、遠隔操作に応じた操作コードを発生する手段と、操作コードを含む操作要求を生成する手段と、各要求をBluetooth SPPパケット化する手段と、SPPパケットを前記空き状態のBluetoothドングルへ送信する手段とを具備し、ゲストコンピュータが、リモコン端末から受信したSPPパケットをIPパケットに変換して前記仮想IPネットワーク経由でホストコンピュータへ転送する手段と、ホストコンピュータから前記仮想IPネットワーク経由で受信したIPパケットをSPPパケットに変換してリモコン端末へ転送する手段とを具備し、ホストコンピュータが、リモコン端末から送信された探索要求に応答して、空き状態のBluetoothドングルの識別IDを含む探索応答をIPパケットに変換して返信する手段と、リモコン端末から送信された登録要求に応答して、ゲストコンピュータのBluetoothドングルとリモコン端末とを紐付ける手段と、Bluetoothドングルごとにリモコン端末の操作コードとホストコンピュータのキーコードとの対応付けを管理し、操作要求に記述されている操作コードを、当該操作要求を受信したBluetoothドングルに基づいてキーコードに変換する手段と、キーコードに基づいて所定の制御を実行する手段とを具備したことを特徴とする。   (1) It comprises means for virtually operating a computer as a plurality of guest computers and host computers, connecting each guest computer and the host computer via a virtual IP network, and means for mounting a Bluetooth dongle on each guest computer. , Each remote control terminal searches for a free Bluetooth dongle in the guest computer, means for generating a registration request including the identification ID of the Bluetooth dongle obtained by the search and the terminal ID of the remote control terminal, and according to the remote operation Means for generating an operation code, means for generating an operation request including the operation code, means for converting each request into a Bluetooth SPP packet, and means for transmitting the SPP packet to the empty Bluetooth dongle, The guest computer receives the SPP packet received from the remote Means for converting the IP packet received from the host computer via the virtual IP network into a SPP packet and transferring it to the remote control terminal. In response to the search request transmitted from the remote control terminal, the host computer converts the search response including the identification ID of the empty Bluetooth dongle into an IP packet and returns the registration request transmitted from the remote control terminal. In response, the operation described in the operation request is managed by associating the Bluetooth dongle of the guest computer with the remote control terminal and the correspondence between the operation code of the remote control terminal and the key code of the host computer for each Bluetooth dongle. Convert the code into a key code based on the Bluetooth dongle that received the operation request It means that, characterized by comprising a means for performing a predetermined control on the basis of the key code.

(2)登録要求および操作要求が、ホストコンピュータで実行可能なアプリケーションを識別するアプリIDを含み、前記変換手段は、BluetoothドングルおよびアプリIDのペアごとにリモコン端末の操作コードとホストコンピュータのキーコードとの対応付けを管理し、操作要求に記述されている操作コードを、当該操作要求を受信したBluetoothドングルおよびアプリIDに基づいてキーコードに変換することを特徴とする。   (2) The registration request and the operation request include an application ID for identifying an application executable on the host computer, and the conversion means includes an operation code of the remote control terminal and a key code of the host computer for each pair of the Bluetooth dongle and the application ID. The operation code described in the operation request is converted into a key code based on the Bluetooth dongle and application ID that received the operation request.

(3)ホストコンピュータが、前記操作要求に対するフィードバックコマントを生成する手段を具備し、フィードバックコマントが、前記操作要求を受信したBluetoothドングルにおいてBluetooth SPPパケット化されてリモコン端末へ返信されることを特徴とする。   (3) The host computer includes means for generating a feedback command for the operation request, and the feedback command is converted into a Bluetooth SPP packet in the Bluetooth dongle that has received the operation request and is returned to the remote control terminal. To do.

(4)各Bluetooth SPPパケットにはパケットの順番が記述されており、ホストコンピュータは受信した各Bluetooth SPPパケットを前記順番に基づいて並べ替えることを特徴とする。   (4) The order of packets is described in each Bluetooth SPP packet, and the host computer rearranges each received Bluetooth SPP packet based on the order.

(5)リモコン端末が、Bluetoothモジュールを実装してSPPをサポートする携帯電話,スマートフォン,PDA,ポケットコンピュータのいずれかであることを特徴とする。   (5) The remote control terminal is one of a mobile phone, a smartphone, a PDA, and a pocket computer that supports the SPP by mounting a Bluetooth module.

(6)リモコン端末において遠隔操作に応じた操作コードを発生する手段が、方向キー、十字キー、テンキー、タッチパネル、音声認識、カメラ動き検出、トラックボールおよび加速度センサのいずれかであることを特徴とする。   (6) The means for generating an operation code corresponding to the remote operation in the remote control terminal is any one of a direction key, a cross key, a numeric keypad, a touch panel, voice recognition, camera motion detection, a trackball, and an acceleration sensor. To do.

本発明によれば以下のような効果が達成される。   According to the present invention, the following effects are achieved.

(1)リモコン端末からコンピュータへ送信される遠隔操作の信号がBluetooth SPPパケット化され、コンピュータではBluetoothドングルを実装した複数のゲストコンピュータが仮想的に並列動作するので、一つのコンピュータを複数台のリモコン端末で同時かつ無線で遠隔操作できるようになる。   (1) Remote operation signals sent from the remote control terminal to the computer are converted into Bluetooth SPP packets, and multiple guest computers equipped with Bluetooth dongles virtually operate in parallel on the computer. It will be possible to remotely control the terminal simultaneously and wirelessly.

また、一台のコンピュータで同時に動作できるBluetoothスタック数には制限があるが、本発明では一台のコンピュータが複数の仮想的なゲストコンピュータに分割され、ゲストコンピュータのそれぞれが、あたかも1台のコンピュータであるかのように複数のBluetoothスタックを動作させることができる。したがって、1台のコンピュータに、Bluetoothスタック数の制限を超えた多数のリモコン端末を収容できるようになる。   In addition, although the number of Bluetooth stacks that can be operated simultaneously by one computer is limited, in the present invention, one computer is divided into a plurality of virtual guest computers, and each guest computer is as if one computer. Multiple Bluetooth stacks can be operated as if Therefore, a single computer can accommodate a large number of remote control terminals exceeding the limit of the number of Bluetooth stacks.

(2)遠隔操作の信号がアプリケーションを識別するアプリIDを含むので、コンピュータにおいて複数のアプリケーションを同時に実行する場合でも、各リモコン操作による遠隔操作をアプリケーションごとに識別できるようになる。   (2) Since the remote operation signal includes an application ID for identifying an application, even when a plurality of applications are simultaneously executed on the computer, the remote operation by each remote control operation can be identified for each application.

(3)リモコン端末とコンピュータとが双方向で通信できるので、リモコン端末はコンピュータからフィードバックコマントを受信できるようになる。   (3) Since the remote control terminal and the computer can communicate bidirectionally, the remote control terminal can receive a feedback command from the computer.

(4)各Bluetooth SPPパケットにパケットの順番が記述されているので、受信側ではSPPパケットを正確に復元できる。   (4) Since the order of packets is described in each Bluetooth SPP packet, the SPP packet can be accurately restored on the receiving side.

(5)リモコン端末として、Bluetoothモジュールを実装してSPPをサポートする携帯電話,スマートフォン,PDA,ポケットコンピュータを用いることができるので、専用のリモコン端末を別途に用意する必要がない。   (5) Since a mobile phone, smartphone, PDA, or pocket computer that supports the SPP by mounting a Bluetooth module can be used as the remote control terminal, it is not necessary to prepare a dedicated remote control terminal.

(6)リモコン端末が標準で備える方向キー、十字キー、テンキー、タッチパネル、音声認識、カメラ動き検出、トラックボールおよび加速度センサをリモコン用の入力操作手段として用いることができるようになる。   (6) Direction keys, cross keys, numeric keys, touch panel, voice recognition, camera motion detection, trackball, and acceleration sensor provided as standard in the remote control terminal can be used as input operation means for the remote control.

本発明が適用されるリモコン制御システムの構成を示したブロック図である。It is the block diagram which showed the structure of the remote control system to which this invention is applied. リモコン端末の操作をキーボード操作に割り当てる概念を示した図である。It is the figure which showed the concept which allocates operation of a remote control terminal to keyboard operation. コンピュータおよび携帯電話の構成を示した機能ブロック図である。It is the functional block diagram which showed the structure of the computer and a mobile telephone. 紐付け情報記憶部の登録内容を示した図である。It is the figure which showed the registration content of the tied information storage part. 変換テーブルの一例を示した図である。It is the figure which showed an example of the conversion table. 登録手順のシーケンスフローである。It is a sequence flow of a registration procedure. 登録要求メッセージのフォーマットを示した図である。It is the figure which showed the format of the registration request message. 登録完了後の紐付け情報記憶部の登録内容を示した図である。It is the figure which showed the registration content of the tied information storage part after registration completion. 登録応答メッセージのフォーマットを示した図である。It is the figure which showed the format of the registration response message. 本発明の一実施形態の動作を示したシーケンスフローである。It is the sequence flow which showed the operation | movement of one Embodiment of this invention. 操作要求メッセージのフォーマットを示した図である。It is the figure which showed the format of the operation request message. Bluetooth SPPパケットの送受信手順を示したフローチャートである。It is the flowchart which showed the transmission / reception procedure of the Bluetooth SPP packet.

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明が適用されるリモコン制御システムの構成を示したブロック図であり、遠隔操作に応答して所定の制御を実行し、制御内容を反映したビデオ信号を出力するコンピュータ1と、前記ビデオ信号を再生する大型モニタ装置2と、前記コンピュータ1をBluetoothで遠隔操作するリモコン端末3とを主要な構成としている。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a remote control system to which the present invention is applied. The computer 1 executes predetermined control in response to a remote operation and outputs a video signal reflecting the control contents. A large monitor device 2 for reproducing the video signal and a remote control terminal 3 for remotely operating the computer 1 by Bluetooth are mainly configured.

前記コンピュータ1は、複数のBluetoothドングルまたはBluetoothモジュールが実装されたゲーム端末、デジタルサイネージ端末あるいは汎用コンピュータであり、前記リモコン端末3は、同様にBluetoothドングルまたはBluetoothモジュールが実装された携帯電話,スマートフォン,PDA,ポケットコンピュータ等の汎用モバイル端末である。本実施形態では、リモコン端末3として携帯電話を想定し、各携帯電話3とコンピュータ1とがBluetooth SPPで双方向のパケット通信を行う。   The computer 1 is a game terminal, digital signage terminal or general-purpose computer on which a plurality of Bluetooth dongles or Bluetooth modules are mounted. The remote control terminal 3 is also a mobile phone, smartphone, General-purpose mobile terminals such as PDAs and pocket computers. In the present embodiment, a mobile phone is assumed as the remote control terminal 3, and each mobile phone 3 and the computer 1 perform bidirectional packet communication by Bluetooth SPP.

本実施形態では、前記コンピュータ1がVMWare(登録商標)やXen(登録商標)などの仮想化技術を利用することで、仮想的に1台のホストコンピュータおよび複数台のゲストコンピュータとして動作できる。図1は、仮想化技術としてVMWareを採用した場合の構成を示しており、コンピュータ1のハードウェア資源上でWindows(登録商標)、MacOSXあるいはLinuxなどのホストOSが動作し、このホストOS上でユーザアプリケーションと共に仮想化アプリケーションのVMwareが動作する。VMware上では複数のゲストOSが動作し、各ゲストOSがゲストコンピュータとして機能する。各ゲストOS上ではゲストアプリケーションが動作する。   In the present embodiment, the computer 1 can operate virtually as one host computer and a plurality of guest computers by using a virtualization technology such as VMWare (registered trademark) or Xen (registered trademark). FIG. 1 shows a configuration when VMWare is adopted as a virtualization technology. A host OS such as Windows (registered trademark), MacOSX or Linux operates on the hardware resources of the computer 1, and the host OS operates on this host OS. The virtual application VMware runs along with the user application. Multiple guest OSes run on VMware, and each guest OS functions as a guest computer. A guest application runs on each guest OS.

図2を併せて参照し、本実施形態では、コンピュータ1に接続されるキーボード4の各キー領域を各携帯電話3に割り当て、端末ユーザが携帯電話3を操作すると、これがキーボード4の操作としてコンピュータ1に認識される。コンピュータ1は複数のアプリケーションを同時に実行でき、携帯電話3の操作をアプリケーションごとに固有のキーボード操作に変換して各アプリケーションを実行する。   Referring also to FIG. 2, in this embodiment, each key area of the keyboard 4 connected to the computer 1 is assigned to each mobile phone 3, and when the terminal user operates the mobile phone 3, this is performed as an operation of the keyboard 4 by the computer. 1 is recognized. The computer 1 can execute a plurality of applications at the same time, and converts each operation of the mobile phone 3 into a keyboard operation unique to each application and executes each application.

このような構成において、各携帯電話3がキー操作等の内容を代表する操作コードを各ゲストコンピュータへBluetooth SPPにより送信すると、コンピュータ1は、受信した操作コードをキーボード操作に変換し、そのキーコードに対応した制御を実行する。このとき、コンピュータ1は必要に応じて、各携帯電話3へBluetooth SPPでフィードバックコマンドを返信する。各携帯電話3は、受信したフィードバックコマンドを解釈して端末ディスプレイの表示を切り換えたり、あるいはフォースフィードバックを出力したりする。   In such a configuration, when each mobile phone 3 transmits an operation code representing the contents of key operation or the like to each guest computer via Bluetooth SPP, the computer 1 converts the received operation code into a keyboard operation, and the key code The control corresponding to is executed. At this time, the computer 1 returns a feedback command to each mobile phone 3 by Bluetooth SPP as necessary. Each mobile phone 3 interprets the received feedback command and switches the display on the terminal display or outputs force feedback.

図3は、前記コンピュータ1および各携帯電話3の主要部の構成を示した機能ブロック図である。   FIG. 3 is a functional block diagram showing the configuration of the main part of the computer 1 and each mobile phone 3.

Bluetoothでは、相互に通信する機器の一方がマスタ、他方がスレーブとされる。Bluetoothの仕様上は、1台のマスタにスレーブを7台まで接続でき、いずれの機器もマスタおよびスレーブとなれる。ただし、最初に接続を要求する機器がマスタとなり、この接続要求に応答する機器がスレーブとなる。本実施形態では、携帯電話3の操作を契機にコンピュータ1へ各種の要求メッセージが送信されるので、携帯電話3がマスタとなり、コンピュータ1がスレーブとなる。   In Bluetooth, one of the devices that communicate with each other is a master and the other is a slave. According to Bluetooth specifications, up to seven slaves can be connected to one master, and any device can be a master and a slave. However, the device that first requests connection is the master, and the device that responds to this connection request is the slave. In the present embodiment, since various request messages are transmitted to the computer 1 when the mobile phone 3 is operated, the mobile phone 3 becomes a master and the computer 1 becomes a slave.

このため、本実施形態ではコンピュータ1に実装される各Bluetoothドングルが受け付けられるリモコン端末数は「1」に制限されるので、コンピュータ1には、リモコン端末として機能させたい携帯電話3の台数に応じた数のBluetoothドングルを実装できるだけのゲストコンピュータ13が仮想的に実装され、ゲストコンピュータ13ごとに1ないし複数のBluetoothスタックがインストールされ、それぞれのBluetoothドングルを動作させる。図3では、ゲストコンピュータ13および携帯電話3に実装されたBluetoothドングルが、SPP送信モジュール116(303)およびSPP受信モジュール117(304)のペアで表現されている。   For this reason, in the present embodiment, the number of remote control terminals that can accept each Bluetooth dongle mounted on the computer 1 is limited to “1”. Therefore, the computer 1 has a function corresponding to the number of mobile phones 3 to be functioned as remote control terminals. A guest computer 13 capable of mounting a number of Bluetooth dongles is virtually mounted, and one or a plurality of Bluetooth stacks are installed for each guest computer 13 to operate each Bluetooth dongle. In FIG. 3, a Bluetooth dongle mounted on the guest computer 13 and the mobile phone 3 is represented by a pair of an SPP transmission module 116 (303) and an SPP reception module 117 (304).

各携帯電話3は、主制御部301により実行されるOSとしてBREW(登録商標:Binary Runtime Environment for Wireless)などの汎用OSを実装し、SPP通信管理部302により制御される通信レイヤでは、Bluetooth(登録商標)のSPP送信モジュール303およびSPP受信モジュール304が動作する。識別ID記憶部305には、コンピュータ1から通知される空きBluetoothドングルの識別IDが記憶される。アプリID記憶部309には、コンピュータ1から通知されるアプリケーションリストに記述されている各アプリケーションに固有のアプリIDが記憶される。   Each mobile phone 3 is implemented with a general-purpose OS such as BREW (registered trademark: Binary Runtime Environment for Wireless) as an OS executed by the main control unit 301. In the communication layer controlled by the SPP communication management unit 302, Bluetooth ( Registered trademark SPP transmission module 303 and SPP reception module 304 operate. The identification ID storage unit 305 stores an identification ID of an empty Bluetooth dongle notified from the computer 1. The application ID storage unit 309 stores an application ID unique to each application described in the application list notified from the computer 1.

入力部306は、方向キー、十字キー、テンキー、タッチパネル、音声認識、カメラ動き検出、トラックボールあるいは加速度センサなどの入力デバイスで検知された操作コード、ならびに選択されたBluetoothドングルの識別IDおよびアプリIDを入力情報に変換する。表示部307は、端末ディスプレイおよびその制御回路を含み、出力情報に応答して端末ディスプレイの表示を制御する。振動部308は、フォースフィードバック要求の出力情報に応答して振動を発生させる。音響部310は、フォースフィードバック要求の出力情報に応答して効果声を出力させる。   The input unit 306 includes a direction key, a cross key, a numeric keypad, a touch panel, voice recognition, camera motion detection, an operation code detected by an input device such as a trackball or an acceleration sensor, and an identification ID and application ID of the selected Bluetooth dongle. Is converted to input information. The display unit 307 includes a terminal display and its control circuit, and controls display on the terminal display in response to output information. The vibration unit 308 generates vibration in response to the output information of the force feedback request. The sound unit 310 outputs an effect voice in response to the output information of the force feedback request.

ホストコンピュータ11は、その主制御部100により実行されるOSとしてWindows(登録商標)あるいはLinux(登録商標)などの汎用OSを実装し、IP通信管理部101により制御される通信レイヤでは、IP送信モジュール102およびIP受信モジュール103が動作する。グローバル紐付け情報記憶部106では、図4に一例を示したように、ゲストコンピュータを識別するゲストID,Bluetoothドングルの識別ID、実装されているBluetoothドングルのMACアドレス、シリアルポート番号およびユーザ端末IDが相互に紐付けられている。操作変換部104は変換テーブル104aを備え、携帯電話3からゲストコンピュータ経由で受信した操作コードを変換テーブル104aに基づいてキーボード操作に変換する。表示更新部105は、キーボード操作に応答した処理を実行してモニタ装置2の表示内容を更新する。   The host computer 11 is implemented with a general-purpose OS such as Windows (registered trademark) or Linux (registered trademark) as an OS executed by the main control unit 100, and IP transmission is performed in the communication layer controlled by the IP communication management unit 101. The module 102 and the IP receiving module 103 operate. In the global association information storage unit 106, as shown in FIG. 4, for example, a guest ID for identifying a guest computer, an identification ID of a Bluetooth dongle, a MAC address of a mounted Bluetooth dongle, a serial port number, and a user terminal ID Are linked to each other. The operation conversion unit 104 includes a conversion table 104a, and converts an operation code received from the mobile phone 3 via the guest computer into a keyboard operation based on the conversion table 104a. The display update unit 105 executes processing in response to the keyboard operation to update the display content of the monitor device 2.

図5は、前記変換テーブル104aの一例を示した図であり、Bluetoothドングルの識別IDをインデックスとして、アプリID、操作コードおよび対応するキーボード操作が紐付けられている。   FIG. 5 is a diagram showing an example of the conversion table 104a, in which an application ID, an operation code, and a corresponding keyboard operation are associated with the identification ID of the Bluetooth dongle as an index.

例えば、識別ID「1」ではアプリID「APP1」、操作コード「LEFT」およびキーボード操作「KEY_LEFT」が紐付けられているので、識別IDが「1」のBluetoothドングルと紐付けられた携帯電話3において、アプリIDが「APP1」のアプリケーションで「LEFT」キーが操作されると、これがキーボードの「KEY_LEFT」の操作と見なされて処理される。   For example, since the identification ID “1” is associated with the application ID “APP1”, the operation code “LEFT”, and the keyboard operation “KEY_LEFT”, the mobile phone 3 associated with the Bluetooth dongle with the identification ID “1”. When the “LEFT” key is operated in an application whose application ID is “APP1”, this is regarded as an operation of “KEY_LEFT” on the keyboard and processed.

図3へ戻り、ゲストコンピュータ13は、その主制御部114により実行されるOSとしてWindows(登録商標)あるいはLinux(登録商標)などの汎用OSを実装し、IP通信管理部113により制御される通信レイヤでは、IP送信モジュール111およびIP受信モジュール112が動作する。また、SPP通信管理部115により制御される通信レイヤでは、SPP送信モジュール116およびSPP受信モジュール117が動作する。   Returning to FIG. 3, the guest computer 13 implements a general-purpose OS such as Windows (registered trademark) or Linux (registered trademark) as an OS executed by the main control unit 114, and is controlled by the IP communication management unit 113. In the layer, the IP transmission module 111 and the IP reception module 112 operate. In the communication layer controlled by the SPP communication management unit 115, the SPP transmission module 116 and the SPP reception module 117 operate.

なお、仮想DHCPサーバ12は、ゲストコンピュータ13にIPアドレスを自動的に割り当てる。仮想ハブ14は、ローカル環境でIPアドレスを割り当てられる仮想IPネットワークを構成する。   The virtual DHCP server 12 automatically assigns an IP address to the guest computer 13. The virtual hub 14 constitutes a virtual IP network to which an IP address is assigned in the local environment.

このような構成において、コンピュータ1を遠隔操作しようとする携帯電話3は、始めにコンピュータ1へ探索要求を送信して空き状態のBluetoothドングルを探索する。携帯電話3から探索要求を受信したゲストコンピュータ13は、仮想IPネットワーク経由で当該探索要求をホストコンピュータ11へ転送する。   In such a configuration, the mobile phone 3 that intends to remotely operate the computer 1 first transmits a search request to the computer 1 to search for an empty Bluetooth dongle. The guest computer 13 that has received the search request from the mobile phone 3 transfers the search request to the host computer 11 via the virtual IP network.

ホストコンピュータ11は、前記紐付け情報記憶部106を参照して空き状態のBluetoothドングルを探索し、そのアドレス情報(本実施形態では、MACアドレス)を仮想IPネットワーク経由でゲストコンピュータ13へ通知する。ゲストコンピュータ13は、前記通知されたMACアドレスを探索応答として携帯電話3へ返信する。ここでは、前記図4に示したように全てのBluetoothドングルが空き状態なので、いずれかのBluetoothドングルが任意に選択され、そのMACアドレスが応答される。   The host computer 11 searches for a free Bluetooth dongle with reference to the association information storage unit 106 and notifies the guest computer 13 of the address information (MAC address in this embodiment) via the virtual IP network. The guest computer 13 returns the notified MAC address to the mobile phone 3 as a search response. Here, since all the Bluetooth dongles are empty as shown in FIG. 4, any Bluetooth dongle is arbitrarily selected and its MAC address is returned.

図6は、Bluetoothドングルの探索後に各携帯電話3がゲストコンピュータを経由してホストコンピュータ11に自身の登録を要求する手順を示したシーケンスフローである。   FIG. 6 is a sequence flow showing a procedure in which each mobile phone 3 requests the host computer 11 to register itself via the guest computer after searching for the Bluetooth dongle.

携帯電話3は、ゲストコンピュータから前記探索応答を受信すると、登録要求メッセージを生成してゲストコンピュータ13へ送信する。図7は、登録要求メッセージのフォーマットを示した図であり、本実施形態では、Bluetooth SPPパケットのDataフィールドに3つのValueフィールド(0),(1),(2)が確保されており、Value(0)フィールドには、当該メッセージが登録要求である旨の情報が記述され、Value(1)フィールドには、BluetoothドングルのMACアドレスが記述され、Value(2)フィールドには、ユーザ端末IDが記述されている。   When the mobile phone 3 receives the search response from the guest computer, the mobile phone 3 generates a registration request message and transmits it to the guest computer 13. FIG. 7 is a diagram showing the format of the registration request message. In this embodiment, three Value fields (0), (1), (2) are secured in the Data field of the Bluetooth SPP packet. Information indicating that the message is a registration request is described in the (0) field, the MAC address of the Bluetooth dongle is described in the Value (1) field, and the user terminal ID is described in the Value (2) field. It has been described.

ゲストコンピュータ13では、携帯電話3から受信した登録要求が、時刻T1においてSPP受信モジュール117およびSPP通信管理部115を経由して主制御部114へ転送される。主制御部114は、この登録要求を時刻T2においてIP通信管理部113に転送する。IP通信管理部113は、この登録要求をIPパケットに変換し、時刻T3において、IP送信モジュール111から仮想IPネットワーク経由でホストコンピュータ11へ転送する。   In the guest computer 13, the registration request received from the mobile phone 3 is transferred to the main control unit 114 via the SPP reception module 117 and the SPP communication management unit 115 at time T1. The main control unit 114 transfers this registration request to the IP communication management unit 113 at time T2. The IP communication management unit 113 converts this registration request into an IP packet, and transfers it from the IP transmission module 111 to the host computer 11 via the virtual IP network at time T3.

ホストコンピュータ11では、前記登録要求がIP受信モジュール103により受信され、時刻T4において、IP通信管理部101を経由して主制御部100へ転送される。主制御部100は、時刻T5において、前記登録要求からBluetoothドングルのMACアドレスおよび携帯電話3のユーザ端末IDを抽出し、これらをグローバル紐付け情報記憶部106の対応レコードに登録する。グローバル紐付け情報記憶部106は、時刻T6において、前記対応レコードに登録されているBluetoothドングルの識別IDを主制御部100へ通知する。図8は、当該登録完了後の紐付け情報記憶部106の登録内容を示した図であり、識別IDが「1」のレコードにおいて、BluetoothドングルのMACアドレス[00:21:4F…]とリモコン端末の端末ID[090-5555…]とが紐付けられている。   In the host computer 11, the registration request is received by the IP receiving module 103 and transferred to the main control unit 100 via the IP communication management unit 101 at time T 4. The main control unit 100 extracts the MAC address of the Bluetooth dongle and the user terminal ID of the mobile phone 3 from the registration request at time T5, and registers them in the corresponding record in the global association information storage unit 106. The global linking information storage unit 106 notifies the main control unit 100 of the identification ID of the Bluetooth dongle registered in the corresponding record at time T6. FIG. 8 is a diagram showing the registration contents of the association information storage unit 106 after the registration is completed. In the record with the identification ID “1”, the MAC address [00: 21: 4F... The terminal ID [090-5555 ...] of the terminal is linked.

主制御部100は、時刻T7において、前記識別IDの記述された登録応答メッセージを生成してIP通信管理部101へ転送する。図9は、前記登録応答メッセージのフォーマットを示した図であり、そのValue(0)フィールドには、当該メッセージが登録応答である旨の情報が記述され、Value(1)フィールドには、前記紐付け情報記憶部106においてBluetoothドングルを特定するための識別ID「1」が記述されている。Value(2)フィールドには、ホストコンピュータ11において実行可能なアプリケーションのアプリIDのリストが記述されている。   The main control unit 100 generates a registration response message in which the identification ID is described at time T7 and transfers it to the IP communication management unit 101. FIG. 9 is a diagram showing the format of the registration response message. In the Value (0) field, information indicating that the message is a registration response is described, and in the Value (1) field, the string is displayed. In the attached information storage unit 106, an identification ID “1” for specifying the Bluetooth dongle is described. In the Value (2) field, a list of application IDs of applications executable on the host computer 11 is described.

IP通信管理部101は、時刻T8において、前記登録応答をIPパケットに変換して仮想IPネットワーク経由でゲストコンピュータ13へ返信する。ゲストコンピュータ13では、IP受信モジュール112で受信されたIPパケットがIP通信管理部113において登録応答に復元され、時刻T9において主制御部114へ転送される。主制御部114は、時刻T10において前記登録応答をSPPパケット化し、これをSPP通信管理部115からSPP送信モジュール116経由で携帯電話3へ返信する。   The IP communication management unit 101 converts the registration response into an IP packet at time T8 and sends it back to the guest computer 13 via the virtual IP network. In the guest computer 13, the IP packet received by the IP reception module 112 is restored to a registration response in the IP communication management unit 113, and transferred to the main control unit 114 at time T9. The main control unit 114 converts the registration response into an SPP packet at time T10, and returns this to the mobile phone 3 from the SPP communication management unit 115 via the SPP transmission module 116.

携帯電話3は、この登録応答メッセージを受信すると、識別IDを抽出して識別ID記憶部305に登録し、さらにアプリIDを抽出してアプリID記憶部309に登録して一連の初期登録手順を完了する。   Upon receiving this registration response message, the mobile phone 3 extracts the identification ID and registers it in the identification ID storage unit 305, further extracts the application ID and registers it in the application ID storage unit 309, and performs a series of initial registration procedures. Complete.

なお、登録解除時には、携帯電話3からゲストコンピュータ13へペアリングの登録解除を要求するメッセージが送信される。この登録解除要求メッセージのフォーマットは、前記図7を参照して説明した登録要求メッセージと同様であるが、Value(0)フィールドには登録解除Flag(0xFE)が記述され、Value(1)フィールドには解除対象となるBluetoothドングルのMACアドレスが記述され、Value(2)フィールドにユーザ端末IDが記述される。   When canceling registration, a message requesting cancellation of pairing registration is transmitted from the mobile phone 3 to the guest computer 13. The format of this deregistration request message is the same as that of the registration request message described with reference to FIG. 7, but the deregistration Flag (0xFE) is described in the Value (0) field, and the Value (1) field contains Indicates the MAC address of the Bluetooth dongle to be released, and the user terminal ID is described in the Value (2) field.

ゲストコンピュータ13は、この登録解除要求メッセージを受信すると、これをホストコンピュータ11の紐付け情報記憶部106に通知する。紐付け情報記憶部106は、この通知に応答して、前記Value(1)フィールドおよびValue(2)フィールドの登録内容に該当するBluetoothドングルを選択してユーザ端末IDをクリアする。   When the guest computer 13 receives this deregistration request message, the guest computer 13 notifies this to the association information storage unit 106 of the host computer 11. In response to this notification, the association information storage unit 106 selects the Bluetooth dongle corresponding to the registered contents of the Value (1) field and Value (2) field, and clears the user terminal ID.

次いで、端末ユーザが自身の携帯端末3を操作してホストコンピュータ1のアプリケーションを操作する実施形態について、図10のシーケンスフローに沿って詳細に説明する。   Next, an embodiment in which the terminal user operates his / her mobile terminal 3 to operate the application of the host computer 1 will be described in detail along the sequence flow of FIG. 10.

携帯電話3では、端末ユーザによりBluetoothドングルおよびアプリケーションが選択され、さらにキー操作などの入力イベントが検知されると、これが操作要求として主制御部301へ通知される。主制御部301は、識別ID記憶部305からBluetoothドングルの識別IDを取得し、さらにアプリID記憶部309からアプリIDを取得し、前記識別ID,アプリIDおよびキー操作に対応した操作コードの記述された操作要求メッセージを生成してSPP通信管理部302へ転送する。   In the mobile phone 3, when a Bluetooth dongle and an application are selected by the terminal user and an input event such as a key operation is detected, this is notified to the main control unit 301 as an operation request. The main control unit 301 acquires the identification ID of the Bluetooth dongle from the identification ID storage unit 305, further acquires the application ID from the application ID storage unit 309, and describes the operation code corresponding to the identification ID, application ID, and key operation. The generated operation request message is generated and transferred to the SPP communication management unit 302.

この操作要求メッセージでは、図11に一例を示したように、Dataフィールドに5つのValueフィールド(0),(1),(2),(3),(4)が確保されており、Value(0)フィールドには識別IDが記述され、Value(1)フィールドにはアプリIDが記述され、Value(2)フィールドには操作コードが記述され、Value(3)フィールドにはパケット番号が記述され、Value(4)フィールドには各種のデータが記述されている。通信管理部302は、転送された操作要求メッセージをBluetooth SPPパケットに変換し、SPP送信モジュール303から対応するゲストコンピュータ13へ送信する。   In this operation request message, as shown in FIG. 11, five Value fields (0), (1), (2), (3), (4) are secured in the Data field, and Value ( The (0) field describes the identification ID, the Value (1) field describes the application ID, the Value (2) field describes the operation code, the Value (3) field describes the packet number, Various data are described in the Value (4) field. The communication management unit 302 converts the transferred operation request message into a Bluetooth SPP packet and transmits it to the corresponding guest computer 13 from the SPP transmission module 303.

ゲストコンピュータ13では、携帯電話3から送信された操作要求がSPP受信モジュール117で受信され、さらに図10の時刻T1において、SPP通信管理部115を経由して主制御部114へ転送される。主制御部114は、この操作要求を時刻T2においてIP通信管理部113に転送する。IP通信管理部113は、この登録要求をIPパケットに変換し、時刻T3において仮想IPネットワーク経由でホストコンピュータ11へ転送する。   In the guest computer 13, the operation request transmitted from the mobile phone 3 is received by the SPP receiving module 117, and further transferred to the main control unit 114 via the SPP communication management unit 115 at time T1 in FIG. The main control unit 114 transfers this operation request to the IP communication management unit 113 at time T2. The IP communication management unit 113 converts this registration request into an IP packet and transfers it to the host computer 11 via the virtual IP network at time T3.

ホストコンピュータ11では、時刻T4において前記操作要求が通信管理部101により受信されて主制御部100へ転送される。主制御部100は、転送された操作要求から識別ID、アプリIDおよび操作コード等を抽出し、時刻T5において操作変換部104へ転送する。操作変換部104は、転送された操作コードを変換テーブル104aに基づいてキーコードに変換し、時刻T6において表示更新部105へ転送する。表示更新部105は、転送されたキーコードに応じた処理を実行して表示内容を更新する。   In the host computer 11, at time T4, the operation request is received by the communication management unit 101 and transferred to the main control unit 100. The main control unit 100 extracts the identification ID, application ID, operation code, and the like from the transferred operation request, and transfers them to the operation conversion unit 104 at time T5. The operation conversion unit 104 converts the transferred operation code into a key code based on the conversion table 104a, and transfers the key code to the display update unit 105 at time T6. The display update unit 105 executes processing according to the transferred key code to update the display content.

このとき、テキスト出力、画像出力、音声出力、フォースフィードバックなどのフィードバックコマンドを携帯電話3へ返信する必要があれば、時刻T7において、そのフィードバックコマンドが主制御部100からIP通信管理部101へ転送される。IP通信管理部101は、転送されたフィードバックコマンドをIPパケットに変換し、時刻T8において、仮想IPネットワーク経由でゲストコンピュータ13へ返信する。   At this time, if a feedback command such as text output, image output, audio output, force feedback or the like needs to be returned to the mobile phone 3, the feedback command is transferred from the main control unit 100 to the IP communication management unit 101 at time T7. Is done. The IP communication management unit 101 converts the transferred feedback command into an IP packet, and returns it to the guest computer 13 via the virtual IP network at time T8.

ゲストコンピュータ13では、IP通信管理部113においてIPパケットからフィードバックコマンドが復元され、時刻T9において主制御部114へ転送される。主制御部114は、時刻T10において前記フィードバックコマンドをBluetooth SPPパケットに変換し、これをSPP通信管理部115からSPP送信モジュール116経由で携帯電話3へ返信する。   In the guest computer 13, the feedback command is restored from the IP packet in the IP communication management unit 113, and transferred to the main control unit 114 at time T9. The main control unit 114 converts the feedback command into a Bluetooth SPP packet at time T10, and returns this to the mobile phone 3 via the SPP transmission module 116 from the SPP communication management unit 115.

携帯電話3では、前記Bluetooth SPPパケットがSPP通信管理部302で受信されて主制御部301へ転送される。主制御部301は、フィードバックコマンドに基づいて表示更新、音声出力あるいは振動動作などの制御を実行する。   In the mobile phone 3, the Bluetooth SPP packet is received by the SPP communication management unit 302 and transferred to the main control unit 301. The main control unit 301 executes control such as display update, sound output, or vibration operation based on the feedback command.

図12は、Bluetooth SPPによる前記各メッセージパケットの送信手順を示したフローチャートであり、ここでは、携帯電話3[同図(a)]からゲストコンピュータ1[同図(b)]へ操作要求を送信する場合を例にして説明する。   FIG. 12 is a flowchart showing a procedure for transmitting each message packet by Bluetooth SPP. Here, an operation request is transmitted from the mobile phone 3 [FIG. (A)] to the guest computer 1 [(b)]. This will be described as an example.

携帯電話3では、ゲストコンピュータ131へ送信するデータが1022バイト単位でデータ片に分割され、Bluetooth SPPパケット化されてバッファにエンキューされる。ステップS1において、バッファに送信用のBluetooth SPPパケットがエンキューされたことが検知されると、ステップS2では、送信Callbackルーチンが割込処理で実行され、バッファから前記パケットが1つずつデキューされて送信モジュール301によりゲストコンピュータ13へ送信される。   In the mobile phone 3, data to be transmitted to the guest computer 131 is divided into data pieces in units of 1022 bytes, converted into Bluetooth SPP packets, and enqueued in a buffer. In step S1, when it is detected that a Bluetooth SPP packet for transmission is enqueued in the buffer, in step S2, a transmission Callback routine is executed in an interrupt process, and the packets are dequeued one by one from the buffer and transmitted. It is transmitted to the guest computer 13 by the module 301.

ゲストコンピュータ1では、前記Bluetooth SPPパケットがステップS11で受信モジュール102により受信されると、ステップS12では、受信Callbackルーチンが割込処理で実行され、受信パケットがバッファへエンキューされる。ステップS13では、正常受信されたBluetooth SPPパケットに対してAckパケットが返信される。ステップS14では、受信パケットに送信完了通知が登録されているか否かが判定され、登録されていなければステップS11へ戻って次のパケット受信に備える。   In the guest computer 1, when the Bluetooth SPP packet is received by the reception module 102 in step S11, in step S12, a reception Callback routine is executed by an interrupt process, and the reception packet is enqueued in the buffer. In step S13, an Ack packet is returned to the normally received Bluetooth SPP packet. In step S14, it is determined whether or not a transmission completion notification is registered in the received packet. If not registered, the process returns to step S11 to prepare for reception of the next packet.

携帯電話3では、ステップS3において、ゲストコンピュータ1から返信されたAckパケットが受信されるとステップS1へ戻り、エンキューされている全てのBluetooth SPPパケットに対して上記の送信処理が繰り返され、最後のパケットのValue(3)には「0xFFFF」が記述され、送信完了通知として送信される。   In the mobile phone 3, when the Ack packet returned from the guest computer 1 is received in step S3, the process returns to step S1, and the above transmission process is repeated for all the enqueued Bluetooth SPP packets. “0xFFFF” is described in Value (3) of the packet, and is transmitted as a transmission completion notification.

ゲストコンピュータ1では、ステップS14において送信完了通知が検知されるとステップS15へ進み、受信されたパケットからデータ片およびパケット順番を抽出し、各データ片をそのパケット順番にしたがって結合することでデータを復元する。ステップS16では、復元されたデータが表示更新部104に転送されて処理される。   When the guest computer 1 detects the transmission completion notification in step S14, the process proceeds to step S15, where the data pieces and the packet order are extracted from the received packets, and the data pieces are combined by combining the data pieces according to the packet order. Restore. In step S16, the restored data is transferred to the display update unit 104 and processed.

1…コンピュータ,2…モニタ装置,3…携帯電話,11…ホストコンピュータ,12…仮想DHCPサーバ,13…ゲストコンピュータ,14…仮想ハブ,101…IP通信管理部,102…IP送信モジュール,103…IP受信モジュール,104…操作変換部,104a…変換テーブル,105…表示更新部,106…グローバル紐付け情報記憶部,111…IP送信モジュール,112…IP受信モジュール,113…IP通信管理部,114…主制御部,115…SPP通信管理部,116…SPP送信モジュール,117…SPP受信モジュール,301…主制御部,302…SPP通信管理部,303…SPP送信モジュール,304…SPP受信モジュール,305…識別ID記憶部,306…入力部,307…表示部,308…振動部,309…アプリID記憶部,310…音響部   DESCRIPTION OF SYMBOLS 1 ... Computer, 2 ... Monitor apparatus, 3 ... Mobile phone, 11 ... Host computer, 12 ... Virtual DHCP server, 13 ... Guest computer, 14 ... Virtual hub, 101 ... IP communication management part, 102 ... IP transmission module, 103 ... IP reception module, 104 ... operation conversion unit, 104 a ... conversion table, 105 ... display update unit, 106 ... global association information storage unit, 111 ... IP transmission module, 112 ... IP reception module, 113 ... IP communication management unit, 114 ... Main control unit, 115 ... SPP communication management unit, 116 ... SPP transmission module, 117 ... SPP reception module, 301 ... Main control unit, 302 ... SPP communication management unit, 303 ... SPP transmission module, 304 ... SPP reception module, 305 ... Identification ID storage unit, 306 ... Input unit, 307 ... Display unit, 308 ... Vibration unit, 309 ... Application ID storage unit, 310 ... Hibiki part

Claims (6)

複数のリモコン端末でコンピュータを遠隔操作するリモコン制御システムにおいて、
コンピュータを仮想的に複数のゲストコンピュータおよびホストコンピュータとして動作させ、各ゲストコンピュータとホストコンピュータとを仮想IPネットワークで接続する手段と、
各ゲストコンピュータに複数のBluetoothドングルを実装する手段とを具備し、
前記各リモコン端末が
ゲストコンピュータにおいて空き状態のBluetoothドングルを探索する手段と、
探索により得られたBluetoothドングルの識別IDおよびリモコン端末の端末IDを含む登録要求を生成する手段と、
遠隔操作に応じた操作コードを発生する手段と、
前記操作コードを含む操作要求を生成する手段と、
前記各要求をBluetooth SPPパケット化する手段と、
前記SPPパケットを前記空き状態のBluetoothドングルへ送信する手段とを具備し、
前記ゲストコンピュータが、
リモコン端末から受信したSPPパケットをIPパケットに変換して前記仮想IPネットワーク経由でホストコンピュータへ転送する手段と、
ホストコンピュータから前記仮想IPネットワーク経由で受信したIPパケットをSPPパケットに変換してリモコン端末へ転送する手段とを具備し、
前記ホストコンピュータが、
リモコン端末から送信された探索要求に応答して、空き状態のBluetoothドングルの識別IDを含む探索応答をIPパケットに変換して返信する手段と、
リモコン端末から送信された登録要求に応答して、ゲストコンピュータのBluetoothドングルとリモコン端末とを紐付ける手段と、
Bluetoothドングルごとにリモコン端末の操作コードとホストコンピュータのキーコードとの対応付けを管理し、操作要求に記述されている操作コードを、当該操作要求を受信したBluetoothドングルに基づいてキーコードに変換する手段と、
前記キーコードに基づいて所定の制御を実行する手段とを具備したことを特徴とするリモコン制御システム。
In a remote control system that remotely controls a computer with a plurality of remote control terminals,
Means for virtually operating the computer as a plurality of guest computers and host computers, and connecting each guest computer and the host computer via a virtual IP network;
Means for implementing a plurality of Bluetooth dongles on each guest computer,
Means for each Bluetooth terminal to search for an empty Bluetooth dongle in a guest computer;
Means for generating a registration request including the identification ID of the Bluetooth dongle obtained by the search and the terminal ID of the remote control terminal;
Means for generating an operation code according to remote operation;
Means for generating an operation request including the operation code;
Means for converting each request into a Bluetooth SPP packet;
Means for transmitting the SPP packet to the empty Bluetooth dongle,
The guest computer is
Means for converting the SPP packet received from the remote control terminal into an IP packet and transferring it to the host computer via the virtual IP network;
Means for converting an IP packet received from the host computer via the virtual IP network into an SPP packet and transferring it to the remote control terminal;
The host computer is
In response to the search request transmitted from the remote control terminal, a search response including the identification ID of the empty Bluetooth dongle is converted into an IP packet and returned,
In response to the registration request transmitted from the remote control terminal, means for associating the guest computer's Bluetooth dongle with the remote control terminal,
For each Bluetooth dongle, it manages the correspondence between the operation code of the remote control terminal and the key code of the host computer, and converts the operation code described in the operation request into a key code based on the Bluetooth dongle that received the operation request Means,
A remote control system comprising: means for executing predetermined control based on the key code.
前記登録要求および操作要求が、ホストコンピュータで実行可能なアプリケーションを識別するアプリIDを含み、
前記変換手段は、BluetoothドングルおよびアプリIDのペアごとにリモコン端末の操作コードとホストコンピュータのキーコードとの対応付けを管理し、操作要求に記述されている操作コードを、当該操作要求を受信したBluetoothドングルおよびアプリIDに基づいてキーコードに変換することを特徴とする請求項1に記載のリモコン制御システム。
The registration request and the operation request include an application ID that identifies an application executable on the host computer,
The conversion means manages the correspondence between the operation code of the remote control terminal and the key code of the host computer for each pair of the Bluetooth dongle and the application ID, and receives the operation request described in the operation request. The remote control system according to claim 1, wherein the remote control system converts the key code based on the Bluetooth dongle and the application ID.
前記ホストコンピュータが、前記操作要求に対するフィードバックコマントを生成する手段を具備し、
前記フィードバックコマントが、前記操作要求を受信したBluetoothドングルにおいてBluetooth SPPパケット化されてリモコン端末へ返信されることを特徴とする請求項1または2に記載のリモコン制御システム。
The host computer comprises means for generating a feedback command for the operation request;
3. The remote control system according to claim 1, wherein the feedback command is converted into a Bluetooth SPP packet in a Bluetooth dongle that has received the operation request and is returned to the remote control terminal.
前記各Bluetooth SPPパケットにはパケットの順番が記述されており、ホストコンピュータは受信した各Bluetooth SPPパケットを前記順番に基づいて並べ替えることを特徴とする請求項1ないし3のいずれかに記載のリモコン制御システム。   4. The remote controller according to claim 1, wherein each Bluetooth SPP packet describes a packet order, and the host computer rearranges each received Bluetooth SPP packet based on the order. Control system. 前記リモコン端末が、Bluetoothモジュールを実装してSPPをサポートする携帯電話,スマートフォン,PDA,ポケットコンピュータのいずれかであることを特徴とする請求項1ないし4のいずれかに記載のリモコン制御システム。   5. The remote control system according to claim 1, wherein the remote control terminal is any one of a mobile phone, a smartphone, a PDA, and a pocket computer that mounts a Bluetooth module and supports SPP. 前記リモコン端末において遠隔操作に応じた操作コードを発生する手段が、方向キー、十字キー、テンキー、タッチパネル、音声認識、カメラ動き検出、トラックボールおよび加速度センサのいずれかであることを特徴とする請求項1ないし5のいずれかに記載のリモコン制御システム。   The means for generating an operation code corresponding to a remote operation in the remote control terminal is any one of a direction key, a cross key, a numeric keypad, a touch panel, voice recognition, camera motion detection, a trackball, and an acceleration sensor. Item 6. The remote control system according to any one of Items 1 to 5.
JP2009154046A 2009-06-29 2009-06-29 Remote control system Expired - Fee Related JP5182953B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009154046A JP5182953B2 (en) 2009-06-29 2009-06-29 Remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154046A JP5182953B2 (en) 2009-06-29 2009-06-29 Remote control system

Publications (2)

Publication Number Publication Date
JP2011010223A JP2011010223A (en) 2011-01-13
JP5182953B2 true JP5182953B2 (en) 2013-04-17

Family

ID=43566329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009154046A Expired - Fee Related JP5182953B2 (en) 2009-06-29 2009-06-29 Remote control system

Country Status (1)

Country Link
JP (1) JP5182953B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387249A (en) * 2011-09-21 2012-03-21 李志鹏 Method for using intelligent mobile phone to control PC program in local area network and apparatus thereof
WO2013145655A1 (en) * 2012-03-26 2013-10-03 パナソニック株式会社 Remote control system
JP6557474B2 (en) * 2014-10-02 2019-08-07 株式会社ミヤマエ Remote control system for electric reel for fishing
CN110401670B (en) * 2019-08-02 2021-09-24 杭州远流科技有限公司 Optimized Ethernet transparent transmission method of industrial serial port protocol

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001278682B2 (en) * 2000-10-27 2006-05-04 Sony Interactive Entertainment Inc. Information processing system comprising a plurality of operation terminal devices and an information processing device
JP4275136B2 (en) * 2003-07-23 2009-06-10 株式会社ソニー・コンピュータエンタテインメント Communication device, game system, and connection establishment method
JP5010822B2 (en) * 2005-09-29 2012-08-29 株式会社ソニー・コンピュータエンタテインメント Information communication system, information processing apparatus, information processing program, storage medium storing information processing program, and display control method
US20070256126A1 (en) * 2006-04-14 2007-11-01 Ewan1, Inc. Secure identification remote and dongle

Also Published As

Publication number Publication date
JP2011010223A (en) 2011-01-13

Similar Documents

Publication Publication Date Title
JP7403648B2 (en) Synchronization method and electronic equipment
JP6448158B2 (en) Method, server, mobile terminal, and apparatus for exchanging data with in-vehicle infotainment
KR102661339B1 (en) PUCCH collision handling method and terminal
CN111083684A (en) Method for controlling electronic equipment and electronic equipment
WO2014067256A1 (en) Remote control method, intelligent terminal and intelligent remote control system
JP6526238B2 (en) Operating system and method for realizing the function of a Bluetooth (registered trademark) slave facility using an embedded operating system
CN110166439B (en) Device sharing method, terminal, router and server
JP2022548734A (en) DEVICE CAPABILITY SCHEDULING METHOD AND ELECTRONIC DEVICE
KR102441850B1 (en) Service processing method and mobile communication terminal
CN110058836B (en) Audio signal output method and terminal equipment
JP2017521899A (en) Method, terminal, server, and system for acquiring interactive information
WO2016197697A1 (en) Gesture control method, device and system
JP5182953B2 (en) Remote control system
CN107949035A (en) A kind of connection method of Wireless LAN, device and mobile terminal
CN111414097A (en) Interaction method, interaction system and display equipment
JP5182952B2 (en) Remote control system
WO2021036529A1 (en) Control method and terminal device
US20250311022A1 (en) Information acquisition method and apparatus, bluetooth device, terminal device, and storage medium
WO2018119630A1 (en) Interaction method, and terminal
JP5294416B2 (en) Remote control system and remote control method
CN108446153A (en) A kind of method and terminal of control e-sourcing
CN111443850A (en) Terminal operation method, terminal and storage medium
CN113271681A (en) PUSCH transmission method, terminal and network equipment
CN119232833A (en) Data processing method, device, electronic equipment and storage medium
JP5199970B2 (en) System and method for displaying user in viewable range on display of operation target device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130111

R150 Certificate of patent or registration of utility model

Ref document number: 5182953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees