JP6452233B2 - 端末遠隔操作システム、コントローラ端末及びコントローラ端末制御プログラム - Google Patents

Description

本発明は、ある端末（以下、コントローラ端末と呼ぶ）から別の端末（以下、ターゲット端末と呼ぶ）を無線通信経由で遠隔操作するシステムに関し、特に、公開された標準機能のみを利用してコントローラ端末がターゲット端末の遠隔操作を行う端末遠隔操作システムに関する。
また、本発明は、端末遠隔操作システムに使用されるコントローラ端末、及び、コントローラ端末を構築するためのコントローラ端末制御プログラムに関する。

IPネットワークを経由してターゲット端末をコントローラ端末から遠隔操作するシステムとして、リモートデスクトップ技術（RDTP）が存在する（非特許文献１及び非特許文献２）。この技術においては、コントローラ端末はターゲット端末から送られた画面イメージ（デスクトップ）に対して操作を行い、ターゲット端末はコントローラ端末から送られた操作を実行し、その結果、画面が更新されればコントローラ端末に画面イメージを通知する、という一連の処理が繰り返される。

また、RDTPを利用してスマートフォンの自動遠隔操作を行い、任意のアプリケーションを用いた大規模試験を効率良く行うソリューション（非特許文献３）も提案されている。

更に、ＨＩＤ機器を模擬し、ターゲット端末への文字入力機能を提供するシステムとして、Bluetooth（登録商標）規格に準拠した無線回線経由で利用するType2Phone（非特許文献４）やhidclient（非特許文献５）も提案されている。
これらのシステムでは、利用者からコントローラ端末に対して与えられたキーボード操作をBluetoothのHIDプロファイルによる通信に変換してターゲット端末へ送信し、ターゲット端末は受信した情報をHID入力として反映する、という処理が繰り返される。ターゲット端末にとって、コントローラ端末はBluetooth HID機器（キーボード）と認識される。
Type2Phoneとhidclientは、文字入力操作の自動化の仕組みは備えていないが、hidclientについては、端末内でHID入力の記録・再生を可能にするソフトウェア（非特許文献６）と組み合わせることで、自動化することが可能である。

なお、Apple社が開発しているスマートフォン向けOSのiOSは、HID機器としてキーボードにのみ対応しており（２０１４年８月現在）、ポインティングデバイスには非対応である。また、キーボード入力も通常は文字入力操作のみ動作するが、iOSにおける視覚障害者向け機能であるVoiceOver（非特許文献７）を有効にすることで、アプリケーションの切り替えやボタン項目へのタップ操作などOSの基本操作がキーボード入力で可能になる。VoiceOverにおいては、ボタン等表示項目の選択状態や選択中の項目を、合成音声で読み上げる機能や、点字表示ディスプレイ機器に点字として出力する機能もある。

T. Richardson, J. Levine, "The Remote Framebuffer Protocol", RFC6143, ISSN 2070-1721, March 2011, http://tools.ietf.org/html/rfc6143 [MS-RDPBCGR]: Remote Desktop Protocol: Basic Connectivity and Graphics Remoting, http://download.microsoft.com/download/9/5/E/95EF66AF-9026-4BB0-A41D-A4F81802D92C/%5BMS-RDPBCGR%5D.pdf TestPlant Ltd., eggPlant for mobile, http://www.testplant.com/eggplant/testing-tools/eggplant-mobile-eggon/ Houdah Software, Type2Phone: Virtual Bluetooth Keyboard http://www.houdah.com/type2Phone/ anselm.hoffmeister.be, hidclient http://anselm.hoffmeister.be/computer/hidclient/index.html.en freedesktop.org, Evemu http://www.freedesktop.org/wiki/Evemu/ Apple Inc., アクセシビリティ iOS VoiceOver https://www.apple.com/jp/accessibility/ios/voiceover/

上述した非特許文献３に記載の技術のように、RDTPをそのまま用いる自動遠隔操作手法では、ターゲット端末の画面イメージの取得とコントローラ端末への送信、およびコントローラ端末から送信された入力情報の端末への反映を、ターゲット端末側のOS上で行う必要がある。
Apple社のiOSでは、画面イメージ全体の取得とOSへの操作入力の反映は一般アプリケーション向けAPI (Application Programming Interface)として公開されておらず、非特許文献３では、端末上の（一般の開発者には公開されない）非公開APIを使用することで実現している。OSベンダーには、このような非公開APIについて、将来に亘り過去の版との互換性を維持するモチベーション・インセンティブは存在しない。そのためこのような方式は、将来のOSの更新等により、APIが変更されシステムが遠隔操作機能を実現できなくなる可能性を孕んでいる、という課題が存在した。

また、RDTP技術は、IP通信の上で画面イメージ転送を伴う。これは特に、回線速度測定アプリなど、回線に大きな負荷をかけるアプリケーションを操作対象として利用する場合に問題となる。
すなわち、一般的なスマートフォン端末では、同時にひとつのIPネットワークのみが有効になるため、測定と操作が同じ回線の帯域を奪い合うことで互いに影響を及ぼす可能性がある。例えば、遠隔操作を行う際に、帯域不足による応答速度の低下や、回線切断による操作の中断が発生することが考えられる。あるいは、画面イメージ転送が帯域を消費し、回線速度測定アプリが十分に帯域を利用できず、実際よりも低い速度が計測されることも考えられる。

非特許文献４，５，６に記載されたキーボード入力操作を模擬するシステムでは、模擬できるのは文字入力操作のみであり、HID機器の模擬だけでは、アプリケーションの切り替えなど文字入力領域を越えたターゲット端末への遠隔操作ができないという課題があった。

本発明は上記実情に鑑みて提案されたものであり、ターゲット端末が標準搭載している機能のみを応用して、コントローラ端末からターゲット端末への遠隔操作を実現可能とした端末遠隔操作システム、この端末遠隔操作システムに使用するコントローラ端末、及び、コントローラ端末に遠隔操作を行わせるためのコントローラ端末制御プログラムを提供することを目的としている。

上記目的を達成するため本発明の端末遠隔操作システムは、コントローラでＨＩＤ（Human Interface Device）機器を模擬し、ターゲット端末への文字入力機能を提供したり、必要に応じて、視覚障害者向け表示機器などのシリアル機器を模擬し、ターゲット端末からの出力を解読する機能を提供することにより、ターゲット端末の自動遠隔操作を実現する端末自動遠隔操作システムであって、コントローラ端末からターゲット端末への遠隔操作に関して、画面イメージではなく視覚障害者向け機能を利用してターゲット端末の状態を取得するものである。

すなわち、請求項１は、一つのコントローラ端末が複数のターゲット端末を無線通信経由で遠隔操作する端末遠隔操作システムにおいて、
前記コントローラ端末は、 前記ターゲット端末への各種操作内容を入力する入力部又は各種操作内容が記録された操作内容記録部と、
前記入力部に入力された操作内容又は前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、
を備え、
前記ターゲット端末は、視覚障害者向け機能を備えることで、OSやアプリケーションの操作を可能とするとともに、
前記コントローラ端末は、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、条件分岐を含む操作を可能とする
ことを特徴としている。

請求項２は、請求項１の端末遠隔操作システムにおいて、
前記ターゲット端末はiPhone（登録商標）又はiPad（登録商標）であり、
前記無線通信はBluetooth（登録商標）規格に準拠し、
前記視覚障害者向け機能は前記iPhone（登録商標）又はiPad（登録商標）に標準搭載されたVoiceOverにより実行されることを特徴としている。

請求項３は、複数のターゲット端末を無線通信経由で遠隔操作するコントローラ端末であって、
前記ターゲット端末への各種操作内容を入力する入力部と、
前記入力部に入力された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えることを特徴としている。

請求項４は、複数のターゲット端末を無線通信経由で遠隔操作するコントローラ端末であって、
前記ターゲット端末への各種操作内容が記録された操作内容記録部と、
前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して自動的に実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えることを特徴としている。

請求項５のコントローラ端末制御プログラムは、請求項１の各部を前記コントローラ端末内に構築することを特徴としている。

本発明の端末遠隔操作システムによれば、スマートフォン端末（ターゲット端末）を遠隔操作するシステムとして利用するに際して、以下の効果を奏することができる。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、公開された標準機能のみを利用しているため、ターゲット端末のOSの更新などでシステムが利用できなくなる可能性を防ぐことができる。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、IP通信を使用しないため、回線速度測定などの回線に高負荷となる通信を伴うアプリケーションを操作する際にも、測定結果および操作の応答性に対して影響を受けることがない。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、画面イメージの転送を伴わないため、応答性が向上する。
また、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、コントローラ端末から条件分岐を含む操作が可能となる。

本発明の端末遠隔操作システムの実施形態の一例を示すブロック図である。 本発明の端末遠隔操作システムの実施形態の他の例を示すブロック図である。 本発明の端末遠隔操作システムを使用して、一つのコントローラ端末により複数のターゲット端末を同時操作する場合のシステム構成図である 本発明の端末遠隔操作システムを使用して、調査員が携帯する一つのコントローラ端末及び複数のターゲット端末により、各ターゲット端末に対して自動的な操作を行う場合のシステム構成図である。 本発明の端末遠隔操作システムを使用して、定点に設置された一つのコントローラ端末により複数のターゲット端末に対して自動的な操作を行う場合のシステム構成図である。 本発明の端末遠隔操作システムを使用して、遠隔サポート業務を行う場合のシステム構成図である。

本発明の端末遠隔操作システムの実施形態について、図面を参照して説明する。
端末遠隔操作システムは、一つのコントローラ端末１と、複数のターゲット端末２とから構成され、コントローラ端末１が複数のターゲット端末２を無線通信経由で遠隔操作するようになっている。

コントローラ端末１は、基本プログラムや各種の基本デバイスが記憶されたＲＯＭと、各種のプログラムやデータが記憶されるハードディスクドライブ装置（ＨＤＤ）と、プログラムを実行するＣＰＵと、このＣＰＵにワークエリアを提供するＲＡＭと、キーボード３等の入力部とを主要部分とする一般的な構成を備えたコンピュータ上で、コントローラ端末制御プログラムがインストールされることで構築される。
ターゲット端末２についても一般的な機能を備えたコンピュータで構成され、具体的には、iPhone（Apple社の商品名）又はiPad（Apple社の商品名）で構成されている。
また、コントローラ端末１は、Bluetooth規格で準拠された無線通信によりターゲット端末２に対して操作可能なようになっている。

コントローラ端末１は、ターゲット端末２への操作内容が読み込まれる操作内容読込部１１と、ターゲット端末２への操作内容を実行する操作内容実行部１２と、ターゲット端末２からＨＩＤ機器に見えるように模擬するＨＩＤ機器模擬部１３と、ターゲット端末２に対してBluetoothで操作内容に関するデータの送受信を行う送受信部１４とを備えて構成される。

操作内容読込部１１は、キーボード（入力部）３から入力される操作によりターゲット端末２への各種操作内容が読み込まれる。また、予め各種操作内容が記録された操作内容記録部１０から自動的に各種操作内容を読み込むようにしてもよい。操作内容記録部１０には、例えば、ターゲット端末２に対する自動的な操作を可能とするため、入力キーコードや待機時間の情報、操作を行う対象ターゲット端末２の識別情報（MACアドレス、Bluetooth表示名等）が記録されている。ターゲット端末２への各種操作内容は、操作情報として操作内容実行部１２へ出力される。

操作内容実行部１２は、キーボード（入力部）３に入力された操作内容又は操作内容記録部１０に記録された操作内容となる操作情報を入力し、各ターゲット端末２に対して実行する。例えば、操作情報通りにキー入力と待機を再現し、操作情報に応じて、複数のターゲット端末２に対して一つのシナリオを同時に送信したり、各ターゲット端末２に別々のシナリオを送信する。

ＨＩＤ機器模擬部１３は、各ターゲット端末２からコントローラ端末１がＨＩＤ機器に見えるように模擬するもので、BluetoothにおいてＨＩＤ機器が提供するサービスを検索するプロトコルであるＳＤＰ(Service Discovery Protocol)によって、自己のターゲット携帯２のサービスが検索された場合に、ＨＩＤ機器をサポートしているという返答を行うことで模擬する。その結果、操作内容実行部１２からの操作情報（入力キー情報と待機情報）をＨＩＤプロファイルのスキャンコードに変換して各ターゲット端末２へ送信する機能を有する。
また、各ターゲット端末２の端末識別情報を操作内容実行部１２へ出力する。
送受信部１４は、各ターゲット端末２に対して操作内容に関するデータの送受信を行うBluetooth無線機により構成されている。

ターゲット端末２は、iOSを搭載し、標準搭載されたVoiceOverによりOSやアプリケーションの操作を可能としている。

すなわち、上述した構成の端末遠隔操作システムによれば、コントローラ端末１は、ターゲット端末２に対してキーボード機器（BluetoothのＨＩＤ機器）としてエミュートし、iOS の視覚障害者向けアクセシビリティ機能であるVoiceOverを併用してターゲット端末（iPhone又はiPad）２を操作する。

端末遠隔操作システムの実施形態の他の例について、図２を参照して説明する。
図１の端末遠隔操作システムにおけるキーボード入力操作の模擬では、HIDの仕組み上、キー入力信号をコントローラ端末１からターゲット端末２に一方的に送信するのみであり、ターゲット端末２の画面上で表示されている文字や、ボタン項目の選択状態などアプリケーションの状態をコントローラ端末にフィードバックすることはできない。そのため、アプリケーションの処理結果の取得や、実行結果に応じた条件判断が必要となる操作を行うことができない。

そこで、図１の端末遠隔操作システムのコントローラ端末１に対して、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部１５と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部１６とを更に備えることで、条件分岐を含む自動操作を可能とする構成とした。
図２において、図１の端末遠隔操作システムと同一構成を採る部分については同一符号を付して説明を省略し、異なる構成を中心に説明する。
視覚障害者向け模擬部１５は、ターゲット端末２から視覚障害者向け機器（点字出力等）に見えるように模擬する機能を有している。
視覚障害者向け情報解読部１６は、視覚障害者向け模擬部１５から入力される点字等の視覚障害者向け情報を文字情報に変換することで解読し、操作内容実行部１２へフィードバック情報として出力する。
操作内容実行部１２では、フィードバック情報に基づいて条件分岐を再現可能とする。
また、操作内容記録部１０では、フィードバック情報による条件分岐の定義等が記録されている。

上述した構成の端末遠隔操作システムによれば、ターゲット端末２の点字ディスプレイへの出力機能を利用して、OS上での選択状態や項目の読み上げ（表示）からフィードバックを受けて操作することを可能とする。

次に、図１に示した端末遠隔操作システムの使用手順について説明する。
（１）先ず、コントローラ端末１とターゲット端末２間を、Bluetooth規格に準拠した無線通信によって接続する。このときコントローラ端末１は、HID入力機器を模擬し、ターゲット端末２からはキーボード機器として識別されるようにする。
（２）ターゲット端末２において、視覚障害者向け機能（VoiceOver）を有効にし、コントローラ端末１のキーボード３による操作によってOSおよびアプリケーションの基本操作が可能な状態にする。
（３）利用者は、ターゲット端末２上で再現したい一連の操作内容をコントローラ端末１に与える（コントローラに接続しているＨＩＤ機器を通して入力した記録の再現もしくはキー入力内容・タイミングを指定した記述を入力として与える）。
（４）コントローラ端末１は、（３）で与えられたキー入力をＨＩＤの入力情報（スキャンコード）に変換して、与えられた順序・タイミングの通りにターゲット端末に送信することで、自動遠隔操作を実現する。

図２に示した端末遠隔操作システムは、以下の手順を具備することで本手法の適用範囲を拡大することができる。
上述した（３）（４）に関して、コントローラ端末で条件分岐の判断等を行うために必要な応答データ（ターゲットの画面上の表示内容や選択項目など）として、テキスト情報に変換可能な情報（読み上げ機能や点字ディスプレイへの出力機能など）を利用する。
コントローラ端末は、ターゲット端末からこれらを受信可能なシリアル機器（点字ディスプレイ、音声出力デバイスなど）を模擬し、ターゲット端末からの出力を取得してテキスト情報に変換（解読）することで、現在の表示内容、選択内容を取得する。
取得情報を元に条件判断を行い、状況に応じて操作内容を変更することが可能となる。

続いて、上述した端末遠隔操作システムの具体的な使用例について、図３〜図５を参照して説明する。
図３は、端末遠隔操作システムを利用し、調査員のコントローラ端末への操作により、同時に複数台のターゲット端末への操作を行う例である。
アプリケーションの通信品質を調査する場合、調査員がコントローラ端末に接続された操作用のキーボードを利用したり、ＳＳＨリモートアクセス等を利用してコントローラ端末に直接入力操作を行うことにより、コントローラ端末に与えられた入力をBluetoothのＨＩＤとして送信して各ターゲット端末を同時操作するとともに、パケット取得が可能な中継器への操作を行うことで、通信経路上でパケットをキャプチャし、ソーシャルネットワークサービスのサーバへ出力させることで、アプリケーションの通信挙動を調査することが可能となる。

図４は、端末遠隔操作システムを利用し、サービスエリア内における通信品質測定を行う例である。
通信の中継機器やサーバの通信品質測定を行う場合、例えば調査員がコントローラ端末と複数のターゲット端末（例えば、通信キャリヤ毎のiPhone）を携帯し、調査員が移動する適宜場所において、コントローラ端末の操作内容記録に記録された操作が自動的に行われ、Bluetoothを介して各ターゲット端末を同時操作し、中継機器やネットワークにおけるサーバ負荷や応答速度の変化を取得することで、サービスエリア内で隈なく自動的な通信品質測定を行うことが可能となる。

図５は、端末遠隔操作システムを利用し、長期繰り返して耐久試験を行う例である。
通信の中継機器やサーバの耐久試験を行う場合、定点（同一ポイント）から長期に亘って、コントローラ端末の操作内容記録に記録された操作が自動的に行われ、Bluetoothを介して各ターゲット端末を同時操作し、中継機器を介してサーバが試験結果を取得することで、定期的な通信品質測定を自動的に行うことが可能となる。

図６は、端末遠隔操作システムを利用し、携帯電話のショップ等でサポートセンターのオペレーターが遠隔操作を行う例である。
サポートセンターのオペレーターが遠隔操作を行う場合、携帯電話のショップ内のコントローラ端末に対して、オペレーターが通常の遠隔操作を行うことで、来店した顧客が所有するiPhoneに対して、Bluetoothを介してサポート業務（設定やデモンストレーション）を行うことが可能となる。

上述した端末遠隔操作システムによれば、iOS搭載機器であるターゲット端末（iPhone又はiPad）２が標準搭載しているVoiceOverにより、ターゲット端末２に対してコントローラ端末１がキーボード機器として見えるようにして（公開された標準機能のみを利用して）コントローラ端末１による遠隔操作が行われるので、ターゲット端末２のOSの更新などでシステムが利用できなくなることがなく、安定した利用が可能になる。

コントローラ端末１によるターゲット端末２の遠隔操作について、IP通信を使用しないため、回線速度測定などの回線に高負荷となる通信を伴うアプリケーションを操作する際にも、測定結果および操作の応答性に影響を及ぼさない。
また、コントローラ端末１によるターゲット端末２の遠隔操作に際して、コントローラ端末１へ画面イメージの転送を伴わないため、応答性の向上を図ることができる。

１…コントローラ端末、 ２…ターゲット端末、 ３…キーボード（入力部）、 １０…操作内容記録部、 １１…操作内容読込部、 １２…操作内容実行部、 １３…ＨＩＤ機器模擬部、 １４…送受信部、 １５…視覚障害者向け模擬部、 １６…視覚障害者向け情報解読部。

Claims (5)

1. 一つのコントローラ端末が複数のターゲット端末を無線通信経由で遠隔操作するシステムにおいて、
   前記コントローラ端末は、
   前記ターゲット端末への各種操作内容を入力する入力部又は各種操作内容が記録された操作内容記録部と、
   前記入力部に入力された操作内容又は前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
   前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、
   を備え、
   前記ターゲット端末は、視覚障害者向け機能を備えることで、OSやアプリケーションの操作を可能とするとともに、
   前記コントローラ端末は、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、条件分岐を含む操作を可能とする
   ことを特徴とする端末遠隔操作システム。
2. 前記ターゲット端末はiPhone（登録商標）又はiPad（登録商標）であり、
   前記無線通信はBluetooth（登録商標）規格に準拠し、
   前記視覚障害者向け機能は前記iPhone（登録商標）又はiPad（登録商標）に標準搭載されたVoiceOverにより実行される請求項１に記載の端末遠隔操作システム。
3. 複数のターゲット端末を無線通信経由で自動遠隔操作するコントローラ端末であって、
   前記ターゲット端末への各種操作内容を入力する入力部と、
   前記入力部に入力された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
   前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
   条件分岐を含む操作を可能とするために、
   視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
   テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
   を備えたことを特徴とするコントローラ端末。
4. 複数のターゲット端末を無線通信経由で自動遠隔操作するコントローラ端末であって、
   前記ターゲット端末への各種操作内容が記録された操作内容記録部と、
   前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して自動的に実行する操作内容実行部と、
   前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
   条件分岐を含む操作を可能とするために、
   視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
   テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
   を備えたことを特徴とするコントローラ端末。
5. 請求項１に記載の各部を前記コントローラ端末内に構築することを特徴とするコントローラ端末制御プログラム。