JP7613890B2 - Control device and robot - Google Patents
Control device and robot Download PDFInfo
- Publication number
- JP7613890B2 JP7613890B2 JP2020188619A JP2020188619A JP7613890B2 JP 7613890 B2 JP7613890 B2 JP 7613890B2 JP 2020188619 A JP2020188619 A JP 2020188619A JP 2020188619 A JP2020188619 A JP 2020188619A JP 7613890 B2 JP7613890 B2 JP 7613890B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- robot
- unit
- image
- touch operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Selective Calling Equipment (AREA)
- Manipulator (AREA)
Description
本開示は、制御装置、及びロボット、に関する。 The present disclosure relates to a control device and a robot.
特許文献１には、スマートフォン等の端末装置の機能を、端末装置に対するタッチ操作を実行するロボットを用いて検査する検査装置が開示されている。特許文献１に開示の検査装置は、検査対象の端末装置に対するタッチ操作をロボットに実行させ、端末装置の表示部を撮像して得られる画像と所定の気体画像とを比較することにより、端末装置の機能を検査する。
ロボットを用いた遠隔操作により端末装置にアプリケーションを実行させる場合、ユーザは、操作される側の端末装置の表示領域の撮像画像を手元の端末装置に表示させ、手元の端末装置に表示される画像を通じてアプリケーションの実行状況を把握する。ロボットを用いた端末装置の遠隔操作において、アプリケーションを実行中の端末装置の撮像の設定が、当該アプリケーションに適していないと種々の問題が発生し得る。撮像の設定の具体例としては、撮像画像の解像度が挙げられる。また、撮像画像が動画像である場合には、撮像の設定の具体例として撮像画像のフレームレートが挙げられる。例えば、動画閲覧アプリケーション又はゲームアプリケーションを実行中の端末装置の撮像画像のフレームレートが低いと、操作する側の端末装置での動画の閲覧又はゲーム操作に支障が生じる。一方、撮像画像のフレームレートをアプリケーションの種類とは無関係に予め高く設定しておくと、遠隔操作により実行させるアプリケーションがメールアプリケーション又はＳＮＳアプリケーションである場合には、撮像画像のフレームレートが低くても遠隔操作に支障が生じないにも拘わらず、撮像画像に関する通信量が無駄に増加する。 When a terminal device is made to execute an application by remote control using a robot, the user displays the captured image of the display area of the operated terminal device on the terminal device at hand, and grasps the execution status of the application through the image displayed on the terminal device at hand. When remotely controlling a terminal device using a robot, various problems can occur if the image capture settings of the terminal device executing an application are not suitable for the application. A specific example of the image capture settings is the resolution of the captured image. In addition, when the captured image is a moving image, a specific example of the image capture settings is the frame rate of the captured image. For example, if the frame rate of the captured image of a terminal device executing a video viewing application or a game application is low, it will cause problems in viewing the video or playing the game on the operating terminal device. On the other hand, if the frame rate of the captured image is set high in advance regardless of the type of application, when the application executed by remote control is a mail application or a SNS application, the remote control will not be affected even if the frame rate of the captured image is low, but the amount of communication related to the captured image will increase unnecessarily.
本開示は以上に説明した課題に鑑みて為されたものであり、ロボットを用いた端末装置の遠隔操作において、端末装置に実行させるアプリケーションに応じた撮像の設定で、端末装置の表示領域の画像を撮像させることを目的とする。 This disclosure has been made in consideration of the problems described above, and aims to capture an image of the display area of a terminal device with imaging settings that correspond to an application to be executed by the terminal device when remotely controlling the terminal device using a robot.
以上に説明した課題を解決するために、本開示の制御装置は、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される第１端末装置の表示領域に対して第１タッチ操作を行うロボットを、第２端末装置の表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部と、制御部と、特定部と、更新部とを備える。取得部は、前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する。制御部は、前記第１画像に基づいて、前記第２端末装置の表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる。特定部は、前記第２位置情報に基づいて、前記複数の第２アイコンのうち前記第２タッチ操作によって選択された一の第２アイコンに対応する一の第１アイコンを特定する。更新部は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記ロボットによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。 In order to solve the problems described above, the control device of the present disclosure is a control device that controls a robot that performs a first touch operation on a display area of a first terminal device, in which a plurality of first icons corresponding one-to-one to a plurality of applications are displayed, based on a second touch operation on a display area of a second terminal device, and includes an acquisition unit, a control unit, an identification unit, and an update unit. The acquisition unit acquires a first image generated by the robot capturing an image of the first terminal device, and second position information indicating a position in the display area of the second terminal device touched by the second touch operation. The control unit displays a plurality of second icons corresponding one-to-one to the plurality of first icons on the display area of the second terminal device based on the first image, and causes the robot to perform the first touch operation based on the second position information. The identification unit identifies a first icon corresponding to a second icon selected by the second touch operation among the plurality of second icons based on the second position information. The update unit updates the settings of the image captured by the robot to settings according to the type of application corresponding to the one first icon, based on the type of application corresponding to the one first icon.
以上に説明した課題を解決するために、本開示の別の態様の制御装置は、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される第１端末装置の表示領域に対して第１タッチ操作を行うロボットを、第２端末装置の表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部と、制御部と、特定部と、更新部と、を備える。取得部は、前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する。制御部は、前記第１画像に基づいて、前記第２端末装置の表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる。特定部は、前記第１画像に基づいて、前記複数の第１アイコンのうち前記第１タッチ操作によって選択された一の第１アイコンを特定する。更新部は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記ロボットによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。 In order to solve the above-described problems, a control device according to another aspect of the present disclosure is a control device that controls a robot that performs a first touch operation on a display area of a first terminal device, in which a plurality of first icons corresponding one-to-one to a plurality of applications are displayed, based on a second touch operation on a display area of a second terminal device, and includes an acquisition unit, a control unit, an identification unit, and an update unit. The acquisition unit acquires a first image generated by the robot capturing an image of the first terminal device, and second position information indicating a position in the display area of the second terminal device touched by the second touch operation. The control unit causes a plurality of second icons that correspond one-to-one to the plurality of first icons to be displayed on the display area of the second terminal device based on the first image, and causes the robot to perform the first touch operation based on the second position information. The identification unit identifies one of the plurality of first icons selected by the first touch operation based on the first image. The update unit updates the settings of the image captured by the robot to settings according to the type of application corresponding to the one first icon, based on the type of application corresponding to the one first icon.
以上に説明した課題を解決するために、本開示のロボットは、第１端末装置の表示領域に対する第１タッチ操作を、第２端末装置の表示領域に対する第２タッチ操作に基づいて実行するロボットであって、
撮像装置、操作装置、及び処理装置を備える。操作装置は、前記第１端末装置と前記撮像装置との間に位置し、前記第１タッチ操作を行う。処理装置は、取得部、制御部、及び更新部を備える。取得部は、前記第１タッチ操作に関する指示情報と、前記撮像装置の撮像の設定に関する設定情報とを取得する。制御部は、前記指示情報に基づいて前記操作装置に前記第１タッチ操作を実行させる。更新部は、前記設定情報に基づいて前記撮像装置の設定を更新する。
In order to solve the above-described problems, the present disclosure provides a robot that executes a first touch operation on a display area of a first terminal device based on a second touch operation on a display area of a second terminal device,
The system includes an imaging device, an operation device, and a processing device. The operation device is located between the first terminal device and the imaging device, and performs the first touch operation. The processing device includes an acquisition unit, a control unit, and an update unit. The acquisition unit acquires instruction information related to the first touch operation and setting information related to settings of imaging of the imaging device. The control unit causes the operation device to execute the first touch operation based on the instruction information. The update unit updates the settings of the imaging device based on the setting information.
また、以上の課題を解決するために、本開示の別の態様のロボットは、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される第１端末装置の表示領域に対して第１タッチ操作を、第２端末装置の表示領域に対する第２タッチ操作に基づいて実行するロボットであって、撮像装置、操作装置、及び処理装置を備える。操作装置は、前記第１端末装置と前記撮像装置との間に位置し、前記第１タッチ操作を行う。処理装置は、取得部、制御部、特定部、及び更新部を備える。取得部は、前記第１タッチ操作に関する指示情報を取得する。制御部は、前記指示情報に基づいて、前記操作装置に前記第１タッチ操作を実行させる。特定部は、前記撮像装置によって撮像された前記第１端末装置の表示領域を示す第１画像に基づいて、前記第１タッチ操作によって前記複数の第１アイコンのうち選択された一の第１アイコンを特定する。更新部は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記撮像装置による撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。 In order to solve the above problems, a robot according to another aspect of the present disclosure is a robot that performs a first touch operation on a display area of a first terminal device on which a plurality of first icons corresponding one-to-one to a plurality of applications are displayed, based on a second touch operation on a display area of a second terminal device, and includes an imaging device, an operation device, and a processing device. The operation device is located between the first terminal device and the imaging device, and performs the first touch operation. The processing device includes an acquisition unit, a control unit, an identification unit, and an update unit. The acquisition unit acquires instruction information related to the first touch operation. The control unit causes the operation device to perform the first touch operation based on the instruction information. The identification unit identifies one of the plurality of first icons selected by the first touch operation based on a first image showing the display area of the first terminal device captured by the imaging device. The update unit updates the settings of the imaging device to settings according to the type of application corresponding to the one first icon, based on the type of application corresponding to the one first icon.
本開示によれば、ロボットを用いた端末装置の遠隔操作において、端末装置の表示領域の画像をロボットが撮像する際の撮像の設定を、遠隔操作により端末装置に実行させるアプリケーションに応じた設定にさせることができる。 According to the present disclosure, when a robot is used to remotely control a terminal device, the imaging settings when the robot captures an image of the display area of the terminal device can be set according to the application that is to be executed by the terminal device via remote control.
以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。 Embodiments of the present disclosure will be described below with reference to the drawings. Various technically preferable limitations are imposed on the embodiments described below. However, the embodiments of the present disclosure are not limited to the forms described below.
Ａ．第１実施形態
図１は、本開示の第１実施形態による遠隔操作システム１Ａの構成例を示す図である。図１に示すように、遠隔操作システム１Ａは、ロボット１０Ａと、制御装置３０Ａとを、を含む。ロボット１０Ａは、通信網ＮＷを介して制御装置３０Ａと通信する。通信網ＮＷは、インターネット及び移動通信網を含む。遠隔操作システム１Ａは、端末装置４０を通信網ＮＷ経由で端末装置２０Ａを用いて遠隔操作するためのシステムである。端末装置２０Ａは、通信網ＮＷを介して制御装置３０Ａと通信する。本実施形態では、端末装置２０Ａに対するユーザの操作に応じて制御装置３０Ａがロボット１０Ａを制御することで、端末装置４０の遠隔操作が実現される。端末装置４０は本開示における第１端末装置の一例である。端末装置２０Ａは本開示における第２端末装置の一例である。
A. First embodiment FIG. 1 is a diagram showing a configuration example of a remote control system 1A according to a first embodiment of the present disclosure. As shown in FIG. 1, the remote control system 1A includes a
図１における端末装置４０は、プログラム実行機能を備えた情報処理装置である。端末装置４０は、例えばスマートフォンである。図１では詳細な図示を省略したが、端末装置４０の筐体の平面形状は長方形である。端末装置４０の筐体の平面形状は、長方形以外の多角形、又は４つの角部が丸められた長方形のように少なくとも一部が曲線で形成された形状、であってもよい。端末装置４０には、複数のアプリケーションプログラムが予めインストールされている。アプリケーションプログラムは、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。端末装置４０は、複数のアプリケーションに１対１に対応する複数のアイコンを表示領域に表示させる。端末装置４０の表示領域に表示されるアイコンは本開示における第１アイコンの一例である。端末装置４０は、表示領域に対するタッチ操作により指定されたアイコンに対応するアプリケーションを実行する。
The
図２は、ロボット１０Ａの構成例を示す図である。図２に示すように、ロボット１０Ａは、処理装置１００、通信装置１１０、記憶装置１２０、撮像装置１３０、及び操作装置１４０を備える。通信装置１１０は、無線通信モジュールである。通信装置１１０は、通信網ＮＷの基地局との間で無線通信を行う。
Figure 2 is a diagram showing an example of the configuration of the
記憶装置１２０は、処理装置１００が読み取り可能な記録媒体である。記憶装置１２０は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Radom Access Memory）である。
The
記憶装置１２０の不揮発性メモリには、処理装置１００によって実行されるプログラム１２０ａ１が記憶される。記憶装置１２０の揮発性メモリはプログラム１２０ａ１を実行する際のワークエリアとして処理装置１００によって利用される。プログラム１２０ａ１は、例えば、通信装置１１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置１２０に記憶される。プログラム１２０ａ１は、ロボット１０Ａの工場出荷時点で記憶装置１２０に予め記憶されてもよい。
The non-volatile memory of the
撮像装置１３０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。本実施形態では、撮像装置１３０は、端末装置４０を含む動画像を撮像する。撮像装置１３０は、撮像した画像を表す画像データを処理装置１００へ出力する。
The
操作装置１４０は、図１に示すように、端末装置４０に対するタッチ操作を行うための指示体１４２と、アーム１４４とを含む。また、操作装置１４０は、アーム１４４を移動させる移動機構（図示略）を含む。移動機構は、指示体１４２を用いたタッチ操作を実行する場合、アーム１４４を下方向に移動させる。指示体１４２は棒状に形成されている。図１では詳細な図示を省略したが、指示体１４２の一端には、端末装置４０の表示領域を押下するための接触部が設けられている。指示体１４２の他端には、接触部が他の物体（例えば、端末装置４０）に接触している場合に発光する発光部が設けられている。アーム１４４は、撮像装置１３０と端末装置４０との間で指示体１４２を移動させる。アーム１４４は、撮像装置１３０による端末装置４０の撮像の妨げとならないように、透明樹脂等の透明素材で形成される。なお、操作装置１４０は、指示体１４２及びアーム１４４を、複数組有してもよい。指示体１４２及びアーム１４４を二組有する操作装置１４０は、端末装置４０に対してピンチイン又はピンチアウトといったピンチ操作を実行できる。ピンチインとは、端末装置４０の表示領域に２本の指をタッチさせている状態において一方の指のタッチ位置と他方の指のタッチ位置との間隔を狭めるように２本の指を動かす操作のことをいう。ピンチインは、端末装置４０に対して表示画像の縮小を指示する操作として一般に用いられる。ピンチアウトとは、端末装置４０の表示領域に２本の指をタッチさせている状態において一方の指のタッチ位置と他方の指のタッチ位置との間隔を広げるように２本の指を動かす操作のことをいう。ピンチアウトは、端末装置４０に対して表示画像の拡大を指示する操作として一般に用いられる。
As shown in FIG. 1, the
処理装置１００は、例えばＣＰＵ（Central Processing Unit）等のプロセッサ、即ちコンピュータを含んで構成される。処理装置１００は、単一のコンピュータで構成されてもよいし、複数のコンピュータで構成されてもよい。処理装置１００は、ロボット１０Ａの電源投入を契機としてプログラム１２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム１２０ａ１の実行を開始する。プログラム１２０ａ１に従って作動中の処理装置１００は、図２に示す制御部１００ａ１として機能する。図２に示す制御部１００ａ１は、処理装置１００をプログラム１２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。
The
制御部１００ａ１は、撮像装置１３０に端末装置４０を撮像させる。撮像装置１３０は、端末装置４０を撮像することによって撮像画像を生成する。撮像画像は本開示における第１画像の一例である。制御部１００ａ１は、撮像装置１３０による端末装置４０の撮像画像を、通信装置１１０を介して通信網ＮＷへ送信する。また、制御部１００ａ１は、通信網ＮＷから与えられる更新指示に応じて、撮像装置１３０の設定を更新する。撮像装置１３０の設定としては、撮像画像のフレームレートと撮像画像の解像度との少なくとも一方が挙げられる。本実施形態における撮像装置１３０の設定は撮像画像のフレームレートである。更新指示には、撮像装置１３０の設定を示す設定情報が含まれる。
The control unit 100a1 causes the
制御部１００ａ１は、通信網ＮＷから受信する操作指示に応じて操作装置１４０を制御し、端末装置４０の表示領域に対するタッチ操作を行う。ロボット１０Ａが行うタッチ操作は本開示における第１タッチ操作の一例である。本実施形態では、ロボット１０Ａに対して、ロボット１０Ａの中心を原点とする２次元座標系におけるタッチ位置を指定する操作指示が制御装置３０Ａから与えられる。操作指示は本開示における指示情報の一例である。
The control unit 100a1 controls the
次いで、端末装置２０Ａの構成を説明する。端末装置２０Ａは、端末装置４０を遠隔操作するためのユーザの操作を受け付ける情報処理装置である。端末装置２０Ａは、例えばスマートフォンである。図３は、端末装置２０Ａの構成例を示す図である。図３に示すように、端末装置２０Ａは、処理装置２００、通信装置２１０、記憶装置２２０、表示装置２３０、及び入力装置２４０を備える。処理装置２００は、処理装置１００と同様に、単一のコンピュータ又は複数のコンピュータで構成される。通信装置２１０は、通信装置１１０と同様に、無線通信モジュールである。通信装置２１０は、通信網ＮＷの基地局との間で無線通信を行う。記憶装置２２０は、記憶装置１２０と同様に、不揮発性メモリと揮発性メモリとを含む。
Next, the configuration of the
記憶装置２２０の不揮発性メモリには、処理装置２００によって実行されるプログラム２２０ａ１が記憶される。記憶装置２２０の揮発性メモリはプログラム２２０ａ１を実行する際のワークエリアとして処理装置２００によって利用される。プログラム２２０ａ１は、例えば、通信装置２１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置２２０に記憶される。プログラム２２０ａ１は、端末装置２０Ａの工場出荷時点で記憶装置２２０に予め記憶されてもよい。
The non-volatile memory of the
表示装置２３０は、例えば液晶ディスプレイと、当該液晶ディスプレイの駆動回路とを含む。表示装置２３０は、処理装置２００による制御の下で各種画像を表示する。表示装置２３０は本開示における第２端末装置の表示部の一例である。入力装置２４０は、例えば透明なシート状の接触検知センサである。入力装置２４０は表示装置２３０の表示領域を覆うように設けられる。本実施形態では、表示装置２３０と入力装置２４０とによりタッチパネルが形成される。入力装置２４０に対してユーザによってタッチ操作が為されると、入力装置２４０はユーザの操作を示す操作データを処理装置２００へ出力する。操作データは、ユーザのタッチ操作を示すデータである。操作データには、ユーザのタッチ位置、即ち表示装置２３０の表示領域内のタッチ位置を示すデータが含まれる。タッチ操作を示す操作データを処理装置２００へ出力することで、表示装置２３０の表示領域内のタッチ位置が処理装置２００へ伝達される。なお、タッチ位置を押し続けた後に指を離す長押し操作が入力装置２４０に対して為された場合には、入力装置２４０は、タッチされていた時間を表すデータを更に含む操作データを処理装置２００へ出力する。また、フリック操作のように指をタッチさせたまま移動させてその後離す操作が入力装置２４０に対して為された場合には、入力装置２４０は、タッチ開始位置、タッチ終了位置、及びタッチされていた時間の各々を示すデータを含む操作データを処理装置２００へ出力する。
The
処理装置２００は、プログラム２２０ａ１の実行開始を指示する操作を示す操作データを入力装置２４０から受け取ったことを契機としてプログラム２２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム２２０ａ１の実行を開始する。なお、プログラム２２０ａ１は、プログラム２２０ａ１とは異なるプログラムからの呼び出しにより実行されてもよい。処理装置２００が複数のプログラムを並列に実行可能である場合において、実行中のプログラムにプログラム２２０ａ１の呼び出しを指示するコードが含まれていた場合には、処理装置２００は当該コードの実行を契機としてプログラム２２０ａ１の実行を開始する。プログラム２２０ａ１の実行開始を指示する操作の具体例としては、プログラム２２０ａ１を示すものとして表示装置２３０に表示されるアイコンに対するタッチ操作が挙げられる。プログラム２２０ａ１に従って作動中の処理装置２００は、制御部２００ａ１として機能する。図３に示す制御部２００ａ１は、処理装置２００をプログラム２２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。
When the
制御部２００ａ１は、制御装置３０Ａから送信される端末画像を通信装置２１０を介して受信する。端末画像とは、端末装置４０の表示領域の画像のことをいう。端末画像は、端末装置４０の撮像画像から制御装置３０Ａにより生成される。また、制御部２００ａ１は、受信した端末画像を表示装置２３０に表示することで、タッチ操作をユーザに促す。そして、制御部２００ａ１は、表示装置２３０の表示領域に対して為されたタッチ操作の位置を示す位置情報を通信装置２１０を介して制御装置３０Ａへ送信する。表示装置２３０の表示領域には端末画像が表示されるのであるから、表示装置２３０の表示領域に対して為されるタッチ操作によって、端末画像内の位置が指定される。表示装置２３０の表示領域に対して為されたタッチ操作は本開示における第２タッチ操作の一例である。端末装置２０Ａから制御装置３０Ａに送信される位置情報は本開示における第２位置情報の一例である。
The control unit 200a1 receives the terminal image transmitted from the
次いで、制御装置３０Ａの構成を説明する。制御装置３０Ａは、端末装置２０Ａに対するユーザのタッチ操作に応じてロボット１０Ａを制御する情報処理装置である。制御装置３０Ａは、例えばサーバ又はパーソナルコンピュータである。図４は、制御装置３０Ａの構成例を示す図である。図４に示すように、制御装置３０Ａは、処理装置３００、通信装置３１０、及び記憶装置３２０を備える。処理装置３００は、処理装置１００と同様に、単一のコンピュータ又は複数のコンピュータで構成される。通信装置３１０は、有線通信モジュールである。通信装置３１０は、通信線を介して通信網ＮＷに接続される。通信装置３１０は、通信網ＮＷとの間で有線通信を行う。記憶装置３２０は、記憶装置１２０と同様に、不揮発性メモリと揮発性メモリとを含む。
Next, the configuration of the
記憶装置３２０の不揮発性メモリには、処理装置３００によって実行されるプログラム３２０ａ１が記憶される。記憶装置３２０の揮発性メモリはプログラム３２０ａ１を実行する際のワークエリアとして処理装置３００によって利用される。プログラム３２０ａ１は、例えば、通信装置３１０を介して、通信網ＮＷに接続された不図示のサーバ等から取得され、その後、記憶装置３２０に記憶される。プログラム３２０ａ１は、制御装置３０Ａの工場出荷時点で記憶装置３２０に予め記憶されてもよい。
The non-volatile memory of the
記憶装置３２０には、プログラム３２０ａ１の他に、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶される。第１変換情報３２０ａ２は、撮像画像内の位置と端末画像内の位置とを相互変換するための情報である。第１変換情報３２０ａ２の具体例としては、撮像画像の中心を原点とする座標系において、端末画像の中心が占める位置を示す情報、及びロボット１０Ａに対する端末装置４０の傾きの角度が挙げられる。
In addition to program 320a1,
図５を参照して、傾きの角度を具体的に説明する。図５に示すＹ軸は、ロボット１０Ａの中心Ｐ１と撮像装置１３０の撮像範囲の中心Ｐ２とを通る座標軸である。図５におけるＺ軸は鉛直方向の座標軸である。Ｘ軸はＹ軸及びＺ軸に直交する座標軸である。ロボット１０Ａに対して端末装置４０が傾いているとは、Ｘ軸及びＹ軸によって表される２次元座標系において、端末装置４０の筐体の長辺ＬとＹ軸とが平行ではない状態のことをいう。以下、本実施形態では、端末装置４０の筐体の長辺ＬとＹ軸との為す角度θを、ロボット１０Ａに対する端末装置４０の傾きの角度と呼ぶ。
The angle of inclination will be specifically described with reference to FIG. 5. The Y axis shown in FIG. 5 is a coordinate axis passing through the center P1 of the
詳細については後述するが、ロボット１０Ａに対する端末装置４０の傾きの角度は、撮像装置１３０による端末装置４０の撮像画像に基づいて処理装置３００によって検出される。端末装置４０の傾きの角度は、プログラム３２０ａ１に従って作動している処理装置３００によって検出されるため、第１変換情報３２０ａ２は、プログラム３２０ａ１に従って作動している処理装置３００によって生成される。処理装置３００によって生成された第１変換情報３２０ａ２は、揮発性メモリに書き込まれる。
Although details will be described later, the angle of inclination of the
第２変換情報３２０ａ３は、撮像画像内の位置を、図５に示すＸ軸及びＹ軸により表され、ロボット１０Ａの中心の位置を原点とする２次元座標系における位置に変換するための情報である。ロボット１０Ａの中心の位置とは、ロボット１０ＡをＺ軸の正から負に向けて平面視した場合に、ロボット１０Ａの重心を示す位置である。以下では、図５に示すＸ軸及びＹ軸により表され、ロボット１０Ａの中心の位置を原点とする２次元座標系は、単に「ＸＹ座標系」と称される。第２変換情報３２０ａ３の具体例としては、ＸＹ座標系における撮像装置１３０の撮像範囲の中心の位置を示す情報と、撮像画像の拡大又は縮小の比率を示す情報とが挙げられる。なお、撮像画像が等倍で撮像されている場合には、第２変換情報３２０ａ３は、ＸＹ座標系における撮像装置１３０の撮像範囲の中心の位置を示す情報のみで構成される。第２変換情報３２０ａ３はロボット１０Ａの仕様により定まる情報である。第２変換情報３２０ａ３は、記憶装置３２０の不揮発性メモリに予め記憶されている。
The second conversion information 320a3 is information for converting a position in the captured image into a position in a two-dimensional coordinate system represented by the X-axis and Y-axis shown in FIG. 5 and having the center position of the
アプリＤＢ３２０ａ４には、アプリのアイコンに対応付けてアプリの種類を示す情報が予め複数登録されている。本実施形態では、端末装置４０にインストールされている各アプリのアイコンとアプリの種類を示す情報とがアプリＤＢ３２０ａ４に予め登録されている。アプリＤＢ３２０ａ４は記憶装置３２０の不揮発性メモリに予め記憶されている。アプリＤＢ３２０ａ４は本開示における関係情報の一例である。テーブル３２０ａ５には、アプリＤＢ３２０ａ４にアイコンが登録されているアプリの種類に対応付けて、アプリを実行中の端末装置４０の表示領域の撮像に好適なフレームレートが予め格納されている。例えば動画閲覧アプリ又はゲームアプリについては高いフレームレートがテーブル３２０ａ５に格納されており、メールアプリ又はＳＮＳアプリについては低いフレームレートがテーブル３２０ａ５に格納されている。動画閲覧アプリ又はゲームアプリを実行中の端末装置４０を撮像する際のフレームレートを低くすると、端末装置２０Ａでの動画の閲覧又はゲーム操作に支障が生じる一方、メールアプリ又はＳＮＳアプリであれば、フレームレートを低くしても遠隔操作に支障は生じないからである。テーブル３２０ａ５は記憶装置３２０の不揮発性メモリに予め記憶されている。
In the application DB 320a4, a plurality of pieces of information indicating the type of application are registered in advance in association with the icon of the application. In this embodiment, the icon of each application installed in the
処理装置３００は、制御装置３０Ａの電源投入を契機としてプログラム３２０ａ１を不揮発性メモリから揮発性メモリに読み出し、プログラム３２０ａ１の実行を開始する。処理装置３００は、プログラム３２０ａ１を実行することによって、図４に示す制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７として機能する。図４に示す制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７は、処理装置３００をプログラム３２０ａ１に従って動作させることで実現されるソフトウェアモジュールである。制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の各々の機能の詳細については、動作例にて説明する。
When the
処理装置３００は、プログラム３２０ａ１に従って作動することにより、表示動作と遠隔操作動作とを実行する。表示動作とは、端末画像を端末装置２０Ａの表示装置２３０に表示させる動作である。表示動作は、通信装置３１０を介して撮像画像を受信したことを契機として開始される。図６は、表示動作の流れを示すフローチャートである。図６に示すように、表示動作は、第１取得処理ＳＡ１１０、検出処理ＳＡ１２０、生成処理ＳＡ１３０、及び表示制御処理ＳＡ１４０を含む。
The
第１取得処理ＳＡ１１０では、処理装置３００は取得部３００ａ２として機能する。つまり、第１取得処理ＳＡ１１０は取得部３００ａ２により実行される処理である。第１取得処理ＳＡ１１０では、取得部３００ａ２は、ロボット１０Ａから送信された撮像画像を通信装置３１０から取得する。
In the first acquisition process SA110, the
第１取得処理ＳＡ１１０に後続する検出処理ＳＡ１２０では、処理装置３００は検出部３００ａ３として機能する。つまり、検出処理ＳＡ１２０は検出部３００ａ３により実行される処理である。検出部３００ａ３は、取得部３００ａ２により取得した撮像画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。ロボット１０Ａに対する端末装置４０の傾きの検出方法の具体的な態様としては、以下の第１態様、第２態様、第３態様、及び第４態様が挙げられる。
In the detection process SA120 that follows the first acquisition process SA110, the
第１態様は、撮像画像に写っている端末装置４０の輪郭線又は端末装置４０の表示領域の輪郭線に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する態様である。第１態様では、検出部３００ａ３は、撮像画像のＸ軸方向及びＹ軸方向の各々について、画素値をスキャンし、画素値が急激に変動する箇所を端末装置４０の輪郭線として抽出する。検出部３００ａ３は、スキャン方向に隣接する２つの画素の画素値（輝度）の差分を算出し、算出された差分が所定値以上となる画素を輪郭線上の画素として検出する。次いで、検出部３００ａ３は、端末装置４０の輪郭線の内側について同様の処理を実行することによって抽出される輪郭線の内側を表示領域とする。本実施形態では、端末装置４０の輪郭線及び端末装置４０の表示領域の輪郭線は長方形を為す。撮像画像がＹ軸方向に縦長の画像である場合、例えば、検出部３００ａ３は、撮像画像の長辺と端末装置４０の輪郭線とが平行になるように後者を時計回りに回転させたときの角度を端末装置４０の傾きの角度とする。
The first aspect is an aspect in which the inclination of the
第２態様は、撮像画像に写っているアイコンの形状を基づいて端末装置４０の傾きを検出する態様である。第２態様では、検出部３００ａ３は、表示領域の画像から第１態様と同様の方法によりアイコンの画像を抽出する。検出部３００ａ３により抽出されるアイコンの画像は本開示における第２画像の一例である。そして、検出部３００ａ３は、アイコンの輪郭線と撮像画像の輪郭線の為す角度を傾きの角度とする。撮像画像に複数のアイコンが写っている場合には、検出部３００ａ３は、円形以外の形状のアイコンを選択して第１態様の方法により傾きを検出する。
The second aspect is an aspect in which the tilt of the
第３態様は、撮像画像に複数のアイコンが写っている場合において、複数のアイコンの配列に基づいて傾きを検出する態様である。スマートフォンでは、複数のアイコンは、表示領域の長辺及び短辺に沿ってマトリックス状に配列されて表示されることが多い。従って、複数のアイコンのうちの一のアイコンの中心点と、当該一のアイコンの最寄に配列されるアイコンの中心点と、を通る直線は、表示領域の長辺又は短辺と平行になる。検出部３００ａ３は、複数のアイコンのうちの一のアイコンの中心点と、当該一のアイコンの最寄に配列されるアイコンの中心点とを通る直線と撮像画像の長辺とが為す角度によって傾きを検出する。複数のアイコンの画像も本開示における第２画像の一例である。 The third aspect is an aspect in which, when a captured image contains multiple icons, the tilt is detected based on the arrangement of the multiple icons. In smartphones, multiple icons are often displayed in a matrix arrangement along the long and short sides of the display area. Therefore, a straight line passing through the center point of one of the multiple icons and the center point of the icon arranged closest to the one icon is parallel to the long or short side of the display area. The detection unit 300a3 detects the tilt based on the angle made by the straight line passing through the center point of one of the multiple icons and the center point of the icon arranged closest to the one icon, and the long side of the captured image. An image of multiple icons is also an example of a second image in this disclosure.
第４態様は、アイコンとともに表示される文字列とアイコンとを利用して端末装置４０の傾きを特定する態様である。アイコンは、アイコンに対応するアプリの名称等を表す文字列とともに表示されることが多い。この文字列において各文字が並ぶ方向と撮像画像の輪郭線の長辺又は短辺とが為す角度を傾きの角度とする。アイコンとともに表示される文字列の画像も本開示における第２画像の一例である。
The fourth aspect is an aspect in which the inclination of the
本実施形態では、検出部３００ａ３は、第１態様の検出方法により、ロボット１０Ａに対する端末装置４０の傾きを検出する。しかし、検出部３００ａ３は、第２態様、第３態様又は第４態様の検出方法により傾きを検出してもよい。また、検出部３００ａ３は、第１態様の検出方法により傾きの検出を試み、傾きを検出できなかった場合に第２態様の検出方法により傾きの検出を試みるといったように、第１態様、第２態様、第３態様、及び第４態様のうちの任意の複数の態様を用いて傾きを検出してもよい。
In this embodiment, the detection unit 300a3 detects the inclination of the
検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、処理装置３００は生成部３００ａ４として機能する。つまり、生成処理ＳＡ１３０は生成部３００ａ４により実行される処理である。生成部３００ａ４は、取得部３００ａ２により取得した撮像画像に基づいて端末画像を生成する。より詳細に説明すると、生成部３００ａ４は、撮像画像のＹ方向及びＸ方向の各々について、画素値をスキャンし、画素値が急激に変動する箇所を端末装置４０の輪郭線とする。そして、生成部３００ａ４は、端末装置４０の輪郭線の内側について同様の処理を実行することによって抽出される輪郭線の内側を表示領域とする。次いで、生成部３００ａ４は、抽出した表示領域の画像を、検出部３００ａ３により検出した傾きの角度だけ逆方向に回転させることで補正して端末画像を生成する。
In the generation process SA130 following the detection process SA120, the
例えば、取得部３００ａ２により、図７に示す撮像画像Ｇ１が得られたとする。図７に示す例では、斜め線のハッチングを付された領域が端末装置４０における表示領域である。図７において黒く塗りつぶされた長方形は、端末装置４０の表示領域に表示されるアイコンを示す。生成部３００ａ４は、図７に示す撮像画像から、端末装置４０における表示領域の画像、即ち図７に示す例では斜め線のハッチングを付された領域の画像を抽出し、検出部３００ａ３により検出した傾きの角度だけ逆方向に回転させて、図８に示す端末画像Ｇ２を生成する。なお、通信装置３１０を介した通信によって生成部３００ａ４が端末装置２０Ａから表示装置２３０の表示領域の大きさを示す情報を取得できる場合、生成部３００ａ４は、撮像画像から抽出した端末装置４０の表示領域の画像を表示装置２３０の表示領域の大きさに合わせて拡大又は縮小させて端末画像を生成してもよい。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成する。端末画像の生成の際に拡大又は縮小を行った場合、第１変換情報３２０ａ２には、当該拡大等の拡大率又は縮小率を示す情報も含まれる。生成部３００ａ４は、第１変換情報３２０ａ２を記憶装置３２０の揮発性メモリに記憶させる。
For example, assume that the captured image G1 shown in FIG. 7 is obtained by the acquisition unit 300a2. In the example shown in FIG. 7, the area hatched with diagonal lines is the display area of the
生成処理ＳＡ１３０に後続する表示制御処理ＳＡ１４０では、処理装置３００は制御部３００ａ１として機能する。つまり、表示制御処理ＳＡ１４０は制御部３００ａ１により実行される処理である。制御部３００ａ１は、端末画像を端末装置２０Ａへ送信することによって、端末画像を端末装置２０Ａに表示させる。これにより、端末装置４０の表示領域に複数の第１アイコンが表示されている場合、端末装置２０Ａの表示領域に複数の第１アイコンに１対１に対応する複数の第２アイコンが表示される。端末装置２０Ａの表示装置２３０には傾きを補正済みの端末画像が表示され、傾きを補正済みの端末画像に対してタッチ操作が行われるので操作性が向上する。
In the display control process SA140 that follows the generation process SA130, the
次いで、遠隔操作動作について説明する。遠隔操作動作は、表示装置２３０の表示領域に対して為されたタッチ操作に応じてロボット１０Ａを作動させ、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる際の動作である。図９は遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、端末装置２０Ａから送信された第２位置情報を通信装置３１０を介して受信したことを契機として開始される。図９に示すように、遠隔操作動作には、第２取得処理ＳＡ２１０、変換処理ＳＡ２２０、特定処理ＳＡ２３０、更新処理ＳＡ２４０、及び操作制御処理ＳＡ２５０が含まれる。
Next, the remote control operation will be described. The remote control operation is an operation for operating the
第２取得処理ＳＡ２１０では、処理装置３００は取得部３００ａ２として機能する。つまり、第２取得処理ＳＡ２１０は取得部３００ａ２により実行される処理である。第２取得処理ＳＡ２１０では、取得部３００ａ２は、端末装置２０Ａから送信された第２位置情報を通信装置３１０から取得する。
In the second acquisition process SA210, the
第２取得処理ＳＡ２１０に後続する変換処理ＳＡ２２０では、処理装置３００は変換部３００ａ５として機能する。つまり、変換処理ＳＡ２２０は、変換部３００ａ５により実行される処理である。変換部３００ａ５は、取得部３００ａ２により取得した第２位置情報を、第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて、第１位置情報へ変換する。第１位置情報は、端末装置４０に対して為されるべきタッチ操作のＸＹ座標系におけるタッチ位置を示す。より詳細に説明すると、変換部３００ａ５は、まず、取得部３００ａ２により取得した第２位置情報を、第１変換情報３２０ａ２を用いて撮像画像内の位置を示す位置情報に変換する。次いで、変換部３００ａ５は、当該位置情報を、第２変換情報３２０ａ３を用いてＸＹ座標系における位置を示す第１位置情報に変換する。
In the conversion process SA220 following the second acquisition process SA210, the
変換処理ＳＡ２２０に後続する特定処理ＳＡ２３０では、処理装置３００は特定部３００ａ６として機能する。つまり、特定処理ＳＡ２３０は、特定部３００ａ６により実行される処理である。特定部３００ａ６は、取得部３００ａ２により取得した第２位置情報に基づいて、複数の第２アイコンのうち第２タッチ操作により選択された一の第２アイコンに対応する一の第１アイコンを特定する。特定部３００ａ６は、第２位置情報の示す位置を一の第２アイコンの中心位置とする。特定部３００ａ６は、当該中心位置を第１変換情報３２０ａ２を用いて撮像画像内の位置に変換する。特定部３００ａ６は、第１変換情報３２０ａ２を用いて変換済の位置を中心とする所定の範囲の画像を撮像画像から抽出する。特定部３００ａ６は、抽出した画像を、第２タッチ操作により選択された一の第２アイコンに対応する一の第１アイコンの画像とする。
In the identification process SA230 following the conversion process SA220, the
特定処理ＳＡ２３０に後続する更新処理ＳＡ２４０では、処理装置３００は更新部３００ａ７として機能する。つまり、更新処理ＳＡ２４０は更新部３００ａ７により実行される処理である。更新部３００ａ７は、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類に基づいて、ロボット１０Ａによる撮像の設定を、当該第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。更新部３００ａ７は、まず、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類を、アプリＤＢ３２０ａ４を参照して特定する。
In update process SA240 following identification process SA230,
次いで、更新部３００ａ７は、特定部３００ａ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを、テーブル３２０ａ５を参照して特定する。そして、更新部３００ａ７は、撮像画像のフレームレートをテーブル３２０ａ５を参照して特定したフレームレートに更新することを指示する更新指示を通信装置３１０を介してロボット１０Ａへ送信することによって、撮像画像のフレームレートをロボット１０Ａに更新させる。
Next, the update unit 300a7 refers to the table 320a5 to identify a frame rate according to the type of application corresponding to the first icon identified by the identification unit 300a6. The update unit 300a7 then causes the
更新処理ＳＡ２４０に後続する操作制御処理ＳＡ２５０では、処理装置３００は制御部３００ａ１として機能する。つまり、操作制御処理ＳＡ２５０は、制御部３００ａ１により実行される処理である。操作制御処理ＳＡ２５０では、制御部３００ａ１は、変換部３００ａ５による変換で得られた第１位置情報を含む操作指示をロボット１０Ａへ送信することによって、当該第１位置情報の示す位置をタッチするタッチ操作をロボット１０Ａに実行させる。
In the operation control process SA250 that follows the update process SA240, the
本実施形態の遠隔操作システム１Ａでは、端末装置２０Ａでは、ロボット１０Ａに対する傾きを補正済みの端末画像に対してタッチ操作を行うことができるので、操作性が向上する。また、本実施形態の遠隔操作システム１Ａでは、端末装置２０Ａの表示領域に対するタッチ位置を示す第２位置情報は第１変換情報３２０ａ２及び第２変換情報３２０ａ３を用いて第１位置情報に変換されるので、変換精度が向上し、遠隔操作の操作精度が向上する。また、本実施形態の遠隔操作システム１Ａでは、端末装置４０を撮像する際のフレームレートが、第２タッチ操作により実行を指示されたアプリケーションの種類に応じて設定されるので、通信量を無駄に増やすことなく、アプリケーションを実行中の端末装置４０を当該アプリケーションに好適なフレームレートで撮像することが可能になる。
In the remote control system 1A of this embodiment, the
以上説明した第１実施形態は以下のように変形されてもよい。
（Ａ１）本実施形態ではロボット１０Ａは撮像装置１３０による撮像画像をそのまま制御装置３０Ａへ送信した。しかし、ロボット１０Ａは、撮像装置１３０による撮像画像から端末画像の抽出し、抽出した端末画像を制御装置３０Ａへ送信してもよい。
（Ａ２）本実施形態では、一つの処理装置３００が、制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７として機能した。しかし、通信網ＮＷを介して互いに通信可能な複数の処理装置が、制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の機能を分担してもよい。
（Ａ３）変換部３００ａ５は、第２位置情報を撮像画像内の位置へ変換する処理を実行し、撮像画像内の位置からＸＹ座標系における位置への変換をロボット１０Ａが実行してもよい。
（Ａ４）通信網ＮＷを介して処理装置３００がアプリＤＢ３２０ａ４にアクセス可能であれば、アプリＤＢ３２０ａ４が記憶装置３２０に記憶されている必要はない。
（Ａ５）本実施形態では、検出部３００ａ３はロボット１０Ａに対する端末装置４０の傾きを検出したが、検出部３００ａ３を省略してもよい。省略した場合、生成部３００ａ４は、補正済み画像を生成することなく端末画像を生成する。端末画像は、例えば、第１画像に基づいて生成される。また、変換部３００ａ５は、第２位置情報を第１位置情報に変換する。この変形例によれば、制御装置３０Ａの構成を簡略化できる。例えば、ロボット１０Ａに対する端末装置４０の位置が予め定められている場合に、この変形例は好適である。
The first embodiment described above may be modified as follows.
(A1) In this embodiment, the
(A2) In this embodiment, one
(A3) The conversion unit 300a5 may execute a process of converting the second position information into a position within the captured image, and the
(A4) If
(A5) In this embodiment, the detection unit 300a3 detects the inclination of the
本開示は、上述した第１実施形態及び第１実施形態の各変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する第１実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present disclosure is not limited to the first embodiment and each of the modifications of the first embodiment described above, and can be realized in various aspects without departing from the spirit of the disclosure. For example, the present disclosure can also be realized in the following aspects. The technical features in the first embodiment that correspond to the technical features in each aspect described below can be replaced or combined as appropriate to solve some or all of the problems of the present disclosure or to achieve some or all of the effects of the present disclosure. Furthermore, if a technical feature is not described as essential in this specification, it can be deleted as appropriate.
以上に説明した第１実施形態及び第１実施形態の各変形例から把握される本開示の制御装置の一態様は、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される端末装置４０の表示領域に対して第１タッチ操作を行うロボット１０Ａを、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部３００ａ２と、制御部３００ａ１と、特定部３００ａ６と、更新部３００ａ７とを備える。取得部３００ａ２は、ロボット１０Ａが端末装置４０を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた端末装置２０Ａの表示領域における位置を示す第２位置情報を取得する。制御部３００ａ１は、前記第１画像に基づいて、端末装置２０Ａの表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいてロボット１０Ａに前記第１タッチ操作を実行させる。特定部３００ａ６は、前記第２位置情報に基づいて、前記複数の第２アイコンのうち前記第２タッチ操作によって選択された一の第２アイコンに対応する一の第１アイコンを特定する。更新部３００ａ７は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、ロボット１０Ａによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。本態様の制御装置３０Ａは、ロボット１０Ａを用いた端末装置４０の遠隔操作において、端末装置４０の表示領域の画像をロボット１０Ａが撮像する際の撮像の設定を、遠隔操作により実行させるアプリケーションに応じた設定にできる。
One aspect of the control device of the present disclosure understood from the first embodiment and each modified example of the first embodiment described above is a control device that controls a
より好ましい態様において、本開示の制御装置は、検出部３００ａ３と変換部３００ａ５とを含んでもよい。検出部３００ａ３は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。本態様において特定部３００ａ６は、前記第１位置情報に基づいて、前記一の第１アイコンを特定する。本態様の制御装置３０Ａは、ロボット１０Ａに対して端末装置４０が傾いている場合において、端末装置４０に対する第１タッチ操作を、第２タッチ操作に基づいてロボット１０Ａに実行させることができる。
In a more preferred embodiment, the control device of the present disclosure may include a detection unit 300a3 and a conversion unit 300a5. The detection unit 300a3 detects the inclination of the
別の好ましい態様において、更新部３００ａ７は、前記複数の第１アイコンと前記複数のアプリケーションの種類とを１対１に対応付けた関係情報を参照して、前記一の第１アイコンに対応するアプリケーションの種類を特定してもよい。本態様の制御装置３０Ａは、複数の第１アイコンと複数のアプリケーションの種類とを１対１に対応付けた関係情報を参照して、一の第１アイコンに対応するアプリケーションの種類を特定できる。
In another preferred embodiment, the update unit 300a7 may identify the type of application corresponding to one of the first icons by referring to relationship information that associates the first icons with the application types on a one-to-one basis. The
別の好ましい態様において、撮像の設定には、解像度とフレームレートとの少なくとも一方が含まれてもよい。本態様の制御装置３０Ａは、ロボット１０Ａを用いて端末装置４０を遠隔操作するために端末装置４０の表示領域の画像をロボット１０Ａが撮像する際の解像度とフレームレートとの少なくとも一方を、遠隔操作により実行させるアプリケーションに応じた設定にできる。
In another preferred embodiment, the image capture settings may include at least one of the resolution and the frame rate. In this embodiment, the
Ｂ．第２実施形態
次いで、本開示の第２実施形態について説明する。
図１０は、本開示の第２実施形態に係る遠隔操作システム１Ｂの構成例を示す図である。図１０では図１におけるものと同じ構成要素には同じ符号が付されている。図１０と図１とを対比すれば明らかなように、遠隔操作システム１Ｂは、端末装置２０Ａに代えて端末装置２０Ｂを有する点、及び制御装置３０Ａを有さない点において遠隔操作システム１Ａと異なる。端末装置２０Ｂは、端末装置２０Ａと同様に、端末装置４０を遠隔操作するためのユーザの操作を受け付ける情報処理装置である。また、端末装置２０Ｂは、制御装置３０Ａの役割を兼ねる。端末装置２０Ｂは、例えばスマートフォンである。以下、本実施形態の特徴を顕著に示す端末装置２０Ｂを中心に説明する。
B. Second Embodiment Next, a second embodiment of the present disclosure will be described.
FIG. 10 is a diagram showing a configuration example of a remote control system 1B according to a second embodiment of the present disclosure. In FIG. 10, the same components as those in FIG. 1 are given the same reference numerals. As is clear from comparing FIG. 10 with FIG. 1, the remote control system 1B is different from the remote control system 1A in that it has a
図１１は、端末装置２０Ｂの構成例を示す図である。図１１では、図３におけるものと同じ構成要素には同一の符号が付されている。図１１と図３とを対比すれば明らかなように、端末装置２０Ｂのハードウェア構成は端末装置２０Ａのハードウェア構成と同一である。即ち、端末装置２０Ｂは、処理装置２００、通信装置２１０、記憶装置２２０、表示装置２３０、及び入力装置２４０を備える。端末装置２０Ｂと端末装置２０Ａとの相違点は以下の二つである。第１の相違点はプログラム２２０ａ１に代えてプログラム２２０ｂ１が記憶装置２２０に記憶されている点である。第２の相違点は、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶装置２２０に記憶される点である。
Figure 11 is a diagram showing an example of the configuration of
端末装置２０Ｂの処理装置２００は、プログラム２２０ｂ１の実行開始を指示する操作を示す操作データを入力装置２４０から受け取ったことを契機としてプログラム２２０ｂ１を不揮発性メモリから揮発性メモリに読み出し、プログラム２２０ｂ１の実行を開始する。プログラム２２０ｂ１は、プログラム２２０１と同様に他のプログラムからの呼び出しにより実行さてもよい。プログラム２２０ｂ１に従って作動中の処理装置２００は、図１１に示すように、制御部３００ｂ１、取得部３００ｂ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ａ７として機能する。制御部３００ｂ１、取得部３００ｂ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ａ７は、プログラム２２０ｂ１に従って処理装置２００を作動させることで実現されるソフトウェアモジュールである。以下、第１実施形態との相違点である制御部３００ｂ１、取得部３００ｂ２、及び特定部３００ｂ６の各部が担う機能を、処理装置２００がプログラム２２０ｂ１に従って実行する動作に即して説明する。
The
端末装置２０Ｂの処理装置２００がプログラム２２０ｂ１に従って実行する動作は、第１実施形態と同様に、表示動作と、遠隔操作動作と、に大別される。表示動作とは、端末画像を表示装置２３０に表示させる動作である。遠隔操作動作とは、表示装置２３０の表示領域に対して為されたタッチ操作に応じてロボット１０Ａを作動させ、端末装置４０に対するタッチ操作をロボット１０Ａに実行させる動作である。
The operations executed by the
図１２は、表示動作の流れを示すフローチャートである。図１２に示す表示動作は、通信装置２１０による撮像画像の受信を契機として開始される。図１２では、図６におけるものと同じ処理には同じ符号が付されている。図１２と図６とを対比すれば明らかなように、本実施形態における表示動作と第１実施形態における表示動作との相違点は以下の二つである。第１の相違点は、表示制御処理ＳＡ１４０に代えて表示制御処理ＳＢ１４０が実行される点である。そして、第２の相違点は、特定処理ＳＢ２３０及び更新処理ＳＡ２４０を含む点である。
Figure 12 is a flowchart showing the flow of the display operation. The display operation shown in Figure 12 is initiated when a captured image is received by the
第１取得処理ＳＡ１１０では、端末装置２０Ｂの処理装置２００は取得部３００ｂ２として機能する。第１取得処理ＳＡ１１０では、取得部３００ｂ２は、ロボット１０Ａから送信された撮像画像を通信装置２１０から取得する。第１取得処理ＳＡ１１０に後続する検出処理ＳＡ１２０では、端末装置２０Ｂの処理装置２００は検出部３００ａ３として機能する。検出部３００ａ３は、取得部３００ｂ２により取得した撮像画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。本実施形態では、検出部３００ａ３は、第１実施形態と同様に、第１態様の検出方法により、ロボット１０Ａに対する端末装置４０の傾きを検出する。検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、端末装置２０Ｂの処理装置２００は生成部３００ａ４として機能する。生成部３００ａ４は、取得部３００ｂ２により取得した撮像画像に基づいて端末画像を生成する。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成し、生成した第１変換情報３２０ａ２を記憶装置２２０の揮発性メモリに記憶させる。
In the first acquisition process SA110, the
本実施形態の表示動作において生成処理ＳＡ１３０に後続する表示制御処理ＳＢ１４０では、端末装置２０Ｂの処理装置２００は、制御部３００ｂ１として機能する。つまり、表示制御処理ＳＢ１４０は、制御部３００ｂ１により実行される処理である。表示制御処理ＳＢ１４０では、制御部３００ｂ１は、生成処理ＳＡ１３０にて生成された端末画像を表示装置２３０に表示させる。
In the display control process SB140 that follows the generation process SA130 in the display operation of this embodiment, the
表示制御処理ＳＢ１４０に後続する特定処理ＳＢ２３０では、端末装置２０Ｂの処理装置２００は特定部３００ｂ６として機能する。つまり、特定処理ＳＢ２３０は、特定部３００ｂ６により実行される処理である。特定部３００ｂ６は、端末装置４０の表示領域に表示されている複数の第１アイコンのうち第１タッチ操作によって選択された一の第１アイコンを、第１取得処理ＳＡ１１０にて取得した撮像画像に基づいて特定する。より具体的には、特定部３００ｂ６は、指示体１４２の発光部が発光状態となった撮像画像において指示体１４２の位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定する。
In the identification process SB230 following the display control process SB140, the
特定処理ＳＢ２３０に後続する更新処理ＳＡ２４０では、端末装置２０Ｂの処理装置２００は更新部３００ａ７として機能する。更新部３００ａ７は、特定部３００ｂ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを、テーブル３２０ａ５を参照して特定する。そして、更新部３００ａ７は、撮像画像のフレームレートをテーブル３２０ａ５を参照して特定したフレームレートに更新することを指示する更新指示を通信装置３１０を介してロボット１０Ａへ送信することによって、撮像画像のフレームレートをロボット１０Ａに更新させる。
In the update process SA240 following the identification process SB230, the
図１３は、本実施形態における遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、入力装置２４０によるタッチ操作の検知を契機として開始される。図１３では、図９におけるものと同じ処理には同じ符号が付されている。図１３と図９とを対比すれば明らかなように、本実施形態における遠隔操作動作は、以下の二つの点において第１実施形態の遠隔操作動作と異なる。第１の相違点は、第２取得処理ＳＡ２１０に代えて第２取得処理ＳＢ２１０が実行される点である。第２の相違点は、特定処理ＳＡ２３０及び更新処理ＳＡ２４０を含まない点である。本実施形態における遠隔操作動作に特定処理ＳＡ２３０及び更新処理ＳＡ２４０が含まれていないのは、これらに対応する処理が表示動作に含まれているからである。
Figure 13 is a flowchart showing the flow of the remote operation operation in this embodiment. This remote operation operation is started when a touch operation is detected by the
第２取得処理ＳＢ２１０では、端末装置２０Ｂの処理装置２００は、取得部３００ｂ２として機能する。つまり、第２取得処理ＳＢ２１０は取得部３００ｂ２により実行される処理である。第２取得処理ＳＢ２１０では、取得部３００ｂ２は、表示装置２３０の表示領域に対するタッチ操作を示す情報、即ち第２位置情報、を入力装置２４０から取得する。
In the second acquisition process SB210, the
第２取得処理ＳＢ２１０に後続する変換処理ＳＡ２２０では、端末装置２０Ｂの処理装置２００は変換部３００ａ５として機能する。変換部３００ａ５は、取得部３００ｂ２により取得した第２位置情報を、第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて第１位置情報に変換する。
In the conversion process SA220 subsequent to the second acquisition process SB210, the
変換処理ＳＡ２２０に後続する操作制御処理ＳＡ２５０では、端末装置２０Ｂの処理装置２００は制御部３００ｂ１として機能する。操作制御処理ＳＡ２５０では、制御部３００ｂ１は、変換部３００ａ５による変換で得られた第１位置情報を含む操作指示をロボット１０Ａへ送信することによって、当該第１位置情報の示す位置をタッチするタッチ操作をロボット１０Ａに実行させる。
In the operation control process SA250 that follows the conversion process SA220, the
本実施形態においても、端末装置２０Ｂでは、ロボット１０Ａに対する傾きを補正済みの端末画像に対してタッチ操作を行うことができるので操作性が向上する。また、本実施形態では、端末装置２０Ｂの表示領域に対するタッチ位置を示す第２位置情報は第１変換情報３２０ａ２及び第２変換情報３２０ａ３を用いて第１位置情報に変換されるので、変換精度が向上し、遠隔操作の操作精度が向上する。また、本実施形態の遠隔操作システム１Ｂでは、ロボット１０Ａが端末装置４０を撮像する際のフレームレートが、第１タッチ操作により実行を指示されたアプリケーションの種類に応じた設定されるので、通信量を無駄に増やすことなく、アプリケーションを実行中の端末装置４０を当該アプリケーションに好適なフレームレートで撮像することが可能になる。
加えて、本実施形態によれば、制御装置３０Ａを設けない分だけ、遠隔操作システム１Ｂの構築コストを遠隔操作システム１Ａの構築コストよりも引き下げることが可能になる。
In the present embodiment, the
In addition, according to the present embodiment, since the
以上説明した第２実施形態は以下のように変形されてもよい。
（Ｂ１）端末装置４０に実行させるアプリは、取得部３００ｂ２により取得した第２位置情報に基づいて特定されてもよい。端末装置４０に実行させるアプリを第２位置情報に基づいて特定する態様は、特定部３００ｂ６を特定部３００ａ６に置き換えることにより実現される。
（Ｂ２）特定部３００ｂ６は、撮像画像において指示体１４２の発光部が発光状態となったことを検出し、検出された発光部の位置に位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定したが、これに限定されない。移動機構は第１タッチ操作において、指示体１４２を下方向に移動させる。この移動において、指示体１４２が端末装置４０と接触すると、移動機構は反力を検出し、検出したことを示す検出信号を出力する。特定部３００ｂ６は、検出信号が有効な状態において、撮像画像に基づいて指示体１４２の位置を検出し、検出した位置に位置している第１アイコンを、第１タッチ操作によって選択された一の第１アイコンとして特定してもよい。
（Ｂ３）本実施形態では、検出部３００ａ３はロボット１０Ａに対する端末装置４０の傾きを検出したが、検出部３００ａ３を省略してもよい。省略した場合、生成部３００ａ４は、補正済み画像を生成することなく端末画像を生成する。端末画像は、例えば、第１画像に基づいて生成される。また、変換部３００ａ５は、第２位置情報を第１位置情報に変換する。この変形例によれば、端末装置２０Ｂ、換言すれば、第２タッチ操作に応じてロボット１０Ａに第１タッチ操作を実行させる制御装置の構成を簡略化できる。例えば、ロボット１０Ａに対する端末装置４０の位置が予め定められている場合に、この変形例は好適である。
The second embodiment described above may be modified as follows.
(B1) The application to be executed by the
(B2) The identification unit 300b6 detects that the light emitting unit of the
(B3) In this embodiment, the detection unit 300a3 detects the inclination of the
以上に説明した第２実施形態及び第２実施形態の各変形例から把握される本開示の制御装置の一態様は、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される端末装置４０の表示領域に対して第１タッチ操作を行うロボット１０Ａを、端末装置２０Ｂの表示領域に対する第２タッチ操作に基づいて制御する制御装置であって、取得部３００ｂ２、制御部３００ｂ１、特定部３００ｂ６、及び更新部３００ａ７を備える。取得部３００ｂ２は、ロボット１０Ａが端末装置４０を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた端末装置２０Ｂの表示領域における位置を示す第２位置情報とを取得する。制御部３００ｂ１は、前記第１画像に基づいて、端末装置２０Ｂの表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいてロボット１０Ａに前記第１タッチ操作を実行させる。特定部３００ｂ６は、前記第１画像に基づいて、前記複数の第１アイコンのうち前記第１タッチ操作によって選択された一の第１アイコンを特定する。更新部３００ａ７は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、ロボット１０Ａによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。本態様の制御装置は、ロボット１０Ａを用いた端末装置４０の遠隔操作において、端末装置４０の表示領域の画像をロボット１０Ａが撮像する際の撮像の設定を、遠隔操作により実行させるアプリケーションに応じた設定にできる。
One aspect of the control device of the present disclosure understood from the second embodiment and each modified example of the second embodiment described above is a control device that controls a
本開示の制御装置のより好ましい態様は、検出部３００ａ３と、変換部３００ａ５と、を含んでもよい。検出部３００ａ３は、前記第１画像又は前記第１画像から一部が抽出された第２画像に基づいて、ロボット１０Ａに対する端末装置４０の傾きを検出する。変換部３００ａ５は、検出部３００ａ３により検出された傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる端末装置４０の表示領域における位置を示す第１位置情報に変換する。本態様において制御部３００ｂ１は、前記第１位置情報に基づいて、ロボット１０Ａに前記第１タッチ操作を実行させる。本態様の制御装置は、ロボット１０Ａに対して端末装置４０が傾いている場合において、端末装置４０に対する第１タッチ操作を、第２タッチ操作に基づいてロボット１０Ａに実行させることができる。
A more preferred embodiment of the control device of the present disclosure may include a detection unit 300a3 and a conversion unit 300a5. The detection unit 300a3 detects the inclination of the
３．第３実施形態
次いで、本開示の第３実施形態について説明する。
図１４は、本開示の第３実施形態に係る遠隔操作システム１Ｃの構成例を示す図である。図１４では図１におけるものと同じ構成要素には同じ符号が付されている。図１４と図１とを対比すれば明らかなように、遠隔操作システム１Ｃは、ロボット１０Ａに代えてロボット１０Ｃを有する点、及び制御装置３０Ａを有さない点において遠隔操作システム１Ａと異なる。ロボット１０Ｃは、端末装置２０Ａに対するユーザの操作に応じて端末装置４０に対するタッチ操作を行う点では制御装置３０Ａと同一である。ロボット１０Ｃは、制御装置３０Ａの役割を兼ねる点においてロボット１０Ａと異なる。また、ロボット１０Ｃは、撮像装置１３０の設定を自律更新する点においてもロボット１０Ａと異なる。以下、本実施形態の特徴を顕著に示すロボット１０Ｃを中心に説明する。
3. Third Embodiment Next, a third embodiment of the present disclosure will be described.
FIG. 14 is a diagram showing a configuration example of a
図１５は、ロボット１０Ｃの構成例を示す図である。図１５では、図２におけるものと同じ構成要素には同一の符号が付されている。図１５と図２とを対比すれば明らかなように、ロボット１０Ｃのハードウェア構成はロボット１０Ａのハードウェア構成と同一である。即ち、ロボット１０Ｃは、処理装置１００、通信装置１１０、記憶装置１２０、撮像装置１３０、及び操作装置１４０を備える。ロボット１０Ｃとロボット１０Ａとの相違点は以下の二つである。第１の相違点はプログラム１２０ａ１に代えてプログラム１２０ｃ１が記憶装置１２０に記憶されている点である。第２の相違点は、第１変換情報３２０ａ２、第２変換情報３２０ａ３、アプリＤＢ３２０ａ４、及びテーブル３２０ａ５が記憶装置１２０に記憶される点である。
Figure 15 is a diagram showing an example of the configuration of
ロボット１０Ｃの処理装置１００は、ロボット１０Ｃの電源投入を契機としてプログラム１２０ｃ１を不揮発性メモリから揮発性メモリに読み出し、プログラム１２０ｃ１の実行を開始する。プログラム１２０ｃ１に従って作動中の処理装置１００は、図１５に示すように、制御部３００ｃ１、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ｃ７として機能する。制御部３００ｃ１、取得部３００ｃ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ｂ６、及び更新部３００ｃ７は、プログラム１２０ｃ１に従って処理装置１００を作動させることで実現されるソフトウェアモジュールである。以下、第１実施形態及び第２実施形態との相違点である制御部３００ｃ１、取得部３００ｃ２、及び更新部３００ｃ７の各部が担う機能を、処理装置１００がプログラム１２０ｃ１に従って実行する動作に即して説明する。
When the
ロボット１０Ｃの処理装置１００がプログラム１２０ｃ１に従って実行する動作は、第１実施形態及び第２実施形態と同様に、表示動作と、遠隔操作動作と、に大別される。
The operations that the
図１６は、本実施形態における表示動作の流れを示すフローチャートである。この表示動作は、撮像装置１３０による端末装置４０の撮像を契機として開始される。図１６では、図６におけるものと同じ処理には同じ符号が付されている。図１６と図６とを対比すれば明らかなように、本実施形態における表示動作と第１実施形態における表示動作との相違点は以下の二つである。第１の相違点は、第１取得処理ＳＡ１１０に代えて第１取得処理ＳＣ１１０が実行される点である。そして、第２の相違点は、特定処理ＳＢ２３０及び更新処理ＳＣ２４０を含む点である。
Figure 16 is a flowchart showing the flow of the display operation in this embodiment. This display operation is initiated when the
第１取得処理ＳＣ１１０では、ロボット１０Ｃの処理装置１００は、取得部３００ｃ２として機能する。つまり、第１取得処理ＳＣ１１０は、取得部３００ｃ２により実行される処理である。第１取得処理ＳＣ１１０では、取得部３００ｃ２は、撮像装置１３０から撮像画像を取得する。
In the first acquisition process SC110, the
第１取得処理ＳＣ１１０に後続する検出処理ＳＡ１２０では、ロボット１０Ｃの処理装置１００は検出部３００ａ３として機能する。検出部３００ａ３は、取得部３００ｃ２により取得した撮像画像に基づいて、ロボット１０Ｃに対する端末装置４０の傾きを検出する。本実施形態では、検出部３００ａ３は、第１実施形態と同様に、第１態様の検出方法により、ロボット１０Ｃに対する端末装置４０の傾きを検出する。検出処理ＳＡ１２０に後続する生成処理ＳＡ１３０では、ロボット１０Ｃの処理装置１００は生成部３００ａ４として機能する。生成部３００ａ４は、取得部３００ｃ２により取得した撮像画像に基づいて、検出部３００ａ３により検出された傾きを補正済みの端末画像を生成する。また、生成部３００ａ４は、第１変換情報３２０ａ２を生成し、生成した第１変換情報３２０ａ２を記憶装置１２０の揮発性メモリに記憶させる。
In the detection process SA120 following the first acquisition process SC110, the
生成処理ＳＡ１３０に後続する表示制御処理ＳＡ１４０では、ロボット１０Ｃの処理装置１００は、制御部３００ｃ１として機能する。つまり、本実施形態における表示制御処理ＳＡ１４０は、制御部３００ｃ１により実行される処理である。表示制御処理ＳＡ１４０では、制御部３００ｃ１は、生成処理ＳＡ１３０にて生成された端末画像を通信装置１１０を介して端末装置２０Ａへ送信することによって、端末画像を端末装置２０Ａに表示させる。端末装置４０の表示領域に複数の第１アイコンが表示されている場合、端末装置２０Ａの表示領域に複数の第１アイコンに１対１に対応する複数の第２アイコンが表示される。端末装置２０Ａでは、傾きを補正済みの端末画像が表示装置２３０に表示される。本実施形態では、傾きを補正済みの端末画像に対してタッチ操作が為されるので、操作性が向上する。
In the display control process SA140 following the generation process SA130, the
本実施形態の表示動作において表示制御処理ＳＡ１４０に後続する特定処理ＳＢ２３０では、ロボット１０Ｃの処理装置１００は特定部３００ｂ６として機能する。特定部３００ｂ６は、端末装置４０の表示領域に表示されている複数の第１アイコンのうち第１タッチ操作によって選択された一の第１アイコンを、第１取得処理ＳＡ１１０にて取得した撮像画像に基づいて特定する。
In the identification process SB230 that follows the display control process SA140 in the display operation of this embodiment, the
本実施形態の表示動作において特定処理ＳＢ２３０に後続する更新処理ＳＣ２４０では、ロボット１０Ｃの処理装置１００は、更新部３００ｃ７として機能する。つまり、更新処理ＳＣ２４０は、更新部３００ｃ７により実行される処理である。更新処理ＳＣ２４０では、更新部３００ｃ７は、特定部３００ｂ６により特定された第１アイコンに対応するアプリケーションの種類に応じたフレームレートを特定する。この特定方法は、第１実施形態における更新処理ＳＡ２４０における特定方法と同じである。更新部３００ｃ７は、撮像画像のフレームレートを特定部３００ｂ６により特定されたフレームレートに更新する。
In the update process SC240 that follows the identification process SB230 in the display operation of this embodiment, the
図１７は、本実施形態における遠隔操作動作の流れを示すフローチャートである。この遠隔操作動作は、通信装置１１０を介して第２位置情報を受信したこと契機として実行される。図１７では、図９におけるものと同じ処理には同じ符号が付されている。図１７と図９とを対比すれば明らかなように、本実施形態における遠隔操作動作は、以下の二つの点において第１実施形態の遠隔操作動作と異なる。第１の相違点は、操作制御処理ＳＡ２５０に代えて操作制御処理ＳＣ２５０が実行される点である。第２の相違点は、特定処理ＳＡ２３０及び更新処理ＳＡ２４０を含まない点である。本実施形態における遠隔操作動作に特定処理ＳＡ２３０及び更新処理ＳＡ２４０が含まれていないのは、これらに対応する処理が表示動作に含まれているからである。
Figure 17 is a flowchart showing the flow of the remote control operation in this embodiment. This remote control operation is executed when second location information is received via
本実施形態の遠隔操作動作における第２取得処理ＳＡ２１０では、ロボット１０Ｃの処理装置１００は取得部３００ｃ２として機能する。つまり、本実施形態における第２取得処理ＳＡ２１０は取得部３００ｃ２により実行される処理である。第２取得処理ＳＡ２１０では、取得部３００ｃ２は、端末装置２０Ａから送信された第２位置情報を通信装置３１０から取得する。第２取得処理ＳＡ２１０に後続する変換処理ＳＡ２２０では、ロボット１０Ｃの処理装置１００は変換部３００ａ５として機能する。変換部３００ａ５は、取得部３００ｃ２により取得した第２位置情報を第１変換情報３２０ａ２と第２変換情報３２０ａ３とを用いて第１位置情報に変換する。
In the second acquisition process SA210 in the remote control operation of this embodiment, the
本実施形態の遠隔操作動作において変換処理ＳＡ２２０に後続して実行される操作制御処理ＳＣ２５０では、ロボット１０Ｃの処理装置１００は制御部３００ｃ１として機能する。つまり、操作制御処理ＳＣ２５０は、制御部３００ｃ１により実行される処理である。操作制御処理ＳＣ２５０では、制御部３００ｃ１は、変換処理ＳＡ２２０にて変換された第１位置情報に従って操作装置１４０の駆動制御を行い、第１位置情報の示す位置をタッチする。
In the operation control process SC250 executed following the conversion process SA220 in the remote operation operation of this embodiment, the
本実施形態によっても、第１実施形態と同様に、遠隔操作における操作性、及び操作精度が向上する。また、本実施形態では、撮像画像のフレームレートを、第１タッチ操作により実行を指示されるアプリケーションの種類に応じてロボット１０Ｃに自律更新させることができる。
加えて、本実施形態によれば、制御装置３０Ａを設けない分だけ、遠隔操作システム１Ｃの構築コストを遠隔操作システム１Ａの構築コストよりも引き下げることが可能になる。
According to the present embodiment, the operability and the operation accuracy in remote control are improved, similarly to the first embodiment. Furthermore, in the present embodiment, the frame rate of the captured image can be autonomously updated by the
In addition, according to the present embodiment, since the
以上説明した第３実施形態は以下のように変形されてもよい。
（Ｃ１）端末装置４０に実行させるアプリは、取得部３００ｂ２により取得した第２位置情報に基づいて特定されてもよい。端末装置４０に実行させるアプリを第２位置情報に基づいて特定する態様は、特定部３００ｂ６を特定部３００ａ６に置き換えることにより実現される。
（Ｃ２）撮像画像のフレームレートを示す設定情報が端末装置２０Ａから送信される場合には、取得部３００ｃ２は、端末装置２０Ａから送信された設定情報を通信装置１１０を介して受信することによって、当該設定情報を取得してもよい。取得部３００ｃ２が、端末装置２０Ａから送信された設定情報を取得する場合、更新部３００ｃ７は取得部３００ｃ２により取得された設定情報に基づいて、撮像画像のフレームレートを更新してもよい。
（Ｃ３）本実施形態では、検出部３００ａ３はロボット１０Ｃに対する端末装置４０の傾きを検出したが、検出部３００ａ３を省略してもよい。省略した場合、生成部３００ａ４は、補正済み画像を生成することなく端末画像を生成する。端末画像は、例えば、第１画像に基づいて生成される。また、変換部３００ａ５は、第２位置情報を第１位置情報に変換する。この変形例によれば、ロボット１０Ｃの構成を簡略化できる。例えば、ロボット１０Ｃに対する端末装置４０の位置が予め定められている場合に、この変形例は好適である。
The third embodiment described above may be modified as follows.
(C1) The application to be executed by the
(C2) When setting information indicating a frame rate of a captured image is transmitted from the
(C3) In this embodiment, the detection unit 300a3 detects the inclination of the
以上に説明した第３実施形態及び第３実施形態の各変形例から把握される本開示のロボットの一態様は、端末装置４０の表示領域に対する第１タッチ操作を、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて実行するロボット１０Ｃであって、撮像装置１３０、操作装置１４０、及び処理装置１００を備える。操作装置１４０は、端末装置４０と撮像装置１３０との間に位置し、前記第１タッチ操作を行う。処理装置１００は、取得部３００ｃ２、制御部３００ｃ１、及び更新部３００ｃ７を備える。取得部３００ｃ２は、前記第１タッチ操作に関する指示情報と、撮像装置１３０の撮像の設定に関する設定情報とを取得する。制御部３００ｃ１は、前記指示情報に基づいて操作装置１４０に前記第１タッチ操作を実行させる。更新部３００ｃ７は、前記設定情報に基づいて撮像装置１３０の設定を更新する。本態様のロボット１０Ｃは、取得部３００ｃ２により取得された設定情報に基づいて撮像装置１３０の設定を更新する。取得部３００ｃ２により取得された設定情報が、遠隔操作により端末装置４０に実行させるアプリケーションに基づくものであれば、端末装置４０の表示領域の画像をロボット１０Ｃが撮像する際の撮像の設定は、端末装置４０に実行させるアプリケーションに応じた設定に更新される。
One aspect of the robot of the present disclosure understood from the third embodiment and each modified example of the third embodiment described above is a
本開示のロボットの別の態様は、複数のアプリケーションに１対１に対応する複数の第１アイコンが表示される端末装置４０の表示領域に対して第１タッチ操作を、端末装置２０Ａの表示領域に対する第２タッチ操作に基づいて実行するロボット１０Ｃであって、撮像装置１３０、操作装置１４０、及び処理装置１００を備える。操作装置１４０は、端末装置４０と撮像装置１３０との間に位置し、前記第１タッチ操作を行う。処理装置１００は、取得部３００ｃ２、制御部３００ｃ１、特定部３００ｂ６、及び更新部３００ｃ７を備える。取得部３００ｃ２は、前記第１タッチ操作に関する指示情報を取得する。制御部３００ｃ１は、前記指示情報に基づいて、操作装置１４０に前記第１タッチ操作を実行させる。特定部３００ｂ６は、撮像装置１３０によって撮像された端末装置４０の表示領域を示す第１画像に基づいて、前記第１タッチ操作によって前記複数の第１アイコンのうち選択された一の第１アイコンを特定する。更新部３００ａ７は、前記一の第１アイコンに対応するアプリケーションの種類に基づいて、撮像装置１３０による撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する。本態様のロボット１０Ｃは、端末装置４０の遠隔操作のために端末装置４０の表示領域の画像を撮像する際の撮像の設定を、遠隔操作により実行させるアプリケーションに応じた設定に更新する。
Another aspect of the robot of the present disclosure is a
より好ましい態様のロボット１０Ｃにおいて、更新部３００ｃ７は、前記複数の第１アイコンと前記複数のアプリケーションの種類とを１対１に対応付けた関係情報を参照して、前記一の第１アイコンに対応するアプリケーションの種類を特定する。本態様のロボット１０Ｃは、複数の第１アイコンと複数のアプリケーションの種類とを１対１に対応付けた関係情報に基づいて、一の第１アイコンに対応するアプリケーションの種類を特定できる。
In a more preferred embodiment of the
更に好ましい態様のロボット１０Ｃにおいては、操作装置１４０は、端末装置４０に対する入力を行うための指示体１４２と、撮像装置１３０の撮像範囲内で指示体１４２を移動させるアーム１４４と、を含でもよい。操作装置１４０が、指示体１４２と、指示体１４２を移動させるアーム１４４とを含む場合、アーム１４４は透明素材で形成されることが好ましい。本態様のロボット１０Ｃは、アーム１４４が、撮像装置１３０による端末装置４０の撮像の妨げとなることを回避できる。
In a further preferred embodiment of the
Ｄ．他の変形例
各実施形態は、以下のように更に変形されてもよい。
（Ｄ１）上記各実施形態における端末装置４０はスマートフォンであったが、タブレット端末であってもよい。同様に、第１実施形態及び第３実施形態における端末装置２０Ａもタブレット端末であってもよい。第２実施形態における端末装置２０Ｂも、同様にタブレット端末であってもよい。第１実施形態における制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の一部又は全部がハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。制御部３００ａ１、取得部３００ａ２、検出部３００ａ３、生成部３００ａ４、変換部３００ａ５、特定部３００ａ６、及び更新部３００ａ７の一部又は全部がハードウェアであっても、上記第１実施形態と同一の効果が奏される。同様に、制御部１００ａ１、２００ａ１、３００ｂ１、及び３００ｃ１もハードウェアであってもよい。また、取得部３００ｂ２、取得部３００ｃ２、特定部３００ｂ６、及び更新部３００ｃ７もハードウェアであってもよい。
つまり、上記実施形態に開示された各機能は、ハードウェア及びソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。
D. Other Modifications Each embodiment may be further modified as follows.
(D1) The
In other words, each function disclosed in the above embodiment is realized by any combination of hardware and software. Also, each function may be realized by a single device, or may be realized by two or more devices configured separately from each other.
（Ｄ２）検出部３００ａ３は、アプリＤＢ３２０ａ４に格納された各アプリのアイコンと端末装置４０の撮像画像から抽出したアイコンの画像との突合により端末装置４０の傾きを検出してもよい。具体的には、検出部３００ａ３は、撮像画像から抽出したアイコンの画像を所定の角度ずつ回転させながら、アプリＤＢ３２０ａ４に格納された各アイコンの画像とのパターンマッチングを行い、アプリＤＢ３２０ａ４に格納された複数のアイコンの画像の何れかと一致したときの角度を、端末装置４０の傾き角度とする。
(D2) The detection unit 300a3 may detect the tilt of the
（Ｄ３）上記第１実施形態では、プログラム３２０ａ１が記憶装置３２０に記憶済であった。しかし、プログラム３２０ａ１は単体で製造又は配布されてもよい。プログラム３２０ａ１の具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能な記録媒体にプログラム３２０ａ１を書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラム３２０ａ１をパーソナルコンピュータ等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピュータを当該プログラム３２０ａ１に従って作動させることで当該情報処理装置を本開示の制御装置として機能させることが可能になる。プログラム２２０ｂ１及びプログラム１２０ｃ１も単体で製造又は配布されてもよい。
(D3) In the first embodiment, the program 320a1 is already stored in the
（Ｄ４）上記各実施形態では、記憶装置１２０は、処理装置１００が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。記憶装置２２０及び記憶装置３２０も同様である。また、プログラムは、電気通信回線を介してネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。なお、基地局は、入力キーなどの入力装置や、ディスプレイなどの出力装置を含んでいてもよい。
(D4) In the above embodiments, the
（Ｄ５）上記各実施形態は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Ｆｕｔｕｒｅ Ｒａｄｉｏ Ａｃｃｅｓｓ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。 (D5) Each of the above embodiments may be applied to systems using LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide Band), Bluetooth (registered trademark), or other suitable systems, and/or next-generation systems that are based on and extended from these.
（Ｄ６）上記各実施形態において、説明した情報及び信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。 (D6) In each of the above embodiments, the information and signals described may be represented using any of a variety of different technologies. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, optical fields or photons, or any combination thereof. Note that terms described in this specification and/or terms necessary for understanding this specification may be replaced with terms having the same or similar meanings.
（Ｄ７）上記各実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 (D7) In each of the above embodiments, the input and output information, etc. may be stored in a specific location (e.g., memory) or may be managed in a management table. The input and output information, etc. may be overwritten, updated, or added to. The output information, etc. may be deleted. The input information, etc. may be transmitted to another device.
（Ｄ８）上記各実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。 (D8) In each of the above embodiments, the determination may be made based on a value represented by one bit (0 or 1), a Boolean value (true or false), or a comparison of numerical values (e.g., a comparison with a predetermined value).
（Ｄ９）上記各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。 (D9) The programs exemplified in the above embodiments should be broadly construed to mean instructions, instruction sets, code, code segments, program code, subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, or functions, etc., regardless of whether they are called software, firmware, middleware, microcode, or hardware description language, or by other names. In addition, software, instructions, etc. may be transmitted and received via a transmission medium. For example, if the software is transmitted from a website, server, or other remote source using wired technologies such as coaxial cable, fiber optic cable, twisted pair, and digital subscriber line (DSL), and/or wireless technologies such as infrared, radio, and microwave, these wired and/or wireless technologies are included within the definition of a transmission medium.
（Ｄ１０）上記各実施形態において、端末装置２０Ａ、２０Ｂ、又は４０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
(D10) In each of the above embodiments, the
（Ｄ１１）上記各実施形態において、「接続された（ｃｏｎｎｅｃｔｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。 (D11) In each of the above embodiments, the term "connected" or any variation thereof means any direct or indirect connection or coupling between two or more elements, and may include the presence of one or more intermediate elements between two elements that are "connected" to each other. The connection between the elements may be physical, logical, or a combination thereof. As used herein, two elements may be considered to be "connected" to each other by using one or more wires, cables, and/or printed electrical connections, as well as by using electromagnetic energy, such as electromagnetic energy having wavelengths in the radio frequency range, microwave range, and light (both visible and invisible) range, as some non-limiting and non-exhaustive examples.
（Ｄ１２）上記各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 (D12) In each of the above embodiments, the phrase "based on" does not mean "based only on," unless otherwise specified. In other words, the phrase "based on" means both "based only on" and "based at least on."
（Ｄ１３）「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。更に、本明細書あるいは特許請求の範囲において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。 (D13) To the extent that the terms "including," "comprising," and variations thereof are used herein in the specification or claims, these terms are intended to be inclusive, similar to the term "comprises." Furthermore, the term "or" as used herein is not intended to be an exclusive or.
（Ｄ１４）本願の全体において、例えば、英語におけるａ、ａｎ及びｔｈｅのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。 (D14) Throughout this application, where articles have been added by translation, such as a, an and the in English, these articles include the plural unless the context clearly indicates otherwise.
（Ｄ１５）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組合わせてもよい。 (D15) It is clear to those skilled in the art that the present invention is not limited to the embodiments described in this specification. The present invention can be implemented in modified and altered forms without departing from the spirit and scope of the present invention as defined by the claims. Therefore, the description in this specification is for illustrative purposes only and does not have any limiting meaning on the present invention. In addition, multiple aspects selected from the aspects exemplified in this specification may be combined.
１Ａ，１Ｂ，１Ｃ…遠隔操作システム、１０Ａ，１０Ｃ…ロボット、２０Ａ，２０Ｂ，４０…端末装置、３０Ａ…制御装置、１００，２００，３００…処理装置、１１０，２１０，３１０…通信装置、１２０，２２０，３２０…記憶装置、１３０…撮像装置、１４０…操作装置、１４２…指示体、１４４…アーム、２３０…表示装置、２４０…入力装置、１００ａ１，２００ａ１，３００ａ１，３００ｂ１，３００ｃ１…制御部、３００ａ２，３００ｂ２，３００ｃ２…取得部、３００ａ３…検出部、３００ａ４…生成部、３００ａ５…変換部、３００ａ６，３００ｂ６…特定部、３００ａ７，３００ｃ７…更新部、３２０ａ２…第１変換情報、３２０ａ３…第２変換情報、３２０ａ４…アプリＤＢ、３２０ａ５…テーブル。
1A, 1B, 1C... Remote operation system, 10A, 10C... Robot, 20A, 20B, 40... Terminal device, 30A... Control device, 100, 200, 300... Processing device, 110, 210, 310... Communication device, 120, 220, 320... Storage device, 130... Imaging device, 140... Operation device, 142... Pointer, 144... Arm, 230... Display device, 240... Input device,
Claims (9)
前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像に基づいて、前記第２端末装置の表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる制御部と、
前記第２位置情報に基づいて、前記複数の第２アイコンのうち前記第２タッチ操作によって選択された一の第２アイコンに対応する一の第１アイコンを特定する特定部と、
前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記ロボットによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する更新部と、
を備える制御装置。 A control device that controls a robot that performs a first touch operation on a display area of a first terminal device, the first touch operation being performed on a display area of a second terminal device, the display area including a plurality of first icons that correspond one-to-one to a plurality of applications, based on a second touch operation being performed on a display area of a second terminal device,
an acquisition unit that acquires a first image generated by the robot capturing an image of a first terminal device and second position information indicating a position in a display area of the second terminal device touched by the second touch operation;
a control unit that displays a plurality of second icons in a one-to-one correspondence with the plurality of first icons in a display area of the second terminal device based on the first image, and causes the robot to execute the first touch operation based on the second position information;
an identification unit that identifies one first icon corresponding to one second icon selected by the second touch operation among the plurality of second icons based on the second position information;
an update unit that updates a setting for imaging by the robot to a setting according to the type of the application corresponding to the one of the first icons, based on the type of the application corresponding to the one of the first icons;
A control device comprising:
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、を更に含み、
前記特定部は、前記第１位置情報に基づいて、前記一の第１アイコンを特定する、
請求項１に記載の制御装置。 a detection unit that detects an inclination of the first terminal device with respect to the robot based on the first image or a second image obtained by extracting a portion of the first image;
a conversion unit that converts the second position information into first position information indicating a position in a display area of the first terminal device touched by the first touch operation based on the tilt,
The identification unit identifies the one of the first icons based on the first position information.
The control device according to claim 1 .
前記ロボットが第１端末装置を撮像することによって生成された第１画像と、前記第２タッチ操作によってタッチされた前記第２端末装置の表示領域における位置を示す第２位置情報を取得する取得部と、
前記第１画像に基づいて、前記第２端末装置の表示領域に前記複数の第１アイコンに１対１に対応する複数の第２アイコンを表示させ、前記第２位置情報に基づいて前記ロボットに前記第１タッチ操作を実行させる制御部と、
前記第１画像に基づいて、前記複数の第１アイコンのうち前記第１タッチ操作によって選択された一の第１アイコンを特定する特定部と、
前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記ロボットによる撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する更新部と、
を備える制御装置。 A control device that controls a robot that performs a first touch operation on a display area of a first terminal device, the first icons being displayed in one-to-one correspondence with a plurality of applications, based on a second touch operation on a display area of a second terminal device,
an acquisition unit that acquires a first image generated by the robot capturing an image of a first terminal device and second position information indicating a position in a display area of the second terminal device touched by the second touch operation;
a control unit that displays a plurality of second icons in a one-to-one correspondence with the plurality of first icons in a display area of the second terminal device based on the first image, and causes the robot to execute the first touch operation based on the second position information;
an identification unit that identifies one of the plurality of first icons selected by the first touch operation based on the first image;
an update unit that updates a setting for imaging by the robot to a setting according to the type of the application corresponding to the one of the first icons, based on the type of the application corresponding to the one of the first icons;
A control device comprising:
前記傾きに基づいて、前記第２位置情報を前記第１タッチ操作によってタッチされる前記第１端末装置の表示領域における位置を示す第１位置情報に変換する変換部と、を更に含み、
前記制御部は、前記第１位置情報に基づいて、前記ロボットに前記第１タッチ操作を実行させる、
請求項３に記載の制御装置。 a detection unit that detects an inclination of the first terminal device with respect to the robot based on the first image or a second image obtained by extracting a portion of the first image;
a conversion unit that converts the second position information into first position information indicating a position in a display area of the first terminal device touched by the first touch operation based on the tilt,
The control unit causes the robot to perform the first touch operation based on the first position information.
The control device according to claim 3.
撮像装置と、An imaging device;
前記第１端末装置と前記撮像装置との間に位置し、前記第１タッチ操作を行う操作装置と、an operation device that is located between the first terminal device and the imaging device and performs the first touch operation;
処理装置と、を備え、A processing device,
前記処理装置は、The processing device includes:
前記第１タッチ操作に関する指示情報を取得する取得部と、an acquisition unit that acquires instruction information related to the first touch operation;
前記指示情報に基づいて、前記操作装置に前記第１タッチ操作を実行させる制御部と、a control unit that causes the operation device to execute the first touch operation based on the instruction information;
前記撮像装置によって撮像された前記第１端末装置の表示領域を示す第１画像に基づいて、前記第１タッチ操作によって前記複数の第１アイコンのうち選択された一の第１アイコンを特定する特定部と、an identification unit that identifies one of the plurality of first icons selected by the first touch operation based on a first image showing a display area of the first terminal device captured by the imaging device;
前記一の第１アイコンに対応するアプリケーションの種類に基づいて、前記撮像装置による撮像の設定を、前記一の第１アイコンに対応するアプリケーションの種類に応じた設定に更新する更新部と、an update unit that updates a setting for imaging by the imaging device to a setting according to the type of the application corresponding to the one of the first icons, based on the type of the application corresponding to the one of the first icons;
を備える、ロボット。A robot equipped with the above.
前記第１端末装置に対する入力を行うための指示体と、An indicator for performing an input to the first terminal device;
前記撮像装置の撮像範囲内で前記指示体を移動させるアームと、を含み、an arm that moves the indicator within an imaging range of the imaging device,
前記アームは透明素材で形成される、The arm is made of a transparent material.
請求項７又は請求項８に記載のロボット。The robot according to claim 7 or claim 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020188619A JP7613890B2 (en) | 2020-11-12 | 2020-11-12 | Control device and robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020188619A JP7613890B2 (en) | 2020-11-12 | 2020-11-12 | Control device and robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022077679A JP2022077679A (en) | 2022-05-24 |
| JP7613890B2 true JP7613890B2 (en) | 2025-01-15 |
Family
ID=81706614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020188619A Active JP7613890B2 (en) | 2020-11-12 | 2020-11-12 | Control device and robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7613890B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005071930A1 (en) | 2004-01-23 | 2005-08-04 | Japan Novel Corporation | Device inspection device, device inspection system using the same, and mobile telephone holding device |
| JP2008005391A (en) | 2006-06-26 | 2008-01-10 | Japan Novel Corp | Inspection apparatus for equipment system |
| JP2009290852A (en) | 2008-04-30 | 2009-12-10 | Japan Novel Corp | Function checking apparatus for equipment and device |
| JP2016106951A (en) | 2014-12-09 | 2016-06-20 | トヨタ自動車株式会社 | Gait training system |
| JP2018072882A (en) | 2016-10-24 | 2018-05-10 | ファナック株式会社 | Emergency stop system attachable to portable device |
-
2020
- 2020-11-12 JP JP2020188619A patent/JP7613890B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005071930A1 (en) | 2004-01-23 | 2005-08-04 | Japan Novel Corporation | Device inspection device, device inspection system using the same, and mobile telephone holding device |
| JP2008005391A (en) | 2006-06-26 | 2008-01-10 | Japan Novel Corp | Inspection apparatus for equipment system |
| JP2009290852A (en) | 2008-04-30 | 2009-12-10 | Japan Novel Corp | Function checking apparatus for equipment and device |
| JP2016106951A (en) | 2014-12-09 | 2016-06-20 | トヨタ自動車株式会社 | Gait training system |
| JP2018072882A (en) | 2016-10-24 | 2018-05-10 | ファナック株式会社 | Emergency stop system attachable to portable device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022077679A (en) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102906671B (en) | Gesture input device and gesture input method | |
| US20220083145A1 (en) | Information display apparatus using line of sight and gestures | |
| JP6135239B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| US10915750B2 (en) | Method and device for searching stripe set | |
| US9519365B2 (en) | Display control apparatus and control method for the same | |
| US20110059759A1 (en) | Method and apparatus for providing POI information in portable terminal | |
| US11385713B2 (en) | Eye-tracking image viewer for digital pathology | |
| WO2018113665A1 (en) | Two-dimensional code recognition method and apparatus | |
| JP2015177372A (en) | Image forming system, image forming apparatus, portable terminal and program | |
| US20230067554A1 (en) | Display apparatus, display system, display control method, and non-transitory recording medium | |
| KR20200122945A (en) | Electronic device for displaying execution screens of a plurality of applications and method for operating thereof | |
| CN101889256B (en) | Virtual keyboard of a mobile terminal | |
| US20180329612A1 (en) | Interfacing with a computing device | |
| JP2021015476A (en) | Screen transition information generation device, screen transition information generation method, screen transition information generation program, and screen transition information generation system | |
| JP7613890B2 (en) | Control device and robot | |
| JP7502154B2 (en) | Control device and robot | |
| US10057315B2 (en) | Communication support system, information processing apparatus, control method, and storage medium that display an output image obtained by superposing a reference image over a captured image | |
| CN104506909A (en) | Screen capturing remote-control method and screen capturing remote-control device | |
| US11726654B2 (en) | Display apparatus capable of displaying icon corresponding to shape of hand-drafted input, display method, and non-transitory computer-executable medium storing program thereon | |
| US11429245B2 (en) | Information processing apparatus | |
| US20200257396A1 (en) | Electronic device and control method therefor | |
| CN113168340B (en) | Information processing system and information processing method | |
| KR20140103021A (en) | Object recognition device | |
| JP7090791B2 (en) | Information processing equipment | |
| US11669217B2 (en) | Information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7613890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |