JP7803476B2 - データ処理装置、データ処理方法、プログラム及びデータ処理システム - Google Patents

Description

本開示は、データ処理装置、データ処理方法、プログラム及びデータ処理システムに関する。

特許文献１には、ロボットを遠隔操作する操作者が使用する端末に、ロボットに設けられた撮像装置が生成した撮像画像を表示させる技術が開示されている。

特開２０２０－０４０１５５号公報

操作者が、ロボットに設けられた撮像装置が生成した撮像画像を見ながらロボットを操作する場合、ロボットに設けられた撮像装置が撮像可能な範囲が操作者の視野の範囲よりも狭いと、操作者がロボットを操作しづらいという問題があった。

本開示はこの点に鑑みてなされたものであり、ロボットの操作者がロボットを操作し易くするデータ処理装置等を提供することを目的とする。

本開示の一態様に係るデータ処理装置は、ロボットに設けられた撮像装置による撮像に基づいて生成された撮像画像データを取得することと、第１時点で取得した撮像画像データの少なくとも一部の表示用画像データと、第１時点よりも前の第２時点で取得した撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで表示用画像データよりも画角の広い合成画像データを生成することと、ロボットの操作者が視認可能な表示装置に合成画像データを表示させることと、を実行するように構成された制御部を有する。

本開示によれば、ロボットの操作者がロボットを操作し易くするデータ処理装置等が提供される。

データ処理システムの概要を示す図である。 表示デバイスの装置角度について説明するための図である。 撮像画像データと合成画像データとの関係を示す図である。 データ処理装置の構成を示す図である。 記憶部が撮像画像データを記憶する方法を示す図である。 データ処理システムの処理の流れを示すシーケンス図である。 データ処理装置における処理の流れを示すフローチャートである。 第１変形例におけるデータ処理装置の動作を説明するための図である。 第２変形例におけるデータ処理装置の動作を説明するための図である。

［データ処理システムＳの概要］
図１は、データ処理システムＳの概要を示す図である。データ処理システムＳは、遠隔地にある物が近くにあるかのように操作者Ｕに感じさせながら、操作者Ｕが物に対する操作をリアルタイムに行うことができるテレイグジスタンス環境を提供するシステムである。

データ処理システムＳは、データ処理装置１と、操作装置２と、ロボット３とを有する。データ処理装置１は、操作装置２において行われた操作者Ｕの操作に応じてロボット３を制御する装置であり、例えばコンピュータである。データ処理装置１は、操作者Ｕ又はロボット３のいずれかがいる室内に設置されていてもよく、操作者Ｕがいる場所及びロボット３がいる場所と異なる場所に設置されていてもよい。

操作装置２は、操作者Ｕが装着するデバイスであり、表示デバイス２１、操作デバイス２２及び通信部２３と、を有する。表示デバイス２１は、操作者Ｕが、データ処理装置１が生成する合成画像データに基づく画像を視認可能なディスプレイを有しており、例えばゴーグル型の表示装置である。表示デバイス２１が表示する画像は、例えば３６０度（全方位）に対応する天球画像である。

ロボット３は、ネットワークＮを介してデータ処理装置１から受信する制御データに基づいて動作する。ロボット３は、撮像画像データを生成する撮像装置（以下、「カメラ３１」という）と、カメラ３１が生成した撮像画像データをデータ処理装置１に送信する画像送信部３２と、を有する。さらに、ロボット３は、ロボット３が検知した触覚を示す触覚データ、ロボット３が収集した音を示す音データ、又はロボット３の関節の状態を示す関節状態データの少なくともいずれかのロボット状態データを、データ処理装置１を介して操作装置２に送信する。本実施の形態に係るロボット３は、一例として、多数の商品が棚に並べられた状態で販売される店舗内で、操作者Ｕの操作に応じて商品を棚に並べる作業を行うが、ロボット３が設けられている場所及び作業の内容は任意である。

データ処理装置１は、ロボット３がカメラ３１を用いて前方を撮影することにより生成した撮像画像データを取得し、取得した撮像画像データを操作装置２の表示デバイス２１に表示させる。ロボット３が生成する撮像画像データの画角は、操作者Ｕの視野よりも狭いので、撮像画像データだけを表示デバイス２１に表示させると、操作者Ｕの操作性が悪い。そこで、データ処理装置１は、ロボット３が生成した撮像画像データと、当該撮像画像データに対応する撮像領域の周囲の領域に対応する、過去に生成された過去撮像画像データとを合成することにより合成画像データを生成する。データ処理装置１が合成画像データを操作装置２に表示させることで、操作者Ｕの操作性を向上させることができる。

表示デバイス２１は、基準の向きに対する表示デバイス２１の角度（以下、「装置角度」という場合がある）を検出するセンサーを有している。基準の向きは、例えば、所定の向きを向いた状態の操作者Ｕが表示デバイス２１を装着した状態における表示デバイス２１の向きであり、例えば表示デバイス２１の起動時の向き又はリセットされた時点の向きである。表示デバイス２１は、基準向きと表示デバイス２１の向きとの角度差を装置角度として検出する。

表示デバイス２１の装置角度は、例えば三次元空間内の球座標系における２つの角度の組み合わせにより表される。図２は、表示デバイス２１の装置角度について説明するための図である。図２に示す球の表面における位置Ｇの装置角度は、（θ，φ）と表される。θは、位置ＧをＸＹ平面に投影した位置Ｈと原点Ｏとを結ぶ直線と、Ｘ軸方向との間の角度である。φは、Ｚ軸方向と、原点Ｏと位置Ｇとを結ぶ直線の方向との間の角度である。

Ｘ軸方向の正の向きは、表示デバイス２１が起動した時点における表示デバイス２１の正面の向き（すなわち操作者Ｕの正面の向き）に対応しており、操作者Ｕが正面を向いている状態で、表示デバイス２１の装置角度は（０，０）と表される。操作者Ｕが真左（つまりＹ軸方向の正の向き）を向いた状態で、表示デバイス２１の装置角度は（９０，０）と表される。

表示デバイス２１は、基準の向きに対する表示デバイス２１の装置角度を示す頭部操作データを生成する。表示デバイス２１は、所定の時間間隔で頭部操作データを通信部２３に通知する。所定の時間間隔は、例えば、ロボット３が頭部の角度を変化させることができる速度に基づいて定められており、ロボット３が頭部の角度を変化させることができる速度が大きければ大きいほど、所定の時間間隔が短くなる。表示デバイス２１が装置角度を通知する間隔が、ロボット３が頭部の角度を変化させることができる速度に対応していることで、必要以上に高い頻度で装置角度を検出する必要がないので、操作装置２の消費電力を抑制することができる。

操作デバイス２２は、操作者Ｕがロボット３を手及び腕を操作するために用いるデバイスであり、操作者Ｕの手及び腕の動きを検出するためのセンサーを有している。操作デバイス２２は、操作者Ｕの手及び腕の動きを示す手腕操作データを生成する。操作デバイス２２は、生成した手腕操作データを通信部２３に通知する。操作デバイス２２は、ロボット３を前後又は左右方向に移動させるための操作を受け付けてもよい。また、操作デバイス２２は、ロボット３の状態を操作者Ｕが感知することができるように、ロボット３の状態に対応する熱、圧力又は振動等を発生するための素子も有する。

通信部２３は、操作者Ｕによる操作の内容に基づく操作データをデータ処理装置１に送信したり、データ処理装置１から合成画像データを受信したりする通信コントローラを有する。通信部２３は、例えば、表示デバイス２１から通知された頭部操作データと操作デバイス２２から通知された手腕操作データとを同期させ、同期した頭部操作データ及び手腕操作データを含む操作データを所定の時間間隔でデータ処理装置１に送信する。また、通信部２３は、データ処理装置１から受信した合成画像データを表示デバイス２１に入力する。通信部２３は、ロボット３を前方、後方、左方又は右方に移動させるための操作データをデータ処理装置１に送信してもよい。なお、通信部２３は、表示デバイス２１又は操作デバイス２２のいずれかに含まれていてもよく、表示デバイス２１及び操作デバイス２２と異なる筐体に収容されていてもよい。

ロボット３は、操作装置２から送信された頭部操作データに基づいてデータ処理装置１が生成した頭部制御データに基づいて、表示デバイス２１の角度と同じ角度にロボット３の頭部の向きを変化させる。また、ロボット３は、操作装置２から送信された手腕操作データに基づいてデータ処理装置１が生成した手腕制御データに基づいて、操作者Ｕの手及び腕と同様にロボット３の手及び腕を動かす。

カメラ３１は、例えば頭部に設けられており、ロボット３の前方を撮影することにより撮像画像データを生成する。画像送信部３２は、ネットワークＮを介して撮像画像データを送信するための通信コントローラを有する。図１においては、カメラ３１が画像送信部３２を有している場合を例示しているが、画像送信部３２が設けられている部位は任意である。

カメラ３１は、頭部制御データに基づいてロボット３の頭部の向きが変わることにより光軸の向きが変化し、撮像領域が変化する。以下の説明において、正面の向きに対する、ロボット３の頭部の回転中心（図２の原点に対応）と撮影される領域の中心位置とを結ぶ直線の向きの角度を「撮像角度」という。ロボット３は、頭部操作データが示す操作者Ｕの頭部の角度（すなわち装置角度）と撮像角度とが一致するようにロボット３の頭部を動かす。

以下、図１を参照しながらデータ処理システムＳにおける処理の流れの概要を説明する。上述したように、操作装置２は、操作者Ｕの頭部及び手腕の動きに応じた操作データを生成し、操作データをデータ処理装置１に送信する。データ処理装置１は、操作データに基づいて、ロボット３を動作させるための制御データを生成し、制御データをロボット３に送信する。ロボット３は、データ処理装置１から受信した制御データに基づいて動作する。

ロボット３は、動作している間に、所定の時間間隔（例えば５ミリ秒間隔）で、カメラが生成した撮像画像データをデータ処理装置１に送信する。ロボット３は、撮像画像データを生成した時点におけるロボット３の頭部の角度を示す情報を関連付けて撮像画像データをデータ処理装置１に送信してもよい。

データ処理装置１は、ロボット３から受信した撮像画像データと、当該撮像画像データの撮像領域の周囲の領域に対応する過去撮像画像データとを合成することにより生成した合成画像データを操作装置２に送信し、表示デバイス２１は、合成画像データを表示する。合成画像データには、ロボット３が撮影可能な範囲よりも広い範囲の画像データが含まれているので、操作者Ｕは、ロボット３が作業をしている現場を実際に見ている場合と同様の視野を確保することができ、ロボット３を操作しやすくなる。

図３は、撮像画像データと合成画像データとの関係を示す図である。図３（ａ）における画像Ｇ１は、第１時点でロボット３が生成した表示用画像データに基づく画像であり、棚に置かれたボトルが並んでいる状態を示している。図３（ａ）における画像Ｇ２及び画像Ｇ３は、第１時点よりも前の第２時点にロボット３が生成した複数の過去撮像画像データのうち、表示用画像データの撮像領域の両側に接する撮像領域に対応する撮像画像データに基づく画像である。

図３（ｂ）は、表示用画像データＧ１と過去撮像画像データＧ２及び過去撮像画像データＧ３とが合成された合成画像を示す。図３（ａ）に示す画像Ｇ１を操作者Ｕが見る場合に比べて、図３（ｂ）に示す合成画像を操作者Ｕが見る場合の方が、操作者Ｕの視野が広がるので、ロボット３を用いた作業をしやすくなる。
以下、データ処理装置１の構成及び動作を詳細に説明する。

［データ処理装置１の構成］
図４は、データ処理装置１の構成を示す図である。データ処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、操作データ取得部１３１と、制御データ生成部１３２と、画像データ取得部１３３と、合成部１３４と、表示制御部１３５と、を有する。

通信部１１は、ネットワークＮを介して操作装置２及びロボット３との間で各種のデータを送受信するための通信インターフェースを有する。通信部１１は、例えば操作装置２から受信した操作データを操作データ取得部１３１に入力する。また、通信部１１は、ロボット３から受信した撮像画像データを画像データ取得部１３３に入力する。また、通信部１１は、表示制御部１３５から入力された合成画像データを操作装置２に送信する。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、ロボット３から受信した撮像画像データを一時的に記憶する。記憶部１２は、画像データ取得部１３３が取得した撮像画像データが撮像されたときの表示デバイス２１の角度である装置角度と撮像画像データとを関連付けて記憶する。表示デバイス２１の角度は、ロボット３の頭部の角度と等価なので、記憶部１２は、撮像画像データが生成された時点におけるロボット３の頭部の角度に関連付けて撮像画像データを記憶してもよい。

図５は、記憶部１２が撮像画像データを記憶する方法を示す図である。図５においては、ロボット３が撮像画像データを生成した時点における表示デバイス２１の装置角度（θ，φ）と、撮像画像データのファイル名とが関連付けられている。通信部１１がロボット３から新たな撮像画像データを受信するたびに、受信した撮像画像データが生成された時点における表示デバイス２１の角度に関連付けて記憶部１２に記憶された撮像画像データは更新される。表示デバイス２１の角度及びロボット３の頭部の角度は、三次元空間内の任意の向きに対応する角度になり得るので、記憶部１２には、３６０度（全方位）に対応する撮像画像データが記憶される。

図４に戻って、制御部１３について説明する。制御部１３は、例えばＣＰＵ（Central Processing Unit）をプロセッサとして有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、操作データ取得部１３１、制御データ生成部１３２、画像データ取得部１３３、合成部１３４及び表示制御部１３５として機能する。

操作データ取得部１３１は、通信部１１を介して、操作者Ｕの操作内容を示す操作データを取得する。操作データ取得部１３１は、例えば、表示デバイス２１の角度を示す頭部操作データ及び操作者Ｕの手腕の動きを示す手腕操作データを取得する。操作データ取得部１３１は、取得した操作データを制御データ生成部１３２、画像データ取得部１３３及び合成部１３４に入力する。

制御データ生成部１３２は、操作データ取得部１３１から入力された操作データに基づいて、ロボット３を動作させるための制御データを生成する。制御データ生成部１３２は、例えば、操作データが示す値に所定の補正値を加算又は減算することにより制御データを生成してもよい。制御データ生成部１３２は、通信部１１を介して、生成した制御データをロボット３に送信する。

画像データ取得部１３３は、通信部１１を介して、ロボット３に設けられたカメラ３１による撮像に基づいて生成された撮像画像データを取得する。画像データ取得部１３３は、取得した撮像画像データを記憶部１２に記憶させる。画像データ取得部１３３は、例えば、図５に示したように、撮像画像データを取得した時点における操作データが示す表示デバイス２１の角度に関連付けて撮像画像データを記憶部１２に記憶させる。

画像データ取得部１３３は、撮像画像データを取得すると、当該撮像画像データが撮像された時点における操作データが示す表示デバイス２１の角度に関連付けて記憶部１２に記憶された撮像画像データを、画像データ取得部１３３が取得した撮像画像データに更新する。すなわち、画像データ取得部１３３は、既に記憶部１２に撮像画像データが記憶されている角度の撮像画像データを取得した場合、記憶部１２に記憶された撮像画像データを新たに取得した撮像画像データに更新する。なお、撮像画像データに、ロボット３が当該撮像画像データを生成した時点におけるロボット３の頭部の角度が関連付けられている場合、画像データ取得部１３３は、ロボット３の頭部の角度に関連付けて撮像画像データを記憶部１２に記憶させてもよい。

ところで、ロボット３の位置が変わると、ロボット３が生成した撮像画像データに含まれる領域が変化してしまうので、ロボット３の位置が変わった後に、過去の撮像画像データが合成されると、合成した複数の撮像画像データの境界線において不整合が生じてしまう。そこで、画像データ取得部１３３は、ロボット３の位置が移動した場合、記憶部１２に記憶された撮像画像データを初期化してもよい。

画像データ取得部１３３は、例えば操作データ取得部１３１が取得した移動操作データに基づいて、ロボット３の位置を移動させる操作が行われたことを検出した場合に、記憶部１２に記憶された撮像画像データを初期化する。画像データ取得部１３３は、例えば、記憶部１２に記憶された撮像画像データを削除することにより撮像画像データを初期化する。画像データ取得部１３３は、撮像画像データを削除せず、図５に示したように装置角度に関連付けられた撮像画像データのファイル名を削除してもよい。ロボット３の位置が移動した場合に画像データ取得部１３３が撮像画像データを初期化することで、不整合が生じた合成画像が表示デバイス２１に表示されてしまうことを防げる。

また、ロボット３が同じ位置にあるとしても、長時間が経過すると、ロボット３の周辺の状況が変化する場合がある。ロボット３の周辺の状況が変化しているにもかかわらず、過去の撮像画像データが合成されると、合成した複数の撮像画像データの境界線において不整合が生じてしまう。そこで、画像データ取得部１３３は、操作者Ｕがロボット３の操作を終了した場合、又は所定の時間が経過した場合に、記憶部１２に記憶された撮像画像データを初期化してもよい。所定の時間は、ロボット３がいる位置において周辺の状況が変化し得る長さの時間であり、例えば１分である。

ロボット３の周辺の状況が変化するか否かは、日時又は曜日によって変わり得る。そこで、画像データ取得部１３３は、日時又は曜日の少なくともいずれかに関連付けられた所定の時間が経過した場合に、記憶部１２に記憶された撮像画像データを初期化してもよい。

また、画像データ取得部１３３は、操作者Ｕが操作デバイス２２において入力した、記憶部１２に記憶された撮像画像データを初期化する指示を受けた場合に、記憶部１２に記憶された撮像画像データを初期化してもよい。画像データ取得部１３３がこのように動作することで、操作者Ｕが合成画像データの質の低下を感じ始めた時点で、操作者Ｕの意思により撮像画像データを初期化することができる。

また、操作者Ｕがロボット３を操作していない間には、ロボット３の周辺の状況が変化したり、誰かがロボット３を移動させたりする可能性がある。したがって、操作者Ｕがロボット３の操作を再開した時点では、記憶部１２に記憶された撮像画像データが、ロボット３が生成する撮像画像データと整合していないということが想定される。そこで、画像データ取得部１３３は、操作者Ｕがロボット３の操作を終了するためにログアウトをする操作をしたり、ロボット３の電源がオフ状態になったりした場合に、記憶部１２に記憶された撮像画像データを初期化してもよい。

合成部１３４は、図３（ｂ）に示したような合成画像データを生成する。具体的には、合成部１３４は、画像データ取得部１３３が第１時点で取得した撮像画像データの少なくとも一部の表示用画像データと、画像データ取得部１３３が第１時点よりも前の第２時点で取得した撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで表示用画像データよりも画角の広い合成画像データを生成する。撮像画像データの少なくとも一部の表示用画像データは、撮像画像データに対応する撮像領域のうち、少なくとも一部の領域に対応する撮像画像データである。表示用画像データは、画像データ取得部１３３が第１時点で取得した撮像画像データと同一であってもよい。

合成部１３４は、ロボット３のカメラが第１撮像角度で撮像して生成された撮像画像データに基づく表示用画像データと、カメラが第１撮像角度と異なる第２撮像角度で撮像して生成された撮像画像データに基づく過去撮像画像データとを合成することにより合成画像データを生成する。第１撮像角度は、例えば図３（ａ）に示した画像Ｇ１が生成された時点におけるロボット３の頭部の角度であり、第２撮像角度は、図３（ａ）に示した画像Ｇ２又は画像Ｇ３が生成された時点におけるロボット３の頭部の角度である。１つの撮像画像データにおける左右方向の画角が例えば３０度であり、画像Ｇ１に対応する第１撮像角度が（０，０）である場合、画像Ｇ２に対応する第２撮像角度は（３０，０）であり、画像Ｇ３に対応する第２撮像角度は（３３０，０）である。

合成部１３４は、操作データ取得部１３１を介して取得した操作データが示す表示デバイス２１の角度と、記憶部１２に記憶された複数の撮像画像データに対応する複数の装置角度と、の関係に基づいて、記憶部１２に記憶された複数の過去撮像画像データから過去撮像画像データを選択する。具体的には、合成部１３４は、表示用画像データの画角に対応する角度だけ操作データが示す表示デバイス２１の角度と異なる装置角度に対応する過去撮像画像データを選択する。

合成部１３４は、頭部操作データが示す表示デバイス２１の角度に撮像画像データの画角（例えば３０度）を加算又は減算した角度を算出し、算出した角度に対応する装置角度に関連付けて記憶部１２に記憶された過去撮像画像データを選択する。上述の例のように、表示デバイス２１の装置角度が（０，０）である場合、合成部１３４は、（０，０）に（３０，０）を加算した（３０，０）に関連付けられた左側の過去撮像画像データと、（０，０）から（３０，０）を減算した（３３０，０）に関連付けられた右側の過去撮像画像データとを選択する。

合成部１３４は、表示用画像データの上下、斜め上方及び斜め下方の角度に対応する過去撮像画像データをさらに選択してもよい。上下方向の画角が６０度である場合、合成部１３４は、装置角度（０，６０）に関連付けて記憶部１２に記憶された撮像画像データを上方の過去撮像画像データとして選択する。合成部１３４は、装置角度（０，３００）に関連付けて記憶部１２に記憶された撮像画像データを下方の過去撮像画像データとして選択する。合成部１３４は、装置角度（３０，６０）に関連付けて記憶部１２に記憶された撮像画像データを左斜め上方の過去撮像画像データとして選択する。

図３に示した例においては、画像Ｇ１、画像Ｇ２及び画像Ｇ３のみを示しているが、上述したように、記憶部１２には、３６０度（全方位）に対応する撮像画像データが記憶されている。そこで、合成部１３４は、全方位に対応する複数の角度それぞれに関連付けて記憶部１２に記憶された複数の撮像画像データから、画像データ取得部１３３が取得した撮像画像データに対応する装置角度又は撮像角度に基づいて、合成画像データを構成するために用いる複数の撮像画像データを選択する。合成部１３４は、選択した複数の撮像画像データを合成することにより、３６０度（全方位）に対応する天球画像データを作成する。

ところで、上述したように、表示デバイス２１の角度とロボット３の頭部の角度とは等価である。そこで、合成部１３４は、表示デバイス２１の角度の代わりにロボット３の頭部の角度に相当する撮像角度を用いて、合成画像データを生成するために用いる過去撮像画像データを選択してもよい。

この場合、合成部１３４は、表示用画像データが生成された第１時点における第１撮像角度と、記憶部１２に記憶された複数の撮像画像データに対応する複数の撮像角度と、の関係に基づいて、記憶部１２に記憶された複数の撮像画像データから過去撮像画像データを選択する。具体的には、合成部１３４は、表示デバイス２１の装置角度を用いた場合と同様に、表示用画像データの画角に対応する角度だけ第１撮像角度と異なる撮像角度に対応する過去撮像画像データを選択する。

合成部１３４は、表示用画像データと過去撮像画像データとを判別可能な態様の合成画像データを生成してもよい。合成部１３４は、例えば、表示用画像データをカラー画像データとし、過去撮像画像データをモノクロ画像データとすることにより、操作者Ｕが、表示用画像データと過去撮像画像データとを判別できるようにする。合成部１３４は、表示用画像データの輝度を過去撮像画像データの輝度よりも高くした合成画像データを生成してもよい。合成部１３４は、表示用画像データと過去撮像画像データとの境界線を示す合成画像データを生成してもよい。

合成部１３４がこのような合成画像データを生成することで、操作者Ｕは、過去撮像画像データが過去の撮像画像データであることを認識することができる。その結果、操作者Ｕは、過去撮像画像データが示している状態が現時点の状態と異なり得ることを想定してロボット３を操作できるので、安全性が向上する。

表示制御部１３５は、ロボット３の操作者Ｕが視認可能な表示デバイス２１に合成画像データを表示させる。表示制御部１３５は、例えば、表示用画像データと過去撮像画像データとを判別可能な形態で合成画像データを表示デバイス２１に表示させる。表示制御部１３５は、通信部１１を介して、合成部１３４が生成した合成画像データを操作装置２に送信することにより、表示デバイス２１に合成画像データを表示させる。

［データ処理システムＳにおける処理の流れ］
図６はデータ処理システムＳの処理の流れを示すシーケンス図である。図６に示すシーケンス図は、ロボット３の電源が投入された時点から開始している。

ロボット３は、カメラ３１で周辺を撮影することにより、撮像画像データを生成する。ロボット３は、例えば頭部の角度を切り替えながらさまざまな角度に対応する撮像画像データを生成し（Ｓ１）、頭部の角度を示す撮像角度データに関連付けて、生成した撮像画像データをデータ処理装置１に送信する。

データ処理装置１は、ロボット３から受信した撮像画像データを記憶部１２に記憶させ
る（Ｓ２）。データ処理装置１は、例えば、撮像角度データに関連付けて撮像画像データ
を記憶部１２に記憶させることで、図５に示したようなデータを生成する。

操作者Ｕが操作装置２の電源を投入してロボット３の操作を開始すると、操作装置２は操作データを生成し（Ｓ３）、生成した操作データをデータ処理装置１に送信する。制御データ生成部１３２は、受信した操作データに基づいて制御データを生成し（Ｓ４）、生成した制御データをロボット３に送信する。

ロボット３は、撮像画像データをデータ処理装置１に送信する。合成部１３４は、ロボット３が撮像画像データを生成した時点における表示デバイス２１の角度又はロボット３の頭部の角度を特定する（Ｓ５）。合成部１３４は、特定した角度に基づいて、記憶部１２に記憶されている過去に生成された撮像画像データを選択し、ロボット３から取得した最新の撮像画像データと過去に生成された撮像画像データとを合成することにより合成画像データを生成する（Ｓ６）。

表示制御部１３５は、合成部１３４が生成した合成画像データを操作装置２に送信する。操作装置２は、受信した合成画像データを表示する（Ｓ７）。

なお、上記の説明においては、ロボット３の電源が投入された後に、操作者Ｕが操作を開始する前に、ロボット３が頭部の角度を切り替えながらさまざまな角度に対応する撮像画像データを生成するという場合を例示したが、ロボット３は、操作者Ｕが操作を開始する前に頭部の角度を切り替えて撮像画像データを生成しなくてもよい。この場合、ロボット３は、操作者Ｕが操作を開始した後に撮像画像データの生成を開始する。

記憶部１２にさまざまな角度に対応する撮像画像データが蓄積されるまでの間は、合成部１３４は、ロボット３が生成した直後の撮像画像データ（すなわち記憶部１２に記憶されていないリアルタイムの撮像画像データ）のみが含まれた合成画像データを生成する。その後、合成部１３４は、撮像画像データが記憶部１２に記憶され始めると、ロボット３が生成した直後の撮像画像データと、記憶部１２に記憶された過去撮像画像データとが合成された合成画像データを生成する。合成部１３４がこのように動作することで、データ処理装置１が撮像画像データを記憶部１２に記憶させるまで操作者Ｕが待機することなく、速やかに作業を開始することができる。

［データ処理装置１における処理の流れ］
図７は、データ処理装置１における処理の流れを示すフローチャートである。図７に示すフローチャートは、操作装置２の電源が投入された時点から開始している。

画像データ取得部１３３は、通信部１１を介して撮像画像データをロボット３から取得する（Ｓ１１）。また、操作データ取得部１３１は、通信部１１を介して操作装置２から操作データを取得する（Ｓ１２）。画像データ取得部１３３は、操作データ取得部１３１から操作データを取得し、ロボット３の位置を変更する操作を操作データが示しているかどうかを判定する（Ｓ１３）。画像データ取得部１３３は、ロボット３の位置を変更する操作が行われたと判定すると（Ｓ１３においてＹＥＳ）、記憶部１２に記憶されている過去の撮像画像データを初期化する（Ｓ１４）。

画像データ取得部１３３は、ロボット３の位置を変更する操作が行われていないと判定すると（Ｓ１３においてＮＯ）、記憶部１２に記憶されている過去の撮像画像データを初期化しない。続いて、合成部１３４は、取得した撮像画像データが生成された時点における表示デバイス２１の装置角度又はロボット３の頭部の角度を特定し、特定した角度に基づいて、合成する対象となる過去撮像画像データに対応する複数の装置角度を算出する（Ｓ１５）。

合成部１３４は、算出した複数の装置角度に対応する過去撮像画像データが記憶部１２に記憶されているか否かを判定する（Ｓ１６）。合成部１３４は、複数の装置角度のうち、少なくとも１つの装置角度に対応する過去撮像画像データが記憶部１２に記憶されていると判定した場合（Ｓ１６においてＹＥＳ）、記憶部１２に記憶されている複数の過去撮像画像データのうち、装置角度に対応する過去撮像画像データを読み出す。合成部１３４は、読み出した過去撮像画像データを、画像データ取得部１３３がＳ１において取得した撮像画像データと合成することにより合成画像データを生成する（Ｓ１７）。

合成部１３４は、Ｓ１５において算出した複数の装置角度のうち、過去撮像画像データがない装置角度がある場合、当該装置角度に対応する領域を所定の画素値（例えば黒又は白の画素値）にした合成画像データを生成する。合成部１３４は、合成画像データを表示制御部１３５に送信させる（Ｓ１８）。合成部１３４は、Ｓ１５において算出した全ての装置角度に対応する過去撮像画像データが記憶部１２に記憶されていない場合（Ｓ１６においてＮＯ）、合成画像データを生成せず、Ｓ１１で画像データ取得部１３３が取得した撮像画像データを表示制御部１３５に送信させる（Ｓ１９）。

制御部１３は、操作装置２において操作者Ｕが操作を終了する操作をするまでの間（Ｓ２０においてＮＯ）、Ｓ１１からＳ１９までの処理を繰り返す。制御部１３は、操作者Ｕが操作を終了する操作をした場合（Ｓ２０においてＹＥＳ）、処理を終了する。

［第１変形例］
以上の説明においては、合成部１３４が、ロボット３が撮影した領域に対応する撮像画像データを、記憶部１２に記憶された過去撮像画像データと合成する場合を例示したが、合成部１３４は、画像データ取得部１３３が取得した撮像画像データの一部の領域を切り出すことにより生成した表示用画像データと、当該表示用画像データに接する領域に対応する複数の過去撮像画像データと、を合成することにより合成画像データを生成してもよい。

図８は、第１変形例におけるデータ処理装置１の動作を説明するための図である。図８に示すように、合成部１３４は、ロボット３から取得した撮像画像データＧ０のうち、所定の一部の領域を切り出すことにより表示用画像データＧｃを生成する。所定の一部の領域は、例えば操作者Ｕがロボット３を操作する際に重要度が高い、撮像画像データＧ０の撮像領域の中心位置を含む領域である。

合成部１３４は、表示用画像データの画角に基づいて、表示用画像データＧｃと合成する複数の過去撮像画像データに対応する複数の装置角度を算出する。合成部１３４は、算出した複数の装置角度に対応する複数の過去撮像画像データを記憶部１２から読み出す。具体的には、合成部１３４は、撮像画像データから切り出して生成した表示用画像データＧｃの上方、下方、左方、右方及び斜め方向において表示用画像データと接する過去撮像画像データを記憶部１２から読み出す。合成部１３４は、表示用画像データＧｃと、記憶部１２から読み出した複数の過去撮像画像データ（図８において破線で示す領域の画像データ）とを合成することにより、合成画像データを生成する。

合成部１３４が、このように、ロボット３から取得した撮像画像データＧ０のうち一部の領域を切り出して表示用画像データＧｃを生成することにより、リアルタイムで切り替わる動画像データの領域が小さくなるので、合成画像データのデータ量を削減することができる。その結果、データ処理装置１から操作装置２に合成画像データを送信する際の遅延時間が小さくなるとともに、操作装置２における表示処理の負荷が低減する。

［第２変形例］
図９は、第２変形例におけるデータ処理装置１の動作を説明するための図である。以上の説明においては、ロボット３が、カメラが生成した撮像画像データＧ０をそのままデータ処理装置１に送信するという場合を例示したが、ロボット３は、撮像画像データＧ０の一部の領域を切り出して、切り出した撮像画像データＧｃをデータ処理装置１に送信してもよい。この場合、画像データ取得部１３３は、カメラが撮像した領域の一部の領域に対応する撮像画像データＧｃを取得する。

ロボット３が、切り出した撮像画像データＧｃをデータ処理装置１に送信することにより、ロボット３からデータ処理装置１に送信されるデータの量が小さくなるので、撮像画像データが表示デバイス２１に表示されるまでの遅延時間を短くすることができる。

［第３変形例］
以上の説明においては、データ処理装置１が合成画像データを生成する場合を例示したが、操作装置２が過去撮像画像データを記憶するとともに、画像データ取得部１３３及び合成部１３４の機能を有していてもよい。この場合、操作装置２が、ロボット３が送信した撮像画像データを取得し、取得した撮像画像データに対応する装置角度に基づいて、撮像画像データの上方、下方、左方又は右方の少なくともいずれかの側に接する過去撮像画像データを選択し、撮像画像データと過去撮像画像データとを合成した合成画像データを生成する。

［第４変形例］
以上の説明においては、表示デバイス２１が操作者Ｕの頭部の角度を示す頭部操作データを送信したが、表示デバイス２１が操作者Ｕの視線の向きを検出し、基準向きと検出した視線の向きとの角度を示す頭部操作データを送信してもよい。基準向きは、操作者Ｕの正面の向きである。

操作者Ｕの視線の向きは、操作者Ｕの正面に対する操作者Ｕの頭部の向きと、表示デバイス２１の表示画面に直交する方向に対する視線の向きとに基づいて定められる。具体的には、表示デバイス２１は、表示デバイス２１が起動した時点における表示デバイス２１の向きから変位した角度と、表示デバイス２１の表示画面に直交する方向と視線の向きとの間の角度とを加算することにより、基準向きと視線の向きとの角度を算出する。例えば、表示デバイス２１は、頭部が右に９０度向いた状態で、視線が表示デバイス２１の正面に対して左に３０度の向きである場合に、基準向きと視線の向きとの角度を６０度とする。

制御データ生成部１３２は、基準向きと視線の向きとの角度を示す頭部操作データを受信すると、当該角度を頭部の角度とする制御データを生成し、生成した制御データをロボット３に送信する。ロボット３は、受信した制御データに基づいて頭部の角度を変化させることにより、カメラ３１は、操作者Ｕの視線の向きを中心とする撮像画像データを生成することができる。

データ処理システムＳがこのように構成されていることで、操作者Ｕが視線を動かした場合に、視点の向きに合った撮像画像データをリアルタイムで見るとともに、当該撮像画像データの撮像領域の周囲に過去撮像画像データに基づく画像を見ることができるので、操作性がさらに向上する。

［データ処理システムＳによる効果］
以上説明したように、データ処理装置１においては、合成部１３４が、画像データ取得部１３３が第１時点で取得した撮像画像データの少なくとも一部の表示用画像データと、画像データ取得部が第１時点よりも前の第２時点で取得した撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで表示用画像データよりも画角の広い合成画像データを生成する。そして、表示デバイス２１は、合成部１３４が生成した合成画像データに基づく画像を表示する。

データ処理装置１及び操作装置２がこのように動作することで、操作者Ｕは、ロボット３が撮像可能な範囲よりも広い範囲の撮像画像を見ながら作業をすることができるので、作業性及び安全性が向上する。そして、データ処理システムＳはロボット３が撮像するべき範囲を小さくすることができるので、ロボット３が有する撮像素子の面積を小さくしてコストを下げたり、同じ撮像面積の撮像素子を用いて解像度を向上させたりすることも可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

Claims (13)

1. ロボットに設けられた撮像装置による撮像に基づいて生成された撮像画像データを取得することと、
   第１時点で取得した前記撮像画像データの少なくとも一部の表示用画像データと、前記第１時点よりも前の第２時点で取得した前記撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで前記表示用画像データよりも画角の広い合成画像データを生成することと、
   前記ロボットの操作者が視認可能な表示装置に前記合成画像データを表示させることと、
   を実行するように構成された制御部を有するデータ処理装置であって、
   前記制御部は、前記撮像装置が第１撮像角度で撮像して生成された前記撮像画像データに基づく前記表示用画像データと、前記撮像装置が前記第１撮像角度と異なる第２撮像角度で撮像して生成された前記撮像画像データに基づく前記過去撮像画像データとを合成することにより前記合成画像データを生成し、
   前記データ処理装置は、前記制御部が取得した前記撮像画像データが撮像されたときの前記表示装置の角度である装置角度と前記撮像画像データとを関連付けて記憶する記憶部をさらに有し、
   前記制御部は、前記表示装置の角度を示す操作データを取得することをさらに実行するように構成されており、
   前記制御部は、前記操作データが示す前記表示装置の角度と、前記記憶部に記憶された複数の前記撮像画像データに対応する複数の前記装置角度と、の関係に基づいて、前記記憶部に記憶された前記複数の撮像画像データから前記過去撮像画像データを選択する、データ処理装置。
2. 前記制御部は、前記表示用画像データの画角に対応する角度だけ前記操作データが示す前記表示装置の角度と異なる前記装置角度に対応する前記過去撮像画像データを選択する、
   請求項１に記載のデータ処理装置。
3. 前記制御部は、前記撮像画像データを取得すると、当該撮像画像データが撮像された時点における前記操作データが示す前記表示装置の角度に関連付けて前記記憶部に記憶された前記撮像画像データを、前記制御部が取得した前記撮像画像データに更新する、
   請求項１又は２に記載のデータ処理装置。
4. 前記制御部は、前記ロボットの位置が移動した場合、前記操作者が前記ロボットの操作を終了した場合、又は所定の時間が経過した場合に、前記記憶部に記憶された前記撮像画像データを初期化する、
   請求項３に記載のデータ処理装置。
5. 前記データ処理装置は、前記制御部が取得した前記撮像画像データが撮像されたときの前記撮像装置の角度である撮像角度と前記撮像画像データとを関連付けて記憶する記憶部をさらに有し、
   前記制御部は、前記第１撮像角度と、前記記憶部に記憶された複数の前記撮像画像データに対応する複数の前記撮像角度と、の関係に基づいて、前記記憶部に記憶された前記複数の撮像画像データから前記過去撮像画像データを選択する、
   請求項１に記載のデータ処理装置。
6. 前記制御部は、前記表示用画像データの画角に対応する角度だけ前記第１撮像角度と異なる前記撮像角度に対応する前記過去撮像画像データを選択する、
   請求項５に記載のデータ処理装置。
7. 前記制御部は、前記表示用画像データと前記過去撮像画像データとを判別可能な態様の前記合成画像データを生成する、
   請求項１に記載のデータ処理装置。
8. 前記制御部は、前記表示用画像データと前記過去撮像画像データとを判別可能な形態で前記合成画像データを前記表示装置に表示させる、
   請求項１に記載のデータ処理装置。
9. 前記制御部は、前記制御部が取得した前記撮像画像データの一部の領域を切り出すことにより生成した前記表示用画像データと、当該表示用画像データに接する領域に対応する複数の前記過去撮像画像データと、を合成することにより前記合成画像データを生成する、
   請求項１に記載のデータ処理装置。
10. 前記制御部は、前記撮像装置が撮像した領域の一部の領域に対応する前記撮像画像データを取得する、
    請求項１に記載のデータ処理装置。
11. コンピュータが実行する、
    ロボットに設けられた撮像装置による撮像に基づいて生成された撮像画像データを取得することと、
    第１時点で取得した前記撮像画像データの少なくとも一部の表示用画像データと、前記第１時点よりも前の第２時点で取得した前記撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで前記表示用画像データよりも画角の広い合成画像データを生成することであって、前記撮像装置が第１撮像角度で撮像して生成された前記撮像画像データに基づく前記表示用画像データと、前記撮像装置が前記第１撮像角度と異なる第２撮像角度で撮像して生成された前記撮像画像データに基づく前記過去撮像画像データとを合成することにより前記合成画像データを生成することと、
    前記ロボットの操作者が視認可能な表示装置に前記合成画像データを表示させることと、
    を含むデータ処理方法であって、
    前記ロボットの操作者が視認可能な表示装置の角度を示す操作データを取得することと、
    前記取得した前記撮像画像データが撮像されたときの前記表示装置の角度である装置角度と前記撮像画像データとを関連付けて記憶部に記憶することと、
    前記操作データが示す前記表示装置の角度と、前記記憶部に記憶された複数の前記撮像画像データに対応する複数の前記装置角度と、の関係に基づいて、前記記憶部に記憶された前記複数の撮像画像データから前記過去撮像画像データを選択することと、
    をさらに含む、データ処理方法。
12. コンピュータに、
    ロボットに設けられた撮像装置による撮像に基づいて生成された撮像画像データを取得することと、
    第１時点で取得した前記撮像画像データの少なくとも一部の表示用画像データと、前記第１時点よりも前の第２時点で取得した前記撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで前記表示用画像データよりも画角の広い合成画像データを生成することであって、前記撮像装置が第１撮像角度で撮像して生成された前記撮像画像データに基づく前記表示用画像データと、前記撮像装置が前記第１撮像角度と異なる第２撮像角度で撮像して生成された前記撮像画像データに基づく前記過去撮像画像データとを合成することにより前記合成画像データを生成することと、
    前記ロボットの操作者が視認可能な表示装置に前記合成画像データを表示させることと、
    を実行させるためのプログラムであって、
    前記ロボットの操作者が視認可能な表示装置の角度を示す操作データを取得することと、
    前記取得した前記撮像画像データが撮像されたときの前記表示装置の角度である装置角度と前記撮像画像データとを関連付けて記憶部に記憶することと、
    前記操作データが示す前記表示装置の角度と、前記記憶部に記憶された複数の前記撮像画像データに対応する複数の前記装置角度と、の関係に基づいて、前記記憶部に記憶された前記複数の撮像画像データから前記過去撮像画像データを選択することと、
    をさらに前記コンピュータに実行させることを含む、プログラム。
13. ロボットと、前記ロボットを操作する操作者による操作の内容を示す操作データを送信する操作装置と、前記操作装置から受信した前記操作データに基づいて前記ロボットを制御するデータ処理装置と、を備えるデータ処理システムであって、
    前記ロボットは、
    撮像画像データを生成する撮像装置と、
    前記撮像画像データを前記データ処理装置に送信する画像送信部と、
    を有し、
    前記データ処理装置は、
    前記ロボットが送信した前記撮像画像データを取得することと、
    第１時点で取得した前記撮像画像データの少なくとも一部の表示用画像データと、前記第１時点よりも前の第２時点で取得した前記撮像画像データの少なくとも一部の過去撮像画像データと、を合成することで前記表示用画像データよりも画角の広い合成画像データを生成することであって、前記撮像装置が第１撮像角度で撮像して生成された前記撮像画像データに基づく前記表示用画像データと、前記撮像装置が前記第１撮像角度と異なる第２撮像角度で撮像して生成された前記撮像画像データに基づく前記過去撮像画像データとを合成することにより前記合成画像データを生成することと、
    前記ロボットの操作者が視認可能な表示装置に前記合成画像データを表示させることと、
    を実行するように構成された制御部を有し、
    前記制御部は、
    前記ロボットの操作者が視認可能な表示装置の角度を示す操作データを取得することと、
    前記取得した前記撮像画像データが撮像されたときの前記表示装置の角度である装置角度と前記撮像画像データとを関連付けて記憶部に記憶することと、
    前記操作データが示す前記表示装置の角度と、前記記憶部に記憶された複数の前記撮像画像データに対応する複数の前記装置角度と、の関係に基づいて、前記記憶部に記憶された前記複数の撮像画像データから前記過去撮像画像データを選択することと、
    をさらに実行するように構成されており、
    前記操作装置は、
    前記操作者による操作の内容に基づく前記操作データを前記データ処理装置に送信する操作データ送信部と、
    前記データ処理装置が送信した前記合成画像データを表示する表示部と、
    を有する、
    データ処理システム。