JP6440745B2 - ロボット装置の行為の仮想表現を表示する拡張現実のための方法及びシステム - Google Patents

Description

関連出願の相互参照
[0001] 本出願は、２０１４年８月２５日出願の米国仮特許出願第６２／０４１，１７３号の優先権を主張するものであり、その内容全体を参照としてここに組み込む。

[0002] 本明細書中に指摘のない限り、本章に記載の材料は、本出願の特許請求の範囲に対する先行技術でなく、また本章に含まれることを理由に先行技術であると認められるものでない。

[0003] ロボット装置は、多くのタスクを実施するように詳細にプログラムすることができ、或いは通常にプログラムされた後、ロボット装置の利用可能な環境又は対象に基づいて、タスクの特定の実施について判定することができる。ロボット装置は、音声フィードバック技術を利用して、付近の人にロボット装置の行為（ａｃｔｉｏｎ）又は意思を通知し、ロボット装置が実施しようとしている未来の行為を通知するようにしてもよい。しかしながら、音声によるコメントは、場合によっては望ましくないこともある。

[0004] 一例としての実施形態は、タスクを実施するためのロボット装置の行為又は意思の仮想表現を表示する拡張現実を取り込んだ方法及びシステムに関連してもよい。ロボット装置は、他の付近の装置と通信することにより、ロボット装置が実施するようにプログラムされた未来の行為を通知してもよい仮想表現を表示するために使用される情報を提供してもよい。他の例において、ロボット装置は、ロボット装置が動作する物理環境に直接、未来の行為又は意思に関する情報を提供してもよい。

[0005] 例は、環境認知及び相互作用を備えたロボットシステムを補助するクラウドベースサービスとの組み合わせで実施されてもよい。特に、クラウドベースサービスは、通信ネットワークを介してロボットシステムと相互作用することにより、ロボットシステムから情報を受信し、ロボットシステムに情報を送信してもよい。このような構成により、ロボットシステムによって特定のタスクを実施するために、ロボットシステムの追加のオンボードメモリ及び処理力のニーズを低減（又は除去）してもよい。また、クラウドベースサービスは、複数のロボットシステムの間のデータ共有を可能にしてもよい。さらに、クラウドベースサービスは、ロボットシステムが環境から情報を取得する際に連続更新されてもよい。

[0006] 例えば、ロボットシステムは、ロボットシステムにタスクを実施させる指示を受信するためにクラウドベースサービスと相互作用してもよい。クラウドベースサービスは、種々の因子に基づいて指示を生成するために大規模シミュレーションを行ってもよい。このような因子には、特に、ロボットシステムから受信したセンサデータ、そのタスク（又は同様のタスク）を実施するために他のロボットシステムが使用した過去の手順、及び／又は、ロボットシステムの構成が含まれてもよい。

[0007] 一態様において、方法を提供する。この方法は、タスクを実施するために、ロボット装置の行為又は意思を示す情報を受信することを備え、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの１つ以上を含む。当該方法はさらに、演算装置によって拡張現実インタフェース上に表示を行うために、行為又は意思の仮想表現を提供することも備え、仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0008] 他の態様において、持続性コンピュータ可読媒体を提供する。持続性コンピュータ可読媒体は、演算装置によって実行されると、演算装置に以下の機能を実施させる指示を記憶している。以下の機能とは、タスクを実施するため、ロボット装置の行為又は意思を示す情報を受信することを備え、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道とタスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む。この機能は、拡張現実インタフェース上に表示を行うため、行為又は意思の仮想表現を提供することをさらに備え、仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0009] さらに他の態様において、他の方法であって、タスクを実施するため、ロボット装置の行為又は意思を示す情報を受信することと、行為又は意思に基づき、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの１つ以上を判定することとを備える方法を提供する。この方法は、ロボット装置に近接した１つ以上の演算装置を判定することと、１つ以上の演算装置によって拡張現実インタフェース上に表示を行うため、行為又は意思の仮想表現を提供することとをさらに備え、仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0010] 一態様において、システムであって、タスクを実施するため、ロボット装置の行為又は意思を示す情報を受信する手段を備え、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの１つ以上を含む。このシステムは、演算装置によって拡張現実インタフェース上に表示を行うため、行為又は意思の仮想表現を提供する手段をさらに備え、仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0011] さらに他の態様によると、コンピュータにより実行される他の方法であって、物理環境におけるタスクを実施するため、ロボット装置の行為又は意思を示す情報を受信することを備え、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、前記タスクの少なくとも一部を実施するために前記ロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む。この方法は、物理環境内における装置により、行為又は意思の仮想表現を提供することをさらに備え、仮想表現は、ロボット装置の計画軌道の少なくとも一部の表示を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0012] さらに他の態様によると、他のシステムであって、物理環境におけるタスクを実施するため、ロボット装置の行為又は意思を示す情報を受信する手段を備え、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、前記タスクの少なくとも一部を実施するために前記ロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む。このシステムは、物理環境内における装置により、行為又は意思の仮想表現を提供する手段をさらに備え、仮想表現は、ロボット装置の計画軌道の少なくとも一部の表示を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。

[0013] 当業者にとって、添付の図面を適切に参照し、以下の詳細な説明を読むことにより、これらの態様及び他の態様、効果、及び代替が明らかとなるであろう。

[0014] 一例としての実施形態に係るクラウドベース演算用の一例としてのシステムである。 [0015] 一例としてのクライアント装置を示す。 [0016] ロボットのグラフィカル例を示す。 [0017] ロボットの他の例を示す [0018] 概念的ロボット−クラウド相互作用の例を示す。 [0019] ロボットがクラウドと相互作用し、他のクラウド演算装置と情報を共有する一例としてのシステムである。 [0020] 本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースに提供する一例としての方法のブロック図である。 [0021] ロボット装置の含まれた一例としての環境と、ロボット装置による計画行為の一例としての仮想表現とを示す。 [0022] ロボット装置の含まれた他の一例としての環境と、ロボット装置による計画行為の一例としての仮想表現とを示す。 [0023] 装着者によって装着された一例としてのヘッドマウントデバイス（ＨＭＤ）を示す。 [0024] 装着者によって装着された他の一例としてのヘッドマウントデバイス（ＨＭＤ）を示す。 [0025] 本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースに提供する他の一例としての方法のブロック図である。 [0026] ロボット装置の含まれた他の一例としての環境と、ロボット装置による計画行為の一例としての仮想表現とを示す。 [0027] 本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースに提供する他の一例としての方法のブロック図である。 [0028] 本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現の拡張現実表示を提供する他の一例としての方法のブロック図である。 [0029] ロボット装置の含まれた他の一例としての環境と、ロボット装置による計画行為の一例としての仮想表現と示す。

[0030] 本明細書中、一例としての方法及びシステムについて説明する。「一例」「一例としての」及び「例示としての」という用語は、本明細書中で使用される時、「例、事例、又は例示として機能している」ことを意味する。「一例」「一例としての」「例示としての」として本明細書中で説明されるいずれの実施形態又は特徴も、必ずしも他の実施形態又は特徴よりも好適又は好都合であると解釈されるものでない。本明細書に記載の一例としての実施形態は、限定を意図するものでない。本明細書に一般的に説明され、図面に示される本開示の態様は、幅広い種々の異なる構成で配置、置換、組み合わせ、分離、及び設計可能であることが容易に理解され、それらすべてが本明細書中で明示的に考慮される。

１．概説
[0031] 例においては、拡張現実インタフェースを使用して、ロボット装置の行為又は意思を示すフィードバック又は情報を提供してもよい。一例として、ロボットのライブビデオフィード又は単に装着者の視野を提供するシースルー表示を含むヘッドマウントディスプレイが提供されてもよい。ロボット装置は、ヘッドマウントディスプレイに視覚表示され、ライブビデオフィードに重ね合わせることのできるアノテーションを提供するように、ヘッドマウントディスプレイと通信するようにプログラムされてもよい。アノテーションは、例えば、ロボット装置の未来の歩行ステップを示す仮想足跡のセットを表示するなど、ロボット装置の未来のナビゲーション進路を示してもよい。ロボット装置が移動している間、ヘッドマウントディスプレイは、ライブビデオフィード又は装着者の視野に未来の足跡の表現を重ね合わせ、ロボット装置の軌道を示すことができる。

[0032] 拡張現実インタフェースは、他の装置上にも提供されてよい。例えば、携帯電話（ｍｏｂｉｌｅ ｐｈｏｎｅ）は、ロボット装置が付近の任意の電話にその意思をブロードキャストすることができ、その電話がその電話のライブカメラフィード上に重ねた情報をレンダリングすることでその意思の表現を示すように、ロボット装置の状態と同期したアプリケーションを含むようにプログラムされてもよい。他の例において、電話は、追加又は代替として、ロボット装置の視野からカメラフィードを受信し、意思の詳細をそのカメラフィード上に重ねてもよい。詳細には、未来の意思についての意味情報、又はロボット装置が行おうとしていることの理解についての情報が含まれてもよい。

[0033] ロボット装置は、移動前及び移動中に情報を提供することにより、フィードバックの提供に有用な詳細の未来の動き及び意思を通信してもよい。また、ユーザは、その後、これがロボット装置で実施する望ましい挙動又はタスクであるということを確認する時間を有してもよい。一例として、ロボット装置は、キッチンで多数のボウル中から１つのボウルを選択するように指示されてもよい。ロボット装置は、ユーザのニーズを査定し、サイズ、種別、及び材料の予測に基づいてボウルを選択してもよい。ロボット装置は、ヘッドマウントディスプレイに重ねるアノテーションを提供してもよく、ヘッドマウントディスプレイは、装着者の視野上に重ねたアノテーションを表示し、ロボット装置が検索しようとしているボウルをハイライトすることができる。そして、ユーザは、選択されたボウルを見て、ロボット装置への指示を修正又は確認可能であってもよい。

[0034] そして、拡張現実インタフェースを使用して、物理世界で移動しているロボット装置の状態及び未来の移動に関するフィードバックを提供する。インタフェースは、ビデオフィード又は装着者の視野に情報（意味情報）をデジタルアノテーション表示するオーバーレイを含む。この情報は、例えば、ロボットの未来の軌道を網羅する車輪付ロボットのナビゲーション意思、未来の足跡セット、又は床上のストライプを示してもよい。ロボット装置が対象と相互作用しているか、相互作用しようとしている場合、操作対象は、オーバーレイにてハイライトすることができる。また、ロボット装置は、対象にドットを提供する操作可能なレーザポインタを使用すること、又は対象に光を投射するプロジェクタを使用して対象を積極的にハイライトすることにより、ロボットが取り上げようとしている対象の位置を示してもよい（例えば、ピッチャのハンドルをハイライトする）

[0035] さらなる例において、ロボット装置は、ロボット装置の未来の軌道又は意思を確認又は修正するための情報を装置からの通信で受信してもよい。例えば、ユーザは、拡張現実インタフェース上に重ねた未来の意思を受信してもよく、その後、ジェスチャ及び位置を追跡するための内部測定ユニット（ＩＭＵ）又は加速計を備えたモバイルコンピュータ又は特殊目的用装置（例えば、棒型装置又はスマートウォッチ）等の装置を使用してもよい。この装置は、ユーザがロボット装置をどこかへ移動させるコマンドを出すように指している箇所等、ロボット装置に情報を提供してもよい。ユーザは、装置を指し、開始を意味するボタンを押下してもよく、ロボット装置は、その後、その指示を受信し、方向コマンドの通りに装置の移動及び動きを中断し、ＡからＢへの進路を演算し、次いで計画された未来の足跡を示すため、拡張表示上に重ねる情報を提供してもよい。指示は、他の方法、例えば、レーザポインタを使用して進路に沿って光を投射するなどによって提供されてもよい。

[0036] コマンドを提供した後、装置は、ロボット装置の移動を計画している箇所の拡張現実視覚オーバーレイを受信してもよく、ロボット装置が位置を誤解した場合、又はユーザがコース又は進路を変更したい場合、ユーザはロボット装置が進路に沿って遠く横切ってしまう前にそのようにすることができる。

[0037] さらなる例において、その領域のロボット装置又はその他の演算装置は、物理環境に仮想表現を提供してもよい。例えば、計画軌道の投射を環境における床上に提供することができ、又はロボット装置によって取り扱われる対象をロボット装置でハイライトすることができる。

ＩＩ．ロボット−クラウド相互作用の一例としての構造
[0038] 以下、図面を参照すると、図１は、クラウドベース演算のための一例としてのシステム１００である。クラウドベース演算は、通常、アプリケーションの実行と記憶とがクライアント装置とサーバ装置との間である程度分割されてもよいネットワーク化コンピュータ構造を言う。「クラウド」は、例えば、クライアン装置及びサーバ装置により、ネットワーク（例えば、インターネット）を通じてアクセス可能なサービス又はサービス群を意味してもよい。

[0039] 一例において、クラウドに接続された任意のコンピュータは、演算力、アプリケーション、及びファイルの同一のプールに接続されてもよい。従って、クラウド演算により、最小の管理努力又はサービスプロバイダ相互作用で供給及びリリース可能な構成可能演算リソース（例えば、ネットワーク、サーバ、ストレージ、アプリケーション、及びサービス）の共有プールを可能にする。ユーザは、記憶媒体周辺での物理的実行でなく、遠隔サーバ上で、音楽、写真、ビデオ、及びブックマーク等のパーソナルファイルの記憶及びアクセスが可能であり、ゲームをプレイすることができ、生産性アプリケーションを使用することができる。

[0040] 一例として、主にクライアントベースのアプリケーション又はサーバベースのアプリケーションとは対照的に、クラウドベースのアプリケーションは、遠隔サーバ装置にデータ及び／又は実行可能なプログラム論理のコピーを記憶してもよく、一方でクライアント装置における実行の必要に応じて、クライアント装置にこのデータ及びプログラム論理の少なくとも一部をダウンロードさせる。いくつかの例において、ダウンロードされたデータ及びプログラム論理は、クラウドベースアプリケーションにアクセスする特定のクライアント装置（例えば、パーソナルコンピュータ、タブレット、又は携帯電話、又はロボット）の能力に応じて調節することができる。また、クライアント装置とサーバ装置との間でアプリケーションの実行と記憶とを分割することにより、サーバ装置により多くの処理を実施させることで、例えば、サーバ装置の処理力及び能力を利用する。

[0041] クラウドベース演算は、クラウドベースアプリケーションのためのデータ及びプログラム論理がほぼリアルタイムで１つ以上のクライアント装置及び／又はサーバ装置の間で共有される分散演算構造とも称することができる。このデータ及びプログラム論理の一部は、必要に応じて、又は必要の有無に関わらず、クラウドベースアプリケーションにアクセスする種々のクライアントに対して動的に伝達されてもよい。この構造の詳細は、クライアント装置のユーザに対して透過的である。従って、クラウドベースアプリケーションにアクセスするＰＣユーザ又はロボットクライアント装置は、例えば、ＰＣ又はロボットがサーバ装置からプログラム論理及び／又はデータをダウンロードしたこと、又はＰＣ又はロボットがサーバ装置に処理又は記憶機能をオフロードすることを認識しなくてもよい。

[0042] 図１において、クラウド１０２は、クラウドサービス１０４、クラウドプラットフォーム１０６、クラウドインフラストラクチャ１０８、及びデータベース１１０を備える。クラウド１０２の備える構成要素は、より多くても少なくてもよく、クラウドサーバ１０４、クラウドプラットフォーム１０６、クラウドインフラストラクチャ１０８、及びデータベース１１０も、各々、複数の要素を備えてもよい。従って、システム１００について説明した機能のうちの１つ以上は、追加の機能構成要素又は物理構成要素に分割されてもよく、又はより少ない数の機能構成要素又は物理構成要素に結合されてもよい。さらにいくつかの例において、図１に示した例に追加の機能構成要素及び／又は物理構成要素が追加されてもよい。クラウド演算の伝達には、例えば、ウェブサービス及び３階層構造等のアプリケーションプログラミングインタフェースを通じて互いに通信する複数のクラウド構成要素を組み込んでもよい。

[0043] クラウド１０２は、ネットワーク化コンピュータ構造を表してもよく、一例において、クラウドサーバ１０４は、クライアント装置からの要求を取り扱うキューを表してもよい。クラウドプラットフォーム１０６は、クラウドのフロントエンドを含んでもよく、クラウドサービス１０４と連結され、クライアント装置と相互作用する機能を実施してもよい。クラウドプラットフォーム１０６は、ウェブブラウザ等のユーザインタフェースを介してクラウド１０２にアクセスするために使用されるアプリケーションを含んでもよい。クラウドインフラストラクチャ１０８は、クラウド１０２の構成要素の請求を行うサービスアプリケーションを含んでもよく、従って、クラウドサービス１０４と相互作用してもよい。データベース１１０は、クラウド１０２による記憶能力を表しており、クラウドサービス１０４、クラウドプラットフォーム１０６、及び／又はインフラストラクチャ１０８のいずれかによってアクセスされてもよい。

[0044] システム１００は、クラウド１０２の構成要素と通信することができるように連結又は構成された多数のクライアント装置を含む。例えば、コンピュータ１１２、モバイル装置１１４、ホスト１１６、ロボットクライアント１１８がクラウド１０２と連結された様子が示されている。勿論、クラウド１０２に連結されるクライアント装置は、より多くても少なくてもよい。また異なる種別のクライアント装置がクラウド１０２に連結されてもよい。例えば、クライアント装置のいずれかは、通常、表示システム、メモリ、及びプロセッサを備えてもよい。

[0045] コンピュータ１１２は、任意の種別の演算装置（例えば、ＰＣ、ノート型コンピュータ等）であってもよく、モバイル装置１１４は、任意の種別の携帯演算装置（例えば、ノートパソコン、携帯電話、セルラーフォン（ｃｅｌｌｕｌａｒ ｔｅｌｅｐｈｏｎｅ）等）であってもよい。

[0046] ホスト１１６は、クラウド１０２に対してデータの送信／受信を行うように構成された、ノート型コンピュータ、携帯電話等を含む、送信機／受信機を備えた任意の種別の演算装置であってもよい。

[0047] ロボットクライアント１１８は、クラウド１０２に対する接続能力を有し、その周辺及び環境と相互作用するように駆動能力（例えば、電子機械的能力）を有する任意の演算装置を備えてもよい。ロボットは、さらに、演算装置の組み合わせであってもよい。いくつかの例において、ロボット１１８は、データを収集し、クラウド１０２にそのデータをアップロードしてもよい。クラウド１０２は、そのデータに対して計算又は解析を実施し、処理済みデータをロボットクライアント１１８に戻すように構成されてもよい。いくつかの例において、図１に示す通り、クラウド１０２は、ロボットクライアント１１８と共同配置されないコンピュータを備えてもよい。他の例において、ロボットクライアント１１８は、処理のために、データを第２のクライアント（例えば、コンピュータ１１２）に送信してもよい。

[0048] クライアント装置のいずれかは、追加の構成要素を含んでもよい。例えば、ロボットクライアント１１８は、ロボットクライアント１１８の移動を測定するためのジャイロスコープ又は加速計等、１つ以上のセンサを含んでもよい。さらに他のセンサとしては、例えば、中でも、全地球測位システム（ＧＰＳ）受信機、赤外線センサ、ソナー、光学センサ、バイオセンサ、無線周波数識別（ＲＦＩＤ）システム、近距離通信（ＮＦＣ）チップ、無線センサ、及び／又は、コンパスのいずれかが含まれてもよい。

[0049] またクライアント装置のいずれかは、ユーザに装置と相互作用させる一体化ユーザインタフェース（ＵＩ）を含んでもよい。例えば、ロボットクライアント１１８は、ユーザに入力を提供させる種々のボタン及び／又はタッチスクリーンインタフェースを含んでもよい。他の例として、ロボットクライアント装置１１８は、ユーザからボイスコマンドを受信するように構成されたマイクを含んでもよい。さらに、ロボットクライアント１１８は、種々の種別のユーザインタフェース装置をロボットクライアント１１８に接続させる１つ以上のインタフェースを含んでもよい。

[0050] 図１において、クライアント装置とクラウド１０２との間の通信リンクには、直列バス又は並列バス等、有線接続が含まれてもよい。通信リンクは、リンク１２０等の無線リンクであってもよく、これには、Ｂｌｕｅｔｏｏｔｈ、ＩＥＥＥ８０２，１１（ＩＥＥＥ８０２．１１は、ＩＥＥＥ８０２．１１−２００７、ＩＥＥＥ８０２．１１ｎ−2009、又はその他任意のＩＥＥＥ８０２．１１改定版を意味してもよい）、又はその他の無線ベース通信リンクが含まれてもよい。

[0051] 他の例において、システム１００は、クライアント装置がクラウド１０２と通信してもよいアクセスポイントを含んでもよい。アクセスポイントは、種々の形態を採ってもよく、例えば、アクセスポイントは、無線アクセスポイント（ＷＡＰ）又は無線ルータの形態を採ってもよい。他の例として、クライアント装置がＣＤＭＡ又はＧＳＭプロトコル等のセルラーエアインタフェースプロトコルを使用して接続する場合、アクセスポイントは、セルラーネットワークを介してインターネット接続性を提供する、セルラーネットワーク内の基地局であってもよい。

[0052] このように、クライアント装置は、クライアント装置がクラウド１０２（又はアクセスポイント）と接続することのできる有線又は無線のネットワークインタフェースを含んでもよい。一例として、クライアント装置は、中でも、８０２.１１、８０２．１６（ＷｉＭＡＸ）、ＬＴＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＥＶ−ＤＯ、及び／又はＨＳＰＤＡ等、１つ以上のプロトコルを使用するように構成されてもよい。さらに、クライアント装置は、セルラー通信プロトコル（例えば、ＣＤＭＡ、ＧＳＭ、又はＷｉＭＡＸ、及び８０２．１１を使用した「ＷｉＦｉ」接続）を使用した「３Ｇ」又は「４Ｇ」のデータ接続性等、複数の有線及び／又は無線のプロトコルを使用するように構成されてもよい。他の例も可能である。

[0053] 図２Ａは、一例としてのクライアント装置２００を示している。一例において、クライアント装置２００は、ロボットとして構成される。いくつかの例において、ロボットは、プロセッサ２０２、メモリ又はストレージ２０４、及びセンサ２０６等のコンピュータハードウェアを含んでもよい。例えば、ロボットコントローラ（例えば、プロセッサ２０２、演算システム、及びセンサ２０６）はすべて、特定のロボットに合わせてカスタム設計されてもよい。ロボットは、リンクがクラウドサーバ（図１に示す通り）にアクセス可能なリンクを有してもよい。有線リンクには、例えば、並列バス又はユニバーサルシリアルバス（ＵＳＢ）等の直列バスが含まれてもよい。無線リンクには、例えば、その他の可能性の中でも、Ｂｌｕｅｔｏｏｔｈ、ＩＥＥＥ８０２．１１、セルラー（ＧＳＭ、ＣＤＭＡ、ＵＭＴＳ、ＥＶ−ＤＯ、ＷｉＭＡＸ、又はＬＴＥ等）、又はＺｉｇｂｅｅが含まれてもよい。

[0054] 一例において、ストレージ２０４は、ロボットの種々のセンサ２０６からのデータをコンパイルし、プログラム指示を記憶するために使用されてもよい。プロセッサ２０２は、ストレージ２０４と連結されてもよく、プログラム指示に基づいてロボットを制御するように構成されてもよい。プロセッサ２０２は、ロボット上の種々のセンサ２０６からのデータを解釈できてもよい。一例としてのセンサには、煙センサ、光センサ、無線センサ、赤外線センサ、マイク、スピーカ、ジャイロスコープ、加速計、カメラ、レーダ、容量センサ、及びタッチセンサ等が含まれてもよい。

[0055] クライアント装置２００は、クライアント装置２００にその環境と相互作用させる構成要素又は装置も有してよい。例えば、クライアント装置２００は、モータ、ホイール、可動アーム等、クライアント装置２００を移動させるか、又は環境と相互作用させることのできる機械的アクチュエータ２０８を有してもよい。

[0056] いくつかの例において、クライアント装置２００上の種々のセンサ及び装置は、モジュールであってもよい。要件に応じて、異なるモジュールが追加されてもよく、又はクライアント装置２００から除去されてもよい。例えば、低出力の状況では、ロボットは、動力使用を低減するためにより少ない数のモジュールを有してもよい。しかしながら、必要に応じて、追加のセンサが追加されてもよい。データ量を増やすために、例えば、ロボットは収集が可能であってもよく、追加のセンサが追加されてもよい。

[0057] いくつかの例において、クライアント装置２００は、装置２１０等、プロセッサ２０２、ストレージ２０４、及びセンサ２０６を含む装置を収容するように構成されてもよい。例えば、クライアント装置２００は、多数の機械的アクチュエータ（例えば、可動ベース）を有するロボットであってもよく、このロボットは、携帯電話、スマートフォン、タブレットコンピュータ等を収容し、「脳」として機能するか、又はロボットの構成要素を制御してもよい。装置２１０は、ロボットのモジュールと考えられてもよい。装置２１０は、ロボットに対して物理的に取り付けられてもよい。例えば、スマートフォンは、ロボットの「胸部」に据え付けられ、相互作用ディスプレイを形成してもよい。装置２１０は、ロボットに、例えば、センサ、無線リンク、及び処理能力を提供してもよい。装置２１０は、ユーザにクラウドから自身のロボットのための新たなルーチンをダウンロードさせてもよい。例えば、洗濯畳みルーチンがクラウド上に記憶されてもよく、ユーザは、クラウドからこのルーチンをダウンロードするためにスマートフォンを使用してこのルーチンを選択することができてもよく、スマートフォンがロボットに載置又は連結されている時には、ロボットはダウンロードした行為を実施することができるであろう。

[0058] いくつかの例において、クライアント装置２００は、追加の感知能力を提供する携帯電話又はセルラーフォンに連結されてもよい。セルラーフォンは、ロボットに対して物理的に取り付けられなくてもよく、ロボットに無線で連結されてもよい。例えば、低コストロボットでは、インターネットへの直接接続を省略してもよい。このロボットは、インターネットにアクセスできるように無線技術（例えば、Ｂｌｕｅｔｏｏｔｈ）を介してユーザのセルラーフォンに接続することができてもよい。このロボットは、セルラーフォンの種々のセンサ及び通信手段にアクセスすることができてもよい。このロボットは、ロボット上に物理的に搭載されるセンサを多数必要としなくてもよいが、同一又は同様の機能を保持可能であってもよい。

[0059] 従って、クライアント装置２００は、機械的ロボット特徴を含んでもよく、加速計、ジャイロスコープ、コンパス、ＧＰＳ、カメラ、ＷｉＦｉ接続、タッチスクリーン等のいずれかなど、装置２１０内に含まれる装置２００に追加の周辺構成要素を提供することのできる装置２１０（例えば、携帯電話、スマートフォン、タブレットコンピュータ等）を収容するように構成されてもよい。

[0060] 図２Ｂは、ロボット２１２のグラフィカル例を示している。図２Ｂにおいて、ロボット２１２は、腕部、脚部、及び頭部を含む人型機械として示されている。ロボット２１２は、携帯電話等、ロボットを動作させるように構成されてもよい任意の数のモジュール又は構成要素を収容するように構成されてもよい。本例において、装置（例えば、ロボット２１２）は、携帯電話（例えば、装置２１０）に取り付けられて、機械的ロボット２１２に、ロボット２１２をクラウドと通信させてロボット２１２の動作／機能を生じさせることのできる機能を提供することができる。インターネットとの接続性を有するその他の種別の装置をロボット２１２に連結し、ロボット２１２上に追加機能を提供することができる。従って、装置２１０は、ロボット２１２から分離されていてもよく、ロボット２１２に取り付け又は連結することができる。

[0061] 一例において、ロボット２１２は、限られた機械的機能のみを備えた玩具であってもよく、装置２１０をロボット２１２に接続することにより、玩具ロボット２１２は、装置２１０及び／又はクラウドの助けで多数の機能を実施することができるようになってもよい。このように、ロボット２１２（又はロボットの構成要素）は、携帯電話に取り付けられ、携帯電話をサーバに接続されたロボット（例えば、脚部／腕部を備える）に変容させ、ロボットの動作／機能を生じさせることができる。

[0062] 搭載装置２１０はさらに、ロボット２１２のルーチン使用を最大化するように構成されてもよい（例えば、どのような事態でユーザが玩具をオフするか、又は下に置くかをロボット２１２が学習できる場合、装置２１０は、その発生に対抗する機能を実施するように構成されてもよい）。

[0063] 図２Ｃは、ロボット２１４の他の例を示している。ロボット２１４は、演算装置２１６、センサ２１８、及び機械的アクチュエータ２２０を含む。本例において、演算装置２１６は、ラップトップコンピュータであってもよく、センサ２１８に連結されてもよい。センサ２１８は、カメラ、赤外線プロジェクタ、及びその他の動き感知又は視覚感知要素を含んでもよい。機械的アクチュエータ２２０は、例えば、上部に演算装置２１６及び怨嗟２１８を配置することのできるベース、ホイール、及びモータを含んでもよい。

[0064] 図２Ａ〜図２Ｃに示すロボットのうちのいずれかは、ロボット動作システム（例えば、ロボットの特定機能のために設計された動作システム）に従って動作するように構成されてもよい。ロボット動作システムは、ロボットの適用を可能にするライブラリ及びツール（例えば、ハードウェア抽象化、装置ドライバ、ビジュアライザ、メッセージ授受、パッケージ管理等）を提供してもよい。ロボット動作システムの例には、ＲＯＳ（ロボット動作システム）、ＤＲＯＳ、又はＡＲＣＯＳ（改良型ロボティックス制御動作システム）等のオープンソースソフトウェア、Ｅｖｏｌｕｔｉｏｎ Ｒｏｂｏｔｉｃｓ（登録商標）からのロボティック開発プラットフォーム及びＭＲＤＳ（Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｒｏｂｏｔｉｃｓ Ｄｅｖｅｌｏｐｅｒ Ｓｔｕｄｉｏ）等の専用ソフトウェアが含まれ、その他の例には、ＲＯＳＪＡＶＡも含まれてよい。ロボット動作システムは、公開及び購読機能を含んでもよく、頭部追跡、ベース移動（例えば、速度制御、ナビゲーション枠組み）等、ロボットの構成要素を制御する機能も含んでよい。

[0065] 図３は、概念的ロボット−クラウド相互作用の一例を示す。上述の図２Ａ〜２Ｃに示したロボット等のロボットは、コンピュータ（例えば、クラウド）のネットワークに接続してもよく、データ、又はクラウドにより実施される処理をリクエストしてもよい。一例において、ロボットは、多数のセンサと、通常、ロボットのモータ制御を提供してもよい機械的アクチュエータとを含んでもよい。カメラフィード、視覚センサ等のセンサの出力は、その出力を処理してロボットが機能を実施できるようにすることのできるクラウドに提供されてもよい。クラウドは、カメラフィードを処理し、例えば、ロボットの位置を判定するか、対象認識を実施するか、又はロボットのナビゲーション進路を示してもよい。

[0066] 図３は、通常、モータコントローラを示しており、各モジュールが、モータコントローラの入力又はロボットからのデータを使用して処理を実施するクラウド上のコンピュータ又はノードを概念的に表してもよい。図３は、通常、センサも示しており、各モジュールが、センサ入力又はロボットからのデータを使用して処理を実施するクラウド上のコンピュータ又はノードを概念的に表してもよい。図３はさらに、通常、アプリケーションを示しており、各モジュールが、多数のアプリケーション、例えば、ナビゲーションアプリケーション、マッピングアプリケーション等の特定機能を実施するクラウド上のコンピュータ又はノードを概念的に表してもよい。また図３はさらに、通常、計画を示しており、各モジュールが、一般計画又は演算処理等、ロボットのための処理を実施するクラウド上のコンピュータ又はノードを概念的に表してもよい。

[0067] 図示の通り、モジュールのうちのいずれかは相互接続されてもよく、且つ／又は、ロボットのための特定の出力又は機能を提供するように、互いにデータ又は指示を受信するように通信してもよい。

[0068] 一例において、ロボットは、データ処理のためにクラウドにデータを送信してもよく、他の例において、ロボットは、クラウドからデータを受信してもよい。クラウドから受信したデータは、多くの異なる形であってもよい。受信したデータは、ロボットがクラウドに送信した処理形態のデータであってもよい。受信したデータは、ロボット以外のソースから来てもよい。例えば、クラウドは、その他のセンサ、その他のロボット、及びインターネットにアクセスを有してもよい。

[0069] 本明細書に記載の例において、ロボットは、クラウドと相互作用し、例えば、他のクラウド演算装置と情報を共有するなど、任意の数の行為を実施してもよい。例の範囲内において、ロボットは、クラウドと相互作用し、対象認識を促進してもよく、マッピング機能を実施してもよく、又はナビゲーション機能を実施してもよい（すなわち、他のロボットによって過去に横断されたマップ／ナビゲーション進路を受信する）。他の例において、ロボットは、クラウドと相互作用し、ロボットにより、且つ／又は、ロボットの制御により、領域内の対象のマッピングを実施してもよく、対象の在庫調査を実施してもよく、音声認識を実施してもよい。ロボットは、文脈情報又は状況情報に基づき、本明細書に記載の通り、行為又はクラウドに対するクエリを実施してもよい。

[0070] いくつかの例において、ロボットにオンボードで記憶されるロボットの知識ベースを要求するのでなく、いくつかの実施形態では、ロボットに、サーバ及び／又はその他の演算装置等、外部位置においてデータの記憶及びアクセスをさせることができる。外部位置は、１つ以上のロボットからデータ及び／又はリクエストを受信してもよい。サーバは、１つ以上のロボットから受信したデータを記憶し、且つ／又は、ロボットが指示及び／又はデータを取得することのできる、ロボット間の共有知識ベースを作成するように、記憶したデータの全部又は一部を１つ以上のロボットに分配してもよい。

[0071] いくつかの実施形態において、ロボットは、対象及び／又はロボットが動作する領域に関連する情報を有してもよい。この領域は、マップ、位置等と関連付けられてもよい。ロボットは、領域に関連する情報をサーバに送信してもよく、サーバには、ロボットからの情報に関連付けられた対象を識別する対象認識システムが含まれてもよい。

[0072] ロボット及び／又はサーバは、文脈解析を使用して、対象を判定及び識別してもよい。例えば、ロボットがオフィス内にある場合、ロボットは、対象の「オフィス」データベースにアクセスして認識を実施してもよい。他の例として、ロボットは、ロボットが場面における対象の在庫調査をしてもよいように、状況認知で動作してもよく、ユーザによってコマンドが与えられた場合、ロボットは、その場面の状況に基づき、又はその場面の対象と比較することにより、文脈を判定するか、又はコマンドの意味を解釈することができる。例えば、ロボットは、冷蔵庫からソーダを探す旨のコマンドを受信してもよい。ロボットは、入力としてそのコマンドをサーバに送信してもよく、又は、例えば、任意でその領域のロボットデータベースを使用することにより、冷蔵庫とソーダとを認識してもよい。任意で、ロボットは、冷蔵庫とソーダとを認識してもよいサーバに対してコマンドを送信してもよい。実施形態において、ロボット及び／又はサーバは、文脈データ及び状況データを使用して、対象を認識してもよい。さらに、一旦対象が認識されると、サーバは、例えば、コマンドに関連付けられた相互作用を判定し、ロボットがその相互作用を実行してもよい１つ以上のコンピュータによる実行の可能な指示を識別してもよい。

[0073] 図４は、一例としてのシステム４００を示しており、ロボットは、クラウドと相互作用し、他のクラウド演算装置と情報を共有してもよい。システム４００は、各々、クラウド４１０に連結されたロボット４０２、４０４、４０６、及び４０８（例えば、概念的グラフィカル表現）を示している。各ロボット４０２、４０４、４０６、及び４０８はさらに、クラウド４１０と相互作用してもよく、クラウド４１０を通じて、又は他のアクセスポイントを通じるか、可能であれば直接、互いに相互作用してもよい（例えば、ロボット４０６及び４０８間に示す通り）。

[0074] クラウド４１０は、いくつかのロボットからの入力を受信してもよい。各ロボットからのデータは、より大きなデータセットにコンパイルされてもよい。例えば、ロボット４０２は、対象の写真を撮り、その写真をクラウド４１０にアップロードしてもよい。クラウド４１０上の対象認識プログラムは、写真中の対象を識別し、認識した対象についてのデータと、可能であれば、位置、サイズ、重さ、色等、認識された対象の他の特性（例えば、メタデータ）についてのデータをクラウド４１０に接続されたすべてのロボットに提供するように構成されてもよい。従って、すべてのロボットが、ロボット４０２によってアップロードされた写真中の対象の属性を把握することができてもよい。

[0075] ロボット４０２、４０４、４０６、及び４０８は、領域内の任意の数の行為を、人や他のロボットとともに実施してもよい。一例において、各ロボット４０２、４０４、４０６、及び４０８は、ＷｉＦｉ又はその他のネットワークベース接続性を有し、データをクラウド４１０にアップロード／公開し、その後、そのデータは他の任意のロボットと共有可能となる。このように、各ロボット４０２、４０４、４０６、及び４０８は、互いに経験を共有することにより、学習した挙動をすることができるようになる。例えば、ロボット４０２は、進路を横切って障害に遭遇することもあり、他のロボット４０４、４０６、及び４０８に（クラウド４１０を通じて）障害の位置を通知することができる。各ロボット４０２、４０４、４０６、及び４０８は、リアルタイムの最新データにアクセスするであろう。他の例において、ロボット４０４は、他のロボット４０２、４０６、及び４０８からいえる画像を示すデータをダウンロードし、種々の視野を使用してロボット４０４が対象を識別するのを手伝うことができる（例えば、ロボット４０２、４０６、及び４０８が異なる視点から対象を撮像した場合）。

[0076] さらに他の例において、ロボット４０８は、領域のマップを構築してもよく、ロボット４０２は、そのマップをダウンロードしてその領域の知識を得ることができる。同様に、ロボット４０２は、ロボット４０８によって作成されたマップを、その領域についての新たな情報（例えば、現在、廊下には箱又はその他の障害があること）、又はロボット４０８が有していなかったセンサから収集した新たな情報（例えば、ロボット４０２は、ロボット４０８が温度センサを有していなかった場合、マップに温度データを記録及び追加してもよい）で更新することができる。まとめると、ロボット４０２、４０４、４０６、及び４０８は、より迅速な適合を可能にするために収集されたデータを共有するように構成されてもよく、各ロボット４０２、４０４、４０６、及び４０８が過去のロボットの学習した経験上に構築可能となるようにする。

[0077] 共有及び適合の能力により、ロボット４０２、４０４、４０６、及び４０８から受信した種々の入力／データに基づいて種々の適用が可能となる。特定の例において、ロボットが存在した履歴に関するデータの提供等、物理位置のマッピングを提供することができる。他の数又は種別のインジケータを記録し、ロボット４０２、４０４、４０６、及び４０８のマッピング／ナビゲーション機能を促進してもよい（例えば、壁面の傷跡は、ロボットが記録し、その後、ロボット自体の方向決めをする際に頼りにしてもよい多くの合図のうちの１つであってもよい）。

[0078] 一例において、クラウド４１０は、対象に関連する情報のデータベース４１２へのアクセスを含んでもよく、記憶してもよく、又は提供してもよく、データベース４１２は、すべてのロボット４０２、４０４、４０６、及び４０８によってアクセス可能であってもよい。データベース４１２は、対象を識別する情報、対象認識を実施するためにロボット４０２、４０４、４０６、及び４０８によってアクセス可能な対象の詳細（例えば、質量、特性、形状、使用のための指示等、対象に関連付けられてもよい任意の詳細）を含んでもよい。一例として、対象の使用に関する情報には、例えば、電話の場合、受話器の取り上げ方、受信の仕方、ボタンの位置、ダイアルの仕方等を含むことができる。

[0079] またデータベース４１２は、対象の区別に使用可能な対象についての情報を含んでもよい。例えば、データベース４１２は、対象（例えば、コンピュータ）に関する一般的情報と、さらに特定のコンピュータに関する情報（例えば、モデル番号、特定モデルの詳細又は技術的仕様等）を含んでもよい。各対象は、対象名、対象の詳細、対象を区別する特性等を含む、データベース４１２内の情報、又はアクセス可能な対象のためのタプル空間を含んでもよい。各対象はさらに、例えば、順序付き一覧内においてデータベースにける情報を含んでもよい。さらなる例において、データベース４１２は、データベース４１２内で識別された対象の全地球一意識別子（ＧＵＩＤ）を含んでもよく（例えば、特定の対象間の区別を可能にするため）、ＧＵＩＤは、対象を説明する任意の特性又は情報と関連付けられてもよい。従って、ロボットは、データベース４１２にアクセスして、一般的に対象を区別する情報（例えば、ベースボール対コンピュータ）を受信し、特定の対象間（例えば、２つの異なるコンピュータ）を区別してもよい情報を受信するように構成されてもよい。

[0080] データベース４１２は、クラウド４１０を通じてすべてのロボットによってアクセス可能であってもよい（又は、代替として、クラウド４１０を通じた通信を行うことなく、すべてのロボットによって直接アクセス可能であってもよい）。従って、データベース４１２は、クラウド４１０に記憶された共有知識ベースであってもよい。

[0081] 従って、いくつかの例において、ロボットは、クラウド４１０を通じて学習した挙動を共有してもよい。クラウド４１０は、ロボットが学習した活動又は挙動を記憶し、結果として、挙動の共有知識ベースと対象相互作用のためのヒューリスティック（例えば、ロボット「アプリストア」）を生じるサーバを有してもよい。具体的には、与えられたロボットが行為を実施し、領域のマップを構築してもよく、その後、ロボットがそのデータをクラウド４１０にアップロードして他のすべてのロボットとこの知識を共有することができる。本例において、この与えられたロボットの「意識」の輸送は、クラウド４１０を通じて１つのロボットから他のロボットへ実施することができる（例えば、ロボット「ボブ」がマップを構築し、「ボブ」の知識を他のロボット上にダウンロードしてマップの意識を受信することができる）。

[0082] 従って、例の範囲内において、ロボット４０２、４０４、４０６、及び４０８は、クラウド４１０を通じて情報を共有してもよく、データベース４１２にアクセスしてもよい。

ＩＩＩ．一例としてのロボット−クラウド及びロボット−装置相互作用
[0083] クラウドサービス１０４等のクラウドベースサービスは、大規模シミュレーションを実行し、種々のタスクを実行するため、ロボットシステムに指示を送信するように構成されてもよい。タスクは、ロボットシステムの能力、センサデータについての情報と、データベース内の特定タスクに関連した情報とを使用して、広範囲の可能な入力（例えば、総当たり検索）にわたってシミュレーションされてもよい。通常、ロボットシステムは、特定のタスクを実施するように事前構成されてもよい。しかしながら、クラウドベースサービスを使用することにより、ロボットシステムに、新たなタスクの実行の仕方を学習させてもよく、環境との相互作用のための新たなストラテジー及びアプローチを発見させてもよい。他の例も可能である。

[0084] 図５は、本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースを提供する一例としての方法のブロック図である。方法５００は、ブロック５０２〜５１０のうちの１つ以上で示す通り、１つ以上の動作、機能、又は行為を含んでもよい。ブロックは連続順に示されているが、これらのブロックは、場合によっては、並列に実施されてもよく、且つ／又は、本明細書に記載のものとは異なる順で実施されてもよい。また種々のブロックは、より少ない数のブロックに結合されてもよく、追加ブロックに分割されてもよく、且つ／又は、所望の実装に基づいて除去されてもよい。

[0085] また、方法５００並びに本明細書に開示のその他のプロセス及び方法に関して、フローチャートは、本実施形態の１つの可能な実装の機能及び動作を示している。この点について、各ブロックは、モジュール、セグメント、又はプログラムコードの一部を表してもよく、特定の論理機能を実装するプロセッサ又はプロセス中のステップによって実行可能な１つ以上の指示を含む。プログラムコードは、任意の種別のコンピュータ可読媒体、例えば、ディスク又はハードドライブを含む記憶装置等に記憶されてもよい。コンピュータ可読媒体には、持続性コンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ（ＲＡＭ）のように短期間データを記憶するコンピュータ可読媒体等が含まれてもよい。コンピュータ可読媒体は、例えば、読取専用メモリ（ＲＯＭ）、光学又は磁気ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）のような二次的又は持続性長期記憶等の持続性媒体も含んでよい。コンピュータ可読媒体は、その他任意の揮発性又は不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形記憶装置、又はその他の製品と考えられてもよい。

[0086] また、方法５００並びに本明細書に開示の他のプロセス及び方法に関して、図５中の各ブロックは、プロセス中の特定の論理機能を実施するために有線接続された回路を表してもよい。

[0087] 方法５００等の例示の方法は、図１に示すシステム１００の構成要素の１つ以上によって、図２Ａに示すクライアント装置２００の構成要素のうちの１つ以上によって、図２Ｂに示すロボット２１２の構成要素のうちの１つ以上によって、図２Ｃに示すロボット２１４の構成要素のうちの１つ以上によって、図３に示す概念ロボット−クラウド相互作用のうちの１つ以上によって、及び図４に示すシステム４００の構成要素のうちの１つ以上によってなど、クラウド及び／又はロボットシステムにおける１つ又は複数の構成要素によって、全部又は一部、実施されてもよい。しかしながら、方法５００等の一例としての方法は、本発明の範囲から逸脱することなく、他の実体又は実体の組み合わせによって（すなわち、他の演算装置によって、且つ／又は、演算装置の組み合わせによって）実施されてもよいことを理解しなければならない。

[0088] 例えば、方法５００の機能は、演算装置（又は、１つ以上のプロセッサ等、演算装置の構成要素）によって完全に実施されてもよく、又は演算装置の複数の構成要素にわたって、複数の演算装置にわたって、及び／又は、サーバにわたって分配されてもよい。いくつかの例において、演算装置は、演算装置のセンサから情報を受信してもよく、又は演算装置がサーバである場合、情報を収集する他の装置から情報を受信することができる。他の例として、方法５００は、演算装置、サーバ、又はロボット装置によって実施されてもよい。

[0089] ブロック５０２で示す通り、方法５００は、タスクを実施するために、ロボット装置の行為又は意思を示す情報を受信することを含む。行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの１つ以上を含んでもよい。他の例において、方法５００は、任意で、タスクの少なくとも一部を実施するためのロボット装置の計画軌道を判定することと、行為又は意思に基づき、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象を判定することを含んでもよい。

[0090] この情報は、タスクを実施するようにプログラム又は要求されたロボット装置から演算装置によって受信されてもよい。他の例において、この情報は、ロボット装置又はロボット装置を制御する演算装置と通信するサーバによって受信されてもよい。さらに、この情報は、ロボット装置を制御する演算装置から、ロボット装置のプロセッサによって受信されると考えられてもよい。

[0091] ブロック５０４で示す通り、方法５００は、演算装置によって拡張現実インタフェース上に表示するために、行為又は意思の仮想表現を提供することも含む。仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象のハイライトを含む。例の範囲内において、ロボット装置によって音声フィードバックを提供する代替又は追加として、拡張現実を使用して、ユーザフレンドリフィードバックを提供することができる。

[0092] この情報は、ロボット装置によって演算装置へ、ロボット装置と通信するサーバ（例えば、ロボット装置をプログラムするように）によって演算装置へ、又は制御情報を提供するその他の装置からロボット装置へ提供することができる。この情報は、演算装置による表示のために１つ以上のプロセッサによって提供されると考えられてもよく、１つ以上のプロセッサは、演算装置の構成要素、ロボット装置の構成要素、又はさらに他の演算装置（例えば、サーバ）の構成要素であってもよい。

[0093] アノテーションは、ロボット装置の意思の通信を可能にしてユーザのためのフィードバックを提供する、拡張現実インタフェース上に提供されるグラフィックスを含んでもよい。この情報は、ロボット装置がタスクの実施を開始する前に受信されてもよい。例えば、この情報は、ロボット装置によるタスクの実施前及び実施中に提供されることにより、ロボット装置が、タスクを実施するために将来横切ろうとしている計画軌道を表示することができる。ロボット装置は、迅速なフィードバックを提供し、例えば、ユーザにこれが実施すべき所望の挙動であることを確認する時間を与えるのに有用な詳細にわたる未来の動き及び意思を通信してもよい。

[0094] 図６は、ロボット装置６０２が含まれた一例としての環境６００と、ロボット装置６０２による計画行為の一例としての仮想表現とを示している。環境６００内において、ロボット装置６０２は、ピッチャを含むカウンタ台に向かって移動している。ロボット装置６０２は、そのピッチャを持ち上げ、他の位置に移動するように指示されていてもよい。図６は、３つの異なる例としての仮想表現６０６、６１０、及び６１４とともに演算装置６０４も示している。

[0095] 一例において、演算装置６０４は、ロボット装置６０２の計画行為を示す情報をロボット装置６０２から受信してもよく、演算装置６０４は、カウンタ台に向かう計画軌道の一部に沿ったロボット装置の未来の移動を表すために、仮想足跡６０８のセットを含む仮想表現６０６とともに環境６００の表現を表示するようにプログラムされてもよい。

[0096] 他の例において、演算装置６０４は、ロボット装置６０２の計画行為を示す情報をロボット装置６０２から受信してもよく、演算装置６０４は、ロボット装置の計画軌道の一部を網羅する床上の線又は矢印６１２を含む仮想表現６１０とともに環境６００の表現を表示するようにプログラムされてもよい。

[0097] さらに他の例において、演算装置６０４は、ロボット装置６０２の計画行為を示す情報をロボット装置６０２から受信してもよく、演算装置６０４は、ロボット装置が対象を取り扱おうとしている箇所における、対象上の表示６１６を含む仮想表現６１４とともに環境６００の表現を表示するようにプログラムされてもよい。これには、例えば、ピッチャのハンドルをハイライトすることが含まれてもよい。

[0098] さらに他の例において、演算装置６０４は、ロボット装置６０２の計画行為を示す情報をロボット装置６０２から受信してもよく、演算装置は、スペースの全体容積又はロボット装置６０２が占有又は通過しようとしている領域の行程容積を含む他の仮想表現とともに環境６００の表現を表示するようにプログラムされてもよい。表示される仮想表現には、ロボット装置６０２が間もなく通ろうとしている箇所を示すために遮られた仮想対象を含むことにより、ユーザが進路を避けるために、ロボット装置６０２がどこに予約容積を有するかを見られるようにしてもよい。

[0099] 従って、ロボット装置が物理世界で移動する際、フィードバックを演算装置６０４のディスプレイに重ねて表示することにより、ナビゲーション意思、未来の足跡セット、又は車輪付きロボットが通過を予定している床上のストライプを示す情報（例えば、意味情報）を伴う表示をデジタルアノテーション表示することができる。

[0100] 例の範囲内において、演算装置は、ロボット装置から離間配置され、仮想表現は、演算装置の視野上に重ねて表示するために提供することができる。演算装置の視野には、視野内の対象又は環境を含んでもよく、視野が計画軌道又はロボット装置によって取り扱われる何らかのアイテムの少なくとも一部を網羅した領域を含む際、仮想表現を視野に重ねることができる。従って、一例において、演算装置は、ユーザによって携帯されている携帯電話を含んでもよく、ユーザが、図６に示すカウンタ台等、ロボット装置の計画軌道の一部に重なる領域に侵入した際、携帯電話は携帯電話の視野に重なる拡張現実インタフェース上に仮想表現として計画軌道を表示してもよい。この視野は、携帯電話のライブビデオフィードによって提供されてもよい。

[0101] 図５に戻ると、他の例において、ブロック５０６で示す通り、方法５００は、任意で、演算装置によって拡張現実インタフェース上に表示を行うため、環境におけるロボット装置を含む、ロボット装置が存在する環境の表現を受信することを含んでもよい。ブロック５０８で示す通り、方法５００は、任意で、ロボット装置が存在する環境の表現上に重ねた仮想表現を提供することを含んでもよい。ブロック５１０で示す通り、方法５００は、任意で、拡張現実インタフェース上の仮想表現をアニメーション表示することにより、計画軌道に応じてタスクを実施しているロボット装置を示してもよい。本例において、ロボット装置が動作する環境の表示が提供され、仮想表現がその表示に重ねられるため、演算装置の視野は関係ない。従って、演算装置を備えたユーザは、ロボット装置から離間した任意の位置に配置された演算装置から、ロボットの意思を視覚化することができる。本例は、図６に示されており、ここでは環境６００の表現が演算装置６０４に提供され、仮想表現（例えば、足跡６０８、矢印６１２、及びハイライト６１６を示す仮想表現）が環境６００に重ねられるように提供される。

[0102] 他の例において、方法５００は、ロボット装置の視野からのカメラフィードを受信することと、ロボット装置の視野からのカメラフィード上に重ねた仮想表現を提供することとを含んでもよい。本例において、演算装置は、ロボット装置から環境がどのように見えるかを示すマップを示す表示を提供することにより、ロボット装置の意思をユーザに共有してもよい。

[0103] 図７は、ロボット装置７０２が含まれる他の一例としての環境７００と、ロボット装置７０２による計画行為の一例としての仮想表現とを示している。環境７００内において、ロボット装置７０２は、ピッチャを含むカウンタ台に向かって移動している。ロボット装置７０２は、ピッチャを持ち上げて他の位置に移動するように指示されていてもよい。図７は、ロボット装置７０２の視野から見た一例としての仮想表現７０６とともに演算装置７０４も示している。演算装置７０４は、ロボット装置７０２からカメラフィードを受信してもよく、未来の行為又は意思のアノテーションがカメラフィード上に重ねられ、例えば、ここでは、ピッチャのハンドルがハイライト７０８されることにより、ロボット装置７０２がハンドルでピッチャを持ち上げようとしていることを示している。このように、アノテーションを重ねた表示のため、ロボット装置７０２の視野からの場面を演算装置７０４に提供することができる。

[0104] 他の例において、演算装置は、ヘッドマウントデバイス（ＨＭＤ）を含んでもよく、仮想表現は、ＨＭＤの装着者の視野上に重ねられてもよい。例の範囲内において、ＨＭＤは、装着者の視野上に仮想表現を重ねることができ、装着者の視野にロボット装置の未来のナビゲーション進路の一部が含まれる際、仮想足跡を提供してロボットの未来の歩行ステップを表すことができる。

[0105] 図８Ａ〜図８Ｂは、装着者によって装着された一例としてのヘッドマウントデバイス（ＨＭＤ）を示している。図８Ａは、装着者８０４によって装着されているＨＭＤ８０２を示している。図示の例において、ＨＭＤ８０２のディスプレイ８０６は、ＨＭＤ８０２が装着された時、ディスプレイ８０６がユーザの目の前又は付近に位置するように配置されてもよい。例えば、ディスプレイ８０６は、図８Ａに示す通り、中心フレームサポートの下方、且つ装着者の目の中心の情報に位置してもよい。さらに、図示の構成において、ディスプレイ８０６は、装着者の目の中心からオフセットしてもよい（例えば、ディスプレイ８０６の中心が装着者の視野から見て装着者の目の中心の右側情報に位置するようにする）。

[0106] ディスプレイ８０６は、図８Ａ〜図８Ｂに示されるように構成され、ＨＭＤ８０２の装着時には装着者８０４の視野付近に配置されるようにしてもよい。従って、図８Ａで示す通り、装着者８０４が前方を見た時、装着者８０４は、ディスプレイ８０６をその周辺視界とともに見てもよい。結果として、ディスプレイ８０６は、図８Ａに示す通り、多くの日常の活動では一般的であるように目が前方に向いている時、装着者の視野と装着者の視線の中心部分の外側にあってもよい。このような位置付けにより、遮るもののない、他人との目と目を合わせた会話を促進し、装着者の視野の中心部分の範囲内で世界を遮るものなく見て知覚させることができる。

[0107] さらに、ディスプレイ８０６が図示のように配置される時、装着者８０４は、例えば、目のみで見上げることにより（可能であれば、頭部を動かすことなく）ディスプレイ８０６を見てもよい。これは、図８Ｂに示されており、ここでは装着者８０４は、目を動かして見上げ、視線をディスプレイ８０６に合わせている。装着者は、頭部を下方に傾け、目をディスプレイ８０６に合わせることによってディスプレイ８０６を使用してもよい。視線がディスプレイ８０６に合うと、例えば、装着者８０４は、ＨＭＤ８０２の装着者視野上に重ねられた仮想表現を見てもよい。重ねられた仮想表現は、図６又は図７に示される仮想表現のいずれかを含んでもよい。

[0108] 図５に戻ると、さらなる例において、方法５００は、演算装置に近接する１つ以上のロボット装置を判定することと、演算装置に近接する１つ以上のロボット装置から、１つ以上のロボット装置の行為又は意思を示す情報をリクエストすることとを含んでもよい。次いで、方法５００は、演算装置によって拡張現実インタフェース上に表示を行うために、提供することを含み、仮想表現は、各々行為又は意思を示す、１つ以上のロボット装置毎の１つ以上の仮想表現を表示されるために提供することを備える。本例において、ユーザは、どのロボット装置をモニタするかを選択してもよく、又はいずれかすべてのロボット装置の未来の行為を理解するように、付近の、近接した、又はある閾値距離範囲内のすべてのロボット装置をモニタするようにリクエストしてもよい。

[0109] モニタリングの特定の例がロボット装置であってもよい場合、ユーザは多くのロボット装置が動作している製造設備内に居てもよい。ユーザは、付近のいずれかすべてのロボット装置の計画移動及び行為を示す情報を望んでもよく、付近の装置からそのような情報をリクエストすることができる。ユーザの演算装置は、情報を受信し、ユーザに見せるために、製造設備の場面上に重ねた付近のすべてのロボット装置の未来の行為の仮想表現を表示してもよい。

[0110] 図９は、本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースを提供する他の一例としての方法のブロック図である。

[0111] ブロック９０２で示す通り、方法９００は、タスクを実施するために、ロボット装置の行為又は意思を示す情報を受信することを含む。ブロック９０４で示す通り、方法９００は、演算装置によって拡張現実インタフェース上に表示を行うため、行為又は意思の仮想表現を提供することも含む。

[0112] ブロック９０６で示す通り、方法９００は、ロボット装置の行為又は意思を修正するために、情報をロボット装置に提供することも含む。この情報は、演算装置の動きに基づく、演算装置の加速計の出力を含むことができる。一例として、ロボット装置の計画意思を見た後、ユーザは、この意思を修正したいと思うこともある。演算装置は、演算装置の動きの出力を提供する慣性測定ユニット（ＩＭＵ）、加速計、又はその他のセンサを含んでもよい。そして、演算装置を利用して、動きコマンドを受信し、領域にわたって第１の地点から第２の地点まで（又は左側から右側まで）移動する演算装置の動きを示す出力等、動きの出力を提供してもよい。この出力は、ロボット装置に提供され、ロボット装置をこの動きに従って、すなわち、第１の地点から第２の地点に移動させることができる。

[0113] 他の例において、この情報は、例えば、新たなコマンドとしての演算装置からロボット装置へのメッセージとして提供することができる。

[0114] ブロック９０８で示す通り、方法９００は、これに応じて、ロボット装置から、ロボット装置の更新済み計画軌道とロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することをさらに含む。本例において、ロボット装置は、情報を受信し、演算装置の動きによって示された２地点間を移動するように計画軌道を修正してもよい。

[0115] 他の例において、情報は、ロボット装置の行為又は意思を修正するために、第２の演算装置によって提供することができ、これに応じて、ロボット装置は、演算装置に、ロボット装置の更新済み計画軌道と、ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を提供することができる。一例として、方法９００は、ロボット装置に登録された装置により、ロボット装置の行為又は意思を修正するために、進路に沿って光の投射を提供することと、これに応じて、ロボット装置の更新済み計画軌道と、ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上をロボット装置から受信することとを含んでもよい。

[0116] 図１０は、ロボット装置１００２が含まれる他の一例としての環境１０００と、ロボット装置１００２による計画行為の一例としての仮想表現とを示している。図１０において、ロボット装置１００２は、カウンタ台に行き、ピッチャを持ち上げるように指示されてもよく、ロボット装置１００２は、ピッチャ１００６の代わりにピッチャ１００４を持ち上げるように判定してもよい。ロボット装置１００２は、計画軌道の情報を演算装置１００８に提供してもよく、これがロボット装置１００２がピッチャ１００４に向かって移動しようとしていることを示す矢印１０１２を含むアノテーションを重ねた仮想表現１０１０を提供する。

[0117] ユーザがロボット装置１００２にピッチャ１００６の持ち上げを望む例では、ユーザ又は演算装置１００８は、ロボット装置１００２の行為又は意思を修正するために、ロボット装置１００２に情報を提供してもよい。特定の例の範囲内において、図１０に示す通り、ユーザが指した箇所又は装置が指した箇所のジェスチャ／位置を追跡するＩＭＵを備えた棒型装置１０１４を使用してもよく、演算装置はロボット装置の未来の移動の説明を提供するため、ユーザは、開始前に移動を修正するための行為を採ることができてもよい。この場合、ユーザがロボット装置１００２にピッチャ１００６への移動を命令するよう希望する時、棒型装置１０１４は、位置を指し示されることができ、ボタンを押下して、ロボット装置１０１４を指定領域に移動させるコマンドを提供することができる。追加又は代替として、棒型装置１０１４は、ピッチャ１００６上に光を投射してもよく、これは、ロボット装置１００２に視認され、ピッチャ１００６へと移動させるリクエストとして解釈されることができる。そして、ロボット装置１００２は、その現在位置から指定領域までの進路を演算し、新たな足跡の更新済み計画軌道を装置１００８に提供してもよい。そして、更新済み仮想表現１０１６は、ロボット装置１００２の更新済み計画行為を示す矢印１０１８を含む修正アノテーションを重ねて表示されてもよい。

[0118] 他の例として、ロボット装置がキッチンからピッチャを探すように指示された場合、ロボット装置は、ニーズの査定（例えば、サイズ、種別、材料）に基づいて多くのピッチャのうちの１つを識別し、演算装置に提供された仮想表現内で最もニーズに相応しいと考えられるピッチャをハイライトしてもよい。そして、ユーザは、選択されたピッチャを視認し、例えば、演算装置１００８又は棒型装置１０１４を使用してコマンドを修正／確認してもよい。いくつかの例において、演算装置１００８は、棒型装置１０１４として動作させられてもよい。

[0119] 図１１は、本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現を表示するために拡張現実インタフェースを提供する他の一例としての方法のブロック図である。

[0120] ブロック１１０２で示す通り、方法１１００は、タスクを実施するためにロボット装置の行為又は意思を示す情報を受信することを含む。ブロック１１０４で示す通り、方法１１００は、行為又は意思に基づき、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置に取り扱われる対象との１つ以上を判定することも含む。例えば、方法１１００がロボット装置によって実施される場合、タスクを実施するためにコマンドが受信されてもよく、その後、ロボット装置は、タスクを実施するために引き受けるべき行為を判定してもよい。ロボット装置が演算装置の意思の情報を提供する場合、演算装置は、ロボット装置の予測計画軌道を判定してもよい。演算装置又はロボット装置によって実施される行為のために他の組み合わせも可能であり、或いはロボット装置の計画軌道又は計画行為を判定する双方の間で分配されてもよい。

[0121] ブロック１１０６で示す通り、方法１１００は、ロボット装置に近接した１つ以上の演算装置を判定することをさらに含む。一例として、ロボット装置は、メッセージのブロードキャストと付近の装置からの承認の受信の使用、付近の装置と通信するためのＢｌｕｅｔｏｏｔｈアドバタイジングパケットの使用、又は付近の装置とのビーコン又はＢｌｕｅｔｏｏｔｈ低エネルギー通信の使用等、多数の方法で自身に近接する演算装置を判定してもよい。ロボット装置まで閾値距離内にある装置の存在を判定するため、他の方法も可能である。いくつかの例において、サーバは、ロボット装置の付近の演算装置の位置に関する情報を提供するため、ロボット装置と通信してもよい。

[0122] 他の例において、方法１１００は、サーバ又はその他の演算装置によって実施されてもよく、ロボット装置と、近接してもよい（例えば、ロボット装置まで閾値距離内にある）演算装置との位置を判定してもよい。

[0123] ブロック１１０８で示す通り、方法１１００は、１つ以上の演算装置によって拡張現実インタフェース上に表示を行うために、行為又は意思の仮想表現を提供することをさらに含み、この仮想表現は、拡張現実インタフェース上のアノテーションとして、ロボット装置の計画軌道の少なくとも一部を含むか、又はロボット装置によって取り扱われる対象をハイライトする。

[0124] 本例において、ロボット装置が移動する際、付近の演算装置は、ロボット装置の未来／計画の軌道又は行為を表示するように、ロボット装置の状態と同期した拡張現実インタフェースを有してもよい。場合によっては、ロボット装置は、ロボット装置に近接した演算装置にロボット装置の行為又は意思を示す情報をブロードキャストし、いつでも情報を提供するようにしてもよい。

[0125] 他の場合には、ロボット装置は、追加として、ロボット装置の環境上に仮想表現の少なくとも一部を投射してもよい。投射装置は、追加情報も提供するため、現実の物理世界を拡張することができる（例えば、ロボットは、自身が持ち上げようとしているものをハイライトするプロジェクタを有する）。

[0126] 図１２は、本明細書に記載の少なくともいくつかの実施形態に係る、ロボット装置行為の仮想表現の拡張現実表示を提供する他の一例としての方法のブロック図である。ブロック１２０２で示す通り、方法１２００は、物理環境においてタスクを実施するために、ロボット装置の行為又は意思を示す情報を受信することを含み、行為又は意思は、タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、タスクの少なくとも一部を実施するためにロボット装置によって取り扱われる対象とのうちの１つ以上を含む。

[0127] ブロック１２０４で示す通り、方法１２００は、物理環境における装置により、行為又は意思の仮想表現を提供することを含み、仮想表現は、ロボット装置の計画軌道の少なくとも一部の表示か、又はロボット装置によって取り扱われる対象のハイライトを含む。本例において、物理環境は、ロボット装置の行為又は意思を示すために拡張される。

[0128] 一例において、装置は、プロジェクタを含み、方法は、プロジェクタにより、物理環境上に重ねた行為又は意思の仮想表現を投影することを含む。さらなる例の範囲内において、装置は、カメラ、又はその他の光学装置、又は環境における表面又は物理対象上に光を投影する光源を含んでもよい。例えば、ロボット装置は、ロボット装置が持ち上げるように指示された箱に単一の構成を投影することにより、人又は他のロボット装置に、そのロボット装置が箱に向かって移動してそれを持ち上げようとしていることを示してもよい。この光は、指示を受信した後のある時点で投影されてもよく、所定の期間投影されてもよい。

[0129] いくつかの例において、プロジェクタはロボット装置上に含まれ、従って、ロボット装置は、タスクの実施前又は実施中に物理環境上に重ねて行為又は意思の仮想表現を投影する。他の例において、プロジェクタ又は装置は、ロボット装置から遠隔配置され、装置は、物理環境の表面上に重ねて行為又は意思の仮想表現を提供する。装置は、行為又は意思を示し、仮想表示を投影することを示す指示をサーバ又はロボット装置から受信してもよい。

[0130] 他の例の範囲内に記載される通り、仮想表現は、計画軌道の一部に沿ったロボット装置の未来の移動を示す仮想足跡セット、ロボット装置の計画軌道の一部を網羅する床上のライン、又はロボット装置が対象を取り扱おうとしている箇所における対象上の表示を含んでもよい。

[0131] 他の例において、仮想表現に加え、ロボット装置上の（又はロボット装置に近接した）スピーカによって音声アナウンスが提供及び出力され、ロボット装置によって計画されている行為又は意思をアナウンスしてもよい。

[0132] ブロック１２０６で示す通り、方法１２００は、任意で、ロボット装置によって取り扱われる対象上に光を投射するプロジェクタを含んでもよい。

[0133] 図１３は、ロボット装置１３０２の含まれる他の一例としての環境１３００と、ロボット装置による計画行為の一例としての仮想表現とを示している。図１３において、ロボット装置１３０２は、カウンタ台に行ってピッチャを持ち上げるように指示されてもよく、ロボット装置１３０２は、ピッチャ１３０４を持ち上げるように判定してもよい。ロボット装置１３０２は、ピッチャ１３０４上に光を投影するプロジェクタ１３０６を含んでもよい。プロジェクタ１３０６は、床上に計画軌道又は進路も投影してよい。或いは、図１３に示す通り、他のプロジェクタ１３０８が環境に設けられてもよく、ロボット装置１３０２の行為又は意思に関連する情報を受信した後、床上に重ねた軌道の仮想表現（例えば、ロボット装置１３０２がピッチャ１３０４に向かって移動しようとしていることを示す矢印を含む）を投射してもよい。

[0134] 或いは、さらに他の例において、プロジェクタ１３０６は、スペースの全容量、又はロボット装置１３０２が占有又は通過しようとしている領域の行程容量を網羅する環境に光を投影してもよい。

ＩＶ．結論
[0135] 本開示は、本出願において記載した特定の実施形態に限定されるものでなく、これらの実施形態は種々の態様の例示を意図するものである。当業者にとって明らかであるように、その範囲から逸脱することなく、多くの修正及び変更を行うことができる。本明細書中に列挙したものに加え、本開示の範囲内の機能的に同等の方法及び装置が、以上の説明から当業者にとって明らかとなるであろう。このような修正及び変更は、添付の特許請求の範囲の範囲内であるものとする。

[0136] 以上の詳細な説明では、添付の図面を参照して開示のシステム、装置、及び方法の種々の特徴及び機能を説明した。図中、文脈による決定付けのない限り、同様の符号は、通常、同様の構成要素を識別する。本明細書及び図中に記載の一例としての実施形態は、限定を意図するものでない。本明細書中に表された主題の範囲から逸脱することなく、他の実施形態が利用可能であり、他の変更を行うことができる。本明細書に一般的に説明し、図面に示した通り、本開示の態様は、幅広い種々の異なる構成で配置、置換、組み合わせ、分離、及び設計することができ、それらはすべて本明細書中に明示的に含まれる。

[0137] 図面に示した特定の配置は、限定としてみなされてはならない。他の実施形態では、与えられた図面中に示された各要素より多くの要素又は少ない要素が含まれ得ることを理解しなければならない。さらに、図示の要素のうちのいくつかは、組み合わせ又は省略することができる。さらに、一例としての実施形態では、図示しなかった要素を含むことができる。

[0138] 本明細書において種々の態様及び実施形態を開示したが、当業者には他の態様及び実施形態が明らかとなるであろう。本明細書に開示の種々の態様及び実施形態は、例示を目的としており、限定を意図するものでなく、その範囲は、以下の特許請求の範囲によって示される。

Claims (28)

1. コンピュータにより実行される方法であって、
   タスクを実施するため、前記タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、前記タスクの少なくとも一部を実施するために前記ロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む前記ロボット装置の行為又は意思を示す情報を受信することと、
   演算装置によって拡張現実インタフェース上に表示を行うため、前記行為又は前記意思の仮想表現を提供すること、を含み、
   前記仮想表現は、前記拡張現実インタフェース上のアノテーションとして、前記ロボット装置の前記計画軌道の少なくとも一部を含むか、又は前記ロボット装置によって取り扱われる前記対象のハイライトを含み、
   前記方法は、さらに、
   前記ロボット装置から離れた装置により、前記ロボット装置の前記行為又は前記意思を修正するために、進路に沿った光の投射を提供することと、
   前記光の投射の提供に応じて、前記ロボット装置から、前記ロボット装置の更新済み計画軌道と前記ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することとを含む、方法。
2. 前記演算装置は、前記ロボット装置から遠隔配置され、
   表示を行うために提供することは、前記演算装置の視野上に重ねた前記行為又は前記意思の前記仮想表現を提供することを含む、請求項１に記載の方法。
3. 前記演算装置は、前記ロボット装置から遠隔配置され、
   表示を行うために提供することは、前記演算装置のライブビデオフィード上に重ねた前記仮想表現を提供することを含む、請求項１に記載の方法。
4. 前記ロボット装置の視野からのカメラフィードを受信することをさらに備え、
   前記表示を行うために提供することは、前記ロボット装置の前記視野からの前記カメラフィード上に重ねた前記仮想表現を提供することを含む、請求項１に記載の方法。
5. 前記演算装置により前記拡張現実インタフェース上に表示を行うために、環境内の前記ロボット装置を含む、前記ロボット装置が存在する前記環境の表現を受信することをさらに含み、
   前記表示を行うために提供することは、前記ロボット装置が存在する前記環境の前記表現上に重ねた前記仮想表現を提供することを備える、請求項１から４のいずれか一項に記載の方法。
6. 前記計画軌道に応じて前記タスクを実施する前記ロボット装置を示すため、前記拡張現実インタフェース上に前記仮想表現をアニメーション表示することをさらに含む、請求項５に記載の方法。
7. 前記演算装置は、ヘッドマウントデバイス（ＨＭＤ）を備え、
   表示を行うために提供することは、前記ＨＭＤの装着者の視野上に重ねた前記仮想表現を提供することを含む、請求項１に記載の方法。
8. 前記仮想表現は、前記計画軌道の前記一部に沿った前記ロボット装置の未来の動きを表現するための仮想足跡セットを含む、請求項１から７のいずれか一項に記載の方法。
9. 前記仮想表現は、前記ロボット装置の前記計画軌道の前記一部を網羅する、床上の線を含む、請求項１から７のいずれか一項に記載の方法。
10. 前記仮想表現は、前記ロボット装置が前記対象を取り扱うことを計画している箇所における、前記対象上の表示を含む、請求項１から７のいずれか一項に記載の方法。
11. 前記タスクを実施するために、前記ロボット装置の前記行為又は前記意思を示す前記情報を受信することは、前記ロボット装置が前記タスクの実施を開始する前に、前記情報を受信することを含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記演算装置に近接した１つ以上のロボット装置を判定することと、
    前記演算装置に近接した前記１つ以上のロボット装置から、前記１つ以上のロボット装置の行為又は意思を示す情報を要求することとをさらに含み、
    前記演算装置により前記拡張現実インタフェース上に表示を行うために前記仮想表現を提供することは、表示を行うために、各々前記行為又は前記意思を示す、前記１つ以上のロボット装置毎の１つ以上の仮想表現を提供することを含む、請求項１から１１のいずれか一項に記載の方法。
13. 前記ロボット装置に近接した、前記演算装置がそのうちの１つにあたる複数の演算装置を判定することと、
    前記複数の演算装置により表示を行うため、前記行為又は前記行為の前記仮想表現を提供することとをさらに含む、請求項１から１１のいずれか一項に記載の方法。
14. 前記方法は、前記ロボット装置によって実施され、
    前記方法は、前記ロボット装置により、前記ロボット装置に近接した前記複数の演算装置に前記ロボット装置の前記行為又は前記意思を示す前記情報をブロードキャストすることをさらに含む、請求項１３に記載の方法。
15. 前記方法は、前記ロボット装置によって実施され、
    前記方法は、前記ロボット装置により、前記ロボット装置の環境上に前記仮想表現の少なくとも一部を投射することをさらに含む、請求項１３に記載の方法。
16. 前記演算装置により、前記ロボット装置の前記行為又は前記意思を修正するために、前記演算装置の動きに基づく前記演算装置の加速計の出力を含む情報を前記ロボット装置に提供することと、
    これに応じて、前記ロボット装置から、前記ロボット装置の更新済み計画軌道と前記ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することとをさらに含む、請求項１から１５のいずれか一項に記載の方法。
17. 前記演算装置は、第１の演算装置であり、
    前記方法は、
    第２の演算装置により、前記ロボット装置の前記行為又は前記意思を修正するために、前記第２の演算装置の動きに基づく前記第２の演算装置の加速計の出力を含む情報を前記ロボット装置に提供することと、
    これに応じて、前記ロボット装置から前記第１の演算装置により、前記ロボット装置の更新済み計画軌道と、前記ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することとをさらに含む、請求項１から１５のいずれか一項に記載の方法。
18. 前記ロボット装置から離れた装置は、前記ロボット装置に登録されている、請求項１に記載の方法。
19. 演算装置によって実施されると、前記演算装置に以下の機能を実施させる指示を記憶した持続性コンピュータ可読媒体であって、前記以下の機能は、
    タスクを実施するため、前記タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、前記タスクの少なくとも一部を実施するために前記ロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む前記ロボット装置の行為又は意思を示す情報を受信することと、
    拡張現実インタフェース上に表示を行うため、前記行為又は前記意思の仮想表現を提供することを含み、
    前記仮想表現は、前記拡張現実インタフェース上のアノテーションとして、前記ロボット装置の前記計画軌道の少なくとも一部を含むか、又は前記ロボット装置によって取り扱われる前記対象のハイライトを含み、
    前記機能は、さらに、
    前記ロボット装置から離れた前記演算装置により、前記ロボット装置の前記行為又は前記意思を修正するために、進路に沿った光の投射を提供することと、
    前記光の投射の提供に応じて、前記ロボット装置から、前記ロボット装置の更新済み計画軌道と前記ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することとを含む、持続性コンピュータ可読媒体。
20. 前記タスクを実施するために、前記ロボット装置の前記行為又は前記意思を示す前記情報を受信することは、前記ロボット装置が前記タスクの実施を開始する前に、前記情報を受信することを含み、
    表示を行うために提供することは、環境内における前記ロボット装置を含む、前記ロボット装置が存在する前記環境の表現上に重ねた前記行為又は前記意思の前記仮想表現を提供することを含む、請求項１９に記載の持続性コンピュータ可読媒体。
21. コンピュータにより実行される方法であって、
    物理環境におけるタスクを実施するため、前記タスクの少なくとも一部を実施するためのロボット装置の計画軌道と、前記タスクの少なくとも一部を実施するために前記ロボット装置によって取り扱われる対象とのうちの少なくとも１つを含む前記ロボット装置の行為又は意思を示す情報を受信することと、
    物理環境内における装置により、前記行為又は前記意思の仮想表現を提供することを含み、
    前記仮想表現は、前記ロボット装置の前記計画軌道の少なくとも一部の表示を含むか、又は前記ロボット装置によって取り扱われる前記対象のハイライトを含み、
    前記方法は、さらに、
    前記ロボット装置から離れた装置により、前記ロボット装置の前記行為又は前記意思を修正するために、進路に沿った光の投射を提供することと、
    前記光の投射の提供に応じて、前記ロボット装置から、前記ロボット装置の更新済み計画軌道と前記ロボット装置によって取り扱われる更新済み対象とのうちの１つ以上を受信することとを含む、方法。
22. 前記物理環境内における前記装置は、プロジェクタを備え、
    前記方法は、前記プロジェクタにより、前記物理環境に重ねた前記行為又は前記意思の前記仮想表現を投射することをさらに含む、請求項２１に記載の方法。
23. 前記プロジェクタは、前記ロボット装置上に含まれ、
    前記方法は、前記ロボット装置により、前記タスクの実施前又は実施中に、前記物理環境上の重ねた前記行為又は前記意思の前記仮想表現を投射することを含む、請求項２２に記載の方法。
24. 前記物理環境内における前記装置は、前記ロボット装置から遠隔配置され、
    前記方法は、前記装置により、前記物理環境の表面上に重ねた前記行為又は前記意思の前記仮想表現を提供することを含む、請求項２１に記載の方法。
25. 前記物理環境内における前記装置は、プロジェクタを備え、
    前記方法は、前記プロジェクタにより、前記ロボット装置によって取り扱われる前記対象上に光を投射することを含む、請求項２１に記載の方法。
26. 前記仮想表現は、前記計画軌道の前記一部に沿った前記ロボット装置の未来の動きを表現するための仮想足跡セットを含む、請求項２１から２５のいずれか一項に記載の方法。
27. 前記仮想表現は、前記ロボット装置の前記計画軌道の前記一部を網羅する、床上の線を含む、請求項２１から２５のいずれか一項に記載の方法。
28. 前記仮想表現は、前記ロボット装置が前記対象を取り扱うことを計画している箇所における、前記対象上の表示を含む、請求項２１から２５のいずれか一項に記載の方法。
    

Images