JP6900575B2 - ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム - Google Patents

Description

本開示は、一般に、環境のデータおよび／または環境内の物体のデータを収集する方法に関し、より具体的には、ゲームプレイによるデータ収集の動機付けを用いることで環境の詳細なデータセットおよび／または環境内の物体の詳細なデータセットをコンピューティング装置のインターフェース上に生成することに関する。

昨今、環境のデータおよび／または環境内の物体のデータを集める方法が多数あるが、そのほとんどは、個々のデータコレクタがデータを撮像および収集するために関心のある領域をトラバースするため、手間とコストが掛かる。撮像されたデータには、例えば、ある時点における領域のマップの生成のため、または領域の詳細に関する説明をログするための画像が含まれる。

広い領域に対するいくつのデータ収集の取り組みとして、クラウドソーシングを用いることによってコストを低減し、より多くのデータコレクタのプールにアクセスしてきた。しかしながら、データの品質およびデータ収集間のずれに関する問題は、依然として発生する。データコレクタのプールを一斉に動作させ、関心のある領域全体をトラバースする地理的な方法でデータを収集することは困難であり、また、関心のあるデータの全種類を収集することも困難である。さらに、環境内の関心のある物体のデータのすべてが取り込まれて結果履歴が記録されたと判定するのも困難である。従って、改善が望まれている。

一例では、コンピュータにより実行される方法が記載される。方法は、コンピューティング装置のカメラから環境の画像を取得し、データベース内に記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定し、コンピューティング装置によって環境の追加データを取得する要求を示すコマンドを提供する、ことを含む。また、方法は、コマンドに呼応して、コンピューティング装置の１つ以上のセンサから環境の追加データを取得することと、データベース内に記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定し、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを提供する、ことを含む。

別の例では、カメラと、１つ以上のセンサと、少なくとも１つのプロセッサと、メモリと、メモリに記憶され、少なくとも１つのプロセッサによって実行されるとコンピューティング装置に動作を実行させるプログラム命令とを備えるコンピューティング装置が記載される。当該動作は、カメラから環境の画像を取得し、データベース内の記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定し、環境の追加データを取得する要求を示すコマンドを提供する、ことを含む。当該動作はまた、コマンドに呼応して、１つ以上のセンサから環境の追加データを取得し、データベース内の記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定し、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを提供する、ことを含む。

さらに別の例では、コンピューティング装置によって実行されると、コンピューティング装置に機能を実現させる命令が記憶された非一時的なコンピュータ読み取り可能な媒体が記載される。当該機能は、コンピューティング装置のカメラから環境の画像を取得し、データベース内の記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定し、環境の追加データを取得する要求を示すコマンドを提供する、ことを含む。当該機能は、また、コマンドに呼応して、コンピューティング装置の１つ以上のセンサから環境の追加データを取得し、データベース内の記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定し、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを提供する、ことを含む。

議論された特徴、機能、および利点は、多様な例で独立に達成でき、またはさらに他の例と組み合わせてもよく、さらにその詳細は、以下の説明および図を参照できる。

例示的な一例の特徴になる新規の特徴は、添付した特許請求の範囲に記載されている。しかしながら、例示的な一例、ならびに好ましい使用モード、さらに目的および説明は、以下の本開示の例示的な一例の詳細な説明を参照し、添付の図と併せて読むと最もよく理解されるであろう。

図１は、実施例に係る例示的なシステムを示す。 図２は、実施例に係るコンピューティング装置の一例を示す。 図３は、実施例に係るロボット装置の一例を示す。 図４は、実施例に係る例示的な方法のフローチャートを示す。 図５は、実施例に係る、方法と共に用いる例示的な方法のフローチャートを示す。 図６は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図７は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図８は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図９は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図１０は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図１１は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図１２は、実施例に係る、方法と共に用いる例示的な方法の別のフローチャートを示す。 図１３は、実施例に係る、物体を含む環境の例示的な二次元（２Ｄ：2-Dimensional）画像を示す概念図である。 図１４は、実施例に係る、環境の追加データの例示を示す概念図である。 図１５は、実施例に係る、物体の追加データの別の例を示す概念図である。 図１６は、実施例に係る、物体の追加データの別の例を示す概念図である。 図１７は、実施例に係る、物体の追加データの別の例を示す概念図である。 図１８は、実施例に係る、物体の追加データの別の例を示す概念図である。 図１９は、実施例に係るコンピューティング装置のディスプレイのインターフェース上におけるゲームプレイを示す図である。 図２０は、実施例に係る、ここに記載の方法を実行するシナリオ例を示す概念図である。

開示された例は、添付の図面を参照して以下により十分に記載されており、添付の図面には、開示された例の全てではないが、いくつかの例を示す。実際に、いくつかの異なる例が取り上げられる場合があるが、ここに記載される例に限定されると解釈されてはならない。より正確に言えば、これらの例は、本開示が徹底的かつ完全であり、本開示の範囲が当業者に十分に伝達されるように提供される。

データ収集のゲーミフィケーション用のシステムおよび方法がここに記載される。コンピュータにより実行される方法の一例には、コンピューティング装置のカメラから環境の画像を取得し、データベース内の記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定する、ことが含まれる。続いて、コンピューティング装置は、環境の追加データを取得するコマンド（例えば、音声または映像）を提供し、コマンドに呼応して、環境の追加データをコンピューティング装置の１つ以上のセンサから取得できる。次に、この方法は、データベース内に記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定し、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを提供する、ことを含む。

一例の装置は、カメラと、１つ以上のセンサと、少なくとも１つのプロセッサと、メモリと、メモリに記憶され、少なくとも１つのプロセッサによって実行されるとコンピューティング装置に動作を実行させるプログラム命令とを備える。これらの動作は、データ収集のゲーミフィケーション機能を含む。

シナリオ例において、コンピューティング装置は、ユーザに質問をすることで環境全体（例えば、自宅）のマップに対するデータを収集するように促すかまたは動機を与え、コンピューティング装置のインターフェース上にゲームプレイに対するポイントの形態でフィードバックを提供するようにプログラムされている。ゲーミフィケーションは、ゲーム内の報奨、および励まし（例えば、「よくできました！」の表示）などの他のフィードバックを通じて、参加する動機を提供する。さらに、コンピューティング装置は、領域の詳細に関して質問し、収集されたデータのラベル付けを可能にするようにプログラムされてもよい（例えば、「ここは誰の部屋ですか？」）。記憶されたデータセットをさらに完成させるコンピューティングでデータが受信されると、ゲームプレイインターフェースを通じて追加のポイントおよび報奨が提供される。

有利には、ここに開示されるシステムおよび方法は、データ収集を楽しく簡単にするゲームプレイインターフェースを提供することでデータ収集を容易にし、ユーザを関心のある領域（例えば、データセットに詳細が不足している領域）に導くこともできる。データ収集をゲーム化することは、ユーザが、環境の面積のデータを収集するように誘導される体験を生み出し、データが以前に収集されていない新しい面積を示す場合、ゲームプレイインターフェースを通じてポイントや報奨が提供される。

さらなる例では、ユーザに価値のあるデータを収集させるように報奨／スコアが提供される仮想ゲームが作成される。ゴールは、ユーザに未知の領域からデータを収集するように促し、および／または、データをラベル付けすることであり、これは、様々な機械学習システムをトレーニングするのに最終的に使用できる。

これらのシステムおよび方法の他の様々な特徴は、添付の図面を参照して以下に記載する。

図１を参照して、例示的なシステム１００を示す。特に、図１は、物体および／または環境のデータを収集するための例示的なシステム１００を示している。図１に示されるように、システム１００は、ロボット装置１０２ａ、１０２ｂと、少なくとも１つのサーバ装置１０４と、ホスト装置１０６と、コンピューティング装置１０８と、通信ネットワーク１１０とを含む。

ロボット装置１０２ａ、１０２ｂは、任意の種類の装置であってもよく、少なくとも１つのセンサを有するとともに、ここに記載の実施形態に従って、センサデータを記録するように構成される。場合によって、ロボット装置１０２ａ、１０２ｂは、環境内での移動を容易にする移動能力（例えば、駆動システム）を含んでもよい。

図１に示すように、ロボット装置１０２ａは、通信ネットワーク１１０を介して、サーバ装置１０４および／またはホスト装置１０６にデータ１１２を送信、および／または、サーバ装置１０４および／またはホスト装置１０６からデータ１１４を受信してもよい。例えば、ロボット装置１０２ａは、通信ネットワーク１１０を介してセンサデータのログをサーバ装置１０４に送信してもよい。さらに加えてまたは代替として、ロボット装置１０２ａは、サーバ装置１０４から機械学習モデルデータを受信してもよい。同様に、ロボット装置１０２ａは、通信ネットワーク１１０を介してホスト装置１０６にセンサデータのログを送信し、および／または、ホスト装置１０６から機械学習モデルデータを受信してもよい。さらに、場合によって、ロボット装置１０２ａは、通信ネットワーク１１０を介するものとは対照的に、ホスト装置１０６にデータを直接送信および／またはホスト装置１０６からデータを直接受信してもよい。

サーバ装置１０４は、ここに記載のコンピューティング装置の動作を実行するように構成された任意の種類のコンピューティング装置であってもよい。例えば、サーバ装置１０４は、リモートサーバ装置を含むことができ、「クラウドベース」装置と呼ばれる場合がある。いくつかの例において、サーバ装置１０４は、コンピューティングタスクを複数のサーバ装置の間に分散させるクラウドベースのサーバクラスタを含んでもよい。上記の議論に沿って、サーバ装置１０４は、通信ネットワーク１１０を介してロボット装置１０２ａにデータ１１４を送信、および／または、ロボット装置１０２ａからデータ１１２を受信するように構成されてもよい。サーバ装置１０４は、機械学習モデルをトレーニングするように構成された機械学習サーバ装置を含むことができる。

サーバ装置１０４のように、ホスト装置１０６は、ここに記載のコンピューティング装置の動作を実行するように構成された任意の種類のコンピューティング装置であってもよい。しかしながら、サーバ装置１０４とは異なり、ホスト装置１０６は、ロボット装置１０２ａと同じ環境（例えば、同じ建物内）に位置してもよい。一例において、ロボット装置１０２ａは、ホスト装置１０６とドッキングして、再充電し、データをダウンロードおよび／またはアップロードしてもよい。

ロボット装置１０２ａは、通信ネットワーク１１０を介してサーバ装置１０４と通信し、ホスト装置１０６と通信することができるが、いくつかの例において、ロボット装置１０２ａは、ここに記載のコンピューティング装置の動作を行ってもよい。例えば、ロボット装置１０２ａは、ここに記載のコンピューティング装置の動作を実行するように構成された内部コンピューティングシステムおよびメモリを含んでもよい。

いくつかの例において、ロボット装置１０２ａは、無線インターフェースを介してロボット装置１０２ｂと無線で通信してもよい。例えば、ロボット装置１０２ａおよびロボット装置１０２ｂは両方とも同じ環境で動作し、時には環境に関するデータを共有してもよい。

コンピューティング装置１０８が、環境内で自律的に移動する移動能力（例えば、駆動システム）が欠如している場合を除き、コンピューティング装置１０８は、ロボット装置１０２ａ、１０２ｂに対して記載された全ての機能を実行してもよい。コンピューティング装置１０８は、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、ＰＤＡ、タブレット装置、スマートウォッチ、ウェアラブルコンピューティング装置、携帯式カメラコンピューティング装置、またはあらゆる種類のモバイルコンピューティング装置の形態であってもよい。コンピューティング装置１０８は、通信ネットワーク１１０を介してサーバ装置１０４にデータ１１６を送信し、および／または、サーバ装置１０４からデータ１１８を受信してもよい。

通信ネットワーク１１０は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、企業イントラネット、公衆インターネット、または装置間に通信経路を提供するように構成された任意の他の種類のネットワークに対応し得る。通信ネットワーク１１０は、また１つ以上のＬＡＮ、ＷＡＮ、企業イントラネット、および／または公衆インターネットの組み合わせに対応し得る。通信ネットワーク１１０と、ロボット装置１０２ａ、ロボット装置１０２ｂ、およびコンピューティング装置１０８との間、および各装置間の通信は、無線通信（例えば、ＷｉＦｉやブルートゥース（登録商標）など）であってもよい。

図２は、一実施形態に係るコンピューティング装置１０８の一例を示す。図２は、ここに記載の実施形態に従って動作するように構成されたコンピューティング装置１０８が含み得るいくつかの構成要素を示す。コンピューティング装置１０８は、ここに記載の方法の機能を実行するように用いられてもよい。

コンピューティング装置１０８は、プロセッサ１２０と、通信バス１３４に各々接続された通信インターフェース１２２と、データ記憶装置（メモリ）１２４と、出力インターフェース１２６と、ディスプレイ１２８と、カメラ１３０と、センサ１３２とを含む。コンピューティング装置１０８は、コンピューティング装置１０８内の通信、およびコンピューティング装置１０８と他の装置（図示せず）との間の通信を可能にするハードウェアを含んでもよい。ハードウェアには、例えば、送信機、受信機、アンテナが含まれてもよい。

通信インターフェース１２２は、１つ以上のネットワークまたは１つ以上の遠隔装置との短距離通信および長距離通信の両方を可能にする無線インターフェースおよび／または１つ以上の有線インターフェースであってもよい。このような無線インターフェースは、ブルートゥース、ＷｉＦｉ（例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）８０２．１１プロトコル）、ＬＴＥ（Long-Term Evolution）、セルラー通信、近距離無線通信（ＮＦＣ：Near-Field Communication）などの１つ以上の無線通信プロトコルおよび／または他の無線通信プロトコル下で通信を提供してもよい。このような有線インターフェースには、イーサネットインターフェース、ＵＳＢ（Universal Serial Bus）インターフェース、あるいは、ワイヤ、ツイストペアワイヤ、同軸ケーブル、光リンク、光ファイバーリンク、または他の物理的接続を介して有線ネットワークと通信する同様のインターフェースが含まれてもよい。従って、通信インターフェース１２２は、１つ以上の装置から入力データを受信するように構成されてもよく、他の装置に出力データを送信するように構成されてもよい。

通信インターフェース１２２は、例えば、キーボード、マウス、またはタッチスクリーンなどのユーザ入力装置も含んでもよい。

データ記憶装置１２４は、プロセッサ１２０によって読み取られるかまたはアクセスできる１つ以上のコンピュータ読み取り可能な記憶媒体を含んでもよく、あるいはその形態を取ってもよい。コンピュータ読み取り可能な記憶媒体は、プロセッサ１２０と一部または全部が統合可能な、光学メモリ、磁気メモリ、有機メモリ、または他のメモリ、あるいは、ディスク記憶装置などの揮発性および／または不揮発性ストレージコンポーネントを含むことができる。データ記憶装置１２４は、非一時的なコンピュータ読み取り可能な媒体と見なされる。いくつかの例において、データ記憶装置１２４は、単一物理装置（例えば、１つの光学メモリ、磁気メモリ、有機メモリ、または他のメモリ、あるいは、ディスクストレージユニット）を用いて実現できるが、他の例において、データ記憶装置１２４は、２つ以上の物理的装置を用いて実現可能である。

データ記憶装置１２４は、物体および／または環境のデータセットを記憶できるデータベース１３５を含むことが示されている。データセットには、収集された物体および／または環境のデータが含まれ、任意の種類または任意の数のデータが含まれてもよい。

従って、データ記憶装置１２４は、非一時的なコンピュータ読み取り可能な記憶媒体であり、実行可能な指示１３６がそれに記憶される。指示１３６は、コンピュータ実行可能コードを含む。プロセッサ１２０によって指示１３６が実行されると、プロセッサ１２０は機能を実行するようになる。このような機能には、例えば、カメラ１３０から環境の画像を取得することと、データベース１３５に記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定することと、環境の追加データを取得する要求を示すコマンドを提供することと、コマンドに呼応して、１つ以上のセンサ１３２から環境の追加データを取得することと、データベース１３５に記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定することと、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置１０８のインターフェース１２９上のゲームプレイに対する１つ以上のポイントを提供することとが含まれる。これらの機能は、以下に詳しく記載する。

プロセッサ１２０は、汎用プロセッサまたは専用プロセッサ（例えば、デジタル信号プロセッサ、特定用途向け集積回路など）であってもよい。プロセッサ１２０は、１つ以上の汎用プロセッサおよび／または１つ以上の専用プロセッサ（例えば、ＡＳＩＣ（Application Specific Integrated Circuits）、ＤＳＰ（Digital Signal Processors）、ネットワークプロセッサなど）の１つ以上のＣＰＵを含むことができる。例えば、プロセッサ１７０は、機械学習モデルのトレーニングおよび／または推論のためのＴＰＵ（Tensor Processing Unit）を含むことができる。プロセッサ１２０は、通信インターフェース１２２からの入力を受信し、その入力を処理してデータ記憶装置１２４に記憶される出力を生成し、ディスプレイ１２８に出力してもよい。プロセッサ１２０は、データ記憶装置１２４に記憶され、ここに記載のコンピューティング装置１０８の機能を提供するように実行可能な実行可能指示１３６（例えば、コンピュータ読み取り可能なプログラム命令）を実行するように構成することができる。

出力インターフェース１２６は、ディスプレイ１２８または他の構成要素にも情報を出力する。従って、出力インターフェース１２６は、通信インターフェース１２２と同様であってもよく、無線インターフェース（例えば、送信機）または有線インターフェースであってもよい。

ディスプレイ１２８には、インターフェース１２９が含まれる。インターフェース１２９は、ディスプレイ１２８に表示するためのＧＵＩ（Graphical User Interface）であってもよく、またはそれを含んでもよい。インターフェース１２９は、ユーザが映像ディスプレイと相互に作用し合うことを可能にし、ユーザ入力／指示を受け入れ、望ましい方法でデータを示して収集する。インターフェース１２９は、ユーザが利用可能な情報およびアクションを表すテキストの他に、グラフィック画像を採用するコンピュータと相互に作用し合うことを可能にする標準タイプのユーザインターフェースのＧＵＩであってもよい。アクションは、例えば、ウィンドウ、ボタン、メニュー、スクロールバーなどのグラフィカル要素を直接操作することで実行されてもよい。

カメラ１３０は、物体および環境の２Ｄ画像を撮像する高解像度カメラを含んでもよい。

センサ１３２は、深度カメラ１３７、ＩＭＵ（Inertial Measurement Unit）１３８、１つ以上の運動追跡カメラ１４０、１つ以上のレーダー１４２、１つ以上のマイクロホンアレイ１４４、および１つ以上の近接センサ１４６などの多数のセンサを含む。より多くのまたはより少ないセンサが含まれてもよい。

深度カメラ１３７は、物体の３次元（３Ｄ）特徴など、環境内の物体の深度に関する情報をリカバーするように構成されてもよい。例えば、深度カメラ１３７は、投影赤外線パターンの１つ以上の画像を撮像し、様々なアルゴリズムを用いて３Ｄデータを三角測量および抽出して１つ以上のＲＧＢＤ画像を出力するプロセッサに画像を提供するように構成されたＲＧＢ−赤外線（ＲＧＢ−ＩＲ）カメラであってもよく、またはそれを含んでもよい。赤外線パターンは、深度カメラ１３７と一体化されたプロジェクターによって投影されてもよい。あるいは、赤外線パターンは、深度カメラ１３７とは別のプロジェクター（図示せず）によって投影されてもよい。

ＩＭＵ１３８は、ロボット装置の速度および／または方位を判定するように構成されてもよい。一例において、ＩＭＵは、３軸ジャイロスコープ、３軸加速度計、３軸コンパス、および運動情報を処理する１つ以上のプロセッサを含んでもよい。

運動追跡カメラ１４０は、画像（例えば、ＲＧＢ−ＩＲ画像）を撮像および処理することにより、物体の移動を検出および追跡するように構成されてもよい。場合によって、運動追跡カメラ１４０は、低輝度照明条件での検出を可能にする１つ以上のＩＲ発光ダイオード（ＬＥＤ：Light Emitting Diodes）を含んでもよい。運動追跡カメラ１４０は、１８０度広視野（ＦＯＶ：Field Of View）などのＦＯＶを含んでもよい。一例の構成において、コンピューティング装置１０８は、コンピューティング装置１０８の第１側の画像を撮像するように構成された第１運動追跡カメラと、コンピューティング装置１０８の反対側の画像を撮像するように構成された第２運動追跡カメラとを含んでもよい。

レーダー１４２は、電磁波を用いて環境内の物体の範囲、角度、または速度を判定する物体検出システムを含んでもよい。レーダー１４２は、レーザーパルスを環境に発し、１つ以上のセンサで反射パルスを測定することにより動作してもよい。一例において、レーダー１４２は、１５０度ＦＯＶなどの広いＦＯＶを有する固体ミリ波レーダーを含んでもよい。

マイクロホン１４４は、音声データを記録するなど、１つ以上の機能を連携して実行するように動作する（マイクロホンアレイとして配置された）１つ以上のマイクロホンを含んでもよい。一例において、マイクロホン１４４は、音源探査を用いて音源の位置を特定するように構成されてもよい。

近接センサ１４６は、コンピューティング装置１０８の範囲内の物体の存在を検出するように構成されてもよい。例えば、近接センサ１４６は、赤外線近接センサを含むことができる。一例において、コンピューティング装置１０８は、複数の近接センサを含み、各近接センサがコンピューティング装置１０８の異なる側面（例えば、正面、背面、左、右など）の物体を検出するように配置されていてもよい。

図３は、実施形態に係るロボット装置２００の一例を示す。図２は、ここに記載の実施形態に従って動作するように構成されたロボット装置２００が含み得るいくつかの構成要素を示す。ロボット装置２００は、ここに記載の方法の機能を実行するように用いられてもよい。

ロボット装置２００は、通信バス１３４に各々接続されている、プロセッサ１２０と、通信インターフェース１２２と、データ記憶装置（メモリ）１２４と、出力インターフェース１２６と、ディスプレイ１２８と、カメラ１３０と、センサ１３２とを含むコンピューティング装置１０８と同一または類似の構成要素を含んでもよい（および／またはコンピューティング装置１０８を含んでもよい）。これらの構成要素の説明は、上記のコンピューティング装置１０８と同一である。ロボット装置２００は、ロボット装置２００の間の通信およびロボット装置２００と他の装置（図示せず）との間の通信を可能にするハードウェアを含んでもよい。ハードウェアには、例えば、送信機、受信機、アンテナが含まれてもよい。

いくつかの例において、ロボット装置２００は、また、報奨されたポイントを示すゲームプレイ用インターフェース１２９を含む。他の例において、ロボット装置２００は、データ収集のため、図２のコンピューティング装置１０８（スマートフォンの形態を取る場合がある）に追加されるか、またはその代わりに用いられてもよく、また、ロボット装置２００が、コンピューティング装置１０８と無線で通信してゲームプレイ中にポイントを獲得するためのデータ収集に成功したことを通知してもよい。図２のコンピューティング装置のディスプレイ１２８上のインターフェース１２９は、例えば、ポイントを示してもよい。

ロボット装置２００は、また、接触センサ１４８およびペイロードセンサ１５０などの追加のセンサ１３２を含んでもよい。

接触センサ１４８は、ロボット装置２００が物体と接触したときに信号を提供するように構成されてもよい。例えば、接触センサ１４８は、接触センサ１４８が物体と接触したときに信号を提供するロボット装置２００の外面の物理的衝突センサであってもよい。

ペイロードセンサ１５０は、ロボット装置２００によって運ばれるペイロードの重量を測定するように構成されてもよい。例えば、ペイロードセンサ１５０は、ロボット装置２００のプラットフォームまたは他の表面に加えられる力に比例する電気信号を提供するように構成されたロードセルを含むことができる。

図３にさらに示すように、ロボット装置２００は、コンピューティング装置１０８に結合された機械システム１５２も含み、機械システム１５２は、駆動システム１５４および補助システム１５６を含む。駆動システム１５４は、ロボット装置２００を環境内で移動させる（例えば、床を横切って移動させる）ように制御することができる１つ以上のモーター、輪、および他の構成要素を含んでもよい。一例において、駆動システム１５４は、ロボット装置２００を任意の方向に駆動させるように制御することができる全方向性駆動システムを含んでもよい。

補助システム１５６は、付随的タスクの実行を容易にするように構成された１つ以上の機械的構成要素を含んでもよい。一例として、補助システム１５６は、真空引きを容易にするように構成されたモーターおよびファンを含んでもよい。例えば、電気モーターは、吸引口を通じて、ほこり、ごみ、または他の破片の吸引および容易な収集のために、ファンを回転させてもよい。別の例として、補助システム１５６は、プラットフォームまたは構造の上部に置かれた任意の物体が地面から持ち上げられるように、ロボット装置２００のプラットフォームまたは他の構造を垂直に持ち上げる構成を有する１つ以上のアクチュエータを含んでもよい。一例において、補助システム１５６は、約１０キログラムのペイロードを持ち上げるように構成されてもよい。ロボット装置２００の所望の活動に応じて、他の例も可能である。

例では、コンピューティング装置１０８は、ユーザによって使用されてもよく、および／またはロボット装置１０２ａ、１０２ｂが、コンピューティング装置１０８および／またはロボット装置１０２ａ、１０２ｂのインターフェース上でゲームプレイの機能としてデータを収集するようにプログラムされることができる。シナリオ例では、物体認識装置を参照して（例えば、サーバ装置１０４および／またはオンボードコンピューティング装置１０８およびロボット装置１０２ａ、１０２ｂを介して）、（例えば、物体のさらなる姿勢）情報がさらに必要な物体を画像内で見つけることができる。次いで、コンピューティング装置１０８は、物体の追加的な姿勢を撮像するようにユーザに通知するコマンドを提供することができる。コンピューティング装置１０８のゲームにおいて、ゲームプレイ中の指示としてコマンドを提供することができる。新しい姿勢の撮像に成功すると、ゲーム内でユーザに報奨／スコアが提供され、データを収集するように動機を与える。特定の例として、ゲームプレイ中に、ユーザは自宅に歩いて入り、コンピューティング装置１０８は部屋の一部の画像フレームを取得する。クラウド物体認識装置は、画像フレームに暖炉が含まれていると判定し、コンピューティング装置１０８は、多くの異なる角度から画像が撮像されるようにユーザに暖炉に近づくことを求めるコマンドをゲームを通じて提供する。新しい画像フレームの撮像に成功すると、ゲームでのユーザのスコアにポイントを報奨できる。

ここで用いられるゲームプレイという用語は、入力を要求し、ユーザに動機付けを提供してコンピューティング装置に要求された入力を収集または集めるタスクを完了させるようにプログラムされているコンピューティング装置のアプリケーションを実行することを言う。また、ゲームプレイは、実世界の物理的物体の特定のデータまたは画像を収集して報奨を受けるなど、ユーザに動機付けられた報奨を受けて満足させるための戦略的課題を含むことができる。報奨は、例えば、サービス事業者が提供する金銭上の観点からは現実のものになり得るし、あるいはユーザがスコアを上げるＧＵＩ上の観点からは想像のものになり得る。従って、ゲームプレイという用語には、ゲーム・アプリケーションを実行すること（例えば、ユーザ／プレーヤーがコンピューティング装置を用いてゲーム関連ルールを有するアプリケーションを実行することを含む）のほか、例えば、シミュレーション種別に同様の関連ルールを有する他のアプリケーションを実行することが含まれる。

図４は、実施例に係る例示的な方法４００のフローチャートを示す。図４に示される方法４００は、例えば、ここのいずれかの図に示されたいずれかのコンピューティング装置またはロボット装置のようなコンピューティング装置またはロボット装置によって実行できる方法の実施形態を表す。よって、方法４００は、コンピュータにより実行される方法であってもよい。ここに開示されるプロセスおよび方法や他のプロセスおよび方法について、本実施形態のうちの１つの実施可能な機能および動作をフローチャートに示す。別の例は、本開示の例示的な実施形態の範囲内に含まれ、当業者には明らかなように、機能が、関連機能に応じて実質的に同時に行われるかまたは逆順に行われることを含み、図示または論議された順序とは異なる順序で実行されてもよい。

方法４００は、１つ以上のブロック４０２〜４１２で示されるように、１つ以上の動作、機能、またはアクションを含んでもよい。ここに開示される当該プロセスおよび方法や他のプロセスおよび方法について、本例のうちの１つの実施可能な機能および動作をフローチャートに示す。これに関して、各ブロックは、モジュール、セグメント、またはプログラムコードの一部を表してもよく、プロセスにおける特定の論理機能または工程を実施するプロセッサによって実行可能な１つ以上の指示を含む。プログラムコードは、例えば、ディスクまたはハードドライブを含む記憶装置など、任意の種類のコンピュータ読み取り可能な媒体またはデータ記憶装置に記憶されてもよい。さらに、プログラムコードは、機械可読形式のコンピュータ読み取り可能な記憶媒体、または他の非一時的な媒体または製造品に符号化することができる。コンピュータ読み取り可能な媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびＲＡＭ（Random Access Memory）のような短期間データを記憶するコンピュータ読み取り可能な媒体などの非一時的なコンピュータ読み取り可能な媒体またはメモリを含んでもよい。コンピュータ読み取り可能な媒体は、例えば、ＲＯＭ（Read Only Memory）、光学ディスクまたは磁気ディスク、ＣＤ−ＲＯＭ（Compact-Disc Read Only Memory）のような二次または永続的長期記憶などの非一時的な媒体をまた含んでもよい。コンピュータ読み取り可能な媒体は、また、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ読み取り可能な媒体は、例えば、有形のコンピュータ読み取り可能な記憶媒体と見なされてもよい。

また、図４の各ブロック、およびここに開示される他のプロセスおよび方法内の各ブロックは、プロセス内の特定の論理機能を実行するために配線された回路を表してもよい。別の例は、本開示の例の範囲内に含まれ、当業者には明らかなように、機能が、関連機能に応じて実質的に同時または逆順を含み、図示または説明された順序とは異なる順序で実行されてもよい。

図４の方法４００は、コンピューティング装置１０８、ロボット装置１０２ａ、１０２ｂ、および／またはコンピューティング装置１０８とロボット装置１０２ａ、１０２ｂとの組み合わせによって実行されてもよい。以下に、方法４００は、コンピューティング装置１０８によって実行されるシナリオ例に記載され、これは、ロボット装置１０２ａ、１０２ｂの一部と見なすこともできる（図３を参照して記載される）。

いくつかの例において、方法４００は、コンピューティング装置１０８上でプレイされるゲームとして実行されてもよく、または方法４００の一部がゲームのゲームプレイの機能であってもよい。

ブロック４０２において、方法４００は、コンピューティング装置１０８のカメラ１３０から環境の画像を取得することを含む。例えば、ユーザは、コンピューティング装置１０８を用いて物体の画像を撮像してもよい。

ブロック４０４において、方法４００は、データベース１３５に記憶されたデータセットと画像との第１比較に基づいて、記憶されたデータセットに環境の１つ以上の詳細が不足していると判定することを含む。いくつかの例において、データセットを記憶するデータベース１３５は、サーバ装置１０４内に存在してもよく、従って、コンピューティング装置１０８は、第１比較が行われるようにサーバ装置１０４に画像を送信してもよい。

第１比較には、画像内の物体の物体認識が含まれる。例えば、クラウド物体認識装置を参照して画像が物体の画像を含んでいると判定することができる。続いて、第１比較には、記憶されたデータセットに認識された物体の画像が含まれているかどうか、また、含まれている場合には画像の数および画像の種類が含まれているかを判定することが含まれる。一例として、第１比較には、物体の姿勢の閾値数値がデータセットに記憶されているかどうかを判定することが含まれ、閾値は任意の数（例えば、１５から２０など、または１００の姿勢を超えることができる）とすることができる。第１比較においてはまた、例えば、環境および／または物体の画像の閾値数（例えば、２０、３０、または少なくとも５０の画像）がデータセットに含まれるかを判定してもよい。

第１比較は、画像の種類に、カラー、白黒、深度画像などの様々な種類が含まれているかどうかの判定も含むことができる。第１比較には、周辺領域のデータ、物体自体に固有のデータ（例えば、メーカー、モデル番号、製造年度）、物体の音声または物体の周辺領域の音声に関するデータ、物体の所有者または物体の場所を参照するデータ、または何らかの物体に関するデータの種類および／または量など、記憶されたデータセットに物体および／または環境の他の種類のデータが不足していると判定することがさらに含まれてもよい。

一例において、記憶されたデータセットは環境のフロアプランを含んでもよく、第１比較を行って環境の任意の一部に関してフロアプランが完全なデータであるか、または欠測データであるかを判定することができる。

従って、第１比較は多くの基準に基づいて判定でき、記憶されたデータセットと比較するときに閾値を必要に応じて設定し、データセットに詳細が不足しているかどうかを判定することができる。いくつかの例において、第１比較は常にデータセットに詳細が不足していると判定してもよく、これは、（下記に記載するように）ゲームプレイで、ユーザに環境および／または物体の「新しい」データのキャプチャを試みるように促す。

データベース１３５に記憶されたデータセットの目的は、環境および物体を表す全体データセットを生成し、第１比較で、データセットに環境および／または物体の少なくとも１つの態様の詳細が不足していると判定できるように、利用可能な全ての種類のデータ（例えば、画像、音声、映像など）を用いて物体および／または環境を全体的に説明することである。

または、いくつかの例において、データセットがロバストであると、結果として第１比較に詳細が不足しないようになり、ゲームプレイは、さらなる第１比較で用いられる追加画像の撮像を通じて続行できる。

ブロック４０６において、方法４００は、コンピューティング装置１０８によって環境の追加データを取得する要求を示すコマンドを提供することを含む。データセットに何らかの詳細が不足していると判定されると、コンピューティング装置１０８は、ゲームプレイ中にインターフェース１２９上のテキストグラフィックを介して、またはゲームプレイ中に音声コマンドとしてコマンドを提供する。このコマンドは、環境および／または物体の追加データを取得する試みをユーザに示す。一例において、コマンドは、環境の１つ以上の領域を示して環境の追加データを取得する。環境に住宅が含まれる別の例において、コマンドは、家の特定の部屋の追加データを取得する要求を示す情報を提供する。コマンドは、深度画像、音声データ、２Ｄ画像データなど、収集すべき特定種類のデータをさらに示してもよい。

ブロック４０８において、方法４００は、コマンドに呼応して、コンピューティング装置１０８の１つ以上のセンサ１３２から環境の追加データを取得することを含む。追加データは、環境の１つ以上の深度画像を取得すること、マイクロホン１４４を用いて環境からの音声を取得すること、レーダー１４２を用いてレーダーデータを取得することなどを含みうる。従って、ゲームプレイ中に、ユーザは、コンピューティング装置１０８を活用し、センサ１３２通じて取得可能なあらゆる種類のデータをキャプチャしてもよい。

ブロック４１０において、方法４００は、データベース１３５に記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なると判定することを含む。第２比較は、新しくキャプチャされた追加データがデータセットに記憶されているデータと異なるか、または何らかの変化があるかを判定するために実行できる。データは、少しでも変化があれば、異なるとみなすことができ、例えば、以前にデータセットに記憶されていない新しい画像、以前にデータセットに記憶されていない新しい音声、以前にデータセットに記憶されていない物体／環境の新しい情報、以前に記憶されていない新しい種類のデータ（例えば、記憶されたデータセットは画像データのみが含まれ、そして追加データには音声が含まれる）などをキャプチャするというような場合である。

他の例において、第２比較では、追加データがデータセットに記憶されているデータとは異なるかを判定するために識別閾値を用いてもよい。識別閾値は任意のレベルに設定でき、データの種類に基づいて異ってもよい。例えば、画像データの場合、識別閾値は、５０％を超える画素の強度の差、少なくとも５０％の画素の色の差、少なくとも１０％の画像内の画素の含有率の差などに設定できる。

識別閾値は、記憶された画像内の物体の数とは異なって画像内で判定された物体の数であってもよい。例えば、追加データに画像が含まれている場合、クラウド物体認識装置を用いて、画像内に物体がいくつあるかを判定できる。この環境のデータセットに記憶されている物体よりも多くの物体が画像で認識される場合、識別閾値が満たされると見なされる。

ブロック４１２において、方法４００は、記憶されたデータセット内の環境のデータとは異なる環境の追加データに基づいて、コンピューティング装置１０８のインターフェース１２９上にゲームプレイに対する１つ以上のポイントを提供することを含む。ゲームプレイ中に、報奨またはスコアに追加されるポイント、バッジの報奨などの実績、リーダーボードでのレベルアップまたはランキングの上昇など、あらゆる種類のポイントまたは他のゲーム要素が提供されてもよい。

ゲームプレイは、特定の時間制限を設定してユーザが必ずアクションまたはタスクを完了して戻ることで報奨を受けるようにしてもよい。これは、ユーザが定期的にゲームをプレイして追加データをキャプチャし、報奨を受ける資格を得るように奨励する。同様に、ゲームプレイは、タスク完了に限定した時間を設定してもよい。

図５は、実施例に係る、方法４００と共に用いる例示的な方法のフローチャートを示す。ブロック４１４における機能は、環境の追加データに基づいて環境のフロアプランを生成することを含む。例えば、ユーザが環境の関心のある領域でデータを収集し、フロアプランを生成するのに十分なデータを収集できるようにコマンドで導いてもよい。この例において、コマンドは、住宅の全ての部屋のデータ収集を要求することができ、ゲームプレイは、住宅の典型的な部屋に関するチェックリスト（例えば、キッチン、居間、寝室）を含み、チェックリストが完成すると、一般的なフロアプランを作成できる。

図６は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４１６において、機能は、物体の画像に基づいてサーバ１０４から物体の識別を受信することを含む。ブロック４１８において、機能は、データベース１３５内に記憶されたデータセットとの第１比較に基づいて、記憶されたデータセットに物体の１つ以上の詳細が不足していると判定することを含み、ブロック４２０において、機能は、物体の追加データを取得するさらなる要求をコマンドで提供することを含む。続いて、ブロック４２２、４２４、および４２６において、機能は、コンピューティング装置１０８の１つ以上のセンサ１３２から物体の追加データを取得することと、データベース１３５内に記憶されたデータセットとの第２比較に基づいて、物体の追加データが記憶されたデータセット内の物体のデータとは異なることを判定することと、記憶されたデータセット内の物体のデータとは異なる物体の追加データに基づいて、インターフェース１２９上のゲームプレイに対する１つ以上のポイントを提供することと、を含む。この例において、コマンドは、物体の姿勢を示す情報を提供して物体の追加データを取得してもよく、または時刻を提供して（これによって異なる照明での物体のデータをキャプチャする）物体の追加データを取得してもよい。

図７は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４２８において、機能は、物体の追加データに物体の識別をラベル付けすることを含み、ブロック４３０において、機能は、物体の追加データをデータベース１３５に記憶することを含む。この例において、新しい追加データが受信されると、コンピューティング装置１０８は、可能な限り画像内のコンテンツの物体認識を実行してもよい。いずれかの物体を認識できない場合、コンピューティング装置１０８は、物体をラベル付けするようにユーザに促してもよい。

同様に、コンピューティング装置１０８は、新しく受信した全てのデータを対象に、新しい追加データをラベル付けするようにユーザに促してもよい。シナリオ例において、新しいデータは、住宅の部屋を表し、この部屋に関連する人物を識別する要求を促してもよい。または、新しいデータが物体（例えば、靴）を表してもよく、その物体の所有者を識別する要求を促してもよい。

図８は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４３２において、機能は、環境の画像に基づいて、サーバ１０４から環境内の部屋の識別を受信することを含む。ブロック４３４において、機能は、環境内の部屋に関連する物体のカテゴリを判定することを含む。ブロック４３６において、機能は、コンピューティング装置１０８の１つ以上のセンサ１３２を用いて、環境内の部屋に関連する物体のカテゴリ内の少なくとも１つの物体のデータを取得する要求を示す第２コマンドを提供することを含む。シナリオ例において、位置判定、フロアプランの参照、オフィス内の物体の物体認識のいずれかによって、ユーザが住宅のオフィスに入ったことをコンピューティング装置１０８が認識すると、コンピューティング装置１０８は、事務用品を物体のカテゴリとして決定し、データベース１３５内のデータセットに詳細が不足している可能性のある特定の事務用品のデータを取得する要求を示すコマンドをゲームプレイ中に提供してもよい。ユーザは要求された事務用品のデータをキャプチャし、ゲームプレイ中に追加のポイントおよび報奨を獲得できる。

従って、ユーザが環境を歩き回ると、コンピューティング装置１０８はコンピューティング装置１０８の位置を判定し、データセットに詳細が不足している位置と関連する物体を判定する。これにより、コンピューティング装置１０８は、コンピューティング装置１０８の位置に非常に関連があり、かつデータセット内に詳細が不足している特定の物体の追加データを要求することができる。

図９は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４３８において、機能は、環境のビューに重ね合わせた拡張現実（ＡＲ：Augmented Reality）グラフィカルキャラクタをコンピューティング装置１０８のディスプレイ１２８上に提供することを含み、ブロック４４０において、機能は、データベース１３５に記憶されたデータセットに環境の１つ以上の詳細が不足している環境の領域を巡回するための指標として、、ＡＲグラフィカルキャラクタをコンピューティング装置１０８のディスプレイ１２８上で移動させることを含む。以下に、図２１を参照して例を記載する。

図１０は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４４２において、機能は、環境の画像がアクションを行う人物を含むと判定することを含み、ブロック４４４において、機能は、記憶されたデータセットに人物の画像に関連するアクションの識別が不足していると判定することを含む。ブロック４４６において、機能は、アクションの識別を取得する要求をコマンドで提供することを含む。この例において、ゲームプレイは、コンピューティング装置１０８をトレーニングするために実行されているラベル付け活動をユーザが支援するように指示し、そのような情報をデータセットに記憶する。このようにして、データセットを参照して、例えば、活動認識機能を実行することもできる。

図１１は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４４８において、機能は、環境の画像が人物の顔を含むと判定することを含み、ブロック４５０において、機能は、記憶されたデータセットに人物の顔の画像に関連する感情の識別が不足していると判定することを含む。ブロック４５２において、機能は、感情の識別の取得要求のコマンドで提供することを含む。この例において、ゲームプレイは感情データの収集を可能にする特徴を有する。特定の感情を特定の人物に関連付けるように、画像内の人物の名前のラベル、および画像内の人物の感情の識別を要求することにより、ゲームプレイをさらに強化してもよい。人々は異なる方法で感情を伝える場合があり、ゲームプレイを用いて、例えば、特定の人物の特定の感情を認識する方法をコンピューティング装置１０８にトレーニングすることができる。

図１２は、実施例に係る、方法４００と共に用いる例示的な方法の別のフローチャートを示す。ブロック４５４において、機能は、環境の画像が人物を含むと判定することを含み、ブロック４５６において、機能は、人物に１つ以上のアクションを実行させる要求をコマンドで提供することを含む。ブロック４５８において、機能は、コンピューティング装置の１つ以上のセンサから、１つ以上のアクションを実行する人物の追加画像を含む環境の追加データを取得することを含む。シナリオ例には、特定のアクションを実行するように人物を促すことでコンピューティング装置１０８がそれらのアクションに関連するデータを収集できるゲームプレイを含む。アクションは、人物に「ダンス」を要求するなど、いずれであってもよく、また、人物のダンスのデータ収集が成功すると、ゲームプレイ中にインターフェース１２９上のポイントおよび／または報奨が提供される。次いで、コンピューティング装置１０８は、収集されたデータ（例えば、踊っている人物の画像および映像）をアクションまたは「ダンス」という単語と関連付けてもよい。

別の同様の例において、ゲームプレイは、物体のデータを収集できるようにコンピューティング装置１０８に特定の物体を示すように人物を促してもよい。このようにして、ゲームプレイは、データセットに詳細が不足している物体のデータを収集するようにユーザに指示し、従って、ゲームプレイはデータ収集を関心のあるアイテムのデータ収集となるように制御する。ゲームプレイは、特定の種類の追加データ（物体の特定の姿勢など）が収集されるようにさらに指示する。

さらに別の同様の例において、ゲームプレイは、ユーザに笑顔、しかめ顔、またはあらゆる種類の感情を伴う表情を表すように促してもよい。次に、正面向きカメラを用いて、コンピューティング装置１０８は人物の画像を撮像し、その画像を特定の感情に関連付けることができる。これにより、例えば、ラベルが付けられた特定の感情の画像を含むデータセットを生成できる。

図１３〜図１８は、例示的な一例に係る、環境で収集されたデータの概念図である。図１３は、カウチなどの物体５００を含む周囲状況の二次元（２Ｄ）画像例を示す概念図である。続いて、コンピューティング装置１０８は、画像とデータベース内の記憶されたデータセットとの第１の比較に基づいて、記憶されたデータセットに環境および／または物体５００の１つ以上の詳細が不足していることを判定し、その後、環境の追加データを取得する要求を示すコマンドを提供することができる。従って、ソファーおよびソファーの周囲状況についての追加データを取得できる。

図１４は、実施例に係る環境の追加データの例示を示す概念図である。図１４では、物体５００についての異なる遠近感または姿勢が、コンピューティング装置１０８またはロボット装置２００のカメラによって撮像される。遠近感は、例えば、異なるビューを提供する角度によって示される。

図１５は、実施例に係る、物体５００の追加データの別の例を示す概念図である。図１５では、物体５００についての別の異なる遠近感または姿勢が、コンピューティング装置１０８またはロボット装置２００のカメラによって撮像される。遠近感は、例えば、異なるビューを提供する背面によって示される。

図１６は、実施例に係る、物体５００の追加データの別の例を示す概念図である。図１６において、物体５００の画像は、さらに別の遠近感のビューを提供するためにより遠くから撮像される。

図１７は、実施例に係る、物体５００の追加データの別の例を示す概念図である。図１７において、物体５００の画像は、物体５００の一部についてのさらに別の遠近感のビューを提供するためにより近くから撮像される。

図１８は、実施例に係る、物体５００の追加データの別の例を示す概念図である。図１８において、物体５００の画像は、異なる照明が所定の位置にある状態で撮像される。例えば、図１８では、ランプ５０２が点灯され、物体５００上およびそれに隣接して光を照らす。

図１４〜図１８に概念的に示されるいずれか１つ以上の追加データを撮像することに続き、コンピューティング装置１０８は、その後、データベース内の記憶されたデータセットとの第２比較に基づいて、環境の追加データが記憶されたデータセット内の環境のデータとは異なるか否かを判定する。データが異なる場合、コンピューティング装置１０８は、コンピューティング装置１０８のインターフェース１２９上のゲームプレイに対する１つ以上のポイントを提供する。

図１９は、実施例に係る、コンピューティング装置１０８のディスプレイ１２８のインターフェース１２９上のゲームプレイ例を示す図である。図１９に示すように、コンピューティング装置１０８は、データベース内の記憶されたデータセットに以前には含まれていない、新しいデータがデータ収集されたと判定し、ゲームプレイ中にポイントを報奨する（例えば、「スコア：６０」）。新しいデータは、例えば、新しいデータとして撮像され、表された関心領域または物体を丸で囲むことにより、インターフェース１２９上で強調表示されることができる。

図２０は、実施例に係る、ここに記載の方法を実行するシナリオ例を示す概念図である。例示的なコンピューティング装置６００は、コンピューティング装置１０８のカメラによって撮像された環境６０４のビューに重ね合わせたＡＲグラフィカルキャラクタ６０２を用いて示されている。コンピューティング装置１０８は、データベース１３５内に記憶されたデータセットに環境の１つ以上の詳細が不足している環境の領域を巡回するための指標として、、ＡＲグラフィカルキャラクタ６０２をコンピューティング装置１０８のディスプレイ１２８上へ移動させるようにプログラムされる。この例において、ユーザがコンピューティング装置１０８を左に移動させ、コンピューティング装置１０８が環境を表す方向の情報を撮像するように、ＡＲグラフィカルキャラクタ６０２は左に移動する。記憶されたデータセット内のデータとは異なる情報の撮像に成功したことが確認されると、ゲームプレイ中にスコアとして大量のポイントを報奨する（図２０を参照）。

いくつかの例において、相互に作用し合うＡＲグラフィカルキャラクタ６０２のインターフェース１２９上にグラフィックを重ね合わせることにより、環境のジオメトリをゲーム自体の一部として示し、また、ユーザがコンピューティング装置１０８を動かしてＡＲグラフィカルキャラクタ６０２を異なるジオメトリと相互に作用可能にしながら、コンピューティング装置１０８のセンサ１３２のいずれかを用いてデータ収集を実行することができる。このような方法をゲームプレイに用いて、環境のさらなる詳細を撮像するか、または以前にはスキャンされていない領域を撮像するようにユーザを奨励する。

モバイルコンピューティング装置（例えば、スマートフォンまたはタブレット）、またはウェアラブルコンピューティング装置（例えば、ヘッドマウントディスプレイ）など、任意のコンピューティング装置で拡張現実（ＡＲ）グラフィックを生成できる。同様に、ゲームプレイは、シミュレーション中にレンダリングされるＡＲグラフィカルキャラクタ６０２の形態の物理的物体と、ソフトウェアロボットとの間の仮想ゲームプレイを含んでもよい。例えば、コンピューティング装置は、センサデータのログを用いて、環境内を移動するソフトウェアロボットのシミュレーションを生成し得る。このシミュレーションにおいて、ソフトウェアロボットは、センサデータのログを撮像したロボット装置がたどる経路と同じ経路または異なる経路をたどってもよい。ソフトウェアロボットが異なる経路をたどる場合、異なる経路には、環境内のソフトウェアロボットと物理的物体との間の仮想ゲームプレイが含まれ、コンピューティング装置がそれに応じてゲームプレイをレンダリングできる。

ここに記載の方法および装置の例は、ユーザがゲームプレイを通じて実行するように奨励する方法で、環境のロバストなデータセットを生成することに有用である。ゲームプレイには様々な種類のゲームを実施でき、各ゲームでデータを収集できる。これらのデータ収集技術により、物体、環境などを手動で符号化する必要がなく、ユーザがプレイできる面白いゲームが提供される。

コンピューティング装置１０８が機械学習に用いられてもよいデータセットを生成可能にする一連のタスクを完了するようにユーザに求めるなど、課題を作り出す様々なゲームを実施することができる。

さらに、ロックおよび警報システムが設置されている領域の住宅内をＡＲグラフィカルキャラクタ６０２が調べて、住宅保険で受ける適切な割引を判定する住宅保険ゲームなど、様々なゲームを作成して有益な結果を得ることができる。また、家全体でＡＲグラフィカルキャラクタ６０２を追跡することにより、家の完全なマッピングを生成し、家のサイズとそれに含まれる資産を検証することができ、そのような情報は全て、例えば、住宅保険の保険料を判定することに有用な場合がある。

ここに開示されたシステム、装置、および方法の異なる例には、様々な構成要素、特徴、および機能が含まれる。ここに開示されたシステム、装置、方法の様々な例には、ここに開示されたシステム、装置、方法のいずれかの他の例におけるいずれかの構成要素、特徴、機能が任意の組み合わせで含まれてもよく、そのような可能性の全ては、本開示の範囲内であることが意図されていることを理解されたい。

別の有利な構成の説明は、例示および説明の目的で提示され、開示された形態の例を網羅するか、または限定することを意図していない。前述の開示を検討および理解した上、あらゆる修正および変形が当業者にとって明らかであろう。さらに、あらゆる例は、他の例に照らしてあらゆる利点を提供してもよい。選択された１つ以上の例は、原理や実際の応用を最適に説明するためのものであり、考えられる特定の用途に適した様々な変更を伴う様々な例の開示を当業者が理解できるようにするために選ばれて記載されたものである。

この出願は、２０１７年９月８日に出願された米国非仮出願第１５／６９９４５９号に対する利益を主張し、そのすべてをここに参照として取り込む。

Claims (33)

1. コンピューティング装置のカメラから環境の画像を取得し、
   前記画像を解析して、前記環境における特徴を識別し、
   データベース内の記憶された、前記環境内の物体および／または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足しているか否かを判定し、
   前記データベースに記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
   前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の１つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
   前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
   前記追加データと前記データベース内の記憶された前記データセットとの第２比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
   前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを前記ユーザに提供する、ことを含む、コンピュータにより実行される方法。
2. 請求項１に記載のコンピュータにより実行される方法において、
   前記要求は、前記環境における前記特徴に関連する追加データを取得すべき前記環境の１つ以上の領域を示す、コンピュータにより実行される方法。
3. 請求項１に記載のコンピュータにより実行される方法において、
   前記環境は住宅を含み、前記環境における前記特徴は前記住宅内の特定の部屋であり、
   前記コマンドを提供することは、前記住宅の前記特定の部屋に関連する追加データを取得することの要求を示す情報を提供することを含む、コンピュータにより実行される方法。
4. 請求項１に記載のコンピュータにより実行される方法において、
   前記コンピューティング装置の前記１つ以上のセンサは、深度カメラを含み、
   前記コンピューティング装置の前記１つ以上のセンサから前記環境における前記特徴に関連する追加データを取得することは、前記環境における前記特徴の１つ以上の深度画像を取得することを含む、コンピュータにより実行される方法。
5. 請求項１に記載のコンピュータにより実行される方法において、
   前記コンピューティング装置の前記１つ以上のセンサは、マイクロホンを含み、
   前記コンピューティング装置の前記１つ以上のセンサから前記環境における前記特徴に関連する前記追加データを取得することは、前記マイクロホンを用いて前記環境から音声を取得することを含む、コンピュータにより実行される方法。
6. 請求項１に記載のコンピュータにより実行される方法において、
   前記環境における前記特徴に関連する前記追加データに基づいて前記環境のフロアプランを生成することをさらに含む、コンピュータにより実行される方法。
7. 請求項１に記載のコンピュータにより実行される方法において、
   前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
   前記物体の前記画像に基づいて前記物体の識別をサーバから受信し、
   前記データベース内の記憶された前記データセットとの前記画像の前記第１比較に基づいて、記憶された前記データセットに前記物体の１つ以上の詳細が不足していると判定し、
   前記物体に関連する追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
   前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記１つ以上のセンサから前記物体に関連する追加データを取得し、
   前記追加データと前記データベース内の記憶された前記データセットとの前記第２比較に基づいて、前記物体に関連する前記追加データは記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
   記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体に関連する前記追加データに基づいて、前記インターフェース上にゲームプレイに対する前記１つ以上のポイントを前記ユーザに提供する、ことをさらに含む、コンピュータにより実行される方法。
8. 請求項７に記載のコンピュータにより実行される方法において、
   前記物体の追加データに前記物体に関連する前記識別をラベル付けし、
   前記物体に関連する追加データを前記データベースに記憶すること、をさらに含む、コンピュータにより実行される方法。
9. 請求項７に記載のコンピュータにより実行される方法において、
   前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき前記物体の姿勢を示す情報を提供することを含む、コンピュータにより実行される方法。
10. 請求項７に記載のコンピュータにより実行される方法において、
    前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき時刻を提供することを含む、コンピュータにより実行される方法。
11. 請求項１に記載のコンピュータにより実行される方法において、
    前記環境の前記画像に基づいて、前記環境内の部屋の識別をサーバから受信し、
    前記環境の前記部屋と関連する物体のカテゴリを判定し、
    前記コンピューティング装置の前記１つ以上のセンサを用いて、前記環境の前記部屋と関連する物体の前記カテゴリ内の少なくとも１つの物体に関連するデータを取得する要求を示す第２コマンドを前記ユーザに提供することとをさらに含む、請求項１に記載のコンピュータにより実行される方法。
12. 請求項１に記載のコンピュータにより実行される方法において、
    前記環境のビューに重ね合わせた拡張現実（ＡＲ：Augumenet Reality）グラフィカルキャラクタをコンピューティング装置のディスプレイに提供し、
    前記データベース内の記憶された前記データセットが前記環境における前記特徴の１つ以上の詳細が不足している前記環境の領域を巡回するための指標として、前記ＡＲグラフィカルキャラクタを前記コンピューティング装置の前記ディスプレイ上で移動させる、ことをさらに含む、コンピュータにより実行される方法。
13. 請求項１に記載のコンピュータにより実行される方法において、
    前記環境における前記特徴は、アクションを実行する人物であり、
    前記データベース内の記憶された前記データセットとの前記第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴の１つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の画像に関連する前記アクションの識別が不足していると判定することを含み、
    前記アクションの識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、コンピュータにより実行される方法。
14. 請求項１に記載のコンピュータにより実行される方法において、
    前記環境における前記特徴は、人物の顔であり、
    前記データベース内の記憶された前記データセットとの前記第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴の１つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の顔の画像に関連する感情の識別が不足していると判定することを含み、
    前記感情の識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、コンピュータにより実行される方法。
15. 請求項１に記載のコンピュータにより実行される方法において、
    前記環境における前記特徴は、人物であり、
    前記コマンドは、前記人物に１つ以上のアクションを実行する要求をさらに示し、
    前記コンピューティング装置の前記１つ以上のセンサから、前記１つ以上のアクションを実行する前記人物の追加画像を含む前記環境における前記特徴の前記追加データを取得することをさらに含む、コンピュータにより実行される方法。
16. コンピューティング装置であって
    カメラと、
    １つ以上のセンサと、
    少なくとも１つのプロセッサと、
    メモリと、
    前記メモリに記憶され、前記少なくとも１つのプロセッサによって実行されるプログラム命令と、を備え、前記プログラム命令は、前記コンピューティング装置に、
    前記カメラから環境の画像を取得し、
    前記画像を解析して、前記環境における特徴を識別し、
    データベース内の記憶された、前記環境内の物体および／または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足しているか否かを判定し、
    前記データベースに記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
    前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記１つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
    前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
    前記追加データと前記データベース内の記憶された前記データセットとの第２比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
    前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを前記ユーザに提供する、ことを含む動作を実行させる、
    コンピューティング装置。
17. 請求項１６に記載のコンピューティング装置において、
    前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
    前記少なくとも１つのプロセッサは、前記プログラム命令を実行して、前記コンピューティング装置に、
    前記物体の前記画像に基づいて、サーバから前記物体の識別を受信し、
    前記データベース内の記憶された前記データセットとの前記画像の前記第１比較に基づいて、記憶された前記データセットに前記物体の１つ以上の詳細が不足していると判定し、
    前記物体の追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
    前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記１つ以上のセンサから前記物体に関連する追加データを取得し、
    前記追加データと前記データベース内の記憶された前記データセットとの前記第２比較に基づいて、前記物体の追加データは、記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
    記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体の追加データに基づいて、前記インターフェース上にゲームプレイに対する前記１つ以上のポイントを前記ユーザに提供する、ことを含む動作をさらに実行させる、コンピューティング装置。
18. 請求項１７に記載のコンピューティング装置において、
    物体の前記コマンドを提供することは、前記物体に関連する追加データを取得すべき前記物体の姿勢を示す情報を提供することをさらに含む、コンピューティング装置。
19. コンピューティング装置によって実行されると、前記コンピューティング装置に機能を実現させる命令が記憶された非一時的なコンピュータ読み取り可能な媒体であって、前記機能は、
    コンピューティング装置のカメラから環境の画像を取得し、
    前記画像を解析して、前記環境における特徴を識別し、
    データベース内の記憶された、前記環境内の物体および／または前記環境を示すデータを含むデータセットと、前記画像から識別された前記特徴を示すデータとの第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足しているか否かを判定し、
    前記データベースに記憶された前記データセットに前記環境における前記特徴を示す１つ以上の詳細が不足していると判定された場合、前記環境における前記特徴に関連する追加データを取得する要求を示すコマンドをユーザに前記コンピューティング装置によって提供し、
    前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の１つ以上のセンサから前記環境における前記特徴に関連する追加データを取得し、
    前記追加データを解析して、前記環境における前記特徴を示す1つ以上の追加の詳細を識別し、
    前記追加データと前記データベース内の記憶された前記データセットとの第２比較に基づいて、前記追加データから識別された前記追加の詳細は、記憶された前記データセットに不足している詳細を含んでいるか否かを判定し、
    前記追加データから識別された前記追加の詳細が、記憶された前記データセットが不足している前記詳細を含んでいると判定された場合、前記コンピューティング装置のインターフェース上にゲームプレイに対する１つ以上のポイントを前記ユーザに提供する、ことを含む、非一時的なコンピュータ読み取り可能な媒体。
20. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記機能は、
    前記環境のビューに重ね合わせた拡張現実（ＡＲ）グラフィカルキャラクタをコンピューティング装置のディスプレイに提供し、
    前記データベース内の記憶された前記データセットに前記環境における前記特徴の１つ以上の詳細が不足している前記環境の領域を巡回するための指標として、前記ＡＲグラフィカルキャラクタを前記コンピューティング装置の前記ディスプレイ上で移動させる、ことをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
21. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記要求は、前記環境における前記特徴に関連する追加データを取得すべき前記環境の１つ以上の領域を示す、非一時的なコンピュータ読み取り可能な媒体。
22. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境は住宅を含み、前記環境における前記特徴は前記住宅内の特定の部屋であり、
    前記コマンドを提供することは、前記住宅の前記特定の部屋に関連する追加データを取得することの要求を示す情報を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。
23. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記コンピューティング装置の前記１つ以上のセンサは、深度カメラを含み、
    前記コンピューティング装置の前記１つ以上のセンサから前記環境における前記特徴に関連する追加データを取得することは、前記環境における前記特徴の１つ以上の深度画像を取得することを含む、非一時的なコンピュータ読み取り可能な媒体。
24. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記コンピューティング装置の前記１つ以上のセンサは、マイクロホンを含み、
    前記コンピューティング装置の前記１つ以上のセンサから前記環境における前記特徴に関連する前記追加データを取得することは、前記マイクロホンを用いて前記環境から音声を取得することを含む、非一時的なコンピュータ読み取り可能な媒体。
25. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境における前記特徴に関連する前記追加データに基づいて前記環境のフロアプランを生成することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
26. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境の前記画像は、物体の画像を含み、前記環境における前記特徴は前記物体であり、
    前記物体の前記画像に基づいて前記物体の識別をサーバから受信し、
    前記データベース内の記憶された前記データセットとの前記画像の前記第１比較に基づいて、記憶された前記データセットに前記物体の１つ以上の詳細が不足していると判定し、
    前記物体に関連する追加データを取得するさらなる要求を前記コマンドで前記ユーザに提供し、
    前記コマンドに従って１つ以上のセンサを用いるアクションを前記ユーザが実行したことに呼応して、前記コンピューティング装置の前記１つ以上のセンサから前記物体に関連する追加データを取得し、
    前記データベース内の記憶された前記データセットとの前記追加データの前記第２比較に基づいて、前記物体に関連する前記追加データは記憶された前記データセットが不足している前記物体の詳細を含んでいると判定し、
    記憶された前記データセットが不足している前記物体の詳細を含んでいる前記物体に関連する前記追加データに基づいて、前記インターフェース上にゲームプレイに対する前記１つ以上のポイントを前記ユーザに提供する、ことをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
27. 請求項２６に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記物体の追加データに前記物体に関連する前記識別をラベル付けし、
    前記物体に関連する追加データを前記データベースに記憶すること、をさらに含む、非一時的なコンピュータ読み取り可能な媒体。
28. 請求項２６に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき前記物体の姿勢を示す情報を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。
29. 請求項２６に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記コマンドを提供することは、前記物体に関連する前記追加データを取得すべき時刻を提供することを含む、非一時的なコンピュータ読み取り可能な媒体。
30. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境の前記画像に基づいて、前記環境内の部屋の識別をサーバから受信し、
    前記環境の前記部屋と関連する物体のカテゴリを判定し、
    前記コンピューティング装置の前記１つ以上のセンサを用いて、前記環境の前記部屋と関連する物体の前記カテゴリ内の少なくとも１つの物体に関連するデータを取得する要求を示す第２コマンドを前記ユーザに提供することとをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
31. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境における前記特徴は、アクションを実行する人物であり、
    前記データベース内の記憶された前記データセットとの前記第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴の１つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の画像に関連する前記アクションの識別が不足していると判定することを含み、
    前記アクションの識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
32. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境における前記特徴は、人物の顔であり、
    前記データベース内の記憶された前記データセットとの前記第１比較に基づいて、記憶された前記データセットに前記環境における前記特徴の１つ以上の詳細が不足していると判定することは、記憶された前記データセットに前記人物の顔の画像に関連する感情の識別が不足していると判定することを含み、
    前記感情の識別を取得する要求をコマンドで前記ユーザに提供することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。
33. 請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体において、
    前記環境における前記特徴は、人物であり、
    前記コマンドは、前記人物に１つ以上のアクションを実行する要求をさらに示し、
    前記コンピューティング装置の前記１つ以上のセンサから、前記１つ以上のアクションを実行する前記人物の追加画像を含む前記環境における前記特徴の前記追加データを取得することをさらに含む、非一時的なコンピュータ読み取り可能な媒体。

Images