JP7680200B2 - ロボット装置を制御するための方法、装置及び非一時的なコンピュータ可読媒体 - Google Patents

Description

本開示の特定の局面は、一般に、物体検知に関し、より詳細には、環境における物体の空間的及び時間的知見に基づいて、場所外物体を検知するための装置及び方法に関する。

ロボット装置は、環境内の物体を識別するために、カメラ等の一つ又は複数のセンサを使用してもよい。識別された各物体の位置を推定することができる。更に、ラベルが、ローカライズされた各物体に割り当てられてもよい。従来の物体ローカライズシステムでは、推定された各物体の位置は、推定タイムスタンプと共にデータベースに記憶されてもよい。

従来の物体検知システムは、環境内の物体を検知することに限定され得る。本発明の目的は、物体検知装置の、物体が適所外にあることを検知する能力を改善することである。又、ロボットシステムは、物体が適所外にあることを検出するとアクションを実行することが望ましい。

本開示の一態様では、観測された物体の位置に基づいてロボット装置を制御するための方法が開示される。本方法は、環境内の物体を観測することを含む。又、本方法は、観測された物体の位置のための確率分布を生成することを含む。本方法は、物体が閾値未満の位置確率をもって環境内の位置にあるときに、ロボット装置がアクションを実行するように制御することを更に含む。

本開示の別の態様では、非一時的なプログラムコードが記録された非一時的なコンピュータ可読媒体が開示される。プログラムコードは、観測された物体の位置に基づいてロボット装置を制御するためのものである。プログラムコードは、プロセッサによって実行され、環境内の物体を観測するプログラムコードを含む。又、本プログラムコードは、観測された物体の位置の確率分布を生成するためのプログラムコードを含む。本プログラムコードは、物体が閾値未満の位置確率をもって環境内の位置にあるときにアクションを実行するようにロボット装置を制御するプログラムコードを更に含む。

本開示の別の態様は、観測された物体の位置に基づいてロボット装置を制御するための装置を対象とする。装置は、メモリと、メモリに結合された１つ以上のプロセッサとを有する。プロセッサは、環境内の物体を観測するように構成されている。又、プロセッサは、観測された物体の位置の確率分布を生成するように構成される。プロセッサは、物体が閾値未満の位置確率をもって環境内の位置にあるときにアクションを実行するするようにロボット装置を制御するように更に構成される。

これは、以下の詳細な説明がよりよく理解され得るために、本開示の特徴及び技術的利点をかなり広く概説した。本開示の更なる特徴及び利点は、以下に記載される。本開示は、本開示と同じ目的を実行するための他の構造を修正又は設計するための基礎として容易に利用され得ることが、当業者によって理解されるべきである。そのような同等の構成が、添付の特許請求の範囲に記載される本開示の教示から逸脱しないことも、当業者によって理解されるべきである。本発明の特徴であると考えられる新規な特徴は、その構成及び動作方法の両方に関して、更に物体及び利点と共に、添付の図面と関連して考察される場合、以下の記載からより良く理解されるであろう。しかし、各図は、例示及び説明の目的のためだけに提供され、本開示を限定する定義としては意図されないことが明確に理解されるべきである。

本開示の特徴、性質、及び利点は、図面と併せて以下に記載される詳細な説明からより明らかになり、図面において、同じ参照符号は、全体を通して対応して識別される。

本開示の一実施形態による環境のロボットを例示する図である。 本開示の一態様によるクラスタリング分析マップの例を示す図である。 物体の位置を経時的に観測することによって、環境内の物体位置のクラスタリング分析マップを生成する例を示す図である。 本開示の一態様による環境の実例を例示する図である。 本開示の一態様によるコストマップの実例を例示する図である。 本開示の一態様による、一定期間に亘って積分された物体位置を有するコストマップの実例を例示する図である。 本開示の一実施形態に係る物体位置装置のハードウェア構成を例示する図である。 本開示の一態様による観測された物体の位置に基づいてロボット装置を制御するためのフローチャートを示す図である。

添付の図面に関連して以下に記載される詳細な説明は、様々な構成の説明として意図されており、本明細書で説明される概念が実施され得る唯一の構成を表すことを意図していない。詳細な説明は、様々な概念の完全な理解を提供する目的で、特定の詳細を含む。しかし、これらの概念は、これらの特定の詳細なしに実施されてもよいことは、当業者には明らかであろう。いくつかの例では、周知の構成及び構成要素は、そのような概念を曖昧にすることを回避するために、ブロック図の形式で示される。

視覚的物体分類を実行する従来のシステム（例えば、物体検出ネットワーク）は、偽陽性及び偽陰性検出を生成する。偽陽性及び偽陰性の検出は、検出の精度を低下させる。視覚的物体検知のためのシステム又は方法は、物体位置を分析するために検知された物体位置を推定するシステム又は方法と組み合わせるてもよい。検出された視覚的物体は、バウンディングボックスによって識別することができる。物体の位置の分析は、クラスタ分析と呼ばれてもよい。

クラスタ分析から誤りを検出してもよい。更に、クラスタ分析に基づいて真の物体位置を推定してもよい。クラスタ分析は、静止環境を仮定し、この仮定を利用して、環境内の物体の数を計数し、それぞれの物体の推定真位置を改善し、空間クラスタの一部ではない検出（例えば、偽陽性検出）を廃棄する。

これに加えて、又はこれに代えて、客観的位置推定値は、確率密度関数を用いて分析されてもよい。確率密度関数（例えば、確率密度分析）は、静的環境を仮定しない。確率密度分析では、クラスタ分析、物体計数、誤検知推定は使用しない。一構成では、物体の空間的及び時間的探索は、確率密度分析に基づいて実行されてもよい。

物体の空間的及び時間的探索は、場所外物体を検出するために使用されてもよい。例えば、ロボット装置は、位置に横たわる人間を検出することができる。位置は、人間が横たわる確率の高い領域（例えば、ベッド）又は確率の低い領域（例えば、階段の近傍の床）であってもよい。位置が低確率領域である場合、ロボット装置は人間を支援することができる。

ロボット装置は、一つ又は複数のセンサを使用して、環境内の物体を識別することができる。センサは、赤－緑－青（ＲＧＢ）カメラ、無線検出測距（ＲＡＤＡＲ：radio detection and ranging）センサ、光検出測距（ＬｉＤＡＲ：light detection and ranging）センサ、又は別の種類のセンサを含むことができる。センサによって捕捉された画像において、１つ以上の識別された物体の位置が推定されてもよい。各物体の位置の推定は、推定タイムスタンプと共に記憶されてもよい。推定タイムスタンプは、物体が推定位置にあった時間を識別する。１つの構成では、深度カメラにより生成された点群で検出バウンディングボックス重心を登録することにより、３次元（３Ｄ）物体位置を決定する

ほとんどのシステムでは、画像は、毎秒１０フレーム／秒のようなフレーム数／秒で生成される。更に、それぞれのフレームは、複数の物体を含むことができる。フレームの数とフレーム毎の物体の数は、従来の物体検知システムで使用される記憶資源の量を増大させる。更に、従来の物体検知装置は、画像を処理するために、より多くの処理資源を使用するかもしれない。

従来の物体検知システムは、偽陽性及び偽陰性の位置推定値を生成することもあり得る。つまり、フレーム内で検出された物体毎に、一部の検出が有効な場合と、一部が無効な場合がある。。

本開示の一態様は、環境内の物体の個数を推定するために、密度ベースのクラスタ関数を使用するようにされる。この推定は、真の物体位置に対する観測密度が高密度閾値よりも大きいという前提に基づいている。更に、偽陽性物体位置の観測密度は、低密度閾値よりも小さい。

本開示では、簡略化のために、ロボット装置をロボットと称することができる。更に、物体は、環境内に静止している及び動いている物体を含んでもよい。物体は、人工物体（例えば、椅子、机、車、本等）、天然物体（例えば、岩、樹木、動物等）、及び人間を含んでもよい。

図１は、本開示の一態様による、環境１０２内のロボット１００を例示する。図１では、ロボット１００は人間型ロボットであり、環境１０２は台所である。本開示の態様は、人間型ロボットに限定されない。ロボット１００は、ドローン又は車両のような任意のタイプの自律型又は半自律型装置であってよい。更に、ロボット１００は、任意の種類の環境にあってもよい。

１つの構成において、ロボット１００は、ロボット１００の一つ又は複数のセンサを介して、環境１０２の一つ又は複数の画像を取得する。ロボット１００は、画像毎に１つ以上の物体を位置特定することができる。位置特定は、画像内の物体の位置（例えば、座標）を決定することを指す。従来の物体検知システムでは、画像内の物体の位置を示すためにバウンディングボックスを使用することができる。位置特定された物体は、椅子１０４のような、１つ以上の特定のクラスの物体、又は画像内のすべての物体であってもよい。物体は、予め訓練された物体検出ニューラルネットワークのような物体検出装置を介して位置特定されてもよい。

上述したように、画像（例えば、フレーム）内の一つ又は複数の識別された物体は、位置特定されてもよい。１つの構成では、物体位置推定機は、環境において経時的に観測される。具体的には、クラスタ分析は、様々な時間ウィンドウ（例えば、様々な期間）に亘って物体位置推定機に適用されてもよい。

図２は、本開示の態様によるクラスタ分析マップ２００の一例を示す。図２の実施例では、物体位置推定機は、環境内において経時的に観測された。各ノード２０２、２０８は、環境内の物体の推定位置の位置を識別する。図２に示すように、いくつかのノード２０２（例えば、非クラスタ化ノード２０２）は、クラスタに関連付けられていなくてもよい。他のノード２０８（例えば、クラスタ内ノード２０８）は、重心２０４の周りにクラスタ化されてもよい。非クラスタ化ノード２０２は、偽陽性と見なされてもよい。簡潔にするために、図２の非クラスタ化ノード２０２及びクラスタ内ノード２０８のそれぞれについてラベルは提供されていない。

図２の例では、クラスタ内ノード２０８は、エッジ・ノード２１０又はコア・ノード２１２であってもよい。エッジ・クラスタ内ノード２１０のサイズ（例えば、直径）は、コア・クラスタ内ノード２１２のサイズよりも小さい。エッジ・クラスタ内ノード２１０それぞれは、１つの近隣ノードに関連付けられ、近隣ノードの距離は、距離閾値未満である。コア・クラスタ内ノード２１２それぞれは、１つの近隣ノードに関連付けられ、近隣ノードの距離は、距離閾値未満である。一構成では、環境は３Ｄ環境であるため、重心２０４は３Ｄ重心である。重心２０４は、物体の真の位置に関連付けることができる。

通常、クラスタ内ノード２０２は、同じ物体又は同じ種類の物体の位置の推定である。例えば、オフィスでは、オフィス家具の位置は、ペンや用紙等のオフィス用品の位置よりも動的ではないかもしれない。位置のエリア内のノード２０２は、クラスタ化されてもよい。例えば、事務所の椅子の位置に対応するノード２０２は、位置が観測の過程に亘って特定のエリア内にある場合に、クラスタを形成することができる。３Ｄ重心２０４（例えば、平均重心）は、各クラスタについて決定されてもよい。

密度ベースのクラスタ化の場合、物体位置の推定の精度は、それぞれのクラスタの３Ｄ重心２０４に基づいて決定されてもよい。３Ｄ重心２０４に基づいて物体の位置を推定することは、推定の精度を改善することができる。更に、物体の位置特定の精度は、それぞれのクラスタの３Ｄ標準偏差に基づいて決定されてもよい。それぞれのクラスタの３Ｄ平均は、物体の真の位置を推定するために使用されてもよい。標準偏差は、クラスタの分散を決定するために使用されてもよい。標準偏差が閾値よりも大きい場合、物体の真の位置に不確実性が存在する可能性がある。物体の位置の不確実性は、標準偏差の分散が減少すると減少する。したがって、基準偏差は、物体の位置の精度に相関する。

図３は、本開示の態様による、クラスタ分析マップ３５０を生成する例を示す。図３に示すように、クラスタ分析マップ３５０は、環境３００における物体３０２、３０４の観測に基づく。図３において、ロボットは、一定期間に亘って環境３００における物体（例えば、椅子３０４及びテーブル３０２）の位置を観測してもよい。ロボットは、観測毎に椅子３０４及びテーブル３０２の位置を位置決めしてもよい。

多数の観測の後、クラスタ分析マップ３５０を生成するためにロボットはクラスタ分析を実行してもよい。クラスタ分析マップ３５０は、クラスタ内ノード３１４及び非クラスタ化ノード３１６を含む。非クラスタ化ノード３１６は、環境３００から分離された観測値である。クラスタ内ノード３１４は、同じ物体３０４、３０２の反復観測と考えてもよい。各重心３１８、３２０、３２２は真の物体位置と考えられる。例えば、重心３１８、３２２は椅子３０４の推定真位置に対応する。重心３２０は、テーブル３０２の推定真位置に対応する。重心３１８、３２０、３２２は、３Ｄ重心であってもよい。

偽陽性は、従来の畳み込みニューラルネットワーク検出器では一般的である。クラスタ分析（例えば、密度ベースのクラスタ化）は、空間環境内の多数の物体の推定を改善し、それによって偽陽性を低減する。密度ベースのクラスタ化を使用して、同様又は同一の位置における多数の検出のための密度基準を設定することができる。したがって、同じ物体の反復観測を考慮することができる。すなわち、１つの構成では、密度ベースのクラスタ化を使用して、複数の観測を考慮し、孤立した観測を廃棄する。更に、密度ベースのクラスタ化は、繰り返される観測を統一された物体の例に融合することができる。それぞれのクラスタは、瓶又は植物のような物体の例を表す。

図２の例では、各クラスタは、物体の多数の観測に基づいて１つの物体に対応している。例えば、物体の数百又は数千の個々の検出をクラスタ毎に使用されてもよい。更に、クラスタ化分析は、位置推定の質を決定するために使用されてもよい。すなわち、クラスタ分析は、位置推定機がどれだけ良好に実行しているかを決定することになる。

一構成では、経時的に物体位置を観測することによって、環境内の物体位置の確率分布を生成することができる。すなわち、確率密度関数（例えば、確率密度分析）は、地図上の任意の所与の位置で物体を発見する確率を表すために、一組の観測を用いて連続分布を推定する。したがって、確率密度関数は、空間環境内の物体についての空間的及び時間的知見を表すために使用されてもよい。

推定された確率密度関数に対応するデータのメモリフットプリント（memory footprint）は、従来の物体位置特定システムに対応するデータのメモリフットプリント未満である。例えば、従来の物体位置特定システムは、１ＧＢの物体観測ログを生成することができる。対照的に、推定確率密度関数は５０ＫＢであってもよい。低減されたメモリフットプリントのために、カーネル（kernel）密度推定は、ロボット装置間で転送されてもよい。したがって、ロボット装置は、環境内の物体位置に関する知見を共有してもよい。

上述したように、確率密度関数分析は全ての観測形態を用いて連続分布を推定する。環境内の物体位置の確率分布は、経時的に物体位置を観測することによって生成される。確率分布からランダムサンプルを抽出してもよい。分布からのランダムサンプルは、確率が低い領域とは対照的に、確率が高い領域にある可能性が高くなり得る。加えて、マップ格子にわたる分布を評価することは、物体を含む可能性がより高いマップの領域を示すヒートマップ（例えば、コストマップ）を提供することになり得る。

ロボット装置は、物体の探索期間を短縮するために、高確率の領域をサンプリングすることができる。物体が高確率領域（例えば、最も可能性の高い位置）にない場合、物体探索は、低確率の領域をサンプリングすることができる。この確率分布は、高確率領域と低確率領域を区別することにより、探索時間を短縮する可能性がある。１つの構成において、物体がありそうにない位置（例えば、低確率領域）で発見された場合、ロボット装置は、物体を最も可能性の高い位置（例えば、高確率領域）に戻してもよい。

別の例として、特定の物体は、特定の高確率領域及び低確率領域に対応してもよい。例えば、椅子の第１セットは台所のダイニングテーブル用であり、椅子の第２セットは正式なダイニングテーブル用である。この例では、台所は、椅子の第１セットにとって高い確率の領域であり、台所の外側の領域は、低い確率の領域である。例えば、正式なダイニングルームは、椅子の第１セットにとって低確率領域であってもよい。更に、正式なダイニングルームは、椅子の第２セットにとって高い確率の領域であり、台所は、椅子の第２セットにとって低い確率の領域である。

図４Ａは、本発明の態様による環境４００のイメージを示す。図４Ａの例では、環境４００は道路４０２と歩道４２４とを含む。ある構成では、ロボットが環境４００を経時的に観測する。例えば、ロボットは、２４時間にわたって環境４００を観測することができる。観測に基づいて、ロボットは、環境４００内の物体位置の確率分布を生成する。物体は、人間又は他のタイプの物体であってもよい。確率分布は、コストマップを生成するために使用されてもよい。

図４Ｂに示すように、コストマップ４５０は、環境内の物体の確率密度分析に基づいて生成されてもよい。コストマップ４５０は、２Ｄ又は３Ｄ確率密度関数に基づいてもよい。したがって、エゴビュー（ego view）又はトップダウンビュー（top-down view）等、任意のタイプのマップを生成してもよい。

コストマップ４５０では、低確率領域は高確率領域から区別されてもよい。各領域は確率値を割り当てられてもよい。確率値又は確率値範囲は、色又は他の視覚的表現によって視覚化されてもよい。例えば、確率の低い領域の色又はシェーディングは、確率の高い領域とは異なっていてもよい。異なる粒度レベルが占有確率に割り当てられてもよい。例えば、図４Ｂに示すように、確率領域は、低４０４、軽４０６、中４０８、高４１０、又は非常に高４１２であってもよい。位置に物体が存在する可能性は、コストマップ内の位置に割り当てられた数値から決定されてもよい。物体が位置に存在する確率は、物体確率と呼ばれてもよい。

図４Ｃは、ある期間に亘って積分された物体位置４５２を有するコストマップ４５０の実例を例示する。図４Ｃの例では、期間は２４時間であってもよい。時間、日、週、月等の他の期間も考えられる。

図４Ｃの例では、各物体位置４５２は、人間等の物体の位置を表す。コストマップ４５０は、確率密度分析に基づいて生成される。上述のように、確率密度分析は、コストマップ４５０上の任意の所与の位置で物体を見つける確率を表すために、すべての観測値を使用して連続分布を推定する。コストマップは、データに適合するいくつかの２次元ガウス関数を持つガウス混合モデルと見なしてもよい。

それぞれの物体又は物体のタイプは、具体的な高確率領域及び低確率領域に対応してもよい。例えば、家庭環境内の台所用品にとって、高い確率は台所であり、低い確率の領域はバスルームであり得る。別の例として、家庭環境内の衣類にとって、高確率領域は一つ又は複数ののクローゼットであり、低確率領域は台所であり得る。本開示の態様によれば、ロボット装置は、ユーザの指示又はユーザの介入なしに、環境内の物体を「自宅」位置（例えば、高確率領域）に戻してもよい。

上述したように、コストマップは、確率分布から生成されてもよい。コストマップは、環境のマップ上にオーバーレイされてもよい。物体が環境内で発見される可能性が高い場所に対する正確な時空間確率密度関数は、ありそうにない場所での物体の自動的な検出を可能にする。例えば、物体検知システムは、人間がありそうもない場所で見つかったことを自動的に検知してもよい。

検出は、環境内の位置及び／又は物体の姿勢に基づく。例えば、人間は台所に立っている可能性が高く、人間は台所に横たわる可能性が低い。別の例として、人間は階段の下に立っており、階段の下に横たわる可能性は低い。

上述したように、一つの構成では、物体検知システムは、経時的に物体の位置を観測することによって、人間のような一つ又は複数の物体の位置のための確率分布を生成する。簡単にするために、物体として人間を例示する。更に、本開示の態様は、人間を検出することに限定されず、他の物体のために企図される。

物体検知システムは、ロボットの構成要素であってもよいし、家庭用防犯カメラのような環境監視システムであってもよい。物体が許容可能な位置の一つとは別の位置で識別された場合、装置又はロボットは警報を発することができる。例えば、警報は緊急サービスの呼び出しであってもよい。更に、物体が許容可能な位置で識別されない場合、ロボットは、人間の探索を開始してもよい。

例えば、環境内の人間の観測された位置に基づいて、システムは、許容可能な位置（例えば、ありそうな位置）についての確率分布を生成する。ここで、人間は、閾値よりも長い間、不動であってもよい。許容可能な位置は、中４０８、高４１０、及び／又は非常に高い４１２（図４Ｂ～Ｃ参照）等、閾値よりも大きい確率領域（例えば、位置確率）に対応してもよい。許容できない位置（例えば、ありそうもない位置）は、低４０４及び／又は軽４０６等の閾値未満である確率領域（例えば、位置確率）に対応してもよい。

上述したように、許容可能な位置とは異なる位置は、ありそうもない位置と呼ばれることがある。許容可能な位置は、可能性のある位置と呼ばれることもある。例えば、廊下の床は、不動の人間にとってありそうもない位置である。許容可能な位置を決定した後、装置は環境を監視することができる。

ありそうもない位置で物体を検出すると、システムは警報を発してもよい。一つの構成では、物体が予測しない位置にある期間も決定される。閾値よりも期間が大きい場合、装置は警報を発してもよい。例えば、閾値より長い期間、人間がありそうもない位置で動かない場合に警報を発してもよい。

警報は、一つ又は複数のアクションを起動する場合がある。一構成では、警報は、ロボットを起動して、人間との口頭対話を開始するしてもよい。更に、又は代替的に、ロボットは、テレプレゼンス（telepresence)評価のために非常連絡するを呼び出してもよい。ロボットは、人間を許容可能な位置に移動させようと試みてもよい。又、警報は胸部圧迫等の緊急サービスを実行するようにロボットを起動させてもよい。

本開示の一態様によれば、システムは、任意の所与の時間に人々のパターン及び人々が占有する空間を観測する。人間が予想される位置にない場合、システムは能動的に人間を探してもよい。人間が反応しない状態で発見された場合は、システム又はロボットが緊急サービスに連絡してもよい。

図５は、本開示の一態様による、物体位置システム５００のためのハードウェア実施形態を例示する図である。物体位置システム５００は、車両、ロボット装置、又は別の装置の構成要素であってもよい。例えば、図５に示すように、物体位置システム５００は、ロボット５２８（例えば、ロボット装置）の構成要素である。

本開示の一態様は、ロボット５２８の構成要素である物体位置システム５００に限定されない。バス、ボート、ドローン、又は車両等の他のシステムも、物体位置システム５００を使用することが考えられる。ロボット５２８は、少なくとも自律動作モード及び手動動作モードで動作してもよい。

物体位置システム５００は、一般にバス５５０によって表されるバスアーキテクチャで実現されてもよい。バス５５０は、物体位置システム５００の具体的な用途及び総合的な設計上の制約に応じて、任意の数の相互接続バス及びブリッジを含んでもよい。バス５５０は、プロセッサ５２０、通信モジュール５２２、位置モジュール５１８、センサモジュール５０２、移動モジュール５２６、ナビゲーションモジュール５２５、及びコンピュータ可読媒体５１５によって表される、１つ又は複数のプロセッサ及び／又はハードウェアモジュールを含む様々な回路を一緒にリンクする。バス５５０は、タイミングソース、周辺装置、電圧レギュレータ、及び電力管理回路のような様々な他の回路をリンクしてもよく、これらは当技術分野では周知であり、従って、これ以上説明しないであろう。

物体位置システム５００は、プロセッサ５２０に結合された送受信機５１６、センサモジュール５０２、物体位置分析モジュール５０８、通信モジュール５２２、位置モジュール５１８、移動モジュール５２６、ナビゲーションモジュール５２５、及びコンピュータ可読媒体５１５を含む。送受信機５１６は、アンテナ５５５に結合される。送受信機５１６は、伝送媒体を介して様々な他のデバイスと通信する。例えば、送受信機５１６は、ユーザ又はリモートデバイスからの伝達を介してコマンドを受信してもよい。別の例として、送受信機５１６は、統計及び他の情報を物体位置分析モジュール５０８からサーバ（図示せず）に送信してもよい。

物体位置システム５００は、コンピュータ可読媒体５１５に結合されたプロセッサ５２０を含む。プロセッサ５２０は、本開示による機能性を提供するコンピュータ可読媒体５１５上に記憶されたソフトウェアの実行を含む処理を実行する。ソフトウェアは、プロセッサ５２０によって実行されると、物体位置システム５００に、ロボット５２８、又はモジュール５０２、５０８、５１５、５１６、５１８、５２０、５２２、５２５、５２６のいずれかのような特定の装置について説明した種々の機能を実行させる。コンピュータ可読媒体５１５は、ソフトウェアの実行時にプロセッサ５２０によって操作されるデータを記憶するためにも使用されてもよい。

センサモジュール５０２は、第１のセンサ５０６及び第２のセンサ５０５等の異なるセンサを介して測定値を得るために使用されてもよい。第１のセンサ５０６は、２Ｄ画像を捕捉するための、立体カメラ又は赤－緑－青（ＲＧＢ）カメラのような視覚センサであってもよい。第２のセンサ５０５は、光検出測距（ＬＩＤＡＲ）センサ又は無線検出測距（ＲＡＤＡＲ）センサのような測距センサであってもよい。もちろん、本開示の態様は、センサ５０５、５０６のいずれかについて、例えば、熱センサ、ソナーセンサ、及び／又はレーザセンサ等の他のタイプのセンサも考えられ、前述のセンサに限定されない。

第１のセンサ５０６及び第２のセンサ５０５の測定値は、プロセッサ５２０、センサモジュール５０２、物体位置分析モジュール５０８、通信モジュール５２２、位置モジュール５１８、移動モジュール５２６、ナビゲーションモジュール５２５のうちの１つ又は複数によって、本明細書で説明する機能を実施するためにコンピュータ可読媒体５１５とともに処理され。一構成では、第１のセンサ５０６及び第２のセンサ５０５によって捕捉されたデータは、送受信機５１６を介して外部装置に送信されてもよい。第１のセンサ５０６及び第２のセンサ５０５は、ロボット５２８に結合されてもよく、又はロボット５２８と通信してもよい。

位置モジュール５１８は、ロボット５２８の位置を決定するために使用されてもよい。例えば、位置モジュール５１８は、全地球測位システムを使用して、ロボット５２８の位置を決定してもよい。通信モジュール５２２は、送受信機５１６を介した通信を容易にするために使用されてもよい。例えば、通信モジュール５２２は、ＷｉＦｉ、ＬＴＥ（long term evolution）、５Ｇ等の異なるワイヤレスプロトコルを介して通信能力を提供するように構成されてもよい。又、通信モジュール５２２は、物体位置システム５００のモジュールではないロボット５２８の他の構成要素と通信するために使用されてもよい。

移動モジュール５２６は、ロボット５２８の移動を容易にするために使用されてもよい。別の例として、移動モジュール５２６は、モータ及び／又はバッテリ等の、ロボット５２８の一つ又は複数の動力源と通信してもよい。移動は、車輪、可動肢、プロペラ、トレッド、フィン、ジェットエンジン、及び／又は他の移動源を介して実行されてもよい。

又、物体位置システム５００は、移動モジュール５２６を介して、経路を計画するか、又はロボット５２８の移動を制御するためのナビゲーションモジュール５２５を含む。経路は、物体位置分析モジュール５０８を介して提供される情報に基づいて計画されてもよい。モジュールは、プロセッサ５２０内で実行される、コンピュータ可読媒体５１５内に常駐／格納される、プロセッサ５２０に結合された一つ又は複数のハードウェアモジュール、又はそれらの組み合わせであってもよい。

物体位置分析モジュール５０８は、センサモジュール５０２、送受信機５１６、プロセッサ５２０、通信モジュール５２２、位置モジュール５１８、移動モジュール５２６、ナビゲーションモジュール５２５、及びコンピュータ可読媒体５１５と通信してもよい。一構成において、物体位置分析モジュール５０８は、センサモジュール５０２からセンサデータを受信してもよい。センサモジュール５０２は、第１のセンサ５０６及び第２のセンサ５０５からセンサデータを受信してもよい。本開示の態様によれば、センサモジュール５０２は、データをフィルタリングして、ノイズを除去し、データを符号化し、データを復号し、データをマージし、フレームを抽出し、又は他の機能を実行してもよい。代替構成では、物体位置分析モジュール５０８は、第１のセンサ５０６及び第２のセンサ５０５から直接的にセンサデータを受信してもよい。

一構成では、物体位置分析モジュール５０８は、プロセッサ５２０、位置モジュール５１８、コンピュータ可読媒体５１５、第１のセンサ５０６、及び／又は第２のセンサ５０５からの情報に基づいて、物体の確率領域を決定する。確率領域は、観測された物体の物体位置の確率分布を生成することによって決定されてもよい。確率領域に基づいて、物体位置分析モジュール５０８は、ロボット５２８の一つ又は複数のアアクションを制御してもよい。

例えば、アクションは、動かない物体を持ち上げる、又は物体と通信する等、物体に支援を提供することができる。加えて、又は代わりに、アアクションは、緊急サービスへの連絡を含んでもよい。物体位置分析モジュール５０８は、プロセッサ５２０、位置モジュール５１８、通信モジュール５２２、コンピュータ可読媒体５１５、移動モジュール５２６、及び／又はナビゲーションモジュール５２５を介してアクションを実行することができる。

図６は、本開示の態様による観測された物体の位置に基づいてロボット装置を制御するためのフローチャート６００を示す。簡潔にするために、ロボット装置をロボットと呼ぶことにする。図６に示すように、ステップ６０２において、ロボットは環境内の物体を観測する。物体は、ＬｉＤＡＲ、ＲＡＤＡＲ、及び／又はＲＧＢカメラのようなロボットの一つ又は複数のセンサを介して観測されてもよい。物体は、数時間、数日等の一定期間に亘って観測することができる。

ステップ６０４において、ロボットは、観測された物体の位置のための確率分布を生成する。一構成では、ロボットは、一定期間に亘る物体の観測値を使用して連続分布を推定する。この構成では、確率分布は連続分布に基づく。

コストマップは、確率分布から生成されてもよい。このコストマップは、ヒートマップとも呼ばれることがある。コストマップは、環境のマップ上にオーバーレイされてもよい。コストマップは２Ｄ 又は３Ｄコストマップである。

ステップ６０６では、物体が閾値未満の位置確率をもって環境内の位置にあるときにアアクションを実行する。ロボットは、コストマップに基づいてアアクションを実行してもよい。例えば、ロボットは、物体を支援し及び／又は緊急サービスへ連絡してもよい。例えば、ありそうにもない位置（例えば、閾値未満の位置位置確率をもって）でロボットが人間を識別した場合、ロボットは緊急サービスに連絡してもよい。

本教示に基づいて、当業者は、本開示の技術的範囲が、本開示の任意の他の態様から独立して実装されるか、又はそれと組み合わされるかにかかわらず、本開示の任意の態様をカバーすることが意図されることを理解すべきである。例えば、、実装されてもよい装置又は方法は、示された任意の数の態様を使用して実行されてもよい。更に、本開示の技術的範囲は、記載された本開示の様々な態様に加えて、又はそれ以外の、他の構造、機能性、又は構造及び機能性を使用して実施されるそのような装置又はメソッドを網羅することが意図される。本開示の任意の態様は、請求項の一つ又は複数の要素によって具現化され得ることを理解されたい。

「例示的」という語は、本明細書では、「例、例又は例証として働く」ことを意味するために使用され、「例示的」として本明細書に記載される任意の態様は、必ずしも他の態様よりも好ましい又は有利であると解釈されるべきではない。

好ましい態様のいくつかの利益及び利点が言及されているが、本開示の技術的範囲は、特定の利益、使用、又は目的に限定されるようには意図されていない。むしろ、本開示の態様は、異なる技術、システム構成、ネットワーク、及びプロトコルに広く適用可能であることが意図されており、それらのいくつかは、図面及び好ましい態様の以下の説明において例として示されている。詳細な説明及び図面は、本開示を限定するのではなく単に例示するものであり、本開示の技術的範囲は、添付の特許請求の技術的範囲及びその均等物によって定義される。

本明細書で使用される「決定する」という用語は、多種多様なアクションを包含する。例えば、「決定する」は、計算、計算、処理、導出、調査、ルックアップ（例えば、表、データベース又は別のデータ構造においてルックアップする）、確認すること等を含んでもよく、更に、「決定する」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）などを含んでもよく、更に、「決定する」は、解決、選択、選択、確立すること等を含んでもよい。

本明細書で使用される、項目のリスト「のうちの少なくとも一つ」を指す語句は、単一部材を含むこれらの項目の任意の組み合わせを指す。一例として、「ａ、ｂ、又はｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、及びａ－ｂ－ｃを包含することが意図される。

本開示に関連して説明された様々な例示的な論理ブロック、部、及び回路は、本開示で説明された機能を実行するように特別に構成されたプロセッサを用いて実装又は実行されてもよい。プロセッサは、神経回路網プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）又は他のプログラマブルロジックデバイス（ＰＬＤ）、ディスクリートゲート又はトランジスタロジック、ディスクリートハードウェアコンポーネント、又は本明細書に記載の機能を実行するように設計された任意のそれらの組み合わせであってもよい。あるいは、プロセッシングシステムは、本明細書に記載される神経システムの神経モデル及びモデルを実施するための一つ又は複数の神経形態プロセッサを含んでもい。プロセッサは、本明細書で説明するように特別に構成されたマイクロプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンとしてもよい。又、プロセッサは、本明細書に記載されるように、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと関連する一つ又は複数のマイクロプロセッサ、又はそのような他の特殊な構成として実装されてもよい。

本開示に関連して説明される方法又はアルゴリズムのステップは、ハードウェアで直接的に、又はプロセッサによって実行されるソフトウェアモジュールで、あるいはその２つの組合せで具体化されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、読み取り専用ＲＯＭ、フラッシュメモリ、消去可能プログラマブル読み取り専用メモリ、電気的消去可能プログラマブル読み取り専用メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、又はコンピュータによってアクセス可能な命令又はデータ構造の形成で所望のプログラムコードを運んだり格納したりするために使用できる他の任意の媒体に存在してもよい。ソフトウェアモジュールは、単一の命令、又は多くの命令を含み、異なるプログラム間、及び複数の記憶媒体にまたがって、いくつかの異なるコードセグメントに分配されてもよい。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合されてもよい。代替案では、記憶媒体はプロセッサに集積されてもよい。

本明細書に開示される方法は、記載される方法を達成するための一つ又は複数のステップ又はアクションを含んでもよい。該方法のステップ及び／又はアクションは、特許請求の範囲から逸脱することなく、相互に交換されてもよい。言い換えれば、ステップ又はアクションの特定の順序が指定されない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、特許請求の範囲から逸脱することなく修正されてもよい。

説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又は任意のそれらの組み合わせで実現されてもよい。ハードウェアで実施される場合、ハードウェア構成例は、装置内の処理システムを含んでもよい。処理システムは、バスアーキテクチャを用いて実現することができる。バスは、処理システムの特定の用途及び全体的な設計制約に応じて、任意の数の相互接続バス及びブリッジを含んでもよい。バスは、プロセッサ、機械可読媒体、及びバスインタフェースを含む様々な回路を互いに連結してもよい。バスインタフェースは、ネットワーク・アダプタを、特にバスを介して処理システムに接続するために使用してもよい。ネットワーク・アダプタは、信号処理機能を実施するために使用してもよい。いくつかの態様では、ユーザインタフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティック等）もバスに接続されてもよい。バスは、タイミングソース、周辺装置、電圧レギュレータ、電力管理回路等、当技術分野で周知の様々な他の回路をリンクしてもよく、従って、これ以上説明しないであろう。

プロセッサは、機械可読媒体上に記憶されたソフトウェアの実行を含む、バスと処理の管理に責任を有してもよい。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はその他と呼ばれるかどうかにかかわらず、命令、データ、又は任意のそれらの組み合わせを意味するものと解釈されるべきである。

ハードウェアの実施形態では、機械可読媒体は、プロセッサとは別の処理システムの一部であってもよい。しかし、当業者には容易に理解されるように、機械可読媒体、又はその任意の部分は、処理システムの外部にあってもよい。例えば、機械可読媒体は、伝送線、データによって変調された搬送波、及び／又は装置とは別個のコンピュータプロダクトを含んでもよく、これらはすべて、バスインタフェースを介してプロセッサによってアクセスされてもよい。あるいは、又はそれに加えて、機械可読媒体、又はその任意の一部は、キャッシュファイル及び／又は特殊化されたレジスタファイルを有するケース等、プロセッサに集積されてもよい。説明される様々な構成要素は、ローカル構成要素等、具体的な位置を有するものとして説明することができるが、特定の構成要素が分散コンピューティングシステムの一部として構成される等、様々な方法で構成されてもよい。

機械可読媒体は、多数のソフトウェアモジュールを含むことができる。ソフトウェアモジュールは、伝送モジュールと受信モジュールとを含んでもよい。各ソフトウェアモジュールは、単一の記憶装置内に存在してもよく、複数の記憶装置に分散してもよい。一例として、ソフトウェアモジュールは、トリガ・イベントが発生したときにハード・ドライブからＲＡＭにロードされてもよい。ソフトウェアモジュールの実行中、プロセッサは命令の一部をキャッシュにロードして、アクセススピードを向上させてもよい。次に、一つ又は複数のキャッシュラインを、プロセッサによって実行するために特殊目的レジスタファイルにロードしてもよい。以下のソフトウェアモジュールの機能を参照する場合、そのソフトウェアモジュールからの指示を実行するときに、そのような機能がプロセッサによって実装されることが理解されるであろう。更に、本開示の態様は、そのような態様を実施するプロセッサ、コンピュータ、マシン、又は他の装置の機能の改善をもたらすことを理解されたい。

ソフトウェアで実施される場合、機能は、コンピュータ可読媒体上の一つ又は複数の命令又はコードとして記憶又は送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の記憶媒体を含む通信媒体との両方を含む。

更に、本明細書で説明される方法及び技術を実行するためのモジュール及び／又は他の適切な手段は、ダウンロードされることができ、及び／又は、そうでなければ、適用可能なユーザ端末及び／又は基地局によって取得されることができることを諒解されたい。例えば、そのような装置は、本明細書で説明される方法を実行するための手段の転送を容易にするために、サーバに結合されることができる。代替的に、本明細書で説明される様々な方法は、ユーザ端末及び／又は基地局が、記憶手段をデバイスに結合又は提供する際に様々な方法を得ることができるように、記憶手段を介して提供されることができる。更に、本明細書で説明される方法及び技術をデバイスに提供するための任意の他の任意の適切な技術を利用することができる。

当然のことながら、特許請求の範囲は、上述の正確な構成及び構成要素に限定されるものではないことを理解されたい。特許請求の範囲から逸脱することなく、上述の方法及び装置の構成、動作、及び細部において、様々な修正、変更、及び変形を行うことができる。

本開示は、以下の態様を含む。
（付記１）
観測された物体の位置に基づいてロボット装置を制御するための方法であって、
環境内の物体を観測することと、
前記観測された物体の位置の確率分布を生成することと、
物体が、閾値未満の位置確率をもって、前記環境内の位置にあるときにアクションを実行するように前記ロボット装置を制御すること、
を含む方法。
（付記２）
一定期間に亘って前記物体を観測することを更に含む、（付記１）に記載の方法。
（付記３）
前記一定期間に亘る前記物体の前記観測を使用して連続分布を推定することを更に含む（付記２）に記載の方法。
（付記４）
前記確率分布は前記連続分布に基づく、（付記３）に記載の方法。
（付記５）
前記確率分布からコストマップを生成することと、
前記コストマップを前記環境にオーバーレイすることと、
前記コストマップに基づいて前記ロボット装置を制御することと、
を更に含む（付記１）に記載の方法。
（付記６）
前記アクションは、前記物体に支援を提供すること、緊急サービスに連絡すること、又は、それらの組み合わせのうちの少なくとも１つを含む、（付記５）に記載の方法。
（付記７）
前記物体は人間である、（付記１）に記載の方法。
（付記８）
観測された物体の位置に基づいてロボット装置を制御するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサであって、
環境内の物体を観測し、
前記観測された物体の位置の確率分布を生成し、
前記物体が、閾値未満の位置確率をもって、前記環境内の位置にあるときにアクションを実行するように前記ロボット装置を制御するように構成される少なくとも１つのプロセッサと、
を有する装置。
（付記９）
前記少なくとも１つのプロセッサは、一定期間に亘って前記物体を観測するように更に構成される、（付記８に記載の装置。
（付記１０）
前記少なくとも１つのプロセッサは、前記一定期間に亘る前記物体の前記観測を使用して連続分布を推定するように更に構成される、（付記９）に記載の装置。
（付記１１）
前記確率分布は前記連続分布に基づく、（付記１０）に記載の装置。
（付記１２）
前記少なくとも１つのプロセッサは、
前記確率分布からコストマップを生成し、
前記コストマップを前記環境にオーバーレイし、
前記コストマップに基づいて前記ロボット装置を制御するように更に構成される（付記８に記載の装置。
（付記１３）
前記アクションは、前記物体に支援を提供すること、緊急サービスに連絡すること、又はそれらの組み合わせのうちの少なくとも１つを含む、（付記１２）に記載の装置。
（付記１４）
前記物体は人間である、（付記８）に記載の装置。
（付記１５）
観測された物体の位置に基づいてロボット装置を制御するためのプログラムコードが記録された非一時的なコンピュータ可読媒体であって、
前記プログラムコードは、プロセッサによって実行され、
環境内の物体を観測するプログラムコードと、
前記観測された物体の場所の確率分布を生成するプログラムコードと、
前記物体が、閾値未満の位置確率をもって、前記環境内の位置にあるときにアクションを実行するようにロボットデバイスを制御するプログラムコードと、
を含むプログラムコードである、非一時的なコンピュータ可読媒体。
（付記１６）
前記プログラムコードは、一定期間に亘って前記物体を観測するためのプログラムコードを更に含む、（付記１５）に記載の非一時的なコンピュータ可読媒体。
（付記１７）
前記プログラムコードは、一定期間に亘る前記物体の観測を使用して連続分布を推定するためのプログラムコードを更に含む、（付記１６）に記載の非一時的なコンピュータ可読媒体。
（付記１８）
前記確率分布は前記連続分布に基づく、（付記１７）に記載の非一時的なコンピュータ可読媒体。
（付記１９）
前記プログラムコードは、
前記確率分布からコストマップを生成するプログラムコードと、
前記コストマップを前記環境にオーバーレイするプログラムコードと、
前記コストマップに基づいて前記ロボット装置を制御するプログラムコードと、を更に含む、（付記１５）に記載の非一時的なコンピュータ可読媒体。
（付記２０）
前記アクションは、前記物体に支援を提供すること、緊急サービスに連絡すること、又はそれらの組み合わせのうちの少なくとも１つを含む、（付記１９）に記載の非一時的なコンピュータ可読媒体。

Claims (14)

1. 観測された物体の位置に基づいてロボット装置を制御するための方法であって、
   現在時刻より前の一定期間に亘って環境内の物体セットを観測することと、
   前記一定期間に亘る前記物体セットの観測に基づいて、前記環境内の前記物体セットの各物体の位置の確率分布を生成することと、
   前記現在時刻で、前記環境内の位置にある前記物体セットの物体を識別することと、
   前記位置にある前記物体の識別に基づいて、前記物体が前記環境内の前記位置にある確率であって前記位置の前記物体に関連付けられた確率分布に基づく確率を決定することと、
   閾値未満の前記確率をもって、アクションを実行するように前記ロボット装置を制御すること、
   を含む方法。
2. 前記一定期間に亘る前記物体の前記観測を使用して連続分布を推定することを更に含む請求項１に記載の方法。
3. 前記確率分布は前記連続分布に基づく、請求項２に記載の方法。
4. 前記確率分布からコストマップを生成することと、
   前記コストマップを前記環境にオーバーレイすることと、
   前記コストマップに基づいて前記ロボット装置を制御することと、
   を更に含む請求項１に記載の方法。
5. 前記アクションは、前記物体に支援を提供すること、緊急サービスに連絡すること、又は、それらの組み合わせのうちの少なくとも１つを含む、請求項４に記載の方法。
6. 前記物体は人間である、請求項１に記載の方法。
7. 観測された物体の位置に基づいてロボット装置を制御するための装置であって、
   メモリと、
   前記メモリに結合された少なくとも１つのプロセッサであって、
   現在時刻より前の一定期間に亘って環境内の物体セットを観測し、
   前記一定期間に亘る前記物体セットの観測に基づいて、前記環境内の前記物体セットの各物体の位置の確率分布を生成し、
   前記現在時刻で、前記環境内の位置にある前記物体セットの物体を識別し、
   前記位置にある前記物体の識別に基づいて、前記物体が前記環境内の前記位置にある確率であって前記位置の前記物体に関連付けられた確率分布に基づく確率を決定し、
   閾値未満の前記確率をもって、アクションを実行するように前記ロボット装置を制御するように構成される少なくとも１つのプロセッサと、
   を有する装置。
8. 前記少なくとも１つのプロセッサは、前記一定期間に亘る前記物体の観測を使用して連続分布を推定するように更に構成される、請求項７に記載の装置。
9. 観測された物体の位置に基づいてロボット装置を制御するためのプログラムコードが記録された非一時的なコンピュータ可読媒体であって、
   前記プログラムコードは、プロセッサによって実行され、
   現在時刻より前の一定期間に亘って環境内の物体セットを観測するプログラムコードと、
   前記一定期間に亘る前記物体セットの観測に基づいて、前記環境内の前記物体セットの各物体の位置の確率分布を生成するプログラムコードと、
   前記現在時刻で、前記環境内の位置にある前記物体セットの物体を識別するプログラムコードと、
   前記位置にある前記物体の識別に基づいて、前記物体が前記環境内の前記位置にある確率であって前記位置の前記物体に関連付けられた確率分布に基づく確率を決定するプログラムコードと、
   閾値未満の前記確率をもって、アクションを実行するようにロボットデバイスを制御するプログラムコードと、
   を含むプログラムコードである、非一時的なコンピュータ可読媒体。
10. 前記プログラムコードは、前記一定期間に亘って前記物体を観測するためのプログラムコードを更に含む、請求項９に記載の非一時的なコンピュータ可読媒体。
11. 前記プログラムコードは、前記一定期間に亘る前記物体の観測を使用して連続分布を推定するためのプログラムコードを更に含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
12. 前記確率分布は前記連続分布に基づく、請求項１１に記載の非一時的なコンピュータ可読媒体。
13. 前記プログラムコードは、
    前記確率分布からコストマップを生成するプログラムコードと、
    前記コストマップを前記環境にオーバーレイするプログラムコードと、
    前記コストマップに基づいて前記ロボット装置を制御するプログラムコードと、を更に含む、請求項９に記載の非一時的なコンピュータ可読媒体。
14. 前記アクションは、前記物体に支援を提供すること、緊急サービスに連絡すること、又はそれらの組み合わせのうちの少なくとも１つを含む、請求項１３に記載の非一時的なコンピュータ可読媒体。