JP4448024B2 - 遠隔操作ロボットおよびロボット自己位置同定方法 - Google Patents

Description

本発明はロボットの制御や利用の技術に関し、特に例えば建物の中に置かれ、遠隔地から例えばインターネットを介して遠隔操作が可能なロボットの制御と利用の技術に関し、またロボットの現在の位置と方向を正確に認識するためのロボット自己位置同定方法に関する。

従来において、遠隔地から留守宅などを監視するためにインターネットカメラが用いられている。しかしながらこのインターネットカメラはその設置場所が固定であり、建物の中の各部屋の状態を見たい時には全ての部屋へのカメラの設置が必要であり、また複数のカメラとホストコンピュータとの接続が複雑になり、コストが増大するという問題点があった。

また遠隔地から留守宅用の家庭電気機器を操作するために、ＬＡＮに接続可能な情報家電が開発されつつあるが、ＬＡＮ接続できない従来からの電気機器を操作できないという問題点がある。

更に例えば建物の中を移動可能な自律移動型ロボットにおいて、ユーザから指示された作業を行うためにはまず自己の位置を認識する必要がある。また一般にロボットを自律移動させるためには、ロボットが認識しやすい白い線などのランドマークが必要である。

しかしながら一般の住宅などにおいては、特徴的なランドマークを住宅内につけることは不可能であり、また既存の特徴点をランドンマークとして記録しても、ロボットの位置によってカメラの画像上で対象物の大きさが変化することから、ランドマークを画像のみから簡単に判断することは難しいという問題点があった。

本発明の目的は、以上の問題点に鑑み、建物内でロボットが移動すべき目的位置を遠隔地から簡単に指示することができ、また各部屋の状況を遠隔地からモニタしたり、各部屋にある家庭電器機器を操作したりする機能を持つ遠隔操作ロボットを比較的低コスト、かつ簡単な構成で実現することであり、またロボットが自己の位置と向きを正確に固定することができるロボット自己位置同定方法を提供することである。

図１は本発明の遠隔操作ロボットの原理構成ブロック図であり、ロボット１は間取り図格納手段２、通信手段３、および移動制御手段４を備える。
間取り図格納手段２は建物、例えば住宅の間取り図を格納するものであり、通信手段３はその間取り図内で遠隔地側から指示される位置を、例えばネットワークを介して遠隔地側の端末から受け取るものであり、移動制御手段４は指示された位置へのロボットの移動を制御するものである。

発明の実施の形態においては、遠隔操作ロボットは障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を備えることもできる。またロボットは、建物内での現在の位置と方向を同定する自己位置同定手段を更に備え、移動制御手段４がその同定結果に基づいてロボットの移動を制御することもできる。

本発明においては、図１の通信手段３は建物の間取り図内の部屋の指示を遠隔地側の端末から受け取ることもでき、この名場合には移動制御手段４は指定された部屋の、例えば入り口へのロボットの移動を制御する。

また本発明の遠隔操作ロボットは、建物内の画像を撮影する画像撮影手段と、定期的または不定期的にロボットが建物内を巡回して画像撮影手段によって撮影された画像を、外部からネットワークを介して参照可能なメモリを有する計算機、例えばインターネットに接続されたＷｅｂサーバに送る通信手段を備える。あるいはこのような計算機、例えばＷｅｂサーバをロボット自体の内部に備えてもよい。

この場合実施の形態において、画像撮影手段による撮影方向を変化させるための旋回手段と、画像撮影手段による撮影方向と並行に機器、例えば家庭電気機器の操作のための赤外線の投光／受光を行う赤外線投光／受光手段を更に備えることもできる。また前述の段差乗り越え手段を備えることもできる。

さらにこの場合、通信手段が外部からインターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時に、前述の計算機、例えばＷｅｂサーバの起動を行うこともできる。

次に本発明の遠隔操作ロボットは、ロボットの１つ以上の動作に対応するそれぞれのスクリプトのプログラムを格納するスクリプト格納手段と、格納されているプログラムのいずれかの実行の指示を外部から受け取る通信手段とを備える。

本発明の遠隔操作ロボットは建物内の人間、例えば住宅の居住者から外部に対する緊急時の連絡指示を受け取る指示受け取り手段と、その指示に応じてあらかじめ定められた外部端末に緊急連絡を行う通信手段とを備える。

この場合実施の形態において、ロボットは建物内の画像を撮影する画像撮影手段と、画像撮影手段の撮影方向を変化させるための旋回手段と、外部からの撮影方向の指示に応じて、画像撮影手段によって撮影された画像を外部に送る通信手段とを備えることもできる。

本発明のロボット自己位置同定方法は、画像撮影方向を変化できるカメラを搭載したロボットによって実行されるものであり、あらかじめロボットが移動する可能性のある各部屋のパノラマ画像を撮影し、そのパノラマ画像から複数のブロック画像を切り出して参照画像を作成し、ロボットが存在する位置において撮影されたパノラマ画像内でそのブロック画像と同一の大きさの画像と参照画像とを用いて、相関演算とＤＰマッチングによってロボットが存在する部屋を識別する方法が用いられる。

この場合実施の形態においては、部屋内であらかじめ撮影されているランドマークの画像を参照テンプレートとして、ロボットが存在する位置で撮影された画像上でのそのランドマークの位置を求め、ランドマークまでの距離をステレオ視により計測して、識別された部屋の中での自己の位置と方向を同定することもできる。

更に実施の形態においては、撮影されているランドマークの画像内の縦線を抽出し、２つのカメラの撮影方向とその縦線の方向とがなす２つの角を用いて、ロボットの位置と方向とを精密に同定することもできる。

以上のように本発明によれば、例えば遠隔地側から建物の間取り図内で、ロボットが移動すべき目的位置や目的の部屋の指示を与えることができる。またロボットが移動する可能性のある各部屋のパノラマ画像を用いることにより、ロボットが存在する部屋の識別が可能となる。

以下図面に基づいて、本発明の実施形態について詳細を説明する。
図２は本実施形態における遠隔操作ロボットの構成ブロック図である。同図においてロボットは制御用計算機１０、移動機構１１、ロボットの周囲を撮影するためのカメラ１２、カメラの水平回転角度と仰角、または俯角を調整するためのパンチルト台１３、例えばカメラ１２と同一の台上に設けられ、カメラ１２の撮影方向と並行に赤外線を送信し、リモコンデータを学習するために赤外線を受信する赤外線送受信機１４、無線通信部１５、入力デバイス１６、ポインティングデバイス１７、表示デバイス１８、各種スイッチ１９、および各種センサ２０を備えている。

図２において、カメラ１２は、例えばビデオカメラであり、赤外線送受信機１４はカメラ１２の近傍に設置され、その撮影方向と同一の方向に赤外線を送信できるものとする。その台はカメラ旋回機構としてのパンチルト台１３によって任意の方向に向けられ、例えば遠隔地から、カメラ１２の画像を見ながら、その方向にある家電機器の操作を行うために赤外線を送信することができる。

無線通信部１５は、このような遠隔地からの操作を携帯電話、ＰＤＡ（パーソナル・ディジタル・アシスタント）などの携帯情報端末、またはパーソナルコンピュータなどによって実行可能にするための通信を行うものである。

図３は遠隔地からのロボット操作方式の説明図である。本実施形態においてはネットワーク、例えばインターネットを介して遠隔地からロボットを操作できるものとし、そのためにロボット側にＷｅｂサーバを設けるものとする。

図３では、図２のロボット制御用計算機１０の内部にＷｅｂサーバ２１が設けられ、制御操作を実行する操作実行部２２との間にＣＧＩ（コモン・ゲートウェイ・インタフェース）やＩＳＡＰＩ（アイサッピ；インターネット・サーバ・アプリケーション・プログラミング・インタフェース）などのインタフェース２３が備えられる。そして遠隔地からはＷｅｂブラウザ２４、インターネット２５を介してＷｅｂサーバ２１へのアクセスが可能となる。

図３において、Ｗｅｂブラウザ２４側からはメニュー選択によってインターネット２５への接続が行われ、Ｗｅｂサーバ２１ではＷｅｂブラウザ２４側からの指示に応じてＣＧＩ／ＩＳＡＰＩ２３の呼び出しが行われ、ＣＧＩ／ＩＳＡＰＩ２３においてコマンド形式がロボット操作に適した形に変更され、操作実行部２２によって指令が実行される。

制御用計算機１０側からは、操作実行部２２から返送されるステータスや画像データがＣＧＩ／ＩＳＡＰＩ２３に送られ、データ形式が変更され、Ｗｅｂサーバ２１によってｈｔｍｌファイルとしてインターネット２５を介してＷｅｂブラウザ２４側に提供され、Ｗｅｂブラウザ２４側でメニュー表示や画像表示が行われる。

図４は遠隔操作ロボットの外観図である。左側は前面、右側は後面の外観を示す。前面には図２のカメラ１２に相当するステレオカメラ３１、赤外線送受信機１４に相当する家電リモコン送信機３２、各種スイッチ１９に相当する電源スイッチ３３、メニュースイッチ３４、障害物検知センサとして用いられるバンパスイッチ３５、および後述するように建物の住人が外部に緊急連絡を行うための緊急ボタン３６が備えられている。

また移動部３７は移動機構１１に、モニタ３８は表示デバイス１８に、近接距離センサ３９は各種センサ２０に相当し、更にマイク４０、スピーカー４１、トラックポインタ４２が備えられている。後面には図２のパンチルト台１３に対応するパンチルトユニット４３が備えられている。

図５は遠隔操作ロボット内部構造を示す。同図において図４のステレオカメラ３１に相当するＵＳＢカメラ、近接距離センサ３９に相当する測距センサ、モニタ３８に相当するＬＣＤが示されている。

本実施形態では、ロボットの移動機構１１として左右１個ずつのクローラと、１つ以上の回転自由な受動輪（補助輪）とを備えることによって、障害物や段差を乗り越えて、ロボットが移動できる機構を使用した。このクローラは、車輪回転軸の中心に垂直な平面内で旋回できる構造とし、信地旋回時にはクローラの形式よりもあたかも左右２つの車輪であるかのように動作する。また補助輪が点接触で地面に接触することが可能であり、接地点が安定し、ロボット全体の信地旋回中心が安定するため、ロボットの構体底面の高さよりも高い障害物を乗り越えることができる構造となっている。なお段差乗越機構としては、他の公知の技術を用いることも当然可能である。

図６は遠隔操作ロボットの部品構成図である。同図においてＣＰＵ基板５１上のメインＣＰＵ５３と、拡張基板５２上のＭＰＵコントローラ６５が図２の制御用計算機１０に相当し、図３に示した制御用計算機１０の内部のＷｅｂサーバ２１は、例えばメインＣＰＵ５３を中心として構成することができる。あるいは後述するようにＷｅｂサーバをロボットとは別に設けることができ、その場合にはロボットとインターネットの間にサーバ計算機が別個に備えられる。

図６においてメインＣＰＵ５３にはポンティングデバイス５４、ユーザ拡張用ＵＳＢ（ユニバーサルシリアルバス）ポート５５、マイク５６とスピーカ５７が接続された音声コーデック５８、ＬＣＤ５９が接続されたＬＣＤインタフェース６０、それぞれコントロール部を介したＣＦ（コンパクトフラッシュ（登録商標））メモリ６１と通信モジュール６２が接続されている。

またＭＰＵコントローラ６５およびＨＵＢ６４にはＣＭＯＳカメラ６６、図２のパンチルト台１３の回転を制御するための２つのモータ６７、移動機構１１としての図５のクローラおよび受動輪を回転させるための３つのモータ６８、ＬＥＤや押ボタンスイッチが搭載されたスイッチサブ基板６９、距離センサ７０、パン（水平回転角）用ポテンショメータ７１、チルト（仰俯角）用ポテンショメータ７２、赤外線送信機７３、赤外線受信機７４、ＡＣアダプタ７５と電池７６が接続されたＤＣ／ＤＣ充電回路７７が備えられている。

図７は本実施形態において、遠隔地から間取り図に対応する移動先の目的位置の指示を受ける場合の、ロボットの処理の説明図である。同図においては、ロボット側で建物の間取り図をあらかじめメモリ上に格納しておき、遠隔地のクライアントの端末側にその間取り図の画像を送り、クライアントが間取り図上でロボットの移動目的位置をロボット側に指示することによって、ロボットがその目的地に向かって移動するための処理が実行される。

図７において処理が開始されると、まずステップＳ１でロボットによる自己位置の計測が行われる。この自己位置の計測については後述する。そしてステップＳ２で遠隔地のクライアント側から、そのクライアント側で、例えば移動端末上で表示可能な画像サイズのデータの送信を受ける。

続いてステップＳ３で、メモリ上に保持されている間取り図画像のサイズを、クライアント側から送られた画像サイズのデータを用いてそのサイズに変換し、その変換スケールを保存し、ステップＳ４でステップＳ１で計測した自己位置の情報を含んだ間取り図の画像をクライアント側に送り、ステップＳ５でクライアント側から指示された目的地の位置の座標を取得する。

次にステップＳ６で、ステップＳ３で保存した変換スケール情報とクライアントから指示された目的位置の座標から、実スケールにおける目的地座標を計算し、ステップＳ７で目的地までの経路を生成し、ステップＳ８で目的地に向かって移動を行い、ステップＳ９で目的地まで移動したか否かを判定し、移動が完了するまではステップＳ８以降の処理を繰り返し、移動が完了したと判定した時点で処理を終了する。

図８は、図７の処理において遠隔地側のクライアントの携帯電話などの端末における間取り図の表示例である。同図においては表示画面上に間取り図が示され、ロボットの現在位置とその向きが寝室上の三角印で、またクライアントから指示されるロボットの移動目標位置がリビング上のカーソルで表示されている。

図９は、クライアント側から移動目的位置ではなく、移動すべき目的の部屋の名称、または部屋番号などが指示される場合のロボットの処理の説明図である。同図において図７と異なる部分について説明する。

図９において処理が開始されると、ステップＳ１，Ｓ２の処理が行われるが、クライアント側から目的の位置ではなく、部屋の名称などが指示されるため、図７のステップＳ３での変換スケールの保存は必要なく、直ちにステップＳ４において自己位置情報を含む間取り画像がクライアントに送信され、図７のステップＳ５，Ｓ６の処理の代わりに、ステップＳ１０でクライアント側から移動すべき目的の部屋名、または部屋番号のデータを受け取り、ステップＳ１１で目的の部屋名、または部屋番号から、あらかじめ登録しておいた各部屋毎の目標位置、例えば部屋の入口の位置を示す対応表を用いて目標位置の座標が得られ、その後図７と同様にステップＳ７〜Ｓ９の処理が実行される。

図１０は、図９の処理に対応するクライアント側の端末の表示画面の例である。同図においては、表示画面上に間取り図と移動目標位置を指示するためのメニューが表示され、クライアントはメニュー上で特定の部屋を指示することにより、ロボットはその部屋への移動の処理を実行する。ここでは間取り図が表示画面上に表示されるものとしたが、間取り図の表示自体は必ずしも必要がなく、クライアント側に目的の部屋名などの指示を行わせるだけとすることによって処理が軽減され、処理を高速化することができる。

次に、例えば図７のステップＳ１におけるロボットの自己位置の取得、すなわち自己位置同定方法について説明する。本実施形態においては、あらかじめロボットによって建物内の各部屋のパノラマ画像を撮影して登録しておき、現在ロボットが存在する部屋で撮影したパノラマ画像と比較することによって、ロボットの存在する部屋、および正確な位置の同定を行うことにする。

図１１はあらかじめ建物内の各部屋のパノラマ画像を登録する場合のパノラマ画像撮影方法の説明図である。すなわち準備段階として、各部屋においてロボットを部屋の、例えば中心に設置し、例えば３０度のステップでカメラを旋回させて画像を取得、合成し、例えば縮小処理を行うことによって３６０度のパノラマ画像が作成される。ここで計算などの処理時間を短縮するために、全体を圧縮したり、またあまりに鮮明な画像では位置を同定する際に撮影した画像とのマッチング結果が悪くなる可能性があるため、平均化処理を行う。

図１２はロボットの存在する部屋の同定処理のフローチャートであり、図１３はその同定処理において用いられる画像相関演算の説明図である。まず図１２において処理が開始されると、ステップＳ２０〜Ｓ２２において、図１１で説明した準備段階としてのパノラマ画像の撮影と、実際の位置同定時に使用される参照テンプレートの作成が行われる。

すなわちステップＳ２０でロボットが移動する可能性のあるエリアの各部屋についてパノラマ画像が撮影され、ステップＳ２１でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップＳ２２でそのパノラマ画像から、例えば等ピッチ、すなわち横方向に等間隔で小ブロックの画像が切り出され、その画像が拡大、あるいは縮小（拡縮）されて、参照テンプレートが作成される。

図１３の上の図はこのように小ブロックとして切り出された画像の例である。例えばｎ個の部屋の登録画像として、それぞれの部屋のパノラマ画像から、ｋ個の小ブロックの画像がそれぞれ切り出される。

図１２のステップＳ２３以降の処理は、現在ロボットが存在する部屋の同定処理を示す。まずステップＳ２３でロボットが現在存在する部屋についてパノラマ画像が撮影され、ステップＳ２４でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップＳ２５以降で参照テンプレートとの比較が行われる。

図１３の下の画像はロボットが現在存在する部屋の切り出し画像の例である。現在存在する部屋のパノラマ画像において、切り出しを開始した位置を探索基準位置として、探索範囲としてｘｒａｎｇｅ個の小ブロックの画像を用いて、ｎ個の部屋の登録画像との比較が行われる。

図１２のステップＳ２５で登録されている全ての部屋について処理が行われたか否かが判定され、まだ行われていない場合にはステップＳ２６で参照ブロックナンバ、すなわち図１３のｎ個の部屋のそれぞれについて登録されている切り出し画像のｋ個についてまだ参照が終わっていないか否かが判定される。

終わっていない場合にはステップＳ２７で探索範囲ナンバ、すなわち図１３の現在ロボットが存在する部屋のパノラマ画像における探索基準位置からｘｒａｎｇｅ画素の探索範囲についての探索が終わっていないか否かが判定され、終わっていない場合にはステップＳ２８で拡縮ナンバ、すなわちステップＳ２２で切り出された小ブロック画像を拡大または縮小した結果の画像としてのｎ個の画像のうちで、現在の部屋の画像との比較が行われた画像のナンバがｎに達していないか否かが判定される。

まだｎに達していない場合にはステップＳ２９で参照テンプレート、すなわち処理の対象となっている部屋の、処理の対象となっている小ブロック画像の、処理の対象となっている拡縮ナンバの参照テンプレートと、探索範囲ナンバによって指定されている現在の部屋のパノラマ画像との相関演算が行われる。そしてステップＳ３０で拡縮ナンバがインクリメントされ、ステップＳ２８以降の処理が繰り返される。

ステップＳ２８で拡縮ナンバがｎ以下でない、すなわちｎ個の拡縮ナンバの画像について処理が終了したと判定されると、ステップＳ３１で処理中の探索範囲ナンバの画像について最も相関演算結果が小さい拡縮ナンバの画像がその探索位置における探索結果とされた後に、ステップＳ３２で探索範囲ナンバの値がインクリメントされて、ステップＳ２７以降の処理が繰り返される。なおここでは相関演算として、例えば画像毎の濃度の差の絶対値に相当するディストーションを求めるものとし、その値が小さい程、画像の間のマッチング率が大きくなる。

ステップＳ２７で探索範囲ナンバがｘｒａｎｇｅ以下でないと判定されると、処理中の参照ブロックナンバの画像に対する比較が終了したことになるため、ステップＳ３３で参照ブロックナンバがインクリメントされた後に、ステップＳ２６以降の処理が繰り返される。

ステップＳ２６で参照ブロックナンバがｋ以下でないと判定されると、処理中の部屋に対する比較が終了したことになるため、ステップＳ３４でその部屋についての相関結果としての小ブロック画像ｋ個と、探索範囲ｘｒａｎｇｅによって決まる二次元マトリックスが生成され、ステップＳ３５で相関演算の演算結果と距離とをパラメータとして、例えばダイナミックプログラミング（ＤＰ）マッチングを行うことによってコストが算出され、処理中の部屋についてのコスト最小値が求められる。

なお前述の小ブロック画像数ｋ個と、探索範囲のｘｒａｎｇｅ個とで行数と列数が決定される２次元マトリックスの各要素は、図１３のｋ個の小ブロック画像を拡縮させたそれぞれｎ個の参照テンプレートの中で、現在のパノラマ画像の各探索位置の画像との間での相関演算値が最も小さい参照テンプレートに相当するデータとなる。

またＤＰマッチングにおける距離は図１３の下の図で探索基準位置を基準とする横方向の距離、すなわちｘｒａｎｇｅの値に相当し、相関演算結果と距離とをパラメータとしてコストを最出する、一般的なＤＰマッチングを実行することによって、ステップＳ３５で処理中の部屋に対する最小コストの値が求められる。

そしてステップＳ３６で部屋ナンバがインクリメントされ、ステップＳ２５以降の処理が繰り返され、ステップＳ２５で全ての部屋について処理が行われたと判定された時点で、ステップＳ３７で、ステップＳ３５で各部屋について算出されたコストの中でコスト最小の部屋が現在ロボットが存在する部屋と判定されて、処理を終了する。

図１４，図１５は、図１２の処理においてロボットが存在する部屋が同定された後に、その部屋の中でロボットの位置を同定する処理のフローチャートである。図１４はロボットの概略位置の同定処理、図１５は精密位置の同定処理のフローチャートである。

図１４において処理が開始されると、まず実際のロボットの位置の同定に先立って、ステップＳ４０で、図１１で説明したようにして撮影され、登録されたパノラマ画像の中でランドマーク、例えば柱が選択され、その画像上の位置と実際の部屋における位置が登録され、ステップＳ４１で柱の画像がパノラマ画像から切り出され、拡縮テンプレートが生成される。

続いて実際のロボットの概略位置の同定処理として、まずステップＳ４２でロボットが現在存在する部屋、すなわち図１２の処理によって同定された部屋と同じ部屋の柱の拡縮テンプレートを参照画像として相関演算が行われ、現在のパノラマ画像中の柱の位置が特定され、ステップＳ４３で特定された柱の位置までのロボットからの距離がステレオ視により求められ、ロボットの存在する概略的な位置が同定される。

図１６はこのようにして求められたロボットの位置の説明図である。同図においては、例えば部屋の４つの隅の柱からの距離がステップＳ４３で求められ、それぞれの距離に相当する円弧の交点に相当する四角形の内部がロボットの概略的な位置の同定結果として求められる。

図１５は、図１４において求められたロボットの概略位置から更に精密位置を同定する処理のフローチャートである。同図において処理が開始されると、まずステップＳ４５で柱の画像から縦線、すなわち柱のエッジを抽出するために（１）でエッジの抽出、（２）で二値化、（３）で縦方向に投影したヒストグラムが求められる。縦方向に投影したヒストグラムとは、縦方向に検出されるエッジの中で、例えば机のように高さが低いもののエッジはそのヒストグラムの値が小さくなるため、最大値を持つエッジを柱のエッジとして求めるためのものであり、これによって柱のエッジが抽出される。

続いてステップＳ４６で、抽出された縦線、すなわち柱のエッジと２つのカメラのそれぞれの撮影方向とがなす角度が求められる。
そしてステップＳ４７で、部屋の中でのロボットの存在する位置と方向を精密に求めるために、部屋の中でマトリックス状に仮想的なポイントが設定され、各ポイントでロボットの向きをパラメータとして、そのロボットの位置と姿勢に対応する柱の縦線と２つのカメラの撮影方向がなす角度が求められ、ステップＳ４６で求められた角度の値との差に対応する値がコストとして算出され、ステップＳ４８でそのコストが最小となる位置と方向がロボットの現在の位置と方向の精密な値として求められて処理を終了する。

図１６の四角形内の三角形が、図１５の処理によって同定されたロボットの現在の精密な位置と方向を示す。このようにして同定されたロボットの位置と方向のデータが、必要に応じて、例えば図２の無線通信部１５によってクライアント側に通知される。

次に図１０に続いて遠隔操作ロボットに関する実施形態について更に説明する。図１７は操作ロボットの遠隔地への緊急連絡処理のフローチャートである。図４で説明したようにロボットは緊急ボタンを備えており、例えば建物の住人が遠隔地に緊急事態を連絡したい場合に緊急ボタンを押すことによって、遠隔地に連絡が行われる。

すなわち図１７において処理が開始されると、ステップＳ５０で緊急ボタンが監視され、ステップＳ５１で緊急ボタンが押されたか否かが判定され、押されていない場合にはステップＳ５０以降の処理が繰り返され、押された場合にはステップＳ５２であらかじめ登録された連絡先に電子メール、あるいは電話などの方法により緊急事態が通知されて、処理を終了する。

次に本実施形態において、ロボットによって撮影された建物内、例えば部屋の画像を遠隔地側から確認する方法について、図１８、および図１９を用いて説明する。図１８においては、例えばロボット８０が定期的に建物内を巡回し、撮影した各部屋の画像を、無線ＬＡＮを介してＷｅｂサーバを備えるサーバ計算機８１に送り、遠隔地側からはこのＷｅｂサーバにアクセスすることによって、画像を参照することが可能となる。

すなわちサーバ計算機８１の内部には、ロボット８０から送られた画像データを受け取るソケットサーバ８２と、Ｗｅｂサーバ８３が備えられ、ロボット８０から送られた画像は、Ｗｅｂサーバ８３内で外部から参照可能なフォルダの内部に蓄積される。遠隔地側ではＷｅｂブラウザ２４によってインターネット２５を介して画像取得指令をＷｅｂサーバ８３に送り、Ｗｅｂサーバ８３からインターネット２５を介して送られた画像の表示を行うことになる。

なお、この場合例えば図６では通信モジュール６２としてＬＡＮカードなどがコネクタにさしこまれて使用される。
図１９では、図３におけると同様に、ロボット制御用計算機１０の内部にＷｅｂサーバ２１が備えられ、Ｗｅｂブラウザ２４はインターネット２５を介してＷｅｂサーバ２１にアクセスすることによって画像を参照することができる。ここでは、例えばＰＨＳカードなどが図６の通信モジュール６２としてコネクタにさしこまれることになる。

なおインターネット２５を介して、ロボット側にリンガ信号が所定の回数だけ着信した時点で、Ｗｅｂサーバ２１を起動し、外部からのアクセスを可能とさせることもできる。
最後に本実施形態において、ロボット側にあらかじめ備えられているスクリプトを遠隔地側から指定して、あらかじめプログラムされている動作をロボットに実行させる方法を図２０を用いて説明する。同図において、クライアント側ブラウザ８５からの指示（コマンド）に対応して、遠隔操作ロボット８６の内部のコマンド解析／実行部８７によってそのコマンドが解析され、そのコマンドがスクリプトの選択とその実行を指示するものであれば、スクリプト選択／実行部８８によって、あらかじめロボット側に備えられている複数のロボット動作スクリプト８９１〜８９ｎのいずれかが選択され、その動作が実行される。

以上詳細に説明したように、本発明によれば遠隔地側の端末上に表示された、例えば間取り図の上で移動目的地を指示することにより、遠隔操作ロボットをその目的地に移動させることが可能となる。

また遠隔端末側から建物内の画像を確認したり、あらかじめプログラムされた動きを遠隔地側からロボットに実行させることも、また建物の居住者が緊急連絡を行うことも可能となる。

本発明はインターネット経由で家庭電気製品を操作したり、留守宅の状況を遠隔地からモニタする機能や、ロボットの自己位置の正確な同定方法を提供するものであり、遠隔操作ロボットを利用する全ての産業、および精密なロボットの自己位置の同定を必要とする産業などに利用することが可能である。具体的には家庭電気産業、ビル管理業など、様々な産業に利用することが可能である。

本発明の遠隔操作ロボットの原理構成ブロック図である。 本実施形態における遠隔操作ロボットの構成ブロック図である。 遠隔地からのロボット操作方式の説明図である。 遠隔操作ロボットの外観図である。 遠隔操作ロボットの内部構造を示す図である。 遠隔操作ロボットの部品構成を示す図である。 移動先目的位置の指示に対するロボットの処理フローチャートである。 図７の処理における遠隔地側端末における間取り図の表示例である。 移動目的の部屋の名称が指示される場合のロボットの処理フローチャートである。 図９の処理に対応する遠隔地側端末における表示画面の例である。 部屋のパノラマ画像撮影方法の説明図である。 ロボットの存在する部屋の同定処理のフローチャートである。 同定処理で用いられる画像相関演算の説明図である。 存在する部屋の同定後のロボット位置の概略同定処理のフローチャートである。 存在する部屋の同定後のロボット位置の精密同定処理のフローチャートである。 図１４，図１５の処理で求められたロボットの位置の説明図である。 ロボットによる遠隔地への緊急連絡処理のフローチャートである。 ロボットによって撮影された画像を遠隔地側から確認する方法（その１）の説明図である。 ロボットによって撮影された画像を遠隔地側から確認する方法（その２）の説明図である。 あらかじめプログラムされている動作をロボットに実行させる方法の説明図である。

Claims (12)

1. 遠隔地から操作が可能な遠隔操作ロボットにおいて、
   建物の間取り図を格納する、間取り図格納手段と、
   該間取り図内の位置の指示を遠隔地の端末側から受け取る通信手段と、
   該指示された位置へのロボットの移動を制御する移動制御手段と、
   該遠隔操作ロボットが前記建物内での現在の位置と方向を同定する自己位置同定手段と、
   画像撮影方向を変化できる画像撮影手段と、を備え、
   前記自己位置同定手段は、前記画像撮影手段により、予め該遠隔操作ロボットが移動する可能性のある各部屋のパノラマ画像を予め撮影し、該パノラマ画像から複数のブロック画像を切り出して参照画像を作成し、ロボットが存在する位置において撮影したパノラマ画像内で該ブロック画像と同一の大きさの画像と、該参照画像とを用いて、相関演算とダイナミックプログラムマッチングによってロボットが存在する部屋を識別し、
   識別された前記部屋の予め撮影されたパノラマ画像の中からランドマークを選択して拡縮テンプレートを生成して、ロボットが存在する位置において撮影したパノラマ画像との相関演算を行って、前記ロボットが存在する位置において撮影したパノラマ画像上での前記ランドマークの位置を求め、前記ランドマークまでの距離をステレオ視により計測して、識別された前記部屋におけるロボットの位置と方向とを概略同定し、
   前記概略同定で用いた前記ランドマークの画像内の縦線を抽出し、２つのカメラの撮影方向と該縦線の方向とがなす２つの角と、ロボットの位置と方向を仮定して２つのカメラの撮影方向と該ランドマークの方向とがなす２つの角を計算した結果との間の差に対応するコストを求め、
   該仮定した位置と方向を変化させて、該コストが最も小さくなる仮定の位置と方向とをロボットの位置と方向として精密同定し、
   前記移動制御手段は、前記精密同定の結果に基づいて、前記指示された位置への移動を制御する、
   ことを特徴とする遠隔操作ロボット。
2. 該障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を更に備えることを特徴とする請求項１記載の遠隔操作ロボット。
3. 該間取り図内の位置として部屋の指示を遠隔地の端末側から受け取り、
   前記移動制御手段が該指示された部屋へのロボットの移動を制御することを特徴とする請求項１記載の遠隔操作ロボット。
4. 前記通信手段は、定期的または不定期的に該ロボットが建物内を巡回して前記画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリを有する計算機に送ること特徴とする請求項１記載の遠隔操作ロボット。
5. 前記画像撮影手段による撮影方向を変化させるための旋回手段と、
   該画像撮影手段による撮影方向と並行に赤外線の投光／受光を行う赤外線投光／受光手段を更に備えることを特徴とする請求項１記載の遠隔操作ロボット。
6. 前記通信手段が画像を送るべき前記計算機がインターネットに接続されたウェブサーバであることを特徴とする請求項４記載の遠隔操作ロボット。
7. 定期的または不定期的に建物内を巡回して該前記画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリに蓄積する計算機とを備えることを特徴とする請求項４記載の遠隔操作ロボット。
8. 外部からインターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時、前記計算機の起動を行うことを特徴とする請求項７記載の遠隔操作ロボット。
9. ロボットの１つ以上の動作に対応するそれぞれのスクリプトのプログラムを格納するスクリプト格納手段と、
   該スクリプト格納手段に格納されているプログラムのいずれかの実行の指示を外部から受け取る前記通信手段とを備えることを特徴とする請求項１記載の遠隔操作ロボット。
10. 建物内の人間からの緊急時の連絡指示を受け取る指示受け取り手段と、
    該指示に応じて、あらかじめ定められた遠隔地側の端末に該緊急連絡を行う前記通信手段とを備えることを特徴とする請求項１記載の遠隔操作ロボット。
11. 前記画像撮影手段の撮影方向を変化させるための旋回手段と、
    外部からの撮影方向の指示に応じて、該画像撮影手段によって撮影された画像を外部に送る前記通信手段とを備えることを特徴とする請求項１記載の遠隔操作ロボット。
12. 遠隔地から操作が可能な遠隔操作ロボットの操作方法において、
    建物の間取り図を格納し、
    該指示された位置へのロボットの移動を制御し、
    該遠隔操作ロボットが前記建物内での現在の位置と方向を同定する自己位置同定をし、
    前記自己位置同定は、画像撮影方向を変化させてあらかじめ該ロボットが移動する可能性のある各部屋のパノラマ画像を予め撮影し、
    該パノラマ画像から複数のブロック画像を切り出して参照画像を作成し、
    ロボットが存在する位置において撮影したパノラマ画像内で該ブロック画像と同一の大きさの画像と、該参照画像とを用いて、相関演算とダイナミックプログラムマッチングによってロボットが存在する部屋を識別し、
    識別された前記部屋の予め撮影されたパノラマ画像の中からランドマークを選択して拡縮テンプレートを生成して、ロボットが存在する位置において撮影したパノラマ画像との相関演算を行って、前記ロボットが存在する位置において撮影したパノラマ画像上での前記ランドマークの位置を求め、前記ランドマークまでの距離をステレオ視により計測して、識別された前記部屋におけるロボットの位置と方向とを概略同定し、
    前記概略同定で用いた前記ランドマークの画像内の縦線を抽出し、
    ２つのカメラの撮影方向と該縦線の方向とがなす２つの角と、ロボットの位置と方向を仮定して２つのカメラの撮影方向と該ランドマークの方向とがなす２つの角を計算した結果との間の差に対応するコストを求め、
    該仮定した位置と方向を変化させて、該コストが最も小さくなる仮定の位置と方向とをロボットの位置と方向として精密同定し、
    前記精密同定の結果に基づいて、前記指示された位置への移動を制御する、
    ことを特徴とする遠隔操作ロボットの操作方法。

Images