JP5323910B2

JP5323910B2 - 移動ロボットの遠隔操縦のための衝突防止装置及び方法

Info

Publication number: JP5323910B2
Application number: JP2011209946A
Authority: JP
Inventors: 俊浩朴; ▲よん▼ ▲ほ▼ 金; 錫元方
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-06-01
Filing date: 2011-09-26
Publication date: 2013-10-23
Anticipated expiration: 2027-02-07
Also published as: JP2012045706A; JP2007320024A; US20070282531A1; US7853372B2; KR100791381B1; KR20070115244A

Description

本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法に係り、さらに詳細には、遠隔地で移動ロボットを制御する制御機器の画面で衝突が予想される障害物にカラーをマッピングし、移動ロボットが障害物に衝突する前に警告音を鳴らすことによって遠隔地で移動ロボットを制御するユーザが障害物を容易に認知できるロボットの遠隔操縦のための衝突防止装置及び方法に関する。

一般的に移動ロボットは、カメラを利用して自身の現在位置及び障害物の位置を検出し、その位置情報を利用して走行及び作業を行う。

最近、移動ロボットの活用分野は、国防、産業現場から家庭に至るまで多様に拡大されるにつれて、移動ロボットの障害物位置把握及び移動ロボットを制御するユーザの障害物認識が重要な関心事となり、これに、いろいろな装置及び方法（例えば、特許文献１及び２）が提示された。

前述したような従来の技術で、移動ロボットは、光を移動ロボットの前面に照射してＣＣＤ（電荷結合素子）に結ばれる光の位置及び輝度を利用して障害物との距離を測定するか、遠隔地にあるユーザがモニタを通じてロボットのヘッドアップディスプレイ及びオーバーヘッドマップを見てロボットを遠隔操縦する。

しかし、ＣＣＤの視界（ＦｉｅｌｄＯｆＶｉｅｗ、以下、ＦＯＶ）によってカメラを通じて見られる周辺事物の歪曲程度及びカメラを通じて一度に見られる情報の量が変わるために、ＣＣＤのＦＯＶが小さい場合、障害物の形態を識別し難く、遠隔地にあるユーザに障害物の情報を知らせ難い。

また、遠隔地のユーザが識別できる形態のオーバーヘッドマップを作成するためには、高コストの距離測定センサーが必要であり、ユーザが持っている移動ロボットを制御する機器の画面が小さな場合、オーバーヘッドマップをディスプレイし難いだけでなくディスプレイされたオーバーヘッドマップ通じてユーザが障害物を認識し難いという短所がある。

米国特許第４９０５１５１号公報米国特許第６８４５２９７号公報

本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法を通じて遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせるところにその目的がある。

本発明の他の目的は、遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識可能にすることである。

本発明のさらに他の目的は、ＦＯＥ（ＦｏｃｕｓＯｆＥｘｐａｎｓｉｏｎ：拡張焦点）と移動ロボットの速度を移動ロボット制御機器の画面にアイコンで表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達することである。

本発明のさらに他の目的は、移動ロボットが障害物に衝突する所定の時間前にユーザに警告音を通じて知らせることによって、移動ロボットが障害物に衝突することを効果的に予防することである。

本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。

前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理部と、前記移動ロボットの移動速度及び移動方向についての情報を獲得するエンコーダ部と、前記映像処理部で計算された前記ＦＯＥと、前記エンコーダ部で獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知部と、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング部と、を備え、前記カラーマッピング部は、前記障害物感知部で計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。

前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。

前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットに装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理ステップと、前記移動ロボットのホイールの動作を感知して移動速度及び移動方向についての情報を獲得する移動速度及び移動距離獲得ステップと、前記映像処理ステップで計算された前記ＦＯＥと、前記移動速度及び移動距離獲得ステップで獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知ステップと、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング情報提供ステップと、を含み、前記カラーマッピング情報提供ステップは、前記障害物感知ステップで計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。

前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。

その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。

本発明の移動ロボットの遠隔操縦のための衝突防止装置及び方法によれば、次のような効果が一つあるいはそれ以上ある。

遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識できる。

移動ロボットの速度大きさに対する進行方向を制御機器の画面にアイコン及びベクトルと表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達しうる。

移動ロボットが障害物に衝突する所定時間前にユーザに警告音を通じて知らせて移動ロボットの衝突防止にさらに効果的である。

本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図である。本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。

本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。

以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。

図１Ａないし図１Ｂは、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図面である。

本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システム１００は、移動ロボット１０１及び遠隔地で移動ロボットを制御する制御機器１０２を備え、移動ロボット１０１と制御機器１０２とは、有無線データ通信網１０３で連結されている。

移動ロボットは１０１は、装着されたカメラで撮影した進行方向の映像データ及び移動情報を、有無線通信網１０２を通じて遠隔地の制御機器１０２に送信し、制御機器１０２は、移動ロボット１０１から受信した映像データ及び移動情報を分析し、分析した結果を制御機器１０２の画面にディスプレイする。

遠隔地にあるユーザは、制御機器１０２の画面にディスプレイされた映像及び移動情報を見て移動ロボット１０１を制御できる。

ここで、制御機器１０２は、移動ロボット１０１から送信した映像をディスプレイできる画面と移動ロボット１０１を制御できるキーボードまたはボタンのような方向キーを備えるものであって、移動端末機やコンピュータが制御機器１０２の例となりうる。

図２は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。

本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置２００は、装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する映像処理部２０１、移動ロボット１０１の走行方向に存在する障害物を感知して衝突予想情報を提供する障害物感知部２０２、衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を提供するカラーマッピング部２０３、移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向そして移動距離についての情報を提供するエンコーダ部２０４、装着されたカメラで撮影した進行方向の映像データ及び移動情報を制御機器１０２に送信し、移動ロボット１０１を制御する制御データを制御機器１０２から受信する送受信部２０５、各部を制御する制御部２０６を備える。

本発明の一実施例で使われる“部”という用語は、ソフトウェアまたはＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）または注文型半導体（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味し、“部”は所定の役割を行う。

しかし、“部”はソフトウェアまたはハードウェアに限定されるものではない。

“部”は、アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。

したがって、一例として“部”は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。

構成要素と“部”から提供される機能は、より少数の構成要素及び“部”で結合されるか、追加的な構成要素と“部”にさらに分離されうる。

図２において、映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する。

所定（一定）の時差をおいて連続的に入力される映像を分析して対象物体の動きを推定する移動物体追跡技法は、コンピュータビジョン分野及びこれを利用した移動ロボット分野で多くの関心を受けている。

これは、現在フレーム映像処理結果を反復的に次のフレーム処理時に利用することによって、連続的に入力される映像の動き同定や動的物体の分析作業を行なうことである。

このように複数個の映像処理で得られた特徴の差から動き情報を検出する作業では、対象物体の移動方向及び速度が重要な特徴値になり、これを同時にベクトルで表現することをオプティカルフローという。

したがって、対象物体の各点のオプティカルフローを計算することによって対象物体の動きを推定できる。

映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存所（図示せず）に保存して比較し、エンコーダ部２０４から移動ロボット１０１の移動速度及び移動方向についての情報を提供されてオプティカルフローを計算する。

移動ロボット１０１の３次元空間上の動きは、２次元的な移動変位を引き起こすが、もし、移動ロボット１０１が移動するならば、移動ロボット１０１の運動は無限大の距離に位置した一点からのオプティカルフローと考えられうる。

２次元映像内の特定点ｐ＝（ｘ，ｙ）でオプティカルフローｆ＝（ｕ，ｖ）は、

を通じて計算できる。

（式１）でＩ_１、Ｉ_２は、時間差をおいて得たカメラ映像であり、ｗ_ｘ、ｗ_ｙは、特徴点（ｘ，ｙ）でｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。

また映像処理部２０１は、ＦＯＥを計算する。

ＦＯＥは、オプティカルフローを説明しつつ言及した無限大の距離に位置した一点を意味し、２次元映像で任意の一点は、ＦＯＥからその点に至る直線に沿って動く。

したがって、独立的に動く移動ロボット１０１は、自身の運動方向と関連したＦＯＥに連結される。

図３は、オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図面である。

移動ロボット１０１が左右の回転なしに前方に直線移動すると仮定すれば、移動ロボット１０１は、図３に図示された画面に向って接近する。

したがって、オプティカルフローを表現する矢印３０２がＦＯＥ３０１と呼ばれる一点から外側に向かっている。

一方、移動ロボット１０１が図３に図示された画面から遠ざかる場合にはオプティカルフローを表現する矢印３０２がＦＯＥ３０１に向かう。従って、移動ロボット１０１の進行方向は、オプティカルフローを表現する矢印３０２の方向とは逆の方向である。

ＦＯＥは、２次元映像での運動を３次元実際映像と対応して関連させる主要な役割を担当し、２次元映像でＦＯＥである点Ｐ＝（Ｘ_０，Ｙ_０）を通じて計算できる。

（式２）でｍ、ｎは、（ｘ，ｙ）からｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。

Φは、（ｕ，ｖ）ベクトルの大きさがｔより大きい点の数であり、Ｓは、これらベクトル方向角の総和である。したがって、これらベクトルがいずれも対称である領域での中心値がＦＯＥとなる。

移動ロボットの遠隔操縦のための衝突防止装置２００で、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知し、衝突予想情報を提供する。

ここで、衝突予想情報とは、移動ロボット１０１の移動速度及び移動方向そして進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域情報と、移動ロボット１０１の障害物への接近時に所定の衝突予想時間前に移動ロボット１０１を制御する制御機器１０２から警告音を鳴らせる警告信号情報を含む。

この時、警告音を鳴らせる警告信号情報を、移動ロボット１０１を制御する制御機器１０２に伝達する時点はユーザが設定できる。

例えば、ユーザが前述した時点を５秒と設定するならば、移動ロボット１０１の障害物感知部２０２は、現在移動ロボット１０１の速度と進行方向に存在する障害物との距離を計算して、移動ロボット１０１が障害物に衝突する５秒前に移動ロボットを制御する制御機器１０２から警告音を鳴らせる。

障害物感知部２０２は、移動ロボット１０１の進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域を計算するために、

を通じてＴＯＣ（ＴｉｍｅＯｆＣｏｎｔａｃｔ）τを求める。

（式３）でｆは、カメラ焦点距離、（Ｘ，Ｙ，Ｚ）は、空間上３次元座標値、

は、３次元速度成分であり、（ｘ，ｙ）は、カメラ映像上の２次元座標値、

は、２次元速度成分であり、τは、ＴＯＣである。すなわち、３次元座標（Ｘ，Ｙ，Ｚ）のＺ軸は、移動ロボットの進行方向を正とした、移動ロボットの前後方向に平行な軸であり、Ｚ座標の原点は、移動ロボットがこのまま走行すると障害物と接触すると予測される障害物上の点にある。

また、障害物感知部２０２は、エンコーダ部２０４で提供する移動ロボット１０１の移動速度及び移動方向情報、そして、映像処理部２０１で計算されたＦＯＥを利用して制御機器１０２の画面に移動ロボット１０１の速度大きさ及び進行方向を表示する情報を生成して、制御部２０６を通じて送受信部２０５に伝達する。

カラーマッピング部２０３は、障害物感知部２０２から提供された衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を生成する。

障害物の衝突予想領域にマッピングするカラー情報は、障害物感知部２０２で計算されたＴＯＣの値によって、所定のカラーの点で表示される。

（式３）を通じて計算されたＴＯＣの値が小さければカラーの点を濃くし、ＴＯＣの値が大きければカラーの点を薄くして、ＴＯＣの値によって衝突予想領域にマッピングされるカラーの色調を調節し、この情報を制御部２０６を通じて送受信部２０５に伝達する。

図４は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。

本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００は、移動ロボットから受信した情報に基づいて画面に見られる障害物に移動ロボットが衝突可能な衝突予想領域をカラーでマッピングするカラーマッピング処理部４０１、受信した情報に基づいて画面に移動ロボットの進行情報を表示する進行情報表示部４０２、衝突可能な障害物に移動ロボットが接近する時に受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部４０３、画面にディスプレイする移動ロボット１０１の情報を移動ロボット１０１から受信し、移動ロボット１０１を制御する情報を移動ロボット１０１に送信する送受信部４０４、送受信部４０４から受信した情報を分析して各部を制御する制御部４０５、画面で該当情報をディスプレイするディスプレイ部４０６及び移動ロボット１０１の方向を制御できるようにキーボードやボタンのような方向キーを持つ入力部４０７を備える。

図１Ｂに図示されたように、移動ロボット１０１を制御する制御機器１０２が本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００になりうる。移動ロボットの遠隔操縦のための衝突防止装置４００は、送受信部４０４を通じて移動ロボット１０１から画面にディスプレイする情報を受信し、制御部４０５では受信した情報を分析して各部を制御する。ここで、移動ロボット１０１から受信した情報は、移動ロボットの走行方向の映像データ、ＦＯＥ、移動ロボット１０１の移動速度、移動方向、移動ロボットの走行方向に存在する障害物についての衝突警告音情報及び前記衝突予想領域にマッピングするカラー情報を含む。

移動ロボットの遠隔操縦のための衝突防止装置４００の進行情報表示部４０２は移動ロボットのＦＯＥを表示し、移動ロボットの速度大きさと進行方向をアイコン及びオプティカルフローで表示する。

カラーマッピング処理部４０１では、ＴＯＣによるカラーマッピング情報を画面に見られる障害物にマッピングして、小さな画面の制御機器でもユーザが障害物を容易に認知可能にする。

また、警告音発生部４０３では、移動ロボット１０１が障害物に衝突する所定時間（秒）前に警告音を鳴らしてユーザが移動ロボット１０１の障害物衝突をあらかじめ予防できる。

制御機器１０２の画面に表示された衝突可能な障害物にカラーをマッピングし、事前に警告音を鳴らすことによってユーザは、移動ロボット１０１の進行方向に存在する障害物をさらに容易に認知して、制御機器１０２上に位置する入力部４０７であるキーボードやボタンのような方向キーで移動ロボット１０１を制御する制御データを、送受信部４０４を通じて遠隔地の移動ロボット１０１に送信する。

図５は、本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。

ＦＯＥ５０１がＸ字アイコンで表示されており、移動ロボットの速度大きさ及び進行方向が三角形のアイコン５０２で表示されている。

三角形のアイコン５０２は、移動ロボット１０１の進行方向によって角度が変更され、移動ロボット１０１の速度によって三角形のアイコンサイズが変更される。

すなわち、移動ロボットの速度が速ければ三角形のアイコンが長くなり、速度が遅ければ三角形のアイコンが短くなって、遠隔地で移動ロボット１０１を制御するユーザは三角形アイコン５０２のサイズを見て、移動ロボット１０１の移動速度及び進行方向を容易に認知できる。

ＦＯＥ５０１の表示アイコンはＸ字のみに限定されず、Ｘ字ではない十字状や星状などその他の多様なアイコンで表示されうる。

三角形アイコン５０２も三角形のみに限定されず、アイコンの形態はユーザが長さによって移動ロボット１０１の方向及び速度を容易に認知できることが望ましい。

また、移動ロボットの進行方向に存在する障害物５０３に衝突予想領域５０３ａがカラーでマッピングされて、制御機器１０２の画面が小さな場合にも移動ロボット１０１が衝突する可能性がある障害物５０３をユーザが容易に認知できる。

図６Ａないし図６Ｃは、本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。

図６Ａは、移動ロボットが左右に回転せずに直進する状態が制御機器の画面に表示されている。

ＦＯＥ６０１ａが画面中央に表示されており、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ａが画面の下段に表示されている。

左右回転のない直進状態であるために、オプティカルフロー６０３ａの形態はＦＯＥ６０１ａを中心に外側に向っており、オプティカルフローを表現する矢印は小さな形態で表示されている。

また、障害物６０４ａに衝突予想領域６０５ａがカラーでマッピングされており、衝突予想可能性によって濃いカラー６０６ａと相対的に薄いカラー６０７ａとで表示されている。

図６Ｂは、図６Ａの状態で移動ロボットが右側に回転して前進する状態が制御機器の画面に表示されている。

ＦＯＥ６０２ｂが図６ＡのＦＯＥ６０１ａに比べて右側に移動し、右側に回転する角度によって、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｂが画面下段に表示されている。

オプティカルフロー６０３ｂの形態は、ＦＯＥ６０２ｂａを中心に外側に向っており、カラーでマッピングされた障害物６０４ｂに衝突予想領域６０５ｂが図６Ａの衝突予想領域６０５ａに比べて相対的にさらに広く表示されている。

それほど障害物６０４ｂに移動ロボット１０１が近く接近したという意味である。

図６Ｃは、図６Ｂに図示された状態で移動ロボットがさらに右側に回転してさらに速く前進する状態が制御機器の画面に表示されている。

ＦＯＥ６０３ｃが障害物６０４ｃにさらに近く表示されており、右側に回転する角度によって移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｃが画面下段に表示されている。

図６Ｂに図示された状態よりさらに速い速度で前進するので、図６Ｂに図示された三角形のアイコン６０２ｂよりさらに長くなった三角形のアイコン６０３ｃを見ることができ、オプティカルフロー６０３ｃは、ＦＯＥ６０２ｃを中心に外側に向い、オプティカルフロー６０３ｃを表現する矢印は、図６Ｂのそれより相対的にさらに長くなった。

また障害物６０４ｃの衝突予想領域６０５ｃは、図６Ｂの衝突予想領域６０５ｂに比べて相対的にさらに広く表示されており、衝突可能性もさらに大きいために、濃いカラーでマッピングされた領域６０６ｃがさらに広くなった。

図７は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であって、図２に図示された装置２００を参照して説明する。

停止状態にあった移動ロボット１０１が動き始めれば、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を、制御部２０６を通じて映像処理部２０１に伝送し、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０１）。

Ｓ７０１後、所定の時間差で移動ロボット１０１に装着されたカメラで撮影した走行方向の２番目の映像は、制御部２０６を通じて映像処理部２０１に伝送され、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して２番目の映像が伝送された時点の移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０２）
映像処理部２０１は、Ｓ７０１〜Ｓ７０２過程を通じて入力された走行方向の映像を保存所（図示せず）に保存して比較し、移動速度及び移動方向についての情報に基づいてオプティカルフローを計算する（Ｓ７０３）。

Ｓ７０３後、映像処理部２０１はＦＯＥを計算する（Ｓ７０４）。

Ｓ７０４後、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知して衝突警告音情報生成及びＴＯＣを計算する（Ｓ７０５）。

Ｓ７０５後、カラーマッピング部２０３は、Ｓ７０５で計算されたＴＯＣに基づいて衝突可能な障害物にマッピングされるカラーの色調をＴＯＣ値によって調節する（Ｓ７０６）。

Ｓ７０１〜Ｓ７０６を通じて獲得した情報は、制御部２０６を通じて送受信部２０５に伝えられ、送受信部２０５は、該当情報を遠隔地にある制御機器１０２に送信する（Ｓ７０７）。

図８は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であり、図４に図示された装置４００を参照して説明する。

送受信部４０４では、遠隔地にある移動ロボット１０１から情報を受信して制御部４０５に伝達する（Ｓ８０１）。

制御部４０５は、伝達された情報を分析し、走行方向の映像はディスプレイ部４０６を通じて画面にディスプレイし（Ｓ８０２）、ＦＯＥ及び移動ロボット１０１の速度大きさと進行方向を、進行情報表示部４０２を通じてアイコン及びオプティカルフローで表示する（Ｓ８０３）。

Ｓ８０３の後、カラーマッピング処理部４０１は、制御部４０５から衝突可能な障害物にマッピングするカラー情報を伝達されて、ＴＯＣ値によって定められたカラーの色調を調節してマッピングする（Ｓ８０４）。

Ｓ８０４の後、警告音発生部４０３では制御部４０５から伝達された警告音情報を通じて、移動ロボット１０１が障害物に衝突する所定時間前に警告音を鳴らす（Ｓ８０５）。

Ｓ８０５の後、ユーザは制御機器１０２の方向キーを使用して障害物に衝突しないように移動ロボットの方向を制御する制御データを、送受信部４０４を通じて遠隔地にある移動ロボット１０１に送信する（Ｓ８０６）。

以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。

本発明は、移動ロボットの遠隔操縦の関連技術分野に好適に用いられる。

２０１映像処理部
２０２障害物感知部
２０３カラーマッピング部
２０４エンコーダ部
２０５送受信部
２０６制御部

Claims

移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、
前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止装置。
前記移動ロボットから受信する情報は、前記走行方向の映像情報、前記衝突予想領域の情報及び前記衝突予想領域にマッピングするカラーの色調情報を含む請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
前記移動ロボットから受信する情報は、前記移動ロボットが前記障害物に衝突する前にユーザに警告する警告音情報を含む請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、
前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止方法。