Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6132659B2 - 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 - Google Patents
[go: Go Back, main page]

JP6132659B2 - 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 - Google Patents

周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 Download PDF

Info

Publication number
JP6132659B2
JP6132659B2 JP2013110883A JP2013110883A JP6132659B2 JP 6132659 B2 JP6132659 B2 JP 6132659B2 JP 2013110883 A JP2013110883 A JP 2013110883A JP 2013110883 A JP2013110883 A JP 2013110883A JP 6132659 B2 JP6132659 B2 JP 6132659B2
Authority
JP
Japan
Prior art keywords
data
distance
cleaning robot
floor surface
distance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013110883A
Other languages
English (en)
Other versions
JP2014194729A (ja
Inventor
透 花岡
透 花岡
松尾 順向
順向 松尾
光平 松尾
光平 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013110883A priority Critical patent/JP6132659B2/ja
Priority to CN201380073566.0A priority patent/CN105074600B/zh
Priority to US14/655,438 priority patent/US9411338B2/en
Priority to PCT/JP2013/082022 priority patent/WO2014132509A1/ja
Publication of JP2014194729A publication Critical patent/JP2014194729A/ja
Application granted granted Critical
Publication of JP6132659B2 publication Critical patent/JP6132659B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Educational Technology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、対象となる周囲環境の距離を計測したデータから、その計測範囲に含まれる床面および障害物や段差などの領域を正しく認識するための周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法に関するものである。
ロボットや無人搬送車などの自律移動システムにおいては、移動時に前方にある障害物や段差を検出し、衝突や転落を防止する必要がある。このような障害物や段差の検出のために、センサを用いた周囲環境認識装置の開発が進んでいる。
このような用途に用いられるセンサには、レーザレンジファインダ(LRF)や距離画像センサが存在する。
レーザレンジファインダは、計測対象物にレーザ光を投射しながら角度スキャンを行い、その反射光を検出することで対象物までの距離を計測する構造である。比較的高い計測精度が得られるが、角度スキャンは通常1方向であるため、1回の計測で1次元的な距離の分布情報しか得られない。2次元的な距離の分布を得るためには、複数のレーザレンジファインダを並列に配置して計測したり、機械的に動かしながら複数回計測したりするなどの工夫が必要となる。
距離画像センサには、距離の計測手法によってパターン光照射方式、TOF(Time Of Flight)方式、ステレオ方式などの幾つかの方式が存在するが、いずれも撮像素子の視野範囲内の計測対象物について距離情報を画素の濃淡で表現した距離画像を出力することを特徴としており、1回の計測で2次元的な距離情報を一度に得ることができる。従って、周囲に存在する物体までの距離を迅速に取得し、それらが障害物や段差であるかどうかを認識するような周囲環境認識装置のセンサとして用いるのに適している。
特許文献1(特開2006−260105号公報)に示される自律移動システムでは、進行方向の前方下方を視野範囲とするよう取付けられた距離画像センサを用いて、前方の走行面上に存在する凸状の障害物および凹状の段差の有無を検出している。さらに、距離画像を座標変換した後に、2つの異なるしきい値で2値化することにより、それらの障害物および段差の形状がスロープ状であるかステップ状であるかを判別している。
特開2006−260105号公報 特開2010−287029号公報
しかし、特許文献1に示された自律移動システムでは、距離画像センサの配置によって段差の一部に死角が存在する場合に、その段差の境界を正しく検出できないという課題が存在する。そのため、自律移動システムを急旋回もしくは急発進させた時などに、段差の回避動作が間に合わず、自律移動システムが段差に転落する危険がある。また、自律移動システムが段差に向かって移動するにつれて段差と検出される位置が変化するため、段差位置を目印とした走行制御や地図上の自己位置認識を行うことができず、自律移動システムを用いた作業の効率が低下する恐れがある。
本発明は、上記従来の問題点に鑑みてなされたものであって、周囲環境に存在する段差を確実かつ正確に検出することで安全性を高め、さらに作業効率を向上させる周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法を提供することにある。
上記課題を解決するために、本発明の周囲環境認識装置は、
距離センサと、
上記距離センサから得られた距離データに基づいて、少なくとも床面より低い凹状領域を判別する凹部判別部と、
上記距離データを、上記床面を基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部と、
上記俯瞰図データ内において、上記距離センサの死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部と
を備え、
上記補正処理部は、上記距離センサの取付角度と、上記凹状領域の深さ情報と、上記凹状領域の距離データとに基づいて、上記距離センサの死角の大きさを計算して、補正量を決定することを特徴としている。
1実施形態では、
上記補正処理部は、上記俯瞰図データにおいて、上記凹部判別部によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定する。
本発明の自律移動システムは、
上記周囲環境認識装置を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴としている。
以上のように、本発明の周囲環境認識装置は、死角がある場合でも段差を確実かつ正確に検出することで、周囲環境の認識精度を高めることができる。
また、本発明の自律移動システムでは、段差を確実に検出することで段差への転落を防止することができる。
本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である清掃ロボットを示し、(a)は外観図、(b)は断面図である。 上記清掃ロボットの内部構造を示すブロック図である。 上記清掃ロボットの、距離画像センサおよびレーザレンジファインダの取り付け位置および座標系を示す図であり、(a)は斜視図、(b)は断面図である。 上記清掃ロボットにおける演算処理のフローチャートである。 上記清掃ロボットの距離画像および俯瞰図の生成を示す図であり、(a)は模式断面図、(b)および(c)は距離画像を示す図、(d)は俯瞰図である。 上記清掃ロボットにおける段差までの距離による見え方の違いと計測誤差の発生を示す図であり、(a1)、(a2)、(a3)は模式断面図、(b1)、(b2)、(b3)は距離画像を示す図、(c1)、(c2)、(c3)は俯瞰図である。 上記清掃ロボットにおける段差エッジの補正方法を示す図であり、(a)、(b)、(c)、(d)は俯瞰図である。 上記清掃ロボットにおけるマップ情報を示す図であり、(a)はマップ情報メモリに記憶されているマップ情報を示す図、(b)は(a)にエッジが上書きされたマップ情報を示す図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である監視ロボットの外観図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である自動搬送ロボットの外観図である。 本発明における周囲環境認識装置を用いた自律移動システムの1実施形態である清掃ロボットを示し、(a)は外観図、(b)はレーザレンジファインダとその座標系を示す図である。 上記清掃ロボットに搭載されたレーザレンジファインダの計測対象および計測データを示す図であり、(a)レーザレンジファインダ101の計測面を断面とした状態の計測対象を示す図、(b)レーザレンジファインダ101の計測データを示す図、(c)レーザレンジファインダ102の計測データを示す図である。 上記清掃ロボットの内部構造を示すブロック図である。 上記清掃ロボットの俯瞰図の生成および補正を示す図であり、(a)補正前の俯瞰図、(b)補正後の俯瞰図である。 上記清掃ロボットの俯瞰図における補正量の計算を説明する図である。 上記清掃ロボットの段差領域の抽出を示す図であり、(a),(b)は補正なしの場合の図であり、(a)は俯瞰図データの上書き更新による統合を説明する図、(b)は上書き更新によって得られる段差領域を示す図、(c),(d)は補正ありの場合の図であり、(c)は俯瞰図データの上書き更新による統合を説明する図、(d)は上書き更新によって得られる段差領域を示す図である。
以下、本発明を図示の実施形態について詳細に説明する。
(第1の実施形態)
本発明の好適な第1の実施形態について、図1から図8に基づいて説明する。まず、本発明の周囲環境認識装置を含む自律移動システムの1実施形態である清掃ロボット1の外観図および断面図を図1(a)、(b)に示す。
図1(a)、(b)において、1は清掃ロボット(自律移動システム)であり、2は清掃ロボット1底部の左右に配置された2つの駆動輪であり、3は清掃ロボット1底部に回転自在に取り付けた従輪であり、4は清掃ロボット1に動作電源を供給するバッテリである。また、5は洗浄液を貯留する洗浄液タンク、6は洗浄液タンク5に連結された洗浄液吐出部であり、両者は円筒形のパイプによって接続されて、洗浄液吐出ユニットを構成している。さらに、7は清掃ロボット1内部に吸い込んだ廃液(塵や埃等を含む)を溜める廃液タンク、8は清掃ロボット1底部に設けられた廃液を吸い込む吸引口であり、これらも同様にパイプによって接続されて、廃液回収ユニットを構成している。9は吸引口8の付近に設けられた清掃ブラシであり、ブラシモータ10によって駆動される。11はこれらの機構全体を覆う筐体であり、12は洗浄液の飛散や異物の巻き込みを防止するための保護部材である。その他、各種モードの設定や自動走行/手動走行の切替、走行/停止の切替などを行なうための操作パネル13、非常時に停止させるための緊急停止スイッチつまり非常停止スイッチ14、手動走行時の走行方向を決定する走行制御レバー15、および手動走行時に作業者が清掃ロボット本体を支持するための把手16等を備える。
なお、清掃ロボット1の形態は、上記のような洗浄液を使用して洗浄するタイプに限定されるものではなく、ファン、集塵室、吸込口などを備えたいわゆる家庭用掃除機のような態様の清掃ロボットであってもよい。
ここで、図1(a)、(b)に示す清掃ロボット1は、紙面右方向が基本的な進行(走行)方向である。「基本的」というのは、状況またはユーザーの操作(遠隔操作も含む)によって、紙面左方向への走行(後退)、あるいは、紙面手前または奥方向への移動の可能性があるからである。なお、以降では、基本的な進行(走行)方向を単に進行方向と記載する。
清掃ロボット1には、距離画像センサ20が配置されている。距離画像センサ20は、筐体11に設けられた開口部21から外部の状態が把握可能な位置に取り付けられている。
距離画像センサ20は赤外パターン光投射方式の距離画像センサであり、その内部に赤外光の投射素子を含む投射光学系と、赤外光の撮像素子を含む撮像光学系を有する。所定の規則的もしくは不規則なパターン(濃淡模様)を有する赤外光を外部に投影照射し、外部物体からの反射光を撮像素子で撮影することで、撮像光学系の視野範囲内にある物体までの距離を計測することができる。距離計測結果は、視野範囲に含まれる物体までの距離を画像上の画素のグレースケール値(濃淡)として表現した距離画像(深度画像、デプス画像)として出力される。なお、上記のような赤外パターン光投射方式以外でも、距離画像が出力できるセンサであれば、TOF(Time Of Flight)方式やステレオ計測方式など他の方式であっても構わない。
また、清掃ロボット1にはレーザレンジファインダ22が搭載されており、筺体11前部に設けられた透明な窓21から外部の計測が可能となるよう取り付けられている。
さらに、清掃ロボット1の内部には、清掃ロボット1全体の動作を制御する演算装置30が搭載されている。演算装置30は、上述のブラシモータ10、スイッチ14,15類、距離画像センサ20などの各部品と電気的に接続されている。
清掃ロボット1のブロック図を図2に示す。演算装置30は、距離画像演算ブロック31、走行制御ブロック32、清掃制御ブロック33、マップ情報メモリ34および自己位置演算ブロック35からなる。さらに、距離画像演算ブロック31内部には、3次元座標演算部36、座標変換部37、凹部判別部の一例としての障害物・段差判別部38、俯瞰図作成部39、補正処理部としてのデータ補正部40が存在する。
距離画像演算ブロック31は、距離画像センサ20からの距離画像を受信し、座標変換等の処理を行い、障害物・段差情報を抽出して自己位置演算ブロック35に送信する。
走行制御ブロック32は、ジャイロセンサや駆動輪2に取り付けられたロータリーエンコーダ43の情報に基づき、清掃ロボット1の移動距離および現在の向きを把握する。この移動距離および向きに関する情報(以下では「オドメトリ情報」と呼ぶ)は、自己位置演算ブロック35に送られる。
自己位置演算ブロック35は、距離画像演算ブロック31から出力された障害物・段差情報とレーザレンジファインダ22から得られた障害物情報とを統合する。さらに、これらの障害物・段差情報と予めマップ情報メモリ34に記憶されている周囲環境の形状に関するマップ情報、および走行制御ブロック32から送信されたオドメトリ情報を照合し、清掃ロボット1自身が現在マップ内のどの位置に存在するかを計算する。
以上で述べた距離画像センサ20、距離画像演算ブロック31、レーザレンジファインダ22、マップ情報メモリ34および自己位置演算ブロック35は、本発明における「周囲環境認識装置」80としての役割を有している。さらに、距離画像演算ブロック31内部に存在する障害物・段差判別部38、俯瞰図作成部39、データ補正部40が、本発明における「凹部判別部」、「俯瞰図データ作成部」、「補正処理部」にそれぞれ対応する。なお、距離画像演算ブロック31および自己位置演算ブロック35の動作の詳細については後ほど説明する。
走行制御ブロック32は、自己位置演算ブロック35からマップ上の自己位置と周囲の障害物や段差までの距離に関する情報を受け取り、障害物や段差を回避するように走行経路を決定し、実際に駆動輪2の駆動輪モータ44を制御する。また、操作パネル13、手動走行時の走行方向を決定する走行制御レバー15および非常時に停止させるための非常停止スイッチとしての緊急停止スイッチ14などの制御スイッチからの信号を受信すると、それに応じて非常停止や走行方向の変更など必要な動作を行う。これらの制御に関する情報は操作パネル13に表示され、リアルタイムに更新される。
清掃制御ブロック33は、走行制御ブロック32からのコマンドを受けて、清掃ブラシ9、廃液回収ユニット7,8および洗浄液吐出ユニット5,6の動作開始/停止切替など清掃に関する部分の制御を行う。
距離画像センサ20およびレーザレンジファインダ22の取付位置の詳細を図3(a)に示す。これらの距離画像センサ20およびレーザレンジファインダ22は、清掃ロボット1が清掃対象とする床面F(走行路面)から垂直に所定距離離間した位置に配設されている。具体的には、距離画像センサ20は、清掃ロボット1の上部における進行方向の前側に、水平よりも下向きに取り付けられている。本第1の実施形態では、距離画像センサ20は、図3(b)に示すように、床面Fからの高さH=980[mm]の位置に、鉛直軸に対する角度θ=20[deg]で進行方向前方の斜め下向きに取り付けられている。また、レーザレンジファインダ22は、床面Fからの高さH=350[mm]の位置に、床面Fと平行に、つまり、水平になるよう取り付けられている。実際には、取付位置は組立誤差等により多少変動する。なお、距離画像センサ20やレーザレンジファインダ22の配置や個数は上記に限定されず、複数個を並べて配置することも可能である。
レーザレンジファインダ22のスキャン範囲即ち計測可能範囲は、図3(a)、(b)に示すように、床面Fから高さHの半円状の領域である。但し、図3(a)では見やすくするため,半円状の領域の半径方向の長さを縮小して表示している。実際には、レーザ投射光が遮られず到達する限りかなりの遠距離(5〜10m)まで計測可能である。しかし、床面Fからの高さがHよりも低い高さの障害物や床面Fより低い段差については、レーザ光のスキャン範囲外であるため検出することができない。一方、距離画像センサの計測可能範囲はセンサの画角に依存する。本第1の実施形態に用いている距離画像センサ20の場合、水平方向の画角は70deg、垂直方向の画角は55deg程度である。床面F上に投影した視野範囲は図3(a)の台形Aの範囲であり、検出可能な範囲自体はレーザレンジファインダ22よりも狭いが、2次元的に高さ情報を取得するため、範囲内にある障害物や段差を漏れなく検出することができる。従って、この2者の併用により、近傍から遠方までの広い範囲の障害物および段差をバランス良く検出することができる。
距離画像センサ20は、計測結果である距離画像を、距離画像センサ基準の座標系で出力する。座標系の定義を図3(a)に示す。距離画像センサ20の光学中心を原点Oとし、進行方向を向いたときに左右方向をX軸(左向きを正)、上下方向をY軸(上向きを正)、前後方向、即ちセンサの光軸方向をZ軸(奥行き方向を正)にとる。これに対し、レーザレンジファインダ22は取付位置および角度が異なるため、センサ基準の座標系も互いに異なっている。これらの座標系で表した距離と、清掃ロボット1本体から床面Fに沿って計測した距離との間にはズレが存在するため、対象物までの正確な距離を求めるためには、床面基準の座標系に座標変換を行って、距離画像センサ20とレーザレンジファインダ22との2つのデータを統合する必要がある。
そのため、距離画像センサ20基準のX座標系とは別に、清掃ロボット1本体の座標系であるX座標系を定義する。清掃ロボット1本体先端から床面Fに下ろした垂線の足を原点Oとし、清掃ロボット1の進行方向をZ軸、床面Fの法線方向をY軸、Z軸およびY軸に垂直な方向をX軸(進行方向に向かって左向きを正)とする。
なお、本第1の実施形態では、進行方向即ちZ軸と、距離画像センサ20の光軸方向であるZ軸とは、進行方向にむかって左右方向に関して、ほぼ一致している。これは即ち距離画像センサ20が床面Fに対して左右方向に傾いて取り付けられてはおらず、床面Fと距離画像センサ20との傾きは奥行き方向の傾きθだけであるということを意味する。厳密には取り付け誤差による角度ずれが発生するが、それでも左右方向の傾き角は奥行き方向の傾き角θに比べて十分小さいと考えられる。
本第1の実施形態における清掃ロボット1は、演算装置30内の距離画像演算ブロック31において、距離画像に床面F基準の座標変換を施し、その情報から障害物や段差を判別する処理を行うが、その際に死角によって生じる段差の計測位置の誤差を補正することを特徴としている。これらの演算の詳細について以下で説明する。図4に、距離画像演算ブロック31および自己位置演算ブロック35での処理のフローを示す。
距離画像演算ブロック31内の3次元座標演算部36は、まず、距離画像センサ20から出力される距離画像を取得する(図4のステップS101、以下同じ)。図5(a)に示すように、床面Fの一部に凹状領域つまり段差Cが存在する場合、得られる距離画像は図5(b)のようになる。この距離画像は、距離画像センサ20の光学中心Oから計測した距離Dを画素の濃淡で示しており、距離が小さい(近い)程白く、大きい(遠い)ほど黒く表示されている。
3次元座標演算部36は、この距離画像データから距離画像センサ基準(X座標系)の3次元座標データ(X,Y,Z)を算出する(S102)。座標データのうち、Zは距離画像に含まれる距離Dそのものであり、XおよびYは、距離画像センサ20の光学系の焦点距離f、画素ピッチp、光軸と撮像素子中心との画素ズレ量cなどが分かれば、三角測量の原理によりZから計算することができる。本第1の実施形態では、事前に距離画像センサ20に対しキャリブレーションを行い、これらのパラメータを求めておく。これにより、距離画像が得られれば、その画像に含まれる全画素について距離画像センサ基準の座標データ(X,Y,Z)、即ち3次元点群(Point Cloud)データを得ることができる。
座標変換部37では、距離画像センサ20基準の3次元点群データに対して、床面情報を用いて座標変換を行い、清掃ロボット本体基準のX座標系で表した3次元点群データに変換する(S111)。清掃ロボット本体基準の座標系に変換するのは、床面Fからの高さを判別しやすくするためであり、また後でレーザレンジファインダ22から得られた障害物データを統合するためでもある。
床面情報は、距離画像センサ20の取付位置に基づいて距離画像演算ブロック31内部に予め設定されている。例えば、図3(b)に示すように距離画像センサ20が床面Fからの高さHに取付角度θで取付けられている場合、座標変換は、X軸周りの角度−θの回転とY軸周りの−Hの平行移動で実現される。
但し、床平面の傾きやうねり、清掃ロボット1自体の振動、距離画像センサ20の計測誤差や経時変化などの原因により、床面Fと距離画像センサ20との位置関係が時間的・空間的に変動することがある。その場合は、上記のような固定的な座標変換では誤差が生じるため、距離画像センサ20基準の3次元点群データから床面Fを構成する点を抽出し、そこから床面Fの高さや角度を都度求める処理、即ち床面Fの検出処理が必要となる。このような処理を、距離画像を取得するフレームごと、もしくは一定フレーム間隔または一定時間間隔ごとに行い、その時点での最適な床面Fのパラメータを求め、これを上記の回転角度および並進移動量に換算する。このような床面Fの検出処理を行って、最適な回転角度および並進移動量を求めてから座標変換を行うことで、清掃ロボット本体基準の3次元点群データに変換することができる。
このようにして得られた清掃ロボット本体基準の3次元点群データ(X,Y,Z)は、Yがそのまま床面Fからの高さを表しているので、Yの値の大小をグレースケール階調で表すと図5(c)のような距離画像が得られる。この距離画像では、床面Fが一定の高さであるためほぼ一様なグレースケール階調となっており、床面Fより低い段差の部分はそれよりも暗い階調で表されていることが分かる。
座標変換部37で行われた上記処理の後、凹部判別部の一例としての障害物・段差判別部38は、3次元点群データを構成する各点(X,Y,Z)について、床平面より高いか低いかによって障害物および段差を判別する(S121)。具体的には、Yがそのまま床面Fからの高さを表していることから、図3(a),(b)に示すように、床面Fよりも高い第1基準面を表すしきい値tを設けて、Yがtよりも大きければ床よりも高い凸状領域Kつまり「障害物」、床面Fよりも低い第2基準面を表すしきい値−tよりも小さければ床面より低い凹状領域Cつまり「段差」、tと−tの間にあれば床面領域つまり「床面」と判別する。しきい値tは、床平面の凹凸の大きさや、距離画像センサ20の計測誤差などを考慮して予め決定しておく。本第1の実施形態では、t=10mmとしている。なお、第1基準面および第2基準面を表すしきい値の絶対値は、異なっていてもよい。
なお、「段差」、「障害物」および「床面」を判別する手法としては、上記のような床面Fからの高さYに対するしきい値を用いる方法以外に、下記のような勾配を用いる方法も考えられる。
3次元点群データ(X,Y,Z)に対し、まずバーストノイズ除去のための平滑化フィルタを適用した後、X軸方向およびZ軸方向に隣接した2点間の勾配を計算する。
勾配の絶対値
((ΔY/ΔX+(ΔY/ΔZ1/2
が所定の勾配限界値以上で、かつ奥行き方向の勾配
ΔY/ΔZ
が正である場合、清掃ロボット1が乗り越えられない上り勾配であると見なし、その先、即ち清掃ロボット1から遠い側の点を「障害物」であると判別する。また、勾配の絶対値が所定の勾配限界値以上で、かつ奥行き方向の勾配が負であれば、乗り越えられない下り勾配であると見なし、その先、即ち清掃ロボット1から遠い側の点を「段差」であると判別する。上記勾配限界値は、清掃ロボット1の駆動輪モータ44の駆動トルク、駆動輪2および床面Fの材質などから、清掃ロボット本体の登坂能力を算出して、それに基づいて決定することができる。
また、上記高さに関するしきい値と勾配限界値の両方を用いて判別する方法なども考えられる。
上記の判別結果は、3次元点群データの各々にラベル情報として付加される。座標値が異常値である場合などで「段差」、「障害物」、「床面」いずれでもないと判別された領域は「未確定」のラベル情報が付加される。なお、ラベルは上記4種類に限るものではなく、床面Fからの高さによってさらに細分化して分類したり、清掃ロボット本体が通行できる大きさかどうかによって「進入不可」などの新たなラベルを付加したりしても良い。この処理により、距離画像センサ20の視野範囲内の各画素について、その3次元座標に加えて「段差」、「障害物」、「床面」、「未確定」その他のラベルが付加された3次元点群データが得られる。
俯瞰図作成部39は、上記の処理によって得られたラベルが付加された3次元点群データを、「段差」、「障害物」、「床面」などのラベル区分ごとに色分けしてX−Z平面にプロットした画像データを作成する(図4のフローS122)。この画像を図5(d)に示す。これは丁度清掃ロボット1の真上から床面F方向を見下ろした状態に変換した図に相当するため、以下では「俯瞰図」と呼ぶ。図5(a)で清掃ロボット1本体の前方にある段差つまり凹状領域Cが距離画像センサ20によって計測され、図5(d)で表示されていることが見て取れる。しかし、図5(a)で段差の底面に存在するP・Q・R点のうち、清掃ロボット1の距離画像センサ20から見てP−Q間は見えるものの、Q−R間は死角になっているため距離が計測できていない。そのため、図5(d)ではP−Q間に相当する部分は正しく「段差」ラベル色で表示されているが、Q−R間に相当する部分は計測データが存在しないため「未確定」ラベル色として表示されている。
なお、「未確定」ラベルの領域には、計測データが元々存在しない領域、即ち「計測抜け」と、距離画像取得時のノイズ等に起因して計測不能もしくは計測異常値となった領域、即ち「計測異常」との2種類が存在する。しかし、例えばある点が計測異常によってその点の真の座標値から大きく外れた点として計測された場合、真の座標値に相当する点は計測抜けとなる。そのため、ある「未確定」ラベルの領域が「計測抜け」と「計測異常」のいずれの原因で生じたものであるかは、俯瞰図からは判別できない。
本第1の実施形態では、説明を容易にするため、実際に表示することが可能な画像として俯瞰図を作成しているが、必ずしもこのような構成とする必要はない。画面に表示して確認する必要がなければ、俯瞰図画像ではなくそれに等価な数値データ、即ち「俯瞰図データ」を演算装置内部で生成することでこれに代えることができる。そのような場合でも、該「俯瞰図データ」の各要素にラベルの付加を行い、さらに以下で説明するのと同様の処理を行えば、本第1の実施形態と同等の効果を得ることができる。
ここで、図5(a)に示す段差Cに対して清掃ロボットが徐々に近づいていったときの様子を図6(a1)、(a2)、(a3)に示す。まず、図6(a1)は清掃ロボットが段差Cから比較的離れている状態の位置関係を示す図であり、図6(b1)はその時距離画像カメラ20を視点とするとどのように見えるかを示す画像、図6(c1)は図5(d)と同様に段差・障害物情報が付加された3次元点群データをX−Z平面に色分けしてプロットして得た俯瞰図である。次に、図6(a2)は、清掃ロボット1が段差Cに少し近づいた状態の位置関係を示す図であり、図6(b2)、(c2)はその状態での図6(b1)、(c1)と同様の図である。そして、図6(a3)は、清掃ロボット1が段差Cにさらに近づいた状態の位置関係を示す図であり、図6(b3)、(c3)はその状態での図6(b1)、(c1)と同様の図である。
これらの図6(a1)、(a2)、(a3)、(c1)、(c2)、(c3)には、分かりやすいように、清掃ロボット本体基準の座標系X(清掃ロボット本体とともに移動する)とは別に、床面Fのある位置Oを原点として固定した座標系Xを示している。この固定座標系で、原点Oから段差Cの清掃ロボット1に近い側のエッジまでの距離はLである。
清掃ロボット1本体が図6(a1)から(a2)、さらに(a3)と段差Cに近づくにつれて、距離画像センサ20と段差Cの位置関係が変化するため、距離画像センサ20から見た段差Cの死角も変化する。これは図6(b1)、(b2)、(b3)の変化の様子を示す画像からも明らかである。その結果、俯瞰図は、図6(c1)、(c2)、(c3)のように変化する。この俯瞰図上で、床面固定座標系Xの原点Oから段差領域Cの前端エッジまでの距離は、図6(c1)ではL、図6(c2)ではL、図6(c3)ではLとなり、清掃ロボット1が段差Cに近づくにつれて変化することが分かる。これは、距離画像センサ20が認識する段差Cのエッジ位置が、清掃ロボット1の移動につれて変化することを意味している。
以上の考察から、真の段差Cのエッジ位置までの距離が(原点Oから測って)Lであるにもかかわらず、死角の影響によって計測したエッジ位置はLよりも大きな(遠い)値となり、段差Cに近づくにつれその値がLに漸近することが分かる。つまり、清掃ロボット1が段差Cに近づくにつれて、最初に計測した時よりもエッジ位置が徐々に近づいてくることになる。
自律移動システムの例としての自律移動ロボット(例えば、清掃ロボット等)では、無人の状態で安全に走行するために、周囲の段差の位置を正確に把握する必要がある。通常は、検出した段差のエッジの位置が移動中に変動したとしても、走行制御ブロックが移動速度および移動方向を都度修正することで転落を回避することが可能である。しかし、急旋回や急発進を行う場合などで、それまで距離画像センサの視野範囲外であった領域から視野範囲の中に段差が突然現れるようなことが考えられ、そのような場合に回避動作が間に合わなくなる恐れがある。自律移動ロボットには、距離画像センサのような周囲環境検出装置以外に、筐体の下部に個別に床面検出センサ等を設けるなどして2重3重の転落防止策を講じているが、それでも上記のような死角による位置計測誤差が頻繁に発生すると、床面検出センサが過剰に反応するなどして挙動が不安定になる恐れを排除できない。
特に、本第1の実施形態のような清掃ロボット1では、段差Cのエッジに近いぎりぎりの位置まで寄って清掃を行う場合があるため、段差Cの位置の検出はとりわけ精度良く行うことが求められる。従って、段差Cのエッジの位置計測誤差が少しでも生じると、清掃ロボット1本体が段差Cに転落する危険が発生する。
本第1の実施形態の清掃ロボット1では、上記のような不具合を防止するために、俯瞰図作成部39の後段に配置された補正処理部としてのデータ補正部40によって段差Cの位置の補正を行うことを特徴とする(図4のフローS131)。データ補正部40による補正の手順を図7(a)、(b)、(c)、(d)に示す。
図5(d)と同様に段差・障害物情報が付加された3次元点群データをX−Z平面に色分けしてプロットして得た「俯瞰図」が図7(a)のようになっており、死角による「未確定」ラベルが付与された領域Uが存在するとする。このとき、データ補正部40は距離データをZの正の方向(清掃ロボット1に近い側から遠い側、点線矢印の方向)にスキャンし、「床面(または障害物)」−「未確定」−「段差」の順にラベルが並んでいる部分を探索する。そのような部分が見つかったら、「未確定」のラベルが付加された点を「段差」のラベルに置き換える。これにより図7(b)のような俯瞰図が得られる。死角による影響が排除され、床面Fと段差Cとの境界、即ち段差Cのエッジが正しい位置に補正されていることが分かる。
なお、段差Cが清掃ロボット1本体に対して傾いた配置で存在する図7(c)のような場合にも、同様の処理を行うことで図7(d)のような補正済みの俯瞰図が得られる。この場合でも、段差Cのエッジはほぼ正しい位置に補正されている。
なお、先に述べたように、「未確定」ラベル領域には、死角が原因となって発生するもの以外に計測ノイズなどが原因となって発生するものが存在する。そのため、例えば俯瞰図内の「未確定」ラベル領域を一律に「段差」ラベル領域に置き換えただけでは、段差でない領域を段差と誤判別する事象が発生すると考えられる。これに対し、本第1の実施形態の清掃ロボット1では、ラベルが上記所定の順序で並んでいる場合に限り補正を行うので、ノイズ等で計測不能になることによる未確定領域が存在する場合であっても、それらと死角によって生じる未確定領域とを明確に区別して、死角部分の補正を確実に行うことができる。
この死角部に対する補正量は、補正処理部としてのデータ補正部40によって、次のようにして行われる。図6(a2)を参照して、具体的に説明する。図6(a2)に示すように、距離センサとしての画像距離センサ20の走査時の振れ角も含む取付角度(鉛直面に対する傾斜角)θ、凹状領域としての段差Cの深さ情報h、原点Oから段差C迄の見かけの距離データL、原点Oから段差Cのエッジ迄の真の距離Lとすると、
−L=h・tanθ
となるから、補正量はh・tanθとなって、段差C迄の見かけの距離データLから補正量h・tanθを減算して、原点Oから段差Cのエッジ迄の真の距離Lは、
L=L−h・tanθ
として算出される。
ここで、hおよびtanθは、以下のようにして計算することができる。
図6(a2)において、段差の手前側エッジの床面側端点をE、直線OEと床面との交点をQとする。EおよびQは距離画像センサから見えている(死角にはない)点であるので、その距離画像センサ基準(X座標系)の3次元座標を取得することができる。このE、Q、および距離画像センサの原点Oの3次元座標をロボット本体基準(X座標系)に変換して得た3次元座標値を、それぞれ(X,Y,Z)、(X,Y,Z)、(XOS,YOS,ZOS)とする。このとき、hおよびtanθ
h=Y−Y
tanθ=(Z−ZOS)/(Y−YOS
として求められる。これにより、補正量h・tanθが計算できる。
ある特定の段差Cに対して、h即ち段差の深さは不変であるが、tanθは清掃ロボットが移動するにつれて変化する。そのため、補正量h・tanθはその都度計算しなおす必要がある。
さらに、データ補正部40は、上述の補正量h・tanθを参照して、上記「未確定」ラベル領域の長さが妥当な長さよりも長いもしくは短い場合は、死角によって発生する「未確定」ラベル領域ではないと判断して補正を行わないことができる。これにより、ノイズ等で計測不能になることによる「未確定」ラベル領域が存在する場合であっても、死角の大きさを正確に検出し、補正を精度良く行うことができる。
なお、移動体において3次元情報から俯瞰図を生成することで死角によって生じる段差位置のずれの補正を行う手法としては、特許文献2(特開2010−287029号公報)が知られている。
特許文献2では、移動体に取り付けたステレオカメラを用いて取得した3次元情報に基づき、移動体の上方から見た俯瞰図を作成する。ステレオカメラから見て、前方の窪み(段差)の一部に死角が存在する場合、俯瞰図上では死角によって生じる計測点が存在しない領域が発生するため、この計測点が存在しない領域を危険領域と判定している(同文献の図14および図15参照)。
しかし、特許文献2では、本第1の実施形態での未確定領域に相当する計測点が存在しない領域を一律に危険領域と判定するため、例えば床面の一部がノイズ等によって一時的に未確定領域となっている場合にも、その領域を危険領域として誤判定して、その領域への移動ができなくなってしまう恐れがある。
これに対し、本第1の実施形態では、先に述べた手順により、3次元点群データに付与したラベルが特定の順序で並んでいる場合にのみ補正を行うため、ノイズ等による未確定領域と死角によって生じる未確定領域とを明確に区別し、段差のエッジ位置の補正を確実に行うことができる。また、距離データに含まれる段差の深さおよび距離センサの取付角度の情報に基づき、段差の死角部分の補正量を計算してその分だけ補正を行うため、段差位置の補正を特許文献2の手法よりも精度よく行うことができる。
また、特許文献2では、計測点が存在しない領域を危険領域と判定するだけで、段差のエッジ位置についての情報は補正されていないが、本第1の実施形態では、段差のエッジ位置についても補正を行うことで、正しい段差のエッジ位置を得ることができる。これにより、補正後のエッジ情報を自己位置認識の手がかりとして用いることができるので、マップ上での自己位置認識の精度が高まり、自律移動システムのマップ情報に基づく走行の信頼性を高めることができる。
データ補正部40は、この補正された俯瞰図から、清掃ロボット1本体に近い段差および障害物の情報を抽出して、これを段差・障害物情報として自己位置演算ブロック35に送信する(図4のフローS132)。
段差・障害物データの形式は、後で走行制御ブロック32が処理しやすいように任意の形式に変換することができる。データの座標系は、清掃ロボット基準のX直交座標系のまま送ることもできるし、極座標(R−θ座標系)に変換することもできる。検出した全ての障害物・段差をデータ化する手法以外に、データの間引き・補間、ノイズ除去処理を行ったり、清掃ロボット1本体に最も近い障害物・段差データのみを抽出したりする手法も考えられる。
先に述べたように、自己位置演算ブロック35は、レーザレンジファインダ22から障害物情報を取得する(S141)。その後、距離画像演算ブロック31から出力された障害物・段差情報とレーザレンジファインダ22から得られた障害物情報とを統合する(S142)。例えば、レーザレンジファインダ22で計測された障害物Aの前に、距離画像センサ20で計測された別の障害物Bがある場合、距離の近い障害物Bのデータが優先するようにしてデータを統合することができる。
その後、自己位置演算ブロック35は、走行制御ブロック32からオドメトリ情報を取得する(S143)。
さらに、自己位置演算ブロック35は、マップ情報メモリ34に記憶されている周囲環境の形状に関するマップ情報を取り出す(S144)。マップ情報メモリ34に記憶されているマップ情報の一例を図8(a)に示す。図8(a)に示すように、清掃ロボット1が清掃を行うエリア全体について、床面F、障害物、段差および進入禁止領域が区別されて登録されている。清掃ロボット1は、このマップ情報に設定されている床面Fの部分のみを清掃するように、走行制御ブロック32によって制御される。
自己位置演算ブロック35は、上記の処理で得た障害物・段差情報、マップ情報、およびオドメトリ情報を照合し、清掃ロボット1自身が現在マップ内のどの位置に存在するかを計算する(S145)。自己位置演算ブロック35が自己位置の演算を行う際には、図8(b)に示すように、レーザレンジファインダ22が検出した障害物情報に基づくエッジ(太実線)および距離画像センサ20が検出した障害物・段差情報に基づくエッジ(太点線)がマップ上に上書き表示される。マップ上に予め登録された障害物や段差のエッジと実際に検出したエッジとの齟齬をなるべく小さくし、かつオドメトリ情報との差異がなるべく小さくなるように、所定のアルゴリズムで自己位置の推定が行われる。このような自己位置推定のアルゴリズムとしては、パーティクルフィルタ、拡張カルマンフィルタなどの手法が知られている。
この自己位置推定処理の際に、距離画像センサ20の死角による段差エッジ計測誤差が存在すると、自己位置推定値に誤差が生じ、マップ情報に沿って精度良く走行することができなくなってしまう。これに対し、本第1の実施形態の清掃ロボット1は、上述の段差エッジの補正を行うことで、正しい段差位置を得ることができるため、自己位置推定を正確に行い、マップ情報に基づく効率よい走行制御を行うことが可能になる。
自己位置演算ブロック35は、計算結果として得られる現在マップ内の自己位置情報を走行制御ブロック32に送信する(S146)。走行制御ブロック32には、予め定められた幾つかの走行パターンが登録されており、そのうちの一つが選択されている。走行パターンには、例えば「壁に沿ってエリア内を1周するまで走行する」、「壁に囲まれた内側の領域を塗りつぶすように走行する」、「所定の距離もしくは時間だけランダムに向きを変えながら走行する」などが存在する。走行制御ブロック32は、自己位置情報と設定された走行パターンとを照合して、移動すべき方向および移動速度を決定し、清掃ロボットの走行制御を行う。
以上で述べたように、本第1の実施形態の清掃ロボット1は、死角がある場合でも段差Cを確実かつ正確に検出することで、周囲環境の認識精度を高め、段差Cへの転落を防止することができる。
また、距離画像計測時にノイズ等で計測不能になることによって発生する未確定領域が存在し、死角によって発生する未確定領域と混在する場合であっても、死角の大きさを正確に検出し、補正することができる。さらに、段差位置を目印とした走行制御や地図上の自己位置認識を行うことで、自律移動しながら清掃作業を行う際の作業効率を向上させることができる。
(第2の実施形態)
次に、本発明の周囲環境認識装置を自律移動システムの一例としての監視用ロボットに適用した第2の実施形態について、図9を用いて説明する。第1の実施形態と同様の部分については同じ記号を付し、説明は省略する。
自律移動ロボットである監視ロボット101は、第1の実施形態と同様、赤外パターン光照射方式の距離画像センサ(図示しないが第1の実施形態の距離画像センサ20と全く同じ構成、機能を有する。)を用いた周囲環境認識装置(図示しないが第1の実施形態の周囲環境認識装置80と全く同じ構成、機能を有する。)を搭載している。清掃ブラシ、洗浄液タンク、廃液タンクなど清掃に関係する機能は省かれており、代わりに状態を周囲に知らせるための表示灯102、外部の端末と無線によるデータ通信を行うためのアンテナ103、全方位カメラ104、照明灯105、スピーカ106が設けられている。全方位カメラ104は、監視ロボットの周囲360度の状況を常時録画し、アンテナ103を経由して遠隔地に存在する管理用端末(図示せず)に無線で送信する。管理用端末の管理者は、受信した全方位カメラ104の画像データを確認し、異常がないかどうかチェックを行う。管理者が不在の場合は、監視ロボット101本体内部で全方位カメラ104の画像データを解析することにより自動で異常監視を行うモードに設定することも可能となっている。
監視ロボット101は、夜間など人が不在となる時間帯に、オフィスビル内の予め設定された監視エリアを常時移動しながら監視を行う。その際、予め監視ロボット101本体に記憶されているマップ情報を参照しながら監視エリア内の通路を移動する。第1の実施形態と同様に、距離画像センサで計測した情報に基づいて自己位置認識と段差・障害物の回避を行う。
何らかの異常が発見された場合には、現場へ急行して照明灯105を点灯させて現場の画像を撮影し、管理者に無線で送信する。不審な人間が存在する場合は、スピーカ106から警告音を発生させたり、退出を促すメッセージを流したりすることができる。
以上のように、本第2の実施形態では、監視ロボット101をオフィスビル内で運用することで、人手によらず安全に監視を行うことができる。本発明の周囲環境認識装置を用いることで、監視エリア内の通路近辺に段差等が存在する場合であっても、その段差のエッジを死角にかかわらず正しく認識し、転落を防止することができる。また、監視エリア内をマップ情報に基づいて自己位置を認識しながら走行する場合に、自己位置認識の目印として補正後の段差のエッジ情報を使用することで認識精度を高め、監視エリア内での移動の効率を向上させることができる。
(第3の実施形態)
続いて、本発明の周囲環境認識装置を工場用の自動搬送ロボットに搭載した第3の実施形態について、図10を用いて説明する。第1および第2の実施形態と同様の部分については同じ記号を付し、説明は省略する。
自律移動システムの一例である自動搬送ロボット201は、第1および第2の実施形態と同様、赤外パターン光照射方式の距離画像センサを用いた周囲環境認識装置(第1および第2の実施形態の周囲環境認識装置と全く同じ構成、機能を有する。)を搭載している。清掃ブラシ、洗浄液タンク、廃液タンクなど清掃に関係する機能は省かれており、代わりに荷物を搭載ながら移動するための荷物積載部202を有する。荷物積載部202の底面にはベルトコンベヤ203が取り付けられており、自動で荷物の積み込みおよび積み下ろしが可能な構造となっている。また、第2の実施形態と同様、状態を周囲に知らせるための表示灯102および外部の端末と無線によるデータ通信を行うためのアンテナ103が設けられている。
自動搬送ロボット201は、工場内に設けられた集荷ターミナルに常時待機しており、荷物が到着すると底面のベルトコンベヤ203を用いて積載部202に格納する。あわせて集荷ターミナルの端末から無線で荷物の内容および配送先についての情報が自動搬送ロボット201本体に送信される。
全ての荷物の積み込みが完了した後、自動搬送ロボット201は移動を開始し、予めロボット本体に記憶されているマップ情報を参照しながら工場内の通路を移動する。第1の実施形態と同様に、距離画像センサで計測した情報に基づいて自己位置認識と段差・障害物の回避を行う。配送目的地である配荷ポイントに到着すると、配荷ポイントの端末に無線で荷物の内容および発送元についての情報を送信する。その後、底面のベルトコンベヤ23を用いて荷物の積み下ろしを行う。
積み下ろしが完了すると、次の荷物の配送目的地への移動を開始する。このようにして全ての荷物の目的地への積み下ろしが完了すると、マップ情報を参照しながら元の集荷ターミナルに戻る。
このような自動搬送ロボット201を工場内で複数台運用することで、大量の荷物を人手によらず安全に工場内で搬送することができる。本発明の周囲環境認識装置を用いることで、工場内の通路近辺に段差等が存在する場合であっても、その段差のエッジを死角にかかわらず正しく認識し、転落を防止することができる。また、工場内をマップ情報に基づいて自己位置を認識しながら走行する場合に、自己位置認識の目印として補正後の段差のエッジ情報を使用することで認識精度を高め、工場内での移動の効率を向上させることができる。
なお、上記の第1〜第3の実施形態では、周囲環境認識装置に用いる距離センサとして赤外パターン光投射方式の距離画像センサ20を用いていたが、ステレオ方式やTOF方式など、他方式の距離画像センサを用いることも可能である。ステレオ方式の距離画像センサの場合、ステレオ配置された左右カメラから得られる左右画像に対し、対応点探索などの手法によって視差を計算する。視差の値から三角測量の原理によって対象物までの距離を求めることができる。
(第4の実施形態)
続いて、赤外パターン光照射方式距離画像センサの代わりにレーザレンジファインダ(LRF)を距離センサとして使用した第4の実施形態について、図11から図16を用いて説明する。第1の実施形態と同様の部分については同じ記号を付し、説明は省略する。
本第4の実施形態における自律移動システムである清掃ロボット300の外観を図11(a)に示す。本清掃ロボット300は、第1の実施形態における距離画像センサ20の代わりに、2台の距離センサとしてのレーザレンジファインダ(LRF)301および302を搭載している。水平方向に取付けられたLRF、即ち「水平LRF」22と区別するために、以下ではこれらを「段差用LRF」と呼ぶ。水平LRFと段差用LRFは同じ機種であっても良いし、異なる機種であっても良い。
上記段差用LRF301および302は、左右方向(清掃ロボット基準座標系におけるX軸方向)に互いに数十mmから100mm程度の距離を隔てて、床面(ロボット基準のX座標系においてX平面)に対して斜め下向きに取付けられており、計測用の赤外レーザ光が走査されることによって形成される面、即ち計測面が、取付位置から数十cm〜数mの距離において床面と交差するようになっている。水平LRF22の計測面は床面と平行であるため、床面より低い段差や床面付近の障害物は計測できなかったが、段差用LRFは上記のように斜め下向きに取り付けられているため、床面より低い段差や床面付近の障害物を検出することが可能になっている。
上記段差用LRF301および302は、それぞれ計測面内において−90degから+90degの範囲の半円状のエリアに赤外レーザ光を投射し、物体の計測を行うことができる。ここで、計測範囲の中央即ち0deg方向をLRFの前方と定義する。また、図11(b)に示すように、LRF301基準の座標系として、赤外レーザ光の出射位置即ち計測の原点をOS1、前方にZS1軸、計測面に垂直な方向にYS1軸、ZS1軸およびYS1軸に垂直な方向にXS1軸を取ったXS1S1S1座標系を定義する。同様に、LRF302基準の座標系としてXS2S2S2座標系を定義する。
上記段差用LRF301のZS1軸および302のZS2軸は、ロボットの進行方向即ちZ方向に対し、Y軸中心に互いに反対方向にθ[deg]だけ回転した向きに取付けられている。そのため、段差用LRF301および302の計測面と床面との交線は、Z軸に対しそれぞれθ[deg]、−θ[deg]だけ傾いた直線となる。なお、本第4の実施形態においてはθ=45degであるが、これに限るものではない。図11(a)では、これらの直線をそれぞれA、Aで示している。2つの直線は、ロボット本体の前方約1mの距離で、点C12において交わっている。これらの直線A、Aは、床面上における段差用LRF301および302の計測可能領域を示すものである。LRFは投射光の走査方向が1次元であるため距離画像センサのように2次元状のエリアを一度に計測することはできないが、上記のように斜め下向きに配置した2個のLRFを組み合わせることで、清掃ロボット前方の比較的広い範囲を計測範囲としてカバーすることができる。
上記清掃ロボット300本体から段差用LRF301,302の計測可能領域A、Aまでの距離は、段差用LRF301,302の取付位置および角度を調整することによってある程度調整することができる。計測可能領域が清掃ロボット300本体よりも遠すぎると、それよりも近くに存在する段差や障害物の計測漏れが発生する恐れがある。逆に清掃ロボット本体に近すぎると、移動中に段差や障害物を検出しても回避動作が間に合わず、衝突や転落の恐れがある。これらの事を考慮して、計測可能領域は回避動作が可能な範囲でなるべく近い距離に設定することが望ましい。
図11(a)では、清掃ロボット300の前方の床面上に段差が存在する。このような場合に段差用LRF301の計測で得られるデータがどのようになるかを、図12(a)を用いて説明する。図12(a)は、段差用LRF301の計測面、即ちXS1S1平面で切断した図である。段差が存在せず床面だけの場合、LRF301からの投射光はAを結ぶ線分上に照射され、この部分の距離が計測されるが、段差が存在する場合には、AからS(床面)、QからP(段差の底面)、PからT(段差の側面)、TからB(床面)の範囲の距離が計測される。段差の底面のうちRからQの範囲は、段差用LRF301から見て死角になるため計測されていない。
上記段差用LRF301は、計測面(XS1S1S1座標系におけるXS1S1平面)内の計測対象物までの距離情報を、極座標形式、即ち計測面内の角度θと、θにおける計測原点OS1からの距離rのセットからなるデータとして、清掃ロボット300の演算装置330(図13を参照)に出力する。
本第4の実施形態における清掃ロボット300のブロック図を図13に示す。清掃ロボット300内の演算装置330は、第1の実施形態の清掃ロボット1における距離画像演算ブロック31に代わり、LRFデータ演算ブロック310を備えている。それ以外の構成は第1の実施形態と同様である。なお、380は、周囲環境認識装置を示している。
上記LRFデータ演算ブロック310内に存在するデータ取得部311は、段差用LRF301から取得した極座標データを直交座標に変換して、XS1S1平面上にプロットしたデータを作成する。これを図12(b)に示す。図12(a)のAからS(床面)、QからP(段差の底面)、PからT(段差の側面)、TからB(床面)に対応する点が計測されているのに対し、LRF301から見て死角になる段差の底面RからQは計測されていないため、データが存在しないことが分かる。同様に、段差用LRF302から受信した計測データを直交座標に変換し、XS2S2S2座標系(図11(b)において、OS1,S1,S1,S1をOS2,S2,S2,S2に置き換えた座標系)におけるXS2S22平面上にプロットしたデータが作成される。これを図12(c)に示す。
次に、LRFデータ演算ブロック310内に存在する座標変換部312は、データ取得部311で作成された段差用LRF301のデータに対し、座標変換処理を施す。予め記憶されているロボット300本体に対する段差用LRF301の取付位置および角度のパラメータを用いて、計測データをLRF301基準の座標系(XS1S1S1座標系)での座標値から、ロボット300本体基準の座標系(X座標系)での座標値に変換する。同様に、段差用LRF302のデータについても、LRF302基準の座標系(XS2S2S2座標系)での座標値から、ロボット本体基準の座標系(X座標系)での座標値に変換する座標変換処理を施す。これにより、段差用LRF301および302のデータから清掃ロボット本体基準の3次元点群データを得ることができる。
その後、これらのデータは凹部判定部としてのデータ統合・判定部313に送られる。前段の座標変換処理により、段差用LRF301および302の2つのデータが同一のロボット300本体基準の3次元点群データとして表されたことになるので、これを1つのデータに統合することができる。さらに、データ統合・判定部313では、第1の実施形態と同様に、3次元点群データを構成する各点に対し、ロボット本体座標系におけるY即ち床面からの高さの値によって「段差」、「障害物」、「床面」、「未確定」などのラベル情報を付加する。
ラベル情報を付加した3次元点群データは、俯瞰図データ作成部としての俯瞰図作成部314に送られる。俯瞰図作成部では、3次元点群データをロボット本体基準座標系のX平面にプロットすることで、ロボット本体の上方から見下ろした俯瞰図画像を作成する。この俯瞰図画像を図14(a)に示す。本図では、統合前の図12(b)および(c)におけるA,B,P等に対応する点を、それぞれA’,B’,P’のようにダッシュを付けて表している。
俯瞰図画像は補正処理部としてのデータ補正部315に送られ、ここで段差位置の補正が行われる。データ補正部は、俯瞰図画像において計測データ点の存在するA’からB’およびA’からB’の範囲を探索する。計測データ点のラベル情報が「段差」である場合は、その段差の位置を、以下で説明する補正量Lだけ清掃ロボット本体に近い側に補正する。その際に、ラベルは「段差」のままとする。この補正処理は、その段差の位置に段差ではなく床面が存在すると仮定した場合の床面の位置に置き換えることに相当する。
段差補正量の算出について、図15を用いて説明する。段差P’Q’上の点U’について、その位置に段差ではなく床面が存在すると仮定した場合の床面の位置をV’とすると、補正量LはU’V’に相当する。
Lは、段差の深さ(3次元点群データのY座標値に相当する)Yと図15に示すθを用いると
L=Y/tanθ
で表される。θは、LRF301の取付角度θ、およびLRF301の計測面内においてOS1’がZS1軸となす角度θにより
sinθ=cosθ・cosθ
によって表されるので、
L=Y/tan(sin−1(cosθ・cosθ))
となる。
上式により、段差上の任意の点について、Y、θおよびその点についてのθが与えられると、その点での段差位置補正量Lを計算することができる。
データ補正部315は、俯瞰図画像に含まれる3次元点群データのうち、補正が必要な「段差」ラベルを有する点すべてについて上記の補正量Lを計算し、その距離Lの補正を行った俯瞰図画像を新たに生成する。データ補正部315において補正を行った後の俯瞰図画像を図14(b)に示す。図14(a)では段差を示すP’Q’およびP’T’の線分が、床面を示す線分A’B’よりも遠い距離に表示されているが、図14(b)では段差位置S’T’は床面A’B’と同一直線上に存在することが分かる。
補正を行わない場合、俯瞰図上での段差エッジ位置までの距離は、死角の影響によって真の段差エッジ位置までの距離(図14(a)に示すO’)よりも遠い値(同図のO’)となり、清掃ロボット本体が段差に近づくにつれその値が真の値に漸近する。つまり、清掃ロボットが段差に近づくにつれて、最初に計測した時よりも段差エッジの位置が徐々に近づいてくることになる。
清掃ロボットのような自律移動ロボットでは、無人の状態で安全に走行するために、周囲の段差の位置を正確に把握する必要がある。通常は、検出した段差のエッジの位置が移動中に変動したとしても、走行制御ブロックが移動速度および移動方向を都度修正することで転落を回避することが可能である。しかし、急旋回や急発進を行う場合などで、それまで距離画像センサの視野範囲外であった領域から視野範囲の中に段差が突然現れるようなことが考えられ、そのような場合に回避動作が間に合わなくなる恐れがある。自律移動ロボットには、段差用LRFのような周囲環境検出装置以外に、筐体の下部に個別に床面検出センサ等を設けるなどして2重3重の転落防止策を講じているが、それでも上記のような死角による位置計測誤差が頻繁に発生すると、床面検出センサが過剰に反応するなどして挙動が不安定になる恐れを排除できない。
これに対し、本第4の実施形態の清掃ロボットでは、データ補正部315によって上記のような段差位置の補正が施されるので、段差のエッジは常に正しい位置(図14(b)に示すO’)となる。
なお、上記のような段差位置補正量Lの計算とそれに基づく補正を行わなくても、機械的な置き換え処理だけで同等の効果を得ることは可能である。例えば、図14(a)に示す「段差」ラベルが付与されたP’Q’およびP’T’の線分が存在する場合に、これを機械的にS’T’の線分に置き換えるような処理が考えられる。しかし、この場合、例えば、床面の端であるS’が表面の反射率やノイズ等の問題がある計測となり、S’から離れた位置S”(図示せず)として計測されてしまった場合、線分がS’T’ではなくS”T’に補正されるため、段差のエッジが真の位置から外れてしまうことになる。これに対し、上述の段差位置補正量Lの計算においては、Lはあくまで段差の深さであるYと段差用LRF301,302の取付角θおよび計測角度θだけから計算されるので、床面の端S’の位置に誤差があっても補正後の段差データには影響は及ばない。つまり、段差補正量Lをその都度計算して適切な量だけ補正を行うことで、床面の端S’の計測値に多少計測誤差があっても適切な段差のエッジを求めることができる。
LRF301,302は、距離画像センサと異なり1次元の走査しか行えないので、計測可能な領域は床面上の直線状の領域となり、清掃ロボット300が静止した状態では、この直線上にない段差は検出することができない。しかし、清掃ロボット300本体が走行しながら連続して計測を行うことで、計測可能領域を示す直線が床面上を移動するため、結果として床面上の全範囲を計測領域に含めることが可能になる。
本第4の実施形態の清掃ロボット300では、オドメトリ情報および水平LRF22が取得した障害物・段差情報から、第1の実施形態と同様の自己位置認識手法を用いて、清掃ロボット300自身が現在マップ内のどの位置に存在するかを計算する。段差用LRF301,302から得られた段差情報が含まれる俯瞰図データをこのマップ上に重ね合わせて表示し、清掃ロボット300の移動に合わせて俯瞰図データをその時点の現在位置に上書きして更新する。このとき、データ補正部315において、段差端の計測点Q1’がエッジの位置S1’に正しく補正されていれば、上書き更新することで形成される「床面」ラベルの点と「段差」ラベルの点との境界の点の集合は、段差のエッジを正しく表すことになる。
図16の(a)〜(d)に、段差位置補正を行う場合と行わない場合の検出結果の比較を示す。段差位置補正を行わない場合、俯瞰図上での段差端を示す点が真の段差端よりも奥側(清掃ロボット本体から遠い側)にずれており、しかも清掃ロボット300が移動するにつれてLRFの死角が変化することでずれ量が変化する。この様子を図16(a)に示す。これらのデータをマップ上で重ね合わせて得られる段差領域の情報は図16(b)のような形状になり、清掃ロボット本体に近い方のエッジの位置が、実際の段差エッジの位置からずれてしまうことになる。これに対し、段差位置補正を行う場合、図16(c)のように俯瞰図上での段差端を示す点が正しい位置で得られるため、このデータをマップ上で重ね合わせることにより、図16(d)のように正しい段差領域の情報が得られることになる。以上のことから、段差位置補正を行い、その結果をマップ上で重ね合わせることで、段差が存在する領域およびそのエッジを正しく検出できることが分かる。
以上のようにして抽出された段差情報は、同様に抽出された床面より高い障害物の情報と統合され、段差・障害物情報として自己位置演算ブロック35に送信される。段差・障害物データの形式は、後で走行制御ブロック32が処理しやすいように任意の形式に変換することができる。データの座標系は、清掃ロボット基準のX直交座標系のまま送ることもできるし、極座標(R−θ座標系)に変換することもできる。検出した全ての障害物・段差をデータ化する手法以外に、データの間引き・補間、ノイズ除去処理を行ったり、清掃ロボット300本体に最も近い障害物・段差データのみを抽出したりする手法も考えられる。
自己位置認識や清掃など、清掃ロボット300のその他の部分の構造や動作については、第1の実施形態で説明したものと同様であり、説明は省略する。
なお、先の第1の実施形態で述べた特許文献2では、段差情報の補正のために俯瞰図データを作成する点については本発明と類似しているものの、3次元情報の取得にステレオカメラを用いているので、本第4の実施形態のように段差用LRF301,302の1次元的な計測データからの段差情報の補正を行うことは想定されていない。また、特許文献2では、計測点が存在しない領域を危険領域と判定するだけで、段差のエッジ位置についての情報は補正されていないが、本第4の実施形態では、距離センサとして段差用LRF301,302を用いる場合であっても、死角によって生じる段差のエッジ位置のずれを正しく補正することができる。さらに、段差のエッジ位置について補正を行うことで、正しい段差のエッジ位置を取得でき、これにより、補正後のエッジ情報を自己位置認識の手がかりとして用いることができる。従って、マップ上での自己位置認識の精度が高まり、自律移動システムのマップ情報に基づく走行の信頼性を高めることができる。
以上のとおり、本第4の実施形態では、自律移動システムである清掃ロボット300の距離センサとして段差用LRF301,302を用いる場合であっても、死角によって生じる段差のエッジ位置のずれを正しく補正し、段差のエッジを精度よく抽出することで、段差への転落を防止し、自律移動の精度を高めることができる。
また、本第4の実施形態と第2の実施形態もしくは第3の実施形態とを組み合わせることで、段差用LRFを搭載した監視ロボットや段差用LRFを搭載した自動搬送ロボットを実現することができる。
(その他の実施形態)
本発明の周囲環境認識装置は、独立した装置として産業用、民生用その他用途に用いる他、汎用的な携帯情報端末などの一部に組み込んだり、演算回路の一部または全部を集積回路(IC)化して利用したりすることもできる。
第4の実施形態においては、段差エッジ位置の補正処理を1回の計測ごとに行っているが、複数回計測した結果を統合した後に行うことも可能である。複数回の計測結果を統合すると、図16(a)および(b)に示すとおり2次元的な段差情報が得られるので、第1の実施形態と類似の処理で死角によって生じる段差エッジ位置の補正を行うことができる。
第1の実施形態においては距離画像センサ20を1台、第4の実施形態においては段差用LRF301,302を2台用いているが、それぞれ他の台数であっても構わない。また、第1の実施形態と第4の実施形態を組み合わせて、距離画像センサやLRFを複数個搭載し、それらを併用しながら距離情報を得るような場合にも、本発明は適用可能である。
上記第1〜第4の実施形態では、凹部判別部の一例としての障害物・段差判別部38は、図3(a),(b)に示すように、床よりも高い凸状領域Kつまり「障害物」と、床面Fよりも低い凹状領域Cつまり「段差」と、床面領域Fつまり「床面」と判別するが、本発明の凹部判別部は、少なくとも、床面よりも低い凹状領域を判別できればよい。
上記の第1〜第4の実施形態では、自律移動システムの一形態としての清掃ロボット、監視ロボットおよび自動搬送ロボットについて説明したが、その他にも、例えば自動走行車、介護用ロボット、災害救助用ロボット、農作業用ロボット、エンターテイメント用ロボットなど他の自律移動システムにも適用可能である。
本発明および実施形態を纏めると、次のようになる。
本発明の周囲環境認識装置80,380は、
距離センサ20,301,302と、
上記距離センサ20,301,302から得られた距離データに基づいて、少なくとも床面Fより低い凹状領域Cを判別する凹部判別部(障害物・段差判別部38、データ統合・判定部313)と、
上記距離データを、上記床面Fを基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部39,314と、
上記俯瞰図データ内において、上記距離センサ20の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部40,315と
を備えることを特徴としている。
上記構成において、上記距離センサ20,301,302から得られた距離データに基づいて、凹部判別部(障害物・段差判別部38、データ統合・判定部313)は、少なくとも凹状領域Cを判別し、上記俯瞰図データ作成部39は、上記距離データを、上記床面Fを基準に座標変換して俯瞰図データを作成し、補正処理部40,315は、上記距離センサ20,301,302の死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する。例えば、上記凹状領域Cが表された俯瞰図データ内において、上記距離センサ20,301,302の死角によって生じる距離データの存在しない領域Uを、凹状領域Cとして補正する。
従って、本発明の周囲環境認識装置80,380によれば、死角がある場合でも段差を確実かつ正確に検出することで、周囲環境の認識精度を高めることができる。
1実施形態では、
上記補正処理部40,315は、上記俯瞰図データにおいて、上記凹部判別部(障害物・段差判別部38、データ統合・判定部313)によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定する。
上記実施形態によれば、上記凹部判別部(障害物・段差判別部38、データ統合・判定部313)によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否、上記データの欠落している領域の補正の可否を決定するので、ノイズ等で計測不能が原因となって発生する未確定領域と、死角によって発生する未確定領域とが混在する場合であっても、死角の大きさを正確に検出することができる。
上記特定の順序は、例えば、距離センサ20,301,302に近い順に、凸状領域または床面領域、未確定領域U、凹状領域Cと並んでいる順序とすることができる。
1実施形態では、
上記補正処理部40は、上記距離センサ20の取付角度θと、上記凹状領域Cの深さ情報hと、上記凹状領域Cの距離データL-とに基づいて、上記距離センサ20の死角の大きさを計算して、凹状領域Cに対する補正量h・tanθを決定する。
上記実施形態によれば、簡単、正確に凹状領域Cに対する補正量を決定することができる。
本発明の自律移動システム1,101,201,300は、
上記周囲環境認識装置80,380を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴としている。
本発明の自律移動システム1,101,201,300は、上記周囲環境認識装置80,380によって凹状領域つまり段差Cのエッジを正確かつ確実に検出することができるので、段差Cへの転落を防止することができる。
1実施形態の自律移動システム1,101,201,300は、
更新可能な地図データを保有し、上記周囲環境認識装置80,380からのデータに基づいて、上記地図データ上の自己位置の推定を行いながら移動する。
上記実施形態によれば、上記周囲環境認識装置で補正後の凹状領域Cのエッジを目印として、地図データ上の自己位置の推定を正確にできて、移動の効率を向上することができる。
その他、本発明の趣旨を損なわない範囲で種々の変更を加えることが可能である。
本発明は、計測対象となる画像データに含まれる障害物や段差などを検出するための周囲環境認識装置およびそれを用いた自律移動システムに関するものであり、周囲環境認識装置自体を独立した装置として清掃、監視、自動搬送を始めとする産業用、民生用その他用途に用いる他、他の装置の一部に組み込んで利用したり、装置の一部または全部を集積回路(IC)化して利用したりすることも可能である。
1、101,300 清掃ロボット(自律移動システム)
2 駆動輪
3 従輪
4 バッテリ
5 洗浄液タンク
6 洗浄液吐出部
7 廃液タンク
8 廃液吸引口
9 清掃ブラシ
10 モータ
11 筐体
12 保護部材
13 操作パネル
20 距離画像センサ
21 窓
22 レーザレンジファインダ(LRF)
30,330 演算装置
31 距離画像演算ブロック
32 走行制御ブロック
33 清掃制御ブロック
34 マップ情報メモリ
35 自己位置演算ブロック
36 3次元座標演算部
37 座標変換部
38 障害物・段差判別部(凹部判別部)
39 俯瞰図作成部
301,302 段差用レーザレンジファインダ(LRF)
310 LRFデータ演算ブロック

Claims (3)

  1. 距離センサと、
    上記距離センサから得られた距離データに基づいて、少なくとも床面より低い凹状領域を判別する凹部判別部と、
    上記距離データを、上記床面を基準に座標変換して俯瞰図データを作成する俯瞰図データ作成部と、
    上記俯瞰図データ内において、上記距離センサの死角によって生じる凹状領域と、その凹状領域以外の領域との境界の位置のずれを補正する補正処理部と
    を備え、
    上記補正処理部は、上記距離センサの取付角度と、上記凹状領域の深さ情報と、上記凹状領域の距離データとに基づいて、上記距離センサの死角の大きさを計算して、補正量を決定することを特徴する周囲環境認識装置。
  2. 上記補正処理部は、上記俯瞰図データにおいて、上記凹部判別部によって判別されたデータが特定の順序に配列されているか否かに基づいて、上記境界の位置のずれの補正の可否を決定することを特徴する請求項1に記載の周囲環境認識装置。
  3. 請求項1または2に記載の周囲環境認識装置を備え、進行方向前方の移動可能な領域を認識しながら移動することを特徴とする自律移動システム。
JP2013110883A 2013-02-27 2013-05-27 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 Expired - Fee Related JP6132659B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013110883A JP6132659B2 (ja) 2013-02-27 2013-05-27 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
CN201380073566.0A CN105074600B (zh) 2013-02-27 2013-11-28 周围环境识别装置、使用其的自主移动系统以及周围环境识别方法
US14/655,438 US9411338B2 (en) 2013-02-27 2013-11-28 Surrounding environment recognition device, autonomous mobile system using same, and surrounding environment recognition method
PCT/JP2013/082022 WO2014132509A1 (ja) 2013-02-27 2013-11-28 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013037823 2013-02-27
JP2013037823 2013-02-27
JP2013110883A JP6132659B2 (ja) 2013-02-27 2013-05-27 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Publications (2)

Publication Number Publication Date
JP2014194729A JP2014194729A (ja) 2014-10-09
JP6132659B2 true JP6132659B2 (ja) 2017-05-24

Family

ID=51427797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013110883A Expired - Fee Related JP6132659B2 (ja) 2013-02-27 2013-05-27 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Country Status (4)

Country Link
US (1) US9411338B2 (ja)
JP (1) JP6132659B2 (ja)
CN (1) CN105074600B (ja)
WO (1) WO2014132509A1 (ja)

Families Citing this family (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US8169596B2 (en) * 2009-08-17 2012-05-01 Seegrid Corporation System and method using a multi-plane curtain
KR102061511B1 (ko) * 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
US10307912B2 (en) * 2013-07-15 2019-06-04 Lg Electronics Inc. Robot cleaner and method for auto-correcting 3D sensor of the robot cleaner
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
JP6246690B2 (ja) * 2014-09-26 2017-12-13 Idec株式会社 移動体、計測装置及び計測方法
KR20160048492A (ko) 2014-10-24 2016-05-04 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
EP3224649B1 (en) * 2014-11-26 2023-04-05 iRobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
JP6729997B2 (ja) * 2014-12-25 2020-07-29 東芝ライフスタイル株式会社 電気掃除機
CN104571511B (zh) * 2014-12-30 2018-04-27 青岛歌尔声学科技有限公司 一种3d场景中重现物体的系统和方法
JP6476945B2 (ja) * 2015-02-09 2019-03-06 サクサ株式会社 画像処理装置
KR102314637B1 (ko) * 2015-03-23 2021-10-18 엘지전자 주식회사 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
CN111273690A (zh) 2015-03-31 2020-06-12 深圳市大疆创新科技有限公司 移动平台操作系统及方法
WO2016157428A1 (ja) * 2015-03-31 2016-10-06 パイオニア株式会社 計測装置、計測方法、及び、プログラム
DE102015105211A1 (de) * 2015-04-07 2016-10-13 Vorwerk & Co. Interholding Gmbh Verfahren zur Bearbeitung eines Bodens
JP6320542B2 (ja) * 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 初期構成を有する複数のセンサを有する可動物体に対する1または複数の外部パラメータを推定する方法、システム、及びプログラム
JP6505506B2 (ja) * 2015-05-29 2019-04-24 シャープ株式会社 光センサおよび電子機器
WO2016200792A1 (en) * 2015-06-07 2016-12-15 Barrows, Geoffrey, Louis Localization method and apparatus
EP3315949B1 (en) * 2015-06-23 2021-04-28 Nec Corporation Detection system, detection method, and program
US9919425B2 (en) * 2015-07-01 2018-03-20 Irobot Corporation Robot navigational sensor system
JP2017015601A (ja) * 2015-07-02 2017-01-19 シャープ株式会社 路面検知装置、移動体、路面検知方法、および路面検知プログラム
US9746852B1 (en) * 2015-08-17 2017-08-29 X Development Llc Using laser sensors to augment stereo sensor readings for robotic devices
US9886035B1 (en) 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
US20170090456A1 (en) * 2015-09-25 2017-03-30 Multimedia Image Solution Limited Autonomous cleaning robot
EP3356765A1 (en) * 2015-09-28 2018-08-08 NextNav, LLC Altitude-based indoor or outdoor detection
JP7007078B2 (ja) * 2015-10-08 2022-01-24 東芝ライフスタイル株式会社 電気掃除機
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機
US10444758B2 (en) * 2015-12-01 2019-10-15 Ricoh Company, Ltd. Autonomous traveling device
US9946259B2 (en) * 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
JP6685755B2 (ja) * 2016-02-16 2020-04-22 東芝ライフスタイル株式会社 自律走行体
JP7058067B2 (ja) 2016-02-16 2022-04-21 東芝ライフスタイル株式会社 自律走行体
CN105824313A (zh) * 2016-03-15 2016-08-03 深圳市华讯方舟科技有限公司 障碍物躲避方法及装置
US10789730B2 (en) 2016-03-18 2020-09-29 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for monitoring a position
CN105796002B (zh) * 2016-03-31 2018-09-18 北京小米移动软件有限公司 清洁机器人室内清洁处理方法、清洁机器人及移动终端
US20170329347A1 (en) * 2016-05-11 2017-11-16 Brain Corporation Systems and methods for training a robot to autonomously travel a route
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US10245730B2 (en) * 2016-05-24 2019-04-02 Asustek Computer Inc. Autonomous mobile robot and control method thereof
KR101795270B1 (ko) * 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
JP6822788B2 (ja) * 2016-06-24 2021-01-27 大成建設株式会社 清掃ロボット
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
JP6786922B2 (ja) * 2016-07-12 2020-11-18 株式会社リコー 情報処理装置、情報処理方法及び情報処理プログラム
US10265856B2 (en) * 2016-07-21 2019-04-23 X Development Llc Reorienting a distance sensor using an adjustable leveler
CN106203419B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种确定包络面的方法和装置
CN106156751B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN107334609B (zh) * 2016-07-25 2019-08-27 上海肇观电子科技有限公司 一种向目标对象播放音频信息的系统和方法
KR101997531B1 (ko) * 2016-08-01 2019-07-08 한국기계연구원 개인 이동기구의 장애물 회피 시스템 및 이를 이용한 장애물 회피 방법
US10845817B1 (en) * 2016-08-11 2020-11-24 Ali Ebrahimi Afrouzi System and method for confining robotic devices
CN107765697B (zh) * 2016-08-23 2023-11-03 苏州宝时得电动工具有限公司 自移动设备以及自移动设备控制方法
US10690757B1 (en) * 2016-08-25 2020-06-23 AI Incorporated Method and apparatus for improving range finding system readings
CN106269624B (zh) * 2016-09-21 2019-03-08 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
JP6831210B2 (ja) 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
JP6831213B2 (ja) * 2016-11-09 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
EP3549726B1 (en) * 2016-11-30 2023-01-11 Yujin Robot Co., Ltd. Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner
EP4177639A1 (en) * 2016-11-30 2023-05-10 Yujin Robot Co., Ltd. Robotic vacuum cleaner with multichannel lidar-based obstacle detection and slip detection
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
CN106527449B (zh) * 2016-12-23 2024-06-21 上海诺亚木木机器人科技有限公司 避障系统
JP6740552B2 (ja) * 2016-12-28 2020-08-19 株式会社三井E&Sマシナリー 障害物検知システムおよび障害物検知方法
EP3548845B1 (en) * 2017-01-12 2021-10-13 Mobileye Vision Technologies Ltd. Navigation based on vehicle activity
DE112017006839T5 (de) * 2017-01-16 2019-09-26 Fujitsu Limited Informationsverarbeitungsvorrichtung, Datenbankerzeugungsvorrichtung, Verfahren, Programm und Speichermedium
JP6809913B2 (ja) * 2017-01-26 2021-01-06 パナソニック株式会社 ロボット、ロボットの制御方法、および地図の生成方法
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
CN110291419A (zh) * 2017-02-20 2019-09-27 三菱电机株式会社 传感器数据整合装置、传感器数据整合方法以及传感器数据整合程序
JP6603253B2 (ja) * 2017-03-02 2019-11-06 本田技研工業株式会社 移動体制御システム、および移動体制御方法
JP6811656B2 (ja) 2017-03-14 2021-01-13 本田技研工業株式会社 レーザ式測距装置のノイズデータの特定方法
JP6927630B2 (ja) * 2017-03-21 2021-09-01 株式会社Ihiエアロスペース 凹型障害物検出装置と方法
JP6836940B2 (ja) 2017-03-22 2021-03-03 本田技研工業株式会社 レーザ式測距装置のノイズデータの特定方法
JP2018163614A (ja) 2017-03-27 2018-10-18 カシオ計算機株式会社 自律移動装置、自律移動方法およびプログラム
JP6788537B2 (ja) 2017-03-28 2020-11-25 本田技研工業株式会社 レーザ式測距装置を使用した物体エッジの検出方法
JP6874489B2 (ja) * 2017-04-13 2021-05-19 三菱電機株式会社 自走式布団掃除機
JP6907678B2 (ja) * 2017-04-25 2021-07-21 トヨタ自動車株式会社 移動ロボット
US10742494B2 (en) * 2017-04-27 2020-08-11 Veoneer Us, Inc. System and method for configuring at least one sensor system of a vehicle
JP7243967B2 (ja) * 2017-06-02 2023-03-22 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの前方の表面のレベル差を検出する方法
CN107167141B (zh) * 2017-06-15 2020-08-14 同济大学 基于双一线激光雷达的机器人自主导航系统
CN107030733B (zh) * 2017-06-19 2023-08-04 合肥虹慧达科技有限公司 一种轮式机器人
CN109215044B (zh) * 2017-06-30 2020-12-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
JP7089954B2 (ja) * 2017-06-30 2022-06-23 酒井重工業株式会社 建設車両の障害物検知装置
CN107703951B (zh) * 2017-07-27 2019-02-01 上海拓攻机器人有限公司 一种基于双目视觉的无人机避障方法及系统
KR102448287B1 (ko) * 2017-08-08 2022-09-28 삼성전자주식회사 전자 장치 및 그 동작 방법
DE102017214185A1 (de) * 2017-08-15 2019-02-21 Zf Friedrichshafen Ag Steuerung eines Transportfahrzeugs
CN109425352A (zh) * 2017-08-25 2019-03-05 科沃斯机器人股份有限公司 自移动机器人路径规划方法
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
CN107544534A (zh) * 2017-10-16 2018-01-05 中国矿业大学 一种基于bds、ins的植保无人机自动精细作业及避障方法
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
CN107553497B (zh) 2017-10-20 2023-12-22 苏州瑞得恩光能科技有限公司 太阳能面板清扫机器人的边缘定位装置及其定位方法
US11474254B2 (en) 2017-11-07 2022-10-18 Piaggio Fast Forward Inc. Multi-axes scanning system from single-axis scanner
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US11537131B2 (en) 2017-11-20 2022-12-27 Sony Corporation Control device, control method, and mobile body
US10878294B2 (en) 2018-01-05 2020-12-29 Irobot Corporation Mobile cleaning robot artificial intelligence for situational awareness
JP6960061B2 (ja) * 2018-01-10 2021-11-05 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 溢れおよび危険物を検出して対応する方法
CN108089200A (zh) * 2018-01-12 2018-05-29 深圳慎始科技有限公司 一种具有线形固态雷达的清扫机器人
CN108189004A (zh) * 2018-02-11 2018-06-22 浙江科聪智能科技有限公司 一种防爆巡检机器人
CN110162030B (zh) * 2018-02-12 2022-11-25 北京欣奕华科技有限公司 一种移动机器人及其障碍物检测方法
EP3767337B1 (en) 2018-03-16 2024-09-04 Mitsui E&S Co., Ltd. Obstacle sensing system and obstacle sensing method
WO2019188389A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
EP3792878A4 (en) 2018-05-10 2021-05-19 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND SOIL MODELING SYSTEM
WO2019216578A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
US11110896B2 (en) 2018-05-16 2021-09-07 Tesla, Inc. Pulsed laser cleaning of debris accumulated on glass articles in vehicles and photovoltaic assemblies
CN110531748A (zh) * 2018-05-24 2019-12-03 宝时得科技(中国)有限公司 自动行走设备及其控制方法
US20190384314A1 (en) * 2018-06-15 2019-12-19 Mobile Industrial Robots A/S Detecting objects near an autonomous device
CN108673510A (zh) * 2018-06-20 2018-10-19 北京云迹科技有限公司 机器人安全行进系统及方法
US10872221B2 (en) 2018-06-21 2020-12-22 Amazon Technologies, Inc Non-contact biometric identification system
CN111766877B (zh) * 2018-06-27 2021-08-31 北京航空航天大学 一种机器人
EP3623894B1 (en) 2018-09-13 2022-11-23 Mobile Industrial Robots A/S Agv having dynamic safety zone
US11141863B2 (en) * 2018-10-11 2021-10-12 Pixart Imaging Inc. Cleaning robot capable of detecting 2D depth information and operating method thereof
US11287826B2 (en) 2018-10-12 2022-03-29 Boston Dynamics, Inc. Terrain aware step planning system
CN112912808B (zh) * 2018-10-22 2023-12-26 株式会社尼罗沃克 行驶路径生成系统、行驶路径生成方法、计算机可读取记录介质、坐标测量系统以及无人机
CN113961005A (zh) * 2018-10-22 2022-01-21 科沃斯机器人股份有限公司 行进控制的方法、表面清洁机器人及存储介质
JP7163729B2 (ja) * 2018-11-08 2022-11-01 トヨタ自動車株式会社 車両制御装置
CN109637339B (zh) * 2018-11-19 2022-08-09 深圳市海柔创新科技有限公司 地图生成方法、装置、计算机可读存储介质和计算机设备
CN111202470B (zh) * 2018-11-21 2024-09-20 北京石头世纪科技股份有限公司 智能清洁设备、重定位方法及装置、存储介质、电子设备
CN109814564A (zh) * 2019-01-29 2019-05-28 炬星科技(深圳)有限公司 目标对象的检测、避障方法、电子设备及存储介质
CN109940612A (zh) * 2019-03-04 2019-06-28 东北师范大学 基于一字线激光的智能避障机器人及其避障方法
US11660758B2 (en) 2019-03-12 2023-05-30 Bear Robotics, Inc. Robots for serving food and/or drinks
US20200302147A1 (en) * 2019-03-20 2020-09-24 Amazon Technologies, Inc. Biometric input device
JP7162218B2 (ja) * 2019-03-25 2022-10-28 国立大学法人 東京大学 俯瞰映像提示システム
JP6918044B2 (ja) * 2019-03-28 2021-08-11 Kddi株式会社 ロボット制御装置及びロボット制御方法
JP7142597B2 (ja) * 2019-04-01 2022-09-27 ヤンマーパワーテクノロジー株式会社 走行領域形状登録システム
JP7195543B2 (ja) * 2019-04-26 2022-12-26 国立大学法人京都大学 収穫機
JP7340350B2 (ja) * 2019-05-07 2023-09-07 東芝テック株式会社 情報処理装置及び情報処理方法
JP7257257B2 (ja) * 2019-05-30 2023-04-13 アルパイン株式会社 路面検出システム、パーソナルモビリティ及び障害物検出方法
JP7301474B2 (ja) * 2019-07-16 2023-07-03 アルパイン株式会社 3次元データ分析装置および3次元データ分析方法
US11597104B2 (en) * 2019-07-31 2023-03-07 X Development Llc Mobile robot sensor configuration
CN114503043B (zh) 2019-08-06 2025-04-01 波士顿动力公司 受限移动性建图
CN110794422B (zh) * 2019-10-08 2022-03-29 歌尔光学科技有限公司 一种含有tof成像模组的机器人数据采集系统及方法
WO2021086725A1 (en) 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of training models of diagnostic analyzers
WO2021086724A1 (en) 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of identifying tube assembly type
CN110765970B (zh) * 2019-10-31 2022-08-09 北京地平线机器人技术研发有限公司 最近障碍物的确定方法和装置、存储介质、电子设备
CN112773261B (zh) * 2019-11-04 2022-06-21 美智纵横科技有限责任公司 规避障碍物的方法、装置及扫地机器人
CN110989581B (zh) * 2019-11-26 2023-04-07 广东博智林机器人有限公司 搬运系统的控制方法、装置、计算机设备和存储介质
CN110919653B (zh) * 2019-11-29 2021-09-17 深圳市优必选科技股份有限公司 机器人的爬楼控制方法、装置、存储介质和机器人
CN112987716A (zh) * 2019-12-17 2021-06-18 科沃斯机器人股份有限公司 作业控制方法、装置、系统及机器人
CN113138593A (zh) * 2020-01-02 2021-07-20 苏州宝时得电动工具有限公司 自主机器人的地图创建方法、装置、设备及存储介质
JP7243650B2 (ja) * 2020-02-12 2023-03-22 トヨタ自動車株式会社 移動量検出システム及び移動量検出方法
CN111305019B (zh) * 2020-02-14 2021-11-16 北京小马慧行科技有限公司 检测道路质量的方法、装置、存储介质与处理器
JP7393255B2 (ja) * 2020-03-05 2023-12-06 東芝テック株式会社 情報処理装置及び情報処理方法
CN111538329B (zh) * 2020-04-09 2023-02-28 北京石头创新科技有限公司 一种图像查看方法、终端及清洁机
CN111538034B (zh) * 2020-04-22 2021-05-28 追创科技(苏州)有限公司 障碍物识别方法、装置及存储介质
KR102883153B1 (ko) * 2020-05-06 2025-11-06 주식회사 케이티 라이다 기반의 차량 위치 추정 방법 및 장치
JP7417944B2 (ja) * 2020-07-21 2024-01-19 パナソニックIpマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
JP7558718B2 (ja) * 2020-08-25 2024-10-01 日本信号株式会社 床掃除機
JP7579095B2 (ja) * 2020-09-15 2024-11-07 日立建機株式会社 画像処理装置
CN112099504B (zh) * 2020-09-16 2024-06-18 深圳优地科技有限公司 机器人移动方法、装置、设备及存储介质
US20220144609A1 (en) * 2020-11-06 2022-05-12 Kabushiki Kaisha Toshiba Autonomous mobile robot, transporter, autonomous mobile robot control method, and transporter control method
CN112462772A (zh) * 2020-11-26 2021-03-09 深圳优地科技有限公司 机器人行进方法、装置、设备及存储介质
US11703458B2 (en) * 2020-12-06 2023-07-18 Pixart Imaging Inc. Detecting device and automatic cleaner
US12591960B2 (en) 2020-12-06 2026-03-31 Pixart Imaging Inc. Optical device and dirt level determining method
JP2022100650A (ja) * 2020-12-24 2022-07-06 トヨタ自動車株式会社 荷物搬送システム、荷物搬送方法および荷物搬送プログラム
CN112826393B (zh) * 2020-12-30 2022-04-01 北京奇虎科技有限公司 扫地机器人运行管理方法、扫地机器人、设备及存储介质
CN112859836B (zh) * 2020-12-30 2024-09-10 广东美的白色家电技术创新中心有限公司 一种自主移动设备、校正方法及计算机存储介质
CN112741562A (zh) * 2020-12-30 2021-05-04 苏州三六零机器人科技有限公司 扫地机控制方法、装置、设备及计算机可读存储介质
CN113077503B (zh) * 2021-03-24 2023-02-07 浙江合众新能源汽车有限公司 盲区视频数据生成方法、系统、设备和计算机可读介质
JP7617787B2 (ja) * 2021-03-25 2025-01-20 古河電気工業株式会社 検出装置、検出方法およびプログラム
JP7707617B2 (ja) * 2021-04-06 2025-07-15 オムロン株式会社 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
CN113325428A (zh) * 2021-04-29 2021-08-31 中国科学院沈阳自动化研究所 一种基于激光雷达的距离与航向测量方法
US11622495B2 (en) * 2021-06-01 2023-04-11 Gint Co., Ltd. Method of automatically combining farm vehicle and work machine and farm vehicle
US12468300B2 (en) * 2021-06-04 2025-11-11 Boston Dynamics, Inc. Detecting negative obstacles
CN113608524B (zh) * 2021-06-16 2024-04-16 深圳甲壳虫智能有限公司 自动行走装置及其控制方法、控制装置及存储介质
JP2024525951A (ja) * 2021-07-23 2024-07-12 アルフレッド ケルヒャー エスエー ウント コンパニー カーゲー 自走式自己操舵の床清掃装置及び床清掃システム
CN113749562B (zh) * 2021-08-13 2022-08-16 珠海格力电器股份有限公司 扫地机器人及其控制方法、装置、设备和存储介质
CN115808130B (zh) * 2021-10-14 2023-12-12 宁德时代新能源科技股份有限公司 一种电芯卷绕校准方法及设备
US12535318B2 (en) * 2021-10-22 2026-01-27 Mobile Industrial Robots A/S Determining scanner error
JP7757740B2 (ja) * 2021-11-30 2025-10-22 オムロン株式会社 走行装置及び走行装置の制御方法
US12555385B2 (en) * 2021-12-02 2026-02-17 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications
CN116352696B (zh) * 2021-12-28 2025-12-23 美智纵横科技有限责任公司 机器人控制方法、装置及机器人
JP7623274B2 (ja) * 2021-12-28 2025-01-28 Kddi株式会社 地図利用装置及びプログラム
JPWO2023145529A1 (ja) * 2022-01-31 2023-08-03
JP7722227B2 (ja) * 2022-03-11 2025-08-13 株式会社デンソー 路面状態検知装置、路面状態検知方法、および路面状態検知プログラム
JP2023143259A (ja) * 2022-03-25 2023-10-06 古河電気工業株式会社 検出装置、検出方法およびプログラム
CN114663532B (zh) * 2022-03-31 2025-04-11 上海擎朗智能科技有限公司 机器人传感器校正方法、机器人及计算机可读存储介质
CN114747982B (zh) * 2022-04-18 2023-03-24 麦岩智能科技(北京)有限公司 一种k型的清洁机器人摄像头排布方法
CN114951003B (zh) * 2022-05-06 2023-12-26 苏州嘉诺智能制造有限公司 基于距离检测的分拣方法及装置
EP4486183A4 (en) * 2022-05-25 2025-06-11 TriEye Ltd. System and method for using SWIR detection in cleaning machines
CN115500737B (zh) * 2022-09-28 2023-10-17 云鲸智能(深圳)有限公司 一种地面介质探测方法、装置及清洁设备
CN115718487A (zh) * 2022-10-27 2023-02-28 北京石头创新科技有限公司 自移动设备位姿确定方法、装置、自移动设备及存储介质
US12253856B2 (en) * 2022-11-30 2025-03-18 Omron Corporation Mobile robot clearance systems
JP7763223B2 (ja) * 2023-09-28 2025-10-31 キヤノン株式会社 情報処理装置、方法、及びプログラム
CN118235999A (zh) * 2024-04-18 2024-06-25 追觅创新科技(苏州)有限公司 清洁机器人的行进控制方法、清洁机器人以及存储介质
US20260086577A1 (en) * 2024-09-26 2026-03-26 Intel Corporation Mobile robot apparatus, system, and method
CN119033292B (zh) * 2024-10-28 2025-02-14 深圳市景创科技电子股份有限公司 基于lds的清洁机器人避障方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57141574A (en) * 1981-02-25 1982-09-01 Fujitsu Ten Ltd Warning device for travelling obstacle
JPS60200314A (ja) * 1984-03-26 1985-10-09 Hitachi Ltd 移動ロボット誘導方法
JPH07229727A (ja) * 1994-02-22 1995-08-29 Nikon Corp 路面検出装置
JP3300341B2 (ja) * 1999-10-12 2002-07-08 松下電器産業株式会社 監視システムおよびカメラ調整方法
JP2003116758A (ja) * 2001-10-16 2003-04-22 Mitsubishi Electric Corp 自走式掃除機
JP2004139264A (ja) * 2002-10-16 2004-05-13 Toshiba Tec Corp 自律走行ロボット
JP4241651B2 (ja) * 2005-03-16 2009-03-18 パナソニック電工株式会社 移動装置
JP4462196B2 (ja) * 2006-01-18 2010-05-12 パナソニック電工株式会社 移動車両
CN200972604Y (zh) * 2006-11-14 2007-11-07 喻礼琼 一种用于移动平台的台阶检测装置
JP5448429B2 (ja) * 2008-11-28 2014-03-19 綜合警備保障株式会社 移動体検知装置および移動体検知方法
JP2010287029A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
KR20100134958A (ko) * 2009-06-16 2010-12-24 웅진코웨이주식회사 이동체 및 이동체의 주행 제어 방법
EP2835973B1 (de) * 2013-08-06 2015-10-07 Sick Ag 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
US9182605B2 (en) * 2014-01-29 2015-11-10 Emine Goulanian Front-projection autostereoscopic 3D display system

Also Published As

Publication number Publication date
US20150362921A1 (en) 2015-12-17
CN105074600A (zh) 2015-11-18
JP2014194729A (ja) 2014-10-09
US9411338B2 (en) 2016-08-09
CN105074600B (zh) 2017-09-19
WO2014132509A1 (ja) 2014-09-04

Similar Documents

Publication Publication Date Title
JP6132659B2 (ja) 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP6030405B2 (ja) 平面検出装置およびそれを備えた自律移動装置
CN112004645B (zh) 智能清洁机器人
WO2014064990A1 (ja) 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
EP3104194B1 (en) Robot positioning system
US11407116B2 (en) Robot and operation method therefor
CN108007452B (zh) 根据障碍物更新环境地图的方法、装置及机器人
US8209074B2 (en) Robot and method for controlling the same
US7684894B2 (en) Autonomously moving robot
CN110031002B (zh) 侦测阻碍物的方法、系统以及其传感器子系统
JP5247494B2 (ja) 自律移動装置
CN105247431A (zh) 自主移动体
EP3958086B1 (en) A method and a system of improving a map for a robot
CN115932882A (zh) 通过自主机器人载具提供环境的3d探测的系统
US11960296B2 (en) Method and apparatus for autonomous mobile device
JP2023083305A (ja) 掃除地図表示装置
CN115195602A (zh) 显示控制系统、显示控制方法以及非临时性存储介质
JP4539388B2 (ja) 障害物検出装置
KR20220050483A (ko) 무인 반송 차량의 위치 인식 장치 및 방법
CN114355894B (zh) 数据处理方法、机器人以及机器人系统
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
JP7618378B2 (ja) 自律移動体
EP4383217B1 (en) Person detection method and system for collision avoidance
CN115237146A (zh) 用于机器人动态调整避障灵敏度方法及机器人
EP4564053B1 (en) Determining a lens coverage condition of a light-based scanning device arranged in a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170418

R150 Certificate of patent or registration of utility model

Ref document number: 6132659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees