Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7790877B2 - 情報処理装置、移動装置及びコンピュータプログラム - Google Patents
[go: Go Back, main page]

JP7790877B2 - 情報処理装置、移動装置及びコンピュータプログラム - Google Patents

情報処理装置、移動装置及びコンピュータプログラム

Info

Publication number
JP7790877B2
JP7790877B2 JP2021088860A JP2021088860A JP7790877B2 JP 7790877 B2 JP7790877 B2 JP 7790877B2 JP 2021088860 A JP2021088860 A JP 2021088860A JP 2021088860 A JP2021088860 A JP 2021088860A JP 7790877 B2 JP7790877 B2 JP 7790877B2
Authority
JP
Japan
Prior art keywords
success
position measurement
information
history
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021088860A
Other languages
English (en)
Other versions
JP2022181736A (ja
Inventor
尚子 三浦
誠 冨岡
大輔 小竹
彰人 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021088860A priority Critical patent/JP7790877B2/ja
Priority to US17/752,696 priority patent/US12434721B2/en
Publication of JP2022181736A publication Critical patent/JP2022181736A/ja
Application granted granted Critical
Publication of JP7790877B2 publication Critical patent/JP7790877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動体の位置計測が可能な情報処理装置、移動装置及びコンピュータプログラム等に関する。
撮影装置によって撮影した画像を用いた位置計測処理によって、ロボットなどの移動体を無人走行させる技術が普及しつつある。特に、工場や倉庫内などで自律走行するAGV(Automatic Guided Vehicle)に搭載して物流を自動化することが注目されている。
上記のような装置において、位置計測処理に失敗もしくは位置計測処理の信頼度が低い場合、自律走行することができず移動体の制御が不安定となる。再度移動体を制御して自立走行させるためには、位置計測処理をリセットする必要がある。
一方、特許文献1には、物体の画像に基づき物体の位置姿勢を推定する画像処理装置において、物体の位置姿勢の推定に失敗した場合には、参照画像を表示して位置姿勢の推定処理を行う技術が開示されている。
特開2020-3870号公報
しかしながら、特許文献1に記載された技術は物体の位置姿勢を推定するための技術であり、この技術を自律走行する移動体へ適用しても、自動で位置計測処理を適切に再開できない。
そこで本発明は、移動体の位置計測が失敗した場合に適切な再開方法を決定できる情報処理装置を提供することを目的とする。
本発明の1つの側面の情報処理装置は、
移動体の周辺の撮影画像を用いて前記移動体の位置を計測する位置計測手段と、
前記位置計測手段による位置計測の成否に関する成否情報を取得する成否情報取得手段と、
前記移動体の位置の履歴に関する位置履歴情報、前記撮影画像の履歴の情報を取得する履歴取得手段と、
前記成否情報取得手段が取得した前記成否情報に基づいて、前記移動体の駆動制御を中断するか否かを判断する判断手段と、
前記判断手段が前記移動体の駆動制御を中断すると判断した場合に、前記移動体の駆動制御を再開する再開方法を前記撮影画像の履歴のうち前記成否情報が成功の画像と現在の撮影画像との類似度が閾値以上になるまで前記移動体を移動させるように決定する決定手段と、
を有することを特徴とする。
本発明は、移動体の位置計測が失敗した場合に適切な再開方法を決定できる情報処理装置を実現できる。
実施例1の情報処理装置を含む移動体の機能ブロック図である。 実施例1の情報処理を示すフローチャートである。 実施例1の復帰方法提示部に再開方法を表示した例を示す図である。 実施例2の情報処理装置を含む移動体の機能ブロック図である。 実施例2の再開方法を複数表示する再開方法提示部の一例を示す図である。
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
尚、以下の実施形態では、AGVのような自律走行する移動体(移動装置)に情報処理装置を適用した例を用いて説明するが、移動体(移動装置)はAGVに限定されず、ドローンや各種ロボットなどにも適用可能である。
図1は実施例1の情報処理装置を含む移動体の機能ブロック図である。
図1において、1000は移動装置としての移動体、100は移動体の周辺の画像を取得するためのCMOSセンサ等の撮像素子を含むセンサ部、110は位置計測部、120は移動体制御部、130は情報処理装置、180は再開方法提示部である。センサ部100の撮像素子は移動体の例えば正面の所定位置に設置され、移動体正面から見た所定の画角範囲の画像を取得するように構成されている。情報処理装置130は、位置計測状態取得部140、第1の入力部150、判断部160、再開方法決定部170等を含む。
尚、移動体1000は、移動体を移動させるための駆動源となる不図示の例えばモータやエンジン等の駆動部を有し、駆動部は移動体制御手段としての移動体制御部120により制御される。尚、再開方法提示部180は例えば移動体1000とは別体の、例えばワイヤレスネットワークを介して接続されるスマートフォンやPC等のユーザ操作端末のディスプレイである。
尚、ユーザ操作端末としての再開方法提示部180は移動体1000に設けられていても良い。
移動体1000にはコンピュータとしてのCPUが内蔵されており、メモリに記憶されたコンピュータプログラムに基づき装置全体の各部の動作を制御する制御手段として機能する。又、図1に示される機能ブロックはコンピュータによって実現される機能を示したものである。
位置計測部110(位置計測手段)はセンサ部100にて撮像された移動体の周囲の撮影画像を用いて前記移動体の位置計測等を周期的に行い、計測された移動体の位置等の情報を履歴情報として記憶し出力する。
即ち、位置計測部110は、内部にメモリを有し、周期的に位置計測処理をした際の各種計測結果を履歴情報として記憶し出力する。上記履歴情報は、位置計測処理をした際の各地点における位置情報の履歴、即ち、移動体の位置の履歴に関する位置履歴情報、各地点で位置計測をした際の日時情報の履歴情報を含む。更に又、位置計測の成否に関する成否情報の履歴情報を含む。ここで成否情報は、位置計測処理の信頼度に関する信頼度情報を含む。又、成否情報は、例えば位置計測処理結果の信頼度が所定の閾値以上か否か等の情報である。
位置計測状態取得部140は、成否情報取得手段として機能しており、位置計測部110から、少なくとも位置計測の成否に関する成否情報(位置計測処理の信頼度に関する信頼度情報等)を取得する。ここで取得された成否情報は判断部160に入力され、成否情報に基づいて、移動体の駆動制御(移動体の移動、移動体の方向の回転制御等)の中断をするか否かが判断される。
判断部160において、移動体の駆動制御の中断をしないと判断された場合、即ち、移動体の制御を継続する場合、移動体制御部120は移動体制御として位置計測部110が求めた移動体の位置計測結果を用いて移動体を自律走行等の駆動制御をする。
一方、判断部160が移動体の駆動制御を中断すると判断した場合、移動体制御部120は移動体の駆動制御を中断する。そして、再開方法決定部170は、第1の入力部150が位置計測部110から取得した前述の各種の履歴情報の少なくとも1つに基づいて移動体の駆動制御の再開方法を決定する決定手段として機能している。ここで再開方法は、移動体の駆動制御を再開するための地点である復帰位置と、復帰位置へ復帰させるための移動体の駆動方法(移動経路、移動速度、回転等)の少なくとも1つを含む。
尚、ここで、第1の入力部150は、位置計測部110から前述の各種履歴情報を取得する履歴取得手段として機能している。
再開方法である復帰位置と復帰位置へ復帰するための移動体の駆動方法が決定されると、移動体制御部120は決定した再開方法に従って移動体の制御を再開する。又、再開方法提示部180は再開方法提示手段として、移動体を使用又は操作しているユーザに対して、再開方法決定部170が決定した再開方法を提示する。再開方法提示部180には、位置計測状態取得部140にて取得した位置計測の成否も合わせて提示しても良い。
図2は実施例1の情報処理を示すフローチャートである。
移動体1000内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図2のフローチャートの各ステップの動作が行われる。
ステップS200にて、復帰位置や移動方法に使用する初期値、移動体の制御中断の要否の判断に必要な閾値等を設定する。
ステップS201(位置計測工程)にて位置計測処理を行う。本実施例では、センサ部100によって撮影された撮影画像をSLAM(Simultaneous Localization and Mapping)の技術に適用し、移動体の位置計測と位置計測のための指標の配置を表す環境地図作成を同時に行う。これにより求めた移動体の位置からステップS202にて移動体制御部120は移動体が自立走行するよう制御する。
次に、ステップS203(成否情報取得工程)において位置計測状態取得部140は位置計測状態を取得する。ここで取得する位置計測状態は、ステップS201において処理した位置計測処理の成否(信頼度情報等)である。
ステップS203にて取得した位置計測状態に基づき、判断部160は、判断手段としてステップS204(判断工程)にて移動体の制御の中断の要否を判断し、ステップS205にて中断をするかどうか判定する。この判定がNoの場合、移動体の制御の継続が可能であり、ステップS201へ戻り、繰り返し制御をする。移動体の制御を中断すると判断した場合(判定がYesの場合)は、ステップS206へ移行する。
ステップS206にて移動体の駆動制御を中断する。そして、第1の入力部150がステップS207(履歴取得工程)にて位置計測に関する情報や移動体の制御に関する各種の履歴情報を取得する。本実施例では、復帰位置決定に使用する位置計測に関する情報として、それらの履歴情報を取得する。即ち、例えばそれまで位置計測処理に成功した各地点の位置の情報や時刻等を、移動方法決定に使用する移動体の制御情報として、位置計測部110が位置計測した各地点での移動体の移動速度や移動した向きの履歴等を取得する。
次にステップS208(決定工程)において、ステップS207にて取得したこれまでに位置計測に成功した各地点の位置の履歴情報と時刻、移動体の移動速度や移動した向き等の履歴情報に基づき再開方法を決定する。
再開方法は、移動体の制御を再開する地点である復帰位置と、復帰位置への移動等の駆動方法を含む。本実施例では、移動体の制御を中断した地点の直前に移動体の制御継続可能(位置計測成功)と判定された地点を復帰位置とする。尚、復帰位置は、制御を中断した地点よりも前の地点であれば良い。
復帰位置への移動等の駆動方法は、移動量と移動経路を求めることで決定する。本実施例では、第1の入力部150が取得した、復帰位置から現在地点までの移動体の移動速度と移動した向きの時系列の情報を、時刻をさかのぼるように並べなおし、並べなおした情報に基づいて移動体を制御するよう移動量と移動経路を決定する。
ステップS209では、再開方法決定部170がステップS208で決定した再開方法を例えばワイヤレスネットワークを介してユーザに提示する。
図3は、実施例1の再開方法提示部に再開方法を表示した例を示す図である。
提示の方法として、図3に示すような再開方法提示部180としてのユーザ操作端末300のUI上に表示する方法を説明する。ユーザ操作端末300は再開方法表示部310と、文字表示部320、上下左右への移動や選択肢を選択する際に使用する上下左右ボタン330、表示内容を承諾するOKボタン340を有する。上下左右ボタン330の代わりにジョイスティックやトラックボール等を用いても良い。
更に又、ユーザ操作端末300は移動体の制御中断を指示するSTOPボタン350、位置計測処理の再開を指示するRESTARTボタン360を有する。文字表示部320には、位置計測処理に失敗した旨や、復帰位置へ移動する場合の選択肢等を文章にて表示可能である。
再開方法表示部310は、復帰位置や、復帰位置への移動方法や経路等を視覚的に認識できるように、例えば「位置計測に失敗しました。下図の再開方法により復帰させますか?Yes No」などの文章を文字表示部320に表示する。又、再開方法決定部170がステップS208で決定した再開方法等をユーザが修正或いは調整したい場合、ユーザは上下左右ボタン330を使用してNoを選択してからOKボタン340を押して再開方法の変更を選択する。その後、上下左右ボタンを使用して画面内でカーソルを移動して復帰位置等の再開方法を調整しOKボタン340を押す。再開方法決定部170は、ユーザが変更した再開方法を更新された再開方法として記憶する。
尚、本実施例では再開方法表示部310は移動体とは別体の例えばスマートフォン等のユーザ端末に含まれるものとして説明した。しかし、再開方法表示部310は移動体に搭載しても良いし、前述のように、移動体とは別体の外部端末としてのスマートフォンの画面やPCに接続されたPCモニタであってもよく、本実施例の構成に限定されない。又、搭載されるボタンや表示部についても図3の例に限定されない。
ステップS208で決定した再開方法を、ステップS209でユーザに提示した後に、ユーザによる再開方法の変更がなければステップS208で決定した再開方法で、ステップS210において移動体制御部120は移動体の制御を再開する。一方、ユーザによる再開方法の変更があれば、再開方法決定部170その変更された再開方法に基づいてステップS210にて移動体制御部120における移動体の駆動制御を再開する。
ここで、移動体制御部120は、移動体の駆動を制御する制御部として機能しており、制御部は再開方法決定部170がステップS208で決定した再開方法又はユーザが指定した再開方法を実行する。
移動体制御部120は、再開方法決定部170が最終的に決定した復帰位置と復帰のための駆動方法に基づいて復帰位置(回転位置を含む)へ向けて移動体を駆動し、位置計測部110は位置計測処理を再開する。その際、SLAMによって求めた環境地図を参照して位置計測をしても良い。
以上が本実施例に係る処理フローである。尚、本実施例では位置計測に失敗した際に移動体の制御を中断して再開方法を決定するよう説明したが、位置計測に失敗していない状態で位置計測処理の信頼度等が一定基準閾値以下になった場合に、移動体の制御を中断して再開方法を決定しても良い。
尚、ステップS207が取得する移動体の制御に関する履歴情報は、移動体を移動させるためのタイヤの回転量といったオドメトリ情報とし、オドメトリ情報から移動量を算出するとしても良い。又、IMU(Inertial Measurement Unit)を移動体に搭載し、IMUの情報と移動時間から移動量と移動経路を算出しても良い。又、移動体にGPSを搭載し、GPSの移動履歴から移動量と移動経路を算出しても良い。又、移動体を別途監視カメラにて撮影し、監視カメラ映像から移動量と移動経路を算出しても良い。
又、復帰位置から移動体の制御中断が必要と判断した地点までの移動体の制御指令情報に基づいて、指令をさかのぼって逆方向に実施することで移動方法を決定しても良い。又、ステップS209による再開方法の提示方法は、UIを用いた提示方法以外にも、移動方法を音声で読み上げる音声ガイドなどでも良い。尚、UIを用いて表示する場合、復帰位置をSLAMにて求めた環境地図に重畳表示しても良い。
又、再開方法を実際に実行するかどうかをユーザが決定するための決定入力部を提示部に設けても良いし、例えばステップS209による再開方法の提示後にユーザの入力が所定時間以上ない場合に自動で提示した再開方法を実行しても良い。又、提示する再開方法は1つではなく複数提示し、ユーザがどの再開方法にするか指定できるようにしても良い。
又、復帰位置への移動中に復帰途中である旨を警告する復帰途中警告部を設けても良い。復帰途中警告部による警告方法は、再開方法提示部180と同じUI上に表示をしたり、音声にて復帰途中である旨を知らせたり、警告メロディをあらかじめ決めておき、復帰途中に流すようにしたりするなど、各種の警告方法を選択可能である。
以上のように本実施例の情報処理装置によれば、位置計測の失敗等により移動体の制御が中断されても、速やかに位置姿勢計測を復帰させ移動体の制御を再開することが可能となる。
又、決定した再開方法をGUI(Graphical User Interface)上に表示してユーザに提示することができるので、ユーザの判断により最適な再開方法が選択できる。
実施例2では、実施例1の変形例として、移動体の位置計測のために撮影した画像を用いて再開方法を決定する。
全体の構成図、処理フローは実施例1と同じであるため説明を省略し、実施例1と異なる点を中心に簡潔に説明する。
本実施例では、位置計測部110から取得する履歴情報は、位置計測を行った際の、各地点における周囲の撮影画像の履歴を含む。
即ち、第1の入力部150が取得する位置計測に関する情報として、位置計測処理を行った各地点における撮影画像と位置情報の履歴を取得する。そして、再開方法決定部170は、復帰位置における撮影画像と近似する画像が撮影できる地点まで移動するよう移動方法を決定する。復帰位置は実施例1と同じように、移動体の制御を中断した地点の直前に移動体の制御継続可能と判定された地点とする。尚、復帰位置は、制御を中断した地点よりも前の地点であれば良い。
移動方法の決定方法について説明する。移動体の制御中断が必要と判断した地点をスタート地点として、第1の入力部150が取得した、スタート地点から復帰位置までの各地点における撮影画像を参照画像群とする。
移動体をスタート地点から回転と前後左右への移動を少しずつ行い、スタート地点よりも1つ前の参照画像群の画像と、現在の撮影画像とマッチング処理をしてあらかじめ決めておいた所定の信頼度以上のマッチングが実現するまで移動する。即ち、再開方法決定部は、撮影画像の履歴と現在の撮影画像とのマッチング結果に基づいて、移動体の再開方法を決定する。
その後は、第1の入力部150が取得した参照画像を撮影した位置情報に基づいて、次の参照画像を撮影した位置へ移動して参照画像と現在の撮影画像とのマッチング処理をする。このように移動体の移動とマッチング処理を繰り返し行い、復帰位置へ移動し、復帰位置での参照画像とのマッチングが実現したら移動終了とする。マッチングの基準は、マッチング処理結果の類似度が90%以上とするなど、類似度が一定値以上であればマッチングしたものとする。
本実施例では、スタート地点から復帰位置への参照画像を複数枚使用してマッチング処理と移動を繰り返し行ったが、復帰位置の参照画像1枚を使用してマッチング処理と移動を繰り返し行っても良い。その場合、スタート地点から回転と前後左右への移動を繰り返して現在地点と復帰位置の撮影画像のマッチング処理をする。一致する特徴点が見つかったときに、マッチング結果の特徴間のずれを軽減する方向へ移動し、再度マッチング処理をする。このように移動体の移動とマッチング処理を繰り返し行い、あらかじめ決めておいた基準以上のマッチングが達成されたら、復帰位置への移動が完了したと判断する。
本実施例では、スタート地点から少しずつ移動させながらマッチング処理を行ったが、マッチング処理を開始するためのスタート地点は、ユーザが指定した任意の地点とすることも可能である。
マッチング処理結果の類似度の計算方法は、SSD(Sum of Squared Difference)やNCC(Normalized Cross Correlation)などで良く、計算方法は限定されない。又、マッチングの基準については、特徴点ごとに類似度として異なる基準値を設けて判定しても良い。
実施例3では、実施例1の変形例として、あらかじめ算出した位置計測の成功率(信頼度)から復帰位置を決定する方法について説明する。
全体の構成図、処理フローは実施例1と同じであるため説明を省略し、実施例1と異なる復帰位置の決定について簡潔に説明する。本実施例においては、位置計測部110から取得する履歴情報は、位置計測を行った際の、各地点における位置計測の成否に関する成否情報(位置計測処理の信頼度に関する信頼度情報)や特徴点の数等の履歴を含む。
位置計測処理では、環境地図に登録される画像中の特徴の数が多いほど成功度合い(信頼度)が高い。本実施例では、環境地図作成時の画像中の特徴点数を位置計測処理の成功度合い(信頼度)とし、再開方法決定部170が復帰位置を決定する際に使用する。
第1の入力部150が取得する位置計測に関する情報を位置計測処理の成功度合いとし、再開方法決定部170は、一定以上の成功度合いの高さがある地点を復帰位置とする。又、復帰位置への移動方法は、移動体の制御に関する情報から決定する。
尚、本実施例では画像中の特徴点に基づいたSLAM処理を用いて説明したが、本実施例は特徴点に基づいたSLAMに限定したものではなく、又、撮影画像を用いたSLAMに限定するものではない。又、画像中の特徴点数を成功度合いとしたが、過去の位置計測処理結果から画像中の特徴点数と位置計測処理の信頼度の関係を算出し、成功度合いとしても良い。
又、画像中の特徴点数から位置計測処理の成功度合いを算出したが、過去の位置計測結果から成功度合いをデータベース化して算出しておいても良い。或いは、画像中の特徴の空間的な分布が均一かどうか、画像中の特徴の分布が周期的でなくランダムであるかを考慮して成功度合いを算出しても良い。又、照度や地面の凸凹といった移動体が移動する環境条件など、位置計測処理の結果に影響を与える条件を組み合わせて成功度合いを算出しても良い。
実施例4では、位置計測処理に失敗した要因を回避するよう再開方法を決定する方法について説明する。
図4は実施例2の情報処理装置を含む移動体の機能ブロック図である。実施例1と同じ部分については説明を省略し、実施例1と異なる第2の入力部450、再開方法決定部470について簡潔に説明する。2000は移動体、131は情報処理装置である。
又、位置計測部110は、移動体の位置計測をする位置計測部110が失敗した際、位置計測部110はその失敗した要因となり得る情報を一緒に出力する。又、本実施例では、再開方法決定部470は、失敗した要因を回避する復帰位置と移動方法の少なくとも1つを決定する。
即ち、第2の入力部450は、位置計測部110が行った位置計測処理に関する情報と移動体の制御に関する情報に加え、位置計測処置の失敗の要因となりえる情報の履歴を取得する。本実施例では、失敗の要因に関する情報として、移動体周囲の照度の履歴情報と、移動体に搭載されたセンサ部100の撮像素子の向きに関する履歴情報、画像中の特徴点の数の履歴情報の少なくとも1つを含む。即ち、位置計測部110からの履歴情報は、位置計測処理をした各地点での位置の履歴情報、時刻情報、位置計測処理の成否の履歴情報、位置計測失敗の要因に関する情報が含まれる。
このように、本実施例では、位置計測部110から取得する履歴情報は、位置計測を行った際の、各地点における位置計測の成否に関する失敗要因になり得る情報の履歴を含む。
そして移動体の周囲の照度に関する照度履歴情報や、センサ部100内の撮像素子の方向の履歴に関する撮像方向履歴情報、移動体の駆動(移動方向、移動量、移動速度等)の履歴に関する駆動履歴情報を位置計測部110から取得する。尚、本実施例では撮像素子の方向を変更するためのパン・チルト機構は備えておらず、撮像素子の方向は移動体の方向を変更することによって変更可能となっているが、パン・チルト機構を設けても良い。
再開方法決定部470が決定する再開方法について位置計測失敗の要因ごとに説明する。
例えば、位置計測失敗の要因が照度の急激な変化や異常な照度であると判断される場合、再開方法決定部470は移動体周囲の照度が安定的かつ適正に得られるよう復帰位置と移動方法を決定する。即ち、第2の入力部450が取得した移動体周囲の照度情報に基づき位置計測処理が成功すると考えられるセンサ部の撮像素子の方向と失敗すると考えられるセンサ部の撮像素子の方向を決定する。位置計測処理の成否に関係する照度はあらかじめ算出或いは測定しておく。
次に、センサ部100の撮像素子の向きと比較し、撮像素子による撮像が失敗する低照度又は高照度の方向を撮像素子が向いていたとき、撮像素子が位置計測処理に成功する適正照度の方向へ向くように移動体自身の向きを変更(回転)する。よって再開方法決定部470は、復帰位置をその場とし、移動方法を、位置計測処理に成功する適正照度の方向へ撮像素子が向くように移動体を回転する、と決定する。
仮に、移動体の周囲の照度がすべて暗いなど位置計測処理に失敗する照度の場合、その地点よりも前の、位置計測処理に成功する照度であった地点を復帰位置とする。移動方法は、実施例1に記載した方法を実施する。
又、位置計測失敗の要因が画像中の特徴点不足と判断された場合には、再開方法決定部470は画像中の特徴点が十分に検出可能な方向へ向きを変えるよう移動方法を決定する。復帰位置はその場とする。又、実施例3のように、あらかじめ画像中の特徴点数から成功度合いを計算しておき、一定以上の成功度合いの高さを持つ地点を復帰位置としても良い。移動方法は実施例3に記載のように決定する。
尚、上記の復帰位置及び移動方法の決定は1つの例であり、警告理由の内容が回避できる復帰位置及び移動方法であれば良い。
又、移動体の制御に関する情報から再開方法を決定しても良い。例えば、走行方向を変更したのちに位置計測処理に失敗した場合、再開方法決定部470は復帰位置を「現在地点」、移動方法を「直前の走行方向への復帰」として再開方法を決定する。
以上のように、複数の再開方法が考えられる場合、再開方法提示部180は図5のように複数の再開方法候補を提示する。
図5は実施例2の再開方法を複数表示する再開方法提示部の一例を示す図であり、図5のように、「位置計測に失敗しました。どの再開方法にしますか?」などと表示し、ユーザが候補の中から選択できるようにする。図5では、方法1と方法2の2つの再開方法候補を表示している。ユーザは、上下左右ボタン330を操作して候補の中から実施したい再開方法を選択し、OKボタン340を操作して選択を確定する。
以上説明したように、実施例における位置計測部110はセンサ部100にて撮像された移動体の周囲の撮影画像を用いて前記移動体の位置計測等を周期的に行い、計測された移動体の位置等の情報を履歴情報として記憶する。又、位置計測部110は、内部にメモリを有し、周期的に位置計測処理をした際の計測結果を履歴情報として記憶し出力する。
上記履歴情報は、実施例1のように、各地点における位置情報の履歴、即ち、移動体の位置の履歴に関する位置履歴情報、各地点で位置計測をした際の日時情報の履歴等を含む。更に、実施例2のように各地点における周囲の撮影画像の履歴を含んでも良い。
又、上記履歴情報は、実施例3のように、各地点における位置計測の成否に関する成否情報(位置計測処理の信頼度に関する信頼度情報)の履歴を含んでも良い。更に実施例4のように、位置計測の成否に影響を与える、移動体の周囲の照度の履歴に関する照度履歴情報や、移動体に搭載されたセンサ部100内の撮像素子の方向の履歴に関する撮像方向履歴情報を含んでも良い。又、移動体の駆動(移動方向、移動量、移動速度等)の履歴に関する駆動履歴情報や特徴点の数に関する履歴情報等を含んでも良い。
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して情報処理装置等に供給するようにしてもよい。そしてその情報処理装置等におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
1000 移動体
100 センサ部
110 位置計測部
120 移動体制御部
130 情報処理装置
140 位置計測状態取得部
150 第1の入力部
160 判断部
170 再開方法決定部
180 再開方法提示部


Claims (4)

  1. 移動体の周辺の撮影画像を用いて前記移動体の位置を計測する位置計測手段と、
    前記位置計測手段による位置計測の成否に関する成否情報を取得する成否情報取得手段と、
    前記移動体の位置の履歴に関する位置履歴情報、前記撮影画像の履歴の情報を取得する履歴取得手段と、
    前記成否情報取得手段が取得した前記成否情報に基づいて、前記移動体の駆動制御を中断するか否かを判断する判断手段と、
    前記判断手段が前記移動体の駆動制御を中断すると判断した場合に、前記移動体の駆動制御を再開する再開方法を前記撮影画像の履歴のうち前記成否情報が成功の画像と現在の撮影画像との類似度が閾値以上になるまで前記移動体を移動させるように決定する決定手段と、
    を有することを特徴とする情報処理装置。
  2. 請求項に記載の情報処理装置と、
    周囲の撮影画像を取得するセンサと、
    前記移動体の移動を制御するための移動体制御手段と、を有することを特徴とする移動装置。
  3. 請求項に記載の情報処理装置又は請求項の移動装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
  4. 移動体の周辺の撮影画像を用いて前記移動体の位置を計測する位置計測工程と、
    前記位置計測工程による位置計測の成否に関する成否情報を取得する成否情報取得工程と、
    前記移動体の位置の履歴に関する位置履歴情報、前記撮影画像の履歴の情報を取得する履歴取得工程と、
    前記成否情報取得工程が取得した前記成否情報に基づいて、前記移動体の駆動制御を中断するか否かを判断する判断工程と、
    前記判断工程が前記移動体の駆動制御を中断すると判断した場合に、前記移動体の駆動制御を再開する再開方法を前記撮影画像の履歴のうち前記成否情報が成功の画像と現在の撮影画像との類似度が閾値以上になるまで前記移動体を移動させるように決定する決定工程と、
    を有することを特徴とする情報処理方法
JP2021088860A 2021-05-27 2021-05-27 情報処理装置、移動装置及びコンピュータプログラム Active JP7790877B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021088860A JP7790877B2 (ja) 2021-05-27 2021-05-27 情報処理装置、移動装置及びコンピュータプログラム
US17/752,696 US12434721B2 (en) 2021-05-27 2022-05-24 Information processing device, moving device, storage medium, and information processing method to measure position of moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021088860A JP7790877B2 (ja) 2021-05-27 2021-05-27 情報処理装置、移動装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2022181736A JP2022181736A (ja) 2022-12-08
JP7790877B2 true JP7790877B2 (ja) 2025-12-23

Family

ID=84193740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021088860A Active JP7790877B2 (ja) 2021-05-27 2021-05-27 情報処理装置、移動装置及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US12434721B2 (ja)
JP (1) JP7790877B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2024247522A1 (ja) * 2023-06-01 2024-12-05

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162013A (ja) 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
JP2016173709A (ja) 2015-03-17 2016-09-29 セコム株式会社 自律移動ロボット
JP2017111606A (ja) 2015-12-16 2017-06-22 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2019168942A (ja) 2018-03-23 2019-10-03 日本電産シンポ株式会社 移動体、管理装置および移動体システム
US20200166931A1 (en) 2018-11-23 2020-05-28 Hyundai Motor Company Apparatus and method for controlling autonomous driving of a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10086516B2 (en) * 2014-04-02 2018-10-02 President And Fellows Of Harvard College Color- or grayscale-sensing, magnetic, mobile, marking robot
DE102016116702B4 (de) * 2015-09-14 2019-01-24 Fanuc Corporation Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
JP6815724B2 (ja) * 2015-11-04 2021-01-20 トヨタ自動車株式会社 自動運転システム
JP6187623B1 (ja) * 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
EP3731053B1 (en) * 2018-02-28 2023-11-29 Honda Motor Co., Ltd. Management device, management system, moving body and program
JP6971187B2 (ja) * 2018-03-28 2021-11-24 京セラ株式会社 画像処理装置、撮像装置、および移動体
JP2020003870A (ja) 2018-06-25 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法
CN111862182B (zh) * 2020-07-15 2022-04-29 上海炬佑智能科技有限公司 ToF相机及其地面障碍物检测方法、地面导航设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162013A (ja) 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
JP2016173709A (ja) 2015-03-17 2016-09-29 セコム株式会社 自律移動ロボット
JP2017111606A (ja) 2015-12-16 2017-06-22 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2019168942A (ja) 2018-03-23 2019-10-03 日本電産シンポ株式会社 移動体、管理装置および移動体システム
US20200166931A1 (en) 2018-11-23 2020-05-28 Hyundai Motor Company Apparatus and method for controlling autonomous driving of a vehicle

Also Published As

Publication number Publication date
JP2022181736A (ja) 2022-12-08
US12434721B2 (en) 2025-10-07
US20220379903A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
US11341652B2 (en) Three-dimensional mapping system
EP3682415B1 (en) Image acquisition device and method of controlling the same
US11810279B2 (en) Image acquisition device and method of controlling the same
EP4446831A2 (en) Robot localizing method, robot, and storage medium
EP3178617B1 (en) Hybrid reality based i-bot navigation and control
US11847909B2 (en) Information processing method and information processing system
EP3605409B1 (en) Electronic device and operation method therefor
JP2013206237A (ja) 自律走行ロボット及び自律走行ロボットの走行制御方法
CN112454369A (zh) 一种机器人的控制方法及装置
CN110986967A (zh) 一种机器人自动重定位方法、介质、终端和装置
JP7790877B2 (ja) 情報処理装置、移動装置及びコンピュータプログラム
JP7447922B2 (ja) 表示システム、通信システム、表示制御方法およびプログラム
JP2022177613A (ja) ロボット制御システム、ロボット制御方法及びプログラム
CN114868169A (zh) 车辆控制装置及车辆控制方法
JP7830045B2 (ja) 情報処理装置、移動体、情報処理装置の制御方法およびプログラム
JP7390910B2 (ja) 地図生成装置およびその方法
JP7275518B2 (ja) ロボット制御装置、ロボット、ロボット制御方法およびプログラム
JP2025058653A (ja) 情報処理装置、移動体、情報処理方法、及びコンピュータプログラム
JP2024078661A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN121165700A (zh) 使用增强现实和3d语义地图的智能移动机器人任务分配
CN120095800A (zh) 机器人传感器的标定方法、装置和机器人
CN121657677A (zh) 多信号视觉辅助下的四足机器人路径规划方法及系统
WO2021035903A1 (zh) 一种传感器的控制方法、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251211

R150 Certificate of patent or registration of utility model

Ref document number: 7790877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150