Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7302966B2 - 移動体 - Google Patents
[go: Go Back, main page]

JP7302966B2 - 移動体 - Google Patents

移動体 Download PDF

Info

Publication number
JP7302966B2
JP7302966B2 JP2018232357A JP2018232357A JP7302966B2 JP 7302966 B2 JP7302966 B2 JP 7302966B2 JP 2018232357 A JP2018232357 A JP 2018232357A JP 2018232357 A JP2018232357 A JP 2018232357A JP 7302966 B2 JP7302966 B2 JP 7302966B2
Authority
JP
Japan
Prior art keywords
dimensional point
sensor
moving object
information
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018232357A
Other languages
English (en)
Other versions
JP2020095435A (ja
Inventor
アレックス益男 金子
健次郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018232357A priority Critical patent/JP7302966B2/ja
Publication of JP2020095435A publication Critical patent/JP2020095435A/ja
Application granted granted Critical
Publication of JP7302966B2 publication Critical patent/JP7302966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動体に関する。
ロボット、自動車などの移動体がその周囲の情報を収集し、移動体の現在位置及び走行状態を推定し、移動体の走行を制御する自律走行技術及び運転支援技術が開発されている。
例えば、特許文献1には、自己位置の推定の精度を向上することを目的として、複数の三次元点のうち、距離センサからの距離が所定の距離閾値未満である複数の三次元点と、距離センサからの距離が距離閾値以上であっても特徴量が特徴量閾値以上である複数の三次元点が所定数以上となる距離区間に含まれる複数の三次元点とを抽出し、抽出した複数の三次元点と、環境地図が示す複数の三次元点とをマッチングすることで自己位置を推定する方法が開示されている。
特許文献2には、誤差の累積を抑制し、目標物になりそうなものがない単調な道路でも適切に真の現在位置を算出することを目的として、移動体の現在位置における2次元画像である観測画像と、予め用意された仮現在位置に対応する2次元画像である参照画像と、を画像マッチングにより照合し、その照合結果に基づいて、移動体の真の現在位置を算出する技術が開示されている。
特開2017-83230号公報 特開2013-61270号公報
特許文献1においては、複数の三次元点を抽出する際、適切な三次元点を必ずしも抽出できるとは限らない。
特許文献2においては、処理が必要なデータ量が多い画像マッチングを行うため、移動体に内蔵された演算装置の限られた計算能力では、十分に短い時間内に結果を示すことが困難となる場合がある。
移動体自体に内蔵された情報処理装置の処理能力等には限界があるため、処理するデータ数を減らす必要性があることが求められている。
本発明の目的は、計算能力が限られている移動体の情報処理装置を用いて、短い処理時間で、移動体の現在位置の存在確率分布の範囲が狭い状態を維持する計算をし、移動体の位置を高精度で推定することにある。
上記課題を解決するために、本発明の移動体は、周囲の情報を収集するセンサと、センサによって取得した情報を処理するセンサ処理部と、三次元点取得部と、フィルター部と、マッチング部と、自己位置補正部と、を有し、三次元点取得部は、センサから得られた三次元点を取得し、フィルター部は、マップに含まれる三次元点のうち移動体の現在の仮位置から参照可能な三次元点を求め、マッチング部は、三次元点取得部に記録されている三次元点とフィルター部が求めた参照可能な三次元点とのマッチングを行い、自己位置補正部は、マッチングに成功した三次元点を基にマップにおける移動体の現在の位置を求める。
本発明によれば、計算能力が限られている移動体の情報処理装置を用いて、短い処理時間で、移動体の現在位置の存在確率分布の範囲が狭い状態を維持する計算をし、移動体の位置を高精度で推定することができる。
本発明の一実施形態に係る移動体を示す構成図である。 図1のセンサ処理部14における情報処理プロセスを示すフロー図である。 図1のセンサ処理部14を示す構成図である。 図2Aの三次元点区別ステップS204におけるセンサの検出範囲の例を示す模式図である。 図2Aの三次元点区別ステップS204の検出誤差を示す模式図である。 本発明の実施例を示す上面図である。 移動体が2台の場合の実施例を示す上面図である。 移動体が2台であり、固定センサを用いる場合の実施例を示す上面図である。 通行人がいる場合の実施例を示す上面図である。 マッチングステップ及び位置補正ステップの条件を示す上面図である。 マッチングステップ及び位置補正ステップの手順を示すフロー図である。
本発明は、ロボットや自動車などの移動体の位置を推定する技術に関する。
以下、本発明の実施形態に係る移動体の位置推定装置について、図面を用いて説明する。
なお、本明細書においては、「三次元点」は、形状を有する物体の表面及び内部に位置する空間上の座標を表すものであり、センサにより得られた点、マップに含まれる点等を含むものとする。
図1は、本発明の一実施形態に係る移動体を示す構成図である。
本図において、移動体100は、位置推定装置1を備えている。位置推定装置1は、移動体100の外部に存在する外部記憶装置19と通信可能となっている。この通信は、無線が望ましい。移動体100は、自動車、ロボットなどである。
位置推定装置1は、信号受付部2と、一台以上のセンサ12(12a、12b、…、12n)と、情報処理装置13と、を有する。これらの構成要素は、バス18により相互に接続されている。
情報処理装置13は、例えば一般的なコンピュータ(電子計算機)であって、センサ12によって取得した情報を処理するセンサ処理部14と、センサ処理結果に基づく処理を行う制御部15(CPU)と、メモリ16と、ディスプレイなどの表示部17と、を含む。情報処理装置13においては、センサ処理部14及び制御部15が所定のコンピュータプログラムを実行する。実行する内容については後述する。
信号受付部2においては、外部からの信号を受信する。信号受付部2は、例えば、世界の絶対座標で現在位置を推定するGPS(Global Positioning System:全地球測位システム)である。また、信号受付部2は、GPSよりも精度よく現在位置を推定するRTK-GPS(Real Time Kinematic GPS)でもよい。また、信号受付部2は、準天頂衛星システムでもよい。また、信号受付部2は、既知の位置に固定されたビーコンからの信号を受信するものでもよい。また、信号受付部2は、車輪エンコーダ、IMU(Inertial Measurement Unit:慣性計測装置)、ジャイロなど、相対座標で位置を推定するセンサから受信してもよい。また、信号受付部2は、走行環境の車線、標識、交通状態、立体物の形状、大きさ、高さなどの情報を受信してもよい。最終的に、移動体100の現在位置推定や制御や認知に利用できれば、どのような方式でもよい。
センサ12は、例えばスチルカメラまたはビデオカメラである。また、センサ12は、単眼カメラまたは複眼カメラでもよい。また、センサ12は、レーザセンサでもよい。
情報処理装置13は、センサ12で取得した情報を処理して、移動体100の位置または移動量を算出する。情報処理装置13は、算出された位置または移動量に応じた表示を行ってもよい。また、情報処理装置13は、移動体100の制御に関する信号を出力してもよい。
つぎに、センサ12の詳細について説明する。
センサ12aは、例えば、移動体100の前方に設置されている。センサ12aは、レンズを有し、移動体100の前方の遠景情報を取得するものである。この場合、遠景から取得した情報は、立体物、または位置推定のためのランドマークなどの特徴が抽出されるようにしてもよい。
他のセンサ12b、…、12nは、センサ12aと異なる位置に設置され、センサ12aと異なる方向または領域を撮像する。センサ12bは、例えば、移動体100の後方で下方に向けて設置されていてもよい。この場合、センサ12bは、移動体100の後方の近景情報を取得する。近景情報は、移動体100周辺の路面などでもよく、移動体100の周囲の白線、または路面ペイントなどが検出されるようにしてもよい。
センサ12が単眼カメラの場合、路面が平らであれば、画像上のピクセル位置と実際の地上位置関係(x,y)が一定になるため、センサ12から特徴点までの距離を幾何学的に計算できる。センサ12がステレオカメラの場合、画像上の特徴点までの距離をより正確に計測できる。また、センサ12がレーザセンサの場合、より正確で遠方の情報を取得できる。
以下の説明では、単眼カメラ、ステレオカメラ又はレーザセンサを採用した事例について説明するが、周囲の立体物への距離を算出できれば、これ以外のセンサ(広角レンズを有するカメラまたはTOFカメラなど)でもよい。
また、センサ12a、12b、…、12nは、同時に雨や日差しなどの環境外乱の影響を受けないように配置されていることが望ましい。これにより、例えば、降雨時にセンサ12aのレンズに雨滴が付着した場合でも、進行方向の逆向きまたは下向きのセンサ12bのレンズには雨滴が付着しにくい。このため、センサ12aが取得した情報が雨滴の影響で不鮮明であっても、センサ12bが取得した情報は雨滴の影響を受けにくい。また、日差しの影響でセンサ12aの情報が不鮮明であっても、センサ12bが取得した情報は鮮明である可能性がある。
また、センサ12a、12b、…、12nは、互いに異なる取得条件(絞り値、ホワイトバランス、周期、等)で取得してもよい。例えば、明るい場所用にパラメータを調整したセンサと、暗い場所用にパラメータを調整したセンサとを設置することで、環境の明暗によらず撮像可能としてもよい。
センサ12a、12b、…、12nは、制御部15から取得開始の指令を受けたとき、または一定の時間間隔で情報を取得する。取得された情報のデータ及び取得時刻は、メモリ16に格納される。
メモリ16は、情報処理装置13の主記憶装置(メインメモリ)およびストレージなどの補助記憶装置を含む。
センサ処理部14は、メモリ16に格納された情報データ及び取得時刻に基づいて、様々な情報処理を行う。この情報処理では、例えば、中間情報が作成され、メモリ16に保存される。中間情報は、センサ処理部14による処理の他、制御部15などの判断や処理に利用してもよい。
バス18は、IEBUS(Inter Equipment Bus)やLIN(Local Interconnect Network)やCAN(Controller Area Network)などで構成できる。
外部記憶装置19は、マップを含む移動体100が走行する環境の情報を有する。外部記憶装置19の情報は、例えば、走行環境にある静止物(木、建物、道路、車線、信号、標識、路面ペイント、路端など)の形状や位置である。外部記憶装置19のそれぞれの情報を数式で表してもよい。例えば、線情報を複数点で構成せず、線の傾きと切片のみでよい。また、外部記憶装置19の情報を区別せずに、点群で表してもよい。点群は、3D(x,y,z)、4D(x,y,z,色)などで表してもよい。最終的に、移動体100の現在位置から走行環境を検出し、マップマッチングができれば、外部記憶装置19の情報は、どのような形式で保存しておいてもよい。
制御部15から取得開始の指令を受けたとき、外部記憶装置19が情報をメモリ16に送る。外部記憶装置19は、移動体100に設置されている場合、情報をバス18で送受信する。
一方、外部記憶装置19が移動体100に設置されていない場合、移動体100と外部記憶装置19との接続は、信号受付部2で行う。この接続は、例えば、Local Area Network(LAN)、Wide Area Network(WAN)等により行うことができる。
センサ処理部14は、外部記憶装置19及びメモリ16に格納された移動体100の現在位置とセンサ12の内部パラメータとに基づいて、センサ12で取得された情報に外部記憶装置19の情報を取得する。
センサ処理部14は、センサ12で取得された情報に基づいて移動体の複数の位置候補を特定し、その複数の位置候補と移動体100の移動速度に基づいて移動体100の位置を推定する。
センサ処理部14は、移動体100の走行中にセンサ12が取得した情報を処理して、移動体100の位置を推定してもよい。例えば、センサ処理部14は、センサ12が時系列に取得した情報で移動体100の移動量を算出し、過去の位置に移動量を加算して現在位置を推定する。センサ処理部14は、時系列に取得した情報のそれぞれから特徴を抽出してもよい。センサ処理部14は、さらに、次回以降の情報で同じ特徴を抽出する。そして、センサ処理部14は、特徴のトラッキングにより移動体100の移動量を算出する。
制御部15は、センサ処理部14の情報処理の結果に基づいて、移動体100に対して移動速度に関する指令を出力する。例えば、制御部15は、情報内の立体物の解像度、情報内の特徴のうちの外れ値の数または情報処理の種類等に応じて、移動体100の移動速度を増加させる指令、減少させる指令または維持させる指令を出力してもよい。
図2Aは、図1のセンサ処理部14における情報処理プロセスを示すフロー図である。
図2Aにおいて、現在位置推定ステップS201は、移動体100の仮現在位置を推定するステップである。現在位置推定ステップS201は、例えば、絶対位置を推定するGPSで構成する。また、現在位置推定ステップS201は、ある基準点から相対位置を推定するオドメトリで構成してもよい。前述のGPSやオドメトリに基づく位置推定手法には、位置誤差が発生するが、後述する位置補正ステップS206で補正する。
環境情報抽出ステップS202は、移動体100に設置されているセンサ12a、12b、…、12nで移動体100の周囲の環境情報を抽出するステップである。ここで、環境情報の抽出は、センサ12a、12b、…、12nによる移動体100の周囲の環境のグレイスケール画像、カラー画像、三次元点等の取得を含む。また、環境情報の抽出は、センサ12a、12b、…、12nで取得した画像からの視差画像作成であってもよい。また、環境情報の抽出は、センサ12a、12b、…、12nで取得した情報に含まれる特徴の抽出であってもよい。また、環境情報の抽出は、センサ12a、12b、…、12nで取得した情報に含まれる線情報の抽出であってもよい。
外部記憶装置情報抽出ステップS203は、制御部15の指令に基づいて、外部記憶装置19から情報を取得するステップである。制御部15の指令で、外部記憶装置19にある情報を全て取得してもよい。また、移動体100の周囲の情報のみを取得してもよい。
三次元点区別ステップS204は、外部記憶装置情報抽出ステップS203で抽出した外部記憶装置情報の中からマッチングの最も確率が高い三次元点を区別する。三次元点区別ステップS204については、後述する。
マッチングステップS205は、環境情報抽出ステップS202でセンサ12a、12b、…、12nで取得した情報を三次元点区別ステップS204で区別した三次元点とマッチングするステップである。マッチングステップS205については、後述する。
位置補正ステップS206は、マッチングステップS205の結果を用い、現在位置推定ステップS201で推定した現在位置を補正するステップである。位置補正ステップS206については、後述する。
図2Bは、図1のセンサ処理部14の構成を示したものである。
本図において、センサ処理部14は、入出力部210と、三次元点取得部211と、フィルター部212と、マッチング部213と、自己位置補正部214と、を有する。
入出力部210は、センサ処理部14にて移動体100の位置補正を行うための必要な情報の入出力をする。例えば、入出力部210は、メモリ16に格納されたセンサ12a、12b、…、12nで環境情報抽出ステップS202で取得した情報を取得する。また、入出力部210は、メモリ16に登録された外部記憶装置19の情報抽出ステップS203で外部記憶装置19から情報を取得する。外部記憶装置19から取得する情報量が大きく、メモリ16に格納できない場合、現在位置推定ステップS201で推定した移動体100の現在位置に近い情報だけを取得してもよい。また、現在位置推定ステップS201で推定した移動体100の現在位置から見たときのある領域に入っている情報だけを取得してもよい。
三次元点取得部211は、入出力部210が取得した情報に基づいて三次元点を取得し、一時的に記録する。センサ12a、12b、…、12nがカメラであり、入出力部210が取得した情報が画像の場合、二次元画像を三次元点に変換する。変換方法は、例えば、視差画像に基づいて画像のそれぞれのピクセルを三次元点にするものであってもよい。また、センサ12a、12b、…、12nが単眼カメラの場合、structure from motion、flat surface model、ORB-SLAM、LSD-SLAMなどの技術を用いてもよい。センサ12a、12b、…、12nがレーザセンサの場合、走行環境の情報を三次元点で抽出するため、他の処理は不要となる。
フィルター部212においては、三次元点取得部211で取得三次元点を三次元点区別ステップS204でフィルタリングする。処理時間を軽減させるために、あるエリア以内の三次元点の平均値を算出し、一つの三次元点に絞る。また、コーナーやエッジなどの特徴が少ない走行環境の領域の三次元点を削除してもよい。また、フィルター部212においては、現在位置推定ステップS201で推定した移動体100の仮位置における外部記憶装置19の可視三次元点をフィルタリングする。
マッチングステップS205を実施するとき、センサ12a、12b、…、12nで取得した情報及び外部記憶装置19から取得した情報の数や形状が大きく異なると、マッチングが失敗する可能性が高くなる。したがって、マッチング確率の高い移動体100の仮位置における外部記憶装置19の可視三次元点を抽出することにより、マッチングステップS205で精度よくマッチングができる。なお、このように所定の精度でマッチングができた場合を、「マッチングが成功した」という。
マッチング部213は、三次元点取得部211で得た三次元点とフィルター部212で得た可視三次元点とのマッチングをマッチングステップS205で行う。
自己位置補正部214では、位置補正ステップS206を行い、移動体100の現在位置を補正する。
自己位置補正部214で補正した現在位置情報を入出力部210に送信し、制御部15の指令で補正した現在位置情報をメモリ16に送信する。また、制御部15の指令で入出力部210から直接制御部15に自己位置補正部214で補正した現在位置情報を送信してもよい。
なお、上述の説明においては、図2Bの記載に従って、入出力部210、三次元点取得部211、フィルター部212、マッチング部213及び自己位置補正部214がセンサ処理部14に含まれるものとしたが、本発明は、これに限定されるものではなく、入出力部210、三次元点取得部211、フィルター部212、マッチング部213及び自己位置補正部214がセンサ処理部14に含まれない独立の構成要素であってもよい。
つぎに、図3A及び3Bを用いて、三次元点区別ステップS204の詳細を説明する。
図3Aは、図2Aの三次元点区別ステップS204におけるセンサの検出範囲の例を示す模式図である。
図3Bは、図2Aの三次元点区別ステップS204の検出誤差を示す模式図である。
図3Aにおいて、符号1001は、外部記憶装置19に登録された移動体100の走行環境の座標(x,y)を指す。
仮現在位置(X,Y)1002は、現在位置推定ステップS201において推定された座標1001における移動体100の位置である。
移動体100が室内で走行しているとする。移動体100が仮現在位置1002にある時、外部記憶装置19に登録された移動体100の周囲の情報が三次元点群1004と三次元点群1005と三次元点群1006Lと三次元点群1006Rとなるとする。簡単のため、三次元点群1004と三次元点群1005と三次元点群1006Lと三次元点群1006Rの走行環境の地面に対する高さは一定とする。図中、○印は「参照可」であることを表し、●印は「参照不可」であることを表している。
センサ12a、12b、…、12nの取得角度をFOVとする。移動体100の仮現在位置1002と取得角度FOVに基づいて、三次元点群1004は、センサ12a、12b、…、12nの取得角度FOV外にあるため、参照不可となる。また、三次元点群1005と三次元点群1006Lと三次元点群1006Rは、センサ12a、12b、…、12nの取得角FOV内に入っているが、センサ12a、12b、…、12nは、それぞれの方向の最も近い情報しか得られないため、三次元点群1005は参照可能であり、三次元点群1006Lと三次元点群1006Rは参照不可となってしまう。
したがって、マッチング部213のマッチングステップS205で移動体100の現在位置1002から参照不可能な三次元点1006Lと三次元点1006Rを用いても、マッチングができない。このため、三次元点1006Lと三次元点1006Rをマッチングに用いられない。
よって、フィルター部212は、参照不可能な三次元点1006L、1006Rを除外する。
なお、簡単のため、三次元点群1004、三次元点群1005、三次元点群1006L及び三次元点群1006Rについては、室内の壁、椅子、テーブル等を想定して説明したが、どのような立体物で構成してもよい。
図3Bにおいて、存在確率分布301は、移動体100の現在位置の存在確率分布を表している。存在確率分布301は、例えば、Kalman Filter、Particle Filter、Bayesian Filterのような時系列フィルターを用いて推定する。
三次元点302は、外部記憶装置情報抽出ステップS203で抽出した複数の三次元点である。簡単のため、三次元点302の複数の三次元点の地面からの高さを一定とする。
三次元点303は、移動体100の現在位置から取得した走行環境にある柱の情報である。存在確率分布304は、柱の現在位置の存在確率分布である。
角度θは、移動体100のセンサ12の一つからの視野の中心線からの方向である。
抽出した三次元点306は、三次元点区別ステップS204で抽出された参照可能な三次元点であり、マッチングステップS205で利用する三次元点である。
参照不可能な三次元点307は、三次元点区別ステップS204で参照不可能な三次元点として区別され、マッチングステップS205で利用しない三次元点である。
抽出した三次元点303の存在確率分布304は、その範囲が移動体100と相似形の存在確率分布301となるとする。
センサ12a、12b、…、12nの情報取得誤差が0でない場合、抽出した三次元点303の存在確率分布304が移動体100の存在確率分布301より大きくなる。移動体100のセンサ12a、12b、…、12nの情報取得誤差が既知であれば、存在確率分布301に合わせて存在確率分布304を算出する。例えば、センサ12a、12b、…、12nがステレオカメラの場合、情報取得誤差は取得した情報の距離に比例するため、その誤差を含めて存在確率分布304を算出する。
したがって、抽出した三次元点303を三次元点302のうち、三次元点302L又は三次元点302Rのいずれとマッチングすればよいか不明となる。
そのため、角度θと現在位置の存在確率分布301で三次元点302Lと三次元点302Rと区別する。
従来センサは、センサに最も近い立体物を検出し、その立体物の裏に他の立体物があっても検出できない。
そこで、本発明においては、角度θの方向においてセンサに最も近い立体物を探索し、抽出すると、マッチングができる確率が高くなる。
つぎに、角度θの設定について説明する。
所定の角度の範囲θからθまでの間で角度θを調整し、マッチング確率が最も高い三次元点を探索する。例えば、センサの取得角度がFOVの場合、θ=-FOV、θ=+FOVとする。θからθまでの範囲において所定の間隔dθ(=θ-θN-1)を設定する。ここで、dθは固定値とする。dθは、センサの解像度に合わせて設定してもよい。
また、dθを移動体100の存在確率分布301に合わせてもよい。例えば、自己位置の信頼性が低ければ、現在位置推定ステップS201で推定した仮の現在位置誤差が大きいため、dθを小さく設定する。一方、自己位置の信頼性が高ければ、現在位置推定ステップS201で推定した仮の現在位置誤差が小さいため、dθを大きく設定する。
また、存在確率分布301の大きさに基づいて、θ及びθを変更してもよい。例えば、存在確率分布301が大きい場合、推定した現在位置の方位誤差が大きくなっている確率が高いため、θをθ’(=θ-α)とし、θをθ’(=θ+α)とする。
図4は、本発明の実施例を示したものである。
本図において、三次元点401は、外部記憶装置19に登録された移動体100の走行環境の三次元点である。
存在確率分布402は、移動体100の存在確率分布である。移動体100が走行を開始した時点においては、存在確率分布402が小さいものとする。
範囲403は、移動体100が三次元点区別ステップS204で探索する範囲である。
この場合に、外部記憶装置情報抽出ステップS203でθ=-FOV、θ=+FOVと設定し、範囲403内の移動体100の周囲の外部記憶装置19の情報を抽出する。そして、三次元点区別ステップS204において参照可と参照不可の三次元点を区別する。
移動体100が廊下のような特徴の少ない環境を走行する場合、マッチングステップS205を行っても、位置の補正ができない。外部記憶装置19に登録された情報に基づいて移動体100が特徴の少ない環境を走行していることを制御部15が認識した場合、制御部15の指令で移動体100が移動し、特徴の探索を開始する。特徴の探索は、例えば、外部記憶装置19に登録された情報に基づいて、移動体100の現在位置に最も近い特徴の位置を抽出する。次に、制御部15の指令で移動体100がその特徴の検出可能な位置に移動し、マッチングステップS205と位置補正ステップS206で位置補正する。
移動体100が前述の抽出した特徴の位置に移動する場合、現在位置推定ステップS201で移動体100の推定した位置誤差が大きくなり、移動体100の存在確率分布が存在確率分布404になる。そこで、外部記憶装置情報抽出ステップS203でθをθ’(=θ-α)とし、θをθ’(=θ+α)とし、移動体100の周囲の外部記憶装置19の情報を抽出する。そして、三次元点区別ステップS204でθ’(=-FOV-α)からθ’ (=+FOV+α)までの範囲405で探索を行い、参照可能な三次元点を区別する。
位置補正ステップS206において移動体100の現在位置を補正した後、次にマッチングステップS205を行う際には、外部記憶装置情報抽出ステップS203においてθ=-FOV、θ=+FOVと設定する。この新しく設定したθ及びθを用いて三次元点区別ステップS204で参照可と参照不可の三次元点を区別する。
また、移動体100が特徴の少ない環境を走行し、最も近い特徴の位置に移動する場合、現在位置推定ステップS201で推定する位置誤差が大きくならない経路を制御部15が選定する。例えば、現在位置推定ステップS201で移動体100の現在位置を車輪エンコーダで推定する場合、誤差は走行した距離に比例するため、なるべく最短距離を算出する。また、移動体100の推定した方位誤差を避けるために、なるべく回転が少なく、直進で移動できる経路を算出する。したがって、特徴の少ない環境を走行している場合、動的障害物があっても、移動体100が避けずに、一時停止し、動的障害物が存在しなくなった後に直進移動を続ける。
図5は、2台の移動体が走行する場合である。
本図において、三次元点501は、外部記憶装置19に登録された移動体100の走行環境の三次元点である。
存在確率分布502は、移動体100の現在位置の存在確率分布である。
三次元点503は、移動体100が現在位置からセンサで抽出した三次元点である。
存在確率分布504は、三次元点503の存在確率分布で、存在確率分布502と同じ大きさとする。この場合、センサで抽出した三次元点503を三次元点501の三次元点505Rか三次元点505Lどれとマッチングすればよいか不明となり、誤ってマッチングする可能性が高い。
存在確率分布506は、移動体100が走行中環境に存在する2台目の移動体100bの存在確率分布である。存在確率分布506は、存在確率分布504より小さいとする。移動体100と移動体100bとは、互いの位置及び存在確率分布の情報を共有する。情報共有は、例えば、LAN(Local Area Network)に接続して情報の送信及び受信をする。
移動体100と移動体100bとが情報を共有するタイミングは、三次元点区別ステップS204の直前とする。また、移動体100と移動体100bとが情報を共有するタイミングを三次元点区別ステップS204の周期より短い周期で実施してもよい。最終的に、存在確率分布の情報を必要としている三次元点区別ステップS204の周期に合わせて、最新の情報を共有できれば、周期をどのように設定してもよい。
移動体100bの現在位置からセンサで移動体100への距離507を算出する。存在確率分布506があるため、センサで算出した移動体100への距離507に誤差がある。このため、移動体100は、距離508と距離509との間に存在する。
距離508及び距離509を存在確率分布502と融合することにより、移動体100の存在確率分布は、更新され、符号510で表される範囲となる。そして、センサで抽出した三次元点503の存在確率分布504も、更新され、符号511で表される狭い範囲となる。言い換えると、他の移動体である移動体100bが有するセンサから周囲の情報を取得し、移動体100が有するセンサからの周囲の情報と組み合わせて、移動体100の現在の位置(存在確率分布510)を求める。
これにより、存在確率分布511は、存在確率分布504より小さくなる。そして、センサで抽出した三次元点503を存在確率分布504の範囲に入っている三次元点505Lとマッチングし、移動体100の位置を修正する。
簡単のため、移動体100と移動体100bが止まった状態で説明したが、一台又は二台とも走行しながら上記の位置修正を実施してもよい。また、簡単のため、移動体2台を用いて説明したが、2台以上であってもよい。
図6は、2台の移動体及び固定カメラの実施例である。
本図において、存在確率分布601は、移動体100の現在位置の存在確率分布である。
存在確率分布602は、移動体100bの現在位置の存在確率分布である。存在確率分布602を存在確率分布601より大きいとする。
この場合、移動体100bに設置したセンサで移動体100への距離を算出しても、距離603と距離604との間が存在確率分布601より大きくなるため、2台の移動体100、100bによる位置補正が効かない。
本図においては、移動体100の走行環境に設置された固定カメラ605(固定センサ)を用いることができ、固定カメラ605から移動体100及び移動体100bまでの距離606及び距離607が得られる。この場合に、距離606及び距離607の誤差が発生しても、移動体100bは、距離608と距離609との間に存在し、移動体100は、距離610と距離611との間に存在するはずである。よって、存在確率分布601が存在確率分布612となり、存在確率分布602が存在確率分布613となり、ともに狭い範囲となる。
存在確率分布612及び存在確率分布613はそれぞれ、存在確率分布601、存在確率分布602より小さいため、三次元点区別ステップS204での参照可能な三次元点の区別ができ、マッチングステップS205で精度よく移動体100の位置を修正できる。
また、移動体100bに設置したセンサで移動体100への距離614を算出し、距離615と距離616との間で存在確率分布617を算出し、三次元点区別ステップS204~位置補正ステップS206で位置補正をしてもよい。存在確率分布617は、存在確率分布612よりも狭い範囲となる。言い換えると、移動体100の走行環境に設置された固定センサから周囲の情報を取得し、移動体100が有するセンサからの周囲の情報と組み合わせて、移動体100の現在の位置(存在確率分布617)を求める。
簡単のため、移動体2台と固定カメラ1台を用いて説明したが、2台以上の移動体と複数の固定カメラを用いて位置補正を行ってもよい。
また、簡単のため、固定カメラ605で説明したが、移動体100を推定し、距離を算出できるセンサであれば、カメラ以外でもよい。
図7は、通行人がいる場合である。
本図において、固定カメラ701は、移動体100が走行する環境に固定されたセンサである。
存在確率分布702は、移動体100の現在位置の存在確率分布である。
存在確率分布703は、移動体100bの現在位置の存在確率分布である。
移動体100bと固定カメラ701との間に通行人704等がいる場合、固定カメラ701による移動体100bの検出は、不可能となる。言い換えると、通行人704等は、検出の障害となり得る。
固定カメラ701で移動体100への距離705を算出し、図5及び図6で説明したとおり、移動体100の存在確率分布702を小さくし、存在確率分布702が存在確率分布702bとする。
一方、移動体100の現在位置からは、移動体100bの検出が可能であり、距離706を算出した後、移動体の存在確率分布703を小さくし、存在確率分布703bを得ることができる。
次に、移動体100bの現在位置を修正するために三次元点区別ステップS204、マッチングステップS205及び位置補正ステップS206に進む。
三次元点区別ステップS204で現在位置とセンサの取得範囲に基づいて、移動体100bの周囲の三次元点707の全点を抽出できるが、通行人704の影響で固定カメラ701が移動体100bを検出できなくなっている。このため、固定カメラ701から通行人704の存在と移動体100bに対する通行人の方向αを移動体100bに送信する。
これにより、三次元点区別ステップS204でマッチングできる確率が低い方向α以外の三次元点を抽出し、マッチングステップS205と位置補正ステップS206で位置推定を実施する。
本図においては、簡単のため、通行人一人の場合について説明したが、複数の通行人が存在してもよい。また、複数の通行人の影響により、他の移動体や固定センサを検出することや、位置補正をすることができない場合、一時的に停止し、通行人がいなくなるまで待機する。また、通行人がしばらくいなくならない場合、移動体が通行人を回避して、他の移動体や固定センサを検出できる位置まで移動してもよい。
なお、ここでは通行人について説明したが、一般に、人間以外の動物、物体等をまとめて「障害物」と呼ぶ。
まとめると、三次元点取得部が取得した三次元点に障害物の三次元点が含まれている場合には、マッチング部は、障害物の三次元点を除いた三次元点を用いてマッチングを行う。
つぎに、図8A及び8Bを用いて、図2AのマッチングステップS205及び位置補正ステップS206の詳細について説明する。
図8Aは、マッチングステップ及び位置補正ステップの条件を示す上面図である。
図8Bは、マッチングステップ及び位置補正ステップの手順を示すフロー図である。
図8Aにおいて、三次元点801(●印)は、外部記憶装置19に登録された移動体100の走行環境である。
三次元点802(○印)は、移動体100の現在位置からセンサで抽出した三次元点である。三次元点801と三次元点802とのマッチング方法は、例えば、ICP Matching(ICPは、Iterative Closest Pointの略称である。)を用いる。また、三次元点801及び三次元点802を線に変換して、線マッチングを行ってもよい。最終的に、三次元点801及び三次元点802の相対位置(X,Y,Z,roll,pitch,yaw)を出力すれば、ICP以外のマッチング方法を適用してもよい。ここで、roll,pitch,yawはそれぞれ、移動体100が前後の軸(進行方向の軸)に対して、その軸の周りに回転する角度、移動体100の先端部が上下する角度、移動体100の先端部が左右に振動する角度を表している。
本図において破線で示す層803R、803Lは、移動体100の周囲の状態を数値化するための区分である。ここでは、簡単のため、層803R、803Lは、走行環境を距離と位置とに分け、それぞれ、三次元点の点群が含まれる領域として区分したものであり、それぞれの領域の特徴を数値の集合として表したものである。なお、層803Rは、移動体100の進行方向右側に位置するものであり、層803Lは、移動体100の進行方向左側に位置するものである。また、「位置」は、走行面の座標であり、二次元座標である。
具体的には、層803R、803Lは、下記式(1)に示すとおり、距離、位置、高さ、色などで構成されるものである。
層(n)=f(距離,位置,高さ,色,…) …(1)
式中、右辺のかっこ内は、それぞれの層803R、803Lの属性を記載したものである。それぞれの層803R、803Lの属性は、それぞれの層803R、803Lに含まれる三次元点の点群を構成するそれぞれの点における距離、位置、高さ、色などに対応するそれぞれの特徴の数値(特徴量)についてその点群の平均値を算出して示したものである。言い換えると、層803R、803Lは、属性を変数とする。
上記式(1)についての更に具体的な例は、下記式(2)で表される。
層(i)=f(距離d,位置p)=f(di-1<d<d,p=R) …(2)
式中、iは、1以上の整数であり、それぞれの領域を表す符号である。dは、移動体100から隣の領域(例えばi+1)との境界までの距離(所定の規則に従って特定される値)である。Rは、移動体100の右側を表す数値である。
上記式(2)においては、属性を距離及び位置に限定して示している。また、この式は、層803Rに関するものである。
同様に、層803Lに関するものは、下記式(3)で表される。
層(j)=f(距離d,位置p)=f(dj-1<d<d,p=L) …(3)
式中、jは、1以上の整数であり、それぞれの領域を表す符号である。dは、移動体100から隣の領域(例えばj+1)との境界までの距離(所定の規則に従って特定される値)である。Lは、移動体100の左側を表す数値である。
外部記憶装置情報抽出ステップS203においては、外部記憶装置情報を抽出し、前述のそれぞれの層に距離及び位置に基づいて外部記憶装置情報を入力する。三次元点区別ステップS204においては、それぞれの層のマッチングができる参照可能な三次元点を抽出し、環境情報抽出ステップS202においてセンサにより得られた情報をそれぞれの層に入力する。
したがって、層803R、803Lのそれぞれは、外部記憶装置情報とセンサで抽出した情報とを有する。このため、マッチングステップS205でそれぞれの層にICP Matchingをかけることにより、修正した属性の候補であって、下記式(4)で表されるものが得られる。
層(k)=(X,Y,Z,roll,pitch,yaw,…) …(4)
式中、kは、1以上の整数であり、それぞれの領域を表す符号である。
位置補正ステップS206でそれぞれの層から修正した位置の候補を融合し、移動体100の修正した位置を出力する。融合した位置は、例えば、それぞれの層で得られた位置の平均である。また、融合した位置をそれぞれの層で得られた位置の中央値にしてもよい。また、融合した位置をそれぞれの層で得られた位置の最頻値にしてもよい。
また、それぞれの層にあった点数T(kは、1以上の整数であり、それぞれの領域を表す符号である。)を重みにして融合してもよい。
それぞれの属性は、下記式(5)~(10)で表される。
X=Σ(X・T)/ΣT …(5)
Y=Σ(Y・T)/ΣT …(6)
Z=Σ(Z・T)/ΣT …(7)
roll=Σ(roll・T)/ΣT …(8)
pitch=Σ(pitch・T)/ΣT …(9)
yaw=Σ(yaw・T)/ΣT …(10)
また、センサがカメラの場合、算出した距離誤差が距離に比例するため、層の距離d(kは、1以上の整数であり、それぞれの領域を表す符号である。)を重みにしてもよい。また、ICP Matchingが出力するスコア(センサで抽出した情報と外部記憶装置情報との差)を重みにして、それぞれの層から修正した位置の候補を融合してもよい。
図8BにマッチングステップS205と位置補正ステップS206の手順を示す。
図8Bに示すプロセスにおいては、属性を用いてマッチングを行う。
本図において、層分けステップS810は、移動体100の現在位置からセンサで抽出した三次元点802と、外部記憶装置19に登録された三次元点801とを上記式(1)を用いて層に分けるステップである。
各層マッチングステップS820は、層分けステップS810で分けられた、それぞれの層のセンサで検出した三次元点802と、外部記憶装置19から取得した三次元点801と、をマッチングするステップである。
マッチング結果融合ステップS830は、それぞれの層で得られた各層マッチングステップS820の結果を融合する。融合の際は、上記式(4)~(10)を用いる。
1:位置推定装置、2:信号受付部、12、12a、12b、12n:センサ、13:情報処理装置、14:センサ処理部、15:制御部、16:メモリ、17:表示部、19:外部記憶装置、100:移動体、210:入出力部、211:三次元点取得部、212:フィルター部、213:マッチング部、214:自己位置補正部、301、304:存在確率分布、302、303:三次元点、605:固定カメラ。

Claims (6)

  1. 周囲の情報を収集するセンサと、
    前記センサによって取得した情報を処理するセンサ処理部と、
    三次元点取得部と、
    フィルター部と、
    マッチング部と、
    自己位置補正部と、を有する移動体において、
    前記三次元点取得部は、前記センサから得られた三次元点を取得し、
    前記フィルター部は、マップに含まれる三次元点のうち前記移動体の現在の仮位置から参照可能な三次元点を求め、
    前記マッチング部は、前記三次元点取得部に記録されている前記三次元点と前記フィルター部が求めた参照可能な前記三次元点とのマッチングを行い、
    前記自己位置補正部は、前記マッチングに成功した三次元点を基に前記マップにおける前記移動体の現在の位置を求め、
    前記三次元点取得部は、前記移動体の走行環境に設置された固定センサ、又は他の移動体が有するセンサから周囲の情報を取得し、前記移動体が有する前記センサからの周囲の情報と組み合わせて現在の位置を求め、
    前記自己位置補正部は、前記移動体の前記現在の仮位置における存在確率分布と、前記固定センサ又は前記他の移動体が求めた前記移動体の位置情報とを用いて、前記移動体の存在確率分布の範囲が狭い範囲に補正をし、
    前記移動体の前記位置情報は、前記固定センサ又は前記他の移動体が求めた前記移動体までの距離の誤差範囲であり、
    前記補正は、前記誤差範囲と前記移動体の前記存在確率分布とを融合して行う、移動体。
  2. 前記参照可能な三次元点、前記センサが取得可能なセンシング角度の範囲内の前記マップ上の三次元点かつ前記マップ上で前記センシング角度の同一方向に複数の三次元点が存在する場合、前記移動体に最も近傍にある三次元点を抽出することで求られる請求項1記載の移動体。
  3. 前記他の移動体の存在確率分布は、前記移動体の前記現在の仮位置における存在確率分布より小さい、請求項記載の移動体。
  4. 前記三次元点取得部が取得した前記三次元点に、移動する障害物の三次元点が含まれている場合には、
    前記マッチング部は、前記障害物の三次元点を除いた三次元点を用いて、前記マッチングを行う、請求項1又は2に記載の移動体。
  5. 前記マッチング部は、属性を変数とする層を用いて、前記マッチングを行う、請求項1又は2に記載の移動体。
  6. 前記マッチング部は、前記層の前記属性に重みを設定し、前記マッチングを行う、請求項5記載の移動体。
JP2018232357A 2018-12-12 2018-12-12 移動体 Active JP7302966B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018232357A JP7302966B2 (ja) 2018-12-12 2018-12-12 移動体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018232357A JP7302966B2 (ja) 2018-12-12 2018-12-12 移動体

Publications (2)

Publication Number Publication Date
JP2020095435A JP2020095435A (ja) 2020-06-18
JP7302966B2 true JP7302966B2 (ja) 2023-07-04

Family

ID=71085078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232357A Active JP7302966B2 (ja) 2018-12-12 2018-12-12 移動体

Country Status (1)

Country Link
JP (1) JP7302966B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7767114B2 (ja) * 2021-11-04 2025-11-11 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、およびプログラム
JP2024088122A (ja) 2022-12-20 2024-07-02 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JPWO2024166659A1 (ja) * 2023-02-06 2024-08-15

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134656A (ja) 2008-12-03 2010-06-17 Sogo Keibi Hosho Co Ltd 自律移動体および速度制御方法
JP2016162013A (ja) 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
WO2017038012A1 (ja) 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134656A (ja) 2008-12-03 2010-06-17 Sogo Keibi Hosho Co Ltd 自律移動体および速度制御方法
JP2016162013A (ja) 2015-02-27 2016-09-05 株式会社日立製作所 自己位置推定装置および移動体
WO2017038012A1 (ja) 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット

Also Published As

Publication number Publication date
JP2020095435A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
US20230152461A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
US11433880B2 (en) In-vehicle processing apparatus
CN111837136B (zh) 基于本地感测的自主导航以及相关联的系统和方法
Schreiber et al. Laneloc: Lane marking based localization using highly accurate maps
JP7190261B2 (ja) 位置推定装置
Matthaei et al. Map-relative localization in lane-level maps for ADAS and autonomous driving
JP7245084B2 (ja) 自動運転システム
JP7321035B2 (ja) 物体位置検出方法及び物体位置検出装置
JP7302966B2 (ja) 移動体
CN116242375A (zh) 一种基于多传感器的高精度电子地图生成方法和系统
JP7594691B2 (ja) 自動運転および/または支援運転のための駆動装置、車両、および方法
TWI754808B (zh) 載具、載具定位系統及載具定位方法
Li et al. Localization and mapping based on multi-feature and multi-sensor fusion
Deusch et al. Improving localization in digital maps with grid maps
CN114003041A (zh) 一种多无人车协同探测系统
JP7319824B2 (ja) 移動体
US20250224251A1 (en) Camera based localization, mapping, and map live update concept
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质
KR102733568B1 (ko) 자율주행 이동체에서 자세 인식 장치 및 방법
JP2025050039A (ja) 物体検出装置
JP2025121483A (ja) 物体検出装置
JP2025112554A (ja) 位置推定装置および車両制御システム
CN121761861A (zh) 一种基于智能网联的车辆定位方法、系统、车辆及介质
CN117029843A (zh) 一种适用低精度地图的定位方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7302966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150