Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7610414B2 - 自己位置推定装置 - Google Patents
[go: Go Back, main page]

JP7610414B2 - 自己位置推定装置 - Google Patents

自己位置推定装置 Download PDF

Info

Publication number
JP7610414B2
JP7610414B2 JP2021003177A JP2021003177A JP7610414B2 JP 7610414 B2 JP7610414 B2 JP 7610414B2 JP 2021003177 A JP2021003177 A JP 2021003177A JP 2021003177 A JP2021003177 A JP 2021003177A JP 7610414 B2 JP7610414 B2 JP 7610414B2
Authority
JP
Japan
Prior art keywords
self
landmark
map
unit
location estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021003177A
Other languages
English (en)
Other versions
JP2022108298A (ja
Inventor
盛彦 坂野
秀行 粂
英弘 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2021003177A priority Critical patent/JP7610414B2/ja
Priority to PCT/JP2021/031928 priority patent/WO2022153586A1/ja
Priority to US18/258,884 priority patent/US12511775B2/en
Publication of JP2022108298A publication Critical patent/JP2022108298A/ja
Application granted granted Critical
Publication of JP7610414B2 publication Critical patent/JP7610414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、己位置推定装置に関する。
自動運転・運転支援システムの適用範囲を拡大するためには、自己位置推定に基づく地図からの情報取得が重要である。しかしながら、例えば高速道路においては、運転支援システム用の地図が整備されているが、一般道や自宅周辺などの住宅街における地図整備の目途はたっていない。したがって、地図を自己生成し、自己位置推定できる技術が求められる。
これに対して、特許文献1では、「所定領域内の固定物の配置位置を含む地図情報を記憶し、地図再作成の際、所定領域内をロボット10を移動させつつ(1)乃至(5)を繰返し実行する。(1)エンコーダ21を積算してロボットの自己位置を算出する(2)ロボットの所定視野角範囲内にある固定物及び移動可能物までの距離を測定する(3)測定した距離と、地図情報から得られる固定物までの距離とから補正自己位置を求める(4)測定値の内、移動可能物までの距離を表す測定値を抽出する(5)抽出した測定値と補正自己位置とから移動可能物の配置位置を算出する。そして、算出した移動可能物の配置位置を集約処理して新たな配置位置を求め、求めた新たな配置位置を外部に出力する。」と記載されている。
特開2011-210121号公報
特許文献1に記載されている従来技術では、自動で自己位置を補正しつつ移動し、さらに自動で地図を再作成することで、環境地図(点群地図)の再作成に要するコストを低減し、かつ環境地図をタイムリーに再作成することができる。しかしながら、ランドマークの観測誤差情報が考慮されていないため、ランドマークの観測誤差が大きい場合に自己位置推定の精度が不十分となる問題がある。地図を自己生成する際、地図に登録したランドマークを用いて自己位置推定を実施するため、自己位置推定に用いるランドマークを自動運転・運転支援システムに求められる高い精度で、地図に登録する必要がある。
本発明は、上記事情に鑑みてなされたもので、観測点となるランドマークの誤差量を見積もり、自己生成点群地図の質を改善することで、センサによる観測誤差が大きい場合でも、高精度な自己位置推定を実現することができる己位置推定装置を提供することを目的とする。
本発明の代表的な自己位置推定装置の一つを示せば、自車両に搭載された車載センサにより得られた外界情報の点群データから点群地図を生成し、前記点群地図上の前記自車両の位置である自己位置を推定する自己位置推定装置であって、前記点群地図からランドマークを検出するランドマーク検出部と、検出した前記ランドマークの観測位置情報を蓄積するランドマーク情報蓄積部と、前記ランドマークの観測位置情報を頻度分布化したときに検出される誤差分布から抽出される点群座標に基づいて前記ランドマークの位置を補正し、前記誤差分布の広がりの大きさに基づいて前記ランドマークの重要度を計算するランドマーク位置補正部と、前記ランドマーク位置補正部から得られた前記ランドマークの位置を補正した補正地図を自己生成地図として保存する自己地図生成部と、保存された前記自己生成地図と前記自車両の現在走行中に新たに前記ランドマーク位置補正部から得られた前記補正地図とを前記重要度で重み付けして照合することで前記自車両の現在走行中の自己位置推定を行う自己位置推定部と、を備えることを特徴とする。
本発明によれば、観測点となるランドマークの誤差量を見積もり、自己生成点群地図の質を改善することで、センサによる観測誤差が大きい場合でも、高精度な自己位置推定が可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第1の実施の形態にかかる自己地図生成・自己位置推定装置100の構成を示すブロック図。 本発明の第1の実施の形態にかかる自己地図生成・自己位置推定装置100の動作を表す機能ブロック図。 ピーク位置の検出、観測誤差の推定方法の概略を示す図であり、現在観測している地点を表す図。 ピーク位置の検出、観測誤差の推定方法の概略を示す図であり、ランドマーク蓄積情報131の様態を表す図。 ランドマーク情報蓄積部206の動作を示すフローチャート。 ランドマーク位置補正部207の動作を示すフローチャート。 自己地図生成部208の動作を示すフローチャート。 自己位置推定部209の動作を示すフローチャート。 本発明の第2の実施の形態にかかる、複数の外界センサ搭載時の自己地図生成・自己位置推定装置100の構成を示すブロック図。 本発明の第2の実施の形態にかかる、複数の外界センサ搭載時の自己地図生成・自己位置推定装置100の動作を表す機能ブロック図。 センサ協調誤差推定部220の動作を示すフローチャート。 本発明の第3の実施の形態にかかる自己地図生成・自己位置推定装置100を備える自動運転装置102の構成を示すブロック図。
以下、図1~図11を参照して、本発明にかかる自己地図生成装置、および自己位置推定装置の実施の形態を説明する。なお、本発明の実施の形態を説明するための全図において、同一の機能を有する部分には同一の符号を付し、その繰り返し説明は省略する場合がある。
[第1の実施の形態]
図1は、本発明の第1の実施の形態にかかる自己地図生成・自己位置推定装置100の構成を示すブロック図である。自己地図生成・自己位置推定装置100は、車両に搭載され、車載センサにより得られた外界情報の点群データから点群地図(自己生成点群地図)を生成し、点群地図上の自己位置(自車位置)を推定する装置である。自己地図生成・自己位置推定装置100は、センサ群(105、110、111)と、車載処理装置101とから構成される。車載センサであるセンサ群は、車載処理装置101と信号線で接続され、車載処理装置101と各種データを授受する。
車載処理装置101は、演算部120と、RAM130と、記憶部140と、インターフェース150と、ROM160を備える。演算部120はCPUである。FPGAなど他の演算処理装置で全部、または一部の演算処理を実行するように構成しても良い。RAM130は、読み書き可能な記憶領域であり、車載処理装置101の主記憶装置として動作する。RAM130には、後述するランドマーク蓄積情報131、ランドマーク補正情報132、自己生成地図133が格納される。ROM160は、読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM130で展開されて、演算部120により実行される。演算部120は、プログラムを読み込んで実行することにより、オドメトリ計算部121、ランドマーク検出部122、ランドマーク情報蓄積部123、ランドマーク位置補正部124、自己地図生成部125、自己位置推定部126として動作する。記憶部140は、不揮発性の記憶装置であり、車載処理装置101の補助記憶装置として動作する。記憶部140には自己生成地図141が格納される。後述するが、記憶部140に記憶される自己生成地図141は、RAM130に格納される自己生成地図133とは別のものを指す場合がある。
センサ群は、車両の周囲(外界情報)を観測する外界センサ105と、車速センサ110と、舵角センサ111とを含む。
外界センサ105は、周囲の対象物までの距離が観測できるもの(換言すれば、距離センサとして機能し得るもの)、例えばステレオカメラを示す。ステレオカメラは、2つのカメラが横並びで一定基線長離れて1ユニット化されているものでも良いし、2つのカメラがラフに取り付けられた状態で、キャリブレーションにより、ステレオカメラとして活用できるようにしたものでも良いし、2つのカメラが縦並びで構成されたものでもよいし、3つ以上のカメラを活用したものでも良い。また、外界センサ105は、単眼カメラでモーションステレオ法を活用しても良いし、LiDAR、ミリ波レーダー、ソナー等のセンサでもよい。本実施の形態では、2つのカメラが横並びで一定基線長離れて1ユニット化されているステレオカメラを想定して説明する。外界センサ105は、撮影して得られた画像、および距離算出のために必要な視差を、車載処理装置101に出力する。ここで、外界センサ105は撮影画像のみを車載処理装置101に出力して、演算部120で視差を算出しても良い。
車載処理装置101は、外界センサ105から得られた撮影画像および、視差を用いて、後述するランドマークの測位を行う。外界センサ105の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM160にあらかじめ保存されている。あるいは、車載処理装置101において、撮影画像、視差、車速センサ110、舵角センサ111を用いて、演算部120で推定しても良い。また、ステレオカメラの2つのカメラ同士の相対関係を示す外部パラメータ、およびカメラの焦点距離や撮像素子サイズなどの内部パラメータは既知であり、ROM160にあらかじめ保存されている。車載処理装置101は、ROM160に格納された内部パラメータおよび外部パラメータおよび視差を用いて、外界センサ105と被写体の位置関係を算出することができる。
車速センサ110、および舵角センサ111はそれぞれ、車載処理装置101が搭載された車両の車速と舵角を測定し、車載処理装置101に出力する。車載処理装置101は、車速センサ110および舵角センサ111の出力を用いて公知のデッドレコニング技術によって、車載処理装置101が搭載された車両の移動量および移動方向を算出する。
(機能ブロック構成)
図2は、演算部120が実行するオドメトリ計算部121、ランドマーク検出部122、ランドマーク情報蓄積部123、ランドマーク位置補正部124、自己地図生成部125、自己位置推定部126が有する機能を機能ブロックとして表し、機能ブロックの処理順、また、機能ブロック同士、および機能ブロックとRAM130、ROM160、記憶部140とのデータの流れを示す図である。車載処理装置101の自己地図生成・自己位置推定を担う機能ブロックとしての自己地図生成・自己位置推定部250は、センサ値取得部201、オドメトリ推定部202、ランドマーク検出部203、距離算出部204、世界座標計算部205、ランドマーク情報蓄積部206、ランドマーク位置補正部207、自己地図生成部208、自己位置推定部209、記憶部140を備える。
演算部120におけるオドメトリ計算部121に対応する機能ブロックがオドメトリ推定部202、演算部120におけるランドマーク検出部122に対応する機能ブロックがランドマーク検出部203、演算部120におけるランドマーク情報蓄積部123に対応する機能ブロックがランドマーク情報蓄積部206、演算部120におけるランドマーク位置補正部124に対応する機能ブロックがランドマーク位置補正部207、演算部120における自己地図生成部125に対応する機能ブロックが自己地図生成部208、演算部120における自己位置推定部126に対応する機能ブロックが自己位置推定部209である。
(センサ値取得部201)
センサ値取得部201は、外界センサ105から出力される信号を取得する。ステレオカメラの場合、画像と視差である。ステレオカメラは、連続して高い頻度、たとえば毎秒30回撮影する。ステレオカメラが撮影して得られた画像および視差は、撮影するたびに車載処理装置101に送信される。センサ値取得部201は、これを一定頻度で受信し、受信した画像および視差をランドマーク検出部203に出力する。以降の処理部203~209は、受信するたびに動作する。
(オドメトリ推定部202)
オドメトリ推定部202は、車速センサ110および舵角センサ111から送信される車両の速度および舵角を用いて、車両運動を推定する。例えば、公知のデッドレコニング技術を用いても良いし、カメラを用いた公知のビジュアルオドメトリ技術を用いて推定しても良いし、公知のカルマンフィルタ等を併用しても良い。後述の図11に示す自動運転システムのように、GPSを備える場合は、その情報も活用して良い。
(ランドマーク検出部203)
ランドマーク検出部203は、センサ値取得部201から得られた画像および視差を用いて、ランドマークを検出する。ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種であるレーンマークや、停止線、横断歩道や、そのほか規制表示、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。センサ値取得部201を介して外界センサ105から入力される情報(詳しくは、外界センサ105により得られた外界情報の点群データから生成した点群地図)に基づき、車両の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する物体を検出する。ランドマーク情報は、画素単位で得られていても、物体としてグルーピングされて得られていても良い。ランドマークが画像認識により、例えばレーンマークであるとか、横断歩道であると、識別されていても良いし、識別されていなくても良い。ここで得られたランドマーク情報は、距離算出部204に出力される。
(距離算出部204)
距離算出部204は、ランドマーク検出部203で得られたランドマーク情報に基づき、ランドマークまでの距離を算出する。ランドマークが存在する画素ごとに、あるいはグルーピングされた物体について、距離を検出する。ステレオカメラの場合、視差値とROM160に格納された内部パラメータ、カメラ間の外部パラメータから、三角測量の原理によって距離を測定できる。さらに、その距離情報から、対応する画素に映る物体の三次元座標を測定できる。これを用いて、ランドマークが存在する画素、あるいは、グルーピングされた物体について、対応する三次元座標(観測位置情報)を測定する。ただし、視差はブロックマッチング等の処理によって算出するものであり、必ず誤差が含まれる。この誤差によって、距離に誤差が発生し、物体の三次元座標には観測誤差が含まれる。この三次元座標の観測誤差は、ステレオカメラを含むカメラ全般において、原点と物体を結ぶ直線方向に発生する性質がある。他の外界センサ(距離センサ)を用いた場合、同様の誤差が発生する場合がある。誤差が大きい状態で、後述する自己地図生成部208によって自己地図(自己生成地図)を生成し、後述する自己位置推定部209で自己位置推定する場合、誤差の影響を受けて、自己位置推定の精度が低下する。したがって、この誤差を何らかの方法で、低減することが望ましい。また、この三次元座標は、センサ座標系における観測値であり、センサからの相対座標値である。ここで得られた相対座標値は、世界座標計算部205に出力される。
(世界座標計算部205)
世界座標計算部205は、距離算出部204で得られたセンサからの相対座標値となっているランドマークの距離情報(観測位置情報)を、オドメトリ推定部202から得られた自車の運動情報および、ROM160に格納されている、カメラの取り付け位置や取り付け姿勢を示す外部パラメータを用いて、世界座標値に変換できる。この世界座標値は、GPSを備えず、デッドレコニングやビジュアルオドメトリで推定する場合は、ある座標、ある軸を基準とした世界座標値となる。例えば、車載処理装置101が起動した位置を原点、直後に進んだ方向をX軸、それに直交する軸をY軸、Z軸といった形でとればよい。後述の図11に示す自動運転システムのように、GPSを備える場合は、緯度、経度のような絶対世界座標値を得ることができる。ここで得られた各ランドマークの世界座標値は、ランドマーク情報蓄積部206に出力される。
(ランドマーク情報蓄積部206)
ランドマーク情報蓄積部206では、世界座標計算部205で得られた各ランドマークの測定(観測)位置情報を時系列的に蓄積する。この情報を、後述するランドマーク位置補正部207で活用することで、各ランドマークの位置測定誤差を低減する。ランドマーク情報蓄積部206では、例えば、グリッドマップと呼ばれる空間をボクセル状に区切ったマップ上に、世界座標計算部205で得られた各ランドマークの測定位置情報(世界座標値)を時系列的に投票していく。ここで言う投票とは、対応するボクセルに含まれる観測値が1つ得られたとき、ボクセルの値を+1する処理である。これをセンサ値取得部201でセンサ値(信号)を受信するたびに繰り返していくと(すなわち、頻度分布化すると)、観測回数が多い場所と、観測回数が少ない場所で(頻度分布の)差が出てくる。そして、観測値には、ステレオカメラの場合、視差誤差に由来する測定距離誤差があるため、グリッドマップの投票値に反映され、観測物体ごとの誤差分布(すなわち、測定位置情報を頻度分布化したときに検出される誤差分布)がグリッドマップ上にあらわれる。これについては、図3A、図3Bを用いて後に説明する。本処理ではこのように、グリッドマップへの投票のような形で、ランドマーク情報を時系列的に蓄積する。グリッドマップは2次元でも3次元でも良い。時系列的に蓄積するために、ある時刻にセンサ値取得部201で得られたランドマーク全てについての世界座標値の投票が完了した時点で、RAM130に蓄積された情報を、ランドマーク蓄積情報131(図1)として格納する。次時刻において、センサ値取得部201でセンサ値(信号)を受信した際に、RAM130から、蓄積されたランドマーク情報であるランドマーク蓄積情報131を読み出し、読み出した情報に、現時刻の観測値(世界座標値)を蓄積する。ランドマーク情報蓄積部206の処理フローについては、図4を用いて後ほど説明する。続いて、ランドマーク位置補正部207に進む。
(ランドマーク位置補正部207)
ランドマーク位置補正部207では、RAM130に格納されたランドマーク蓄積情報131(図1)を用いて、ランドマークの検出の位置誤差を補正する。前述のように、ランドマーク情報蓄積部206でランドマーク情報を蓄積すると、観測物体ごとの誤差分布(すなわち、測定位置情報を頻度分布化したときに検出される誤差分布)が可視化できる。また、この誤差分布は、センサの特性から(距離センサの視差誤差に起因して)、センサと観測物体を結んだ直線方向(視線方向ないし光線方向)に誤差が広がる傾向を持つ。そこで、ランドマーク蓄積情報131(図1)に関して、センサと観測物体を結んだ直線方向(視線方向ないし光線方向)に走査し、誤差分布のピーク位置をランドマーク点群座標として検出することで、物体の真の観測位置を推定する。これについては、図3A、図3Bを用いて後に補足説明する。推定した観測位置(=ピーク位置)をランドマーク補正位置とする。同時に、誤差分布の大きさが大きいほど、その観測物体に関しては、観測信頼度(重要度とも称する)が低い。そこで、ランドマーク位置補正部207では、誤差分布の広がり(推定誤差量に対応)を取得し、対象観測物体の信頼度(重要度)として、後段の処理で活用する。ランドマーク補正位置、および、対応するランドマークの誤差分布の広がりの大きさ(推定誤差量)を、ランドマーク補正情報132(図1)として、RAM130に格納する。ランドマーク位置補正部207の処理フローについては、図5を用いて後ほど説明する。次に自己地図生成部208に進む。
(自己地図生成部208)
自己地図生成部208では、ランドマーク蓄積情報131、およびランドマーク位置補正部207で得られたランドマーク補正情報132を用いて、地図(詳しくは、ランドマークの位置を補正した補正地図)を生成する。地図は、ランドマーク点に対応する点群としての表現でも良いし、認識した物体とその座標という形の表現でも良い。点群として出力する場合、自己地図は、ランドマーク補正情報132で得られたピーク位置情報に基づき、ランドマーク蓄積情報131において、ピーク位置を中心とする一定範囲のランドマークについて、ランドマーク点群として自己生成地図に出力する。
自己地図生成部208は、自己地図生成・自己位置推定部250のモードによって動作が変わる。自己地図生成モードと、自己位置推定モードの2つのモードがある。2つのモードは、自己地図生成・自己位置推定部250を動作させる際に何らかの形で決められているものとする。例えばインターフェース150(図1)から、何らかの手段でモード情報を入力するなどしても良い。
(自己地図生成モード)
自己地図生成モードは、自己地図生成を目的とするものである。自己地図生成モードでは、後段の自己位置推定部209は実施されない。自己地図生成部208は、地図保存命令を受け取ったら、ランドマーク蓄積情報131で得られている全範囲を、自己生成地図141(図1)として記憶部140に格納(保存)する。格納後は、後段の自己位置推定部209には移らず、処理終了となる。
(自己位置推定モード)
自己位置推定モードは、自己地図生成モードによって過去に記憶部140に格納された自己生成地図141(図1)を読み出して、自己生成地図141上での自己位置を推定することを目的とする。後段の自己位置推定部209において、過去に記憶部140に保存された自己生成地図と、現在観測値から自己位置推定モードで(自己地図生成部208から)出力される自己生成地図(=補正地図)を照合する。自己位置推定モードでは、(自己地図生成部208から)出力される自己生成地図(=補正地図)は、現在の自車位置から所定の距離遡った範囲の部分地図となる。部分地図とすることで、照合ミスの防止、照合時間の短縮、オドメトリ誤差の影響を減少する効果がある。部分地図を自己生成地図133(図1)として、RAM130に格納(保存)するとともに、自己位置推定部209に出力する。次に自己位置推定部209に進む。自己地図生成部208の処理フローは、図6を用いて後ほど説明する。
(自己位置推定部209)
自己位置推定部209は、自己位置推定モードの場合のみ動作する。自己位置推定部209は、自己地図生成部208から得られた自己生成地図(部分地図、補正地図)133と、記憶部140に格納された、過去に生成した自己生成地図141を照合することで、自己生成地図141上の自己位置を推定する。照合は、点群の場合は、例えば、既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。これにより、自己地図生成部208から得られた自己生成地図(部分地図、補正地図)133を自己生成地図141上に変換する座標変換量を求めることができ、その座標変換量を基に座標変換された現在車両の位置から、自己生成地図141上の自己位置を得ることができる。推定した自己位置を出力して、自己地図生成・自己位置推定部250の処理は終了となる。自己位置推定部209の処理フローについては、図7を用いて後ほど説明する。
図3Aは、現在観測している地点を表す図である。外界センサ105がカメラの場合はカメラで撮影された画像もこの図と同様のものとなる。この地点には、電柱310、311、312が存在する。図3Bは、この地点において、ランドマーク情報蓄積部206によって生成されたランドマーク蓄積情報131の様態を表す図である。この例では、理解を簡単にするために、グリッドマップは高さ方向を圧縮した2次元の場合を示している。したがって、俯瞰視点から見下ろした図となっている。図3B中の320、321、322は、ランドマーク蓄積情報131の投票値の等高線を表し、電柱310、311、312のそれぞれの観測結果に対応する。図3B中の330はセンサ位置を表す。
電柱310、311、312は、観測誤差が0であれば、本来は2次元グリッドマップ上であれば、電柱の径に相当する範囲にしか観測結果があらわれない。しかし、観測誤差がある場合は、ステレオカメラなどのセンサの誤差特性から(距離センサの視差誤差に起因して)、センサ位置330と電柱310、311、312を結ぶ直線方向(視線方向ないし光線方向)に分布する特性を持ち、ランドマーク蓄積情報131の投票値の等高線は320、321、322のような誤差分布を示す。センサによる誤差は、基本的には0を最頻値としてセンサ、対象物、天候、日照条件に応じて分布の幅や形が変化し、その誤差特性が図3Bのように、各分布のピーク位置と形に反映される。補助線340、341、342は、センサ位置330と電柱310に相当する観測結果を結ぶ直線、補助線343、344、345は、センサ位置330と電柱311に相当する観測結果を結ぶ直線、補助線346、347、348は、センサ位置330と電柱312に相当する観測結果を結ぶ直線で、この各直線上を走査し、ランドマーク蓄積情報131の投票値のピーク位置を検出することで、ランドマークの真の位置が、センサ、対象物、天候、日照条件が変わる中でも推定することができる。この各補助線は、あくまで説明のための代表線であり、もっと細かい分解能で走査、検出しても良い。
また、分布が大きいほど、誤差が大きいことを意味し、すなわち、観測値が信用できない(観測信頼度が低い)ことを意味する。したがって、この分布の大きさを各直線上で求めることで、各ランドマークの信頼度(重要度)を算出することができる。この例では、電柱311に対する分布321の誤差(推定誤差量)が最も大きいため信用できず(観測信頼度が低く)、電柱310に対する分布311の誤差(推定誤差量)が最も小さいため信用できる(観測信頼度が高い)ことになる。
ピーク検出は、走査線上のランドマーク蓄積情報131の投票値を平滑化したうえで公知のゼロクロス法などを使うことで実現できる。分布の大きさは、ランドマーク蓄積情報131の投票値が所定の値以上になるピーク位置からの幅を求めることで得られる。本例では、グリッドマップが2次元の場合を示したが、3次元の場合でも同様である。
(ランドマーク情報蓄積部206の動作)
図4にランドマーク情報蓄積部206の動作を表すフローチャートを示す。ランドマーク情報蓄積部206は、世界座標計算部205から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体は演算部120である。
ステップS401のランドマーク蓄積情報取得部では、RAM130に格納された前時刻までで得られたランドマーク蓄積情報131を取得する。次にステップS402に進む。
ステップS402の世界座標取得部では、世界座標計算部205で計算された、当該時刻のランドマークの世界座標値を取得する。次にステップS403に進む。
ステップS403のランドマーク情報追加部では、ステップS401で得られたランドマーク蓄積情報131と、ステップS402で得られた世界座標計算部205で計算された当該時刻のランドマークの世界座標値を用いて、ランドマーク蓄積情報131を更新する。ランドマーク蓄積情報131は、図3A、図3Bの説明でも述べた通り、例えばグリッドマップ等に分割した空間に、ランドマーク点が投票された空間となっている。この空間に、世界座標計算部205で計算された当該時刻のランドマークの世界座標値を追加投票し、更新する。これによって、当該時刻に観測されたランドマーク情報をランドマーク蓄積情報131に反映することができる。更新したランドマーク蓄積情報131は、次時刻以降にランドマーク情報蓄積部206、ランドマーク位置補正部207で活用する目的でRAM130に格納し、古いものと置き換えて、図4のフローチャートを終了する。
(ランドマーク位置補正部207の動作)
図5にランドマーク位置補正部207の動作を表すフローチャートを示す。ランドマーク位置補正部207は、ランドマーク情報蓄積部206から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体は演算部120である。
ステップS501のランドマーク蓄積情報取得部では、ランドマーク情報蓄積部206で計算され、RAM130に格納されたランドマーク蓄積情報131を取得する。次にステップS502に進む。
ステップS502のランドマーク蓄積完了判定部では、蓄積が完了したランドマークグリッドを判定する。世界座標値において、センサの現在位置の測定範囲外に出た場所をランドマークの蓄積が完了したと判定する。ランドマークの蓄積が完了したグリッドが、後段の処理の対象となる。次にステップS503に進む。
ステップS503のピーク位置走査部では、図3A、図3Bを用いて説明したように、ステップS501で取得したランドマーク蓄積情報131上において、各ランドマークとセンサ位置を結ぶ直線上に走査線を設定する。走査線は、ステップS502で得られたランドマークの蓄積が完了したと判定される各グリッドに対して設定される。次にステップS504に進む。
ステップS504のランドマーク出力位置計算部では、ステップS501で取得したランドマーク蓄積情報131上において、ステップS503で設定された走査線上を走査し、誤差分布のピーク位置を点群座標として検出する。ピーク検出は、走査線上のランドマーク蓄積情報131の投票値を平滑化したうえで公知のゼロクロス法などを使うことで実現できる。ピーク位置を算出したら、ランドマーク補正情報132として、RAM130に格納する。1つの走査線から複数のピークが得られることもある。次にステップS505に進む。
ここで、本明細書におけるピーク位置とは、走査線上のランドマーク蓄積情報131の投票値に平滑化等の何らかの信号処理をした上での純粋な頂点位置でも良いし、走査線上のランドマーク蓄積情報131の投票値に平滑化等の何らかの信号処理をした上でしきい値処理し、残った座標全てでも良いし、その残った座標の平均値でも良いし、ピーク検出に関する信号処理方法や出力される点数は、ピーク位置付近の点に絞って残すものであれば良い。
ステップS505のランドマーク分布計算部では、ステップS503のピーク位置走査部で設定された走査線上を走査し、ステップS504のランドマーク出力位置計算部で得られたピーク位置ごとの誤差分布の大きさを計算する。誤差分布の大きさは、ランドマーク蓄積情報131の投票値が所定の値以上になるピーク位置からの幅を求めること、などで得られる。得られた各ピーク位置ごとの誤差分布の大きさは、ランドマーク補正情報132として、RAM130に格納し、図5のフローチャートを終了する。
(自己地図生成部208の動作)
図6に、自己地図生成部208の動作を表すフローチャートを示す。自己地図生成部208は、ランドマーク位置補正部207から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体は演算部120である。
ステップS601のランドマーク情報取得部では、RAM130に格納されたランドマーク蓄積情報131とランドマーク補正情報132を取得する。次にステップS602に進む。
ステップS602の範囲設定部では、自己地図生成・自己位置推定部250のモードによって動作が切り替わる。自己地図生成モードの場合、ランドマーク蓄積情報131で生成された地図全体が対象範囲となる。自己位置推定モードの場合、現在の自車位置から所定の距離遡った範囲が対象範囲となる。したがって、ランドマーク蓄積情報131で生成された一部分(部分地図)が対象範囲である。これにより、後段の自己位置推定部209の照合ミスの防止、照合時間の短縮、オドメトリ誤差の影響を減少する効果がある。対象範囲を決めたところで、次にステップS603に進む。
ステップS603の地図出力部では、ステップS601のランドマーク情報取得部で得られたランドマーク蓄積情報131とランドマーク補正情報132、およびステップS602の範囲設定部で得られた対象範囲を用いて、ランドマーク補正情報132で得られたピーク位置情報に基づき、ランドマーク蓄積情報131において、ピーク位置を中心とする一定範囲のランドマークについて、ランドマーク点群として自己生成地図(141、または、133)に出力する。例えば、ランドマーク蓄積情報131においてピーク値から走査線方向を走査して、ピーク値の80%の値をもつ範囲をランドマーク点群座標として出力する。この80%は一例であり、実際には種々の値を設定しても良い。あるいは、範囲を狭くしてピーク値1点のみをランドマーク点群座標として出力しても良い。
自己地図生成モードの場合で、地図記録終了指令を受けた場合、得られたランドマーク点群座標を記憶部140に自己生成地図141として格納して、図6のフローを終了する。さらに、自己地図生成・自己位置推定部250も終了する。地図記録終了指令を受けていない場合は、得られたランドマーク点群座標を自己生成地図133としてRAM130に格納して、図6のフローを終了する。次の自己位置推定部209には進まず、センサ値取得部201に戻る。自己位置推定モードの場合、得られたランドマーク点群座標を自己生成地図133としてRAM130に格納して、図6のフローを終了する。
(自己位置推定部209の動作)
図7は自己位置推定部209の動作を表すフローチャートである。自己位置推定部209は、自己地図生成部208から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体は演算部120である。本処理は、自己地図生成・自己位置推定部250の自己位置推定モードの場合のみ実行される。
ステップS701の過去地図情報取得部では、記憶部140に格納された自己生成地図141を取得する。自己生成地図141は、過去の走行により取得された地図である。取得したら次のステップS702に進む。
ステップS702の現在地図情報取得部では、自己地図生成部208によってRAM130に格納された、現在走行中に観測された自己生成地図(部分地図、補正地図)133を取得する。取得したら次のステップS703に進む。
ステップS703の荷重計算部では、RAM130に格納された、ランドマーク補正情報132を取得し、ランドマーク補正情報132がもつ各ピーク位置ごとの誤差分布の大きさ情報を取得する。この誤差分布の大きさ情報(推定誤差量に対応)に基づき、自己位置推定する際の各ランドマークの重み情報(重要度または信頼度)を計算する。設定方針としては、分布が大きければ大きいほど、ランドマークの重みとしては小さく設定する。分布の大きさに対する重みの計算式は、方針を守りつつ、自由に設定しても良い。次にステップS704に進む。
ステップS704の地図照合部では、ステップS701の過去地図情報取得部で取得した過去の自己生成地図141と、ステップS702の現在地図情報取得部で取得した現在走行中に観測された自己生成地図(部分地図、補正地図)133のランドマークを照合することで、過去の自己生成地図141上での現在走行中の自己位置を計算する。照合は、点群の場合は、例えば、既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ICPアルゴリズムを利用する際、ステップS703の荷重計算部で得られたランドマークごとの重み(重要度または信頼度)を反映させて自己位置を計算する。ICPアルゴリズムでは、各点同士の対応関係を求め、その対応関係における距離誤差を最小化する処理を繰り返すことにより、点群同士の照合を行っていくが、この際、最小化の距離誤差関数にこの重みを反映させる。重みが大きい点の誤差は、相対的に大きな値として計算されることになり、それを最小化しようとする力が働くため、大きな重みが付された点は、他の点に比べて誤差を小さくする働きが強く働く。これにより、大きな重みが付された信頼できる点ほど、誤差を小さくするように働く。この地図同士の照合により、自己地図生成部208から得られた自己生成地図(部分地図、補正地図)133を自己生成地図141上に変換する座標変換量を求めることができ、座標変換量を基に座標変換された現在車両の位置から、自己生成地図141上の自己位置を得ることができる。自己生成地図141上の自己位置を出力して図7のフローを終了する。終了後はまた、センサ値取得部201に戻る。
(作用効果)
上述した第1の実施の形態によれば、次の作用効果が得られる。
すなわち、上述した第1の実施の形態の自己地図生成・自己位置推定装置100は、自車両に搭載された車載センサにより得られた外界情報の点群データから点群地図を生成するもので、前記点群地図からランドマークを検出するランドマーク検出部203と、検出した前記ランドマークの観測位置情報を蓄積するランドマーク情報蓄積部206と、前記ランドマークの観測位置情報を頻度分布化したときに検出される誤差分布から抽出される点群座標に基づいて(詳しくは、前記ランドマークの観測位置情報を頻度分布化したときに検出される誤差分布のうちピーク位置を点群座標として抽出し、前記ピーク位置に基づいて)前記ランドマークの位置を補正するランドマーク位置補正部207と、前記ランドマーク位置補正部207から得られた前記ランドマークの位置を補正した補正地図を自己生成地図として(記憶部140またはRAM130に)保存する自己地図生成部208とを備える。
また、前記車載センサは、複数のカメラから構成される距離センサ(例えばステレオカメラ)であって、前記誤差分布は、前記距離センサの視差誤差に起因して視線方向(光線方向)に発生するものである。そして、前記ランドマーク位置補正部207は、前記距離センサの視線方向(光線方向)に走査して、前記誤差分布のピーク位置を点群座標として抽出する。
また、自己地図生成・自己位置推定装置100は、保存された前記自己生成地図と前記自車両の現在走行中に新たに前記ランドマーク位置補正部207から得られた前記補正地図とを照合することで前記自車両の現在走行中の自己位置推定を行う自己位置推定部209を備える。
また、前記自己位置推定部209は、前記ランドマーク位置補正部207から得られた前記補正地図または前記自己生成地図の少なくとも一方から得られた推定誤差量(各ピーク位置ごとの誤差分布の大きさ情報)を用いて、前記ランドマークの重要度(信頼度)を計算し(S703:荷重計算部)、得られた前記重要度(信頼度)を反映して自己位置推定を行う。
そのため、観測点となるランドマークの誤差量を見積もり、自己生成点群地図の質を改善することで、センサによる観測誤差が大きい場合でも、高精度な自己位置推定が可能となる。
[第2の実施の形態]
図8は、本発明の第2の実施の形態にかかる自己地図生成・自己位置推定装置100の構成を示すブロック図である。自己地図生成・自己位置推定装置100は、センサ群(106、107、110、111)と、車載処理装置101とから構成される。車載センサであるセンサ群は、車載処理装置101と信号線で接続され、車載処理装置101と各種データを授受する。
車載処理装置101は、演算部120と、RAM130と、記憶部140と、インターフェース150と、ROM160を備える。演算部120は、センサ協調誤差推定部127を持つ点が、図1の第1の実施の形態と異なる。また、センサ群として、車両の周囲(外界情報)を観測する異なる2種類の外界センサであるステレオカメラ106と単眼カメラ(以下、単にカメラと称する場合がある)107を同時に持つ点が、図1の第1の実施の形態と異なる。この実施の形態では、ステレオカメラ106と単眼カメラ107であるが、他の異なる2種類のセンサの組み合わせでも良い。
(機能ブロック構成)
図9は、複数の外界センサ搭載時の自己地図生成・自己位置推定装置100の動作を表す機能ブロック図である。演算部120が実行するオドメトリ計算部121、ランドマーク検出部122、ランドマーク情報蓄積部123、センサ協調誤差推定部127、自己地図生成・自己位置推定部250が有する機能を機能ブロックとして表し、機能ブロックの処理順、また、機能ブロック同士、および機能ブロックとRAM130、ROM160、記憶部140とのデータの流れを示す。オドメトリ計算部121、ランドマーク検出部122、ランドマーク情報蓄積部123、自己地図生成・自己位置推定部250は、図1の第1の実施の形態で示したものと同一のものであるため、説明は省略する。ただし、自己地図生成・自己位置推定部250の外界センサはステレオカメラ106とする。図9のセンサ値取得部201は、カメラ107の情報を取得するものとする。
(センサ協調誤差推定部220)
センサ協調誤差推定部220は、ランドマーク情報蓄積部206から得たカメラ107によるランドマーク蓄積情報131と、自己地図生成・自己位置推定部250から得たステレオカメラ106によるランドマーク補正情報132(ステレオカメラ106に基づき作成した補正地図に対応)を用いて、カメラ107から得たランドマーク蓄積情報131の誤差量(ランドマーク検出誤差量)を推定するものである。例えば単眼カメラ107のモーションステレオ法の場合、実際にはランドマーク情報を密に得られず、ランドマーク蓄積情報131の投票が集まらず、正確なピーク位置や誤差分布の大きさを得ることが難しい場合がある。一方、ステレオカメラ106はランドマーク情報を密に取得することができ、精度も良いので、このように精度の良いセンサであるステレオカメラ106から得たランドマーク補正情報132を活用して、精度の低いセンサであるカメラ107から得たランドマーク蓄積情報131の誤差量を見積もるものである。ランドマーク蓄積情報131の誤差量を見積もることができれば、ランドマークの重要度(信頼度)を計算することができ、上述したように自己位置推定時のランドマークごとの重み(重要度ないし信頼度)として反映させることができて、自己位置推定精度が高まる。ただし、この処理は、センサ同士で共通物体を観測できていることが前提となる。共通観測物体について、精度の高いほうのセンサで推定したランドマーク補正情報132から得られるランドマーク補正位置を真値とみなし、精度の低いほうのセンサで取得した共通観測物体の観測値の観測位置の真値からの距離の偏差を、精度が低いほうのセンサでの誤差量とする。
(センサ協調誤差推定部220の動作)
図10はセンサ協調誤差推定部220の動作を表すフローチャートである。センサ協調誤差推定部220は、ランドマーク情報蓄積部206から実行指令を受けるたびに、以下の動作を実行する。以下に説明する各ステップの実行主体は演算部120である。
ステップS401のランドマーク蓄積情報取得部は、図4のものと同様で、RAM130に格納されたカメラ107から得たランドマーク蓄積情報131を取得する。次にステップS1002に進む。
ステップS1002のランドマーク補正情報取得部では、RAM130に格納されたステレオカメラ106から得られたランドマーク補正情報132(補正地図)を取得する。次にステップS1003に進む。
ステップS1003の共通物体判定部では、ステレオカメラ106とカメラ107で共通に観測された物体を判定する。センサ同士で共通視野を持っていることが前提となる。所定の既知の画像認識手法でもって判定する。観測範囲中の全ての共通物体の判定が完了したら、次にステップS1004に進む。
ステップS1004のランドマーク出力位置協調計算部では、カメラ107から得られたランドマーク蓄積情報131と、ステレオカメラ106から得られたランドマーク補正情報132(補正地図)と、ステップS1003の共通物体判定部で得られた共通物体判定結果を用いて、精度が低いほうのセンサであるカメラ107のランドマーク位置を補正する。精度が高いほうのセンサであるステレオカメラ106で得られたランドマーク補正情報132において、共通物体と判定されたランドマークのピーク位置を真の物体検出座標とする。カメラ107から得られたランドマーク蓄積情報131のピーク位置は無視される。次にステップS1005に進む。
ステップS1005のランドマーク分布協調計算部では、ステップS1004で得られたランドマーク補正情報132と、カメラ107から得られたランドマーク蓄積情報131を用いて、ランドマークの誤差分布を推定する。ランドマーク蓄積情報131のうち、各ランドマーク補正位置から所定距離内にある投票値が所定の値以上をもつグリッドについて、ランドマーク補正位置からの誤差を測定し、頻度分布化する。この頻度分布の幅をランドマークの推定誤差分布(ランドマーク検出誤差量に対応)とする。
(作用効果)
この第2の実施の形態によれば、次の作用効果が得られる。
すなわち、上述した第2の実施の形態の自己地図生成・自己位置推定装置100は、前記車載センサ(例えばステレオカメラ106)に基づき作成した前記補正地図を用いて、前記車載センサと異なる他のセンサ(例えば単眼カメラ107)により検出した前記ランドマーク(の観測位置情報)の検出誤差量を推定するセンサ協調誤差推定部220をさらに備える。
そのため、複数の外界センサがあり、共通の観測範囲をもつ場合に、精度が高いほうのセンサを用いて、精度が低いほうのセンサのランドマーク位置を補正し、ランドマークの誤差分布(検出誤差量)を推定することができるため、自己生成地図の精度を改善し、誤差分布(検出誤差量)を用いることで、自己位置推定の精度を高めることができる。
[第3の実施の形態]
図11は、本発明の第3の実施の形態にかかる自己地図生成・自己位置推定装置100を備える自動運転装置102の構成を示すブロック図である。自動運転装置102は、自己地図生成・自己位置推定装置100の変形構成と、通信装置113と、表示装置114と、車両を制御する車両制御装置群(170~173)とを備える。
自己地図生成・自己位置推定装置100は、センサ群(105、110、111、112)と、車載処理装置101とから構成される。車載センサであるセンサ群、車両制御装置群、通信装置113、表示装置114は、車載処理装置101と信号線で接続され、車載処理装置101と各種データを授受する。自己地図生成・自己位置推定装置100は、GPS受信機112を備える点のみ、図1の第1の実施の形態と異なる。
GPS受信機112は、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりGPS受信機112の位置、すなわち緯度および経度を算出する。なお、GPS受信機112により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m~10m程度の誤差が含まれてもよい。GPS受信機112は、算出した緯度および経度を車載処理装置101に出力する。
通信装置113は、車両の外部の機器と車載処理装置101とが無線で情報を授受するために用いられる。例えば、ユーザが車両の外にいるときに、ユーザが身に着けている携帯端末と通信を行い情報を授受する。通信装置113が通信を行う対象は、ユーザの携帯端末に限定されない。
表示装置114は、たとえば液晶ディスプレイであり、車載処理装置101から出力される情報が表示される。
車両制御装置170は、車載処理装置101から出力される情報、例えば、自己位置推定部126から出力される、自己生成地図141上の現在(走行中)の自己位置に基づいて、操舵装置171、駆動装置172、および制動装置173を制御する。操舵装置171は、車両のステアリングを操作する。駆動装置172は、車両に駆動力を与える。駆動装置172はたとえば、車両が備えるエンジンの目標回転数を増加させることにより車両の駆動力を増加させる。制動装置173は、車両に制動力を与える。
自動運転装置102において、記憶部140に格納された自己生成地図141は、通信装置113を介して、サーバ等に格納(保存)し、他の車両が活用可能としてもよい。また、他の車両に搭載された自動運転装置102によって通信装置113を介してサーバに格納された自己生成地図141を、通信装置113を介して取得して記憶部140に格納し、自車両の自己生成地図として自己位置推定に活用してもよい。
自動運転装置102において、GPS受信機112の各時刻の受信位置(推定絶対座標)を自己生成地図に付しておき、自己位置推定する際には、現在GPS値と近い値をもつ地図があるかを探索して、照合する地図を選択する。GPSが受信できない場合も、オドメトリ計算部121内で、GPSを参照して絶対位置(絶対座標)を推定する形とし、直近で観測されたGPS値から推定した絶対位置(絶対座標)を持つ形とする。
自動運転装置102(の車両制御装置170)は、自己地図生成・自己位置推定装置100によって生成された自己生成地図141と、自己生成地図141上の自己位置を当該自己地図生成・自己位置推定装置100が備える自己位置推定部126によって推定し、推定された自己位置とに従って、当該車両を自動運転する。
(作用効果)
この第3の実施の形態によれば、次の作用効果が得られる。
すなわち、上述した第3の実施の形態の自己地図生成・自己位置推定装置100は、前記自己地図生成・自己位置推定装置100によって生成された前記自己生成地図と、前記自己生成地図上の自己位置を前記自己地図生成・自己位置推定装置100が備える前記自己位置推定部126(209)によって推定した前記自己位置とに従って、前記自車両を自動運転する車両制御装置170(自動運転装置102)を備える。
また、前記自己地図生成・自己位置推定装置100は、前記自己生成地図141を他車両が活用可能とするため、前記自己生成地図141を通信装置113を介して、サーバに保存する、または、他車両が生成した前記自己生成地図141を通信装置113を介して取得し、自車両の前記自己生成地図141として活用可能である。
また、前記自己地図生成・自己位置推定装置100は、前記自己生成地図に、GPSとオドメトリから推定した絶対座標を付与する。
この第3の実施の形態によれば、高精度で推定された自己位置を基に、高精度な車両の自動運転が可能となる。また、自己生成地図をサーバを介して他の車両と共有することで、情報(走行経験)が少ない場合でも、高精度な自己位置推定が可能となる。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、自己地図生成・自己位置推定装置100が不図示の入出力インターフェースを備え、必要なときに入出力インターフェースと自己地図生成・自己位置推定装置100が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インターフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号を指す。また、プログラムにより実現される機能の一部または全部がハードウェア回路やFPGAにより実現されてもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
100…自己地図生成・自己位置推定装置
101…車載処理装置
102…自動運転装置
105…外界センサ
106…ステレオカメラ
107…カメラ
110…車速センサ
111…舵角センサ
112…GPS受信機
113…通信装置
114…表示装置
120…演算部
121…オドメトリ計算部
122…ランドマーク検出部
123…ランドマーク情報蓄積部
124…ランドマーク位置補正部
125…自己地図生成部
126…自己位置推定部
127…センサ協調誤差推定部
130…RAM
131…ランドマーク蓄積情報
132…ランドマーク補正情報
133…自己生成地図
140…記憶部
141…自己生成地図
150…インターフェース
160…ROM
170…車両制御装置
171…操舵装置
172…駆動装置
173…制動装置
201…センサ値取得部
202…オドメトリ推定部
203…ランドマーク検出部
204…距離算出部
205…世界座標計算部
206…ランドマーク情報蓄積部
207…ランドマーク位置補正部
208…自己地図生成部
209…自己位置推定部
220…センサ協調誤差推定部
250…自己地図生成・自己位置推定部

Claims (8)

  1. 自車両に搭載された車載センサにより得られた外界情報の点群データから点群地図を生成し、前記点群地図上の前記自車両の位置である自己位置を推定する自己位置推定装置であって、
    前記点群地図からランドマークを検出するランドマーク検出部と、
    検出した前記ランドマークの観測位置情報を蓄積するランドマーク情報蓄積部と、
    前記ランドマークの観測位置情報を頻度分布化したときに検出される誤差分布から抽出される点群座標に基づいて前記ランドマークの位置を補正し、前記誤差分布の広がりの大きさに基づいて前記ランドマークの重要度を計算するランドマーク位置補正部と、
    前記ランドマーク位置補正部から得られた前記ランドマークの位置を補正した補正地図を自己生成地図として保存する自己地図生成部と
    保存された前記自己生成地図と前記自車両の現在走行中に新たに前記ランドマーク位置補正部から得られた前記補正地図とを前記重要度で重み付けして照合することで前記自車両の現在走行中の自己位置推定を行う自己位置推定部と、を備えることを特徴とする自己位置推定装置。
  2. 請求項1に記載の自己位置推定装置であって、
    前記ランドマーク位置補正部は、前記ランドマークの観測位置情報を頻度分布化したときに検出される誤差分布のうちピーク位置を点群座標として抽出し、前記ピーク位置に基づいて前記ランドマークの位置を補正し、前記ピーク位置ごとの前記誤差分布の広がりの大きさに基づいて前記ランドマークの重要度を計算することを特徴とする自己位置推定装置。
  3. 請求項1に記載の自己位置推定装置であって、
    前記車載センサは、複数のカメラから構成される距離センサであって、前記誤差分布は、前記距離センサの視差誤差に起因して視線方向に発生するものであることを特徴とする自己位置推定装置。
  4. 請求項3に記載の自己位置推定装置であって、
    前記ランドマーク位置補正部は、前記距離センサの視線方向に走査して、前記誤差分布のピーク位置を点群座標として抽出することを特徴とする自己位置推定装置。
  5. 請求項1に記載の自己位置推定装置であって、
    前記車載センサに基づき作成した前記補正地図を用いて、前記車載センサと異なる他のセンサにより検出した前記ランドマークの検出誤差量を推定するセンサ協調誤差推定部をさらに備えることを特徴とする自己位置推定装置。
  6. 請求項1に記載の自己位置推定装置であって、
    前記自己位置推定装置は、前記自己生成地図を他車両が活用可能とするため、前記自己生成地図を通信装置を介して、サーバに保存すること、または、他車両が生成した前記自己生成地図を通信装置を介して取得し、自車両の前記自己生成地図として活用可能であることを特徴とする自己位置推定装置。
  7. 請求項1に記載の自己位置推定装置であって、
    前記自己位置推定装置は、前記自己生成地図に、GPSとオドメトリから推定した絶対座標を付与することを特徴とする自己位置推定装置。
  8. 請求項に記載の自己位置推定装置であって、
    前記自己地図生成によって生成された前記自己生成地図と、前記自己生成地図上の自己位置を前記自己位置推定装置が備える前記自己位置推定部によって推定した前記自己位置とに従って、前記自車両を自動運転する車両制御装置を備えることを特徴とする自己位置推定装置。
JP2021003177A 2021-01-13 2021-01-13 自己位置推定装置 Active JP7610414B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021003177A JP7610414B2 (ja) 2021-01-13 2021-01-13 自己位置推定装置
PCT/JP2021/031928 WO2022153586A1 (ja) 2021-01-13 2021-08-31 自己地図生成装置、および自己位置推定装置
US18/258,884 US12511775B2 (en) 2021-01-13 2021-08-31 Self-map generation device and self-position estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021003177A JP7610414B2 (ja) 2021-01-13 2021-01-13 自己位置推定装置

Publications (2)

Publication Number Publication Date
JP2022108298A JP2022108298A (ja) 2022-07-26
JP7610414B2 true JP7610414B2 (ja) 2025-01-08

Family

ID=82447036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021003177A Active JP7610414B2 (ja) 2021-01-13 2021-01-13 自己位置推定装置

Country Status (3)

Country Link
US (1) US12511775B2 (ja)
JP (1) JP7610414B2 (ja)
WO (1) WO2022153586A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7561683B2 (ja) * 2021-05-13 2024-10-04 日立Astemo株式会社 地図生成・自己位置推定装置
JP7702037B2 (ja) * 2022-03-29 2025-07-02 Astemo株式会社 演算処理装置、演算処理方法
JP2024046072A (ja) * 2022-09-22 2024-04-03 株式会社日立製作所 自己位置推定装置および自己位置推定方法
US20240302182A1 (en) * 2023-03-09 2024-09-12 Nec Corporation Mapping system and method of using

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169310A (ja) 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
JP2006338384A (ja) 2005-06-02 2006-12-14 Denso Corp Fcd車載機
JP2012208525A (ja) 2012-07-17 2012-10-25 Toyota Central R&D Labs Inc 静止物地図生成装置
JP2015186009A (ja) 2014-03-24 2015-10-22 株式会社デンソー 無線通信装置
WO2017022019A1 (ja) 2015-07-31 2017-02-09 日産自動車株式会社 走行制御装置の制御方法および走行制御装置
JP2019086406A (ja) 2017-11-07 2019-06-06 株式会社Soken 物体検知装置
WO2019176083A1 (ja) 2018-03-16 2019-09-19 株式会社日立製作所 移動体制御装置
JP2019178971A (ja) 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5068840B2 (ja) 2010-03-30 2012-11-07 富士ソフト株式会社 ロボットのプログラム及び情報処理装置のプログラム
AU2012376428B2 (en) * 2012-04-05 2015-06-25 Hitachi, Ltd. Map data creation device, autonomous movement system and autonomous movement control device
US20200302662A1 (en) * 2019-03-23 2020-09-24 Uatc, Llc System and Methods for Generating High Definition Maps Using Machine-Learned Models to Analyze Topology Data Gathered From Sensors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169310A (ja) 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
JP2006338384A (ja) 2005-06-02 2006-12-14 Denso Corp Fcd車載機
JP2012208525A (ja) 2012-07-17 2012-10-25 Toyota Central R&D Labs Inc 静止物地図生成装置
JP2015186009A (ja) 2014-03-24 2015-10-22 株式会社デンソー 無線通信装置
WO2017022019A1 (ja) 2015-07-31 2017-02-09 日産自動車株式会社 走行制御装置の制御方法および走行制御装置
JP2019086406A (ja) 2017-11-07 2019-06-06 株式会社Soken 物体検知装置
WO2019176083A1 (ja) 2018-03-16 2019-09-19 株式会社日立製作所 移動体制御装置
JP2019178971A (ja) 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 環境地図生成装置、環境地図生成方法、及び環境地図生成プログラム

Also Published As

Publication number Publication date
US12511775B2 (en) 2025-12-30
WO2022153586A1 (ja) 2022-07-21
US20240046502A1 (en) 2024-02-08
JP2022108298A (ja) 2022-07-26

Similar Documents

Publication Publication Date Title
JP7610414B2 (ja) 自己位置推定装置
CN110859044B (zh) 自然场景中的集成传感器校准
EP2133662B1 (en) Methods and system of navigation using terrain features
CN112204348B (zh) 信息处理装置
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
Matthaei et al. Map-relative localization in lane-level maps for ADAS and autonomous driving
JP7245084B2 (ja) 自動運転システム
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
CN112835085A (zh) 确定车辆位置的方法和装置
US12392619B2 (en) Vehicle localization system and method
JP7342753B2 (ja) 車両用位置特定装置及び車両用位置特定方法
WO2018131258A1 (ja) 車載処理装置
CN110160545A (zh) 一种激光雷达与gps的增强定位系统及方法
CN112284416A (zh) 一种自动驾驶定位信息校准装置、方法及存储介质
Khoshelham et al. Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry
JP3900365B2 (ja) 測位装置および測位方法
JP7716938B2 (ja) 車載処理装置、車両制御装置、及び自己位置推定方法
CN113733091B (zh) 一种移动机器人室外高精度自主导航系统
CN115963521A (zh) 用于确定载具的位置和加速度的方法和系统
Ishii et al. Autonomous UAV flight using the Total Station Navigation System in Non-GNSS Environments
US20240310848A1 (en) Apparatus and method for detecting indoor environment using unmanned mobile vehicle
WO2024069760A1 (ja) 環境地図製作装置、環境地図製作方法及びプログラム
CN121140813A (zh) 车辆姿态的优化方法、车辆及产品
CN120254885A (zh) 一种多传感器融合的船舶靠泊感知辅助方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241220

R150 Certificate of patent or registration of utility model

Ref document number: 7610414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150