Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
CN111724439B - 一种动态场景下的视觉定位方法及装置 - Google Patents
[go: Go Back, main page]

CN111724439B - 一种动态场景下的视觉定位方法及装置 - Google Patents

一种动态场景下的视觉定位方法及装置 Download PDF

Info

Publication number
CN111724439B
CN111724439B CN201911200881.0A CN201911200881A CN111724439B CN 111724439 B CN111724439 B CN 111724439B CN 201911200881 A CN201911200881 A CN 201911200881A CN 111724439 B CN111724439 B CN 111724439B
Authority
CN
China
Prior art keywords
frame image
current frame
motion
determining
motion mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911200881.0A
Other languages
English (en)
Other versions
CN111724439A (zh
Inventor
姜昊辰
张晓林
李嘉茂
刘衍青
朱冬晨
彭镜铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN201911200881.0A priority Critical patent/CN111724439B/zh
Publication of CN111724439A publication Critical patent/CN111724439A/zh
Application granted granted Critical
Publication of CN111724439B publication Critical patent/CN111724439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人导航定位技术领域，具体是一种动态场景下的视觉定位方法及装置，所述方法包括：获取当前帧图像，提取所述当前帧图像的特征点；将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；根据所述目标语义图像确定所述当前帧图像的运动掩模区域；获取所述当前帧图像的深度信息；基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；根据所述静态特征点集合确定当前状态位姿信息。本发明通过语义分割结果和深度信息进行运动一致性检测，确定图像的静态特征点集合，能够有效提高在动态环境中对位姿估计的精确性和鲁棒性。

Description

一种动态场景下的视觉定位方法及装置
技术领域
本发明涉及机器人导航定位技术领域，特别涉及一种动态场景下的视觉定位方法及装置。
背景技术
随着人工智能技术的发展，越来越多的智能移动机器人出现在生产生活中的各个场景。从工业机器人到家政服务机器人，从无人机到水下探测机器人，智能化的一个重要条件就是能够自主运动，即实现机器人的自主导航。智能移动机器人要实现各种环境下的自主化移动，需要解决两个基本的问题分别是定位与建图，而其中核心就是同时定位与建图(Simultaneous Localization and Mapping，SLAM)技术。
根据传感器类型的不同，SLAM技术主要可以分为激光SLAM和视觉SLAM。由于图像在信息存储上的丰富性，以及图像对于一些更高层次工作(如语义分割与物体检测)的服务型，视觉SLAM技术在近年来被广泛研究。现有的视觉SLAM技术往往都是一个完整的架构，包含了特征提取、回环检测等部分，也已经在某些环境下取得了较好的试验结果。但是现有的基于点特征的视觉SLAM技术都是基于静态环境假设的，而对于大多数的实际场景，绝对的静态场景是不存在的，因此在位于动态环境时其位姿估计的准确性会急剧下降甚至无法工作。与此同时，由于未对运动物体加以判断，在重建稠密点云地图的时候会导致“伪迹”的出现，从而造成对环境的错误感知。
发明内容
针对现有技术的上述问题，本发明的目的在于提供一种动态场景下的视觉定位方法及装置，能够提高在动态环境中对位姿估计的精确性和鲁棒性。
为了解决上述问题，本发明提供一种动态场景下的视觉定位方法，包括：
获取当前帧图像，提取所述当前帧图像的特征点；
将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；
根据所述目标语义图像确定所述当前帧图像的运动掩模区域；
获取所述当前帧图像的深度信息；
基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；
根据所述静态特征点集合确定当前状态位姿信息。
进一步地，所述基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合包括：
根据所述目标语义图像确定所述当前帧图像的背景区域；
根据所述当前帧图像的背景区域的特征点确定第一位姿信息；
基于所述第一位姿信息和所述深度信息确定所述运动掩模区域的特征点的类型，所述类型包括动态特征点和静态特征点；
剔除所述运动掩模区域的特征点中的动态特征点，保留静态特征点；
根据所述静态特征点和所述背景区域的特征点生成静态特征点集合。
进一步地，所述基于所述第一位姿信息和所述深度信息确定所述运动掩模区域的特征点的类型包括：
根据所述第一位姿信息和所述深度信息计算所述运动掩模区域的特征点的运动得分；
当所述运动得分小于预设阈值时，判定所述特征点为静态特征点；
当所述运动得分大于或等于预设阈值时，判定所述特征点为动态特征点。
具体地，所述根据所述第一位姿信息和所述深度信息计算所述运动掩模区域的特征点的运动得分包括：
获取第一参考帧图像的运动掩模区域的特征点，将所述第一参考帧图像的运动掩模区域的特征点与所述当前帧图像的运动掩模区域的特征点进行匹配，得到匹配点对；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像；
对所述匹配点对进行筛选，去除误匹配的匹配点对；
根据所述第一位姿信息和所述深度信息计算筛选后的匹配点对之间的距离，将所述距离作为所述运动掩模区域的特征点的运动得分。
进一步地，所述根据所述目标语义图像确定所述当前帧图像的运动掩模区域之后，还包括：
获取第一参考帧图像的第一运动掩模区域和第二参考帧图像的第二运动掩模区域；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像，所述第二参考帧图像为所述第一参考帧图像的前一帧图像；
根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域判断所述当前帧图像是否发生漏检；
如果所述当前帧图像发生漏检，根据所述第一运动掩模区域和所述第二运动掩模区域确定第一目标运动掩模区域；
将所述当前帧图像的运动掩模区域替换为所述第一目标运动掩模区域。
优选地，所述方法还包括：
如果所述当前帧图像未发生漏检，根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域确定第二目标运动掩模区域；
将所述当前帧图像的运动掩模区域替换为所述第二目标运动掩模区域。
进一步地，所述获取所述当前帧图像的深度信息之后，还包括：
利用预设形态学方法对所述深度信息进行修复。
进一步地，所述根据所述静态特征点集合确定当前状态位姿信息包括：
在产生新的关键帧时，建立所述静态特征点集合中的特征点、关键帧和地图点之间的数据关联；
根据所述静态特征点集合中的特征点确定第二位姿信息；
根据所述第二位姿信息和所述数据关联进行位姿优化，确定当前状态位姿信息。
进一步地，所述方法还包括：
基于所述目标语义图像、所述当前状态位姿信息及所述静态特征点集合生成静态物体点云数据；
根据所述静态物体点云数据进行静态物体点云地图的稠密重建。
本发明另一方面保护一种动态场景下的视觉定位装置，包括：
第一获取模块，用于获取当前帧图像，提取所述当前帧图像的特征点；
语义分割模块，用于将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；
确定模块，用于根据所述目标语义图像确定所述当前帧图像的运动掩模区域；
第二获取模块，用于获取所述当前帧图像的深度信息；
检测模块，用于基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；
定位模块，用于根据所述静态特征点集合确定当前状态位姿信息。
由于上述技术方案，本发明具有以下有益效果：
本发明的动态场景下的视觉定位方法通过对图像进行语义分割，并根据语义分割结果和深度信息进行运动一致性检测，剔除运动掩模区域的动态特征点，将运动掩模中的静态特征点加入静态特征点集合，并利用所述静态特征点集合实现位姿优化，并重建出稠密的静态物体点云地图。能够提高在动态环境中对位姿估计的精确性和鲁棒性，提高所述静态物体点云地图的准确度，从而提高对环境的感知的准确度。
另外，本发明的动态场景下的视觉定位方法基于运动连续性假设，对相邻帧图像的语义分割结果进行融合，补偿漏分割的情况，能够进一步提高本方法的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明一个实施例提供的动态场景下的视觉定位系统的结构示意图；
图2是本发明一个实施例提供的动态场景下的视觉定位方法的流程图；
图3是本发明另一个实施例提供的动态场景下的视觉定位方法的流程图；
图4是本发明另一个实施例提供的动态场景下的视觉定位方法的流程图；
图5是本发明另一个实施例提供的动态场景下的视觉定位方法的流程图；
图6A是本发明一个实施例提供的ORB-SLAM2系统的测试结果示意图；
图6B是本发明一个实施例提供的DS-SLAM系统的测试结果示意图；
图6C是本发明一个实施例提供的动态场景下的视觉定位方法的测试结果示意图；
图7是本发明另一个实施例提供的动态场景下的视觉定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。首先，本发明实施例对下述概念进行解释：
ORB-SLAM2系统：一个开源的针对单目、双目和RGBD相机的SLAM系统。ORB-SLAM系统是一个基于特征点的实时单目SLAM系统，在大规模的、小规模的、室内室外的环境都可以运行。该系统对剧烈运动也很鲁棒，支持宽基线的闭环检测和重定位，包括全自动初始化。ORB-SLAM2系统在ORB-SLAM系统的基础上，还支持标定后的双目相机和RGBD相机。
RGBD：Red Green Blue Deep，三通道彩色图片及深度信息。
DS-SLAM系统：一个针对动态场景的语义视觉SLAM系统。DS-SLAM系统基于ORB-SLAM2系统提出，将语义分割网络与移动一致性检查方法相结合，减少了动态对象的影响，从而在动态环境中大大提高了定位精度。
参考说明书附图1，本实施例提供一种动态场景下的视觉定位系统，所述系统可以包括语义分割与补偿线程110、跟踪估计线程120、局部地图线程130、回环检测线程140和稠密点云建图线程150。
所述语义分割与补偿线程110通过语义分割等神经网络方法，输出对于输入图片的逐像素的语义分类结果，基于运动连续性假设，对于相邻帧的语义分割结果融合，补偿漏分割的情况。
所述跟踪估计线程120，通过在当前帧图像上提取特征点，集合语义信息，计算静态背景的相对运动关系，接着计算运动掩模区域的特征点匹配关系，将不满足匹配关系的特征点去掉，通过运动一致性检测和深度图加权的方式结合相对运动关系判断特征点的动静情况，剔除动态特征点，并更新静态特征点集。
所述局部地图线程130，通过对多个关键帧和特征点运用局部滑窗的方式，基于共视图进行局部位姿调整，是在跟踪估计线程120的基础上对于位姿的二次优化过程。
所述回环检测线程140，通过对每一帧的情况和所有关键帧比较，发现有相似情况时对所有关键帧进行一次全局优化和筛选。
所述稠密点云建图线程150，通过上几个线程的操作，将动态的物体区域去除，并根据估计出的鲁棒稳定的相对位姿，使用ICP等方法对点云进行拼接，从而得到静态物体的稠密点云地图。
参考说明书附图2，本实施例提供一种动态场景下的视觉定位方法，所述方法可以包括以下步骤：
S210：获取当前帧图像，提取所述当前帧图像的特征点。
本发明实施例中，可以通过跟踪估计线程使用ORB特征提取方法提取所述当前帧图像的特征点，采用ORB描述子的特征描述方法。在一些可能的实施例中，也可以采用其他特征描述方法，本发明对此不做限定。
S220：将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像。
本发明实施例中，可以通过语义分割与补偿线程对所述当前帧图像进行语义分割。所述预设深度学习网络可以包括ENet语义分割网络，所述ENet语义分割网络是一个比较常用的分割网络，它拥有简单的网络结构、快速的运行时间和不多的变量，能够被应用于实时图像分割和移动端设备。
实际应用中，可以首先按照三通道彩色图像序列进行标识映射处理，构成训练集对应训练标签；采用非对称网络结构，便于解码端对编码端进行上采样微调；将网络中的线性整流函数(relu)层替换为参数修正线性单元(PReLUs)，增加特征图额外参数；把瓶颈结构(bottleneck)中的卷积层替换为空洞卷积并进行串联，增大感受野；使用空间随机丢弃(Dropout)处理，防止过拟合。
在一些可能的实施例中，也可以采用其他语义分割网络，本发明对此不做限定。
S230：根据所述目标语义图像确定所述当前帧图像的运动掩模区域。
本发明实施例中，可以通过语义分割与补偿线程确定所述运动掩模区域。所述运动掩模区域可以包括潜在运动物体区域，所述潜在运动物体可以包括人、动物等。
在一个可能的实施例中，如图3所示，所述根据所述目标语义图像确定所述当前帧图像的运动掩模区域之后，还可以包括：
S310：获取第一参考帧图像的第一运动掩模区域和第二参考帧图像的第二运动掩模区域；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像，所述第二参考帧图像为所述第一参考帧图像的前一帧图像。
本发明实施例中，所述第一参考帧图像的第一运动掩模区域和第二参考帧图像的第二运动掩模区域可以通过预设深度学习网络进行语义分割确定。
S320：根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域判断所述当前帧图像是否发生漏检。
本发明实施例中，可以通过计算所述当前帧图像的运动掩模与所述第一参考帧图像的运动掩模的交并比，根据所述交并比确定所述当前帧图像是否发生漏检。
S330：如果所述当前帧图像发生漏检，根据所述第一运动掩模区域和所述第二运动掩模区域确定第一目标运动掩模区域。
本发明实施例中，如果所述当前帧图像发生漏检，可以将所述第一参考帧图像的第一运动掩模区域和第二参考帧图像的第二运动掩模区域逐像素投影到当前帧当中得到第一目标运动掩模区域。
具体地，假定为第一参考帧图像的运动掩模，为第二参考帧图像的运动掩模，假定为当前帧图像的运动掩模，则所述当前帧图像的运动掩模与所述第一参考帧图像的运动掩模的交并比计作Diou，则Diou可以定义为：
假设εiou是Diou的阈值，若计算得到的Diou值小于εiou，则说明当前帧图像语义发生漏检。这时将和的运动掩模逐像素投影到当前帧当中，计算新的语义检测结果，记为Siou，则Siou可定义为：
这里取交集是由于后面的运动一致性检测系统会将满足条件的特征点重新放回到静态点集中，因此这里的扩大不会影响系统的精度。
S340：将所述当前帧图像的运动掩模区域替换为所述第一目标运动掩模区域。
本发明实施例中，确定所述当前帧图像的运动掩模区域后，可以通过语义分割与补偿线程对当前帧图像是否漏分割进行检测，当判定发生漏检时，利用所述当前帧图像的前两帧图像的语义分割结果融合进行补偿。
在另一个可能的实施例中，如图3所示，所述方法还可以包括：
S350：如果所述当前帧图像未发生漏检，根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域确定第二目标运动掩模区域。
本发明实施例中，如果所述当前帧图像未发生漏检，还可以将所述第一参考帧图像的第一运动掩模区域逐像素投影到当前帧当中，与所述当前帧图像的运动掩模区域合并得到第二目标运动掩模区域。
S360：将所述当前帧图像的运动掩模区域替换为所述第二目标运动掩模区域。
本发明实施例中，当判定没有发生漏检时，可以利用所述当前帧图像的前一帧图像的语义分割结果进行补偿，进一步减少发生漏检的可能性。
S240：获取所述当前帧图像的深度信息。
在一个可能的实施例中，所述获取所述当前帧图像的深度信息之后，还可以包括：
利用预设形态学方法对所述深度信息进行修复。
本发明实施例中，可以通过跟踪估计线程采用膨胀操作和插值等方法对所述当前帧图像的深度信息进行修复。
S250：基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合。
本发明实施例中，可以通过跟踪估计线程进行运动一致性检测，剔除当前帧图像中的运动物体的动态特征点，得到当前帧图像的静态特征点集合。
在一个可能的实施例中，如图4所示，所述基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合可以包括：
S410：根据所述目标语义图像确定所述当前帧图像的背景区域。
本发明实施例中，所述背景区域可以包括静态物体区域，所述静态物体可以包括道路、树木和建筑物等。
S420：根据所述当前帧图像的背景区域的特征点确定第一位姿信息。
本发明实施例中，所述根据所述当前帧图像的背景区域的特征点确定第一位姿信息可以包括：获取第一参考帧图像的背景区域的特征点，将所述第一参考帧图像的背景区域的特征点与所述当前帧图像的背景区域的特征点进行匹配，得到匹配点对；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像；通过距离约束和随机抽样一致(Randomsample consensus，RANSAC)算法对所述匹配点对进行筛选，去除误匹配的匹配点对；通过归一化八点法利用筛选后的匹配点对计算所述第一位姿信息。
具体地，假设所述第一参考帧图像的背景区域的特征点集合为Bi-1，所述当前帧图像的背景区域的特征点集合为Bi，将集合Bi-1和集合Bi中的特征点进行匹配，得到匹配点对集合，通过计算描述子间的距离，并采用RANSAC算法对所述匹配点对集合中的匹配点对进行二次筛选得到稳定的点集对应关系。所述第一位姿信息的计算方法可以包括：
从背景区域的特征点集合Bi和Bi-1中确定匹配点对集合，从所述匹配点对集合中选择8个匹配点对，使用归一化八点法估算出基础矩阵Fi；
计算所述匹配点对集合中的其余匹配点对到其对应对极线的距离dn，若dn<d则该点为内点，反之为外点，记下符合该条件的内点的个数为mi，其中，d为预设距离阈值；
迭代S次，或者某次得到内点的数目mi占集合总比例大于等于预设比例(例如95％)，则停止迭代。选择mi最大的基础矩阵Fi作为所述第一位姿。
S430：基于所述第一位姿信息和所述深度信息确定所述运动掩模区域的特征点的类型，所述类型包括动态特征点和静态特征点。
在一个可能的实施例中，如图5所示，所述基于所述第一位姿信息和所述深度信息确定所述运动掩模区域的特征点的类型可以包括：
S431：根据所述第一位姿信息和所述深度信息计算所述运动掩模区域的特征点的运动得分。
S432：当所述运动得分小于预设阈值时，判定所述特征点为静态特征点。
S433：当所述运动得分大于或等于预设阈值时，判定所述特征点为动态特征点。
在另一个可能的实施例中，所述根据所述第一位姿信息和所述深度信息计算所述运动掩模区域的特征点的运动得分可以包括：
获取第一参考帧图像的运动掩模区域的特征点，将所述第一参考帧图像的运动掩模区域的特征点与所述当前帧图像的运动掩模区域的特征点进行匹配，得到匹配点对；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像；
对所述匹配点对进行筛选，去除误匹配的匹配点对；
根据所述第一位姿信息和所述深度信息计算筛选后的匹配点对之间的距离，将所述距离作为所述运动掩模区域的特征点的运动得分。
本发明实施例中，可以使用包括极线约束和深度约束等约束方式计算所述运动掩模区域的特征点的运动得分。在一些可能的实施例中，也可以采用其他约束方式，本发明对此不做限定。
具体地，当获取到匹配点对之后，可以采用距离约束和RANSAC算法对上述的匹配点对进行筛选，得到经过筛选的匹配点对。
假定p1和p2为运动掩模的特征点的一组匹配点对，p1为所述第一参考帧图像的运动掩模区域的特征点，p2为所述当前帧图像的运动掩模区域的特征点，d1和d2为p1和p2在深度图上的对应的深度值。由多视角几何知识得到p1和p2应满足极线约束，其表达式如下：
其中，所述F为通过背景区域的特征点计算得到的基础矩阵。由于物体发生运动则其实际值不为0，因此得到误差距离。同时将第一参考帧图像特征点通过透视变换以及位姿变换并重投影可以得到当前的深度值，并将该深度值的差作为距离误差，其具体公式如下：
其中，D表示距离，ε为对应的阈值，若计算的D值大于或等于ε，则判断该特征点p2为动态特征点，若D值小于ε则判断该特征点p2为静态特征点。
S440：剔除所述运动掩模区域的特征点中的动态特征点，保留静态特征点。
本发明实施例中，可以将所述运动掩模区域的特征点计为一个集合，当判断特征点为动态特征点时，将所述特征点从所述集合中删除，当判断特征点为静态特征点时，则保留。
S450：根据所述静态特征点和所述背景区域的特征点生成静态特征点集合。
本发明实施例中，可以遍历所有运动掩模区域的特征点，根据保留的静态特征点和所述背景区域的特征点生成静态特征点集合。
S260：根据所述静态特征点集合确定当前状态位姿信息。
在一个可能的实施例中，所述根据所述静态特征点集合确定当前状态位姿信息可以包括：
在产生新的关键帧时，建立所述静态特征点集合中的特征点、关键帧和地图点之间的数据关联；
根据所述静态特征点集合中的特征点确定第二位姿信息；
根据所述第二位姿信息和所述数据关联进行位姿优化，确定当前状态位姿信息。
本发明实施例中，可以通过跟踪估计线程建立静态特征点集合中的特征点、关键帧和地图点之间的数据关联；通过局部地图线程进行位姿优化，确定当前状态位姿信息。具体地，可以根据所述静态特征点集合中的特征点以及与所述特征点匹配的第一参考帧图像中的特征点组成的匹配点对，采用归一化八点法的方式计算基础矩阵，得到第二位姿信息。可以将所述第二位姿信息作为初值利用局部捆集技术进行位姿优化，确定当前状态位姿信息。
在一个可能的实施例中，所述方法还可以包括：
基于所述目标语义图像、所述当前状态位姿信息及所述静态特征点集合生成静态物体点云数据；
根据所述静态物体点云数据进行静态物体点云地图的稠密重建。
本发明实施例中，可以通过稠密点云建图线程进行静态物体点云地图的稠密重建。
在一个可能的实施例中，可以通过局部地图线程对所有关键帧进行局部优化和关键帧筛选，包括对关键帧和地图点进行对应的增添和删除，可以使得系统的估计更加精准和稳定，所述语义分割与补偿线程和局部地图线程可以进行信息交互，一起进行后端位姿的优化。可以通过回环检测线程对优化后的关键帧进行全局调整和回环检测。可以通过稠密点云建图线程进行位姿估计与动态区域判断，将静态背景部分生成局部点云并完成整体的拼接与更新；所述跟踪估计线程和所述语义分割与补偿线程和稠密点云建图线程可以进行信息交互，通过语义分割结果，将检测出的运动物体的部分的像素剔除，并结合位姿优化得到的精准位姿，通过ICP方法实现对静态物体的点云地图的稠密重建。
在一个具体的实施例中，通过国际上开源的数据集，对本发明实施例的实际效果进行了验证。该数据集为慕尼黑工业大学(Technical University of Munich，TUM)开源的RGBD室内数据集，采用8台高速相机(100hz)拍摄，并通过运动捕捉系统提供其真实运动轨迹。该数据集包含原图和对应的深度图，并给出两者之间的对齐脚本，以及用以评估SLAM系统位姿估计准确性的评估脚本。本发明和ORB-SLAM2系统以及DS-SLAM系统进行对比，比较指标分别为绝对轨迹误差(Absolute Trajectory Error，ATE)和相对位置误差(RelativePose Error，RPE)。测试结果如图6A至图6C所示，其中，左图为其实际轨迹的对比结果，包含真值轨迹、轨迹轨迹以及两者之间的误差线段，右图是其PRE随时间变化的曲线，描述系统的相对稳定性。由结果可以看出本发明实施例的方法在效果上优于ORB-SLAM2系统和DS-SLAM系统，并且由于采用ENet网络因此系统可以达到22FPS，完全满足实时性的要求。
综上所述，本发明的动态场景下的视觉定位方法具有以下有益效果：
本发明的动态场景下的视觉定位方法通过对图像进行语义分割，并根据语义分割结果和深度信息进行运动一致性检测，剔除运动掩模区域的动态特征点，将运动掩模中的静态特征点加入静态特征点集合，并利用所述静态特征点集合实现位姿优化，并重建出稠密的静态物体点云地图。能够提高在动态环境中对位姿估计的精确性和鲁棒性，提高所述静态物体点云地图的准确度，从而提高对环境的感知的准确度。
另外，本发明的动态场景下的视觉定位方法基于运动连续性假设，对相邻帧图像的语义分割结果进行融合，补偿漏分割的情况，能够进一步提高本方法的准确性。
参考说明书附图7，本实施例提供一种动态场景下的视觉定位装置700，所述装置700可以包括：
第一获取模块710，用于获取当前帧图像，提取所述当前帧图像的特征点；
语义分割模块720，用于将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；
确定模块730，用于根据所述目标语义图像确定所述当前帧图像的运动掩模区域；
第二获取模块740，用于获取所述当前帧图像的深度信息；
检测模块750，用于基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；
定位模块760，用于根据所述静态特征点集合确定当前状态位姿信息。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (9)

1.一种动态场景下的视觉定位方法，其特征在于，包括：
获取当前帧图像，提取所述当前帧图像的特征点；
将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；
根据所述目标语义图像确定所述当前帧图像的运动掩模区域；
获取所述当前帧图像的深度信息；
基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；所述静态特征点集合包括所述当前帧图像的运动掩模区域的静态特征点和背景图像的特征点；
根据所述静态特征点集合确定当前状态位姿信息；
所述基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合，包括：
获取第一参考帧图像的运动掩模区域的特征点，将所述第一参考帧图像的运动掩模区域的特征点与所述当前帧图像的运动掩模区域的特征点进行匹配，得到匹配点对；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像；
对所述匹配点对进行筛选，去除误匹配的匹配点对；
根据第一位姿信息和所述深度信息计算筛选后的匹配点对之间的距离，将所述距离作为所述运动掩模区域的特征点的运动得分；
根据所述运动得分确定所述当前帧图像的静态特征点集合；
所述第一位姿信息根据所述当前帧图像的背景区域的特征点确定。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合包括：
根据所述目标语义图像确定所述当前帧图像的背景区域；
根据所述当前帧图像的背景区域的特征点确定第一位姿信息；
基于所述第一位姿信息和所述深度信息确定所述运动掩模区域特征点的类型，所述类型包括动态特征点和静态特征点；
剔除所述运动掩模区域的特征点中的动态特征点，保留静态特征点；
根据所述静态特征点和所述背景区域的特征点生成静态特征点集合。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一位姿信息和所述深度信息确定所述运动掩模区域的特征点的类型包括：
根据所述第一位姿信息和所述深度信息计算所述运动掩模区域的特征点的运动得分；
当所述运动得分小于预设阈值时，判定所述特征点为静态特征点；
当所述运动得分大于或等于预设阈值时，判定所述特征点为动态特征点。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标语义图像确定所述当前帧图像的运动掩模区域之后，还包括：
获取第一参考帧图像的第一运动掩模区域和第二参考帧图像的第二运动掩模区域；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像，所述第二参考帧图像为所述第一参考帧图像的前一帧图像；
根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域判断所述当前帧图像是否发生漏检；
如果所述当前帧图像发生漏检，根据所述第一运动掩模区域和所述第二运动掩模区域确定第一目标运动掩模区域；
将所述当前帧图像的运动掩模区域替换为所述第一目标运动掩模区域。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
如果所述当前帧图像未发生漏检，根据所述第一运动掩模区域和所述当前帧图像的运动掩模区域确定第二目标运动掩模区域；
将所述当前帧图像的运动掩模区域替换为所述第二目标运动掩模区域。
6.根据权利要求1或2所述的方法，其特征在于，所述获取所述当前帧图像的深度信息之后，还包括：
利用预设形态学方法对所述深度信息进行修复。
7.根据权利要求1或2所述的方法，其特征在于，所述根据所述静态特征点集合确定当前状态位姿信息包括：
在产生新的关键帧时，建立所述静态特征点集合中的特征点、关键帧和地图点之间的数据关联；
根据所述静态特征点集合中的特征点确定第二位姿信息；
根据所述第二位姿信息和所述数据关联进行位姿优化，确定当前状态位姿信息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
基于所述目标语义图像、所述当前状态位姿信息及所述静态特征点集合生成静态物体点云数据；
根据所述静态物体点云数据进行静态物体点云地图的稠密重建。
9.一种动态场景下的视觉定位装置，其特征在于，包括：
第一获取模块，用于获取当前帧图像，提取所述当前帧图像的特征点；
语义分割模块，用于将所述当前帧图像输入预设深度学习网络进行语义分割，得到目标语义图像；
确定模块，用于根据所述目标语义图像确定所述当前帧图像的运动掩模区域；
第二获取模块，用于获取所述当前帧图像的深度信息；
检测模块，用于基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合；所述静态特征点集合包括所述当前帧图像的运动掩模区域的静态特征点和背景图像的特征点；
定位模块，用于根据所述静态特征点集合确定当前状态位姿信息；
所述基于所述目标语义图像和所述深度信息进行运动一致性检测，确定所述当前帧图像的静态特征点集合，包括：
获取第一参考帧图像的运动掩模区域的特征点，将所述第一参考帧图像的运动掩模区域的特征点与所述当前帧图像的运动掩模区域的特征点进行匹配，得到匹配点对；其中，所述第一参考帧图像为所述当前帧图像的前一帧图像；
对所述匹配点对进行筛选，去除误匹配的匹配点对；
根据第一位姿信息和所述深度信息计算筛选后的匹配点对之间的距离，将所述距离作为所述运动掩模区域的特征点的运动得分；
根据所述运动得分确定所述当前帧图像的静态特征点集合；
所述第一位姿信息根据所述当前帧图像的背景区域的特征点确定。
CN201911200881.0A 2019-11-29 2019-11-29 一种动态场景下的视觉定位方法及装置 Active CN111724439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911200881.0A CN111724439B (zh) 2019-11-29 2019-11-29 一种动态场景下的视觉定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911200881.0A CN111724439B (zh) 2019-11-29 2019-11-29 一种动态场景下的视觉定位方法及装置

Publications (2)

Publication Number Publication Date
CN111724439A CN111724439A (zh) 2020-09-29
CN111724439B true CN111724439B (zh) 2024-05-17

Family

ID=72563948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911200881.0A Active CN111724439B (zh) 2019-11-29 2019-11-29 一种动态场景下的视觉定位方法及装置

Country Status (1)

Country Link
CN (1) CN111724439B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581610B (zh) * 2020-10-16 2023-06-13 武汉理工大学 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN114445490B (zh) * 2020-10-31 2025-07-18 深圳引望智能技术有限公司 一种位姿确定方法及其相关设备
CN112381828B (zh) * 2020-11-09 2024-06-07 Oppo广东移动通信有限公司 基于语义和深度信息的定位方法、装置、介质与设备
CN112381841A (zh) * 2020-11-27 2021-02-19 广东电网有限责任公司肇庆供电局 一种动态场景下基于gms特征匹配的语义slam方法
CN112561978B (zh) * 2020-12-18 2023-11-17 北京百度网讯科技有限公司 深度估计网络的训练方法、图像的深度估计方法、设备
CN114820639A (zh) * 2021-01-19 2022-07-29 北京四维图新科技股份有限公司 基于动态场景的图像处理方法、装置、设备及存储介质
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
WO2022188154A1 (zh) * 2021-03-12 2022-09-15 深圳市大疆创新科技有限公司 主视图到俯视图的语义分割投影标定参数确定方法和自适应转换方法、图像处理设备、可移动平台及存储介质
CN113052907B (zh) * 2021-04-12 2023-08-15 深圳大学 一种动态环境移动机器人的定位方法
CN113140007B (zh) * 2021-05-17 2023-12-19 上海驭矩信息科技有限公司 一种基于稠密点云的集卡定位方法及装置
CN113240723A (zh) * 2021-05-18 2021-08-10 中德（珠海）人工智能研究院有限公司 一种单目深度估计方法、装置以及深度评估设备
CN113378746B (zh) * 2021-06-22 2022-09-02 中国科学技术大学 一种定位方法及装置
CN113673524A (zh) * 2021-07-05 2021-11-19 北京物资学院 一种仓库半结构化环境动态特征点祛除方法及装置
CN113705329B (zh) * 2021-07-07 2025-06-13 浙江大华技术股份有限公司 重识别方法、目标重识别网络的训练方法及相关设备
CN113920194B (zh) * 2021-10-08 2023-04-21 电子科技大学 基于视觉惯性融合的四旋翼飞行器定位方法
CN114494886B (zh) * 2022-02-11 2025-09-05 美智纵横科技有限责任公司 位姿恢复方法、装置、可读存储介质和机器人
CN114897979B (zh) * 2022-04-28 2025-04-01 河南科技大学 室内导盲车及其导盲方法
CN114926536B (zh) * 2022-07-19 2022-10-14 合肥工业大学 一种基于语义的定位与建图方法、系统及智能机器人
CN115272933A (zh) * 2022-07-29 2022-11-01 国电南瑞科技股份有限公司 一种结合边缘计算和智能巡检机器人的多数据中心监控方法
CN115773765A (zh) * 2022-11-23 2023-03-10 亿咖通(湖北)技术有限公司 结合动态和静态特征的语义定位方法、电子设备和介质
CN116385491A (zh) * 2023-03-30 2023-07-04 深圳市正浩创新科技股份有限公司 定位方法、装置、自移动设备及可读存储介质
CN116793345A (zh) * 2023-05-05 2023-09-22 人工智能与数字经济广东省实验室(深圳) 一种自移动设备的姿态估计方法、装置及可读存储介质
CN116563341B (zh) * 2023-05-11 2025-12-09 吉林大学 一种处理复杂环境下动态物体的视觉定位与建图方法
CN116734834A (zh) * 2023-05-31 2023-09-12 人工智能与数字经济广东省实验室(深圳) 应用于动态场景的定位建图方法、装置和智能设备
CN119169086A (zh) * 2024-04-18 2024-12-20 电子科技大学 一种面向动态场景的双目视觉slam方法、电子设备和存储介质
CN121252783A (zh) * 2024-06-25 2026-01-02 珠海一微科技股份有限公司 基于机器人动态区域的定位方法
CN119879857B (zh) * 2024-12-13 2025-12-26 电子科技大学 无人机轻量化语义视觉惯性里程计方法、介质及处理设备

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014150739A1 (en) * 2013-03-15 2014-09-25 Honeywell International Inc. Virtual mask alignment for fit analysis
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
US9881207B1 (en) * 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
WO2019018315A1 (en) * 2017-07-17 2019-01-24 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN109974743A (zh) * 2019-03-14 2019-07-05 中山大学 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110322500A (zh) * 2019-06-28 2019-10-11 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法
CN110378345A (zh) * 2019-06-04 2019-10-25 广东工业大学 基于yolact实例分割模型的动态场景slam方法
WO2019205852A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN110458863A (zh) * 2019-06-25 2019-11-15 广东工业大学 一种基于rgbd与编码器融合的动态slam系统
WO2019223463A1 (zh) * 2018-05-22 2019-11-28 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10268205B2 (en) * 2017-09-13 2019-04-23 TuSimple Training and testing of a neural network method for deep odometry assisted by static scene optical flow
US11170224B2 (en) * 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014150739A1 (en) * 2013-03-15 2014-09-25 Honeywell International Inc. Virtual mask alignment for fit analysis
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
US9881207B1 (en) * 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
WO2019018315A1 (en) * 2017-07-17 2019-01-24 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
WO2019205852A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
WO2019223463A1 (zh) * 2018-05-22 2019-11-28 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
CN110223348A (zh) * 2019-02-25 2019-09-10 湖南大学 基于rgb-d相机的机器人场景自适应位姿估计方法
CN109920055A (zh) * 2019-03-08 2019-06-21 视辰信息科技(上海)有限公司 三维视觉地图的构建方法、装置与电子设备
CN109974743A (zh) * 2019-03-14 2019-07-05 中山大学 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110298884A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110378345A (zh) * 2019-06-04 2019-10-25 广东工业大学 基于yolact实例分割模型的动态场景slam方法
CN110458863A (zh) * 2019-06-25 2019-11-15 广东工业大学 一种基于rgbd与编码器融合的动态slam系统
CN110322500A (zh) * 2019-06-28 2019-10-11 Oppo广东移动通信有限公司 即时定位与地图构建的优化方法及装置、介质和电子设备
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Real-time Indoor Visual Localization and Navigation Method Based on Tango Smartphone;M. Li et al.;《2018 Ubiquitous Positioning, Indoor Navigation and Location-Based Services (UPINLBS)》;20181206;全文 *
基于RGB-D视频序列的大尺度场景三维语义表面重建技术研究;代具亭;《中国博士学位论文全文数据库》;全文 *
基于语义先验和深度约束的室内动态场景ＲGB-D SLAM算法;姜昊辰等;《信息与控制》;20201225;全文 *
面向场景解析的深度学习网络研究;王泽宇;《中国博士学位论文全文数据库》;全文 *

Also Published As

Publication number Publication date
CN111724439A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111724439B (zh) 一种动态场景下的视觉定位方法及装置
CN112446882B (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
CN113469201A (zh) 图像采集设备偏移检测方法、图像匹配方法、系统和设备
CN111402237A (zh) 基于时空级联自编码器的视频图像异常检测方法及系统
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
CN105760846A (zh) 基于深度数据的目标检测与定位方法及系统
CN117710806A (zh) 一种基于语义分割和光流的语义视觉slam方法及系统
CN115290072B (zh) 一种动态环境下移动机器人定位和建图方法及系统
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN113256711A (zh) 一种单目相机的位姿估计方法及系统
CN119374599B (zh) 基于语义和几何融合信息的动态环境导航方法及系统
CN113345020A (zh) 一种动态场景下的即时定位方法、装置、设备和存储介质
CN120876464B (zh) 基于动态视觉与slam的配网树障实时分析方法与系统
CN113628251B (zh) 一种智慧酒店终端监测方法
CN119722984A (zh) 一种三维点云地图构建方法、系统、装置及介质
CN119579772A (zh) 场景的三维模型构建方法、装置及电子设备
CN119741378A (zh) 安全帽视频采集的激光定位标记方法、装置及设备
CN117095054B (zh) 一种基于厂站语义信息的巡检机器人自主定位与建图方法
CN121033166A (zh) 一种基于多特征协同优化的动态场景鲁棒视觉slam方法
CN113902859B (zh) 一种单目相机成像半稠密建图方法、存储介质及装置
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant