基于视觉的同时定位与地图构建方法综述

合集下载

视觉SLAM综述

机器人导航中常用的4种传感器
SLAM数学模型
假设机器人携带相机在未知环境中运动，把一段连续时间的运动变成离散时刻t=1，…k，用x表示机器人的自身位置。则各时刻的位置就记为x 1 ，x 2 …x k ，它构成了机器人的轨迹。地图方面，设地图由许多个路标组成，而每个时刻，相机会测量到一部分路标点，得到它们的观测数据。设路标点共有N个，用y 1 ,y 2 …y n 表示。
1.2 地图的稠密程度
按照所建地图的稠密程度，VSLAM 可以分为稠密 VSLAM 和稀疏 VSLAM。
稠密 VSLAM
利用整幅图像的所有像素信息参与地图的构建，利用价值高，但算法耗时比较大，关键帧的位姿不再重优化，定位精度有限.
稀疏 VSLAM
只利用图像的特征点进行定位和构图，因此只能得到稀疏的环境地图，但算法耗时相比稠密 VSLAM 小，定位精度更高.
2.1 视觉里程计
特征提取与匹配
提取和描述图像特征点方法多种多样，最具代表性的是以下几种:
（文献略）
SIFT 特征点检测与描述
通过检测图像尺度空间的极值确定特征点的位置，把特征点周围 16 个梯度方向直方图离散化为 128 维浮点向量作为描述符。
SUＲF 特征点检测与描述
通过计算像素的 Hessian 矩阵确定特征点位置，把特征点在横向和纵向的 Harr 小波响应构成的 64 维浮点向量作为描述符。
2、稀疏VSLAM的框架
稀疏地图VSLAM可以分为四个部分：视觉里程计，后端优化，建图和闭环检测；关系如图所示。
传感器数据
视觉里程计
闭环检测
后端优化
建图
2.1 视觉里程计
视觉里程计（ Visual Odometry,VO）,主要依靠视觉传感器，比如单目、双目相机来实现对物体的运动估计。

视觉导航系统中的地图构建与定位方法研究

视觉导航系统中的地图构建与定位方法研究引言：随着科技的不断发展，人工智能在各个领域的应用也愈发普及。

其中，视觉导航系统是一项应用广泛的技术，它可以帮助机器或者无人机在无人操作的情况下完成导航任务。

然而，要实现准确的导航，地图构建与定位方法的研究是非常关键的。

一、地图构建方法的研究在视觉导航系统中，地图构建是指通过摄像头或其他传感器获取环境信息，并将其映射为一张二维或三维地图的过程。

地图构建方法的研究在视觉导航系统的发展中起到了关键作用。

1.1 结构光法结构光法是一种常用的地图构建方法，它通过使用激光或红外传感器进行扫描，并根据扫描数据生成地图。

这种方法可以快速而准确地获取环境的三维结构信息，但在特定情况下，例如高反射的表面或者透明物体，结构光法可能会出现失效的情况。

1.2 视觉SLAM视觉SLAM（Simultaneous Localization and Mapping）是一种基于视觉传感器的地图构建方法。

它利用摄像头捕捉环境图像，并通过实时定位和地图构建的同时进行，从而实现环境的可视化和导航。

视觉SLAM具有较高的准确性和灵活性，但对于动态环境或低纹理的场景可能会出现局限。

二、定位方法的研究定位方法是视觉导航系统中另一个重要的研究领域。

定位指的是通过识别和匹配环境中的特征点或者利用传感器数据确定系统的位置。

有效的定位方法能够提高导航的准确性和稳定性。

2.1 特征点定位特征点定位是一种常见的定位方法，它通过识别和跟踪图像中的独特特征点来确定系统的位置。

这些特征点可以是角点、边缘或者纹理点等。

特征点定位的优势在于对计算资源的要求较低，但在场景变化较大或者存在遮挡的情况下容易出现误差。

2.2 深度学习定位近年来，随着深度学习技术的发展，深度学习在视觉导航系统中的定位问题上也得到了广泛应用。

深度学习定位方法通过训练神经网络来辨别环境中的特征并确定位置，相比传统的定位方法具有更高的准确性和鲁棒性。

然而，深度学习定位方法对于标注数据的需求较高，而且对计算资源的要求也较大。

基于环境语义信息的同步定位与地图构建方法综述

基于环境语义信息的同步定位与地图构建方法综述李小倩，何伟，朱世强，李月华✉，谢天之江实验室，杭州 311100✉通信作者，E-mail: ********************摘要同步定位与地图构建技术（SLAM ）是当前机器人领域的重要研究热点，传统的SLAM 技术虽然在实时性方面已经达到较高的水平，但在定位精度和鲁棒性等方面还存在较大缺陷，所构建的环境地图虽然一定程度上满足了机器人的定位需要，但不足以支撑机器人自主完成导航、避障等任务，交互性能不足. 随着深度学习技术的发展，利用深度学习方法提取环境语义信息，并与SLAM 技术结合，越来越受到学者的关注. 本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展，重点介绍和总结了语义信息与传统视觉SLAM 在系统定位和地图构建方面结合的突出研究成果，并对传统视觉SLAM 算法与语义SLAM 算法做了深入的对比研究. 最后，展望了语义SLAM 研究的发展方向.关键词视觉同步定位与地图构建技术；深度学习；系统定位；地图构建；语义同步定位与地图构建技术分类号 TP24Survey of simultaneous localization and mapping based on environmental semantic informationLI Xiao-qian ，HE Wei ，ZHU Shi-qiang ，LI Yue-hua ✉，XIE TianZhejiang Lab, Hangzhou 311100, China✉Corresponding author, E-mail: ********************ABSTRACT The simultaneous localization and mapping (SLAM) technique is an important research direction in robotics. Althoughthe traditional SLAM has reached a high level of real-time performance, major shortcomings still remain in its positioning accuracy and robustness. Using traditional SLAM, a geometric environment map can be constructed that can satisfy the pose estimation of robots.However, the interactive performance of this map is insufficient to support a robot in completing self-navigation and obstacle avoidance.One popular practical application of SLAM is to add semantic information by combining deep learning methods with SLAM. Systems that introduce environmental semantic information belong to semantic SLAM systems. Introduction of semantic information is of great significance for improving the positioning performance of a robot, optimizing the robustness of the robot system, and improving the scene-understanding ability of the robot. Semantic information improves recognition accuracy in complex scenes, which brings more optimization conditions for an odometer, pose estimation, and loop detection, etc. Therefore, positioning accuracy and robustness is improved. Moreover, semantic information aids in the promotion of data association from the traditional pixel level to the object level so that the perceived geometric environmental information can be assigned with semantic tags to obtain a high-level semantic map. This then aids a robot in understanding an autonomous environment and human –computer interaction. This paper summarized the latest researches that apply semantic information to SLAM. The prominent achievements of semantics combined with the traditional visual SLAM of localization and mapping were also discussed. In addition, the semantic SLAM was compared with the traditional SLAM in收稿日期: 2020−11−09基金项目: 国家重点研发计划资助项目（2018AAA0102703）；科工局稳定支持项目（HTKJ2019KL502005）；第67批中国博士后科学基金面上资助项目（HTKJ2019KL502005）工程科学学报，第 43 卷，第 6 期：754−767，2021 年 6 月Chinese Journal of Engineering, Vol. 43, No. 6: 754−767, June 2021https:///10.13374/j.issn2095-9389.2020.11.09.006; detail. Finally, future research topics of advanced semantic SLAM were explored. This study aims to serve as a guide for future researchers in applying semantic information to tackle localization and mapping problems.KEY WORDS visual simultaneous localization and mapping；deep learning；localization；mapping；semantic simultaneous localization and mapping同步定位和建图（Simultaneous localization and mapping, SLAM）是机器人利用自身携带的视觉、激光等传感器，在完成自身定位的同时构建环境地图的过程，是提高机器人智能性、自主性的核心环节，也是机器人相关研究中的一个基本问题[1−2].通过相机采集图像信息作为环境感知信息源的SLAM系统称为视觉SLAM[3−4]（Visual SLAM，V-SLAM），与其他SLAM系统（如激光SLAM[5−6]）相比，V-SLAM可感知更加丰富的色彩、纹理等环境信息[7−8].V-SLAM系统大多将估计相机位姿作为主要任务，通过多视几何理论构建三维地图. 随着机器人的应用范围越来越广，使用者对于机器人的智能程度提出了更高的要求，传统利用环境中点、线、面等低级别几何特征信息的V-SLAM系统在系统定位精度和鲁棒性等方面已表现出明显不足，特别在应对弱纹理环境、光照变化和动态目标等方面依然有很多挑战[9]. 随着深度学习技术的迅速发展，其在计算机视觉（Computer vision，CV）的各个领域都有着非常成功的应用. 在此背景下，近年来，越来越多的SLAM研究者使用基于深度学习的方法提取环境语义信息，以获取高层次的场景感知和理解，并应用在V-SLAM系统中[10]，辅助视觉SLAM系统提升定位性能、地图可视化，从而赋予机器人更高效的人机交互能力.本文专注于对语义SLAM方法进行分析和讨论，首先系统地介绍和分析环境语义信息与SLAM 系统结合在定位精度、鲁棒性和地图形式等方面的研究进展，并将语义SLAM技术与传统V-SLAM 技术进行分析和比较. 最后，讨论了语义SLAM技术最新的研究热点和发展方向，进行总结和展望.1 语义SLAM系统概述同步定位与建图的核心研究内容是机器人对自身的状态估计和对环境的感知描述，其中定位可以看作机器人对自身当前状态的估计，而地图可以认为是机器人对环境认识、描述的集合. 从应用层面分析，机器人对于“定位”的需求是相似的，即实现对自身位姿的状态估计；而对于地图构建来说，其需求是广泛的.现代V-SLAM系统主要包括传感器信息读取、前端视觉里程计、后端优化和建图4个部分[11]，如图1所示. 视觉里程计[12]（Visual odometry, VO）模块接收传感器所提供的数据，其任务包括特征提取，SLAM初始化，特征跟踪，估计相邻图像间相机的运动，构建局部地图，并根据图像间的多视几何关系确定机器人位姿，又可称为V-SLAM 的前端. 后端优化包括位姿优化[13−14]和场景重定位[15]，其任务为接收多个时刻视觉里程计估计的相机位姿，并结合回环检测信息，进行优化，从而得到全局一致的轨迹和地图. 回环检测通过计算图像间的相似性判定当前场景与历史某个场景是否一致，并将检测结果输入后端优化，从而解决位置估计随时间漂移的问题. 最后，机器人根据优化后的运动轨迹和三维点云，建立满足任务要求的地图.图 1 V-SLAM系统框架Fig.1 Architecture of the V-SLAM system对SLAM系统而言，引入环境语义信息的SLAM 系统，均属于语义SLAM系统. 语义信息的引入，对于提升机器人的定位性能、优化机器人系统的鲁棒性、提高机器人的场景理解能力等方面具有重李小倩等：基于环境语义信息的同步定位与地图构建方法综述· 755 ·要意义. 一方面，借助语义信息提升了复杂场景下的识别精度，为视觉里程计、位姿估计、回环检测等带来更多的优化条件，提高了定位精度和鲁棒性；另一方面，借助语义信息将数据关联从传统的像素级别提升到物体级别，将感知的几何环境信息赋以语义标签，进而得到高层次的语义地图，可帮助机器人进行自主环境理解和人机交互.2 语义与SLAM系统定位移动机器人对系统定位的性能要求主要包括3个方面：定位实时性、定位精度和定位鲁棒性.目前SLAM的实时性已达到较高的水平，因此对于SLAM技术真实应用于机器人领域，亟需提高SLAM系统的定位精度和鲁棒性. 本节针对SLAM 系统结合环境语义信息提高系统定位的这两项重要性能展开介绍.2.1 语义与定位精度定位是确定机器人在其工作环境中所处位置的过程，定位精度是SLAM系统中最为基本也是最重要的考核指标，是移动机器人开展导航和路径规划任务的先决条件. 利用语义分割和目标检测等技术将物体划分为更加具体的目标，非常适合SLAM这种需要精确几何约束问题的系统. 结合环境语义信息，可有效改善单目视觉定位过程中的尺度不确定性问题和累积漂移等问题，进而提高系统定位精度.（1）面向单目初始化.由于单目相机存在尺度不确定性问题，单目视觉SLAM系统不可避免地出现尺度模糊和随时间漂移等现象，无法准确估计移动机器人的位姿[16].因此，如何修正尺度模糊和漂移是单目视觉SLAM 系统初始化中的关键问题.Frost等[17]提出基于混合多尺度可变模型的目标检测系统[18]检测物体，并与SLAM系统中的关键帧进行数据关联，然后对物体尺寸进行估计，生成地图地标，最后地标与相机位姿共同参与局部优化，以解决尺度模糊和漂移的问题，保证了全局地图的一致性. Sucar与Hayet[19]在贝叶斯框架内，通过基于深度学习的目标检测算法观测物体，确定其先验高度，然后将局部地图中3D点投影到目标检测的2D图像上，确定目标检测区域的边界点并投影回3D空间，进而确定物体的实际高度，最后将先验高度与实际高度之比设置为尺度因子，用于单目SLAM系统中的尺度矫正，从而准确估计移动机器人位姿. 两项研究共同引入了环境语义信息，充分考虑目标对象的大小，使得单目尺度初始化处理更加高效和简洁. 基于公开数据集的实验结果验证了其在各种场景应用中的有效性.（2）面向数据关联.在V-SLAM框架中，根据更新频率，数据关联可以被分为两类：短期关联（如特征匹配）和长期关联（如回环检测）. 基于环境语义信息的SLAM研究提出了一种基于中期数据关联机制的新思路.Bowman等[20]利用目标检测，整合尺度信息与语义信息，用于SLAM系统的位姿估计. 作者在应用时发现，目标对象的不合理数据关联，会严重影响定位与建图的结果. 因此提出了概率数据关联机制，在处理数据关联过程中充分考虑语义信息的不确定性. 通过引入最大期望估计（Expectation maximization，EM），根据语义分类结果计算数据关联的概率，成功地将语义SLAM转换成概率问题，获得了ICRA2017年的最佳论文.Lianos等[21]在此基础上，提出了全新的视觉语义里程计框架（Visual semantic odometry，VSO），利用重投影前后语义标签具有的一致性来实现中期（Medium-term）连续点跟踪. 使用距离变换将分割结果的边缘作为约束，利用重投影误差构造约束条件，整合语义约束到姿态和地图优化中，以改善系统的平移漂移问题. 所提算法可以直接融合进已有的直接法或间接法视觉里程计框架中，并分别在ORB-SLAM2[22]（间接法VO代表）和PhotoBundle[23]（直接法VO代表）系统中对语义信息引入的效果进行实验对比，结果表明，添加语义约束后有效减少了系统的平移漂移现象.（3）面向位姿优化.在V-SLAM系统中，需要解决的主要问题是机器人的状态估计问题，常见的优化算法为基于粒子滤波的优化算法和基于非线性优化的算法.在基于粒子滤波的优化算法中，可利用环境语义信息更新粒子状态，进而更精准地进行位姿估计. Bavle等[24]提出了一种基于双目视觉里程计和室内环境语义信息的粒子滤波优化方法. 粒子滤波器的预测阶段使用双目视觉里程计估计机器人的三维姿态，并使用惯性和语义信息更新三维姿势，进而对机器人进行无漂移的姿态估计.在基于非线性优化的算法中，可借助目标检测算法，将物体作为路标，融合到一个优化算法中，以提高系统定位精度. Nicholson等[25]提出了面向对象的语义SLAM系统 QuadricSLAM，利用椭圆体（对偶双曲面）对物体进行三维建模，紧凑· 756 ·工程科学学报，第 43 卷，第 6 期地表示物体的大小、位置和方向，并作为路标添加到优化公式中，联合估计相机位姿和对偶二次曲面，以提高系统的定位精度.类似的，卡内基梅隆大学机器人研究所Yang 与Scherer[26]提出了CubeSLAM系统，用单目相机实现了对象级的定位与建图. 作者利用目标检测算法生成2D边界框，通过消失点法（Vanishing points，VP）生成物体三维立方体，并将物体作为路标，结合物体约束信息与几何信息，融合到一个最小二乘公式中，改善相机位姿估计，提高了SLAM的定位精度. 与基于特征点的SLAM系统相比，对象级SLAM系统可以提供更多的几何约束和尺度一致性，所提算法在公开数据集上得到了较好的位姿估计精度，同时还提高了3D物体的检测精度. 同时，Yang与Scherer[27]在此基础上，结合Pop-up SLAM[28]的思想，提出了一个无需先验物体和模型的联合物体和平面估计的单目SLAM 系统. 首先，利用高阶图形模型，结合语义和遮挡等约束[29]，推断单张图像中的三维物体和平面，然后将提取的物体和平面，结合相机和特征点位姿，放在统一的框架中进行优化. 实验结果表明，所提算法在ICL NUIM和TUM mono数据集中定位精度准确，并可以在结构化环境中生成稠密地图.（4）面向重定位与回环检测重定位和回环检测的目的不同，但通常可以采用相同的技术. 重定位主要是跟踪丢失时重新找回当前姿态，恢复相机姿态估计；回环检测是识别机器人曾经到过的场景，得到几何一致的映射，从而解决漂移问题，提高全局精度. 传统的SLAM 算法大都依赖于低级别的几何特征，使得重定位和回环检测通常依赖于相机的视角，在特征不明显或重复性的纹理环境中容易检测失败. 语义SLAM系统利用目标识别推测标志物的种类和大小，产生易于识别的标志物，进而提高系统的定位精度.Gawel等[30]提出了一种基于图的语义重定位算法，将具有语义目标位置的关键帧组合成一组三维图，并利用图匹配算法求解相机在全局地图中的位置. Konstantinos等[31]提出了一种基于地点视觉词描述的回环检测算法，通过对输入的图片流进行动态分割，定义一个个“地点”，并通过在线聚类算法，将图像的描述子转化为地图中的相应的视觉词. 系统通过概率函数判断回环检测的候选地点，并通过最近邻投票算法，匹配候选地点中最准确的那一帧图像. 实验表明，算法在精确和召回率上有很好的表现. 此外，所提算法仅通过将查询图像的局部描述子转换为词典的视觉词，就能判断已访问过的地点，不需要任何预训练的步骤，能够满足很好的实时性要求.张括嘉等[32]利用YOLOv3[33]目标检测算法获取环境中关键目标的语义信息，建立目标检测结果之间的相对位置关系，根据连续关键帧的相似度变化情况进行回环判断. 所提算法在公开数据集上取得了较好的效果，与单纯利用传统视觉特征的算法相比，环境语义信息的应用有效提高了室内场景下的闭环检测准确性.2.2 语义与定位鲁棒性定位鲁棒性是机器人安全运行的保证，是移动机器人系统重要的考量指标. 传统的V-SLAM 系统在纹理特征缺失、光照变化较大和高速动态等场景下，非常容易出现定位信息丢失的情况，尤其是在自动驾驶这种对安全性要求较高的应用领域，一旦定位信息丢失，后果将不堪设想. 利用环境语义信息可有效改善传统V-SLAM系统面临的这些问题，有效提升系统定位的鲁棒性.（1）面向弱纹理环境.传统V-SLAM方案中采用的图像特征语义级别低，造成特征的可区别性较弱，在弱纹理等缺少显著特征的环境中，传统基于特征点的方法难以进行准确的运动估计. 借助深度学习的方法提取环境中的立体特征，并用于优化位姿估计，可提升系统定位鲁棒性.Yang等[28]提出的Pop-up SLAM系统，验证了场景理解对弱纹理环境下机器人状态估计改善的有效性. 利用深度学习的方法提取环境中墙‒地的边界信息，并根据单幅图像生成立体平面模型，同时利用平面法线间的差、平面间的距离和平面间的投影重叠3个几何信息进行平面匹配. 然后将Pop-up模型提供的深度估计融合到LSD-SLAM[34]深度图中，提高LSD-SLAM的深度估计质量，以提高系统的鲁棒性. Ganti和Waslander[35]指出从信息熵较低的区域提取特征点，位姿估计的准确性低[36]，对这些特征点跟踪，会增加错误数据关联的风险，他们提出了一种基于信息论的特征选取方法，利用语义分割的不确定性概念计算信息交叉熵. 该方法减少了对特征点数量的要求，显著提高了系统实时性和鲁棒性，而在精度上没有任何明显损失.Qin等[37]针对地下停车场自动代客泊车系统，提出了一种基于语义特征的定位方法. 在狭窄拥李小倩等：基于环境语义信息的同步定位与地图构建方法综述· 757 ·挤且没有GPS信号的停车场环境中，环境结构相似，纹理特征不足，传统V-SLAM方法容易发生跟踪丢失的问题，作者首先利用深度学习将地面上的指路标志、停车线以及减速带等信息分割出来，再根据里程计的信息，将语义特征映射到全局的坐标系下，建立停车场的地图，然后通过将语义特征与先前的构建出来的地图进行匹配来对车辆进行定位，最后采用扩展卡尔曼滤波器将视觉定位结果与里程计融合，保证在缺少纹理信息的停车场环境中，系统能够输出稳定的定位结果.（2）面向光照变化.在传统V-SLAM系统中，特征描述子（如SIFT，ORB等）对于光照变化较敏感，光照的变化容易导致目标表面颜色等特征的变化，对系统定位鲁棒性造成干扰. 而环境中的物体类别与光照和时间变化无关，可利用环境语义信息构造新的特征描述子，从而有效降低由于光照变化对定位鲁棒性造成的不利影响.2018年，瑞典查尔姆斯理工大学信号处理研究小组的Stenborg等[38]提出了一种在已有的3D地图上，将语义类别作为地图点描述子的定位算法，有效解决了长时间跨季度定位系统中环境光照变化等对定位系统的影响. Schönberger等[39]提出了一种基于3D几何和语义信息进行视觉定位的新方法，通过训练语义场景完备化作为辅助任务，学习出鲁棒的局部描述符，以此建立查询和数据库映射之间3D-2D的匹配，将匹配结果用于位姿估计与矫正，成功解决了大范围观测条件下的鲁棒性视觉定位问题. 在KITTI和NCLT数据集上运行结果表明，所提方法在极端视角、照明和几何变化情况下，表现出了系统的高可靠性. 此类方法相较于基于传统描述子的方法节省了大量的存储空间，但语义描述子的应用也有一定的局限性，如在较单一类别的场景中容易产生误差.此外，还可通过优化特征选择策略，结合语义信息进行过滤，使得所关注目标对于光照变化更加鲁棒. Naseer等[40]提出了一种判别整体图像内容的方法，能够根据图像语义信息生成一个密集的场景显著性描述. 通过训练感知环境变化大的数据集学习显著性描述，保证能够在图片上分割出更加稳定的区域，剔除易随时间变化的区域，并将显著区域的特征和现有的整体图像上的特征进行融合，从而得到了一个更加鲁棒的场景描述. Liang等[41]在稀疏直接法里程计（Direct sparse odometry, DSO）[42]基础上，改变了跟踪点的选取策略，通过在图像上的感兴趣区域上选取点（感兴趣区域即显著性图），并利用语义分割的结果对显著性图进行滤波，调整每个像素点的显著性得分，从而降低了无信息区域（例如墙，天花板和地板等）的显著性得分. 实验结果表明显著性区域的点对于光照和视角的变化更加鲁棒.（3）面向动态场景.传统的V-SLAM系统大多基于静态环境假设，在处理动态环境的定位问题时，容易发生错误匹配. 近年来，针对动态场景的语义SLAM系统逐渐受到越来越多的关注[43−44]，通过引入环境语义信息有效地对静态和动态特征点进行划分，移除动态特征点，从而减少动态干扰，以提高SLAM系统的鲁棒性.Yu等[45]基于ORB-SLAM2提出了一种动态环境下鲁棒的语义SLAM系统（DS-SLAM），该系统基于光流金字塔算法进行运动一致性校验，并结合语义分割网络获取物体轮廓，剔除位于移动物体上的特征点，减少动态对象对姿态估计的影响，提升了系统定位鲁棒性. 在TUM RGB-D数据集以及真实环境下测试结果表明，该系统的绝对轨迹精度比ORB-SLAM2提高了一个数量级. 但是，该算法能识别的语义类别较少，且只定义人为动态物体，另外，该地图在回环失败时需要重新建图，地图的可移植能力不足. Bescos等[46]也在ORB-SLAM2系统上，提出了一种面向动态物体检测和背景修复的V-SLAM系统（DynaSLAM），通过使用多视几何和深度学习的方法实现移动物体的检测，并通过对动态物体遮挡的背景帧进行修复，生成静态场景地图. 实验结果表明，DynaSLAM提供的单目、双目和RGB-D 3种运行状态在动态场景中均有较好的鲁棒性，并能输出场景的静态地图，更符合机器人长时间运行的使用需要.目前大多数语义信息用于动态场景都是将所有潜在运动的物体直接去除，但如若动态目标物体并没有发生运动，且占据相机视角的大部分，那么将目标物体上的点都去除会对位姿估计产生很严重的影响. Brasch等[47]针对此类现象提出了一种改进方案，其引入对于地图点是否为静态点的概率估计“静态率”（Inlier ratio），实现地图点在动静态之间的平滑过渡. 首先，根据语义分割网络的输出赋予静态率一个先验值，例如车具有较低的静态率，建筑具有较高的静态率等，然后根据不断地引入新的观测数据来更新该地图点的静态率，以在具有挑战性的条件下实现定位鲁棒性. Cui· 758 ·工程科学学报，第 43 卷，第 6 期与Ma[48]提出了一种基于ORB-SLAM2 RGB-D模式的面向动态环境的视觉语义SLAM系统(SOF-SLAM). 该系统采用一种新的语义光流动态特征检测方法，使用SegNet[49]产生像素级的语义分割结果，获取运动先验（静态、潜在动态的和动态），并将运动先验作为掩膜去除动态和潜在动态特征之间的匹配，然后利用语义静态特征的匹配计算基本矩阵，最后利用基本矩阵和对极约束寻找并剔除真正的动态特征，在跟踪和优化模块中保留剩余的静态特征，实现动态环境下相机位姿的精确估计. 在公开的TUM RGB-D数据集和真实环境中的实验结果表明，所提算法可有效应对动态环境.由上可见，利用环境语义信息通过特征选择和优化数据关联等方法可有效提高系统定位的精度，通过对目标物体的跟踪，可以提高弱纹理环境、光照变化和动态场景下SLAM系统的鲁棒性.相较于传统V-SLAM系统，基于语义的SLAM系统直接提取图像特征，无需人工特征提取和匹配，更加简洁直观；基于语义的SLAM系统能够更充分表达环境信息，进而实现高层次的场景感知和理解，保障了系统的定位精度和鲁棒性. 但是，目前对环境理解的算法主要基于深度学习等方法，不同学习算法之间的网络架构设计差异性大，且对训练数据库有较强的依赖性. 同时，系统性能严重依赖于环境目标识别和语义分割结果的准确性. 此外，当前环境语义信息多与SLAM局部的子模块相结合，如位姿优化或回环检测等，部分语义SLAM学者也开始关注如何搭建一个端到端的SLAM系统[50]，将深度学习架构应用于整个SLAM 系统，也是未来研究的一个重要方向.3 语义与SLAM地图构建在传统的SLAM研究中，地图构建主要服务于机器人定位，即利用构建的环境地图提高机器人的定位精度，此时地图的表现形式主要是稀疏的点云地图. 而当SLAM技术逐渐应用于机器人和自动驾驶领域，其需要利用环境地图完成导航和避障，因此需要稠密的环境地图，如稠密点云地图、八叉树地图等. 随着机器人和智能化程度提高，机器人逐渐服务于日常生活和工业生产，需要更加利于交互的环境地图. 近年来，深度学习技术快速发展，利用深度学习方法构建具有语义信息的环境地图成为提高机器人交互能力一种可行的方案.基于环境语义信息的SLAM技术不仅提取环境中的几何信息，还能充分利用环境中的语义信息，即环境中个体的属性，从而提高机器人执行任务的智能水平. 21世纪初，Vasudevan等[51]和Galindo等[52]先后提出了机器人语义地图的概念，阐述了构建具有语义信息的环境地图可以提高机器人的感知能力，并且地图中的语义信息使机器人具有一定的推算能力. 得益于SLAM技术的快速发展，研究人员希望将这种含有语义信息的地图形式应用到SLAM系统中，即构建环境语义地图. 早期的语义地图构建算法大多采用离线的方式，基于马尔可夫等方法对几何地图进行语义标注[53−54]，这种方法需要离线对地图进行处理，无法在机器人上实际使用. 随着机器学习技术的发展，部分学者使用条件随机场（Conditional random field，CRF）、随机决策森林（Random forest）等算法获取场景中的语义标签[55−56]，但是此类算法语义融合的效率较低、精度较差，亦不能将其应用到实际场景. 同时，部分学者针对机器人与环境中实体的交互问题，提出将地图与预先构建的物体模型进行融合，把实体从地图中分割出来[57−58]，但是这种方法依赖先验知识，限制了地图的应用场景. 近年来，深度学习技术快速发展，越来越多的研究人员将深度学习方法与SLAM技术结合，利用目标检测、语义分割等算法[59]提取环境的语义信息，并将其融入到环境地图中，以构建环境语义地图.目前针对语义信息与SLAM地图构建融合的研究主要分为两个方向，包括面向场景的语义地图构建和面向对象的语义地图构建，如表1所示. 其中，面向场景的语义地图侧重于机器人对环境的感知，而面向对象的语义地图更侧重于机器人与实体进行交互，接下来本文将围绕这两个方面进行综述.3.1 面向场景的语义地图面向场景的语义地图是指使用语义分割算法对2D图像进行像素级分割，提取图片中的语义信息，并将其与3D点云进行融合，以构建全场景的语义地图. McCorma等[60]基于卷积神经网络提出了SemanticFusion算法，实现了室内环境语义地图构建，是构建像素级语义地图的典型代表. 该算法构建了一个完整的语义SLAM系统，实现了传统SLAM框架与语义分割的结合，解决了传统语义标注算法中语义类别少、需要离线标注等问题，并且引入了一种节点概率更新算法和语义修正方法，在语义地图构建算法精度上具有较高水平. 同李小倩等：基于环境语义信息的同步定位与地图构建方法综述· 759 ·。

slam实现方法

slam实现方法SLAM实现方法什么是SLAMSLAM，即Simultaneous Localization and Mapping，即同时定位与地图构建。

它是一种同时进行自主定位和地图建立的技术，通常用于无人机、自动驾驶和机器人等领域。

相关方法介绍基于视觉的SLAM方法基于视觉的SLAM方法主要利用摄像头获取环境信息，并通过图像处理和计算机视觉算法来实现同时定位和地图构建。

常用的方法包括：- 特征点法：通过提取图像中的特征点，利用这些特征点之间的匹配关系来计算相机的运动和地图的构建。

- 直接法：通过建立图像亮度的灰度残差模型，直接估计相机的运动和地图的构建。

- 深度学习法：利用深度学习的方法，通过训练神经网络来实现相机的定位和地图的构建。

基于激光的SLAM方法基于激光的SLAM方法主要利用激光雷达获取环境信息，并通过激光数据处理和SLAM算法来实现同时定位和地图构建。

常用的方法包括：- 自适应模型法：通过分析激光数据的反射特性，自适应地建立地图模型，同时进行定位。

- 点云拼接法：通过将多帧激光数据进行拼接，建立点云模型，同时进行定位。

- 分段匹配法：将激光数据进行分段匹配，利用匹配关系来计算相机的运动和地图的构建。

基于惯性传感器的SLAM方法基于惯性传感器的SLAM方法主要利用加速度计和陀螺仪等传感器来获取相机的运动信息，并通过滤波和融合算法来实现同时定位和地图构建。

常用的方法包括： - 扩展卡尔曼滤波法：通过预测和更新步骤，利用卡尔曼滤波算法来估计相机的位姿和地图的构建。

- 粒子滤波法：通过随机采样的方法，利用粒子滤波算法来估计相机的位姿和地图的构建。

- 单纯惯导法：通过积分惯性传感器的数据，估计相机的位姿变化，实现定位和地图构建。

结论SLAM是一种重要的技术，在无人机、自动驾驶和机器人等领域具有广泛应用。

基于视觉、激光和惯性传感器的SLAM方法都有各自的特点和适用场景，开发者可以根据具体应用需求选择合适的方法来实现SLAM。

视觉slam的分类

视觉slam的分类视觉SLAM是指基于视觉传感器的同时定位与地图构建技术。

它是一种利用相机或摄像头来实现机器人或无人机在未知环境中自主定位和建图的技术。

视觉SLAM技术的应用非常广泛，包括自动驾驶、智能家居、机器人导航等领域。

视觉SLAM可以分为以下几类：1. 基于特征的SLAM基于特征的SLAM是指通过提取图像中的特征点来进行定位和建图的技术。

这种方法通常使用SIFT、SURF、ORB等算法来提取特征点，并使用RANSAC等算法来进行特征匹配和估计相机位姿。

基于特征的SLAM具有较高的精度和鲁棒性，但对于纹理较少的场景或者运动模糊较严重的情况下，可能会出现定位失败的情况。

2. 基于直接法的SLAM基于直接法的SLAM是指直接利用图像像素值来进行定位和建图的技术。

这种方法通常使用光流法或者稠密光流法来进行像素级别的匹配，并使用优化算法来估计相机位姿。

基于直接法的SLAM具有较高的鲁棒性和对纹理较少的场景具有较好的适应性，但需要较高的计算资源和较长的计算时间。

3. 基于半直接法的SLAM基于半直接法的SLAM是指结合了基于特征法和基于直接法的优点，通过利用像素值和特征点来进行定位和建图的技术。

这种方法通常使用SVO、DSO等算法来进行实现。

基于半直接法的SLAM具有较高的鲁棒性和较快的计算速度，但对于纹理较少的场景可能会出现定位失败的情况。

4. 基于深度学习的SLAM基于深度学习的SLAM是指利用深度学习技术来进行定位和建图的技术。

这种方法通常使用深度神经网络来进行图像特征提取和相机位姿估计。

基于深度学习的SLAM具有较高的鲁棒性和对于纹理较少的场景具有较好的适应性，但需要较大的训练数据集和较长的训练时间。

总之，视觉SLAM技术的分类主要是基于不同的特征提取和匹配方法，每种方法都有其优缺点和适用场景。

未来，随着计算机视觉和深度学习技术的不断发展，视觉SLAM技术将会得到更广泛的应用和进一步的优化。

基于直接法的视觉同时定位与地图构建技术综述

Ｓｕｒｖｅｙｏｎｄｉｒｅｃｔｍｅｔｈｏｄｖｉｓｕａｌｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ
ＰａｎＬｉｎｈａｏ１，ＴｉａｎＦｕｑｉｎｇ１，ＹｉｎｇＷｅｎｊｉａｎ１，ＱｉｕＱｉａｎｊｕｎ２
（１．ＣｏｌｌｅｇｅｏｆＷｅａｐｏｎ，ＮａｖａｌＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００３３，Ｃｈｉｎａ；２．ＮａｖａｌＲｅｐｒｅｓｅｎｔａｔｉｖｅＯｆｆｉｃｅｉｎｔｈｅ２ｎｄＡｃａｄｅｍｙｏｆＣＡＳＡ，Ｂｅｉｊｉｎｇ１００８５４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｖｉｓｕａｌｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇｈａｓａｗｉｄｅｒａｎｇｅｏｆｒｅｓｅａｒｃｈｉｎｔｈｅｆｉｅｌｄｓｏｆｒｏｂｏｔ，ｕｎｍａｎｎｅｄａｅｒｉａｌｖｅｈｉｃｌｅｎａｖｉｇａｔｉｏｎ，ａｕｔｏｍａｔｉｃｄｒｉｖｉｎｇ，ｅｔａｌ．ＤｉｒｅｃｔｍｅｔｈｏｄＶＳＬＡＭ，ｂａｓｅｄｏｎｔｈｅａｓｓｕｐｔｉｏｎｏｆｐｈｏｔｏｍｅｔｒｉｃｃｏｎｓｉｓｔｅｎｃｙ，ｔｒａｃｋｓｔｈｅｃａｍｅｒａ’ｓｐｏｓｉｔｉｏｎａｎｄｏｒｉｅｎｔａｔｉｏｎａｎｄｂｕｉｌｄｓａｎｅｎｖｉｒｏｎｍｅｎｔｍａｐ．ＦｏｒｔｈｅｄｉｒｅｃｔｍｅｔｈｏｄＶＳＬＡＭ，ｔｈｉｓｐａｐｅｒｓｕｍｍａｒｉｚｅｄｔｈｅｂａｓｉｃｐｒｉｎｃｉｐｌｅｓ，ａｎｄｉｎｔｒｏｄｕｃｅｄｓｏｍｅｓｔａｔｅｏｆａｒｔｄｉｒｅｃｔｍｅｔｈｏｄＶＳＬＡＭｓｙｓｔｅｍｓｗｉｔｈａｎａｌｙｓｉｓａｎｄｃｏｍｐａｒｉｓｏｎ．Ｆｉｎａｌｌｙ，ｉｔｄｉｓｃｕｓｓｅｄｔｈｅａｄｖａｎｔａｇｅｓａｎｄｄｉｓａｄｖａｎｔａｇｅｓｏｆｄｉｒｅｃｔｍｅｔｈｏｄＶＳＬＡＭａｎｄｓｏｍｅｒｅｓｅａｒｃｈｔｅｎｄｅｎｃｙ，ａｓｗｅｌｌａｓｍａｋｉｎｇｃｏｎｃｌｕｓｉｏｎ．Ｋｅｙｗｏｒｄｓ：ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ；ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ；ｄｉｒｅｃｔｍｅｔｈｏｄ；ｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ；ｍｕｌｔｉｐｌｅｖｉｅｗｇｅｏｍｅｔｒｙ

基于深度学习的视觉同时定位与建图研究进展

基于深度学习的视觉同时定位与建图研究进展近年来，随着深度学习技术的迅猛发展，基于深度学习的视觉同时定位与建图（Visual Simultaneous Localization and Mapping，VSLAM）成为了机器人导航和自主驾驶等领域的研究热点。

本文将介绍VSLAM 的基本原理和常用算法，以及该领域的研究进展。

一、VSLAM的基本原理VSLAM是指通过分析场景中的视觉信息，实时地同时获取机器人的位置和环境的三维地图。

其基本原理是利用摄像头获取环境图像，通过深度学习模型对图像进行特征提取和匹配，然后通过相机运动估计和三维重建来实现同时定位和建图。

二、VSLAM的算法目前，VSLAM研究主要采用以下两种算法：基于过滤器的方法和基于优化的方法。

1. 基于过滤器的方法基于过滤器的方法主要包括扩展卡尔曼滤波器（Extended Kalman Filter，EKF）和粒子滤波器（Particle Filter）。

这些方法通过状态估计与观测数据之间的协方差矩阵来更新机器人的位置和地图。

2. 基于优化的方法基于优化的方法采用了概率图模型和非线性优化技术来求解SLAM问题。

其中，图优化算法如图优化（Graph Optimization）和分支定界（Branch and Bound）算法，通过最小化重投影误差来优化机器人的轨迹和地图。

另外，非线性优化技术如最小二乘法（Least Squares）和非线性最小二乘（Nonlinear Least Squares）等也广泛应用于VSLAM的研究中。

三、VSLAM的研究进展随着深度学习技术的不断发展，VSLAM的研究也取得了显著的进展。

以下是一些相关的研究方向和进展：1. 深度神经网络在VSLAM中的应用深度神经网络在VSLAM中的应用主要体现在特征提取和匹配上。

一些研究通过引入卷积神经网络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）等深度学习模型，实现了更精确的图像特征提取和更准确的特征匹配，提升了SLAM的性能。

同时定位与地图构建(SLAM)概述Ⅱ

基于视觉的SLAM 参考读物：
可预测的视觉自定位
在当前位置计算SIFT特征利用立体视觉来定位3D特征运动基于里程计和卡尔曼滤波来预测新的位置基于机器人的运动来预测SIFT特征的位置找到SIFT特征，并且找到每一个特征的3D位置根据每一个匹配的特征来计算机器人当前的位置估计
基于视觉的定位
隐马尔可夫模型概述
什么是隐马尔可夫模型
找到最可能状态序列的算法一个动作序列的概率似然算法 (计算所有可能的状态路径) 训练马尔可夫模型的算法只能工作在状态结构能够被定义为FSM的问题，此时某一时刻单独行为能够作为状态之间的变换本身是一种非常流行的算法，原因在于该算法与行为序列长度成线性关系。
行为序列的概率
令
为概率
，因此必须从初始状态开始
否则
隐马尔可夫的前向概率
隐马尔可夫模型的训练算法
给定训练序列，调整HMM的状态转移概率，使得这组行为序列的可能性最大来自训练序列隐状态
直觉上…. 猜想一组状态转移概率
当计算状态转移情况时，利用他们的概率按比例分配状态转移情况？问题在于我们并不知道转移的概率是多少！
拓扑模型中的马尔可夫定位
探索未知之间的空间关系离散状态集位置和方向
离散行为集转移方程，离散马尔可夫模型
马尔可夫定位
位置的后验概率观测概率
观测概率
位置变换概率矩阵
隐马尔可夫识别
在实验测试中的识别效率提高到82%至96%
位置内的度量性定位
给定位置对应的最近视图建立关键点直接按的对应关系概率匹配，结合几何，关键点描述符和内在的尺度计算关于参考视图的相对位置
尺度不变特征
不变性质：尺度平面旋转对比度光照大量特征

基于视觉同时定位与地图构建数据关联优化算法

（ＳｃｌａｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｍ）ａｒｌｇｏｉｒｔｈｍｗａｓｕｓｅｄｔｏｅｘｔｒａｃｔｔｈｅｎａｔｕｒａｌｌａｎｄｍａｒｋｓ．Ｔｗｏｉｍｐｒｏｖｅｍｅｎｔｓｗｅｒｅｉｎｔｒｏｄｕｃｅｄｔｏ
ｉｍｐｒｏｖｅｔｈｅｒｅａｌ・ｔｉｍｅｏｆｄａｔａａｓｓｏｃｉａｔｉｏｎ：ｉｆｒｓｔｌｙ，ｅｘｔｒａｃｔｅｄｔｈｅ’ ’ ｉｎｔｅｒｅｓｔｒｅｇｉｏｎ” ；ｓｅｃｏｎｄｌｙ，ｔｏｏｋｉｎｔｏａｃｃｏｕｎｔｔｈｅｐｈｙｓｉｃｌａｌｏｃａｔｉｏｎｏｆｃｕｒｒｅｎｔｌａｎｄｍａｒｋｓ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｉｓｋｉｎｄｏｆｉｍｐｒｏｖｅｍｅｎｔｍｅｔｈｏｄｉｓｒｅｌｉａｂｌｅ，ａｎｄｔｈｅｃａｐａｂｉｌｉｔｙｏｆｒｅｄｕｃｉｎｇｃｏｍｐｕｔａｔｉｏｎａｌｃｏｍｐｌｅｘｉｔｙｉｓｏｂｖｉｏｕｓ．
ＺＨＡＯＬｉａｎｇ．ＣＨＥＮＭｉｎ．ＬＩＨｏｎｇｃｈｅｎ

移动机器人视觉SLAM研究综述

移动机器人视觉SLAM研究综述一、本文概述随着移动机器人技术的不断发展，视觉SLAM（Simultaneous Localization and Mapping，即同时定位与地图构建）已成为该领域的研究热点。

本文旨在对移动机器人视觉SLAM的研究进行综述，全面梳理相关理论、方法和技术，总结现有研究成果，探讨未来发展趋势。

本文首先介绍了视觉SLAM的基本概念、原理和发展历程，阐述了视觉SLAM在移动机器人领域的重要性和应用价值。

随后，重点分析了视觉SLAM的关键技术，包括特征提取与匹配、相机姿态估计、地图构建与优化等方面，并对各类方法进行了详细的比较和评价。

在综述过程中，本文注重理论与实践相结合，既介绍了视觉SLAM 的理论基础，又通过案例分析展示了视觉SLAM在实际应用中的效果。

本文还探讨了视觉SLAM面临的挑战与问题，如环境适应性、计算复杂度、鲁棒性等，并提出了相应的解决思路和发展方向。

通过本文的综述，读者可以全面了解移动机器人视觉SLAM的研究现状和发展趋势，为相关领域的研究和实践提供有益的参考和借鉴。

二、视觉SLAM技术原理视觉SLAM（Simultaneous Localization and Mapping）是一种利用视觉传感器（如相机）进行环境感知和定位的技术。

其核心原理是通过相机捕捉到的图像序列，进行特征提取、匹配和追踪，从而估计机器人的位姿（位置和姿态）以及构建周围环境的地图。

视觉SLAM技术可以分为特征点法和直接法两大类。

特征点法基于图像中的特征点进行匹配和追踪，通过最小化重投影误差来优化机器人的位姿和地图点。

这种方法对光照和视角变化具有一定的鲁棒性，但可能会受到特征点稀少或纹理不足的影响。

直接法则是利用像素灰度信息，通过最小化光度误差来优化机器人的位姿和地图。

这种方法可以处理特征点稀少或无纹理的场景，但对光照和噪声较为敏感。

视觉SLAM技术通常包括前端和后端两部分。

前端主要负责图像处理和特征提取，以及机器人位姿和地图点的初步估计。

orb-slam2中的重定位方法

orb-slam2中的重定位方法
ORB-SLAM2是一种基于视觉的同时定位与地图构建系统，重定位是其重要的功能之一。

在ORB-SLAM2中，重定位是指当相机在地图上某个位置丢失时，系统能够通过当前帧与地图中的特征进行匹配，从而重新确定相机的位置。

ORB-SLAM2中的重定位方法主要包括以下几个步骤：
1. 特征提取与描述子匹配，当相机在地图上某个位置丢失时，系统会对当前帧进行特征提取，并计算其描述子。

然后，系统会使用描述子匹配算法（如基于近邻的方法）将当前帧的特征描述子与地图中的特征描述子进行匹配。

2. 姿态估计，匹配之后，系统会利用匹配到的特征点计算当前帧与地图中的特征点之间的相对姿态变换，通常使用PnP （Perspective-n-Point）算法来估计相机的姿态。

3. 重定位筛选，ORB-SLAM2中通常会使用RANSAC（Random Sample Consensus）等方法进行姿态估计的筛选，以去除错误的匹配，从而得到准确的重定位结果。

4. 位置更新，最后，系统会根据筛选后的姿态估计结果，更新相机的位置，从而完成重定位过程。

总的来说，ORB-SLAM2中的重定位方法主要依靠特征匹配、姿态估计和筛选来实现，通过这些步骤，系统能够在相机在地图上某个位置丢失时，准确地重新确定相机的位置，从而保证SLAM系统的稳定性和精度。

视觉SLAM技术的研究与应用

视觉SLAM技术的研究与应用视觉SLAM（Simultaneous Localization and Mapping）技术是指基于视觉传感器的同时定位和地图构建技术，是机器人领域中的一个热门研究方向。

它通过从环境中获取图像信息，并利用这些信息实现机器人的自主导航和环境地图的构建，被广泛应用于机器人导航、无人驾驶、增强现实等领域。

本文将介绍视觉SLAM技术的基本原理、常见的方法和应用场景。

1.视觉SLAM技术的基本原理视觉SLAM技术通过从环境中获取图像信息来实现机器人的同时定位和地图构建。

其基本原理是利用图像传感器获取连续图像序列，通过图像序列之间的特征匹配和三维几何信息的计算，实现机器人在未知环境中的定位和构建环境地图。

2.视觉SLAM技术的常见方法（1）基于特征点的方法：该方法首先通过特征提取算法提取图像中的特征点，然后通过特征匹配算法将连续图像序列中的特征点对应起来，根据特征点的几何信息计算机器人的运动轨迹和环境地图。

（2）直接法：该方法通过直接使用图像的灰度值进行匹配，不需要通过特征点的提取和匹配过程，能够更准确地估计相机的运动和环境地图。

（3）半直接法：该方法结合了特征点的方法和直接法的优点，兼具了高精度和实时性。

3.视觉SLAM技术的应用场景（1）无人驾驶：无人驾驶汽车需要实时地感知和理解环境，并根据实时的环境信息进行路径规划和决策。

视觉SLAM技术可以为无人驾驶汽车提供精确的定位和环境地图，从而实现自主导航。

（2）增强现实：增强现实技术利用计算机图形学和计算机视觉技术将虚拟信息叠加到真实世界中，给用户提供丰富的信息和交互体验。

视觉SLAM技术可以实时地跟踪相机的位置，并结合环境地图将虚拟信息精确地叠加到真实世界中。

（3）机器人导航：机器人需要在未知环境中实现自主导航，视觉SLAM技术可以为机器人提供准确的定位和环境地图，使机器人能够避免障碍物、规划路径，并实现自主探索。

4.视觉SLAM技术的研究进展视觉SLAM技术近年来取得了很大的进展，主要表现在以下几个方面：（1）实时性：研究者通过优化算法和硬件设备，提高了视觉SLAM 技术的实时性，使其可以在保持高精度的情况下实现实时地定位和地图构建。

视觉同时定位与地图创建综述

DOI : 10.11992/tis.201703006网络出版地址: /kcms/detail/23.1538.TP.20180131.0858.002.html视觉同时定位与地图创建综述周彦，李雅芳，王冬丽，裴廷睿（湘潭大学信息工程学院，湖南湘潭 411105）摘要：同时定位与地图创建 (simultaneous localization and mapping ，SLAM)自1986年提出以来一直是机器人领域的热点问题，被认为是实现真正全自主移动机器人的关键。

其目的是让机器人在未知环境下实现自身定位同时创建出环境地图。

视觉SLAM (visual simultaneous localization and mapping ，VSLAM)是仅用相机作为传感器的定位与制图。

随着计算机视觉和机器人技术的发展，VSLAM 已成为无人系统领域的研究焦点。

本文对VSLAM 的最新研究现状进行总结，阐述了VSLAM 中的主要问题，分别介绍了VSLAM 基于滤波和图优化的实现方法，并探讨了VSLAM 的研究与发展方向。

关键词：计算机视觉；同时定位与地图创建；VSLAM ；机器人；滤波；图优化；综述；深度学习中图分类号：TP24 文献标志码：A 文章编号：1673−4785(2018)01−0097−10中文引用格式：周彦, 李雅芳, 王冬丽, 等. 视觉同时定位与地图创建综述[J]. 智能系统学报, 2018, 13(1): 97–106.英文引用格式：ZHOU Yan, LI Yafang, WANG Dongli, et al. A survey of VSLAM[J]. CAAI transactions on intelligent systems,2018, 13(1): 97–106.A survey of VSLAMZHOU Yan ，LI Yafang ，WANG Dongli ，PEI Tingrui(College of Information Engineering, Xiangtan University, Xiangtan 411105, China)Abstract : Simultaneous localization and mapping (SLAM), an essential task for an autonomy robot, has been a hot top-ic in the field of robotics since the concept first proposed in 1986. The purpose is to make a robot locate itself in an un-known environment while simultaneously construct a map of the environment. Visual SLAM (VSLAM) refers to that one using a camera or cameras as the sole sensor. With the development of computer vision and robotics, VSLAM has become the focus in the field of unmanned systems. In this paper, we survey the recent progress of VSLAM. After identifying the main problems in the development of VSLAM, we introduce the VSLAM methods based on both filter and graph optimizations. Finally, the further study and development directions of VSLAM are given.Keywords : computer vision; simultaneous localization and mapping; VSLAM; robot; filter; graph optimization; survey;deep learning移动机器人为实现自主导航，面临着在哪里、到哪里、怎么去3个需要解决的关键问题。

机器人视觉系统中的定位与地图构建

机器人视觉系统中的定位与地图构建随着人工智能技术的快速发展，机器人视觉系统的应用已经成为现实。

机器人视觉系统是指通过机器人的摄像头和传感器，让机器人能够感知周围环境，并进行决策、规划和控制行动。

而在机器人视觉系统中，定位和地图构建是其中重要的一环。

一、定位技术在现实生活中，人类常常通过地图和定位系统来确认自己的位置并导航，机器人也需要进行类似操作。

定位技术可以让机器人在现实世界中定位、导航和执行精确动作。

本文将简要介绍目前较为流行的几种机器人定位技术。

1.全球定位系统全球定位系统（GPS）是一种基于卫星的定位技术，可以通过三个或更多卫星的信号进行定位。

GPS定位具有精度高、稳定性好、易于使用和广泛应用等优点。

但是由于GPS信号在复杂的环境中受到干扰较大，因此常常需要结合其他定位技术进行辅助。

2.惯性导航系统惯性导航系统（INS）是通过加速度计和陀螺仪的测量值来计算速度、位置和方向的一种定位技术。

INS具有响应速度快、精度高、可靠性强和不依赖于外界环境的优点。

但是由于INS存在漂移的问题，因此需要结合其他定位技术对其进行修正。

3.视觉定位系统视觉定位系统（VLS）是利用机器人摄像头的图像信息进行定位的一种技术。

VLS具有对环境要求低、响应速度快、精度高和实时性好等优点。

但是由于VLS对环境中的光照和纹理等因素敏感，因此需要在不同环境中进行校准和调整。

二、地图构建技术地图构建技术是指通过机器人的感知设备，对周围环境进行检测和识别，从而构建出机器人周围的地图。

地图构建技术不仅有助于机器人的定位和导航，同时也为机器人进行任务规划和执行提供了基础。

1.视觉地图构建视觉地图构建是指利用机器人摄像头获取环境图像，通过图像处理技术进行建图的技术。

视觉地图构建在实现方面相对容易，可以按照机器人运动路径不断地更新地图。

但是视觉地图构建需要对环境中的物体、纹理、光照等因素进行识别和区分，对要求较高。

2.激光雷达地图构建激光雷达地图构建是一种常用的机器人地图构建技术，通过机器人上搭载的多个激光雷达扫描周围环境，获取环境中物体的三维信息，并通过三角测量等方法构建地图。

基于视觉的同时定位与地图构建方法综述

收稿日期：2010-01-17；修回日期：2010-03-09作者简介：何俊学（1972-），男，工程师，博士研究生，主要研究方向为智能信息处理与模式识别、计算机视觉、三维重建（junxue．he@163．com ）；李战明（1962-），男，教授，博导，主要研究方向为计算机控制系统的理论与工程、智能信息处理与模式识别．基于视觉的同时定位与地图构建方法综述何俊学，李战明（兰州理工大学电信学院，兰州730050）摘要：基于视觉的自主导航与路径规划是移动机器人研究的关键技术，对基于视觉的计算机导航与同时定位及地图构建（SLAM ）方法近三十年的发展进行了总结和展望。

将视觉导航分为室内导航和室外导航，并详细阐述了每一种子类型的特点和方法。

对于室内视觉导航，列举了经典导航模型和技术方法，探讨了解决SLAM 问题的最新进展：HTM-SLAM 算法和基于特征的算法；对室外视觉导航，阐述了国际国内目前的研究动态。

关键词：计算机视觉；图像处理；导航；同时定位与地图构建；综述中图分类号：TP242文献标志码：A文章编号：1001-3695（2010）08-2839-06doi ：10．3969/j．issn．1001-3695．2010．08．007Survey of vision-based approach to simultaneous localization and mappingHE Jun-xue ，LI Zhan-ming（College of Electrical ＆Information Engineering ，Lanzhou University of Technology ，Lanzhou 730050，China ）Abstract ：Vision-based autonomous navigation and path planning is a key technology for mobile robot research．This paper surveyed the developments of the decades in the area of vision-based navigation and simultaneous localization and mapping（SLAM ）for mobile robot．Expatiated the feature and approach to per environment category．For indoor navigation ，made a enumeration consist of several approach and typical model of environment．Probed into the lastest works on SLAM ：HTM-SLAM and feature-based algorithm．For the outdoor visual navigation ，summarizes the achievements obtained by many coun-tries and institutes．Key words ：computer vision ；image process ；navigation ；SLAM ；survey0引言自主移动机器人导航技术是智能机器人领域的一个重要研究方向，其中视觉导航方式具有信息量大、灵活性高、成本低等优点，这是其他传感器导航方式所无法比拟的，目前成为自主移动机器人的关键技术和研究热点。

基于点线特征的视觉同时定位与地图构建综述

基于点线特征的视觉同时定位与地图构建综述
魏光睿;高强;吉月辉;刘俊杰
【期刊名称】《天津理工大学学报》
【年(卷),期】2024(40)2
【摘要】同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。

由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。

文中首先简要阐述了传统的点特征SLAM 系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

【总页数】7页(P63-69)
【作者】魏光睿;高强;吉月辉;刘俊杰
【作者单位】天津理工大学天津市复杂系统控制理论及应用重点实验室;天津理工大学电气工程与自动化学院
【正文语种】中文
【中图分类】TP24
【相关文献】
1.基于单目视觉的同时定位与地图构建方法综述
2.基于视觉的同时定位与地图构建方法综述
3.基于直接法的视觉同时定位与地图构建技术综述
4.基于点线特征融合
的低纹理单目视觉同时定位与地图构建算法5.基于点线特征的单目视觉同时定位与地图构建算法
因版权原因，仅展示原文概要，查看原文内容请购买。

移动机器人的同时定位和地图构建

移动机器人的同时定位和地图构建随着智能技术的不断发展，移动机器人在人们的生活和工作中扮演着越来越重要的角色。

同时定位和地图构建技术（SLAM）是实现移动机器人智能化的关键。

本文将介绍SLAM技术的原理、应用和发展趋势，以帮助读者更好地了解这一领域。

在移动机器人的SLAM技术中，机器人通过传感器采集周围环境的信息，并根据这些信息进行自我定位和地图构建。

目前，常用的定位技术包括红外线定位、超声波定位和视觉定位等。

红外线定位技术利用红外线发射器和接收器来检测机器人与目标物体之间的距离，从而实现定位。

这种技术在光线充足的环境下效果较好，但在复杂环境下，如阳光、烟雾等，定位精度会受到较大影响。

超声波定位技术则是通过发射超声波并接收回声来测量距离。

与红外线定位技术相比，超声波定位技术在复杂环境下表现出更好的稳定性和精度。

但是，这种技术的探测范围相对较小，对于大型机器人来说可能不够实用。

视觉定位技术利用摄像头采集图像信息，通过计算机视觉算法实现机器人与目标物体之间的距离和角度测量。

这种技术在复杂环境下具有较高的鲁棒性和精度，但需要处理大量的图像数据，对计算能力的要求较高。

在地图构建方面，常用的方法包括栅格地图、特征地图和拓扑地图等。

栅格地图将环境划分为一系列等大小的方格，每个方格代表一个特定的区域。

机器人通过传感器采集每个方格内的信息，并计算出自己的位置。

这种方法的优点是简单直观，但需要大量的存储空间和计算资源。

特征地图是根据环境中独特的特征来计算机器人位置的地图。

与栅格地图相比，特征地图在表达环境信息方面更加准确和灵活，但需要对环境特征进行准确的提取和匹配。

拓扑地图是一种基于环境拓扑结构的地图，它将环境划分为一系列节点和边，并通过节点和边的关系来表示环境中的障碍物和空旷区域。

机器人通过采集拓扑地图的信息，可以更加高效地规划路径和完成任务。

在移动机器人的SLAM技术中，地图构建的结果可以用于机器人的路径规划和任务分配等控制环节。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

将视觉导航分为室内导航和室外导航，并详细阐述了每一种子类型的特点和方法。

2002年，DeSouza 等人［1］对过去二十年基于视觉的移动机器人导航技术发展作了总结和展望，他们认为在计算机视觉领域，人们已经取得了很大的研究成果。

可以预言，在不久的将来，将会有面向任务和特定环境的移动机器人，应能看到配备视觉的机器人，用于为病人提供服务、建筑安全、危险现场检查等。

移动机器人由于具有发达的视觉系统，从而能够在导航、与人的交互、与环境的交互方面更加智能化。

在自主移动机器人移动过程中，需要完成避障、导航、定位、路径规划等一系列操作过程，传统的同时定位与地图构建方法通常需要为机器人配备各种距离传感器，常见的配置有激光雷达，如SICK LMS200、声纳等。

自主移动机器人导航技术是智能机器人领域的一个重要研究方向，利用立体视觉获得周围环境的深度距离信息，并完成同时定位与地图构建，这种基于视觉的导航方式具有信息量大、灵活性高、成本低等优点，这是其他传感器导航方式所无法比拟的，目前成为自主移动机器人的关键技术和研究热点。

利用立体视觉产生距离信息，具有其他测距法无法比拟的一个优点，即可以在不同的高度检测障碍物，激光测距仪返回的距离信息位于一个固定高度的2D 平面上，利用立体视觉，机器人可以忽略高度信息识别最近的障碍物。

例如，使用激光测距仪的机器人在一个平面上发现了桌子的四条腿，它仅在地图上标记桌腿的占据位置，这可能导致机器人试图从桌子下面穿过，而这本应该是回避的。

立体视觉方法可以检测整张桌子，避免碰撞。

以立体视觉为基础的视觉导航的主要功能是对各种道路场景进行快速识别和理解，从而确定移动机器人的可行驶道路区域，而视觉导航技术的关键是障碍物的快速检测与识别。

路径规划则根据视觉处理获得的信息，在可行区域内规划出机器人一条安全、高效的路径。

陆地自主车的行驶过程即立体视觉获取前方的路面环境信息，然后通过智能控制技术使移动机器人沿规划的路径行走。

地面环境基本可以分为室内和室外两类，这两类环境非常不同，室内环境相对狭窄，光照、景物等外部环境相对恒定；室外环境一般比较开阔，光照、景物等外部环境随时间、天气、季节、地理位置等变化比较大。

1室内导航室内导航是移动机器人在类似室内环境中的导航，位移较短、光线亮度低，环境物体多为刚体。

许多早期的移动机器人第27卷第8期2010年8月计算机应用研究Application Research of Computers Vol．27No．8Aug．2010视觉导航系统依赖于空间几何信息以及其他度量信息，用于驱动视觉进程和执行自定位。

早期的一些系统采用各种复杂的CAD 模型，近期的研究出现了较为简单的可替代模型，如占位地图（occupancy maps ）、拓扑地图（topological maps ），甚至图像序列（sequences of images ）。

当使用图像序列表现空间时，在导航过程中捕获的图像被用于各种基于外观的匹配过程，匹配感知图像和期望图像（保存在数据库中的一幅或多幅目标图像）。

室内视觉导航策略可以分为如下三类：a ）基于地图的导航，系统依赖于人工方式建立环境的几何模型或者拓扑地图；b ）同时定位与地图构建，系统利用传感器创建它们自己的几何或拓扑环境模型，并利用这些模型导航；c ）无地图导航，系统的导航不使用地图，而是借助于在环境中发现并识别物体或基于目测跟踪这些物体。

1.1基于地图的导航基于地图的导航需要向机器人提供环境模型，这些模型可能包含不同的详细程度和复杂性，从完全的CAD 环境模型到一个与环境元素实现互相联络和相互关系的简单图表。

在一些早期的视觉系统中，环境知识由栅格表示，在栅格中，保存着环境中的每个物体到地平面上的2D 投影信息，这样的表示法常被称为占据地图（occupancy map ），最早见于文献［2］，随后，许多学者对之进行不同扩展。

由于在基于地图的导航中，其中心思想是直接或间接地向机器人提供一系列路标信息，期望在其导航时发现。

视觉系统的任务是在图像中搜索并标志路标。

一旦路标被标志，通过匹配观测图像和期望图像（路标信息保存在数据库中），机器人可以借助地图估计自己的位置（自定位）。

基于视觉的定位过程分为如下四个步骤［3］：a ）获取传感器数据，即视频图像。

b ）检测路标。

这一步通常涉及较多的图像处理算法，如在不同灰度、色彩、深度和运动背景下进行边缘检测和提取、平滑、滤波、区域分割。

c ）在观测图像和期望图像之间建立匹配，搜索路标数据库，根据测量标准标志路标。

d ）计算位置。

一旦有一个或者多个匹配，系统根据数据库中路标的位置进行自定位。

在基于视觉的定位过程中，有三种定位方法，即绝对定位、增量定位和路标跟踪定位。

在绝对定位中，机器人的初始姿态未知，导航系统必须在观测数据和数据库中的期望数据之间构建一个匹配，由于观测数据的不确定，同一观测集合可能匹配多个期望数据。

定位系统中这种结果的不确定可以通过多种方法加以解决，如Markov 定位［4］、部分可观Markov 过程［5］、Monte Carlo 定位［6］、Gaussian 多重假设Kalman 滤波［7］等。

增量定位与完全定位不同，假设机器人的初始位置近似已知，视觉系统的目标是计算精确定位坐标。

一类方法是使用空间的几何表示，由于机器人的初始位置至少知道近似值，在这种情况下，定位算法必须在机器人执行移动指令时，简单地跟踪其随机点，当随机点超过了一个极限值，则利用传感器调整它的位姿。

大体上，在表示和更新移动机器人位置的随机点的众多方法中，概率方法逐渐成为首选。

一个利用增量定位的典型例子是Finale 系统［8。

另一类完全不同的增量定位方法主要是环境空间的拓扑表示，如在Neuro-Nav 及其扩展版本Fuzzy Nav 机器人［9］中，一张拓扑地图表示了走廊的布局，机器人可以借助它驱动视觉进程。

模糊监控器是Fuzzy-Nav 的模糊专家系统［10］，它接收所有神经网络的输出并作出决策。

为了完成监控与决策功能，Fuzzy-Nav 的模糊监控器使用了三个模糊语言变量共16个模糊词汇，如表1所示。

表1Fuzzy-Nav 使用的语言变量及模糊词汇当机器人的大概位置已知并且在视频图像中出现的路标已被标志并跟踪，在这种情形下，机器人可以通过路标跟踪进行定位。

路标可以是人工安置的［11］，也可以是自然路标，如门、窗户等。

1.2同时定位与地图创建以上所述的视觉导航方法都需要为机器人配备地图或者环境模型，但模型表述并不容易生成。

因此，许多研究者设计出自动或半自动的机器人，可以探索所处的环境并创建其内部表示。

这种表示法可以分为几何地图、拓扑地图、几何—拓扑混合地图三类。

同时定位与地图构建（simultaneous localization and map-ping ，SLAM ）问题可以描述为：移动机器人在自身位置不确定和未知环境中运动时逐步构建周围环境的地图，同时运用此地图对机器人位置和姿态进行估计，进行自主定位和导航。

研究SLAM 问题是为了解决当前在缺乏精确全局定位传感器的情况下，依赖于机载传感器（如里程计、视觉、超声及激光等）来解决机器人定位的问题，这样的定位系统可以满足在未知环境中移动机器人导航的要求。