视觉slam介绍58页PPT
2024版智能机器人介绍ppt课件
计算机视觉
通过图像处理和计算机对 图像的理解，识别环境中 的物体、场景和行为。
应用
目标检测与跟踪、场景理 解、三维重建等。
自然语言处理与理解
自然语言处理
研究计算机处理、理解和 运用人类语言的一门技术。
自然语言理解
让机器能够理解人类语言 的含义和语境，实现人机 交互。
烹饪机器人 自动完成食材处理、烹饪等过程，提供便捷的餐饮服务。
智能家居控制机器人
通过语音或手势识别，实现对家居设备的智能控制和管理。
07
未来发展趋势与挑战
技术创新带来的机遇和挑战
机遇
随着人工智能、机器学习等技术的不断发展，智能机器人的智能化水平将不断 提高，应用场景也将更加广泛。例如，智能机器人可以在医疗、教育、物流等 领域发挥重要作用。
02
感知与认知技术
传感器类型及作用
内部传感器
检测机器人自身状态，如位置、 速度、加速度等。
外部传感器
感知外部环境信息，如距离、温度、 声音、光线等。
传感器的作用
为机器人提供准确的环境信息和自 身状态信息，是实现自主导航、环 境感知、人机交互等功能的基础。
图像处理与计算机视觉
01
02
03
图像处理
协同规划与决策
协同控制与优化
探讨多机器人协同规划与决策算法的设计和 实现，如任务分配、路径规划、协同避障等。
分析多机器人协同控制中的优化问题，如一 致性控制、编队控制、最优资源分配等，并 提出相应的解决方法。
04
人工智能算法应用
深度学习在机器人领域应用
1 2 3
机器人感知
通过深度学习技术，机器人可以更加准确地感知 周围环境，包括识别物体、检测障碍物、定位自 身等。
SLAM介绍以及浅析ppt课件
感知信息进行匹配和联合，存在局部数据之间的关联问题，也存在局部数据 与全局数据的关联与匹配问题) (4) 自定位；
(移动机器人的定位按照有无环境地图可以分为基于地图的定位和无地图的 定位)
(5) 探索规划 (主要目的是提高地图创建的效率，使机器人在较短的时间内感知范围覆
·环境特征不够明显时； ·传感器信息比较少，难以从一次感知信息中获得环境特征。
不确定信息的描述和处理方法
在未知环境中，环境信息的不确定性尤为明显。研究人员已经提出了 多种用来处理不确定性的度量方法，如模糊度量、概率度量、信任度量、 可能性度量、证据理论度量等等。目前在SLAM中使用较多的主要是模糊 度量和概率度量的方法。
图3：路标C被观测到 （在新的位置，路标C被观测到，路标C的相对于A的位置也是一个估计值（更大的圈）
图4：路标B被观测到
图5：机器人返回到初始位置 （此时机器人的位置相对于没有移动前更加不确定，一个超大的椭圆表示了其可能的真实位置值范围）
图6：对A点的重新测量 （通过对A的重新测量，图4中的超大椭圆值被大大的缩小了，其位置真值落入了一个比较小的范围内）
说明：机器人在定位误差随着机器人的移动而增加。 说明：机器人在定位误差随着机器人的移动而增加，但是由于有了路标的纠正，其误差相对就小了很多。
说明：通过2次对路标的测定，其定位误差已经大大减少 说明：经过3次误差校正，其定位精度已经很好了，但是随着路标位置的丢失，其定位误差又一次的扩大了。
基于霍夫曼方法的SLAM的基本过程为：
①在一个未知的室内结构化环境中提出了基于栅格表示的局部模型与基于几何信息表
示的全局模型相结合的环境建模方式。环境特征的提取采用了Hough transform与Clustering 相结合的方法。感知数据的融合采用了扩展卡尔曼滤波方式。
视觉SLAM十四讲 三维空间刚体运动33页PPT
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而ห้องสมุดไป่ตู้，决心到最后会全部推倒。——莎士比亚
视觉SLAM十四讲 三维空间刚体运动
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
25、学习是劳动，是充满思想的劳动。——乌申斯基
谢谢！
视觉SLAM综述
机器人导航中常用的4种传感器
SLAM数学模型
假设机器人携带相机在未知环境中运动，把一段连续时 间的运动变成离散时刻t=1，…k，用x表示机器人的自身 位置。则各时刻的位置就记为x 1 ，x 2 …x k ，它构成了 机器人的轨迹。地图方面，设地图由许多个路标组成， 而每个时刻，相机会测量到一部分路标点，得到它们的 观测数据。设路标点共有N个，用y 1 ,y 2 …y n 表示。
1.2 地图的稠密程度
按照所建地图的稠密程度，VSLAM 可以分为稠密 VSLAM 和稀疏 VSLAM。
稠密 VSLAM
利用整幅图像的所有像 素信息参与地图的构建， 利用价值高，但算法耗 时比较大，关键帧的位 姿不再重优化，定位精 度有限.
稀疏 VSLAM
只利用图像的特征点进 行定位和构图，因此只 能得到稀疏的环境地图， 但算法耗时相比稠密 VSLAM 小，定位精度 更高.
2.1 视觉里程计
特征提取与匹配
提取和描述图像特征点方法多种多样，最具代表性的是以下几种:
（文献略）
SIFT 特征点检测与描述
通过检测图像尺度空间的 极值确定特征点的位置， 把特征点周围 16 个梯度方 向直方图离散化为 128 维 浮点向量作为描述符。
SUＲF 特征点检测与描述
通过计算像素的 Hessian 矩阵确定特征点位置，把 特征点在横向和纵向的 Harr 小波响应构成的 64 维浮点向量作为描述符。
2、稀疏VSLAM的框架
稀疏地图VSLAM可以分为四个部分：视觉里程计，后 端优化，建图和闭环检测；关系如图所示。
传感器数据
视觉里程计
闭环检测
后端优化
建图
2.1 视觉里程计
视觉里程计（ Visual Odometry,VO）,主要依靠视觉 传感器，比如单目、双目相机来实现对物体的运动 估计。
视觉SLAM
用形式更简单的 E 。
三角测量确定深度
• 在得到运动之后，下一步我们需要用相机的运动估计特征点的空间位置。在单目 SLAM 中，仅通过单张图 像无法获得像素的深度信息，我们需要通过三角测量（ Triangulation ）（或三角化）的方法来估计地图点
回环检测
• 回环检测，又称闭环检测（ Loop Closure Detection ），主要解决位置 估计随时间漂移的问题。 • 前端提供特征点的提取和轨迹、地图的初值，而后端负责对这所有的数据
进行优化。然而，如果像 VO 那样仅考虑相邻时间上的关联，那么，之前
产生的误差将不可避免地累计到下一个时刻，使得整个 SLAM 会出现累积 误差。长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹
用对极几何恢复出在两帧之间摄像机的运动
• 现在，假设我们从两张图像中，得到了一对配对好的特征点，像图 7-7 里显示的那样。如果我们有若 干对这样的匹配点，就可以通过这些二维图像点的对应关系，恢复出在两帧之间摄像机的运动。
• 1. 根据配对点的像素位置，求出 E 或者 F ；
• 2. 根据 E 或者 F ，求出 R, t 。由于 E 和 F 只相差了相机
视觉 SLAM
蔺志强 苏 敬
• SLAM 是 Simultaneous Lo“同时定位与地图构
建”。它是指搭载特定传感器的主体，在没有环 境先验信息的情况下，于运动过程中建立环境的 模型，同时估计自己的运动。如果这里的传感器 主要为相机，那就称为“视觉 SLAM ”。
和地图。
核心问题是如何计算图像间的相似性
• 最简单的方式就是对任意两张图像都做一遍特征匹配，根据正确匹配的数量确定哪两个图像存在关联。但 计算量大，效率低下。 • 基于里程计的几何关系（ Odometry based ）， • 基于外观（ Appearanc e based ）仅根据两张图像的相似性确定回环检测关系，这种做法摆脱了累计误差， 使回环检测模块成为 SLAM 系统中一个相对独立的模块。
SLAM简介
SLAM简介SLAM简介1. 关于SLAMSLAM是同步定位与地图构建(Simultaneous Localization And Mapping)的缩写，最早由Hugh Durrant-Whyte 和 John J.Leonard 提出。
SLAM主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。
SLAM通常包括如下几个部分，特征提取，数据关联，状态估计，状态更新以及特征更新等。
对于其中每个部分，均存在多种方法。
针对每个部分，我们将详细解释其中一种方法。
在实际使用过程中，读者可以使用其他的方法代替本文中说明的方法。
这里，我们以室内环境中运行的移动机器人为例进行说明，读者可以将本文提出的方法应用于其他的环境以及机器人中。
SLAM既可以用于2D运动领域，也可以应用于3D运动领域。
这里，我们将仅讨论2D领域内的运动。
2. 机器人平台在学习SLAM的过程中，机器人平台是很重要的，其中，机器人平台需要可以移动并且至少包含一个测距单元。
我们这里主要讨论的是室内轮式机器人，同时主要讨论SLAM的算法实现过程，而并不考虑一些复杂的运动模型如人形机器人。
在选择机器人平台时需要考虑的主要因素包括易用性，定位性能以及价格。
定位性能主要衡量机器人仅根据自身的运动对自身位置进行估计的能力。
机器人的定位精度应该不超过2%，转向精度不应该超过5%。
一般而言，机器人可以在直角坐标系中根据自身的运动估计其自身的位置与转向。
从0开始搭建机器人平台将会是一个耗时的过程，也是没有必要的。
我们可以选择一些市场上成熟的机器人开发平台进行我们的开发。
这里，我们以一个非常简单的自己开发的机器人开发平台讨论，读者可以选择自己的机器人开发平台。
目前比较常见的测距单元包括激光测距、超声波测距、图像测距。
其中，激光测距是最为常用的方式。
通常激光测距单元比较精确、高效并且其输出不需要太多的处理。
其缺点在于价格一般比较昂贵（目前已经有一些价格比较便宜的激光测距单元）。
视觉SLAM从理论到实践
4 第一讲 引言
相机运动？环境模型？
应用：机器人、AR/VR、无人机、无人驾驶等等。
5 第一讲 引言
• 困难之处
• 三维空间的运动 • 受噪声影响 • 数据来源只有图像
• 人类看到的是图像，计算机看 到的是数值矩阵
• Make computer see?
• 从学习角度来看
• 牵涉到理论太广 • 从理论到实现困难 • 资料缺乏
6 第一讲 引言
• 相关书籍和课程
• The Bible: Multiple View Geometry in Computer Vision • State Estimation for Robotics: A Matrix-Lie-Group Approach • Probabilistic Robotics
• 优势：内容丰富、推导严谨 • 不足：
• 没有专门介绍SLAM • 缺少实践指导
Hale Waihona Puke 7 第一讲 引言• 本书的特点
• 基础、必要的理论知识 • 大量的编程内容 • 重视工程实践
• 观念：只有亲自动手实现了算法，才能谈得上理解 • 旅行愉快！
8 第一讲 引言
• 内容
• 第一部分：数学基础
• 概述 Linux • 三维空间刚体运动表述 Eigen • 李群与李代数 Sophus • 相机模型与图像 OpenCV • 非线性优化 Ceres, g2o
视觉SLAM十四讲
从理论到实践
2
第一讲 引言
Chapter 1: Introduction
3 第一讲 引言
机器视觉培训系列教程之基础入门培训(PPT 58页)
第三讲
机器视觉系统综合基础知识
第三讲：机器视觉系统综合基础知识
第三讲 大纲 一
灯源简述 灯源分类 获得完美图象的6大要素 如何选择镜头
第三讲：机器视觉系统综合基础知识
一、灯源简述：
机器视觉系统工作的基本程序： 取像 =》 分析 =》 结果输出
灯源：为确保视觉系统正常取像获得足够光信息而提供照明的装置 灯源的目的
速度
• 记录试验中系统运行速度
系统硬件 配置
系统硬件配置
• 记录系统硬件配置。灯源、镜头、 工作距离、光圈、相机、快门速 度、电脑配置等
讨论与答疑
第三讲：机器视觉系统综合基础知识
第三讲 大纲 三
如何选用板卡 PC式系统概述 智能相机概述 视觉系统选型 视觉系统未来发展趋势
第三讲：机器视觉系统综合基础知识
小结#2：如何获得完美图象 选择适合的灯源、镜头、相机 学会如何使用、控制灯源、镜头、相机
第三讲：机器视觉系统综合基础知识
四、如何选择镜头#1：技术因素
镜头与相机匹配 镜头接口是否为工业标准接口，C/CS接口 镜头成象面是否>=相机CCD尺寸。若相机CCD为1/2“， 而镜头为1/3”，则该镜头与相机不匹配
第三讲：机器视觉系统综合基础知识
七、例题：
根据现场的检测样品，及教师提出的要求，完全系统硬件选型 灯源选型 镜头选型 相机选型 系统参数：视野、工作距离等
第三讲：机器视觉系统综合基础知识
七、例题提示：
选型步骤： 确定项目检测方向：测量、检测、定位。 确定项目检测要求：精度、速度、工作空间。 根据项目检测方向完成灯源选型 根据项目精度要求确定最佳视野 根据项目精度要求及工作空间要求完成镜头选型 确定某款镜头、工作距离、 根据项目精度要求及速度要求完成相机选型 考虑系统硬件成本
面向动态物体场景的视觉SLAM综述
二、方法
二、方法
本次演示提出的算法主要包括两个部分：目标检测和建图。在目标检测阶段， 我们采用了YOLOv5s算法，该算法具有较高的准确性和实时性，能够在不同场景 下对目标进行快速、准确地检测。在建图阶段，我们采用了基于特征点的视觉 SLAM算法，通过对目标特征点的提取和匹配，完成对场景的建图。
2、针对不同应用场景，研究具有针对性的视觉SLAM解决方案，以提高算法的 适应性和实用性。
3、在大规模复杂场景下，视觉SLAM的实时性和准确性仍然是亟待解 决的问题。
3、结合多传感器、多信息源的数据融合技术，提高视觉SLAM的精度和稳定性。
参考内容
基本内容
基本内容
随着机器人技术和的不断发展，自主导航已经成为机器人研究的重要方向之 一。在自主导航中，同时进行目标检测和建图是实现机器人定位和导航的关键步 骤。近年来，深度学习技术的快速发展为视觉SLAM（Simultaneous Localization and Mapping）提供了新的机会。本次演示提出了一种在动态场 景下融合YOLOv5s的视觉SLAM算法，旨在提高目标检测的准确性和实时性，同时 优化建图效果。
2、提高视觉SLAM的实时性和精度。这需要研究更高效的算法和优化技术，以 减少计算复杂度，同时利用多传感器融合和多模态信息以提高鲁棒性和精度。
四、未来发展趋势
3、对于大规模环境的处理，分布式和并行计算可能会成为解决方案的一部分， 例如使用云计算或嵌入式集群来提高处理能力。
四、未来发展趋势
4、强化学习和自适应学习策略可能会被引入视觉SLAM，使机器人能够更好地 适应各种未知环境条件和动态变化。
二、视觉SLAM研究现状
2、多传感器融合：为提高视觉SLAM的性能，研究者们尝试将不同类型的传感 器（如雷达、惯性测量单元等）与视觉传感器进行融合，以获取更丰富的环境信 息。
slam原理
slam原理SLAM原理。
SLAM（Simultaneous Localization and Mapping）即同时定位与地图构建，是指机器人或无人驾驶汽车等自主移动设备在未知环境中同时实现自身定位和环境地图构建的过程。
SLAM技术在无人驾驶、智能导航、室内定位等领域有着广泛的应用，是实现自主移动设备智能化的关键技术之一。
SLAM的基本原理是通过传感器获取环境信息，包括视觉、激光雷达、超声波等传感器，利用这些信息实现自身定位和地图构建。
在SLAM中，自身定位是指确定自身在环境中的位置和姿态，地图构建是指利用传感器信息构建环境的地图。
通过不断地获取传感器信息，并结合运动模型和观测模型，实现自身定位和地图构建的过程。
在SLAM中，传感器起着至关重要的作用。
视觉传感器能够获取环境的图像信息，通过图像处理和特征提取，实现对环境的感知和地图构建；激光雷达能够获取环境的三维点云信息，通过对点云数据的处理和分析，实现对环境的感知和地图构建；超声波传感器能够获取环境的距离信息，通过对距离数据的处理和分析，实现对环境的感知和地图构建。
不同的传感器在SLAM中各有优势和局限，可以根据具体的应用场景选择合适的传感器组合。
SLAM的实现过程中，运动模型和观测模型是至关重要的。
运动模型描述了自主移动设备的运动规律，包括平移和旋转；观测模型描述了传感器获取环境信息的规律，包括特征提取和匹配。
通过运动模型和观测模型，可以将传感器信息和自身运动进行融合，实现自身定位和地图构建的精确度和稳定性。
SLAM技术的发展离不开计算机视觉、机器学习和传感器技术的进步。
计算机视觉为SLAM提供了强大的图像处理和特征提取能力，机器学习为SLAM提供了强大的模式识别和数据分析能力，传感器技术为SLAM提供了丰富的环境感知和信息获取能力。
这些技术的不断进步和融合，推动了SLAM技术的不断发展和应用。
总之，SLAM作为一种重要的自主移动设备技术，具有广阔的应用前景和发展空间。
视觉slam介绍PPT课件
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
2021
3.1.1 ORB特征
• 例子：ORB特征
• 关键点：Oriented FAST • 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转
• BRIEF • BRIEF-128：在特征点附近的128次像素比较
2021
3.1.1 ORB特征
• 特征匹配
• 通过描述子的差异判断哪些特征为同一个点 • 暴力匹配：比较图1中每个特征和图2特征的距离 • 加速：快速最近邻（FLANN）
2021
实践：特征提取和匹配
2021
3.2 对极几何
• 特征匹配之后，得到了特征点之间的对应关系
• 如果只有两个单目图像，得到2D-2D间的关系 ——对极几何 • 如果匹配的是帧和地图，得到3D-2D间的关系 ——PnP • 如果匹配的是RGB-D图，得到3D-3D间的关系 ——ICP
可能不成立。
2021
3.5 光流
• 对 t+dt 时刻的灰度进行Taylor展开并保留一阶项：
• 由于灰度不变，所以
• 希望求解dx/dt, dy/dt
因此 =>
x方向梯度
随时间变化
y方向梯度
2021
3.5 光流
• 但本式是一个二元一次线性方程，欠定
• 需要引用额外的约束
• 假定一个窗口（w ´ w）内光度不变：
BA 本身也是一个非线性最小二乘问题。对于视觉 SLAM 来说 BA 问题可以简 单的描述成在不同的相机位姿下看到了相同的空间点，于是通过观测使得空间点和 相机位姿之间产生了约束，并且由空间点在两幅图像上的重投影产生了联系。由重 投影关系产生的误差即可建立最小二乘问题，求解该问题即可对相机位姿和空间点 进行同时优化。
移动机器人SLAM技术【ch07】视觉SLAM 教学课件
0 2 对极几何
假设两张图像中得到了一对配对好的特征点，对极几何如图7.8所示，若能够得到多 个匹配好的点，则可实现运动轨迹的推测。
如果没有特征点匹配，我们就没法确定p?到底在极线的哪个位置了。那时， 就必须在极线上搜索以获得正确的匹配。
0 2 对极几何
现在，我们从代数角度来看一下这里出现的几何关系。在第一帧的坐标系下，设P的空间位置为 两个像素点p、p?的像素位置为
除了使用线性方法，我们还可以把PnP问题构建成一个定义于李代数上的非线性最 小二乘问题。前面说的线性方法，往往要先求相机位姿，再求空间点位置，而非 线性优化则把它们都看成优化变量，放在一起优化。
02 3D-2D·PnP
考虑n个三维空间点P和它们的投影p,我们希望计算相机的位姿R、t,其李代数表 示为。假设某空间点的坐标为F=[X,,Y,Z,],其投影的像素坐标为μ=[x,,y]],那么 可得像素位置与空间点位置的关系如下：
02
PART ONE
视觉前端——视觉里程计
Hale Waihona Puke 02视觉里程计 7.2.1视觉里程计的数学模型
视觉里程计关心相邻图像之间的相机运动，最简单的情况当然是两张图像 之间的运动 关系。在计算机视觉领域，人类在直觉上看来十分自然的事情，在计算机 视觉中却非常困 难。图像在计算机里只是一个数值矩阵，而在视觉SLAM中，我们只能看到 一个个像素， 知道它们是某些空间点在相机的成像平面上投影的结果。所以，为了定量 地估计相机运动， 必须在了解相机与空间点的几何关系之后进行。
第七章 视觉SLAM
高等院校公共课系列精品教材
大学生礼仪
01
PART ONE
视觉SLAM概述
01视觉SLAM的糖念与框架
slam算法
SLAM算法什么是SLAM算法SLAM（同时定位与地图构建）是一种自主机器人或无人驾驶车辆（Autonomous Vehicles, AVs）能够在未知环境中同时实现自身位置定位与地图构建的算法。
SLAM算法是一个关键的技术，让机器人或AV能够在没有先验地图或GPS定位的情况下，通过使用传感器数据实现实时的定位与地图构建。
传统上，用于SLAM算法的传感器包括摄像头、激光雷达、惯性测量单元（Inertial Measurement Unit, IMU）和里程计。
这些传感器将机器人周围的环境信息转换为数字信号，并且通过机器人自身的运动模型实现对机器人位置的估计。
SLAM算法使用这些传感器数据和运动估计来构建地图，并且随着时间的推移不断更新地图和机器人的位置估计。
SLAM算法的应用领域SLAM算法在许多领域中都有广泛的应用，包括机器人导航、无人驾驶车辆、增强现实（Augmented Reality, AR）和虚拟现实（Virtual Reality, VR）等。
以下是SLAM算法的一些具体应用领域：•机器人导航：SLAM算法使机器人能够在未知环境中进行自主导航，如无人机、巡逻机器人等。
•无人驾驶车辆：SLAM算法在无人驾驶车辆中起着关键作用，它允许车辆实时定位和地图构建，并且根据地图进行路径规划和避障。
•增强现实：SLAM算法可用于识别和追踪物体，从而在用户的视觉场景中添加虚拟对象。
•虚拟现实：SLAM算法可以将虚拟对象与现实世界对齐，从而实现用户在虚拟场景中的自由移动。
SLAM算法的挑战和方法SLAM算法面临着一些挑战，包括传感器噪声、数据关联、计算复杂度和环境动态性等。
为了克服这些挑战，SLAM算法研究者提出了许多方法和技术。
以下是一些常用的SLAM算法方法：•基于滤波器的方法：这些方法使用状态估计滤波器，如卡尔曼滤波器和粒子滤波器，来对机器人的位置进行估计和校正，并且对地图进行构建和更新。
•基于优化的方法：这些方法通过最小化误差函数来估计机器人位置和地图，例如最小二乘法（Least Squares）和非线性优化算法（如梯度下降）。
视觉slam介绍 PPT
3.2 对极几何
• 几何关系：
• P在两个图像的投影为 p 1 , p 2 T 12
• 两个相O 机1 P之间的变换为 e 2 p 2
•
l在2第二个图像上投影为
e1,e2
• 记 ，称为极线，反之亦然
•
p 1 , p 2称为极点
• 实践当T 1中2：
侧重对外在的了解
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
第一讲 视觉SLAM概述 • How to do SLAM？——Se维码 Marker GPS 导轨、磁条 携带于机器人本体上的 IMU 激光 相机
第一讲 视觉SLAM概述
• 相机 • 以一定速率采集图像，形成视频 • 分类 • 单目 Monocular • 双目 Stereo • 深度 RGBD • 其他 鱼眼 全景 Event Camera, etc.
第一讲 视觉SLAM概述
• 回环检测 • 检测机器人是否回到早先位置 • 识别到达过的场景 • 计算图像间的相似性 • 方法：词袋模型
第一讲 视觉SLAM概述
• 建图 • 用于导航、规划、通讯、
可视化、交互等 • 度量地图 vs 拓扑地图 • 稀疏地图 vs 稠密地图
第二讲 相机与图像 Chapter 2: Cameras and Images
3.1 特征点法
• 特征点：图像当中具有代表性的部分
• 可重复性
• 可区别性
• 高效 • 本地 • 特征点的信息
特征描述应该在光照、视角发生少量变化时 仍能保持一致
• 位置、大小、方向、评分等——关键点
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
视觉slam的分类
视觉SLAM的分类引言随着计算机视觉和机器人技术的发展，视觉SLAM（Simultaneous Localization and Mapping，即时定位与建图）作为一种重要的感知和导航技术，被广泛应用于自主导航、增强现实、机器人导航等领域。
视觉SLAM通过从视觉传感器获取图像信息，并将其与运动估计算法相结合，实现同时定位机器人的位置和构建环境地图。
在这篇文章中，我们将对视觉SLAM的分类进行全面、详细、完整且深入地探讨。
单目视觉SLAM概述单目视觉SLAM是指仅通过单个摄像头获取的图像信息来实现同时定位和建图的技术。
相对于使用多个传感器的多传感器SLAM来说，单目视觉SLAM更加具有挑战性，因为单个视角往往无法提供足够的几何信息来进行定位和建图。
方法•特征点法：基于特征点的方法是最常用的单目视觉SLAM方法之一。
通常通过提取图像中的关键点，并使用特征描述子来进行特征匹配和跟踪。
同时，该方法也会估计摄像头的运动和三维场景点的位置，以实现定位和建图。
•直接法：直接法是另一种常用的单目视觉SLAM方法。
该方法通过将图像像素值直接用于估计摄像头的运动和场景的深度信息。
与特征点法相比，直接法能够获得更多的几何信息，但该方法对光照变化和纹理稀疏场景比较敏感。
应用•自主导航：单目视觉SLAM可以用于机器人的自主导航。
通过结合图像信息和运动估计，机器人可以实时地感知自身位置和周围环境，从而进行路径规划和避障。
•增强现实：单目视觉SLAM也可以应用于增强现实。
通过追踪相机的运动以及对场景中物体的建模，可以将虚拟对象与真实世界进行融合，使用户能够在现实世界中与虚拟对象进行交互。
双目视觉SLAM概述双目视觉SLAM是指基于双目（左右）摄像头获取的图像信息来实现同时定位和建图的技术。
相对于单目视觉SLAM来说，双目视觉SLAM可以通过摄像头之间的视差来获得更多的三维信息，从而提高定位和建图的精度。
方法•立体匹配法：双目视觉SLAM中最常用的方法是立体匹配法。
超全SLAM技术及应用介绍
超全SLAM技术及应用介绍SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建，或并发建图与定位。
问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有方法让机器人一边逐步描绘出此环境完全的地图，所谓完全的地图〔a consistent map〕是指不受障碍行进到房间可进入的每个角落。
SLAM最早由Smith、Self和Cheeseman于1988年提出。
由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键。
词语解释Simultaneous Localization and MappingSimultaneous Localization and Mapping, 同步定位与建图。
SLAM问题可以描述为: 机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的根底上建造增量式地图，实现机器人的自主定位和导航。
Scanning Laser Acoustic MicroscopeScanning Laser Acoustic Microscope, 激光扫描声学显微镜。
激光扫描声学显微镜是一种强有力的广泛应用于诸如工业用材料和生物医学领域的无损检测工具，其使用的频率范围为10MHz ~ 500MHz。
Lymphocyte Activation MoleculeLymphocyte Activation Molecule, 医学用语。
Supersonic Low Altitude MissileSLAM — Supersonic Low Altitude Missile〔超音速低空导弹〕的缩写，是美国的一项导弹研制方案。
Symmetrically Loaded Acoustic ModuleSLAM是Symmetrically Loaded Acoustic Module的英文缩写 [1] ，中文意思是平衡装载声学模块。
视觉slam的介绍
•
称为极点
• 实践当中：
•
通过特征匹配得到，P未知，
•
待求(本质矩阵、单应矩阵）
未知
3.3 三角化
• 已知运动时，求解特征点的3D位置 • 几何关系： • 求 时，两侧乘
• 反之亦然
• 或者同时解
•求
的最小二乘解
3.4 PNP
• 已经3D点的空间位置和相机上的投影点， 求相机的旋转和平移（外参）
3.5 光流
• 设 t 时刻位于 x,y 处像素点的灰度值为 • 在 t+dt 时刻，该像素运动到了
• 希望计算运动 dx, dy
• 灰度不变假设： • 注意：灰度不变是一种理想的假设，实际当中由于高光/阴影/材质/曝光等不同，很
可能不成立。
3.5 光流
• 对 t+dt 时刻的灰度进行Taylor展开并保留一阶项：
• 由于灰度不变，所以
• 希望求解dx/dt, dy/dt
因此 =>
x方向梯度
随时间变化
y方向梯度
3.5 光流
• 但本式是一个二元一次线性方程，欠定
• 需要引用额外的约束
• 假定一个窗口（w ´ w）内光度不变：
• 通过超定最小二乘解求得运动 u,v
3.5 光流
最后，我们可以通过光流跟踪的特征的，用PnP、ICP或对极几何来估计 相机运动。总而言之，光流法可以加速基于特征点的视觉里程计算法，避免计 算和匹配描述子的过程，但要求相机运动较慢（或采集频率较高）。
• 相机
• 以一定速率采集图像，形成视频
• 分类
• 单目 Monocular • 双目 Stereo • 深度 RGBD • 其他 鱼眼 全景 Event Camera, etc.