视觉slam介绍
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
t
3.5 光流
• 对 t+dt 时刻的灰度进行Taylor展开并保留一阶项：
• 由于灰度不变，所以
• 希望求解dx/dt, dy/dt
因此 =>
x方向梯度 随时间变化 y方向梯度
w´w
最后，我们可以通过光流跟踪的特征的，用PnP、ICP 或对极几何来估计相机运动。总而言之，光流法可以加速 基于特征点的视觉里程计算法，避免计算和匹配描述子的 过程，但要求相机运动较慢（或采集频率较高）。
• 代数的解法/优化的解法
• 代数的
• DLT • P3P • EPnP/UPnP/…
• 优化的：Bundle Adjustment
• DLT（直接线性变换）
• 设空间点 • 投影点为： • 投影关系： • 展开：
• 注意最下一行为
归一化坐标
•
用它消掉前两行中的s，则一个特征点
提供两个方程：
• 为求解12个未知数，需要12/2=6对点。 • 将它看成一个关于t的线性方程，求解 （超定时求最小二乘解）
• 成像平面到像素 坐标
代入 得
展开形式 矩阵形式
传统习惯
左侧是齐次坐标中间矩阵称为内参右数侧是非齐次坐标 内参通常在相机生产之后就已固定
先把P从世界坐标变到 相机坐标系下
• RGB-D相机：物理手段测量深度
• ToF或结构光两种主要原理 • 通常能得到与RGB图对应的深度图
第三讲 视觉里程计
• 记 ，称为极线，反之亦然
•
称为极点
• 实践当中：
•
通过特征匹配得到，P未知，
未知
• 待求(本质矩阵、单应矩阵）
• 已知运动时，求解特征点的3D位置 • 几何关系： • 求 时，两侧乘
• 反之亦然
• 或者同时解
•求
的最小二乘解
• 已经3D点的空间位置和相机上的投影点， 求相机的旋转和平移（外参）
Chapter 3: Visual Odometry
• 特征点：图像当中具有代表性的部分
• 可重复性 • 可区别性 • 高效 • 本地
• 特征点的信息
特征描述应该在光照、视角发生少量变化
• 位置、大小、方向、评分等——关键点
仍能保持一致
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
• 当相机运动起来时
• 场景和成像有几何关 系
• 近处物体的像运动快 • 远处物体的像运动慢 • 可以推断距离
• 深度相机
• 物理手段测量深 度
• 结构光 ToF • 主动测量，功耗
大 • 深度值较准确 • 量程较小，易受
干扰
• 视觉里程计 Visual Odometry
• 相邻图像估计相机运 动
可以发现，光流法
在跟踪过程中一部分特 征点会丢失，在第一帧 时有1749个特征点，而 在第10帧时大约还有 1640个特征点，相机的 视角在发生改变，所以 我们使用光流法时要注 意特征点的重新采集。
第四讲 后端
Chapter 4: Backend
4.1 BA与图优化
BA 算法起源于上世纪 60 年代，开始应用于图片拼接方向 ，正是由于 BA 的出现才使得图片自动拼接称为可能。在视觉 SLAM 产生之后，BA 被广泛应用于视觉SLAM的位姿优化， 其将相机位姿和特征点的空间位置进行同时优化，获得优化后 的结果。
• 基本形式：通过两张 图像计算运动和结构
• 不可避免地有漂移
• 方法
• 特征点法 • 直接法
• 建图
• 用于导航、规划、 通讯、可视化、交 互等
• 度量地图 vs 拓扑地 图
• 稀疏地图 vs 稠密地 图
第二讲 相机与图像
Chapter 2: Cameras and Images
原始形式 翻转到前面 整理之：
视觉SLAM介绍
提要
第一讲 视觉slam概述
Chapter 1: Introduction
• Question 机器人自主运动两大基本问题
• 我在什么地方？——定位 • 周围长什么样子？——建图 • 机器人的“内外兼修”：定位侧重对自身的了解，建图侧重对外在的了解
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
• How to do SLAM？——Sensors
两类传感器 • 安装于环境中的：
• 二维码 Marker • GPS • 导轨、磁条 • 携带于机器人本体上的 • IMU • 激光 • 相机
仅有一个图像时：
• 可能是很近但很小的物体 • 可能是很远但很大的物体
它们成像相同
必须在移动相机后才能得知相 机的运动和场景的结构
回环检测本质上是图像相似度计算 的问题，一般使用 BOW 字典对图片 进行描述，通过检验图片中单词的数 量形成直方图，通过检验直方图之间 的关系确定图像之间的相似程度。一 般使用词袋模型判断回环检测需要进 行词典的建立以及后续对图像相似性 的处理。
wenku.baidu.com
• BA问题与图结构的关系
• BA虽是个纯优化问题，但亦可以用图模型表述出来
• 顶点为优化变量，边为运动/观测约束
• 本身还有一些特殊的结构
特点：
• 考虑在位姿 i 处对路标 j 的一次观测• z每是ij：个相观机测，只一关个系是两路个标变量，其中一个
( ) eij = zij - h xi, yj
BA 本身也是一个非线性最小二乘问题。对于视觉 SLAM 来说 BA 问题可以简单的描述成在不同的相机位姿下看到了相 同的空间点，于是通过观测使得空间点和相机位姿之间产生了 约束，并且由空间点在两幅图像上的重投影产生了联系。由重 投影关系产生的误差即可建立最小二乘问题，求解该问题即可 对相机位姿和空间点进行同时优化。
• 例子：ORB特征
• 关键点：Oriented FAST • 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转
• BRIEF • BRIEF-128：在特征点附近的128次像素比较
• 几何关系：
• P在两个图像的投影为 • 两个相机之间的变换为 • 在第二个图像上投影为
• 纯视觉Ba中，不存在相机与相机/路标
与路标之间的关联
• 整个误差函数由许多个这样小的项组 成
Dxc
Dx p
第五讲 回环检测
Chapter 5: Loop detection
为消除累计误差，获得全局一致的 地图和轨迹，仅仅通过帧间数据匹配 估计运动位姿是远远不够的，需要在 全局数据中进行处理才能得到更好的 结果。在这个过程中，回环检测就发 挥了非常重要的作用。回环检测可以 有效修正运动轨迹，将累计误差消除 。
3.5 光流
• 对 t+dt 时刻的灰度进行Taylor展开并保留一阶项：
• 由于灰度不变，所以
• 希望求解dx/dt, dy/dt
因此 =>
x方向梯度 随时间变化 y方向梯度
w´w
最后，我们可以通过光流跟踪的特征的，用PnP、ICP 或对极几何来估计相机运动。总而言之，光流法可以加速 基于特征点的视觉里程计算法，避免计算和匹配描述子的 过程，但要求相机运动较慢（或采集频率较高）。
• 代数的解法/优化的解法
• 代数的
• DLT • P3P • EPnP/UPnP/…
• 优化的：Bundle Adjustment
• DLT（直接线性变换）
• 设空间点 • 投影点为： • 投影关系： • 展开：
• 注意最下一行为
归一化坐标
•
用它消掉前两行中的s，则一个特征点
提供两个方程：
• 为求解12个未知数，需要12/2=6对点。 • 将它看成一个关于t的线性方程，求解 （超定时求最小二乘解）
• 成像平面到像素 坐标
代入 得
展开形式 矩阵形式
传统习惯
左侧是齐次坐标中间矩阵称为内参右数侧是非齐次坐标 内参通常在相机生产之后就已固定
先把P从世界坐标变到 相机坐标系下
• RGB-D相机：物理手段测量深度
• ToF或结构光两种主要原理 • 通常能得到与RGB图对应的深度图
第三讲 视觉里程计
• 记 ，称为极线，反之亦然
•
称为极点
• 实践当中：
•
通过特征匹配得到，P未知，
未知
• 待求(本质矩阵、单应矩阵）
• 已知运动时，求解特征点的3D位置 • 几何关系： • 求 时，两侧乘
• 反之亦然
• 或者同时解
•求
的最小二乘解
• 已经3D点的空间位置和相机上的投影点， 求相机的旋转和平移（外参）
Chapter 3: Visual Odometry
• 特征点：图像当中具有代表性的部分
• 可重复性 • 可区别性 • 高效 • 本地
• 特征点的信息
特征描述应该在光照、视角发生少量变化
• 位置、大小、方向、评分等——关键点
仍能保持一致
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
• 当相机运动起来时
• 场景和成像有几何关 系
• 近处物体的像运动快 • 远处物体的像运动慢 • 可以推断距离
• 深度相机
• 物理手段测量深 度
• 结构光 ToF • 主动测量，功耗
大 • 深度值较准确 • 量程较小，易受
干扰
• 视觉里程计 Visual Odometry
• 相邻图像估计相机运 动
可以发现，光流法
在跟踪过程中一部分特 征点会丢失，在第一帧 时有1749个特征点，而 在第10帧时大约还有 1640个特征点，相机的 视角在发生改变，所以 我们使用光流法时要注 意特征点的重新采集。
第四讲 后端
Chapter 4: Backend
4.1 BA与图优化
BA 算法起源于上世纪 60 年代，开始应用于图片拼接方向 ，正是由于 BA 的出现才使得图片自动拼接称为可能。在视觉 SLAM 产生之后，BA 被广泛应用于视觉SLAM的位姿优化， 其将相机位姿和特征点的空间位置进行同时优化，获得优化后 的结果。
• 基本形式：通过两张 图像计算运动和结构
• 不可避免地有漂移
• 方法
• 特征点法 • 直接法
• 建图
• 用于导航、规划、 通讯、可视化、交 互等
• 度量地图 vs 拓扑地 图
• 稀疏地图 vs 稠密地 图
第二讲 相机与图像
Chapter 2: Cameras and Images
原始形式 翻转到前面 整理之：
视觉SLAM介绍
提要
第一讲 视觉slam概述
Chapter 1: Introduction
• Question 机器人自主运动两大基本问题
• 我在什么地方？——定位 • 周围长什么样子？——建图 • 机器人的“内外兼修”：定位侧重对自身的了解，建图侧重对外在的了解
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
• How to do SLAM？——Sensors
两类传感器 • 安装于环境中的：
• 二维码 Marker • GPS • 导轨、磁条 • 携带于机器人本体上的 • IMU • 激光 • 相机
仅有一个图像时：
• 可能是很近但很小的物体 • 可能是很远但很大的物体
它们成像相同
必须在移动相机后才能得知相 机的运动和场景的结构
回环检测本质上是图像相似度计算 的问题，一般使用 BOW 字典对图片 进行描述，通过检验图片中单词的数 量形成直方图，通过检验直方图之间 的关系确定图像之间的相似程度。一 般使用词袋模型判断回环检测需要进 行词典的建立以及后续对图像相似性 的处理。
wenku.baidu.com
• BA问题与图结构的关系
• BA虽是个纯优化问题，但亦可以用图模型表述出来
• 顶点为优化变量，边为运动/观测约束
• 本身还有一些特殊的结构
特点：
• 考虑在位姿 i 处对路标 j 的一次观测• z每是ij：个相观机测，只一关个系是两路个标变量，其中一个
( ) eij = zij - h xi, yj
BA 本身也是一个非线性最小二乘问题。对于视觉 SLAM 来说 BA 问题可以简单的描述成在不同的相机位姿下看到了相 同的空间点，于是通过观测使得空间点和相机位姿之间产生了 约束，并且由空间点在两幅图像上的重投影产生了联系。由重 投影关系产生的误差即可建立最小二乘问题，求解该问题即可 对相机位姿和空间点进行同时优化。
• 例子：ORB特征
• 关键点：Oriented FAST • 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转
• BRIEF • BRIEF-128：在特征点附近的128次像素比较
• 几何关系：
• P在两个图像的投影为 • 两个相机之间的变换为 • 在第二个图像上投影为
• 纯视觉Ba中，不存在相机与相机/路标
与路标之间的关联
• 整个误差函数由许多个这样小的项组 成
Dxc
Dx p
第五讲 回环检测
Chapter 5: Loop detection
为消除累计误差，获得全局一致的 地图和轨迹，仅仅通过帧间数据匹配 估计运动位姿是远远不够的，需要在 全局数据中进行处理才能得到更好的 结果。在这个过程中，回环检测就发 挥了非常重要的作用。回环检测可以 有效修正运动轨迹，将累计误差消除 。