视觉slam介绍知识讲解
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• BRIEF • BRIEF-128：在特征点附近的128次像素比较
3.1.1 ORB特征
• 特征匹配
• 通过描述子的差异判断哪些特征为同一个点 • 暴力匹配：比较图1中每个特征和图2特征的距离 • 加速：快速最近邻（FLANN）
实践：特征提取和匹配
3.2 对极几何
• 特征匹配之后，得到了特征点之间的对应关系
第一讲 视觉SLAM概述
• 当相机运动起来时
• 场景和成像有几何关系 • 近处物体的像运动快 • 远处物体的像运动慢 • 可以推断距离
第一讲 视觉SLAM概述
• 双目相机：左右眼的微小差异判断远近 • 同样，远处物体变化小，近处物体变化大——推算距离 计算量非常大
第一讲 视觉SLAM概述
• 深度相机
• 需要对感光度量化成数值，例如0~255之间的整数（彩色图像还有通道）
实践 点云拼接
第三讲 视觉里程计
Chapter 3: Visual Odometry
wenku.baidu.com
3.1 特征点法
• 经典SLAM模型中以位姿——路标（Landmark）来描述SLAM过程 • 路标是三维空间中固定不变的点，能够在特定位姿下观测到
•
称为极点
• 实践当中：
•
通过特征匹配得到，P未知，
•
待求(本质矩阵、单应矩阵）
未知
3.3 三角化
• 已知运动时，求解特征点的3D位置 • 几何关系： • 求 时，两侧乘
• 反之亦然
• 或者同时解
•求
的最小二乘解
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
3.1.1 ORB特征
• 例子：ORB特征
• 关键点：Oriented FAST • 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转
• 物理手段测量深度 • 结构光 ToF • 主动测量，功耗大 • 深度值较准确 • 量程较小，易受干扰
第一讲 视觉SLAM概述
• 视觉SLAM框架 • 前端：VO • 后端：Optimization • 回环检测 Loop Closing • 建图 Mapping
第一讲 视觉SLAM概述
• 视觉里程计 Visual Odometry
• 如果只有两个单目图像，得到2D-2D间的关系 ——对极几何 • 如果匹配的是帧和地图，得到3D-2D间的关系 ——PnP • 如果匹配的是RGB-D图，得到3D-3D间的关系 ——ICP
3.2 对极几何
• 几何关系：
• P在两个图像的投影为
• 两个相机之间的变换为
•
在第二个图像上投影为
• 记 ，称为极线，反之亦然
• 相机
• 以一定速率采集图像，形成视频
• 分类
• 单目 Monocular • 双目 Stereo • 深度 RGBD • 其他 鱼眼 全景 Event Camera, etc.
第一讲 视觉SLAM概述
• 相机的本质
• 以二维投影形式记录了三维世界的信息 • 此过程丢掉了一个维度：距离
• 各类相机主要区别：有没有深度信息
• 这里 R, t 或 T 称为外参 • 外参是SLAM估计的目标
先把P从世界坐标变到 相机坐标系下
第二讲 相机模型
• RGB-D相机：物理手段测量深度
• ToF或结构光两种主要原理 • 通常能得到与RGB图对应的深度图
第二讲 图像
• 相机成像后，生成了图像 • 图像在计算机中以矩阵形式存储（二维数组）
第二讲 相机模型
• 小孔成像模型
原始形式 翻转到前面 整理之：
第二讲 相机模型
• 成像平面到像素坐标
代入 得
第二讲 相机模型
展开形式 矩阵形式
传统习惯
左侧是齐次坐标 中间矩阵称为内参数 右侧是非齐次坐标 内参通常在相机生产之后就已固定
第二讲 相机模型
• 除内参外，相机坐标系与世界坐标系还相差一个变换：
• 单目：没有深度，必须通过移动相机产生深度 Moving View Stereo • 双目：通过视差计算深度 Stereo • RGBD：通过物理方法测量深度
第一讲 视觉SLAM概述
仅有一个图像时：
• 可能是很近但很小的物体 • 可能是很远但很大的物体
它们成像相同
必须在移动相机后才能得知相机的运动和 场景的结构
视觉SLAM介绍
提要
1. 视觉SLAM概述 2. 相机与图像 3. 视觉里程计 4. 后端优化 5. 回环检测 6. 地图构建
第一讲 视觉SLAM概述
• Question 机器人自主运动两大基本问题
• 我在什么地方？——定位 • 周围长什么样子？——建图 • 机器人的“内外兼修”：定位侧重对自身的了解，建图侧重对外在的了解
• 数量充足，以实现良好的定位 • 较好的区分性，以实现数据关联
• 在视觉SLAM中，可利用图像特征点作为SLAM中的路标
3.1 特征点法
• 特征点：图像当中具有代表性的部分
• 可重复性 • 可区别性 • 高效 • 本地
• 特征点的信息
• 位置、大小、方向、评分等——关键点
特征描述应该在光照、视角发生少量变化时 仍能保持一致
• 相邻图像估计相机运动 • 基本形式：通过两张图像计算
运动和结构 • 不可避免地有漂移
• 方法
• 特征点法 • 直接法
第一讲 视觉SLAM概述
• 后端优化
• 从带有噪声的数据中优化轨迹和地图 状态估计问题 • 最大后验概率估计 MAP • 前期以EKF为代表，现在以图优化为代表
第一讲 视觉SLAM概述
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
第一讲 视觉SLAM概述
• How to do SLAM？——Sensors
两类传感器 • 安装于环境中的：
• 二维码 Marker • GPS • 导轨、磁条 • 携带于机器人本体上的 • IMU • 激光 • 相机
第一讲 视觉SLAM概述
• 回环检测
• 检测机器人是否回到早先位置 • 识别到达过的场景 • 计算图像间的相似性
• 方法：词袋模型
第一讲 视觉SLAM概述
• 建图
• 用于导航、规划、通讯、 可视化、交互等
• 度量地图 vs 拓扑地图 • 稀疏地图 vs 稠密地图
第二讲 相机与图像
Chapter 2: Cameras and Images
3.1.1 ORB特征
• 特征匹配
• 通过描述子的差异判断哪些特征为同一个点 • 暴力匹配：比较图1中每个特征和图2特征的距离 • 加速：快速最近邻（FLANN）
实践：特征提取和匹配
3.2 对极几何
• 特征匹配之后，得到了特征点之间的对应关系
第一讲 视觉SLAM概述
• 当相机运动起来时
• 场景和成像有几何关系 • 近处物体的像运动快 • 远处物体的像运动慢 • 可以推断距离
第一讲 视觉SLAM概述
• 双目相机：左右眼的微小差异判断远近 • 同样，远处物体变化小，近处物体变化大——推算距离 计算量非常大
第一讲 视觉SLAM概述
• 深度相机
• 需要对感光度量化成数值，例如0~255之间的整数（彩色图像还有通道）
实践 点云拼接
第三讲 视觉里程计
Chapter 3: Visual Odometry
wenku.baidu.com
3.1 特征点法
• 经典SLAM模型中以位姿——路标（Landmark）来描述SLAM过程 • 路标是三维空间中固定不变的点，能够在特定位姿下观测到
•
称为极点
• 实践当中：
•
通过特征匹配得到，P未知，
•
待求(本质矩阵、单应矩阵）
未知
3.3 三角化
• 已知运动时，求解特征点的3D位置 • 几何关系： • 求 时，两侧乘
• 反之亦然
• 或者同时解
•求
的最小二乘解
• 特征点周围的图像信息——描述子（Descriptor）
• 主流方法：SIFT/SURF/ORB （OpenCV features2d模块）
3.1.1 ORB特征
• 例子：ORB特征
• 关键点：Oriented FAST • 描述：BRIEF
• FAST
• 连续N个点的灰度有明显差异
• Oriented FAST • 在FAST基础上计算旋转
• 物理手段测量深度 • 结构光 ToF • 主动测量，功耗大 • 深度值较准确 • 量程较小，易受干扰
第一讲 视觉SLAM概述
• 视觉SLAM框架 • 前端：VO • 后端：Optimization • 回环检测 Loop Closing • 建图 Mapping
第一讲 视觉SLAM概述
• 视觉里程计 Visual Odometry
• 如果只有两个单目图像，得到2D-2D间的关系 ——对极几何 • 如果匹配的是帧和地图，得到3D-2D间的关系 ——PnP • 如果匹配的是RGB-D图，得到3D-3D间的关系 ——ICP
3.2 对极几何
• 几何关系：
• P在两个图像的投影为
• 两个相机之间的变换为
•
在第二个图像上投影为
• 记 ，称为极线，反之亦然
• 相机
• 以一定速率采集图像，形成视频
• 分类
• 单目 Monocular • 双目 Stereo • 深度 RGBD • 其他 鱼眼 全景 Event Camera, etc.
第一讲 视觉SLAM概述
• 相机的本质
• 以二维投影形式记录了三维世界的信息 • 此过程丢掉了一个维度：距离
• 各类相机主要区别：有没有深度信息
• 这里 R, t 或 T 称为外参 • 外参是SLAM估计的目标
先把P从世界坐标变到 相机坐标系下
第二讲 相机模型
• RGB-D相机：物理手段测量深度
• ToF或结构光两种主要原理 • 通常能得到与RGB图对应的深度图
第二讲 图像
• 相机成像后，生成了图像 • 图像在计算机中以矩阵形式存储（二维数组）
第二讲 相机模型
• 小孔成像模型
原始形式 翻转到前面 整理之：
第二讲 相机模型
• 成像平面到像素坐标
代入 得
第二讲 相机模型
展开形式 矩阵形式
传统习惯
左侧是齐次坐标 中间矩阵称为内参数 右侧是非齐次坐标 内参通常在相机生产之后就已固定
第二讲 相机模型
• 除内参外，相机坐标系与世界坐标系还相差一个变换：
• 单目：没有深度，必须通过移动相机产生深度 Moving View Stereo • 双目：通过视差计算深度 Stereo • RGBD：通过物理方法测量深度
第一讲 视觉SLAM概述
仅有一个图像时：
• 可能是很近但很小的物体 • 可能是很远但很大的物体
它们成像相同
必须在移动相机后才能得知相机的运动和 场景的结构
视觉SLAM介绍
提要
1. 视觉SLAM概述 2. 相机与图像 3. 视觉里程计 4. 后端优化 5. 回环检测 6. 地图构建
第一讲 视觉SLAM概述
• Question 机器人自主运动两大基本问题
• 我在什么地方？——定位 • 周围长什么样子？——建图 • 机器人的“内外兼修”：定位侧重对自身的了解，建图侧重对外在的了解
• 数量充足，以实现良好的定位 • 较好的区分性，以实现数据关联
• 在视觉SLAM中，可利用图像特征点作为SLAM中的路标
3.1 特征点法
• 特征点：图像当中具有代表性的部分
• 可重复性 • 可区别性 • 高效 • 本地
• 特征点的信息
• 位置、大小、方向、评分等——关键点
特征描述应该在光照、视角发生少量变化时 仍能保持一致
• 相邻图像估计相机运动 • 基本形式：通过两张图像计算
运动和结构 • 不可避免地有漂移
• 方法
• 特征点法 • 直接法
第一讲 视觉SLAM概述
• 后端优化
• 从带有噪声的数据中优化轨迹和地图 状态估计问题 • 最大后验概率估计 MAP • 前期以EKF为代表，现在以图优化为代表
第一讲 视觉SLAM概述
• 准确的定位需要精确的地图 • 精确的地图来自准确的定位
第一讲 视觉SLAM概述
• How to do SLAM？——Sensors
两类传感器 • 安装于环境中的：
• 二维码 Marker • GPS • 导轨、磁条 • 携带于机器人本体上的 • IMU • 激光 • 相机
第一讲 视觉SLAM概述
• 回环检测
• 检测机器人是否回到早先位置 • 识别到达过的场景 • 计算图像间的相似性
• 方法：词袋模型
第一讲 视觉SLAM概述
• 建图
• 用于导航、规划、通讯、 可视化、交互等
• 度量地图 vs 拓扑地图 • 稀疏地图 vs 稠密地图
第二讲 相机与图像
Chapter 2: Cameras and Images