5.双目视觉里程计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1) 特征分为4类 (corner max, corner min, blob max and blob min). 2) 每一类按强度排列 3) 每一类强度最大的特征将会到list中 4) 重复第三部 5) list中前n个特征将用来运动估计
4.运动估计分为两步 1）旋转：5点法+RANSAC（避免了双目匹配误差、左右相机模型误差） 2）平移：最小化重投影误差
2.运动模型
3.
•SOFT
Stereo odometry based on careful feature selection and tracking ECMR , 2015
1.特征匹配
blob and corner nonmaximum suppression SAD Circular matching NCC
An Overview to Stereo Visual Odometry
谢晓佳 2016/04/30
Why stereo Visual Odometry?
•双目没有单目的尺度问题，能够完全的恢复相机的运动轨迹 （单目恢复的轨迹是up to scale） •不需要单目中的初始化阶段来恢复landmark的深度
完美的匹配在图像上只有 1pix的误差，理论上其重 投影误差应该很小的，然 而根据ground truth计算 的重投影误差有7pix！ ok，统计一下
d()：根据deformation matrix，将图像上的点的位置映射到另一个位置
•TLBBA
High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度实时视觉定位的关键技术研究 卢维
相邻帧特征跟踪的误差是零均值、独立于age、同分布的！ 2.feature propagation technique
倾向于最小化 age大的误差项
W ∝1/RMSE（age）
上一帧3d点重投影到当前帧
integrated feature可以看做是经过滤 波器得到的，每次观测作为更新的量
a_i is the age of the feature at time t −1
3D-3D
3D-2D
Can be solved by SVD or MLE
Tricks
•VISO2-S StereoScan: Dense 3d Reconstruction in Real-time
IV 2011
1.采用自己定义的检测子和描述子，SSE指令集优化
2.鲁棒性的匹配策略 •using motion model 前后帧匹配 •two pass matching 对图像区域的运动进行统计 •circular matching 一个匹配需要4个点 •remove outliers by voting 三角剖分并投票
相邻帧特征跟踪的误差是 零均值、独立于age、同分布的！
Laplacian-like distribution, zero-mean.
容易跟丢的特征，其误差一般很大
age为40的特征，累计误差 vs Age
•MFI
Visual Odometry by Multi-frame Feature Integration. ICCV2013
2.特征表示：
• ID, • age,（匹配成功, age++） • refined current position in the image, • feature strength, • belonging class, • initial descriptor.（reduce drift）
3.特征选择 将图像按50*50分割成多个buckets，每个bucket：
age越大，其值越接近 上次计算的位置
3. A predictor/corrector technique to detect and correct tracking errors
方形和圆形的距离过大，将特征替换为方形位置的特征。 当替换次数过多，认为该特征不稳定，直接剔除。
•S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015 •S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 •ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015
•VISO2-S StereoScan: Dense 3d Reconstruction in Real-time
IV 2011
3. 对匹配进行精细化定位和筛选（网格） 4. 计算重投影误差时对像素点增加了权重
•SSLAM Robust Selective Stereo SLAM without Loop Closure and Bundle Adjustment
SAD
SSD
NCC
Triangulation
获得(ul,ur,v)之后，计算特征点在相机坐标系下的坐标
Tx
d
B为baseline，单位m u_c, v_c分别为principal point 在图像的横纵坐标 d为视差，单位均为pix
4. 前后图像特征匹配
根据描述子距离在限定区域内进行匹配
5. 增量式的运动估计
根据匹配后的特征点和特征点的坐标，恢复两个时刻相机的运动 在匹配过程中，存在大量的误匹配，需要用RANSAC（MLESAC）！ • 从M中选取3个点对 • 由3个点对估计参数 • 根据估计参数得到的模型计算误差，如果小于给定误差，则认为是inlier • 重复S次，找到inliers最大的点集 • 对该点集进行计算，得到最终T
1. 特征检测与描述 HarrisZ detector、sGLOH descriptor 2. 环形匹配 3. Pose Estimation Constrained by Temporal Flow
图像的分辨率决定了匹配后特征点位置的不确定性 只有这些match之间Temporal Flow较大时，不确定才小 因此当flow大于特定值的匹配对所占比率
1. 利用的GPU加速的SiftGPU
•只计算两个scale •图像输入为480*300
First stage
2. 估计特征点的不确定性
3. 两阶段的local BA Second stage
3D-3D 这个方程存在两个问题 •3d点的误差分布不是均匀的，例如远的点误差很大 •将每一个点都均等的对待 3D-2D
•MFI
Visual Odometry by Multi-frame Feature Integration. ICCV2013
1. 统计分析了特征点跟踪的误差 •对检测到的新的特征点，计算其3d坐标（original 3D point） •在其后的几帧中对这个特征点进行跟踪，得到其坐标u、v •根据ground truth motion计算这个特征点在这几帧的3d点（ground truth 3D point），计算重 投影坐标u'、 v' •统计u-u‘、v-v'、d-d’的分布
ICIAP 2013
较大时才做运动估计
•2FO-CC Improving the Egomotion Estimation by Correcting the Calibration Bias VISAPP 2015 重投影误差在左右图像中不是均匀分布（inaccurate calibration）
1. 获得左右图像、图像校正
2. 提取图像特征点
要求detector找到的特征点具有重复性和稳定性
• differents viewpoint
光照、尺度、旋转…
3. 左右图像特征匹配、获取特征点坐标
Stereo matching algorithm
对于校正的左右图像，其基线是水平的，选取左图特征点临近的N*N个像素组成patch，进行相似性检验
•cv4xv1-sc
Robust Stereo Visual Odometry from Monocular Techniques. IV2015
1.采用和单目的Байду номын сангаас法对特征进行跟踪
•FAST-ANMS-BRIEEF提取特征 •将上一帧Triangulation的Map point根据motion model投影到当前帧的 左图，根据特征描述进行匹配 •3D-2D、PNP-RANSAC计算T •将上一帧Triangulation的Map point根据T投影到当前帧的左图，根据 特征描述再一次进行匹配 •按照相同方法找到Map point（在左图上有匹配的）在右图的匹配 •左右匹配，验证重投影误差
Algorithm Overview
Input
左图像、右图像序列、左右相机的内参、外参
Output 图像对之间的位姿关系、相机轨迹（基于特征点的稀疏3d地图，optional）
1.获得左右图像、图像校正 2.提取图像特征点 3.左右图像特征匹配、获取特征点坐标 4.前后图像特征匹配 5.增量式的运动估计
4.运动估计分为两步 1）旋转：5点法+RANSAC（避免了双目匹配误差、左右相机模型误差） 2）平移：最小化重投影误差
2.运动模型
3.
•SOFT
Stereo odometry based on careful feature selection and tracking ECMR , 2015
1.特征匹配
blob and corner nonmaximum suppression SAD Circular matching NCC
An Overview to Stereo Visual Odometry
谢晓佳 2016/04/30
Why stereo Visual Odometry?
•双目没有单目的尺度问题，能够完全的恢复相机的运动轨迹 （单目恢复的轨迹是up to scale） •不需要单目中的初始化阶段来恢复landmark的深度
完美的匹配在图像上只有 1pix的误差，理论上其重 投影误差应该很小的，然 而根据ground truth计算 的重投影误差有7pix！ ok，统计一下
d()：根据deformation matrix，将图像上的点的位置映射到另一个位置
•TLBBA
High-performance visual odometry with two- stage local binocular BA and GPU IV 2013 高精度实时视觉定位的关键技术研究 卢维
相邻帧特征跟踪的误差是零均值、独立于age、同分布的！ 2.feature propagation technique
倾向于最小化 age大的误差项
W ∝1/RMSE（age）
上一帧3d点重投影到当前帧
integrated feature可以看做是经过滤 波器得到的，每次观测作为更新的量
a_i is the age of the feature at time t −1
3D-3D
3D-2D
Can be solved by SVD or MLE
Tricks
•VISO2-S StereoScan: Dense 3d Reconstruction in Real-time
IV 2011
1.采用自己定义的检测子和描述子，SSE指令集优化
2.鲁棒性的匹配策略 •using motion model 前后帧匹配 •two pass matching 对图像区域的运动进行统计 •circular matching 一个匹配需要4个点 •remove outliers by voting 三角剖分并投票
相邻帧特征跟踪的误差是 零均值、独立于age、同分布的！
Laplacian-like distribution, zero-mean.
容易跟丢的特征，其误差一般很大
age为40的特征，累计误差 vs Age
•MFI
Visual Odometry by Multi-frame Feature Integration. ICCV2013
2.特征表示：
• ID, • age,（匹配成功, age++） • refined current position in the image, • feature strength, • belonging class, • initial descriptor.（reduce drift）
3.特征选择 将图像按50*50分割成多个buckets，每个bucket：
age越大，其值越接近 上次计算的位置
3. A predictor/corrector technique to detect and correct tracking errors
方形和圆形的距离过大，将特征替换为方形位置的特征。 当替换次数过多，认为该特征不稳定，直接剔除。
•S-PTAM Stereo Parallel Tracking and Mapping for Robot localization IROS 2015 •S-LSD-SLAM Large-Scale Direct SLAM with Stereo Cameras IROS 2015 •ORB-SLAM2 a Versatile and Accurate Monocular SLAM System TRO 2015
•VISO2-S StereoScan: Dense 3d Reconstruction in Real-time
IV 2011
3. 对匹配进行精细化定位和筛选（网格） 4. 计算重投影误差时对像素点增加了权重
•SSLAM Robust Selective Stereo SLAM without Loop Closure and Bundle Adjustment
SAD
SSD
NCC
Triangulation
获得(ul,ur,v)之后，计算特征点在相机坐标系下的坐标
Tx
d
B为baseline，单位m u_c, v_c分别为principal point 在图像的横纵坐标 d为视差，单位均为pix
4. 前后图像特征匹配
根据描述子距离在限定区域内进行匹配
5. 增量式的运动估计
根据匹配后的特征点和特征点的坐标，恢复两个时刻相机的运动 在匹配过程中，存在大量的误匹配，需要用RANSAC（MLESAC）！ • 从M中选取3个点对 • 由3个点对估计参数 • 根据估计参数得到的模型计算误差，如果小于给定误差，则认为是inlier • 重复S次，找到inliers最大的点集 • 对该点集进行计算，得到最终T
1. 特征检测与描述 HarrisZ detector、sGLOH descriptor 2. 环形匹配 3. Pose Estimation Constrained by Temporal Flow
图像的分辨率决定了匹配后特征点位置的不确定性 只有这些match之间Temporal Flow较大时，不确定才小 因此当flow大于特定值的匹配对所占比率
1. 利用的GPU加速的SiftGPU
•只计算两个scale •图像输入为480*300
First stage
2. 估计特征点的不确定性
3. 两阶段的local BA Second stage
3D-3D 这个方程存在两个问题 •3d点的误差分布不是均匀的，例如远的点误差很大 •将每一个点都均等的对待 3D-2D
•MFI
Visual Odometry by Multi-frame Feature Integration. ICCV2013
1. 统计分析了特征点跟踪的误差 •对检测到的新的特征点，计算其3d坐标（original 3D point） •在其后的几帧中对这个特征点进行跟踪，得到其坐标u、v •根据ground truth motion计算这个特征点在这几帧的3d点（ground truth 3D point），计算重 投影坐标u'、 v' •统计u-u‘、v-v'、d-d’的分布
ICIAP 2013
较大时才做运动估计
•2FO-CC Improving the Egomotion Estimation by Correcting the Calibration Bias VISAPP 2015 重投影误差在左右图像中不是均匀分布（inaccurate calibration）
1. 获得左右图像、图像校正
2. 提取图像特征点
要求detector找到的特征点具有重复性和稳定性
• differents viewpoint
光照、尺度、旋转…
3. 左右图像特征匹配、获取特征点坐标
Stereo matching algorithm
对于校正的左右图像，其基线是水平的，选取左图特征点临近的N*N个像素组成patch，进行相似性检验
•cv4xv1-sc
Robust Stereo Visual Odometry from Monocular Techniques. IV2015
1.采用和单目的Байду номын сангаас法对特征进行跟踪
•FAST-ANMS-BRIEEF提取特征 •将上一帧Triangulation的Map point根据motion model投影到当前帧的 左图，根据特征描述进行匹配 •3D-2D、PNP-RANSAC计算T •将上一帧Triangulation的Map point根据T投影到当前帧的左图，根据 特征描述再一次进行匹配 •按照相同方法找到Map point（在左图上有匹配的）在右图的匹配 •左右匹配，验证重投影误差
Algorithm Overview
Input
左图像、右图像序列、左右相机的内参、外参
Output 图像对之间的位姿关系、相机轨迹（基于特征点的稀疏3d地图，optional）
1.获得左右图像、图像校正 2.提取图像特征点 3.左右图像特征匹配、获取特征点坐标 4.前后图像特征匹配 5.增量式的运动估计