ORBSLAM总结

InputOutputArray cameraMatrix, CV_OUT InputOutputArray distCoeffs,OutputArrayOfArrays rvecs, OutputArrayOfArrays tvecs,int flags=0, TermCriteria criteria = TermCriteria( TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON) );
局部地图构建。包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整（ Local BA），最后再对插入的关键帧进行筛选，去除多余的关键帧。
（3）闭环检测（LoopClosing） 这一部分主要分为两个过程，分别是闭环探测和闭环校正。闭环检测先通过bag-of-words模型加速闭环匹配帧的
相机标定
5. 相机标定 获取到棋盘标定图的内角点图像坐标之后，就可以使用calibrateCamera函数进行标定，计算相机内参和外参系数。
CV_EXPORTS_W double calibrateCamera( InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints, Size imageSize,CV_OUT
第一个参数Image，传入拍摄的棋盘图Mat图像，必须是8位的灰度或者彩色图像； 第二个参数patternSize，每个棋盘图上内角点的行列数，一般情况下，行列数不要相同，便于后续标定程序识别标定 板的方向； 第三个参数corners，用于存储检测到的内角点图像坐标位置，一般用元素是Point2f的向量来表示：vector<Point2f> image_points_buf; 第四个参数flage：用于定义棋盘图上内角点查找的不同处理方式，有默认值。
3.使用the Essential Graph来优化位姿实现回环检测
（为了在优化阶段减小计算量，能够连接所有的node，但是edge会减少很多。可以认为是Covisibity Graph的最小生成树（MST）。）
4.相机重定位，视点和光照改变都适用
5.根据对平面和非平面选择不同模型，实现自动初始化
6.舍弃多余的关键帧，提高跟踪鲁棒性，加强长时间操作
入口
Tracking线程
LocalMapping线程
Tracking线程
Tracking线程
Tracking线程
Tracking线程
02 Part Two 相机标定
相机标定
相机标定的目的：获取摄像机的内参和外参矩阵（同时也会得到每一幅标定图像的选择和平移矩阵），内参和外参系数 可以对之后相机拍摄的图像就进行矫正，得到畸变相对很小的图像。
系统架构
系统架构
系统架构
（1）跟踪（Tracking） 前端位姿跟踪线程采用恒速模型，并通过优化重投影误差优化位姿。这一部分主要工作是从图像中提取ORB特征，
根据上一帧进行姿态估计，或者通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规 则确定新的关键帧。
（2）建图（LocalMapping） 通过MapPoints维护关键帧之间的共视关系，通过局部BA优化共视关键帧位姿和MapPoints。这一部分主要完成
rosrun rviz rviz -d Data/rviz.rviz ORB_SLAM 节点处理得到的地图被发布到话题 /ORB_SLAM/Map 中，摄像机当前位姿和地图全局坐标原点通过 /tf 功能包分别发布到话题 /ORB_SLAM/Camera 和话题 /ORB_SLAM/World 中，通过运行 rviz 功能包来查看地图
Subscribed topics: * /camera/image_raw [sensor_msgs/Image] 1 subscriber * /rosout [rosgraph_msgs/Log] 1 subscriber
rosrun image_view image_view image:=/ORB_SLAM/Frame _autosize:=true 订阅/camera/image_raw这个topic,然后被 ORB_SLALM 节点处理后的图像帧被发布到话题 ORB_SLAM/Frame 中，可以通过使用 image_view 功能包来查看
CV_EXPORTS_W bool findChessboardCorners( InputArray image, Size patternSize, OutputArray corners, int flags=CALIB_CB_ADAPTIVE_THRESH+CALIB_CB_NORMALIZE_IMAGE );
第一个参数image，8位灰度或者彩色图像； 第二个参数patternSize，每张标定棋盘上内角点的行列数； 第三个参数corners，初始的角点坐标向量，同时作为亚像素坐标位置的输出，所以需要是浮点型数据，一般用元素是 Pointf2f/Point2d的向量来表示：vector<Point2f/Point2d> iamgePointsBuf； 第四个参数patternWasFound，标志位，用来指示定义的棋盘内角点是否被完整的探测到，true表示别完整的探测到， 函数会用直线依次连接所有的内角点，作为一个整体，false表示有未被探测到的内角点，这时候函数会以（红色）圆圈 标记处检测到的内角点；
（ORB（Oriented FAST and Rotated BRIEF）是一种快速提取特征点和描述子的算法。其特征检测基于FAST，采用BRIEF描述子并加以改进。）
2.使用Covisibilty Graph，使跟踪和建图聚焦在局部共视区域
（Covisibility Graph是一个无向有权图(graph),每个node就是关键帧，edge的权重就是两个关键帧找到足够多的相同的 3d 点的数目。）
相机标定
3. 对每一张标定图片，进一步提取亚像素角点信息 为了提高标定精度，需要在初步提取的角点信息上进一步提取亚像素信息，降低相机标定偏差，常用的方法是 cornerSubPix。
CV_EXPORTS_W void cornerSubPix( InputArray image, InputOutputArray corners, Size winSize, Size zeroZone, TermCriteria criteria );
相机标定
1. 准备标定图片 标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄，最少需要3张，以10~20张为宜。标定板需要是黑 白相间的矩形构成的棋盘图，制作精度要求较高，如下图所示：
相机标定
2.对每一张标定图片，提取角点信息 需要使用findChessboardCorners函数提取角点，这里的角点专指的是标定板上的内角点，这些角点与标定板的边缘不 接触。
相机标定的输入：标定图像上所有内角点的图像坐标，标定板图像上所有内角点的空间三维坐标（一般情况下假定图像 位于Z=0平面上）。
相机标定的输出：摄像机的内参、外参系数。
相机标定
过Baidu Nhomakorabea： 1. 准备标定图片 2. 对每一张标定图片，提取角点信息 3. 对每一张标定图片，进一步提取亚像素角点信息 4. 在棋盘标定图上绘制找到的内角点（非必须，仅为了显示） 5. 相机标定 6. 对标定结果进行评价 7. 查看标定效果——利用标定结果对棋盘图进行矫正
筛选、探测，然后通过Sim3算法计算相似变换。闭环校正，主要是闭环融合和Essential Graph的图优化。
（4）使用bag-of-words加速匹配帧的筛选，并使用EPnP算法完成重定位中的位姿估计。
ORB_SLAM节点的topic
Published topics: * /ORB_SLAM/Map [visualization_msgs/Marker] 1 publisher * /ORB_SLAM/Frame [sensor_msgs/Image] 1 publisher * /rosout [rosgraph_msgs/Log] 1 publisher * /tf [tf2_msgs/TFMessage] 1 publisher * /rosout_agg [rosgraph_msgs/Log] 1 publisher
第一个参数image，输入的Mat矩阵，最好是8位灰度图像，检测效率更高； 第二个参数corners，初始的角点坐标向量，同时作为亚像素坐标位置的输出，所以需要是浮点型数据，一般用元素是 Pointf2f/Point2d的向量来表示：vector<Point2f/Point2d> iamgePointsBuf； 第三个参数winSize，大小为搜索窗口的一半； 第四个参数zeroZone，死区的一半尺寸，死区为不对搜索区的中央位置做求和运算的区域。它是用来避免自相关矩阵 出现某些可能的奇异性。当值为（-1，-1）时表示没有死区； 第五个参数criteria，定义求角点的迭代过程的终止条件，可以为迭代次数和角点精度两者的组合；
ORB-SLAM包含了所有SLAM系统共有的模块：跟踪（Tracking）、建图（Mapping）、闭环检测（Loop closing）、 重定位（Relocalization）。
ORB是属于特征点法的特征提取与匹配的算法之一。
贡献
1.使用ORB特征描述，不用GPU加速就可以实时，具有视点不变性和光照不变性
ORB-SLAM是一款适用于单目，立体和RGB-D摄像机的多功能精确SLAM解决方案。在大小场景、室内室外环境下都 可以实时操作的一种基于特征的单目SLAM系统。
SLAM系统对复杂的剧烈运动具有鲁棒性，支持宽基线的闭环检测和重定位，包括全自动初始化，它包括从平面和非平 面场景进行自动且稳健的初始化。它能够在各种环境中实时计算摄像机轨迹和场景的稀疏3D重建，范围从桌面的小型 手持序列到围绕几个城市街区行驶的汽车。
ORBSLAM
——杨肖寒——
目录
01 ORB-SLAM介绍 02 相机标定
01 Part One ORB-SLAM介绍
介绍
ORB-SLAM是由Raul Mur-Artal，J. M. M. Montiel和Juan D. Tardos于2015年发表在IEEE Transactions on Robotics。项目主页网址为：http://webdiis.unizar.es/~raulmur/orbslam/。
相机标定
4.在棋盘标定图上绘制找到的内角点（非必须，仅为了显示）
CV_EXPORTS_W void drawChessboardCorners( InputOutputArray image, Size patternSize, InputArray corners, bool patternWasFound );
第一个参数objectPoints，为世界坐标系中的三维点。在使用时，应该输入一个三维坐标点的向量的向量，即 vector<vector<Point3f>> object_points。需要依据棋盘上单个黑白矩阵的大小，计算出（初始化）每一个内角点的 世界坐标。 第二个参数imagePoints，为每一个内角点对应的图像坐标点。和objectPoints一样，应该输入 vector<vector<Point2f>> image_points_seq形式的变量； 第三个参数imageSize，为图像的像素尺寸大小，在计算相机的内参和畸变矩阵时需要使用到该参数； 第四个参数cameraMatrix为相机的内参矩阵。输入一个Mat cameraMatrix即可，如Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0));
相机标定
第五个参数distCoeffs为畸变矩阵。输入一个Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0))即可； 第六个参数rvecs为旋转向量；应该输入一个Mat类型的vector，即vector<Mat>rvecs; 第七个参数tvecs为位移向量，和rvecs一样，应该为vector<Mat> tvecs； 第八个参数flags为标定时所采用的算法。 第九个参数criteria是最优迭代终止条件设定。