三维重建过程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
泛的关注与研究。常见的方法有：直接求解Kruppa方程的自标定法、分层自标 定法和基于绝对对偶二次曲面标定法。目前应用最广泛的为利用绝对对偶二次 曲面的标定方法。
计算基础矩阵与本质矩阵
基础矩阵是对同一场景的两幅图像间约束关系的数学描述，是在未 标定图像序列中存在的几何结构约束信息，隐式的包含了相机的所有内 外参数。
SIFT 方法的主要思想为：首先建立高斯差分金字塔表征，然后将 每个像素点与它周围的八个点，以及上下相邻层的十八个邻域点，总 共 26 个点作比较。如果该点是极值点，那么就认为该点为特征点，同 时计算出该特征点的主方向。由此，就可以将特征点提取出来了。
（3）基于SURF算子的特征提取算法
加速鲁棒特征（Speeded-Up Robust Features）借鉴SIFT简化思想， 借助积分图和harr小波技术的使用，使模板对图像的卷积可以通过加减 运算在线性时间内完成。经实验证明，SURF的检测效率要明显高于算 法，且具备较优的综合性能。目前SURF算法在特征提取与匹配邻域比 较流行。
相机标定
相机标定就是求出相机的内部参数，最终得到内参数矩阵K。
相机标定的方法：
（1）Tsai的两步标定方法
其主要思想是首先利用透视变换原理线性求解出一些相机参数，接着把 求得的这些参数作为非线性优化算法的初始值，只考虑相机的径向畸变，通 过优化算法求解其余参数，从而相对于线性标定方法提高了标定的精度。
三维重建过程
目录
1 图像预处理
2 特征点检测与匹配
3 相机标定
4
计算基础矩阵与Fra Baidu bibliotek质矩阵
5 稠密点云的网格化
图像预处理
图像预处理的目的在于改善图像的视觉效果，提高图像的清晰度，有 选择的突出某些感兴趣的信息，抑制无用的信息，以提高图像的使用价值。
图像平滑处理： 形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自 适应加权滤波等。
对图像进行归一化后，特殊的基本矩阵就可以表示成本质矩阵。即 基本矩阵是本质矩阵的广义形式，之所以本质矩阵是基础矩阵的特殊形 式，是因为本质矩阵多了一个假设条件。相比基础矩阵，本质矩阵缺少 了自由度却多出了一些性质。
基础矩阵计算方法：
（1）归一化8点算法
通过对线性法的计算过程与结果进行分析，发现直接使用原始的匹配点 图像坐标构成的系数矩阵会有比较大的条件数，影响计算结果。所以提出在 应用点法前，对原始数据做各向同性变换的归一化处理的归一化8点算法。 该方法可以降低噪声的干扰，减小系数矩阵条件数大小，从而提高解算精度。
特征点提取方法：
（1）加权平均Harris-Laplace特征点提取算法 （2）基于SIFT算子的特征提取算法
尺度不变特征转换 SIFT (Scale-invariant feature transform)用来侦测 与描述影像中的 局部性特征，它在空间尺度中寻找极值点，并提取出 其位置、尺度、旋转不 变量。该算子具有对图像旋转、缩放、光照变 化和仿射变换保持不变性的特点。
（2）圆点模板标定方法 （3）张正友的平面标定方法
张正友结合传统摄影测量标定与计算机视觉自标定优势，提出使用简易 的平面标定模板，通过多个角度获取的图像间单应关系，高精度高效的求解 出相机的内参数与畸变参数。张正友标定方法因其有效性、可靠性和灵活性 而得到广泛应用。
（4）相机自标定方法
相机自标定方法因其不需要额外的已知信息而具有极大的灵活性，受到广
（3）SURF特征匹配
与Sift特征点匹配类似，Surf也是通过计算两个特征点间的欧式距离来确定 匹配度，欧氏距离越短，代表两个特征点的匹配度越好。不同的是Surf还加入 了Hessian（黑塞矩阵）矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，
代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点 的对比度变化方向是相反的，即使欧氏距离为0，页直接予以排除。
椒盐噪声过滤算法：GA-BP神经网络噪声检测的自适应滤波算法。 遗传算法：Genetic Algorithm GA 反向传播神经网络：Back BP BP
特征点检测与匹配
特征点问题主要包括特征点的提取和特征点的匹配。特征点 的通常理解为：某些邻域变化比较大的点。如角点和噪声，因此 特征点的本质问题可以归结为：在抵抗一定的图像畸变的情况下， 保证特征点的正确提取和匹配。
（2）RANSAC算法
随机抽样一致性算法RANSAC（Random Sample Consensus）可以在一组 包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符 合最优模型的点，被定义为“外点”。
本质矩阵计算方法：
假设内参矩阵分别为K1和K2的两幅图像之间的基础矩阵为F， 由此可以求得它们之间的本质矩阵：E=k2TFK1。接着对本质矩阵 进行分解（SVD分解方法），得到旋转矩阵R和平移向量t。然后 计算出两幅图像的投影矩阵P1和p2。利用投影矩阵获得空间三 维点的坐标。
主要思想是用特征点的 16×16 的邻域计算该邻域的每个点的梯度。然 后将 16×16 的区域划分为 4×4 的小区域，每个小区域的点向 8 个方向投影。 这样总共可以得到 4×4×8=128 维的特征向量描述符。特征点的匹配首先需 要将特征点旋转到它的主方向上，然后计算匹配点的 128 维特征描述符的欧 式距离。距离最小的匹配点为正确匹配点。
特征点匹配方法：
（1）NCC特征匹配
归一化互相关（normalizes cross correlation）方法的优点是它可以抵抗 全局的亮度变化和对比度变化，并且速度快。
缺点是：(a)不抗图像缩放。(b)不抗大的视角的变化。(c)当初始匹配点的 错误匹配率高于 40%的时候以上两种方法失效。
（2）SIFT特征匹配
稠密点云的网格化
通过上面的步骤可以得到基于图像的三维点云，但要对空间物体的 表面信息进行重构，需要对三维点云进行三角剖分。
三角剖分的方法：
（1）平面投影法方法
采用投影映射的方法，将三维点云投影到二维平面上，接着对投影后的 二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分。。
计算基础矩阵与本质矩阵
基础矩阵是对同一场景的两幅图像间约束关系的数学描述，是在未 标定图像序列中存在的几何结构约束信息，隐式的包含了相机的所有内 外参数。
SIFT 方法的主要思想为：首先建立高斯差分金字塔表征，然后将 每个像素点与它周围的八个点，以及上下相邻层的十八个邻域点，总 共 26 个点作比较。如果该点是极值点，那么就认为该点为特征点，同 时计算出该特征点的主方向。由此，就可以将特征点提取出来了。
（3）基于SURF算子的特征提取算法
加速鲁棒特征（Speeded-Up Robust Features）借鉴SIFT简化思想， 借助积分图和harr小波技术的使用，使模板对图像的卷积可以通过加减 运算在线性时间内完成。经实验证明，SURF的检测效率要明显高于算 法，且具备较优的综合性能。目前SURF算法在特征提取与匹配邻域比 较流行。
相机标定
相机标定就是求出相机的内部参数，最终得到内参数矩阵K。
相机标定的方法：
（1）Tsai的两步标定方法
其主要思想是首先利用透视变换原理线性求解出一些相机参数，接着把 求得的这些参数作为非线性优化算法的初始值，只考虑相机的径向畸变，通 过优化算法求解其余参数，从而相对于线性标定方法提高了标定的精度。
三维重建过程
目录
1 图像预处理
2 特征点检测与匹配
3 相机标定
4
计算基础矩阵与Fra Baidu bibliotek质矩阵
5 稠密点云的网格化
图像预处理
图像预处理的目的在于改善图像的视觉效果，提高图像的清晰度，有 选择的突出某些感兴趣的信息，抑制无用的信息，以提高图像的使用价值。
图像平滑处理： 形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自 适应加权滤波等。
对图像进行归一化后，特殊的基本矩阵就可以表示成本质矩阵。即 基本矩阵是本质矩阵的广义形式，之所以本质矩阵是基础矩阵的特殊形 式，是因为本质矩阵多了一个假设条件。相比基础矩阵，本质矩阵缺少 了自由度却多出了一些性质。
基础矩阵计算方法：
（1）归一化8点算法
通过对线性法的计算过程与结果进行分析，发现直接使用原始的匹配点 图像坐标构成的系数矩阵会有比较大的条件数，影响计算结果。所以提出在 应用点法前，对原始数据做各向同性变换的归一化处理的归一化8点算法。 该方法可以降低噪声的干扰，减小系数矩阵条件数大小，从而提高解算精度。
特征点提取方法：
（1）加权平均Harris-Laplace特征点提取算法 （2）基于SIFT算子的特征提取算法
尺度不变特征转换 SIFT (Scale-invariant feature transform)用来侦测 与描述影像中的 局部性特征，它在空间尺度中寻找极值点，并提取出 其位置、尺度、旋转不 变量。该算子具有对图像旋转、缩放、光照变 化和仿射变换保持不变性的特点。
（2）圆点模板标定方法 （3）张正友的平面标定方法
张正友结合传统摄影测量标定与计算机视觉自标定优势，提出使用简易 的平面标定模板，通过多个角度获取的图像间单应关系，高精度高效的求解 出相机的内参数与畸变参数。张正友标定方法因其有效性、可靠性和灵活性 而得到广泛应用。
（4）相机自标定方法
相机自标定方法因其不需要额外的已知信息而具有极大的灵活性，受到广
（3）SURF特征匹配
与Sift特征点匹配类似，Surf也是通过计算两个特征点间的欧式距离来确定 匹配度，欧氏距离越短，代表两个特征点的匹配度越好。不同的是Surf还加入 了Hessian（黑塞矩阵）矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，
代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点 的对比度变化方向是相反的，即使欧氏距离为0，页直接予以排除。
椒盐噪声过滤算法：GA-BP神经网络噪声检测的自适应滤波算法。 遗传算法：Genetic Algorithm GA 反向传播神经网络：Back BP BP
特征点检测与匹配
特征点问题主要包括特征点的提取和特征点的匹配。特征点 的通常理解为：某些邻域变化比较大的点。如角点和噪声，因此 特征点的本质问题可以归结为：在抵抗一定的图像畸变的情况下， 保证特征点的正确提取和匹配。
（2）RANSAC算法
随机抽样一致性算法RANSAC（Random Sample Consensus）可以在一组 包含“外点”的数据集中，采用不断迭代的方法，寻找最优参数模型，不符 合最优模型的点，被定义为“外点”。
本质矩阵计算方法：
假设内参矩阵分别为K1和K2的两幅图像之间的基础矩阵为F， 由此可以求得它们之间的本质矩阵：E=k2TFK1。接着对本质矩阵 进行分解（SVD分解方法），得到旋转矩阵R和平移向量t。然后 计算出两幅图像的投影矩阵P1和p2。利用投影矩阵获得空间三 维点的坐标。
主要思想是用特征点的 16×16 的邻域计算该邻域的每个点的梯度。然 后将 16×16 的区域划分为 4×4 的小区域，每个小区域的点向 8 个方向投影。 这样总共可以得到 4×4×8=128 维的特征向量描述符。特征点的匹配首先需 要将特征点旋转到它的主方向上，然后计算匹配点的 128 维特征描述符的欧 式距离。距离最小的匹配点为正确匹配点。
特征点匹配方法：
（1）NCC特征匹配
归一化互相关（normalizes cross correlation）方法的优点是它可以抵抗 全局的亮度变化和对比度变化，并且速度快。
缺点是：(a)不抗图像缩放。(b)不抗大的视角的变化。(c)当初始匹配点的 错误匹配率高于 40%的时候以上两种方法失效。
（2）SIFT特征匹配
稠密点云的网格化
通过上面的步骤可以得到基于图像的三维点云，但要对空间物体的 表面信息进行重构，需要对三维点云进行三角剖分。
三角剖分的方法：
（1）平面投影法方法
采用投影映射的方法，将三维点云投影到二维平面上，接着对投影后的 二维点进行三角剖分，然后将二维剖分关系传递给三维点云的三角剖分。。