基于结构光与双目视觉
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2D 和 3D 的关系
现实存在的问题 一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出 来。
2D的分析需要3D的信息 物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。 3D的信息可以通过2D的图像计算出来 视差(Disparity)，深度(Depth)信息等等。
特征点提取算法可以总结为：基于方向导数的方
法，基于图像亮度对比关系的方法，基于数学形 态学的方法三种。
立体匹配
立体匹配
三维重建
有了比较精确的匹配结果，结合摄像机标定的内
外参数，就可以恢复出三维场景信息。由于三维 重建精度受匹配精度，摄像机的内外参数误差等 因素的影响，因此首先需要做好前面几个步骤的 工作，使得各个环节的精度高，误差小，这样才 能设计出一个比较精确的立体视觉系统。
图像校正 (Rectified Images)
在校正图像中所有极线都平行
关键点
A.图像获取
B.相机标定
C.特征提取 D.立体匹配
E.三维重建
图像获取
在进行图像处理之前，先要用摄像机获取三维物
体的二维图像。光照条件、相机的几何特性等对 后续的图像处理造成很大的影响。
相机标定
Or
像平面的交线。
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential
矩阵或是Fundamental 矩阵来表明。 Essential 矩阵是摄像机标定情况下用的。 公式： ( p )T Ep 0
r l
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
Leabharlann Baidu
为什么需要两个眼睛？
物体的深度信息可
以通过双眼的观察 得到。
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步
精细化 (Refinement)，亚像素是其中的一种方法。
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三
维信息的技术 两个主要的子问题
匹配问题 -> 视差图(Disparity Space Image) 相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
重建问题 -> 3D
重建所需要的摄像机参数 立体摄像机标定
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上
值，秩为2。
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
ql Mpl qr Mpr
公式可表示为：
pl M ql 1 pr M qr
(qr )T Fql 0
1
M为内参矩阵 ql, qr为图像坐标 Fundamental矩阵秩同样为2。
F M T EM 1
通过摄像机标定来建立有效的成像模型，求解出
摄像机的内外参数，这样就可以结合图像的匹配 结果得到空间中的三维点坐标，从而达到进行三 维重建的目的。
特征提取
特征主要包括特征点、特征线和区域。大多数情
况下都是以特征点为匹配基元，特征点以何种形 式提取与用何种匹配策略紧密联系。因此在进行 特征点的提取时需要先确定用哪种匹配方法。
Fundamental矩阵是摄像机非标定的情况用的。
Reference: 《Learning OpenCV》
图像校正 (Rectified Images)
目的：规范化极线
约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需
要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
P
Pl
极平面
Pr
极线
p l
p
r
Ol
el 极点
er
Or
极线几何 (Epipolar Geometry)
基线：左右两像机
P Pl 极平面 Pr
光心的连线；
极平面：空间点，
两像机光心决定的 平面；
极点：基线与两摄
极线
p l p r
像机图像平面的交 点；
极线：极平面与图
Ol el 极点 er 基线
现实存在的问题 一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出 来。
2D的分析需要3D的信息 物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。 3D的信息可以通过2D的图像计算出来 视差(Disparity)，深度(Depth)信息等等。
特征点提取算法可以总结为：基于方向导数的方
法，基于图像亮度对比关系的方法，基于数学形 态学的方法三种。
立体匹配
立体匹配
三维重建
有了比较精确的匹配结果，结合摄像机标定的内
外参数，就可以恢复出三维场景信息。由于三维 重建精度受匹配精度，摄像机的内外参数误差等 因素的影响，因此首先需要做好前面几个步骤的 工作，使得各个环节的精度高，误差小，这样才 能设计出一个比较精确的立体视觉系统。
图像校正 (Rectified Images)
在校正图像中所有极线都平行
关键点
A.图像获取
B.相机标定
C.特征提取 D.立体匹配
E.三维重建
图像获取
在进行图像处理之前，先要用摄像机获取三维物
体的二维图像。光照条件、相机的几何特性等对 后续的图像处理造成很大的影响。
相机标定
Or
像平面的交线。
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential
矩阵或是Fundamental 矩阵来表明。 Essential 矩阵是摄像机标定情况下用的。 公式： ( p )T Ep 0
r l
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
Leabharlann Baidu
为什么需要两个眼睛？
物体的深度信息可
以通过双眼的观察 得到。
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步
精细化 (Refinement)，亚像素是其中的一种方法。
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三
维信息的技术 两个主要的子问题
匹配问题 -> 视差图(Disparity Space Image) 相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
重建问题 -> 3D
重建所需要的摄像机参数 立体摄像机标定
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上
值，秩为2。
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
ql Mpl qr Mpr
公式可表示为：
pl M ql 1 pr M qr
(qr )T Fql 0
1
M为内参矩阵 ql, qr为图像坐标 Fundamental矩阵秩同样为2。
F M T EM 1
通过摄像机标定来建立有效的成像模型，求解出
摄像机的内外参数，这样就可以结合图像的匹配 结果得到空间中的三维点坐标，从而达到进行三 维重建的目的。
特征提取
特征主要包括特征点、特征线和区域。大多数情
况下都是以特征点为匹配基元，特征点以何种形 式提取与用何种匹配策略紧密联系。因此在进行 特征点的提取时需要先确定用哪种匹配方法。
Fundamental矩阵是摄像机非标定的情况用的。
Reference: 《Learning OpenCV》
图像校正 (Rectified Images)
目的：规范化极线
约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需
要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
P
Pl
极平面
Pr
极线
p l
p
r
Ol
el 极点
er
Or
极线几何 (Epipolar Geometry)
基线：左右两像机
P Pl 极平面 Pr
光心的连线；
极平面：空间点，
两像机光心决定的 平面；
极点：基线与两摄
极线
p l p r
像机图像平面的交 点；
极线：极平面与图
Ol el 极点 er 基线