09 数字图像处理_双目立体视觉 ppt课件

Image & Vision Lab
2D 和 3D 的关系
现实存ห้องสมุดไป่ตู้的问题
一般的物体(Objects)都是三维的； 图像(Images)却是有关灰度，颜色等信息的阵列； 3D的深度(Depth)信息在一幅图像上不能明显的显示出
来。
2D的分析需要3D的信息
物体表面是连续，平滑(Smooth)的； 物体都有特定的形状和边界。
极线几何 (Epipolar Geometry)
动机:在哪寻找匹配点?
P
极平面 极线 极点
Pl
Pr
极平面
极线约束
极线
匹配点必须在极线上
pl
pr
2020/12/27
Ol
el
er
Or
极点
Image & Vision Lab
14
极线几何 (Epipolar Geometry)
基线：左右两像机 光心的连线；
Reference: 《计算机视觉——一种现代方法》第10章
2020/12/27
Image & Vision Lab
18
弱标定 (Weak Calibration)
使用一个玩具房子的两幅图像上的37个点作为输入的弱 标定实验。
数据点在图中用圆点表示，所经过的外极线用短的直线 段表示。
左图显示使用最小二乘法的普通8点算法得到的输出结 果；右图为使用Hartley变换后的该方法的输出结果。
2020/12/27
2
Image & Vision Lab
精品资料
• 你怎么称呼老师？ • 如果老师最后没有总结一节课的重点的难点，你
是否会认为老师的教学方法需要改进？ • 你所经历的课堂，是讲座式还是讨论式？ • 教师的教鞭 • “不怕太阳晒，也不怕那风雨狂，只怕先生骂我
笨，没有学问无颜见爹娘 ……” • “太阳当空照，花儿对我笑，小鸟说早早早……”
Reference: 《Learning OpenCV》
2020/12/27
17
Image & Vision Lab
弱标定 (Weak Calibration)
定义：对于内部参数未知的摄像机，通过两幅图 中的冗余点集合来估计外极几何。
方法：
8点算法 (Longuet-Higgins 1981) 最小二乘法 最小二乘法的8点算法 规范化线性8点算法 (Hartley 1995)
3D的信息可以通过2D的图像计算出来
视差(Disparity)，深度(Depth)信息等等。
2020/12/27
Image & Vision Lab
5
为什么需要两个眼睛？
物体的深度信息不能通过单眼所获得。
2020/12/27
Image & Vision Lab
6
为什么需要两个眼睛？
物体的深度信息可 以通过双眼的观察 得到。
2020/12/27
Image & Vision Lab
7
双目立体视觉三维测量原理(Triangulation)
双目立体视觉三维 测量是基于视差原 理。
计算公式：
2020/12/27
Image & Vision Lab
8
视差(Disparity)与深度(Depth)的关系
视差和深度成反比关系：
2020/12/27
Image & Vision Lab
11
立体视觉（Stereo Vision）
由两幅或多幅从不同视点拍摄的图像恢复场景三 维信息的技术
两个主要的子问题
匹配问题 -> 视差图(Disparity Space Image)
相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见
信息视觉处理
双目立体视觉 Binocular stereo vision
Image & Vision Lab
内容（Contents）
极线几何 Essential矩阵、fundamental矩阵 弱标定 立体重建（视差、双目匹配） 多个摄像机 结构光 时空立体光条 距离（range）数据 实例：视差与三维图 最新进展（运动提取等） 进一步学习材料
16
Fundamental 矩阵
当内部参数未知（非标定的摄像机）：
ql Mpl
qr Mpr
pl M1ql pr M1qr
公式可表示为：
M为内参矩阵
(qr)TFql 0 FMTEM 1
ql, qr为图像坐标 Fundamental矩阵秩同样为2。
Fundamental矩阵是摄像机非标定的情况用的。
2020/12/27
Image & Vision Lab
19
图像校正 (Rectified Images)
目的：规范化极线 约束中的极线分布， 使得匹配效率得到 进一步的提高。
校正后的图像不需 要求极线方程，因 为相对应的匹配点 在图像相对应的扫 描线(Scan-line)上。
Essential 矩阵是摄像机标定情况下用的。
公式： (pr)TEpl 0
pr和pl分别是齐次摄像机坐标向量。 公式描述了点pr位于与向量Epl相关的外极线上。 Essential 矩阵是奇异矩阵，并有两个相等的非零奇异
值，秩为2。
2020/12/27
Image & Vision Lab
重建问题 -> 3D
重建所需要的摄像机参数 立体摄像机标定
2020/12/27
Image & Vision Lab
12
立体图对 (Stereo pair)
问题
匹配问题 (立体匹配) -> 视差图 重建问题 -> 3D
3D?
2020/12/27
匹配?
13
? Image & Vision Lab
2020/12/27
Image & Vision Lab
9
视差(Disparity)与深度(Depth)的关系
同一深度下的视差一样
2020/12/27
Image & Vision Lab
10
亚像素(Sub-pixel)
在某些对精度要求较高的场合，需要对视差进一步 精细化 (Refinement)，亚像素是其中的一种方法。
极平面：空间点， 两像机光心决定的 平面；
极点：基线与两摄 像机图像平面的交 点；
极线：极平面与图 像平面的交线。
极平面
P
Pl
Pr
极线
pl
pr
Ol
el
极点
er
Or
基线
2020/12/27
Image & Vision Lab
15
Essential 矩阵
左右两幅图像相对应的点之间的关系可以通过Essential 矩阵或是Fundamental 矩阵来表明。