第11 章 深度图(Depth Map)

2 [ f ( x , y ) f ] 1 ( x , y )S 1

2 1/ 2 [ f ( x d , y d ) f ] x y 2 } ( x , y )S 1
南京航空航天大学 自动化学院 13
• 特征点匹配
一旦在两幅图像中确定特征后，则可以使用许 多不同方法进行特征匹配．一种简单的方法是计算 一幅图像以某一特征点为中心的一个小窗函数内的 像素与另一幅图像中各个潜在对应特征点为中心的 同样的小窗函数的像素之间的相关值．具有最大相 关值的特征就是匹配特征．很明显，只有满足外极 线约束的点才能是匹配点．考虑到垂直视差的存在， 应将外极线邻近的特征点也包括在潜在的匹配特征 集中．
南京航空航天大学 自动化学院
2
•被动测距传感:视觉系统接收来自场景发射 或反射的光能量，形成有关场景光能量分布 函数，即灰度图像，然后在这些图像的基础 上恢复场景的深度信息．
•主动测距传感:视觉系统首先向场景发射能 量，然后接收场景对所发射能量的反射能 量．主动测距传感系统也称为测距成象系统 （Rangefinder)．
第
11
章
深度图 （Depth Map）
南京航空航天大学 自动化学院
1
获取场景中各点相对于摄象机的距离 是计算机视觉系统的重要任务之一．场景 中各点相对于摄象机的距离可以用深度图 (Depth Map)来表示，即深度图中的每一 个像素值表示场景中某一点与摄像机之间 的距离．机器视觉系统获取场景深度图技 术可分为被动测距传感和主动测距传感两 大类．
( x , y )S ( x , y )S
2 [ f ( x , y ) f ( x 1 , y 1 )] 2 [ f ( x , y ) f ( x 1 , y 1 )]
( x , y )S
I ( xc , yc ) min(I1, I 2 , I3 , I 4 )
f 0 i, j ( f 0 i, j 0 ) / 0
f k i, j ( f k i, j k ) / k
f k i, j 是参考摄像机的图象函数
1 n m 2 ( f ( i , j ) ) m n j 1 i 1
南京航空航天大学 自动化学院
14
考虑两幅图像 f1和 f2．设待匹配的候选特征点对的视差 为 (d x , d y )，则以特征点为中心的区域之间相似性测度可 由相关系数 r (d x , d y ) 定义为：
r (d x , d y )
{


( x , y )S
[ f1 ( x, y ) f1 ][ f 2 ( x d x , y d y ) f 2 ]
南京航空航天大学 自动化学院 5
BF z xr xl
Hale Waihona Puke Baidu
提高精度的措施是增大基线距离。产生的问题： 随着基线距离的增加，两个摄象机的共同的可视 范围减小；场景点对应的视差值增大，则搜索对 应点的范围增大，出现多义性的机会就增大；由 于透视投影引起的变形导致两个摄象机获取的两 幅图像中不完全相同，这就给确定共轭对带来了 困难．
• 兴趣点计算公式如下：
在以某一点为中心 的窗函数中，计算 其在不同方向上的 变化量是这些方向 上点的差异性的最 好测度。S表示窗函 数中的所有像素 。
I1 I2 I3 I4
( x , y )S 2 [ f ( x , y ) f ( x , y 1 )] 2 [ f ( x , y ) f ( x 1 , y )]
南京航空航天大学 自动化学院
6
立体成象的最一般情况：一个运动摄像机连续获取场 景图像，形成立体图像序列，或间隔一定距离的两个 摄像机同时获取场景图像，形成立体图像对。
南京航空航天大学 自动化学院
7
2. 立体匹配的基本方法
立体成象系统的一个不言而喻的假设是 能够找到立体图像对中的共轭对，即求解对 应问题．然而，对于实际的立体图像对，求 解对应问题极富有挑战性，可以说是立体视 觉最困难的一步．为了求解对应，人们已经 建立了许多约束来减少对应点搜索范围，并 最终确定正确的对应．
南京航空航天大学 自动化学院 3
1.立体成像
• 外极平面 • 外极线 • 共轭对 • 视差 (disparity)
图11．1双目立体视觉几何模型
南京航空航天大学 自动化学院 4
假设坐标系原点与左透镜中 心重合。F是焦距，B是基线 距离。
x x l z F
x B xr z F
BF z xr xl
南京航空航天大学 自动化学院
8
（1） 立体匹配的基本约束 • 外极线约束
图11.4 空间某一距离区间内的一条直线段对应外极线上的一个有限区 间
南京航空航天大学 自动化学院 9
•一致性约束
立体视觉通常由两个或两个以上摄像机组成，各摄像机的 特性一般是不同的．这样，场景中对应点处的光强可能相差太 大，直接进行相似性匹配，得到的匹配值变化太大．因此，在 进行匹配前，必须对图像进行规范化处理(Normalization)．
2
相似估价函数： k
f
i 1 j 1
n
m
0
(i, j ) f k (i, j )
10
南京航空航天大学 自动化学院
• 唯一性约束：一般情况下，一幅图像(左或右)上的 每一个特征点只能与另一幅图像上的唯一一个特征 对应。 • 连续性约束：物体表面一般都是光滑的，因此物 体表面上各点在图像上的投影也是连续的，它们的 视差也是连续的．比如，物体上非常接近的两点， 其视差也十分接近，因为其深度值不会相差很大。
南京航空航天大学 自动化学院
11
（2）基于边缘的立体匹配
• 在某一行上计算各边缘的位置．
• 通过比较边缘的方向和强度粗略地进行边缘匹 配．
• 通过在精细尺度上进行匹配，可以得到视差估
计．
水平边缘无法进行匹配！
南京航空航天大学 自动化学院
12
（3）基于区域相关性的立体匹配
• 在立体图像对中识别兴趣点(interesting point)，而后使 用区域相关法来匹配两幅图像中相对应的点．