工业机器视觉课程13深度图讲解

假定 n 个摄像机具有相同的焦距 F, 其位置分别为 P0 , P1,..., Pn1 ，对应的 n-1 个基线用 B1, B2 ,..., Bn1 表示， f 0 (x) 和 fi (x) 表示在位置 P0 , Pi 处同步获取的图像,称为一个立体图像 对．已知场景一点 Z 的深度值为 z r ，则根据式子(3)， f 0 (x) 和 fi (x) 形成的立体视差 d r(i) 为：
11 第
章
深度图 （Depth Map）
获取场景中各点相对于摄象机的距离是 计算机视觉系统的重要任务之一．场景中各 点相对于摄象机的距离可以用深度图(Depth Map)来表示，即深度图中的每一个像素值表 示场景中某一点与摄像机之间的距离．机器 视觉系统获取场景深度图技术可分为被动测 距传感和主动测距传感两大类．
离 z 、透镜中心到场景点的距离 z 和透镜焦距长度 f 之间的
关系为：
1 1 1 z z f
当某一场景点不聚焦时，它会在图象平面上产生一个圆斑 图象，而不是一个点图像。如果圆斑的直径低于成象装置 的分辨率，那么图象散焦量不会特别的显著。假定圆斑的 直径为b，透镜光圈直径为d，焦距长度为f，图象平面的理
立体成象的最一般情况：一个运动摄像机连续获取场 景图像，形成立体图像序列，或间隔一定距离的两个 摄像机同时获取场景图像，形成立体图像对。
2. 立体匹配的基本方法
立体成象系统的一个不言而喻的假设是 能够找到立体图像对中的共轭对，即求解对 应问题．然而，对于实际的立体图像对，求 解对应问题极富有挑战性，可以说是立体视 觉最困难的一步．为了求解对应，人们已经 建立了许多约束来减少对应点搜索范围，并 最终确定正确的对应．
f0 (i, j) fk (i, j)
i1 j1
• 唯一性约束：一般情况下，一幅图像(左或右)上的 每一个特征点只能与另一幅图像上的唯一一个特征 对应。
• 连续性约束：物体表面一般都是光滑的，因此物 体表面上各点在图像上的投影也是连续的，它们的 视差也是连续的．比如，物体上非常接近的两点， 其视差也十分接近，因为其深度值不会相差很大。
（1） 立体匹配的基本约束 • 外极线约束
图11.4 空间某一距离区间内的一条直线段对应外极线上的一个有限区间
•一致性约束
立体视觉通常由两个或两个以上摄像机组成，各摄像机的 特性一般是不同的．这样，场景中对应点处的光强可能相差太 大，直接进行相似性匹配，得到的匹配值变化太大．因此，在 进行匹配前，必须对图像进行规范化处理(Normalization)．
景深D是近距离和远距离平面之差：
D 2bdfz( f z) d 2 f 2 b2z2
5、主动视觉
大多数计算机视觉系统都依赖于由固定参数的系统 来获取数据，包括所有的被动敏感系统(如视频摄象 机)和主动敏感系统(如激光测距仪)．与这些数据提取 方法不同，在一个主动视觉系统中，传感器的状态 参数如焦距、光圈、聚散度以及照度都可以控制， 以获取有利于场景解释的数据。
（1）脉冲飞行时间测距 激光脉冲测距雷达就属于这类测距系统．激光脉冲测距 雷达向空间发射激光脉冲信号，并接收由于碰到物体表面而 反射回来的信号，然后测量发射和接收脉冲的时间差，就可 以得到空间物体的距离。
这种激光测距雷达在１－３米的测量范围内，测距精度 为２厘米．获取128×128图像需要3分钟。
i 1
n1

( f (x
j)
f (x
Bi F (
r )
j))2

2nN
w
2 n
i1 jW
4、测距成象系统
定义：能够直接测量可视范围内每个点的距离，并将其 记录为一个二维函数的系统称为测距成象系统，得到的 图像称为距离图像或深度图。 分类：结构光测距
测距雷达：声雷达、激光雷达、毫米波雷达 变焦测距
f0 i, j ( f0 i, j 0 ) / 0 fk i, j ( fk i, j k ) / k
fk i, j 是参考摄像机的图象函数
2 1
n
m
( f (i, j) )2
mn j1 i1
nm
相似估价函数： k
• 结构光三角测距
[x, y, z]
b
[x, y, F]
F cos x
一次只照明一个点．然后使用上述方程计算该点的深度， 由此得到二维距离图像。
图11.12 结构光测距原理示意图[Jarvis 1983]
•激光测距雷达
在生物界，蝙蝠和海豚是通过接收自己发出的超 声波来确定其周围物体的存在．根据生物的这种感知 距离的能力，人类发明了各种测距系统，称之为雷达， 即向空间发射信号，然后接收反射信号并与发射信号 进行比较，以确定目标的距离和方位．激光测距 （laser range finder）是在二十世纪60年代发展起来的 一种新型测距雷达，现在已经进入实用化阶段．激光 雷达具有波束窄、波长短等独特优点，因而具有极高 的角分辨能力、距离分辨能力和速度分辨能力。激光 雷达可以获取目标的多种信息，如反射特性、距离信 息、速度信息等．
ei (x, d(i) ) ( f0 (x j) fi (x d(i) j))2
或
jW
ei (x, ) ( f0(x j) fi (x BiF j))2 jW
期望值：
E[ei (x, )]
(
f
(x
j)
f
(x

Bi F (
r )
实现过程：计算未平滑的两幅图像中的每个像素 的梯度幅值，然后使用两个阈值，一个大于0，另 一个小于0，将这些值映射到三个值．这样图像就 被转换为波浪起伏阵列，可以产生更灵敏的相关 值．
3. 多基线立体成象
一幅图像上的每一个特征点只能与另一幅图像 上的唯一一个特征对应，通常将这一性质称为特征 的唯一性约束．在实际中，由于大多数特征点不是 十分明显，特别是重复纹理的出现，常常会产生对 应多义性(ambiguity)，即一幅图像上的一个特征点对 应另一幅图像的若干个对应点，其中的一个点是真 正的对应点，而其它点是假对应点．消除对应点多 义性的一种有效方法是采用多基线立体成象 [Okutomi 1993] 。
j))2

2Nw
2 n
jW
n个摄像机形成(n-1)个SSD函数，将所有的SSD函数相 加(sum of SSD，SSSD)形成了总的评估函数：
n
e1,2,...,n1(x, ) ei (x, ) i 1
n1
E[e1,2,...,n1(x, )] E[ei (x, )]
•被动测距传感:视觉系统接收来自场景发射或反射 的光能量，形成有关场景光能量分布函数，即灰度 图像，然后在这些图像的基础上恢复场景的深度信 息．
•主动测距传感:视觉系统首先向场景发射能量，然 后接收场景对所发射能量的反射能量．主动测距传 感系统也称为测距成象系统（Rangefinder)．
1.立体成像
（2）基于边缘的立体匹配
• 在某一行上计算各边缘的位置． • 通过比较边缘的方向和强度粗略地进行边缘匹配． • 通过在精细尺度上进行匹配，可以得到视差估计．
水平边缘是无法进行匹配的！
（3）基于区域相关性的立体匹配
• 在立体图像对中识别兴趣点(interesting point)，而后使用区域 相关法来匹配两幅图像中相对应的点．
（2）相位差测距 深度信息可以通过检测调幅光波发射和接收的相位差来得到。
已知调制频率 f m 和相位差 ，则物体到传感器的距离为：
测距范围：
d c m 4fm 4
D c m
2 fm 2
d c N c
4f m
2 fm
•变焦测距
根据理想薄透镜定理，透镜中心（光学原点）到图象平面的距
• 兴趣点计算公式如下：
在以某一点为中心 的窗函数中，计算 其在不同方向上的 变化量是这些方向 上点的差异性的最
好测度。S表示窗函
数中的所有像素 。
I1 [ f (x, y) f (x, y 1)]2 ( x, y)S
I2 [ f (x, y) f (x 1, y)]2 ( x, y)S
I3 [ f (x, y) f (x 1, y 1)]2 ( x, y)S
I4 [ f (x, y) f (x 1, y 1)]2 ( x, y)S
I (xc, yc ) min( I1, I2, I3, I4 )
• 特征点匹配
一旦在两幅图像中确定特征后，则可以使用许 多不同方法进行特征匹配．一种简单的方法是计算 一幅图像以某一特征点为中心的一个小窗函数内的 像素与另一幅图像中各个潜在对应特征点为中心的 同样的小窗函数的像素之间的相关值．具有最大相 关值的特征就是匹配特征．很明显，只有满足外极 线约束的点才能是匹配点．考虑到垂直视差的存在， 应将外极线邻近的特征点也包括在潜在的匹配特征 集中．
想位置为 z 。
b d (z z1) b df (z z1)
z
z( f z1)
视野范围内远距离平面的距离表示式 ：
z1
fz (d b) df bz
视野范围内近距离平面的距离表示式 ：
z2

fz(d b) df bz
对于一个特定的配置，焦距平面为z，光圈直径为d，焦 距长为f，最大可接受模糊直径为b，上述方程提供了近 距离和远距离平面位置。
dr(i)

Bi F zr

Bi F r
图像强度函数 f0 (x) 和 fi (x) 在Z点附近可以表示为：
f0 (x) f (x) n0 (x) fi (x) f (x dr(i) ) ni (x)
立体图像对方差和(sum of squared difference, SSD)，匹配评 估函数 ：