计算机视觉中的多视图几何第五章 摄像机几何和单视图几何

1
1T


T
1T
1
1
2
主点
。在摄 π , , 。它也可以表示无穷远平面上的一个点 π , , ,0 ˆ 像机的主平面为 P 时，该点是 p , p , p ,0，我们把它记作 P。该点被摄
T 1 2 3 4 T T 1 2 3 1 2 3 T
3
主轴与图像平面交于主点。一般来说平面 π , , , 的法线是一个矢量
3
r
iT
ri T 3 其中因为R是旋转矩阵，所以项 r 当i=1,2时为零。标量 d r C t 是世界原点相对于 3 摄像机中心在摄像机主射线 r 方向的深度。因此
3T t
r P K r r
t
1T
2T
3T
~ r (C tr ~ r (C tr ~ r (C tr
x
s α
y
x y 1
0 o
（5.10）
增加的参数，s称为扭曲参数。对大多数标准的摄像机来说，其扭曲参数为零。 一个摄像机
~ P KR I/ C



（5.11）
的标定矩阵K取（5.10）的形式时称为有限射影摄像机。一个有限射影摄像机有11个 自由度。
~ 我们也可以把 P KR I/ C ，写成 P M I / M
T
(x,y,z)
T
(fx/z,fy/z)
T
（5.1）
可见5.1式是从3维空间到2维空间的一个映射。
用齐次坐标表示中心投影 如果用齐次坐标表示世界点和图像点，则中心投影可以 简单的表示成齐次坐标间的线性映射，即5.1式可表示为：
X fX f Y fY Z Z 1
y x
x
0
图5.2 图像坐标系( x, y) 和摄像机坐标系
T
(x , y )
cam cam
T
若记
f K
矩阵K陈为摄像机标定矩阵。 则（5.3）式有个简洁的形式
f
p p 1
x y
（5.4）
x KI/0 X
cam
（5.5）
T
矩阵K称为摄像机标定矩阵。在（5.5）中记(X,Y, Z ,1) 为X 是为了强调摄像机被设定 在一个欧氏坐标系的原点且主轴沿着Z轴的指向，而点 X 按此坐标系表示。这样的坐 标系可以称为摄像机坐标系。
iT 3
3T
r ~ P KR I/ C K r r
0


1T
2T
3T
~ r C ~ r C ~ r C
1T 2T 3T
（5.16）
是世界原点到摄像机中心在主射线方向上的距离。
0
现在，我们考虑如果摄像机在一段时间t内以单位速度沿主射线向后移动，并使摄像机 ~ 中心移到C tr 时的情况，此时的摄像机矩阵为：

3
31
32
33
ˆ 像机矩阵P投影到摄像机的主点PP 。
3
主轴矢量
v det(M)m是在主轴方向上指向摄像机前方的矢量。
3
5.2.2 射影摄像机对点的作用 正向投影 一般的射影摄像机根据映射x=PX把空间的一个点X映射到一个图像点。在无穷远平面 上的点 D (d ,0) 表示消影点。这些点映射到
（5.6）
Y
cam
Z X
cam
cam
R ,t z
o X
Y
图5.3世界和摄像机坐标架之间的欧氏变换
把5.5和5.6结合起来形成公式
~ x KR I/ C X
~ 我们看到一个摄像机 P KR I/ C 有9个自由度：3个来自K，3个来自R,3个来自C。包 含在K中的参数称为摄像机内部参数或摄像机的内部校准。在R和C中的参数与摄像机在 世界坐标的方位和位置有关称为外部参数。
4

1
p
4

其中 M是P的左边 3x 3子矩阵， p 是P的第四列。
5.2 射影摄像机
一般射影摄像机P按公式x=PX吧世界点X映射到图像点x。 摄像机中心 摄像机中心C是P的一维右零空间，即PC=0. （1） 有限摄像机（M非奇异）
M p C 1
1 4
（2） 无穷远摄像机（M奇异）
cam cam
摄像机旋转与位移
世界坐标系：空间点采 用不同的欧氏坐标系表 示
旋转与平移
摄像机坐标系：摄像机中 心在原点切主轴方向沿Z 轴的指向。
~ 如果 X是一个 3维非齐次矢量，表示世 界坐标系中的 ~ 一点的坐标，而 X 是以摄像机坐标表示的 同一点， ~ ~ ~ ~ 那么我们可以记 X R（ X C） ，其中 C表示摄像




（5.7）
为了方便，通常不把摄像机中心明显标出，此时摄像机矩阵可以写成
P KR/t
（5.8）
~ 其中， RC t
CCD摄像机 之前的针孔摄模型假定图像坐标在两个轴上有等尺度的欧氏坐标。但CCD摄像机 的像素可能不是正方形。所以，我们引入在x和y方向上图像坐标单位距离的像 素分别是mx和my。
f 1
X 0 Y 0 Z 0 1
（5.2）
主点偏置：前面的（5.1）式我们假定图像平面的坐标原点在主点上。实际情况可能不是 这样，因此一般情形的映射为
(X,Y,Z (fX/Z p , fY/Z p ) )
T x y
T
其中 (px , py ) 是主点的坐标.我们可以齐次的表示为：

4

T
T
T
PX
主射线方向的点乘。如 果摄像机矩阵已被归一 化使得 detM 0且 m 1, 那么 m 是指 向正轴向的单位矢量。 则w可以解释成：从摄像机 中心 C到点 X在主轴方向上的深度。
X
C
m
3
Xm
3
点X的深度图 结论5.1
T
令 X (X,Y, Z,1) 是一个 3D点而 P M / p 是一个有限摄像机矩
T
X fX Zp Y fY Zp Z Z 1
x
y
f
f
p p
x
y
1
X 0 Y 0 Z 0 1
（5.3）
y y
0
c am
p
x
c am
CCD的摄像机标定矩阵的一般形式是
α K
其中 α
0 x x
x
α
y
x y 1
0 o
（5.9）
和 fm 和 α fm 同理，我们用像素量表示主点，它的坐标为 x m p y m p
y y
0 x x y y
有限摄像机
为了增加一般性，我们可以考虑形如
α K
iT
p P p p
主平面
11
p p p
12
p p p
13
21
22
23
31
32
33
p P p P p P
14 24 34
1T
2T
3t

主平面是过摄像机中心并平行于图像平面的平面。它由被影像到图像上无穷远直线 的点集X组成。也就是 PX x,y, 0 。因此一个点在摄像机主平面上的充要条件 是 P X 0。换句话说， 是摄像机主平面的矢量表示。 P
~ ~ ~ 令C (C,1) 为摄像机中心。那么 w P X P ( X C ),但是 P ( X C ) m ( X C ), ~ ~ 其中 m 是主射线方向，因此 w m ( X C )可以解释成过摄像机中 心和点 X的射线与
T 3T 3T 3T 3T 3 3T 3 3
c am c am
机中心在世界坐标系的 坐标， R是一个 3 * 3的旋转矩 阵，表示摄像机坐标系 的方位，这个方程在齐 次坐 标下可以写成：
X R 0
T
c am
X ~ RC Y R 1 Z 0 1
T
~Biblioteka Baidu RC X 1
X () A (1 )C
在映射x=PX下，此直线上的点被投影到
x PX () PA (1 )PC PA
之所以到最后一步是因为PC=0。上式表明直线上的所有点都被映射到同一个图像 点PA，因而该直线必是过摄像机中心的一条直线。由此推出,C是摄像机中心的齐 次表示。


T
3T
3
轴平面 考察在平面 P 上的点集X。该集合满足P X 0 ，因此被影像到图像 PX 0, y, w 处，它们是图像y—轴上的点。此外由 P C 0和 PC 0 ，因而C也在平面 P上。 其结果是平面 P 由摄像机中心和图像中的直线x=0来定义的。类似的，平面P 由摄像 机中心和直线y=0来定义。
1T 2T 3T
3
3
3
r ) ) K r ) r
1T
2T
3T
~ r C ~ r C d ~
1T 2T t
（5.17）
沿主射线跟踪的效果是将（3,4）元素用世界原点到摄像机中心的深度替代。
4
，假定 PX (X,Y, Z,1) w( x, y ,1) .那么
T T
depth(X;P)
sign(detM) w Tm
3
（5.15）
是在摄像机主平面前方的点X的深度。
5.3 无穷远摄像机 考虑中心在无穷远平面上的摄像机。它意味着摄像机矩阵P的左边3*3子矩阵是奇异 的。与有限摄像机一样，摄像机中心可由PC=0求得。 无穷远摄像机可以大致分为两种不同的类型：仿射摄像机和非仿射摄像机。 定义5.3 仿射摄像机是矩阵P的最后一行 P 形 （0,0,0,1 的 像 。 如 ） 摄 机
1 2
主点
图像点 x Mm 是摄像机的主点，其中 m 是M的第三行。
3
3T
0
主射线 摄像机的主射线是过中心C而方向矢量为m 的射线。主轴矢量 v det(M)m 指向摄像机的前方。
3T
3
5.2.1 摄像机构造 摄像机中心 矩阵P有一个1维右零空间，因为它有4列而秩是3.假定C是零空间，即PC=0。下面我们 证明C是用齐次4维矢量表示的摄像机中心。 考察包含C和3维空间中任何一点A的直线。该直线上的点可以表示为
d C 其中， d 是M 的3 中矢量， 即M d 0. 维 0
列点 对与i=1,2,3,列矢量pi分别对应于X,Y,Z轴的在图像上的消影点.列P4是坐标原点的图像。 主平面 摄像机的主平面是P的最后一行 P 。
3
轴平面 平面 P 和 P 表示空间中过摄像机中心的平面，分别对应于映射到图像上直线 x=0和y=0的点。
3
之所以称它为仿射摄像机是因为无穷原点被它映射为无穷远点。 5.3.1 仿射摄像机 设想当我们采用后退并放大的电影摄影技术使感兴趣的物体始终保持同样大小的图像 时会发生什么情况？
我们先从有限射影摄像机开始。该摄像机矩阵可以写成：
~ 其中 r 是旋转矩阵的第i行。该摄像机主射线与矢量 r 同方向，而数值 d r C
摄像机几何和单视图几何
摄像机的定义：在这里我们说摄像机是3D世界和2D图像之间的一种映射。 摄像机模型的分类：主要分成有限中心的模型和“无穷远”中心的模型。
5.1有限摄像机
我们从最具体和最简单的摄像机模型即针孔摄像机开始。
基本针孔模型
光心：投影中心称为摄像机中心。
主轴（主射线）：摄像机中心到图像平面的垂线 主点：主轴与图像平面的交点。 主平面：过摄像机中心平行于图像平面的平面。 图像平面（聚焦平面）：空间点到中心投影到平面Z=f，f为焦距。 在针孔摄像机模型下，令投影中心位于一个欧氏坐标的原点，空间点 X (x,y,z) T 被映射到图像平面上点(fx/z,fy/z, f) 可写成下式：
T T
x PD M/p D Md
4
因而仅受P的前3*3子矩阵M的影响。 5.2.3 点的深度 下面，我们考虑在摄像机主平面前或后的一个点离主平面的距离。设摄像机矩阵 ~ T ，把3维空间的点 X (X,Y, Z,1) (X ,1) 投影到图像点 x w( x, y,1) P M/p
列矢量
射影摄像机的列是3维矢量，他们的几何涵义是特殊的图像点。记P得列为Pi， i=1,2,3,4，那么p1，p2，p3分别表示世界坐标X,Y,Z轴的消影点，因为这些点是轴方向 的图像。例如X—轴的方向D=（1,0,0,0）T， 被映像到P1=PD。列P4是世界原点的图像。 行矢量 射影摄像机的行是4维矢量，在几何上解释成特殊的世界平面。我们引入P的行记 号 P ，因而