计算机视觉中的多视图几何第五章 摄像机几何和单视图几何

iT
p P p p
主平面
11
p p p
12
p p p
13
21
22
23
31
32
33
p P p P p P
14 24 34
1T
2T
3t

主平面是过摄像机中心并平行于图像平面的平面。它由被影像到图像上无穷远直线 的点集X组成。也就是 PX x,y, 0 。因此一个点在摄像机主平面上的充要条件 是 P X 0。换句话说， 是摄像机主平面的矢量表示。 P

4

T
T
T
PX
主射线方向的点乘。如 果摄像机矩阵已被归一 化使得 detM 0且 m 1, 那么 m 是指 向正轴向的单位矢量。 则w可以解释成：从摄像机 中心 C到点 X在主轴方向上的深度。
X
C
m
3
Xm
3
点X的深度图 结论5.1
T
令 X (X,Y, Z,1) 是一个 3D点而 P M / p 是一个有限摄像机矩
y x
x
0
图5.2 图像坐标系( x, y) 和摄像机坐标系
T
(x , y )
cam cam
T
若记
f K
矩阵K陈为摄像机标定矩阵。 则（5.3）式有个简洁的形式
f
p p 1
x y
（5.4）
x KI/0 X
cam
（5.5）
T
矩阵K称为摄像机标定矩阵。在（5.5）中记(X,Y, Z ,1) 为X 是为了强调摄像机被设定 在一个欧氏坐标系的原点且主轴沿着Z轴的指向，而点 X 按此坐标系表示。这样的坐 标系可以称为摄像机坐标系。
（5.6）
Y
cam
Z X
cam
cam
R ,t z
o X
Y
图5.3世界和摄像机坐标架之间的欧氏变换
把5.5和5.6结合起来形成公式
~ x KR I/ C X
~ 我们看到一个摄像机 P KR I/ C 有9个自由度：3个来自K，3个来自R,3个来自C。包 含在K中的参数称为摄像机内部参数或摄像机的内部校准。在R和C中的参数与摄像机在 世界坐标的方位和位置有关称为外部参数。

3
31
32
33
ˆ 像机矩阵P投影到摄像机的主点PP 。
3
主轴矢量
v det(M)m是在主轴方向上指向摄像机前方的矢量。
3
5.2.2 射影摄像机对点的作用 正向投影 一般的射影摄像机根据映射x=PX把空间的一个点X映射到一个图像点。在无穷远平面 上的点 D (d ,0) 表示消影点。这些点映射到
cam cam
摄像机旋转与位移
世界坐标系：空间点采 用不同的欧氏坐标系表 示
旋转与平移
摄像机坐标系：摄像机中 心在原点切主轴方向沿Z 轴的指向。
~ 如果 X是一个 3维非齐次矢量，表示世 界坐标系中的 ~ 一点的坐标，而 X 是以摄像机坐标表示的 同一点， ~ ~ ~ ~ 那么我们可以记 X R（ X C） ，其中 C表示摄像
T
(x,y,z)
T
(fx/z,fy/z)
T
（5.1）
可见5.1式是从3维空间到2维空间的一个映射。
用齐次坐标表示中心投影 如果用齐次坐标表示世界点和图像点，则中心投影可以 简单的表示成齐次坐标间的线性映射，即5.1式可表示为：
X fX f Y fY Z Z 1
X () A (1 )C
在映射x=PX下，此直线上的点被投影到
x PX () PA (1 )PC PA
之所以到最后一步是因为PC=0。上式表明直线上的所有点都被映射到同一个图像 点PA，因而该直线必是过摄像机中心的一条直线。由此推出,C是摄像机中心的齐 次表示。
T T
x PD M/p D Md
4
因而仅受P的前3*3子矩阵M的影响。 5.2.3 点的深度 下面，我们考虑在摄像机主平面前或后的一个点离主平面的距离。设摄像机矩阵 ~ T ，把3维空间的点 X (X,Y, Z,1) (X ,1) 投影到图像点 x w( x, y,1) P M/p
4

1
p
4

其中 M是P的左边 3x 3子矩阵， p 是P的第四列。
5.2 射影摄像机
一般射影摄像机P按公式x=PX吧世界点X映射到图像点x。 摄像机中心 摄像机中心C是P的一维右零空间，即PC=0. （1） 有限摄像机（M非奇异）
M p C 1
1 4
（2） 无穷远摄像机（M奇异）
3
之所以称它为仿射摄像机是因为无穷原点被它映射为无穷远点。 5.3.1 仿射摄像机 设想当我们采用后退并放大的电影摄影技术使感兴趣的物体始终保持同样大小的图像 时会发生什么情况？
我们先从有限射影摄像机开始。该摄像机矩阵可以写成：
~ 其中 r 是旋转矩阵的第i行。该摄像机主射线与矢量 r 同方向，而数值 d r C
1 2
主点
图像点 x Mm 是摄像机的主点，其中 m 是M的第三行。
3
3T
0
主射线 摄像机的主射线是过中心C而方向矢量为m 的射线。主轴矢量 v det(M)m 指向摄像机的前方。
3T
3
5.2.1 摄像机构造 摄像机中心 矩阵P有一个1维右零空间，因为它有4列而秩是3.假定C是零空间，即PC=0。下面我们 证明C是用齐次4维矢量表示的摄像机中心。 考察包含C和3维空间中任何一点A的直线。该直线上的点可以表示为


T
3T
3
轴平面 考察在平面 P 上的点集X。该集合满足P X 0 ，因此被影像到图像 PX 0, y, w 处，它们是图像y—轴上的点。此外由 P C 0和 PC 0 ，因而C也在平面 P上。 其结果是平面 P 由摄像机中心和图像中的直线x=0来定义的。类似的，平面P 由摄像 机中心和直线y=0来定义。
列矢量
射影摄像机的列是3维矢量，他们的几何涵义是特殊的图像点。记P得列为Pi， i=1,2,3,4，那么p1，p2，p3分别表示世界坐标X,Y,Z轴的消影点，因为这些点是轴方向 的图像。例如X—轴的方向D=（1,0,0,0）T， 被映像到P1=PD。列P4是世界原点的图像。 行矢量 射影摄像机的行是4维矢量，在几何上解释成特殊的世界平面。我们引入P的行记 号 P ，因而
iT 3
3T
r ~ P KR I/ C K r r
0


1T
2T
3T
~ r C ~ r C ~ r C
1T 2T 3T
（5.16）
是世界原点到摄像机中心在主射线方向上的距离。
0
现在，我们考虑如果摄像机在一段时间t内以单位速度沿主射线向后移动，并使摄像机 ~ 中心移到C tr 时的情况，此时的摄像机矩阵为：
c am c am
机中心在世界坐标系的 坐标， R是一个 3 * 3的旋转矩 阵，表示摄像机坐标系 的方位，这个方程在齐 次坐 标下可以写成：
X R 0
T
c am
X ~ RC Y R 1 Z 0 1
T
~ RC X 1
x
s α
y
x y 1
0 o
（5.10）
增加的参数，s称为扭曲参数。对大多数标准的摄像机来说，其扭曲参数为零。 一个摄像机
~ P KR I/ C



（5.11）
的标定矩阵K取（5.10）的形式时称为有限射影摄像机。一个有限射影摄像机有11个 自由度。
~ 我们也可以把 P KR I/ C ，写成 P M I / M
摄像机几何和单视图几何
摄像机的定义：在这里我们说摄像机是3D世界和2D图像之间的一种映射。 摄像机模型的分类：主要分成有限中心的模型和“无穷远”中心的模型。
5.1有限摄像机
我们从最具体和最简单的摄像机模型即针孔摄像机开始。
基本针孔模型
光心：投影中心称为摄像机中心。
主轴（主射线）：摄像机中心到图像平面的垂线 主点：主轴与图像平面的交点。 主平面：过摄像机中心平行于图像平面的平面。 图像平面（聚焦平面）：空间点到中心投影到平面Z=f，f为焦距。 在针孔摄像机模型下，令投影中心位于一个欧氏坐标的原点，空间点 X (x,y,z) T 被映射到图像平面上点(fx/z,fy/z, f) 可写成下式：
1T 2T 3T
3
3
3
r ) ) K r ) r
1T
2T
3T
~ r C ~ r C d ~
1T 2T t
（5.17）
沿主射线跟踪的效果是将（3,4）元素用世界原点到摄像机中心的深度替代。
1
1T


T
1T
1
1
2
主点
。在摄 π , , 。它也可以表示无穷远平面上的一个点 π , , ,0 ˆ 像机的主平面为 P 时，该点是 p , p , p ,0，我们把它记作 P。该点被摄
T 1 2 3 4 T T 1 2 3 1 2 3 T
3
主轴与图像平面交于主点。一般来说平面 π , , , 的法线是一个矢量
~ ~ ~ 令C (C,1) 为摄像机中心。那么 w P X P ( X C ),但是 P ( X C ) m ( X C ), ~ ~ 其中 m 是主射线方向，因此 w m ( X C )可以解释成过摄像机中 心和点 X的射线与
T 3T 3T 3T 3T 3 3T 3 3
பைடு நூலகம்