第2章 摄像机成像中的若干重要空间关系

第二章 摄像机成像中的若干重要空间关系

摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划。借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像之间的极几何关系、空间中的特殊对象（例如平面等）的投影性质以及由图像重构三维空间物体形状的计算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文献和著作给予讨论，其中比较系统的有Hartley 等所著的“Multiple View Geometry in Computer Vision”

[1]

、马颂德等所著的“计算机视觉—计算理论与算法基础”

[2]

等。

在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。 2.1 视觉坐标系与成像几何原理

2.1.1 图像坐标系、摄像机坐标系和世界坐标系

为了定量描述摄像机成像过程，首先定义以下三个坐标系。 图像坐标系:

C

图2-1 图像坐标系

摄像机摄取的图像在计算机内以Ｍ×Ｎ数组的形式存储，数组中的每一个元素称为象素（pixel ），其值表示图像点的亮度(或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。如图2-1所示，在图像上定义直角坐标系u-v ，每一象素的坐标),(v u 分别是该象素在图像中的列数和行数。所以),(v u 是以象素为单位的图像坐标系的坐标。由于),(v u 只表示象素位于图像中的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如毫米)表示的图像坐标系

x-y ，该坐标系以图像中某一点1C 为原点，x 轴、y 轴分别与u 轴、v 轴平行，如图２-1所示。在后续章节中，

如不加特别说明，),(v u 表示以象素为单位的图像坐标系的坐标，),(y x 表示以物理单位度量的图像坐标系的坐标。在x-y 坐标系中，原点1C 定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为图像的主点。但由于摄像机制作的原因，也会有些偏离。若1C 在u-v 坐标系中的坐标为),(00v u ，每个象素

在x 轴和y 轴方向上的物理尺寸为dx ，dy ，则图像中任意一个像素在两个坐标系下的关系如下：

用齐次坐标和矩阵形式可表示为：

（2.1） 逆关系可写为：

⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡--=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡110000100v u dy v dy dx u dx y x （2.2）

摄像机坐标系:

所谓成像模型是指三维空间中的物体到像平面（视平面）的投影关系。理想的投影成像模型是光学中的小孔成像模型，图2-2是小孔成像模型的示意图。在此模型中，摄像机将场景点P 经过C 点投影到像平面上的像点m ，其中C 点称为摄像机光心，c X 轴和c Y 轴与图像坐标系的x 轴和y 轴平行，c Z 轴为摄像机的光轴，和像平面垂直，光轴与像平面的交点为1C ，由点C 与c c c Z Y X ,,轴组成的直角坐标系称为摄像机坐标系，记为c c c Z Y X C -，f 为摄像机焦距。 世界坐标系:

由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为w w w w Z Y X O -，如图２-3所示。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R 与平移向量t 来描述。因此，如果空间中某一点P 在世界坐标系和摄像机坐标系下的齐次坐标分别为T

w w w Z Y X )1,,,(与T

c c c Z Y X )1,,,(，则存在如下关系：

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦

⎤

⎢⎢⎢⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎥⎥⎥

⎦⎤⎢⎢⎢⎢⎣⎡111011

w w w w w w T

c c c Z Y X Z Y X Z Y X M t R

（2.3）

其中R 是33⨯旋转矩阵，t 是三维平移向量，T

)0,0,0(=0，1M 是44⨯矩阵，表示两个坐标系之间的关系。

世界坐标系

图2-3 摄像机坐标系与世界坐标系

问题：如何表示图像坐标),(v u 与),,(w w w Z Y X 之间的关系？ 2.1.2 成象几何原理

从小孔成像模型(如图2-2)中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系：

其中，),(y x 为像点m

在像平面坐标系下的坐标，),,(c c c Z Y X 为空间点P 在摄像机坐标系下的坐标。),(

y x 和

),,(c c c Z Y X 分别用齐次坐标表示为)1,,(y x 和)1,,,(c c c Z Y X ，上式可写成矩阵形式：

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦

⎤

⎢⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡c c c c

c c Z Y X f f

Z Y X f f y x 10

0000100010

00001μ （2.4） 其中μ为常数因子。这是摄像机最理想的简单模型。 将（2.4）代入（2.1）式：

=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1v u μ⎥⎥⎥⎦⎤

⎢

⎢⎢⎣⎡100/100/100v d u d y x

⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤

⎢⎢⎢⎣⎡c c c Z Y X f f

10

0000⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=c c c y x

Z Y X v d f u d f 10

/00/00 （2.5） 令

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=10

000v f u f v u

K T

c c c T Z Y X 1v u )

,,(),,(==c P m （2.6）

则（2.5）式可简略地表示为：

c KP m =μ （2.7）

其中：x u d f f /=、y v d f f /=分别称为u 轴与v 轴方向的尺度因子，),(00v u 称为主点坐标，矩阵 K 称为摄像机内参数矩阵，通常我们称它为四参数模型。

如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型：

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=10

00v f u s f v u

K （2.8） 其中：s 称为畸变因子，这是摄像机的一般线性内参数模型。 像平面归一化坐标

如果已知内参数矩阵K ，对像平面作坐标变换：

⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-1v u 1v u 1n n K （2.9） 我们称⎥⎥⎥⎦

⎤

⎢⎢⎢⎣⎡=1n n n v u m 为像平面的归一化（规范化）坐标。