10100516李志鹏论文定稿

南京师范大学
毕业设计（论文）
（ 2014 届）
题目：序列视频摄像机姿态计算
学院：地理科学学院
专业测绘工程
姓名：李志鹏
学号：10100516
指导教师：刘学军
南京师范大学教务处制
摘要
用摄像测量方法研究被摄物体的几何信息和物理信息时，必须建立该物体与像片之间的数字关系，为此，首先要确定航空摄影瞬间摄影中心与像片在地面设定的空间坐标系中的位置与姿态。

描述这些位置和姿态的参数称为像片的方位元素。

其中表示摄影中心与像片之间相关位置的参数称为内方位元素，即摄像中心S到像片的垂距f及像主点o在框架坐标系中的坐标。

表示摄影中心与像片在地面坐标系中的位置和姿态的参数称为外方位元素，即确定摄影光束在摄影瞬间的空间位置和姿态的参数。

关键词: 摄影测量;摄影中心; 姿态参数；空间坐标
Abstract
Study on the measurement method for camera photographed the geometric information and physical information object, must establish the relationship between the object and the digital photograph, therefore, must first determine the position and attitude of aerial photography and photo on the ground set in the spatial coordinate system. Description of the position and attitude parameter called orientation elements photo. The said parameters related position between the center of photography and photo called the inner orientation elements, namely the camera center S to photograph the vertical distance F and principal point in the framework of O coordinate. Parametric representation of center of photography and pictures in the ground coordinates of position and attitude of the known as the elements of exterior orientation parameters, namely photo beams in the spatial position and posture of the instant photography.
Keywords: Photography; photographic center; pose parameter space coordinates;
目录
摘要 (2)
1绪论 (5)
1.1论文研究的目的 (6)
1.2论文研究的意义 (6)
1.3国内外的研究现状 (6)
2 特征点提取算法 (6)
2.1摄影测量特征点提取算法的意义 (6)
2.2 Moravec 算子 (6)
2.3 Harris 算子 (6)
2.4 Frstner 算子 (6)
3 特征点检测 (7)
3.1特征点检测的意义 (7)
3.2 Harris 角点检测 (7)
3.3 SUSAN 角点检测 (7)
3.4相位一致性角点检测 (7)
4 摄像机标定 (9)
4.1 摄像机标定的意义 (9)
4.2 摄像机成像模型 (9)
4.2.1坐标变换 (11)
4.2.2 摄像机成像公式 (13)
4.3 传统摄像机标定方法 (17)
4.3.1 直接线性变换（DLT变换） (17)
4.3.2 Tsai 的 RAC的定标算法 (9)
4.4摄像机自标定方法 (21)
4.4.1 基于Kruppa方程的自标定方法 (21)
4.4.2基于绝对二次曲面、无穷远平面的自标定方法 (22)
5基于Matlab的摄像机标定的实现 (24)
5.1标定实现的流程 (24)
5.2标定的实现 (24)
5.3 实验误差分析 (27)
6总结和展望 (28)
6.1总结 (28)
6.2 展望 (28)
附录 (31)
1绪论
1.1论文研究的目的
本文所研究的目的:获取的视频序列后，对比不同的获取特征点算法(光流法,SURF特征点提取算法,SIFT特征点提取算法)得出最优算法，利用统计学中直方频率统计找出最精准特征点，同时用特征点坐标，解算中心投影构线方程，得到精确的外方位元素，确定摄像机姿态。

1.2论文研究的意义
本文所研究意义：找出较优的特征点提取和匹配算法，优化摄像机姿态解算，解算出精确的外方位元素即确定瞬间的摄像机姿态，对于数字摄影测量内业，高程模型，正射影像等数字产品的作业有重要作用。

还可以促进精确的恢复像片中地物地貌的三维世界，确定高速移动物体的瞬间姿态，以及高精密测量中摄影像片的处理等测量作业的发展。

进入21世纪伴随着科学技术的突飞猛进，计算机科学的迅速发展，航空航天、国防试验、勘察勘测、交通运输、建筑施工、体育运动、照片真伪鉴别等领域对摄像机功能摄影测量精度有了更高的要求。

1.3国内外的研究现状
由于摄像机参数在理论和实践中的重要价值,有关摄像机定标和提高摄像机参数精度的研究多年来一直在进行,基于不同的出发点和思路都取得了一定的成果。

由于摄像机位置的重要性国内外学者专家对这方面做了大量的研究。

如：opencv等视频序列制作软件的优化和开发，顾广华学者将连续几帧图像的相同背景稳定在同一幅图像的相同位置对静止背景序列的视频对象分割算法。

华东师范大学孙殿平教授对序列视频图像中运动目标的检测与跟踪快速算法。

还有中科院向长波教授估计多个视点位置上摄像机姿态的新算法。

这些都对对摄影测量摄像机姿态计算直接或间接的起到了促进作用。

David G Lowe在2004年提出一种尺度空间上,对于图像的缩放和旋转甚至仿射变换保持不变性的图像局部特性描述算子-SIFT算子, 即尺度不变特征变换。

它检测局部极值并将极值点作为特征点,使其保持鲁棒性和稳定性。

近年来,将光流法应用于视觉里程计中是国内外一些专家学者的研宄重点。

将传统的光流法加以改进并创新了一系列新方法,促进了光流法的发展。

张永亮等提出一种改进的Lucas-Kanade算法,首先,计算跟踪置信度因子;然后,通过阈值检测剔除不可靠的光流估计结果;最后进行邻域填充。

该方法改善了对于纹理不丰富区域的光流估计,提高了运动估计的结果。

潘金山等学者提出一种估计运动细节的方法。

该方法针对现有的光流方法在处理大位移和估计运动图像细节方面存在的问题,提出一种结合图像细节特征的变分光流场的模型。

总体来看各种算法都有各自的优缺点，都还在快速发展。

2 特征点提取算法
2.1摄影测量特征点提取算法的意义
特征提取是许多图像分析的必要步骤，也是立体视觉和目标识别系统的基础，它在影像匹配、目标描述与识别、运动估计、目标跟踪等领域具有十分重要的意义。

点特征是图像最基本的特征之一，它易于表达和操作，本文介绍了摄影测量领域中应用比较广泛的几种点特征提取算法。

在摄影测量领域中较常用的特征点提取算子有: Moravec 算子; F rstner 算子; Harris 算子; SUSAN 算子等。

下面将分别介绍各算法.
2.2 Moravec 算子
Moravec 算子是Moravec H P 于1977 年提出的一种利用灰度方差提取点特征的算子，主要是在四个方向上，选择具有最大、最小灰度方差的点作为特征点。

有以下几个步骤。

(1) 计算各像元的兴趣值IV( interest value) 。

(2) 给定一经验值，将兴趣值大于该阈值的点( 即兴趣值计算窗口的中心点) 作为候选点。

阈值的选择应以候选点中包括所需要的特征点，而又不含过多的非特征点为原则。

(3) 选取候选点中的极值点作为特征点。

在一定大小的窗口内( 可不同于兴趣值计算窗口，例如5 × 5，7× 7 或9 × 9 像元) ，将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。

这一步骤也可以称为“抑制局部非最大”。

2.3 Harris 算子
Harris 算子是Moravec 算子的一种改进，它是由C．Harris 和
M． J． Stephens 在1988 年提出的一种基于信号的点特征提取算子。

Harris 算子的优点是在计算时只用到了图像数据的一阶导数，因此对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。

2.4 Frstner 算子
Frstner 算子，它是由F rstner W 和Gülch E 于1977年提出的，是通过计算各像素的Robert’s 梯度和像素( c，r) 为中心的一个窗口( 如5 × 5) 的灰度协方差矩阵，在影像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。

3 特征点检测
3.1特征点检测的意义
立体视觉中的特征点匹配是计算机视觉中的重要组成部分, 是获取三维几何信息的重要步骤。

特征点匹配算法可遵从下述处理过程: ( 1) 特征点的选择; ( 2) 点匹配。

本文比较了经典的Har ris、SUSAN 和相位一致性角点检测算法, 得出通过相位技术找出的边缘特征点具有良好的抗噪性和稳定性。

3.2 Harris 角点检测
Harris 角点检测通过选取小区域并作出微小位移, 由此得到每个象素处的
梯度矩阵:
再通过提取特征值和 , 计算角点响应函数:
其中, k 为系数, 角点可选取为局部最大化R 。

同时, R 大于某一域值。

3.3 SUSAN 角点检测
在运用Harris 角点检测时, 必须先用滤波器降噪, 才能得到较好的结果。

但是运用滤波器同时也影响了角点的位置。

SU SAN 角点检测则可以避免这个问题。

SUSAN 检测算法以某一像素点为核心, 设一个以该核心为中心的圆形区域为掩模, 通过比较掩模区域与核心的灰度一致性来计算U SAN 面积。

U SAN 面积越小, 则边缘强度越大, 该核心点即为角点。

此法可以免去用滤波器降噪, 且不会影响角点的几何位置。

3.4相位一致性角点检测
相位一致性角点检测是基于频域的处理方法。

通常, 角点具有较大的边缘特征, 则该点的频率分量相位角具有最大的一致性。

位一致性又与方向角相联系, 所以可通过计算不同方向的相位一致性来判定角点的位置。

4 摄像机标定
摄像机定标技术早就应用于摄影测量学。

摄影测量学中所使用的方法是数学解析分析的方法, 在定标过程中通常要利用数学方法对从数字图像中获得的数据进行处理.通过数学处理手段。

4.1 摄像机标定的意义
摄像机标定，是指建立摄像机成像几何模型，描述空间坐标系中物体点同它在图像平面上像点之间对应关系的过程。

摄像机标定的目的就是确定几何模型参数即摄像机参数。

摄像机标定是计算机视觉应用中的关键技术，在增强现实系统中也必须采用摄像机标定技术实现图像的注册。

摄像机标定技术在立体视觉研究中占有非常重要的地位。

本文就目前普遍常用的标定方法进行了综合阐述，介绍了摄像机标定的基本原理和几种比较常见的标定方法。

最后实现了基于Matlab使用标定工具的半自动获取标定结果，该方法以棋盘格作为标定板图样, 对于每一幅标定图像, 需要人工界定4个角点,完成标定过程,另外在Tasi的理论基础上，进行了不考虑摄像头畸变的标定简单实验，得出了摄像机的参数。

4.2 摄像机成像模型
摄像机成像模型是摄像机定标的基础，确定了成像模型，才能确定摄像机内外参数的个数和求解的方法。

在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参数。

图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上的投影。

图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。

这些位置的相互关系，由摄像机成像系统的几何投影模型所决定。

计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。

在推导成像模型的过程中，不可避免的要涉及到空间直角坐标系，直角坐标系分右手系和左手系两种。

如果把右手的拇指和食指分别指向x 轴和 y 轴的方向，中指指向 z 轴的方向，满足此种对应关系的就叫做右旋坐标系或右手坐标系；如果左手的三个手指依次指向 x 轴、y 轴和 z 轴，这样的坐标系叫做左手坐标系或者左旋坐标系。

本文为简便起见，使用的坐标系均为右手坐标系。

图4.1 针孔成像原理
对于仅有一块理想薄凸透镜的成像系统，要成一缩小实像，物距u,像距v 焦距f 必须满足下式： 111u v f
+= （4.1） 当u 远大于 f 时，可以认为 v 与 f 近似相等，若取透镜中心为三维空间坐标系原点，则三维物体成像于透镜焦点所在的像平面上，如上图所示。

图中（X,Y,Z ）为空间点坐标，（x, y,-f ）为像点坐标，(),,c c c X Y Z 为以透镜中心即光学中心为坐标原点的三维坐标系。

成像平面平行于c c c O X Y 平面，距光心距离为f 。

则有下列关系成立：
上述成像模型即为光学中的中心投影模型，也称为针孔模型。

针孔模型主要由光心投影中心、成像面和光轴组成。

模型假设物体表面的部分反射光经过一个针孔而投影到像平面上，也就是就成像过程满足光的直线传播条件，为一个射影变换过程；而相应地，像点位置仅与空间点坐标和透镜焦距相关。

由于成像平面位于光心原点的后面，因此称为后投影模型，此时像点与物点的坐标符号相反；为简便起见，在不改变像点与物点的大小比例关系的前提下，可以将成像平面从光心后前移至光心前，如下图所示，此时空间点坐标与像点坐标之间符号相同，成等比例缩小的关系，此种模型称为前投影模型。

本文使用前投影模型，在实际生活中，大部分摄像机都可以用此模型近似模拟其成像过程。

f x X Z f y Y Z
⎧=-∙⎪⎪⎨⎪=-∙⎪⎩
图4.2 针孔成像前投影模型
4.2.1坐标变换
在实际使用摄像机的过程中，人们为了方便计算，常常设置多个坐标系，因此，空间点的成像过程必然涉及到坐标系之间的相互转化。

下面将逐步推导坐标变换的公式以及坐标变换的相关特性。

首先考虑相对简单的二维坐标变换，考虑如下图所示的两个坐标系Oxy 和'''O X Y ,其中()00,x y 表示点O ’点在坐标系 Oxy 中的坐标，两坐标系之间的夹角设为θ。

则两坐标系之间的变换可以看作是通过两步完成的：或者是先旋转，再平移；或者是先平移，后旋转。

两种方法得到的最终的表达式是一致的，在这里选择第一种。

图4.3 二维坐标变换示意图
经过简单的推导，可以得出以下同一点新旧坐标之间的关系式：
(4.2) 0
'cos 'sin 'sin 'cos x x y x y x y y θθθθ=-+⎧⎨
=++⎩
将其转化为矩阵的形式，可以推出下式：
(4.3)
为更进一步简化公式，这里引入齐次坐标形式。

简单地说，给原有的坐标表示添加一个元素，用 1表示该点为非无穷远点，0表示该点为无穷远点，更深入的内容可以参考空间解析几何的相关内容。

引入齐次坐标后，上式可以变为以下形式：
(4.4)
坐标变换矩阵由三个列向量组成，前两个列向量表示旋转，第三个列向量表示平移。

可以看出旋转向量满足正交性，用r1 表示第一列，用 r2 表示第二列，则有下式成立：
(4.5) 将坐标变换从二维扩展到三维，情况将稍微复杂一些，但依然可以将坐标变换分解为旋转和平移两个部分，此时旋转角将是一个空间角而不是一个平面角，平移量是一个三维空间向量而不是一个平面二维向量。

对于旋转的空间角，可以将其分解为三个平面旋转角，分别表示绕 x 轴，y 轴和z 轴旋转的角度。

每一种旋转所对应的变换矩阵如下所示：
(4.6)
00cos sin 'sin cos '10001x x x y y y θθθθ-⎡⎤⎡⎤⎡⎤
⎢⎥⎢⎥⎢⎥
=⎢⎥⎢⎥⎢⎥
⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦
2212121
r r r r ⎧==⎨
∙=⎩()()()100,0cos sin 0sin cos cos 0sin ,010sin 0cos cos sin 0,sin cos 0001Rot x Rot y Rot z αααααβββββγγγγγ⎧⎡⎤⎪⎢⎥=⎪⎢⎥⎪⎢⎥-⎣⎦⎪
-⎡⎤⎪
⎪⎢⎥=⎨⎢⎥⎪⎢⎥⎣⎦⎪⎪⎡⎤⎪⎢⎥=-⎪⎢⎥⎪⎢⎥⎣⎦⎩
00cos sin 'sin cos 'x x x y y y θθθθ-⎡⎤⎡⎤⎡⎤⎡⎤=+⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦
图4.4 三维坐标变换示意图
这里设新坐标系的原点O ’在旧坐标系中的坐标为(,,)x y z O O O ，则可以得出最终的、坐标变换的齐次坐标形式:
(4.7)
类似地，旋转向量满足正交性，令[]12
3R r r r =表示旋转矩阵，其中
()1112131,,T
r r r r =,()2122232,,T
r r r r = ,()3132333,,T
r r r r = ,令()123,,T
T t t t =表示平移向量，O=(0,0,0)，则上述公式可以简化为：
(4.8)
对于旋转向量，有下式成立：
(4.9) 4.2.2 摄像机成像公式
有了前述的相关知识，现在可以在忽略畸变影响的前提下推导摄像机成
像公式。

在摄像机成像过程中，通常涉及到多个坐标系。

它们分别是世界坐标
''01'11x x y R T y z z ⎡⎤⎡⎤
⎢⎥⎢⎥⎡
⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥
⎢⎥⎣⎦⎣⎦22212312231310
r r r r r r r r r ⎧===⎪⎨∙=∙=∙=⎪⎩000cos cos cos sin sin 'sin sin cos sin sin sin cos cos sin cos 'cos sin cos cos sin sin sin cos cos cos '100011x x x y y y z z z βγ
βγβαβγαβγαγαβαβγαβγαγαβ-⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢
⎥⎢⎥=⎢⎥⎢⎥⎢⎥-⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦
系、摄像机坐标系和图像坐标系，图像坐标系又分为图像物理坐标系和图像像素坐标系。

图4.5 摄像机成像模型
世界坐标系是可由用户任意定义的三维空间坐标系，一般的三维场景都用这个坐标系来表示。

在摄像机定标中，世界坐标系常设在定标物的表面或在与标定物有着确定的变换关系的位置，从而标定物上特征点的空间世界坐标仅需简单的推导即可得到。

摄像机坐标系是以摄像机光心为原点，以垂直于成像平面的摄像机光轴为 Z轴建立的三维直角坐标系。

其中该坐标系的X轴和 Y轴一般与图像物理坐标系的相应x轴和y轴平行，两轴所在平面平行于成像平面。

图像坐标系分为图像物理坐标系和图像像素坐标系两种。

图像物理坐标系的原点为透镜光轴与成像平面的交点，X与 Y轴分别平行于摄像机坐标系的x与 y轴，是平面直角坐标系，长度单位为毫米。

图像像素坐标系为固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角,坐标轴平行于图像物理坐标系的X和 Y 轴。

对于数字图像，图像像素坐标系为直角坐标系，长度单位为毫米。

图4.6 成像平面的不垂直性示意图
摄像机成像可以分为三个阶段，第一个阶段是空间点坐标从世界坐标系变换为摄像机坐标系，第二个阶段为空间点坐标经过镜头的射影变换转化为像点坐标，在这个过程中由于光学系统的畸变误差，会使像点坐标产生一定的畸变，从而会对最终的图像造成一定的畸变。

为了校正畸变，对应不同的校正方法，人们提出了许多不同的校正模型。

第三个阶段为图像的形成，通过 CCD 完成。

它使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号，数字信号经过压缩以后由相机内部的闪速存储器或内置硬盘卡保存，因而可以轻而易举地把数据传输给计算机，并借助于计算机的处理手段，根据需要和想象来修改图像。

CCD 由许多感光单位组成，通常以百万像素为单位。

当 CCD 表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画面。

CCD 每个像素在 x 和 y 方向上分别有着确定的物理尺寸x d 和y d ，表示一个像素为多少毫米，这两个参数近似相等，但由于制造精度的问题，将会有一定差异。

同样地，CCD 的坐标轴的夹角接近90度，但不是完全垂直。

下面来推导理想情况下的摄像机成像公式，首先是第一个阶段：
(4.10) 其中，(),,,1T
w w w x y z 为空间点的世界坐标系齐次坐标。

(),,,1T
c c c x y z 空间点的摄像机坐标系齐次坐标，R 和 T 分别为旋转矩阵和平移向量。

在第二个阶段，空间点变换为像点：
(4.11) 0111c w c w c w x x y y R T z z ⎡⎤⎡⎤
⎢⎥⎢⎥
⎡⎤⎢⎥⎢⎥
=⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦00010001000c c c c
x x f y y f z z f ⎡⎤
⎡⎤⎡⎤⎢⎥
⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥
⎢⎥⎢⎥
其中(),,1T
x y 为像点图像物理坐标系齐次坐标。

在第三个阶段，像点坐标将转化为像素坐标：
(4.12) 其中 为像点的图像像素坐标系齐次坐标。

()00,u v 为摄像机光学中心在CCD 成像平面上的投影位置。

这样就依靠摄像机各参数，建立了空间点与像素点之间的联系。

因此我们可以根据检测到的点坐标，进而求得摄像机的焦距f ，物理尺寸x d 和y d ，主点位置()00,u v ，纵横坐标轴的夹角θ。

总的来说，理想前提下，摄像机的参数可分为内外两种，用于世界坐标系向摄像机坐标转换的三个旋转角和三个平移量参数为外参数，总共为六个未知量，摄像机的焦距f ，物理尺寸x d 和y d ，主点位置()00,u v ，纵横坐标轴的夹角θ，和起来也是六个未知量。

但是，将成像第二阶段和第三阶段的公式中的矩阵合并到一起，通过简单的变量替换，可以将六个内参数化为五个内参数。

(4.13)
令 ， ， ，则最后的成像公式可变为：
(4.14) 因此，理想情况下摄像机定标就是要求解这内外总共11个未知量。

()00cot 110sin 11001x
x y u d d u x v v y d θθ-⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥*⎢⎥⎢⎥⎢⎥
⎣⎦⎣⎦⎢⎥⎣⎦()00cot 0sin 11001x
x y f f u d d u x
f v v y d θθ-⎡⎤
⎢⎥⎡⎤⎡⎤
⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥
*⎢⎥⎢⎥⎢
⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦
00010001100011w w c w x u u y R T v v z z αγβ⎡⎤⎡⎤⎡⎤⎢⎥
⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦
⎣⎦
(),,1T
u v ()sin y f d βθ=*x f d α=cot x f d γθ=-
4.3 传统摄像机标定方法
4.3.1 直接线性变换（DLT 变换）
直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：
（4.15） 其中(),,1u v 为图像坐标系下的点的齐次坐标，(),,w w w X Y Z 为世界坐标系下的空间点的欧氏坐标，P 为34⨯的透视投影矩阵，S 为未知尺度因子。

()34ij P p ⨯=，消去S,可以得到方程组：
（4.16）
当已知N 个空间点和对应的图像上的点时，可以得到一个含有2* N 个方程的方程组:
AL=0 （4.17）
其中A 为()212N *的矩阵，L 为透视投影矩阵元素组成的向量
[]
111213142122232431323334,,,,,,,,,,,,T
p p p p p p p p p p p p 。

像机定标的任务就是寻找合适
的L,使得AL 为最小，即 给出约束： (4.18)
L ’为L 的前11个元素组成的向量，C 为A 前11列组成的矩阵，B 为A 第12列组成的向量.
约束341p =不具有旋转和平移的不变性，解将随着世界坐标系的选取不同而变化。

证明如下：
世界坐标系作刚性坐标变换
(4.19)
()34111w w w w w w
X X u Y Y s v K R t P Z Z ⨯⎡⎤⎡⎤
⎡⎤⎢⎥⎢⎥
⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
⎣⎦⎣⎦
1112131431323334212223143132333400w w w w w w w w w w w w p X p Y p Z p p uX p uY p uZ p u p X p Y p Z p p uX p uY p uZ p u +++----=⎧⎨
+++----=⎩()3411
'T T
p L C C C B -=⎧⎪⎨=-⎪⎩
'
01R t P P ⎡⎤=⎢⎥⎣⎦
min L
AL
则'
3431132233334p p t p t p t p =+++。

显然在一般的情况下，'3434
p p ≠ 另一个约束222
3132331p p p ++=具有旋转和平移的不变性
图4.7 向量位置关系
向量1R ，2R ，3R 是两两垂直的单位向量，有222123cos cos cos 1θθθ++=。

4.3.2 Tsai 的 RAC 的定标算法
80年代中期Tsai 提出的基于RAC 的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除（像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。

基于RAC 方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。

RAC 的定标算法主要内容有像机模型、径向一致约束、定标算法. 像机模型如下页图4.8：
1θ3
θ2
θ1R 3P 3R 2R ()
312111,,r r r ()
332313,,r r r ()
322212,,r r r )
,,(333231p p p
c y
图4.8像机模型
世界坐标系和摄像机坐标系的关系:
(4.20) 在Tsai 的方法中，K 取作：
(4.21)
理想图像坐标到数字图像坐标的变换（只考虑径向偏差[18,19]），如下页图4.9:
（x , y ）
()11X x Y y K R t Z ⎛⎫
⎛⎫ ⎪
⎪
⎪≈ ⎪ ⎪
⎪ ⎪⎝⎭
⎝⎭
00,0,0,,0,0,1f s u K f v ⎛⎫ ⎪= ⎪ ⎪⎝⎭
y
x
y '
o c
o (u,v)
（u c, vc ）
O
w
Y w
Z w
X c
z c
x
图4.9 径向偏差
（4.22） (u,v)为一个点的数字化坐标，（x,y ）为理想的数字化坐标，(),c c u v 为畸变中心。

（1）径向一致约束
在图像平面上，点(),c c x y ，（x,y ），（u,v)共线，或者直线(),c c x y (x,y)与直线(),c c x y （u,v) 平行或斜率相等，则有：
（4.23）
通常把图像中心取作畸变中心和主点的坐标，因此：
（4.24） （2）定标算法
定标步骤一：求解像机外参数旋转矩阵R 和向x,y 方向上的平移1t ，2t 根据：
（4.25） 其中， ， 得到：
（4.26）
再根据式（3.25）得到：
（4.27） 22
1221()(1())()(1())c c c c x u k u v u u y v k u v v v -++=--⎧++=-⎪⎨⎪⎩
c c c
c
x u u u y v v v --=
--0000
x u u u
y v v v --=
--[]11X x Y y K R t Z ⎡⎤
⎡⎤⎢⎥⎢⎥⎢⎥≈⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
⎣⎦
123145623789,r r r t R r r r t t t r r r ⎛⎫⎛⎫ ⎪ ⎪
== ⎪ ⎪
⎪ ⎪
⎝⎭⎝⎭
00,0,0,,0,0,1s f u K f v ⎛⎫
⎪
= ⎪ ⎪⎝⎭()()123107893
45620
7893fs r X r Y r Z t x u r X r Y r Z t f r X r Y r Z t y v r X r Y r Z t +++⎧=+⎪
+++⎪⎨+++⎪=+⎪+++⎩()
12310
45620
s r X r Y r Z t u u r X r Y r Z t v v +++-=+++-
由至少7组对应点，可以求得一组解：
（4.28）
对0M 除以222567c m m m =++，则得到一组解()12314562,,,,,,,sr sr sr st r r r t 。

由
2221231r r r ++=可求出S ，从而1t 也可以被解出。

()()()789123456,,,,,,r r r r r r r r r =⨯
或 ()()()789456123,,,,,,r r r r r r r r r =⨯
根据 det(R)=1,来选择()789,,r r r 。

定标步骤二：求解有效焦距f 、z 方向上的平移3t 和畸变参数k ；
令k=0作为初始值，则式（4.2.7）为：
0000x u u u y v v v -=--=- （4.2.10）由式（4.2.7）中x,y 的表达式，可以将第一步求出 R ，1t ，2t 的值代入得：
（4.29） 由此可以解出f, 3t .将求出的f, 3t .以及k=0作为初始值，对下式进行线性优化：
（4.30）
估出估计3t ，f 和k 的真实值。

4.4摄像机自标定方法
自标定是指不需要标定块，仅仅通过多幅图像点之间的对应关系对摄像机进行标定的过程[15,16]。

这种方法的优点是仅需要建立图像之间的对应，灵活性强，主要应用场所的转移，潜在应用范围广。

但也存在不足之处，如因为这是非线性标定，因而精度不太高，鲁棒性不高。

4.4.1 基于Kruppa 方程的自标定方法
推导Kruppa 方程的示意图
()()01234567812314562,,,,,,,,,,,,,,M m m m m m m m m sr sr sr st r r r t =≈()()()()078931231078934562()()
u u r X r Y r Z t fs r X r Y r Z t v v r X r Y r Z t f r X r Y r Z t -+++=+++⎧⎪⎨-+++=+++⎪⎩()()()()2212310789322456207893()1()1fs r X r Y r Z t k u v u u r X r Y r Z t f r X r Y r Z t k u v v v r X r Y r Z t +++⎧++=-⎪+++⎪⎨+++⎪++=-⎪+++⎩
1l
r l
l x r x
图3.10 基于Kruppa 方程的自标定方法模型
Kruppa 方程 由 ， 得 （4.31） [],l l e x ⨯≈ x 为位于l l 上的任意一点,知 r l Fx ≈，
则 [][]0,0T T T T x e e x x F Fx ωω⨯⨯== （4.32）
[][]T
T e e F F ωλω⨯⨯= （4.33）
T
KK ω= （4.34） 其中ω的组成形式为 在Kruppa 方程中，F,e 为已知数，ω 有5个独立未知变量，每个Kruppa 方程最多可以提供2个关于未知变量的独立约束，约束方程为5元二次方程，每对图像可以得到一个Kruppa 方程，故至少需要3对图像来标定摄像机，且摄像机的内参数必须保持不变，假定内参数都在变，任意两幅图像间有两个独立的Kruppa 方程，则 N (>=3) 幅图像之间有N (N -1)个Kruppa 方程，其中只有5N -9个方程是独立的。

4.4.2基于绝对二次曲面、无穷远平面的自标定方法
将世界坐标系取作第一个摄像机的坐标系，则绝对二次曲面[13.14]是： （4.35）
Ω∞∏i C j C i ωj ωi
e j
e 00T l l T r r x Cx x Cx ⎧=⎪⎨=⎪⎩0
T l l T r r l l l l ωω⎧=⎪⎨=⎪⎩123245356ωωωωωωωωωω⎡⎤⎢⎥≈⎢⎥⎢⎥⎣⎦
1111111110111ττττ
τττττττττ⎛⎫⎛⎫⎛⎫⎛⎫⎛⎫≈ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭⎝⎭⎛⎫= ⎪ ⎪⎝⎭11K 0K 0I 0I 0I 0Ωa 0a 00K K K K a a K K a K K a。