双目摄像机标定

1.摄像机标定技术的发展和研究现状计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。

真实的3D场景与摄像机所拍摄的2D图像之间有一种映射关系，这种关系是由摄像机的几何模型或者参数决定的。

求解这些参数的过程就称为摄像机标定。

摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系。

总的来说, 摄像机标定可以分为两个大类: 传统的摄像机标定方法和摄像机自标定法。

传统摄像机标定的基本方法是, 在一定的摄像机模型下, 基于特定的实验条件如形状、尺寸已知的参照物, 经过对其进行图像处理, 利用一系列数学变换和计算方法, 求取摄像机模型内部参数和外部参数。

另外, 由于许多情况下存在经常性调整摄像机的需求, 而且设置已知的参照物也不现实, 这时就需要一种不依赖参照物的所谓摄像机自标定方法。

这种摄像机自标定法是利用了摄像机本身参数之间的约束关系来标定的, 与场景和摄像机的运动无关, 所以相比较下更为灵活。

1966年，B. Hallert研究了相机标定和镜头畸变两个方面的内容，并首次使用了最小二乘方法，得到了精度很高的测量结果。

1975年，学者W. Faig建立的一种较为复杂的相机成像模型，并应用非线性优化算法对其进行精确求解，但是仍存在两个缺点，一是由于加入了优化算法导致速度变慢，二是标定精度对相机模型参数的初始值的选择有严重的依赖性，这两个缺点就导致了该标定方法不适于实时标定。

1986年Faugeras提出基于三维立方体标定物通过拍摄其单幅图像的标定方法，该方法是基于理想线性模型的，标定精度较高，但是对标定立方体的制作和加工的精度要求太高，维护起来困难且并未考虑畸变参数的影响。

1986年，在非线性优化标定理论的基础上R. Y. Tsai提出了Tsai摄像机模型，对应这种Tsai摄像机模型提出了经典的Tsai两步标定法。

Tsai两步标定法的主要思想是：为了使迭代次数明显减少，计算速度也就得到加快，所以采用了除了少数标定参数利用了非线性的迭代方法求解，而标定过程中其他大部分参数则采用了常规的线性方法直接求解。

不过这种Tsai两步标定法设定的相机模型畸变量较简单，没办法解决实际中比较复杂的畸变标定问题。

由于Tsai两步标定法中存在的明显不足，J. Weng对Tsai的畸变模型进行改进之后，在此基础上对应的标定方法就能够很好的进行运用和实现较好的标定效果。

1999年，微软研究院的张正友提出了一种基于移动平面模板的摄像机标定方法，该方法缩小了相机标定的成本，而且简单明了，并且标定的精度也明显提高了很多。

目前已有的自标定技术大致可以分为几种：利用绝对二次曲线和极线变换性质解Kruppa方程的摄像机自标定方法、分层逐步标定法、基于二次曲面的自标定方法、基于主动视觉的摄像机自标定技术以及其他改进的摄像机自标定技术。

20世纪90年代初，Faugeras，Luong，Maybank等首先提出了自标定的概念, 使得在场景未知和摄像机任意运动的一般情形下标定成为可能。

Faugeras等从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa方程的二次非线性约束，通过直接求解Kruppa方程组可以解出内参数。

鉴于直接求解Kruppa方程的困难，人们又提出了分层逐步标定的思想，即首先对图像序列做射影重建，在此基础上再仿射标定和欧氏标定。

分层逐步标定的方法以Hartley 的QR 分解法，Triggs 的绝对二次曲面法，Pollefeys 的模约束法等为代表。

由于我们的需求总是在不断发生变化，研究效率需要不断提高，因此我们需要使用更灵活方便、运算更快、精度更高的标定方法，同时这也意味着我们需要更好地解决优化问题中存在的缺陷，这也是目前学者们不断提高标定技术的主要方向和研究的重要内容，而所说的优化缺陷指的就是冗余参数、模型表达、方程病态等问题。

2.视觉测量的基础理论2.1 坐标系定义一、世界坐标系（World Coordinate System ）w w w w O X Y Z -用户定义的三维坐标系，用来描述真实物理世界中的物体坐标。

二、摄像机坐标系（Camera Coordinate System ）c c c c O X Y Z -原点为摄像机光心，一般为镜头中心点。

c z 轴沿光轴指向景物方向，c x 轴和c y 轴分别与像素行和列平行。

三、像平面坐标系（Image Coordinate System ）i o xy -原点为光轴与像平面的交点，i x 轴和i y 轴分别与c x 轴和c y 轴平行且指向相同。

四、像素坐标系（Pixel Coordinate System ）o uv -像素坐标（u ，v ）实际上是像点在像素阵列中的行数与列数，选择u 轴和v 轴分别平行于c x 轴和c y 轴且方向相同，原点位于像素阵列的一个角上，阵列内所有像素的u 和v 坐标为正值。

2.2 坐标系转换摄像机的成像模型一般采用针孔模型（Pin-Hole Model ），是一个简单的线性模型，与我们中学时学的小孔成像是一个原理，如图1所示。

图1 两千多年前，墨子和学生进行了世界上第一个小孔成像实验如图2左边所示，为了把成像模型解释清楚，我们来仔细看看摄像机的成像几何关系。

同时我们把成像平面放到了小孔的前面，这样成像就是正立着的而不像上图那样倒立了。

图2 左：针孔成像模型；右：图像坐标系—— O 点称为摄像机的光心，由点O 与c X 、c Y 、c Z 轴组成摄像机坐标系。

—— I 是成像平面（图像平面），我们把镜头对焦后，物体就成像在这个平面。

图像平面构成了一个像平面坐标系，横坐标为i x ，纵坐标为i y 。

—— c X 轴和c Y 轴与图像的i x 轴与i y 轴平行，c Z 轴为摄像机的光轴，它与图像平面垂直。

光轴与图像平面的交点，即为像平面坐标系的原点xy O 。

—— O 点和xy O 点之间的长度为摄像机焦距f 。

如图2右边所示，像平面坐标系以O xy 为原点，由x 、y 轴组成，单位是mm 。

然而，在实际的相机中，并不是以物理单位（如mm ）来表示某个成像点的位置的，而是用像素的索引。

比如一台相机的像素是1600×1200，说明图像传感器（也就是以前的胶片）横向有1600个捕捉点，纵向有1200个，合计192万个。

对于某个成像点，实际上都是这样表示的：横坐标第u 个点，纵坐标第v 个点（而不是横坐标x mm ，纵坐标y mm ）。

假设O xy 在u 、v 坐标系中的坐标为00(,)u v ，每一个像素在x 轴与y 轴方向上的物理尺寸为宽x d mm ，高y d mm ，则图像中任意一个像素的索引坐标与物理坐标满足下面的换算关系：00x y x u u d y v v d ⎧=+⎪⎪⎨⎪=+⎪⎩（1） 将上式写成矩阵的形式：00101011001xy u d u x v v y d ⎡⎤⎢⎥⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦（2） 这里把之前的坐标(,)u v 和(,)x y 都转成齐次坐标(,,1)u v 和(,,1)x y 了。

齐次坐标（Homogeneous Coordinate ）的好处是：即使乘个系数(0)k k ≠，仍对应于原来的同一个点。

同时，还便于几何变换（旋转、缩放、平移），只需用一个大一号的矩阵即可将变换矩阵的乘法（旋转、缩放）和加法（平移）合并到一块。

此外，齐次坐标还可表示不同的无穷远点。

如图2左边所示，空间上任何一点P 在图像上的投影位置p 为光心O 与P 点的连线OP 与图像平面的交点，这种关系也被称为中心射影或透视投影。

由几何比例关系可得出：c cx f X Z = （3） c cy f Y Z = （4） 000000100101c c c c X x fY Z y f Z ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦（5） 其中(,)x y 为p 的图像坐标，(,,)c c c X Y Z 为空间点P 在摄像机坐标系下的坐标。

摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R 与平移向量t 来描述，即：T 111c w w c w w c w w X X X Y Y Y Z Z Z ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎡⎤⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦b R t M 01 （6） 其中R 为3×3的矩阵；t 为3×1的向量；b M 为4×4的矩阵，也被称为摄像机外部参数矩阵。

我们将公式（2）和公式（5）代入公式（6），就可以得到P 点在世界坐标系下的坐标(,,)w w w X Y Z 与其在图像平面的投影点p 的坐标(,)u v 的关系：00T 1000010000100101001w xw c w y u X d u f Y Z v v f Z d ⎡⎤⎢⎥⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎣⎦⎢⎥⎣⎦R t 0100T 000000101w x w yw X u Y v Z αα⎡⎤⎡⎤⎢⎥⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦R t 01 ==a b w w M M P MP （7） 其中，x x f d α=，y yf d α=；=a b M M M 为3×4矩阵，称为投影矩阵；a M 完全由x α、y α、0u 、0v 决定的摄像机内部结构（如焦距、光心）有关，称为摄像机内部参数；b M 完全由摄像机相对于世界坐标系的方位（如摆放位置和拍摄角度）决定，称为摄像机外部参数。

确定某一摄像机的内部和外部参数，就被称为摄像机标定（Calibration ）。

注意，很多情况下的摄像机定标仅指确定摄像机的内部参数。

3.张正友标定法该方法最早由微软研究院的Zhengyou Zhang 教授提出，1998年发表在IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE ，论文题目为：A Flexible New Technique for Camera Calibration 。

（一） 标定平面到图像平面的单应性单应性(homography)：在计算机视觉中被定义为一个平面到另一个平面的投影映射。

首先看一下，图像平面与标定物棋盘格平面的单应性。

符号定义：T [,]m u v =，表示像平面二维点，增广形式T [,,1]m u v =；T [,,]M X Y Z =，表示空间三维点，增广形式T [,,,1]M X Y Z =。