相机标定和精度评估方法的比较和回顾汇总

摄像机标定方法与精度评估的对比回顾摘要相机标定对于进一步的度量场景测量来说是一个关键性的问题。

很多有关标定的技术和研究在过去的几年中相继出现。

然而，深入探究一种确定的标定方法的细节，并与其它方法进行精度比较仍是不易的。

这种困难主要表现在缺少标准化和各种精度评估方法的选择上。

本文给出一个详细的回顾关于一些最常用的标定技术，文中，这些标定方法都采用相同的标准。

此外，文中涉及的方法已经过测试,精确度也经过测定。

比较结果和后续的讨论也在文中给出。

此外，代码和结果在网上也可以找到。

2002模式识别学会，发布由Elsevier science，保留所有权利。

关键词：相机标定镜头畸变参数估计优化相机建模精度评估3D 重建计算机视觉1、介绍相机标定是计算机视觉计算的第一步。

虽然可以通过使用非标定相机获取一些有关测量场景的信息，但是，当需要度量信息时标定是必须的。

精确校准相机的使用使从平面投影图像中测量物体在真实世界中的距离成为可能。

这种功能的一些应用包括：1、致密重建：每个像点确定一条光射线通过相机对场景的焦点。

这种使用多个视角观察静止场景（来自一个立体系统，或者单个移动相机，或者一个结构光发射器）允许两条交叉的光线得到度量的3D点位置。

显然，相应的问题被提前解决了。

2、外观检验：一旦被测目标的致密重建被获得，被重建的目标可以与已存储的目标比较来检测任何制造缺陷如凸起、凹陷或裂纹。

一个潜在应用是外观检验用来质量控制。

计算机处理的外观检查允许自动化和彻底化检查物体，与缓慢的暗含一种数据统计方法的人工检查截然相反。

3、目标定位：当考虑来自不同对象的各种图像点时，这些对象的相对位置可以被轻易确定。

这个有许多可能的应用，尤其是工业零件装配和机器人导航中的障碍回避。

4、相机定位：当相机固定在机械臂或者移动机器人上，相机的位置和相角可以通过计算场景中已知标志的位置获得。

如果这些测量值提前存储，一个短暂的分析可以帮助处理器计算出机器人的轨迹。

相机的信息可以用在机器人控制或者路线规划上。

相机标定可分为两个步骤。

首先，相机建模涉及到使用一系列参数对传感器的物理和视觉行为进行数学逼近。

其次，使用直接或迭代的方法估算得到的参数值。

在所建模型中有两种参数需要考虑。

一方面是本征参数，用来模拟图像传感器的内在结构和光学特征。

本质上，本征参数决定光线是如何通过镜头投射在传感器的图像面上的。

另一方面的参数是非本征参数。

非本征参数测量相机相对于世界坐标系统的位置和相角，也就是说，提供相对于用户固定的坐标系统而不是相机坐标系统的数据。

相机标定可以按以下几种不同的标准划分。

(1)线性和非线性相机标定（区别在于相机畸变的建模上）(2)本征和非本征相机标定。

本征标定仅在获得相机物理和光学参数时使用。

而非本征标定着眼于测量视场中相机的位置和相角。

(3)隐式和显式相机标定。

隐式标定是指相机标定过程中并不明确计算相机的物理参数。

尽管结果可以用于3D测量或生成图像坐标，但是，由于获得的参数与物理参数不一致，测量结果对于相机建模是无用的。

(4)使用已知的3D点或简化的3D点作为标定模式，就那些使用如消失线或其它线性特征等几何特征的方法而言。

这些方法还可以按估算相机模型参数的标定方法来划分：1、非线性最优化技术。

当镜头的所有缺陷包含在相机模型中时，标定方法变成非线性。

在这种情况下，相机参数通常通过与一个确定的最小化约束条件的函数迭代来获得。

最小化指使像点和通过迭代的模型预测值最小。

这种迭代技术的好处是几乎所有的模型都可以被校正，精度可以通过增加对收敛域的迭代次数。

然而，这种技术需要一个最初有一个好的猜测来保证收敛。

一些例子在一些经典的摄影测量法和Salvi中有描述。

2、计算转换矩阵的线性技术。

这个方法使用最小二乘法将3D点和它们的2D 推测来获得转换矩阵。

这种方法的优势在模型是由简化和快速的标定组成的。

一个缺点是线性技术对于相机畸变建模是无用的，将会导致粗略的系统精度。

此外，有时由于使用隐式标定，从矩阵中提取参数非常困难。

一些线性标定相关的参考文献在Hall、Toscani-Faugeras和Ito中找到。

3、两步技术：这种技术使用线性最优化完成一些参数的计算，其余的参数通过迭代计算得出。

由于很大一部分地减少了迭代运算的数量，这种方法能够实现快速标定。

此外，由于第一步中的线性猜测保证了收敛。

两步法利用了前面提及的两种方法的优点。

一些参照如Tsai、Weng和Wei。

本文是对最常用的一些标定方法进行详细的描述。

第一种方法由Hall在1982年提出，是一种基于隐式线性相机标定，通过计算3*4转换矩阵将3D目标点与它们的2D像预测联系在一起。

接着由Faugeras在1986年提出基于从转换法中提取相机的物理参数，作为第二种方法。

接下来是基于非线性显式相机标定，包括相机畸变建模。

此后，第一种方法是在Faugeras线性方法上包含镜头畸变的的微小改进。

由Tsai提出的被广泛应用的方法，是基于两步法对径向镜头畸变建模。

最后是完整的Weng模型，在1992年提出，包括三种不同类型的镜头畸变，作为最后介绍的方法。

需要注意的是，理解一种标定方法的主要问题是缺少符号的标准化和使用不同坐标系。

两个限制使比较各种方法变得复杂，因此，大量的工作都用来保证调查中使用同样的符号。

这里将对这五种方法进行一一解释,并讨论它们的2D和3D精度。

相机精度评估的简短概述在实施用相同工具比较不同标定方法中包含着。

本文的结构如下。

第二部分关于相机建模，解释相机模型如何通过一系列的几何转化逐步获得。

第三部分描述五种不同相机标定技术，并对相机模型参数进行评估。

接下来，第四部分解释相机标定技术中一些精度评估的方法。

最后，讨论计较每种标定方法的2D和3D精度。

2、相机模型模型是一种通过使用一系列方程式来近似物理行为的数学构想。

相机建模基于逼近相机的内部几何结构和场景中相机的位置和相角。

根据所需精度，有几种相机模型可供选择。

最简单的方法是基于线性变换，忽略对镜头畸变的建模。

然而，仍存在一些对镜头畸变精确建模的非线性模型。

当需要更高精度时这些方法对某些应用很实用。

最简单的模型是由Hall 提出的。

目的是寻找场景中3D 点与像平面上的2D 投影点的线性关系。

这种关系由如下的转换矩阵逼近。

1112131421222324313233341I Id d I I d d I d s X A A A A s X s Xs X A A A A s X s A A A A ⎛⎫⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭ ⎪⎝⎭(1)接下来，得到一个3D 点WwP ,相对于世界坐标系()W w P ，应用Hall 提出的变换矩阵，获得相对于像坐标系的2D 像素点(,)II I d d d P X Y =.相机建模通常分为4步，如下：1、将世界坐标系点W W P ，从世界坐标系转换到相机坐标系，得到C W P ,这种转换通过使用旋转矩阵和向量变换。

2、接下来,通过投影转换将C W P ,投影到像平面,获得C U P 。

3、第三步是基于与真实投影的差距进行镜头畸变建模。

这样，点C U P 转换为真实投影点C d P （应与镜头捕获点一致）。

4、最后，利用另一个坐标系统转换将相机的度量坐标系变成以计算机像素为单位的图像坐标系统，获得I d P 。

接下来，不同的相机模型，如Faugeras –Toscani ，有畸变的Faugeras – Toscani,Tsai 和Weng 将被详细解释，重点在于这些模型如何实现以上四步。

2.1 从世界坐标系到相机坐标系的转变从世界坐标系到相机坐标系转变的执行对于以上五种方法是相同的。

这种转换都是通过使用转换矢量和旋转矩阵，如下方程：C W WW C C W CW W W W C W W W X X Y R Y T Z Z ⎛⎫⎛⎫ ⎪ ⎪=+ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭(2) 给出的相对于世界坐标系的点W W P ，应用方程（2）,获得相对于相机坐标系的点C W P 。

注意到C W P 用{W}表示世界坐标系的相角，在相机坐标系统中用{C}表示。

C W T 表示世界坐标系中原点在相机坐标系中的位置。

2.2 3D 点在像平面上的投影考虑到任何光学传感器可以看做针孔摄像机。

也就是说，像平面在距光学中心f 处，并平行于由坐标轴C X 和C Y 组成的平面。

此外，得出的相对于相机坐标系的C W P ，如果它投影通过焦点C O ,光射线将在2D 像点C U P 处截取像平面。

关系如下式：,CCCC w w u u C C w wX YX f Y f Z Z == (3)所有被评估的模型都通过方程（3）来解决投影转换。

2.3 镜头畸变第三步是基于镜头畸变的建模。

每种被评估的模型需要一种不同的逼近。

方程（4）将无畸变点C U P 转换成畸变点C d P ，这里x δ 和y δ 代表包含的畸变。

,CC C C u d x u d y X X Y Y δδ=+=+ （4）由Faugeras 和 Toscani 提出的相机模型并不包含镜头畸变。

因此，CU P 和Cd P 是同样的点，x δ 和y δ为0，如下：0,0x y δδ== （5）Faugeras –Toscani 模型可以通过对径向镜头畸变建模改进。

Tsai 对畸变采用相同的方法建模，如方程（6），x δ 和y δ代表径向畸变。

这种类型的畸变主要由镜头径向曲率的缺陷导致。

,x xr y yr δδδδ== （6）考虑到径向畸变r d 的位移由式（7）来建模，这里只考虑径向畸变序列中的第一项1k 。

已经证明序列的第一项足够对在绝大部分应用中对镜头畸变建模。

222211(),()C C C C C C xr d d d yr d d d k X X Y k Y X Y δδ=+=+ （7）Weng 式建模考虑了三种类型的畸变：径向畸变、偏心畸变和薄棱镜畸变。

总畸变为三种畸变的和。

,x xr xd xp y yr yd yp δδδδδδδδ=++=++ （8）然而，Weng 提出对未畸变点(,)C C u u X Y 而不是畸变点(,)C C d d X Y 进行镜头畸变建模。

尽管两种方法都可以考虑，但是必须要考虑到标定参数是不同的。

因此，式（4）必须由下式代替：,CC C C d u x d u y X X Y Y δδ=+=+ （9）径向畸变的建模和Tsai 式标定相同，除了Weng 使用未畸变点。

222211(),()C C C C C C xr u u u yr u u u k X X Y k Y X Y δδ=+=+ （10）偏心畸变由于镜头的光学中心和相机中心没有正确对其造成。